KR20120103510A - 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 - Google Patents

프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 Download PDF

Info

Publication number
KR20120103510A
KR20120103510A KR1020120024669A KR20120024669A KR20120103510A KR 20120103510 A KR20120103510 A KR 20120103510A KR 1020120024669 A KR1020120024669 A KR 1020120024669A KR 20120024669 A KR20120024669 A KR 20120024669A KR 20120103510 A KR20120103510 A KR 20120103510A
Authority
KR
South Korea
Prior art keywords
information
service
program
video
real time
Prior art date
Application number
KR1020120024669A
Other languages
English (en)
Inventor
임현정
정광희
권형진
이광순
윤국진
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2012/001762 priority Critical patent/WO2012121572A2/ko
Priority to EP12755204.0A priority patent/EP2685729A4/en
Priority to US14/003,942 priority patent/US20130342648A1/en
Publication of KR20120103510A publication Critical patent/KR20120103510A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/40—Aspects of broadcast communication characterised in that additional data relating to the broadcast data are available via a different channel than the broadcast channel

Abstract

본 발명은 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 개시하고 있다. 상기 송신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더; 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코더; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함한다. 따라서, 디지털 방송에서 부가영상을 미리 전달하여 수신기에 저장하고 추후 실시간으로 전달되는 영상과 저장한 콘텐츠를 동기화하여 3D 스테레오스코픽 서비스를 제공할 수 있다.

Description

프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법{TRANSMISSION APPARATUS AND METHOD, AND RECEPTION APPARATUS AND METHOD FOR PROVIDING PROGRAM ASSOCIATED STEREOSCOPIC BROADCASTING SERVICE}
본 발명은 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 관한 것으로, 보다 상세하게는 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 관한 것이다.
ATSC(Advanced Television Systems Committee)에서는 시청자가 원하는 콘텐츠를 여분의 대역폭이나 유휴 시간대를 이용해서 전송하고, 이를 수신장치에 저장하여 이용할 수 있는 비실시간(NRT : Non-Real-Time) 기술 표준화를 진행 중이다. NRT는 콘텐츠 제공자가 일방적으로 전달해주는 기존 서비스 방식을 탈피하여 시청자가 원하는 콘텐츠를 원하는 시간에 이용할 수 있는 기술을 포함하고 있다. NRT 서비스는 실시간 방송 채널과 더불어 하나의 가상채널로 전달되며 지상파 망을 이용하여 전달되는 콘텐츠는 DSM-CC Addressable Section 규격을 이용하여 IP 기반의 FLUTE(File Delivery over Unidirectional Transport, IETF: RFC 3926 참조) 데이터로 인캡슐레이션되어 수신기에 전송된다.
ATSC NRT는 FLUTE 프로토콜을 통하여 전달되는 방송 콘텐츠를 시그널링하기 위하여 SSC(Service Signaling Channel)라는 특정 IP 주소와 포트 번호(224.0.23.60 : 4937)를 이용하며, 이 SSC 채널을 이용하여 서비스 맵 테이블(SMT : Service Map Table)과 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)와 같은 특수 테이블들을 전달한다. 서비스 맵 테이블(SMT)은 비실시간(NRT) 서비스 획득을 위한 FLUTE 세션 정보(TSI: Transport Session Identification, IP address, UDP port number 등), 비실시간 정보 테이블(NRT-IT)과의 연결을 위한 Service ID, Consumption Model, 수신기에서 서비스 표현 가능 여부를 판단할 수 있는 Capability 등의 정보를 포함하고 있다. 다음으로 비실시간 정보 테이블(NRT-IT)은 수신기에 다운로드 가능한 각 콘텐츠 아이템에 대한 다양한 정보를 단말에 알리기 위하여 사용되며, 다운로드 유효 시간, 해당 콘텐츠의 크기, 해당 콘텐츠 아이템과 FLUTE로 전송되는 파일과의 연관 정보를 위한 콘텐츠 연결 정보(content_linkage) 등을 정의하고 있다.
그러나 현 규격은 비실시간으로 전달받은 콘텐츠를 독립적으로 이용하는 경우에 대한 내용 기반으로 기술되어 있으며 실시간 스트림을 비롯한 다른 방송 서비스와 연관지어 사용하는 구체적 방법에 대해서는 기술하지 않고 있다. 또한 현 규격은 2D 콘텐츠 기반의 비실시간 서비스만을 포함하고 있으며 차기 표준에서 3D 서비스 제공하기 위한 논의가 진행 중이다.
비실시간 기반으로 3D 방송 서비스를 제공하기 위한 종래 기술로는 먼저 기준영상은 실시간으로 전송하고 부가영상은 비실시간으로 방송 시간 전에 전송하는 방식이 있다(대한민국 공개 특허 10-2008-0053175(2008.06.12 공개) : 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법). 그러나 상기 종래 기술은 IP 기반의 ATSC NRT 매커니즘을 이용하지 않고 있으며 비실시간 기반의 3D 방송 서비스를 시그널링할 수 있는 방법 또한 포함하고 있지 않다.
또 다른 종래 기술로는 대한민국 공개 특허 2010-0086440(2010.07.30 공개)에 기재된 "지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털 멀티미디어 방송 수신 장치"가 있다. 상기 기술은 비실시간 스테레오스코픽 서비스를 위한 시나리오 및 이를 위한 스테레오스코픽 서비스 서술자(SS_descriptor)를 제안하고 실시간 영상과 저장된 콘텐츠를 동기화하기 위한 방법을 제안하였다. 그러나 이 기술은 기준영상과 부가영상 모두 실시간으로 전송하여 서비스를 제공하는 방법으로 기준영상은 실시간으로 전달되고 부가영상은 비실시간으로 전달되는 형태의 서비스는 포함하고 있지 않다.
따라서 ATSC NRT 기술을 기반으로 실시간으로 전달되는 기준영상 및 비실시간으로 전달되는 부가영상을 동기화하여 3D 스테레오스코픽 방송 서비스 제공할 수 있는 송신 장치 및 방법, 및 수신 장치 및 방법이 요구된다.
대한민국 공개 특허 KR 10-2008-0053175 ("비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법", 한국전자통신연구원, 2008. 06. 12 공개)
상술한 문제점을 해결하기 위한 본 발명의 목적은 기존 방송과 역호환성을 제공하면서, 3차원 방송을 비실시간으로 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.
본 발명의 목적은 비실시간 매커니즘을 기반으로 부가영상 전달하고 이를 수신기에 저장하여 실시간으로 전송되는 기준영상과 동기화하여 3D 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더; 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코더; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함할 수 있다.
상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 비실시간(NRT) 콘텐츠를 저장 및 관리하고, 상기 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하여 비실시간으로 상기 스케줄에 따라 상기 비실시간 콘텐츠를 상기 재다중화기로 전송할 수 있다.
상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 상기 비실시간 콘텐츠를 저장 및 관리하는 비실시간 콘텐츠 관리부; 상기 비실시간 콘텐츠의 비실시간 영상을 입력받아 인코딩을 수행하여 상기 비실시간 스트림을 생성하는 NRT 콘텐츠 인코더; 및 상기 비실시간 콘텐츠와 관련된 정보 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구성 정보를 수신기에 전송하기 위해, NRT 시그널링 정보를 생성하는 NRT 시그널링 정보 인코더를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고, 상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는, 상기 송신 장치에서 제공하는 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag); 상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및 상기 프로그램 연동형 스테레오스코픽 서비스 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는 상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및 상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함할 수 있다.
상기 서비스 맵 테이블 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신기에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오 스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는 상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및 3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함할 수 있다.
상기 비실시간 정보 테이블은 상기 수신기에 전송되는 상기 비실시간 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함할 수 있다.
상기 프로그램 맵 테이블은 상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법은 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계; 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치에 있어서, 프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화기; 상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코더; 상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코더; 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파서; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더러를 포함하되, 상기 비실시간 영상 디코더는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성할 수 있다.
상기 비실시간 영상 디코더는 상기 비실시간 스트림을 수신하여 NRT 시그널링 정보 및 비실시간 콘텐츠를 생성하는 NRT 디코더; 상기 생성된 비실시간 콘텐츠를 저장하고 있는 콘텐츠 저장부; 상기 NRT 시그널링 정보를 통해 획득되는 NRT 서비스 구성 정보를 기반으로 상기 저장된 콘텐츠 중 서비스 관련 콘텐츠의 로딩을 위한 정보를 상기 콘텐츠 저장부로 전달하고, 상기 서비스 시그널링 및 영상 동기화 정보를 기반으로 상기 서비스 관련 콘텐츠에서 동기화가 이루어질 구간을 계산하여 동기화 구간 정보를 생성하는 NRT 서비스 매니저; 및 상기 동기화 구간 정보를 기반으로 상기 서비스 관련 콘텐츠 중 동기화 구간에 해당하는 부분을 파싱하여 상기 부가 영상을 생성하는 NRT 파일 파서를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고, 상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는, 상기 수신 장치가 수신한 스트림과 관련된 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag); 상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는 상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및 상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함할 수 있다.
상기 서비스 맵 테이블 및 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신 장치에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는 상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및 3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함할 수 있다.
상기 비실시간 정보 테이블은 상기 수신 장치에 전송되는 상기 3D NRT 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함할 수 있다.
상기 비실시간 영상 디코더는 상기 타임 스탬프 정보를 기반으로 현재 프레임과 상기 타임 스탬프 정보가 가리키는 시점과의 시간 차이를 계산하여 상기 저장된 콘텐츠와 상기 실시간 콘텐츠와의 동기화를 제공할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법은 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법에 있어서, 프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계; 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계; 상기 실시간 스트림을 기반으로 실시간으로 상기 기준 영상을 생성하는 실시간 영상 디코딩 단계; 상기 비실시간 스트림을 기반으로 비실시간으로 상기 부가 영상을 생성하는 비실시간 영상 디코딩 단계; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계를 포함하되, 상기 비실시간 영상 디코딩 단계는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 디지털 방송에서 부가영상을 미리 전달하여 수신기에 저장하고 추후 실시간으로 전달되는 영상과 저장한 콘텐츠를 동기화하여 3D 스테레오스코픽 서비스를 제공하는 효과가 있다.
또한, 본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 기준영상은 기존 2DTV 방송시스템을 이용하여 전달하고, 부가영상은 ATSC NRT 전송 매커니즘을 바탕으로 비실시간으로 전달하므로 기존 2D 방송 시스템과의 호환성 제공이 가능하며 3D 전송을 위한 대역폭의 한계를 극복할 수 있다는 효과가 있다.
더욱이, 본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 하나의 RF 신호를 기반으로 실시간으로 고화질 AV 서비스를 제공함과 동시에 ATSC NRT 서비스 매커니즘을 통해 3D 스테레오스코픽 서비스 제공을 가능케 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스의 개념을 설명하기 위한 개념도,
도 2는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치를 개략적으로 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치의 NRT 시그널링 정보를 구체적으로 나타낸 상세블록도,
도 4a 및 4b는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치에서 스테레오스코픽 방송 서비스 시그널링 정보를 설명하기 위한 개념도,
도 5는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법을 개략적으로 나타낸 흐름도,
도 6은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치를 개략적으로 나타낸 블록도,
도 7은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치에서 스테레오스코픽 방송 서비스 동기화 방법을 설명하기 위한 개념도,
도 8a 및 8b은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치의 비실시간 콘텐츠를 획득하는 과정 및 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정을 설명하기 위한 흐름도,
도 9는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법을 개략적으로 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
프로그램 연동형 스테레오스코픽 방송 서비스 송수신 시스템
도 1은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스의 개념을 설명하기 위한 개념도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송수신 시스템은 ATSC 분산 네트워크(10: ATSC Distribution Network), 저장 장치(20), 2D 레가시(legacy) 비디오 디코더(30), NRT 디코더(40), 3D 프로세싱 장치(50) 및 3D 디스플레이장치(60)를 포함할 수 있다.
도 1을 참조하면, 프로그램 연동형 스테레오스코픽 방송 서비스에 있어서, 기준 영상은 2D 방송 시스템을 이용하여 실시간으로 전송하고 부가 영상은 ATSC NRT 전송 매카니즘을 기반으로 전달하여 3DTV 방송 서비스를 제공한다. ATSC 분산 네트워크(10)는 기준 영상과 부가 영상을 나누어 송출한다. 시간적으로 보면, 부가 영상이 먼저 전송되어 NRT 수신기의 저장 장치(20)에 미리 저장된다. 이후, 실시간으로 전송되는 방송 프로그램의 기준 영상이 전송될 때, 저장 장치(20)에 저장되어 있던 부가 영상을 함께 동기화하여 3D 프로세싱 장치(50)에서 3D 프로세싱을 하고, 프로세싱된 영상을 3D 디스플레이 장치(60)를 통해 디스플레이한다. 이때, 2D 레가시 비디오 디코더(30)는 실시간으로 전송되는 기준 영상의 디코딩을 수행하고, NRT 디코더(40)는 비실시간으로 전송되는 부가 영상의 디코딩을 수행한다. 상기 과정을 통해 프로그램 연동형 스테레오스코픽 방송 서비스를 제공할 수 있다.
프로그램 연동형 스테레오스코픽 방송 송수신시스템은 송출 서버를 통해 획득한 기준 영상을 실시간 스트림으로 인코딩하는 실시간 스트림 인코더, 부가 영상을 비실시간 스트림으로 인코딩하는 비실시간 스트림 인코더 등으로 구성되는 송신 장치와 비실시간으로 전송된 방송 콘텐츠를 디코딩하여 프로그램 연동형 스테레오스코픽 방송 서비스를 구성할 수 있는 수신 장치로 구성된다. 3D 비실시간 방송 콘텐츠는 방송망뿐만 아니라 인터넷망을 이용하여 서비스를 요청받고 전달될 수 있다.
프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치
도 2는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치를 개략적으로 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치는 실시간 스트림 인코더(210), 서비스 시그널링 및 영상 동기화 정보 생성기(220), 비실시간 스트림 인코더(230) 및 재다중화기(240)를 포함할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치는 기존 2D 방송 시스템을 기반으로 기준 영상(201)에 해당하는 실시간 스트림을 송출하며, 이때 기 수신된 부가 영상(203)과의 동기화 정보 및 서비스 정보를 제공하기 위해 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)에 신규 서술자를 기재한다. 이후 인코더를 거쳐 재다중화기(240)로 전달되는 실시간 스트림은 비실시간 인코더(230)로부터 전달된 비실시간 스트림과 다중화되어 프로그램 연동형 스테레오스코픽 방송 스트림을 형성하여 전송된다.
각 구성요소를 보다 상세히 설명하면, 먼저 송출 서버(205)로부터 획득한 기준 영상(201)은 실시간으로 실시간 스트림 인코더(210)를 통해 인코딩된다. 인코딩된 기준 영상(201)은 실시간 스트림으로 변환되어 재다중화기(240)로 전송된다. 상기 실시간 스트림은 재다중화기(240)은 비실시간 스트림과 다중화되어 프로그램 연동형 스테레오스코픽 방송 스트림을 생성한다.
서비스 시그널링 및 영상 동기화 정보 생성기(220)는 3D 콘텐츠 동기 정보(222)를 기반으로 서비스 시그널링 및 영상 동기화 정보를 생성한다. 상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함한다. 본 발명의 일 실시예에 따르면, 상기 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)을 포함할 수 있다. 이벤트 맵 테이블(EIT) 및 프로그램 맵 테이블(PMT)은 프로그램 연동형 3D 비실시간 서비스 구성을 위한 서비스 구성 정보 및 해당 서비스의 진행 시간을 알려줄 수 있는 시간 값을 바탕으로 비실시간 콘텐츠를 동기화하기 위한 정보 및 기준 영상(201)에 대한 정보를 포함할 수 있다.
비실시간 스트림 인코더(230)는 내부적으로 3D 비실시간 방송 콘텐츠, 즉 부가 영상(203)을 저장 및 관리하는 비실시간 콘텐츠 관리부(232), 3D 기반의 NRT 시그널링 정보 생성을 위한 인코딩을 수행하는 NRT 시그널링 정보 인코더(234) 및 부가 영상(203)만을 포함하고 있는 파일을 비실시간으로 인코딩하는 NRT 콘텐츠 인코더(236)를 포함한다. 이를 통해 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하고 상기 비실시간 콘텐츠 송출 스케줄에 따라 비실시간 콘텐츠 파일들을 인코딩하여 비실시간 스트림을 생성하여 재다중화기(240)로 전달한다.
NRT 시그널링 정보 인코더(234)는 3D 콘텐츠 동기 정보(222)와 NRT 콘텐츠와의 상관 관계를 고려하여, 서비스 구성 정보 및 콘텐츠 관련 정보들을 수신기에 알려주기 위해 서비스 맵 테이블(SMT: Service Map Table) 및 비실시간 정보 테이블(NRT-IT: Non Real Time - Information Table) 등을 생성하여 재다중화기(240)에 전달한다. NRT 시그널링 정보는 프로그램 연동형 스테레오스코픽 서비스를 위한 동기화 정보 및 서비스 시그널링 정보를 포함할 수 있다.
NRT 콘텐츠 인코더(236)는 3D 비실시간 영상, 즉 부가 영상(203)을 입력으로 받아 이를 FLUTE를 기반으로 인코딩한다. 그리고, DSMCC Addressable Section 기반의 MPEG-2 TS 스트림을 생성하여 상기 스트림을 재다중화기(240)로 전달한다.
재다중화기(240)는 실시간 스트림 인코더(210)에서 생성된 실시간 스트림과 비실시간 스트림 인코더(230)에서 생성된 비실시간 스트림, 및 서비스 시그널링 및 영상 동기화 정보를 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하여 수신기로 전송한다. 전술한 바와 같이, 이렇게 생성된 프로그램 연동형 스테레오스토픽 방송 스트림은 방송망뿐 아니라 인터넷망을 통해 전송될 수 있다.
실시간으로 전송되는 기준 영상과 비실시간으로 전송되는 부가 영상을 수신하여 재생하기 위해서는 시그널링 및 동기화 정보가 중요한데, 본 발명의 프로그램 연동형 스테레오스코픽 방송 송신 장치는 상기 시그널링 및 동기화 정보로 PSI/PSIP(PSI/PSIP는 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)을 포함함) 및 NRT 시그널링 정보(서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)을 포함함)를 이용할 수 있다. 이하, 본 발명에서의 프로그램 연동형 스테레오스코픽 방송 서비스 전송시 수신기에서의 3D 콘텐츠 파일로의 접근 및 재생 등과 관련된 시그널링을 위해, 기존 서술자의 확장 정의 및 신규 서술자에 대해 설명한다.
먼저 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나와 관련하여, 프로그램 연동형 3D NRT 서비스 구성을 위한 서비스 구성 정보 및 해당 서비스의 진행 시간을 알려줄 수 있는 시간 값을 바탕으로 비실시간 콘텐츠를 동기화하기 위한 정보를 기술하기 위해 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 정의한다.
Figure pat00001
표 1은 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 정의한 일 실시예로, 본 발명의 일 실시예에 있어서, 상기 서술자는 프로그램 연동형 3D NRT 서비스를 위한 실시간 콘텐츠 전송시에 프로그램 맵 테이블(PMT) 내의 program_info_length 뒤에 나오는 서술자 루프에 포함될 수 있다. SNRT 프로그램 서술자(SNRT_Program_descriptor)는 서비스 플래그(StereoMono_serviceFlag), 서비스 타입 정보(NRT_Service_type) 및 타임 스탬프 정보(FirstAUTimeStamp)를 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- StereoMono_serviceFlag : 모노스코픽 비디오 서비스 혹은 프로그램 연동형 스테레오스코픽 비디오 서비스의 구분을 나타낸다. 이 값이 0이면 기존 모노스코픽 비디오 서비스이며, 1이면 프로그램 연동형 스테레오스코픽 비디오 서비스로 간주한다.
- NRT_Service_type : 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타낸다.
- FirstAUTimeStamp : 프로그램 연동형 스테레오스코픽 비디오 서비스 시작 시간의 Timestamp를 나타낸다. 이는 일반적으로 인코더의 PTS 혹은 DTS 값을 이용하여 정의한다.
또한, 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나의 신규 서술자를 다음과 같이 정의할 수 있다. 프로그램 연동형 3D NRT 서비스 구성시 항상 실시간 스트림은 기준영상으로 이용되며 비실시간으로 전달된 콘텐츠는 부가영상으로 이용된다. 따라서 기준영상임을 나타내기 위한 별도의 시그널링 정보는 필요하지 않으며 실시간으로 전송되는 기준영상이 좌영상인지 우영상인지에 대한 정보가 필요하다. 또한 기준영상에 함께 동기화되어 사용될 부가영상인 NRT 콘텐츠에 대한 링크 정보가 필요하다. 이를 위해 본 발명의 일 실시예에 따르면, 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나와 관련된 서술자로서 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)를 정의한다.
Figure pat00002
표 2는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)에 대한 정의의 일 실시 예를 나타낸다. 본 발명의 일 실시예에 따르면, 상기 서술자는 프로그램 맵 테이블(PMT) 내의 ES_info_length 뒤에 나오는 서술자 루프에 포함될 수 있다. SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)는 필드(view_flag) 및 파일 위치 정보 필드(URI/FileName)를 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- view_flag: 실시간 스트림으로 전송되는 기준영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드이다. 이 값이 0이면 우영상으로, 1이면 좌영상으로 간주한다.
- URI/FileName: 해당 실시간 스트림에 동기화가 이루어질 부가영상 정보 비실시간으로 전달되어 다운로드한 부가영상을 담고 있는 비실시간(NRT) 파일을 로딩하기 위한 파일 위치 정보를 기술하기 위한 필드이다.
도 3은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치의 NRT 시그널링 정보(300)를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 NRT 시그널링 정보(300)는 서비스 맵 테이블(310: SMT) 및 비실시간 정보 테이블(320: NRT-IT)을 포함할 수 있다.
도 3을 참조하면, 먼저 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)과 관련하여, 수신기가 FLUTE 세션에 접근하여 콘텐츠를 획득함에 있어서 수신기에서 지원이 가능한 콘텐츠만을 다운로드하여 서비스가 이뤄질 수 있도록 지원하는 지원 서술자(Capabilities_descriptor)를 정의한다. ATSC NRT에서는 수신기에서의 콘텐츠의 지원 가능 여부를 명확히 알려주기 위해 지원 서술자(Capabilities_descriptor)를 정의한다. 지원 서술자(Capabilities_descriptor)는 비실시간(NRT) 서비스 또는 콘텐츠 아이템을 위해 수신기에서 지원되어야 하는 프로토콜, 압축 알고리즘, 미디어 타입 등에 대한 정보를 포함할 수 있다.
Figure pat00003
지원 서술자(Capabilities_descriptor)는 프로그램 연동형 스테레오스코픽 방송 서비스를 위해서는 전송되는 콘텐츠가 3D임을 시그널링하여 2D NRT 단말이 3D 콘텐츠를 다운로드하는 것을 방지할 수 있어야 하기 때문에 3D 서비스 시그널링을 위한 지원 카테고리(capability category)를 포함한다. 또한, 지원 서술자(Capabilities_descriptor)는 해당 카테고리의 하위 정보로 3D 콘텐츠 구성 정보를 시그널링 할 수 있도록 서비스 호환(Service Compatible)과 프레임 호환(Frame Compatible)을 위한 코드를 포함한다.
더욱이, 프로그램 연동형 스테레오스코픽 방송 콘텐츠는 3D 파일 포맷을 이용하여 전달된다. 3D 파일 포맷의 일 실시예로 스테레오스코픽 비디오 저장 및 재생을 위한 포맷인 SVAF(Stereoscopic Video Application Format)를 이용하여 전달될 수 있다. 따라서, 3D 파일 포맷(예컨대, SVAF)을 시그널링하기 위한 코드로서, 래퍼/취득 포맷 카네고리(wrapper/archive format category)를 더 포함할 수 있다.
표 4는 프로그램 연동형 3D 비실시간 콘텐츠를 시그널링하기 위해 ATSC NRT의 지원 코드(Capability code)를 확장 정의한 일 실시예이다.
Figure pat00004
또한, 비실시간 정보 테이블(NRT-IT)과 관련하여, 실시간으로 전송될 기준영상과의 참조 관계 등을 기술하기 위해, 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 정의한다. 본 발명의 일 실시예에 따르면, 상기 서술자는 비실시간 정보 테이블(NRT-IT)의 content_descriptor 뒤에 기술되며 상기 서술자가 기술되어 있을 경우, 수신기는 전송되는 비실시간 콘텐츠가 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있다. 또한 기 전달된 부가영상을 소비할 수 있도록 시청 가이드를 제시를 위한 정보를 획득할 수 있다.
Figure pat00005
표 2는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)에 대한 정의의 일 실시예를 나타낸다. 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)는 기준 영상의 TSID(Target_TSID), 기준 영상의 프로그램 번호(Target_program_number), 기준 영상의 PID(Target_elementary_pid) 및 서비스의 예상 시작 시간(Expected_start_time)을 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- Target_TSID: 향후 연동형 서비스를 구성하게 될 실시간 스트림의 TSID를 나타낸다.
- Target_program_number: 향후 연동형 서비스를 구성하게 될 실시간 스트림의 Program number를 나타낸다.
- Target_elementary_pid: 향후 연동형 서비스를 구성하게 될 기준영상의 PID를 나타낸다.
- Expected_start_time: 향후 연동형 서비스를 구성하게 될 예상 시간을 나타낸다.
도 4a 및 4b는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치에서 스테레오스코픽 방송 서비스 시그널링 정보를 설명하기 위한 개념도이다. 본 실시예에 있어서, 프로그램 맵 테이블(PMT)은 실질적으로 이벤트 정보 테이블(EIT)일 수 있다. 또한, 전술한 바와 같이, SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)는 프로그램 맵 테이블(PMT), 이벤트 정보 테이블(EIT) 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나에 포함될 수 있다. 본 실시예에서는 프로그램 맵 테이블(PMT)에 속하는 것으로 간주한다.
NRT 서비스를 지원하지 않는 기존 수신기는 실시간 스트림 전송을 위한 프로그램 맵 테이블 2(430-2: PMT 2)만을 획득한다. 또한 2D 비실시간(NRT) 수신기는 프로그램 맵 테이블 2(430-2)의 내용 중 3D 연동형 서비스 구성을 위해 본 발명에서 정의한 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor) 등을 해석하지 못하므로 해당 서술자의 내용을 무시한다. 따라서, 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간으로 전송되는 기준영상만을 이용한 2D 서비스를 제공한다.
2D 비실시간(NRT) 서비스를 지원하는 수신기는 TVCT(410: Terr. Virtual Channel Table)에서 연동형 서비스를 위해 전송되는 비실시간(NRT) 정보를 찾고 이를 토대로 비실시간 콘텐츠 전송을 위한 프로그램 맵 테이블 1(430-1: PMT 1)과 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)를 획득한다. 이때 2D 비실시간(NRT) 수신기는 전술한 바와 같이, 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)의 내용 중 3D 연동형 서비스 구성을 위해 본 발명에서 정의한 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor) 등을 해석하지 못하므로 해당 서술자의 내용을 무시한다. 또한 비실시간 콘텐츠 수신시에도 확장 정의한 지원 코드(Capabilities code)를 바탕으로 3D 콘텐츠(Content#2)는 수신하지 않는다. 따라서 2D 비실시간(NRT) 서비스를 지원하는 수신기도 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간으로 전송되는 기준영상만을 이용한 2D 서비스를 제공한다.
3D 비실시간(NRT) 서비스 지원 가능한 수신기는 TVCT(410)에서 연동형 서비스를 위해 전송되는 비실시간(NRT) 정보를 찾고, 이를 토대로 비실시간 콘텐츠 전송을 위한 프로그램 맵 테이블 1(430-1)과 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)를 획득한다. 이때 실시간 스트림 전송을 위한 프로그램 맵 테이블 2(430-2)는 연동형 서비스임을 나타내주는 SNRT 프로그램 서술자(SNRT_Program_descriptor)가 기술되어 있으며 부가 영상(402)을 참조하기 위한 정보는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)에 기술되어 콘텐츠 저장부(470)에 기전송된 파일 중 프로그램 연동형 3D 비실시간(NRT) 서비스 구성을 위해 로딩해야 할 부가 영상(402) 파일 정보를 획득한다. 또한 비실시간으로 기 전송된 부가 영상(402) 획득시에도 지원 코드(Capabilities code) 값을 바탕으로 3D 콘텐츠(TOI=10)를 수신하고, 비실시간 정보 테이블(450: NRT-IT)에 기술된 스테리오스코픽 관련 정보 서술자(Stereoscopic_Related_Info_descriptor)에서 프로그램 연동형 3D 비실시간(NRT) 서비스 구성하기 위한 실시간 스트림에 대한 정보를 획득한다.
따라서 3D 비실시간(NRT) 수신기는 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간 스트림을 기준영상으로 기 전달받아 수신기에 저장한 파일을 부가 영상(402)으로 구성하여 스테레오스코픽 서비스를 제공한다.
실시간 스트림으로 전송되는 기준 영상과 기 저장된 부가 영상(402)의 동기화를 위해 프로그램 맵 테이블 2(430-2)에 포함된 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 타임 스탬프 정보(FirstAUTimeStamp)를 이용한다. 프로그램 연동형 스테레오스코픽 방송 서비스의 재생은 사용자가 프로그램 연동형 스테레오스코픽 방송 서비스를 위해 기준 영상이 전송되는 실시간 프로그램 채널을 선택하는 시점에 서비스가 시작되며 저장된 콘텐츠의 처음 부분이 아닌 실시간 프로그램의 진행 상황에 해당하는 시점부터 프로그램 연동형 스테레오스코픽 방송 서비스 재생이 가능하다. 따라서 사용자가 기 전달된 부가 영상(402)의 최초 시점부터 재생할 수 있도록 하려면, 수신기는 프로그램 연동형 스테레오스코픽 방송 서비스 가능 시간을 사용자에게 알림과 동시에 해당 시간에 프로그램 연동형 스테레오스코픽 방송 구성이 가능한 채널로의 변경을 가이드 할 수 있어야 한다.
또한, 좌우영상 동기화 기술 개발에 있어 다음과 같은 고려 사항이 있을 수 있다.
- FirstAUTimeStamp 삽입 : 좌 또는 우영상의 실제 시작 AU의 Time Stamp값을 나타낸 것으로 이를 위해서는 인코더 개발 또는 송출 서버에서 정확한 좌우 영상 시작 시점을 알려 주어야 한다.
- 수신기 Wake-up 시점 : 실시간 전송 스트림과 동기를 위해서는 수신기에서 미리 관련 부가영상 파일을 로딩해야 하므로 미리 파일 로딩을 위한 wake-up 시점을 알려 주어야 한다.
프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법
도 5는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법을 개략적으로 나타낸 흐름도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법은 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계(510), 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계(520), 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계(530) 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계(540)를 포함할 수 있다.
프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치
도 6은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치를 개략적으로 나타낸 블록도이다. 도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 역다중화기(610), 실시간 영상 디코더(620), 서비스 시그널링 및 영상 동기화 정보 파서(630), 비실시간 영상 디코더(640) 및 렌더러(650)를 포함할 수 있다.
도 6을 참조하면, 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 기존 방송에 이용되는 수신 장치의 구조에 NRT 디코더(641), NRT 서비스 매니저(643) 및 NRT 파일 파서(647)를 추가하여 구성된다. 즉, 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 비실시간 기반의 3DTV 방송 신호(예컨대, 프로그램 연동형 스테레오 스코픽 방송 스트림)을 수신하여 이를 복조 및 채널 디코딩하여, 사용자에 의해 선택된 비실시간 3DTV 콘텐츠 및 정보를 획득하여 저장한다.
상기 수신 장치를 보다 구체적으로 설명하면, 역다중화기(610)는 방송망 또는 인터넷망을 통해 프로그램 연동형 스테레오스코픽 방송 스트림을 수신하여 상기 방송 스트림을 역다중화한다. 역다중화기(610)에 의해, 방송 스트림은 기준 영상과 관련된 실시간 스트림, 부가 영상과 관련된 비실시간 스트림 및 실시간 스트림과 비실시간 스트림과의 서비스 시그널링 및 동기화 정보와 관련된 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화된다.
실시간 영상 디코더(620)는 역다중화기(610)에서 역다중화된 실시간 스트림을 입력으로 받아 디코딩을 수행하여 기준 영상을 실시간으로 생성한다. 생성된 기준 영상은 렌더러(650)로 전송되어 이후 부가 영상과 합성되어 3D 입체 영상을 생성한다.
서비스 시그널링 및 영상 동기화 정보 파서(630)는 실시간 콘텐츠(실시간 스트림을 기반으로 디코딩한 콘텐츠(기준 영상 포함))에 대한 정보 및 비실시간 콘텐츠(603) 정보의 전송 여부를 판단한다. 비실시간 콘텐츠(603)가 전송 중인 경우, 해당 TS에 대한 정보를 획득할 수 있다. 상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP를 포함할 수 있다. 또한, 상기 서비스 시그널링 및 영상 동기화 정보에 포함된 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)에 기재되어 있는 서비스 시그널링 및 동기화 정보를 NRT 서비스 매니저(643)에 전달할 수 있다. 여기서 이벤트 맵 테이블, 프로그램 맵 테이블(PMT) 및 비실시간 정보 테이블 중 적어도 어느 하나는 전술한 바와 같이, 다양한 콘텐츠(파일) 접근 및 재생과 관련하여 기존 서술자의 확장 정의 및 신규 서술자를 이용할 수 있다(표 1 및 표 2 참조).
비실시간 영상 디코더(640)는 역다중화기(610)에서 역다중화된 비실시간 스트림을 입력으로 받아 디코딩을 수행하여 부가 영상을 비실시간으로 생성한다. 이후, 생성된 부가 영상을 실시간 영상 디코더(620)에서 디코딩된 기준 영상과 프로세싱하여 3D 입체 영상을 생성할 수 있다. 비실시간 영상 디코더(640)는 NRT 디코더(641), NRT 서비스 매니저(643), 콘텐츠 저장부(645), NRT 파일 파서(647) 및 비디오 디코더(649)를 포함할 수 있다.
NRT 디코더(641)는 역다중화기(610)에서 역다중화된 비실시간 스트림을 기반으로 NRT 시그널링 정보(601) 및 비실시간 콘텐츠(603)를 획득한다. 이때, 비실시간 스트림은 DSMCC-Addressable Section으로 전달된 FLUTE 패킷일 수 있다. NRT 디코더는 상기 FLUTE 패킷을 디코딩하여 NRT 시그널링 정보(601) 및 비실시간 콘텐츠(603)를 생성한다. NRT 시그널링 정보는 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)를 포함하고, 이를 통해 획득한 NRT 서비스 구성 정보는 NRT 서비스 매니저(643)에 전송된다. 또한, NRT 디코더(641)를 통해 획득된 비실시간 콘텐츠(603)가 사용자가 예약한 콘텐츠일 경우, 상기 콘텐츠는 수신 장치의 콘텐츠 저장부(645)에 저장될 수 있다.
NRT 서비스 매니저(643)는 NRT 시그널링 정보를 통해 획득한 NRT 서비스 구성 정보를 기반으로 콘텐츠 저장부(645)에 저장된 콘텐츠 중 프로그램 연동형 스테레오스코픽 방송 서비스 구성을 위한 파일을 로딩하기 위한 정보를 상기 콘텐츠 저장부(645)에 전송한다. 또한, 서비스 시그널링 및 영상 동기화 정보 파서(630)에서 획득한 서비스 및 동기화 정보와 상기 NRT 시그널링 정보를 기반으로 상기 파일에서 동기화가 이루어질 구간을 계산하여 NRT 파일 파서(647)에 동기화 구간 정보를 전송한다. 여기서, NRT 시그널링 정보는 전술한 바와 같이 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)을 포함하고, 상기 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)은 수신 장치에서의 3D 콘텐츠(파일)로의 접근 및 재생 등과 관련된 시그널링을 위해 기존 서술자 확장 정의 및 신규 서술자를 이용할 수 있다(표 3 내지 표 5 참조).
콘텐츠 저장부(645)는 NRT 디코더(641)에서 디코딩된 비실시간 콘텐츠(641)를 저장할 수 있다. 상기 비실시간 콘텐츠(641)는 NRT 파일 파서(647)와 비디오 디코더(649)를 통해 동기화 및 디코딩될 수 있다. 콘텐츠 저장부(645)는 플레시 메모리와 같은 저장 장치일 수 있다.
NRT 파일 파서(647)는 NRT 서비스 매니저(643)로부터 전달받은 동기화 구간에 해당하는 부분만을 콘텐츠 저장부(645)로부터 추출하고 파싱하여 비디오 디코더(649)로 전송한다.
비디오 디코더(649)는 상기 NRT 파일 파서(647)에서 파싱된 부분의 콘텐츠를 디코딩하여 부가 영상을 생성하고, 상기 디코딩된 부가 영상은 렌더러(650)로 전송된다.
렌더러(650)는 실시간 영상 디코더(620)에서 실시간으로 생성된 기준 영상과 비실시간 영상 디코더(640)에서 비실시간으로 생성된 부가 영상을 함께 렌더링하여 3D 입체 영상을 생성하여 스테레오스코픽 서비스를 제공한다.
도 7은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치에서 프로그램 연동형 스테레오스코픽 방송 서비스 동기화 방법을 설명하기 위한 개념도이다. 도 7에 도시된 바와 같이, 실시간 PES 스트림(710 : 실시간 스트림을 의미함)과 저장된 콘텐츠 AU(720 : 비실시간 콘텐츠 AU를 의미함)의 동기화를 위해 타임 스탬프 정보(702: FirstAUTimeStamp)를 이용할 수 있다.
도 7을 참조하면, 실시간 PES 스트림(710)과 저장된 콘텐츠 AU(720)는 SNRT 프로그램 서술자(SNRT_program_descriptor)에 정의된 타임 스탬프 정보(702: FirstAUTimeStamp)를 이용하여 동기화할 수 있다. 상기 타임 스탬프 정보(702: FirstAUTimeStamp)는 인코더 혹은 송출 서버에서 3DTV 방송 서비스의 시작 AU의 타임 스탬프(Time Stamp(예컨대, PTS 혹은 DTS(714))) 값을 저장하여 생성된다. 수신 장치는 이를 분석하여 도 7과 같이, 실시간 PES 스트림(710)의 타임 스탬프(702)와 현재 프레임과의 비교를 수행, 그 차이를 계산한다. 그리고는 해당 프레임과의 상기 차이를 이용하여 저장된 파일의 해당 동기 프레임을 찾는다. 그리고는 동기 프레임 정보를 이용하여 저장된 콘텐츠 AU(720)와 실시간 PES 스트림(710) 간의 영상을 동기화하여 제공한다.
상기와 같은 방식을 통해 3DTV 방송서비스의 시작 시간을 동기 시킬 수 있다. 이러한 방법은 타임 스탬프 정보(702: FirstAUTimeStamp)가 실시간 PES 스트림(710)의 실제 3DTV 방송서비스 시작 AU에 대한 타임 스탬프(Time Stamp)를 표시하고 있기 때문에 3DTV 서비스가 시작된 후에도 실시간 PES 스트림(710)에 포함된 타임 스탬프(702)와의 비교를 통해 간단하게 저장된 콘텐츠 AU(720)의 동기 프레임을 찾을 수 있는 장점을 갖는다.
또한, 전술한 바와 같이 다음과 같은 좌우영상 동기화 기술 개발에 있어 고려 사항이 있을 수 있다. 먼저, 타임 스탬프 정보(702: FirstAUTimeStamp)를 삽입할 수 있다. 좌 또는 우영상의 실제 시작 AU의 타임 스탬프(Time Stamp) 값을 나타낸 것으로 이를 위해서는 인코더 개발 또는 송출 서버에서 정확한 좌우 영상 시작 시점을 알려 주어야 한다. 또한, 수신기 Wake-up 시점 정보를 제공할 수 있다. 실시간 전송 스트림과 동기를 위해서는 수신기에서 미리 관련 부가영상 파일을 로딩해야 하므로 미리 파일 로딩을 위한 wake-up 시점을 알려 주어야 한다.
도 8a 및 8b은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치의 비실시간 콘텐츠를 획득하는 과정 및 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 실시예에 있어서, 프로그램 맵 테이블(PMT)은 실질적으로 이벤트 정보 테이블(EIT)일 수 있다. 또한, SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)는 프로그램 맵 테이블(PMT), 이벤트 정보 테이블(EIT) 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나에 포함될 수 있다. 본 실시예에서는 프로그램 맵 테이블(PMT)에 속하는 것으로 간주한다.
도 8a 및 8b를 참조하면, 본 발명의 다른 실시예에 따른 방송 수신 장치는 크게 비실시간 콘텐츠를 획득하는 단계와 실시간 콘텐츠로부터 기 전달된 비실시간 콘텐츠를 연동하여 프로그램 연동형 방송 스테레오스코픽 서비스를 구성하는 단계로 구분하여 프로그램 연동형 방송 스테레오스코픽 서비스를 제공한다.
(1) 비실시간 콘텐츠를 획득하는 단계
① 비실시간 콘텐츠를 MPEG-2 TS 기반으로 획득하는 과정
수신한 MPEG-2 TS로부터 TVCT를 찾고 연동형 서비스를 구성할 NRT 서비스를 찾기 위해 서비스 타입(service_type), 비실시간(NRT) 서비스로 확인된 채널의 채널 TSID(channel_TSID) 및 프로그램 번호(program_number)를 분석하여 프로그램 연관 테이블(PAT: Program Association Table) 정보를 획득한다(801). 획득한 프로그램 연관 테이블(PAT)로부터 분석한 프로그램 번호(program_number) 및 프로그램 PID(program_map_pid)를 확인하여 프로그램 맵 테이블(PMT) 정보를 획득한다(802). PMT 파서에는 비실시간(NRT) 서비스를 위한 프로그램 맵 테이블(PMT)과 실시간 방송에 해당하는 프로그램 맵 테이블(PMT)이 입력되며, PMT 파서는 입력되는 프로그램 맵 테이블(PMT)의 종류에 따라 다른 처리를 수행한다(803). 비실시간(NRT) 서비스를 위한 프로그램 맵 테이블(PMT)인 경우 비실시간(NRT) 서비스를 전송하는 PID 및 service ID list를 확인한다(804). TS로부터 비실시간으로 전송되는 비실시간(NRT) 서비스를 위한 패킷을 수신한다(805). 비실시간(NRT) 서비스에 해당하는 패킷의 디패킷타이징 및 DSMCC Addressable Section으로 구성된 데이터그램을 파싱한다(806). 이후 수신 장치에서 NRT 매커니즘을 기반으로 전달된 콘텐츠를 처리하는 과정은 크게 비실시간(NRT) 서비스 정보를 획득하는 과정과 실제 비실시간(NRT) 서비스를 구성하는 파일 데이터를 수신하는 과정으로 구분된다.
② NRT 콘텐츠에 대한 서비스 정보를 획득하는 과정
먼저 비실시간(NRT) 서비스 정보를 획득하기 위하여 수신 장치는 데이터그램의 헤더를 분석하여 IP=224.0.23.60:4937에 해당되면 SSC(service signaling channel)로 인식한다(807). SSC로 전송된 패킷을 분석하여 서비스 맵 테이블(SMT)을 찾고 서비스 맵 테이블(SMT)을 파싱하여 서비스 관련 정보, 서비스와 관련된 비실시간 정보 테이블(NRT-IT), FLUTE session 정보 획득한다(808).
서비스 맵 테이블(SMT) 분석을 통해 획득한 비실시간 정보 테이블(NRT-IT) 관련 정보를 바탕으로 서비스 구성에 필요한 비실시간 정보 테이블(NRT-IT)을 수신 후 파싱하여 각 콘텐츠 아이템의 정보, content linkage 정보, 다운로드를 위한 정보 및 디스크립터 정보 등을 획득한다. 먼저, 지원 서술자(Capability descriptor)를 분석하여 지원 가능(capability) 리스트(3D 스테레오스코픽 콘텐츠 여부, download protocol, 래퍼/취득 포맷(wrapper/archive format), 미디어 타입(media type) 등)를 확인하여 수신 장치에서 서비스 제공 가능 여부를 판단한다. 다음으로, Time_slot descriptor로부터 각 콘텐츠 아이템(content item)별 타임 슬롯(time slot)의 시작시간, 길이(duration 정보), 반복 전송될 경우 타임 슬롯의 반복 주기, 반복 횟수 등 콘텐츠 다운로드를 위한 정보를 획득한다. 또한, Play_info descriptor를 분석하여 추후 연동형 서비스를 구성하게 될 정보를 획득한다(809). 상기 과정을 거쳐 획득한 콘텐트 다운로드를 위한 기본 정보 및 서비스를 위한 재생 관련 정보는 NRT Service Download Manager로 전달된다(810).
③ NRT로 전송되는 파일을 획득하는 과정
다음으로 실제 비실시간(NRT) 서비스를 구성하는 파일을 획득하기 위하여 수신기는 SSC 채널이 아닌 패킷을 FLUTE 파서로 전달한다(811). FLUTE 파서에서는 전달된 패킷 파싱 후, TOI = 0이면, 해당 패킷을 FDT 파서로 전달한다(812). FDT 파서는 XML로 구성된 FDT를 분석하여 해당 FLUTE 세션 정보 및 세션을 통해 전송되는 파일들에 대한 정보를 획득한다(813). FDT 분석을 통해 획득한 TOI 및 Content_linkage 정보가 NRT Service Download Manager에 전달된다(814). 여기서, NRT Service Download Manager와 이후 나오는 NRT Service(Sync) Manager는 앞서 설명한 도 6의 NRT 서비스 매니저(643)에 포함되는 구성요소이다. NRT Service Download Manager는 FLUTE 세션을 통해 수신해야 할 파일들에 대한 정보를 FLUTE 파서에 전달한다(815). 또한 NRT Service Download Manager는 다운로드한 3D 콘텐츠에 대해서 비실시간 정보 테이블(NRT-IT)에서 획득한 재생 관련 정보를 NRT Service(Sync) Manager로 전달한다(816). FLUTE 파서는 다운로드해야 해야하는 파일에 대한 데이터 블록만을 수신하여 파일 재구성 버퍼(File Reconstruction Buffer)에 저장한다(817). 파일 재구성 버퍼는 송신측에서 전달하는 파일 복원 및 파일을 저장할 경로 및 이용에 대한 정보를 생성하여 해당 파일을 플래시 메모리와 같은 파일 저장소에 저장한다(818).
(2) 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정
사용자가 연동형 서비스가 가능한 채널을 선택하면, 실시간 방송 구성을 위한 프로그램 맵 테이블(PMT)이 PMT 파서에 전달되며, 프로그램 맵 테이블(PMT)에서 프로그램 관련 정보 및 기본 스트림(elementary stream) 관련 정보를 분석한다(819). 이 단계(819)에서, 실시간 스트림과 비실시간으로 기 전송된 파일을 이용하여 3D 스테레오 스코픽 서비스를 제공하기 위해 먼저 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 분석하여 2D/3D 서비스 유무, 비실시간으로 전송된 파일과 연동되는 서비스인지 등을 파악하고 실시간 프로그램의 진행 시간에 대한 정보를 획득한다. 또한 3D 서비스 구성을 위해 현재 실시간으로 전송중인 비디오 스트림에 대한 좌/우 영상에 대한 정보 및 해당 영상에 동기화가 이뤄질 비실시간 파일 정보 등을 획득한다. 상기 기술한 정보들은 프로그램 맵 테이블(PMT) 파싱 후, NRT Service(Sync) Manager로 전달된다(820).
NRT Service(Sync) Manager는 전달된 정보를 바탕으로 연동형 3D 서비스 구성 가능 여부를 판단하고 서비스 이용 가능할 경우 비실시간 파일 로딩 및 동기화 정보를 계산한다. NRT Service(Sync) Manager는 실시간 비디오 스트림과 연동형 서비스를 구성하기 위한 비실시간 파일을 로딩하기 위한 정보(저장 경로 및 파일 명)를 파일 저장소(플래시 메모리일 수 있음)에 전달한다(821). 파일 파서는 비실시간 파일을 파싱하고(822), 이때 파일로부터 동기화를 위한 정보를 획득할 수 있는 경우, 해당 정보를 NRT Service(Sync) Manager에 전달한다(822'). NRT Service(Sync) Manager는 분석한 동기화 정보(타임 스탬프 정보(FirstAUTimeStamp) 등)를 바탕으로 동기화를 시작할 AU를 계산하여 해당 정보를 파일 파서에 전달한다(823). 파일 파서는 NRT Service(Sync) Manager로부터 전달된 동기화할 AU 정보를 바탕으로 파일에서 해당 부분부터 파일을 디코딩하여 ES 버퍼로 전달한다(824).
실시간 방송 구성을 위한 프로그램 맵 테이블(PMT) 분석을 통해 알아낸 오디오 및 비디오 관련 PID 정보를 이용하여 실시간 TS로부터 오디오 스트림과 비디오 스트림에 해당하는 패킷 수신 및 디패킷타이징을 수행한다(825). TS 패킷 파서, PES 패킷 파서를 거쳐 오디오 ES와 비디오 ES는 각각 오디오 ES 버퍼, 비디오 ES 버퍼 및 디코더로 전달된다(826). 실시간 TS로부터 디코딩된 ES들과 비실시간 파일로부터 디코딩된 ES가 렌더러에 전달되어 사용자에게 비실시간(NRT) 프로그램 연동형 기반 스테레오스코픽 서비스를 제공한다(827).
프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법
도 9는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법을 개략적으로 나타낸 흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법은 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계(910), 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계(920), 상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코딩 단계(930), 상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코딩 단계(940) 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계(950)를 포함하되, 상기 비실시간 영상 디코딩 단계(940)는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서,
    기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더;
    부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코더;
    3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및
    상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  2. 제 1 항에 있어서,
    상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 비실시간(NRT) 콘텐츠를 저장 및 관리하고,
    상기 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하여 비실시간으로 상기 스케줄에 따라 상기 비실시간 콘텐츠를 상기 재다중화기로 전송하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  3. 제 2 항에 있어서, 상기 비실시간 스트림 인코더는
    상기 부가 영상을 기반으로 하는 상기 비실시간 콘텐츠를 저장 및 관리하는 비실시간 콘텐츠 관리부;
    상기 비실시간 콘텐츠의 비실시간 영상을 입력받아 인코딩을 수행하여 상기 비실시간 스트림을 생성하는 NRT 콘텐츠 인코더; 및
    상기 비실시간 콘텐츠와 관련된 정보 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구성 정보를 수신기에 전송하기 위해, NRT 시그널링 정보를 생성하는 NRT 시그널링 정보 인코더를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  4. 제 3 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고,
    상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  5. 제 4 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는,
    상기 송신 장치에서 제공하는 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및
    상기 프로그램 연동형 스테레오스코픽 서비스 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  6. 제 4 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는,
    상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및
    상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  7. 제 4 항에 있어서,
    상기 서비스 맵 테이블 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신기에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오 스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는,
    상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및
    3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  8. 제 4 항에 있어서,
    상기 비실시간 정보 테이블은 상기 수신기에 전송되는 상기 비실시간 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는,
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  9. 제 3 항에 있어서, 상기 프로그램 맵 테이블은
    상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  10. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법에 있어서,
    기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계;
    부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계;
    3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계; 및
    상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법.
  11. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치에 있어서,
    프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화기;
    상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코더;
    상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코더;
    상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파서; 및
    상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더러를 포함하되,
    상기 비실시간 영상 디코더는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  12. 제 11 항에 있어서, 상기 비실시간 영상 디코더는
    상기 비실시간 스트림을 수신하여 NRT 시그널링 정보 및 비실시간 콘텐츠를 생성하는 NRT 디코더;
    상기 생성된 비실시간 콘텐츠를 저장하고 있는 콘텐츠 저장부;
    상기 NRT 시그널링 정보를 통해 획득되는 NRT 서비스 구성 정보를 기반으로 상기 저장된 콘텐츠 중 서비스 관련 콘텐츠의 로딩을 위한 정보를 상기 콘텐츠 저장부로 전달하고, 상기 서비스 시그널링 및 영상 동기화 정보를 기반으로 상기 서비스 관련 콘텐츠에서 동기화가 이루어질 구간을 계산하여 동기화 구간 정보를 생성하는 NRT 서비스 매니저; 및
    상기 동기화 구간 정보를 기반으로 상기 서비스 관련 콘텐츠 중 동기화 구간에 해당하는 부분을 파싱하여 상기 부가 영상을 생성하는 NRT 파일 파서를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  13. 제 12 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고,
    상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치.
  14. 제 13 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는,
    상기 수신 장치가 수신한 스트림과 관련된 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  15. 제 13 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는,
    상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및
    상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  16. 제 13 항에 있어서,
    상기 서비스 맵 테이블 및 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신 장치에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는,
    상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및
    3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  17. 제 13 항에 있어서,
    상기 비실시간 정보 테이블은 상기 수신 장치에 전송되는 상기 3D NRT 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는,
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  18. 제 13 항에 있어서, 상기 상기 서비스 시그널링 및 영상 동기화 정보는
    상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  19. 제 15 항에 있어서,
    상기 비실시간 영상 디코더는 상기 타임 스탬프 정보를 기반으로 현재 프레임과 상기 타임 스탬프 정보가 가리키는 시점과의 시간 차이를 계산하여 상기 저장된 콘텐츠와 상기 실시간 콘텐츠와의 동기화를 제공하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  20. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법에 있어서,
    프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계;
    상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계;
    상기 실시간 스트림을 기반으로 실시간으로 상기 기준 영상을 생성하는 실시간 영상 디코딩 단계;
    상기 비실시간 스트림을 기반으로 비실시간으로 상기 부가 영상을 생성하는 비실시간 영상 디코딩 단계; 및
    상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계를 포함하되,
    상기 비실시간 영상 디코딩 단계는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법.


KR1020120024669A 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 KR20120103510A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2012/001762 WO2012121572A2 (ko) 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
EP12755204.0A EP2685729A4 (en) 2011-03-10 2012-03-09 TRANSMISSION DEVICE AND METHOD FOR PROVIDING A BROADCASTING SERVICE ASSOCIATED WITH A PROGRAM, AND RECEIVING DEVICE AND METHOD THEREFOR
US14/003,942 US20130342648A1 (en) 2011-03-10 2012-03-09 Transmisson apparatus and method and reception apparatus and method for providing program associated stereoscopic broadcasting service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110021551 2011-03-10
KR20110021551 2011-03-10

Publications (1)

Publication Number Publication Date
KR20120103510A true KR20120103510A (ko) 2012-09-19

Family

ID=47111536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024669A KR20120103510A (ko) 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법

Country Status (4)

Country Link
US (1) US20130342648A1 (ko)
EP (1) EP2685729A4 (ko)
KR (1) KR20120103510A (ko)
WO (1) WO2012121572A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015065104A1 (en) * 2013-11-01 2015-05-07 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US9271017B2 (en) 2013-10-30 2016-02-23 Electronics And Telecommunications Research Institute Apparatus and method for transmitting and receiving broadcasting
WO2016039571A1 (ko) * 2014-09-11 2016-03-17 엘지전자 주식회사 방송 신호 송신 방법, 방송 신호 송신 장치, 방송 신호 수신 방법 및 방송 신호 수신 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954492B1 (en) * 2011-11-30 2015-02-10 F5 Networks, Inc. Methods for inlining content externally referenced in a web page prior to providing the web page to a requestor and devices thereof
WO2013162256A1 (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 3ｄ 서비스를 위한 신호 처리 장치 및 방법
CN109889888B (zh) * 2013-06-05 2022-04-01 太阳专利托管公司 再现方法、装置及生成方法、装置
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
CN106134203A (zh) * 2014-04-30 2016-11-16 Lg电子株式会社 广播信号发送装置、广播信号接收装置、广播信号发送方法、和广播信号接收方法
WO2016035348A1 (en) * 2014-09-05 2016-03-10 Sharp Kabushiki Kaisha Syntax and semantics for device capabilities
US10678216B2 (en) * 2017-02-28 2020-06-09 Sap Se Manufacturing process data collection and analytics
US10558197B2 (en) 2017-02-28 2020-02-11 Sap Se Manufacturing process data collection and analytics

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100905723B1 (ko) 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100958653B1 (ko) * 2007-08-07 2010-05-20 한국전자통신연구원 디지털 방송 송수신 장치 및 방법
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
KR101305789B1 (ko) 2009-01-22 2013-09-06 서울시립대학교 산학협력단 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
KR101311982B1 (ko) * 2009-06-15 2013-09-30 에스케이텔링크 주식회사 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9271017B2 (en) 2013-10-30 2016-02-23 Electronics And Telecommunications Research Institute Apparatus and method for transmitting and receiving broadcasting
WO2015065104A1 (en) * 2013-11-01 2015-05-07 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US10313716B2 (en) 2013-11-01 2019-06-04 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US10652598B2 (en) 2013-11-01 2020-05-12 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US11070858B2 (en) 2013-11-01 2021-07-20 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
WO2016039571A1 (ko) * 2014-09-11 2016-03-17 엘지전자 주식회사 방송 신호 송신 방법, 방송 신호 송신 장치, 방송 신호 수신 방법 및 방송 신호 수신 장치

Also Published As

Publication number Publication date
EP2685729A2 (en) 2014-01-15
EP2685729A4 (en) 2014-08-13
WO2012121572A3 (ko) 2012-11-15
WO2012121572A2 (ko) 2012-09-13
US20130342648A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
KR20120103510A (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US11678022B2 (en) Transmission device, transmission method, reception device, and reception method
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US20110010739A1 (en) Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
US20140293005A1 (en) Method and system for transmitting/receiving 3-dimensional broadcasting service
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
KR101781873B1 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
KR101781887B1 (ko) 방송 신호 송수신 방법 및 장치
KR101789633B1 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신장치
US20130342649A1 (en) Apparatus and method for transmitting and receiving non-real-time stereoscopic broadcasting service
KR101842201B1 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
US9426506B2 (en) Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
KR101790526B1 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
KR101790525B1 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
KR20180040571A (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3280147A1 (en) Method and apparatus for transmitting and receiving broadcast signal
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
Kwon et al. Program associated 3D non-real-time service on terrestrial DTV
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR20140026246A (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid