WO2012121572A2 - 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 - Google Patents

프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 Download PDF

Info

Publication number
WO2012121572A2
WO2012121572A2 PCT/KR2012/001762 KR2012001762W WO2012121572A2 WO 2012121572 A2 WO2012121572 A2 WO 2012121572A2 KR 2012001762 W KR2012001762 W KR 2012001762W WO 2012121572 A2 WO2012121572 A2 WO 2012121572A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
service
program
video
real time
Prior art date
Application number
PCT/KR2012/001762
Other languages
English (en)
French (fr)
Other versions
WO2012121572A3 (ko
Inventor
임현정
정광희
권형진
이광순
윤국진
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP12755204.0A priority Critical patent/EP2685729A4/en
Priority to US14/003,942 priority patent/US20130342648A1/en
Publication of WO2012121572A2 publication Critical patent/WO2012121572A2/ko
Publication of WO2012121572A3 publication Critical patent/WO2012121572A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/40—Aspects of broadcast communication characterised in that additional data relating to the broadcast data are available via a different channel than the broadcast channel

Definitions

  • the present invention relates to a transmitting apparatus and method for providing a broadcast service, and a receiving apparatus and method, and more particularly, to a transmitting apparatus and method for providing a program-linked stereoscopic broadcast service, and a receiving apparatus and method. will be.
  • ATSC Advanced Television Systems Committee
  • NRT Non-Real-Time
  • NRT includes a technology that allows viewers to use the desired content at the desired time, breaking away from the existing service method that the content provider unilaterally delivers.
  • NRT service is delivered in one virtual channel along with real-time broadcasting channel, and contents delivered by terrestrial network are IP based FLUTE (File Delivery over Unidirectional Transport, IETF: RFC 3926) using DSM-CC Addressable Section specification. It is encapsulated into data and sent to the receiver.
  • ATSC NRT uses specific IP address and port number (224.0.23.60: 4937) called SSC (Service Signaling Channel) to signal broadcast content delivered through FLUTE protocol, and uses this SSC channel to service map table (SMT). It delivers special tables such as Service Map Table) and Non Real Time-Information Table (NRT-IT).
  • SMT Service Map Table
  • NRT-IT Non Real Time-Information Table
  • the service map table (SMT) is a service for connecting with FLUTE session information (TSI: Transport Session Identification, IP address, UDP port number, etc.) and non-real time information table (NRT-IT) for acquiring NRT service. It contains information such as ID, Consumption Model, and Capability to determine whether the service can be expressed in the receiver.
  • NRT-IT non-real time information table
  • content_linkage Content linking information
  • the current standard is described on the basis of the case of using the contents delivered in real time independently, and does not describe a specific method used in association with other broadcasting services including a real time stream.
  • the current standard includes only non-real-time services based on 2D content, and discussions are underway to provide 3D services in the next standard.
  • Another conventional technology is a method for performing a non-real time stereoscopic service in terrestrial digital multimedia broadcasting and a terrestrial digital multimedia broadcasting receiver described in Korean Patent Publication No. 2010-0086440 (published on July 30, 2010).
  • the above technology proposes a scenario for a non-real time stereoscopic service, a stereoscopic service descriptor (SS_descriptor) for the same, and a method for synchronizing a stored image with a real time image.
  • this technology provides a service by transmitting both a reference video and an additional video in real time, and does not include a service in which the reference video is delivered in real time and the additional video is delivered in non-real time.
  • Patent Document 1 Republic of Korea Patent Publication KR 10-2008-0053175 ("Non-real-time digital realistic broadcasting transmission and reception system and method", Korea Electronics and Telecommunications Research Institute, published on June 12, 2008)
  • An object of the present invention for solving the above problems is to provide a transmission apparatus and method, and a receiving apparatus and method for providing a three-dimensional broadcast in real time, while providing backward compatibility with the existing broadcast.
  • An object of the present invention is to provide a transmission apparatus and method, and a receiving apparatus and method for providing a 3D service by synchronizing with the reference image transmitted in real time by transmitting the additional image based on the non-real time mechanism and stored in the receiver.
  • a transmitter for a program-linked stereoscopic broadcast service for achieving the above object includes a transmitter for a program-linked stereoscopic broadcast service, comprising: a real time stream encoder for generating a real time stream by encoding a reference video; A non-real time stream encoder for generating a non-real time (NRT) stream based on the additional video; Service signaling and video synchronization information for synchronizing the base view video with the additional view video based on 3D content synchronization information-The service signaling and video synchronization information may include an event information table (EIT) and a program map table (PMT: Program).
  • EIT event information table
  • PMT program map table
  • Map table a video synchronization information generator for generating a stream; And a remultiplexer for generating a program-linked stereoscopic broadcast stream by multiplexing the real time stream, the non-real time stream, and the service signaling and video synchronization information stream.
  • the non-real-time stream encoder stores and manages non-real-time (NRT) content based on the additional video, creates a schedule for transmitting the non-real-time content, and stores the non-real-time content according to the schedule in non-real-time. Can be sent to the remultiplexer.
  • NRT non-real-time
  • the non-real-time stream encoder may include a non-real-time content manager configured to store and manage the non-real-time content based on the additional video; An NRT content encoder that receives the non-real time video of the non-real time content and encodes the same to generate the non-real time stream; And an NRT signaling information encoder for generating NRT signaling information to transmit information related to the non-real-time content and configuration information of the program-linked stereoscopic broadcast service to a receiver.
  • the service signaling and video synchronization information includes PSI / PSIP information (PSI: Program Specific Information / PSIP: Program and Service Information Protocol), and the NRT signaling information includes a service map table (SMT) and non-real time information. It may include a table (NRT-IT: Non Real Time-Information Table).
  • At least one of the service signaling and video synchronization information and the NRT signaling information includes a SNRT program descriptor (SNRT_Program_descriptor), wherein the SNRT program descriptor indicates that a service provided by the transmitting apparatus is monoscopic or the program linked stereo.
  • a service flag (StereoMono_serviceFlag) indicating the division of the scoping service;
  • Service type information (NRT_Service_type) indicating a 3D broadcast service type for signaling that the program is a linked stereoscopic broadcast service;
  • time stamp information FirstAUTimeStamp indicating a timestamp of the program-linked stereoscopic service start time.
  • At least one of the service signaling and image synchronization information and the NRT signaling information includes information on whether the reference image is a left image or a right image and link information on an additional image synchronized with the reference image.
  • a descriptor (PA_SNRT_ES_Info_desciptor), wherein the SNRT ES information descriptor includes a field (view_flag) for signaling whether the reference video is a left video or a right video; And a file location information field (URI / FileName) for loading a non-real time content file associated with the additional view video synchronized with the base view video.
  • At least one of the service map table and the non-real time information table includes a support descriptor (Capabilities_descriptor) for downloading only the non-real time content supported by the receiver to enable the program-linked stereoscopic broadcast service.
  • the support descriptor may include a support category including a code for service compatibility and frame feedback capable of signaling the 3D content configuration information; And a wrapper / archive format category, which is code for signaling a 3D file format.
  • the non-real-time information table includes a stereoscopic-related information descriptor (Stereoscopic_Related_info_desciptor) for supporting determining that the non-real-time content transmitted to the receiver is content for the program-linked stereoscopic broadcast service.
  • the information descriptor may include a TSID (Tranport Session Identification) of a reference video that will configure the program-linked stereoscopic broadcast service; A program number of a reference picture that will constitute the program-linked stereoscopic broadcast service; A program identification (PID) of a reference video that will constitute the program-linked stereoscopic broadcast service; And an expected start time of the program-linked stereoscopic broadcast service.
  • TSID Transmission Session Identification
  • the program map table may include receiver wake-up view information for loading the related additional image file in advance in the receiver to synchronize the reference image and the additional image.
  • a transmission method for a program-linked stereoscopic broadcast service for achieving the above object includes a method for transmitting a program-linked stereoscopic broadcast service, comprising: a real time stream encoding step of encoding a reference video to generate a real time stream; A non-real-time stream encoding step of generating a non-real-time (NRT) stream based on the additional video; Service signaling and video synchronization information for synchronizing the base view video with the additional view video based on 3D content synchronization information-The service signaling and video synchronization information may include an event information table (EIT) and a program map table (PMT: Program).
  • EIT event information table
  • PMT program map table
  • Map table -generating image synchronization information for generating a stream; And a remultiplexing step of generating a program-linked stereoscopic broadcast stream by multiplexing the real time stream, the non-real time stream, and the service signaling and video synchronization information stream.
  • a reception device for a program-linked stereoscopic broadcast service for achieving the above object is a reception device for a program-linked stereoscopic broadcast service, and receives a program-linked stereoscopic broadcast stream to receive a real-time stream, a non-real-time stream, and a service.
  • a demultiplexer for demultiplexing into signaling and video synchronization information streams;
  • a real time video decoder configured to generate a reference video in real time based on the real time stream;
  • a non-real time image decoder configured to generate an additional image in non real time based on the non real time stream;
  • Service signaling and video for generating an event information table (EIT) and a program map table (PMT) for synchronizing the reference video and the additional video based on the service signaling and the video synchronization information stream.
  • EIT event information table
  • PMT program map table
  • a synchronization information parser for reproducing a 3D stereoscopic image based on the reference image and the additional image, wherein the non-real-time image decoder considers synchronization with the reference image based on the event information table and the program map table.
  • An additional image may be generated.
  • the NRT decoder may include an NRT decoder configured to receive the NRT stream to generate NRT signaling information and NRT content; A content storage unit for storing the generated non-real-time content; Based on the NRT service configuration information obtained through the NRT signaling information, information for loading a service related content among the stored contents is transmitted to the content storage unit, and the service related content is based on the service signaling and image synchronization information.
  • An NRT service manager which calculates section to be synchronized and generates synchronization section information; And an NRT file parser configured to parse the portion corresponding to the synchronization section of the service-related content based on the synchronization section information to generate the additional video.
  • the service signaling and video synchronization information includes PSI / PSIP information (PSI: Program Specific Information / PSIP: Program and Service Information Protocol), and the NRT signaling information includes a service map table (SMT) and non-real time information. It may include a table (NRT-IT: Non Real Time-Information Table).
  • At least one of the service signaling and video synchronization information and the non-real-time information table includes a SNRT program descriptor (SNRT_Program_descriptor), wherein the SNRT program descriptor indicates that a service related to a stream received by the receiving device is monoscopic or the A service flag (StereoMono_serviceFlag) indicating a division of a program-linked stereoscopic broadcast service; Service type information (NRT_Service_type) indicating a 3D broadcast service type for signaling that the program is a linked stereoscopic broadcast service; And time stamp information FirstAUTimeStamp indicating a timestamp of a start time of the program-linked stereoscopic broadcast service.
  • SNRT_Program_descriptor indicates that a service related to a stream received by the receiving device is monoscopic or the A service flag (StereoMono_serviceFlag) indicating a division of a program-linked stereoscopic broadcast service
  • Service type information NRT_Service_type
  • At least one of the service signaling and video synchronization information and the non-real-time information table includes SNRT ES including information on whether the reference video is a left video or a right video and link information about an additional video synchronized with the reference video.
  • An information descriptor (PA_SNRT_ES_Info_desciptor), wherein the SNRT ES information descriptor includes a field (view_flag) for signaling whether the reference video is a left video or a right video; And a file location information field (URI / FileName) for loading a non-real time content file associated with the additional view video synchronized with the base view video.
  • At least one of the service map table and the non-real-time information table includes a support descriptor (Capabilities_descriptor) for downloading only the non-real-time content supported by the receiving device to enable the program-linked stereoscopic broadcast service.
  • the support descriptor may include a support category including a code for service compatibility and frame feedback capable of signaling the 3D content configuration information; And a wrapper / archive format category, which is code for signaling a 3D file format.
  • the non-real time information table includes a stereoscopic related information descriptor (Stereoscopic_Related_info_desciptor) for supporting determining that the 3D NRT content transmitted to the receiving device is the content for the program linked stereoscopic broadcast service, and the stereoscopic
  • the related information descriptor may include a TSID (Tranport Session Identification) of a reference video that will constitute the program-linked stereoscopic broadcast service; A program number of a reference picture that will constitute the program-linked stereoscopic broadcast service; A program identification (PID) of a reference video that will constitute the program-linked stereoscopic broadcast service; And an expected start time of the program-linked stereoscopic broadcast service.
  • TSID Transmission Session Identification
  • the service signaling and video synchronization information may include receiver wake-up view information for loading the related additional video file in advance in synchronization with the reference video and the additional video.
  • the non-real time image decoder may provide a synchronization between the stored content and the real time content by calculating a time difference between a current frame and a time point indicated by the time stamp information based on the time stamp information.
  • Receiving method for a program-linked stereoscopic broadcast service for achieving the above object is a reception method for a program-linked stereoscopic broadcast service, the real-time stream, non-real-time stream and service by receiving a program-linked stereoscopic broadcast stream Demultiplexing to demultiplex into a signaling and video synchronization information stream; Service signaling and video synchronization information for generating an event information table (EIT) and a program map table (PMT) for synchronizing a base view video and an additional view based on the service signaling and video synchronization information stream.
  • EIT event information table
  • PMT program map table
  • an additional video is delivered in advance in digital broadcasting and stored in a receiver, and the image and the stored content are delivered in real time later.
  • the reference video is transmitted using the existing 2DTV broadcasting system
  • the additional video is the ATSC NRT transmission mechanism
  • the ATSC NRT service mechanism is provided while providing a high-definition AV service in real time based on one RF signal. Through this, it is possible to provide 3D stereoscopic service.
  • FIG. 1 is a conceptual diagram illustrating a concept of a program-linked stereoscopic broadcast service according to an embodiment of the present invention
  • FIG. 2 is a block diagram schematically illustrating an apparatus for transmitting a program-linked stereoscopic broadcast service according to an embodiment of the present invention
  • FIG. 3 is a detailed block diagram illustrating NRT signaling information of a program-linked stereoscopic broadcast service transmitting apparatus according to an embodiment of the present invention
  • 4A and 4B are conceptual views illustrating stereoscopic broadcast service signaling information in a program-linked stereoscopic broadcast service transmitting apparatus according to another embodiment of the present invention.
  • FIG. 5 is a flowchart schematically illustrating a method for transmitting a program-linked stereoscopic broadcast service according to an embodiment of the present invention
  • FIG. 6 is a block diagram schematically illustrating an apparatus for receiving a program-linked stereoscopic broadcast service according to another embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a stereoscopic broadcast service synchronization method in a program-linked stereoscopic broadcast service receiving apparatus according to another embodiment of the present invention.
  • 8A and 8B are flowcharts illustrating a process of acquiring non-real-time content of a program-linked stereoscopic broadcast service receiving apparatus and a process of processing a linked service by obtaining real-time broadcast information according to another embodiment of the present invention
  • FIG. 9 is a flowchart schematically illustrating a method for receiving a program-linked stereoscopic broadcast service according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a program-linked stereoscopic broadcast service transmission / reception system may include an ATSC distribution network (ATSC 10), a storage device 20, and a 2D legacy video decoder. 30, an NRT decoder 40, a 3D processing apparatus 50, and a 3D display apparatus 60.
  • a reference video is transmitted in real time using a 2D broadcasting system, and an additional video is transmitted based on an ATSC NRT transmission mechanism to provide a 3DTV broadcasting service.
  • the ATSC distributed network 10 divides the base view video and the additional view video and transmits the divided video.
  • the additional video is transmitted first and stored in advance in the storage device 20 of the NRT receiver.
  • 3D processing is performed by the 3D processing apparatus 50 by synchronizing the additional images stored in the storage device 20, and the processed image is 3D display apparatus. Display through 60.
  • the 2D legacy video decoder 30 performs decoding of the reference video transmitted in real time
  • the NRT decoder 40 performs decoding of the additional video transmitted in non real time.
  • the program linked stereoscopic broadcast transmission / reception system includes a real time stream encoder that encodes a reference video acquired through a transmission server into a real time stream, a non-real time stream encoder that encodes additional video into a non real time stream, and a non real time.
  • the receiver is configured to decode the transmitted broadcast content to configure a program-linked stereoscopic broadcast service.
  • 3D non-real-time broadcasting content may be requested and delivered using a service network as well as an internet network.
  • the apparatus for transmitting a program-linked stereoscopic broadcast service includes a real time stream encoder 210, a service signaling and video synchronization information generator 220, and a non-real time stream encoder 230. ) And a remultiplexer 240.
  • the apparatus for synchronizing a program transmits a real-time stream corresponding to the reference video 201 based on the existing 2D broadcasting system, and at this time, the received additional In order to provide synchronization information and service information with the image 203, a new descriptor is described in an event information table (EIT) and a program map table (PMT). Thereafter, the real-time stream delivered to the remultiplexer 240 through the encoder is multiplexed with the non-real-time stream delivered from the non-real time encoder 230 to form a program linked stereoscopic broadcast stream and transmitted.
  • EIT event information table
  • PMT program map table
  • the reference image 201 obtained from the transmission server 205 is encoded through the real time stream encoder 210 in real time.
  • the encoded reference video 201 is converted into a real time stream and transmitted to the remultiplexer 240.
  • the real time stream remultiplexer 240 is multiplexed with the non-real time stream to generate a program-linked stereoscopic broadcast stream.
  • the service signaling and video synchronization information generator 220 generates service signaling and video synchronization information based on the 3D content synchronization information 222.
  • the service signaling and image synchronization information includes PSI / PSIP (Program Specific Information / PSIP: Program and Service Information Protocol).
  • the service signaling and video synchronization information may include an event information table (EIT) and a program map table (PMT).
  • the event map table (EIT) and the program map table (PMT) are information for synchronizing non-real-time content based on service configuration information for program-linked 3D non-real-time service configuration and a time value that can inform the progress of the service. And information about the reference image 201.
  • the non-real-time stream encoder 230 internally stores 3D non-real-time broadcast content, that is, non-real-time content management unit 232 for storing and managing additional video 203, and NRT signaling for encoding for generating 3D-based NRT signaling information.
  • the NRT signaling information encoder 234 considers a correlation between the 3D content synchronization information 222 and the NRT content, and provides a service map table (SMT) to inform the receiver of service configuration information and content related information.
  • SMT service map table
  • a non real time information table (NRT-IT) is generated and transmitted to the remultiplexer 240.
  • the NRT signaling information may include synchronization information and service signaling information for a program-linked stereoscopic service.
  • the NRT content encoder 236 receives a 3D non-real time video, that is, an additional video 203 as an input, and encodes the 3D non-real time video, based on FLUTE. Then, the MPEG-2 TS stream based on the DSMCC addressable section is generated and delivered to the remultiplexer 240.
  • the remultiplexer 240 multiplexes the program-linked stereoscopic broadcast stream by multiplexing the real time stream generated by the real time stream encoder 210 and the non real time stream generated by the non real time stream encoder 230, and service signaling and video synchronization information. Create and send to receiver.
  • the program-linked stereoscopic broadcast stream generated as described above may be transmitted through the Internet as well as the broadcast network.
  • PSI PSI / PSIP
  • EIT event information table
  • PMT program map table
  • NRT non-real time information table
  • EIT event information table
  • SMT service map table
  • NRT-IT non-real time information table
  • the service configuration information for configuring the program-linked 3D NRT service and the time to inform the progress time of the service is defined to describe information for synchronizing non-real-time content based on the value.
  • Table 1 is an embodiment in which an SNRT program descriptor (SNRT_Program_descriptor) is defined.
  • the descriptor is located after program_info_length in the program map table (PMT) in real time content transmission for a program-linked 3D NRT service. It can be included in the descriptor loop that comes out.
  • the SNRT program descriptor SNRT_Program_descriptor includes a service flag (StereoMono_serviceFlag), service type information (NRT_Service_type), and time stamp information (FirstAUTimeStamp). The definition of each information is as follows.
  • StereoMono_serviceFlag Indicates a division of a monoscopic video service or a program-linked stereoscopic video service. If this value is 0, it is a conventional monoscopic video service. If it is 1, it is regarded as a program-linked stereoscopic video service.
  • NRT_Service_type This indicates the 3D broadcast service type for signaling that the program-linked stereoscopic broadcast service is used.
  • FirstAUTimeStamp Represents the Timestamp of the start time of the program linked stereoscopic video service. This is generally defined using the PTS or DTS value of the encoder.
  • a new descriptor of at least one of the service signaling and video synchronization information and the NRT-IT may be defined as follows.
  • the real time stream is always used as the reference video, and the content delivered in real time is used as the additional video. Therefore, separate signaling information for indicating that the reference video is not necessary, and information about whether the reference video transmitted in real time is the left video or the right video is needed.
  • link information on NRT content which is an additional video to be synchronized with the reference video, is needed.
  • an SNRT ES information descriptor (PA_SNRT_ES_Info_descriptor) is defined as a descriptor associated with at least one of the service signaling and video synchronization information and the NRT-IT.
  • Table 2 shows an embodiment of a definition for the SNRT ES information descriptor (PA_SNRT_ES_Info_descriptor).
  • the descriptor may be included in a descriptor loop following ES_info_length in the program map table PMT.
  • the SNRT ES information descriptor PA_SNRT_ES_Info_desciptor includes a field view_flag and a file location information field URI / FileName. The definition of each information is as follows.
  • view_flag This field is used to signal whether the reference video transmitted through the real time stream is the left video or the right video. If this value is 0, it is regarded as a right image, and if it is 1, it is regarded as a left image.
  • -URI / FileName A field for describing file location information for loading a non-real-time (NRT) file containing a downloaded additional video, which is delivered as non-real time additional video information to be synchronized to the corresponding real-time stream.
  • NRT non-real-time
  • FIG. 3 is a detailed block diagram illustrating NRT signaling information 300 of an apparatus for transmitting a program linked stereoscopic broadcast service according to an embodiment of the present invention.
  • the NRT signaling information 300 may include a service map table 310 (SMT) and a non-real time information table 320 (NRT-IT).
  • SMT service map table
  • NRT-IT non-real time information table
  • a receiver accesses a FLUTE session and acquires content, only the content that can be supported by the receiver is downloaded and the service is installed.
  • the support descriptor Capabilities_descriptor
  • ATSC NRT defines a support descriptor (Capabilities_descriptor) to clearly indicate whether the receiver can support the content.
  • the capabilities descriptor may include information about protocols, compression algorithms, media types, etc., which should be supported by the receiver for a non-real time (NRT) service or content item.
  • the support descriptor needs to signal that the transmitted content is 3D to prevent the 2D NRT terminal from downloading 3D content for the program-linked stereoscopic broadcast service. It includes.
  • the support descriptor includes code for service compatibility and frame compatibility so that 3D content configuration information can be signaled as sub information of the corresponding category.
  • program linked stereoscopic broadcast content is delivered using the 3D file format.
  • the 3D file format may be delivered using a stereoscopic video application format (SVAF), which is a format for storing and playing stereoscopic video.
  • SVAF stereoscopic video application format
  • a code for signaling a 3D file format eg, SVAF
  • it may further include a wrapper / archive format category.
  • Table 4 is an embodiment in which the support code (Capability code) of the ATSC NRT is extended to signal the program-linked 3D non-real-time content.
  • the stereoscopic related information descriptor (Stereoscopic_Related_info_desciptor) is defined to describe a reference relationship with a reference image to be transmitted in real time with respect to the NRT-IT.
  • the descriptor is described after the content_descriptor of the non-real-time information table (NRT-IT), and when the descriptor is described, the receiver indicates that the non-real-time content transmitted is a program linked stereoscopic broadcast service. It can be determined that the content is for.
  • information for presenting a viewing guide may be acquired to consume the additional video.
  • Table 2 shows an embodiment of a definition for a stereoscopic related information descriptor (Stereoscopic_Related_info_desciptor).
  • the stereoscopic related information descriptor (Stereoscopic_Related_info_desciptor) includes a TSID (Target_TSID) of the reference video, a program number (Target_program_number) of the reference video, a PID (Target_elementary_pid) of the reference video, and an expected start time (Expected_start_time) of the service.
  • TSID Track_TSID
  • program_program_number program number
  • PID Track_elementary_pid
  • Target_TSID This indicates the TSID of the real-time stream that will configure the linked service in the future.
  • Target_program_number Represents a program number of a real-time stream that will constitute a future linked service.
  • Target_elementary_pid This indicates the PID of the reference video that will form a linked service in the future.
  • Expected_start_time This is the expected time to configure the linked service in the future.
  • the program map table PMT may be substantially an event information table EIT.
  • the SNRT program descriptor SNRT_Program_descriptor and the SNRT ES information descriptor PA_SNRT_ES_Info_descriptor may be included in at least one of a program map table PMT, an event information table EIT, and a non-real-time information table NRT-IT. May be included. In this embodiment, it is assumed to belong to the program map table PMT.
  • Existing receivers that do not support the NRT service acquire only program map table 2 (430-2: PMT 2) for real time stream transmission.
  • the 2D NRT receiver does not interpret the SNRT program descriptor (SNRT_Program_descriptor) and the SNRT ES information descriptor (PA_SNRT_ES_Info_descriptor) defined in the present invention for configuring the 3D linked service among the contents of the program map table 2 (430-2). Ignore the contents of the descriptor because it cannot. Therefore, when a user selects a program-linked 3D NRT service, the user provides a 2D service using only reference images transmitted in real time.
  • the receiver supporting the 2D NRT service finds NRT information transmitted for the interlocking service in the TVCT (410: Terr. Virtual Channel Table) and based on the program map table 1 for NRT content transmission.
  • 430-1 PMT 1 and a program map table 2 430-2 for a real time stream.
  • the 2D non-real-time (NRT) receiver as described above, the SNRT program descriptor (SNRT_Program_descriptor) and SNRT ES defined in the present invention for configuring 3D linked service among the contents of the program map table 2 430-2 for the real-time stream. Since the information descriptor (PA_SNRT_ES_Info_descriptor) cannot be interpreted, the content of the descriptor is ignored.
  • a receiver supporting 2D NRT service also provides a 2D service using only a reference image transmitted in real time when a user selects a program-linked 3D NRT service.
  • a receiver capable of supporting 3D non-real time (NRT) service finds non-real time (NRT) information transmitted for an interlocking service in the TVCT 410 and based on the program map table 1 (430-1) for transmitting non-real time content; Obtain program map table 2 430-2 for the real time stream.
  • the program map table 2 (430-2) for transmitting a real-time stream describes a SNRT program descriptor (SNRT_Program_descriptor) indicating that the service is a linked service.
  • the information for referring to the additional video 402 is SNRT ES information descriptor (PA_SNRT_ES_Info_descriptor)
  • the additional video 402 file information to be loaded for the program-linked 3D NRT service configuration among the files previously transmitted to the content storage unit 470 is obtained.
  • TOI 10
  • NRT-IT non-real time information table 450
  • the 3D non-real time (NRT) receiver receives the real-time stream as a reference video, and configures the stereoscopic service by configuring the file stored in the receiver as an additional video (402). to provide.
  • the SNRT program descriptor (SNRT_Program_descriptor) and time stamp information (FirstAUTimeStamp) included in the program map table 2 430-2 are used to synchronize the base view video transmitted in the real time stream with the prestored additional view 402.
  • the playback of program-linked stereoscopic broadcasting service starts when the user selects the real-time program channel through which the reference video is transmitted for the program-linked stereoscopic broadcasting service, and the progress of the real-time program, not the first part of the stored content. From this point in time, program-linked stereoscopic broadcast service can be played.
  • the receiver notifies the user of a program-linked stereoscopic broadcast service available time and at the same time, a channel capable of configuring program-linked stereoscopic broadcast. You should be able to guide the change.
  • the receiver In order to synchronize with the real-time transport stream, the receiver needs to load the related additional video file in advance so that the wake-up time for loading the file should be informed in advance.
  • FIG. 5 is a flowchart schematically illustrating a method for transmitting a program-linked stereoscopic broadcast service according to an embodiment of the present invention.
  • a real-time stream encoding step 510 of generating a real-time stream by encoding a reference video is performed based on a non-additional video.
  • the synchronization information includes an event information table (EIT) and a program map table (PMT)-video synchronization information generation step 530 of generating a stream, the real time stream, the non-real time stream and Program-linked storage by multiplexing the service signaling and video synchronization information stream It may include a re-multiplexing step 540 for generating a leopard broadcast stream.
  • Program-linked stereoscopic broadcast service receiving device
  • the apparatus for receiving a program-linked stereoscopic broadcast service according to another embodiment of the present invention includes a demultiplexer 610, a real-time video decoder 620, a service signaling and video synchronization information parser 630, The non-real time image decoder 640 and the renderer 650 may be included.
  • the program-linked stereoscopic broadcast service receiving apparatus is configured by adding an NRT decoder 641, an NRT service manager 643, and an NRT file parser 647 to the structure of a receiving apparatus used for existing broadcasting. . That is, the program-linked stereoscopic broadcast service receiving apparatus receives a non-real-time based 3DTV broadcast signal (eg, a program-linked stereoscopic broadcast stream), demodulates and decodes the channel, and selects non-real-time 3DTV content and information selected by a user. Obtain and save.
  • a non-real-time based 3DTV broadcast signal eg, a program-linked stereoscopic broadcast stream
  • the demultiplexer 610 demultiplexes the broadcast stream by receiving a program linked stereoscopic broadcast stream through a broadcast network or the Internet network.
  • the broadcast stream is decoded into a real time stream associated with a reference video, a non-real time stream associated with an additional video, and a service signaling and video synchronization information stream associated with service signaling and synchronization information between a real time stream and a non real time stream. Multiplexed.
  • the real time image decoder 620 receives the demultiplexed real time stream from the demultiplexer 610 as an input and decodes the same to generate a reference image in real time.
  • the generated reference image is transmitted to the renderer 650 and then synthesized with the additional image to generate a 3D stereoscopic image.
  • the service signaling and video synchronization information parser 630 determines whether to transmit the information on the real-time content (content decoded based on the real-time stream (including the reference video)) and the non-real-time content 603 information. When the non-real time content 603 is being transmitted, information about the TS may be obtained.
  • the service signaling and video synchronization information may include PSI / PSIP.
  • the service signaling and synchronization information described in the event information table (EIT) and the program map table (PMT) included in the service signaling and image synchronization information may be delivered to the NRT service manager 643.
  • At least one of the event map table, the program map table (PMT), and the non-real time information table may use the extended descriptor of the existing descriptor and the new descriptor in connection with accessing and playing various contents (files) as described above ( See Table 1 and Table 2.
  • the non-real time image decoder 640 receives the demultiplexed non-real time stream from the demultiplexer 610 as an input and decodes the non-real time image decoder to generate an additional image in non real time. Thereafter, the generated additional image may be processed with the reference image decoded by the real time image decoder 620 to generate a 3D stereoscopic image.
  • the NRT decoder 640 may include an NRT decoder 641, an NRT service manager 643, a content storage unit 645, an NRT file parser 647, and a video decoder 649.
  • the NRT decoder 641 obtains NRT signaling information 601 and non-real-time content 603 based on the non-real-time stream demultiplexed by the demultiplexer 610.
  • the non-real time stream may be a FLUTE packet delivered to the DSMCC-Addressable Section.
  • the NRT decoder decodes the FLUTE packet to generate NRT signaling information 601 and non real-time content 603.
  • the NRT signaling information includes a service map table (SMT) and a non-real time information table (NRT-IT), and the NRT service configuration information obtained through this is transmitted to the NRT service manager 643.
  • SMT service map table
  • NRT-IT non-real time information table
  • the content may be stored in the content storage unit 645 of the receiving device.
  • the NRT service manager 643 may load information for loading a file for configuring a program-associated stereoscopic broadcast service among contents stored in the content storage unit 645 based on the NRT service configuration information obtained through the NRT signaling information. Transfer to storage unit 645. In addition, based on the service and synchronization information obtained from the service signaling and video synchronization information parser 630 and the NRT signaling information, a section to be synchronized in the file is calculated, and the synchronization section information is transmitted to the NRT file parser 647. .
  • the NRT signaling information includes a service map table (SMT) and a non-real-time information table (NRT-IT) as described above, and the service map table (SMT) and the non-real-time information table (NRT-IT) are receivers.
  • SMT service map table
  • NRT-IT non-real-time information table
  • Existing descriptor extension definitions and new descriptors can be used for signaling related to 3D content (files) and playback in the (e.g., Tables 3 to 5).
  • the content storage unit 645 may store the non-real time content 641 decoded by the NRT decoder 641.
  • the non-real-time content 641 may be synchronized and decoded through an NRT file parser 647 and a video decoder 649.
  • the content storage unit 645 may be a storage device such as a flash memory.
  • the NRT file parser 647 extracts and parses only the part corresponding to the synchronization interval received from the NRT service manager 643 from the content storage unit 645, and parses it to the video decoder 649.
  • the video decoder 649 decodes the content of the portion parsed by the NRT file parser 647 to generate an additional image, and the decoded additional image is transmitted to the renderer 650.
  • the renderer 650 provides a stereoscopic service by generating a 3D stereoscopic image by rendering a reference image generated in real time by the real time image decoder 620 and an additional image generated in non real time by the non real time image decoder 640. .
  • FIG. 7 is a conceptual diagram illustrating a method for synchronizing a program linked stereoscopic broadcast service in an apparatus for receiving a program linked stereoscopic broadcast service according to another embodiment of the present invention.
  • time stamp information (FirstAUTimeStamp) 702 may be used to synchronize a real time PES stream (710 means a real time stream) and a stored content AU (720 means a non real time content AU).
  • FirstAUTimeStamp Time stamp information
  • the real time PES stream 710 and the stored content AU 720 may be synchronized using time stamp information 702 (FirstAUTimeStamp) defined in the SNRT program descriptor SNRT_program_descriptor.
  • the time stamp information 702 (FirstAUTimeStamp) is generated by storing a time stamp (Time Stamp (eg, PTS or DTS 714)) value of the start AU of the 3DTV broadcasting service in the encoder or the broadcasting server.
  • the receiving device analyzes this and compares the time stamp 702 of the real-time PES stream 710 with the current frame as shown in FIG. 7 to calculate the difference. Then, the corresponding sync frame of the stored file is found by using the difference with the corresponding frame. Then, the image is synchronized with the stored content AU 720 and the real-time PES stream 710 by using the synchronization frame information.
  • time stamp information 702 (FirstAUTimeStamp) indicates a time stamp of the actual 3DTV broadcast service start AU of the real-time PES stream 710
  • the real-time PES stream 710 is displayed even after the 3DTV service is started. Comparing with the included time stamp 702 has the advantage of simply finding the sync frame of the stored content AU 720.
  • time stamp information 702 (FirstAUTimeStamp) may be inserted. It shows the time stamp value of the actual start AU of the left or right video.
  • the encoder development or transmission server must inform the exact start time of the left and right video.
  • the receiver may provide wake up time information. In order to synchronize with a real-time transport stream, a receiver needs to load a related additional video file in advance, and thus a wake-up time for loading a file must be informed in advance.
  • the program map table PMT may be substantially an event information table EIT.
  • the SNRT program descriptor SNRT_Program_descriptor and the SNRT ES information descriptor PA_SNRT_ES_Info_descriptor may be included in at least one of a program map table PMT, an event information table EIT, and a non-real-time information table NRT-IT. In this embodiment, it is assumed to belong to the program map table PMT.
  • the broadcast reception apparatus configures a program-linked broadcast stereoscopic service by interworking a large-scale step of acquiring non-real-time content and interworking non-real-time content transmitted from the real-time content. It is divided into steps to provide a program-linked broadcast stereoscopic service.
  • program association table (PAT) information is obtained by analyzing the program association table (PAT).
  • the program map table PMT information is obtained by checking the analyzed program number program_number and the program PID program_map_pid from the acquired program association table PAT (802).
  • a program map table (PMT) for a non-real time (NRT) service and a program map table (PMT) corresponding to a real-time broadcast are input, and the PMT parser processes differently depending on the type of program map table (PMT) input.
  • the program map table (PMT) for the NRT service the PID and the service ID list for transmitting the NRT service are checked (operation 804).
  • a packet for non-real-time (NRT) service transmitted from the TS in non-real time is received (805).
  • Data packet including depacketizing and DSMCC Addressable Section of the packet corresponding to the NRT service is parsed (806). Subsequently, the process of processing the delivered content based on the NRT mechanism in the receiving apparatus is largely divided into a process of acquiring NRT service information and a process of receiving file data constituting an actual NRT service.
  • SSC service signaling channel
  • the service map table SMT is found by analyzing the packet transmitted to the SSC, and the service map table SMT is parsed to obtain service related information, NRT-IT related to the service, and FLUTE session information (808). .
  • NRT-IT necessary for service configuration based on NRT-IT related information obtained through SMT analysis.
  • the Capability Descriptor analyzes the Capability Descriptor and checks the capability list (3D stereoscopic content, download protocol, wrapper / archive format, media type, etc.) The device determines whether the service can be provided.
  • information for downloading content such as the start time, length (duration information) of time slots for each content item, and the repetition period of the time slots and the number of repetitions when repeated transmission is obtained. do.
  • the Play_info descriptor is analyzed to obtain information that will form a linked service later (809).
  • the basic information for the content download and the reproduction related information for the service obtained through the above process are transmitted to the NRT Service Download Manager (810).
  • the receiver transmits a packet that is not an SSC channel to a FLUTE parser (811).
  • the FDT parser analyzes the FDT composed of XML to obtain corresponding FLUTE session information and information on files transmitted through the session (813).
  • the TOI and Content_linkage information obtained through the FDT analysis is transferred to the NRT Service Download Manager (814).
  • the NRT Service Download Manager and the subsequent NRT Service (Sync) Manager are components included in the NRT Service Manager 643 of FIG. 6 described above.
  • the NRT Service Download Manager transmits information on files to be received through the FLUTE session to the FLUTE parser (815).
  • the NRT Service Download Manager transmits the playback related information obtained from the NRT-IT to the NRT Service (Sync) Manager for the downloaded 3D content (816).
  • the FLUTE parser receives only data blocks for files to be downloaded and stores them in a file reconstruction buffer (817).
  • the file reconstruction buffer generates information about a file restoration and a path to store a file and use of the file, and stores the file in a file storage such as a flash memory (818).
  • a program map table (PMT) for configuring a real-time broadcast is transmitted to the PMT parser, and program related information and elementary stream related information are provided in the program map table (PMT).
  • PMT program map table
  • this step 819 in order to provide a 3D stereoscopic service using a real-time stream and non-real-time transmitted files, first, an SNRT program descriptor (SNRT_Program_descriptor) is analyzed and a file transmitted in the presence or absence of a 2D / 3D service is provided. Determine whether the service is interlocked with, and obtain information about the progress time of the real-time program.
  • SNRT_Program_descriptor SNRT_Program_descriptor
  • the 3D service acquires information about the left and right images of the video stream currently being transmitted in real time, and the non-real time file information to be synchronized to the corresponding video.
  • the above-described information is transferred to the NRT Service (Sync) Manager after the PMT is parsed (820).
  • the NRT Service (Sync) Manager determines whether the linked 3D service can be configured based on the transmitted information, and calculates non-real time file loading and synchronization information when the service is available.
  • the NRT Service (Sync) Manager delivers information (storage path and file name) for loading the non-real time file for configuring the real-time video stream and the interlocked service to the file store (which may be flash memory) (821).
  • the file parser parses the non-real time file (822), and if the information for synchronization can be obtained from the file, the file parser transfers the information to the NRT Service (Sync) Manager (822 ').
  • the NRT Service (Sync) Manager calculates an AU to start synchronization based on the analyzed synchronization information (time stamp information (FirstAUTimeStamp), etc.) and transfers the information to the file parser (823).
  • the file parser decodes the file from the corresponding part in the file based on the AU information to be synchronized from the NRT Service (Sync) Manager and delivers the file to the ES buffer (824).
  • a packet corresponding to an audio stream and a video stream is received and depacketized from the real-time TS using audio and video-related PID information found through program map table (PMT) analysis for real-time broadcasting configuration (825).
  • PMT program map table
  • the audio ES and the video ES are delivered to the audio ES buffer, the video ES buffer, and the decoder, respectively (826).
  • the ESs decoded from the real-time TS and the ESs decoded from the non-real time file are delivered to the renderer to provide a non-real time (NRT) program-based stereoscopic service to the user (827).
  • NRT non-real time
  • FIG. 9 is a flowchart schematically illustrating a method for receiving a program-linked stereoscopic broadcast service according to another embodiment of the present invention.
  • a receiving method for a program-linked stereoscopic broadcast service according to another embodiment of the present invention receives a stereoscopic broadcast stream and converts it into a real time stream, a non-real time stream, and a service signaling and video synchronization information stream.
  • the additional video may be generated in consideration of synchronization.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 개시한다. 상기 송신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더; 부가 영상을 기반으로 비실시간 스트림을 생성하는 비실시간 스트림 인코더; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블 및 프로그램 맵 테이블을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함한다.

Description

프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
본 발명은 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 관한 것으로, 보다 상세하게는 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 관한 것이다.
ATSC(Advanced Television Systems Committee)에서는 시청자가 원하는 콘텐츠를 여분의 대역폭이나 유휴 시간대를 이용해서 전송하고, 이를 수신장치에 저장하여 이용할 수 있는 비실시간(NRT : Non-Real-Time) 기술 표준화를 진행 중이다. NRT는 콘텐츠 제공자가 일방적으로 전달해주는 기존 서비스 방식을 탈피하여 시청자가 원하는 콘텐츠를 원하는 시간에 이용할 수 있는 기술을 포함하고 있다. NRT 서비스는 실시간 방송 채널과 더불어 하나의 가상채널로 전달되며 지상파 망을 이용하여 전달되는 콘텐츠는 DSM-CC Addressable Section 규격을 이용하여 IP 기반의 FLUTE(File Delivery over Unidirectional Transport, IETF: RFC 3926 참조) 데이터로 인캡슐레이션되어 수신기에 전송된다.
ATSC NRT는 FLUTE 프로토콜을 통하여 전달되는 방송 콘텐츠를 시그널링하기 위하여 SSC(Service Signaling Channel)라는 특정 IP 주소와 포트 번호(224.0.23.60 : 4937)를 이용하며, 이 SSC 채널을 이용하여 서비스 맵 테이블(SMT : Service Map Table)과 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)와 같은 특수 테이블들을 전달한다. 서비스 맵 테이블(SMT)은 비실시간(NRT) 서비스 획득을 위한 FLUTE 세션 정보(TSI: Transport Session Identification, IP address, UDP port number 등), 비실시간 정보 테이블(NRT-IT)과의 연결을 위한 Service ID, Consumption Model, 수신기에서 서비스 표현 가능 여부를 판단할 수 있는 Capability 등의 정보를 포함하고 있다. 다음으로 비실시간 정보 테이블(NRT-IT)은 수신기에 다운로드 가능한 각 콘텐츠 아이템에 대한 다양한 정보를 단말에 알리기 위하여 사용되며, 다운로드 유효 시간, 해당 콘텐츠의 크기, 해당 콘텐츠 아이템과 FLUTE로 전송되는 파일과의 연관 정보를 위한 콘텐츠 연결 정보(content_linkage) 등을 정의하고 있다.
그러나 현 규격은 비실시간으로 전달받은 콘텐츠를 독립적으로 이용하는 경우에 대한 내용 기반으로 기술되어 있으며 실시간 스트림을 비롯한 다른 방송 서비스와 연관지어 사용하는 구체적 방법에 대해서는 기술하지 않고 있다. 또한 현 규격은 2D 콘텐츠 기반의 비실시간 서비스만을 포함하고 있으며 차기 표준에서 3D 서비스 제공하기 위한 논의가 진행 중이다.
비실시간 기반으로 3D 방송 서비스를 제공하기 위한 종래 기술로는 먼저 기준영상은 실시간으로 전송하고 부가영상은 비실시간으로 방송 시간 전에 전송하는 방식이 있다(대한민국 공개 특허 10-2008-0053175(2008.06.12 공개) : 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법). 그러나 상기 종래 기술은 IP 기반의 ATSC NRT 매커니즘을 이용하지 않고 있으며 비실시간 기반의 3D 방송 서비스를 시그널링할 수 있는 방법 또한 포함하고 있지 않다.
또 다른 종래 기술로는 대한민국 공개 특허 2010-0086440(2010.07.30 공개)에 기재된 "지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털 멀티미디어 방송 수신 장치"가 있다. 상기 기술은 비실시간 스테레오스코픽 서비스를 위한 시나리오 및 이를 위한 스테레오스코픽 서비스 서술자(SS_descriptor)를 제안하고 실시간 영상과 저장된 콘텐츠를 동기화하기 위한 방법을 제안하였다. 그러나 이 기술은 기준영상과 부가영상 모두 실시간으로 전송하여 서비스를 제공하는 방법으로 기준영상은 실시간으로 전달되고 부가영상은 비실시간으로 전달되는 형태의 서비스는 포함하고 있지 않다.
따라서 ATSC NRT 기술을 기반으로 실시간으로 전달되는 기준영상 및 비실시간으로 전달되는 부가영상을 동기화하여 3D 스테레오스코픽 방송 서비스 제공할 수 있는 송신 장치 및 방법, 및 수신 장치 및 방법이 요구된다.
(선행기술문헌)
(특허문헌)
(특허문헌 1) 대한민국 공개 특허 KR 10-2008-0053175 ("비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법", 한국전자통신연구원, 2008. 06. 12 공개)
상술한 문제점을 해결하기 위한 본 발명의 목적은 기존 방송과 역호환성을 제공하면서, 3차원 방송을 비실시간으로 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.
본 발명의 목적은 비실시간 매커니즘을 기반으로 부가영상 전달하고 이를 수신기에 저장하여 실시간으로 전송되는 기준영상과 동기화하여 3D 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더; 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코더; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함할 수 있다.
상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 비실시간(NRT) 콘텐츠를 저장 및 관리하고, 상기 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하여 비실시간으로 상기 스케줄에 따라 상기 비실시간 콘텐츠를 상기 재다중화기로 전송할 수 있다.
상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 상기 비실시간 콘텐츠를 저장 및 관리하는 비실시간 콘텐츠 관리부; 상기 비실시간 콘텐츠의 비실시간 영상을 입력받아 인코딩을 수행하여 상기 비실시간 스트림을 생성하는 NRT 콘텐츠 인코더; 및 상기 비실시간 콘텐츠와 관련된 정보 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구성 정보를 수신기에 전송하기 위해, NRT 시그널링 정보를 생성하는 NRT 시그널링 정보 인코더를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고, 상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는, 상기 송신 장치에서 제공하는 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag); 상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및 상기 프로그램 연동형 스테레오스코픽 서비스 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는 상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및 상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함할 수 있다.
상기 서비스 맵 테이블 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신기에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오 스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는 상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및 3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함할 수 있다.
상기 비실시간 정보 테이블은 상기 수신기에 전송되는 상기 비실시간 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함할 수 있다.
상기 프로그램 맵 테이블은 상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법은 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법에 있어서, 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계; 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계; 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계; 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치에 있어서, 프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화기; 상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코더; 상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코더; 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파서; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더러를 포함하되, 상기 비실시간 영상 디코더는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성할 수 있다.
상기 비실시간 영상 디코더는 상기 비실시간 스트림을 수신하여 NRT 시그널링 정보 및 비실시간 콘텐츠를 생성하는 NRT 디코더; 상기 생성된 비실시간 콘텐츠를 저장하고 있는 콘텐츠 저장부; 상기 NRT 시그널링 정보를 통해 획득되는 NRT 서비스 구성 정보를 기반으로 상기 저장된 콘텐츠 중 서비스 관련 콘텐츠의 로딩을 위한 정보를 상기 콘텐츠 저장부로 전달하고, 상기 서비스 시그널링 및 영상 동기화 정보를 기반으로 상기 서비스 관련 콘텐츠에서 동기화가 이루어질 구간을 계산하여 동기화 구간 정보를 생성하는 NRT 서비스 매니저; 및 상기 동기화 구간 정보를 기반으로 상기 서비스 관련 콘텐츠 중 동기화 구간에 해당하는 부분을 파싱하여 상기 부가 영상을 생성하는 NRT 파일 파서를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고, 상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는, 상기 수신 장치가 수신한 스트림과 관련된 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag); 상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는 상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및 상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함할 수 있다.
상기 서비스 맵 테이블 및 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신 장치에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는 상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및 3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함할 수 있다.
상기 비실시간 정보 테이블은 상기 수신 장치에 전송되는 상기 3D NRT 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number); 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함할 수 있다.
상기 서비스 시그널링 및 영상 동기화 정보는 상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함할 수 있다.
상기 비실시간 영상 디코더는 상기 타임 스탬프 정보를 기반으로 현재 프레임과 상기 타임 스탬프 정보가 가리키는 시점과의 시간 차이를 계산하여 상기 저장된 콘텐츠와 상기 실시간 콘텐츠와의 동기화를 제공할 수 있다.
상기한 목적을 달성하기 위한 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법은 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법에 있어서, 프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계; 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계; 상기 실시간 스트림을 기반으로 실시간으로 상기 기준 영상을 생성하는 실시간 영상 디코딩 단계; 상기 비실시간 스트림을 기반으로 비실시간으로 상기 부가 영상을 생성하는 비실시간 영상 디코딩 단계; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계를 포함하되, 상기 비실시간 영상 디코딩 단계는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 디지털 방송에서 부가영상을 미리 전달하여 수신기에 저장하고 추후 실시간으로 전달되는 영상과 저장한 콘텐츠를 동기화하여 3D 스테레오스코픽 서비스를 제공하는 효과가 있다.
또한, 본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 기준영상은 기존 2DTV 방송시스템을 이용하여 전달하고, 부가영상은 ATSC NRT 전송 매커니즘을 바탕으로 비실시간으로 전달하므로 기존 2D 방송 시스템과의 호환성 제공이 가능하며 3D 전송을 위한 대역폭의 한계를 극복할 수 있다는 효과가 있다.
더욱이, 본 발명의 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법에 따르면, 하나의 RF 신호를 기반으로 실시간으로 고화질 AV 서비스를 제공함과 동시에 ATSC NRT 서비스 매커니즘을 통해 3D 스테레오스코픽 서비스 제공을 가능케 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스의 개념을 설명하기 위한 개념도,
도 2는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치를 개략적으로 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치의 NRT 시그널링 정보를 구체적으로 나타낸 상세블록도,
도 4a 및 4b는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치에서 스테레오스코픽 방송 서비스 시그널링 정보를 설명하기 위한 개념도,
도 5는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법을 개략적으로 나타낸 흐름도,
도 6은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치를 개략적으로 나타낸 블록도,
도 7은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치에서 스테레오스코픽 방송 서비스 동기화 방법을 설명하기 위한 개념도,
도 8a 및 8b은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치의 비실시간 콘텐츠를 획득하는 과정 및 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정을 설명하기 위한 흐름도,
도 9는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법을 개략적으로 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
프로그램 연동형 스테레오스코픽 방송 서비스 송수신 시스템
도 1은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스의 개념을 설명하기 위한 개념도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송수신 시스템은 ATSC 분산 네트워크(10: ATSC Distribution Network), 저장 장치(20), 2D 레가시(legacy) 비디오 디코더(30), NRT 디코더(40), 3D 프로세싱 장치(50) 및 3D 디스플레이장치(60)를 포함할 수 있다.
도 1을 참조하면, 프로그램 연동형 스테레오스코픽 방송 서비스에 있어서, 기준 영상은 2D 방송 시스템을 이용하여 실시간으로 전송하고 부가 영상은 ATSC NRT 전송 매카니즘을 기반으로 전달하여 3DTV 방송 서비스를 제공한다. ATSC 분산 네트워크(10)는 기준 영상과 부가 영상을 나누어 송출한다. 시간적으로 보면, 부가 영상이 먼저 전송되어 NRT 수신기의 저장 장치(20)에 미리 저장된다. 이후, 실시간으로 전송되는 방송 프로그램의 기준 영상이 전송될 때, 저장 장치(20)에 저장되어 있던 부가 영상을 함께 동기화하여 3D 프로세싱 장치(50)에서 3D 프로세싱을 하고, 프로세싱된 영상을 3D 디스플레이 장치(60)를 통해 디스플레이한다. 이때, 2D 레가시 비디오 디코더(30)는 실시간으로 전송되는 기준 영상의 디코딩을 수행하고, NRT 디코더(40)는 비실시간으로 전송되는 부가 영상의 디코딩을 수행한다. 상기 과정을 통해 프로그램 연동형 스테레오스코픽 방송 서비스를 제공할 수 있다.
프로그램 연동형 스테레오스코픽 방송 송수신시스템은 송출 서버를 통해 획득한 기준 영상을 실시간 스트림으로 인코딩하는 실시간 스트림 인코더, 부가 영상을 비실시간 스트림으로 인코딩하는 비실시간 스트림 인코더 등으로 구성되는 송신 장치와 비실시간으로 전송된 방송 콘텐츠를 디코딩하여 프로그램 연동형 스테레오스코픽 방송 서비스를 구성할 수 있는 수신 장치로 구성된다. 3D 비실시간 방송 콘텐츠는 방송망뿐만 아니라 인터넷망을 이용하여 서비스를 요청받고 전달될 수 있다.
프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치
도 2는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치를 개략적으로 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치는 실시간 스트림 인코더(210), 서비스 시그널링 및 영상 동기화 정보 생성기(220), 비실시간 스트림 인코더(230) 및 재다중화기(240)를 포함할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치는 기존 2D 방송 시스템을 기반으로 기준 영상(201)에 해당하는 실시간 스트림을 송출하며, 이때 기 수신된 부가 영상(203)과의 동기화 정보 및 서비스 정보를 제공하기 위해 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)에 신규 서술자를 기재한다. 이후 인코더를 거쳐 재다중화기(240)로 전달되는 실시간 스트림은 비실시간 인코더(230)로부터 전달된 비실시간 스트림과 다중화되어 프로그램 연동형 스테레오스코픽 방송 스트림을 형성하여 전송된다.
각 구성요소를 보다 상세히 설명하면, 먼저 송출 서버(205)로부터 획득한 기준 영상(201)은 실시간으로 실시간 스트림 인코더(210)를 통해 인코딩된다. 인코딩된 기준 영상(201)은 실시간 스트림으로 변환되어 재다중화기(240)로 전송된다. 상기 실시간 스트림은 재다중화기(240)은 비실시간 스트림과 다중화되어 프로그램 연동형 스테레오스코픽 방송 스트림을 생성한다.
서비스 시그널링 및 영상 동기화 정보 생성기(220)는 3D 콘텐츠 동기 정보(222)를 기반으로 서비스 시그널링 및 영상 동기화 정보를 생성한다. 상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함한다. 본 발명의 일 실시예에 따르면, 상기 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)을 포함할 수 있다. 이벤트 맵 테이블(EIT) 및 프로그램 맵 테이블(PMT)은 프로그램 연동형 3D 비실시간 서비스 구성을 위한 서비스 구성 정보 및 해당 서비스의 진행 시간을 알려줄 수 있는 시간 값을 바탕으로 비실시간 콘텐츠를 동기화하기 위한 정보 및 기준 영상(201)에 대한 정보를 포함할 수 있다.
비실시간 스트림 인코더(230)는 내부적으로 3D 비실시간 방송 콘텐츠, 즉 부가 영상(203)을 저장 및 관리하는 비실시간 콘텐츠 관리부(232), 3D 기반의 NRT 시그널링 정보 생성을 위한 인코딩을 수행하는 NRT 시그널링 정보 인코더(234) 및 부가 영상(203)만을 포함하고 있는 파일을 비실시간으로 인코딩하는 NRT 콘텐츠 인코더(236)를 포함한다. 이를 통해 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하고 상기 비실시간 콘텐츠 송출 스케줄에 따라 비실시간 콘텐츠 파일들을 인코딩하여 비실시간 스트림을 생성하여 재다중화기(240)로 전달한다.
NRT 시그널링 정보 인코더(234)는 3D 콘텐츠 동기 정보(222)와 NRT 콘텐츠와의 상관 관계를 고려하여, 서비스 구성 정보 및 콘텐츠 관련 정보들을 수신기에 알려주기 위해 서비스 맵 테이블(SMT: Service Map Table) 및 비실시간 정보 테이블(NRT-IT: Non Real Time - Information Table) 등을 생성하여 재다중화기(240)에 전달한다. NRT 시그널링 정보는 프로그램 연동형 스테레오스코픽 서비스를 위한 동기화 정보 및 서비스 시그널링 정보를 포함할 수 있다.
NRT 콘텐츠 인코더(236)는 3D 비실시간 영상, 즉 부가 영상(203)을 입력으로 받아 이를 FLUTE를 기반으로 인코딩한다. 그리고, DSMCC Addressable Section 기반의 MPEG-2 TS 스트림을 생성하여 상기 스트림을 재다중화기(240)로 전달한다.
재다중화기(240)는 실시간 스트림 인코더(210)에서 생성된 실시간 스트림과 비실시간 스트림 인코더(230)에서 생성된 비실시간 스트림, 및 서비스 시그널링 및 영상 동기화 정보를 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하여 수신기로 전송한다. 전술한 바와 같이, 이렇게 생성된 프로그램 연동형 스테레오스토픽 방송 스트림은 방송망뿐 아니라 인터넷망을 통해 전송될 수 있다.
실시간으로 전송되는 기준 영상과 비실시간으로 전송되는 부가 영상을 수신하여 재생하기 위해서는 시그널링 및 동기화 정보가 중요한데, 본 발명의 프로그램 연동형 스테레오스코픽 방송 송신 장치는 상기 시그널링 및 동기화 정보로 PSI/PSIP(PSI/PSIP는 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)을 포함함) 및 NRT 시그널링 정보(서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)을 포함함)를 이용할 수 있다. 이하, 본 발명에서의 프로그램 연동형 스테레오스코픽 방송 서비스 전송시 수신기에서의 3D 콘텐츠 파일로의 접근 및 재생 등과 관련된 시그널링을 위해, 기존 서술자의 확장 정의 및 신규 서술자에 대해 설명한다.
먼저 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나와 관련하여, 프로그램 연동형 3D NRT 서비스 구성을 위한 서비스 구성 정보 및 해당 서비스의 진행 시간을 알려줄 수 있는 시간 값을 바탕으로 비실시간 콘텐츠를 동기화하기 위한 정보를 기술하기 위해 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 정의한다.
표 1
Figure PCTKR2012001762-appb-T000001
표 1은 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 정의한 일 실시예로, 본 발명의 일 실시예에 있어서, 상기 서술자는 프로그램 연동형 3D NRT 서비스를 위한 실시간 콘텐츠 전송시에 프로그램 맵 테이블(PMT) 내의 program_info_length 뒤에 나오는 서술자 루프에 포함될 수 있다. SNRT 프로그램 서술자(SNRT_Program_descriptor)는 서비스 플래그(StereoMono_serviceFlag), 서비스 타입 정보(NRT_Service_type) 및 타임 스탬프 정보(FirstAUTimeStamp)를 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- StereoMono_serviceFlag : 모노스코픽 비디오 서비스 혹은 프로그램 연동형 스테레오스코픽 비디오 서비스의 구분을 나타낸다. 이 값이 0이면 기존 모노스코픽 비디오 서비스이며, 1이면 프로그램 연동형 스테레오스코픽 비디오 서비스로 간주한다.
- NRT_Service_type : 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타낸다.
- FirstAUTimeStamp : 프로그램 연동형 스테레오스코픽 비디오 서비스 시작 시간의 Timestamp를 나타낸다. 이는 일반적으로 인코더의 PTS 혹은 DTS 값을 이용하여 정의한다.
또한, 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나의 신규 서술자를 다음과 같이 정의할 수 있다. 프로그램 연동형 3D NRT 서비스 구성시 항상 실시간 스트림은 기준영상으로 이용되며 비실시간으로 전달된 콘텐츠는 부가영상으로 이용된다. 따라서 기준영상임을 나타내기 위한 별도의 시그널링 정보는 필요하지 않으며 실시간으로 전송되는 기준영상이 좌영상인지 우영상인지에 대한 정보가 필요하다. 또한 기준영상에 함께 동기화되어 사용될 부가영상인 NRT 콘텐츠에 대한 링크 정보가 필요하다. 이를 위해 본 발명의 일 실시예에 따르면, 상기 서비스 시그널링 및 영상 동기화 정보, 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나와 관련된 서술자로서 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)를 정의한다.
표 2
Figure PCTKR2012001762-appb-T000002
표 2는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)에 대한 정의의 일 실시 예를 나타낸다. 본 발명의 일 실시예에 따르면, 상기 서술자는 프로그램 맵 테이블(PMT) 내의 ES_info_length 뒤에 나오는 서술자 루프에 포함될 수 있다. SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)는 필드(view_flag) 및 파일 위치 정보 필드(URI/FileName)를 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- view_flag: 실시간 스트림으로 전송되는 기준영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드이다. 이 값이 0이면 우영상으로, 1이면 좌영상으로 간주한다.
- URI/FileName: 해당 실시간 스트림에 동기화가 이루어질 부가영상 정보 비실시간으로 전달되어 다운로드한 부가영상을 담고 있는 비실시간(NRT) 파일을 로딩하기 위한 파일 위치 정보를 기술하기 위한 필드이다.
도 3은 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치의 NRT 시그널링 정보(300)를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 NRT 시그널링 정보(300)는 서비스 맵 테이블(310: SMT) 및 비실시간 정보 테이블(320: NRT-IT)을 포함할 수 있다.
도 3을 참조하면, 먼저 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)과 관련하여, 수신기가 FLUTE 세션에 접근하여 콘텐츠를 획득함에 있어서 수신기에서 지원이 가능한 콘텐츠만을 다운로드하여 서비스가 이뤄질 수 있도록 지원하는 지원 서술자(Capabilities_descriptor)를 정의한다. ATSC NRT에서는 수신기에서의 콘텐츠의 지원 가능 여부를 명확히 알려주기 위해 지원 서술자(Capabilities_descriptor)를 정의한다. 지원 서술자(Capabilities_descriptor)는 비실시간(NRT) 서비스 또는 콘텐츠 아이템을 위해 수신기에서 지원되어야 하는 프로토콜, 압축 알고리즘, 미디어 타입 등에 대한 정보를 포함할 수 있다.
표 3
Figure PCTKR2012001762-appb-T000003
지원 서술자(Capabilities_descriptor)는 프로그램 연동형 스테레오스코픽 방송 서비스를 위해서는 전송되는 콘텐츠가 3D임을 시그널링하여 2D NRT 단말이 3D 콘텐츠를 다운로드하는 것을 방지할 수 있어야 하기 때문에 3D 서비스 시그널링을 위한 지원 카테고리(capability category)를 포함한다. 또한, 지원 서술자(Capabilities_descriptor)는 해당 카테고리의 하위 정보로 3D 콘텐츠 구성 정보를 시그널링 할 수 있도록 서비스 호환(Service Compatible)과 프레임 호환(Frame Compatible)을 위한 코드를 포함한다.
더욱이, 프로그램 연동형 스테레오스코픽 방송 콘텐츠는 3D 파일 포맷을 이용하여 전달된다. 3D 파일 포맷의 일 실시예로 스테레오스코픽 비디오 저장 및 재생을 위한 포맷인 SVAF(Stereoscopic Video Application Format)를 이용하여 전달될 수 있다. 따라서, 3D 파일 포맷(예컨대, SVAF)을 시그널링하기 위한 코드로서, 래퍼/취득 포맷 카네고리(wrapper/archive format category)를 더 포함할 수 있다.
표 4는 프로그램 연동형 3D 비실시간 콘텐츠를 시그널링하기 위해 ATSC NRT의 지원 코드(Capability code)를 확장 정의한 일 실시예이다.
표 4
Figure PCTKR2012001762-appb-T000004
또한, 비실시간 정보 테이블(NRT-IT)과 관련하여, 실시간으로 전송될 기준영상과의 참조 관계 등을 기술하기 위해, 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 정의한다. 본 발명의 일 실시예에 따르면, 상기 서술자는 비실시간 정보 테이블(NRT-IT)의 content_descriptor 뒤에 기술되며 상기 서술자가 기술되어 있을 경우, 수신기는 전송되는 비실시간 콘텐츠가 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있다. 또한 기 전달된 부가영상을 소비할 수 있도록 시청 가이드를 제시를 위한 정보를 획득할 수 있다.
표 5
Figure PCTKR2012001762-appb-T000005
표 2는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)에 대한 정의의 일 실시예를 나타낸다. 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)는 기준 영상의 TSID(Target_TSID), 기준 영상의 프로그램 번호(Target_program_number), 기준 영상의 PID(Target_elementary_pid) 및 서비스의 예상 시작 시간(Expected_start_time)을 포함한다. 각각의 정보에 대한 정의는 다음과 같다.
- Target_TSID: 향후 연동형 서비스를 구성하게 될 실시간 스트림의 TSID를 나타낸다.
- Target_program_number: 향후 연동형 서비스를 구성하게 될 실시간 스트림의 Program number를 나타낸다.
- Target_elementary_pid: 향후 연동형 서비스를 구성하게 될 기준영상의 PID를 나타낸다.
- Expected_start_time: 향후 연동형 서비스를 구성하게 될 예상 시간을 나타낸다.
도 4a 및 4b는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치에서 스테레오스코픽 방송 서비스 시그널링 정보를 설명하기 위한 개념도이다. 본 실시예에 있어서, 프로그램 맵 테이블(PMT)은 실질적으로 이벤트 정보 테이블(EIT)일 수 있다. 또한, 전술한 바와 같이, SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)는 프로그램 맵 테이블(PMT), 이벤트 정보 테이블(EIT) 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나에 포함될 수 있다. 본 실시예에서는 프로그램 맵 테이블(PMT)에 속하는 것으로 간주한다.
NRT 서비스를 지원하지 않는 기존 수신기는 실시간 스트림 전송을 위한 프로그램 맵 테이블 2(430-2: PMT 2)만을 획득한다. 또한 2D 비실시간(NRT) 수신기는 프로그램 맵 테이블 2(430-2)의 내용 중 3D 연동형 서비스 구성을 위해 본 발명에서 정의한 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor) 등을 해석하지 못하므로 해당 서술자의 내용을 무시한다. 따라서, 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간으로 전송되는 기준영상만을 이용한 2D 서비스를 제공한다.
2D 비실시간(NRT) 서비스를 지원하는 수신기는 TVCT(410: Terr. Virtual Channel Table)에서 연동형 서비스를 위해 전송되는 비실시간(NRT) 정보를 찾고 이를 토대로 비실시간 콘텐츠 전송을 위한 프로그램 맵 테이블 1(430-1: PMT 1)과 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)를 획득한다. 이때 2D 비실시간(NRT) 수신기는 전술한 바와 같이, 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)의 내용 중 3D 연동형 서비스 구성을 위해 본 발명에서 정의한 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor) 등을 해석하지 못하므로 해당 서술자의 내용을 무시한다. 또한 비실시간 콘텐츠 수신시에도 확장 정의한 지원 코드(Capabilities code)를 바탕으로 3D 콘텐츠(Content#2)는 수신하지 않는다. 따라서 2D 비실시간(NRT) 서비스를 지원하는 수신기도 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간으로 전송되는 기준영상만을 이용한 2D 서비스를 제공한다.
3D 비실시간(NRT) 서비스 지원 가능한 수신기는 TVCT(410)에서 연동형 서비스를 위해 전송되는 비실시간(NRT) 정보를 찾고, 이를 토대로 비실시간 콘텐츠 전송을 위한 프로그램 맵 테이블 1(430-1)과 실시간 스트림을 위한 프로그램 맵 테이블 2(430-2)를 획득한다. 이때 실시간 스트림 전송을 위한 프로그램 맵 테이블 2(430-2)는 연동형 서비스임을 나타내주는 SNRT 프로그램 서술자(SNRT_Program_descriptor)가 기술되어 있으며 부가 영상(402)을 참조하기 위한 정보는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)에 기술되어 콘텐츠 저장부(470)에 기전송된 파일 중 프로그램 연동형 3D 비실시간(NRT) 서비스 구성을 위해 로딩해야 할 부가 영상(402) 파일 정보를 획득한다. 또한 비실시간으로 기 전송된 부가 영상(402) 획득시에도 지원 코드(Capabilities code) 값을 바탕으로 3D 콘텐츠(TOI=10)를 수신하고, 비실시간 정보 테이블(450: NRT-IT)에 기술된 스테리오스코픽 관련 정보 서술자(Stereoscopic_Related_Info_descriptor)에서 프로그램 연동형 3D 비실시간(NRT) 서비스 구성하기 위한 실시간 스트림에 대한 정보를 획득한다.
따라서 3D 비실시간(NRT) 수신기는 사용자가 프로그램 연동형 3D 비실시간(NRT) 서비스 선택시 실시간 스트림을 기준영상으로 기 전달받아 수신기에 저장한 파일을 부가 영상(402)으로 구성하여 스테레오스코픽 서비스를 제공한다.
실시간 스트림으로 전송되는 기준 영상과 기 저장된 부가 영상(402)의 동기화를 위해 프로그램 맵 테이블 2(430-2)에 포함된 SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 타임 스탬프 정보(FirstAUTimeStamp)를 이용한다. 프로그램 연동형 스테레오스코픽 방송 서비스의 재생은 사용자가 프로그램 연동형 스테레오스코픽 방송 서비스를 위해 기준 영상이 전송되는 실시간 프로그램 채널을 선택하는 시점에 서비스가 시작되며 저장된 콘텐츠의 처음 부분이 아닌 실시간 프로그램의 진행 상황에 해당하는 시점부터 프로그램 연동형 스테레오스코픽 방송 서비스 재생이 가능하다. 따라서 사용자가 기 전달된 부가 영상(402)의 최초 시점부터 재생할 수 있도록 하려면, 수신기는 프로그램 연동형 스테레오스코픽 방송 서비스 가능 시간을 사용자에게 알림과 동시에 해당 시간에 프로그램 연동형 스테레오스코픽 방송 구성이 가능한 채널로의 변경을 가이드 할 수 있어야 한다.
또한, 좌우영상 동기화 기술 개발에 있어 다음과 같은 고려 사항이 있을 수 있다.
- FirstAUTimeStamp 삽입 : 좌 또는 우영상의 실제 시작 AU의 Time Stamp값을 나타낸 것으로 이를 위해서는 인코더 개발 또는 송출 서버에서 정확한 좌우 영상 시작 시점을 알려 주어야 한다.
- 수신기 Wake-up 시점 : 실시간 전송 스트림과 동기를 위해서는 수신기에서 미리 관련 부가영상 파일을 로딩해야 하므로 미리 파일 로딩을 위한 wake-up 시점을 알려 주어야 한다.
프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법
도 5는 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법을 개략적으로 나타낸 흐름도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 송신 방법은 기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계(510), 부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계(520), 3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계(530) 및 상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계(540)를 포함할 수 있다.
프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치
도 6은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치를 개략적으로 나타낸 블록도이다. 도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 역다중화기(610), 실시간 영상 디코더(620), 서비스 시그널링 및 영상 동기화 정보 파서(630), 비실시간 영상 디코더(640) 및 렌더러(650)를 포함할 수 있다.
도 6을 참조하면, 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 기존 방송에 이용되는 수신 장치의 구조에 NRT 디코더(641), NRT 서비스 매니저(643) 및 NRT 파일 파서(647)를 추가하여 구성된다. 즉, 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치는 비실시간 기반의 3DTV 방송 신호(예컨대, 프로그램 연동형 스테레오 스코픽 방송 스트림)을 수신하여 이를 복조 및 채널 디코딩하여, 사용자에 의해 선택된 비실시간 3DTV 콘텐츠 및 정보를 획득하여 저장한다.
상기 수신 장치를 보다 구체적으로 설명하면, 역다중화기(610)는 방송망 또는 인터넷망을 통해 프로그램 연동형 스테레오스코픽 방송 스트림을 수신하여 상기 방송 스트림을 역다중화한다. 역다중화기(610)에 의해, 방송 스트림은 기준 영상과 관련된 실시간 스트림, 부가 영상과 관련된 비실시간 스트림 및 실시간 스트림과 비실시간 스트림과의 서비스 시그널링 및 동기화 정보와 관련된 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화된다.
실시간 영상 디코더(620)는 역다중화기(610)에서 역다중화된 실시간 스트림을 입력으로 받아 디코딩을 수행하여 기준 영상을 실시간으로 생성한다. 생성된 기준 영상은 렌더러(650)로 전송되어 이후 부가 영상과 합성되어 3D 입체 영상을 생성한다.
서비스 시그널링 및 영상 동기화 정보 파서(630)는 실시간 콘텐츠(실시간 스트림을 기반으로 디코딩한 콘텐츠(기준 영상 포함))에 대한 정보 및 비실시간 콘텐츠(603) 정보의 전송 여부를 판단한다. 비실시간 콘텐츠(603)가 전송 중인 경우, 해당 TS에 대한 정보를 획득할 수 있다. 상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP를 포함할 수 있다. 또한, 상기 서비스 시그널링 및 영상 동기화 정보에 포함된 이벤트 정보 테이블(EIT) 및 프로그램 맵 테이블(PMT)에 기재되어 있는 서비스 시그널링 및 동기화 정보를 NRT 서비스 매니저(643)에 전달할 수 있다. 여기서 이벤트 맵 테이블, 프로그램 맵 테이블(PMT) 및 비실시간 정보 테이블 중 적어도 어느 하나는 전술한 바와 같이, 다양한 콘텐츠(파일) 접근 및 재생과 관련하여 기존 서술자의 확장 정의 및 신규 서술자를 이용할 수 있다(표 1 및 표 2 참조).
비실시간 영상 디코더(640)는 역다중화기(610)에서 역다중화된 비실시간 스트림을 입력으로 받아 디코딩을 수행하여 부가 영상을 비실시간으로 생성한다. 이후, 생성된 부가 영상을 실시간 영상 디코더(620)에서 디코딩된 기준 영상과 프로세싱하여 3D 입체 영상을 생성할 수 있다. 비실시간 영상 디코더(640)는 NRT 디코더(641), NRT 서비스 매니저(643), 콘텐츠 저장부(645), NRT 파일 파서(647) 및 비디오 디코더(649)를 포함할 수 있다.
NRT 디코더(641)는 역다중화기(610)에서 역다중화된 비실시간 스트림을 기반으로 NRT 시그널링 정보(601) 및 비실시간 콘텐츠(603)를 획득한다. 이때, 비실시간 스트림은 DSMCC-Addressable Section으로 전달된 FLUTE 패킷일 수 있다. NRT 디코더는 상기 FLUTE 패킷을 디코딩하여 NRT 시그널링 정보(601) 및 비실시간 콘텐츠(603)를 생성한다. NRT 시그널링 정보는 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)를 포함하고, 이를 통해 획득한 NRT 서비스 구성 정보는 NRT 서비스 매니저(643)에 전송된다. 또한, NRT 디코더(641)를 통해 획득된 비실시간 콘텐츠(603)가 사용자가 예약한 콘텐츠일 경우, 상기 콘텐츠는 수신 장치의 콘텐츠 저장부(645)에 저장될 수 있다.
NRT 서비스 매니저(643)는 NRT 시그널링 정보를 통해 획득한 NRT 서비스 구성 정보를 기반으로 콘텐츠 저장부(645)에 저장된 콘텐츠 중 프로그램 연동형 스테레오스코픽 방송 서비스 구성을 위한 파일을 로딩하기 위한 정보를 상기 콘텐츠 저장부(645)에 전송한다. 또한, 서비스 시그널링 및 영상 동기화 정보 파서(630)에서 획득한 서비스 및 동기화 정보와 상기 NRT 시그널링 정보를 기반으로 상기 파일에서 동기화가 이루어질 구간을 계산하여 NRT 파일 파서(647)에 동기화 구간 정보를 전송한다. 여기서, NRT 시그널링 정보는 전술한 바와 같이 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)을 포함하고, 상기 서비스 맵 테이블(SMT) 및 비실시간 정보 테이블(NRT-IT)은 수신 장치에서의 3D 콘텐츠(파일)로의 접근 및 재생 등과 관련된 시그널링을 위해 기존 서술자 확장 정의 및 신규 서술자를 이용할 수 있다(표 3 내지 표 5 참조).
콘텐츠 저장부(645)는 NRT 디코더(641)에서 디코딩된 비실시간 콘텐츠(641)를 저장할 수 있다. 상기 비실시간 콘텐츠(641)는 NRT 파일 파서(647)와 비디오 디코더(649)를 통해 동기화 및 디코딩될 수 있다. 콘텐츠 저장부(645)는 플레시 메모리와 같은 저장 장치일 수 있다.
NRT 파일 파서(647)는 NRT 서비스 매니저(643)로부터 전달받은 동기화 구간에 해당하는 부분만을 콘텐츠 저장부(645)로부터 추출하고 파싱하여 비디오 디코더(649)로 전송한다.
비디오 디코더(649)는 상기 NRT 파일 파서(647)에서 파싱된 부분의 콘텐츠를 디코딩하여 부가 영상을 생성하고, 상기 디코딩된 부가 영상은 렌더러(650)로 전송된다.
렌더러(650)는 실시간 영상 디코더(620)에서 실시간으로 생성된 기준 영상과 비실시간 영상 디코더(640)에서 비실시간으로 생성된 부가 영상을 함께 렌더링하여 3D 입체 영상을 생성하여 스테레오스코픽 서비스를 제공한다.
도 7은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치에서 프로그램 연동형 스테레오스코픽 방송 서비스 동기화 방법을 설명하기 위한 개념도이다. 도 7에 도시된 바와 같이, 실시간 PES 스트림(710 : 실시간 스트림을 의미함)과 저장된 콘텐츠 AU(720 : 비실시간 콘텐츠 AU를 의미함)의 동기화를 위해 타임 스탬프 정보(702: FirstAUTimeStamp)를 이용할 수 있다.
도 7을 참조하면, 실시간 PES 스트림(710)과 저장된 콘텐츠 AU(720)는 SNRT 프로그램 서술자(SNRT_program_descriptor)에 정의된 타임 스탬프 정보(702: FirstAUTimeStamp)를 이용하여 동기화할 수 있다. 상기 타임 스탬프 정보(702: FirstAUTimeStamp)는 인코더 혹은 송출 서버에서 3DTV 방송 서비스의 시작 AU의 타임 스탬프(Time Stamp(예컨대, PTS 혹은 DTS(714))) 값을 저장하여 생성된다. 수신 장치는 이를 분석하여 도 7과 같이, 실시간 PES 스트림(710)의 타임 스탬프(702)와 현재 프레임과의 비교를 수행, 그 차이를 계산한다. 그리고는 해당 프레임과의 상기 차이를 이용하여 저장된 파일의 해당 동기 프레임을 찾는다. 그리고는 동기 프레임 정보를 이용하여 저장된 콘텐츠 AU(720)와 실시간 PES 스트림(710) 간의 영상을 동기화하여 제공한다.
상기와 같은 방식을 통해 3DTV 방송서비스의 시작 시간을 동기 시킬 수 있다. 이러한 방법은 타임 스탬프 정보(702: FirstAUTimeStamp)가 실시간 PES 스트림(710)의 실제 3DTV 방송서비스 시작 AU에 대한 타임 스탬프(Time Stamp)를 표시하고 있기 때문에 3DTV 서비스가 시작된 후에도 실시간 PES 스트림(710)에 포함된 타임 스탬프(702)와의 비교를 통해 간단하게 저장된 콘텐츠 AU(720)의 동기 프레임을 찾을 수 있는 장점을 갖는다.
또한, 전술한 바와 같이 다음과 같은 좌우영상 동기화 기술 개발에 있어 고려 사항이 있을 수 있다. 먼저, 타임 스탬프 정보(702: FirstAUTimeStamp)를 삽입할 수 있다. 좌 또는 우영상의 실제 시작 AU의 타임 스탬프(Time Stamp) 값을 나타낸 것으로 이를 위해서는 인코더 개발 또는 송출 서버에서 정확한 좌우 영상 시작 시점을 알려 주어야 한다. 또한, 수신기 Wake-up 시점 정보를 제공할 수 있다. 실시간 전송 스트림과 동기를 위해서는 수신기에서 미리 관련 부가영상 파일을 로딩해야 하므로 미리 파일 로딩을 위한 wake-up 시점을 알려 주어야 한다.
도 8a 및 8b은 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치의 비실시간 콘텐츠를 획득하는 과정 및 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 실시예에 있어서, 프로그램 맵 테이블(PMT)은 실질적으로 이벤트 정보 테이블(EIT)일 수 있다. 또한, SNRT 프로그램 서술자(SNRT_Program_descriptor) 및 SNRT ES 정보 서술자(PA_SNRT_ES_Info_descriptor)는 프로그램 맵 테이블(PMT), 이벤트 정보 테이블(EIT) 및 비실시간 정보 테이블(NRT-IT) 중 적어도 어느 하나에 포함될 수 있다. 본 실시예에서는 프로그램 맵 테이블(PMT)에 속하는 것으로 간주한다.
도 8a 및 8b를 참조하면, 본 발명의 다른 실시예에 따른 방송 수신 장치는 크게 비실시간 콘텐츠를 획득하는 단계와 실시간 콘텐츠로부터 기 전달된 비실시간 콘텐츠를 연동하여 프로그램 연동형 방송 스테레오스코픽 서비스를 구성하는 단계로 구분하여 프로그램 연동형 방송 스테레오스코픽 서비스를 제공한다.
(1) 비실시간 콘텐츠를 획득하는 단계
① 비실시간 콘텐츠를 MPEG-2 TS 기반으로 획득하는 과정
수신한 MPEG-2 TS로부터 TVCT를 찾고 연동형 서비스를 구성할 NRT 서비스를 찾기 위해 서비스 타입(service_type), 비실시간(NRT) 서비스로 확인된 채널의 채널 TSID(channel_TSID) 및 프로그램 번호(program_number)를 분석하여 프로그램 연관 테이블(PAT: Program Association Table) 정보를 획득한다(801). 획득한 프로그램 연관 테이블(PAT)로부터 분석한 프로그램 번호(program_number) 및 프로그램 PID(program_map_pid)를 확인하여 프로그램 맵 테이블(PMT) 정보를 획득한다(802). PMT 파서에는 비실시간(NRT) 서비스를 위한 프로그램 맵 테이블(PMT)과 실시간 방송에 해당하는 프로그램 맵 테이블(PMT)이 입력되며, PMT 파서는 입력되는 프로그램 맵 테이블(PMT)의 종류에 따라 다른 처리를 수행한다(803). 비실시간(NRT) 서비스를 위한 프로그램 맵 테이블(PMT)인 경우 비실시간(NRT) 서비스를 전송하는 PID 및 service ID list를 확인한다(804). TS로부터 비실시간으로 전송되는 비실시간(NRT) 서비스를 위한 패킷을 수신한다(805). 비실시간(NRT) 서비스에 해당하는 패킷의 디패킷타이징 및 DSMCC Addressable Section으로 구성된 데이터그램을 파싱한다(806). 이후 수신 장치에서 NRT 매커니즘을 기반으로 전달된 콘텐츠를 처리하는 과정은 크게 비실시간(NRT) 서비스 정보를 획득하는 과정과 실제 비실시간(NRT) 서비스를 구성하는 파일 데이터를 수신하는 과정으로 구분된다.
② NRT 콘텐츠에 대한 서비스 정보를 획득하는 과정
먼저 비실시간(NRT) 서비스 정보를 획득하기 위하여 수신 장치는 데이터그램의 헤더를 분석하여 IP=224.0.23.60:4937에 해당되면 SSC(service signaling channel)로 인식한다(807). SSC로 전송된 패킷을 분석하여 서비스 맵 테이블(SMT)을 찾고 서비스 맵 테이블(SMT)을 파싱하여 서비스 관련 정보, 서비스와 관련된 비실시간 정보 테이블(NRT-IT), FLUTE session 정보 획득한다(808).
서비스 맵 테이블(SMT) 분석을 통해 획득한 비실시간 정보 테이블(NRT-IT) 관련 정보를 바탕으로 서비스 구성에 필요한 비실시간 정보 테이블(NRT-IT)을 수신 후 파싱하여 각 콘텐츠 아이템의 정보, content linkage 정보, 다운로드를 위한 정보 및 디스크립터 정보 등을 획득한다. 먼저, 지원 서술자(Capability descriptor)를 분석하여 지원 가능(capability) 리스트(3D 스테레오스코픽 콘텐츠 여부, download protocol, 래퍼/취득 포맷(wrapper/archive format), 미디어 타입(media type) 등)를 확인하여 수신 장치에서 서비스 제공 가능 여부를 판단한다. 다음으로, Time_slot descriptor로부터 각 콘텐츠 아이템(content item)별 타임 슬롯(time slot)의 시작시간, 길이(duration 정보), 반복 전송될 경우 타임 슬롯의 반복 주기, 반복 횟수 등 콘텐츠 다운로드를 위한 정보를 획득한다. 또한, Play_info descriptor를 분석하여 추후 연동형 서비스를 구성하게 될 정보를 획득한다(809). 상기 과정을 거쳐 획득한 콘텐트 다운로드를 위한 기본 정보 및 서비스를 위한 재생 관련 정보는 NRT Service Download Manager로 전달된다(810).
③ NRT로 전송되는 파일을 획득하는 과정
다음으로 실제 비실시간(NRT) 서비스를 구성하는 파일을 획득하기 위하여 수신기는 SSC 채널이 아닌 패킷을 FLUTE 파서로 전달한다(811). FLUTE 파서에서는 전달된 패킷 파싱 후, TOI = 0이면, 해당 패킷을 FDT 파서로 전달한다(812). FDT 파서는 XML로 구성된 FDT를 분석하여 해당 FLUTE 세션 정보 및 세션을 통해 전송되는 파일들에 대한 정보를 획득한다(813). FDT 분석을 통해 획득한 TOI 및 Content_linkage 정보가 NRT Service Download Manager에 전달된다(814). 여기서, NRT Service Download Manager와 이후 나오는 NRT Service(Sync) Manager는 앞서 설명한 도 6의 NRT 서비스 매니저(643)에 포함되는 구성요소이다. NRT Service Download Manager는 FLUTE 세션을 통해 수신해야 할 파일들에 대한 정보를 FLUTE 파서에 전달한다(815). 또한 NRT Service Download Manager는 다운로드한 3D 콘텐츠에 대해서 비실시간 정보 테이블(NRT-IT)에서 획득한 재생 관련 정보를 NRT Service(Sync) Manager로 전달한다(816). FLUTE 파서는 다운로드해야 해야하는 파일에 대한 데이터 블록만을 수신하여 파일 재구성 버퍼(File Reconstruction Buffer)에 저장한다(817). 파일 재구성 버퍼는 송신측에서 전달하는 파일 복원 및 파일을 저장할 경로 및 이용에 대한 정보를 생성하여 해당 파일을 플래시 메모리와 같은 파일 저장소에 저장한다(818).
(2) 실시간 방송 정보를 획득하여 연동형 서비스를 처리하는 과정
사용자가 연동형 서비스가 가능한 채널을 선택하면, 실시간 방송 구성을 위한 프로그램 맵 테이블(PMT)이 PMT 파서에 전달되며, 프로그램 맵 테이블(PMT)에서 프로그램 관련 정보 및 기본 스트림(elementary stream) 관련 정보를 분석한다(819). 이 단계(819)에서, 실시간 스트림과 비실시간으로 기 전송된 파일을 이용하여 3D 스테레오 스코픽 서비스를 제공하기 위해 먼저 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 분석하여 2D/3D 서비스 유무, 비실시간으로 전송된 파일과 연동되는 서비스인지 등을 파악하고 실시간 프로그램의 진행 시간에 대한 정보를 획득한다. 또한 3D 서비스 구성을 위해 현재 실시간으로 전송중인 비디오 스트림에 대한 좌/우 영상에 대한 정보 및 해당 영상에 동기화가 이뤄질 비실시간 파일 정보 등을 획득한다. 상기 기술한 정보들은 프로그램 맵 테이블(PMT) 파싱 후, NRT Service(Sync) Manager로 전달된다(820).
NRT Service(Sync) Manager는 전달된 정보를 바탕으로 연동형 3D 서비스 구성 가능 여부를 판단하고 서비스 이용 가능할 경우 비실시간 파일 로딩 및 동기화 정보를 계산한다. NRT Service(Sync) Manager는 실시간 비디오 스트림과 연동형 서비스를 구성하기 위한 비실시간 파일을 로딩하기 위한 정보(저장 경로 및 파일 명)를 파일 저장소(플래시 메모리일 수 있음)에 전달한다(821). 파일 파서는 비실시간 파일을 파싱하고(822), 이때 파일로부터 동기화를 위한 정보를 획득할 수 있는 경우, 해당 정보를 NRT Service(Sync) Manager에 전달한다(822'). NRT Service(Sync) Manager는 분석한 동기화 정보(타임 스탬프 정보(FirstAUTimeStamp) 등)를 바탕으로 동기화를 시작할 AU를 계산하여 해당 정보를 파일 파서에 전달한다(823). 파일 파서는 NRT Service(Sync) Manager로부터 전달된 동기화할 AU 정보를 바탕으로 파일에서 해당 부분부터 파일을 디코딩하여 ES 버퍼로 전달한다(824).
실시간 방송 구성을 위한 프로그램 맵 테이블(PMT) 분석을 통해 알아낸 오디오 및 비디오 관련 PID 정보를 이용하여 실시간 TS로부터 오디오 스트림과 비디오 스트림에 해당하는 패킷 수신 및 디패킷타이징을 수행한다(825). TS 패킷 파서, PES 패킷 파서를 거쳐 오디오 ES와 비디오 ES는 각각 오디오 ES 버퍼, 비디오 ES 버퍼 및 디코더로 전달된다(826). 실시간 TS로부터 디코딩된 ES들과 비실시간 파일로부터 디코딩된 ES가 렌더러에 전달되어 사용자에게 비실시간(NRT) 프로그램 연동형 기반 스테레오스코픽 서비스를 제공한다(827).
프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법
도 9는 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법을 개략적으로 나타낸 흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법은 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계(910), 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계(920), 상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코딩 단계(930), 상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코딩 단계(940) 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계(950)를 포함하되, 상기 비실시간 영상 디코딩 단계(940)는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치에 있어서,
    기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코더;
    부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코더;
    3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성기; 및
    상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화기를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  2. 제 1 항에 있어서,
    상기 비실시간 스트림 인코더는 상기 부가 영상을 기반으로 하는 비실시간(NRT) 콘텐츠를 저장 및 관리하고,
    상기 비실시간 콘텐츠의 송출을 위한 스케줄을 작성하여 비실시간으로 상기 스케줄에 따라 상기 비실시간 콘텐츠를 상기 재다중화기로 전송하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  3. 제 2 항에 있어서, 상기 비실시간 스트림 인코더는
    상기 부가 영상을 기반으로 하는 상기 비실시간 콘텐츠를 저장 및 관리하는 비실시간 콘텐츠 관리부;
    상기 비실시간 콘텐츠의 비실시간 영상을 입력받아 인코딩을 수행하여 상기 비실시간 스트림을 생성하는 NRT 콘텐츠 인코더; 및
    상기 비실시간 콘텐츠와 관련된 정보 및 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구성 정보를 수신기에 전송하기 위해, NRT 시그널링 정보를 생성하는 NRT 시그널링 정보 인코더를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  4. 제 3 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고,
    상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  5. 제 4 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는,
    상기 송신 장치에서 제공하는 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및
    상기 프로그램 연동형 스테레오스코픽 서비스 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  6. 제 4 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 NRT 시그널링 정보 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는,
    상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및
    상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  7. 제 4 항에 있어서,
    상기 서비스 맵 테이블 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신기에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오 스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는,
    상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및
    3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  8. 제 4 항에 있어서,
    상기 비실시간 정보 테이블은 상기 수신기에 전송되는 상기 비실시간 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는,
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 송신 장치.
  9. 제 3 항에 있어서, 상기 프로그램 맵 테이블은
    상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  10. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법에 있어서,
    기준 영상을 인코딩하여 실시간 스트림을 생성하는 실시간 스트림 인코딩 단계;
    부가 영상을 기반으로 비실시간(NRT: Non-RealTime) 스트림을 생성하는 비실시간 스트림 인코딩 단계;
    3D 콘텐츠 동기 정보를 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 서비스 시그널링 및 영상 동기화 정보 - 서비스 시그널링 및 영상 동기화 정보는 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 포함함 - 스트림을 생성하는 영상 동기화 정보 생성 단계; 및
    상기 실시간 스트림, 상기 비실시간 스트림 및 상기 서비스 시그널링 및 영상 동기화 정보 스트림을 다중화함으로써 프로그램 연동형 스테레오스코픽 방송 스트림을 생성하는 재다중화 단계를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 방법.
  11. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치에 있어서,
    프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화기;
    상기 실시간 스트림을 기반으로 실시간으로 기준 영상을 생성하는 실시간 영상 디코더;
    상기 비실시간 스트림을 기반으로 비실시간으로 부가 영상을 생성하는 비실시간 영상 디코더;
    상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 상기 기준 영상과 상기 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파서; 및
    상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더러를 포함하되,
    상기 비실시간 영상 디코더는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  12. 제 11 항에 있어서, 상기 비실시간 영상 디코더는
    상기 비실시간 스트림을 수신하여 NRT 시그널링 정보 및 비실시간 콘텐츠를 생성하는 NRT 디코더;
    상기 생성된 비실시간 콘텐츠를 저장하고 있는 콘텐츠 저장부;
    상기 NRT 시그널링 정보를 통해 획득되는 NRT 서비스 구성 정보를 기반으로 상기 저장된 콘텐츠 중 서비스 관련 콘텐츠의 로딩을 위한 정보를 상기 콘텐츠 저장부로 전달하고, 상기 서비스 시그널링 및 영상 동기화 정보를 기반으로 상기 서비스 관련 콘텐츠에서 동기화가 이루어질 구간을 계산하여 동기화 구간 정보를 생성하는 NRT 서비스 매니저; 및
    상기 동기화 구간 정보를 기반으로 상기 서비스 관련 콘텐츠 중 동기화 구간에 해당하는 부분을 파싱하여 상기 부가 영상을 생성하는 NRT 파일 파서를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  13. 제 12 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보는 PSI/PSIP 정보(PSI : Program Specific Information/ PSIP : Program and Service Information Protocal)를 포함하고,
    상기 NRT 시그널링 정보는 서비스 맵 테이블(SMT : Service Map Table) 및 비실시간 정보 테이블(NRT-IT : Non Real Time - Information Table)을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 장치.
  14. 제 13 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 SNRT 프로그램 서술자(SNRT_Program_descriptor)를 포함하고, 상기 SNRT 프로그램 서술자는,
    상기 수신 장치가 수신한 스트림과 관련된 서비스가 모노스코픽 또는 상기 프로그램 연동형 스테레오스코픽 방송 서비스의 구분을 나타내는 서비스 플래그(StereoMono_serviceFlag);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스임을 시그널링하기 위한 3D 방송 서비스 타입을 나타내는 서비스 타입 정보(NRT_Service_type); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 시작 시간의 타임 스탬프(Timestamp)를 나타내는 타임 스탬프 정보(FirstAUTimeStamp)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  15. 제 13 항에 있어서,
    상기 서비스 시그널링 및 영상 동기화 정보, 및 상기 비실시간 정보 테이블 중 적어도 어느 하나는 상기 기준 영상이 좌영상인지 우영상인지에 대한 정보 및 상기 기준 영상과 동기화되는 부가 영상에 대한 링크 정보를 포함하는 SNRT ES 정보 서술자(PA_SNRT_ES_Info_desciptor)를 포함하고, 상기 SNRT ES 정보 서술자는,
    상기 기준 영상이 좌영상인지 우영상인지의 여부를 시그널링하기 위한 필드(view_flag); 및
    상기 기준 영상과 동기화되는 부가 영상과 관련된 비실시간 콘텐츠 파일을 로딩하기 위한 파일 위치 정보 필드(URI/FileName)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  16. 제 13 항에 있어서,
    상기 서비스 맵 테이블 및 비실시간 정보 테이블 중 적어도 어느 하나는 상기 수신 장치에서 지원 가능한 상기 비실시간 콘텐츠만을 다운로드하여 상기 프로그램 연동형 스테레오스코픽 방송 서비스가 이뤄질 수 있도록 하는 지원 서술자(Capabilities_descriptor)를 포함하고, 상기 지원 서술자는,
    상기 3D 콘텐츠 구성 정보를 시그널링 할 수 있는 서비스 호환 및 프레임 포환을 위한 코드를 포함하는 지원 카테고리(capability category); 및
    3D 파일 포맷을 시그널링하기 위한 코드인 래퍼/취득 포맷 카테고리(wrapper/archive format category)를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  17. 제 13 항에 있어서,
    상기 비실시간 정보 테이블은 상기 수신 장치에 전송되는 상기 3D NRT 콘텐츠가 상기 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 콘텐츠임을 판단할 수 있도록 지원하는 스테레오스코픽 관련 정보 서술자(Stereoscopic_Related_info_desciptor)를 포함하고, 상기 스테레오스코픽 관련 정보 서술자는,
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 TSID(Tranport Session Identification);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 프로그램 번호(program number);
    상기 프로그램 연동형 스테레오스코픽 방송 서비스를 구성하게 될 기준 영상의 PID(Program Identification); 및
    상기 프로그램 연동형 스테레오스코픽 방송 서비스의 예상 시작 시간을 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  18. 제 13 항에 있어서, 상기 상기 서비스 시그널링 및 영상 동기화 정보는
    상기 기준 영상과 상기 부가 영상과의 동기를 위해 상기 수신기에서 미리 관련 부가 영상 파일의 로딩을 위한 수신기 Wake-up 시점 정보를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 송신 장치.
  19. 제 15 항에 있어서,
    상기 비실시간 영상 디코더는 상기 타임 스탬프 정보를 기반으로 현재 프레임과 상기 타임 스탬프 정보가 가리키는 시점과의 시간 차이를 계산하여 상기 저장된 콘텐츠와 상기 실시간 콘텐츠와의 동기화를 제공하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 장치.
  20. 프로그램 연동형 스테레오스코픽 방송 서비스를 위한 수신 방법에 있어서,
    프로그램 연동형 스테레오스코픽 방송 스트림를 수신하여 실시간 스트림, 비실시간 스트림 및 서비스 시그널링 및 영상 동기화 정보 스트림으로 역다중화하는 역다중화 단계;
    상기 서비스 시그널링 및 영상 동기화 정보 스트림을 기반으로 기준 영상과 부가 영상의 동기화를 위한 이벤트 정보 테이블(EIT: Event Information Table) 및 프로그램 맵 테이블(PMT : Program Map Table)을 생성하는 서비스 시그널링 및 영상 동기화 정보 파싱 단계;
    상기 실시간 스트림을 기반으로 실시간으로 상기 기준 영상을 생성하는 실시간 영상 디코딩 단계;
    상기 비실시간 스트림을 기반으로 비실시간으로 상기 부가 영상을 생성하는 비실시간 영상 디코딩 단계; 및
    상기 기준 영상과 상기 부가 영상을 기반으로 3D 입체 영상을 재생하는 렌더링 단계를 포함하되,
    상기 비실시간 영상 디코딩 단계는 상기 이벤트 정보 테이블 및 상기 프로그램 맵 테이블을 기반으로 상기 기준 영상과의 동기화를 고려하여 상기 부가 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 프로그램 연동형 스테레오스코픽 방송 서비스 수신 방법.
PCT/KR2012/001762 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 WO2012121572A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12755204.0A EP2685729A4 (en) 2011-03-10 2012-03-09 TRANSMISSION DEVICE AND METHOD FOR PROVIDING A BROADCASTING SERVICE ASSOCIATED WITH A PROGRAM, AND RECEIVING DEVICE AND METHOD THEREFOR
US14/003,942 US20130342648A1 (en) 2011-03-10 2012-03-09 Transmisson apparatus and method and reception apparatus and method for providing program associated stereoscopic broadcasting service

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110021551 2011-03-10
KR10-2011-0021551 2011-03-10
KR10-2012-0024669 2012-03-09
KR1020120024669A KR20120103510A (ko) 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2012121572A2 true WO2012121572A2 (ko) 2012-09-13
WO2012121572A3 WO2012121572A3 (ko) 2012-11-15

Family

ID=47111536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001762 WO2012121572A2 (ko) 2011-03-10 2012-03-09 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법

Country Status (4)

Country Link
US (1) US20130342648A1 (ko)
EP (1) EP2685729A4 (ko)
KR (1) KR20120103510A (ko)
WO (1) WO2012121572A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167200A1 (ko) * 2014-04-30 2015-11-05 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954492B1 (en) * 2011-11-30 2015-02-10 F5 Networks, Inc. Methods for inlining content externally referenced in a web page prior to providing the web page to a requestor and devices thereof
US20150089564A1 (en) * 2012-04-23 2015-03-26 Lg Electronics Inc. Signal processing device and method for 3d service
EP3007454A4 (en) * 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
KR102189520B1 (ko) 2013-10-30 2020-12-11 한국전자통신연구원 방송 송수신 장치 및 방법
US10313716B2 (en) 2013-11-01 2019-06-04 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
WO2016035348A1 (en) * 2014-09-05 2016-03-10 Sharp Kabushiki Kaisha Syntax and semantics for device capabilities
WO2016039571A1 (ko) * 2014-09-11 2016-03-17 엘지전자 주식회사 방송 신호 송신 방법, 방송 신호 송신 장치, 방송 신호 수신 방법 및 방송 신호 수신 장치
US10678216B2 (en) * 2017-02-28 2020-06-09 Sap Se Manufacturing process data collection and analytics
US10901394B2 (en) 2017-02-28 2021-01-26 Sap Se Manufacturing process data collection and analytics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053175A (ko) 2006-12-08 2008-06-12 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR20100086440A (ko) 2009-01-22 2010-07-30 한국전자통신연구원 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958653B1 (ko) * 2007-08-07 2010-05-20 한국전자통신연구원 디지털 방송 송수신 장치 및 방법
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
US8520057B2 (en) * 2008-11-04 2013-08-27 Electronics And Telecommunications Research Institute Method and system for transmitting/receiving 3-dimensional broadcasting service
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
KR101311982B1 (ko) * 2009-06-15 2013-09-30 에스케이텔링크 주식회사 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053175A (ko) 2006-12-08 2008-06-12 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR20100086440A (ko) 2009-01-22 2010-07-30 한국전자통신연구원 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167200A1 (ko) * 2014-04-30 2015-11-05 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
WO2012121572A3 (ko) 2012-11-15
KR20120103510A (ko) 2012-09-19
EP2685729A4 (en) 2014-08-13
EP2685729A2 (en) 2014-01-15
US20130342648A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
WO2012121572A2 (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2013019042A1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
WO2012128563A2 (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2012077982A2 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
WO2012099359A2 (ko) 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2010053246A2 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2013043000A1 (en) Apparatus and method of playing broadcast content in broadcasting system
WO2013042961A1 (en) Method and apparatus for synchronizing media data of multimedia broadcast service
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2009134105A2 (en) Method of receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2010041896A2 (en) Receiving system and method of processing data
WO2009110766A1 (en) Method of receiving broadcast signals and apparatus for receiving broadcast signals
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
WO2012121571A2 (ko) 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
KR101781887B1 (ko) 방송 신호 송수신 방법 및 장치
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
WO2013055164A1 (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
WO2011049372A2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2010090439A2 (ko) 디지털 멀티미디어 방송 서비스를 위한 송신 방법, 송신 장치, 수신 방법 및수신 장치
WO2012144857A2 (en) Receiver for receiving and displaying a plurality of streams through separate routes, method for processing the plurality of streams and transmitting method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12755204

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14003942

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012755204

Country of ref document: EP