KR102130733B1 - 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치 - Google Patents

하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치 Download PDF

Info

Publication number
KR102130733B1
KR102130733B1 KR1020130084368A KR20130084368A KR102130733B1 KR 102130733 B1 KR102130733 B1 KR 102130733B1 KR 1020130084368 A KR1020130084368 A KR 1020130084368A KR 20130084368 A KR20130084368 A KR 20130084368A KR 102130733 B1 KR102130733 B1 KR 102130733B1
Authority
KR
South Korea
Prior art keywords
augmented
time
augmented content
metadata
information
Prior art date
Application number
KR1020130084368A
Other languages
English (en)
Other versions
KR20140026246A (ko
Inventor
김순철
하정락
김정학
최범석
정영호
홍진우
김규헌
박종환
조민우
박광훈
서덕영
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US13/973,070 priority Critical patent/US9426506B2/en
Publication of KR20140026246A publication Critical patent/KR20140026246A/ko
Application granted granted Critical
Publication of KR102130733B1 publication Critical patent/KR102130733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치가 개시된다. 본 발명의 일 실시 예에 따른 증강 서비스 제공장치는, 제1 전송망을 통해 실시간 데이터를 제공하는 실시간 데이터 제공부와, 실시간 데이터와 함께 동기화될 증강 콘텐츠를 제2 전송망을 통해 제공하는 증강 콘텐츠 제공부와, 실시간 데이터와 증강 콘텐츠 메타데이터 및 실시간 데이터와 증강 콘텐츠의 동기화를 위한 타이밍 정보를 함께 다중화하여 출력하는 다중화부를 포함한다.

Description

하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치 {Apparatus for providing and receiving augmented broadcasting service in hybrid broadcasting environment}
본 발명은 이종 망 간 하이브리드 융합기술에 관한 것으로, 보다 상세하게는 이종 망 환경에서 실시간 데이터와 증강 콘텐츠를 연동하여 증강 서비스를 제공하기 위한 시그널링 및 동기화 기술에 관한 것이다.
아날로그 TV 방송의 전면적 종료와 디지털 TV 방송 체제로의 전환 이후, TV가 초고속 인터넷과 융합된 하이브리드 방송시대가 도래할 것으로 전망된다. 또한 대용량의 데이터 전송량을 필요로 하는 실감형 콘텐츠에 대한 사용자의 소비요구가 증가하고 있다. 예를 들어, 실시간 방송 중에 스마트 디바이스를 통한 실감형 객체 이미지 또는 영상 클립을 제공받거나 요청하는 증강방송 서비스(Augmented Broadcasting Service)가 기대되고 있다.
하이브리드 방송 환경의 등장은 전송 대역폭의 한계를 극복하는 솔루션으로 대두되었으며, 기존 방송망뿐만 아니라 인터넷망을 통해 실감형 콘텐츠를 다운로드 받아 실시간 방송 중간에 제공하는 서비스를 예상할 수 있다. 그러나, 방송망과 인터넷을 연동하는 데에는 증강 콘텐츠 관련 정보의 정의가 필요하며, 각 전송망에서 콘텐츠를 화면에 동기화하는 시스템과 타이밍 정보는 목적과 형태가 다르기 때문에 기존 방식대로는 서비스를 제공하기 어렵다.
일 실시 예에 따라, 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치의 시그널링 및 동기화 기술을 제안한다.
일 실시 예에 따른 증강 서비스 제공장치는, 제1 전송망을 통해 실시간 데이터를 제공하는 실시간 데이터 제공부와, 실시간 데이터와 함께 동기화될 증강 콘텐츠를 제2 전송망을 통해 제공하는 증강 콘텐츠 제공부와, 실시간 데이터와 증강 콘텐츠 메타데이터 및 실시간 데이터와 증강 콘텐츠의 동기화를 위한 타이밍 정보를 함께 다중화하여 출력하는 다중화부를 포함한다.
다른 실시 예에 따른 증강 서비스 수신장치는, 제1 전송망을 통해 실시간 전송 스트림을 수신하는 전송 스트림 수신부와, 증강 콘텐츠 메타데이터를 수신하여 수신된 증강 콘텐츠 메타데이터로부터 초기 프로그램 레퍼런스 클럭과 콘텐츠 활성화 정보를 추출하고, 추출된 정보들을 이용하여 제1 전송망을 통해 수신된 전송 스트림과 제2 전송망을 통해 수신된 증강 콘텐츠를 동기화하는 동기화부와, 동기화부를 통해 동기화된 증강 콘텐츠의 재생 시간에 맞춰 전송 스트림과 함께 증강 콘텐츠를 재생하는 재생부를 포함한다.
또 다른 실시 예에 따른 증강 서비스 수신장치는, 제1 전송망을 통해 실시간 전송 스트림을 수신하는 전송 스트림 수신부와, 증강 콘텐츠 메타데이터를 수신하여 수신된 증강 콘텐츠 메타데이터로부터 증강 콘텐츠 재생 시간 클럭과 콘텐츠 활성화 정보를 추출하고, 추출된 정보들을 이용하여 제1 전송망을 통해 수신된 전송 스트림과 제2 전송망을 통해 수신된 증강 콘텐츠를 동기화하는 동기화부와, 동기화부를 통해 동기화된 증강 콘텐츠의 재생 시간에 맞춰 전송 스트림과 함께 증강 콘텐츠를 재생하는 재생부를 포함한다.
일 실시 예에 따르면, 서로 다른 이종 망, 예를 들어 방송망과 인터넷망으로 구성된 하이브리드 환경에서, 다운로드 받은 증강 콘텐츠를 실시간 데이터와 연동하기 위한 시그널링 및 동기화 기술을 이용하여 실시간 데이터에 증강 콘텐츠를 연동하여 하이브리드 증강방송 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 하이브리드 증강방송 서비스 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 증강방송 서술자의 구성도,
도 3은 본 발명의 제1 실시 예에 따른 증강 콘텐츠 메타데이터 패킷의 페이로드 구성도,
도 4는 본 발명의 제2 실시 예에 따른 증강 콘텐츠 메타데이터 패킷의 페이로드 구성도,
도 5는 본 발명의 제1 실시 예에 따른 하이브리드 증강방송 서비스를 제공하는 송신 단의 구성도,
도 6은 본 발명의 일 실시 예에 따른 증강 콘텐츠 메타데이터 송출 구조도,
도 7은 본 발명의 제1 실시 예에 따른 하이브리드 증강방송 서비스를 수신하는 수신 단의 구성도,
도 8은 본 발명의 제2 실시 예에 따른 하이브리드 증강방송 서비스를 제공하는 송신 단의 구성도,
도 9는 본 발명의 제2 실시 예에 따른 하이브리드 증강방송 서비스를 수신하는 수신 단의 구성도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 이종 망이 융합된 하이브리드 서비스를 제공하기 위한 기술로서, 제1 전송망을 통해 전송되는 실시간 데이터와, 제2 전송망을 통해 전송되는 증강 콘텐츠를 동기화하여 하이브리드 서비스를 제공한다. 예를 들어, 방송망을 통해 전송되는 실시간 방송 스트림과 인터넷망을 통해 전송되는 증강 콘텐츠를 동기화하여 제공한다.
본 발명의 일 실시 예에 따르면, 송신 단은 실시간 방송 스트림 내에 증강방송 서비스 정보를 증강방송 메타데이터(Augmented Broadcasting Metadata: ABM) 형태로 수신 단에 전송하고, 수신 단은 증강 콘텐츠를 다운로드한 이후 방송 화면에 일정시간 동안 객체의 형태로 실감적 요소를 포함하여 재생한다. 이를 위해, 본 발명은 하이브리드 환경에 적합한 증강방송 시그널링 및 동기화 기술을 제안한다.
본 발명에서 적용되는 전송 망은 어느 특정 망에 한정되지 않는다. 또한, 본 발명은 증강방송 서비스 기술이 아닌 이종 망 간 융합된 하이브리드 서비스를 제공하는 모든 기술 분야에 적용될 수 있다. 예를 들어, 이벤트성 데이터 활성화 서비스를 목표로 하는 이종 망 간 연동 전송 시스템에서 영상 간의 연관정보 및 동기화 정보가 없는 기술분야에 적용될 수 있다.
한편, 국제 표준화 기구 MPEG(Moving Picture experts group)에서는 증강방송 서비스를 위한 어플리케이션 포맷 표준기술을 제정 중이다. MPEG-4의 객체 콘텐츠 제공 서비스 중 하나인 BIFS(BInary Format for Scenes)의 확장 버전으로 증강 현실 응용 포맷(Augmented Reality Application Format: 이하 ARAF라 칭함)이 현재 표준화가 진행되고 있다. 그러나, ARAF의 표준 기술을 따르기에는 현 방송 시스템의 환경에서는 구현하기 어려운 상황이며, 현재 각 단말의 호환성을 고려하면 상용화에 어려움이 따른다. 따라서 일 실시 예에 따른 본 발명은 현 방송 시스템인 MPEG-2 전송 스트림(Transport Stream: TS) 기반에서 증강방송 콘텐츠를 다운로드 하여 현 방송 스트림에 특정시간에 증강방송 콘텐츠를 동기화하는 기술을 제안한다. 이하, 수신 단에 제공되는 실시간 데이터는 방송망을 통한 MPEG-2 TS를 따라 제공되고, 증강 콘텐츠 중 하나인 증강 콘텐츠는 인터넷망을 통하여 제공될 때의 하이브리드 증강방송 서비스 기술에 대해 후술한다.
일 실시 예에 따른 하이브리드 증강방송 서비스 송신 단은 다음과 같은 기능을 갖는다. 우선, 증강방송 서비스 제공을 위해 방송국에서 상용화된 인코더의 기능을 수정하지 않고 그대로 사용하는 것을 기본으로 한다. 그리고, MPEG-2 시스템 등을 통해 다중화된 패킷과 증강방송 서비스를 위한 활성화 정보를 포함한 패킷을 재 다중화하는 기능을 갖는다. 재 다중화 기능에는 실시간 방송 스트림과 함께 제공되는 증강 콘텐츠 메타데이터를 실시간 방송 스트림과 함께 다중화하는 기능이 포함된다. 증강 콘텐츠 메타데이터에는 실시간 방송 스트림에 증강 콘텐츠를 오버레이하기 위해 필요한 증강 콘텐츠의 영역이나 위치, 표현방법, 증강 콘텐츠의 타입, 증강 콘텐츠의 속성, 방송 콘텐츠 제작에 사용된 카메라나 각종 센서 정보, 증강 콘텐츠의 표현정보시간 등이 포함된다. 나아가, 송신 단은 수신 단에서 방송 스트림과 증강 콘텐츠가 동기화되어 표시될 수 있도록 스케쥴링하여 송출한다.
한편, 일 실시 예에 따른 하이브리드 증강방송 서비스 수신 단은 영상 수신시점과 포맷이 송신 단과는 상이하기 때문에, 기준 영상에 포함되는 증강방송 서술자 정보와 동기화 정보를 인식하여 분석하는 기능을 갖는다.
이하 후술되는 도면들을 참조로 하여, 하이브리드 증강방송 서비스를 위해 현 실시간 방송 시스템의 전송 스트림에 추가되는 망 간 동기화 정보를 갖는 증강 콘텐츠 메타데이터를 정의하고, 수신 단말에서 증강 콘텐츠 메타데이터를 처리하는 기술에 대해 상세히 기술한다.
도 1은 본 발명의 일 실시 예에 따른 하이브리드 증강방송 서비스 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 하이브리드 증강방송 서비스 시스템은 증강방송 서비스를 제공하는 송신 단과, 증강방송 서비스를 수신하는 수신 단으로 구성된다.
송신 단에서는 실시간 방송 프로그램을 제작 및 편집하여 제공하는데, 방송 제작자(100)가 방송 콘텐츠인 오디오/비디오 스트림을 제작하고, 편집자(102)가 증강 콘텐츠를 편집할 수 있다. 이때, 편집자(102)는 증강 영역 정보와 증강 시간 정보 등을 포함하는 증강 콘텐츠 메타데이터를 다중화부(110)에 제공하고, 증강 콘텐츠 제작정보를 서비스 제공자(104)에 제공한다. 서비스 제공자(104)는 증강 콘텐츠 제작정보를 이용하여 증강 콘텐츠를 제작하고 필요시 증강 콘텐츠 저장 서버(150)에 업로드 한다. 증강 콘텐츠는 예를 들어, 서비스 제공자(104)가 제작한 광고나 수신 단의 사용자가 방송 수신 중에 알고 싶어하는 부가 방송 정보 등일 수 있으며, 증강 콘텐츠는 사용자 요청에 따라 제공될 수 있다. 한편, 전술한 방송 제작자(100), 편집자(102), 서비스 제공자(104) 및 증강 콘텐츠 저장 서버(150)는 기능 관점에서 각 구성요소를 분리한 것으로, 도 1에서와 같이 별개의 장치에서 각각 분리 수행될 수 있으나, 적어도 일부 장치를 결합하여 해당 기능을 수행할 수도 있다.
수신 단에 제공되는 실시간 방송 스트림은 증강 콘텐츠 메타데이터를 포함하며, 증강 콘텐츠 메타데이터를 포함한 실시간 방송 스트림은 다중화부(multiplexer: MUX)(110)를 거쳐 송신기(120)를 통해 수신기(130)로 송출된다. 수신기(130)는 방송 스트림의 프로그램 초기화 정보에 포함된 증강방송 서술자(augmentation broadcasting descriptor)를 이용하여 증강방송 서비스 수신 여부를 결정할 수 있으며, 수신 결정 시에 방송 스트림을 파싱부(TS parser)(140)로 전송할 수 있다. 파싱부(140)는 방송 스트림을 파싱하여 증강 콘텐츠 메타데이터와 동기화 정보를 추출하고, 동기화부(synchronizer)(160)는 추출된 동기화 정보를 이용하여 증강 콘텐츠 객체와 실시간 방송 영상을 동기화한다. 재생부(renderer)(170)는 증강 콘텐츠 메타데이터에 정의된 동기화 시간이 되면 동기화된 실시간 방송 영상과 증강 콘텐츠 객체를 사용자 단말, 예를 들면 스마트 디바이스를 통해 활성화한다.
도 2는 본 발명의 일 실시 예에 따른 증강방송 서술자(augmentation broadcasting descriptor)(200)의 구성도이다.
도 2를 참조하면, 증강방송 서술자(200)는 수신 단이 증강방송 스트림을 수신할 수 있는지 여부를 결정하는 서술자이다. 일 실시 예에 따른 증강방송 서술자(200)는 식별자 태그(descriptor_tag)(210), 식별자 길이(descriptor_length)(220), 증강방송 서비스 타입(Augmentation_broadcasting_service_type)(230)을 포함한다.
세부적으로, 식별자 태그(210)는 해당 서술자가 증강방송 서술자라는 것을 식별해주는 정보이다. 식별자 길이(202)는 해당 서술자의 전체 길이를 나타낸다. 증강방송 서비스 타입(230)은 다양한 증강방송 서비스들을 구별할 수 있도록 정의한 것이다. 예를 들어 3비트를 할당하여 현존하는 증강방송 서비스들과 차후 등장할 다양한 증강방송 서비스들을 구별할 수 있도록 정의할 수 있다. 일 예로, 3비트 000은 DTV 방송을, 001은 하이브리드 다운로드 증강방송 서비스를, 010은 하이브리드 스트리밍 증강방송 서비스를 각각 정의할 수 있다. 그러나, 해당 정의는 본 발명의 이해를 돕기 위한 일 실시 예일 뿐, 이에 한정되지 않으며, 다양하게 변형 가능하다.
일 실시 예에 따른 증강방송 서술자(200)는 실시간 방송 스트림의 프로그램 및 시스템 정보 프로토콜(Program and System Information Protocol: PSIP)의 가상 채널 테이블(Virtual Channel Table: VCT), 이벤트 정보 테이블(Event Information Table: EIT)과 MPEG-2 TS(Transport Stream) 프로그램 상세정보(Program Specific information: PSI)의 프로그램 맵 테이블(Program Map Table: PMT) 등의 섹션(Section) 패킷 내에 위치한다.
한편, 본 발명의 하이브리드 방송 시스템은 현실적으로 프로그램의 현재 진행시점을 예상하기 어려운 현재 방송 시스템에서 방송망과 인터넷망을 연동하는 동기화 방안에 관한 것으로, 동기화 정보의 목적과 형태가 서로 상이한 방송망과 인터넷망을 동기화하기 위해 동기화 정보를 새롭게 정의한다. 그리고, 하이브리드 망에서의 동기화를 위해서, 본 발명은 송신 단에서 실시간 방송 스트림에 증강방송을 위한 동기화 정보를 포함하는 증강 콘텐츠 메타데이터를 함께 다중화하여 수신 단에 송출한다. 이하, 후술되는 도 3과 도 4를 통해 본 발명에서 새롭게 정의된 증강 콘텐츠 메타데이터에 대해 상세히 설명한다.
도 3은 본 발명의 제1 실시 예에 따른 증강 콘텐츠 메타데이터 패킷의 페이로드 구성도이다.
도 3을 참조하면, 증강 콘텐츠 메타데이터는 실시간 방송 스트림과 함께 기초 스트림(elementary stream: ES) 또는 MPEG-2 TS 형태로 재 다중화된다. 페이로드에는 방송 프로그램과 증강 콘텐츠 간 동기화를 위한 타이밍 정보와 증강방송 정보가 XML 형태의 기술언어로 기술될 수 있다.
세부적으로, 증강 콘텐츠 메타데이터 패킷의 식별자(identifier)(300)는 본 필드 이후에 증강 콘텐츠 메타데이터 페이로드를 지시한다. 초기 프로그램 레퍼런스 클럭(Initial_program_reference_clock)(301)은 하이브리드 증강방송 서비스를 위한 동기화 정보로서, 현재 진행되고 있는 프로그램의 시작점을 나타낸다. 프로그램 시작점은 증강방송 시작을 나타내는 도식 화면 또는 특정 인터페이스를 통한 시작점이 될 수 있으며, 특정 방법으로 한정하지 않는다는 것을 가정한다. 일 실시 예에 따른 초기 프로그램 레퍼런스 클럭(301)의 33비트 정보는 MPEG-2 시스템의 Program_Clock_Reference(PCR) 정보로서, 기존 PCR의 시간에서 PCR_base에 해당하는 정보를 말하며, 본 정보는 동기화 시각을 계산하기 위해서 필요한 기준 클럭 정보이다.
마크업 타입(ABM_markup_type)(302)은 증강 콘텐츠 메타데이터의 기술언어의 형태를 정의한 것이다. 예를 들어, 01은 XML 형식을, 10은 Binary 형식을 각각 나타낼 수 있으나, 이는 일 실시 예일 뿐 다양하게 변형 가능하다. 증강 서비스 타입 플래그(Augmentation_service_type_flag)(303)는 증강 콘텐츠 메타데이터를 방송망을 통해 수신할 것인지 인터넷망을 통해 수신할 것인지 여부를 결정해주는 필드이다. 예를 들어, 증강 서비스 타입 플래그(303)의 필드가 0 상태이면 방송망을 통해 증강 콘텐츠 메타데이터를 수신하고, 1 상태이면 인터넷망을 통해 접속할 URL 주소가 정의된다. 데이터 길이(ABM_data_length)(304)는 방송망으로 증강 콘텐츠 메타데이터를 수신할 때 패킷 내의 메타데이터의 길이를 의미하고, 데이터 바이트(ABM_data_byte)(305)는 증강 콘텐츠 정보가 담긴 증강 콘텐츠 메타데이터의 실질적인 데이터가 삽입되는 부분이다. 접속주소 길이(ABM_URL_length)(306)는 증강 콘텐츠 정보가 포함된 증강 콘텐츠 메타데이터를 인터넷망을 통해 다운로드 할 때 접속 URL의 길이를 의미한다. 접속주소(ABM_access_URL)(307)는 증강 콘텐츠 메타데이터를 인터넷망을 통해 다운로드 받을 때의 접속 URL 정보를 의미한다.
도 4는 본 발명의 제2 실시 예에 따른 증강 콘텐츠 메타데이터 패킷의 페이로드 구성도이다.
도 4를 참조하면, 증강 재생 시간 클럭(Augmentation_play_time_clock)(401)을 제외하고 다른 필드들(400,404,405,406,407)에 대한 설명은 도 3을 참조로 전술한 바와 대응되므로 생략한다. 증강 재생 시간 클럭(401)은 증강 콘텐츠 제공을 위해 증강 콘텐츠 재생 시간정보가 포함된 증강 콘텐츠 제작 정보를 정의하는 편집 과정에서 기록된 시간 클럭과 상응하는 값이다.
일 실시 예에 따라 증강 재생 시간 클럭(401)은 매 프레임마다 수신 단에 송신되는 것이 아니라, 증강 콘텐츠의 다운로드가 보장되는 시간 이전에 수신 단에 송신되며, 수신 단에서 해당 시간 클럭을 생성한다. 수신 단은 생성된 시간 클럭을 증강 콘텐츠 메타데이터에 정의된 활성화 시간과 비교하여 시간을 동기화한다.
이하 후술되는 도 5 내지 도 9를 참조로 하여, 도 3과 도 4의 증강 콘텐츠 메타데이터 구조에 따라 하이브리드 증강방송 서비스를 위한 동기화 방법들을 설명한다.
도 5는 본 발명의 제1 실시 예에 따른 하이브리드 증강방송 서비스를 제공하는 송신 단의 구성도이다. 세부적으로, 도 5는 도 3을 참조로 전술한 프로그램 초기정보를 포함하는 메타데이터를 이용하여 하이브리드 증강방송 서비스를 제공하는 송신 단의 세부 구성도이다.
도 5를 참조하면, 송신 단은 실시간 방송 프로그램과 실시간 방송 프로그램의 특정 시간에 삽입될 증강 콘텐츠를 제작한다. 스케쥴러는 시간순서에 맞게 방송 프로그램을 편성하고, 저장부(500)에 저장된 raw video sequence를 방송 편성 순서대로 인코더(510)에 입력한다. 이때, 인코더(510)는 MPEG-2 영상 인코더(510)일 수 있다. 인코더(510)에 raw video sequence가 입력되는 순간, 인코더(510)는 프로그램 시작 순간의 PCR을 실시간 방송 스트림에 삽입하여 인코딩하여 기초 스트림(Elementary Stream: 이하 ES라 칭함)을 생성하고, 생성된 ES를 PES 패킷화부(520)에 전송한다. PES 패킷화기(520)는 ES를 패킷화하여 패킷화된 ES(Packetized Elementary Stream: 이하 PES라 칭함)를 생성하고 PES를 제1 다중화부(530)에 전송한다. 제1 다중화부(530)는 PES를 전송 스트림(Transport Stream: 이하 TS라 칭함)으로 다중화한다.
전술한 프로세스를 통해 생성된 TS는 제2 다중화부(550)에 전송되며, 제2 다중화부(550)는 TS를 증강방송을 위한 TS로 재 다중화한다. 메타데이터 생성부(540)는 프로그램 시작점을 기준으로 XML 데이터 또는 XML 데이터를 담을 TS 스트림을 갖는 증강 콘텐츠 메타데이터를 생성하여 이를 제2 다중화부(550)에 입력하며, 제2 다중화부(550)는 TS와 함께 증강 콘텐츠 메타데이터를 다중화하여 수신 단에 송출한다. 제2 다중화부(550)는 도 3에서 전술한 신택스(syntax)에 따라 증강 콘텐츠 메타데이터를 다중화할 수 있다.
일 실시 예에 따르면, 메타데이터 생성부(540)는 제2 다중화부(550)의 시작신호에 따라 방송 프로그램 시작점을 기준으로 동기화 정보로서 초기 프로그램 레퍼런스 클럭(Initial_program_reference_clock)(도 3의 301)인 초기 PCR을 제2 다중화부(550)에 저장해 두고, 제2 다중화부(550)는 송출 시간을 기준으로 정렬된 증강 콘텐츠 메타데이터를, 미리 저장해두었던 초기 PCR 값과 함께 PES 단위로 구성하고, 특정 시간에 송출할 증강 콘텐츠 메타데이터가 존재하면, null 패킷이 검출되는 시점에 증강 콘텐츠 메타데이터를 실어 내보낸다.
PSIP 생성부(560)는 증강방송을 기술하는 증강방송 서술자를 생성하여 이를 제2 다중화부(550)에 입력하며, 입력된 증강방송 서술자는 실시간 방송 스트림의 프로그램 초기화 정보에 포함된다.
이하, 제2 다중화부(550)의 패킷 처리 프로세스에 대해 상세히 후술한다. 제2 다중화부(550)는 실시간으로 입력되는 MPEG-2 TS 스트림 혹은 내부 영상 데이터를 TS 패킷 단위로 읽어 들인다. 이때, 증강방송 동기화를 위한 타이밍 정보로서, 입력된 MPEG-2 패킷의 초기 PCR(Program Clock Reference) 값을 메모리에 저장해 둔다. 제2 다중화부(550)는 송출 시간을 기준으로 정렬된 증강 콘텐츠 메타데이터를, 미리 저장해 두었던 초기 PCR 값과 함께 PES 단위로 구성하고, 동작 과정에서 실시간으로 송출할 증강 콘텐츠 메타데이터가 존재하는지 여부를 검사한다. 만약, 특정 시간에 송출할 증강 콘텐츠 메타데이터가 존재하면, null 패킷이 검출되는 시점에 증강 콘텐츠 메타데이터를 실어 보낸다. 증강 콘텐츠 메타데이터는 방송 프로그램 내내 연속된 데이터 스트림이 아닌, 랜덤 발생 스트림의 특성을 가지므로, 증강방송 동기화를 위한 타이밍 정보는 증강 콘텐츠 메타데이터가 송출되는 시점에만 함께 실어 보냄으로써, 증강방송 수신 단말이 증강 콘텐츠 메타데이터를 수신하고 파싱하는 과정에서 별도의 방송 혹은 데이터 패킷 정보를 참조할 필요가 없게 된다. 그리고, 제2 다중화부(550)는 Section(PMT, VCT, MTG) 패킷을 구분하고, 증강방송 서술자를 삽입하여 내보낸다.
도 6은 본 발명의 일 실시 예에 따른 증강 콘텐츠 메타데이터 송출 구조도이다.
도 6은 세부적으로 실시간 영상 프레임들의 출력에 따른 증강 콘텐츠 메타데이터의 출력 시점에 관한 것으로, 기록 시간 축을 기준으로 상단은 영상 프레임들의 순차적인 출력 흐름을 나타내고, 하단은 증강 콘텐츠 메타데이터들의 출력 흐름을 도시한 것이다.
도 6을 참조하면, 특정 시간 t에 표현될 영상 프레임 k와 증강 콘텐츠 메타데이터 n은 표현시간정보(t)을 매개로 하여 수신 단말에서 시간 동기화를 구현한다. 표현정보시간(t)는 증강방송 저작도구가 증강영역을 생성 및 편집하는 과정에서 사용된 영상의 경과된 시간이며, 이 시간을 해당 증강 콘텐츠 메타데이터 내 시간 필드에 삽입한다. 제2 다중화부(도 5의 550)는 비디오/오디오 스트림 내 영상 프레임 k-1이 출력되는 동안 특정 시간 s에 도달하게 되면, 증강 콘텐츠 메타데이터 n-1은 증강 콘텐츠 메타데이터 스트리머를 통해 이미 송출이 완료되었으며, 증강 콘텐츠 메타데이터 n은 송출을 준비하게 된다. 실제 증강 콘텐츠 메타데이터 n은 시간 t의 영상 프레임과 동기화 시 요구되는 데이터로서, 해당 영상 프레임보다 먼저 송출하게 되는 것이다.
증강 콘텐츠 메타데이터가 영상 프레임의 송출 시간과 비교할 때 시간차 Diff. 만큼 미리 수신 단말에 도달할 수 있도록 한다. 수신 단말에서는 시간 t를 기준으로 영상 프레임 k에 증강 콘텐츠를 출력하기 위해서는 증강 콘텐츠가 놓여질 속성정보와 데이터를 해당 증강 콘텐츠 메타데이터 n에서 해석해야 하므로, 최소한 시간 t 이전에 시간차 Diff. 만큼 앞서서 증강 콘텐츠 메타데이터 n은 수신 단말에 도달해야 한다. 증강 콘텐츠 메타데이터 n이 시간 t 이전에 도달하지 못할 경우 해당 영상 프레임의 증강방송 서비스 제공은 보장할 수 없게 된다.
증강 콘텐츠 메타데이터 송출은 증강방송 저작서버가 생성하는 증강 콘텐츠 메타데이터들을 표현정보시간 순서대로 증강 콘텐츠 메타데이터 송출 정보 리스트를 구성한다. 송출시간 값은 다음과 같은 요소들을 고려하여 결정된다.
송출시간 = 표현정보시간 - 콘텐츠 다운로드 시간(방송 전달시간 + 인터넷 전달시간 + 콘텐츠 유형) ... (식 1)
식 1에 있어서, 방송 전달시간은 방송망을 통한 증강 콘텐츠 메타데이터 전달 시간을, 인터넷 전달시간은 인터넷망을 통한 다운로드 시간을, 콘텐츠 유형은 증강 콘텐츠 유형에 따른 트래픽 시간을 의미한다.
도 7은 본 발명의 제1 실시 예에 따른 하이브리드 증강방송 서비스를 수신하는 수신 단의 구성도이다.
도 7을 참조하면, 송신 단으로부터 수신된 전송 스트림(TS)은 제1 TS 파싱부(600)에 입력되며, 제1 TS 파싱부(600)는 TS에 포함된 증강방송 서술자(Augmentation_broadcasting_descriptor)(도 2의 200)를 해석하여 증강방송 수신 여부를 판단한다. 또한 TS의 헤더에 있는 프로그램 기준 클럭(Program Reference Clock: PCR)을 추출하여 추출된 PCR을 시스템 타임 클럭(System time clock: STC) 복구부(610)에 전송한다. 시스템 타임 클럭 복구부(610)는 PCR을 이용하여 MPEG-2 시스템 타임 클럭(system time clock: STC)을 재현하며, PCR에 포함되는 PCR base를 제1 비교부(620)에 전송한다. 제1 TS 파싱부(600)는 입력받은 TS를 해석하여 PES를 생성하고 생성된 PES를 제1 PES 파싱부(602)에 입력한다. 제1 PES 파싱부(600)는 입력받은 PES를 해석하여 PES에 포함된 ES가 디코딩되어야 하는 시점인 DTS(Decoding time Stamp)를 추출하고 이를 제1 비교기(620)에 제공한다. 그리고, PES를 해석하여 ES를 생성하고 이를 제1 ES 버퍼(604)에 입력한다. 제1 ES 버퍼(604)는 수신된 ES를 디코딩 시점까지 버퍼링한 후 이를 비디오 디코더(606)에 입력하고, 비디오 디코더(606)는 디코딩 시점에 ES를 디코딩한다. 제1 비교기(620)는 PCR base와 DTS를 비교하여 PCR이 DTS 시점이 되는 경우 시작신호를 비디오 디코더(606)에 인가하여 비디오 디코더(606)의 디코딩 수행을 제어한다.
한편, 수신 단에서 증강 콘텐츠 다운로드가 보장되는 시간 이전에 증강방송 메타데이터 패킷을 수신하면, 제2 TS 파싱부(630)는 이를 파싱하여 증강방송을 위한 메타데이터 PES를 추출하고 이를 제2 PES 파싱부(640)에 입력한다. 제2 PES 파싱부(640)는 메타데이터 PES로부터 동기화를 위한 초기 PCR 정보와 증강방송을 위한 XML 데이터를 추출한다. 추출된 XML 데이터는 XML 버퍼(660)에서 버퍼링된다.
일 실시 예에 따른 타이밍 관리부(650)는 초기 PCR과 XML 데이터에 포함된 콘텐츠 활성화 시간(시:분:초:프레임)을 이용하여 현재 프로그램의 진행상황이 고려된 MPEG-2 시스템 타임 클럭인 PTS(Presentation Time Stamp)를 계산한다. PTS 계산 공식은 다음 수식 2를 따를 수 있다.
활성화 DTS = 초기 PCR base + {XML 데이터에서 정의된 콘텐츠 활성화 시간을 프레임 수로 환산 × PTS의 간격(3,000)} ... (식 2)
식 2를 참조하면, 초기 PCR이 30,000이고, XML에 정의된 A 콘텐츠가 활성화될 프로그램 재생시간이 1분 10초 10프레임이라 가정한 경우, 2110 프레임이 지난 후 증강 콘텐츠가 활성화되어야 한다. 식 2에 대입하면 2,110×3,000=6,330,000의 간격 값이 나오게 된다. 이 값에서 초기 PCR인 30,000을 합산하면 6,330,000+30,000=6,360,000의 PTS 값이 나오게 된다.
제2 ES 버퍼(680)는 송신 단으로부터 수신된 증강 콘텐츠를 디코딩 시점까지 버퍼링한 후 증강 데이터 디코더(682)에 입력하고, 증강 데이터 디코더(682)는 입력받은 증강 콘텐츠를 디코딩한다. 타이밍 관리부(650)의 DTS 계산 이후, 제2 비교기(670)는 계산된 DTS 값과 PCR 값을 비교하여, PCR이 DTS 시점이 되면 비디오 디코더(606)에 시작신호를 인가하며, 시작신호에 따라 비디오 디코더(606)는 증강 콘텐츠 디코더(682)에서 디코딩된 증강 콘텐츠 ES와 함께 방송 데이터를 디코딩한다.
도 8은 본 발명의 제2 실시 예에 따른 하이브리드 증강방송 서비스를 제공하는 송신 단의 구성도이다. 이때, 송신 단은 증강 프로그램 편집 시 사용하는 타이밍 정보를 이용한다. 도 8에 있어서 도 5의 내용과 중복되는 부분은 도 5에서 이미 전술한 바 있으므로, 본 발명의 해석을 모호하게 할 가능성이 있어 생략한다.
도 8을 참조하면, 실시간 인코딩 과정을 거친 TS는 제2 다중화부(550)에 입력되며, 제2 다중화부(550)는 TS를 증강방송을 위한 실시간 TS로 재 다중화한다. 이때, 제2 다중화부(550)에 프로그램 시작 정보가 입력되면 제2 다중화부(550)는 메타데이터 생성부(540)에 시작 신호를 인가하며, 메타데이터 생성부(700)는 시작신호를 인가받은 시점을 기준으로 증강 콘텐츠 편집 시 사용했던 시간 클럭과 대응되는 증강 재생 시간 클럭(Augmentation_play_time_clock)(도 4의 401)을 생성하고, 이를 제2 다중화부(550)에 입력한다. 제2 다중화부(550)는 메타데이터 생성부(540)로부터 증강 재생 시간 클럭(도 4의 401)과 XML 데이터를 입력받아 메타데이터를 생성한다. 제2 다중화부(550)는 메타데이터를 실시간 TS와 함께 재 다중화한 후 방송 망을 통해 수신 단에 송출한다. 일 실시 예에 따르면, 메타데이터는 이벤트가 발생하기 이전에 미리 수신 단에 전송된다.
도 9는 본 발명의 제2 실시 예에 따른 하이브리드 증강방송 서비스를 제공하는 수신 단의 구성도이다. 이때, 수신 단은 증강 프로그램 편집 시 사용하는 타이밍 정보를 이용한다. 도 9에 있어서 도 7의 내용과 중복되는 부분은 도 7에서 이미 전술한 바 있으므로, 본 발명의 해석을 모호하게 할 가능성이 있어 생략한다.
도 9를 참조하면, XML을 포함하는 TS 패킷이 제2 TS 파싱부(630)로 입력되면, 제2 TS 파싱부(630)는 TS 패킷을 해석하여 PES 패킷을 생성하고, PES의 페이로드로부터 XML과 프로그램 편집 시 사용된 타이밍 정보 클럭 값인 증강 재생 시간 클럭(Augmentation_play_time_clock)(도 4의 401)을 추출한다. 제2 시스템 타임 클럭(System Time Clock: STC) 복구부(820)는 증강 재생 시간 클럭(도 4의 401)을 수신한 후 이에 대응되는 STC를 발생하며, 제2 비교부(670)는 XML에 정의된 증강 콘텐츠 활성화 시간 값과 STC 값을 비교하여, STC 값이 증강 콘텐츠 활성화 시간 값과 동일해질 때에 시작 신호를 비디오 디코더(606)에 인가하며, 비디오 디코더(606)는 시작 신호에 따라 증강 데이터 디코더(682)에 의해 디코딩된 증강 콘텐츠와 함께 방송 데이터를 디코딩한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 제1 전송망을 통해 실시간 데이터를 제공하는 실시간 데이터 제공부;
    상기 실시간 데이터와 함께 동기화될 증강 콘텐츠를 제2 전송망을 통해 제공하는 증강 콘텐츠 제공부; 및
    상기 실시간 데이터와 증강 콘텐츠 메타데이터 및 실시간 데이터와 증강 콘텐츠의 동기화를 위한 타이밍 정보를 함께 다중화하여 출력하는 다중화부;
    를 포함하는 것을 특징으로 하고,
    상기 다중화부는, 실시간 전송 스트림을 다중화하는 제1 다중화부; 및
    상기 제1 다중화부에서 다중화된 실시간 전송 스트림, 상기 증강 콘텐츠 메타데이터 및 망 간 동기화 정보로서의 프로그램 초기화 정보를 재 다중화하여 출력하는 제2 다중화부를 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  2. 제 1 항에 있어서,
    상기 제1 전송망은 방송망이고, 상기 제2 전송망은 인터넷망인 것을 특징으로 하는 증강 서비스 제공장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 증강 서비스 제공장치는,
    상기 제2 다중화부의 시작신호에 따라, 프로그램 시작점을 기준으로 증강 콘텐츠 활성화 시간정보를 갖는 XML 데이터 또는 XML을 담을 전송 스트림과 초기 프로그램 레퍼런스 클럭을 포함하는 증강 콘텐츠 메타데이터를 생성하여 생성된 증강 콘텐츠 메타데이터를 상기 제2 다중화부에 입력하는 메타데이터 생성부;
    를 더 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  5. 제 1 항에 있어서, 상기 증강 서비스 제공장치는,
    증강 서비스 수신장치의 전송 스트림 수신 여부를 결정하는 증강방송 서술자를 생성하여 생성된 증강방송 서술자를 상기 제2 다중화부에 입력하는 증강방송 서술자 생성부;
    를 더 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  6. 제 5 항에 있어서, 상기 제2 다중화부는
    상기 증강방송 서술자 생성부에서 생성된 증강방송 서술자를 실시간 전송 스트림에 삽입하여 다중화하는 것을 특징으로 하는 증강 서비스 제공장치.
  7. 제 1 항에 있어서,
    상기 증강 콘텐츠 메타데이터는 동기화 정보와 증강방송 정보를 포함하고, 상기 동기화 정보는 현재 진행되고 있는 프로그램의 시작점을 나타내는 초기 프로그램 레퍼런스 클럭을 포함하며, 상기 증강방송 정보는 증강 콘텐츠 메타데이터를 제공할 망을 결정하는 증강 서비스 타입 정보와, 방송망을 통해 증강 콘텐츠 메타데이터를 제공하는 경우의 메타데이터와, 인터넷망을 통해 증강 콘텐츠 메타데이터를 제공하는 경우의 메타데이터를 제공하는 접속주소를 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  8. 제 1 항에 있어서, 상기 다중화부는,
    실시간 전송 스트림을 다중화하는 제1 다중화부; 및
    상기 제1 다중화부에서 다중화된 실시간 전송 스트림과 함께 망 간 동기화 정보로서 증강 콘텐츠 제작 시 기록된 클럭과 대응되는 증강 콘텐츠 재생 시간 클럭을 포함하는 증강 콘텐츠 메타데이터를 재 다중화하여 출력하는 제2 다중화부;
    를 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  9. 제 8 항에 있어서, 상기 증강 서비스 제공장치는,
    상기 제2 다중화부의 시작신호에 따라 프로그램 시작점을 기준으로 증강 콘텐츠 활성화 시간정보와 증강 콘텐츠 재생 시간 클럭을 포함하는 증강 콘텐츠 메타데이터를 생성하여 이를 상기 제2 다중화부에 입력하는 메타데이터 생성부;
    를 더 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  10. 제 9 항에 있어서, 상기 제2 다중화부는,
    상기 메타데이터 생성부로부터 입력받은 증강 콘텐츠 메타데이터를 다중화하고, 다중화된 증강 콘텐츠 메타데이터와 실시간 전송 스트림을 출력하는 것을 특징으로 하는 증강 서비스 제공장치.
  11. 제 8 항에 있어서, 상기 증강 서비스 제공장치는,
    증강 서비스 수신장치의 전송 스트림 수신 여부를 결정하는 증강방송 서술자를 생성하여 생성된 증강방송 서술자를 상기 제2 다중화부에 입력하는 증강방송 서술자 생성부;
    를 더 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  12. 제 11 항에 있어서, 상기 제2 다중화부는
    상기 증강방송 서술자 생성부에서 생성된 증강방송 서술자를 실시간 전송 스트림에 삽입하여 다중화하는 것을 특징으로 하는 증강 서비스 제공장치.
  13. 제 8 항에 있어서,
    상기 증강 콘텐츠 메타데이터는 동기화 정보와 증강방송 정보를 포함하고, 상기 동기화 정보는 증강 콘텐츠 재생 시간 클럭 정보를 포함하며, 상기 증강방송 정보는 증강 콘텐츠 메타데이터를 제공할 망을 결정하는 증강 서비스 타입 정보와, 방송망을 통해 증강 콘텐츠 메타데이터를 제공하는 경우의 메타데이터와, 인터넷망을 통해 증강 콘텐츠 메타데이터를 제공하는 경우의 메타데이터를 제공하는 접속 주소를 포함하는 것을 특징으로 하는 증강 서비스 제공장치.
  14. 제 1 항에 있어서, 상기 다중화부는
    다중화된 실시간 전송 스트림과 증강 콘텐츠 메타데이터를 송신기를 통해 증강 서비스 수신장치에 송출하되, 다중화된 제 n 실시간 전송 스트림을 송출하는 시간 이전에, 제 n 실시간 전송 스트림과의 증강 콘텐츠 동기화를 위해 요구되는 제 n 증강 콘텐츠 메타데이터를 시간차를 두고 미리 송출하는 것을 특징으로 하는 증강 서비스 제공장치.
  15. 제 14 항에 있어서, 상기 다중화부는
    상기 증강 콘텐츠 메타데이터를 주기적으로 또는 이벤트 발생 시에 송출하며, 증강방송 동기화를 위한 타이밍 정보를 증강 콘텐츠 메타데이터가 송출되는 시점에 함께 실어 송출하는 것을 특징으로 하는 증강 서비스 제공장치.
  16. 제 14 항에 있어서,
    상기 다중화부가 증강 콘텐츠 메타데이터를 송출하는 시간은 표현정보시간에서 증강 콘텐츠 다운로드 시간을 차감한 시간이고, 상기 콘텐츠 다운로드 시간은 제1 전송망을 통한 증강 콘텐츠 메타데이터 전달 시간과 제2 전송망을 통한 증강 콘텐츠 전달 시간과, 콘텐츠 유형에 따른 트래픽 시간의 합인 것을 특징으로 하는 증강 서비스 제공장치.
  17. 제1 전송망을 통해 실시간 전송 스트림을 수신하는 전송 스트림 수신부;
    증강 콘텐츠 메타데이터를 수신하여 수신된 증강 콘텐츠 메타데이터로부터 초기 프로그램 레퍼런스 클럭과 콘텐츠 활성화 정보를 추출하고, 추출된 정보들을 이용하여 제1 전송망을 통해 수신된 전송 스트림과 제2 전송망을 통해 수신된 증강 콘텐츠를 동기화하는 동기화부; 및
    상기 동기화부를 통해 동기화된 증강 콘텐츠의 재생 시간에 맞춰 전송 스트림과 함께 증강 콘텐츠를 재생하는 재생부;
    를 포함하는 것을 특징으로 하는 증강 서비스 수신장치.
  18. 제 17 항에 있어서,
    상기 증강 서비스 수신장치는, 디코딩부를 더 포함하고,
    상기 동기화부는,
    증강 콘텐츠 메타데이터를 파싱하여 초기 프로그램 레퍼런스 클럭과 콘텐츠 활성화 정보를 갖는 XML 데이터를 추출하는 PES 파싱부;
    초기 프로그램 레퍼런스 클럭과 콘텐츠 활성화 시간을 이용하여 디코딩 시간을 계산하는 타이밍 관리부; 및
    상기 타이밍 관리부에서 계산된 디코딩 시간과 초기 프로그램 레퍼런스 클럭을 비교하여, 초기 프로그램 레퍼런스 클럭이 디코딩 시간이 되면 상기 디코딩부에 시작신호를 인가하는 비교부;
    를 포함하는 것을 특징으로 하는 증강 서비스 수신장치.
  19. 제1 전송망을 통해 실시간 전송 스트림을 수신하는 전송 스트림 수신부;
    증강 콘텐츠 메타데이터를 수신하여 수신된 증강 콘텐츠 메타데이터로부터 증강 콘텐츠 재생 시간 클럭과 콘텐츠 활성화 정보를 추출하고, 추출된 정보들을 이용하여 제1 전송망을 통해 수신된 전송 스트림과 제2 전송망을 통해 수신된 증강 콘텐츠를 동기화하는 동기화부; 및
    상기 동기화부를 통해 동기화된 증강 콘텐츠의 재생 시간에 맞춰 전송 스트림과 함께 증강 콘텐츠를 재생하는 재생부;
    를 포함하는 것을 특징으로 하는 증강 서비스 수신장치.
  20. 제 19 항에 있어서,
    상기 증강 서비스 수신장치는, 디코딩부를 더 포함하고,
    상기 동기화부는,
    증강 콘텐츠 메타데이터를 파싱하여 증강 콘텐츠 재생 시간 클럭과 콘텐츠 활성화 정보를 추출하는 PES 파싱부;
    상기 PES 파싱부에서 추출된 증강 콘텐츠 재생 시간 클럭을 이용하여 시스템 타임 클럭을 생성하는 시스템 타임 클럭 복구부; 및
    상기 시스템 타임 클럭 복구부에서 생성된 시스템 타임 클럭과 XML의 콘텐츠 활성화 시간을 비교하여, 시스템 타임 클럭이 콘텐츠 활성화 시간이 되면 상기 디코딩부에 시작신호를 인가하는 비교부;
    를 포함하는 것을 특징으로 하는 증강 서비스 수신장치.
KR1020130084368A 2012-08-22 2013-07-17 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치 KR102130733B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/973,070 US9426506B2 (en) 2012-08-22 2013-08-22 Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120091901 2012-08-22
KR20120091901 2012-08-22

Publications (2)

Publication Number Publication Date
KR20140026246A KR20140026246A (ko) 2014-03-05
KR102130733B1 true KR102130733B1 (ko) 2020-07-06

Family

ID=50641042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130084368A KR102130733B1 (ko) 2012-08-22 2013-07-17 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치

Country Status (1)

Country Link
KR (1) KR102130733B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012128563A2 (ko) 2011-03-22 2012-09-27 한국전자통신연구원 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101719264B1 (ko) * 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
KR101763887B1 (ko) * 2011-01-07 2017-08-02 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012128563A2 (ko) 2011-03-22 2012-09-27 한국전자통신연구원 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법

Also Published As

Publication number Publication date
KR20140026246A (ko) 2014-03-05

Similar Documents

Publication Publication Date Title
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
KR100406122B1 (ko) 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR101797507B1 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
EP2849440A1 (en) Hybrid transmission method through mmt packet format extension
KR20120084252A (ko) 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
US9426506B2 (en) Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
KR100439338B1 (ko) 디지털 지상파 데이터 방송을 위한 데이터 부호화 장치 및그 방법
KR20120103510A (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
KR101769353B1 (ko) 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
EP2814256B1 (en) Method and apparatus for modifying a stream of digital content
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
KR102130733B1 (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant