KR20130107438A - 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법 - Google Patents

증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20130107438A
KR20130107438A KR1020120029201A KR20120029201A KR20130107438A KR 20130107438 A KR20130107438 A KR 20130107438A KR 1020120029201 A KR1020120029201 A KR 1020120029201A KR 20120029201 A KR20120029201 A KR 20120029201A KR 20130107438 A KR20130107438 A KR 20130107438A
Authority
KR
South Korea
Prior art keywords
metadata
stream
augmented
time
transmission
Prior art date
Application number
KR1020120029201A
Other languages
English (en)
Other versions
KR101769353B1 (ko
Inventor
김순철
하정락
김정학
김승철
최범석
정영호
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120029201A priority Critical patent/KR101769353B1/ko
Priority to US13/689,891 priority patent/US8719860B2/en
Publication of KR20130107438A publication Critical patent/KR20130107438A/ko
Application granted granted Critical
Publication of KR101769353B1 publication Critical patent/KR101769353B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/02—Arrangements for relaying broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/02—Arrangements for relaying broadcast information
    • H04H20/06—Arrangements for relaying broadcast information among broadcast stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/02—Arrangements for relaying broadcast information
    • H04H20/08—Arrangements for relaying broadcast information among terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10—Arrangements for replacing or switching information during the broadcast or the distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 증강 방송 메타데이터가 대응하는 비디오 프레임 순서보다 일정 시간 전에 수신 단말로 도달할 수 있도록 보장하는 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법을 개시하고 있다. 증강 방송 스트림 송출 장치는 증강 방송 서비스를 제공하기 위해 증강 방송 스트림을 생성하여 수신측으로 송출하는 장치에 있어서, 상기 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성하는 영상 스트림 생성부; 상기 영상 소스를 기반으로 상기 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성하는 메타데이터 스트림 생성부; 및 상기 영상 스트림 및 상기 메타데이터 스트림을 입력으로 받아 다중화함으로써 상기 증강 방송 스트림을 생성하여 송출하는 재다중화부를 포함하되, 상기 메타데이터 스트림 생성부는 상기 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간(s)을 계산하여 상기 송출 시간(s)에 상기 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성한다. 따라서, 증강 방송 서비스의 고유 특성을 고려하여 데이터 전달 방식을 제공함으로써, 기존 데이터 방송 서비스와 차별화된 방송 서비스를 제공한다.

Description

증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법{AUGMENTED BROADCASTING STREAM TRANSMISSION DEVICE AND METHOD, AND AUGMENTED BROADCASTING SERVICE PROVIDING DEVICE AND METHOD}
본 발명은 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법에 관한 것으로, 보다 상세하게는 증강 방송 서비스를 제공하기 위한 증강 방송 스트림 송출 장치 및 방법, 및 이를 기반으로 하는 증강 방송 서비스 제공 장치 및 방법에 관한 것이다.
증강 방송은 방송사에서 송출하는 비디오/오디오/데이터를 포함하는 방송 프로그램과 방송망 또는 인터넷을 통한 증강 콘텐츠(2D/3D 콘텐츠)를 단말(예컨대, 스마트 TV/셋탑 박스 등)에서 각각 수신하고 하나의 방송 프로그램으로서 TV 화면에 출력하도록 하는 새로운 응용 서비스 개념이다. 기존에 방송사에서 방송 프로그램과 증강 콘텐츠를 합성하여 하나의 방송 프로그램으로 송출하는 방식과 달리 수신측 단말에서 콘텐츠 동기화 및 영상 합성을 통해 방송망의 일방적인 방송 프로그램을 탈피하고 사용자에게 몰입감과 현실감을 증대하기 위한 목적으로 증강 콘텐츠를 오버레이(overlay)하도록 하는 기술이다.
최근 들어 스마트폰 내 카메라, GPS, 브로드밴드 접속, 기울기 센서, 디지털 나침반 등을 이용한 위치 기반 증강현실 서비스들이 선보이기 시작하고 있으며, 센서를 이용한 위치 기반 증강 현실은 교육, 게임, 광고, 스포츠, 관광 등의 다양한 분야에 적용하기 위한 영상 인식 기반 증강 현실로 진화하고 있다. 영상 인식 기반 증강 현실은 카메라에 포착된 사물을 직접 인식하거나 마커를 통한 간접 인식 후, 증강 현실 정보를 오버레이 하는 것으로 GPS 수신이 어려운 실내에서도 적용이 가능함으로 새로운 비즈니스 도구로 활용 가능성이 높아지고 있다.
특히, 증강 현실 기술이 방송에 응용되는 방식에서는, 가상 광고와 같은 예를 통해 알 수 있듯이, 카메라를 통해 촬영된 실사 영상에 가상의 그래픽이나 이미지/동영상을 고성능의 시스템을 이용해 합성함으로써 하나의 새로운 영상으로 재구성하여 송출하게 되고, TV 단말에서의 수신은 일반 방송 영상에 대한 그것과 동일하게 이루어지게 되며, 해당 방송을 시청하는 모든 시청자들이 동일한 영상을 시청하게 된다. 따라서, 방송에서의 증강 현실 정보는 스포츠 분야에 주로 적용되어 카메라의 동작 정보를 기반으로 방송 영상에 합성된 형태로 제공되고 있으며, 이는 증강 현실 정보에 대한 시청자 선택권을 제한함은 물론 이를 기반으로 한 다양한 양방향 데이터 서비스의 제공이 어려운 상황이다.
위와 같은 증강 현실과 가상 광고 등의 기술 이슈와 스마트 단말의 트랜드를 활용하여 방송에서의 시청자 선택에 의한 증강된 영상을 표현하고자 하는 연구가 시작되었다. 이러한 증강 현실 개념을 방송 도메인으로 확장하여 증강 방송(Augmented Broadcasting)이라는 새로운 영역을 정의하게 된다. 즉, 증강 방송이란 기존 TV 시청자가 방송사가 송출하는 방송 프로그램을 일방적으로 제공받는 방식에서 탈피하여 방송 프로그램과 증강 방송 콘텐츠를 자연스럽게 융화시켜 시청자의 현실감 및 생동감을 높이고 선택적 서비스 수신을 제공하기 위한 방송 서비스이다. 이러한 새로운 방송 응용 서비스를 제공하기 위해 새로운 방송 장비 구성과 송출 절차가 필요하며, 이에 특화된 전송 방법으로 서비스를 제공할 필요가 있다.
대한민국 공개 특허 KR10-2011-0040639 ("현실세계와 가상세계 간의 동기화 및 상호작용 장치", 한국전자통신연구원, 2011.04.20 공개)
상술한 증강 방송 서비스를 제공하기 위한 본 발명의 목적은 수신 단말에서 실시간으로 비디오 방송 프로그램의 특정 영상 장면(Scene 또는 Frame)과 증강 콘텐츠의 비디오 프레임 동기화를 실현할 수 있도록, 증강 콘텐츠가 놓여질 위치 정보를 포함하고 있는 증강 방송 메타데이터가 대응하는 비디오 프레임 순서보다 일정 시간 전에 수신 단말로 도달할 수 있도록 보장하는 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 기존 데이터 방송에서 사용되는 데이터 반복 전송의 비효율성을 해소하고 임의의 시간에 증강 방송 서비스 채널로 진입하더라도 증강 방송 메타데이터를 실시간으로 수신토록 하여 서비스 대기 시간을 최소화하고, 증강 방송 메타데이터의 대용량 데이터 전송에 다른 수신 단말의 저장 공간을 고려하여 효율적으로 증강 방송 스트림을 송출하고 수신하는 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 증강 방송 스트림 송출 장치는 증강 방송 서비스를 제공하기 위해 증강 방송 스트림을 생성하여 수신측으로 송출하는 장치에 있어서, 상기 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성하는 영상 스트림 생성부; 상기 영상 소스를 기반으로 상기 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성하는 메타데이터 스트림 생성부; 및 상기 영상 스트림 및 상기 메타데이터 스트림을 입력으로 받아 다중화함으로써 상기 증강 방송 스트림을 생성하여 송출하는 재다중화부를 포함하되, 상기 메타데이터 스트림 생성부는 상기 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간(s)을 계산하여 상기 송출 시간(s)에 상기 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성할 수 있다.
상기 송출 시간(s)은 상기 표현 정보 시간(t), 상기 영상 프레임(k)이 방송망을 통해 상기 수신측으로 전파되는데 걸리는 방송 도달 시간, 상기 수신측에서 통신망을 통해 상기 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 상기 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산될 수 있다.
상기 송출 시간(s)은 상기 방송 도달 시간, 상기 네트워크 도달 시간 및 상기 트래픽 전달 시간의 합을 상기 표현 정보 시간(t)에서 뺀 값일 수 있다.
상기 메타데이터 스트림 생성부는 상기 계산된 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하고, 상기 메타데이터 스트림은 상기 메타데이터 송출 정보 리스트를 포함할 수 있다.
상기 메타데이터 스트림 생성부는 상기 영상 소스를 기반으로 상기 메타데이터를 생성하는 증강 방송 저작 서버; 및 상기 메타데이터를 수신하여 상기 메타데이터 스트림을 생성하는 메타데이터 스트리머를 포함할 수 있다.
상기 증강 방송 저작 서버는 상기 영상 소스를 입력으로 하여 개별 영상 프레임 구간에 상기 증강 방송 서비스를 위한 증강 콘텐츠가 놓여질 영역 및 상기 증강 콘텐츠의 속성 정보를 편집하여 상기 메타데이터를 생성할 수 있다.
상기 메타데이터 스트리머는 상기 증강 방송 저작 서버로부터 상기 메타데이터를 수신하는 수신부; 상기 메타데이터를 파싱하여 상기 송출 시간을 계산하고, 상기 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 파싱부; 시스템 클락 - 시스템 클락은 영상 소스의 영상 출력 시간과 메타데이터 스트리머의 메타데이터 송출 시간을 결정하기 위한 기준 시각을 의미함 - 을 기반으로 상기 메타데이터 스트리머의 시스템 시간을 상기 영상 스트림 생성부와 동기화시키는 시스템 클락 참조부; 상기 시스템 클락을 모니터링하며 각 시간 구간마다 상기 송출 정보 리스트를 검색한 후, 상기 송출 시간이 송출 범위에 해당하는지 판단하는 판단부; 및 상기 송출 범위에 해당하는 메타데이터를 인코딩하여 상기 메타데이터 스트림을 생성하는 인코딩부를 포함할 수 있다.
상기 증강 방송 스트림 송출 장치는 상기 증강 방송 서비스를 위한 시그널링 정보를 송출하는 PSIP(Program Service Information Protocol) 서버를 더 포함하고, 상기 재다중화부는 상기 영상 스트림, 상기 메타데이터 스트림 및 상기 시그널링 정보를 입력으로 받아 다중화할 수 있다.
상기한 목적을 달성하기 위한 증강 방송 스트림 송출 방법은 증강 방송 서비스를 제공하기 위해 증강 방송 스트림을 생성하여 수신측으로 송출하는 방법에 있어서, 상기 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성하는 영상 스트림 생성 단계; 상기 영상 소스를 기반으로 상기 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성하는 메타데이터 스트림 생성 단계; 및 상기 영상 스트림 및 상기 메타데이터 스트림을 입력으로 받아 다중화함으로써 상기 증강 방송 스트림을 생성하여 송출하는 재다중화 단계를 포함하되, 상기 메타데이터 스트림 생성 단계는 상기 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 송출 시간에 상기 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성하는 단계를 포함할 수 있다.
상기 송출 시간은 상기 표현 정보 시간(t), 상기 영상 프레임(k)이 방송망을 통해 상기 수신측으로 전파되는데 걸리는 방송 도달 시간, 상기 수신측에서 통신망을 통해 상기 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 상기 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산될 수 있다.
상기 송출 시간은 상기 방송 도달 시간, 상기 네트워크 도달 시간 및 상기 트래픽 전달 시간의 합을 상기 표현 정보 시간(t)에서 뺀 값일 수 있다.
상기 메타데이터 스트림 생성 단계는 상기 계산된 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 단계를 포함하고, 상기 메타데이터 스트림은 상기 메타데이터 송출 정보 리스트를 포함할 수 있다.
상기 메타데이터 스트림 생성 단계는 상기 영상 소스를 기반으로 상기 메타데이터를 생성하는 메타데이터 생성 단계; 및 상기 메타데이터를 수신하여 상기 메타데이터 스트림을 생성하는 스트림 생성 단계를 포함할 수 있다.
상기 메타데이터 생성 단계는 상기 영상 소스를 입력으로 하여 개별 영상 프레임 구간에 상기 증강 방송 서비스를 위한 증강 콘텐츠가 놓여질 영역 및 상기 증강 콘텐츠의 속성 정보를 편집하여 상기 메타데이터를 생성하는 단계를 포함할 수 있다.
상기 스트림 생성 단계는 상기 메타데이터를 수신하는 수신 단계; 상기 메타데이터를 파싱하여 상기 송출 시간을 계산하고, 상기 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 파싱 단계; 시스템 클락 - 시스템 클락은 영상 소스의 영상 출력 시간과 메타데이터 스트리머의 메타데이터 송출 시간을 결정하기 위한 기준 시각을 의미함 - 을 기반으로 메타데이터 스트리머의 시스템 시간을 영상 스트림 생성부와 동기화시키는 시스템 클락 참조 단계; 상기 시스템 클락을 모니터링하며 각 시간 구간마다 상기 송출 정보 리스트를 검색한 후, 상기 송출 시간이 송출 범위에 해당하는지 판단하는 판단 단계; 및 상기 송출 범위에 해당하는 메타데이터를 인코딩하여 상기 메타데이터 스트림을 생성하는 인코딩 단계를 포함할 수 있다.
상기 증강 방송 송출 방법은 상기 증강 방송 서비스를 위한 시그널링 정보를 송출하는 단계를 더 포함하고, 상기 재다중화 단계는 상기 영상 스트림, 상기 메타데이터 스트림 및 상기 시그널링 정보를 입력으로 받아 다중화하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 증강 방송 서비스 제공 장치는 증강 방송 스트림을 수신하여 증강 방송 서비스를 제공하는 장치에 있어서, 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 계산된 송출 시간과 관련된 정보를 포함하는 상기 증강 방송 스트림을 수신하여 역다중화함으로써 영상 스트림 및 메타데이터 스트림을 생성하는 역다중화부; 상기 영상 스트림을 디코딩하여 영상 소스를 생성하는 영상 소스 생성부; 상기 메타데이터 스트림을 해석하여 증강 콘텐츠를 요청하고 수신하는 메타데이터 해석부; 상기 영상 소스 및 상기 증강 콘텐츠를 상기 송출 시간 관련 정보 내에 포함된 상기 표현 정보 시간을 기반으로 미디어 동기화하는 동기화부; 및 상기 동기화된 콘텐츠를 출력하는 콘텐츠 출력부를 포함할 수 있다.
상기 증강 방송 서비스 제공 장치는 상기 수신된 메타데이터 또는 수신된 증강 콘텐츠를 동기화할 때까지 저장하고 있는 저장 버퍼를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 증강 방송 서비스 제공 방법은 증강 방송 스트림을 수신하여 증강 방송 서비스를 제공하는 방법에 있어서, 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 계산된 송출 시간과 관련된 정보를 포함하는 상기 증강 방송 스트림을 수신하여 역다중화함으로써 영상 스트림 및 메타데이터 스트림을 생성하는 역다중화 단계; 상기 영상 스트림을 기반으로 영상 소스를 생성하는 영상 소스 생성 단계; 상기 메타데이터 스트림을 해석하여 증강 콘텐츠를 요청하고 수신하는 메타데이터 해석 단계; 상기 영상 소스 및 상기 증강 콘텐츠를 상기 송출 시간 관련 정보 내에 포함된 상기 표현 정보 시간을 기반으로 미디어 동기화하는 동기화 단계; 및 상기 동기화된 콘텐츠를 출력하는 콘텐츠 출력 단계를 포함할 수 있다.
상기 증강 방송 서비스 제공 방법은 상기 수신된 메타데이터 또는 수신된 증강 콘텐츠를 동기화할 때까지 저장하고 있는 저장 버퍼를 제공하는 단계를 더 포함할 수 있다.
본 발명의 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법에 따르면, 메타데이터 스트림 추출 및 해석을 통한 메타데이터 내 증강 콘텐츠의 정합 및 합성 정보를 이용하여 증강 콘텐츠의 비디오 프레임 동기화 수행에 필요한 최소한의 처리 시간을 감안하여 증강 방송 메타데이터 송출 시간을 계산함으로써 실시간 또는 비실시간 증강 방송 서비스 제공 환경에서 영상 소스와 증강 콘텐츠 간의 정확한 동기화를 구현해 낼 수 있다는 효과가 있다.
또한, 본 발명의 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법에 따르면, 증강 방송 서비스의 고유 특성을 고려하여 데이터 전달 방식을 제공함으로써, 기존 데이터 방송 서비스와 차별화된 방송 서비스를 제공할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치를 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 프레임들의 출력에 따른 메타데이터의 송출 시점을 설명하기 위한 개념도,
도 3은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치에 있어서, 메타데이터 송출시 고려해야 할 요소들을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치에 있어서, 수신 단말의 동기화를 위해 송출되는 메타데이터 및 증강 콘텐츠의 전달시간을 고려하여 스트리머가 메타데이터를 송출하기 위한 정보 구성을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치의 메타데이터 스트림 생성부를 구체적으로 나타낸 상세블록도,
도 6은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치의 메타데이터 스트리머를 구체적으로 나타낸 상세블록도,
도 7은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법을 개략적으로 나타낸 흐름도,
도 8은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법의 메타데이터 스트림 생성 단계를 구체적으로 나타낸 상세흐름도,
도 9는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법의 스트림 생성 단계를 구체적으로 나타낸 상세흐름도,
도 10은 본 발명의 다른 실시예에 따른 증강 방송 서비스 제공 장치를 개략적으로 나타낸 블록도,
도 11은 본 발명의 다른 실시예에 따른 증강 방송 서비스 제공 방법을 개략적으로 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
증강 방송 스트림 송출 장치
도 1은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치를 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치는 영상 스트림 생성부(110), 메타데이터 스트림 생성부(120), PSIP(Program Service Information Protocol) 서버(130) 및 재다중화부(140)를 포함할 수 있다.
도 1을 참조하면, 영상 스트림 생성부(110)는 영상 소스(100)를 입력으로 받아 이를 인코딩하여 영상 스트림을 생성한다. 영상 스트림 생성부(110)는 AV(Audio/Video) 인코더일 수 있다. 본 발명의 일 실시예에 따르면, 영상 스트림 생성부(110)는 MPEG-2 TS 인코더일 수 있고, 경우에 따라서는 동일한 구성을 갖는 장치일 수 있다. 즉, AV 플레이어나 카메라로부터 입력되는 영상 소스(100)를 MPEG-2 TS로 인코딩한 후, 영상 스트림으로 송신한다. 송신되는 영상 스트림은 재다중화부(140)로 전송되어 메타데이터 스트림과 다중화될 수 있다.
메타데이터 스트림 생성부(120)는 영상 소스(100)를 입력으로 하여 영상 소스(100)의 각 영상 프레임에 해당하는 증강 방송 서비스를 위한 메타데이터를 생성하고 이를 스트리밍하여 메타데이터 스트림을 생성한다. 먼저, 영상 소스(100)를 기반으로 해당 비디오 프레임 구간에 증강 콘텐츠가 놓여질 영역과 속성 정보를 편집한 후 증강 방송 메타데이터를 생성할 수 있다. 또한, 생성된 메타데이터를 실시간 비실시간으로 전송할 수 있다. 실시간과 비실시간의 구분은 메타데이터를 전송함에 있어 생성과 동시에 송출하는 경우를 실시간이라 하고, 사전에 편집 또는 생성해 둔 메타데이터를 송출하기 전에 미리 저장해 두는 경우를 비실시간이라 할 수 있다. 실시간 전송 방식은 방송 프로그램의 생방송(Live) 중계 방송인 경우, 방송 송출과 동시에 메타데이터 저작 도구(미도시)를 통해 메타데이터를 생성하는 방식이다. 메타데이터에는 다양한 속성 정보가 포함되어 있다. 메타데이터 내의 속성 정보 중 표현 정보 시간(Presentation Time)은 비디오 영상의 프레임 출력 시간으로서 비디오 영상 시작 시간으로부터 현재 시점까지의 상대적 시간을 포함하고 있다.
실시간 또는 비실시간의 두 가지 경우 모두 메타데이터 스트림 생성부(120)는 증강 방송 메타데이터를 협의된 인코딩 방식으로 인코딩하여 관련 정보만을 테이블화하여 메모리에 저장한다. 인코딩된 메타데이터는 개별 송출 단위로 단편화될 수 있다. 그리고는 송출 시간에 맞춰 출력된다. 메타데이터의 송출 시간은 미디어 동기화 측면에서 매우 중요한 의미를 갖는다. 메타데이터의 송출 시간은 메타데이터에 포함된 표현 정보 시간과 시스템 클락(시스템 클락은 영상 소스(100)의 영상 출력 시간과 메타데이터 스트림 생성부(120)의 메타데이터 스트리머(미도시)의 메타데이터 송출 시간을 결정하기 위한 기준 시각으로, 두 구성요소의 시간 동기화를 위해 사용됨)을 토대로 일정한 시간 간격에 포함되는 메타데이터들만을 선택해서 송출한다.
PSIP 서버(130)는 증강 방송 서비스를 위한 시그널링 정보를 송출한다.
재다중화부(150)는 영상 스트림 생성부(110)를 통해 인코딩된 영상 스트림과 메타데이터 생성부(120)를 통해 인코딩된 메타데이터 스트림 및 PSIP 데이터를 입력으로 받아 하나의 단일 스트림으로 다중화하여 방송망을 통해 전송한다. 본 발명의 일 실시예에 따르면, 상기 단일 스트림은 MPEG-2 TS 스트림일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 프레임들의 출력에 따른 메타데이터의 송출 시점을 설명하기 위한 개념도이다. 도 2에 도시된 바와 같이, 메타데이터의 송출 시점(Sending time: 250)은 영상 소스의 각각의 영상 프레임의 표현 정보 시간을 토대로 계산될 수 있다.
도 2를 참조하면, 가로 시간 축을 기분으로 상단은 비디오 영상 프레임들의 순차적인 출력 흐름을 나타내고, 하단을 증강 방송 메타데이터들의 출력 흐름을 도시하고 있다. 즉, 영상 프레임은 영상 프레임 1, 영상 프레임 2, ..., 영상 프레임 k-1(210), 영상 프레임 k(220), 영상 프레임 k+1 순으로 순차적으로 송출되고, 메타데이터는 메타데이터 1, 메타데이터 2, ... 메타데이터 n-1(230), 메타데이터 n(240), 메타데이터 n+1 순으로 영상 프레임에 대응 관계를 가지면서 송출된다.
예컨대, 특정 시간 t(250)에 표현될 영상 프레임 k(220)와 이에 대응되는 메타데이터 n(240)은 표현 정보 시간(t)을 매개로 하여 수신 단말에서 시간 동기화가 이루어진다. 표현 정보 시간(t)은 증강 방송 메타데이터 저작 도구가 증강 영역을 생성/편집하는 과정에서 비디오 영상의 경과된 시간을 사용하며, 이 시간을 해당 메타데이터 내 시간 필드에 삽입한다.
본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치를 통해 여상 프레임 k-1(210)이 출력되는 동안 특정 시간 s(250)에 도달하게 되면, 메타데이터 n-1(230)은 이미 메타데이터 스트리머(미도시)를 통해 송출이 완료되었으며, 메타데이터 n(240)이 송출을 준비한다. 즉, 메타데이터 n(240)은 시간 t(260)의 영상 프레임과 동기화시 요구되는 데이터로서, 해당 프레임보다 먼저 송출된다. 즉, 영상 프레임 k(220)와 이에 대응하는 메타데이터 n(240)의 송출 시간에는 시간차가 존재하게 되고, 이 시간차만큼 메타데이터 n(240)이 영상 프레임 k(220)보다 먼저 송출된다.
전술한 바와 같이, 본 발명의 일 실시예에 따르면, 메타데이터와 이에 대응하는 영상 프레임의 송출 시간을 비교할 때, 시간차가 존재하고 상기 시간차만큼 메타데이터가 미리 송출되어 단말에 도달할 수 있도록 한다. 수신 단말에서는 시간 t(260)를 기준으로 영상 프레임 k(220)에 대한 증강 콘텐츠를 출력하기 위해 증강 콘텐츠가 놓여질 영역과 관련 속성 정보 및 데이터를 해당 메타데이터 n(240)을 통해 해석해야 하므로, 최소한 시간 t(260) 이전에 시간차만큼 앞서 메타데이터 n(230)은 단말에 도달해야 한다. 따라서, 메타데이터 n(240)이 시간 t(250) 이전에 수신 단말에 도달하지 못할 경우, 해당 영상 프레임의 증강 방송 서비스 제공은 보장할 수 없다.
도 3은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치에 있어서, 메타데이터 송출시 고려해야 할 요소들을 설명하기 위한 개념도이다. 도 3에 도시된 바와 같이, 송출 시간은 표현 정보 시간(미도시), 방송 도달 시간(340), 네트워크 확보 시간(342) 및 트래픽 전달 시간(344)을 토대로 계산될 수 있다.
도 3을 참조하면, 전술한 바와 같이, 도 2의 메타데이터 n(240)은 영상 프레임 k(220)보다 일정 시간만큼 빠르게 송출될 필요가 있으며, 이러한 송출 시간 s(250)는 방송망을 통해 증강 방송 스트림 송출 장치(310)로부터 수신 단말(320)로 전달되는데 걸리는 도달 시간(340), 통신망(예컨대, 인터넷 망)을 통해 증강 콘텐츠 서버(330)로부터 증강 콘텐츠를 확보하는데 걸리는 시간, 즉 네트워크 도달 시간(342) 및 증강 콘텐츠 유형(예컨대, 3D 객체, 이미지, 텍스트, 동영상 등)에 따른 트래픽 전달 시간(344)을 기반으로 계산될 수 있다. 여기서, 트래픽 전달 시간(344)은 증강 콘텐츠의 유형에 따라 가중치(weight)를 부여한 것으로, 예컨대, 3D 객체의 경우는 5초, 2D 이미지의 경우는 2초 등 각 증강 콘텐츠의 유형에 적합한 가중치를 부여하여 송출 시간을 계산하는데 이용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치에 있어서, 수신 단말의 동기화를 위해 송출되는 메타데이터 및 증강 콘텐츠의 전달시간을 고려하여 스트리머가 메타데이터를 송출하기 위한 정보 구성을 나타낸 도면이다. 도 4에 도시된 바와 같이, 메타데이터 송출 정보 리스트는 송출시간(410)과 메타데이터(420)를 포함한다.
도 4를 참조하면, 메타데이터 스트리머(미도시)는 증강 방송 저작 서버(미도시)에서 생성된 메타데이터들을 파싱하여 메타데이터 송출 정보 리스트를 구성한다. 송출 정보 리스트에는 메타데이터 내 표현 정보 시간을 기반으로 송출 시간 필드를 계산하여 삽입한다. 여기서 송출 시간은 다음과 같은 연산을 통해 계산될 수 있다.
송출시간(250) = 표현 정보 시간 - (방송 도달 시간(340) + 네트워크 도달 시간(342) + 트래픽 전달 시간(344))
또한, 송출 정보 리스트에는 메타데이터 식별값을 구성하며, 해당 송출 시간에 도달하면 식별값을 통해 메타데이터를 찾아 인코딩을 수행한다. 시간 흐름에 따라 영상 소스 출력 시간 관련 타임 라인이 이동하고, 상기 타임 라인의 이동에 따라 메타데이터 송출 정보 리스트의 송출 시간 필드값의 비교를 수행하여 메타데이터 송출을 결정한다.
도 4에 도시된 실시예에 따르면, 영상 소스 출력 시간을 기준으로 하였을 때, 송출시간(410)을 비교하여 영상 소스 출력 시간 이전의 송출 시간을 갖는 송출시간(410-1) 내지 송출시간(410-n)에 해당하는 메타데이터는 모두 송출되었고, 송출시간(410-n) 이후의 송출 시간을 갖는 메타데이터는 아직 송출이 결정되지 않은 상태이다. 따라서, 영상 소스의 출력 시간에 따라 전술한 방식을 통해 계산된 송출 시간을 영상 소스의 출력 시간과 비교하여 송출 범위 즉, 영상 소스 출력 시간 전에 해당하는 메타데이터의 송출을 결정하여 결정된 메타데이터를 송출한다.
도 5는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치의 메타데이터 스트림 생성부(120)를 구체적으로 나타낸 상세블록도이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 메타데이터 스트림 생성부(120)는 증강 방송 저작 서버(510) 및 메타데이터 스트리머(520)를 포함할 수 있다.
도 5를 참조하면, 증강 방송 저작 서버(510)는 영상 소스(100)를 입력으로 하여 해당 비디오 프레임 구간에 증강 콘텐츠가 놓여질 영역과 상기 증강 콘텐츠의 속성 정보를 편집한 후 증강 방송 메타데이터를 생성한다. 그리고 생성된 메타데이터를 메타데이터 스트리머(520)로 전송한다.
메타데이터 스트리머(520)는 증강 방송 저작 서버(510)로부터 실시간 또는 비실시간으로 증강 방송 메타데이터를 수신한다. 전술한 바와 같이, 특히 비실시간으로 메타데이터를 수신하는 경우 송출 전에 메타데이터를 스트리머(520)에 저장해 둔다. 메타데이터 스트리머(520)는 수신한 메타데어터를 파싱하여 개별 송출 단위로 단편화하여 송출 시간 계산 및 송출 여부 결정이 용이하게 편성한다. 그리고는 각 메타데이터에 대해 표현 정보 시간, 네트워크 도달 시간 및 트래픽 전달 시간을 토대로 송출 시간을 계산하고, 송출 범위에 해당하는 메타데이터를 인코딩하여 메타데이터 스트림을 생성하고, 이를 재다중화부(140)로 전송한다. 전송된 메타데이터 스트림은 영상 스트림(미도시) 및 PSIP 데이터와 다중화되어 증강 방송 스트림을 생성하고, 생성된 증강 방송 스트림은 수신 단말로 전송된다.
도 6은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 장치의 메타데이터 스트리머(520)를 구체적으로 나타낸 상세블록도이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 메타데이터 스트리머(520)는 수신부(610), 파싱부(620), 시스템 클락 참조부(630), 판단부(640) 및 인코딩부(650)를 포함할 수 있다.
도 6을 참조하면, 수신부(610)는 증강 방송 저작 서버(510)에서 생성된 메타데이터를 수신한다. 수신된 메타데이터는 파싱부(620)로 전송된다.
파싱부(620)는 수신부(610)에서 수신된 메타데이터를 파싱하여 전술한 바와 같이, 개별 송출 단위로 단편화하고, 대응되는 영상 프레임의 표현 정보 시간, 네트워크 도달 시간 및 트래픽 전달 시간을 통해 메타데이터 송출 정보 리스트(625)를 구성한다.
시스템 클락 참조부(630)는 증강 방송 서비스 전송을 위해 영상 정보가 송출됨과 동시에 시스템 클락 정보를 참조하여 스트리머(520)의 시스템 시간을 영상 스트림 생성부(미도시)와 동기화한다. 즉, 영상과 메타데이터 간의 동기화는 중요한 이슈이기 때문에 시스템 클락을 기준으로 영상 스트림 생성부와 스트리머(520) 양 구성요소 간의 기준 시간을 일치시킨다.
판단부(640)는 시스템 클락 참조부(630)를 통해 동기화된 시스템 클락을 모니터링하며 각 시간 구간마다 송출 정보 리스트(625)를 검색한다. 그리고는, 송출 정보 리스트(625)에 포함된 송출 시간 필드를 시스템 클락과 비교하여 송출 범위 즉, 현재 시간을 기준으로 송출 시간이 현재 시간 이전인지 판단한다. 판단 결과, 송출 범위에 해당하는 메타데이터를 추출하여 인코딩부(650)로 전송한다.
인코딩부(650)는 판단부(640)를 통해 송출 범위에 해당하는 것으로 판단된 메타데이터를 인코딩하여 메타데이터 스트림을 생성하고, 이를 재다중화부(미도시)로 전송한다.
재다중화부(미도시)는 입력된 메타데이터 스트림을 방송 프로그램 스케중링에 따라 다중화하여 방송망을 통해 전송한다.
증강 방송 스트림 송출 방법
도 7은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법을 개략적으로 나타낸 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법은 영상 스트림 생성 단계(710), 메타데이터 스트림 생성 단계(720) 및 재다중화 단계(730)를 포함할 수 있다.
도 7을 참조하면, 영상 스트림 생성 단계(710)에서, 영상 스트림 생성부(미도시)는 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성한다. 이때, 종래 MPEG-2 TS 인코더와 동일한 구성을 갖는 장치를 통해 AV 플레이어나 카메라로부터 입력되는 영상 소스를 MPEG-2 TS로 인코딩하여 영상 스트림을 생성하고 이를 송출한다. 송출되는 영상 스트림은 재다중화 단계(730)에서 메타데이터 스트림 및 PSIP 데이터와 다중화된다.
메타데이터 스트림 생성 단계(720)에서, 메타데이터 스트림 생성부(미도시)는 영상 소스를 기반으로 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성한다. 이때, 영상 소스의 특정 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 특정 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 송출 시간에 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성한다. 이때, 송출 시간은 표현 정보 시간(t), 상기 영상 프레임(k)이 방송망을 통해 수신 단말로 전파되는데 걸리는 방송 도달 시간, 수신 단말에서 통신망을 통해 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산될 수 있다.
본 발명의 일 실시예에 따르면, 송출 시간은 방송 도달 시간, 네트워크 도달 시간 및 트래픽 전달 시간의 합을 상기 표현 정보 시간(t)에서 빼는 연산을 통해 계산될 수 있다.
다음으로, 재다중화 단계(730)에서, 재다중화부(미도시)는 영상 스트림 생성 단계(710)에서 생성된 영상 스트림 및 메타데이터 스트림 생성 단계(720)에서 생성된 메타데이터 스트림을 입력으로 받아 다중화함으로써 증강 방송 스트림을 생성하여 수신 단말로 방송망을 통해 송출한다.
본 발명의 다른 실시예에 따르면, 증강 방송 스트림 송출 방법은 PSIP 서버(미도시)를 통해 증강 방송 서비스를 위한 시그널링 정보를 송출하는 단계를 더 포함할 수 있다. 그리고, 재다중화 단계(730)는 영상 스트림, 메타데이터 스트림 및 시그널링 정보를 입력으로 받아 다중화하여 증강 방송 스트림을 생성하고, 이를 수신 단말로 송출한다.
도 8은 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법의 메타데이터 스트림 생성 단계(720)를 구체적으로 나타낸 상세흐름도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 메타데이터 스트림 생성 단계(720)는 메타데이터 생성 단계(810) 및 스트림 생성 단계(820)를 포함할 수 있다.
메타데이터 생성 단계(810)에서, 증강 방송 저작 서버(미도시)는 영상 소스를 기반으로 메타데이터를 생성한다. 증강 방송 저작 서버(미도시)는 영상 소스를 입력으로 하여 개별 영상 프레임 구간에 증강 방송 서비스를 위한 증강 콘텐츠가 놓여질 영역 및 증강 콘텐츠의 속성 정보를 편집하여 메타데이터를 생성할 수 있다.
스트림 생성 단계(820)에서, 메타데이터 스트리머(미도시)는 메타데이터 생성 단계(810)를 통해 생성된 메타데이터를 수신하여 메타데이터 스트림을 생성한다. 스트림 생성 단계(820)는 이하 도 9를 참조하여 보다 상세히 설명한다.
도 9는 본 발명의 일 실시예에 따른 증강 방송 스트림 송출 방법의 스트림 생성 단계(820)를 구체적으로 나타낸 상세흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스트림 생성 단계(820)는 수신 단계(910), 파싱 단계(920), 시스템 클락 참조 단계(930), 판단 단계(940) 및 인코딩 단계(950)를 포함할 수 있다
도 9를 참조하면, 수신 단계(910)에서, 메타데이터 스트리머(미도시)는 증강 방송 저작 서버(미도시)에서 생성된 증강 방송 메타데이터를 수신한다.
파싱 단계(920)에서, 메타데이터 스트리머(미도시)는 수신 단계(920)에서 수신된 메타데이터를 파싱하여 송출 시간을 계산한다. 그리고는 상기 송출 시간과 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성한다. 전술한 바와 같이, 송출 정보 리스트는 영상 프레임의 표현 정보 시간, 방송 도달 시간, 네트워크 도달 시간 및 트래픽 전달 시간을 통해 계산된 송출 시간 필드와 메타데이터의 식별 값을 포함하고 있고, 송출 시간을 비교하여 해당되는 메타데이터를 송출할 수 있게 정보들이 테이블화 되어 있다.
시스템 클락 참조 단계(930)에서, 메타데이터 스트리머(미도시)는 영상 소스의 영상 출력 시간과 메타데이터 스트리머(미도시)의 메타데이터 송출 시간을 결정하기 위한 기준 시각을 의미하는 시스템 클락을 기반으로 메타데이터 스트리머(미도시)의 시스템 시간을 영상 스트림 생성부(미도시)와 동기화시킨다.
다음, 판단 단계(940)에서, 메타데이터 스트리머(미도시)는 시스템 클락을 모니터링하며 각 시간 구간마다 상기 송출 정보 리스트를 검색한다. 그리고는 송출 정보 리스트에 포함되어 있는 송출 시간이 송출 범위에 해당하는지 판단한다.
인코딩 단계(950)에서, 메타데이터 스트리머(미도시)는 판단 단계(940)에서 송출 범위에 해당하는 것으로 판단된 메타데이터를 인코딩하여 메타데이터 스트림을 생성하여 재다중화부(미도시)로 전송한다.
증강 방송 서비스 제공 장치
도 10은 본 발명의 다른 실시예에 따른 증강 방송 서비스 제공 장치를 개략적으로 나타낸 블록도이다. 증강 방송 서비스 제공 장치는 디지털 TV, 디지털 라디오, PC, 노트북, PDA, 스마트폰, 유무선 단말 또는 휴대 단말이 될 수 있다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 방송 서비스 제공 장치는 역다중화부(1010), 영상 소스 생성부(1020), 메타데이터 해석부(1030), 동기화부(1040), 콘텐츠 출력부(1050) 및 저장 버퍼(1060)를 포함할 수 있다.
도 10을 참조하면, 역다중화부(1010)는 먼저, 증강 방송 스트림을 방송망을 통해 수신한다. 여기서, 수신되는 증강 방송 스트림은 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 송출 시간의 영상 프레임(k')과 상기 메타데이터(n)를 다중화하여 생성된 것일 수 있다. 따라서, 메타데이터는 대응하는 영상 프레임보다 일정 시간 먼저 다중화되어 수신될 수 있다. 메타데이터는 송출 시간과 관련된 정보(예컨대, 송출 시간, 표현 정보 시간 등)를 포함하고 있을 수 있다.
메타데이터의 해석에 따른 관련 증강 콘텐츠와 영상 소스와의 동기화를 위해 메타데이터의 송출 시간이 매우 중요할 수 있는데 이는 전술한 바와 같은 방법을 사용할 수 있다. 즉, 송출 시간은 대응하는 영상 프레임의 표현 정보 시간(t), 영상 프레임이 방송망을 통해 수신되는데 걸리는 방송 도달 시간, 통신망을 통해 증강 방송 서비스의 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산될 수 있다. 상기 송출 시간에 따라 대응하는 영상 프레임보다 시간차(도 2 참조)만큼 먼저 송출되어 수신 단말에 도착한 메타데이터를 기반으로 메타데이터 해석부에서 해석되어 관련 증강 콘텐츠를 요청 및 수신하고 이를 영상 소스와 동기화하여 출력할 수 있다.
역다중화부(1010)는 수신된 증강 방송 스트림을 역다중화하여 영상 스트림과 메타데이터 스트림을 생성한다. 영상 스트림은 영상 소스 생성부(1020)로 전송되어 디코딩되고, 메타데이터 스트림을 메타데이터 해석부(1030)로 전송된다.
영상 소스 생성부(1020)는 역다중화부(1010)에서 생성된 영상 스트림을 디코딩하여 영상 소스를 생성한다. 영상 소스는 오디오와 비디오를 포함한다. 오디오와 비디오는 인코딩된 방식에 따라 각각 디코딩될 수도 있고, 함께 디코딩될 수도 있다.
메타데이터 해석부(1030)는 역다중화부(1010)에서 역다중화된 메타데이터 스트림을 해석하여 그에 따른 증강 콘텐츠를 증강 콘텐츠 서버(1035)에 요청하고 수신할 수 있다. 메타데이터의 해석은 송신측에서 메타데이터를 인코딩한 방식을 기반으로, 수신측에서 상기 인코딩된 방식에 적합한 디코딩 방식을 적용하여 수행함으로써 이루어진다. 메타데이터에는 증강 콘텐츠에 관한 다양한 정보(예컨대, 증강 콘텐츠의 표현 위치, 속성 정보 등)가 포함되어 있기 때문에, 메타데이터의 해석에 따라 필요한 증강 콘텐츠를 통신망을 통해 증강 콘텐츠 서버(1035)에 요청하고 그 결과를 수신한다. 메타데이터 해석부(1030)는 요청한 증강 콘텐츠와 영상 소스를 동기화함에 있어서, 메타데이터가 전술한 바와 같이 일정 시간 먼저 수신 단말에 도달할 수 있기 때문에 영상 소스를 수신할 때까지 소정 시간이 필요할 수 있다. 따라서, 메타데이터 해석부(1030)는 수신된 메타데이터 또는 수신된 증강 콘텐츠를 저장 버퍼(1060)에 저장할 수 있다.
저장 버퍼(1060)는 영상 소스와의 동기화를 위해 메타데이터에 대응하는 영상 프레임을 수신할 때까지 일정한 시간일 필요할 수 있으므로, 메타데이터 또는 메타데이터의 해석에 따른 증강 콘텐츠를 일정 시간 저장할 수 있다.
동기화부(1040)는 영상 소스 생성부(1020)에서 디코딩된 영상 소스와 메타데이터 해석부(1030)의 요청에 의해 수신된 추가적인 증강 콘텐츠를 수신하여 동기화를 수행한다. 동기화는 메타데이터에 포함되어 있는 상기 송출 시간 관련 정보 내의 표현 정보 시간(t)을 이용하여 해당 영상 프레임(k)과 해당 영상 프레임에 대응하는 메타데이터(n)의 해석에 따른 증강 콘텐츠가 정확히 동기화되도록 한다. 즉, 영상 소스의 각 영상 프레임의 표현 정보 시간을 기반으로 영상 소스와 증강 콘텐츠를 동기화한다. 이때, 미디어 동기화를 용이하게 수행하기 위해 본 발명의 일 실시예에서는 저장 버퍼(1060)를 통해 버퍼링되어 있던 증강 콘텐츠를 이용할 수 있다.
콘텐츠 출력부(1050)는 동기화부(1040)에서 동기화된 콘텐츠를 출력한다. 이는 디스플레이 형태로 시각적으로 출력될 수 있다. 또한, 스피커 등을 통해 소리로 출력될 수 있다. 증강 콘텐츠의 양식에 따라 오디오에 부가하여 출력하거나 비디오에 부가하여 증강 콘텐츠를 출력할 수 있고, 또는 기타 다른 미디어의 형태로 증강 콘텐츠를 출력할 수 있다.
증강 방송 서비스 제공 방법
도 11은 본 발명의 다른 실시예에 따른 증강 방송 서비스 제공 방법을 개략적으로 나타낸 흐름도이다. 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 방송 서비스 제공 방법은 역다중화 단계(1110), 영상 소스 생성 단계(1120), 메타데이터 해석 단계(1130), 미디어 동기화 단계(1140) 및 콘텐츠 출력 단계(1150)를 포함할 수 있다.
도 11을 참조하면, 역다중화 단계(1110)에서, 증강 방송 서비스 제공 장치(미도시)는 먼저, 증강 방송 스트림을 방송망을 통해 수신한다. 여기서, 수신되는 증강 방송 스트림은 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 송출 시간의 영상 프레임(k')과 상기 메타데이터(n)를 다중화하여 생성된 것일 수 있다. 따라서, 메타데이터는 대응하는 영상 프레임보다 일정 시간 먼저 다중화되어 수신될 수 있다. 메타데이터는 송출 시간과 관련된 정보(예컨대, 송출 시간, 표현 정보 시간 등)를 포함하고 있을 수 있다.
메타데이터의 송출 시간은 대응하는 영상 프레임의 표현 정보 시간(t), 영상 프레임이 방송망을 통해 수신되는데 걸리는 방송 도달 시간, 통신망을 통해 증강 방송 서비스의 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산될 수 있다. 상기 송출 시간에 따라 대응하는 영상 프레임보다 시간차(도 2 참조)만큼 먼저 송출되어 수신 단말에 도착한 메타데이터를 기반으로 메타데이터 해석부에서 해석되어 관련 증강 콘텐츠를 요청 및 수신하고 이를 영상 소스와 동기화하여 출력할 수 있다.
역다중화 단계(1110)에서, 증강 방송 서비스 제공 장치(미도시)는 수신된 증강 방송 스트림을 역다중화하여 영상 스트림과 메타데이터 스트림을 생성한다. 영상 스트림은 영상 소스 생성 단계(1120)에서 디코딩되고, 메타데이터 스트림을 메타데이터 해석 단계(1130)에서 해석된다.
영상 소스 생성 단계(1120)에서, 증강 방송 서비스 제공 장치(미도시)는 역다중화 단계(1110)에서 생성된 영상 스트림을 디코딩하여 영상 소스를 생성한다. 영상 소스는 오디오와 비디오를 포함한다. 오디오와 비디오는 인코딩된 방식에 따라 각각 디코딩될 수도 있고, 함께 디코딩될 수도 있다.
메타데이터 해석 단계(1130)에서, 증강 방송 서비스 제공 장치(미도시)는 역다중화 단계(1110)에서 역다중화된 메타데이터 스트림을 해석하여 그에 따른 증강 콘텐츠를 증강 콘텐츠 서버(미도시)에 요청하고 수신할 수 있다. 메타데이터의 해석은 송신측에서 메타데이터를 인코딩한 방식을 기반으로, 수신측에서 상기 인코딩된 방식에 적합한 디코딩 방식을 적용하여 수행함으로써 이루어진다. 메타데이터에는 증강 콘텐츠에 관한 다양한 정보가 포함되어 있기 때문에, 메타데이터의 해석에 따라 필요한 증강 콘텐츠를 통신망을 통해 증강 콘텐츠 서버에 요청하고 그 결과를 수신한다.
메타데이터 해석 단계(1130)에서, 증강 방송 서비스 제공 장치(미도시)는 요청한 증강 콘텐츠와 영상 소스를 동기화함에 있어서, 메타데이터가 전술한 바와 같이 일정 시간 먼저 수신 단말에 도달할 수 있기 때문에 영상 소스를 수신할 때까지 소정 시간이 필요할 수 있다.
따라서, 수신된 메타데이터 또는 수신된 증강 콘텐츠를 저장하는 저장 버퍼(미도시)를 제공할 수 있다. 저장 버퍼(미도시)는 영상 소스와의 동기화를 위해 메타데이터에 대응하는 영상 프레임을 수신할 때까지 일정한 시간일 필요할 수 있으므로, 메타데이터 또는 메타데이터의 해석에 따른 증강 콘텐츠를 일정 시간 저장할 수 있다.
동기화 단계(1140)에서, 증강 방송 서비스 제공 장치(미도시)는 영상 소스 생성 단계(1120)에서 디코딩된 영상 소스와 메타데이터 해석 단계(1130)에서, 요청에 의해 수신된 추가적인 증강 콘텐츠를 수신하여 동기화를 수행한다. 동기화는 메타데이터에 포함되어 있는 표현 정보 시간(t)에 해당 영상 프레임(k)과 해당 영상 프레임에 대응하는 메타데이터(n)의 해석에 따른 증강 콘텐츠가 정확히 동기화되도록 한다. 즉, 영상 소스의 각 영상 프레임의 표현 정보 시간을 기반으로 영상 소스와 증강 콘텐츠를 동기화한다. 이때, 미디어 동기화를 용이하게 수행하기 위해 본 발명의 일 실시예에서는 저장 버퍼(미도시)를 통해 버퍼링되어 있던 증강 콘텐츠를 이용할 수 있다.
콘텐츠 출력 단계(1150)에서, 증강 방송 서비스 제공 장치(미도시)는 동기화단계(1140)에서 동기화된 콘텐츠를 출력한다. 이는 디스플레이 형태로 시각적으로 출력될 수 있다. 또한, 스피커 등을 통해 소리로 출력될 수 있다. 증강 콘텐츠의 양식에 따라 오디오에 부가하여 출력하거나 비디오에 부가하여 증강 콘텐츠를 출력할 수 있고, 또는 기타 다른 미디어의 형태로 증강 콘텐츠를 출력할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 증강 방송 서비스를 제공하기 위해 증강 방송 스트림을 생성하여 수신측으로 송출하는 장치에 있어서,
    상기 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성하는 영상 스트림 생성부;
    상기 영상 소스를 기반으로 상기 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성하는 메타데이터 스트림 생성부; 및
    상기 영상 스트림 및 상기 메타데이터 스트림을 입력으로 받아 다중화함으로써 상기 증강 방송 스트림을 생성하여 송출하는 재다중화부를 포함하되,
    상기 메타데이터 스트림 생성부는 상기 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간(s)을 계산하여 상기 송출 시간(s)에 상기 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  2. 제 1 항에 있어서,
    상기 송출 시간(s)은 상기 표현 정보 시간(t), 상기 영상 프레임(k)이 방송망을 통해 상기 수신측으로 전파되는데 걸리는 방송 도달 시간, 상기 수신측에서 통신망을 통해 상기 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 상기 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산되는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  3. 제 2 항에 있어서,
    상기 송출 시간(s)은 상기 방송 도달 시간, 상기 네트워크 도달 시간 및 상기 트래픽 전달 시간의 합을 상기 표현 정보 시간(t)에서 뺀 값인 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  4. 제 1 항에 있어서, 상기 메타데이터 스트림 생성부는
    상기 계산된 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하고,
    상기 메타데이터 스트림은 상기 메타데이터 송출 정보 리스트를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  5. 제 1 항에 있어서, 상기 메타데이터 스트림 생성부는
    상기 영상 소스를 기반으로 상기 메타데이터를 생성하는 증강 방송 저작 서버; 및
    상기 메타데이터를 수신하여 상기 메타데이터 스트림을 생성하는 메타데이터 스트리머를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  6. 제 5 항에 있어서, 상기 증강 방송 저작 서버는
    상기 영상 소스를 입력으로 하여 개별 영상 프레임 구간에 상기 증강 방송 서비스를 위한 증강 콘텐츠가 놓여질 영역 및 상기 증강 콘텐츠의 속성 정보를 편집하여 상기 메타데이터를 생성하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  7. 제 5 항에 있어서, 상기 메타데이터 스트리머는
    상기 증강 방송 저작 서버로부터 상기 메타데이터를 수신하는 수신부;
    상기 메타데이터를 파싱하여 상기 송출 시간을 계산하고, 상기 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 파싱부;
    시스템 클락 - 시스템 클락은 영상 소스의 영상 출력 시간과 메타데이터 스트리머의 메타데이터 송출 시간을 결정하기 위한 기준 시각을 의미함 - 을 기반으로 상기 메타데이터 스트리머의 시스템 시간을 상기 영상 스트림 생성부와 동기화시키는 시스템 클락 참조부;
    상기 시스템 클락을 모니터링하며 각 시간 구간마다 상기 송출 정보 리스트를 검색한 후, 상기 송출 시간이 송출 범위에 해당하는지 판단하는 판단부; 및
    상기 송출 범위에 해당하는 메타데이터를 인코딩하여 상기 메타데이터 스트림을 생성하는 인코딩부를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  8. 제 1 항에 있어서,
    상기 증강 방송 서비스를 위한 시그널링 정보를 송출하는 PSIP(Program Service Information Protocol) 서버를 더 포함하고,
    상기 재다중화부는 상기 영상 스트림, 상기 메타데이터 스트림 및 상기 시그널링 정보를 입력으로 받아 다중화하는 것을 특징으로 하는 증강 방송 스트림 송출 장치.
  9. 증강 방송 서비스를 제공하기 위해 증강 방송 스트림을 생성하여 수신측으로 송출하는 방법에 있어서,
    상기 증강 방송 서비스의 영상 소스를 기반으로 영상 스트림을 생성하는 영상 스트림 생성 단계;
    상기 영상 소스를 기반으로 상기 증강 방송 서비스의 증강 콘텐츠와 관련된 메타데이터를 생성하여 메타데이터 스트림을 생성하는 메타데이터 스트림 생성 단계; 및
    상기 영상 스트림 및 상기 메타데이터 스트림을 입력으로 받아 다중화함으로써 상기 증강 방송 스트림을 생성하여 송출하는 재다중화 단계를 포함하되,
    상기 메타데이터 스트림 생성 단계는 상기 영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 송출 시간에 상기 메타데이터(n)를 송출하도록 상기 메타데이터 스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  10. 제 9 항에 있어서,
    상기 송출 시간은 상기 표현 정보 시간(t), 상기 영상 프레임(k)이 방송망을 통해 상기 수신측으로 전파되는데 걸리는 방송 도달 시간, 상기 수신측에서 통신망을 통해 상기 증강 콘텐츠를 확보하는데 걸리는 네트워크 도달 시간 및 상기 증강 콘텐츠의 유형에 따른 트래픽 전달 시간을 기반으로 계산되는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  11. 제 10 항에 있어서,
    상기 송출 시간은 상기 방송 도달 시간, 상기 네트워크 도달 시간 및 상기 트래픽 전달 시간의 합을 상기 표현 정보 시간(t)에서 뺀 값인 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  12. 제 9 항에 있어서, 상기 메타데이터 스트림 생성 단계는
    상기 계산된 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 단계를 포함하고,
    상기 메타데이터 스트림은 상기 메타데이터 송출 정보 리스트를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  13. 제 9 항에 있어서, 상기 메타데이터 스트림 생성 단계는
    상기 영상 소스를 기반으로 상기 메타데이터를 생성하는 메타데이터 생성 단계; 및
    상기 메타데이터를 수신하여 상기 메타데이터 스트림을 생성하는 스트림 생성 단계를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  14. 제 13 항에 있어서, 상기 메타데이터 생성 단계는
    상기 영상 소스를 입력으로 하여 개별 영상 프레임 구간에 상기 증강 방송 서비스를 위한 증강 콘텐츠가 놓여질 영역 및 상기 증강 콘텐츠의 속성 정보를 편집하여 상기 메타데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  15. 제 13 항에 있어서, 상기 스트림 생성 단계는
    상기 메타데이터를 수신하는 수신 단계;
    상기 메타데이터를 파싱하여 상기 송출 시간을 계산하고, 상기 송출 시간과 상기 메타데이터를 기반으로 메타데이터 송출 정보 리스트를 생성하는 파싱 단계;
    시스템 클락 - 시스템 클락은 영상 소스의 영상 출력 시간과 메타데이터 스트리머의 메타데이터 송출 시간을 결정하기 위한 기준 시각을 의미함 - 을 기반으로 메타데이터 스트리머의 시스템 시간을 영상 스트림 생성부와 동기화시키는 시스템 클락 참조 단계;
    상기 시스템 클락을 모니터링하며 각 시간 구간마다 상기 송출 정보 리스트를 검색한 후, 상기 송출 시간이 송출 범위에 해당하는지 판단하는 판단 단계; 및
    상기 송출 범위에 해당하는 메타데이터를 인코딩하여 상기 메타데이터 스트림을 생성하는 인코딩 단계를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  16. 제 9 항에 있어서,
    상기 증강 방송 서비스를 위한 시그널링 정보를 송출하는 단계를 더 포함하고,
    상기 재다중화 단계는 상기 영상 스트림, 상기 메타데이터 스트림 및 상기 시그널링 정보를 입력으로 받아 다중화하는 단계를 포함하는 것을 특징으로 하는 증강 방송 스트림 송출 방법.
  17. 증강 방송 스트림을 수신하여 증강 방송 서비스를 제공하는 장치에 있어서,
    영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 계산된 송출 시간과 관련된 정보를 포함하는 상기 증강 방송 스트림을 수신하여 역다중화함으로써 영상 스트림 및 메타데이터 스트림을 생성하는 역다중화부;
    상기 영상 스트림을 디코딩하여 영상 소스를 생성하는 영상 소스 생성부;
    상기 메타데이터 스트림을 해석하여 증강 콘텐츠를 요청하고 수신하는 메타데이터 해석부;
    상기 영상 소스 및 상기 증강 콘텐츠를 상기 송출 시간 관련 정보 내에 포함된 상기 표현 정보 시간(t)을 기반으로 미디어 동기화하는 동기화부; 및
    상기 동기화된 콘텐츠를 출력하는 콘텐츠 출력부를 포함하는 것을 특징으로 하는 증강 방송 서비스 제공 장치.
  18. 제 17 항에 있어서,
    상기 수신된 메타데이터 또는 수신된 증강 콘텐츠를 동기화할 때까지 저장하고 있는 저장 버퍼를 더 포함하는 것을 특징으로 하는 증강 방송 서비스 제공 장치.
  19. 증강 방송 스트림을 수신하여 증강 방송 서비스를 제공하는 방법에 있어서,
    영상 소스의 영상 프레임(k)이 송출되는 표현 정보 시간(t)을 기반으로 상기 영상 프레임(k)에 대응되는 메타데이터(n)를 송출하는 송출 시간을 계산하여 상기 계산된 송출 시간과 관련된 정보를 포함하는 상기 증강 방송 스트림을 수신하여 역다중화함으로써 영상 스트림 및 메타데이터 스트림을 생성하는 역다중화 단계;
    상기 영상 스트림을 기반으로 영상 소스를 생성하는 영상 소스 생성 단계;
    상기 메타데이터 스트림을 해석하여 증강 콘텐츠를 요청하고 수신하는 메타데이터 해석 단계;
    상기 영상 소스 및 상기 증강 콘텐츠를 상기 송출 시간 관련 정보 내에 포함된 상기 표현 정보 시간(t)을 기반으로 미디어 동기화하는 동기화 단계; 및
    상기 동기화된 콘텐츠를 출력하는 콘텐츠 출력 단계를 포함하는 것을 특징으로 하는 증강 방송 서비스 제공 방법.
  20. 제 19 항에 있어서,
    상기 수신된 메타데이터 또는 수신된 증강 콘텐츠를 동기화할 때까지 저장하고 있는 저장 버퍼를 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강 방송 서비스 제공 방법.
KR1020120029201A 2012-03-22 2012-03-22 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법 KR101769353B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120029201A KR101769353B1 (ko) 2012-03-22 2012-03-22 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
US13/689,891 US8719860B2 (en) 2012-03-22 2012-11-30 Augmented broadcasting stream transmission device and method, and augmented broadcasting service providing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029201A KR101769353B1 (ko) 2012-03-22 2012-03-22 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130107438A true KR20130107438A (ko) 2013-10-02
KR101769353B1 KR101769353B1 (ko) 2017-08-18

Family

ID=49213576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029201A KR101769353B1 (ko) 2012-03-22 2012-03-22 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법

Country Status (2)

Country Link
US (1) US8719860B2 (ko)
KR (1) KR101769353B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9210204B2 (en) * 2013-10-31 2015-12-08 At&T Intellectual Property I, Lp Synchronizing media presentation at multiple devices
KR101886209B1 (ko) * 2016-04-19 2018-08-08 (주)휴맥스 미디어 서비스 제공 장치 및 방법
KR102592833B1 (ko) * 2018-12-14 2023-10-23 현대자동차주식회사 차량의 음성 인식 기능 연동 제어 시스템 및 방법
US11405913B2 (en) * 2019-03-08 2022-08-02 Facebook Technologies, Llc Latency reduction for artificial reality
US20230044731A1 (en) * 2021-08-05 2023-02-09 International Business Machines Corporation Attestation of a secure guest

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459427B1 (en) * 1998-04-01 2002-10-01 Liberate Technologies Apparatus and method for web-casting over digital broadcast TV network
US7548565B2 (en) 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US20080046919A1 (en) * 2006-08-16 2008-02-21 Targeted Media Services Ltd. Method and system for combining and synchronizing data streams
US7743394B2 (en) * 2007-04-03 2010-06-22 Google Inc. Log processing of channel tunes and channel tune times generated from a television processing device
KR100889836B1 (ko) * 2007-11-15 2009-03-20 한양대학교 산학협력단 데이터 방송의 동기화 기능을 갖는 방송 수신기 및 이를이용한 데이터 방송의 동기화 방법
US8127332B2 (en) * 2008-03-14 2012-02-28 Disney Enterprises, Inc. System and method for dynamically transmitting program system information from television network to stations using information embedded in an HDTV signal
WO2009145848A1 (en) * 2008-04-15 2009-12-03 Pvi Virtual Media Services, Llc Preprocessing video to insert visual elements and applications thereof
US8477950B2 (en) * 2009-08-24 2013-07-02 Novara Technology, LLC Home theater component for a virtualized home theater system
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
KR20110040639A (ko) 2009-10-12 2011-04-20 한국전자통신연구원 현실세계와 가상세계 간의 동기화 및 상호작용 장치
KR101095296B1 (ko) 2009-11-04 2011-12-16 주식회사 인프라웨어 메타데이터를 이용한 하이브리드 방송 서비스 시스템
KR20110066298A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법

Also Published As

Publication number Publication date
KR101769353B1 (ko) 2017-08-18
US20130254798A1 (en) 2013-09-26
US8719860B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
CN108401192B (zh) 视频流处理方法、装置、计算机设备及存储介质
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US8341671B2 (en) System and method for synchroning broadcast content with supplementary information
KR101769353B1 (ko) 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
CN102655606A (zh) 为基于p2p网络的直播节目添加实时字幕和手语服务的方法及系统
EP3288025A1 (en) Transmission device, transmission method, reception device, and reception method
US9426506B2 (en) Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
KR20130050464A (ko) 증강 콘텐츠 생성 장치 및 방법, 증강 방송 송신 장치 및 방법, 및 증강 방송 수신 장치 및 방법
CN105812961B (zh) 自适应流媒体处理方法及装置
US8739223B2 (en) Method and apparatus for processing augmented broadcast content using augmentation region information
KR101666246B1 (ko) 메타데이터 우선제공 증강방송 장치 및 방법
US20130091517A1 (en) Method and apparatus of providing broadcast content and metadata for augmented broadcasting, method and apparatus of providing augmenting content, and method and apparatus of receiving augmented broadcast content
CN114885198B (zh) 面向混合网络的伴音与视频协同呈现系统
JP5771098B2 (ja) 通信コンテンツ生成装置および通信コンテンツ生成プログラム
KR101191498B1 (ko) 실시간 방송과 비실시간 부가 방송 데이터의 연동을 통한 입체영상 방송서비스를 위한 동기 신호 생성 방법 및 시스템
Cheong et al. Interactive terrestrial digital multimedia broadcasting (T-DMB) player
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR102130733B1 (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant