WO2013055164A1 - 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치 - Google Patents
콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치 Download PDFInfo
- Publication number
- WO2013055164A1 WO2013055164A1 PCT/KR2012/008343 KR2012008343W WO2013055164A1 WO 2013055164 A1 WO2013055164 A1 WO 2013055164A1 KR 2012008343 W KR2012008343 W KR 2012008343W WO 2013055164 A1 WO2013055164 A1 WO 2013055164A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content
- configuration information
- scene configuration
- receiving
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
Abstract
콘텐츠 디스플레이 방법을 개시한다. 본 발명의 다양한 실시예에 따른 콘텐츠 디스플레이 방법은, 콘텐츠 디스플레이 방법에 있어서, 외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보를 수신하는 단계와, 초기 장면 구성 정보를 분석하여 구조화하는 단계와, 구조화된 초기 장면 구성 정보에 따라 콘텐츠를 렌더링하는 단계와, 외부 장치로부터 콘텐츠에 대한 추가 장면 구성 정보를 수신하는 단계와, 수신된 추가 장면 구성 정보를 기초로 구조화된 초기 장면 구성 정보를 업데이트하는 단계 및 업데이트된 초기 장면 구성 정보에 따라 콘텐츠를 렌더링하는 단계를 포함한다.
Description
본 발명은 콘텐츠의 디스플레이 방법에 관한 것으로, 보다 상세하게는 장면 구성정보를 실시간으로 업데이트하여 콘텐츠를 디스플레이할 수 있는 콘텐츠 디스플레이 방법, 다양한 소스로부터 수신된 콘텐츠를 동기화시키는 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 상기의 방법에 따라 콘텐츠를 디스플레이할 수 있는 디스플레이 장치에 관한 것이다.
도 1은 방통 융합 시대의 방송 통신 네트워크를 도시한 도면이다.
최근 디지털로 인한 방통융합 시대가 도래하여 IPTV, 스마트 TV 등의 방통융합 매체를 통해 영상. 음악. 기타 엔터테인먼트 콘텐츠의 소비 환경이 확대되었다. 도 1에 도시된 것처럼 방송국의 방송 신호는 위성 신호를 통해서 가정으로 전달될 수 있고, 공중파 방송 신호를 통해서 또는 인터넷을 통해서 전달될 수도 있다. 소비 매체들을 이용하여 한가지 콘텐츠에 대한 서비스를 단 방향으로 제공 받는 환경에서, 단말과 통신기술의 발달로 다양한 정보를 동시에 소비할 수 있는 환경으로 진보하였고, 소비자가 원하는 정보만을 얻기 위한 콘텐츠 소비의 보편화가 흐름을 주도하고 있다.
장면 구성 정보란 비디오 오디오뿐만이 아닌 다양한 콘텐츠를 소비할 때, 각각의 요소가 화면에서 차지하고 있는 영역에 대한 공간적 정보와 어떤 시점에 소비가 되어야 하는지에 대한 시간적 정보를 의미 하며, 요소들간의 연관관계를 설명하기 위하여 마크업 언어 형태로 표현한 정보이다.
장면 구성 정보는 다양한 멀티미디어의 시공간적 정보를 표현하기 위하여 주로 XML(eXtensible MarkUp Language) 언어를 사용한다. 장면 구성 정보를 가지고 있는 XML은 시공간적 정보뿐만이 아니라 멀티미디어를 구성하고 있는 요소들의 논리 구조와 연관관계에 대한 정보를 가지고 있으며, 단말에서는 XML파일을 분석을 하여 장면 구성 정보가 포함하고 있는 요소의 객체와 속성을 정의하고 이들에 접근하기 위한 인터페이스를 정의한 DOM(Document Object Model)을 생성하게 된다.
위의 XML과 DOM 등의 기술은 웹 페이지를 구성하기 위한 표준이기 때문에 웹 페이지의 일부 요소를 변경하고자 할 때, 새로운 XML파일을 생성하고 매번 DOM을 재구성한다. 그런데 웹 페이지가 포함하고 있는 요소는 대부분 텍스트와 이미지이기 때문에 전체 요소를 다시 재구성하더라도 단말에 큰 부담은 되지 않는다.
하지만 장면 구성 정보는 웹 페이지와는 달리 비디오, 오디오, App 등 다양한 멀티미디어 요소를 포함하고 있기 때문에 일부 요소를 변경할 시에 다른 요소들까지 전부 재구성을 하는 것은 단말에 큰 부담을 준다.
기존 장면 구성 기술을 사용한 경우 초기 구성된 장면이 변경되는 상황에서, 서비스 제공자는 새로운 장면 구성 정보로 이루어진 파일을 다시 만들어 제공을 하여야 하며, 서비스를 제공받는 단말에서는 초기에 구성된 장면을 삭제한 후, 다시 새로운 장면을 구성하여야 한다. 장면을 이루고 있는 다수의 요소 중에 일부 요소만이 변경되는 상황에서 변경할 필요가 없는 요소까지 새로 생성하고 분석을 하는 것은 제한된 단말의 자원을 비효율적으로 사용하는 결과를 가져오게 된다.
따라서, 초기 구성된 장면을 이루고 있는 다수의 요소 중에 일부 요소만이 변경되는 경우 변경된 부분만을 업데이트하여 효율적으로 장면을 구성할 수 있는 방안이 요청된다.
한편, 방통융합의 하이브리드 기술은 일반 시청자들에게 기존 방송망을 이용하여 실시간 방송 시청할 수 있도록 함과 동시에, 통신망으로 부가 영상 및 어플리케이션 등에 대한 양방향 통신으로 IP VOD, 광고, 3D 영상 서비스, 멀티뷰 등의 다양한 서비스를 제공하는 기술로 발전하고 있다.
이중 멀티뷰 서비스는 시청자가 방통융합서비스를 통하여 기존의 방송망으로 제공되는 실시간 콘텐츠와 인터넷으로 제공되는 콘텐츠를 하나의 화면에서 시청할 수 있도록 하여, 사용자에게 여러 시점과 다양한 정보를 동시에 제공하는 서비스 이다. 이러한 멀티뷰 서비스를 제공하려면 서로 다른 전달 방식으로 전달된 미디어들을 동기화 시켜 동시에 소비할 수 있도록, 공통된 시간 정보가 필요하다. 하지만 이종망으로 전달되는 미디어의 규격화된 시간정보는 형태 및 목적이 다르기 때문에 동기화를 제공할 수 없는 문제점이 있다.
기존 방송망으로 전달받은 MPEG-2 TS(Transport Stream)는 시간정보를 방송국 시스템 내부에 있는 클럭(Clock)을 사용하여, 각 프레임 별로 해당하는 DTS(Decoding Time Stamp)/PTS(Presentation Time Stamp)를 삽입하여 시간정보로 사용한다. 단말에서 방송사의 클럭 값을 전달받아 비디오와 오디오간의 동기화를 이루게 된다. 그리고 통신망으로 전달받은 미디어 중 DASH(Dynamic Adaptation Streaming over HTTP)기술을 사용하는 것은 시간정보를 각 프레임 별 인덱스 값을 삽입하여 시간 정보로 표시한다. 따라서 이 두 미디어간의 시간 정보형태가 서로 상이하여 개별 기술로는 서로 동기화를 제공할 수 없다.
따라서, 상술한 멀티뷰 콘텐츠를 포함하여 다양한 상호 관련된 콘텐츠를 전송할 수 있는 하이브리드 서비스 환경에서 이종망으로 전달되는 미디어간의 동기화 방안이 요구된다.
한편, 하이브리드 방송은 기존의 Push기반 스트리밍 서비스를 시간을 기반으로 하여 사용자가 소비하는 전통적인 방법뿐만 아니라, 사용자의 요청에 의해 새로운 콘텐츠를 제공, 소비, 중단되는 사용자 이벤트 기반 서비스가 제공된다.
따라서 하이브리드 방송을 수신 받는 단말은 단순히 비디오/오디오 콘텐츠를 시간의 흐름에 따라 사용자에게 보여주는 것이 아닌, 사용자의 요청에 따라 콘텐츠 소비의 스케줄을 결정하고, 이를 기반으로 각 장면에 해당되는 콘텐츠를 전달받아 소비한다.
즉 다양한 콘텐츠를 방송통신이 융합된 이종의 네트워크를 통해 전달되는 경우, 방송망은 시간의 흐름에 따라 콘텐츠를 전달하고, 통신망은 사용자의 요청에 의한 콘텐츠를 전달하게 됨으로써, 서비스 공급자부터 단말의 소비자까지 다양한 서비스 방안을 제시할 수 있게 되었다.
MMT Package의 Composition Information(CI)의 역할은 이전 MPEG-4 Systems의 BIFS와 LASeR의 역할과 유사하게 장면 구성 정보가 포함하고 있는 각 요소의 시공간적 정보와 요소들 간의 상관관계를 기술하는 것이다. 기존의 장면 구성 정보 (예, LASeR, BIFS)는 방송 환경을 기반으로 하는 Scene Time 이라는 타임라인을 기준으로 하여 요소들의 시간적 정보를 나타낸다. 하지만 MMT의 Use Case가 포함하는 사용자의 요청에 따른 서비스 시나리오를 충족하기 위해서는 기존 타임라인의 존재로 인해 사용자의 요청에 의한 이벤트 처리가 어려울 수가 있다.
또한 기존 장면 구성 정보는 모든 이벤트에 대한 서비스 스케줄을 미리 콘텐츠 제작자가 송출시간을 결정을 하여 서비스를 하고 있기에, 서비스 중간에 새로운 콘텐츠가 추가되는 경우, 새로 추가된 콘텐츠에 대한 타임라인을 이전에 서비스 되고 있는 타임라인과 연관을 짓기에는 많은 어려움이 있다. 따라서 다수의 미디어가 개별적으로 사용자의 요청에 의해 소비되는 경우, 각각의 미디어에 대한 사용자의 요청을 하나의 타임라인으로 구성하기에는 한계가 있다.
따라서, 방송국의 타임 라인과 무관하게 다양한 콘텐츠 디스플레이 이벤트가 발생하는 경우 필요에 따라 복수의 콘텐츠를 적절하게 배치하여 디스플레이할 수 있는 방안이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위해서 안출된 것으로, 장면 구성 정보 중 일부 요소를 변경할 시에 다른 요소는 재구성하지 않고 변경되어야 할 요소만을 재구성하는 기술에 그 목적이 있다. 즉, 본 발명은 장면 구성 정보를 사용하는 멀티미디어 서비스 환경에서, 초기에 구성된 장면을 기준으로 변경되어야 할 요소에 대한 정보만을 전달하여, 기존에 구성된 장면에 변경되어야 할 장면 구성 정보를 업데이트하는 방법을 제공하기 위한 것이다.
또한, 본 발명은 상기와 같은 문제점을 해결하기 위해서 안출된 것으로, 본 발명의 목적은 멀티뷰를 포함하는 다수 비디오, 오디오 멀티미디어 서비스를 위해 서로 다른 물리적 전송방식으로 전달받은 콘텐츠를 한 화면에서 동시에 재생시키기 위한 동기화 방안을 제공하기 위함이다.
즉, 본 발명은 통신망으로 전달되는 콘텐츠의 시간정보를 계산할 수 있는 참조정보를 방송망의 MPEG-2 TS 또는 통신망의 미디어에 포함시켜 전달하는 방법을 제공한다. 보다 구체적으로 본 발명은 방송망으로 전달되는 MPEG-2 TS 패킷 중 PMT(Program Map Table) 정보에 특정 데이터 정보를 추가하거나 통신망으로 전달되는 미디어의 메타데이터에 추가함으로써, 방송망과 통신망으로 전달되는 미디어들간의 동기화를 맞출 수 있는 시간 정보를 제공하는 방법에 대한 기술을 제안한다.
또한, 본 발명은 상기와 같은 문제점을 해결하기 위해서 안출된 것으로, 본 발명의 목적은 방송국의 타임 라인과 무관하게 다양한 콘텐츠 디스플레이 이벤트가 발생하는 경우 필요에 따라 복수의 콘텐츠를 적절하게 배치하여 디스플레이할 수 있는 기술을 제공하기 위함이다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 콘텐츠 디스플레이 방법은 콘텐츠 디스플레이 방법에 있어서, 외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보를 수신하는 단계와, 상기 초기 장면 구성 정보를 분석하여 구조화하는 단계와, 상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하는 단계와, 상기 외부 장치로부터 상기 콘텐츠에 대한 추가 장면 구성 정보를 수신하는 단계와, 상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트하는 단계와, 상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하는 단계를 포함한다.
또한, 상기 업데이트 단계는, 상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제할 수 있다.
또한, 상기 마크업 언어는 XML(eXtensible Markup Language)이고, 상기 구조화 단계는, 상기 초기 장면 구성 정보를 파싱(parsing)하여 돔트리(DOM tree)를 구성할 수 있다.
또한, 상기 업데이트 단계는, 상기 수신된 추가 장면 구성 정보에 대응되는 트리 노드(Node)를 상기 구성된 돔트리에 추가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 트리 노드(Node)를 상기 구성된 돔트리 중 일부 노드와 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구성된 돔트리 중 일부 노드를 삭제할 수 있다.
또한, 상기 업데이트 단계는, 상기 추가 장면 구성 정보가 수신될 때마다 실시간으로 수행될 수 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 콘텐츠 동기화방법은 콘텐츠의 동기화 방법에 있어서, 방송망을 통해 전송 스트림을 수신하는 단계와, 상기 수신된 전송 스트림을 분석하는 단계와, 상기 분석 결과 상기 전송 스트림에 포함된 제1콘텐츠가 멀티뷰 콘텐츠인 것으로 판단되면, 통신망을 통해 상기 제1콘텐츠에 대응되는 제2콘텐츠를 수신하는 단계와, 상기 전송 스트림에 포함된 제1콘텐츠 및 상기 수신된 제2 콘텐츠를 동시에 출력하는 단계를 포함한다.
또한, 상기 전송 스트림을 분석하는 단계는, PMT(Program Map Table)에 포함된 정보를 분석하여 상기 멀티뷰 콘텐츠의 제공여부를 판단할 수 있다.
또한, 상기 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계와, PTS(Presentation Time Stamp)값이 상기 멀티뷰 콘텐츠의 PTS(Presentation Time Stamp)값과 일치하는 상기 제1콘텐츠의 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계를 포함할 수 있다.
또한, 상기 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계와, 상기 제1콘텐츠의 현재 프레임의 PTS(Presentation Time Stamp)값과 PTS 시작값의 차이를 기초로 상기 제1콘텐츠의 현재 프레임 번호를 계산하고, 상기 제1콘텐츠의 현재 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계를 포함할 수 있다.
또한, 상기 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계와, 상기 제1콘텐츠의 SMPTE Timecode값과 SMPTE Timecode 시작값의 차이를 기초로 상기 제1콘텐츠의 시간정보를 계산하고, 상기 제1콘텐츠의 시간정보에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계를 포함할 수 있다.
또한, 상기 제2콘텐츠의 세그먼트를 수신하는 단계는, 통신망의 지연을 고려하여 상기 제1콘텐츠의 현재 프레임보다 기설정된 수의 프레임 뒤에 위치한 프레임에 대응되는 제2콘텐츠를 수신할 수 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 방송 콘텐츠 디스플레이 방법은, 방송 콘텐츠 디스플레이 방법에 있어서, 제1서버가 마크업 언어로 작성된 제1콘텐츠의 장면 구성 정보를 전송하는 단계와, 상기 전송된 제1콘텐츠의 장면 구성 정보에 기초하여 상기 제1콘텐츠를 전송하여 렌더링하는 단계와, 제2 콘텐츠 시청 이벤트가 발생하면 제2서버가 제2 콘텐츠를 전송하여 렌더링하는 단계를 포함한다.
또한, 상기 제2 콘텐츠 시청 이벤트가 발생하면, 상기 제1콘텐츠의 렌더링을 중단하고, 상기 제2콘텐츠의 렌더링이 끝나는 이벤트가 발생하면, 상기 제1콘텐츠 렌더링이 중단된 지점부터 이어서 상기 제1콘텐츠를 렌더링할 수 있다.
또한, 상기 제2 콘텐츠 시청 이벤트가 발생하면, 상기 제2서버는 상기 제2콘텐츠를 상기 제1콘텐츠와 동기화하여 전송하고 렌더링할 수 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 디스플레이 장치는 디스플레이 장치에 있어서, 외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보 및 상기 콘텐츠를 수신하는 수신부와, 상기 수신된 콘텐츠를 출력하는 출력부와, 상기 초기 장면 구성 정보를 분석하여 구조화하고, 상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어하는 제어부를 포함하고, 상기 제어부는, 상기 수신부가 상기 외부 장치로부터 상기 콘텐츠에 대한 추가 장면 구성 정보를 수신하면, 상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트하고, 상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어할 수 있다.
또한, 상기 업데이트 과정은, 상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제할 수 있다.
또한, 상기 마크업 언어는 XML(eXtensible Markup Language)이고, 상기 구조화 과정은, 상기 초기 장면 구성 정보를 파싱(parsing)하여 돔트리(DOM tree)를 구성할 수 있다.
또한, 상기 업데이트 과정은, 상기 수신된 추가 장면 구성 정보에 대응되는 트리 노드(Node)를 상기 구성된 돔트리에 추가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 트리 노드(Node)를 상기 구성된 돔트리 중 일부 노드와 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구성된 돔트리 중 일부 노드를 삭제할 수 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록매체는 상기 방법 중 어느 하나를 수행하는 프로그램을 기록할 수 있다.
본 발명의 다양한 실시 예에 따르면, 초기에 구성된 장면 중 일부 요소를 변경해야 되는 경우, 모든 요소에 대한 장면구성정보를 새로 생성하는 것이 아닌, 변경되는 요소에 대한 구성정보만을 전달하여 현재 소비되고 있는 멀티미디어 서비스에 대해서 변경된 요소만을 실시간으로 업데이트 하는 방법에 대한 기술을 제공하게 된다.
장면 구성 정보 중 일부 요소를 변경할 시에 다른 요소는 재구성하지 않고 변경되어야 할 요소만을 재구성하는 기술은 다양한 멀티미디어 서비스에 활용될 수 있다.
본 발명에서 개발할 장면 구성 정보의 일부 요소만을 재구성하는 기술은 향후, 장면 구성 기술을 사용하는 기술 규격뿐만 아니라 웹 페이지를 통한 멀티미디어 서비스 기술 개발의 방향성을 제시할 것으로 기대할 수 있다.
본 발명은 이종망으로 전달되는 미디어가 공통적으로 사용할 수 있는 동기화 시간 정보 제공을 위해 방송망을 통해 제공되는 MPEG2-TS 상의 PMT단에 새로운 정보를 추가하거나, 방송망과 통신망을 통해 제공되는 SMPTE Timecode를 이용하는 방법을 통해 시간정보 형태가 상이한 미디어 콘텐츠를 동시에 재생시키는 방법을 제공한다.
본 발명에 따른 이종망으로 전달되는 미디어간의 동기화 방안은 방송망과 통신망을 활용하는 하이브리드 서비스를 활성화 시키는 기반 기술로서 활용될 수 있다.
또한, 본 발명에서 개발할 동기화 방안은 MPEG-2 TS와 통신망을 통해 전달되는 DASH 기술을 기반으로 하고 있지만, 향후, 두 개의 기술 규격뿐만 아니라 다양한 하이브리드 전송 기술 개발의 방향성을 제시할 것으로 기대할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면 본 발명은 방송국의 타임 라인과 무관하게 다양한 콘텐츠 디스플레이 이벤트가 발생하는 경우 필요에 따라 복수의 콘텐츠를 적절하게 배치하여 디스플레이할 수 있는 기술을 제공한다.
도 1은 방통 융합 시대의 방송 통신 네트워크를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 콘텐츠 디스플레이 방법을 도시한 흐름도,
도 3은 도 2의 콘텐츠 디스플레이 방법을 좀더 상세하게 설명하기 위한 흐름도,
도 4는 기존 장면 구성 정보를 사용하여 XML파일을 작성한 예를 나타낸 도면,
도 5는 기존 장면 구성 정보에 다른 요소를 추가하여 XML파일을 작성한 예를 도시한 도면,
도 6은 기존 장면 구성 정보에 추가하여야 할 요소를 개별적으로 XML파일로 생성한 예를 나타낸 도면,
도 7은 도 4의 초기 장면 구성 정보를 생성하여 단말에 전달하고, 이를 분석하여 DOM을 생성하는 단계를 설명하기 위한 도면,
도 8은 이미지가 추가된 XML파일을 생성하여, 단말에 전달하고 이를 분석하여 DOM을 새로 생성하는 단계를 설명하기 위한 도면,
도 9은 변경되어야 할 요소만을 따로 생성하여 전달하고, 이전에 생성된 DOM을 삭제하지 않고, 추가되어야 할 요소만을 업데이트 하는 방법을 나타낸 도면,
도 10은 현재 지상파 디지털 방송에 사용되는 MPEG-2 TS system의 데이터간 동기화 구조를 도시한 도면,
도 11는 TS DeMultiplexer를 통한 데이터종류를 구분하는 과정을 도시한 도면,
도 12는 통신망으로 부가영상을 전송하는 일례로 DASH기술에 대한 과정을 도시화한 도면,
도 13은 본 발명의 일 실시 예에 따른 콘텐츠 동기화 방법을 도시한 흐름도,
도 14는 본 발명의 다른 실시 예에 따른 콘텐츠 동기화 방법을 도시한 흐름도,
도 15는 본 발명의 PMT에 Frame_num을 제공하는 Multiview_Descriptor를 추가하여 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면,
도 16은 본 발명의 PMT에 Init_PTS를 제공하는 Multiview_Descriptor를 추가하여 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면,
도 17은 본 발명의 방송망과 통신망 미디어 내 SMPTE Timecode를 이용하여 동기화하는 방안을 도시한 도면,
도 18은 본 발명이 적용되는 네트워크 지연이 고려하여 미래의 장면을 요청하는 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면,
도 19는 도 15의 PMT에 Frame_num을 제공하는 Multiview_Descriptor이 추가된 프로그램 코드를 도시한 도면,
도 20은 도 16의 PMT에 Init_PTS를 제공하는 Multiview_Descriptor가 추가된 프로그램 코드를 도시한 도면,
도 21은 본 발명의 다양한 실시 예에 따라 단말이 서버와 방송국 사이에서 콘텐츠를 전송받아 동기화를 수행하는 과정을 시간순서로 나타낸 도면,
도 22는 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 속보 시나리오를 도시한 도면,
도 23은 다른 실시 예로 푸쉬(Push) 방식의 속보 시나리오를 도시한 도면이고, 도 24는 속보 시나리오의 타임라인을 도시한 도면,
도 25는 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 중계 시나리오를 도시한 도면,
도 26은 다른 실시 예로 푸쉬(Push) 방식의 중계 시나리오를 도시한 도면이고, 도 27은 중계 시나리오의 타임라인을 도시한 도면,
도 28은 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 멀티뷰 시나리오를 도시한 도면,
도 29는 다른 실시 예로 푸쉬(Push) 방식의 멀티뷰 시나리오를 도시한 도면이고, 도 30은 멀티뷰 시나리오의 타임라인을 도시한 도면,
도 31은 멀티뷰 시나리오의 일 실시 예에서 개별 미디어 타임을 나타낸 도면,
도 32, 33는 본 발명의 다양한 실시 예에 따른 방송 콘텐츠 디스플레이 방법을 도시한 흐름도,
도 34는 속보 시나리오의 이벤트 발생시 수신되는 추가 장면 구성 정보를 나타낸 예를 도시한 도면,
도 35는 중계 시나리오의 이벤트 처리에 대한 정보를 포함하는 장면 구성 정보를 나타낸 예를 도시한 도면,
도 36은 멀티 뷰 시나리오의 이벤트 처리에 대한 정보를 포함하는 장면 구성 정보를 나타낸 예를 도시한 도면, 그리고,
도 37은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 구체적으로 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
장면구성 정보 업데이트를 통한 콘텐츠 디스플레이
먼저 본 발명의 구체적인 실시 예를 설명하기에 앞서 본 발명이 구현되기 위한 몇 가지 전제조건을 설명한다.
본 발명에서 기술되는 장면 구성 정보는 멀티미디어 콘텐츠의 시공간적 위치 정보와 요소들 간의 연관관계를 설명하기 위한 정보를 의미하며, XML 언어로 기술된다.
본 발명에서 기술되는 장면 구성 정보는 초기에 작성되어 현재 서비스를 제공하고 있는 초기 장면 구성 정보와 초기 장면 구성 정보에서 변경되어야 할 일부 요소에 대한 추가 장면 구성 정보로 나눠진다.
본 발명에서 기술되는 단말기는 XML 파일을 분석하고, DOM를 구성할 수 있어야 한다. 본 발명에서 기술되는 단말기는 추가 장면 구성 정보가 포함된 XML 파일을 분석하고, 초기 장면 구성 정보로 생성된 DOM을 실시간으로 업데이트를 할 수 있어야 한다.
이하에서는 초기 장면 중 일부가 변경되어야 하는 경우, 변경될 부분만을 추가 장면 구성 정보로 따로 생성하는 방법과 생성된 추가 장면 구성 정보를 단말에 전달하는 방법, 전달된 추가 장면 구성 정보를 분석하여 초기 장면 구성정보로 이루어진 단말의 장면 구성을 업데이트 하는 방법에 대해 기술한다.
또한 본 발명에서는 XML과 DOM 기술을 사용하는 장면 구성 정보를 통한 서비스에서 기술되지만, 기술 분야가 반드시 장면 구성 정보를 통한 서비스에서 한정될 필요는 없고, 다양한 멀티미디어를 복합적으로 구성하여 서비스를 제공하는 모든 분야에 적용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
도 2는 본 발명의 일 실시 예에 따른 콘텐츠 디스플레이 방법을 도시한 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 콘텐츠 디스플레이 방법은 먼저 외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보를 수신한다(S210). 여기서 마크업 언어는 XML(eXtensible Markup Language)이 될 수 있다.
그리고, 상기 초기 장면 구성 정보를 분석하여 구조화한다(S220). 상기 구조화 단계는, 상기 초기 장면 구성 정보를 파싱(parsing)하여 돔트리(DOM tree)를 구성하여 수행될 수 있다.
그리고, 상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링한다(S230). 초기 장면 구성 정보에 변화가 있는 경우 상기 외부 장치로부터 이에 대한 추가 장면 구성 정보를 수신한다(S240). 예를 들어, 초기 장면 구성 정보는 멀티미디어 서비스 제공자가 비디오 오디오로 구성된 장면 구성에 관한 것인데, 이미지 요소를 추가로 삽입할 필요가 있는 경우 이러한 내용이 포함된 추가 장면 구성 정보가 수신된다.
상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트 한다(S250). 이때 상기 업데이트 단계는, 상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제하는 것이 될 수 있다.
일 실시 예로 상기 수신된 추가 장면 구성 정보에 대응되는 트리 노드(Node)를 상기 구성된 돔트리에 추가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 트리 노드(Node)를 상기 구성된 돔트리 중 일부 노드와 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구성된 돔트리 중 일부 노드를 삭제할 수 있다.
또한, 상기 업데이트 단계는 상기 추가 장면 구성 정보가 수신될 때마다 실시간으로 수행될 수 있다.
마지막으로 상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링한다(S260).
도 3은 도 2의 콘텐츠 디스플레이 방법을 좀더 상세하게 설명하기 위한 흐름도이다.
도 3에서 장면 변경을 요청할 시에 재구성된 초기 장면 구성정보를 전송하는 경우와 추가 장면 구성정보를 전달할 경우를 비교하고 있다. 초기 장면 구성정보(S310)는 서비스 제공자가 XML 파일을 생성(S315)하여 단말에 전달을 하게 되고, 단말은 전체 XML 파일을 분석하여 DOM을 생성하고(S320), DOM 구조를 따라 각각의 요소에 대한 복호화를 수행한 후(S325) 렌더링하여 소비하게 되는 절차(S330)를 따른다.
이 후 장면 구성 정보가 변경되어야 할 시에, 기존의 방식의 경우에는 다시 새로운 초기 장면 구성정보를 생성하여, 처음과 같은 절차를 통해 소비하게 된다(S340-기존 방식의 경우). 즉 장면 구성정보를 변경하여 새로운 XML 파일을 생성하여 단말에 전달을 하고, 단말은 전체 XML 파일을 분석하여 기존에 생성된 DOM을 삭제한 후 새로 DOM을 생성하고, DOM 구조에 따라 각각의 요소에 대한 복호화를 다시 수행 하게 된다. 또한 실제 디스플레이에 소비되는 화면도 전부 새로 구성하여 소비하게 된다.
하지만 도 3에서 나타내는 바와 같이 본 발명에서 하고자 하는 방식의 경우(S340-제안하는 방식의 경우)에는 변경되어야 하는 요소에 대한 정보만을 XML 파일로 생성한다(S345). 이때 변경할 필요가 없는 요소들까지 포함한 전체 장면구성 정보를 새로 생성하는 것과 비교하여 데이터의 양은 당연히 일부 요소에 대한 데이터가 훨씬 적다. 또한 데이터가 적기 때문에 XML 파일을 생성하는데 서버의 자원도 적게 사용한다는 것을 알 수 있다. 물론 XML 파일이 텍스트로 구성되어 있어 데이터 차이가 크게 영향을 주진 않지만, 스트리밍 환경에서는 텍스트로 구성된 장면 구성 정보를 바이너리로 변환을 하여 전달을 하기 때문에, 복잡한 장면 구성 정보의 경우에는 자원 사용의 차이가 발생할 것이다.
기존 방식의 경우에는 XML File을 처음부터 끝까지 재분석을 하게 된다. 하지만 본 발명에서 제안하고자 하는 경우에는 변경된 요소가 포함된 XML File만을 분석하게 되므로, 분석해야 할 데이터의 양이 줄어든다(S350,S365).
DOM을 생성하는 단계에서는 DOM을 삭제하고 새로 생성하는 것과 기존의 DOM을 유지한 채 새로운 요소를 업데이트시키는 방법으로 나누어 진다. 지금까지 DOM은 웹 페이지의 특징에 따라 주로 텍스트와 이미지 등으로 구성되어 있기 때문에, 웹 페이지의 일부 요소가 바뀌게 되더라도, 전체 DOM을 삭제하고 재 생성하더라도 큰 무리가 없었다. 하지만 멀티미디어에 사용되는 DOM은 비디오와 오디오에 대한 구조를 표현해야 하는데, 비디오와 관련되지 않는 다른 요소가 변경됨에 따라 비디오의 구성 정보를 매번 다시 생성하는 것은 사용자가 원하는 서비스를 제공하지 못함과 동시에, 단말의 자원을 매우 비효율적으로 사용하는 결과를 가져오게 된다. 따라서 본 발명에서 제안하는 방식은 DOM에 생성되어 있는 비디오 구성 정보는 그대로 유지한 채 변경되어야 하는 오디오, 이미지 등의 요소들만 업데이트를 시켜줌으로써(S360) 사용자에게 끊김 없는 서비스를 제공함과 동시에 단말의 자원을 낭비하지 않는 결과를 낳을 것이라 예상한다.
도 4는 기존 장면 구성 정보를 사용하여 XML파일을 작성한 예를 나타낸 도면이다.
도 4의 장면 구성 정보는 비디오 스트림과 오디오 스트림에 대한 링크 정보를 포함하고 있으며, 단말에서는 해당 장면 구성 정보를 분석하여 DOM을 생성한다.
도 5는 기존 장면 구성 정보에 다른 요소를 추가하여 XML파일을 작성한 예를 도시한 도면이다.
도 5의 장면 구성 정보는 멀티미디어 서비스 제공자가 비디오 오디오로 구성된 장면 구성에 이미지 요소를 추가로 삽입하기 위하여 새로 작성한 장면 구성 정보이다.
도 6은 기존 장면 구성 정보에 추가하여야 할 요소를 개별적으로 XML파일로 생성한 예를 나타낸 도면이다.
도 6의 장면 구성 정보는 멀티미디어 서비스 제공자가 비디오 오디오로 구성된 장면 구성에 이미지 요소를 삽입하기 위하여 작성한 추가 장면 구성 정보이다.
도 6의 "InsertScene"은 도 4의 초기 장면 구성 정보에 아래의 요소를 추가 하는 것을 나타내는 명령어이며, "Ref"는 초기 장면 구성 정보 중에 요소가 추가되어야 할 대상의 위치를 나타낸다.
추가 장면 구성 정보는 기존 장면 구성 정보와 같은 형태인 XML파일로 기술되고, 기존 장면 구성 정보의 전달 방식과 같은 방법으로 전달된다. 즉 추가 장면 구성 정보는 변경되어야 하는 요소와 추가되거나 삭제 또는 변경되어야 하는 명령어에 대한 요소를 포함하고 있으며, 서비스 제공자는 이를 초기 장면 구성 정보와는 별도로 개별적인 XML파일로 생성하여 단말에 전달한다.
도 7은 도 4의 초기 장면 구성 정보를 생성하여 단말에 전달하고, 이를 분석하여 DOM을 생성하는 단계를 설명하기 위한 도면이다.
단말에서는 장면 구성 정보(701)를 수신하였을 경우, 이를 분석하여 DOM Tree(702)를 생성하고, DOM Tree에 구성된 요소들을 소비한다.
도 8은 이미지가 추가된 XML파일을 생성하여, 단말에 전달하고 이를 분석하여 DOM을 새로 생성하는 단계를 설명하기 위한 도면이다.
단말이 도 7의 장면 구성 정보를 분석하고 DOM Tree를 구성하여 서비스를 제공하고 있는 상황에서 변경된 장면 구성 정보(801)를 수신하게 되면, 추가되어야 할 이미지 요소뿐만 아니라 비디오 오디오에 대한 전체 장면 구성 요소를 다시 분석하고 DOM Tree를 생성하여야 한다. 즉 DOM Tree(802)는 DOM Tree(702)에서 단지 이미지 요소가 추가된 것처럼 보여지지만, 기존의 DOM Tree(702)를 삭제하고 새로운 DOM Tree(802)를 생성한 것이다.
도 8에서 나타내는 바와 같이 일부 요소만을 추가하기 위해 전체 요소들에 대한 장면 구성 정보를 새로 생성하고, DOM을 매번 새로 생성하는 것은 다양한 멀티미디어가 혼합된 서비스 환경에서 단말의 자원을 매우 비 효율적으로 사용해야 되는 문제점이 있다.
이러한 문제점을 해결하기 위해서 추가되어야 할 요소만을 업데이트를 할 필요가 있다.
도 9은 변경되어야 할 요소만을 따로 생성하여 전달하고, 이전에 생성된 DOM을 삭제하지 않고, 추가되어야 할 요소만을 업데이트 하는 방법을 나타낸 도면이다.
도 9에서 나타내는 바와 같이 단말이 장면 구성 정보(901)를 분석하고 DOM Tree(902)를 구성하여 서비스를 제공하고 있는 상황에서, 추가 장면 구성 정보(901')를 수신하게 되면, 추가되어야 할 이미지 요소만을 분석하고, 기존의 구성된 DOM Tree의 다른 요소들에 영향을 주지 않고, 전달된 요소만을 업데이트 시킨다. 즉 도 8과 비교하여 초기에 구성된 장면 중 일부 요소를 변경해야 되는 경우, 모든 요소에 대한 장면구성정보를 새로 생성하는 것이 아닌, 변경되는 요소에 대한 구성정보만을 전달하여, 현재 소비되고 있는 멀티미디어 서비스에 대해서 변경된 요소만을 실시간으로 업데이트하는 방법을 나타내고 있다.
본 실시 예에서는 이해를 돕기 위해 한 가지 요소만을 추가하는 간단한 경우에 대해 설명하였다. 하지만 추가 장면 구성 정보만을 전달하여 업데이트하는 기술은 기존 장면 구성 정보에 요소를 추가, 삭제, 변경하는 기능과 요소가 가지고 있는 특성을 추가, 삭제, 변경하는 기능, 또한 각 특성이 가지고 있는 값을 추가, 삭제, 변경하는 기능을 포함한다.
하이브리드 서비스 환경에서 콘텐츠 동기화 방법
도 10은 현재 지상파 디지털 방송에 사용되는 MPEG-2 TS system의 데이터간 동기화 구조를 도시한 도면이다.
도 10을 참조하면, MPEG-2 TS의 비디오, 오디오, 데이터는 인코더를 거쳐 기초 스트림(Element Stream)을 생성한다. 이 기초 스트림은 패킷화 작업을 거쳐 PES(Packetized Elementary Stream)라 불리는 블록데이터(101)를 만든다. 이 PES 헤더에는 데이터의 종류, 데이터의 길이와 데이터간의 동기화 정보가 삽입되며 이 동기화 정보는 STC(System Timing Clock)를 참조함으로써 DTS, PTS 값을 생성하여 각 데이터간 복호화 및 렌더링 시점을 알 수 있다. 그리고 생성된 PES 데이터와 STC를 참조해 생성된 PCR(Program Clock Reference)값은 TS Multiplexer를 통하여 TS 패킷 형태로 수신자에게 전달하게 된다. 수신 측은 TS DeMultiplexer를 통해 오디오, 비디오 메타데이터를 분류한다. 그리고 TS헤더의 Adaptation field안의 PCR 값을 추출하여 방송국과 동일한 STC 클럭을 재현하여 PES를 분석(Depackaketizing)한 DTS와 PTS 값과 일치할 때 복호화(102) 및 렌더링을 시작한다. 이러한 시간 정보 형태로는 A/V 데이터간의 동기화는 가능하지만 해당 장면의 위치는 알기 어렵다.
도 11는 TS DeMultiplexer를 통한 데이터종류를 구분하는 과정을 도시한 도면이다.
먼저 수신기는 방송망으로 전송되는 TS Streaming 중에서 MPEG에서 규정된 PID(Packet ID)=0인 PAT(Program Association Table) 패킷을 찾는다. TS DeMultiplexer는 PAT를 분석하여 해당 채널에서 전송될 프로그램 번호와 PMT의 PID를 파악한다. 그리고 뒤에 수신될 PMT를 분석함으로써 해당 채널의 비디오, 오디오, 메타데이터의 PID값을 파악하여 패킷이 가진 데이터 종류를 분류할 수 있다.
도 12는 통신망으로 부가영상을 전송하는 일례로 DASH기술에 대한 과정을 도시화한 도면이다.
도 12를 참조하면, DASH는 HTTP 프로토콜을 사용하여 서버로부터 클라이언트에게 요청된 미디어 데이터를 네트워크 상황 및 단말 환경에 맞추어 적절한 품질과 사이즈의 데이터를 전송하기 위한 방법이다. 먼저 서버는 클라이언트에게 미디어에 대한 메타데이터 및 위치 정보가 기술된 xml형태의 MPD(Media Presentation Description) 를 제공한다. 클라이언트 측은 이를 분석하여 미디어데이터를 복호화에 필요한 초기화 정보를 가진 Initialization Segment를 요청하고 수신받는다. 그리고 시간과 품질에 따라 그룹화되어 저장한 Media Segment를 요청하여 네트워크 상황이 좋을 경우 고품질의 Media Segment를 네트워크 상황이 나쁠 경우 저품질의 Media Segment를 수신 받아 Streaming이 이루어진다.
도 13은 본 발명의 일 실시 예에 따른 콘텐츠 동기화 방법을 도시한 흐름도이다.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 콘텐츠 동기화 방법은 전송 스트림 수신 단계(S1310), 전송 스트림 분석 단계(S1320), 전송 스트림에 멀티뷰 콘텐츠가 포함된 경우(S1330-Y) 통신망으로 제1콘텐츠에 대응되는 제2콘텐츠를 수신하는 단계(S1340), 제1콘텐츠와 제2콘텐츠를 동시에 출력하는 단계(S1350)를 포함한다.
S1310단계에서 방송망을 통해 전송 스트림을 수신한다(S1320). 전송 스트림은 MPEG-2 규약에 따라 비디오, 오디오, 데이터 등을 동시에 한 스트림에서 전송할 수 있다. 전송스트림의 헤더에는 전체 스트림을 구성하는 프로그램 정보, 프로그램의 시간 정보 및 전체 시스템을 제어하기 위한 제어 정보 등이 포함된다.
다음으로 상기 수신된 전송 스트림을 분석한다. 상기 전송 스트림을 분석하는 단계는, PMT(Program Map Table)에 포함된 정보를 분석하여 상기 멀티뷰 콘텐츠의 제공여부를 판단할 수 있다.
그리고, 상기 분석 결과 상기 전송 스트림에 포함된 제1콘텐츠가 멀티뷰 콘텐츠인 것으로 판단되면(S1330-Y), 통신망을 통해 상기 제1콘텐츠에 대응되는 제2콘텐츠를 수신한다(S1340). 제1콘텐츠가 멀티뷰 콘텐츠인지 판단하는 과정에 대해서는 후술하도록 한다.
상기 단계를 수행하고 전송 스트림에 포함된 제1콘텐츠 및 상기 수신된 제2 콘텐츠를 동시에 출력한다(S1350).
도 14는 본 발명의 다른 실시 예에 따른 콘텐츠 동기화 방법을 도시한 흐름도이다.
도 14를 참조하면, 본 발명의 다른 실시 예에 따른 콘텐츠 동기화 방법은 전송 스트림 수신 단계(S1410), 전송 스트림 분석 단계(S1420), 전송 스트림에 멀티뷰 콘텐츠가 포함된 경우(S1430-Y) 통신망으로 제1콘텐츠에 대응되는 제2콘텐츠를 수신하는 단계, 제1콘텐츠와 제2콘텐츠를 동시에 출력하는 단계(S1460)를 포함한다. 상기 S1410, S1420, S1430, S1460는 각각 전술한 S1310, S1320, S1330, S1350과 동일하므로 설명을 생략한다.
이때 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계(S1440)와, PTS(Presentation Time Stamp)값이 상기 멀티뷰 콘텐츠의 PTS(Presentation Time Stamp)값과 일치하는 상기 제1콘텐츠의 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계(S1450)를 포함할 수 있다.
도 15는 본 발명의 PMT에 Frame_num을 제공하는 Multiview_Descriptor를 추가하여 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면이다.
먼저 방송망으로 전달되는 TS는 PAT를 분석하여(S1510) PMT_PID를 인지하여 PMT를 분석해(S1515) 후술할 도 19에 도시된 Multiview_Descriptor를 확인한다(S1520). Multiview_Flag의 값이 0으로 기술되어 있을 경우(S1520-N) 일반적인 방송서비스(S1540~S1555)를 따르며 값이 1로 기술되어 있을 시(S1520-Y) 이때부터 멀티뷰가 가능시점임을 시청자에게 알려준다. 단말은 MPD_URL에 기술된 서버주소에 따라 미리 MPD를 요청하여 이를 분석하고(S1525, S1530), Initialization Segment를 다운받아 분석하여 디코딩 준비한다(S1535). 그리고 TS 패킷으로 수신되는 PES의 PTS값이 multiview_PTS와 일치한 경우(S1565-Y) Frame_num를 확인하여 해당 장면이 포함된 미디어 세그먼트를 요청하여 다운받은 후 TS와 DASH 미디어를 동시에 재생시켜줌으로써 동기화를 맞춘다(S1570, S1575, S1555).
이와 달리 상기 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계(미도시)와, 상기 제1콘텐츠의 현재 프레임의 PTS(Presentation Time Stamp)값과 PTS 시작값의 차이를 기초로 상기 제1콘텐츠의 현재 프레임 번호를 계산하고, 상기 제1콘텐츠의 현재 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계(미도시)를 포함할 수도 있다.
도 16은 본 발명의 PMT에 Init_PTS를 제공하는 Multiview_Descriptor를 추가하여 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면이다.
도 16 역시 PMT에 추가된 Multiview_Descriptor를 확인한다(S1620). Multiview_Flag가 0인 경우(S1640~)와 MPD와 Initialization Segment를 다운 및 분석하는 과정(S1625~)을 거친다. 그리고 시청자가 멀티뷰를 요청한 시점부터 Multiview_Descriptor안의 Init_PTS를 통하여 프로그램의 시작점을 포함한 장면의 PTS를 확인하고 현재 PTS에서 Init_PTS를 뺀 후 PTS간의 차이로 나눠준 값에서 1을 더한 값으로 해당 장면의 위치를 계산하여(S1670) 동일한 장면을 포함한 Media Segment를 요청하여 다운받은 후 디코딩하여(S1650,S1655), TS와 DASH 미디어를 동시에 재생시켜줌으로써 동기화를 맞춘다(S1665). 예를 들어 현재 PTS가 1800이며 Init_PTS가 1000, PTS간의 간격이 100일 경우 을 통해 9번째 프레임을 포함한 Media Segment를 요청하게 된다.
또한, 상기 제2콘텐츠를 수신하는 단계는, MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계(미도시), 상기 제1콘텐츠의 SMPTE Timecode값과 SMPTE Timecode 시작값의 차이를 기초로 상기 제1콘텐츠의 시간정보를 계산하고, 상기 제1콘텐츠의 시간정보에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계(미도시)를 포함할 수도 있다.
도 17은 본 발명의 방송망과 통신망 미디어 내 SMPTE Timecode를 이용하여 동기화하는 방안을 도시한 도면이다.
본래 SMPTE Timecode(SMPTE 12M)는 SMPTE에서 각각의 Video 또는 film의 Frame 단위 라벨링(Labeling)을 위해 제정한 표준으로 Timecode는 film, video, audio 등등에 삽입될 수 있으며, 편집 또는 동기화를 위한 레퍼런스의 역할을 한다. 콘텐츠 레벨에서 관리되는 상기 SMPTE Timecode를 부호화기로 전달하는 경우, 콘텐츠별 압축방식에 따라 각각의 부호화 단계에서 스트림 상에 기록될 수 있으며, 결과적으로 방송망으로 제공되는 컨텐츠 및 통신망으로 제공되는 콘텐츠는 프레임 단위의 동일한 SMPTE Timecode를 전송 스트림 상에 포함할 수 있다. 도 17 역시 PMT에 추가된 Multiview_Descriptor를 확인한다(S1720). Multiview_Flag가 0인 경우(S1740~)와 MPD와 Initialization Segment를 다운 및 분석하는 과정(S1725~S1735)을 거친다. 이때, 전달되는 MPD 또는 Initialization Segment는 미디어의 시작 SMPTE Timecode를 가리키는 Init_Timecode 값을 포함할 수 있으며, 시청자가 멀티뷰를 요청한 시점부터 방송망을 통해 제공되는 콘텐츠의 Timecode를 통하여 현재 Timecode에서 Init_Timecode를 뺀 후 1을 더한 값으로 해당 장면의 위치를 계산하여 동일한 장면을 포함한 Media Segment를 요청하여 다운받은 후(S1750) 방송망을 통해 제공되는 TS와 통신망을 통해 제공된 DASH 미디어를 동시에 재생시켜줌으로써 동기화를 맞춘다(S1755, S1770). 이때 방송망 콘텐츠와 통신망 콘텐츠간 정확한 동기화를 위해 Timecode가 일치할 때 동시에 재생시켜주는 방식을 사용할 수 도 있다.
경우에 따라 MPD를 요청하는 단계(S1725)에서 방송망을 통해 제공되는 콘텐츠의 Timecode를 MPD 요청 메세지와 함께 서버단에 전송하고, 해당 Timecode가 해당하는 Frame_num를 MPD 파일과 함께 수신단에서 다운로드 또는 파싱한다(S1730). 수신기에서는 Frame_num를 확인하여 해당 장면이 포함된 미디어 세그먼트를 요청하여 다운받은 후 TS와 DASH 미디어를 동시에 재생시켜줌으로써 동기화를 맞춘다.
한편, 상기 제2콘텐츠의 세그먼트를 수신하는 단계는, 통신망의 지연을 고려하여 상기 제1콘텐츠의 현재 프레임보다 기설정된 수의 프레임 뒤에 위치한 프레임에 대응되는 제2콘텐츠를 수신할 수 있다.
도 18은 본 발명이 적용되는 네트워크 지연이 고려하여 미래의 장면을 요청하는 멀티뷰 미디어 콘텐츠 간의 동기화 방안을 도시한 도면이다.
도 18 역시 PMT에 추가된 도 19에 도시된 Multiview_Descriptor를 확인한다(S1820). Multiview_Flag가 0인 경우(S1845~)와 MPD와 Initialization Segment를 다운 및 분석하는 과정(S1825~)을 거친다. 그리고 시청자가 멀티뷰를 요청 시 현재 프레임 위치 계산(S1840)을 수행하여 해당 장면의 위치를 계산하고 통신망의 지연을 고려하여 현 장면보다 미래의 장면을 포함한 Media Segment를 요청하여 다운받은 후(S1855) TS 미디어 장면과 DASH 미디어 장면이 일치할 때 동시에 재생시켜줌으로써 동기화를 맞춘다(S1860,S1870).
도 19는 도 15의 PMT에 Frame_num을 제공하는 Multiview_Descriptor이 추가된 프로그램 코드를 도시한 도면이고, 도 20은 도 16의 PMT에 Init_PTS를 제공하는 Multiview_Descriptor가 추가된 프로그램 코드를 도시한 도면이다.
도 21은 본 발명의 다양한 실시 예에 따라 단말이 서버와 방송국 사이에서 콘텐츠를 전송받아 동기화를 수행하는 과정을 시간순서로 나타낸 도면이다.
이벤트에 기반의 방송 콘텐츠 디스플레이
이하에서는 이벤트 기반의 방송 콘텐츠 디스플레이 방법에 대해서 설명한다.
- 속보 시나리오
도 22는 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 속보 시나리오를 도시한 도면이고, 도 23은 다른 실시 예로 푸쉬(Push) 방식의 속보 시나리오를 도시한 도면이고, 도 24는 속보 시나리오의 타임라인을 도시한 도면이다.
사용자는 TV를 통하여 서버로부터 CI를 전달받고, 단말은 전달받은 CI를 분석한 후 CI가 포함하고 있는 비디오와 오디오를 서비스 받아 재생한다. 해당 CI를 기반으로 서비스를 제공하는 중간에 긴급 재난 콘텐츠를 전달을 해야 하는 경우, 서비스 제공자는 현재 전달하고 있는 메인 비디오 대신에 재난 콘텐츠를 전달하고자 한다. 이 때 서버는 재난방송으로 대체된 새로운 CI를 전달 하거나 기존에 전달한 CI에 변경되어야 하는 부분만을 추가 장면 구성정보로 전달을 한다.
단말은 새로 전달된 CI를 분석하여 메인 콘텐츠의 소비를 중단하고, 재난 콘텐츠를 소비한다. 재난 콘텐츠의 소비가 종료되면 단말의 이전에 서비스 되고 있었던 메인 콘텐츠를 중단된 시점부터 다시 소비를 한다.
도 22는 단말에 전달된 CI를 기반으로 On demand 형태로 서버에서 단말로 콘텐츠를 제공하는 것을 나타내고 있으며, 그림23과 같이 Push 기반 서비스인 경우, 단말에서 서버로 별도의 요청 없이 CI 정보 전달 후 해당 시간에 콘텐츠를 전달할 수 있다. 또한 CI 및 각각의 비디오 콘텐츠의 전달은 Push와 On demand 서비스 형태가 혼합되어 제공된다.
도 24는 속보 시나리오의 타임라인을 나타낸다. 별도의 기준 시간(Scene Time)을 사용하지 않고 이벤트만을 사용하여 콘텐츠 소비의 타임라인을 제시한다. 특정 X1시점에서 A콘텐츠에서 B콘텐츠로의 전환이 요청되는 경우, 콘텐츠의 시작과 종료를 알리는 이벤트를 사용하여 콘텐츠가 전환되며, 단말은 중단된 시점을 저장하기 위한 이벤트를 발생시켜 A 콘텐츠의 중단지점을 저장한다. 이후 특정 X2시점에서 B 콘텐츠가 종료되면, 콘텐츠 종료와 시작을 알리는 이벤트를 사용하여 콘텐츠가 다시 A로 전환되며, 중단 시점을 사용하는 이벤트를 사용하여 A 콘텐츠의 중단된 시점부터 이어서 소비를 할 수 있게 된다.
- 중계 시나리오
도 25는 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 중계 시나리오를 도시한 도면이고, 도 26은 다른 실시 예로 푸쉬(Push) 방식의 중계 시나리오를 도시한 도면이고, 도 27은 중계 시나리오의 타임라인을 도시한 도면이다.
도 25를 참조하면, 사용자는 TV를 통하여 서버로부터 CI를 전달받는다. 단말은 CI를 분석한 후 CI가 포함하고 있는 비디오와 오디오를 서비스 받아 재생한다.
비디오 A는 야구중계 1회에 관한 콘텐츠이며, 비디오 A가 소비되기 시작한 3분 후부터는 경기현황에 대한 비디오 B가 같이 재생이 된다. 야구중계는 1회를 마치게 되어, 비디오 A의 서비스를 종료하고, 광고에 대한 비디오 C가 이어서 재생된다.
도 25는 단말에 전달된 CI를 기반으로 On demand 형태로 서버에서 단말로 콘텐츠를 제공하는 것을 나타내고 있으며, 도 26과 같이 Push 기반 서비스인 경우, 단말에서 서버로 별도의 요청 없이 CI 정보 전달 후 해당 시간에 콘텐츠를 전달할 수 있다. 또한 CI 및 각각의 비디오 콘텐츠의 전달은 Push와 On demand 서비스 형태가 혼합되어 제공된다.
도 27은 스포츠 중계 시나리오의 타임라인을 나타낸다. 별도의 기준 시간(Scene Time)을 사용하지 않고 이벤트만을 사용하여 콘텐츠 소비의 타임라인을 제시한다. A 콘텐츠의 media time을 기준으로 3분이 지났을 시점에서 B 콘텐츠의 재생이 시작된다. 이후 특정 X1 시점에서 A 콘텐츠가 종료되면, 콘텐츠의 종료를 알리는 이벤트를 사용하여 C 콘텐츠의 소비가 시작된다.
- 멀티뷰 시나리오
도 28은 이벤트 기반의 방송 콘텐츠 디스플레이 방법의 일 실시 예로 온디맨드(On demand) 방식의 멀티뷰 시나리오를 도시한 도면이고, 도 29는 다른 실시 예로 푸쉬(Push) 방식의 멀티뷰 시나리오를 도시한 도면이고, 도 30은 멀티뷰 시나리오의 타임라인을 도시한 도면이다.
사용자는 TV를 통하여 서버로부터 멀티뷰에 관한 CI를 전달받는다. 단말은 CI를 분석한 후 CI가 포함하고 있는 정면 시점의 비디오 A와 오디오를 서비스 받아 재생한다.
사용자는 시청 중간 오른쪽으로 변경된 시점의 비디오를 요청한다. 단말은 비디오 A가 소비된 시간을 저장하고 소비를 중단시킨다. 그리고 비디오 A가 소모된 시점에 해당하는 비디오 B를 전달 받는다. 또 사용자가 다른 시점을 요청하게 되면, 앞과 같은 과정으로 비디오 B를 중단하고, 중단 시점부터 비디오 C를 소비한다.
도 28은 단말에 전달된 CI를 기반으로 On demand 형태로 서버에서 단말로 콘텐츠를 제공하는 것을 나타내고 있으며, 도 29와 같이 Push 기반 서비스인 경우, 단말에서 서버로 별도의 요청 없이 CI 정보 전달 후 해당 시간에 콘텐츠를 전달할 수 있다. 멀티뷰 시나리오에서는 두 서비스의 전달방식은 다르다. 즉 On demand 환경에서는 사용자가 요청하는 특정 콘텐츠만을 전달하지만 Push 환경에서는 A, B, C 콘텐츠를 모두 전달을 해야 하고, 사용자가 요청을 하는 것이 아닌 전달되는 콘텐츠 중 한가지를 선택하여 보여준다. 따라서 멀티뷰와 같은 서비스는 Push 기반 환경에서는 많은 대역폭을 사용하여야 하므로 실제 서비스로 제공되기 어렵다.
따라서 CI 및 각각의 비디오 콘텐츠의 전달은 Push와 On demand 서비스 형태가 혼합되어 제공되지만 해당 시나리오에서의 B와 C 콘텐츠의 전달은 On Demand 환경이 적합하다.
도 30은 멀티뷰 서비스 시나리오의 타임라인을 나타낸다. 별도의 기준 시간(Scene Time)을 사용하지 않고 이벤트만을 사용하여 콘텐츠 소비의 타임라인을 제시한다. 특정 X1 시점에서 사용자가 다른 시점의 콘텐츠를 요청하게 되면 A 콘텐츠가 중단 시점을 저장하는 이벤트가 발생되고 이를 B 콘텐츠가 전달받아 X1 시점부터 B 콘텐츠의 소비가 시작된다. 마찬가지로 사용자가 또 다른 시점의 콘텐츠를 요청하게 되면 B콘텐츠의 중단 시점을 저장하는 이벤트가 발생되고 이를 C 콘텐츠가 전달받아 X2 시점부터 C 콘텐츠의 소비가 시작된다.
- 요구사항(Requirement)
상술한 시나리오를 제공하기 위해서는 아래와 같은 기능이 필요하다.
A. CI는 초기 장면 구성 정보와 서비스 중간에 추가되거나 변경되는 요소를 전달하기 위한 추가 장면 구성정보로 이루어 진다.
B. Asset (콘텐츠) 개별의 AV의 동기화 (자체 타임 스탬프) 및 시간 라인 (100분 Asset (콘텐츠))은 콘텐츠 별로 독립해 있다. (현재 DTS 및 PTS 등으로 표준화가 진행 중)
C. CI (PACKAGE 기반)를 구성하는 콘텐츠의 시간적 연관관계를 기술하기 위해 아래와 같은 이벤트를 정의한다.
1) CI의 이벤트에는 각 Asset 소비의 시작을 알리는 이벤트가 정의 되어야 한다(3가지 모든 시나리오에서 요구됨).
2) CI는 이벤트에는 각 Asset 소비의 종료를 알리는 이벤트가 정의 되어야 한다(속보와 스포츠 중계 시나리오에서 요구됨).
3) CI는 이벤트에는 각 Asset 소비시간(중단점)을 단말에 저장시키고, 이를 다른 Asset의 소비를 위해 전달할 수 있어야 한다(속보와 멀티뷰 시나리오에서 요구됨).
4)이벤트는 사용자의 액션/콘텐츠간 dependency 액션 및 world time을 통해 이루어진다(3가지 모든 시나리오에서 요구됨).
D. CI는 개별 Asset (콘텐츠)간의 플레이 순서를 알고 있다.
상술한 요구사항을 만족하기 위하여 아래의 기술적 구성을 고려할 수 있다. 도 31은 멀티뷰 시나리오의 일 실시 예에서 개별 미디어 타임을 나타낸 도면이다.
A. [요구사항 A]를 만족시키기 위해서는 초기 장면 구성 정보와 서비스 중간에 추가 장면 구성 정보를 따로 전달되어야 하며, 초기 장면 구성 정보로 생성된 DOM은 추가 장면 구성 정보를 전달받게 되면 DOM의 일부분이 업데이트 된다(본 명세서의 앞부분에서 설명함).
B. 상기 [요구사항 B]를 만족시키기 위해 Scene Time과 같은 하나의 Package에 대한 전체적인 타임라인은 존재하지 않지만, 대신 각각 asset은 media time(time stamp)을 사용하여 AV를 동기화 하거나, 개별적으로 독립된 타임라인을 가지고 있다. 즉 도 31과 같이 하나의 Package를 구성하는 여러 시점의 비디오는 각자가 media time을 가지고 있고, 이는 독립적으로 재생될 수도 있고, 다른 시점의 비디오와 연동되어 재생이 될 수도 있다.
C. 상기 [요구사항 C]를 만족시키기 위해 CI는 MMT Package가 포함하고 있는 Asset들의 시간적 정보를 기술하며, 이는 기존의 장면 구성기술의 Scene Time을 기준으로 하는 것이 아닌, 이벤트를 기반으로 시간적 연관관계를 기술한다. 또한 CI는 MMT Package가 포함하고 있는 Asset들의 공간적 정보를 기술하며, 이는 SMIL 또는 LASeR의 기술을 참조한다.
D. Package의 CI는 Scene Time이 없이도 개별 Asset의 media time과 sset들의 관계를 통해 Package의 재생 순서 및 스케줄링을 할 수 있다.
Definition
&
type
아래의 이벤트는 CI에 기술되는 요소와 각 요소의 속성 값으로 활용된다.
A. ev:start - 독립된 asset의 소비가 시작됨을 나타냄. 해당 ID의 콘텐츠가 소비될 때 발생된다. (requirement C.1)
- type:ID - 시작되는 asset의 ID를 가리킨다
B. ev:end - 독립된 asset의 소비가 종료됨을 알린다. 해당 ID의 콘텐츠가 종료될 때 발생된다. (requirement C.2)
- type:ID - 종료되는 asset의 ID를 가리킨다.
C. ev:pushtime - 독립된 asset의 소비된 시간 값을 저장한다. (requirement C.3)
- type:ID - 저장할 시간 값에 대한 asset의 ID를 가리킴
D. ev:poptime - 독립된 asset의 저장된 시간 값을 빼온다. . (requirement C.3)
- type:ID - 저장된 시간 값에 대한 asset의 ID를 가리킴
콘텐츠 디스플레이 방법
상술한 실시 예는 하기의 방법으로 기술될 수 있다.
도 32, 33는 본 발명의 다양한 실시 예에 따른 방송 콘텐츠 디스플레이 방법을 도시한 흐름도이다.
도 32를 참조하면, 먼저 제1서버가 마크업 언어로 작성된 제1콘텐츠의 장면 구성 정보를 전송한다(S3210). 그리고, 상기 전송된 제1콘텐츠의 장면 구성 정보에 기초하여 상기 제1서버로부터 제1콘텐츠를 전송하여 렌더링한다(S3220). 만일 제1콘텐츠의 장면 구성 정보가 변경되는 경우 전술한 실시 예에 따른 장면 구성 정보 업데이트가 수행될 수 있을 것이다. 그리고, 제2 콘텐츠 시청 이벤트가 발생하면(S3230-Y) 제2서버가 제2 콘텐츠를 전송하여 렌더링한다(S3230).
도 33을 참조하면, 제1서버가 마크업 언어로 작성된 제1콘텐츠의 장면 구성 정보를 전송한다(S3310). 그리고, 상기 전송된 제1콘텐츠의 장면 구성 정보에 기초하여 상기 제1서버로부터 제1콘텐츠를 전송하여 렌더링한다(S3320). 그리고, 제2 콘텐츠 시청 이벤트가 발생하면(S3330-Y) 상기 제1콘텐츠의 렌더링을 중단하고, 제2서버가 제2콘텐츠를 전송하여 렌더링한다(S3340). 이 경우 상기 제2콘텐츠의 렌더링이 끝나는 이벤트가 발생하면(S3350-Y), 상기 제1콘텐츠 렌더링이 중단된 지점부터 이어서 상기 제1콘텐츠를 렌더링한다(S3360).
한편, 전술한 실시 예에서 설명한 것처럼 상기 제2 콘텐츠 시청 이벤트가 발생하면, 즉, 서로 다른 외부장치로부터 서로 관련된 복수의 콘텐츠를 수신하게 되는 경우 상기 제2서버는 상기 제2콘텐츠를 상기 제1콘텐츠와 동기화하여 전송하고 렌더링할 수 있다.
예제를 설명하기 위한 요소
도 34는 속보 시나리오의 이벤트 발생시 수신되는 추가 장면 구성 정보를 나타낸 예를 도시한 도면이고, 도 35는 중계 시나리오의 이벤트 처리에 대한 정보를 포함하는 장면 구성 정보를 나타낸 예를 도시한 도면이고, 도 36은 멀티 뷰 시나리오의 이벤트 처리에 대한 정보를 포함하는 장면 구성 정보를 나타낸 예를 도시한 도면이다.
Link: asset의 ID를 지칭함. (MMT:E1-CI)
Begin: 해당 요소를 시작하는 시간적 정보를 기술한다. (SMIL)
End: 해당 요소를 종료하는 시간적 정보를 기술한다. (SMIL)
ev:listener: 이벤트의 발생 조건 (LASeR)
기록매체
전술한 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
디스플레이 장치
이하에서는 전술한 방법에 따라 콘텐츠를 수신하여 디스플레이하는 디스플레이 장치(100)를 설명한다.
도 37 및 도 38은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이다.
도 37을 참조하면, 본 발명의 다양한 실시 예에 따른 디스플레이 장치(100)는 수신부(110), 출력부(130), 제어부(120)를 포함한다.
수신부(110)는 외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보 및 상기 콘텐츠를 수신하는 구성이다. 수신부(110)는 다양한 통신 수단을 구비하여 외부 장치와 연결되어 정보를 수신한다. 상기 마크업 언어는 XML(eXtensible Markup Language)일 수 있다.
수신부(110)는 방송통신모듈을 포함할 수 있고, 제어부(120)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 디스플레이 장치(100)는 수신된 방송 신호에 포함된 콘텐츠 데이터를 추출하여 전술한 신호처리를 수행한다.
출력부(130)는 상기 수신된 콘텐츠를 출력한다. 출력부는 스피커를 포함하는 오디오 출력부와 디스플레이부를 포함한다. 디스플레이부(130)는 제어부(120)의 제어에 의해서 멀티미디어 컨텐츠, 이미지, 동영상, 텍스트 등을 표시한다.
디스플레이부(130)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있다. 또한, 플렉서블 디스플레이(flexible display), 투명 디스플레이(transparent display) 등으로 구현 가능할 것이다.
제어부(120)는 디스플레이 장치(100)의 전체적인 동작을 제어한다. 특히, 상기 초기 장면 구성 정보를 분석하여 구조화하고, 상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어한다. 상기 구조화 과정은, 상기 초기 장면 구성 정보를 파싱(parsing)하여 돔트리(DOM tree)를 구성할 수 있다.
또한, 상기 제어부(120)는, 상기 수신부(110)가 상기 외부 장치로부터 상기 콘텐츠에 대한 추가 장면 구성 정보를 수신하면, 상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트하고, 상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어한다.
이때 상기 업데이트 과정은, 상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제하여 수행할 수 있다.
구체적으로 상기 업데이트 과정은, 상기 수신된 추가 장면 구성 정보에 대응되는 트리 노드(Node)를 상기 구성된 돔트리에 추가하거나, 상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 트리 노드(Node)를 상기 구성된 돔트리 중 일부 노드와 대체하거나, 상기 수신된 추가 장면 구성 정보에 따라, 상기 구성된 돔트리 중 일부 노드를 삭제하여 수행가능하다.
또한, 디스플레이 장치는 장면구성 정보 업데이트를 통한 콘텐츠 디스플레이 외에도 하이브리드 서비스 환경에서 콘텐츠 동기화 방법에 따라 동기화된 콘텐츠를 디스플레이하거나 이벤트에 기반의 방송 콘텐츠 디스플레이하는 기능을 수행할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
Claims (15)
- 콘텐츠 디스플레이 방법에 있어서,외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보를 수신하는 단계;상기 초기 장면 구성 정보를 분석하여 구조화하는 단계;상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하는 단계;상기 외부 장치로부터 상기 콘텐츠에 대한 추가 장면 구성 정보를 수신하는 단계;상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트하는 단계; 및상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하는 단계;를 포함하는 콘텐츠 디스플레이 방법.
- 제1항에 있어서,상기 업데이트 단계는,상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나,상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나,상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제하는 것을 특징으로 하는 콘텐츠 디스플레이 방법.
- 제1항에 있어서,상기 마크업 언어는 XML(eXtensible Markup Language)이고,상기 구조화 단계는, 상기 초기 장면 구성 정보를 파싱(parsing)하여 돔트리(DOM tree)를 구성하는 것을 특징으로 하는 콘텐츠 디스플레이 방법.
- 제3항에 있어서,상기 업데이트 단계는,상기 수신된 추가 장면 구성 정보에 대응되는 트리 노드(Node)를 상기 구성된 돔트리에 추가하거나,상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 트리 노드(Node)를 상기 구성된 돔트리 중 일부 노드와 대체하거나,상기 수신된 추가 장면 구성 정보에 따라, 상기 구성된 돔트리 중 일부 노드를 삭제하는 것을 특징으로 하는 콘텐츠 디스플레이 방법.
- 콘텐츠의 동기화 방법에 있어서,방송망을 통해 전송 스트림을 수신하는 단계;상기 수신된 전송 스트림을 분석하는 단계;상기 분석 결과 상기 전송 스트림에 포함된 제1콘텐츠가 멀티뷰 콘텐츠인 것으로 판단되면, 통신망을 통해 상기 제1콘텐츠에 대응되는 제2콘텐츠를 수신하는 단계; 및상기 전송 스트림에 포함된 제1콘텐츠 및 상기 수신된 제2 콘텐츠를 동시에 출력하는 단계;를 포함하는 콘텐츠 동기화 방법.
- 제5항에 있어서,상기 전송 스트림을 분석하는 단계는,PMT(Program Map Table)에 포함된 정보를 분석하여 상기 멀티뷰 콘텐츠의 제공여부를 판단하고, 상기 PMT는 프레임 넘버, 멀티뷰 콘텐츠 PTS, PTS 시작값 및 SMPTE Timecode 시작값 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 동기화 방법.
- 제5항에 있어서,상기 제2콘텐츠를 수신하는 단계는,MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계; 및상기 제1콘텐츠의 PTS(Presentation Time Stamp)값이 상기 멀티뷰 콘텐츠의 PTS(Presentation Time Stamp)값과 일치하는 상기 제1콘텐츠의 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계; 를 포함하는 것을 특징으로 하는 콘텐츠 동기화 방법.
- 제5항에 있어서,상기 제2콘텐츠를 수신하는 단계는,MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계; 및상기 제1콘텐츠의 현재 프레임의 PTS(Presentation Time Stamp)값과 PTS 시작값의 차이를 기초로 상기 제1콘텐츠의 현재 프레임 번호를 계산하고, 상기 제1콘텐츠의 현재 프레임 번호에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계; 를 포함하는 것을 특징으로 하는 콘텐츠 동기화 방법.
- 제5항에 있어서,상기 제2콘텐츠를 수신하는 단계는,MPD(Media Presentation Description) 및 초기화 세그먼트(Initialization Segment)를 수신하는 단계; 및상기 제1콘텐츠의 SMPTE Timecode값과 SMPTE Timecode 시작값의 차이를 기초로 상기 제1콘텐츠의 시간정보를 계산하고, 상기 제1콘텐츠의 시간정보에 대응되는 상기 제2콘텐츠의 세그먼트를 수신하는 단계;를 포함하는 것을 특징으로 하는 콘텐츠 동기화 방법.
- 제8항에 있어서,상기 제2콘텐츠의 세그먼트를 수신하는 단계는,통신망의 지연을 고려하여 상기 제1콘텐츠의 현재 프레임보다 기설정된 수의 프레임 뒤에 위치한 프레임에 대응되는 제2콘텐츠를 수신하는 것을 특징으로 하는 콘텐츠 동기화 방법.
- 방송 콘텐츠 디스플레이 방법에 있어서,제1서버가 마크업 언어로 작성된 제1콘텐츠의 장면 구성 정보를 전송하는 단계;상기 전송된 제1콘텐츠의 장면 구성 정보에 기초하여 상기 제1콘텐츠를 전송하여 렌더링하는 단계; 및제2 콘텐츠 시청 이벤트가 발생하면 제2서버가 제2 콘텐츠를 전송하여 렌더링하는 단계;를 포함하는 방송 콘텐츠 디스플레이 방법.
- 제11항에 있어서,상기 제2 콘텐츠 시청 이벤트가 발생하면, 상기 제1콘텐츠의 렌더링을 중단하고,상기 제2콘텐츠의 렌더링이 끝나는 이벤트가 발생하면, 상기 제1콘텐츠 렌더링이 중단된 지점부터 이어서 상기 제1콘텐츠를 렌더링하는 것을 특징으로 하는 방송 콘텐츠 디스플레이 방법.
- 제11항에 있어서,상기 제2 콘텐츠 시청 이벤트가 발생하면, 상기 제2서버는 상기 제2콘텐츠를 상기 제1콘텐츠와 동기화하여 전송하고 렌더링하는 것을 특징으로 하는 방송 콘텐츠 디스플레이 방법.
- 디스플레이 장치에 있어서,외부 장치로부터 마크업 언어로 작성된 콘텐츠에 대한 초기 장면 구성 정보 및 상기 콘텐츠를 수신하는 수신부;상기 수신된 콘텐츠를 출력하는 출력부; 및상기 초기 장면 구성 정보를 분석하여 구조화하고, 상기 구조화된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어하는 제어부;를 포함하고,상기 제어부는,상기 수신부가 상기 외부 장치로부터 상기 콘텐츠에 대한 추가 장면 구성 정보를 수신하면, 상기 수신된 추가 장면 구성 정보를 기초로 상기 구조화된 초기 장면 구성 정보를 업데이트하고, 상기 업데이트된 초기 장면 구성 정보에 따라 상기 콘텐츠를 렌더링하여 출력하도록 제어하는 디스플레이 장치.
- 제14항에 있어서,상기 업데이트 과정은,상기 수신된 추가 장면 구성 정보에 대응되는 추가적인 구성을 상기 구조화된 초기 장면 구성 정보에 부가하거나,상기 수신된 추가 장면 구성 정보에 대응되는 대체적인 구성을 상기 구조화된 초기 장면 구성 정보 중 일부 구성과 대체하거나,상기 수신된 추가 장면 구성 정보에 따라, 상기 구조화된 초기 장면 구성 정보 중 일부 구성을 삭제하는 것을 특징으로 하는 디스플레이 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/351,805 US20140237536A1 (en) | 2011-10-13 | 2012-10-12 | Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents |
| JP2014535650A JP2014534695A (ja) | 2011-10-13 | 2012-10-12 | コンテンツディスプレイ方法、コンテンツ同期化方法、放送コンテンツディスプレイ方法及びディスプレイ装置 |
| CN201280050457.2A CN103875252A (zh) | 2011-10-13 | 2012-10-12 | 内容显示方法、内容同步方法、广播内容显示方法及显示装置 |
| EP12840042.1A EP2768231A4 (en) | 2011-10-13 | 2012-10-12 | METHOD OF DISPLAYING CONTENT, METHOD FOR SYNCHRONIZING CONTENT, AND METHOD AND DEVICE FOR DISPLAYING BROADCAST CONTENT |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161546618P | 2011-10-13 | 2011-10-13 | |
| US61/546,618 | 2011-10-13 | ||
| US201161552645P | 2011-10-28 | 2011-10-28 | |
| US61/552,645 | 2011-10-28 | ||
| US201161562699P | 2011-11-22 | 2011-11-22 | |
| US61/562,699 | 2011-11-22 | ||
| KR10-2012-0113753 | 2012-10-12 | ||
| KR1020120113753A KR20130040156A (ko) | 2011-10-13 | 2012-10-12 | 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013055164A1 true WO2013055164A1 (ko) | 2013-04-18 |
Family
ID=48082108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2012/008343 WO2013055164A1 (ko) | 2011-10-13 | 2012-10-12 | 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140237536A1 (ko) |
| JP (1) | JP2014534695A (ko) |
| WO (1) | WO2013055164A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150286623A1 (en) * | 2014-04-02 | 2015-10-08 | Samsung Electronics Co., Ltd. | Method and apparatus for marking relevant updates to html 5 |
| WO2015156607A1 (ko) * | 2014-04-09 | 2015-10-15 | 엘지전자 주식회사 | 방송 신호 송/수신 처리 방법 및 장치 |
| CN105230026A (zh) * | 2013-07-25 | 2016-01-06 | 松下电器（美国）知识产权公司 | 发送方法、接收方法、发送装置及接收装置 |
| CN106031186A (zh) * | 2014-02-26 | 2016-10-12 | 索尼公司 | 接收设备、接收方法、发送设备和发送方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101719998B1 (ko) * | 2011-12-12 | 2017-03-27 | 엘지전자 주식회사 | 미디어 컨텐트를 수신하는 장치 및 방법 |
| KR101959820B1 (ko) * | 2012-10-12 | 2019-03-20 | 삼성전자주식회사 | 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치 |
| JP6323805B2 (ja) * | 2013-04-04 | 2018-05-16 | 日本放送協会 | 受信装置、送信装置、及び受信プログラム |
| JP2014215859A (ja) * | 2013-04-26 | 2014-11-17 | ソニー株式会社 | 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法 |
| KR20150072231A (ko) * | 2013-12-19 | 2015-06-29 | 한국전자통신연구원 | 멀티 앵글 뷰 서비스 제공 장치 및 방법 |
| CN105338281B (zh) * | 2014-06-27 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 一种视频显示方法和装置 |
| JP6145136B2 (ja) * | 2015-08-05 | 2017-06-07 | 日本電信電話株式会社 | メタデータ配信システム、メタデータ配信方法及びメタデータ配信プログラム |
| US10733370B2 (en) * | 2015-08-18 | 2020-08-04 | Change Healthcare Holdings, Llc | Method, apparatus, and computer program product for generating a preview of an electronic document |
| JP6981257B2 (ja) * | 2016-02-12 | 2021-12-15 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
| CA3013945C (en) * | 2016-02-17 | 2021-11-02 | Arris Enterprises Llc | A method for delivering and presenting targeted advertisements without the need for time synchronized content streams |
| JP6735644B2 (ja) * | 2016-09-20 | 2020-08-05 | キヤノン株式会社 | 情報処理装置及びその制御方法、コンピュータプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003283450A (ja) * | 2002-03-20 | 2003-10-03 | Matsushita Electric Ind Co Ltd | コンテンツ送受信システム、受信装置、コンテンツ送信システム、プログラム及びプログラムの記録媒体 |
| JP2003319274A (ja) * | 2002-04-22 | 2003-11-07 | Sony Corp | デジタル放送受信機及び選局方法 |
| KR20050121345A (ko) * | 2004-06-22 | 2005-12-27 | 이호종 | 멀티트랙을 가지는 비디오 매체의 기록/재생 장치 및 그방법 |
| KR100873949B1 (ko) * | 2006-12-08 | 2008-12-12 | 주식회사 알티캐스트 | 클라이언트 기반의 화면 구성 시스템 및 그 방법 |
| JP4250646B2 (ja) * | 2006-08-31 | 2009-04-08 | キヤノン株式会社 | 放送受信装置、放送受信装置の制御方法、及び、プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7028331B2 (en) * | 2001-02-28 | 2006-04-11 | Sharp Laboratories, Inc. | Content proxy method and apparatus for digital television environment |
| JP4363364B2 (ja) * | 2005-05-30 | 2009-11-11 | 株式会社日立製作所 | 受信装置及び受信方法 |
| US8108787B2 (en) * | 2005-07-01 | 2012-01-31 | Microsoft Corporation | Distributing input events to multiple applications in an interactive media environment |
| US9219941B2 (en) * | 2006-10-25 | 2015-12-22 | Telefonaktiebolaget L M Ericsson (Publ) | Rich media stream management |
| US20080222504A1 (en) * | 2007-02-26 | 2008-09-11 | Nokia Corporation | Script-based system to perform dynamic updates to rich media content and services |
| KR101615378B1 (ko) * | 2008-09-26 | 2016-04-25 | 한국전자통신연구원 | 구조화된 정보의 업데이트 장치 및 그 방법 |
| JP2010268047A (ja) * | 2009-05-12 | 2010-11-25 | Canon Inc | 放送受信装置及びその制御方法 |
| US20110157322A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
-
2012
- 2012-10-12 JP JP2014535650A patent/JP2014534695A/ja active Pending
- 2012-10-12 WO PCT/KR2012/008343 patent/WO2013055164A1/ko active Application Filing
- 2012-10-12 US US14/351,805 patent/US20140237536A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003283450A (ja) * | 2002-03-20 | 2003-10-03 | Matsushita Electric Ind Co Ltd | コンテンツ送受信システム、受信装置、コンテンツ送信システム、プログラム及びプログラムの記録媒体 |
| JP2003319274A (ja) * | 2002-04-22 | 2003-11-07 | Sony Corp | デジタル放送受信機及び選局方法 |
| KR20050121345A (ko) * | 2004-06-22 | 2005-12-27 | 이호종 | 멀티트랙을 가지는 비디오 매체의 기록/재생 장치 및 그방법 |
| JP4250646B2 (ja) * | 2006-08-31 | 2009-04-08 | キヤノン株式会社 | 放送受信装置、放送受信装置の制御方法、及び、プログラム |
| KR100873949B1 (ko) * | 2006-12-08 | 2008-12-12 | 주식회사 알티캐스트 | 클라이언트 기반의 화면 구성 시스템 및 그 방법 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021057918A (ja) * | 2013-07-25 | 2021-04-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 送信方法および受信方法 |
| US11102547B2 (en) | 2013-07-25 | 2021-08-24 | Sun Patent Trust | Transmission method, reception method, transmission device, and reception device |
| CN105230026B (zh) * | 2013-07-25 | 2020-03-06 | 太阳专利托管公司 | 发送方法、接收方法、发送装置及接收装置 |
| EP3026920A4 (en) * | 2013-07-25 | 2016-07-06 | Panasonic Ip Corp America | TRANSMISSION METHOD AND RECEPTION METHOD, AND TRANSMISSION DEVICE AND RECEIVING DEVICE |
| EP3641318A1 (en) * | 2013-07-25 | 2020-04-22 | Sun Patent Trust | Transmission method and reception method, and transmission device and reception device |
| JP7280408B2 (ja) | 2013-07-25 | 2023-05-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法および受信方法 |
| US10356474B2 (en) | 2013-07-25 | 2019-07-16 | Sun Patent Trust | Transmission method, reception method, transmission device, and reception device |
| JP2020031437A (ja) * | 2013-07-25 | 2020-02-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 送信方法および受信方法 |
| CN105230026A (zh) * | 2013-07-25 | 2016-01-06 | 松下电器（美国）知识产权公司 | 发送方法、接收方法、发送装置及接收装置 |
| US11711580B2 (en) | 2013-07-25 | 2023-07-25 | Sun Patent Trust | Transmission method, reception method, transmission device, and reception device |
| JP2022089899A (ja) * | 2013-07-25 | 2022-06-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法および受信方法 |
| JP7057411B2 (ja) | 2013-07-25 | 2022-04-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法および受信方法 |
| EP3905630A1 (en) * | 2014-02-26 | 2021-11-03 | Sony Group Corporation | Reception device, reception method, transmission device, and transmission method |
| CN106031186B (zh) * | 2014-02-26 | 2020-05-15 | 索尼公司 | 接收设备、接收方法、发送设备和发送方法 |
| US10728610B2 (en) | 2014-02-26 | 2020-07-28 | Sony Corporation | Receiving apparatus, receiving method, transmission apparatus, and transmission method |
| EP3113499A4 (en) * | 2014-02-26 | 2017-09-13 | Sony Corporation | Reception device, reception method, transmission device, and transmission method |
| CN106031186A (zh) * | 2014-02-26 | 2016-10-12 | 索尼公司 | 接收设备、接收方法、发送设备和发送方法 |
| US20150286623A1 (en) * | 2014-04-02 | 2015-10-08 | Samsung Electronics Co., Ltd. | Method and apparatus for marking relevant updates to html 5 |
| WO2015156607A1 (ko) * | 2014-04-09 | 2015-10-15 | 엘지전자 주식회사 | 방송 신호 송/수신 처리 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140237536A1 (en) | 2014-08-21 |
| JP2014534695A (ja) | 2014-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013055164A1 (ko) | 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치 | |
| WO2012011724A2 (ko) | 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치 | |
| WO2013025035A2 (ko) | 송신 장치, 수신 장치 및 그 송수신 방법 | |
| WO2013141666A1 (ko) | Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법 | |
| WO2012077982A2 (ko) | 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 | |
| WO2013169084A1 (ko) | Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법 | |
| US7068719B2 (en) | Splicing of digital video transport streams | |
| WO2011071290A2 (en) | Streaming method and apparatus operating by inserting other content into main content | |
| WO2012177041A2 (ko) | 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치 | |
| WO2013077698A1 (ko) | Mmt 미디어와 dash 미디어와의 연동 방법 | |
| WO2011059291A2 (en) | Method and apparatus for transmitting and receiving data | |
| WO2012099359A2 (ko) | 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법 | |
| WO2012060581A2 (ko) | 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치 | |
| WO2011059273A2 (en) | Method and apparatus for adaptive streaming using segmentation | |
| WO2011152675A2 (en) | Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content | |
| WO2012011735A2 (en) | Method and apparatus for transmitting and receiving adaptive streaming mechanism-based content | |
| WO2016129891A1 (ko) | 방송 신호 송수신 방법 및 장치 | |
| WO2011115454A2 (en) | Method and apparatus for adaptively streaming content including plurality of chapters | |
| WO2011108868A2 (en) | Apparatus and method for recording and playing a media file, and a recording medium therefor | |
| WO2015012605A1 (ko) | 3차원 콘텐츠의 부호화 방법 및 장치 | |
| WO2012121572A2 (ko) | 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법 | |
| WO2013154402A1 (en) | Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof | |
| WO2011037359A2 (ko) | 확장된 서비스/프로그램 가이드를 수신하는 방법 및 장치 | |
| WO2012023787A2 (ko) | 디지털 수신기 및 디지털 수신기에서의 컨텐트 처리 방법 | |
| EP2814256B1 (en) | Method and apparatus for modifying a stream of digital content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12840042 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2014535650 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 14351805 Country of ref document: US |
|
| REEP | Request for entry into the european phase |
Ref document number: 2012840042 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2012840042 Country of ref document: EP |