KR20160002711A - 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법 - Google Patents

수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR20160002711A
KR20160002711A KR1020157024938A KR20157024938A KR20160002711A KR 20160002711 A KR20160002711 A KR 20160002711A KR 1020157024938 A KR1020157024938 A KR 1020157024938A KR 20157024938 A KR20157024938 A KR 20157024938A KR 20160002711 A KR20160002711 A KR 20160002711A
Authority
KR
South Korea
Prior art keywords
html document
dom tree
unit
transmission media
mmt
Prior art date
Application number
KR1020157024938A
Other languages
English (en)
Inventor
요시하루 데와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160002711A publication Critical patent/KR20160002711A/ko

Links

Images

Classifications

    • G06F17/30896—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Document Processing Apparatus (AREA)

Abstract

본 발명은, 전송 미디어 스트림에 포함되는 제시 제어 정보(HTML 문서)의 요소에 HTML 애플리케이션측으로부터 액세스 가능하게 한다. 웹 페이지를 표시하기 위한 제1 HTML 문서를 수신한다. 또한 소정 수의 전송 미디어와 이 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신한다. 제1 HTML 문서의 DOM 트리를 생성한다. 그때, 제1 HTML 문서에 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 이 비디오 요소의 노드의 관리 하에, 전송 미디어 스트림에 포함되는 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합한다.

Description

수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법 {RECEPTION DEVICE, INFORMATION PROCESSING METHOD IN RECEPTION DEVICE, TRANSMISSION DEVICE, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD}
본 기술은 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법에 관한 것이며, 상세하게는, 웹 페이지를 표시하기 위한 HTML 문서 등의 표시 제어 데이터를 수신하여 처리를 하는 수신 장치 등에 관한 것이다.
웹(Web) 페이지의 표시는 웹 브라우저에 의하여 행해진다. 이때, 웹 브라우저는 웹 서버로부터 HTML 문서(HTML 파일)를 취득하고 해석하여 DOM(Document Object Model) 트리를 생성하고, 이 DOM 트리에 기초하여 각종 묘화 요소를 생성하여 웹 페이지를 표시한다(예를 들어 특허문헌 1 참조).
W3C(World Wide Web Consortium)의 규격으로, DOM(Document Object Model)이 있다. DOM은, 하나의 HTML 문서에 대하여 가장 외측의 태그인 <html>을 정점의 노드로 하는 트리 구조를 규정하여, JavaScript에 의한 동적인 처리를 태그의 각 파라미터에 적용시키기 위한 인터페이스를 정한 것이다. 또한 「JavaScript」는 등록 상표이다.
최근 들어, 차세대 방송에 적합한 트랜스포트 방식으로서, MMT(MPEG Media Transport: ISO/IEC23008-1)로 규정되는 방식이 각광을 받고 있다. MMT에는, 트랜스포트층뿐만 아니라 화면의 구성이나 시간에 따른 변화를 기재한 MMT-CI(Composition Information)라고 불리는 데이터 구조가 규정되어 있다. 이 MMT-CI는 비디오, 오디오, 이미지 등의 전송 미디어의 제시 제어 정보를 구성하고 있다. 이 MMT-CI는 HTML5에 의하여 기술되어 있다.
일본 특허 공개 제2011-065489호 공보
웹 서버로부터의 HTML5 문서에 비디오(Video) 요소가 존재하는 경우가 있다. 이 경우, 웹 브라우저에서 표시되는 웹 페이지면의 소정 영역에, 그 비디오 요소에 의한 동화상 표시가 행해진다. 이 경우, 비디오 요소의 소스로서 MMT의 전송 미디어 스트림을 참조하는 경우도 생각할 수 있다.
본 기술의 목적은, 전송 미디어 스트림에 포함되는 제시 제어 정보(HTML 문서)의 요소에 HTML 애플리케이션측으로부터 액세스 가능하게 하는 데 있다.
본 기술의 개념은,
웹 페이지를 표시하기 위한 제1 HTML 문서를 수신하는 제1 수신부와,
소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신하는 제2 수신부와,
상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
상기 DOM 트리 생성부는,
상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는
수신 장치에 있다.
본 기술에 있어서, 제1 수신부에 의하여, 웹 페이지를 표시하기 위한 제1 HTML 문서가 수신된다. 또한 제2 수신부에 의하여 전송 미디어 스트림이 수신된다. 이 전송 미디어 스트림에는, 소정 수의 전송 미디어와 이 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서가 포함되어 있다.
예를 들어 전송 미디어 스트림은, 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림이도록 되어도 된다. 그리고 이 경우, 전송 패킷은 MMT 패킷이고, 제2 HTML 문서는 MMT-CI이도록 되어도 된다. 예를 들어 제2 HTML 문서에 대해서는, MPEG2-TS의 데이터 구조를 매핑한 HTML 구조를 갖는 데이터여도 된다.
DOM 트리 생성부에 의하여, 제1 수신부에서 수신된 제1 HTML 문서의 DOM 트리가 생성된다. 그리고 제1 HTML 문서에 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 이 비디오 요소의 노드의 관리 하에, 전송 미디어 스트림에 포함되는 제2 HTML 문서에 대응하여 생성된 DOM 트리가 결합된다.
이와 같이 본 기술에 있어서는, 제1 HTML 문서의 DOM 트리를 생성할 때, 그 비디오 요소의 노드의 관리 하에, 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는 것이다. 그로 인하여, 전송 미디어 스트림에 포함되는 제시 제어 정보(HTML 문서)의 요소에 HTML 애플리케이션측으로부터 액세스하는 것이 가능해진다.
또한 본 기술에 있어서, 예를 들어 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 제2 HTML 문서의 소정의 요소를 취득하는 요소 취득부를 더 구비하도록 되어도 된다. 이 경우, 예를 들어 HTML 애플리케이션측에 있어서 제2 HTML 문서의 소정의 요소를 취득하여 이용하는 것이 가능해진다.
예를 들어 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 웹 페이지의 표시를 제어하는 표시 제어부를 더 구비하고, 표시 제어부는, 요소 취득부에서 취득된 제2 HTML 문서의 소정의 요소에 기초하여 웹 페이지 표시면에, 소정 수의 전송 미디어의 제시 제어에 관련되는 정보를 표시하도록 되어도 된다. 이 경우, 예를 들어 유저는, 웹 페이지 표시면에 제시되는 소정 수의 전송 미디어의 제시 제어에 관련되는 정보를 알 수 있다.
또한 예를 들어 제1 HTML 문서에는, 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램이 포함되어 있고, 요소 취득부는 이 프로그램에 기초하여 제2 HTML 문서의 특정한 요소를 취득하도록 되어도 된다. 이 경우, 예를 들어 HTML 애플리케이션측에 있어서 제2 HTML 문서의 소정의 요소를 용이하게 취득 가능해진다.
또한 예를 들어 제1 HTML 문서에는, 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램을 취득하기 위한 참조 정보가 포함되어 있고, 요소 취득부는 참조 정보를 사용하여 취득된 프로그램에 기초하여 제2 HTML 문서의 특정한 요소를 취득하도록 되어도 된다. 이 경우, 예를 들어 HTML 애플리케이션측에 있어서 제2 HTML 문서의 소정의 요소를 용이하게 취득 가능해진다.
또한 본 기술의 다른 개념은,
소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소를 포함함과 함께, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램, 또는 상기 프로그램을 취득하기 위한 참조 정보를 포함하는, 웹 페이지를 표시하기 위한 제1 HTML 문서를 유지하는 유지부와,
상기 유지되고 있는 제1 HTML 문서를 송신하는 송신부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 유지부에는, 웹 페이지를 표시하기 위한 제1 HTML 문서가 유지된다. 그리고 이 제1 HTML 문서에는, 소정 수의 전송 미디어와 이 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 포함되어 있다. 또한 이 제1 HTML 문서에는, 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램, 또는 상기 프로그램을 취득하기 위한 참조 정보가 포함되어 있다. 송신부에 의하여, 유지되고 있는 제1 HTML 문서가 송신된다.
예를 들어 전송 미디어 스트림은, 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림이도록 되어도 된다. 그리고 이 경우, 전송 패킷은 MMT 패킷이고, 제2 HTML 문서는 MMT-CI이도록 되어도 된다.
이와 같이 본 기술에 있어서는, 송신부로부터 송신되는 웹 페이지를 표시하기 위한 제1 HTML 문서에, 전송 미디어 스트림에 포함되는 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램, 또는 그것을 취득하기 위한 참조 정보가 포함되는 것이다. 그로 인하여 수신부에서는, HTML 애플리케이션측에 있어서 제2 HTML 문서의 소정의 요소를 용이하게 취득 가능해진다.
또한 본 기술의 다른 개념은,
웹 페이지를 표시하기 위한 제1 HTML 문서를 취득하는 데이터 취득부와,
상기 데이터 취득부에서 취득된 상기 제1 HTML 문서를 해석하여 복수의 요소를 상호 매칭한 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
상기 DOM 트리 생성부는,
상기 제1 HTML 문서에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는
정보 처리 장치에 있다.
본 기술에 있어서, 데이터 취득부에 의하여, 웹 페이지를 표시하기 위한 제1 HTML 문서가 취득된다. 그리고 DOM 트리 생성부에 의하여, 데이터 취득부에서 취득된 제1 HTML 문서가 해석되어 복수의 요소가 상호 매칭된 DOM 트리가 생성된다.
이 경우, 제1 HTML 문서에, 소정 수의 전송 미디어와 이 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 이 비디오 요소의 관리 하에, 전송 미디어 스트림에 포함되는 제2 HTML 문서에 대응하여 생성된 DOM 트리가 결합된다.
이와 같이 본 기술에 있어서는, 제1 HTML 문서의 DOM 트리의 비디오 요소의 노드의 관리 하에, 제2 HTML 문서에 대응하여 생성된 DOM 트리가 결합되는 것이다. 그로 인하여, 전송 미디어 스트림에 포함되는 제시 제어 정보(HTML 문서)의 요소에 HTML 애플리케이션측으로부터 액세스하는 것이 가능해진다.
또한 본 기술의 다른 개념은,
표시 제어에 관한 정보가 기술된 복수의 구조 단위를 포함하는 제1 표시 제어 데이터를 취득하는 데이터 취득부와,
상기 데이터 취득부에서 취득된 상기 제1 표시 제어 데이터를 해석하여 복수의 구조 단위를 상호 매칭한 구조화 데이터를 생성하는 구조화 데이터 생성부를 구비하고,
상기 구조화 데이터 생성부는,
상기 제1 표시 제어 데이터에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보가 기술된 복수의 구조 단위를 포함하는 제2 표시 제어 데이터를 포함하는 전송 미디어 스트림을 참조하는 소정의 구조 단위가 존재할 때, 상기 소정 구조 단위의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터를 결합하는
정보 처리 장치에 있다.
본 기술에 의하면, 예를 들어 전송 미디어 스트림에 포함되는 제시 제어 정보(HTML 문서)의 내용을 HTML 애플리케이션측으로부터 액세스하는 것이 가능해진다. 또한 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.
도 1은 실시 형태로서의 표시 시스템의 구성예를 도시하는 블록도이다.
도 2는 MMT-CI의 기본 구조를 도시하는 도면이다.
도 3은 HTML5 문서에 MMT 스트림을 참조하는 비디오(video) 요소가 존재하는 경우에 있어서의 브라우저면과 MMT면의 관계를 도시하는 도면이다.
도 4는 웹 브라우저의 HTMLDOM 처리부에 있어서의 DOM 트리의 생성 처리의 일례를 도시하는 흐름도이다.
도 5는 HTML 문서의 DOM 트리와, 이에 결합된 MMT-CI의 DOM 트리의 상관 관계의 일례를 도시하는 도면이다.
도 6은 HTML 문서의 DOM 트리와, 이에 결합된 2개의 MMT-CI의 DOM 트리의 상관 관계의 일례를 도시하는 도면이다.
도 7은 MMT-CI의 일례를 나타내는 도면이다.
도 8은 MMT-CI의 DOM 트리 예를 도시하는 도면이다.
도 9는 HTML 문서의 일례를 나타내는 도면이다.
도 10은 HTML 문서의 DOM 트리 예를 도시하는 도면이다.
도 11은 HTML 문서의 DOM 트리의 video 요소의 관리 하에 MMT-CI의 DOM 트리를 결합한 예를 도시하는 도면이다.
도 12는 일부 영역에 MMT면이 표시되어 있는 브라우저면의 일례를 도시하는 도면이다.
도 13은 MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)의 참조 정보를 포함하는 HTML 문서의 일례와, MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)을 포함하는 스크립트 파일의 일례를 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[표시 시스템의 구성예]
도 1은 표시 시스템(10)의 구성예를 도시하고 있다. 이 표시 시스템(10)에 있어서, 송신측에는 방송국(110), 스트리밍 서버(120) 및 웹(Web) 서버(130)가 배치되고, 수신측에는 수신기(200)가 배치되어 있다.
방송국(110)은 MMT 구조(ISO/IEC CD23008-1 참조)의 트랜스포트 패킷, 즉, MMT 패킷이 포함되는 전송 미디어 스트림을 생성하고, 이 전송 미디어 스트림을 RF 전송로를 통하여 수신측에 송신한다. 이하, 적당히 이 전송 미디어 스트림을 「MMT 스트림」이라고 칭하기로 한다. 이 경우, 방송국(110)은 MMT 스트림을 적절한 어댑테이션 레이어를 통하거나 하여 RF 변조한 후, RF 전송로를 통하여 수신측으로 보낸다.
스트리밍 서버(120)는 상술한 방송국(110)에서 취급한 것과 마찬가지의 MMT 스트림을, 예를 들어 인터넷(300) 등의 통신 네트워크 전송로를 통하여 수신측에 송신한다. 이 경우, 스트리밍 서버(120)는 MMT 스트림을 IP 패킷화하여 통신 네트워크 전송로를 통하여 수신측으로 보낸다.
이 MMT 스트림에는, 페이로드에 비디오, 오디오 등의 전송 미디어를 포함하는 제1 MMT 패킷과, 페이로드에 전송 미디어에 관한 정보를 포함하는 제2 MMT 패킷이, 적어도 프래그먼트된 패킷의 크기로 시분할적으로 다중화되어 있다. 전송 미디어에 관한 정보의 하나로서, 화면의 구성이나 시간에 따른 변화를 기재한 MMT-CI(Composition Information)라고 불리는 데이터 구조가 규정되어 있다. 이 MMT-CI는 비디오, 오디오, 이미지 등의 전송 미디어의 제시 제어 정보를 구성하고 있다. 이 MMT-CI는 HTML5에 의하여 기술되어 있다.
도 2는 MMT-CI의 기본 구조를 도시하고 있다. Root 요소는 「html」이고, head 요소 및 body 요소를 갖는다. head 요소는 title 요소 외에 복수의 view 요소를 갖고, 각 view 요소는 복수의 divLocation 요소를 갖는다. 또한 body 요소는 복수의 div 요소를 갖는다. div 요소 중에는 비디오(video), 오디오(audio), 이미지(img) 등을 둘 수 있다. 각 미디어 지정에는 source 요소, 또는 src 속성을 사용한다. view 요소는 body의 div의 표시 위치를 정하는데, 초기 위치는 그 관리 하에 있는 divLocation 요소로 결정한다. divLocation 요소는 시계열로 변화되는 표시 위치를 차례로 나타낸다. 그로 인하여, 페이지의 reload 없이 표시 위치는 divLocation 요소에 따라 변화된다.
도 1로 되돌아가서, 웹 서버(130)는, 웹 페이지(HTML5 애플리케이션)를 표시하기 위한 HTML5 문서(HTML 파일)를 스토리지 등의 유지부에 유지하고 있다. 웹 서버(130)는 수신 측으로부터의 요구에 따라, 유지부에 유지되고 있는 HTML5 문서를 IP 송신부에 의하여, 인터넷(300) 등의 통신 네트워크 전송로를 통하여 수신측에 전송한다. HTML5에서는, 주지하는 바와 같이 비디오(video) 요소의 존재가 허용되어 있다. 예를 들어 웹 서버(130)로부터 수신측에 송신되는 HTML5 문서에는 비디오 요소가 존재하고, 그 소스가 MMT 스트림이라고 하는 경우도 있다. 그 경우, 비디오 요소로서, MMT 스트림을 참조하기 위한 참조 정보가 존재한다.
수신기(200)는, IP 수신부(201)와, 웹(Web) 브라우저(202)와, 출력부(203)와, IP/RF 수신부(204)와, MMT 디코딩부(205)와, MMT 플레이어(206)를 갖고 있다. IP/RF 수신부(204)는, 방송국(110)으로부터 RF 전송로를 통하여 보내져 오는 MMT 스트림을 어댑테이션 레이어의 해석을 거쳐 수신하거나, 또는 웹 서버(130)로부터 통신 네트워크 전송로를 통하여 보내져 오는 MMT 스트림을 수신한다.
MMT 디코딩부(205)는, IP/RF 수신부(204)에서 수신된 MMT 스트림에 포함되는 MMT 패킷의 언패킷화, 나아가 복호화 처리를 행하여, 미디어 데이터로서의 비디오, 오디오, 이미지 등의 데이터를 얻는 것 외에, 메타데이터나 메시지를 얻는다. 이 경우, 화면의 구성이나 시간에 따른 변화를 기재한 MMT-CI도 얻어진다. MMT 디코딩부(205)는 이 MMT-CI의 DOM(Document Object Model) 트리를 생성하는 것도 행한다.
MMT 플레이어(206)는 MMT 디코딩부(205)에서 얻어진 비디오, 오디오, 이미지 등의 데이터에 기초하여, MMT-CI에서 지정되는 화면의 구성(레이아웃)이나 시간에 따른 변화 등에 대응한 화상, 음성의 출력 데이터를 생성한다.
출력부(203)는 MMT 플레이어(206)에서 생성된 화상, 음성의 출력 데이터, 또는 웹 브라우저(202)에서 생성된 화상, 음성의 출력 데이터에 기초하여 화상 표시, 음성 출력을 행한다. 이 출력부는, 화상 표시를 행하는 디스플레이, 음성 출력을 행하는 스피커 등으로 구성된다.
IP 수신부(201)는 웹 서버(130)로부터 인터넷(300) 등의 통신 네트워크 전송로를 통하여 보내져 오는 HTML5 문서(HTML 파일)를 수신한다. 웹 브라우저(202)는 IP 수신부(201)에서 수신된 HTML5 문서를 해석하여 DOM 트리를 생성하고, 이 DOM 트리 등에 기초하여 화상, 음성의 출력 데이터를 생성한다.
웹 브라우저(202)는, HTML5 문서를 해석하는 HTML 파싱부(parsing unit)(202a)와, 그 해석 결과에 기초하여 DOM 트리를 생성하는 HTMLDOM 처리부(202b)를 갖는다. 또한 이 웹 브라우저(202)는, DOM 트리 등에 기초하여 레이아웃 처리나 렌더링 처리를 행하여 화상, 음성의 출력 데이터를 생성하는 HTML 레이아웃 처리부(202c), HTML 렌더링 처리부(202d)를 갖는다.
이 실시 형태에 있어서, HTMLDOM 처리부(202b)는, HTML5 문서에 MMT 스트림을 참조하는 비디오(video) 요소가 존재할 때, 이 비디오 요소의 노드의 관리 하에, 상술한 바와 같이 MMT 디코딩부(205)에서 생성된 MMT-CI의 DOM 트리를 결합한다. 이러한 DOM 트리의 결합을 행함으로써, 웹 브라우저(202)가 취급하는 HTML 애플리케이션측으로부터 MMT-CI의 요소에 액세스하는 것이 가능해진다.
도 3은, HTML5 문서에 MMT 스트림을 참조하는 비디오(video) 요소가 존재하는 경우에 있어서의 브라우저면(HTML5)과 MMT면의 관계를 도시하고 있다. 이 경우, 브라우저면의 일부에 MMT면이 삽입된 상태로 된다. 여기서, 브라우저면의 일부에 MMT면을 삽입할 때의 크기 조정 등은 웹 브라우저(202)의 HTML 렌더링 처리부(202d)에 있어서 행해진다.
도 4의 흐름도는 웹 브라우저(202)의 HTMLDOM 처리부(202b)에 있어서의 DOM 트리의 생성 처리의 일례를 도시하고 있다. HTMLDOM 처리부(202b)는 스텝 ST1에 있어서 DOM 트리의 생성 처리를 개시하고, 그 후에 스텝 ST2에 있어서 i=0으로 설정한다.
다음으로, HTMLDOM 처리부(202b)는 스텝 ST3에 있어서 HTML 문서에 파싱(해석)할 요소가 있는지 여부를 판단한다. 파싱할 요소가 있을 때, HTMLDOM 처리부(202b)는 스텝 ST4에 있어서 HTML 문서의 요소를 태그마다 파싱한다.
다음으로, HTMLDOM 처리부(202b)는 스텝 ST5에 있어서 파싱한 HTML 문서의 요소에 video 요소가 있는지 여부를 판단한다. 요소에 video 요소가 있을 때, HTMLDOM 처리부(202b)는 스텝 ST6에 있어서 소스가 MMT 스트림인지 여부를 판단한다.
소스가 MMT 스트림일 때, HTMLDOM 처리부(202b)는 스텝 ST7에 있어서 video 요소의 노드의 관리 하에 MMT-CI의 DOM 트리를 결합한다. 즉, HTMLDOM 처리부(202b)는 otherPlane[i]로서의 MMT 플레인의 DOM 트리의 document를 video 요소의 자(子)노드에 연결한다.
다음으로, HTMLDOM 처리부(202b)는 스텝 ST8에 있어서 i의 값을 인크리먼트하고, 그 후에 스텝 ST3의 처리로 되돌아가, 상술한 것과 마찬가지의 처리를 반복한다. 또한 스텝 ST5에서 video 요소가 없을 때 및 스텝 ST6에서 video 요소의 소스가 MMT 스트림이 아닐 때, 즉시 스텝 ST3의 처리로 되돌아간다. 또한 스텝 ST3에서 HTML 문서의 모든 요소가 파싱되어 파싱할 요소가 없을 때, HTMLDOM 처리부(202b)는 스텝 ST9로 나아가 DOM 트리의 생성 처리를 종료한다.
도 5는, HTML 문서의 DOM 트리와, 이에 결합된 MMT-CI의 DOM 트리의 상관 관계의 일례를 도시하고 있다. 이 DOM 트리에 의하여 HTML 문서의 각 요소와 함께 MMT-CI의 각 요소에도 액세스할 수 있다.
예를 들어 HTML 문서의 video 요소에의 액세스는 이하와 같은 스크립트(script)에 의하여 행할 수 있다.
var videoElm =
document.getElementsByTagName('video')[0];
또는 HTML 문서의 video 요소에의 액세스는, video 요소에 id를 붙이면 이하와 같은 스크립트에 의하여 행할 수 있다.
var videoElm =
document.getElementByID("v1");
또한 MMT-CI의 각 요소, 예를 들어 view 요소에의 액세스는 이하와 같은 스크립트에 의하여 행할 수 있다. 이 스크립트는, HTML 문서의 video 요소로부터 MMT-CI의 view 요소에 액세스하는 경우의 예이다.
var mmtElm =
videoElm.otherPlane[0].document.getElementsByTagName('view')[0];
또한 HTML 문서의 톱으로부터 MMT-CI의 view 요소에의 상대 액세스도 생각할 수 있다. 그 경우의 스크립트 예는 이하와 같이 된다.
var mmtElm =
document.firstChild.firstChild.childNode[1].otherPlane[0].document.getElementsByTagName('view')[0];
또한 MMT-CI의 DOM은 시계열에 따라 적당히 갱신되어 가므로, HTML 애플리케이션으로부터 동적으로 재기입하면 정합성이 잡히지 않게 된다. 그 때문에 판독만(read only)으로 할 필요가 있다. 즉, otherPlane 이후의 DOM 액세스는 모두 리드 온리(read only)로 된다.
도 6은, HTML 문서의 DOM 트리와, 이에 결합된 2개의 MMT-CI의 DOM 트리의 상관 관계의 일례를 도시하고 있다. 이 DOM 트리에 의하여 HTML 문서의 각 요소와 함께 2개의 MMT-CI의 각 요소에도 액세스할 수 있다.
예를 들어 DOM 트리(otherPlane[i])의 MMT-CI의 view 요소에의 액세스는 이하와 같은 스크립트(script)에 의하여 행할 수 있다.
var mmtElm =
document.firstChild.firstChild.childNode[1].otherPlane[1].document.getElementsByTagName('view')[0];
도 7은 MMT-CI의 일례를 나타내고 있다. html 요소는 head 요소와 body 요소를 갖는다. 그리고 head 요소는 title 요소와 view 요소를 갖는다. title 요소에는, 타이틀을 나타내는 텍스트 데이터가 존재한다. view 요소는 2개의 divLocation 요소를 갖는다. 또한 body 요소는 2개의 div 요소를 갖는다. 그리고 한쪽 div 요소는 video 요소와 audio 요소를 갖고, 다른 쪽 div 요소는 2개의 img 요소를 갖는다. 도 8은 이 MMT-CI의 DOM 트리 예를 도시하고 있다.
도 9는 HTML 문서의 일례를 나타내고 있다. html 요소는 head 요소와 body 요소를 갖는다. 그리고 head 요소는 title 요소를 갖는다. title 요소에는, 타이틀을 나타내는 텍스트 데이터가 존재한다. 또한 body 요소는 div 요소와 script 요소를 갖는다. div 요소는 p 요소와 video 요소를 갖는다. p 요소에는 「image2의 표시 개시 시간」을 나타내는 텍스트 데이터가 존재한다. video 요소로서, MMT 스트림의 참조 정보 「src="http://sample.mmt"」가 존재한다.
script 요소로서, 각종 요소에 액세스하여 그 요소를 취득하기 위한 스크립트가 존재한다. 여기서, 「var videoElm = document.getElementsByTagName('video')[0];」은 HTML 문서의 video 요소에 액세스하기 위한 스크립트이다. 또한 「var mmtElm = videoElm.otherPlain[0].document.getElementsByTagName('view')[0];」은, HTML 문서의 video 요소로부터 MMT-CI의 view 요소에 액세스하기 위한 스크립트이다.
또한 「var endtime = mmtElm.getElememtById('Image1').getAttributeNode("MMT-CI:end").nodeValue;」는, MMT-CI의 image1 요소에 액세스하여 "end"의 값을 취득하기 위한 스크립트이다. 이 스크립트에 의하여 표시 종료 시간의 값인 "18:00"을 취득할 수 있다.
또한 「var pelm = document.getElementsByTagName('ｐ')[0];」 및 「pelm.innerText = pelm.innerText + endtime;」은, MMT-CI의 p 요소에 액세스하여 「image2의 표시 개시 시간」을 나타내는 텍스트 데이터를 취득하기 위한 스크립트이다.
도 10은 이 HTML 문서의 DOM 트리 예를 도시하고 있다. 그리고 도 11은, 이 HTML 문서의 DOM 트리의 video 요소의 관리 하에 MMT-CI의 DOM 트리를 결합한 예를 도시하고 있다.
도 1에 도시하는 표시 시스템(10)의 동작을 간단히 설명한다. 방송국(110)으로부터 MMT 스트림이 RF 전송로를 통하여 수신측에 송신된다. 또는 스트리밍 서버(120)로부터 MMT 스트림이 인터넷(300) 등의 통신 네트워크 전송로를 통하여 수신측에 송신된다.
수신기(200)의 IP/RF 수신부(204)에서는, 방송국(110) 또는 스트리밍 서버(120)로부터 보내져 오는 MMT 스트림이 수신된다. 이 MMT 스트림은 MMT 디코딩부(205)에 공급된다. MMT 디코딩부(205)에서는, MMT 스트림에 포함되는 MMT 패킷의 언패킷화, 나아가 복호화 처리가 행해져, 미디어 데이터로서의 비디오, 오디오, 이미지 등의 데이터, 나아가 메타데이터나 메시지가 얻어진다.
또한 MMT 디코딩부(205)에서는, 화면의 구성이나 시간에 따른 변화를 기재한 MMT-CI도 얻어진다. 그리고 MMT 디코딩부(205)에서는, 이 MMT-CI의 해석이 행해져 이 MMT-CI의 DOM 트리가 생성된다. MMT 디코딩부(205)에서 얻어지는 각종 데이터는 MMT 플레이어(206)에 공급된다.
MMT 플레이어(206)에서는, MMT 디코딩부(205)에서 얻어진 비디오, 오디오, 이미지 등의 데이터에 기초하여, MMT-CI에서 지정되는 화면의 구성(레이아웃)이나 시간에 따른 변화 등에 대응한 화상, 음성의 출력 데이터가 생성된다. 이 화상, 음성의 출력 데이터는 출력부(203)에 공급된다. 출력부(203)에서는, MMT면의 표시 시에는, MMT 플레이어(206)에서 생성된 화상, 음성의 출력 데이터에 기초하여 화상 표시, 음성 출력이 행해진다.
또한 웹 서버(130)로부터는 수신 측으로부터의 요구에 따라, 웹 페이지(HTML5 애플리케이션)를 표시하기 위한 HTML5 문서(HTML 파일)가 인터넷(300) 등의 통신 네트워크 전송로를 통하여 수신측에 전송된다. 수신기(200)의 IP 수신부(201)에서는, 웹 서버(130)로부터 보내져 오는 HTML5 문서(HTML 파일)가 수신된다. 이 HTML5 문서는 웹 브라우저(202)에 공급된다.
웹 브라우저(202)에서는, IP 수신부(201)에서 수신된 HTML5 문서가 해석되어 DOM 트리가 생성되고, 이 DOM 트리 등에 기초하여 화상, 음성의 출력 데이터가 생성된다. 웹 브라우저(202)에서는, DOM 트리를 생성할 때, HTML5 문서에 MMT 스트림을 참조하는 비디오(video) 요소가 존재할 때는, 이 비디오 요소의 노드의 관리 하에, 상술한 바와 같이 MMT 디코딩부(205)에서 생성된 MMT-CI의 DOM 트리가 결합된다(도 8, 도 10, 도 11 참조).
웹 브라우저(202)에서 생성된 화상, 음성의 출력 데이터는 출력부(203)에 공급된다. 출력부(203)에서는, 브라우저면의 표시 시에는, 웹 브라우저(202)에서 생성된 화상, 음성의 출력 데이터에 기초하여 화상 표시, 음성 출력이 행해진다. 여기서, HTML 문서에 MMT 스트림을 참조하는 비디오(video) 요소가 존재할 때는, 브라우저면의 소정의 영역에 MMT면이 삽입 표시된다(도 3 참조).
웹 브라우저(202)에서는, 시청자의 조작에 의하여 또는 자동적으로, 결합 DOM 트리에 기초하여 MMT-CI의 소정의 요소에 액세스하여, 그 요소를 취득하여 이용하는 것이 행해진다. 예를 들어 이 취득 요소에 기초하여 브라우저면에, MMT면의 제시 제어에 관련되는 정보를 표시하는 것이 행해진다. 웹 브라우저(202)에서는, 예를 들어 HTML 문서에 MMT-CI의 소정의 요소에 액세스하기 위한 스크립트가 포함되어 있을 때, 그 스크립트를 사용하여 MMT-CI의 소정의 요소의 취득이 행해진다. 또한 경우에 따라서는 HTML 문서의 소정의 요소의 취득도 행해진다.
도 12는 브라우저면의 일례를 도시하고 있다. 이 브라우저면의 일부 영역에 MMT면이 삽입되어 있다. 이 MMT면의 표시 영역은 2개로 분할되어, 한쪽 영역에는 비디오(video) 및 오디오(audio)가 표시되고, 다른 쪽 영역에는 이미지 1(Image 1)이 표시되어 있다. 브라우저면에는, MMT면의 표시 영역의 근방에 「Image 2의 표시 시간: 18:00」이 표시되어 있다.
이 표시 정보는, 예를 들어 상술한 도 9의 HTML 문서에 포함되어 있는 스크립트를 사용하여 취득된 MMT-CI 및 HTML 문서의 특정 요소(표시 종료 시간의 값인 "18:00"의 값, 「image2의 표시 개시 시간」을 나타내는 텍스트 데이터)가 이용된 것이다. 브라우저면의 시청자는 이 표시에 기초하여, MMT면의 표시 영역에 표시되는 이미지 1(Image 1)이, 시각이 18:00으로 되면 이미지 2(Image 2)로 전환되는 것을 미리 알 수 있다.
상술한 바와 같이, 도 1에 도시하는 표시 시스템(10)에 있어서 수신기(200)의 웹 브라우저(202)에서는, HTML 문서의 DOM 트리를 생성할 때, 그 HTML 문서에 MMT 스트림을 참조하는 비디오 요소가 존재할 때, 그 비디오 요소의 노드의 관리 하에, MMT-CI에 대응하여 생성된 DOM 트리를 결합하는 것이다.
그 때문에, 예를 들어 MMT-CI의 요소에 HTML 애플리케이션측으로부터 액세스할 수 있다. 그리고 예를 들어 취득된 MMT-CI의 소정의 요소에 기초하여 브라우저면(웹 페이지 표시면)에, MMT면의 제시 제어에 관련되는 정보를 표시할 수 있다. 이것에 의하여 유저(시청자)는 브라우저면에 제시되는 전송 미디어의 제시 제어에 관련되는 정보를 알 수 있다.
<2. 변형예>
또한 상술한 실시 형태에 있어서는, 웹 서버(130)로부터 송신되는 HTML 문서에, MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)이 포함되어 있는 예를 나타내었다(도 9 참조).
그러나 웹 서버(130)로부터 송신되는 HTML 문서에, MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)을 취득하기 위한 참조 정보를 포함하는 구성도 생각할 수 있다. 이 경우, 웹 브라우저(202)는 이 참조 정보에 기초하여, 예를 들어 웹 서버(130)로부터 MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)을 포함하는 스크립트 파일을 취득하게 된다.
도 13의 (a)는 그 경우에 있어서의 HTML 문서의 일례를 나타내고 있다. 여기서, 「"src="http://sample.mmt"」는, MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)을 취득하기 위한 참조 정보이다. 또한 도 13의 (b)는, 그 경우에 있어서의 MMT-CI의 특정한 요소에 액세스하기 위한 프로그램(스크립트)을 포함하는 스크립트 파일의 일례를 나타내고 있다.
또한 상술한 실시 형태에 있어서는, 전송 미디어 스트림이 MMT 스트림인 예를 나타냈지만, 본 기술은 이 MMT 스트림과 마찬가지의 전송 미디어 스트림을 취급하는 표시 시스템에 마찬가지로 적용할 수 있음은 물론이다. 즉, 상술한 실시 형태에 있어서는, 제2 HTML 문서가 MMT-CI인 예를 나타냈지만, 예를 들어 MPEG2-TS의 데이터 구조를 매핑한 HTML 구조를 갖는 데이터인 경우도 생각할 수 있다.
또한 상술한 실시 형태에 있어서는, 스트리밍 서버(120)와 웹 서버(130)가 별개로 존재하는 예를 나타냈지만, 이들 서버가 하나의 서버로 이루어지는 구성도 생각할 수 있다.
또한 상술한 실시 형태에 있어서는, 수신기(200)로서, MMT 디코딩부(205) 및 MMT 플레이어(206)가 웹 브라우저(202)와는 별개로 존재하는 예를 나타내었다. 그러나 MMT 디코딩부(205) 및 MMT 플레이어(206)의 기능을 구비하는 웹 브라우저(202)를 구비하는 것도 생각할 수 있다. 그 경우에는 MMT 디코딩부(205) 및 MMT 플레이어(206)는 불필요해진다.
또한 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1) 웹 페이지를 표시하기 위한 제1 HTML 문서를 수신하는 제1 수신부와,
소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신하는 제2 수신부와,
상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
상기 DOM 트리 생성부는,
상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는, 수신 장치.
(2) 상기 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 상기 제2 HTML 문서의 소정의 요소를 취득하는 요소 취득부를 더 구비하는, 상기 (1)에 기재된 수신 장치.
(3) 상기 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 상기 웹 페이지의 표시를 제어하는 표시 제어부를 더 구비하고,
상기 표시 제어부는,
상기 요소 취득부에서 취득된 상기 제2 HTML 문서의 소정의 요소에 기초하여 상기 웹 페이지 표시면에, 상기 소정 수의 전송 미디어의 제시 제어에 관련되는 정보를 표시하는, 상기 (2)에 기재된 수신 장치.
(4) 상기 제1 HTML 문서에는, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램이 포함되어 있고,
상기 요소 취득부는 상기 프로그램에 기초하여 상기 제2 HTML 문서의 특정한 요소를 취득하는, 상기 (2) 또는 (3)에 기재된 수신 장치.
(5) 상기 제1 HTML 문서에는, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램을 취득하기 위한 참조 정보가 포함되어 있고,
상기 요소 취득부는 상기 참조 정보를 사용하여 취득된 상기 프로그램에 기초하여 상기 제2 HTML 문서의 특정한 요소를 취득하는, 상기 (2) 또는 (3)에 기재된 수신 장치.
(6) 상기 전송 미디어 스트림은, 상기 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림인, 상기 (1) 내지 (5) 중 어느 하나에 기재된 수신 장치.
(7) 상기 전송 패킷은 MMT 패킷이고,
상기 제2 HTML 문서는 MMT-CI인, 상기 (6)에 기재된 수신 장치.
(8) 웹 페이지를 표시하기 위한 제1 HTML 문서를 수신하는 제1 수신부와,
소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신하는 제2 수신부를 구비하는 수신 장치에 있어서의 정보 처리 방법으로서,
상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 스텝과,
상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는 스텝을 갖는, 수신 장치에 있어서의 정보 처리 방법.
(9) 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소를 포함함과 함께, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램, 또는 상기 프로그램을 취득하기 위한 참조 정보를 포함하는, 웹 페이지를 표시하기 위한 제1 HTML 문서를 유지하는 유지부와,
상기 유지되고 있는 제1 HTML 문서를 송신하는 송신부를 구비하는, 송신 장치.
(10) 상기 전송 미디어 스트림은, 상기 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림인, 상기 (9)에 기재된 송신 장치.
(11) 상기 전송 패킷은 MMT 패킷이고,
상기 제2 HTML 문서는 MMT-CI인, 상기 (10)에 기재된 송신 장치.
(12) 웹 페이지를 표시하기 위한 제1 HTML 문서를 취득하는 데이터 취득부와,
상기 데이터 취득부에서 취득된 상기 제1 HTML 문서를 해석하여 복수의 요소를 상호 매칭한 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
상기 DOM 트리 생성부는,
상기 제1 HTML 문서에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는, 정보 처리 장치.
(13) 웹 브라우저가 웹 페이지를 표시하기 위한 제1 HTML 문서를 취득하는 데이터 취득 스텝과,
상기 웹 브라우저가 상기 취득된 상기 제1 HTML 문서를 해석하여 복수의 요소를 상호 매칭한 DOM 트리를 생성하는 DOM 트리 생성 스텝을 구비하고,
상기 DOM 트리 생성 스텝에서는,
상기 제1 HTML 문서에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는, 정보 처리 방법.
(14) 표시 제어에 관한 정보가 기술된 복수의 구조 단위를 포함하는 제1 표시 제어 데이터를 취득하는 데이터 취득부와,
상기 데이터 취득부에서 취득된 상기 제1 표시 제어 데이터를 해석하여 복수의 구조 단위를 상호 매칭한 구조화 데이터를 생성하는 구조화 데이터 생성부를 구비하고,
상기 구조화 데이터 생성부는,
상기 제1 표시 제어 데이터에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보가 기술된 복수의 구조 단위를 포함하는 제2 표시 제어 데이터를 포함하는 전송 미디어 스트림을 참조하는 소정의 구조 단위가 존재할 때, 상기 소정의 구조 단위의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터를 결합하는, 정보 처리 장치.
(15) 표시 제어에 관한 정보가 기술된 복수의 구조 단위를 포함하는 제1 표시 제어 데이터를 취득하는 데이터 취득 스텝과,
상기 취득된 상기 제1 표시 제어 데이터를 해석하여 복수의 구조 단위를 상호 매칭한 구조화 데이터를 생성하는 구조화 데이터 생성 스텝을 구비하고,
상기 구조화 데이터 생성 스텝에서는,
상기 제1 표시 제어 데이터에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보가 기술된 복수의 구조 단위를 포함하는 제2 표시 제어 데이터를 포함하는 전송 미디어 스트림을 참조하는 소정의 구조 단위가 존재할 때, 상기 소정의 구조 단위의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터를 결합하는, 정보 처리 방법.
(16) 웹 페이지를 표시하기 위한 제1 HTML 문서를 송신하는 제1 송신 장치와,
소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 송신하는 제2 송신 장치와,
상기 제1 송신 장치로부터 송신되는 상기 제1 HTML 문서를 수신하는 제1 수신부와, 상기 제2 송신 장치로부터 송신되는 상기 전송 미디어 스트림을 수신하는 제2 수신부를 갖는 수신 장치를 구비하고,
상기 수신 장치는,
상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 DOM 트리 생성부와,
상기 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 상기 웹 페이지의 표시를 제어하는 표시 제어부를 구비하며,
상기 DOM 트리 생성부는,
상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는, 표시 시스템.
본 기술의 주된 특징은, 웹 페이지를 표시하기 위한 HTML 문서(HTML 애플리케이션)의 DOM 트리를 생성할 때, MMT 스트림을 참조하는 비디오 요소가 있을 때, 그 비디오 요소의 노드의 관리 하에 MMT-CI의 DOM 트리를 결합함으로써, MMT-CI의 요소에 HTML 애플리케이션측으로부터 액세스하는 것을 가능하게 한 것이다(도 5 참조).
10: 표시 시스템
110: 방송국
120: 스트리밍 서버
130: 웹 서버
200: 수신기
201: IP 수신부
202: 웹 브라우저
202a: HTML 파싱부
202b: HTMLDOM 처리부
202c: HTML 레이아웃 처리부
202d: HTML 렌더링 처리부
203: 출력부
204: IP/RF 수신부
205: MMT 디코딩부
206: MMT 플레이어
300: 인터넷

Claims (15)

  1. 수신 장치로서,
    웹 페이지를 표시하기 위한 제1 HTML 문서를 수신하는 제1 수신부와,
    소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신하는 제2 수신부와,
    상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
    상기 DOM 트리 생성부는, 상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하며,
    상기 제2 HTML 문서에 대응하여 생성된 DOM 트리에 기초하는 상기 제2 HTML 문서의 소정 요소에의 액세스는 리드 온리(read only)로 되는, 수신 장치.
  2. 제1항에 있어서,
    상기 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 상기 제2 HTML 문서의 소정의 요소를 취득하는 요소 취득부를 더 구비하는, 수신 장치.
  3. 제2항에 있어서,
    상기 DOM 트리 생성부에서 생성된 DOM 트리에 기초하여 상기 웹 페이지의 표시를 제어하는 표시 제어부를 더 구비하고,
    상기 표시 제어부는,
    상기 요소 취득부에서 취득된 상기 제2 HTML 문서의 소정의 요소에 기초하여 상기 웹 페이지 표시면에, 상기 소정 수의 전송 미디어의 제시 제어에 관련되는 정보를 표시하는, 수신 장치.
  4. 제2항에 있어서,
    상기 제1 HTML 문서에는, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램이 포함되어 있고,
    상기 요소 취득부는 상기 프로그램에 기초하여 상기 제2 HTML 문서의 특정한 요소를 취득하는, 수신 장치.
  5. 제2항에 있어서,
    상기 제1 HTML 문서에는, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램을 취득하기 위한 참조 정보가 포함되어 있고,
    상기 요소 취득부는 상기 참조 정보를 사용하여 취득된 상기 프로그램에 기초하여 상기 제2 HTML 문서의 특정한 요소를 취득하는, 수신 장치.
  6. 제1항에 있어서,
    상기 전송 미디어 스트림은, 상기 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림인, 수신 장치.
  7. 제6항에 있어서,
    상기 전송 패킷은 MMT 패킷이고,
    상기 제2 HTML 문서는 MMT-CI인, 수신 장치.
  8. 웹 페이지를 표시하기 위한 제1 HTML 문서를 수신하는 제1 수신부와,
    소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 수신하는 제2 수신부를 구비하는 수신 장치에 있어서의 정보 처리 방법으로서,
    상기 제1 수신부에서 수신된 상기 제1 HTML 문서의 DOM 트리를 생성하는 스텝과,
    상기 제1 HTML 문서에 상기 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 노드의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하는 스텝을 갖고,
    상기 제2 HTML 문서에 대응하여 생성된 DOM 트리에 기초하는 상기 제2 HTML 문서의 소정 요소에의 액세스는 리드 온리로 되는, 수신 장치에 있어서의 정보 처리 방법.
  9. 송신 장치로서,
    소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소를 포함함과 함께, 상기 제2 HTML 문서의 특정한 요소에 액세스하기 위한 프로그램, 또는 상기 프로그램을 취득하기 위한 참조 정보를 포함하는, 웹 페이지를 표시하기 위한 제1 HTML 문서를 유지하는 유지부와,
    유지되고 있는 상기 제1 HTML 문서를 송신하는 송신부를 구비하는, 송신 장치.
  10. 제9항에 있어서,
    상기 전송 미디어 스트림은, 상기 전송 미디어를 페이로드에 포함하는 제1 전송 패킷과, 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림인, 송신 장치.
  11. 제10항에 있어서,
    상기 전송 패킷은 MMT 패킷이고,
    상기 제2 HTML 문서는 MMT-CI인, 송신 장치.
  12. 정보 처리 장치로서,
    웹 페이지를 표시하기 위한 제1 HTML 문서를 취득하는 데이터 취득부와,
    상기 데이터 취득부에서 취득된 상기 제1 HTML 문서를 해석하여 복수의 요소를 상호 매칭한 DOM 트리를 생성하는 DOM 트리 생성부를 구비하고,
    상기 DOM 트리 생성부는, 상기 제1 HTML 문서에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하며,
    상기 제2 HTML 문서에 대응하여 생성된 DOM 트리에 기초하는 상기 제2 HTML 문서의 소정 요소에의 액세스는 리드 온리로 되는, 정보 처리 장치.
  13. 정보 처리 방법으로서,
    웹 브라우저가 웹 페이지를 표시하기 위한 제1 HTML 문서를 취득하는 데이터 취득 스텝과,
    상기 웹 브라우저가 상기 취득된 상기 제1 HTML 문서를 해석하여 복수의 요소를 상호 매칭한 DOM 트리를 생성하는 DOM 트리 생성 스텝을 구비하고,
    상기 DOM 트리 생성 스텝에서는, 상기 제1 HTML 문서에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보로서의 제2 HTML 문서를 포함하는 전송 미디어 스트림을 참조하는 비디오 요소가 존재할 때, 상기 비디오 요소의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 HTML 문서에 대응하여 생성된 DOM 트리를 결합하며,
    상기 제2 HTML 문서에 대응하여 생성된 DOM 트리에 기초하는 상기 제2 HTML 문서의 소정 요소에의 액세스는 리드 온리로 되는, 정보 처리 방법.
  14. 정보 처리 장치로서,
    표시 제어에 관한 정보가 기술된 복수의 구조 단위를 포함하는 제1 표시 제어 데이터를 취득하는 데이터 취득부와,
    상기 데이터 취득부에서 취득된 상기 제1 표시 제어 데이터를 해석하여 복수의 구조 단위를 상호 매칭한 구조화 데이터를 생성하는 구조화 데이터 생성부를 구비하고,
    상기 구조화 데이터 생성부는, 상기 제1 표시 제어 데이터에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보가 기술된 복수의 구조 단위를 포함하는 제2 표시 제어 데이터를 포함하는 전송 미디어 스트림을 참조하는 소정의 구조 단위가 존재할 때, 상기 소정의 구조 단위의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터를 결합하며,
    상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터에 기초하는 상기 제2 표시 제어 데이터의 소정 요소에의 액세스는 리드 온리로 되는, 정보 처리 장치.
  15. 정보 처리 방법으로서,
    표시 제어에 관한 정보가 기술된 복수의 구조 단위를 포함하는 제1 표시 제어 데이터를 취득하는 데이터 취득 스텝과,
    상기 취득된 상기 제1 표시 제어 데이터를 해석하여 복수의 구조 단위를 상호 매칭한 구조화 데이터를 생성하는 구조화 데이터 생성 스텝을 구비하고,
    상기 구조화 데이터 생성 스텝에서는, 상기 제1 표시 제어 데이터에, 소정 수의 전송 미디어와 상기 전송 미디어의 제시 제어 정보가 기술된 복수의 구조 단위를 포함하는 제2 표시 제어 데이터를 포함하는 전송 미디어 스트림을 참조하는 소정의 구조 단위가 존재할 때, 상기 소정의 구조 단위의 관리 하에, 상기 전송 미디어 스트림에 포함되는 상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터를 결합하며,
    상기 제2 표시 제어 데이터에 대응하여 생성된 구조화 데이터에 기초하는 상기 제2 표시 제어 데이터의 소정 요소에의 액세스는 리드 온리로 되는, 정보 처리 방법.
KR1020157024938A 2013-04-26 2014-04-16 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법 KR20160002711A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-093436 2013-04-26
JP2013093436A JP2014215859A (ja) 2013-04-26 2013-04-26 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法
PCT/JP2014/060874 WO2014175148A1 (ja) 2013-04-26 2014-04-16 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
KR20160002711A true KR20160002711A (ko) 2016-01-08

Family

ID=51791727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157024938A KR20160002711A (ko) 2013-04-26 2014-04-16 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법

Country Status (6)

Country Link
US (2) US10262072B2 (ko)
EP (1) EP2990958A4 (ko)
JP (1) JP2014215859A (ko)
KR (1) KR20160002711A (ko)
CN (1) CN105144146B (ko)
WO (1) WO2014175148A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215859A (ja) * 2013-04-26 2014-11-17 ソニー株式会社 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法
US20170344523A1 (en) * 2016-05-25 2017-11-30 Samsung Electronics Co., Ltd Method and apparatus for presentation customization and interactivity
CN110545471B (zh) * 2018-05-29 2021-12-14 北京字节跳动网络技术有限公司 基于离线转换的播放控制方法、装置及存储介质
CH715553A1 (fr) * 2018-11-15 2020-05-15 Thidima Sa Procédé de génération d'un contenu d'un site web de manière extensible.
CN111327566B (zh) * 2018-12-13 2023-05-02 阿里巴巴集团控股有限公司 流媒体数据的确定方法、装置和系统
CN110837614A (zh) * 2019-11-05 2020-02-25 上海嘉道信息技术有限公司 一种高效地生成网页信息抽取规则的方法及系统
US10922476B1 (en) * 2019-12-13 2021-02-16 Microsoft Technology Licensing, Llc Resource-efficient generation of visual layout information associated with network-accessible documents
US11461535B2 (en) * 2020-05-27 2022-10-04 Bank Of America Corporation Video buffering for interactive videos using a markup language
JP7372020B2 (ja) * 2021-03-10 2023-10-31 株式会社Bloom Act 動画生成配信処理装置、動画生成配信方法、および動画生成配信プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065489A (ja) 2009-09-17 2011-03-31 Sony Corp 情報処理装置、データ表示方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781609B1 (en) * 2000-05-09 2004-08-24 International Business Machines Corporation Technique for flexible inclusion of information items and various media types in a user interface
US7028331B2 (en) * 2001-02-28 2006-04-11 Sharp Laboratories, Inc. Content proxy method and apparatus for digital television environment
US7117216B2 (en) * 2001-06-07 2006-10-03 Sun Microsystems, Inc. Method and apparatus for runtime merging of hierarchical trees
KR20030095048A (ko) * 2002-06-11 2003-12-18 엘지전자 주식회사 멀티미디어 재생 방법 및 장치
RU2475832C1 (ru) * 2009-03-30 2013-02-20 Нокиа Корпорейшн Способы и системы обработки объектных моделей документов (dom) для обработки видеоконтента
US8713420B2 (en) * 2011-06-30 2014-04-29 Cable Television Laboratories, Inc. Synchronization of web applications and media
US8913068B1 (en) * 2011-07-12 2014-12-16 Google Inc. Displaying video on a browser
US20140237536A1 (en) * 2011-10-13 2014-08-21 Samsung Electronics Co., Ltd. Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents
KR102045073B1 (ko) * 2013-01-24 2019-11-14 한국전자통신연구원 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
JP2014215859A (ja) * 2013-04-26 2014-11-17 ソニー株式会社 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法
EP2866436A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method and apparatus for transmission and reception of media data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065489A (ja) 2009-09-17 2011-03-31 Sony Corp 情報処理装置、データ表示方法及びプログラム

Also Published As

Publication number Publication date
CN105144146A (zh) 2015-12-09
CN105144146B (zh) 2018-06-05
US20190286684A1 (en) 2019-09-19
US10262072B2 (en) 2019-04-16
US20150363505A1 (en) 2015-12-17
EP2990958A1 (en) 2016-03-02
JP2014215859A (ja) 2014-11-17
EP2990958A4 (en) 2017-03-01
WO2014175148A1 (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
KR20160002711A (ko) 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법
JP6681986B2 (ja) トランスポートのためのコード化された次世代オーディオデータの選択
US11070872B2 (en) Receiving device, transmitting device, and data processing method
JP6172688B2 (ja) ハイパーテキスト転送プロトコル上での動的適応ストリーミングにおけるコンテンツ特定識別およびタイミング挙動
BR112019019836A2 (pt) sinalização de informações importantes de vídeo em streaming de vídeo em rede usando parâmetros tipo mime
US10887645B2 (en) Processing media data using file tracks for web content
JP6122781B2 (ja) 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム
JP5121935B2 (ja) ＬＡＳｅＲベースの端末のためのステレオスコピック３Ｄ映像コンテンツの提供装置及び方法
JP2018532146A (ja) コーディングされたオーディオデータのトランスポート
KR101895443B1 (ko) 방송 시스템에서 컨텐츠 전송/수신 방법 및 장치
US20160134900A1 (en) Streaming media processing method, apparatus, and system
US11321516B2 (en) Processing dynamic web content of an ISO BMFF web resource track
US20150172353A1 (en) Method and apparatus for interacting with a media presentation description that describes a summary media presentation and an original media presentation
KR102499231B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
AU2018299983A1 (en) Processing media data using a generic descriptor for file format boxes
WO2017185601A1 (zh) 一种提供、下载视频的方法及设备
EP3007450B1 (en) Transmission device, transmission method, receiving device, and receiving method
KR102656879B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
KR102611253B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
CN107547917B (zh) 频道的播放和处理方法及装置，频道的处理系统
US20110265138A1 (en) Method and apparatus for transmitting and receiving service discovery information in multimedia transmission system and file structure for the same
KR20210025508A (ko) Atsc 3.0 기반의 방송 콘텐츠 전송 장치 및 방법과, 방송 콘텐츠 수신 장치 및 방법
CN117256136A (zh) 用于处理备选媒体表示描述的方法、设备和计算机可读介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
WITB Written withdrawal of application