JP6567064B2 - 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用 - Google Patents

関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用 Download PDF

Info

Publication number
JP6567064B2
JP6567064B2 JP2017541331A JP2017541331A JP6567064B2 JP 6567064 B2 JP6567064 B2 JP 6567064B2 JP 2017541331 A JP2017541331 A JP 2017541331A JP 2017541331 A JP2017541331 A JP 2017541331A JP 6567064 B2 JP6567064 B2 JP 6567064B2
Authority
JP
Japan
Prior art keywords
content
information
multimedia
media
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017541331A
Other languages
English (en)
Other versions
JP2018509065A (ja
Inventor
異凌 徐
異凌 徐
文軍 張
文軍 張
文▲しょう▼ 朱
文▲しょう▼ 朱
良慧 張
良慧 張
浩 陳
浩 陳
博 李
博 李
軍 孫
軍 孫
寧 柳
寧 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510080011.XA external-priority patent/CN105988369B/zh
Priority claimed from CN201510080580.4A external-priority patent/CN105992061B/zh
Priority claimed from CN201510401550.9A external-priority patent/CN106341740B/zh
Priority claimed from CN201510955611.6A external-priority patent/CN106899866B/zh
Priority claimed from CN201610031034.6A external-priority patent/CN106982376B/zh
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of JP2018509065A publication Critical patent/JP2018509065A/ja
Application granted granted Critical
Publication of JP6567064B2 publication Critical patent/JP6567064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8402Generation or processing of descriptive data, e.g. content descriptors involving a version number, e.g. version number of EPG data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明はインターネット(Internet)オンデマンド(On Demand)システムにおけるマルチメディアの構成、保存および伝送の新たな方法に関し、より具体的には、関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用に関する。
マルチメディア技術の高速発展につれ、インターネットにおけるマルチメディアコンテンツは爆発的に激増している。特に高精細、高解像度のビデオ(動画)業務が幅広く深まっており、マルチメディアサービスによるネットワーク帯域幅への圧力はますます引き立っている。一方、ユーザーカスタマイズ趣味の差異とネットワーク環境の時間的変動により、現在のマルチメディアサービスは統合式特徴を表し、マルチメディアコンテンツは分散化の傾向を表している。既存のマルチメディアプロトコルは、ほとんどがネットワーク伝送過程におけるデータの完全性および安全性に目を向けており、ネットワークの品質(QoS)を保証することによりマルチメディアサービスの品質を保証している。しかしながら、マルチメディアコンテンツの統合およびユーザーの主観満足度については考慮することが極めて少ない。
現在のマルチメディアプロトコルは、基本的にはシグナリング情報を通じてデータの転送および表示を説明し制御しており、マルチメディアコンテンツの構成レベルに触れておらず、コンテンツの構成と保存、伝送とのマッチングおよびマルチメディアシステム全体のデータ最適化を考慮していない。その結果、マルチメディアの製作者がまとまって完成されたコンテンツの番組を制作したにも関わらず、カッティングなどの後期制作を経て、番組の発行者とプロバイダー(提供者)とでは元の番組を異なるバージョンに分けている。各々のバージョンは互いに独立しており、独自のメディアコンテンツを成している。これは、番組コンテンツを豊かにしているようにみえるが、実際はメディアシステム全体の運行環境を破壊し、重畳するデータを大量に生み出している。これらのデータは、メディアコンテンツの天然の関連体系を破壊し、メディアコンテンツの管理に不利であり、保存コストを引き上げ、莫大なリソースロスをもたらしてしまう。さらに、ロジック上コンテンツが同一のデータユニットをネットワークにおいて重複して伝送する必要があり、データ伝送の効率を大幅に低下させる。また、異なるバージョンの番組コンテンツが重畳して独立存在することは、元々豊かなメディアリソースを膨大化、混乱化させ、デジタルメディアコンテンツに対する監督管理の難易度を引き上げ、多くの海賊版で権利侵害となるメディアコンテンツがデジタルメディア市場へ進出しやすくしてしまい、番組プロバイダーと消費者に被害をもたらしている。
一方、メディアリソースの豊かさは、ある程度ユーザーによるデジタルメディア消費の負担を増加させ、ユーザーはより多くの精力をメディア消費の選択に使わなければならない。従来の方法では、コンテンツプロバイダーによっていろんなタイプの映画リソースなど豊かなメディア番組を提供するが、これらの番組は通常はフルバージョン(完全版)であるため、ユーザーは通常、あるフルバージョンのメディア番組をオンデマンドするしかない。このような状況において、自分がすきな番組を選択して再生しようとする場合、ユーザーは複数の番組をプレビューしなければならない。このようなメカニズムにおけるデータバッファリングの効率が低いため、ユーザーは長い時間を待つ必要があり、ユーザーエクスペリエンスが非常に悪い。
より好ましい方法では、番組の発行者とプロバイダーは、ロジック上においてのみ元の番組を異なるバージョンに分ける。メディアコンテンツの分散化ユニットが幅広く応用されているため、元の番組は物理的には依然としてまとまられている天然の整体である。メディアコンテンツのサーバーにおいて、メディアのフルバージョンのみを保存し、メディアの異なるバージョンに対応するデータユニットを説明するためのシグナリングファイルを提供する。このようにすれば、ユーザーは自らの必要に応じて関連バージョンのメディアデータをリクエストし、サーバーはシグナリング情報におけるメディアバージョンとデータユニットとのマッチングに基づいて、対応するデータのみをユーザーに伝送する。例えば、ある映画をプレビューしたいだけのユーザーは、プレビューバージョンのみをリクエストすればよい。サーバーはプレビューバージョンの映画データユニットのみをクライアント側のデコードおよび表示用に伝送し、ユーザーは映画全体のバッファリングを待たなくてもよいため、より良いユーザーエクスペリエンスが得られる。しかしながら、システムは異なるバージョンの間におけるメディアユニットの対応関係を判明しがたく、関連のシグナリングメカニズムによる指導も欠けていること、メディアごとに長さの異なる複数のバージョンが存在し得ること、が難しいところである。これらのバージョンをいかに区別、管理することも、早急に解決しなければならない問題である。
なお、現在のマルチメディアシステムはコンテンツについて初歩的なレベル分けが可能であるが、ユーザーはマルチメディアコンテンツに対応する説明を取得するのができないため、自主的に選択することができない。さらに、同一の番組に対しても、ユーザーは異なる選択をする必要がある。マルチメディアコンテンツのカスタマイズ表示を実現し、メディアネットワークにおけるメディアリソースの伝送をより効率化するためには、マルチメディアコンテンツのカスタマイズ表示のメカニズムが必要である。サーバーは、マルチメディアコンテンツとメディア説明とのマッチングテーブルをユーザーに伝送し、即ち関連するマルチメディアコンテンツの選択肢をユーザーに提供する。ユーザーは、自らの必要に応じて同一コンテンツの異なるバージョン、もしくはあるメディアリソースの関連コンテンツなどの各種の表示形式をリクエストして、かつ自らの必要に応じてカスタマイズできる。
しかしながら、このようなマルチメディアコンテンツのカスタマイズ表示のメカニズムは、新たな要求を提出している。関連するメディアリソースが異なるedit list(編集リスト)により表示されるため、異なるedit listには異なるメディアデータユニットが含まれている。さらに、異なるマルチメディアコンテンツに対して、ユーザーは異なる選択基準を持っており、例えば、同じソワレに対し、ユーザーは多視野角のビデオを見ることと、異なる歌手の演出を見ることとを選択できる。このため、edit listもユーザーの必要と番組種類などに基づいてカスタマイズに作成される場合が
ある。カスタマイズ伝送を実現するためには、マルチメディアコンテンツの説明情報とedit listとの間のマッチング関係を、メディアリソースを受信するクライアント側に伝送するためのメカニズムが必要である。
本発明は、既存技術における問題に鑑みてなされたものであり、関連マルチメディアコンテンツのカスタマイズ表示の実現方法、インターネットオンデマンドシステムにおいてフレキシブルで高効率的且つ拡張可能な構成、保存、伝送の方法を提供することを目的とし、既存のマルチメディアプロトコルにおいて欠けているメディアコンテンツにフレキシブルな構成メカニズムを増やし、既存のマルチメディアシステムにおける伝送効率の低下、保存リソースのロス、ユーザーエクスペリエンスが悪いとの問題を解決する。
本発明の第一の目的によれば、関連マルチメディアコンテンツのカスタマイズ表示の実現方法であって、マルチメディアコンテンツプロバイダーによりマルチメディアファイルを制作する際、完成されたファイルコンテンツをまとまって制作するとともに、コンテンツの重要度および/または関連度合いに基づいて標識を行う方法により完成されたファイルコンテンツにおけるセグメントに対してレベル分けすることによって、異なるバージョンのマルチメディアファイルを生成することと、ユーザーは異なるバージョンのマルチメディアファイルを選択的にプレビューおよび/または再生を行うことと、を含む。
前記方法はさらに、 コンテンツをレベル分けしたバージョンに対する管理を通じて、マルチメディアファイルを複数のバージョンに分けるステップ1と、
バージョンに関連する差異化MPDファイルを生成し、該MPDファイルは、前記マルチメディアファイルの複数のバージョンに基づいて、コンテンツのレベル分けに対応するMPD(Media Presentation Description)ファイルであって、コンテンツレベル分けのバージョン管理タブであるステップ2と、
ユーザーが自らの必要に応じて異なるバージョンのマルチメディアコンテンツをリクエストし、サーバーはまとまったMPDファイルを伝送し、クライアント側はMPDを解析してから自身のネットワーク環境、設備能力およびリクエストしたバージョンの状況に基づいて、サーバーに対応するメディアセグメントのコンテンツをリクエストするステップ3と、を含む。
前記関連マルチメディアコンテンツのカスタマイズ表示の実現方法は、さらに、
コンテンツのレベル分けしたバージョンに対する管理を通じて、マルチメディアファイルを複数のバージョンに分けるステップ1と、
複数のバージョンに対して対応するMPDファイルは1つのみ生成され、MPDファイルのsegment説明には、コンテンツレベル分けのバージョン管理タグである@scaleIDの属性が追加されるステップ2と、
ユーザーが自らの必要に応じて異なるバージョンのマルチメディアファイルコンテンツをリクエストし、サーバーはまとまったMPDファイルを伝送し、クライアント側はMPDを解析してから自身のネットワーク環境、設備能力およびリクエストしたバージョンの状況に基づいて、サーバーに対応するメディアセグメントのコンテンツをリクエストするステップ3と、を含む。
本発明に係る関連マルチメディアコンテンツのカスタマイズ表示の実現方法によれば、既存のメディアコンテンツにおけるフレキシブルな管理のメカニズムが乏しいことが原因で、マルチメディアシステムの低伝送効率、保存リソースのロス、ユーザーエクスペリエンスが悪いなどの問題を引き起こしている現状について、メディアコンテンツに関する拡張可能でフレキシブルな構成、保存、伝送方法を増やすことにより、インターネットにおけるメディアコンテンツに対する最適化と統合、ロジック上同一メディアリソースに対する一括保存を実現でき、またユーザーのメディアバージョンに対するニーズに基づいて差異化伝送を行い、クライアントにおいて特定のメディアユニットバッファリングとデコードの表示を実現できる。これにより、豊かなメディアリソースを一括最適化し、マルチメディアのコンテンツを監視制御しやすくすると同時に、ネットワークにおけるマルチメディアデータ全体の伝送効率を向上し、保存スペースのロスを低減し、ユーザーによりよいサービスエクスペリエンスを提供する。
本発明の第二の目的によれば、既存のマルチメディアのコンテンツのレベル分けが細分化できず、低伝送効率、保存スペースのロスという問題を解決すするため、マルチメディアコンテンツのレベル分け技術の実現方法を提供し、該方法は、マルチメディアファイルを制作する際、マルチメディアコンテンツにおける重要なセグメントに対して標識を行い、マルチメディアファイルコンテンツの重要度に応じて各セグメントを異なるレベルに分けることと、ユーザーにより再生する際、盲目的にランダムに選択するのではなく、これらのレベルに基づいてマルチメディアコンテンツを選択的に再生することと、マルチメディアファイルと異なるバージョンのコンテンツと、mpu_seq_numberというMPUにおける標識フィールドと、異なるバージョンのビデオと一対一対応関係を有するlevel_listというmpu_seq_numberの集合との間の対応関係を説明するためのMUR情報ファイルを新たに定義することと、を含む。
好ましくは、あるマルチメディアコンテンツを複数のMPUセグメントに分け、異なるバージョンにレベル分けしてからmpu_seq_numberと対応関係を持たせることと、マルチメディアファイルと異なるバージョンのコンテンツ、mpu_seq_number、level_listとの間の対応関係を説明するためのMUR情報ファイルを新たに定義し、level_list配列と異なるバージョンのコンテンツ時間との対応規則が異なることに応じて、対応関係を下記の二つのタイプに分ける。
異なるバージョンのコンテンツとlevel_listとは一対一に対応するタイプ1と、
異なるバージョンのコンテンツは異なるlevel_listの組み合わせであるタイプ2と、の二つのタイプに分けることと、
タイプ1およびタイプ2におけるMUR情報ファイルに基づいてマルチメディアファイルに対して差異化伝送を行うことと、を含む。
既存のマルチメディアプロトコルにおけるマルチメディアコンテンツに対するレベル分け技術の空白が原因で、メディアコンテンツの低伝送効率、保存スペースのロスという問題を引き起こしている現状について、本発明に係るマルチメディアコンテンツのレベル分け技術によれば、メディアコンテンツに関する拡張可能な伝送、保存と表示メカニズムを増やすことにより、インターネットにおける異なるバージョンのメディアコンテンツ間の関連分類を実現し、マルチメディアサービスに対する管理制御が強化できるととともに、マルチメディアデータの伝送効率を向上し、保存スペースのロスを低減できる。またユーザーにより多くのメディアバージョンを自主的に選択できる権利を与えることにより、ユーザーエクスペリエンスを向上させるとともに、ネットワーク事業者にもよりよいマルチメディアコンテンツに対するレベル分け、伝送と保存の方法を提供できる。
本発明の第三の目的によれば、前記関連マルチメディアコンテンツのカスタマイズ表示の実現方法を利用するコンテンツ駆動のスマートホームの制御方法であって、ビデオにおける主要フレームの画像の主な色調および/またはシーンのシナリオ特徴に基づいてビデオセグメントに対して標識を行う、またはオーディオデータの特徴に基づいて標識を行い、対応するタブを追加し、これらのマルチメディアのコンテンツを再生するたび、標識されたタブはスマートホームの設備が動作するように駆動する。
好ましくは、ビデオにおける主要フレームの画像の主な色調に基づいてビデオセグメントに対して標識を行うことは、ビデオMPUにおける主要フレームの主な色調を抽出して標識を行い、MPUBoxにおいて予備されているreservedフィールドを用いてcolor_tagを定義することであり、異なる色には異なるcolor_tagを利用できる。
コンテンツ駆動によるスマートホームを制御する本発明に係る方法によれば、マルチメディアコンテンツによりスマートホーム制御システムを自動的駆動できる。現在、マルチメディアコンテンツを人為的に評価してから手動でスマートシステムを制御する仕組みとなっているが、本発明のコンテンツ駆動によるスマートホームシステムの制御を介して、人による制御の煩わしい過程を大いに簡略化でき、また本発明は制御システムをよりフレキシブルにすることができる。
本発明の第四の目的によれば、プロバイダーは、メディアコンテンツの種類または重要度によりメディアコンテンツに対して標識した後、同一標識のメディアデータユニットを組み合わせて異なるedit listにする。ユーザーリクエストのカスタマイズに対応するサービスを提供できるようにするため、メディアコンテンツの標識情報に適合した説明が必要である。これにより、ユーザーに各edit listの詳しい内容を理解させ、差異化の伝送と表示を実現し、正しいサービスを提供する。ユーザーがサーバーからの関連マルチメディアコンテンツを選択できないという問題を解決し、異なるユーザーのリクエストに対応できるカスタマイズのメディア表示を実現するため、本発明に係る関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法は、メディアリソースの関連マルチメディアコンテンツは異なるedit list(編集リスト)により表示され、異なるedit listに含まれているメディアデータユニットの間は補充関係または包含関係であることと、メディアリソースの分類および説明情報の対応関係をユーザーに表示するため、伝送する情報においてメディアリソースの特徴情報または関連情報の説明を追加することにより、カスタマイズ表示のメカニズムを実現する。
さらに、関連マルチメディアコンテンツのカスタマイズ表示情報の実現手順は、
同一メディアリソースに含まれているメディアデータユニットの標識または対応する説明情報を定義し、伝送されるメディアリソースにおける各種のマルチメディアコンテンツに対する説明情報が含まれているdescriptorシグナリング情報を作成するステップと、
クライアント側においてdescriptorシグナリング情報を解析し、ユーザーは必要に応じて対応する標識または情報表示を有するマルチメディアコンテンツを選択し、対応するメディアデータユニットをリクエストして対応するedit listに組み合わせるステップと、
サーバー側はユーザーからのリクエストを解析してから対応するメディアデータユニットに送信し、クライアント側において情報を解析してからカスタマイズ表示を実現するステップと、を含む。
本発明の第五の目的によれば、既存のマルチメディアプロトコルにおける表示メカニズムの不備について、ユーザーの意思決定に基づくオンデマンドサービスにおける表示メカニズムとラジオ、リアルタイム生放送サービスのプッシュ型配信メカニズム、および関連内容の表示サービスを考慮に入れて、マルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法を提供し、該方法、マルチメディアリソースの表示中に、メディアデータユニットの持続期間情報および表示の初期時間に基づいて関連コンテンツの表示時間を制御し、異なるメディアリソースまたは同一メディアリソースにおける異なる関連バージョンに対応する表示タイムラインを与える。
前記方法はさらに、
ユーザーにより選択されるメディアリソースの関連コンテンツバージョンに含まれているメディアデータユニットに基づいて、各メディアデータユニットに対してそれに対応する持続期間情報を取得するステップS1と、
VoDにおいては、ユーザーによりメディアリソースを選択する際の時間に基づいて再生開始時間を確定し、ブロードキャストサービスにおいては、サービスプロバイダーによって再生開始時間を確定し、シグナリング情報において再生開始時間の標識を行うステップS2と、
ステップS2における再生開始時間と、対応する関連コンテンツバージョンにおけるメディアデータユニットの持続時間とを加算することにより取得される対応するメディアデータユニットの絶対表示時間に基づいて、対応する表示タイムラインを維持して、メディアコンテンツの表示を指導するステップS3と、を含む。
マルチメディアコンテンツのカスタマイズ表示に関するタイムラインをコントロールする本発明の前記方法は、ユーザーカスタマイズのニーズを満たすと同時に、同じ特性の番組の関連性を利用して、保存スペースを節約するもとに、ユーザーに順調な楽しみ体験を保証できる。メディアの表示ライムライン情報はシグナリング情報に基づいて柔軟に送信するため、メディアリソースを消費する途中に出た遅延とパケットロスによるユーザーエクスペリエンスの低下について、表示時間前にパケットロス事件を発見する場合、メディアリソースの再接続を待つことや、前のメディアデータユニットコンテンツを繰り返し表示することにより再生故障を避けてユーザーエクスペリエンスを保証できる。タイムラインの指示に従って引き続き表示する場合は、その実現対策は同規定に含まれていない。
本発明に係る上記技術解決手段によれば、既存のマルチメディアプロトコルにおけるマルチメディアコンテンツに関連する情報説明の空白が原因で、ユーザーがサーバーからのメディアリソースを理解できないという問題について、マルチメディアコンテンツの特徴情報または関連情報に対する説明を増やすことにより、ユーザーが直感的且つ多方面から該マルチメディアを理解できるようにし、カスタマイズのマッピング関係を説明することにより関連するメディアサービスを提供し、できるだけユーザーが一番適応するマルチメディアコンテンツを選択できるように保証する。本発明に係る方法は、サーバーから提供されるマルチメディアコンテンツに対する説明に限らず、複数のソースまたは各種の分類方法などのマルチメディアリソースに対する説明にも適用でき、さらにはユーザーが自ら定義したタブで説明を生成することもできる。本発明は、ユーザーがサーバーから提供される関連マルチメディアコンテンツを選択できないという問題を解決し、異なるユーザーのニーズに対するカスタマイズのメディア表示を実現した。
以下、図面を参照しながら、本発明の実施例について詳細に説明することによって、本発明の他の特徴、目的及び利点をより明らかにする。なお、これらの実施例は、本発明を限定するものではない。
実施例1、2、5におけるメディアバージョンとメディアデータユニットとの間のマッピング関係の一例を示す図である。 本発明の実施例1におけるレベル分けメカニズム−モデル1を示す図である。 本発明の実施例1におけるレベル分けメカニズムのシステム構成ブロック−モデル2を示す図である。 本発明の実施例3、4、5における実現方法のフローチャートである。 本発明の実施例3におけるMPUによるhueシステムのコントロールを説明するための図である。 本発明の実施例5おける設備電量不足の場合における差異化表示を説明するための図である。 本発明の実施例5における多視野角リアルタイム生放送を説明するための図である。 本発明の実施例5における関連内容の異なるバージョンの表示タイムラインを示す図である。
以下、具体的な実施形態を例示しながら、本発明について詳しく説明する。以下の実施形態は、いわゆる当業者が本発明をより理解しやすくするための例示であり、いかなる形式で本発明を限定するものではない。また、いわゆる当業者であれば、本発明の要旨から逸脱しない範囲内において、様々な変形や改良を行うことができ、これらも本発明の保護範囲に属することには注意されたい。
〔実施例1〕
現在、ビデオコンテンツの数は爆発的な成長を遂げており、人々により支配可能な時間も断片化しつつある。ユーザーは、一連の新しいビデオに触れるとき、往々にはその完全なコンテンツを直接オンデマンドして再生するのではなく、希望としてまずはこれらのビデオをプレビューしてから、ユーザー自らの好みと現在支配可能な時間に合わせてどのビデオを選択して再生するか、または完全なビデオコンテンツを再生するか否かを決めようとする。
この問題に対し、以下の方法により効率的に解決し、ユーザーエクスペリエンスを向上できる。コンテンツプロバイダーは、ビデオを制作する際、完成されたビデオコンテンツをまとまって制作するとともに、コンテンツの重要度および/または関連度合いに基づいて標識を行う方法により完成されたビデオコンテンツにおけるセグメントに対してレベル分けすることによって、異なるバージョンのビデオを生成できる。当然ながら、ユーザーがコンテンツを選択して消費しやすくするために、表示インターフェースにおいてレベル分けに関連するバージョン情報を提供すべきである。これにより、ユーザーはビデオを再生する際、盲目的でランダムに選択することなく、これらのバージョンに基づいて選択的にプレビューし、再生できる。
ビデオコンテンツを例にすると、コンテンツ制作者は完全な番組コンテンツさえ完成すればよく、その後は配布者側がコンテンツについてレベル分けしたバージョンの管理によりビデオを複数のバージョンに分けて、メディアサービスプロバイダーに提供できる。第一のバージョンのビデオはプレビュー版(簡略版ともいう)であって、再生時間の長さが5分間であり、コンテンツにはビデオにおけるハイライトシーンのみ含む。第二のバージョンのビデオはカッティング版(カット版ともいう)であって、再生時間の長さが30分間であり、コンテンツにはビデオにおける物語の主なストーリーと重要なシーンのみ含む。第三のバージョンのビデオは完全版であって、再生時間の長さが120分間であり、コンテンツにはビデオにおける物語の完全なストーリーを含む。第四のバージョンは強化版(拡張版、補充版ともいう)であって、再生時間の長さが150分間であり、物語の完全なストーリーを含むほか、メイキングなどの補充コンテンツも含む。
以下、MPEG−DASH(Dynamic Adaptive Streaming over HTTP)規格を例にして、コンテンツについてレベル分けされたバージョンの管理メカニズムについて説明する。当然ながら、該メカニズムはDASH規格だけでなく、その他の規格および方法にも応用できる。DASHは、動的適応型HTTPストリーミング(Dynamic Adaptive Streaming over HTTP)の略称であり、国際標準グループMPEGにより作成され、HTTPプロトコルを介してメディアを自己適応、漸進式、ダウンロードまたはストリーミングの方法によりコンテンツの割り当てを行うことができ、異なるネットワークの状況において、複数の機能の異なる端末における適応型メディア消費をサポートする。コンテンツの構成においてDASHは多種のセグメント対策を有し、またそのセグメントの詳細を指示するための対応するシグナリングファイルも有する。以下、汎用性を考えながら、二つのモデルに基づいてそれぞれ説明する。
(モデル1)バージョンに関連する差異化MPDファイルを生成する
DASH segmentを生成する際、上記ビデオ番組における四つのバージョンに基づいて、コンテンツのレベル分けに対応するMPD(Media Presentation Description)ファイルを生成できる。より明瞭に説明するため、MPDにおけるsegment listの説明状況のみを記載し、その他はsegment templateの場合における処理方法と類似する。
上記ビデオ番組における四つのバージョンに対応するsegmentリストは、図1に示すとおりである。これらのsegmentを生成する際、コンテンツバージョンにマッチングする四つのMPDファイルを自動的に生成する。ここで、MPD要素について@scaleIDの属性を増加し、該属性により該MPDファイルにおいて説明されるコンテンツのレベル分けを定義する。コンテンツのレベル分けに対応する表は以下の表1に示されるとおりである。さらに、Representation要素におけるSegmentListサブ要素(子要素)に含まれるsegmentリストは、単なるすべてのセグメントのリストだけではなく、MPD@scaleIDに対応する特定のセグメントリストである。
図2に示すとおり、レベル分けメカニズム全体の構成ブロック図は、従来のDASHの構成とほぼ同じで、メディアの準備段階におけるメディアセグメント(segment)の生成メカニズムは変わらない一方、異なるレベル分けのバージョンに対応する四つのMPDファイルが生成されている。DASHクライアント側において、ユーザーが自らの必要に応じて異なるバージョンのビデオコンテンツをリクエストする際、サーバーは関連するMPDファイルさえ伝送すればよく、クライアント側において解析をしてから再度サーバーに対して対応するメディアのセグメントのコンテンツをリクエストする。
例えば、ユーザーがプレビュー版の映画番組を選択して再生する場合、サーバーはMPD@scaleIDが0であるMPDファイルを送信し、クライアント側において解析した後、Representation要素におけるSegmentListサブ要素にリストされているセグメント、即ちchannel1init.mp4、channel11.m4s、channel14.m4s、channel17.m4s、channel19.m4sをリクエストする。該MPDファイルに関する実例は以下の表2に示されるとおりである(新規追加したパラメータはsascleIDで、異なる新しい応用を有しうる)。
(モデル2)既存のDASHメカニズムに従って、一つのMPDのみを生成し、Representation要素において各セグメントの@scaleID属性を加える
DASH segmentを生成する際、四つのコンテンツレベル分けしたバージョンに基づいて区分でき、区分の指示は同時に生成されるMPD表において表示される。より明瞭に説明するため、MPDにおけるsegment listの説明状況のみを記載し、その他はsegment templateの場合における処理方法と類似する。
上記ビデオ番組における四つのバージョンに対応するsegmentリスト(図1に示すとおり)に基づいて、これらのsegmentを生成する際、MPDファイルにおけるRepresentation要素のSegmentListサブ要素に含まれる各segmentに@scaleIDの属性を提供し、該属性はバージョンが最も低いレベルの該segmentを利用することを標識する。コンテンツレベル分けしたバージョンの対応表は、モデル1と同じである。たとえば、segment:channel13.m4sの@scaleIDが2である場合、該segmentはユーザーが完全版のビデオをリクエストする場合のみ、サーバーから伝送され、クライアント側において消費される。
図3に示すとおり、レベル分けメカニズム全体のシステム構成ブロック図は、既存のDASHの構成とほぼ同じで、メディアの準備段階におけるメディアセグメント(segment)の生成メカニズムは変わらないと同時に、対応するMPDファイルは一つのみ生成される。しかし、MPDファイルのsegmentの説明にコンテンツレベル分けのバージョン管理タブという@scaleIDの属性が増加されている。DASHクライアント側において、ユーザーが自らの必要に応じて異なるバージョンのビデオコンテンツをリクエストする際、サーバーはまとまったMPDファイルを伝送し、クライエント側においてMPDを解析してから自身のネットワーク状態、設備機能およびリクエストしたバージョンの詳細に基づいて、サーバーに対して対応するメディアセグメントのコンテンツをリクエストする。
例えば、ユーザーが完全版の映画番組を選択して再生する場合、サーバーはまとまったMPDファイルを送信し、クライアント側において解析した後、Representation要素におけるSegmentListサブ要素にリストされている@scaleIDの属性の値が2以下のメディアセグメント、即ちchannel1init.mp4、channel11.m4s、channel12.m4s、channel13.m4s、channel14.m4s、channel15.m4s、channel16.m4s、channel17.m4s、channel18.m4s、channel19.m4s、channel110.m4sをリクエストする。サーバーはこれらのセグメントコンテンツを送信し、クライアント側においてデコードして、ユーザーに表示する。該MPDファイルに関する実例は以下の表3に示されるとおりである。
上記実施例はインターネットオンデマンドシステムにおけるフレキシブルで高効率的且つ拡張可能な構成、保存および伝送の方法であるため、既存のマルチメディアプロトコルにおいて欠けているメディアコンテンツを柔軟に構成するメカニズムが増加され、既存のマルチメディアシステムにおける低伝送効率、保存リソースのロス、ユーザーエクスペリエンスが悪いという問題を解決できる。
〔実施例2〕
ユーザーがビデオを再生する際、往々にはビデオ全体を直接連続的に再生するのではなく、ほとんどの場合は該ビデオを早送りまたはジャンプ式でざっと見てから、自らの好みまたは受け入れられるビデオ時間の長さに応じて完全に再生するか否かを決める。ユーザーがジャンプ式でビデオを再生する場合、ランダムに選択したジャンプ時間点が不適切であることにより、ビデオコンテンツにおける重要な部分を見逃してしまう可能性が極めて高い。
この問題に対し、以下の方法により効率的に解決して、ユーザーのエクスペリエンスを向上できる。コンテンツプロバイダーがビデオを制作する際、所定手段でビデオコンテンツにおける重要なセグメントに対して標識を付け、またはビデオコンテンツの重要度に応じて各々のビデオセグメントを異なるレベルに分けることができる。これにより、ユーザーはビデオを再生する際、盲目的でランダムに選択することがなくなり、これらのレベルに基づいて選択的に再生できる。
例えば、ある映画番組に対して、制作者はバージョンが異なる複数のビデオを提供できる。ビデオの構造に応じて、簡略版、カット版、完全版と拡張版など、再生時間の長さが異なるビデオバージョンに分けることができる(実施例1を参照)。
あるマルチメディアリソースをasset1であると仮設して、複数のMPU(media processing units)セグメントにカットし、コンテンツのレベル分けが異なるバージョンに分けると、mpu_seq_numberとの対応関係は図1に示すとおりである。図1に示されるとおり、mpu_seq_numberはMPUにおける標識フィールドであり、あるビデオをmpu_seq_numberが0から11までのMPUセグメントに分ける場合、異なるmpu_seq_number序列はバージョンが異なるビデオに組み合わせられ、例えば、簡略版のビデオはmpu_seq_numberが1と9のMPUから構成されている。
フレキシブルに伝送と表示の差異化を達成するために、MUR(Media Unit Relationship)情報ファイルを一つ新しく定義し、メディアリソースと異なるバージョンのビデオ、mpu_seq_number、level_listなどとの対応関係を説明することに用いる。ここで、level_list配列とバージョンが異なるビデオの再生時間との対応規則が異なることに基づいて、対応関係をさらに二つのタイプに分けることができる。タイプ1において、バージョンが異なるビデオとlevel_listとの間は一対一の対応であり、タイプ2において、バージョンが異なるビデオは異なるlevel_listの組み合わせである。
上記の例示に基づいて、以下ではタイプ1とタイプ2におけるMUR情報ファイルの内容、差異化伝送を行う方法、及びクライアント側においていかにCIファイルにおけるmediaSrcの属性を利用してバージョンが異なるビデオに対してフレキシブルに表示する手段について別々に説明する。
(タイプ1)
level_listは異なるmpuの組み合わせにより成され、異なるビデオバージョンとは一対一対応しており、その対応規則は表4に示されるとおりである。
該対応規則は図1と完全に対応しており、図1は一つの実例である。異なる実例に対して、対応規則も変化する可能性がある。次のタイプ2においても同じである。
伝送効率を向上させるために、ユーザーがより多くのビデオセグメントを必要とする場合、server(サーバー)はユーザーが欠如しているMPUのみ伝送すればよい。例えば、ユーザーがlevel_list[i]に対応するビデオをオンデマンドし最後まで見終わってから、さらにlevel_list[j]に対応するビデオを見ようとする場合があり、ここで0≦i<j≦3である。この場合、ユーザーのローカルには既にlevel_list[i]に含まれるすべてのMPUが保存されているため、serverは引き続きΔij=level_list[j]−level_list[i]に含まれるMPUを送信すればよい。
クライアント側において、ユーザーはローカルにおけるlevel_list[i]および受信したΔijに基づいて、新しくlevel_list[j]に組み合わせる。このため、CIファイルにおけるバージョンが異なるビデオのmeiaSrcの属性の値は、表5に示されるとおりである。
(タイプ2)
タイプ1とは異なり、level_listは異なるMPUの組み合わせにより構成され、且つ各level_list[]の間には互いに重畳するMPUが存在しない。異なるビデオバージョンは異なるlevel_listの組み合わせにより構成され、その対応規則は表6に示されるとおりである。
上記表6に示すとおり、簡略版のビデオはlevel_list[0]により構成され、カット版のビデオはlevel_list[0]とlevel_list[1]により構成され、level_list[2]は完全版のビデオとカット版のビデオの差分値であり、補充版は四つのlevel_listにより構成されている。このため、ユーザーがカット版のビデオを最後まで見終わって、完全版のビデオを見ようとする場合、level_list[2]に含まれるMPUセグメントのみ差異化伝送すればよい。タイプ2のCIファイルにおけるバージョンが異なるビデオのmeiaSrcの属性の値は、表7に示されるとおりである。
上記のとおり、MUR情報ファイルにはコンテンツのレベル分けに関する重要な情報が含まれている。これらの重要な情報をいかに伝送するかについては、異なる方法があり、たとえば、新しいシグナリングユニット、シグナリングファイル、シグナリング情報、descriptorを定義したり、または伝送パケットのヘッダー情報を加えたりする。また、異なる実現方法に基づいて、異なる方式および方法によりMURが説明した情報を伝送し利用できる。MUR情報ファイルの伝送方法について、例示として四つの方法を提出する。MUR情報をシグナリング情報に加える方法は、以下に示すいくつかの方法を含むが、これらに限定されない。
<方法1> MUR情報を既存のCIファイルに加える
CIファイルの機能はメディアリソースの表示を指導することであり、level_listもリソースに関する情報を解析するものであるため、level_listの内容を従来のCIファイルに追加できる。受信側はCIファイルを解析する場合、level_list情報の解析をサポートすべきである。
<方法2> シグナリング情報にMUR情報を説明するMURファイルを追加する
方法1と同様の考え方に従い、CIファイルと類似するMUR情報を説明するファイルを定義できる。このような方法の優れた点は、既存のプロトコルにおけるCIを修正する必要がないところである。生成されたMURファイルは、CIおよびHTMLファイルと並列して伝送できる。プロトコルにおけるCIファイルの伝送方法に従い、MURファイルに適切な伝送方法は、MPI tableにおいてシグナリング情報の一部として伝送することである。
MURファイルをMPI tableに加えて、修正すべき部分はPI_contentの説明部分である。PI_content_countの値に1を足し、PI_content_typeフィールドはMURファイルのタイプを説明する。実際の状況に基づいてMUR情報の説明に適合なファイルフォーマットを選択でき、PI_content_type_lengthの値はファイルタイプの長さであり、PI_content_type_length_byteの値はMURファイルのタイプである。PI_content_name_lengthの値はMURファイルのnameの長さであり、PI_content_name_byteの値はMURファイルのnameの値である。PI_content_descriptores_lengthとPI_content_descriptors_byteは、それぞれMURファイルの説明情報の長さと内容であり、まずは空(FALSE)にしておき、後で拡充できるようにしてよい。PI_content_lengthとPI_content_byteは、それぞれMURファイルの長さと内容である。
上記の説明に従ってMURファイルをMPI tableに書き込んだ後、MUR情報を伝送できる。
<方法3> MUR情報を説明するdescriptorを増加する
既存のMMTプロトコルにおいて定義されるシグナリング情報には、一部説明的なdescriptorが定義され、descriptorはMMTにおいてシグナリング部分が一部のフィールドまたは機能を定義する際に用いる説明的な情報であって、例えば、dependency descriptorとMPU_timestamp_descriptorである。このため、MUR情報を説明するdescriptorを定義でき、descriptorにおいてmpuのlevel情報を説明できる。また、MP tableにはasset_descriptorsフィールドが含まれ、必要に応じてasset_descriptorsにおいて関連するdescriptorを加えることもできる。シグナリングにおいてmpuのlevel情報を説明する必要がある場合、該descriptorをasset_descriptorsに加えることによって実現できる。
<方法4> MUR情報を説明するシグナリングを追加する
上記の考え方に従い、シグナリング情報において、既存のシグナリングの他、さらにMUR情報の説明に専用される一つのtableを増やしてもよい。MUR情報を説明するtableを生成した後、特定のヘッダー部を加えればMUR情報を説明するmessageが生成される。該messageは、PA message、MPI message、MP messae、CRI message等と一緒に新しいシグナリング情報を構成して伝送される。受信側は、シグナリング情報を受信した後に解析すれば、関連するlevel_list情報が得られる。
本発明において提供される実現方法をより明瞭に説明するため、図4に示すように、上記のタイプ1において説明した方法に従ってMURファイルを構築し、また上記の方法2によってMURファイルを伝送して、一つの具体的な実現方法のフローチャートを例示しながら説明する。図4に示されるように、受信側がVoDサービスにログインする場合、送信側はシグナリング情報を送信し、受信側はMPI tabelにおけるPI_content_type_length_byteフィールドを判断することでMUR、CIおよびHTMLファイルを受信するとともに、ローカル保護のMPU保存データベースMySQLを更新し生成する。ユーザーが簡略版のビデオをリクエストする場合、受信側はMURファイルを検査することによって簡略版とlevel_list[0]との対応を見つけ出して、対応するmpu_seq_numberが1,9であることを見つけ出す。この場合、クライアント側がこれらのMPUをリクエストしかつローカルに保存してユーザーに放送し、さらにローカルのデータベースを更新する。ユーザーが引き続いてカット版のビデオをリクエストする場合、MURファイルおよびローカルのデータベースを検査することによって、送信側からローカルに保存されていないMPUを取得する。これらのMPUはlevel_list[1]− level_list[0]により得たMPUであり、mpu_seq_numberは4,6である。受信側は4,6を受信した後にローカルに保存されている1,9と一緒にカット版のビデオに組み換える。
上記の実施例ではMMTを例にして、提出された解決方案について釈明しているが、これらの方案は同様に他のファイルのパッケージング、伝送システムおよびプロトコルにも用いられる。
〔実施例3〕
上記の実施例1、2の技術に基づく応用の一つとして、本実施例では、コンテンツ駆動のスマートホームのコントロール方法を提供する。
現在、スマートホーム設備は各家庭において現れつつある。フィリップス(Philips)会社が発表した「世の中で最もスマートなLEDライト」と言われるPhilips hueという製品を例にして、いかにビデオおよびオーディオデータに対して標識することによりhueシステムを駆動する方法を示す。
1. フィリップスhueについて
フィリップスhueは、見た目上普通の電球と同じであるが、ブリッジ接続方式により家のルータと接続してユーザーに更なるカスタマイズされた照明のコントロールをできるようにする。フィリップスhueにはLED照明技術とワイヤレス相互接続技術が応用され、LED照明を提供するうえ、照明がより多く方面において人間の生活を便利にさせる。たとえば、携帯の位置決め機能によれば、帰宅または外出する際に、hueにより自動的に電灯をつけたり、消したりまたは照明の色を変えたりすることができる。また、定時通知の機能によれば、hueは毎日の生活がさらに規則正しくさせる。例えば、早朝は部屋内の照明を徐々に明るくさせ、夜は照明により入眠を通知する。フィリップスhueは「暖色のトーンから寒色のトーンまで、深さが異なる白いトーン」を提供できるとともに、事前にプログラムによって1600万種類の色彩選択(赤緑青の組み合せ)を設置でき、リラックス、閲読、集中および活力を含む四種類の異なる事前プログラムも提供する。特定な雰囲気のために照明シーンを特定すること、遠距離に制御することおよび家の照明状況を監視すること、タイムスイッチを設置して日常に照明への要求を管理すること、照明によって睡眠を補助することまたは家族を目覚ますことなど、これらの全てについてフィリップスhueが完成できる。その他、ユーザーは設備中のある写真をパレットとして色を取り、一日の特定な時間に特定な色を活性化することを設置するということさえもできる。
hueの機能は絶えずに豊富され、あるネットワークプラットフォームでは開発者たちに向けてAPIインターフェースとソフトウェア開発ツールキットSDKにオープンして、新しい応用方法が次々に現れ、ユーザーも該プラットフォームを介して自らカスタマイズされた照明方案を共有でき、既に40以上の新しいアプリケーションプログラムが開発されている。これらのプログラムは、hueをより多くの設備およびアプリケーションプログラムと関連づけさせている。たとえば、あるものは照明の変化によって心拍を表示でき、あるものは人々が音により照明を制御できるようにし、あるものはテレビ画面の変化と同期することもできる。
本実施例では、たとえば、上述したマルチメディアコンテンツにより自動的にフィリップスhueのようなスマートホームの制御システムを駆動する。使用しているマルチメディアコンテンツに対応するタブを追加し、これらのマルチメディアコンテンツを再生する度、これらのタブはスマート設備を駆動する。具体的な説明は図5に示される通りである。
2. メディアデータのフラグメント(断片)に対してマークする
異種ネットワーク伝送プロトコルMpeg media transport(MMT)において、すべてのメディアデータに対してフラグメンテーションMPUのフォーマットによりパッケージングして、各MPUの時間長さは約0.5秒である。また、マルチメディアのオーディオデータとビデオデータにおけるビデオvideoとオーディオaudioとを分けてパッケージングする。このようなメディアデータのパッケージングフォーマットに基づいて、以下に示すようないくつかの方法に従ってMPUに対して標識できる。
a) ビデオMPUを主なフレームのメインカラーで標識する
フィリップスhueシステムにおいて、写真の色によって電球の色の変更を制御できるため、ビデオMPUにおける主なフレームのメインカラーを抽出して標識することができ、MPUBoxにおける予備されたreservedフィールド7bitによりcolor_tagを定義し、異なる色に対しては異なるcolor_tagを利用できる。たとえば、表9に示される通りである。
color_tagの値は、ビデオMPUにおける主なフレームのメインカラーの解析を介してcolor_tagに対して値をつけることができ、MPUBoxには必要な新しいプロパティが加えられる。またはアルゴリズムによって自動的にMPUにおける主なフレームのメインカラーを抽出して値をつけることもできる。現在、本発明の一部の実施例ではreservedの7番目のbitをcolor_tagに用い、さらに多くのbit桁が必要ならば、増やして拡張することもできる。
b) ビデオMPUについてはシーンに応じて標識する
フィリップスhueシステムにおいて、生活における異なる雰囲気に応じて異なる照明パターンを表示できるため、本実施例ではビデオにおけるあるシーンのパターンを抽出できる。例えば、ロマンチックまたは激しいなどのパターンに属するか否かと判断し、MPUについて標識する。上の表にならって、MPUBoxにおけるreservedフィールドをscene_tagに定義でき、異なるアルゴリズムによってシーンにおけるパターンを抽出できる。
c) オーディオMPUについて調子に応じて標識する
フィリップスhueシステムにおいて、音楽の調子の高さを利用して照明のパターンを制御できる。このため、本発明の一部の実施例では、オーディオMPUにおける調子の特徴を抽出することにより、MPUを標識できる。上の表にならって、MPUBoxにおけるreservedフィールドをtone_tagに定義でき、異なるアルゴリズムを用いてオーディオデータの調子を抽出できる。
メディアコンテンツの中に対応するscene_tag,tong_tagを加えているため、メディアコンテンツが正常に再生されている際、対応する新しい属性が設備に読み込まれると、該属性情報は照明の制御設備のインターフェースに伝送される。この場合、照明設備は受信した属性情報に基づいて、照明システムを制御するコマンドとパラメータを解析する。従って、メディアコンテンツの再生につれて照明がリアルタイムに調節されて変化することが実現される。
以上においてはMPUBoxを例にして、いかに新しい属性を加えることにより、メディアコンテンツと照明とが連結されて表示することを実現することについて説明している。しかしながら、実際の応用において、新しい属性は実際の必要に応じてその他のコマンド位置に加えられてもよい。本発明の上記の実施例は照明を例にして、従来のマルチメディアとスマートホームとの連結方法について説明している。本発明の技術的思想および方法を応用して、その他のスマートホーム、さらにはスマート都市のシステムにも拡張して応用できる。
〔実施例4〕
ユーザーがメディアコンテンツを再生する場合、往々には全部の番組内容について興味を持つことは少なく、番組における特定人物または特定シーンについてのみ興味を持っている可能性がある。スマートメディア伝送システムは、マルチメディアコンテンツを様々異なる角度から分類でき、即ち異なるタブをつけて、ユーザーのカスタマイズなニーズの実現に可能性を与える。サービスプロバイダーは異なるタブに応じて、異なるマルチメディアコンテンツのバージョンと異なるedit listとを対応づけ、対応するタブはedit idである。サービスにより提供されるedit listに応じる内容をユーザーに識別させるため、対応する説明情報を伝送する必要があり、ユーザーのカスタマイズなニーズを保証する。
同じコンテンツのレベル分け表示を例にして、ある映画番組について、asset1であると仮定する。制作者側は多数の異なるバージョンのビデオを提供でき、ビデオの構成に従って、簡略版、カット版、完全版と拡張版などの再生時間の長さが異なるビデオバージョンを分けることができる。
マルチメディアコンテンツのレベル分け情報およびその説明情報の対応関係をユーザーに表示し、ユーザーが選択しやすくなるようにするため、本発明の一部の実施例では、伝送する情報に説明情報(マルチメディアコンテンツの特徴情報または同一メディアリソースの各バージョンに関連づける情報)を追加するなどの方法によってカスタマイズ表示を実現する。以下の三つの方法を例にしながら、説明する。
<方法一> 既存のCI(Composition Information)情報のMediaSync要素にdescriptionの属性を新規追加して、異なるバージョンのコンテンツの説明情報の説明に用いる。たとえば、以下の表11に示される通りである。
CI情報には主にview要素、area要素、MediaSync要素およびOption要素が含まれている。ここで、view要素は視覚領域に対して配置を変更する時間領域の制御情報を提供するし、area要素はview要素のサブ要素で、即ち視覚viewの一部分であって、CIと組み合わせされているHTML5ファイルのあるdiv要素に対応する。MediaSync要素はCIと組み合わせされているHTML5ファイルのあるメディアリソースを指し示すために用いられ、Option要素は該部分のCIが選択できることを示すために用いられる。
各CI要素は、異なる属性を持つことができる。上記の表における属性の中、id属性は該要素の識別子であり、style属性は該要素のCCS様式を指定するために用いられる。begin属性は該CI指令の働き開始時間を示し、end属性は該CI指令の働き終了時間を示す。refDiv属性は該要素の対応するHTML5ファイルにおけるdiv要素の識別子を指し示し、refId属性は該要素の対応するHTML5ファイルにおけるある要素の識別子を指し示す。mediaSrc属性はメディアリソースのアドレスを指し示す。なお、description属性は新たに追加した属性である。
CIファイルの機能は、メディアリソースの表示を指導することであり、edit listはリソース解析に関連する情報である。このため、edit listの内容を既存のCIファイルに追加できる。受信側は、CIファイルを解析する場合、edit list情報の解析をサポートする必要がある。CIファイルにおけるMediaSync要素は、メディアリソースの指定に用いられる。そこで、メディアリソースを指定するとともに、メディアリソースに説明情報も追加できる。したがって、MediaSync要素の下にdescriptionの属性を追加して、メディアリソースに対応するコンテンツの説明情報を説明するために用いる。
上記プログラムにおけるメディアリソースは、ビデオおよび音声を含み、それぞれasset1およびasset2である。サーバーは、assetにおけるメディアデータユニットの識別子を識別し、異なるedit listに分類する。各edit listは、対応するedit idによって識別され、伝送されるedit listおよび対応するメディア説明情報descriptionが含まれている対応するCIファイルが生成される。クライアント側は、受信したCIファイルを解析し、ユーザーのニーズに基づいて対応するdescriptionを選択し、edit id情報を解析して対応するメディアデータユニットをリクエストする。
(方法二)CIファイルにおいて新しいEditDesp要素を追加して説明する
メディアリソースの情報は、MediaSyncに置かれている。CIにおいて、MediaSyncと同じレベルの新しい要素であるEditDespを新規追加し、メディアリソースにおけるあらゆる関連コンテンツの説明情報を指し示すために用いる。edit要素はEditDesp要素のサブ要素であって、一つのedit要素は一種類のカスタマイズ表示の説明情報を特徴付ける。edit要素において、edit_id属性およびdescription属性を新規追加する。edit_id属性は、あるレベルまたはある部分のメディアリソースの識別に用いられ、description属性は、メディアリソースのコンテンツの説明情報の説明に用いられる。
上記プログラムにおけるEditDesp要素において、メディアリソースにおける四つの関連するコンテンツの説明を定義し、対応するedit_idに書き込む。クライアント側は、受信したCIファイルを解析し、ユーザーのニーズに基づいて対応するdescriptionを選択し、edit id情報を解析して対応するメディアデータユニットをリクエストする。サーバー側は、同一のメディアリソースに対して同じかつ完全なCIファイルを生成し、ユーザーのカスタマイズのニーズを満たすとともに、サーバーが関連する説明および対応するedit idを重複して生成することを低減する。
(方法三)シグナリングにおいてdescriptorの説明を追加する
上記表に含まれる対応する要素の意味は以下の通りである。
descriptor_tag − 該descriptorタイプを定義するタグである。
descriptor_length − 該descriptorの長さを定義する。
edit_list_number − メディアリソースに関連するコンテンツを定義し、N1は関連するコンテンツの数を示す。
edit_id − メディアリソースに関連するコンテンツの各バージョンの番号を定義する。
edit_description_length − メディアリソースレベルにおいて説明される情報の長さであり、単位はバイトとする。
edit_description_byte − 具体的な説明情報における一バイトである。
サーバー側は、メディアリソースにおけるメディアデータユニットの識別子を識別し、また異なるedit listに分類する。各edit listは、対応するedit idによって識別される。ユーザーとシステムとの間のコミュニケーションを実現するため、伝送されるメディアリソースを識別し、またニーズに応じて対応するコンテンツを選択して表示するため、システムは伝送されるedit listおよび対応するメディアの説明情報descriptionが含まれているdescriptorシグナリングを生成する。クライアント側は、受信したシグナリング情報を解析し、ユーザーのニーズに基づいて対応するdescriptionを選択し、edit id情報を解析して対応するメディアデータユニットをリクエストする。コンテンツに関連する説明情報の場合、該descriptorをasset_descriptorsに加えることによって実現できる。
以上のとおり、実施例1、2は、カスタマイズ表示のDASHとMMTとの二つの伝送プロトコルにおける異なる実現方法であって、メディアコンテンツを異なるlevelに分けて(即ち本実施例におけるedit list)伝送を行う。一方、実施例3は異なるlevelの具体的な応用である。ユーザーとしては、異なるedit listを区別しない。ユーザーは、それに対応する説明情報のみを理解できる。例えば、異なるedit listが異なるビデオバージョンに対応することなどである。これ点は、本実施例が上記実施例との区別である。
本発明が提供する実現方法をより明瞭に説明するために、図4に示されるように、上記方法二の説明方法に従ってCIファイルを構成し、例示しながら具体的な実現プロセスについて説明する。図4に示されるように、受信側がVoDサービスにログインする場合、送信側はシグナリング情報を送信し、受信側はMPIテーブルにおけるPI_content_type_length_byteフィールドを判断することによってCIとHTML5ファイルを受信するとともに、ローカル保護のMPU保存データベースMySQLを更新して生成し、またCIとHTML5ファイルを解析する。そして、CIにおける制御情報および新規追加のマルチメディアコンテンツの説明情報descriptionに基づいて、ユーザーにカスタマイズ表示のレベル分け情報を提供する。ユーザーがレベル分け情報に基づいて簡略版のビデオをリクエストする場合、受信側はCIファイルを通じて簡略版とedit_list[0]との対応を見つけ出し、また対応するmpu_seq_numberメディアデータの識別子が1,9であることを見つけ出す。この場合、クライアント側は、これらのMPUをリクエストしてローカルに保存し、ユーザーに再生し、さらにローカルのデータベースを更新する。ユーザーが引続きカット版のビデオをリクエストする場合、CIファイルとローカルデータベースを検査することによって、送信側からローカルに保存されていないMPUを取得する。これらのMPUは、edit_list[1]に対応するMPUであり、mpu_seq_numberメディアデータ識別子は4,6である。受信側は、4,6を受信した後、ローカルに保存されている1,9と一緒にカット版のビデオに組み換える。
〔実施例5〕
本実施例は、実施例1、2を前提にして、既存のマルチメディアプロトコルにおける表示メカニズムの不備について、ユーザーの意思決定に基づくオンデマンドサービスにおける表示メカニズム、ラジオ、リアルタイム生放送サービスのプッシュ型配信メカニズム、および関連するコンテンツの表示サービスを真剣に考慮する。同一メディアリソースに関連するコンテンツバージョンにおいて、各メディアデータユニットの表示時間は同じではない。メディアデータユニットの持続期間を抽出することによって、ユーザーが選択するバージョンおよび再生過程における異なる操作に基づいて、シグナリング情報における開始時間のもとにメディアデータユニットの持続期間を累加して対応するバージョンのメディアコンテンツの表示タイムラインを生成する。あるいは、シグナリングを生成する同時にメディアデータユニットの絶対表示時間を生成し、ユーザーの選択に基づいて、対応する表示タイムライン情報を生成する。
具体的には、サーバーは、メディアコンテンツとメディア説明のマッピングテーブルをユーザーに伝送すること、即ち関連するメディアコンテンツの選択肢をユーザーに提供する。ユーザーは、自らの必要に応じて同一コンテンツの異なるバージョンをリクエストしたり、もしくはあるメディアリソースの関連コンテンツなどの各種の表示形式をリクエストしたりできる。保存リソースを節約し、差異化伝送を実現するため、同一メディアリソースの異なるバージョンには共用のデータユニットが含まれている。しかしながら、既存のシステムは異なるバージョンのコンテンツの表示時間を制御できないため、メディアを再生するときに、空きセグメントを生じさせる可能性があり、ユーザーエクスペリエンスに影響を与える。既存のシステムを利用して各データユニットの持続期間の情報を提供し、異なる伝送ネットワークの特性を配慮している。例えば、VoD(Video on Demand)はユーザーにより選択される番組の時間に基づいてメディアリソースの初期表示時間を決める一方、ラジオおよびリアルタイム生放送は所定の時間に各設備に同期的に表示する、ということを配慮する。しかしながら、ランダムアクセスの問題およびリアルタイム生放送における実用性を考える必要がある。したがって、本実施例では三つの状況においての伝送ネットワークを例にして、異なるカスタマイズ表示タイムラインの制御メカニズムについて説明する。
(応用一) VoD
VoDサービスにおいて、ユーザーがあるマルチメディアコンテンツを選択すると、サーバーはこのような要求に応答し、ユーザーが選択するバージョンに基づいて対応するメディアデータユニットの持続時間を読み込み、対応する指導表示情報ファイルとシグナリング情報を生成する。
同じコンテンツのレベル分け表示を例にして、ある映画番組について、asset1と仮定する。図1に示されるように、第一のバージョンのビデオは簡略版の予告編であって、再生時間の長さは5分であり、映画中のハイライトのみが含まれている。第二のバージョンのビデオはカット版であって、再生時間の長さは30分であり、映画の物語の主なストーリーと重要なシーンのみが含まれている。第三のバージョンのビデオは完全版であって、再生時間の長さは120分であり、映画の物語の完全なストーリーが含まれている。第四のバージョンは拡張版であって、再生時間の長さは150分であり、完全な物語のストーリーが含まれている他、メイキングなどの補充コンテンツも含まれている。
(応用二) ラジオ番組
ラジオサービスにおいて、サーバーは予め定められる番組リストにしたがってメディアデータストリームを伝送する。ユーザーのランダムアクセスの問題に配慮して、サーバーは表示に関連する情報を交互に再生する必要がある。ユーザーは、アクセスする際に受信した現在の表示タイムラインに基づいてメディアコンテンツを見ることができる。同時に、視聴設備の状況、例えばバッテリー残量レベルなどの指標に基づいてリアスタイムに視聴のモードを切替え、設備状況に適応する上、より良いユーザーエクスペリエンスを提供する。
ラジオにより伝送される球技試合の番組を例にすると、ユーザーがモバイル設備にて球技試合を見る場合、設備のバッテリー残量を考える必要がある。メディアデータユニットを生成する際、メディアデータユニットの重要性に応じて分類する。例えば、ハイライトとゴールなどの場面は該番組における異なる関連コンテンツであり、図6に示すように、それぞれ異なる識別子を付ける。ユーザーのバッテリー状況は、大体に充分、中等と不足というレベルに分けられる。
設備のバッテリー残量が対応するレベルになると、対応するリクエストをサーバーに送信し、サーバーは、自動的に送信するビデオメディアコンテンツおよび完全な音声コンテンツを切替え、伝送のタイムラインに基づいてメディアコンテンツの同期を制御する。なお、一部のビデオメディアコンテンツを伝送する場合、ビデオデータユニット内部の時間情報を解析することができない。したがって、対応するタイムラインに関連するシグナリングを解析することによって時間の情報を取得し、設備状況に適応する番組表示を実現する。
(応用三) リアルタイム生放送
リアルタイム生放送のサービスにおいて、メディアデータを記録処理した後は直接にクライアント側に伝送する。このため、リアルタイム性に対する要求は非常に高い。リアルタイム生放送におけるユーザーのカスタマイズニーズの実現を満たすため、メディアリソースの関連コンテンツに対してはすべて迅速に独立したタイムラインを生成し制御する必要がある。
例えば、リアルタイム生放送を見るとき、ほとんどのユーザーは、図7に示すように、多視野角のサービスによって番組内容を見たがる。ネットワークの帯域幅を節約しながら安定にリアルタイムの多視野角のサービスを提供するため、サービスより提供される内容は、いずれも放送ネットワークを介してユーザーに伝送されるとともに、該メディアリソースの全ての関連コンテンツの表示タイムライン情報も伝送される。各関連コンテンツのトータル時間とコンテンツを構成したメディアデータユニットの表示時間が異なるため、異なる複数のタイムラインを生成し表示を制御する必要がある。
本発明ではメディアリソースを独立に解析可能なメディアユニットに分け、メディアユニットの関連関係を利用し、ユーザーにより選択される異なるビデオバージョンに基づいて、自動的に対応する表示タイムラインを生成する。従って、本発明における表示メカニズムは、既存技術と比べ、よりフレキシブルである。
以下、本発明の一部の具体的な実施例について詳しく説明する。
ユーザーがメディアコンテンツを再生する場合、往々には番組内容の全部について興味を持つことが稀で、番組における特定人物または特定シーンについてのみ興味を持っていることがある。スマートメディア伝送システムは、メディアコンテンツを異なる角度から分類でき、即ち異なるタブを付け、ユーザーのカスタマイズニーズの実現のために可能性を与える。カスタマイズ表示の場合、異なるバージョンの関連コンテンツは共用のメディアデータユニット含むが、これらのデータユニットの各バージョンにおける表示時間が異なるため、各バージョンに対して異なるタイムラインを生成し、再生を制御する必要がある。
上記の例において、各バージョンにおけるMPU(media processing units)メディアデータユニットの表示時間は、図8に示される通りである。ここで、duriは第i個のMPUの持続期間を表示する。図に示されるように、一つのメディアリソースにおいて、同じMPUの表示時間は異なっている。従って、同一メディアリソースの異なる関連バージョンは、いずれも独立したタイムラインで表示を指導する必要がある。
カスタマイズサービスにおけるユーザーエクスペリエンスを保証するため、メディアコンテンツがタイムライン応じて順番にユーザーが選択したコンテンツを表示できるよう、異なるメディアリソース、または同一メディアリソースの異なるバージョンのコンテンツに対して対応する表示タイムラインを提供する。本発明では、新しいdescriptor、またはその他の指導情報、例えばmessage、tableのようなシグナリング情報を新規追加することを介して、表示タイムラインの伝送を実現している。以下では、三つの方法を例にして説明する。
(方法一)
MMTにおいて定義したMPU timestamp descriptorを採用する。該descriptorには、MPUが一つのメディアリソースにおいて対応するラベルmpu_sequence_numberおよび対応するUTC絶対表示時間が標識つけられている。該descriptorのシンタクチック構造は表14に示される通りである。
descriptor_tag − 該descriptorタイプを定義するタグである。
descriptor_length − 該descriptorの長さを定義する。
mpu_sequence_number − 順番にしたがって対応するメディアリソースに含まれる全てのMPUのラベルをリストし、NはMPUの数を示している。
mpu_presentation_time − 該descriptorに対応するメディアリソースに含まれる全てのMPUのUTC絶対表示時間をリストする。
メディアコンテンツを伝送する過程において、ユーザーにより選択されるメディアコンテンツに基づいて、対応するメディアデータユニットMPUを選択して、その持続期間情報durationを解析する。メディアリソースの関連コンテンツを選択する場合、各関連コンテンツのバージョンに含まれるMPUは重複することがあり、即ち同一MPUは異なる関連コンテンツバージョンにおいて異なる絶対表示時間を持つ可能性があり、サーバーはユーザーにより選択されるバージョンに応じて対応するMPUの持続期間情報を取得する。ユーザーにより選択されるメディア再生時間、またはシステムにより決められるメディア再生時間にあわせて、指定されるMPUよりも前の全てのMPUの持続期間を累加することにより、各MPUに対応するUTC絶対表示時間、即ちdescriptorにおけるmpu_presentation_timeを計算する。
既存のMMTプロトコルが定義したシグナリング情報においては、説明的なdescriptor、例えばdependency descriptorとMPU_timestamp_descriptorが定義されている。このため、メディアコンテンツと対応する表示関連の時間情報を提供できるdescriptorを定義できる。MP tableにおいてはasset_descriptorsフィールドがあり、必要に応じてasset_descriptorsにおいて関連するdescriptorを加えることができる。マルチメディアサービスを使用する際、該descriptorをasset_descriptorsに加えることにより表示を実現できる。
しかし、オーデマンドサービスはユーザーにより主導されるため、ユーザーが見る過程において操作、例えば一時停止や早送りなどを行うことを考慮する必要がある。このような場合、サーバーが対応する各MPUのUTC絶対表示時間のみを提供すると、正確に再生を継続することができなくなり、サーバーにより表示タイムラインを新たに生成して伝送する必要があるため、膨大な計算負担および冗長性を生じさせるだけでなく、一定の遅延も生じさせてしまい、ユーザーエクスペリエンスに影響を与える。選ばれたメディアコンテンツが生放送サービスにおける放送時間が固定であるため、放送サービスにおいてUTC絶対表示時間、即ちmpu_presentation_timeを採用することは便利な方法である。ユーザーがメディアリソースを受信し、それに関連するサービスを選択するのとともに、対応するMPU_timestamp_descriptorも受信する。各関連部分のコンテンツのメディアデータユニットは、記述子における時間情報に基づいて固定の時間に表示すればよい。
(方法二)
MPU timestamp descriptorを定義する。同一メディアリソースの関連内容およびそれに対応するMPUの集合によってedit listを定義し、各バージョンの関連コンテンツに独立したedit idを付与する。descriptorにおいて各edit listに含まれている全てのMPUのmpu_sequence_numberと対応する表示時間情報を説明する。該descriptorのシンタクチック構造は表15に示される通りである。
descriptor_tag − 該descriptorタイプを定義するタグである。
descriptor_length − 該descriptorの長さを定義する。
edit_list_number − メディアリソースの関連コンテンツを定義し、N1はその数を示す。
edit_id − メディアリソースの関連コンテンツの各バージョンの番号を定義する。
mpu_sequence_number − 順番にしたがって対応するメディアリソースに含まれる全てのMPUのラベルをリストし、NはMPUの数を示している。
mpu_presentation_time − 該descriptorに対応するメディアリソースに含まれる全てのMPUのUTC絶対表示時間をリストする。
メディアコンテンツを伝送する過程において、ユーザーにより選択されるメディアコンテンツに基づいて、選ばれたメディアリソースの全ての関連コンテンツのUTC絶対表示時間mpu_presentation_timeを全部該descriptorに書き込む(時間情報を取得する方法は方法一を参照)。メディアコンテンツを消費する過程において、サーバーはシグナリング情報により上記のdescriptorをクライアント側に送信する。ユーザーはあるバージョンの関連コンテンツを選択し、それに対応するedit_idに基づいてメディアデータユニットMPUと対応する絶対表示時間mpu_presentation_timeを解析し、バージョンに対応するタイムラインを生成して表示を制御する。このような方法によれば、便利に各関連バージョンのメディアコンテンツの表示時間を取得でき、ユーザのカスタマイズニーズはいずれも同じdescriptor情報を介して指導を受けて表示するため、制御しやすい。
(方法三)
シグナリングにおいてあるメディアリソースにおける各MPUの持続期間を説明し、CI(Composition Information)において該メディアリソースの開始時間を知り、計算により各MPUのUTC絶対表示時間を得ることができる。
descriptor_tag − 該descriptorタイプを定義するタグである。
descriptor_length − 該descriptorの長さを定義する。
mpu_sequence_number − 順番にしたがって対応するメディアリソースに含まれる全てのMPUのラベルをリストし、NはMPUの数を示している。
mpu_duration − 該descriptorに対応するメディアリソースに含まれる全てのMPUのUTC絶対表示時間をリストする。
メディアコンテンツを伝送する過程において、ユーザーにより選択されるメディアコンテンツに基づいて、それに対応するメディアデータユニットMPUを選択し、その持続期間情報durationを解析するのとともに、指導の表示情報、即ちMPUのラベルmpu_sequence_numberと対応するduration情報を生成する。
異なる伝送ネットワークの状況を考えれば、このような方法は、メディアデータユニットを生成してパッケージングするとともに、それに対応する持続期間duration情報を取得できる。このため、よりリアルタイム性のニーズ、即ちリアルタイム生放送の応用ニーズを満たすことができる。絶対表示時間の代わりにduration情報を伝送することにより、クライアント側はよりフレキシブルにメディアコンテンツを自ら構築できる。それとともに、ブロードバンドオンデマンドの業務においても、ユーザーがいつでも入力操作が可能で、ユーザーのカスタマイズニーズを満たしている。
上記の三つの方法は、ブロードバンドネットワークおよび放送ネットワーク、ひいては異種ネットワークなどを含む多数のマルチメディア伝送システムをカバーできる。さらに、表示指導ファイルCIにおいて、またはシグナリング情報を伝送するその他の位置において対応する表示タイムラインを加えることによっても、同様にカスタマイズ表示サービスを実現できる。
表示を制御する過程において、放送およびリアルタイム生放送は、いずれもユーザーの現在のアクセス時間から再生するため、帯域幅リソースおよびクライアント側の保存リソース並びに計算の消費を節約するため、上記のdescriptorにおいては消費されていないMPUの表示時間情報またはduration情報(以下、この二種類の時間情報を関連時間情報とも通称する)のみ書き込み、メディアリソースに対応する全てのMPUの関連時間を書き込まない。このような方法によれば、シグナリング情報を生成する難易度が増やされるが、伝送ネットワークの帯域幅およびクライアント側の有限な計算能力を大幅に節約できる。さらに、オンデマンドサービスにはランダムにアクセスされる問題がないため、ユーザーがサービスを開始する際、限られた数のMPUの関連時間情報を伝送でき、ユーザーの再生進捗に応じて後続のMPU関連時間情報を伝送する。観賞の順調性を保証するため、観賞しているユーザーの操作にタイムリーに応答し、関連時間情報を伝送し、表示タイムラインを更新する必要がある。
本発明に係る実現方法をより分かりやすく説明するため、以下では、上記の方法三において説明した方法に従ってMPU_presentation_descriptorを生成し、VoDサービスにおけるカスタマイズ表示タイムラインメカニズムを構築し、具体的な実現プロセスを例示しながら説明する。
図4に示すように、上記の方法三を例にして説明する。図4は、マルチメディアコンテンツのカスタマイズ表示のタイムラインの制御方法を説明するための図であり、その具体的なプロセスは次のとおりである。
受信側がVoDサービスをリクエストする場合、送信側はシグナリング情報を送信し、受信側はMPI表におけるPI_content_type_length_byteフィールドを判断することによりMUR、CIとHTMLファイルを受信するとともに、ローカル保守のMPU保存データベースMySQLを更新し生成する。ユーザーが簡略版のビデオをリクエストする場合、受信側は関連メディアコンテンツのedit_listシグナリング情報を検索することにより簡略版のビデオに対応するedit_listのラベルedit_id=00、およりそれに含まれるメディアユニットのmpu_seq_numberが1、9であることを取得する。この場合、受信側はedit_id=00のメディアコンテンツをリクエストする。送信側はリクエストを解析して対応するmpu_seq_numberを取得し、メディアデータユニットMPUを解析して対応する持続時間duration情報を取得し、MPU_presentation_descriptorシグナリングを生成する。受信側は、対応するシグナリングを受信し、MPU_presentation_descriptorとCIにおける開始時間に基づいて各MPUの絶対表示時間を生成し、表示タイムラインを保守する。それとともにメディアデータを受信し、ローカルに保存してユーザーに再生し、ローカルデータベースを更新する。ユーザーが引き続いてカット版のビデオをリクエストするならば、カット版のビデオではedit_id=00U01である。関連メディアコンテンツのedit_listシグナリングとローカルデータベースにおける既存のMPUをチェックすることにより、送信側にedit_id=01のメディアリソースをリクエストする。受信側は、シグナリングとメディアデータを受信した後、解析してリソースにおけるメディアデータユニットmpu_seq_numberを取得し、MPU_presentation_descriptorシグナリングにおけるduration情報に基づいてカット版のビデオに含まれるMPUの表示時間を新たに計算し、表示タイムラインを更新する。それとともに、mpu_seq_numberが4、6のMPUを受信し、ローカルに保存する。
本実施例では、ユーザーのカスタマイズニーズを満たすとともに、同じ特性の番組の関連性を利用して、保存スペースを節約するうえ、ユーザーの順調な楽しみ体験を保障できる。メディアの表示ライムライン情報がシグナリング情報に応じて柔軟に発送されるため、メディアリソースを消費する過程において表される遅延とパケットロスによるユーザーエクスペリエンスの低下について、表示時間の前にパケットロスを発見する場合、メディアリソースを新たに取得することを待つか、一つ前のメディアデータユニットの内容を繰り返し表示することにより再生故障を避けてユーザーエクスペリエンスを保証できる。
上記の本発明に係る実施例においてはMMTを例にして、解決方法を釈明しているが、これらの方法はその他のファイルのパッケージング、伝送システムおよびプロトコルにも用いられる。
以上、本発明の具体的な実施例について説明した。ただし,本発明は上記特定の実施形態に限定されず,いわゆる当業者であれば特許請求の範囲内において様々な変形や改良を行うことができるが,これらは本発明の実質的な内容に影響を及ぼさないことに理解すべきである。

Claims (31)

  1. マルチメディアコンテンツプロバイダーによりマルチメディアファイルを制作する際、完成されたファイルコンテンツをまとまって制作するとともに、コンテンツの重要度および/または関連度合いに基づいてMPDファイルに@scaleIDの属性を追加することよって標識を行う方法により完成されたファイルコンテンツにおけるセグメントに対してレベル分けすることによって、異なるバージョンのマルチメディアファイルを生成することと、
    ユーザーは異なるバージョンのマルチメディアファイルを選択的にプレビューおよび/または再生を行うことと、
    を含む、関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  2. コンテンツプロバイダーはマルチメディアファイルの表示インターフェースにおいてセグメントのレベル分けに関連するバージョン情報を提供することにより、ユーザーによるコンテンツの選択および消費に供する、請求項1に記載の関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  3. コンテンツをレベル分けしたバージョンに対する管理を通じて、マルチメディアファイルを複数のバージョンに分けるステップ1と、
    バージョンに関連する差異化MPDファイルの生成し、該MPDファイルは、前記マルチメディアファイルの複数のバージョンに基づいて、コンテンツのレベル分けに対応するMPDファイルであって、コンテンツレベル分けのバージョン管理タブであるステップ2と、
    ユーザーが自らの必要に応じて異なるバージョンのマルチメディアファイルコンテンツをリクエストし、サーバーはまとまったMPDファイルを伝送し、クライアント側はMPDを解析してから自身のネットワーク環境、設備能力およびリクエストしたバージョンの状況に基づいて、サーバーに対応するメディアセグメントのコンテンツをリクエストするステップ3と、
    を含む、請求項1または2に記載の関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  4. 前記マルチメディアファイルの複数のバージョンはMPDにおけるsegmentリストに対応しており、これらのsegmentを生成する際、マッチングするコンテンツバージョンのMPDファイルが自動的に生成され、MPD要素において該MPDファイルによって説明されるコンテンツレベル分けのレベルを定義するための@scaleIDの属性が追加され、Representation要素のSegmentListサブ要素におけるsegmentリストは単なるすべてのセグメントのリストではなく、MPD@scaleIDに対応する特定のクリップリストである、請求項3に記載の関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  5. コンテンツをレベル分けしたバージョンに対する管理を通じて、マルチメディアファイルを複数のバージョンに分けるステップ1と、
    複数のバージョンに対して対応するMPDファイルは1つのみ生成され、MPDファイルのsegment説明には、コンテンツレベル分けのバージョン管理タグである@scaleIDの属性が追加されるステップ2と、
    ユーザーが自らの必要に応じて異なるバージョンのマルチメディアファイルコンテンツをリクエストし、サーバーはまとまったMPDファイルを伝送し、クライアント側はMPDを解析してから自身のネットワーク環境、設備能力およびリクエストしたバージョンの状況に基づいて、サーバーに対応するメディアセグメントのコンテンツをリクエストするステップ3と、
    を含むことを特徴とする、請求項1または2に記載の関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  6. 前記異なるバージョンのマルチメディアファイルはMPDファイルのsegmentリストに対応しており、これらのsegmentが生成する際、MPDファイルに含まれているRepresentation要素のSegmentListサブ要素におけるsegmentごとに該segmentの最低バージョンレベルを使用することを表示するための@scaleIDの属性が提供される、請求項1に記載の関連マルチメディアコンテンツのカスタマイズ表示の実現方法。
  7. マルチメディアファイルを制作する際、マルチメディアコンテンツの重要なセグメントに対して標識を行い、マルチメディアファイルコンテンツの重要度に応じて各セグメントを異なるレベルに分けことと、
    ユーザーにより再生する際、盲目的にランダムに選択するのではなく、これらのレベルに基づいてマルチメディアコンテンツを選択的に再生することと、
    マルチメディアファイルと異なるバージョンのコンテンツと、mpu_seq_numberというMPUにおける標識フィールドと、異なるバージョンのビデオと一対一の対応関係を有するlevel_listというmpu_seq_numberの集合との間の対応関係を説明するためのMUR情報ファイルを新たに定義することと、
    を含む、マルチメディアコンテンツのレベル分け技術の実現方法。
  8. あるマルチメディアコンテンツを複数のMPUセグメントに分け、異なるバージョンにレベル分けしてからmpu_seq_numberと対応関係を持たせることと、
    マルチメディアファイルと異なるバージョンのコンテンツ、mpu_seq_number、level_listとの間の対応関係を説明するためのMUR情報ファイルを新たに定義し、level_list配列と異なるバージョンのコンテンツ時間との対応規則が異なることに応じて、異なるバージョンのコンテンツとlevel_listとは一対一に対応するタイプ1と、異なるバージョンのコンテンツは異なるlevel_listの組み合わせであるタイプ2と、の二つのタイプに分けることと、
    タイプ1およびタイプ2におけるMUR情報ファイルに基づいてマルチメディアファイル対して差異化伝送を行うことと、
    を含む、請求項7に記載のマルチメディアコンテンツのレベル分け技術の実現方法。
  9. 前記タイプ1において、level_listは異なるMPUにより組み合わせられ、異なるバージョンのビデオとは一対一に対応しており、ユーザーがより多くのクリップをリクエストする際、serverはユーザーの欠如しているMPUのみを伝送し、
    前記タイプ2において、level_listは異なるMPUにより組合せられ、各level_list[ ]の間には重畳するMPUが現れることなく、異なるバージョンは異なるlevel_listにより組み合わせられ、ユーザーがカットバージョンのビデオを再生した後、さらに完全バージョンのビデオを再生しようとする場合、特定のlevel_list[ ]に含まれているMPUセグメントの差異化伝送のみを行う、請求項8に記載のマルチメディアコンテンツのレベル分け技術の実現方法。
  10. 前記MUR情報ファイルにはコンテンツレベル分けの重要情報が含まれており、これらの重要情報はシグナリング情報にMUR情報を追加することにより伝送される、請求項7〜9のいずれか一項に記載のマルチメディアコンテンツのレベル分け技術の実現方法。
  11. 前記シグナリング情報にMUR情報を追加する方法は、MUR情報を現在のCIファイルに追加すること、シグナリング情報にMUR情報を説明するためのMURファイルを追加すること、MUR情報を説明するためのdescriptorというMMTにおけるシグナリング部分が一部のフィールドまたは機能を定義するための説明的な情報を追加すること、またはMUR情報を説明するためのシグナリングテーブルを追加すること、である、請求項10に記載のマルチメディアコンテンツのレベル分け技術の実現方法。
  12. 請求項1〜11のいずれか一項に記載の方法を利用するスマートホームの制御方法であって、
    ビデオにおける主要フレームの画像の主な色調および/またはシーンのシナリオ特徴に基づいてビデオセグメントに対して標識を行う、またはオーディオデータの特徴に基づいて標識を行い、対応するタブを追加し、これらのマルチメディアコンテンツを再生するたび、標識されたタブはスマートホームの設備が動作するように駆動する、スマートホームの制御方法。
  13. 前記ビデオにおける主要フレームの画像の主な色調に基づいてビデオセグメントに対して標識を行うことは、ビデオMPUにおける主要フレームの画像の主な色調を抽出して標識を行い、MPUBoxにおいて予備されているreservedフィールドを用いてcolor_tagを定義することであり、異なる色には異なるcolor_tagを使用できる、請求項12に記載のスマートホームの制御方法。
  14. ビデオMPUにおける主要フレームの画像の主な色調を分析することによりcolor_tagに値を付与する、またはアルゴリズムによってMPUにおける主要フレームの画像の主な色調を抽出して値を付与することを自動に行う、請求項13に記載のスマートホームの制御方法。
  15. MPUBoxにおけるreservedフィールドの7bitをcolor_tagに使用し、該bit桁は必要に応じて拡張可能である、請求項13に記載のスマートホームの制御方法。
  16. 前記ビデオにおけるシーンのシナリオ特徴に基づいてビデオセグメントに対して標識を行うことは、ビデオにおけるあるシーンのパターンを抽出し、MPUに対して標識を行い、MPUBoxにおけるreservedフィールドをscene_tagに定義する、ことである、請求項12〜15のいずれか一項に記載のスマートホームの制御方法。
  17. 前記オーディオデータの特徴に基づいて標識を行うことは、オーディオMPUにおけるトーン特徴を抽出し、MPUに対して標識を行い、MPUBoxにおけるreservedフィールドをtone_tagに定義する、ことである、求項12〜15のいずれか一項に記載のスマートホームの制御方法。
  18. 請求項1または7に記載の実現方法において、レベル分けした後のコンテンツを伝送するための関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法であって、
    メディアリソースの関連マルチメディアコンテンツは異なるedit list(編集リスト)により表示され、異なるedit listに含まれているメディアデータユニットの間は補充関係または包含関係であることと、
    メディアリソースの分類および説明情報の対応関係をユーザーに表示するため、伝送する情報においてメディアリソースの特徴情報または関連情報の説明としてマルチメディアコンテンツに対する説明情報が含まれているdescriptorシグナリング情報を追加することにより、カスタマイズ表示のメカニズムを実現することと、
    を含む、関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  19. 前記マルチメディアコンテンツの特徴情報または関連情報の説明は、既に含まれているCI(Composition Information)要素のMediaSyncにおいて、descriptorの属性を新規追加することであり、descriptionはメディアソースに対応するコンテンツの説明情報の説明に用いられる、請求項18に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  20. 前記マルチメディアコンテンツの特徴情報または関連情報の説明は、CIファイルにおいて新たにEditDesp要素を追加して、メディアリソースにおける異なる関連コンテンツの説明情報の説明に用いることである、請求項18に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  21. マルチメディアコンテンツの情報はMediaSyncに保存され、CIにおいてMediaSyncと同じレベルのEditDesp要素を追加し、異なるレベルのメディアリソースの説明情報を指し示すために専用することと、
    edit要素はEditDesp要素のサブ要素であり、各edit要素は一つのレベルのカスタマイズ表示の説明情報表すことと、
    edit要素のもと、edit_idの属性とdescriptionの属性を新規追加し、edit_idの属性はあるレベルまたはある部分のメディアリソースの標識に用いられ、descriptionの属性はメディアリソースにおける異なるコンテンツの説明情報の説明に用いられることと、
    を含む、請求項20に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  22. 前記マルチメディアコンテンツの特徴情報または関連情報の説明は、シグナリングにおいてdescriptorの説明を追加し、descriptionはメディアリソースにおける異なる関連コンテンツの説明情報の説明に用いられる、請求項18に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  23. MMTプロトコルにおいて定義されたシグナリング情報において、新たにdescriptorを定義し、該descriptorは関連マルチメディアコンテンツに対応する説明情報を提供し、MP tableにはasset_descriptorsフィールドが含まれており、ユーザーがある番組コンテンツの説明情報を確認しようとする場合、該descriptorをasset_descriptorsに追加することにより実現する、請求項18に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  24. 同一メディアリソースに含まれているメディアデータユニットの標識または対応する説明情報を定義し、伝送されるメディアリソースにおける各種のマルチメディアコンテンツに対する説明情報が含まれているdescriptorシグナリング情報を作成するステップと、
    クライアント側においてdescriptorシグナリング情報を解析し、ユーザーは必要に応じて対応する標識または情報表示を有するマルチメディアコンテンツを選択し、対応するメディアデータユニットをリクエストして対応するedit listに組み合わせるステップと、
    サーバー側はユーザーからのリクエストを解析してから対応するメディアデータユニットに送信し、クライアント側において情報を解析してからカスタマイズ表示を実現するステップと、
    を含む、請求項18〜23のいずれか一項に記載の関連マルチメディアコンテンツのカスタマイズ表示情報の説明方法。
  25. 請求項1または7に記載の実現方法において、マルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法であって、
    マルチメディアリソースの表示中に、メディアデータユニットの持続期間情報および表示の初期時間に基づいて関連コンテンツの表示時間を制御し、異なるメディアリソースまたは同一メディアリソースにおける異なる関連バージョンに対応する表示タイムラインを与える、マルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  26. ユーザーにより選択されるメディアリソースの関連コンテンツバージョンに含まれているメディアデータユニットに基づいて、各メディアデータユニットに対してそれに対応する持続期間情報を取得するステップS1と、
    VoDにおいては、ユーザーによりメディアリソースを選択する際の時間に基づいて再生開始時間を確定し、ブロードキャストサービスにおいては、サービスプロバイダーによって再生開始時間を確定し、シグナリング情報において再生開始時間の標識を行うステップS2と、
    ステップS2における再生開始時間と、対応する関連コンテンツバージョンにおけるメディアデータユニットの持続時間とを加算することにより取得される対応するメディアデータユニットの絶対表示時間に基づいて、対応する表示タイムラインを維持して、メディアコンテンツの表示を指導するステップS3と、
    を含む、請求項25に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  27. ステップS1において、前記関連コンテンツバージョンは、ユーザーの必要に応じてメディアリソースに対して標識を行い、標識されたedit idに基づいて異なる関連バージョンのコンテンツを生成し、異なるedit listとして請求項9に記載のlevel listに対応させることを指す、請求項26に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  28. 記の表示タイムラインは、選択されたメディアコンテンツに含まれているメディアデータユニットの絶対表示時間情報の組み合わせを指す、請求項25に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  29. MMTにおいて定義されたMPU timestamp descriptorを利用し、descriptorにはMPUのメディアリソースにおける対応する番号mpu_sequence_numberおよび対応するUTC絶対表示時間が標識されていることと、
    ユーザーがあるメディアリソースの関連コンテンツバージョンを消費する場合、サーバーはユーザーがリクエストした関連バージョンに基づいて、該バージョンに含まれているメディアデータユニットの番号および対応する持続期間情報を取得し、対応するdescriptorを生成することと、
    を含む請求項25〜28のいずれか一項に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  30. MPU timestamp descriptorを定義し、同一メディアリソースの関連コンテンツおよびそれに対応するMPUの集合に基づいてedit listを定義して、各バージョンの関連コンテンツに対して独自のedit idを付与し、descriptorにおいて各edit listに含まれているすべてのMPUのmpu_sequence_numberおよび対応する表示時間情報を説明することと、
    ユーザーがあるバージョンの関連コンテンツを選択した場合、対応するedit_idに基づいてそれに含まれているメディアデータユニットおよび対応する絶対表示時間mpu_presentation_timeを解析し、対応するバージョンのタイムラインを生成して表示を制御することと、
    を含む、請求項25〜28のいずれか一項に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
  31. シグナリングにおいてあるメディアリソースにおける各MPUの持続時間を説明し、シグナリング情報から該メディアリソースの開始時間を取得し、演算により各MPUのUTC絶対表示時間を取得することと、
    メディアコンテンツの伝送過程において、ユーザーにより選択されたメディアコンテンツに基づいて、対応するメディアデータユニットMPUを選択し、その持続時間情報durationを解析するとともに指導表示情報であるMPUの番号mpu_sequence_numberおよび対応するduration情報を生成することと、
    を含む、請求項25〜28のいずれか一項に記載のマルチメディアコンテンツのカスタマイズ表示に使用されるタイムラインの制御方法。
JP2017541331A 2015-02-13 2016-02-02 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用 Active JP6567064B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
CN201510080580.4 2015-02-13
CN201510080011.X 2015-02-13
CN201510080011.XA CN105988369B (zh) 2015-02-13 2015-02-13 一种内容驱动的智能家居控制方法
CN201510080580.4A CN105992061B (zh) 2015-02-13 2015-02-13 一种自适应动态的多媒体分级传送播放管理方法
CN201510401550.9 2015-07-09
CN201510401550.9A CN106341740B (zh) 2015-07-09 2015-07-09 一种多媒体内容分级技术的实现方法
CN201510955611.6 2015-12-17
CN201510955611.6A CN106899866B (zh) 2015-12-17 2015-12-17 一种关联多媒体内容个性化呈现信息的描述方法
CN201610031034.6 2016-01-18
CN201610031034.6A CN106982376B (zh) 2016-01-18 2016-01-18 一种多媒体内容个性化呈现的时间线控制方法
PCT/CN2016/073167 WO2016127862A1 (zh) 2015-02-13 2016-02-02 一种关联多媒体内容个性化呈现的实现方法及应用

Publications (2)

Publication Number Publication Date
JP2018509065A JP2018509065A (ja) 2018-03-29
JP6567064B2 true JP6567064B2 (ja) 2019-08-28

Family

ID=56615455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017541331A Active JP6567064B2 (ja) 2015-02-13 2016-02-02 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用

Country Status (5)

Country Link
US (1) US10433029B2 (ja)
JP (1) JP6567064B2 (ja)
KR (2) KR102378107B1 (ja)
CA (1) CA3004644C (ja)
WO (1) WO2016127862A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
EP3446551B1 (en) * 2016-04-22 2019-08-14 Signify Holding B.V. Controlling a lighting system
US20170344523A1 (en) * 2016-05-25 2017-11-30 Samsung Electronics Co., Ltd Method and apparatus for presentation customization and interactivity
GB201714592D0 (en) * 2017-09-11 2017-10-25 Provost Fellows Found Scholars And The Other Members Of Board Of The College Of The Holy And Undivid Determining representative content to be used in representing a video
US11039206B2 (en) * 2018-04-09 2021-06-15 Hulu, LLC Differential media presentation descriptions for video streaming
EP3808158B1 (en) * 2018-06-15 2022-08-10 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene
US10791376B2 (en) * 2018-07-09 2020-09-29 Spotify Ab Media program having selectable content depth
US10419786B1 (en) 2018-07-20 2019-09-17 Fubotv Inc. Systems and methods for securely generating live previews
US11200425B2 (en) * 2018-09-21 2021-12-14 Samsung Electronics Co., Ltd. Method for providing key moments in multimedia content and electronic device thereof
US10924776B2 (en) * 2019-03-27 2021-02-16 Rovi Guides, Inc. Systems and methods for media content navigation and filtering
US10897642B2 (en) 2019-03-27 2021-01-19 Rovi Guides, Inc. Systems and methods for media content navigation and filtering
CN113114608B (zh) * 2020-01-10 2022-06-10 上海交通大学 点云数据封装方法及传输方法
CN111259257A (zh) * 2020-02-14 2020-06-09 北京达佳互联信息技术有限公司 一种信息展示方法、系统、装置、电子设备及存储介质
US11570517B2 (en) * 2020-06-23 2023-01-31 Tencent America LLC Application intended interactive selection information for interactive playback of dash content
CN114661386A (zh) * 2020-12-22 2022-06-24 腾讯科技(深圳)有限公司 点云视窗的呈现方法、装置、计算机可读介质及电子设备
CN115150368B (zh) * 2021-03-31 2023-11-03 腾讯科技(深圳)有限公司 媒体文件的关联处理方法、装置、介质及电子设备
CN115278326A (zh) * 2021-04-29 2022-11-01 腾讯科技(深圳)有限公司 视频展示方法、装置、计算机可读介质及电子设备
CN114007122B (zh) * 2021-10-13 2024-03-15 深圳Tcl新技术有限公司 一种视频播放方法、装置、电子设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350182A (ja) * 1999-06-01 2000-12-15 Ricoh Co Ltd 動画配信システム
US20030219708A1 (en) * 2002-05-23 2003-11-27 Koninklijke Philips Electronics N.V. Presentation synthesizer
FI1969839T4 (fi) * 2005-12-29 2023-08-31 Useita laitteita sisältävä interaktiivinen medianohjausjärjestelmä
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
KR100820350B1 (ko) * 2007-02-08 2008-04-08 (주)센텍 다양한 파일 컨테이너 포멧을 지원하기 위한 통합 스트리밍서버 및 스트리밍 구현방법
US8712958B2 (en) * 2008-07-16 2014-04-29 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata
WO2010008235A2 (ko) * 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
JP2010225003A (ja) * 2009-03-25 2010-10-07 Kddi Corp コンテンツ受信再生装置、コンテンツ受信再生方法、およびプログラム
KR101180127B1 (ko) * 2009-11-30 2012-09-05 이두한 멀티미디어파일 재생방법 및 멀티미디어 재생기기
JP2011029948A (ja) * 2009-07-27 2011-02-10 Hitachi Consumer Electronics Co Ltd コンテンツ処理装置
US9445135B2 (en) * 2010-09-17 2016-09-13 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
CN102447818A (zh) * 2010-09-30 2012-05-09 上海维阔信息技术有限公司 视频版权保护和分级观看的播放方法
KR20120119790A (ko) * 2011-04-22 2012-10-31 삼성전자주식회사 미디어 데이터 전송 방법 및 장치와 미디어 데이터 수신 방법 및 장치
WO2011144097A2 (zh) * 2011-05-26 2011-11-24 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
JP5921852B2 (ja) * 2011-10-21 2016-05-24 シャープ株式会社 配信装置
US9380282B2 (en) * 2012-03-26 2016-06-28 Max Abecassis Providing item information during video playing
US8887215B2 (en) * 2012-06-11 2014-11-11 Rgb Networks, Inc. Targeted high-value content in HTTP streaming video on demand
US20140282792A1 (en) * 2013-03-15 2014-09-18 Cygnus Broadband, Inc. Video streaming with buffer occupancy prediction based quality adaptation
GB2512310A (en) * 2013-03-25 2014-10-01 Sony Corp Media Distribution
KR102080116B1 (ko) * 2013-06-10 2020-02-24 삼성전자 주식회사 이동통신 시스템에서 비디오 비트레이트 할당 방법 및 장치
CN103974147A (zh) * 2014-03-07 2014-08-06 北京邮电大学 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
CN104093240B (zh) * 2014-06-30 2016-08-24 广东九联科技股份有限公司 一种智能调节环境灯光的系统

Also Published As

Publication number Publication date
US10433029B2 (en) 2019-10-01
KR20170110112A (ko) 2017-10-10
KR20190016618A (ko) 2019-02-18
KR101988454B1 (ko) 2019-06-12
CA3004644C (en) 2021-03-16
KR102378107B1 (ko) 2022-03-25
WO2016127862A1 (zh) 2016-08-18
CA3004644A1 (en) 2016-08-18
JP2018509065A (ja) 2018-03-29
US20180041820A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
JP6567064B2 (ja) 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用
JP6449494B2 (ja) 再生装置
JP6054398B2 (ja) 適応httpストリーミングのための表示の改善された切り替えを提供する切替シグナリング方法
EP2033444A1 (en) Distribution of ambience and content
KR20100008775A (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20170141677A (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
JP6632550B2 (ja) タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス
CN106982376B (zh) 一种多媒体内容个性化呈现的时间线控制方法
CA2924036C (en) Receiving device, receiving method, transmitting device, and transmitting method
KR102533674B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
CN106899866B (zh) 一种关联多媒体内容个性化呈现信息的描述方法
KR20060124368A (ko) 컨텐츠의 재생 구간 정보를 이용한 멀티미디어 컨텐츠 제공시스템 및 방법
Bomcke et al. An interactive video streaming architecture for H. 264/AVC compliant players
KR20190012215A (ko) 멀티미디어 콘텐츠 위젯에 대한 개성화 표현 방법 및 시스템
KR101614946B1 (ko) 장면 간의 링크를 이용한 멀티미디어 컨텐츠 재생 방법 및 장치
KR20110117568A (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
US20100138881A1 (en) Smmd home server and method for realistic media reproduction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R150 Certificate of patent or registration of utility model

Ref document number: 6567064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250