JP6516675B2 - マルチメディア通信システムにおけるメディア情報送受信方法及び装置 - Google Patents

マルチメディア通信システムにおけるメディア情報送受信方法及び装置 Download PDF

Info

Publication number
JP6516675B2
JP6516675B2 JP2015536719A JP2015536719A JP6516675B2 JP 6516675 B2 JP6516675 B2 JP 6516675B2 JP 2015536719 A JP2015536719 A JP 2015536719A JP 2015536719 A JP2015536719 A JP 2015536719A JP 6516675 B2 JP6516675 B2 JP 6516675B2
Authority
JP
Japan
Prior art keywords
information
area
screen
region
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015536719A
Other languages
English (en)
Other versions
JP2015534797A (ja
Inventor
ヨン−スン・リュ
キュ−ヒョン・キム
ミンウー・ジョ
ジェ−ヨン・ソン
スン−リュル・リュ
グワン−フン・パク
ドゥ−ユン・スー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015534797A publication Critical patent/JP2015534797A/ja
Application granted granted Critical
Publication of JP6516675B2 publication Critical patent/JP6516675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H04N21/83555—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed using a structured language for describing usage rules of the content, e.g. REL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、マルチメディア通信システムに関し、より詳細には、マルチメディア通信システムにおけるメディア情報送受信方法及び装置に関するものである。
最近では、スマートフォンの普及とともに、タブレットパーソナルコンピュータ（ＰＣ）、及びスマートテレビジョン（ＴＶ）までスマートメディア環境が存在している。スマートフォンで導かれたスマートデバイスの発展は、ＰＣ、ＴＶ、及びモバイルデバイスのための３−スクリーンに取って代わるとともに、スマートＴＶ、タブレットＰＣ、及びクラウドコンピューティングのためのマルチスクリーン（Multi-Screen）の使用を活性化させつつクロスメディア環境を実現した。スマートメディア及びクラウドコンピューティングの成長及び通信環境の変化とともに、本格的なマルチスクリーンサービスが始まる展望である。
マルチスクリーンサービスは、１つ以上のメディアをスマートフォン、ＰＣ、スマートＴＶ、タブレットＰＣなどのような様々な端末で交換するための次世代コンピュータ・ネットワークサービスを意味する。このようなマルチスクリーンサービスは、ユーザが複数の端末を用いて様々なメディアを同時に使用することができるだけではなく、いずれの場所でもメディアを使用することができるようにする。
このようなマルチスクリーンサービスは、複数の端末が複数のメディアを同時に使用し得るという点、及び共有されたメディアに対するスクリーン上の配置が必要であるという点で、場面構成情報と若干の類似した側面を有する。したがって、場面構成情報とともにマルチスクリーンサービスのための端末間のメディア交換方法を提供する必要がある。
場面構成情報及びマルチスクリーン情報をそれぞれ提供することは、２つのサービスが異なるアプリケーションを通して提供されることを意味し、これは、次のような２通りの問題点をもたらす。１つは、異なるサービスを同時に提供することにより端末に負荷が生じることがある。他の１つは、ユーザが１つの画面上に表示される実行中の２つのアプリケーションを視聴する場合に、メディアは、サービスの品質及びユーザ体験を低下させることがある。
上述した情報は、本発明の理解を助けるために背景情報だけとして提示される。本発明に対する先行技術で適用されることができるのか否かに関してはいかなる決定及びいかなる主張もない。
本発明は、上述した課題又は不都合な点を解決し、少なくとも以下に示す優位性を提供する。すなわち、本発明の目的は、マルチメディア通信システムにおけるメディア情報送受信方法及び装置を提供することにある。
本発明の別の目的は、場面構成情報を使用する端末間のメディア通信方法及び装置を提供することにある。
本発明のさらに別の目的は、複数の端末がメディア通信に基づいて効率的に画面を構成できるようにする方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、マルチメディア通信システムにおける第１の端末がメディア情報を送信する方法を提供する。この方法は、複数のメディアのうちの少なくとも１つのメディアに関する情報を含む場面構成情報を生成するステップと、場面構成情報を第２の端末に送信するステップとを有し、少なくとも１つのメディアに関する情報は、第２の端末で少なくとも１つのメディアの再生を許容するか否かを示す情報と、少なくとも１つのメディアを再生するために使用されるリソース情報と、画面上の少なくとも１つのメディアを再生するために使用される位置情報と、少なくとも１つのメディアの再生時間情報とのうちの少なくとも１つを含むことを特徴とする。
本発明の別の態様によれば、マルチメディア通信システムにおける第２の端末がメディア情報を受信する方法を提供する。この方法は、複数のメディアのうちの少なくとも１つのメディアに関する情報を含む場面構成情報を第１の端末から受信するステップと、場面構成情報に基づいて少なくとも１つのメディアを再生するステップとを有し、少なくとも１つのメディアに関する情報は、第２の端末で少なくとも１つのメディアの再生を許容するか否かを示す情報と、少なくとも１つのメディアを再生するために使用されるリソース情報と、画面上の少なくとも１つのメディアを再生するために使用される位置情報と、少なくとも１つのメディアの再生時間情報とのうちの少なくとも１つを含むことを特徴とする。
本発明のまた別の態様によれば、マルチメディア通信システムにおける第１の端末が提供される。この第１の端末は、複数のメディアのうちの少なくとも１つのメディアに関する情報を含む場面構成情報を生成する制御部と、場面構成情報を第２の端末に送信する送信部とを具備し、少なくとも１つのメディアに関する情報は、第２の端末で少なくとも１つのメディアの再生を許容するか否かを示す情報と、少なくとも１つのメディアを再生するために使用されるリソース情報と、画面上の少なくとも１つのメディアを再生するために使用される位置情報と、少なくとも１つのメディアの再生時間情報とのうちの少なくとも１つを含むことを特徴とする。
本発明のさらに別の態様によれば、マルチメディア通信システムにおける第２の端末が提供される。この第２の端末は、複数のメディアのうちの少なくとも１つのメディアに関する情報を含む場面構成情報を第１の端末から受信する受信部と、場面構成情報に基づいて少なくとも１つのメディアを再生する制御部とを具備し、少なくとも１つのメディアに関する情報は、第２の端末で少なくとも１つのメディアの再生を許容するか否かを示す情報と、少なくとも１つのメディアを再生するために使用されるリソース情報と、画面上の少なくとも１つのメディアを再生するために使用される位置情報と、少なくとも１つのメディアの再生時間情報とのうちの少なくとも１つを含むことを特徴とする。
本発明の他の目的、利点、及び顕著な特徴は、添付の図面及び本発明の実施形態からなされた以下の詳細な説明から、この分野の当業者に明確になるはずである。
本発明の実施形態によると、場面構成情報を使用して端末間のメディア通信のために使用される情報を提供する技術は、場面構成サービス及びマルチスクリーンサービスを１つのアプリケーションで提供するためのベースとなることができ、２つのサービス間のオーバーラッピング機能の重複使用を減少させるのに効率的に使用されることができる。
本発明の実施形態の上述した及び他の様相、特徴、及び利点は、以下の添付図面が併用された後述の詳細な説明から、より一層明らかになるだろう。
本発明の実施形態によるコンポジション情報（ＣＩ）に基づく画面上の領域の配置を示す図である。 本発明の実施形態による付加デバイスでの特定のメディアの再生を制限するための基本デバイスの動作を示すフローチャートである。 本発明の実施形態による特定のメディアの再生が制限された付加デバイスの動作を示すフローチャートである。 本発明の実施形態による付加デバイスで再生される特定のメディアを示す図である。 本発明の実施形態による付加デバイスで再生される特定のメディアを示す図である。 本発明の実施形態による付加デバイスが特定のメディアを再生できるようにするための基本デバイスの動作を示すフローチャートである。 本発明の実施形態による特定のメディアを再生する付加デバイスの動作を示すフローチャートである。 本発明の実施形態による同一のメディアを再生する基本デバイス及び付加デバイスを示す図である。 本発明の実施形態による同一のメディアを再生する基本デバイス及び付加デバイスを示す図である。 本発明の実施形態による付加デバイスと同一のメディアを再生する基本デバイスの動作を示すフローチャートである。 本発明の実施形態による基本デバイスと同一のメディアを再生する付加デバイスの動作を示すフローチャートである。 本発明の実施形態による基本デバイスで再生されたメディアが付加デバイスに転送される例を示す図である。 本発明の実施形態による基本デバイスで再生されたメディアが付加デバイスに転送される例を示す図である。 本発明の実施形態による付加デバイスにメディアを転送する基本デバイスの動作を示すフローチャートである。 本発明の実施形態による基本デバイスから受信されたメディアを再生する付加デバイスの動作を示すフローチャートである。 本発明の実施形態による付加デバイスへの追加のメディア転送の時に画面が再構成される例を示す図である。 本発明の実施形態による付加デバイスへの追加のメディア転送の時に画面が再構成される例を示す図である。 本発明の実施形態によるメディア通信に基づいて画面構成を変更する付加デバイスの動作を示すフローチャートである。 本発明の実施形態によるＣＩを使用して端末間のメディア通信に基づいてサービスを実行する手続きを示す図である。 本発明の実施形態によるＣＩを使用して端末間のメディア通信に基づいてサービスを実行する手続きを示す図である。 本発明の実施形態による端末の構成を示すブロック図である。
図面中、同一の図面参照符号が同一の構成要素、特性、又は構造を意味することは、容易に理解できるであろう。
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供され、この理解を助けるための様々な特定の詳細を含むが、これらは単なる実施形態にすぎない。したがって、本発明の範囲及び趣旨を逸脱することなく、ここに説明した実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかであろう。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明を省略する。
以下の説明及び特許請求の範囲で使用する用語及び単語は、辞典的意味に限定されるものではなく、本発明の理解を明確且つ一貫性があるようにするために使用される。したがって、本発明の実施形態の説明が単に実例を提供するためのものであって、特許請求の範囲及びこれと均等なものに基づいて定義される発明をさらに限定する目的で提供されるものでないことは、本発明の技術分野における通常の知識を持つ者には明らかであろう。
本願明細書に記載の各要素は、文脈中に特に明示しない限り、複数形を含むことは、当業者には理解できるであろう。したがって、例えば、“コンポーネント表面（a component surface）”との記載は、１つ又は複数の表面を含む。
ここで使用される用語は、特定の実施形態のみを説明するためのものであり、本発明を限定するのではない。本明細書で使用されている“具備する”又は“有する”などの用語は、明細書上に記載された特徴、数、ステップ、動作、構成要素、エレメント、又はこれらの組み合せの存在を指定するものであって、１つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はこれらの組み合せの存在又は付加可能性を予め排除しないものと理解されるべきである。
用語が異なって定義されない限り、技術的な又は科学的な用語を含めてここで使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者により一般的に理解されるものと同一の意味を有している。一般的に使用される予め定義されているもののような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されなければならず、本出願で明白に定義しない限り、理想的であるか又は過度に形式的な意味であると解釈されない。
本発明は、マルチメディア通信システムにおけるメディア情報を送受信する方法及び装置を提供する。具体的に、本発明の実施形態は、１つ以上のメディアが他の端末により再生（又はプレイ）されるようにするために場面構成情報を使用してメディア通信関連属性を提供する方法と、メディアの取得及び返還を行う時点を提供するためのイベントを定義する方法と、メディアリソース情報及び場面構成情報を転送する方法と、これに関連した装置とを提供する。
本発明の様々な実施形態では、場面構成情報（交互に呼ばれるコンポジション情報（ＣＩ））を使用するメディアサービスについて説明する。しかしながら、本発明の実施形態は、場面構成情報を使用するメディアサービスに限定されるのではなく、様々なマルチメディアを組み合せて構成することによりサービスを提供する任意の他の領域に適用され得る。
様々な実施形態において、場面構成情報は、様々なメディアの時空間情報及び場面構成情報のエレメント間の関係を説明するための情報を含み得る。
場面構成情報は、拡張可能マークアップ言語（eXtensible Markup Language：ＸＭＬ）を使用して生成され得る。以下では、場面構成情報及び場面構成情報に関連した情報を表１に示すように定義する。
Figure 0006516675
以下では、本発明の様々な実施形態を具体的に説明する。
マルチメディア通信システムにおける複数の端末が存在する場合に端末間のメディア通信が実行され得る。すなわち、１つの端末は、他の端末にメディアを提供し、他の端末は、メディアを順番に再生（又は、プレイ）し得る。
ここで使用されるように、メディアを他の端末に提供する端末を基本デバイス（primary device）と称し、基本デバイスからメディアを受信する他の端末を付加デバイス（secondary device）と称する。
基本デバイス又は付加デバイスは、以下に述べられる表２に示すようなコンポジション情報（Composition Information：以下、‘ＣＩ’と称する）を使用して画面をそれぞれ構成できる。表２は、ＣＩの一例を示す。
Figure 0006516675
表２の＜ｂｏｄｙ＞部分を参照すると、“ｖｉｄｅｏ１”、“ｖｉｄｅｏ２”、及び“ｖｉｄｅｏ３”の３個のビデオアセットが存在し、３個のビデオアセットは、異なる空間情報をそれぞれ有する“Ａｒｅａ１”、“Ａｒｅａ２”、及び“Ａｒｅａ３”にそれぞれ配置され得る。３個のビデオアセットは、＜ｈｅａｄ＞の下の＜ＬｏＡ＞部分に示すようなリソース情報の形態及びメディアタイプで示され得、３個のビデオアセットの内の“ｖｉｄｅｏ１”及び“ｖｉｄｅｏ２”は、＜ｄｉｖ＞の２個のｄｉｖＬｏｃａｔｉｏｎに基づいてｖｉｅｗに配置され得る。表２のＣＩに基づく画面は、図１に示すように構成され得る。
図１は、本発明の実施形態によるＣＩに基づく画面上の領域の配置を示す図である。
図１を参照すると、表２のＣＩに基づいて、３個のビデオアセットのうちで、“ｖｉｄｅｏ１”を含むＡｒｅａ１ １００及び“ｖｉｄｅｏ２”を含むＡｒｅａ２ １２０のそれぞれは、対応する位置に配置される。
複数の端末、例えば、基本デバイス及び付加デバイスが存在する場合に、基本デバイス及び付加デバイスは、ＣＩによる様々な形態の画面を構成することによりメディアをそれぞれ再生（又はプレイ）する。ＣＩは、例えば、メディアサーバなどにより基本デバイス及び付加デバイスの各々に提供されるか、又は、基本デバイスにより付加デバイスに提供され得る。以下では、ＣＩが基本デバイスにより付加デバイスに提供され得る場合について説明する。
本発明の様々な実施形態において、基本デバイス及び付加デバイスが様々な形態の画面構成でメディアを再生できるようにする方法を提供する。具体的に、本発明の実施形態は、（１）付加デバイスでのメディア再生を制限する方法、（２）付加デバイスが特定のメディアを再生できるようにする方法、（３）基本デバイス及び付加デバイスで同一のメディアを再生する方法、（４）付加デバイスにメディアを転送して再生する方法、及び（５）メディア通信に応じて画面を再構成する方法を含む。
以下では、５つの方法の各々について具体的に説明する。
（１）付加デバイスでのメディア再生を制限する方法
付加デバイスでメディア再生を制限するために、以下に述べられる表３に示すようなＣＩが使用され得る。
Figure 0006516675
表３は、表２に示したようなＣＩに加えて、付加デバイスでの再生を制限するための付加情報（以下、‘再生制限情報’と称する）（ｐｌｕｎｇｅＯｕｔ＝“ｄｉｓａｂｌｅ”）を有するＣＩを示す。表３のＣＩにおいて、ｐｌｕｎｇｅＯｕｔ＝“ｄｉｓａｂｌｅ”は、“ｄｉｖＬ１”のｄｉｖＬｏｃａｔｉｏｎにより示されるＡｒｅａ１に含まれる“ｖｉｄｅｏ１”の再生が制限されることを示す。
１つ以上のアセットは、Ａｒｅａにまとめられ、これにより、Ａｒｅａは、複数のアセットを付加デバイスに転送するのに便利に使用される。したがって、Ａｒｅａは、アセットの転送単位として使用され得る。ｄｉｖＬｏｃａｔｉｏｎは、Ａｒｅａを画面上に配置するための特性を提供することによりメディア通信に関する情報、すなわち、再生制限情報も提供することができる。上記のような方法によると、基本デバイス及び付加デバイスの動作は、それぞれ図２及び図３に示される。
図２は、本発明の実施形態による付加デバイスでの特定のメディアの再生を制限するための基本デバイスの動作を示すフローチャートである。
図２を参照すると、動作２００において、基本デバイスは、複数のメディアのうちで付加デバイスでの再生を制限する少なくとも１つのメディアを選択する。少なくとも１つのメディアを選択するステップは、ユーザ入力に応じて又は別々の制御の下で実行され得る。
動作２０２において、基本デバイスは、選択された少なくとも１つのメディアの再生が制限されることを示す再生制限情報（ｐｌｕｎｇｅＯｕｔ＝“ｄｉｓａｂｌｅ”）をＣＩに付加する。動作２０４において、基本デバイスは、再生制限情報を含むＣＩを付加デバイスに送信する。
動作２０６において、基本デバイスは、ＣＩに基づいて対応するメディアを再生する。ここで、基本デバイスは、付加デバイスで再生が制限された少なくとも１つのメディアを再生し得る。
図３は、本発明の実施形態による特定のメディアの再生が制限された付加デバイスの動作を示すフローチャートである。
図３を参照すると、動作３００において、付加デバイスは、基本デバイスからＣＩを受信する。動作３０２において、付加デバイスは、ＣＩが再生制限情報を含むか否かを判定する。
ＣＩが再生制限情報を含まない場合に、動作３０８において、付加デバイスは、ＣＩに基づいてメディアを再生する。ＣＩが再生制限情報を含む場合に、動作３０４において、付加デバイスは、再生制限情報に基づいて少なくとも１つのメディアを検出する。動作３０６において、付加デバイスは、検出された少なくとも１つのメディアを除く残りのメディアを再生する。
（２）付加デバイスでの特定のメディアを再生する方法
図４Ａ及び図４Ｂは、本発明の実施形態による付加デバイスで再生される特定のメディアを示す図である。
図４Ａを参照すると、基本デバイスは、図１に示すように、Ａｒｅａ１ １００の“ｖｉｄｅｏ１”及びＡｒｅａ２ １２０の“ｖｉｄｅｏ２”を再生し画面に表示し得る。基本デバイスは、基本デバイスで再生されないメディアが図４Ｂに示すように付加デバイスで再生されることができるように表４で示すようなＣＩを使用し得る。
Figure 0006516675
表４は、表２に示すようなＣＩに加えて、付加デバイスでの再生を許容する付加情報（以下‘再生許容情報’と称する）（ｐｌｕｎｇｅＯｕｔ＝“ｃｏｍｐｌｅｍｅｎｔａｒｙ”）を有するＣＩを示す。表４のＣＩにおいて、ｐｌｕｎｇｅＯｕｔ＝“ｃｏｍｐｌｅｍｅｎｔａｒｙ”は、メディア通信に関する情報としてｄｉｖＬｏｃａｔｉｏｎに提供され、存在するが、ｄｉｖＬｏｃａｔｉｏｎに基づいてｖｉｅｗに示されていないＡｒｅａ３ ４００の“ｖｉｄｅｏ３”は、基本デバイスでの再生は制限される一方、付加デバイスでの再生は許容されることを示す。
上記のような方法によると、基本デバイス及び付加デバイスの動作は、それぞれ図５及び図６に示される。
図５は、本発明の実施形態による付加デバイスが特定のメディアを再生できるようにするための基本デバイスの動作を示すフローチャートである。
図５を参照すると、動作５００において、基本デバイスは、複数のメディアのうちで付加デバイスで再生される少なくとも１つのメディアを選択する。少なくとも１つのメディアを選択するステップは、ユーザ入力に応じて又は別々の制御の下で実行され得る。
動作５０２において、基本デバイスは、この選択された少なくとも１つのメディアの再生を示す再生許容情報（ｐｌｕｎｇｅＯｕｔ＝“ｃｏｍｐｌｅｍｅｎｔａｒｙ”）を選択された少なくとも１つのメディアに関するリソース情報とともにＣＩに付加する。
動作５０４において、基本デバイスは、ＣＩを付加デバイスに送信し、動作５０６において、ＣＩに基づいて対応するメディアを再生する。ここで、基本デバイスは、付加デバイスで再生されるように許容される少なくとも１つのメディアを除く残りのメディアを再生し得る。
図６は、本発明の実施形態による特定のメディアを再生する付加デバイスの動作を示すフローチャートである。
図６を参照すると、動作６００において、付加デバイスは、基本デバイスからＣＩを受信する。動作６０２において、付加デバイスは、ＣＩが再生許容情報を含むか否かを判定する。
ＣＩが再生許容情報を含む場合に、動作６０４において、付加デバイスは、再生許容情報に基づいて少なくとも１つのメディアをＣＩから検出する。動作６０６において、付加デバイスは、ＣＩに含まれた少なくとも１つのメディアのリソース情報に基づいて少なくとも１つのメディアを再生する。
一方、ＣＩが再生許容情報を含まない場合に、付加デバイスは、すべての手続きを終了する。
（３）基本デバイス及び付加デバイスで同一のメディアを再生する方法
図７Ａ及び図７Ｂは、本発明の実施形態による同一のメディアを再生する基本デバイス及び付加デバイスを示す図である。
図７Ａを参照すると、基本デバイスは、図１に示すように、Ａｒｅａ１ １００の“ｖｉｄｅｏ１”及びＡｒｅａ２ １２０の“ｖｉｄｅｏ２”を再生し画面に表示し得る。図７Ｂに示すように、基本デバイスで再生されるメディアは、付加デバイスでも再生され得る。図７Ｂを参照すると、“ｖｉｄｅｏ２”は、基本デバイスのＡｒｅａ２ １２０及び付加デバイスのＡｒｅａ２ ７００のすべてで再生される。
上記のような同時メディア再生のために、以下に述べられる表５で示すようなＣＩを使用し得る。
Figure 0006516675
表５は、表２に示したＣＩに加えて、基本デバイス及び付加デバイスでの同時再生を許容する付加情報を有するＣＩを示し、この情報は、同時再生許容情報と称される（ｐｌｕｎｇｅＯｕｔ＝“ｓｈａｒａｂｌｅ”）。表５のＣＩにおいて、ｐｌｕｎｇｅＯｕｔ＝“ｓｈａｒａｂｌｅ”は、ｄｉｖＬｏｃａｔｉｏｎにメディア通信に関する情報として提供され、基本デバイスのＡｒｅａ２ １２０及び付加デバイスのＡｒｅａ２ ７００では、“ｖｉｄｅｏ２”が同時に再生されることが許容されることを示す。
上記のような方法によると、基本デバイス及び付加デバイスの動作は、それぞれ図８及び図９に示される。
図８は、本発明の実施形態による付加デバイスと同一のメディアを再生する基本デバイスの動作を示すフローチャートである。
図８を参照すると、基本デバイスは、動作８００において、付加デバイスと同時に再生する複数のメディアのうちの少なくとも１つのメディアを選択する。少なくとも１つのメディアを選択するステップは、ユーザ入力に応じて又は別々の制御の下で実行され得る。
動作８０２において、基本デバイスは、選択された少なくとも１つのメディアの同時再生を示す同時再生許容情報（ｐｌｕｎｇｅＯｕｔ＝“ｓｈａｒａｂｌｅ”）を選択された少なくとも１つのメディアのリソース情報とともにＣＩに付加する。
動作８０４において、基本デバイスは、ＣＩを付加デバイスに送信し、動作８０６において、ＣＩに基づいて対応するメディアを再生する。ここで、基本デバイスは、付加デバイスと同一のメディアを再生し得る。
図９は、本発明の実施形態による基本デバイスと同一のメディアを再生する付加デバイスの動作を示すフローチャートである。
図９を参照すると、動作９００において、付加デバイスは、基本デバイスからＣＩを受信する。動作９０２において、付加デバイスは、ＣＩが同時再生許容情報を含むか否かを判定する。
ＣＩが同時再生許容情報を含む場合に、動作９０４において、付加デバイスは、同時再生制限情報に基づいて少なくとも１つのメディアを検出する。動作９０６において、付加デバイスは、ＣＩに含まれた少なくとも１つのメディアのリソース情報に基づいて少なくとも１つのメディアを再生する。
他方、ＣＩが同時再生許容情報を含まない場合に、付加デバイスは、すべての手続きを終了する。
（４）付加デバイスにメディアを転送して再生する方法
図１０Ａ及び図１０Ｂは、本発明の実施形態による基本デバイスで再生されたメディアが付加デバイスに転送される例を示す図である。
図１０Ａを参照すると、基本デバイスは、図１に示すように、Ａｒｅａ１ １００の“ｖｉｄｅｏ１”及びＡｒｅａ２ １２０の“ｖｉｄｅｏ２”を再生して画面に表示し得る。付加デバイスが存在する場合に、基本デバイスのＡｒｅａ２ １２０で再生された“ｖｉｄｅｏ２”は、付加デバイスのＡｒｅａ２ １０２０で再生され得る。ここで、“ｖｉｄｅｏ２”が転送され付加デバイスのＡｒｅａ２ １０２０で再生される間に、基本デバイスのＡｒｅａ１ １００は、新たな空間情報に基づいて、図１０Ｂに示すようなＡｒｅａ１ １０００に再配置され得る。
基本デバイスに残されたＡｒｅａ１ １００に新たな空間情報を割り当てるために、端末間のメディア通信が実行された時点情報が必要である。このような情報を端末間のメディア通信を通して提供するために、メディアの取得及び返還時点に関するイベントは、表６に示すようなＣＩで定義され得る。
Figure 0006516675
表６を参照すると、“ｄｉｖＬ１”のｄｉｖＬｏｃａｔｉｏｎに付加された情報（ｂｅｇｉｎ＝“０ｓ ＡｒｅａＢａｃｋ“ｅｎｄ＝“ｄｉｖＬ２．ＡｒｅａＯｕｔ”）は、図１０Ａに示すようなＡｒｅａ１ １００での再生を開始する時間及び再生を終了する時間を示す。すなわち、この情報は、Ａｒｅａ１ １００での“ｖｉｄｅｏ１”に対する再生が０秒から開始し、“ｖｉｄｅｏ２”が基本デバイスのＡｒｅａ２ １２０から外れ、付加デバイスのＡｒｅａ２ １２０に転送される場合に終了することを示す。
“ｄｉｖＬ２”のｄｉｖＬｏｃａｔｉｏｎに付加された情報（ｐｌｕｎｇｅＯｕｔ＝“ｄｙｎａｍｉｃ”）は、ｖｉｄｅｏ２を再生するための領域が動的である（すなわち、付加デバイスに転送され再生され得る）ことを示す。
また、“ｄｉｖＬ３”のｄｉｖＬｏｃａｔｉｏｎに付加された情報（ｂｅｇｉｎ＝“ ｄｉｖＬ２．ＡｒｅａＯｕｔ”ｅｎｄ＝“ＡｒｅａＢａｃｋ”）は、図１０Ｂに示すように、Ａｒｅａ１ １０００での再生を開始する時間及び再生を終了する時間を示す。すなわち、この情報は、“ｖｉｄｅｏ２”が付加デバイスで再生されるために基本デバイスのＡｒｅａ２ １２０から外れる場合に“ｖｉｄｅｏ１”に対する再生が開始され、“ｖｉｄｅｏ２”がＡｒｅａ２ １２０でさらに再生される場合に“ｖｉｄｅｏ１”に対する再生が終了することを示す。
上記のような方法によると、基本デバイス及び付加デバイスの動作は、それぞれ図１１及び図１２に示される。
図１１は、本発明の実施形態による付加デバイスにメディアを転送する基本デバイスの動作を示すフローチャートである。
図１１を参照すると、動作１１００において、基本デバイスは、再生中である複数のメディアのうちで付加デバイスで再生される少なくとも１つのメディアを選択する。少なくとも１つのメディアを選択するステップは、ユーザ入力に応じて又は個別の制御の下で実行され得る。
動作１１０２において、基本デバイスは、少なくとも１つのメディアの転送及び返還に応じた再生位置情報及び再生時間情報を決定する。具体的に、メディア再生位置情報は、少なくとも１つのメディアが基本デバイスで再生される場合に、基本デバイスの画面で少なくとも１つのメディア以外の再生中である残りのメディアの位置に関する情報と、少なくとも１つのメディアが付加デバイスで再生される場合に、付加デバイスの画面で少なくとも１つのメディア以外の残りのメディアの位置に関する情報とを含み得る。
メディア再生時間情報は、少なくとも１つのメディアが基本デバイスで再生される場合の少なくとも１つのメディア以外の残りのメディアに関する再生開始時間及び再生終了時間と、少なくとも１つのメディアが付加デバイスで再生される場合の少なくとも１つのメディア以外の残りのメディアに関する再生開始時間及び再生終了時間とを含み得る。
動作１１０４において、基本デバイスは、選択された少なくとも１つのメディアに関するリソース情報をＣＩに付加し、ＣＩを付加デバイスに送信する。メディア再生位置情報及びメディア再生時間情報がＣＩに付加され得るが、メディア再生位置情報及びメディア再生時間情報は、付加デバイスに送信されるＣＩには含まれないこともある。
動作１１０６において、基本デバイスは、メディア再生位置情報及びメディア再生時間情報に基づいて少なくとも１つのメディアを除く残りのメディアを再生する。
動作１１０８において、基本デバイスは、ユーザの選択に従って、少なくとも１つのメディアが付加デバイスから返還されるか否か、すなわち、少なくとも１つのメディアが基本デバイスでさらに再生されるように示されるか否かを判定する。
動作１１１０において、基本デバイスは、少なくとも１つのメディアが返還される場合に、メディア返還に応じたメディア再生位置情報及びメディア再生時間情報に基づいて少なくとも１つのメディア以外の残りのメディアを再生する。
図１２は、本発明の実施形態による基本デバイスから受信されたメディアを再生する付加デバイスの動作を示すフローチャートである。
図１２を参照すると、動作１２００において、付加デバイスは、基本デバイスからＣＩを受信する。動作１２０２において、付加デバイスは、少なくとも１つのメディアに関するリソース情報をＣＩから検出し、動作１２０４において、リソース情報に基づいて少なくとも１つのメディアを再生する。
動作１２０６において、付加デバイスは、ユーザの選択により少なくとも１つのメディアを基本デバイスに返還する。ここで、付加デバイスは、特定のメッセージを使用して基本デバイスへの少なくとも１つのメディアの再生要請を送信するか、又は少なくとも１つのメディアに関するリソース情報を基本デバイスに送信することにより少なくとも１つのメディアを基本デバイスに返還し得る。
（５）メディア通信に応じて画面を再構成する方法
基本デバイスは、ＣＩに基づいて特定のＡｒｅａを表示している間にメディアが含まれた少なくとも１つのＡｒｅａを付加デバイスから受信し得る。この場合に、基本デバイスは、特定のＡｒｅａとともに、受信された少なくとも１つのＡｒｅａを表示するために画面を再配置し得る。これに関連した説明を図１３Ａ及び図１３Ｂを参照して説明する。
図１３Ａ及び図１３Ｂは、本発明の実施形態による付加デバイスへの追加のメディア転送の時に画面が再構成される例を示す図である。
図１３Ａに示すように、基本デバイスがＣＩに基づいてＡｒｅａ１ １３００を表示している状況で、メディアをそれぞれ含む２つのＡｒｅａが基本デバイスに転送される場合に、基本デバイスは、図１３Ｂに示すように画面を再配置し得る。すなわち、２つのＡｒｅａは、基本デバイスの特定の位置の画面に表示され（例えば、受信された順序に、受信された第１の領域１３４０及び受信された第２の領域１３６０で）、すでに存在しているＡｒｅａ１ １３００は、新たな空間情報に基づいて新たな位置１３２０に再配置され得る。
このために、基本デバイスは、一例として、表７で示すようなＣＩを使用し得る。
Figure 0006516675
表７を参照すると、Ｖｉｅｗ１に付加された情報（ｂｅｇｉｎ＝“０ｓ ｄｉｖＬ３．ＡｒｅａＯｕｔＡｒｅａｓＯｕｔ“ｅｎｄ＝“ＡｒｅａＩｎ（１）”）は、Ａｒｅａ１ １３００の表示が０秒から開始されるか、又はＡｒｅａ１が表示される位置で他のＡｒｅａが存在しない場合に開始され、Ａｒｅａ１ １３００に追加で他のＡｒｅａが存在する場合に終了することを示す。すなわち、Ｖｉｅｗ１は、Ａｒｅａ１ １３００だけが存在する場合に表示される。
Ｖｉｅｗ２に付加された情報（ｂｅｇｉｎ＝“ＡｒｅａＩｎ（１）”ｅｎｄ＝ｄｉｖＬ３．ＡｒｅａＯｕｔＡｒｅａｓＯｕｔ”）は、Ａｒｅａ１ １３００の表示がＡｒｅａ１が表示される位置で他の追加のＡｒｅａが存在する場合に開始し、その位置で他のＡｒｅａが存在しない場合に終了することを示す。すなわち、Ｖｉｅｗ２は、Ａｒｅａ１ １３００に加えて追加のＡｒｅａが存在する場合に表示される。
また、Ｖｉｅｗ２に付加された他の情報（ｐｌｕｎｇｅＩｎ＝“１”及びｐｌｕｎｇｅＩｎ＝“２”）は、受信されたＡｒｅａが配置されるべき画面上の位置を示すためのものであり、例えば、はじめに受信されたＡｒｅａ１３４０が配置される位置及び２番目に受信されたＡｒｅａ１３６０が配置される位置を示す。
表７のＣＩに従うと、図１３Ａに示すように、Ａｒｅａ１ １３００は、Ｖｉｅｗ１のｄｉｖＬｏｃａｔｉｏｎに基づいて０秒から再生され始める。Ａｒｅａに関する情報がメディア通信を通して受信される場合に、図１３Ｂに示すように、Ｖｉｅｗ１の表示が終了し、Ｖｉｅｗ２が表示される。“ｄｉｖＬ２”のｄｉｖＬｏｃａｔｉｏｎに従うと、Ａｒｅａ１は、新たな位置１３２０で再生されることを再開する。
Ｖｉｅｗ２の“ｄｉｖＬ３”のｄｉｖＬｏｃａｔｉｏｎは、メディア通信を通した情報に付加された属性に従って空き（empty）Ａｒｅａ１３４０であると決定され、これは、属性の値（ｐｌｕｎｇｅＩｎ＝“１”）に従ってはじめに受信されたＡｒｅａ１３４０となる。Ｖｉｅｗ２の“ｄｉｖＬ４”のｄｉｖＬｏｃａｔｉｏｎも属性の値（ｐｌｕｎｇｅＩｎ＝“２”）に従って空きＡｒｅａ１３６０であると決定される。
Ｖｉｅｗ２の再生は、“ｄｉｖＬ３”のＡｒｅａが返還されるか、又は転送されたすべてのＡｒｅａが返還される場合に終了イベントにより終了され、Ｖｉｅｗ１は、開始イベントに従ってさらに再生される。
上記のような方法による基本デバイスの動作は、図１４と関連して説明する。
図１４は、本発明の実施形態によるメディア通信に応じて画面構成を変更する付加デバイスの動作を示すフローチャートである。
図１４を参照すると、動作１４００において、基本デバイスは、ＣＩに基づいて対応するＡｒｅａを画面に表示することにより第１の画面を構成する。動作１４０２において、基本デバイスは、メディアを含むＡｒｅａが付加デバイスから受信されるか否かを判定する。
Ａｒｅａが受信される時に、基本デバイスは、動作１４０４において、画面再配置を通して第２の画面を構成することにより、受信されたＡｒｅａを割り当てる追加再生領域（空き領域）を生成し得る。基本デバイスは、動作１４０６において、生成された追加再生領域に受信されたＡｒｅａを割り当てる。
この点について、基本デバイスは、複数のＡｒｅａを付加デバイスから受信し得、複数の追加再生領域を生成し得る。基本デバイスは、予め定められた基準により複数のＡｒｅａを複数の追加再生領域にそれぞれ割り当て得る。例えば、基本デバイスは、受信された順序に決定された領域に対応するＡｒｅａを割り当て得る。
基本デバイスは、動作１４０８において、受信されたＡｒｅａが返還されたものと判定する場合に、動作１４１０において、追加再生領域を解除し、第１の画面に復帰する。
図１４では、基本デバイスの動作について説明したが、図１４に示す動作は、付加デバイスによっても実行され得る。
表８は、端末間のメディア通信を通して基本デバイスから付加デバイスに送信されるＡｒｅａに関する情報の一例を示す。
Figure 0006516675
表８を参照すると、初期に提供されるべき情報がＡｒｅａの空間情報及びＡｒｅａ内のＡｓｓｅｔのｓｒｃ情報、空間情報、及びＡｓｓｅｔの現在まで再生された時間情報を含み、後で提供されるべき情報は、Ａｓｓｅｔ間の同期化を提供するために各Ａｓｓｅｔの再生時間に関する情報を含むことを理解する。
図１５Ａ及び図１５Ｂは、本発明の実施形態によるＣＩを使用してメディア通信に基づいてサービスを実行する手続きを示す図である。
図１５Ａを参照すると、動作１５００において、基本デバイス及び付加デバイスは、それぞれＣＩに基づくメディアの再生を開始する。例えば、基本デバイスは、Ａｒｅａ１及びＡｒｅａ１−２の再生を開始し、付加デバイスは、Ａｒｅａ２の再生を開始する。
動作１５０２において、ユーザは、基本デバイスがＡｒｅａ１−２のメディア通信を実行すること、すなわち、再生のためにＡｒｅａ１−２を付加デバイスに転送することを要請し得る。その後に、動作１５０４において、基本デバイスは、Ａｒｅａ１−２のリソース情報及び場面構成情報、すなわち、ＣＩを付加デバイスに送信し得る。動作１５０６において、基本デバイスは、Ａｒｅａ１−２の再生を終了する。
動作１５０８において、基本デバイスには、Ａｒｅａ転送から発生したイベントにより新たな場面構成情報が適用される。動作１５１０において、付加デバイスには、Ａｒｅａ転送から発生したイベントにより新たな場面構成情報が適用される。例えば、基本デバイスで再生中であるＡｒｅａ１−１及び付加デバイスで再生中であるＡｒｅａ２は、新たな位置に再配置され得る。
付加デバイスは、動作１５１２において、Ａｒｅａ１−２の再生を開始する。付加デバイスは、基本デバイスから受信されたＡｒｅａに関する情報及びＣＩ内の空き領域に関する情報から決定された位置でＡｒｅａ１−２を再生する。図１５Ａの実施形態において、Ａｒｅａ１−２は、Ａｒｅａ２の右側位置で再生される。
シンボル‘Ａ’は、図１５Ａの動作１５１２が実行された後に、図１５Ｂの動作１５１４が実行されることを示し、動作１５１２の後に実行される動作は、図１５Ｂを参照して説明する。
図１５Ｂを参照すると、動作１５１４において、Ａｒｅａ１−２の同期化再生を維持するために、基本デバイスは、各Ａｓｓｅｔの時間情報を付加デバイスに周期的に送信する。動作１５１６において、ユーザは、付加デバイスへのＡｒｅａ１−２のメディア返還、すなわち、Ａｒｅａ１−２を基本デバイスにさらに送信することを要請し得、付加デバイスは、動作１５１８において、Ａｒｅａ１−２の再生を終了する。
その後に、動作１５２０において、付加デバイスは、メディア返還から発生したイベントに応じてその以前の場面構成に戻る。動作１５２２において、基本デバイスは、メディア返還から発生したイベントに応じてその以前の場面構成に戻る。動作１５２４において、基本デバイスは、Ａｒｅａ１−２の再生を再開する。
図１６は、本発明の実施形態による端末の構成を示すブロック図である。
端末は、基本デバイス又は付加デバイスに対応し得る。
図１６を参照すると、端末は、制御部１６００、送信部１６０２、受信部１６０４、及びメモリ１６０６を含む。
制御部１６００は、送信部１６０２、受信部１６０４、及びメモリ１６０６の動作を含み、端末の全般的な動作を制御する。
特に、制御部１６００は、上述した本発明の様々な実施形態による方法と関連した基本デバイス又は付加デバイスに対応する動作を実行する。
送信部１６０２及び受信部１６０４は、端末の無線通信を実行し、別々の構成部をさらに含み得る。
メモリ１６０６は、端末の動作から生成されるデータ及び情報、メディアなどを記憶する。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
１６００ 制御部
１６０２ 送信部
１６０４ 受信部
１６０６ メモリ

Claims (14)

  1. マルチメディア通信システムにおける第１のデバイスの制御方法であって、
    第１の場面(view)エレメントと第２の場面エレメントを含む構成情報(composition information)を取得するステップと、
    前記第１の場面エレメントに含まれた領域(area)の各々に対する位置情報に基づいて、前記第１のデバイスの第１の画面にメディアデータに関連する前記領域を配置するステップと、
    前記第２の場面エレメントに含まれた前記領域のうちの第１の領域に対する位置情報の属性(attribute)が、前記第１の領域がマルチスクリーン表示(multi-screen presentation)のために使用されることが許容され、前記第１の画面と第２のデバイスの第２の画面で全て見られることを指示する第１の値を含む場合、前記第１の領域に対する位置情報により提供される空間情報及び時間情報に基づいて前記第１の画面に前記第１の領域を配置するステップと、
    を含み、
    前記属性が前記第１の値を含む場合、前記第１の領域を前記第２の画面に配置するための情報が前記第２のデバイスに送信されることを特徴とする方法。
  2. 前記属性が前記第１の領域が前記マルチスクリーン表示のために使用されることが許容されないことを指示する第２の値を含む場合、前記第１の領域に対する位置情報により提供される空間情報及び時間情報に基づいて前記第１の画面に前記第１の領域が配置されることを特徴とする請求項１に記載の方法。
  3. 前記属性が前記第１の領域が前記マルチスクリーン表示のために使用されることが許容され、前記第２の画面で見られることを指示する第３の値を含む場合、前記第２の画面に前記第１の領域が配置されることを特徴とする請求項１に記載の方法。
  4. 前記第２の場面エレメントに含まれた前記領域のうちの第２の領域に対する位置情報の属性に基づいて前記第１の画面上の前記第２の領域をブランク(blank)領域で作るステップと、
    第３の領域が受信されると、前記ブランク領域に前記第３の領域を配置するステップをさらに含むことを特徴とする請求項１に記載の方法。
  5. 前記第２の場面エレメントに含まれた前記領域のうちの第２の領域に対する位置情報の属性に基づいて前記第１の画面上の前記第２の領域をブランク（blank）領域で作るステップと、
    第３の領域が受信されると、前記ブランク領域に前記第３の領域を配置するステップをさらに含み、
    前記第２の領域の各々に対する位置情報の属性は、前記ブランク領域に前記第３の領域を配置する順序を決定するために使用される正の整数値を含むことを特徴とする請求項１に記載の方法。
  6. 前記空間情報は、前記第１の領域のサイズに対する情報を含み、
    前記時間情報は、前記第１の領域に関連するメディアデータの再生（playback）の開始を指示する開始（begin）情報、前記第１の領域に関連するメディアデータの前記再生の終了を指示する終了（end）情報、及び前記第１の領域に関連するメディアデータの再生持続期間（duration）を指示する持続期間情報を含むことを特徴とする請求項１に記載の方法。
  7. 前記構成情報は、前記メディアデータに関連するアセット(asset）のリストを含むことを特徴とする請求項１に記載の方法。
  8. マルチメディア通信システムにおける第１のデバイスであって、
    送信部と、
    第１の画面を含むディスプレイと、
    第１の場面(view)エレメントと第２の場面エレメントを含む構成情報(composition information)を取得し、前記第１の場面エレメントに含まれた領域(area)の各々に対する位置情報に基づいて前記第１の画面にメディアデータに関連する前記領域を配置し、前記第２の場面エレメントに含まれた前記領域のうちの第１の領域に対する位置情報の属性(attribute)が、前記第１の領域がマルチスクリーン表示(multi-screen presentation)のために使用されることが許容され、前記第１の画面と第２のデバイスの第２の画面で全て見られることを指示する第１の値を含む場合、前記第１の領域に対する位置情報により提供される空間情報及び時間情報に基づいて前記第１の画面に前記第１の領域を配置する制御部と、を含み、
    前記属性が前記第１の値を含む場合、前記第１の領域を前記第２の画面に配置するための情報が前記第２のデバイスに送信されることを特徴とする第１のデバイス。
  9. 前記属性が前記第１の領域が前記マルチスクリーン表示のために使用されることが許容されないことを指示する第２の値を含む場合、前記第１の領域に対する位置情報により提供される空間情報及び時間情報に基づいて前記第１の画面に前記第１の領域が配置されることを特徴とする請求項８に記載の第１のデバイス。
  10. 前記属性が前記第１の領域が前記マルチスクリーン表示のために使用されることが許容され、前記第２の画面で見られることを指示する第３の値を含む場合、前記第２の画面に前記第１の領域が配置されることを特徴とする請求項８に記載の第１のデバイス。
  11. 前記制御部は、前記第２の場面エレメントに含まれた前記領域のうちの第２の領域に対する位置情報の属性に基づいて前記第１の画面上の前記第２の領域をブランク(blank)領域で作って、第３の領域が受信されると、前記ブランク領域に前記第３の領域を配置することを特徴とする請求項８に記載の第１のデバイス。
  12. 前記制御部は、前記第２の場面エレメントに含まれた前記領域のうちの第２の領域に対する位置情報の属性に基づいて前記第１の画面上の前記第２の領域をブランク(blank)領域で作って、第３の領域が受信されると、前記ブランク領域に前記第３の領域を配置し、前記第２の領域の各々に対する位置情報の属性は前記ブランク領域に前記第３の領域を配置する順序を決定するために使用される正の整数値を含むことを特徴とする請求項８に記載の第１のデバイス。
  13. 前記空間情報は、前記第１の領域のサイズに対する情報を含み、
    前記時間情報は、前記第１の領域に関連するメディアデータの再生（playback）の開始を指示する開始（begin）情報、前記第１の領域に関連するメディアデータの前記再生の終了を指示する終了（end）情報、及び前記第１の領域に関連するメディアデータの再生持続期間（duration）を指示する持続期間情報を含むことを特徴とする請求項８に記載の第１のデバイス。
  14. 前記構成情報は、前記メディアデータに関連するアセット(asset）のリストを含むことを特徴とする請求項８に記載の第１のデバイス。

JP2015536719A 2012-10-12 2013-10-14 マルチメディア通信システムにおけるメディア情報送受信方法及び装置 Active JP6516675B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치
KR10-2012-0113841 2012-10-12
PCT/KR2013/009150 WO2014058284A1 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system

Publications (2)

Publication Number Publication Date
JP2015534797A JP2015534797A (ja) 2015-12-03
JP6516675B2 true JP6516675B2 (ja) 2019-05-22

Family

ID=50474979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015536719A Active JP6516675B2 (ja) 2012-10-12 2013-10-14 マルチメディア通信システムにおけるメディア情報送受信方法及び装置

Country Status (11)

Country Link
US (2) US20140104367A1 (ja)
EP (1) EP2907314B1 (ja)
JP (1) JP6516675B2 (ja)
KR (1) KR101959820B1 (ja)
CN (1) CN104737544B (ja)
AU (1) AU2013330543B2 (ja)
CA (1) CA2888004C (ja)
ES (1) ES2749691T3 (ja)
MX (1) MX352888B (ja)
RU (1) RU2627032C2 (ja)
WO (1) WO2014058284A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094737B (zh) * 2015-08-07 2018-07-31 北京橙鑫数据科技有限公司 多媒体信息显示方法及装置
AU2017207291B2 (en) 2016-01-11 2023-06-15 The Rockefeller University Methods for the treatment of myeloid derived suppressor cells related disorders
CN106507171B (zh) * 2016-10-13 2019-10-18 深圳市创易联合科技有限公司 多媒体播放方法及多媒体播放器
US10380493B2 (en) * 2017-04-17 2019-08-13 Essential Products, Inc. System and method for generating machine-curated scenes
CN109672845B (zh) * 2018-12-29 2020-11-03 维沃移动通信有限公司 一种视频通话的方法、装置以及移动终端

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US7103906B1 (en) * 2000-09-29 2006-09-05 International Business Machines Corporation User controlled multi-device media-on-demand system
US8255791B2 (en) * 2000-11-29 2012-08-28 Dov Koren Collaborative, flexible, interactive real-time displays
JP4114421B2 (ja) * 2002-07-22 2008-07-09 ソニー株式会社 電子機器装置、サーバ装置、レイアウト記述文書の提供方法
JP4449359B2 (ja) * 2003-07-23 2010-04-14 ソニー株式会社 電子機器及び情報視聴方法、並びに情報視聴システム
KR100533675B1 (ko) 2003-07-24 2005-12-05 삼성전자주식회사 구조화된 데이터 포맷을 이용한 원격 제어 장치 및 제어방법
KR100982517B1 (ko) * 2004-02-02 2010-09-16 삼성전자주식회사 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치
WO2006024309A1 (en) * 2004-08-30 2006-03-09 Telecom Italia S.P.A. Method and system for providing interactive services in digital television
JP4738805B2 (ja) * 2004-12-16 2011-08-03 株式会社リコー 画面共有システム、画面共有方法、画面共有プログラム
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20080094415A1 (en) * 2005-08-05 2008-04-24 Samsung Electronics Co., Ltd. Method and apparatus for identifying application in multiscreen environment
US8191098B2 (en) * 2005-12-22 2012-05-29 Verimatrix, Inc. Multi-source bridge content distribution system and method
US20080072139A1 (en) * 2006-08-20 2008-03-20 Robert Salinas Mobilizing Webpages by Selecting, Arranging, Adapting, Substituting and/or Supplementing Content for Mobile and/or other Electronic Devices; and Optimizing Content for Mobile and/or other Electronic Devices; and Enhancing Usability of Mobile Devices
US9032430B2 (en) 2006-08-24 2015-05-12 Rovi Guides, Inc. Systems and methods for providing blackout support in video mosaic environments
US8490126B2 (en) * 2006-10-02 2013-07-16 AT&T Intellecutal Property I, LP System and method of restricting access to video content
US20080085682A1 (en) * 2006-10-04 2008-04-10 Bindu Rama Rao Mobile device sharing pictures, streaming media and calls locally with other devices
JP5151211B2 (ja) * 2007-03-30 2013-02-27 ソニー株式会社 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム
JP2009123178A (ja) * 2007-11-12 2009-06-04 Masakazu Morisato ネットワークコンピュータシステム及び画面共有システム
US8301618B2 (en) * 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
JP5078152B2 (ja) * 2008-04-09 2012-11-21 シャープ株式会社 通信端末装置、その制御方法、及びコンピュータプログラム
KR100979909B1 (ko) * 2008-04-10 2010-09-03 드리머 디지털 방송의 데이터 애플리케이션 제공 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
EP2268053A1 (en) * 2008-04-17 2010-12-29 Sharp Kabushiki Kaisha Operation object device, permission input device, operating device, operation object data providing device, remote operation system, control method, control program, and computer-readable recording medium holding the control program
US8707151B2 (en) * 2008-04-21 2014-04-22 Samsung Electronics Co., Ltd Apparatus and method for composing scenes using Rich Media contents
US20110222676A1 (en) * 2008-11-20 2011-09-15 Panasonic Corporation Image display apparatus, teleconferencing device, and image display method
EP2448262A4 (en) 2009-06-26 2012-11-21 Panasonic Corp COMMUNICATION DEVICE
KR101555063B1 (ko) * 2009-07-07 2015-09-23 삼성전자주식회사 이동단말기의 다중 화면 서비스를 위한 시스템 및 방법
WO2011040152A1 (ja) * 2009-09-29 2011-04-07 シャープ株式会社 周辺機器情報表示システム、表示装置、及び周辺機器
US8331760B2 (en) 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US8290128B2 (en) 2010-06-10 2012-10-16 Microsoft Corporation Unified communication based multi-screen video system
CN102378046A (zh) * 2010-08-13 2012-03-14 国基电子（上海）有限公司 服务器及利用其实现机顶盒影音节目共享的方法
JP5723586B2 (ja) * 2010-12-14 2015-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ポインタ制御方法、システム、およびそのプログラム。
JP5254411B2 (ja) * 2011-08-31 2013-08-07 株式会社東芝 受信装置、受信方法及び外部装置連携システム
JP2014534695A (ja) * 2011-10-13 2014-12-18 サムスン エレクトロニクス カンパニー リミテッド コンテンツディスプレイ方法、コンテンツ同期化方法、放送コンテンツディスプレイ方法及びディスプレイ装置
KR101903443B1 (ko) * 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
JP2014049884A (ja) * 2012-08-30 2014-03-17 Toshiba Corp シーン情報出力装置、シーン情報出力プログラム、及びシーン情報出力方法
US9213515B2 (en) * 2012-09-24 2015-12-15 At&T Intellectual Property I, L.P. On-demand multi-screen computing
US20140298157A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd Apparatus and method for presenting html page

Also Published As

Publication number Publication date
WO2014058284A1 (en) 2014-04-17
CA2888004C (en) 2021-08-31
US20140104367A1 (en) 2014-04-17
MX352888B (es) 2017-12-13
KR101959820B1 (ko) 2019-03-20
US20160073053A1 (en) 2016-03-10
AU2013330543A1 (en) 2015-05-28
CN104737544B (zh) 2019-01-04
MX2015004602A (es) 2015-10-09
RU2627032C2 (ru) 2017-08-03
JP2015534797A (ja) 2015-12-03
EP2907314B1 (en) 2019-07-17
CN104737544A (zh) 2015-06-24
AU2013330543B2 (en) 2017-08-24
US10271011B2 (en) 2019-04-23
EP2907314A1 (en) 2015-08-19
RU2015117516A (ru) 2016-11-27
EP2907314A4 (en) 2016-04-27
ES2749691T3 (es) 2020-03-23
CA2888004A1 (en) 2014-04-17
KR20140047482A (ko) 2014-04-22

Similar Documents

Publication Publication Date Title
US10114522B2 (en) Method of controlling display of display device by mobile terminal and mobile terminal for the same
CN105335112B (zh) 多屏显示的信息处理和主控端内容发送方法、装置
JP6516675B2 (ja) マルチメディア通信システムにおけるメディア情報送受信方法及び装置
EP4033773B1 (en) Connection method for multimedia playing device, multimedia playing device and control terminal
EP2685715B1 (en) Method and device for managing video resources in video conference
CN102474671B (zh) 信息处理系统及信息处理装置
EP2824871B1 (en) Network device for a home entertainment network
US20080005353A1 (en) Enabling a plurality of devices to control each other
US20160261930A1 (en) Video-providing method and video-providing system
CN102325144A (zh) 一种媒体设备间互联互通的方法、系统及多媒体设备
CN103069832A (zh) 用于控制内容共享的方法和利用其的便携式终端与内容共享系统
US20180247672A1 (en) Bundling Separate Video Files to Support a Controllable End-User Viewing Experience with Frame-Level Synchronization
US20130132543A1 (en) Differentiating Bookmarks in Content Access Lists Shared Among Multiple Content Player Devices
KR20120091785A (ko) 기기 간의 컨텐츠 공유 방법 및 장치
KR102603548B1 (ko) 협력적 컨텐츠 렌더링을 위한 방법 및 장치
CN112583814A (zh) 多终端设备合并播放方法
Wijnants et al. Synchronous MediaSharing: social and communal media consumption for geographically dispersed users
JP2017092780A (ja) サーバ、システム、方法、プログラム、および表示装置
KR20150020691A (ko) 사용자 인터페이스를 결정하기 위한 방법 및 장치
Lee et al. Synchronized context sharing over multiple devices: Personalized rendering of multimodal contents

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151005

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20151104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190416

R150 Certificate of patent or registration of utility model

Ref document number: 6516675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250