JP7211514B2 - コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム - Google Patents

コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム Download PDF

Info

Publication number
JP7211514B2
JP7211514B2 JP2021530432A JP2021530432A JP7211514B2 JP 7211514 B2 JP7211514 B2 JP 7211514B2 JP 2021530432 A JP2021530432 A JP 2021530432A JP 2021530432 A JP2021530432 A JP 2021530432A JP 7211514 B2 JP7211514 B2 JP 7211514B2
Authority
JP
Japan
Prior art keywords
media data
mapping
media
format
evaluation scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021530432A
Other languages
English (en)
Other versions
JPWO2021005757A1 (ja
Inventor
綜太朗 前島
康弘 持田
高弘 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021005757A1 publication Critical patent/JPWO2021005757A1/ja
Application granted granted Critical
Publication of JP7211514B2 publication Critical patent/JP7211514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Description

特許法第３０条第２項適用 平成３１年３月５日発行の電子情報通信学会２０１９年総合大会講演論文集（分冊：情報・システム２）の第１５０頁において、論文番号Ｄ－２１－５（論文の題名「メディア再生自動化アーキテクチャの提案」）として発表。
本発明は、一つ以上のメディアデータから構成されるコンテンツ再生装置および再生方法に関する。特に、複数種類のメディアデータから構成されるコンテンツ再生装置および再生方法に関する。
映像データや音声データ等のメディアデータで構成されるコンテンツの視聴が普及し、さらに高臨場なコンテンツが登場しつつある。その様な高臨場コンテンツは、特定の再生環境を前提として作成されており、符号化方式や制御方法などが違うため、他の再生環境で同様に再生することは出来ないことが多い。
しかし、メディアデータを何かしらの評価尺度に基づき、再生環境中のデバイスに対して適切にマッピングすることで、特定の再生環境における再生に最大限近づけることが出来る。以降、この際に利用する評価尺度を「マッピング評価尺度」と呼ぶ。マッピング評価尺度は、メディアデータの物理的な再生結果に影響を及ぼすパラメータで構成される。
非特許文献１には、コンテンツ作成者がマッピング評価尺度を入力することで、プロジェクター群に３ＤＣＧ映像をマッピングする方法が開示されている。プロジェクター群が設置された所与の再生環境において３ＤＣＧコンテンツが視聴者に対して適切に見えるように再生するために、非特許文献１のシステムは、室内の３Ｄマップとプロジェクター、視聴者の位置や姿勢といった再生環境情報を取得することに加え、３ＤＣＧオブジェクト間の相対的な３次元座標と向き、体積の関係性を示す物理パラメータ群の所望値を、マッピング評価尺度としてコンテンツ作成者が設定する。これにより、非特許文献１のシステムは、適切なマッピングを決定し、プロジェクターに映像データを供給する。
今後高臨場コンテンツを構成するメディアデータの種類や数が増大する傾向にある。従来はマッピング評価尺度を人手で設定する必要があるが、メディアデータの種類や数が増大するとその作業自体も複雑になってしまう。そのため、コンテンツのマッピング評価尺度の設定作業を削減する必要がある。
Ａｎｄｒｅａｓ Ｆｅｎｄｅｒ ｅｔ ａｌ： "ＯｐｔｉＳｐａｃｅ： Ａｕｔｏｍａｔｅｄ Ｐｌａｃｅｍｅｎｔ ｏｆ Ｉｎｔｅｒａｃｔｉｖｅ ３Ｄ Ｐｒｏｊｅｃｔｉｏｎ Ｍａｐｐｉｎｇ Ｃｏｎｔｅｎｔ，" ＣＨＩ， ２０１８）
本開示は、予め設定された感性効果に応じたメディアデータの再生を可能にすることを目的とする。
本開示のコンテンツ再生装置は、
再生可能なメディアデータのフォーマット及びメディアデータの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持するデバイステーブル作成部と、
メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成する、メディアテーブル作成部と、
前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、マッピング決定部と、
を備える。
本開示のコンテンツ再生方法は、
デバイステーブル作成部が、再生可能なメディアデータのフォーマット及びメディアの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持し、
メディアテーブル作成部が、メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成し、
マッピング決定部が、前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する。
本開示のコンテンツ再生プログラムは、本開示に係るコンテンツ再生装置に備わる各機能部としてコンピュータを機能させるプログラムであり、本開示に係るコンテンツ再生方法に備わる各手順をコンピュータに実行させるプログラムである。
本開示によれば、予め設定された感性効果に応じたメディアデータの再生を可能にすることができる。
本開示に係るシステム構成の一例を示す。 デバイステーブル作成部のブロック構成図である。 デバイス情報の一例を示す。 デバイステーブルの一例を示す。 マッピング決定部に送信されるパラメータの一例を示す。 出力部に送信されるネットワークパラメータの一例を示す。 メディアテーブル作成部のブロック構成図である。 メタデータの一例を示す。 感性効果とマッピング評価尺度の変換テーブルの一例を示す。 メディアテーブルの一例を示す。 マッピング決定部の動作の一例を示すフロー図である。 メディアデータとデバイスのマッピング組み合わせの一例を示す。 出力部のブロック構成図である。 フォーマット変換テーブルの第１例を示す。 フォーマット変換テーブルの第２例を示す。 本実施形態に係るデバイスの抽出例を示す。 第３の実施形態のデバイス情報の一例を示す。 第３の実施形態のメディアテーブルの一例を示す。 第４の実施形態のメタデータの一例を示す。 第４の実施形態の感性効果とマッピング評価尺度の変換テーブルの一例を示す。 第４の実施形態のメディアテーブルの一例を示す。 マッピング評価尺度の計算方法を定めるテーブルの一例を示す。 第４の実施形態のデバイステーブルに含まれるデバイスパラメータの一例を示す。 第５の実施形態に係るシステム構成の一例を示す。 空間パラメータの一例を示す。 空間パラメータの説明図である。 第５の実施形態のデバイステーブルに含まれるデバイスパラメータの一例を示す。 第５の実施形態のメディアテーブルの一例を示す。 本開示のシステムのハードウェア構成の一例を示す。
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
（第１の実施形態）
図１に、本開示に係るシステム構成の一例を示す。本開示に係るコンテンツ再生システムは、複数のデバイスＤ１～Ｄ４と、入力されたメディアデータを複数のデバイスのいずれかに振り分けて出力するオーケストレータ９１と、を備える。デバイスＤ１～Ｄ４は、メディアデータを再生可能な任意の装置である。オーケストレータ９１は、受信した複数のメディアデータ（映像・音声・あるいは効果音や効果照明など）を、複数のデバイス（ディスプレイ・スピーカ・照明など）に振り分けて出力する。ここで、メディアデータとは、映像や音声などの情報を電子的に符号化したデータをいう。コンテンツは、１つ以上のメディアデータ群と、メディアデータ群に関するメタデータで構成されるものである。
オーケストレータ９１は、デバイステーブル作成手順を実行するデバイステーブル作成部１０、メディアテーブル作成手順を実行するメディアテーブル作成部２０、マッピング決定手順を実行するマッピング決定部３０、出力手順を実行する出力部４０、を備える。
デバイステーブル作成手順では、デバイステーブル作成部１０が、各デバイスＤ１～Ｄ４からデバイス情報を取得し、これを用いてデバイステーブルを作成する。
メディアテーブル作成手順では、メディアテーブル作成部２０が、メディアデータ及び各メディアデータのメタデータを取得し、メディアテーブルを作成する。
マッピング決定手順では、マッピング決定部３０が、デバイステーブル及びメディアテーブルを用いて、メディアデータと当該メディアデータを再生するデバイスＤ１～Ｄ４の組み合わせを決定する。
出力手順では、出力部４０が、マッピング決定部３０のマッピング結果に従って、メディアデータをデバイスＤ１～Ｄ４に振り分ける。
＜デバイステーブル作成部１０＞
図２は、デバイステーブル作成部１０のブロック構成図である。デバイステーブル作成部１０は、デバイス情報受信部１１及びデバイステーブル保存／更新部１２を備える。
手順１：デバイス情報受信部１１は、各デバイスＤ１～Ｄ４からデバイス情報を取得する。デバイス情報は、デバイスの識別情報、対応フォーマット、デバイスパラメータ及びネットワークパラメータを含む。「対応フォーマット」はデバイスが再生可能なメディアデータのフォーマットである。「デバイスパラメータ」はメディアデータを再生する際にデバイスが用いる任意のパラメータである。「ネットワークパラメータ」は、メディアデータを送受信するための情報であり、ＩＰアドレスやポート番号、対応プロトコルを含む。
図３に、デバイスＤ１が映像ディスプレイの場合のデバイス情報の一例を示す。対応フォーマットはＨ．２６４である。デバイスパラメータは、フレームレート及び投影面積を含む。フレームレートは３０であり、投影面積は２．０である。ネットワークパラメータは、ＩＰアドレス＝１９２．１６８．２．１０、ポート番号＝８１１８、対応プロトコルＲＴＰである。
デバイス情報受信部１１がデバイス情報を取得する方法は任意である。送信のタイミングは、例えば、メディアテーブル作成部２０がメディアデータを受け取った時である。
手順２：デバイス情報受信部１１は、各デバイスＤ１～Ｄ４から受信した新しいデバイス情報をデバイステーブル保存／更新部１２に渡す。
手順３：デバイステーブル保存／更新部１２は、新しいデバイス情報を受信すると、保持しているデバイステーブルに対し、新しいデバイス情報を追加し、デバイステーブルを更新し、保存する。デバイステーブルの記述形式としては、例えばＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式が考えられる。
図４に、更新されたデバイステーブルの一例を示す。更新されたデバイステーブルでは、照明器具であるデバイスＤ３及びＤ４のデバイス情報並びに映像ディスプレイであるデバイスＤ２のデバイス情報に加え、映像ディスプレイであるデバイスＤ１のデバイス情報が追加されている。
手順４：デバイステーブル作成部１０は、デバイステーブル保存／更新部１２に保持しているデバイステーブルから、ネットワークパラメータを除いたマッピングに必要なパラメータを、マッピング決定部３０に送信する。またデバイステーブル作成部１０は、デバイステーブル保存／更新部１２に保持しているデバイステーブルから、各再生デバイスのネットワークパラメータを出力部４０に送る。図５に、マッピング決定部３０に送信されるパラメータの一例を示す。図６に、出力部４０に送信されるパラメータの一例を示す。
＜メディアテーブル作成部２０＞
図７は、メディアテーブル作成部２０のブロック構成図である。メディアテーブル作成部２０は、受信部２１、変換部２２を備える。
手順１：受信部２１は、オーケストレータ９１の外部から、メディアデータと、メタデータを受け取る。メタデータをメディアデータに付与する方法は、例えばＨ．２６４フォーマットの映像データとそのメタデータをＭＰ４のコンテナに一緒に格納することが例示できる。
図８に、メタデータの一例を示す。メタデータは、各メディアデータのフォーマット情報及び感性効果ラベルを含む。例えば、メディアデータＭ１は映像データであり、フォーマット情報＝Ｈ．２６４、感性効果ラベル＝アクション性が紐付けられている。メディアデータＭ２は、照明データであり、フォーマット情報＝８ｂｉｔ ＨＳＶ、感性効果ラベル＝アクション性が紐付けられている。
ここで、「感性効果」は、メディアデータを再生した物理的な結果から、それを見た人間の情緒や嗜好といった感性に訴えかける効果である。例えば、映像データの再生においては、映像の内容そのものに加え、フレームレートや視野に占める映像面積といった再生に関する物理的な数値に応じて、視聴者が感じる「生き生きとしていて動きがよく分かるような様子や雰囲気、すなわちアクション性」という感性効果の強さの度合いが変化すると、一般的に言われている。その他にも迫真性やドラマ性などその種類は多岐にわたる。「迫真性」は、例えば、そこにあるはずのないものが、本当にそこにあるように感じるという感性効果である。「ドラマ性」は、喜怒哀楽などの感情表現が豊かに感じるという感性効果である。「感性効果ラベル」は、感性効果を表す簡潔な文字列、符号あるいは識別子である。上述の例では、感性効果ラベルは「アクション性」、「迫真性」、「ドラマ性」といった文字列に相当する。
手順２：受信部２１は、受信したメディアデータを出力部４０に送り、メタデータをマッピング評価尺度の変換部２２に送る。
手順３：変換部２２は、内部にあらかじめ持っている「感性効果ラベルとマッピング評価尺度の変換テーブル」に基づき、受信したメタデータの感性効果ラベル部分を、フォーマットに応じて、重みづけされたマッピング評価尺度に変換する。この変換したメタデータをメディアテーブルに追加する。変換部２２は、作成したメディアテーブルをマッピング決定部３０に送信する。
図９に、感性効果ラベルとマッピング評価尺度の変換テーブルの一例を示す。例えば、感性効果ラベルがアクション性であるＨ．２６４フォーマットのメディアデータの場合、投影面積の評価尺度は重み１．０の１．８であり、フレームレートの評価尺度は重み０．５の６０であり、全体重みは０．７である。感性効果ラベルが迫真性であるＨ．２６４フォーマットのメディアデータの場合、フレームレートの評価尺度が重み１．０の６０であり、ビット深度の評価尺度が重み０．５の１６であり、全体重みは０．６である。
図１０に、メディアテーブルの一例を示す。メディアデータＭ１は、図８に示したように、フォーマットがＨ．２６４でありかつ感性効果ラベルがアクション性である。この場合、メディアデータＭ１に紐付けられるマッピング評価尺度は、図９の変換テーブルに照らして、投影面積Ｅ１１＝１．８（重みｇ１１＝１．０）、フレームレートＥ１２＝６０（重みｇ１２＝０．５）、全体重みＧ１＝０．７となる。
ここで、「マッピング評価尺度Ｅｐｒｐ」について説明する。ｐが１以上の任意の整数である場合、メディアデータＭｐには、ｒｐ個のマッピング評価尺度が設定される。複数のデバイスのうちいずれか１つのデバイスでメディアデータを再生しようとするとき、メディアデータの各マッピング評価尺度の値と対応するデバイスパラメータの値とが近いデバイスほど、最も期待される感性効果を得ることができる。また、各マッピング評価尺度には、値（例えば、図１０における「投影面積Ｅ１１＝１．８」）と、重要度を示す重み（例えば、図１０における「重みｇ１１＝１．０」）が設定されている。この場合、重みが最大である「投影面積」の値がデバイスパラメータに最も近くなるようなデバイスを、メディアデータの再生に割り当てる。図１０に記載された映像のメディアデータＭ１を、図４のデバイステーブルに記載された映像ディスプレイＤ１あるいはＤ２のいずれかで再生しようとする場合、投影面積に関するデバイスパラメータｄ１２またはｄ２２が、投影面積に関するマッピング評価尺度Ｅ１１に最も近いデバイスを選択して再生させることで、メディアデータＭ１の再生において最も期待されるアクション性の感性効果を得ることが実現される。
ここで、マッピング評価尺度に含まれる「全体重み（Ｇ）」について説明する。全体重みは、複数のメディアデータのマッピングの優先度を決める数値である。図１０に示す具体例の場合、映像のメディアデータＭ１の全体重みＧ１は０．７であり、照明のメディアデータＭ２の全体重みＧ２は０．３である。この場合、全体重みがより大きい映像のメディアデータＭ１の目的関数が最終的なマッピング評価において支配的になり、映像のメディアデータＭ１の目的関数を小さくするマッピングがより選択されやすくなる。
＜マッピング決定部３０＞
図１１は、マッピング決定部３０の動作の一例を示すフロー図である。マッピング決定部３０は、ステップＳ３１１～Ｓ３１６を実行する。
ステップＳ３１１：マッピング決定部３０は、デバイステーブル作成部１０からデバイステーブルを、メディアテーブル作成部２０からメディアテーブルを、受信する。そして、マッピング決定部３０は、デバイスＤ１～Ｄ４のなかからメディアデータＭ１及びＭ２を再生させるデバイスの組み合わせを導く。
例えば、Ｐ個のメディアデータ（Ｍ１～ＭＰ）とＲ個のデバイス（Ｄ１～ＤＲ）が存在する際、それらをマッピングする組み合わせをすべて導く。所与の全メディアデータが所与の全デバイスで再生可能な場合、組み合わせの総数をＸ個とすると、次式が成立する。
Figure 0007211514000001
例えば、本実施形態では、図４に示すような４種類のデバイスＤ１～Ｄ４と、図８に示すような２種類のメディアデータＭ１及びＭ２が存在する。この場合、Ｘ＝４Ｐ２＝４×３＝１２個の組み合わせが存在することになる。しかし、必ずしも全デバイスが全メディアデータを再生可能とは限らず、その際には組み合わせの総数Ｘは減少する。このとき、マッピング決定部３０は、各メディアデータと各デバイスの対応フォーマットを比較し、フォーマットが一致するメディアデータＭｐとデバイスＤｒの組み合わせのみを対象に組み合わせパターンを導く。
図１２に、メディアデータとデバイスのマッピング組み合わせの一例を示す。本実施形態では、メディアデータＭ１はＨ．２６４フォーマットの映像データであり、メディアデータＭ２は８ｂｉｔ ＨＳＶの照明データである。デバイスＤ１及びＤ２はＨ．２６４フォーマットを再生可能な映像ディスプレイであり、デバイスＤ３及びＤ４は８ｂｉｔ ＨＳＶを再生可能な照明器具である。この場合、組み合わせパターンは以下の４通りとなる。
・組み合わせパターンｘ＝１：Ｍ１とＤ１の組み合わせ、Ｍ２とＤ３の組み合わせ
・組み合わせパターンｘ＝２：Ｍ１とＤ２組み合わせ、Ｍ２とＤ３の組み合わせ
・組み合わせパターンｘ＝３：Ｍ１とＤ１組み合わせ、Ｍ２とＤ４の組み合わせ
・組み合わせパターンｘ＝４：Ｍ１とＤ２組み合わせ、Ｍ２とＤ４の組み合わせ
ステップＳ３１２：組み合わせパターンをｘ（ｘ＝１～Ｘ）とし、ｘ＝１から処理を開始する。本実施形態では、ｐ＝１とｒ＝１の組合せ、ｐ＝１とｒ＝２の組合せ、ｐ＝２とｒ＝３の組合せ、ｐ＝２とｒ＝４の組合せ、が存在する。
ステップＳ３１３：メディアデータＭｐとデバイスＤｒの組合せに対して、それぞれ式２を用いて目的関数Ｌｐ ｒを計算する。
Figure 0007211514000002
ここで、ｒｐは、メディアデータＭｐに設定されたマッピング評価尺度の総数である。ｐはメディアデータの識別子であり、ｐ＝１～Ｐの自然数、Ｐは再生しようとするメディアデータの総数である。ｒはデバイスの識別子であり、ｒ＝１～Ｒの自然数、Ｒはデバイスの総数である。ｅｐｉは、メディアデータＭｐのｉ番目のマッピング評価尺度Ｅｐｉとマッピング評価尺度Ｅｐｉに対応する出力値Ｅｐｉ’との相対誤差を表し、次式で表される。
Figure 0007211514000003
出力値Ｅｐｉ’は、マッピング評価尺度Ｅｐｉに対応するデバイスパラメータの値である。例えば、マッピング評価尺度Ｅ１１の出力値Ｅ１１’は、投影面積に対応するデバイスパラメータであり、デバイスＤ１であればデバイスパラメータｄ１２が出力値Ｅ１１’に相当する。
式２で表される目的関数Ｌｐ ｒは、相対誤差ｅｐｉにそのマッピング評価尺度Ｅｐｉに係る重みｇｐｉを積算して算出し、それらを合算する、という計算を行うものである。目的関数Ｌｐ ｒが小さいほど、各マッピング評価尺度に対する出力値の相対誤差が小さいことを意味している。すなわち、目的関数Ｌｐ ｒが小さいほど、期待される感性効果をより忠実に実現することができる。そこで、メディアデータＭｐ（ｐ＝１～Ｐ）とデバイスＤｒ（ｒ＝１～Ｒ）の全ての組み合わせについて目的関数Ｌｐ ｒを計算する。そして、ステップＳ３１６において、目的関数Ｌｐ ｒが最も小さくなるデバイスＤｒとメディアデータＭｐの組み合わせを有する組み合わせパターンを、メディアデータとその再生のためのデバイスの対応付け（マッピング）として決定する。
ステップＳ３１４：計算された目的関数Ｌｐ ｒを用いて、下記のように組み合わせパターンにおけるマッピング評価関数Ｓｘを計算し、記録する。
Figure 0007211514000004
マッピング評価関数Ｓｘが最も小さい場合、複数のメディアデータによって発生する総合的な感性効果が最も期待される状態で実現される、と考える。すなわち、マッピング決定部３０は、図１１のフローに則り、マッピング評価関数Ｓｘが最も小さくなるマッピングの組み合わせパターンｘを探す。
ステップＳ３１５：ｘを更新し、ステップＳ３１３に戻る。ｘ＝ＸになったらステップＳ３１６に移行する。
ステップＳ３１６：ｘ＝１～Ｘのすべての組み合わせパターンで計算したマッピング評価関数Ｓｘを比較し、Ｓｘが最小になるときの組み合わせパターンｘを最良のマッピング結果として出力する。
目的関数Ｌｐ ｒ及びマッピング評価関数Ｓｘの具体的な計算方法について説明する。本実施形態では、例えば下記の図１０に示すメディアテーブル、図４に示すデバイステーブルの場合、再生デバイスは映像２種類×照明２種類でマッピングの組み合わせパターンは４パターンある。このため、本実施形態では、Ｘ＝４であり、ｘ＝１～４の場合のマッピング評価関数Ｓｘを導出する。
ｘ＝１：Ｍ１／Ｄ１の組み合わせとＭ２／Ｄ３の組み合わせ
ｘ＝２：Ｍ１／Ｄ２の組み合わせとＭ２／Ｄ３の組み合わせ
ｘ＝３：Ｍ１／Ｄ１の組み合わせとＭ２／Ｄ４の組み合わせ
ｘ＝４：Ｍ１／Ｄ２の組み合わせとＭ２／Ｄ４の組み合わせ
まず、メディアデータＭ１の目的関数Ｌ１ １及びＬ１ ２の導出例について説明する。
ｐ＝１かつｒ＝１の場合、マッピング評価尺度Ｅ１１（投影面積）の出力値Ｅ１１’は、デバイスＤ１のデバイスパラメータｄ１２（投影面積）と等価である。このとき、マッピング評価尺度Ｅ１１に対する出力値Ｅ１１’の相対誤差ｅ１１は
Figure 0007211514000005
 と計算できる。
ｅ１１が小さいほどメディアデータに対応付けられた感性効果をより忠実に実現できている、と評価する。フレームレートの相対誤差ｅ１２についても同様に計算できる。このように各マッピング評価尺度について相対誤差を計算し、重みｇｐｉをかけて和を取ると、下記のような式で表せる。
Figure 0007211514000006
重みが大きいマッピング評価尺度ほど目的関数Ｌｐ ｒへの影響が大きくなる。つまり、重みが大きいマッピング評価尺度Ｅと出力値Ｅ’が近いデバイスはＬｐ ｒが小さくなり、マッピングされやすくなる。ｐ＝１かつｒ＝１，２の組み合わせで、Ｌ１ １とＬ１ ２を計算してみると下記のようになる。
Figure 0007211514000007
Figure 0007211514000008
このように、ｐ＝１の場合、映像メディアデータＭ１は投影面積が最も重みが大きいすなわち支配的なため、投影面積の所望値に近い値を出力できる映像ディスプレイであるデバイスＤ１の方がＬｐ ｒは小さくなる。
このような計算を、ｐ＝２かつｒ＝３，４すなわちメディアデータＭ２の目的関数Ｌ２ ３及びＬ２ ４も同様に計算すると以下のようになる。
Figure 0007211514000009
Figure 0007211514000010
これらをもとに、ｘ＝１～４のマッピング評価関数Ｓ１～Ｓ４が算出できる。
Figure 0007211514000011
Figure 0007211514000012
Figure 0007211514000013
Figure 0007211514000014
本実施形態は、Ｓｘの導出に全体重みＧｐを用いているため、映像のメディアデータＭ１の目的関数の方がＳｘの大小に対する影響が大きく（＝支配的に）なり、Ｍ２（照明）の目的関数の影響は相対的に小さくなっている。すなわち、全体重みＧｐが大きいメディアについて優先してマッピングの評価を行うように計算することができる。
本実施形態では、ｘ＝３の組み合わせパターンにおけるマッピング評価関数Ｓ３が最小である。マッピング評価関数Ｓ１～Ｓ４のなかから最も小さいＳ３をマッピングの組み合わせパターンとして採用する。この場合、マッピング決定部３０は、ｘ＝３の組み合わせパターンをマッピング結果として出力する。これにより、本実施形態では、メディアＭ１はデバイスＤ１に割り当てられ、メディアデータＭ２はデバイスＤ４に割り当てられる。
＜出力部４０＞
図１３は、出力部４０のブロック構成図である。出力部４０は、送受信指示部４１、メディアデータ保存部４２、送信部４３を備える。
手順１：送受信指示部４１は、デバイステーブル作成部１０から各デバイスのネットワークパラメータを受信する。
手順２：出力部４０は、メディアテーブル作成部２０からメディアデータを受信し、メディアデータ保存部４２に保存する。
手順３：送受信指示部４１は、マッピング決定部３０からマッピング結果を受け取る。マッピング結果は、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ４を含む。その後、送受信指示部４１は、各デバイスのネットワークパラメータを用いて、メディアデータの送受信に必要な情報を生成する。メディアデータの送受信に必要な情報は、例えばＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）ファイル等である。
手順４：送受信指示部４１は、送信部４３に対し、メディアデータの送受信に必要な情報とメディアデータの送信指示を送信する。メディアデータの送受信に必要な情報は、デバイステーブル作成部１０から取得した各デバイスのネットワークパラメータである。メディアデータ保存部４２は、メディアデータを送信部４３に送信する。送信部４３は、各デバイスＤ１～Ｄ４に対して、マッピングされたメディアデータを送信する。メディアデータの送信方法は、例えばＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いることができる。
（発明の効果）
本開示は、以下の効果を得ることができる。
・マッピング評価尺度に含まれる複数のパラメータの設定作業を、感性効果ラベルの選択のみに簡略化出来る。
・複数のメディアデータの再生によって発生する総合的な感性効果を自動で最大化できる。
（第２の実施形態）
本実施形態では、出力部４０に備わる送受信指示部４１が、メディアデータＭｐのフォーマットＦｐを変換する機能を有する。
第１の実施形態では、図１１に示すステップＳ３１１において、マッピング決定部３０は、デバイスＤ１～Ｄ４のなかから、メディアデータＭｐのフォーマットＦｐとデバイスの対応フォーマットが一致するデバイスのみを、マッピングの組み合わせ対象として抽出している。本実施形態では、出力部４０においてメディアデータＭｐのフォーマットＦｐを変換することができる。このため、本実施形態のマッピング決定部３０は、フォーマットの変換が可能な範囲で組み合わせパターンのバリエーションを増やすことができる。
マッピング決定部３０は、送受信指示部４１において変換可能なフォーマットを定めたフォーマット変換テーブルを参照し、フォーマット変換を行うことで使用可能なデバイスであれば、マッピングの組み合わせ対象として抽出する。これにより、本実施形態は、メディアデータＭｐのフォーマットＦｐとデバイスのフォーマットが異なっていても、メディアデータＭｐのフォーマットＦｐをデバイスの対応フォーマットに変換することが可能であれば、そのデバイスもマッピングの組み合わせ対象に追加する。
図１４にフォーマット変換テーブルの第１例を示す。フォーマット変換テーブルの第１例は、各行に相互変換可能なフォーマットを並べたものである。この場合、各行に片方向に変換可能なフォーマットの変換元と変換先を記述するテーブルをあらかじめ用意する。
図１５に、フォーマット変換テーブルの第２例を示す。フォーマット変換テーブルの第２例は、フォーマットの片方向変換が可能なフォーマットを並べたものである。
本実施形態では、マッピング決定部３０においてフォーマット変換テーブルを用意することで、メディアデータにフォーマットが対応する再生デバイスの抽出を以下の手順で行うことができる。
図１６に、本実施形態に係るデバイスの抽出例を示す。例えば、メディアデータＭ１がＨ．２６５フォーマットの映像のメディアデータであり、フォーマット変換テーブルにおいて相互変換可能な組み合わせにＨ．２６４及びＨ．２６５が記載されている。この場合、フォーマット変換ができなければ、メディアデータＭ１のフォーマットに対応するデバイスはデバイスＤ２のみである。これに対し、本実施形態は、フォーマット変換を用いるため、メディアデータＭ１のフォーマットに対応するデバイスとして、デバイスＤ１及びＤ２を抽出する。
マッピング決定部３０は、マッピング結果として、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ２と共に、各デバイスＤ１及びＤ２において再生するフォーマットを、送受信指示部４１へ送信する。送受信指示部４１は、メディアデータＭ１のフォーマットをＨ．２６５からＨ．２６４に変換し、変換後のメディアデータＭ１をデバイスＤ１への送信部４３に送信する。これにより、デバイスＤ１におけるメディアデータＭ１の再生が可能になる。
フォーマット変換ができなければ、組み合わせパターンの総数Ｘは、２×１＝２通りである。これに対し、本実施形態は、メディアフォーマットの相互変換テーブルを利用することで、組み合わせパターンの総数Ｘは、２×２＝４通りまで増大することができる。
本実施形態は、マッピングの組み合わせパターンの総数Ｘを増大することで、マッピング評価関数Ｓｘの最小値をより小さくできる、より評価の高いマッピング組み合わせを発見できる可能性を与える
（第３の実施形態）
第１の実施形態では、マッピング決定部３０の目的関数Ｌｐ ｒを計算する際、デバイスパラメータは固定値であるとしていた。デバイスＤ１～Ｄ４によっては、デバイスパラメータが所定の範囲内で変動可能な場合がある。本実施形態のシステムは、デバイスＤ１が変動可能なデバイスパラメータを有する場合について説明する。
図１７に、本実施形態のデバイス情報の一例を示す。本実施形態のデバイス情報受信部１１は、各デバイスＤ１～Ｄ４から、デバイスパラメータの変動する範囲も取得する。例えば、映像ディスプレイであるデバイスＤ１の場合、デバイス情報受信部１１は、明るさのデバイスパラメータｄ１３が１．０～３．０の範囲で、０．５の刻み幅で変動ないし選択可能で、１．５や２．０といった数値が出力可能である旨を、デバイスパラメータとして取得する。
マッピング決定部３０は、組み合わせパターンｘを選択する際に、デバイスパラメータの変動する範囲を考慮する。例えば、図１８に示すように、メディアテーブルのメディアデータＭ１のマッピング評価尺度欄に、明るさの評価尺度Ｅ１３が２．２であり、この重みｇ１３が０．３である旨が記載されている場合、ステップＳ３１３において、マッピング決定部３０は、明るさの評価尺度Ｅ１３を用いて相対誤差ｅ１３を算出する。
具体的には、明るさの評価尺度Ｅ１３の出力値Ｅ１３’は、図１７に示すデバイス情報によれば、明るさのデバイスパラメータｄ１３に対応する。明るさの評価尺度Ｅ１３の所望値が２．２である。この場合、マッピング決定部３０は、変動可能な１．０～３．０の範囲の刻み幅０．５の値で最も２．２に近い数値、すなわち２．０を、明るさのデバイスパラメータｄ１３の出力値として選択する。この場合、相対誤差ｅ１３は、以下のように計算できる。
Figure 0007211514000015
マッピング決定部３０は、マッピング結果として、各メディアデータＭ１及びＭ２を再生するデバイスＤ１及びＤ２と共に、各デバイスＤ１及びＤ２において用いるデバイスパラメータを、送受信指示部４１へ送信する。送受信指示部４１は、明るさのデバイスパラメータｄ１３に２．０を用いる旨をデバイスＤ１への送信部４３に送信する。これにより、デバイスＤ１は、明るさのデバイスパラメータｄ１３に２．０を用いて、メディアデータＭ１の再生を行う。
本実施形態は、マッピング評価尺度の所望値により近い値をデバイスパラメータに用いる。このため、デバイスＤ１は、メディアデータＭ１の再生において、より所望に近い感性効果を実現することができる。
（第４の実施形態）
第１の実施形態では、メディアテーブル作成部２０は、ほかのメディアデータのマッピング評価尺度に影響されない絶対的なマッピング評価尺度を割り当てる。これに対し、本実施形態のメディアテーブル作成部２０は、他のメディアデータに影響される相対的なマッピング評価尺度を考慮する。
まず、メディアテーブル作成部２０の取得するメディアデータのメタデータは、図８の項目に加えて、図１９のように、「他メディアデータとの関係」に関する情報を含む。「他メディアデータとの関係」に関する情報は、例えば、メディアデータＭ１及びＭ２の両方を再生する場合、メディアデータＭ１がメインになり、メディアデータＭ２がサブである旨を含む。
また、メディアテーブル作成部２０の参照する感性効果ラベルとマッピング評価尺度の変換テーブルは、図９の項目に加えて、図２０のように「メディアデータの関係性」に関する情報、及びメインメディアデータとサブメディアデータとの関係を示すマッピング評価尺度を含む。
図１９のメタデータには、メディアデータＭ１がメインになり、メディアデータＭ２がサブである旨が記載されている。この場合、メディアテーブル作成部２０は、マッピング評価尺度で定められているメインメディアデータに対する相対距離が２．０である旨を読み出し、サブのメディアデータＭ２のマッピング評価尺度に反映させる。例えば、メインメディアデータがＭ１であり、メディアデータＭ１に対する相対距離が２．０であり、重みが０．５である旨を設定する。これにより、図２１に示すようなメディアテーブルに変換する。上記のように、メディアデータＭ２はメディアデータＭ１に対する相対的なマッピング評価尺度を持つことができる。
第１の実施形態では、マッピング決定部３０が目的関数Ｌｐ ｒを計算する際、マッピング評価尺度の出力値は、名称が対応するデバイスパラメータと等価であるとしていた。例えば、映像メディアデータの「投影面積」というマッピング評価尺度の出力値は、映像ディスプレイの「投影面積」というデバイスパラメータと等価であった。本実施形態では、相対的なマッピング評価尺度の出力値は複数のデバイスパラメータが必要である。そこで、本実施形態は、デバイスパラメータと計算方法を示す図２２のようなマッピング評価尺度の計算方法を定めるテーブルを予め作成しておく。
また、本実施形態では、図２３に示すように、デバイステーブルに含まれるデバイスパラメータが、３次元座標を含む。３次元座標は、デバイスの配置されている位置を示す情報である。本実施形態では、簡単な例として、デバイスＤ１の３次元座標が（０，１，２）であり、デバイスＤ２の３次元座標が（０，２，１）である例を示す。
マッピング決定部３０は、メディアテーブル、デバイステーブル及びマッピング評価尺度の出力値の計算方法を定めるテーブルを用いて、マッピングの組み合わせパターンｘを求める。
例えば、マッピング評価尺度がメインメディアデータとサブメディアデータの相対距離の場合、マッピング評価尺度の出力値の計算方法は、
Figure 0007211514000016
マッピング決定部３０は、３次元座標ｄ１３及びｄ２３をデバイステーブルから読み出し、メディアデータＭ１に対する相対距離Ｅ２２の出力値Ｅ２２’及び相対誤差ｅ２２を求めることができる。
Figure 0007211514000017
Figure 0007211514000018
本実施形態は、メディアデータの関係性を考慮したマッピング評価尺度を取り扱うことで、より感性効果の高い組み合わせパターンを選択することができる。例えば、アクション性という感性効果ラベルは、メインメディアデータを提示することに加え、サブメディアデータを適切な相対的な距離で追加して提示することで、メインメディアデータとサブメディアデータ間の相互作用が起こり、アクション性が高まる、などである。
（第５の実施形態）
図２４に、本実施形態に係るシステム構成の一例を示す。本実施形態に係るオーケストレータ９１は空間パラメータ取得部５０をさらに備える。マッピング決定部３０の目的関数Ｌｐ ｒの計算においては、マッピング評価尺度Ｅｐｉとデバイスパラメータｄのみを利用していた。本実施形態は、これに加え、空間パラメータを計算に利用する。
空間パラメータ取得部５０は、空間パラメータを取得する任意の手段であり、例えば、センサ、センサからデータを受信する通信手段、キーボードやマウスなどの入力手段が例示できる。
空間パラメータは、空間自体が持つ、マッピング評価尺度に影響するパラメータである。例えば、空間パラメータは、空間の明るさ、壁面の光の反射特性、空間の音響特性、空間の３Ｄマップを含む。
図２５に、空間パラメータの一例を示す。図２５に示す空間パラメータは、空間の３Ｄマップであり、図２６に示すような、Ｘ軸、Ｙ軸、Ｚ軸方向における壁面の範囲が定められている。
図２７に本実施形態のデバイステーブルの一例を示す。本実施形態のデバイステーブルは、再生デバイスＤ１がプロジャクタであり、対応フォーマットがＨ．２６４であり、デバイスパラメータがフレームレート、画面サイズ、３次元座標、単位方向ベクトル及び中心法線直接照度を含む。３次元座標及び単位方向ベクトルは、空間パラメータの要素である。
また本実施形態においては、デバイスパラメータとして固定値ではなく、空間パラメータや他のデバイスパラメータを用いる計算式を記述してよい。例えばこの場合、画面サイズは固定値ではなく、3次元座標と空間パラメータで計算される。このように構成することで、空間パラメータを用いて計算するデバイスパラメータを取り扱うことが出来る。
図２８に本実施形態のメディアテーブルの一例を示す。本実施形態のメディアテーブルは、メディアデータＭ１が映像メディアデータであり、フォーマットがＨ．２６４であり、マッピング評価尺度が投影面積、フレームレート及び中心法線直接照度を含む。
マッピング決定部３０は、組み合わせパターンｘを抽出する際に、以下を考慮する。
デバイスパラメータの中に空間パラメータの要素が存在する場合、マッピング決定部３０は、空間パラメータの要素を読み出す。例えば、デバイスＤ１の場合、マッピング決定部３０は、３次元座標ｄ１３＝（ｆ，ｇ，ｈ）と単位方向ベクトルｄ１４＝（ｉ，ｊ，ｋ）を読み出す。そして、マッピング決定部３０は、空間パラメータを参照し、各壁面の方程式を利用した幾何的計算を行う。これにより、マッピング決定部３０は、図２６においてデバイスＤ１は壁面Ｗ５に映像を投影するような状況になっていると判定する。
このとき、デバイスＤ１とＹ＝ｂの壁面Ｗ５のＹ座標の関係は、空間パラメータより、ｂ＝Ａ×ｊ＋ｇとなる。よってＡ＝（ｂ－ｇ）／ｊと計算できる。これにより、画面サイズの出力値Ｅ１１’（＝ｄ１２）や中心法線直接照度の出力値Ｅ１３’（＝ｄ１５）が計算可能になる。
本実施形態は、感性効果の増大の効果が得られる。例えば、空間パラメータを考慮して初めて計算可能な中心法線直接照度は、映像や照明といったメディアデータの明るさに関するパラメータであり、感性効果ラベルのドラマ性に寄与する。これを考慮可能にすることで、さらにドラマ性を高めるマッピングが実現できる。
（第６の実施形態）
図２９は、本開示のシステムのハードウェア構成の一例を示している。本開示のシステムは、本開示に係るコンテンツ再生装置として機能するコンピュータ９６と、デバイスＤ１を含む。コンピュータ９６は、ネットワーク９５へと接続されていてもよい。ネットワーク９５は、データ通信ネットワークである。通信は、ネットワーク９５を介して電子信号及び光信号によって行われる。
コンピュータ９６は、プロセッサ１１０、及びプロセッサ１１０に接続されたメモリ１２０を含む。プロセッサ１１０は、命令に応答し且つ命令を実行する論理回路で構成される電子デバイスである。メモリ１２０は、コンピュータプログラムがエンコードされた有形のコンピュータ９６にとって読み取り可能な記憶媒体である。この点に関し、メモリ１２０は、プロセッサ１１０の動作を制御するためにプロセッサ１１０によって読み取り可能及び実行可能なデータ及び命令、すなわちプログラムコードを記憶する。メモリ１２０の構成要素の１つは、プログラムモジュール１２１である。
プログラムモジュール１２１は、本実施形態に備わる任意の機能部を実現させるためのモジュールを含む。例えば、プログラムモジュール１２１は、デバイステーブル作成部１０、メディアテーブル作成部２０、マッピング決定部３０、出力部４０を実現させるためのモジュールを含む。
プログラムモジュール１２１は、本明細書に記載のプロセスを実行するようにプロセッサ１１０を制御するための命令を含む。プログラムモジュール１２１は、すでにメモリ１２０へとロードされているものとして示されているが、メモリ１２０へと後にロードされるように記憶装置１４０上に位置するように構成されてもよい。記憶装置１４０は、プログラムモジュール１２１を記憶する有形のコンピュータにとって読み取り可能な記憶媒体である。あるいは、記憶装置１４０は、ネットワーク９５を介してコンピュータ９６へと接続される他の種類の電子記憶デバイスであってよい。
本開示は情報通信産業に適用することができる。
１０：デバイステーブル作成部
１１：デバイス情報受信部
１２：デバイステーブル保存／更新部
２０：メディアテーブル作成部
２１：受信部
２２：変換部
３０：マッピング決定部
４０：出力部
４１：送受信指示部
４２：メディアデータ保存部
４３：送信部
９１：オーケストレータ
９５：ネットワーク
９６：コンピュータ
１１０：プロセッサ
１２０：メモリ
１２１：プログラムモジュール
１４０：記憶装置

Claims (7)

  1. 再生可能なメディアデータのフォーマット及びメディアデータの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持するデバイステーブル作成部と、
    メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成する、メディアテーブル作成部と、
    前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、マッピング決定部と、
    を備える、
    コンテンツ再生装置。
  2. 前記マッピング評価尺度は、メディアデータの優先順位を定める全体重みを含み、
    前記マッピング決定部は、前記デバイステーブルに含まれるデバイスパラメータを用いて各マッピング評価尺度との相対誤差を求め、各マッピング評価尺度の相対誤差に全体重みを乗算した相対誤差の総和を求めることで、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    請求項１に記載のコンテンツ再生装置。
  3. 前記マッピング決定部の選択したデバイスとメディアデータとの組み合わせパターンに対応するメディアデータを、前記マッピング決定部の選択したデバイスに出力する、出力部をさらに備え、
    前記出力部は、メディアデータのフォーマットを変換する送受信指示部を備え、
    前記マッピング決定部は、前記送受信指示部において変換可能なフォーマットを前記デバイステーブルに含まれるフォーマットに含め、前記組み合わせパターンを抽出する、
    請求項１又は２に記載のコンテンツ再生装置。
  4. 前記デバイステーブルに含まれるデバイスパラメータは、デバイスで変動可能な範囲を含み、
    前記マッピング決定部は、前記デバイステーブルに含まれるデバイスパラメータの変動可能な範囲から、前記メディアテーブルに含まれるマッピング評価尺度に最も近いデバイスパラメータを用いて、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    請求項１から３のいずれかに記載のコンテンツ再生装置。
  5. 前記メタデータは、メディアデータ同士の相対関係を含み、
    前記感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルは、相対関係を有するメディアデータとの相対関係を示すマッピング評価尺度を含み、
    前記マッピング決定部は、相対関係を有するメディアデータとの相対関係を示すマッピング評価尺度を用いて、前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差を求める、
    請求項１から４のいずれかに記載のコンテンツ再生装置。
  6. デバイステーブル作成部が、再生可能なメディアデータのフォーマット及びメディアの再生時に用いるデバイスパラメータをデバイスごとに定めたデバイステーブルを保持し、
    メディアテーブル作成部が、メディアデータのフォーマット及び感性効果ラベルを含むメタデータを取得し、感性効果ラベル及びフォーマットの組み合わせごとにデバイスパラメータの値が定められた変換テーブルに従って、感性効果ラベルに応じたデバイスパラメータであるマッピング評価尺度を定め、前記マッピング評価尺度及びフォーマットがメディアデータごとに定められたメディアテーブルを作成し、
    マッピング決定部が、前記デバイステーブルに含まれるデバイスのうちの前記メディアテーブルに含まれるメディアデータを再生可能なデバイスと前記メディアテーブルに含まれるメディアデータとの組み合わせパターンを前記デバイステーブル及び前記メディアテーブルに含まれるフォーマットに基づいて抽出し、抽出した組み合わせパターンのなかから前記デバイステーブルに含まれるデバイスパラメータと前記メディアテーブルに含まれるマッピング評価尺度との相対誤差が最も小さくなる組み合わせパターンを選択し、メディアデータの出力先であるデバイスを選択する、
    コンテンツ再生方法。
  7. 請求項１から５のいずれかに記載のコンテンツ再生装置に備わる各機能部としてコンピュータを機能させる、コンテンツ再生プログラム。
JP2021530432A 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム Active JP7211514B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/027389 WO2021005757A1 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム

Publications (2)

Publication Number Publication Date
JPWO2021005757A1 JPWO2021005757A1 (ja) 2021-01-14
JP7211514B2 true JP7211514B2 (ja) 2023-01-24

Family

ID=74114452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021530432A Active JP7211514B2 (ja) 2019-07-10 2019-07-10 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム

Country Status (3)

Country Link
US (1) US11805294B2 (ja)
JP (1) JP7211514B2 (ja)
WO (1) WO2021005757A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010007987A1 (ja) 2008-07-15 2010-01-21 シャープ株式会社 データ送信装置、データ受信装置、データ送信方法、データ受信方法および視聴環境制御方法
JP2012511837A (ja) 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
JP2012524452A (ja) 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
US20180164655A1 (en) 2016-12-12 2018-06-14 Gracenote, Inc. Systems and methods to transform events and/or mood associated with playing media into lighting effects

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278238B (en) * 2005-10-07 2007-04-01 Via Tech Inc Format converting method
US9282337B2 (en) * 2009-02-27 2016-03-08 Vixs Systems, Inc. Media source device with digital format conversion and methods for use therewith
US20110126104A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation User interface for managing different formats for media files and media playback devices
US20120151006A1 (en) * 2010-12-13 2012-06-14 Motorola Mobility, Inc. Content sharing between a universal plug and play device and a wide area network device
US9628842B2 (en) * 2011-02-11 2017-04-18 Sony Corporation Method and apparatus for identifying content using IPTV devices
JP2012175149A (ja) * 2011-02-17 2012-09-10 Panasonic Corp 通信システム、通信装置、通信方法、およびプログラム
US9137281B2 (en) * 2012-06-22 2015-09-15 Guest Tek Interactive Entertainment Ltd. Dynamically enabling guest device supporting network-based media sharing protocol to share media content over local area computer network of lodging establishment with subset of in-room media devices connected thereto
US9049470B2 (en) * 2012-07-31 2015-06-02 Google Technology Holdings LLC Display aware transcoder source selection system
US9544662B2 (en) * 2013-12-30 2017-01-10 Google Technology Holdings LLC Distributing metadata to peer devices
WO2016006745A1 (ko) * 2014-07-11 2016-01-14 삼성전자주식회사 클라우드 서버, 제어 기기, 출력 기기, 이들을 포함하는 클라우드 시스템 및 기기 간 페어링 방법
US10298876B2 (en) * 2014-11-07 2019-05-21 Sony Corporation Information processing system, control method, and storage medium
US20160173937A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Methods and devices for media casting management among multiple media casting devices supporting different media casting protocols
US20170131863A1 (en) * 2015-11-06 2017-05-11 Logitech Program generation for a universal control system
US10038941B2 (en) * 2015-12-07 2018-07-31 Caavo Inc Network-based control of a media device
KR20170106793A (ko) * 2016-03-14 2017-09-22 한국전자통신연구원 디바이스 제어 장치 및 방법
US10327035B2 (en) * 2016-03-15 2019-06-18 Sonifi Solutions, Inc. Systems and methods for associating communication devices with output devices
US10382806B2 (en) * 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
EP4221085A1 (en) * 2016-11-23 2023-08-02 Fasetto, Inc. Systems and methods for streaming media
BR102018074626A2 (pt) * 2018-11-28 2020-06-09 Samsung Eletronica Da Amazonia Ltda método para controle de dispositivos com internet das coisas através de receptores de tv digital usando transmissão a partir de um radiodifusor em um fluxo de transporte
EP4289143A1 (en) * 2021-03-31 2023-12-13 Jio Platforms Limited System and method for sharing media resources for network based communication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511837A (ja) 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
WO2010007987A1 (ja) 2008-07-15 2010-01-21 シャープ株式会社 データ送信装置、データ受信装置、データ送信方法、データ受信方法および視聴環境制御方法
JP2012524452A (ja) 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
US20180164655A1 (en) 2016-12-12 2018-06-14 Gracenote, Inc. Systems and methods to transform events and/or mood associated with playing media into lighting effects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sanjay d'Abreu Noronha，"Context-Sensitive Display Adaptation"，Technical Disclosure Commons，[online]，2018年04月17日，Pages 1-10，[令和元年11月20日検索], インターネット, <URL: https://www.tdcommons.org/dpubs_series/1170/>.

Also Published As

Publication number Publication date
WO2021005757A1 (ja) 2021-01-14
US11805294B2 (en) 2023-10-31
JPWO2021005757A1 (ja) 2021-01-14
US20220256240A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN110738737A (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
US10440352B2 (en) Image processing apparatus and method
US10085008B2 (en) Image processing apparatus and method
US10026230B2 (en) Augmented point cloud for a visualization system and method
JP6674192B2 (ja) 画像処理装置と画像処理方法
US20150262426A1 (en) Spatial Augmented Reality (SAR) Application Development System
US11900649B2 (en) Methods, systems, articles of manufacture and apparatus to generate digital scenes
TW201243387A (en) Color channels and optical markers
US9552650B2 (en) Image combining apparatus, image combining method and recording medium storing control program for image combining apparatus
US9756260B1 (en) Synthetic camera lenses
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
KR20190094166A (ko) 실제 장면의 재현에 가상 이미지 및 오디오 데이터를 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
CN108230168B (zh) 通过定制多媒体方法共享个性化路线规划的方法和系统
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
KR20220090398A (ko) 다중 카메라 보정을 수행하는 방법 및 장치
US9792835B2 (en) Proxemic interfaces for exploring imagery
CN111868786A (zh) 跨设备监控计算机视觉系统
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
EP3422145A1 (en) Provision of virtual reality content
CN113316078B (zh) 数据处理方法、装置、计算机设备及存储介质
US11710281B1 (en) Rendering virtual environments using container effects
JP7211514B2 (ja) コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
CN109863746B (zh) 用于数据探索的沉浸式环境系统和视频投影模块
CN112740283A (zh) 增强现实映射系统和相关方法
CN116755590A (zh) 虚拟图像的处理方法、装置、增强实现设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211124

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20211124

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7211514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150