JP7507687B2 - 補助データとしての座標のための機械又は機械群および方法 - Google Patents
補助データとしての座標のための機械又は機械群および方法 Download PDFInfo
- Publication number
- JP7507687B2 JP7507687B2 JP2020537597A JP2020537597A JP7507687B2 JP 7507687 B2 JP7507687 B2 JP 7507687B2 JP 2020537597 A JP2020537597 A JP 2020537597A JP 2020537597 A JP2020537597 A JP 2020537597A JP 7507687 B2 JP7507687 B2 JP 7507687B2
- Authority
- JP
- Japan
- Prior art keywords
- audiovisual content
- coordinates
- visual portion
- audio
- auxiliary data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 125
- 230000000007 visual effect Effects 0.000 claims description 233
- 238000003860 storage Methods 0.000 claims description 52
- 230000003993 interaction Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 239000008280 blood Substances 0.000 description 18
- 210000004369 blood Anatomy 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229940061368 sonata Drugs 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Description
[0001]メディアコンテンツは、生成、処理された後、消費者に送信される。従来のメディアコンテンツに加えて、電子通信技術の普及により、コンテンツに関係付けられるか又はコンテンツを増強する補助データを大量に配信することが可能になった。例えば、インスタントメッセージングのような技術は、電子情報を1人の人間から多数の人間へと非常に迅速に配信する媒体を提供する。例えば、パーソナルコンピュータ、携帯電話、個人情報端末、及びテレビセットトップボックス(例えば、ケーブルセットトップボックス、衛星セットトップボックス等)を含む電子デバイスは、消費者が情報に容易にアクセスすることを可能にする。現代の通信技術を介して配信することができる補助データのタイプ及び内容は、非常に多岐にわたり、個人情報から情報コンテンツ、広告に至るまで、あらゆるものを含む。補助データは、単純なテキストから、グラフィック、ビデオ、多数のデータ層を含む内容まで、様々な形態をとることができる。
[0002]しかし、現在の技術は、そのような補助データを、その後処理するために抽出することにおいては不足がある。コンテンツ及び補助データの現在の同期方法は、例えば、ソースとターゲット又は消費者との間に明示的なデータ接続を必要とし得、多くの場合、一方向である。他の現在の同期方法は、複数の異なる設備がメタデータをサポートしている場合もあれば、していない場合もある様々なワークフローを使用することになるか、又は、配信フォーマットコンテナがデータの本質自体以外のメタデータを含むのによく適していないため、信号チェーン全体を通じて存在する場合もあれば、しない場合もあるメタデータに依拠し得る。
[0003]さらに、従来、補助データは、上述のタイプ(例えば、テキスト、グラフィック、ビデオ等)に制約されてきた。利用可能な補助データのタイプにおける上記制約は、メディアコンテンツと補助データの両方の利用を制限する。
[0004]本開示は、上記問題に対処するための方法及びシステムを提供する。本開示は、オーディオ又は時間コードと、生成から消費者までコンテンツを搬送する下流パイプラインにおける動作をトリガするためのフィンガープリンティングを含む自動コンテンツ認識(ACR)技術との動的な結合を説明する。上記動作は、元のコンテンツ及び品質を保持し、コンプライアンス及び未知のコンテンツの許容可能な統合を可能にし、上流のデータベースへの条件付きアクセスのための複数の経路及び帰還路を提供する。本開示は、間接的な接続を可能にし、データストリッピング障害物を迂回する、補助データ同期のための経路を提供する。例えば、ライブイベントをデータベースに記憶されているイベントと比較するためのフィンガープリンティングを含む追加の局所的ACRは、チェーンが迂回されることを可能にし、同期を示すため、並びに変更、更新及び追加の新規の情報をデータベースに提供するためのデータのフィードバックのためのメカニズムを提供する。追加の局所的ACRは、他の用途の中でも、電子商取引、データ追跡、検索、データ関係、及び精細な視聴者測定等の、多数の付加価値のある態様に使用することができる、コンテンツに関する時間整合された特徴に富むデータを記憶し、取り出す方法を提供する。
[0005]さらに、本開示は、例えば、視聴覚コンテンツの視覚部分の視野の座標等、新種の補助データである座標を提供する。上記新規の補助データタイプは、概して、視聴覚コンテンツ及び補助データのより先進的な利用を可能にする。上記新規の補助データタイプは、視覚野においてコンテンツと整合するデータの仮想表現を生成し、結果、コンテンツの任意のコンテンツ再生環境にわたる合成ラッパとして作用し、関係付けられる補助データを閲覧者に見せることができる。
[0006]本明細書に組み込まれるとともにその一部を構成する添付の図面は、本発明の態様の様々な例示的な実施形態を示す様々な例示的なシステム、方法等を示す。図面に示されている要素の境界(例えば、ボックス、ボックス群、又は他の形状)は、境界の一例を表すことが諒解されよう。1つの要素が複数の要素として設計されてもよいこと、又は、複数の要素が1つの要素として設計されてもよいことが、当業者には諒解されよう。別の要素の内部構成要素として示されている要素が、外部構成要素として実施されてもよく、逆も真である。さらに、要素は原寸に比例して描写されていない場合がある。
[0019]図1Aは、オーディオを含むコンテンツを、コンテンツの視覚部分の座標を含む補助データに同期させるための例示的な方法の概略図を示す。図1Aは、視覚部分3及びオーディオ部分5を含む視聴覚コンテンツ1を示す。視聴覚コンテンツ1は、映画、TV番組、スポーツイベント(例えば、バスケットボールの試合)、インターネットビデオ、ビデオゲーム、仮想現実(VR)、拡張現実(AR)、若しくは複合現実(MR)環境、又はラジオ、インターネット等を介した聴覚のみのプログラムであってもよい。
[0020]図1Aは、補助データ7をも示す。補助データ7は、コンテンツに関係付けられるデータであり、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子(URL)、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述するデータを含むことができる。補助データ7は、広告データ等の商用データを含んでもよい。補助データ7はまた、コンテンツの閲覧者からのコメント等のユーザデータ(例えば、ツイッター[登録商標]のメッセージ等)も含んでもよい。補助データ7はまた、例えば、コンテンツのオーディオの音量又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計等の専門的又は技術的データも含んでもよい。補助データ7はまた、別のアプリケーションへのブロックチェーンレベルアクセスも含んでもよい。
[0021]上記の例から分かるように、補助データ7を構成するものは非常に広範にわたる場合があり、様々なソースから収集される場合がある。補助データのもう1つの例が、コンテンツ1の視覚部分3の座標である。上記新規のタイプの補助データは、概して、視聴覚コンテンツ及び補助データのより先進的な利用を可能にし得る。
[0022]補助データに伴って生じる重大な問題は同期、すなわち、現実問題として、補助データ7が視聴覚コンテンツ1にどの程度正確に時間整合されるかということである。コンテンツ及び補助データの現在の同期方法は、コンテンツのソースとターゲット又は消費者との間に明示的なデータ接続を必要とする。この明示的なタイミングデータは、消費者の施設にある機器にタイミングを通信する。上記方法は、通常、ソース又はコンテンツの提供者からターゲット又は消費者への一方向でもあり、これは制限である。他の現在の同期方法は、複数の異なる設備がメタデータをサポートしている場合もあれば、していない場合もある様々なワークフロー又はコンテンツコンテナフォーマットを使用することになるため、ソース又はコンテンツの提供者からターゲット又は消費者への信号チェーン全体を通じて存在する場合もあれば、しない場合もある、コンテンツに付随するメタデータに依拠する。
[0023]図1Aに示すように、視聴覚コンテンツ1は、視覚部分3及びオーディオ5を含む。図1Aはまた、オーディオ波形シグネチャの形態の視聴覚コンテンツ1のオーディオ部分5の表現9も示す。表現9は、少なくとも、オーディオ部分5が時点tに沿って表現9から識別可能である限りにおいて、視聴覚コンテンツ1のオーディオ部分5に一致する。図1Aの実施形態において、補助データ7は各々、補助データ7が整合されるオーディオ部分5の瞬間に対応する表現9の瞬間において、表現9に固定(pegging、ペギング)される。1つの実施形態において、補助データ7は、表現9上の持続時間(1つの瞬間だけでなく)に固定することができる。そのような実施形態において、補助データ7は、表現9(例えば、映画のシーン)上の持続時間のそれぞれ始まり及び終わりを表す表現9上の2つ(又は2つ以上)の瞬間に固定することができる。別の実施形態において、補助データ7は、規定の補助データ7に適用可能な表現9上の始まりの瞬間及び持続時間に固定することができる。そのような実施形態において、補助データ7は、表現9(例えば、映画のシーン)上の持続時間及び絶対項として指定される持続時間のそれぞれ始まり及び終わりを表す表現9上の始まり(又は終わり)の瞬間に固定することができる。
[0024]図1Aの例において、補助データAが、視聴覚コンテンツ1の時点txに対応する表現9の瞬間に固定される。補助データ7b、7c、及び7hが、視聴覚コンテンツ1の時点tx+1に対応する表現9の瞬間に固定される。補助データ7d及び7eが、時点tx+2に対応する表現9の瞬間に固定される。補助データ7fが、視聴覚コンテンツ1の時点tx+3に対応する表現9の瞬間に固定され、補助データ7gが、視聴覚コンテンツ1の時点tx+4に対応する表現9の瞬間に固定される。
[0025]補助データ7及び表現9の各々は、次いで、視聴覚コンテンツ1の将来のユーザ又は閲覧者にとってアクセス可能にし得るデータベースに記憶することができる。このように、視聴覚コンテンツ1が上記ユーザ又は閲覧者に配信されるとき、表現9及び表現9に固定されている補助データ7を、当該ユーザ又は閲覧者にとって利用可能にし得る。
[0026]ユーザの施設において、オーディオ部分5、したがって視聴覚コンテンツ1を表現9に同期させるために、受信されている視聴覚コンテンツ1のオーディオ部分5を、表現9とリアルタイムで比較することができる。さらに、補助データ7が、視聴覚コンテンツ1のそれぞれの時点に対応する表現9の瞬間に固定されるため、補助データ7は、明示的なタイミングデータがなくとも視聴覚コンテンツ1に同期することができる。
[0027]図1Aに示す実施形態において、補助データ7aは、視聴覚コンテンツ1の時点txに整合される(すなわち、当該時点に現れるか又は当該時点に関係付けられる)。補助データ7b及び7cは、視聴覚コンテンツ1の時点tx+1に現れるか又は当該時点に関係付けられる。補助データ7d及び7eは、時点tx+2に現れるか又は当該時点に関係付けられる。補助データ7fは、視聴覚コンテンツ1の時点tx+3に現れるか又は当該時点に関係付けられ、補助データ7gは、時点tx+4に現れるか又は当該時点に関係付けられる。例えば、txにおける補助データ7aは、コンテンツ名、True Blood、シーズン2、エピソード2を示すことができる。時点tx+1(例えば、12分2秒)において、補助データ7bは、Anna Paquin(俳優)演じるSookie Stackhouse(登場人物)が、Manolo Blahnik Hangisi 105mmサテンパンプシューズ(アクセサリ)を着用していることを記述し、一方、補助データ7cは、音楽が、ロンドン交響楽団が演奏するベートーヴェン作曲の月光ソナタであることを示す。補助データ7d及び7eは、時点tx+2において受信されるツイッターメッセージであってもよく、当該メッセージにおいて、ユーザは、視聴覚コンテンツ1又は特に視聴覚コンテンツ1内のシーンに対する自身の反応を表現する。補助データ7fは、コマーシャルの時間に起因するコンテンツのオーディオの規定の音量又はダイナミックレンジスケーリングのtx+3における変化を示し得、又は、単に番組全体よりも粒度を細かくすることができる。補助データ7gは、コマーシャルの時間から視聴覚コンテンツ1への復帰に起因するコンテンツのオーディオの規定の音量又はダイナミックレンジスケーリングのtx+4における変化を示し得る。
[0028]もう1つのタイプの補助データが、コンテンツ1の視覚部分3の座標データであり得る。例えば、補助データは、視聴覚コンテンツ1の視覚部分3内の位置を表す座標セットを特定するデータ、並びに、座標セットによって表される位置にある視聴覚コンテンツ1の視覚部分3内に位置する物体の中心及び形状を特定するデータを含むことができる。図1においては、補助データ7hは、コンテンツ1の視覚部分3に対応するx、y座標のセットであり得る(True Bloodは二次元TV番組である)。座標7hは、補助データ7b、すなわちSookie StackhouseのManolo Blahnik Hangisi 105mmサテンパンプシューズの、視覚部分3上の位置に対応する。
[0029]上記情報が補助データ7の一部であることによって、ユーザは、Manolo Blahnik Hangisi 105mmサテンパンプシューズが現れる視聴覚コンテンツについて、補助データシステムに問い合わせることができる。検索結果は、Manolo Blahnik及び/又は105mmサテンパンプス(製品)であり得る。問合せの結果は、視聴覚コンテンツとしてのTrue Blood、シーズン2、エピソード2だけでなく、シューズが現れる視聴覚コンテンツ1の時点+持続時間としてのtx+1(例えば12分2秒)、及び、視覚部分3上のシューズの正確な位置としての座標x、yでもある。代替的に、ユーザは、Manolo Blahnik Hangisi 105mmサテンパンプシューズが座標x、yに現れる視聴覚コンテンツについて、補助データシステムに問い合わせることができる。問合せの結果は、True Blood、シーズン2、エピソード2の時点tx+1(例えば、12分2秒)である。
[0030]同様に、座標セット補助データが利用可能であることによって、ユーザは、特定の点のセット又は形状座標によって特定される視聴覚コンテンツの視覚部分内の位置にある補助データが何であるかについて、補助データシステムに問い合わせることができる。例えば、ユーザは、時点tx+1にあるか、又は、所与の形状の視聴覚コンテンツ1、True Blood、シーズン2、エピソード2内から、座標x、yにあるものを検索することができる。問合せの結果は、Manolo Blahnik Hangisi 105mmサテンパンプシューズである。システムに問い合わせるために、ユーザは、例えば、視聴覚コンテンツ1、True Blood、シーズン2、エピソード2の時点tx+1で、座標x、yにおいてデバイスの画面に接触することができる。システムは、特定の位置における接触を検出し、補助データを検索し、特定の位置にある物体(複数可)を特定する情報を出力することができる。
[0031]上記の問合せの組合せは例示に過ぎない。概して、補助データとしての座標が、視聴覚コンテンツ及び補助データのより先進的な利用を可能にする多くの他の問合せの組合せが可能である。
[0032]また、図1Aは、二次元の例(True Bloodは二次元のTV番組である)を示しているが、ここで開示されている補助データシステムは二次元に限定されず、下記に説明するように、三次元コンテンツ(例えば、3Dビデオゲーム、3D映画、3D仮想現実等)の三次元座標(x,y,z)を含むことができる。
[0033]補助データとしての座標を含めることによって、概して、視聴覚コンテンツ及び補助データのより先進的な利用のさらなる可能性が与えられる。補助データとしての座標は、例えば、単純に、コンテンツ1のビデオフレーム内の位置(例えば、x=0~1920、y=0~1080)又は所与の形状(アスペクト比が分かっている場合は3つの座標のうちの最小値)を表す座標x、y等の、単純な相対座標に対応することができる。しかしながら、補助データとしての座標は、例えば、コンテンツ1のビデオフレーム内の位置を表す座標x、y、及び、同時に、別の空間又は領域(例えば、仮想空間、ビデオゲーム内の空間、異なる視聴覚コンテンツ内の空間等)内の位置等の、代替的な空間又は領域に対応する座標に対応してもよい。補助データとしての座標はまた、例えば、コンテンツ1のビデオフレーム内の位置を表す座標x、y、及び、同時に、実世界空間(例えば、スタジアム、都市、国、惑星、宇宙等)内の位置等の、他の空間又は領域に相関付けることができる絶対座標にも対応してもよい。
[0034]さらに、代替的な空間又は領域に対応する座標は、絶対的である必要はなく、又は、コンテンツ1の視覚部分3上の位置に対応する座標に対して相対的である必要もない。代替的な空間又は領域に対応する上記座標は、単純に、コンテンツ1の視覚部分3上の位置に対応する座標に結びつけるか、又は、相関付けることができる。例えば、代替的な空間又は領域に対応する座標を、補助データとして同期データ9内の対応する瞬間に固定して、当該座標を、コンテンツ1の視覚部分3上の位置に対応する座標に結びつけるか、又は、相関付けることができる。上記追加の座標層は、追加の補助データ層になる。
[0035]図1Bは、補助データとしての座標の利用の一例を示す。図1Bは、コンテンツの視覚部分の座標を含む補助データを、第2の座標セットを表す補助データに同期させるための例示的な方法の概略図を示す。上述したように、補助データ7hは、補助データ7b、すなわち、時点tx+1においてTrue Bloodのシーズン2、エピソード2中に着用されているSookie StackhouseのManolo Blahnik Hangisi 105mmサテンパンプシューズの、視覚部分3上の位置に対応する座標を含む。True Bloodの舞台がルイジアナ州の小さな町であることも分かっている。したがって、座標7hは、True Blood、シーズン2、エピソード2の時点tx+1におけるSookie Stackhouseのシューズの位置だけでなく、実世界の場所であるルイジアナ州のどこかにも対応する。番組の同じ所与の期間について複数の場所が参照される可能性がある。上記場所とは、物語が展開される場所、実際に撮影された場所、及び、場合によっては、コンテンツ内で話題に上がった又は標識にある場所である。システムは、同様のメタデータのうちの1つのデータ片に限定されず、コンテンツに関係付けられる同様のメタデータの層に及ぶ。ビュー8は、ルイジアナ州の小さな町の空間若しくは位置、又は、ルイジアナ州の小さな町のGoogle Earthの表現を表す。図1Bから分かるように、座標7hは、ルイジアナ州の小さな町の中の位置及び/又は当該位置のGoogle Earthの表現に対応する。2つ以上の空間(True Blood、シーズン2、エピソード2の時点tx+1及び実世界のルイジアナ州の小さな町)が、ある意味で、座標によって互いに係留(anchoring、アンカリング)される。
[0036]単一の視聴覚コンテンツ片の視覚空間内の位置だけでなく、代替的な空間内の位置(又は複数の位置)をも表す座標の概念には、大きな意味がある。例えば、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーンが展開される実世界の座標について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン/フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の位置を与え、例えば天気等のような、リアルタイムサービスを問い合わせることができる。別の例において、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーンが展開する他の視聴覚コンテンツ(又は視覚のみのコンテンツ)について、補助データシステムに問い合わせることができる。視聴されている番組、映画、ゲーム等のシーン/フレームだけでなく、他の番組、映画、ゲーム等のシーンにも対応する座標は、結果として、他の番組、映画、ゲーム等、及び、現れる時点を与えることができる。また別の例において、ユーザ又はモバイルデバイスは、特定の世界座標セットにおいて展開するシーンを有する番組、映画、ゲーム等について、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム/シーンを与えることができる。同様の概念が、三次元空間にも適用される。
[0037]この機能は極めて有用であり、従来技術においては利用可能でない。座標によって相関付けられ得る空間の層は無限であり、視聴覚コンテンツは、実世界空間及び仮想世界空間(例えば、ビデオゲーム)、AR、MR等に相関付けることができる。
[0038]図1Cは、補助データとしての座標の三次元の例を示す。図1Cは、三次元コンテンツに関係して発生し得る三次元座標を含む補助データを同期させるための例示的な方法の概略図を示す。三次元コンテンツは、ステレオ3Dビデオ、360度ビデオ(平面視又は立体視)、仮想現実(VR)、拡張現実(AR)等を含んでもよい。三次元において、座標はx、y、及びzに対応し得る。
[0039]三次元コンテンツについて、座標zは、深さ座標に対応し得る。例示を目的として、視聴覚コンテンツ1(True Bloodのシーズン2、エピソード2)が三次元コンテンツであるとする。ビューレイヤ3a~3iは、視聴覚コンテンツ1の時点tx+1におけるビューの深さzを表す。上述したように、補助データ7hは、補助データ7b、すなわち、時点tx+1においてTrue Bloodのシーズン2、エピソード2中に着用されているSookie StackhouseのManolo Blahnik Hangisi 105mmサテンパンプシューズの、視覚部分3上の位置を示す座標に対応する。三次元物体であるシューズは、複数の深さzに現れ得る。しかしながら、シューズは、コンテンツ1の視覚部分3内で、深さz=3cにおいて最もよく見える。
[0040]二次元コンテンツについて、座標zは、ズームレベルに対応し得る。例えば、高精細(HD、UHD、4K以上)映画は、モバイルデバイスの画面のような小さい画面上の高精細表示に必要な情報よりもはるかに多くの情報を含む。補助データシステムは、上記追加のデータの可用性を利用して、解像度を犠牲にすることなく克明なズームを可能にし得る。True Bloodの例に戻ると、True Blood、シーズン2、エピソード2が小さいモバイルデバイスの画面上で全画面で視聴されているとき、Sookie StackhouseのManolo Blahnik Hangisi 105mmサテンパンプシューズは感知できないか又はよく見えない場合がある。当該事例において、シューズの位置に対応する座標は、x、y及び加えてz、すなわち、シューズを明確に見ることができるズームレベルをも含むことができる。座標zはz=3cに設定することができ、結果、シューズをより小さい画面内で明確に見ることができる。
[0041]二次元の例について上述したように、座標は、単一の視聴覚コンテンツ片の視覚空間内の位置だけでなく、代替的な空間内の位置(又は複数の位置)をも表すことができる。同じことが、三次元コンテンツにも当てはまる。例えば、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーン(すなわち、特定の時点)が展開される実世界の三次元座標について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン/フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の三次元位置を与えることができる。別の例において、ユーザ又はモバイルデバイスは、特定の三次元世界(現実又は仮想)座標セットにおいて展開するシーンを有する視聴覚コンテンツについて、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム/シーン(すなわち、特定の時点)を与えることができる。
[0042]図1Dは、二次元座標セットを表す補助データを、三次元座標セットを表す補助データに同期させるための例示的な方法の概略図を示す。図1Dは、二次元視覚部分3上の位置7hを、三次元位置に相関付けることができる例を示す。ビューレイヤ8a~8iは、例えば、ルイジアナ州の小さな町の三次元空間若しくは位置、又は、ルイジアナ州の小さな町のGoogle Earthの表現の深さ(z方向)を表す。図1Dから分かるように、座標7hは、時点tx+1における二次元のTrue Blood、シーズン2、エピソード2における位置、並びに、三次元のルイジアナ州の小さな町の中の実世界の位置及び/又は当該場所のGoogle Earthの三次元表現に対応する。2つの空間(True Blood、シーズン2、エピソード2の時点tx+1及び実世界のルイジアナ州の小さな町)が、ある意味で、座標によって互いに係留される。
[0043]ユーザ又はモバイルデバイスは、二次元の番組、映画、ゲーム等のシーンが展開される実世界の三次元座標について、又は、その逆について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン/フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の三次元位置を与えることができる。別の例において、ユーザ又はモバイルデバイスは、特定の三次元世界(現実又は仮想)座標セットにおいて展開するシーンを有する視聴覚コンテンツについて、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの二次元の番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム/シーンを与えることができる。
[0044]原作者及びコレクションに関して、補助データとしての座標を含む補助データ7は、視聴覚コンテンツ1のプレイアウト、放送、配信又は実施の前に取得又は収集することができる。例えば、補助データ7は、視聴覚コンテンツ1の製作準備、製作、ポストプロダクション、品質管理、又はマスタリング中に取得又は収集することができる。補助データ7はまた、視聴覚コンテンツ1のプレイアウト、放送、配信又は実施中に取得又は収集することもできる。例えば、視聴覚コンテンツ1がTV番組である場合、補助データ7は、TV番組の初回又は後続の放送中に取得又は収集することができる。
[0045]補助データとしての座標は、補助データの原作者及び/又はコレクションのための追加の機会を提供する。例えば、ユーザは、光学ヘッドマウントディスプレイを着用しながらコンテンツ1(例えば、True Blood、シーズン2、エピソード2)を視聴し得る。ディスプレイは、(見るために使用されているシステムに応じて)例えば、ディスプレイを通じてユーザが見ている方向、及び、見られているものの眼の位置を記録するために使用することができる独自の座標セットを有する。補助データとしての座標は、光学ヘッドマウントディスプレイ内の位置に対応する座標を、コンテンツ1の視覚部分3上の位置に対応する座標に結びつけるために使用することができる。光学ヘッドマウントディスプレイの座標を、補助データとして、同期データ9内の対応する瞬間に固定して、光学ヘッドマウントディスプレイ内の位置に対応する座標を、コンテンツ1の視覚部分3上の位置に対応する座標に結びつけるか、又は、相関付けることができる。
[0046]記憶及び配信に関して、収集される補助データ7は、視聴覚コンテンツ1の将来のユーザ又は閲覧者にとってアクセス可能にし得るデータベースに記憶することができる。このように、視聴覚コンテンツ1が後に上記ユーザ又は閲覧者に配信されるとき、補助データ7を、視聴覚コンテンツ1と同時に消費するために、当該ユーザ又は閲覧者にとって利用可能にし得る。補助データ7は、視聴覚コンテンツ1に時間整合されて現れるか又は自身を明示する。
[0047]図2は、補助データを、オーディオを含むコンテンツに同期させるための例示的なシステム10のブロック図を示す。システム10は、3つの主要な構成要素、すなわち、コンテンツ配信者20と、消費者30と、記憶場所40とを含む。図2はまた、コンテンツ配信者20、消費者30、及び記憶場所40が互いに通信する媒体Mも示す。
[0048]要素20は、放送局又は放送施設若しくは機器に限定されない。実際には、コンテンツ配信者20は、送信又は放送のためにプレイアウトの前及びプレイアウト中に視聴覚コンテンツ1に接触する、製作準備、製作、ポストプロダクション、品質管理、マスタリング機器、任意のタイプの放送(プロ又はソーシャルメディアの放送を含む)、又は、視聴覚コンテンツを送信及び配信する他の方法の一部であるか又はそこで使用される任意の施設又は機器を表すことができる。
[0049]同様に、説明を容易にするために、本開示は要素30を消費者30として参照するが、要素30は、消費者又は消費者の施設若しくは機器に限定されない。実際には、消費者30は、送信又は放送のためにプレイアウト中及びプレイアウト後に視聴覚コンテンツ1に接触する任意の施設又は機器を表すことができる。
[0050]また、媒体Mは、一般的に、例えば、インターネット、衛星通信、無線通信、テレビ通信(放送又はケーブル)等のようなコンテンツ1又はデータを送信するために使用される任意の媒体であってもよい。図面内で、媒体Mは、コンテンツ配信者20、消費者30、及び記憶場所40によって共有されるものとして示されているが、当該要素間の通信は、同じ媒体内で行われる必要はない。したがって、例えば、コンテンツ配信者20は、衛星を介して消費者30と通信してもよく、一方、コンテンツ配信者20は、インターネットを介して記憶場所40と通信する。
[0051]図2の例において、コンテンツ配信者20は、視聴覚コンテンツ1を消費者30に送信し、補助データ7及び表現9を記憶のために記憶場所40に送信する。消費者30は、コンテンツ配信者20から視聴覚コンテンツ1を受信し、記憶場所40から補助データ7及び表現9を受信する。興味深いことに、消費者30もまた、補助データ7及び/又は表現9を記憶場所40に送信することができる。したがって、システム10は、消費者30による双方向通信を可能にし、消費者30は、補助データ7の作成に関与することができ、補助データ7、システムの機能、及び、最終的には、顧客の体験が増強される。
[0052]図3は、コンテンツ配信者20における詳細を含む例示的なシステム10のブロック図を示す。コンテンツ配信者20は、補助データをコンテンツに同期させるための機械又は機械群を含む。コンテンツは、オーディオを含み得る。図示の実施形態において、コンテンツ配信者20は、補助データ7を表現9(例えば、図1の視聴覚コンテンツ1のオーディオ部分5の表現又は視覚部分3の表現)の瞬間に固定するプレシンクロナイザ22を含む。
[0053]コンテンツ配信者20は、媒体Mを介して視聴覚コンテンツ1を消費者30に送信し、表現9及び表現9内の瞬間に固定されている補助データ7を記憶場所40に通信するトランシーバ24も含むことができる。上述したように、記憶場所40は消費者30によってアクセス可能である。視聴覚コンテンツ1の後続のプレイアウト、放送、配信、実施等を受けて、表現9がコンテンツのオーディオ5(又は表現9が視覚部分3に対応する場合はコンテンツのビデオ3)に整合(alignment、アライメント)されることによって、表現9内の瞬間に固定された補助データ7が視聴覚コンテンツ1に同期される。
[0054]コンテンツ配信者20はまた、例えば、図1Aのオーディオ波形シグネチャ等のコンテンツのオーディオ5の表現を作成するために、視聴覚コンテンツ1のオーディオ部分5を処理することができるオーディオプロセッサ26をも含むことができる。代替的な実施形態において、コンテンツ配信者20はまた、図1Aのオーディオ波形シグネチャの代わりに又はそれに加えて、コンテンツのビデオ3の表現を作成するために、視聴覚コンテンツ1の視覚部分3を処理することができるビデオプロセッサをも含んでもよい。トランシーバ24は、次いで、表現9(例えば、シグネチャ)及び表現9内の瞬間に固定されている補助データ7を記憶場所40に通信することができる。
[0055]1つの実施形態において、プレシンクロナイザ22は記憶場所40へのリンクを作成する。リンクは、統一資源識別子(例えば、URL)又は同様の位置識別子若しくは位置指定子であってもよい。オーディオプロセッサ26は、記憶場所40へのリンクを視聴覚コンテンツ1のメタデータ、又は、特にコンテンツのオーディオ5又はコンテンツのビデオ3のメタデータに挿入することができる。オーディオ部分5は、限定ではないが、すべてメタデータを搬送することができるDolby AC-4、AC-3若しくはE-AC-3又はMPEG-Hとして符号化することができる。消費者30は、視聴覚コンテンツ1又はコンテンツのオーディオ5又はビデオ3のメタデータから記憶場所40へのリンクを抽出することができる。記憶場所40へのリンクがあることで、消費者30は、次いで、記憶場所40と通信して、記憶場所40に記憶されている情報を取得するか、又は、情報を記憶することができる。
[0056]1つの実施形態において、オーディオプロセッサ26は、コンテンツのオーディオ5を分析して、例えば、オーディオ部分5の音量又はダイナミックレンジスケーリングを含む、オーディオ部分5の統計を収集する。オーディオプロセッサ26は、コンテンツのオーディオ5の統計を視聴覚コンテンツ1、コンテンツのオーディオ5、又はコンテンツのビデオ3のメタデータに挿入することができる。消費者30は、メタデータからコンテンツのオーディオ5の統計を抽出することができる。
[0057]1つの実施形態において、トランシーバ24は、表現9及び表現9内の瞬間に固定されている補助データ7に加えて、コンテンツのオーディオ5の統計を記憶場所40に通信する。消費者30は、記憶場所40からコンテンツのオーディオ5の統計を取得することができる。
[0058]コンテンツのオーディオ5の統計があることで、消費者30は、次いで、メタデータから抽出されるコンテンツのオーディオ5の統計に基づいて、消費者30の施設において再生されるか又は当該施設から配信されるオーディオを調整することができる。
[0059]上述したように、プレシンクロナイザ22は、視聴覚コンテンツ1の以前のプレイアウト又は実施中に補助データ7を収集することができる。例えば、視聴覚コンテンツ1は、元々は生放送されているバスケットボールの試合であってもよい。補助データ7は、最新の試合統計(例えば、得点、リバウンド、アシスト等)を含んでもよい。上記補助データ7及び上記補助データ7の対応するタイミングにアクセスすることで、プレシンクロナイザ22は、統計が正確であるときに試合中の適切なタイミングに対応する表現9(例えば、波形シグネチャ)内の瞬間に補助データ7を固定することができる。トランシーバ24は、次いで、上述したように消費者30が情報にアクセスして使用することができるようにするために、補助データ7及び表現9を記憶場所40に送信することができる。
[0060]コンテンツ配信者20はまた、補助データ7を収集するためのオーサリングツール28をも含むことができる。オーサリングツール28は、例えば、統計学者が上述したバスケットボールの試合の統計を入力することを可能にし得る。概して、オーサリングツール28は、補助データ7の入力を可能にし得る。オーサリングツール28は、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子(URL)、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述する補助データを入力するために使用することができる。オーサリングツール28はまた、広告データ又はコンテンツに関する若しくは関係付けられる専門的若しくは技術的データ等の、商用データの形態の補助データ7を入力するために使用することもできる。
[0061]オーサリングツール28はまた、視聴覚コンテンツ1の視覚部分3内に物体を配置するために使用することもできる。当該位置は、座標セットによって表されてもよく、表されなくてもよい。オーサリングツール28は、当該座標セットを入力するために使用することができる。オーサリングツール28はまた、視聴覚コンテンツ1の視覚部分3内の位置を表す第1の座標セットが第2の座標セットに相関するように、第2の座標セット(例えば、実世界の位置の座標、第2の視聴覚コンテンツの視覚部分内の位置を表す座標等)を追加の補助データとして視聴覚コンテンツ1の同期データ9内の瞬間に固定するために使用することもできる。
[0062]図4は、消費者30における詳細を含む例示的なシステム10のブロック図を示す。消費者30は、補助データ7を、オーディオ5及びビデオ3を含むコンテンツ1に同期させるための機械又は機械群を含むことができる。
[0063]図示の実施形態において、消費者30は、コンテンツ配信者20から視聴覚コンテンツ1を受信し、記憶場所40から表現9及び表現9内の瞬間に固定されている補助データ7を受信するトランシーバ32を含む。
[0064]消費者30はまた、表現9をコンテンツのオーディオ5又はビデオ3に整合させ、結果、上述したように補助データ7を視聴覚コンテンツ1に同期させるポストシンクロナイザ34も含むことができる。ポストシンクロナイザ34が表現9をコンテンツのオーディオ5又はコンテンツのビデオ3に整合させる特定の方法論は、本発明にとって重要ではない。当該整合を達成することができるメカニズムは、自動コンテンツ認識(ACR)として知られるものの変形形態、特に、フィンガープリンティングとして知られるものの変形形態を含む。ACRは、メディアデバイスで再生されるか又はメディアファイルに存在するコンテンツを特定又は認識するために使用される技術である。音響フィンガープリンティングは、コンテンツ自体から固有のフィンガープリントを生成する。フィンガープリンティング技法は、コンテンツフォーマット、コーデック、ビットレート及び比較技法に関係なく機能する。上記技法によって、ネットワーク及びチャネルにわたって使用することが可能になる。視聴覚コンテンツ1の進行中のリアルタイムのフィンガープリントと表現9との継続的な比較を使用して、瞬間に固定されるため、補助データ7を、視聴覚コンテンツ1のタイムラインに同期することができる。当該フィンガープリンティング技法の一例は、参照によりその全体が本明細書に組み込まれる、2017年10月10日付けで発行された米国特許第9,786,298号に見出すことができる。
[0065]消費者30はまた、トランシーバ32からコンテンツのオーディオ5を受信するオーディオプロセッサ36も含むことができる。1つの実施形態において、オーディオプロセッサ36は、視聴覚コンテンツ1又はコンテンツのオーディオ5からメタデータを抽出することができ、メタデータから、オーディオプロセッサは、上述したように記憶場所40へのリンクを抽出することができる。記憶場所40へのリンクがあることで、トランシーバ32は、次いで、記憶場所40と通信して、記憶場所40に記憶されている情報を取得するか、又は、情報を記憶することができる。
[0066]代替的に、又は加えて、記憶場所40へのリンクは、加入ベースで消費者30に配布することができ、又は、他の様態で消費者30に提供することができる。上記のように、消費者30によって受信されるものとしての視聴覚コンテンツ1がメタデータを含まない場合、又は、メタデータが記憶場所40へのリンクを含まない場合に、消費者30は依然として、記憶場所40にアクセスすることができる。
[0067]1つの実施形態において、オーディオプロセッサ36は、記憶場所40へのリンクを抽出する代わりに又は抽出に加えて、上述したようにメタデータに記憶されているコンテンツのオーディオ5の統計(例えば、音量又はダイナミックレンジスケーリング)を抽出する。1つの実施形態において、トランシーバ32は、表現9及び補助データ7に加えて、コンテンツのオーディオ5の統計を記憶場所40から受信する。コンテンツのオーディオ5の統計があることで、オーディオプロセッサ36は、次いで、記憶場所40から取得されるコンテンツのオーディオ5の統計に基づいて、消費者30の施設において再生されるか又は当該施設から配信されるオーディオを処理することができる。
[0068]1つの実施形態において、視聴覚コンテンツ1又はコンテンツのオーディオ5がメタデータを含むとき、オーディオプロセッサは、メタデータに記憶されているコンテンツのオーディオの統計(例えば、音量又はダイナミックレンジスケーリング)を使用して、消費者30の施設において再生されるか又は当該施設から配信されるオーディオを処理する。他方、視聴覚コンテンツ1又はコンテンツのオーディオ5がメタデータを含まないとき、オーディオプロセッサ36は、記憶場所40に記憶されているコンテンツのオーディオ5の統計を使用して、消費者30の施設において再生されるか又は当該施設から配信されるオーディオを処理する。
[0069]1つの実施形態において、オーディオプロセッサ36は、コンテンツのオーディオ5を、記憶場所40から取得される表現9と比較する。当該比較に基づいて、視聴覚コンテンツ1を特定することができる。すなわち、コンテンツのオーディオ5と表現9とがパラメータセット内で一致する場合、視聴覚コンテンツ1は、表現9に対応するものとして特定することができ、又は逆も可能である。同様に、コンテンツのオーディオ5と表現9とがパラメータセット内で一致しない場合、視聴覚コンテンツ1は、表現9に対応しないと考えることができ、又は逆も可能である。参照により本明細書に組み込まれる2015年4月29日付けで提出された米国特許出願第14/699,658号は、音量シグネチャを介してコンテンツを認証するためのシステム及び方法を開示している。当該出願において開示されているシステム及び方法を使用して、視聴覚コンテンツ1を特定することができる。‘658号出願において開示されているものとは異なる他のシステム及び方法を使用して、視聴覚コンテンツ1を特定することもできる。別の実施形態において、ビデオプロセッサが、コンテンツのビデオ3を、記憶場所40から取得される表現9と比較する。当該比較に基づいて、視聴覚コンテンツ1を特定することができる。すなわち、コンテンツのビデオ3と表現9とがパラメータセット内で一致する場合、視聴覚コンテンツ1は、表現9に対応するものとして特定することができ、又は逆も可能である。同様に、コンテンツのビデオ3と表現9とがパラメータセット内で一致しない場合、視聴覚コンテンツ1は、表現9に対応しないと考えることができ、又は逆も可能である。
[0070]消費者30はまた、補助データ7を視聴覚コンテンツ1の提示と同期的に提示(例えば、表示)する対話ツール38も含むことができる。対話ツール38は、表現9の、コンテンツのオーディオ5又はコンテンツのビデオ3に対する整合に依拠することによって、補助データ7を視聴覚コンテンツ1の提示と同期的に提示する。当該整合は、表現9内の瞬間に固定されている補助データ7を視聴覚コンテンツ1に同期させる。上述したバスケットボールの試合の例において、たとえ試合が最初にテレビで生中継された後何年もしてから試合が再生される場合であっても、対話ツール38は、バスケットボールの試合の最新の統計を、試合の提示と同期的に表示することができる。対話ツール30はまた、視覚部分に見える物体(例えば、バスケットボールジャージ)に関係付けて、対話的リンクを表示することもでき、対話的リンクをクリックすることによって、ユーザは、例えば、物体を購入するためのウェブサイト、又は、物体に関与する取引を容易にするブロックチェーンレベル情報等の、物体に関するより多くの情報へと誘導される。
[0071]記憶場所40は補助データ7及び表現9を記憶するため、情報は、いつでもアクセスするために利用可能であり得る。例えば、消費者30は、バスケットボールの試合(すなわち、視聴覚コンテンツ1)をデジタルビデオレコーダ(DVR)に記録しておくことができ、又は、任意の他の方法で試合の記録を取得することができる。数日後に、消費者は試合を視聴することができる。トランシーバ32は、DVR(又は消費者30がコンテンツを取得した任意の他の手段)から試合(すなわち、視聴覚コンテンツ1)を取得することができ、記憶場所40から表現9及び補助データ7も取得することができる。たとえ試合が最初にテレビで生中継された後の日に試合が再生される場合であっても、対話ツール30は、バスケットボールの試合の最新の統計又は対話的リンクを、試合の提示と同期的に表示することができる。
[0072]1つの実施形態において、対話ツール38はまた、補助データ7を収集するために使用することもできる。例えば、視聴覚コンテンツ1のプレイアウト、放送、配信又は実施中に、消費者は、対話ツール38を介して、視聴覚コンテンツ1又は視聴覚コンテンツ1の特定のシーン若しくは部分に関係するメモ又はコメント等の補助データ7を入力することができる。ポストシンクロナイザ34は、次いで、対話ツール38を介して入力されている補助データ7を、視聴覚コンテンツ1内の瞬間に対応する表現9の瞬間に固定することができ、補助データ7を記憶場所40に記憶することができる。当該事例において、表現9は、a)記憶場所40から取得される表現、又は、b)オーディオプロセッサ36によって消費者30においてローカルに作成され、補助データ7とともに記憶場所40に記憶される表現であり得る。
[0073]対話ツール38はまた、視聴覚コンテンツ1の視覚部分3内に物体を配置するために使用することもできる。当該位置は、座標セットによって表されてもよく、表されなくてもよい。対話ツール38は、当該座標セットを入力するために使用することができる。対話ツール38はまた、視聴覚コンテンツ1の視覚部分3内の位置を表す第1の座標セットが第2の座標セットに相関するように、第2の座標セット(例えば、実世界の位置の座標、第2の視聴覚コンテンツの視覚部分内の位置を表す座標等)を追加の補助データとして視聴覚コンテンツ1の同期データ9内の瞬間に固定するために使用することもできる。
[0074]図5は、記憶場所40における詳細を含む例示的なシステム10のブロック図を示す。記憶場所40は、補助データを、オーディオを含むコンテンツに同期させるための機械又は機械群を含むことができる。記憶場所40は、表現9及び補助データ7を通信(すなわち、送信及び受信)するトランシーバ42を含むことができる。記憶場所40は、表現9及び表現9内の瞬間に固定されている補助データ7を記憶するデータベース44も含むことができる。
[0075]1つの実施形態において、トランシーバ42は、上述したような補助データ7として、又は、補助データ7に加えて、コンテンツのオーディオ5の統計(例えば、音量又はダイナミックレンジスケーリング)を通信し、データベース44は、当該統計を記憶する。1つの実施形態において、上述したような視聴覚コンテンツ1の後続のプレイアウト、放送、配信又は実施中に、トランシーバ42は、補助データ7を通信し続け、データベース44は、当該補助データ7を記憶し続ける。
[0076]記憶場所40は、加入、パスワード等によって制御することができる(例えば、上述したようなリンクを介した)一般的なアクセス可能性を有するクラウド又はローカルアーカイブ等の、コンテンツ配信者20及び消費者30にとってアクセス可能な場所であってもよい。
[0077]システム10は、ソフトウェア、ハードウェア、アナログ又はデジタル技法を使用して実施されてもよい。
[0078]例示的な方法は、図6及び図7A~図7Bの流れ図を参照することによってより良好に諒解することができる。説明を簡潔にする目的のために、図示の方法は一連のブロックとして図示及び記載されているが、いくつかのブロックは図示及び記載されているものとは異なる順序において、又は他のブロックと同時に行われてもよいため、方法はブロックの順序によって限定されないことは諒解されたい。さらに、例示的な方法を実施するのに必要なブロックは、図示されているすべてのブロックよりも少なくてもよい。さらに、追加の方法、代替的な方法、又は両方が、図示されていない追加のブロックを利用してもよい。
[0079]流れ図において、ブロックは、ロジックによって実施することができる「処理ブロック」を示す。処理ブロックは、方法ステップ、又は、方法ステップを実施するための装置要素を表すことができる。流れ図は、いかなる特定のプログラミング言語、方法論、又はスタイル(例えば、手続き型、オブジェクト指向型)の構文も示さない。むしろ、流れ図は、当業者が図示の処理を実施するためのロジックを開発するために利用することができる機能的情報を示す。いくつかの例において、テンポラリ変数、ルーチンループ等のようなプログラム要素は図示されていないことが諒解されよう。電子及びソフトウェアアプリケーションが、動的で柔軟なプロセスを含むことができ、結果、図示のブロックは、図示されているものとは異なる他の順序において実施されてもよいこと、又は、ブロックは組み合わされてもよく、又は複数の構成要素に分離されてもよいことがさらに諒解されよう。プロセスは、機械語、手続き型技法、オブジェクト指向型技法又は人工知能技法等の様々なプログラミング手法を使用して実施されてもよいことが諒解されよう。
[0080]図6は、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法600の流れ図を示す。
[0081]方法600は、610において、補助データ7を収集することを含む。収集は、上述したように、コンテンツのプレイアウト、放送、配信又は実施の前、間又は後に行われてもよい。補助データ7は、コンテンツに何らかの形で関係付けられるデータであり、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子(URL)、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述するデータを含むことができる。補助データ7は、広告データ等の商用データを含んでもよい。補助データ7はまた、コンテンツの閲覧者からのコメント等のユーザデータ(例えば、ツイッターのメッセージ等)も含んでもよい。補助データ7はまた、例えば、コンテンツのオーディオの音量又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計等の専門的又は技術的データも含んでもよい。補助データはまた、a)視聴覚コンテンツの視覚部分内の位置を表す座標セット、及び、b)座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定するデータも含むことができ、補助データは、同期データ内の瞬間に固定される。
[0082]620において、方法600は、コンテンツのオーディオ部分5(又は視覚部分3)を分析して、表現9を作成することをさらに含む。表現9は、上述したように、コンテンツのオーディオのオーディオ波形シグネチャ又はコンテンツのビデオのシグネチャを作成することによって作成することができる。
[0083]コンテンツのオーディオの表現9(例えば、オーディオ波形シグネチャ)の作成は、オーディオ部分5の分析の一部として達成することができる。同じタイムライン上で、視聴覚コンテンツ1のオーディオ部分5を分析し、オーディオ統計を収集することができる。上記は、典型的な品質管理又はマスタリングセッション中に行うことができる。収集することができる統計は、コンテンツが配信仕様に一致することを保証するためのコンテンツ名若しくはID、オーディオ波形シグネチャ、音量及び/又はダイナミックレンジスケーリング、並びに、他のコンテンツ特有の非リアルタイム統計を含む。
[0084]630において、補助データ7は、視聴覚コンテンツ1内の瞬間に対応する表現9内の瞬間に固定される。補助データ7を表現9内の瞬間に固定するということは、補助データ7が視聴覚コンテンツ1に時間整合されることを意味する。当該固定は、補助データ7を特定のコンテンツ1の表現9に関連付け、表現9内の瞬間の時点によって補助データ7にタイムスタンプを付すこと、又は、他の時間整合方法によって達成することができる。
[0085]640において、表現9及び表現9内の瞬間に固定されている補助データ7を、記憶場所40に記憶することができる。
[0086]650において、記憶場所40へのリンクを作成することもできる。
[0087]660において、記憶場所40へのリンク及びオーディオ統計データの一部又は全部を、符号化若しくはPCM+MDオーディオのオーディオメタデータ(すなわち、EMDF)及び/又はPCMのみのオーディオのLFEチャネルに挿入することができる。参照により本明細書に組み込まれる、2013年2月19日付けで発行された米国特許第8,380,334号は、メタデータをオーディオ信号に挿入するために使用することができる補助データをオーディオ信号内で搬送するための方法及びシステムを開示している。‘334号特許において開示されているものとは異なる他のシステム及び方法を使用して、メタデータをオーディオ信号に挿入することもできる。
[0088]670において、視聴覚コンテンツ1が配信される。視聴覚コンテンツ1は、今日そうであるように、メタデータを有するか又は有しない、符号化又はベースバンドPCMであるオーディオによって配信され得る。
[0089]図7Aは、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法700の流れ図を示す。
[0090]710において、方法700は、表現9及び表現9内の瞬間に固定されている補助データ7を受信することを含む。表現9と補助データ7との当該組合せは、以下の少なくとも2つの文脈、すなわち、1)送信のためのプレイアウト中、及び2)消費者の施設における視聴覚コンテンツ1の受信時に使用することができる。
[0091]送信のためのプレイアウト中、オーディオプロセッサは、メタデータを有するか又は有しない視聴覚コンテンツ1の符号化又はベースバンドPCMを受け入れることができ、また、記憶場所40が存在するクラウド又は他の場所に接続することもできる。当該文脈において、方法700は、コンテンツのオーディオの統計を使用して、オーディオプロセッサによるコンテンツのオーディオの処理をバイパス又は調整することを含むことができる。
[0092]720において、EMDFメタデータが存在する場合、又は、メタデータがLFEチャネル内で検出され、コンテンツのオーディオの統計がメタデータに記憶される場合、725において、コンテンツのオーディオ5の統計(例えば、音量及び他のコンテンツ特有のデータ)を使用して、オーディオプロセッサをバイパス又は調整することができ、すでに正確であるコンテンツが、最小の修正で又は修正なしで合格して、元の品質及びコンプライアンスを維持することが可能になる。
[0093]730において、メタデータ若しくはLFEデータが存在しない場合、又は、コンテンツのオーディオの統計がメタデータに記憶されていない場合、オーディオ部分5のリアルタイムオーディオシグネチャを、記憶場所40から受信される表現9と比較して、視聴覚コンテンツ1を特定することができる。選択範囲内で一致する場合、視聴覚コンテンツ1が特定され、735において、記憶場所40に記憶され得るコンテンツのオーディオ5の統計を使用して、オーディオプロセッサをバイパス又は調整することができ、すでに正確であるコンテンツが、最小の修正で又は修正なしで合格して、元の品質及びコンプライアンスを維持することが可能になる。
[0094]740において、a)特定のコンテンツ又はセグメントについて、メタデータが存在しないか、又は、コンテンツのオーディオ5の統計を含まず、b)オーディオ部分5のリアルタイムオーディオシグネチャと表現9とが特定の時間量内で一致しない場合、リアルタイム音量及びダイナミックレンジ制御を実施して、オーディオ部分5が適合することを保証することができる。
[0095]視聴覚コンテンツ1の受信を受けて、方法700は、補助データ7を視聴覚コンテンツ1に同期させることを含むことができる。750において、メタデータ(例えば、EMDF)が存在し、タイムスタンプを含む場合、760において、タイムスタンプに基づいて補助データ7を、視聴覚コンテンツ1に同期させることができる。メタデータが存在しないか、又は、タイムスタンプを含まない場合、770において、方法700は、上述したように表現9をコンテンツのオーディオ5に整合させて、補助データ7を視聴覚コンテンツ1に同期させる。
[0096]ここで視聴覚コンテンツ1に同期されている、消費者アプリケーション又は対話ツール38は、780において、表現9の、コンテンツのオーディオ5に対する整合に依拠して、補助データ7を視聴覚コンテンツ1の提示と同期的に表示することができる。
[0097]790において、方法700は、さらに、他の消費者、番組プロデューサ、又は場合によってさらには広告主が見るか又はアクセスすることができる追加の補助データ7を通信することができる。当該データはまた、下流の専門又は消費者広告挿入メカニズムによって使用することもでき、存在する詳細に富むデータであって、場合によっては当該データへのリアルタイム更新又は追加によって増強され、データによって、以前の統計方法よりもはるかに精細な正確度で挿入の的を絞ることができる。方法700は、視聴覚コンテンツ1の後続のプレイアウト、放送、配信又は実施中に、新たな補助データ7の受信及び記憶を継続することができる。新たな補助データ7は、後続のプレイアウト、放送、配信又は実施中に、視聴覚コンテンツ1内の瞬間に対応するコンテンツのオーディオ5の表現9内の瞬間に固定される。
[0098]図7Bは、メディア環境駆動式コンテンツ配信プラットフォームのための例示的な方法700Bの流れ図を示す。705において、方法700Bは、オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信することを含む。オーディオ部分を視聴覚コンテンツの同期データに後に整合させることによって、視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データが、視聴覚コンテンツに同期される。715において、方法700Bは、視聴覚コンテンツの視覚部分内の位置の選択を検出する。選択が行われていた場合、725において、方法700Bは、視聴覚コンテンツの視覚部分内の位置を表す座標セットを送信し、視聴覚コンテンツに同期されている座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定する補助データを受信することを含むことができる。
[0099]方法700Bは、オーディオ部分を視聴覚コンテンツの同期データに整合させて、視聴覚コンテンツの視覚部分内の位置を表す座標セット、及び、座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定する補助データを視聴覚コンテンツに同期させることと、オーディオ部分の同期データへの整合に依拠して、座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を、視聴覚コンテンツの提示と同期的に表示することとをさらに含むことができる。
[00100]方法700Bは、視聴覚コンテンツのオーディオ部分から導出される同期データ内の瞬間に固定される第2の座標セットを、追加の補助データとして受信することをさらに含むことができる。第2の座標セットは、a)実世界の位置の座標、又はb)第2の視聴覚コンテンツの視覚部分内の位置を表す座標のうちの1つ又は複数に対応する。
[00101]図面は、順次行われる様々な動作を示しているが、図示されている様々な動作は、実質的に並行して行われてもよいことは諒解されたく、動作は並行して行われるように示されている場合があるが、当該動作は実質的に順次行われてもよいことは諒解されたい。いくつかのプロセスが図示されている方法に関係して説明されているが、より多数又はより少数のプロセスが利用されてもよいこと、並びに、軽量のプロセス、定期的なプロセス、スレッド、及び他の手法が利用されてもよいことは諒解されたい。場合によっては、他の例示的な方法がまた、実質的に並行して行われる動作を含んでもよいことは諒解されたい。図示されている例示的な方法及び他の実施形態は、リアルタイムで、ソフトウェア若しくはハードウェア若しくはハイブリッドソフトウェア/ハードウェア実施態様においてリアルタイムよりも高速で、又は、ソフトウェア若しくはハードウェア若しくはハイブリッドソフトウェア/ハードウェア実施態様においてリアルタイムよりも低速で動作することができる。
[00102]図8は、補助データを、オーディオを含むコンテンツに同期させるための例示的な機械800のブロック図を示す。機械800は、バス808によって動作可能に接続されている、プロセッサ802、メモリ804、及びI/Oポート810を含む。
[00103]一例において、機械800は、例えば、I/Oポート810又はI/Oインターフェース818を介して、視聴覚コンテンツ1、視覚部分3、オーディオ部分5、補助データ7、表現9等を含む入力信号を受信することができる。機械800はまた、コンテンツ配信者20のプレシンクロナイザ22、トランシーバ24、オーディオプロセッサ26、及びオーサリングツール28も含むことができる。機械800はまた、消費者30のトランシーバ32、ポストシンクロナイザ34、オーディオプロセッサ36、及び対話ツール38も含むことができる。機械800はまた、記憶場所40のトランシーバ42及びデータベース44も含むことができる。したがって、コンテンツ配信者20、消費者30、又は記憶場所40は、機械1700内で、ハードウェア、ファームウェア、ソフトウェア、又は上記の組合せとして実施することができ、したがって、機械1700及び機械の構成要素は、プレシンクロナイザ22、トランシーバ24、オーディオプロセッサ26、オーサリングツール28、トランシーバ32、ポストシンクロナイザ34、オーディオプロセッサ36、対話ツール38、トランシーバ42及びデータベース44によって実施されるような、記載の機能及び/又は本出願において特許請求される機能を実施するための手段を提供することができる。
[00104]プロセッサ802は、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャを含む、多種多様なプロセッサであってもよい。メモリ804は、揮発性メモリ又は不揮発性メモリを含むことができる。不揮発性メモリは、限定ではないが、ROM、PROM、EPROM、EEPROM等を含んでもよい。揮発性メモリは、例えば、RAM、同期RAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、及びダイレクトRAMバスRAM(DRRAM)を含んでもよい。
[00105]ディスク806は、例えば、I/Oインターフェース(例えば、カード、デバイス)818及びI/Oポート810を介して機械800に動作可能に接続することができる。ディスク806は、限定ではないが、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Zipドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスを含んでもよい。さらに、ディスク806は、CD-ROM、CD記録可能ドライブ(CD-Rドライブ)、CD書き換え可能ドライブ(CD-RWドライブ)、又はデジタルビデオROMドライブ(DVD ROM)のような光学ドライブを含んでもよい。メモリ804は、例えば、プロセス814又はデータ816を記憶することができる。ディスク806又はメモリ804は、機械800のリソースを制御及び配分するオペレーティングシステムを記憶することができる。
[00106]バス808は、単一の内部バス相互接続アーキテクチャ又は他のバス若しくはメッシュアーキテクチャであってもよい。単一のバスが示されているが、機械800は、図示されていない他のバス(例えば、PCIE、SATA、インフィニバンド、1394、USB、イーサネット[登録商標])を使用して、様々なデバイス、ロジック、及び周辺機器と通信できることは諒解されたい。バス808は、限定ではないが、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、クロスバースイッチ、又はローカルバスを含む様々なタイプのものであってもよい。ローカルバスは、限定ではないが、業界標準アーキテクチャ(ISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、拡張ISA(EISA)バス、周辺構成要素相互接続(PCI)バス、ユニバーサルシリアル(USB)バス、及び小型コンピュータシステムインターフェース(SCSI)バスを含む、様々なものであってもよい。
[00107]機械800は、I/Oインターフェース818及びI/Oポート810を介して入出力デバイスと対話することができる。入出力デバイスは、限定ではないが、キーボード、マイクロフォン、ポインティング及び選択デバイス、カメラ、ビデオカード、ディスプレイ、ディスク806、ネットワークデバイス820等を含んでもよい。I/Oポート810は、限定ではないが、シリアルポート、パラレルポート、及びUSBポートを含んでもよい。
[00108]機械800は、ネットワーク環境内で動作することができ、したがって、I/Oインターフェース818又はI/Oポート810を介してネットワークデバイス820に接続することができる。ネットワークデバイス820を通じて、機械800はネットワークと対話することができる。ネットワークを通じて、機械800は、遠隔コンピュータに論理的に接続することができる。機械800が対話することができるネットワークは、限定ではないが、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、及び他のネットワークを含む。ネットワークデバイス820は、限定ではないが、光ファイバ分散データインターフェース(FDDI)、銅線分散データインターフェース(CDDI)、イーサネット(IEEE802.3)、トークンリング(IEEE802.5)、無線コンピュータ通信(IEEE802.11)、Bluetooth[登録商標](IEEE802.15.1)、Zigbee[登録商標](IEEE802.15.4)等を含むLAN技術に接続することができる。同様に、ネットワークデバイス820は、限定ではないが、ポイントツーポイントリンク、統合サービスデジタル通信網(ISDN)等の回線交換網、パケット交換網、及びデジタル加入者回線(DSL)を含むWAN技術に接続することができる。個々のネットワークタイプが記載されているが、ネットワークを介した、ネットワークにわたる、又はネットワークを通じた通信は、複数の通信の組合せ及び混合を含んでもよいことは諒解されたい。
[00109]以下は、本明細書において利用されている選択用語の定義を含む。定義は、用語の範囲内に入り、実施態様のために使用することができる構成要素の様々な例又は形態を含む。例は、限定であるようには意図されていない。用語の単数形と複数形の両方が、定義内にあり得る。
[00110]「コンテンツ」は、静止画像、オーディオメディア、ビデオメディア、又は視聴覚(AV)メディアのセグメントに対応し、少なくとも1つの媒体によって具現化、記憶、送信、受信、処理、又は他の様態で使用される情報を含む。一般的なメディアコンテンツフォーマットは、FLVフォーマット(フラッシュビデオ)、Windows Media Video、RealMedia、MFX、Quicktime、MPEG、MP3、DivX、JPEGs、及びBitmapsを含む。本明細書において使用される場合、「メディアクリップ」、「メディアコンテンツ」、「情報コンテンツ」、及び「コンテンツ」という用語は、交換可能に使用することができる。
[00111]「データストア」又は「データベース」は、本明細書において使用される場合、データを記憶することができる物理又は論理エンティティを参照する。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ等であってもよい。データストアは、1つの論理又は物理エンティティ内に存在してもよく、2つ以上の論理又は物理エンティティの間で分散されてもよい。
[00112]「ロジック」は、本明細書において使用される場合、限定ではないが、機能(複数可)若しくは動作(複数可)を実施するか、又は、別のロジック、方法、若しくはシステムからの機能若しくは動作を引き起こすためのハードウェア、ファームウェア、ソフトウェア、又は各々の組合せを含む。例えば、所望の用途又は需要に基づいて、ロジックは、ソフトウェア制御式マイクロプロセッサ、特定用途向け集積回路(ASIC)等の個別論理、プログラムされた論理デバイス、命令を含むメモリデバイス等を含んでもよい。ロジックは、1つ又は複数のゲート、ゲートの組合せ、又は他の回路構成要素を含んでもよい。ロジックはまた、全体がソフトウェアとして具現化されてもよい。複数の論理ロジックが記載されている場合、複数の論理ロジックを1つの物理ロジックに組み込むことが可能であり得る。同様に、単一の論理ロジックが記載されている場合、単一の論理ロジックを複数の物理ロジックの間で分散させることが可能であり得る。
[00113]「動作可能な接続」又はエンティティが「動作可能に接続」される接続は、信号、物理的通信、又は論理的通信が送信又は受信され得る接続である。典型的には、動作可能な接続は、物理的インターフェース、電気的インターフェース、又はデータインターフェースを含むが、動作可能な制御を可能にするのに十分な、上記タイプ又は他のタイプの接続の異なる組合せを含んでもよいことに留意されたい。例えば、2つのエンティティは、直接的に、又は、プロセッサ、オペレーティングシステム、ロジック、ソフトウェア、若しくは他のエンティティ等の1つ若しくは複数の中間エンティティを通じて互いに信号を通信することが可能であることによって、動作可能に接続することができる。論理又は物理通信チャネルを使用して、動作可能な接続を作成することができる。
[00114]放送において、「プレイアウト」は、放送局からコンテンツを視聴者に配信する放送ネットワークへの無線又はTVチャネルの送信のための用語である。
[00115]「信号」は、本明細書において使用される場合、限定ではないが、1つ若しくは複数の電気若しくは光信号、アナログ若しくはデジタル信号、データ、1つ若しくは複数のコンピュータ若しくはプロセッサ命令、メッセージ、ビット若しくはビットストリーム、又は、受信、送信、若しくは検出することができる他の手段を含む。
[00116]「ソフトウェア」は、本明細書において使用される場合、限定ではないが、読み出し、解釈、コンパイル、又は実行することができ、コンピュータ、プロセッサ、又は他の電子デバイスに、所望の様式で機能、動作を実施させ、又は挙動させる、1つ又は複数のコンピュータ又はプロセッサ命令を含む。命令は、動的に又は静的にリンクされているライブラリからの別個のアプリケーション又はコードを含む、ルーチン、アルゴリズム、モジュール、メソッド、スレッド、又はプログラム等の様々な形態で具現化することができる。ソフトウェアはまた、限定ではないが、独立型プログラム、関数呼び出し(ローカル又はリモート)、サーブレット、アプレット、メモリに記憶される命令、オペレーティングシステムの一部、又は、他のタイプの実行可能命令を含む、様々な実行可能又はロード可能形態で実施することもできる。ソフトウェアの形態は、例えば、所望のアプリケーションの要件、ソフトウェアが作動する環境、又は、設計者/プログラマの要望等に依存し得ることが、当業者には諒解されよう。コンピュータ可読又は実行可能命令は、1つのロジックに配置されてもよく、又は、2つ以上の通信している、協働している、又は並列に処理しているロジックの間で分散されてもよく、したがって、順次、並列、超並列及び他の様式でロード又は実行することができることも諒解されよう。
[00117]本明細書に記載されている例示的なシステム及び方法の様々な構成要素を実施するのに適したソフトウェアは、Java(登録商標)、Pascal、C#、C++、C、CGI、Perl、SQL、API、SDK、アセンブリ、ファームウェア、マイクロコード、又は他の言語及びツール等のプログラミング言語及びツールを使用して生成することができる。ソフトウェアは、システム全体であるか又はシステムの構成要素であるかにかかわらず、製造品として具現化することができ、上記で定義したようなコンピュータ可読媒体の一部として維持又は提供することができる。別の形態のソフトウェアは、ソフトウェアのプログラムコードを、ネットワーク又は他の通信媒体を介して受信者に送信する信号を含んでもよい。したがって、一例において、コンピュータ可読媒体は、ウェブサーバからユーザにダウンロードされるときに、ソフトウェア/ファームウェアを表す信号の形態を有する。別の例において、コンピュータ可読媒体は、ウェブサーバ上に維持されるときに、ソフトウェア/ファームウェアの形態を有する。他の形態も使用されてもよい。
[00118]「ユーザ」又は「消費者」は、本明細書において使用される場合、限定ではないが、1又は複数の人、ソフトウェア、コンピュータ若しくは他のデバイス、又は上記の組合せを含む。
[00119]以下の詳細な説明のいくつかの部分は、メモリ内でのデータビットに対する操作のアルゴリズム及び記号的表現に関連して提示されている。当該アルゴリズム記述及び表現は、当業者によって、他の当業者に自身の研究の要旨を伝達するために使用される手段である。アルゴリズムはここでは、また一般的には、結果をもたらす動作シーケンスであると想像される。動作は、物理量の物理的操作を含むことができる。通常、必須ではないが、物理量は、記憶、転送、結合、比較、及びロジック等において他の様態で操作されることが可能な電気信号又は磁気信号の形態をとる。
[00120]時に、主に一般的な使用状況の理由から、上記信号を、ビット、値、要素、記号、文字、用語、数等として参照することが好都合であることがあることが分かっている。しかしながら、上記及び同様の用語は、適切な物理量と関連付けられるべきであり、上記量に適用される好都合なラベルに過ぎないことが留意されるべきである。特に別途記載しない限り、本明細書全体を通じて、処理、計算、算出、決定、表示等のような用語は、物理(電子)量として表されるデータを操作及び変換するコンピュータシステム、ロジック、プロセッサ、又は同様の電子デバイスの動作及びプロセスを指すことが諒解される。
[00121]説明を容易にするために、本開示は、例えば、埋め込み先のオーディオ信号に関する情報及び制御データを搬送するために使用される拡張可能メタデータフォーマット(EMDF)等の、ETSI TS 102 366(付録H)に記載されている述語体系の文脈において例を説明している。しかしながら、本開示の原理は、当該文脈に限定されず、ATSC A52:2012及びA/85:2013又はさらにはSMPTE 337M規格に記載されているようなメタデータを含む、ETSI TS 103 190(節4.3.15)又はベースバンドPCMオーディオシステムを含む任意の圧縮オーディオとともに含まれる任意の当該埋め込みメタデータ方式を含む、様々な他の文脈において実践されてもよい。
[00122]詳細な説明又は特許請求の範囲において「含む」又は「含んでいる」という用語が利用される範囲において、当該用語は、特許請求の範囲において移行語として利用される場合に「備える」という用語が解釈されるときの当該用語と同様に、包含的であるように意図される。さらに、「又は」という用語は、詳細な説明又は特許請求の範囲内で利用される範囲において(例えば、A又はB)、「A又はB又は両方」を意味するように意図されている。本出願人が「A又はBのみ、ただし両方ではない」ことを示すことを意図するとき、「A又はBのみ、ただし両方ではない」という用語が利用されることになる。したがって、本明細書における「又は」という用語の使用は包含的であり、排他的使用ではない。Bryan A. Garner、A Dictionary of Modern Legal Usage 624(2d. Ed. 1995)を参照されたい。
[00123]例示的なシステム、方法等は、例を説明することによって示されており、例は、相当に詳細に説明されているが、本出願人は、範囲を当該詳細に制約するか又は任意の方法で限定することは意図していない。無論、本明細書に記載されているシステム、方法等を説明することを目的として構成要素又は方法のすべての考えられる組合せを記載することは不可能である。追加の利点及び変更が当業者には容易に明らかになる。したがって、本発明は、図示及び説明されている特定の詳細、代表的な装置、及び例示的な実施例には限定されない。したがって、本出願は、添付の特許請求の範囲内に入る、代替形態、変更形態及び変形形態を包含することが意図される。さらに、先行する記述は、本発明の範囲を限定するようには意図されていない。むしろ、本発明の範囲は添付の特許請求の範囲及びそれらの均等物によって決定されるものとする。
[発明の項目]
[項目1]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを取得するように構成されているプレシンクロナイザであり、前記補助データが、前記同期データ内の瞬間に固定されている、プレシンクロナイザと、
前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させるように、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
を備える、機械又は機械群。
[項目2]
前記プレシンクロナイザが、前記同期データ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されており、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを、前記視聴覚コンテンツ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体に同期させる、項目1に記載の機械又は機械群。
[項目3]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の前記瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを、前記視聴覚コンテンツの消費者によってアクセス可能なデータベースに通信するように構成されている、項目2に記載の機械又は機械群。
[項目4]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されている、項目2に記載の機械又は機械群。
[項目5]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するように構成されているオーサリングツールを備える、項目2に記載の機械又は機械群。
[項目6]
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されており、
前記プレシンクロナイザが、前記記憶場所へのリンクを作成するように構成されており、
プロセッサが、前記記憶場所への前記リンクを前記視聴覚コンテンツのメタデータに挿入するように構成されている、項目1に記載の機械又は機械群。
[項目7]
前記プレシンクロナイザが、前記視聴覚コンテンツの以前のプレイアウト又は実施中に前記補助データを収集し、前記補助データを、前記視聴覚コンテンツ内の瞬間に対応する前記同期データ内の瞬間に固定するように構成されている、項目1に記載の機械又は機械群。
[項目8]
第2の座標セットを追加の補助データとして前記同期データ内の前記瞬間に固定するように構成されているオーサリングツールを備え、結果、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットが前記第2の座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目1に記載の機械又は機械群。
[項目9]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
少なくともオーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するように構成されているトランシーバであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを同期させる、トランシーバと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するように構成されている対話ツールと
を備える、機械又は機械群。
[項目10]
前記トランシーバが、前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するようにさらに構成されている、項目9に記載の機械又は機械群。
[項目11]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備える、項目10に記載の機械又は機械群。
[項目12]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備え、
前記対話ツールが、前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するように構成されている、項目10に記載の機械又は機械群。
[項目13]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを受信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目9に記載の機械又は機械群。
[項目14]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するように構成されているデータベースであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、データベースと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
を備える、機械又は機械群。
[項目15]
前記データベースが、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するように構成されており、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データ、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを同期させる、項目14に記載の機械又は機械群。
[項目16]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するように構成されているか、又は
前記トランシーバが、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信し、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するように構成されている、項目15に記載の機械又は機械群。
[項目17]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記視聴覚コンテンツの前記オーディオ部分又は視覚部分から導出される前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを通信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目14に記載の機械又は機械群。
[項目18]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを取得するステップであり、前記補助データが、前記同期データ内の瞬間に固定されている、取得するステップと、
前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するステップであり、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させる、通信するステップと
を含む、方法。
[項目19]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するステップを含み、前記補助データが、前記同期データ内の前記瞬間に固定されている前記物体を特定し、結果、前記同期データの、前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツに同期させる、項目18に記載の方法。
[項目20]
前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データをデータベースに記憶するステップと
を含む、項目19に記載の方法。
[項目21]
少なくとも前記オーディオ部分及び前記視覚部分を含む前記視聴覚コンテンツを取得するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するステップと、
前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと
を含む、項目19に記載の方法。
[項目22]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するステップを含む、項目19に記載の方法。
[項目23]
前記視聴覚コンテンツのプレイアウト又は実施中に、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを収集するステップを含み、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データが、前記プレイアウト又は実施中に前記視聴覚コンテンツから導出され、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データが、前記プレイアウト又は実施中の前記視聴覚コンテンツ内の瞬間に対応する、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定される、項目19に記載の方法。
[項目24]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データを作成し、前記補助データを、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するステップと
を含む、項目18に記載の方法。
[項目25]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定されている第2の座標セットを特定する補助データを取得するステップを含み、結果、前記第2の座標セットが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、又は
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目18に記載の方法。
[項目26]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するステップであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを前記視聴覚コンテンツに同期させる、受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するステップと
を含む、方法。
[項目27]
前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するステップを含む、項目26に記載の方法。
[項目28]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップを含む、項目27に記載の方法。
[項目29]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップと、
前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するステップと
を含む、項目27に記載の方法。
[項目30]
前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを受信するステップを含み、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目26に記載の方法。
[項目31]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するステップであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、記憶するステップと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを送信するステップと
を含む、方法。
[項目32]
前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するステップを含む、項目31に記載の方法。
[項目33]
前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するステップと
を含む、項目32に記載の方法。
[項目34]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信するステップと、
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するステップと
を含む、項目32に記載の方法。
[項目35]
前記同期データ内の瞬間に固定されている前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の前記瞬間に固定されている追加の補助データとしての第2の座標セットを通信するステップを含み、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目31に記載の方法。
[発明の項目]
[項目1]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを取得するように構成されているプレシンクロナイザであり、前記補助データが、前記同期データ内の瞬間に固定されている、プレシンクロナイザと、
前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させるように、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
を備える、機械又は機械群。
[項目2]
前記プレシンクロナイザが、前記同期データ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されており、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを、前記視聴覚コンテンツ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体に同期させる、項目1に記載の機械又は機械群。
[項目3]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の前記瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを、前記視聴覚コンテンツの消費者によってアクセス可能なデータベースに通信するように構成されている、項目2に記載の機械又は機械群。
[項目4]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されている、項目2に記載の機械又は機械群。
[項目5]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するように構成されているオーサリングツールを備える、項目2に記載の機械又は機械群。
[項目6]
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されており、
前記プレシンクロナイザが、前記記憶場所へのリンクを作成するように構成されており、
プロセッサが、前記記憶場所への前記リンクを前記視聴覚コンテンツのメタデータに挿入するように構成されている、項目1に記載の機械又は機械群。
[項目7]
前記プレシンクロナイザが、前記視聴覚コンテンツの以前のプレイアウト又は実施中に前記補助データを収集し、前記補助データを、前記視聴覚コンテンツ内の瞬間に対応する前記同期データ内の瞬間に固定するように構成されている、項目1に記載の機械又は機械群。
[項目8]
第2の座標セットを追加の補助データとして前記同期データ内の前記瞬間に固定するように構成されているオーサリングツールを備え、結果、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットが前記第2の座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目1に記載の機械又は機械群。
[項目9]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
少なくともオーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するように構成されているトランシーバであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを同期させる、トランシーバと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するように構成されている対話ツールと
を備える、機械又は機械群。
[項目10]
前記トランシーバが、前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するようにさらに構成されている、項目9に記載の機械又は機械群。
[項目11]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備える、項目10に記載の機械又は機械群。
[項目12]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備え、
前記対話ツールが、前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するように構成されている、項目10に記載の機械又は機械群。
[項目13]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを受信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目9に記載の機械又は機械群。
[項目14]
メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するように構成されているデータベースであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、データベースと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
を備える、機械又は機械群。
[項目15]
前記データベースが、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するように構成されており、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データ、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを同期させる、項目14に記載の機械又は機械群。
[項目16]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するように構成されているか、又は
前記トランシーバが、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信し、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するように構成されている、項目15に記載の機械又は機械群。
[項目17]
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記視聴覚コンテンツの前記オーディオ部分又は視覚部分から導出される前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを通信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目14に記載の機械又は機械群。
[項目18]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを取得するステップであり、前記補助データが、前記同期データ内の瞬間に固定されている、取得するステップと、
前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するステップであり、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させる、通信するステップと
を含む、方法。
[項目19]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するステップを含み、前記補助データが、前記同期データ内の前記瞬間に固定されている前記物体を特定し、結果、前記同期データの、前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツに同期させる、項目18に記載の方法。
[項目20]
前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データをデータベースに記憶するステップと
を含む、項目19に記載の方法。
[項目21]
少なくとも前記オーディオ部分及び前記視覚部分を含む前記視聴覚コンテンツを取得するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するステップと、
前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと
を含む、項目19に記載の方法。
[項目22]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するステップを含む、項目19に記載の方法。
[項目23]
前記視聴覚コンテンツのプレイアウト又は実施中に、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを収集するステップを含み、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データが、前記プレイアウト又は実施中に前記視聴覚コンテンツから導出され、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データが、前記プレイアウト又は実施中の前記視聴覚コンテンツ内の瞬間に対応する、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定される、項目19に記載の方法。
[項目24]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データを作成し、前記補助データを、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するステップと
を含む、項目18に記載の方法。
[項目25]
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定されている第2の座標セットを特定する補助データを取得するステップを含み、結果、前記第2の座標セットが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、又は
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目18に記載の方法。
[項目26]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するステップであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを前記視聴覚コンテンツに同期させる、受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するステップと
を含む、方法。
[項目27]
前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するステップを含む、項目26に記載の方法。
[項目28]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップを含む、項目27に記載の方法。
[項目29]
前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップと、
前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するステップと
を含む、項目27に記載の方法。
[項目30]
前記同期データ内の瞬間に固定されている追加の補助データとしての第2の座標セットを受信するステップを含み、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目26に記載の方法。
[項目31]
メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するステップであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、記憶するステップと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを送信するステップと
を含む、方法。
[項目32]
前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するステップを含む、項目31に記載の方法。
[項目33]
前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するステップと
を含む、項目32に記載の方法。
[項目34]
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信するステップと、
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するステップと
を含む、項目32に記載の方法。
[項目35]
前記同期データ内の瞬間に固定されている前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の前記瞬間に固定されている追加の補助データとしての第2の座標セットを通信するステップを含み、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、項目31に記載の方法。
Claims (29)
- メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを取得するように構成されているプレシンクロナイザであり、前記補助データが、前記同期データ内の瞬間に固定されている、プレシンクロナイザと、
前記視聴覚コンテンツと前記同期データのその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させるように、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと、
第2の座標セットを追加の補助データとして前記同期データ内の同じ前記瞬間に固定するように構成されているオーサリングツールであって、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットが前記第2の座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、オーサリングツールと、
を備える、機械又は機械群。 - 前記プレシンクロナイザが、前記同期データ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されており、結果、前記視聴覚コンテンツと前記同期データのその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを、前記視聴覚コンテンツ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体に同期させる、請求項1に記載の機械又は機械群。 - 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の前記瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを、前記視聴覚コンテンツの消費者によってアクセス可能なデータベースに通信するように構成されている、請求項2に記載の機械又は機械群。 - 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の瞬間に固定するように構成されており、
前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されている、請求項2に記載の機械又は機械群。 - 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するように構成されているオーサリングツールを備える、請求項2に記載の機械又は機械群。
- 前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されており、
前記プレシンクロナイザが、前記記憶場所へのリンクを作成するように構成されており、
プロセッサが、前記記憶場所への前記リンクを前記視聴覚コンテンツのメタデータに挿入するように構成されている、請求項1に記載の機械又は機械群。 - 前記プレシンクロナイザが、前記視聴覚コンテンツの以前のプレイアウト又は実施中に前記補助データを収集し、前記補助データを、前記視聴覚コンテンツ内の瞬間に対応する前記同期データ内の瞬間に固定するように構成されている、請求項1に記載の機械又は機械群。
- メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
少なくともオーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するように構成されているトランシーバであり、結果、前記視聴覚コンテンツの同期データと前記オーディオ部分又は前記視覚部分のその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを同期させ、前記補助データが、前記同期データ内の瞬間に固定されている、トランシーバと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するように構成されている対話ツールと
を備え、
前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の同じ前記瞬間に固定されている追加の補助データとしての第2の座標セットを受信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、機械又は機械群。 - 前記トランシーバが、前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するようにさらに構成されている、請求項8に記載の機械又は機械群。
- 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備える、請求項9に記載の機械又は機械群。
- 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備え、
前記対話ツールが、前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するように構成されている、請求項9に記載の機械又は機械群。 - メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するように構成されているデータベースであり、結果、前記視聴覚コンテンツのオーディオ部分又は視覚部分と前記視聴覚コンテンツのオーディオ又はビデオの前記表現のその後の位置合わせにより、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、データベースと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
を備え、
前記トランシーバが、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記視聴覚コンテンツの前記オーディオ部分又は視覚部分から導出される前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の同じ前記瞬間に固定されている追加の補助データとしての第2の座標セットを通信するように構成されており、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、機械又は機械群。 - 前記データベースが、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するように構成されており、結果、前記視聴覚コンテンツのオーディオ部分又は視覚部分と前記視聴覚コンテンツのオーディオ又はビデオの前記表現のその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データ、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを同期させる、請求項12に記載の機械又は機械群。
- 前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するように構成されているか、又は
前記トランシーバが、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信し、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するように構成されている、請求項13に記載の機械又は機械群。 - メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを取得するステップであり、前記補助データが、前記同期データ内の瞬間に固定されている、取得するステップと、
前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するステップであり、結果、前記視聴覚コンテンツと前記同期データのその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させる、通信するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の同じ前記瞬間に固定されている第2の座標セットを特定する補助データを取得するステップであり、前記第2の座標セットが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットに相関し、前記第2の座標セットが、
実世界の位置の座標、又は
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、取得するステップと、
を含む、方法。 - 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するステップを含み、前記補助データが、前記同期データ内の前記瞬間に固定されている前記物体を特定し、結果、前記視聴覚コンテンツと前記同期データのその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツに同期させる、請求項15に記載の方法。
- 前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データをデータベースに記憶するステップと
を含む、請求項16に記載の方法。 - 少なくとも前記オーディオ部分及び前記視覚部分を含む前記視聴覚コンテンツを取得するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するステップと、
前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと
を含む、請求項16に記載の方法。 - 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するステップを含む、請求項16に記載の方法。
- 前記視聴覚コンテンツのプレイアウト又は実施中に、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを収集するステップを含み、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データが、前記プレイアウト又は実施中に前記視聴覚コンテンツから導出され、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データが、前記プレイアウト又は実施中の前記視聴覚コンテンツ内の瞬間に対応する、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定される、請求項16に記載の方法。
- 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データを作成し、前記補助データを、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定するステップと、
前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するステップと
を含む、請求項15に記載の方法。 - メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するステップであり、結果、前記視聴覚コンテンツの同期データと前記オーディオ部分又は前記視覚部分のその後の位置合わせにより、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを前記視聴覚コンテンツに同期させ、前記補助データが、前記同期データ内の瞬間に固定されている、受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するステップと、
前記同期データ内の同じ前記瞬間に固定されている追加の補助データとしての第2の座標セットを受信するステップであり、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、受信するステップと、
を含む、方法。 - 前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するステップを含む、請求項22に記載の方法。
- 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップを含む、請求項23に記載の方法。
- 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップと、
前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するステップと
を含む、請求項23に記載の方法。 - メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するステップであり、結果、前記視聴覚コンテンツのオーディオ部分又は視覚部分と前記視聴覚コンテンツのオーディオ又はビデオの前記表現とのその後の位置合わせにより、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、記憶するステップと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを送信するステップと、
前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の同じ前記瞬間に固定されている追加の補助データとしての第2の座標セットを通信するステップであり、前記第2の座標セットが、
実世界の位置の座標、及び
第2の視聴覚コンテンツの視覚部分内の位置を表す座標
のうちの1つ又は複数に対応する、通信するステップと、
を含む、方法。 - 前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するステップを含む、請求項26に記載の方法。
- 前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信するステップと、
前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するステップと
を含む、請求項27に記載の方法。 - 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信するステップと、
前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するステップと
を含む、請求項27に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/860,438 US20190208236A1 (en) | 2018-01-02 | 2018-01-02 | Coordinates as ancillary data |
US15/860,438 | 2018-01-02 | ||
PCT/US2019/012085 WO2019136092A1 (en) | 2018-01-02 | 2019-01-02 | Coordinates as ancillary data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021509795A JP2021509795A (ja) | 2021-04-01 |
JP7507687B2 true JP7507687B2 (ja) | 2024-06-28 |
Family
ID=
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007528144A (ja) | 2003-07-11 | 2007-10-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 |
JP2009117974A (ja) | 2007-11-02 | 2009-05-28 | Fujifilm Corp | 興味情報作成方法、装置およびシステム |
US20100305729A1 (en) | 2009-05-27 | 2010-12-02 | Glitsch Hans M | Audio-based synchronization to media |
US20110067071A1 (en) | 2009-09-14 | 2011-03-17 | Jeyhan Karaoguz | System and method in a television system for responding to user-selection of an object in a television program based on user location |
JP2013545386A (ja) | 2011-09-26 | 2013-12-19 | エンサーズ カンパニー リミテッド | 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 |
US20170295412A1 (en) | 2016-04-08 | 2017-10-12 | Source Digital, Inc. | Synchronizing ancillary data to content including audio |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007528144A (ja) | 2003-07-11 | 2007-10-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 |
JP2009117974A (ja) | 2007-11-02 | 2009-05-28 | Fujifilm Corp | 興味情報作成方法、装置およびシステム |
US20100305729A1 (en) | 2009-05-27 | 2010-12-02 | Glitsch Hans M | Audio-based synchronization to media |
US20110067071A1 (en) | 2009-09-14 | 2011-03-17 | Jeyhan Karaoguz | System and method in a television system for responding to user-selection of an object in a television program based on user location |
JP2013545386A (ja) | 2011-09-26 | 2013-12-19 | エンサーズ カンパニー リミテッド | 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 |
US20170295412A1 (en) | 2016-04-08 | 2017-10-12 | Source Digital, Inc. | Synchronizing ancillary data to content including audio |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7442211B2 (ja) | オーディオを含むコンテンツに対する補助データの同期化 | |
CN111771385B (zh) | 作为辅助数据的坐标 | |
US11503350B2 (en) | Media environment driven content distribution platform | |
JP7507687B2 (ja) | 補助データとしての座標のための機械又は機械群および方法 |