JP7362649B2 - 追加信号を一次信号に同期させる方法 - Google Patents

Description

この発明は、追加信号を一次信号に同期させる方法、および追加信号を一次信号に同期させるデバイスに関する。信号は「連続信号」であり、連続信号は、時間的に連続した特徴の特徴シーケンスにより記載することができる信号であると理解される。典型的な連続信号は、オーディオ信号とビデオ信号であり、それらは、対応する特徴を生成するために、規則的な間隔でサンプリングすることができる。しかしながら、連続信号は、また、デジタル的に符号化されたテキストを送信するために使用される信号でもあり得る。

ＵＳ９，６０９，０３４Ｂ２は、メタデータにより、メディアデータを識別するための方法を開示する。ＷＯ２０１６／０８５４1４Ａ１は、モバイルプラットフォームがテレビジョンのステーションを認識し、コマーシャル休憩の期間に、それに適した情報を受信する。ＥＰ２５０７７９０Ｂ１は、２つのオーディオハッシュの後続の比較を伴うチャネル不変のロバストオーディオハッシング（robust audio hashing）の方法とシステムを説明する。オーディオ信号は、最初に２秒の典型的な長さのフラグメント（fragment）に分割される。次に、これらの素片は、典型的に０．３６秒の長さを有するフレームにさらに分割される。フレームは、フーリエ変換され、結果として得られるデータが、次に正規化される。ハッシュ値は、これらのデータを量子化することにより得られる。

ＷＯ２０１２／０４９２２３Ａ２は、代替オーディオ信号を、結合されたビデオおよびオーディオ信号に同期させるための方法を記載する。これに関する２つの可能性が示される。第１にウォータマークメソッド（watermark method）が記載され、この方法は、ビデオおよびオーディオ信号に関し、人間に知覚できない追加信号を構成し、例えば、一次オーディオ信号の変調として記載することができる。他の方法はフィンガプリントメソッド（fingerprint method）を記載する。メインオーディオ信号は、振幅、周波数、ゼロ交差レート（zero crossing rate）、テンポ、スペクトルフラットネス（spectral flatness）、帯域、および／またはオーディオフィンガプリントに基づいて特徴づけられ、第２の信号の対応する特徴と比較される。２番目の信号の位置が検出された場合、これを時間的に一次信号に適合させることができる。

ＷＯ２０１２／０４９２２３、ＷＯ２０１４／０１８６５２Ａ２は、代替オーディオ信号を結合されたビデオおよびオーディオ信号に同期させる方法を記載する。この場合もまた、メソッドとしてフィンガプリントプロセスが使用される。この場合、メインオーディオ信号のフィンガプリントは、全体が第２の信号に結合される。第２の信号と、第１の信号のフィンガプリントは、同期されるデバイス上に前もってロードされるので、同期の間、第１の信号のみが、解析されて、デバイス上のフィンガプリントと比較される。ＷＯ０３００３７４３Ａ２は、パラレルメディアを同期させるための同期信号を供給する方法とデバイスを開示する。同期サーバは、通信ネットワークに結合され、ブロードキャストメディアスタートタイムデータベース（broadcast media start time database）に接続される。同期サーバは、通信ネットワークを介してユーザクライアントから同期要求を受信する。同期サーバは、同期要求およびブロードキャストメディアスタートタイムデータベースを用いて同期データを生成する。

ＷＯ２０１４２０９１７９Ａ１は、長距離通信におけるネットワークダイバーシティのための方法およびトランシーバを記載する。メインノードにおける方法は、長距離の宛先ノードと通信するための以下のステップを備える。
・少なくとも１つの通信リソースの使用を補助ノードと同期する。
・情報量からメイン信号と補助信号を生成する。
・少なくとも１つの同期された通信リソースによりメイン信号を、宛先ノードに送信する。
・少なくとも１つの同期された通信リソースにより補助信号を、補助ノードに送信する。

本発明の目的は、追加信号を任意の、連続的な一次信号に同期して出力することができる、迅速、堅固（robust）、かつ正確な方法および対応するデバイスを提供することである。他の目的は、待ち時間が短いストリーミング方法を提供することである。他の目的は、メディ再生デバイスの受信と出力の間の遅延を測定し、較正することのできる、迅速、堅固、且つ正確な方法を提供することである。別の目的は、これらの２つの信号間の時間遅延を測定し、時間遅延ができるだけ小さくなるようにこれらの信号の少なくとも1つを適応させる、追加信号を一次信号に同期させる方法を提供することである。これらの目的は、独立クレームの特徴により達成される。有利な修正および好ましい実施形態は、従属請求項の主題である。

この発明の第１の態様によれば、追加信号を、一次信号に同期させる方法が、以下のステップで提供される。
－一次信号の少なくとも１つの信号特徴シーケンスを抽出し、それをデータベースに記憶されたＤＢ特徴シーケンスと比較することによる、一次信号に関する同期情報の生成。信号特徴シーケンスがＤＢ特徴シーケンスの１つと所定の割合で一致する場合、一致したＤＢ特徴シーケンスの同期情報が、信号特徴シーケンスにより指定された位置で、一次信号に割当てられる。
－同期情報の再生デバイスへの送信。再生デバイスは、同期情報に基づいて、一次信号に同期して、追加信号を出力する。

この方法によれば、一次信号の１つまたは複数の信号特徴シーケンスが抽出され、これらは、データベースの対応する、従前に記憶されたＤＢ特徴と比較されるので、一次信号が、開始点などの特定の時間情報を、本質的に備えている必要はない。例えば、一次信号は、開始点を有さない、連続的に送信されたテレビジョン信号であり得る。特徴シーケンスを比較することにより、一次信号の信号特徴シーケンスの１つは、それを、対応するＤＢ特徴シーケンスと一致させることにより、識別することができる。これにより、同期情報は、識別された信号特徴シーケンスに関連する、指定された位置で、一次信号に割り当てることができる。言い換えれば、これは、同期情報が一次信号の識別された信号特徴シーケンスの、ロケーションまたは位置に関する。

この同期情報は、例えば、データベース内のＤＢ特徴シーケンスと一緒に記憶される。しかしながら、この同期情報は、また時間、特に、この方法が実行される同期サーバのサーバ時間であって、例えば、この信号特徴シーケンスを有する追加信号が、同期サーバから受信される場合、信号特徴シーケンスが抽出されるか、またはこの信号特徴シーケンスを有する追加信号が、同期サーバから再生デバイスへ送信される場合、検出されるサーバ時間を含むことができる。それゆえ、この信号特徴シーケンスは、特定の時間、特にサーバ時間が割当てられる、一次信号の特定のロケーションを構成する。また、この特定の時間は、信号内に含まれる時間情報から抽出することができ、それぞれの信号特徴シーケンスに割り当てることができる。当然ながら、この方法は、特定の開始点を有する一次信号にも使用することができる。これは、この発明による方法に、固定の時間基準を有する一次信号を必要とするＥＰ１３０７８３３Ｂ１により周知である類の一般的な方法よりも、著しく柔軟性をもたせることができる。

この発明による方法において、例えば、この時間基準は、ＤＢ特徴シーケンスへの比較が、対応する同期情報が割り当てることのできる、一次信号の少なくとも１つの信号特徴シーケンスを識別するのに使用される、同期サーバを介した一次信号（臨機応変に（on the fly））の通過期間に生成される。さらに、ＤＢ特徴シーケンスに一致する一次信号の信号特徴シーケンスの時間を決定することが可能であり、この時間を、この抽出した信号特徴シーケンスに抽出時間として割当て、同期情報を生成することができる。そのような抽出時間を用いることにより、一次信号に割当てられた時間情報が生成され、それは一次信号のロケーションまたはポイントを時間に接続する。一次信号への時間情報のそのような割当ては、また、一次信号が、すでに時間情報を、例えば時間マーカの形態で含む場合、意味がある。必要なら、これは、さらなる情報に接続可能な、第２の基準を生成するのに使用される。さらに、ＤＢ特徴シーケンスには、同期情報を生成するのに使用される、ＤＢ特徴シーケンスに関連する、特定のＤＢ時間を定義する、時間情報を割当てることができる。この時間情報は、典型的にデータベース内のＤＢ特徴シーケンスと一緒に記憶される。例えば、このＤＢ特徴シーケンスと一致する信号特徴シーケンスが、フィルムのような、より大きな信号セグメント内の特定のポイントで生じるときに、特定の時間を示す。追加信号は、次に、再生デバイス上で、このＤＢ時間に関連して同期することができる。

同期情報は、追加信号の信号特徴シーケンスを抽出し、それをデータベースに記憶されたＤＢ特徴シーケンスと比較することにより、追加信号に割り当てることもできる。信号特徴シーケンスが、ＤＢ特徴シーケンスの１つと、所定の割合で一致する場合、同期情報は、信号特徴シーケンスにより指定された位置で、追加信号に割当てられる。同期情報は、また手動で追加信号に割当てることもできる。例えば、オペレータは、一次信号に対していつブロードキャストされるかに関する時間情報を追加信号に割り当てることができる。

しかしながら、同期情報がすでに前もって割当てられている、追加信号を使用することも可能である。同期情報は、１つまたは複数の以下のデータを備えることができる。
－一次および／または追加信号の時間を識別する時間情報、特に、これは、検出された信号特徴シーケンスに関連した時間を記載する。
－一次および／または追加信号のコンテンツを記載する１つまたは複数の識別マーカ。これらの識別マーカは、たとえば、追加信号と一緒に送信される、特定の言語の字幕、特定の言語のオーディオ同期信号、またはＭＥＴＡ情報のタイプの説明のような、追加信号のタイプのみを記載することができる。しかしながら、識別マーカは、追加信号を、より詳細に記載することができ、追加信号の構造を反映させることができる。例えば、追加信号が歌の歌詞である場合、識別マーカは、歌の歌詞のそれぞれの詩を識別できる。しかしながら、識別マーカが、章、オペラの演目、コンサートの歌、テレビシリーズのエピソードなどの他の構造を記述することも可能である。
－一次および／または追加信号の特定の時間を記載するタイムスタンプ。この時間は、検出された信号特徴シーケンスの１つに無関係であり、例えば、検出された信号特徴シーケンスに関連しない、基準点に関連する、フィルムの特定の点を記載する。この基準点は、一般に、一次信号、追加信号、または対応する信号の特定のセグメントの開始点である。
－送信路の特定点からの一次および／または追加信号を再生デバイスの、一次および／または追加信号の実際の出力に中継するのに必要な、タイムインターバルを記載するタイムオフセット。

それゆえ、この同期情報は、一次および／または追加信号の特性を記載する同期情報を構成せず、むしろこの方法が実行される、デバイスの特性を記載する。この同期情報は、アプリケーションに応じて、非常に異なって構成することができる。上で説明したこの発明の態様を用いて、一致したＤＢ特徴シーケンスの同期情報は、信号特徴シーケンスにより指定された位置で、一次信号に割当てられる。データベース内の特定の情報は、ＤＢ特徴シーケンスに割当てられる。しかし、この情報は、絶対的に、時間情報を含む必要はない。それは、例えば、このＤＢ特徴シーケンスが発見された信号のセグメントの、ＤＢ特徴シーケンスの意味（例えば、音楽のタイトル、オペラの演目等）を記載するメタデータであり得る。

次に、同期情報が例えば、信号特徴シーケンスと一緒に抽出される、一次信号内に含まれる時間情報に基づいて、あるいは、抽出時間であって、その時間は、例えば、このメタ情報と結合された抽出時間に基づいて生成することができ、したがって、追加信号が、同じメタ情報で割当てることができる、同期情報を生じることができる。割当てと同期の時間は、抽出した時間情報に基づいて、または抽出時間に基づいて派生される。言い換えれば、これは、同期情報が一次信号に割当てられ、一次信号に対して、同期情報との時間関係があることを意味する。この発明は、また異なる信号からのメディア信号が、しばしば類似の特徴セグメントを有するという発見にも基づく。

これらの特徴セグメントは、正確に同じである必要はない。たとえば、一次信号が、コンサートの高品質オーディオ信号であり、追加信号が、低品質オーディオ信号を持つビデオ信号である場合、低品質オーディオ信号に基づいて、たとえば、ミュージシャンが拍手で迎えられると、２つのオーディオ信号の品質が大幅に異なる場合でも、ここでのオーディオ機能は非常に似ているため、追加信号を、非常に正確に同期することができる。これは、たとえばプロのカメラで記録されたビデオ信号や、携帯電話で記録されたビデオ信号でも、同様に可能である。

本発明者らは、これらの特徴セグメントに基づいて、異なる信号を同期させるために、１つまたは複数の特定の信号特徴シーケンスの自動識別を、実行することが可能であることを発見した。同期情報は、再生デバイスとは独立して実施される、同期サーバで生成することができる。この同期情報は、次に、追加信号が一次信号に同期して出力される、再生デバイスに、送信されなければならない。この場合、例えば、対応する信号を、所定のポイントから、特に同期サーバから再生デバイスに送信するのに必要な時間間隔を決定することによって、再生デバイスと同期サーバの同期を実行することもできる。しかしながら、同期サーバは、また再生デバイス自体に具現化することもできる。

同期サーバと再生デバイスの間のデータのデジタル伝送が使用される場合、この時間間隔は変化するため、一般的には判別できない。再生デバイスでは、一次信号と追加信号（それぞれ同期情報として1つ以上のタイムマーカを含む）を再生デバイスに出力することにより、追加信号を、一次信号に同期させることができる。時間マーカに基づいて、再生デバイスは、追加信号を同期して一次信号に割り当て、同期して出力することができる。さらに、クロックを使用して再生デバイスで測定された再生時間に基づいて、同期情報を再生デバイスで使用して、追加信号が、一次信号に同期して出力されるように、この再生時間に追加信号を割り当てることができる。

前者の場合、一次信号と追加信号は、同じ再生デバイスで出力されるため、２つの信号のタイムマーカは、信号を同期して出力するのに十分である。ただし、たとえば一次信号をタイムラグなしで、可能な限り迅速に再生デバイスに送信したい場合、または一次信号が出力される場合など、一次信号にタイムマーカを挿入しないことが望ましい場合、追加信号とは異なる再生デバイスでは、同期情報を使用して、再生デバイス内のクロックによって測定される再生時間に、追加信号を割り当てることが有利である。

同期情報は、追加信号が一次信号に同期して出力されるように、追加信号を再生時間に割り当てるための対応する情報を含む。一次信号と追加信号が異なる再生デバイスにより出力される場合、一次信号の出力が割当てられた、第１の時間を使用することは有利である。それゆえ、この時間は、一次信号における個々の特徴、または特徴シーケンスの時間を記載する。基本的に、これは、一次信号が出力される再生デバイスのクロックを用いて達成することができる。ただし、この一次信号用の再生デバイスとは独立した同期サーバが提供されている場合、特に一次信号が、同期サーバから再生デバイスに継続的に送信される場合は、同期サーバのクロックを使用することができる。その場合、再生デバイス上の一次信号の出力が、同期サーバ上の通過に対して遅延される時間間隔を示す対応する時間オフセットで、同期情報を補足することのみが必要である。追加信号の再生デバイスについては、同期サーバ上のサーバ時間に対する再生デバイスでの、再生時間の関係を記述する同期情報が提供される。これにより、一次信号の出力も、このサーバ時間に同期されるので、再生時間に基づいて、同期サーバのサーバ時間との関係を確立することが可能である。

サーバ時刻と再生時刻の両方が、独立した時刻または参照時刻（例：NTP：ネットワークタイムプロトコル）に定期的に同期されている場合、同期情報には、これら2つの時刻の関係に関する情報を含める必要はない。なぜならば、２つの時刻は、既存のレベルの測定精度の枠組み内で、同一と見なす必要があるからである。信号特徴シーケンスとＤＢ特徴シーケンスの比較では、いくつかの信号特徴シーケンスが、所定の程度に一致していることがわかる。したがって、基本的には、この複数の信号特徴シーケンスを用いて、同期情報を生成することが可能である。

しかしながら、有利なことに、所定の時間間隔内で、所定の程度の一致を満たす、すべての信号特徴シーケンスの一致が評価され、同期情報を、信号機能シーケンスで指定された位置の、一次信号に割り当てるために、最良の評価を有する信号特徴シーケンスが選択される。基本的には、ゴールは、一次信号に対する同期情報の固有の割当てを達成することである。複数の信号特徴シーケンスを使用すると、これは常に保証されるわけではない。ＤＢ特徴シーケンスに最も一致する信号特徴シーケンスを使用すると、ベストの同期を達成することができる。

ＤＢ特徴シーケンスを有する信号特徴シーケンスのマッチングの割合を評価するための所定のルールは、以下のルールの１つまたは複数を含む。
－特徴シーケンスの一致する特徴の数が多いほど、評価は高くなる。特徴シーケンスに含まれる特徴の数に関連して、特徴シーケンスの一致する特徴の数が大きければ大きいほど、評価は良くなる。
－個々の特徴のマッチングの分類が実行される。一致する特徴間の距離が短いほど、対応する一致に割り当てられる分類が良くなり、この分類は、特徴シーケンスの一致の全体的な評価で考慮される。

本発明の別の態様によれば、以下のステップを含む、追加信号を一次信号に同期させる方法が提供される。
－一次信号からの信号特徴シーケンスの抽出、およびデータベース内の時間情報と一緒の信号特徴シーケンスの保存。このデータベースを使用した追加信号の同期。 特に、追加信号から抽出された特徴シーケンスは、データベースに格納された特徴シーケンスと比較され、および／または追加信号からの時間情報は、データベース内の対応する時間情報と比較される。この方法は、一次信号が放送局から再生デバイスに送信されているときに、一次信号のデータベースを作成するために使用できる。このデータベースは、追加信号をこの一次信号に同期するために、すぐに利用することができる。従って、ライブ信号を解析して同期する事が可能である。このため、このようにして作られたデータベースは、また、ライブデータベースとも呼ばれる。対応するサーバにより提供されたクロックの時間情報の手段により、および／または一次信号内に含まれる時間情報に基づいて、時間情報を生成または抽出することができる。

本明の別の態様によれば、追加信号を一次信号に同期させる方法が作成される。 サーバから再生デバイスへの伝送経路を較正するため、および／または再生デバイスでメディア信号を出力するための、再生デバイスにおける待ち時間を較正するために、対応するセンサによって同時に受信される基準信号が出力される。センサによって受信された出力基準信号と基準信号は、基準信号の中継および/または実際にそれを再生デバイスに出力するために、必要な時間間隔を決定するために互いに比較され、この時間間隔は、サーバおよび／または再生デバイスのクロックに関連する時間情報に基づいて、順番にタイムオフセットとして使用され、メディア再生デバイス上で、信号が出力される出力時間を決定する。

この方法は、送信経路または再生デバイスを自動的に較正するのに使用することができる。再生デバイスのレイテンシ（latency）は、たとえば、オーディオ信号がハードワイヤードスピーカー、Ｂｌｕｅｔｏｏｔｈ（登録商標）で接続されたスピーカー、または下位のオーディオシステムのどちらに出力されるかによって大きく異なる。信号を送信するために必要なタイムインターバルは、それぞれの送信経路に応じて、著しく異ならせることができる。

この方法は、メディア信号の再生の前に、または再生中にも一度または複数回、出力デバイスの送信経路および／または待ち時間を較正するために使用することができる。基準信号はオーディオ信号を含むことができ、この場合、センサは、マイクロフォンである。基準信号はまた、ビデオ信号も含むことができる。この場合、カメラは、センサとして使用することができる。タイムインターバルは、基準信号の、送信時間と受信時間を決定することにより決定することができ、タイムインターバルは、これら２つの時間の間の時間差から派生される。

基準信号の送信時間と受信時間が、同じロケーションで測定される場合、決定されるタイムインターバルは、これらの２つの時間の間の時間差の１／２である。基準信号の送信時間が、送信経路の初めで測定され、基準信号の基準時間が、センサにより直接測定される場合、決定されるタイムインターバルは、この時間差である。一方または両方の時間は、抽出された基準特徴シーケンスを、１以上の、従前に記憶された基準特徴シーケンスと比較することにより、実行することができる。この方法は、ＤＢ特徴シーケンスに基づいて、信号特徴シーケンスを識別するための、上で説明した方法に対応する。従って、そのような特徴シーケンスの比較を用いて、時間を決定することが可能である。そのような時間の精度は、時間を決定するために使用される、特徴シーケンスの長さにより、制限される。そのような特徴の典型的な長さは、±８ｍｓの範囲である。

本発明の別の態様によれば、追加信号を一次信号に同期させる方法が提供され、追加信号は、再生デバイスから独立しているように具現化された同期サーバから再生デバイスに送信される。デバイスおよび同期サーバでは、同期サーバで提供されるクロックを使用して、同期サーバで測定される同期サーバの、サーバ時間に関連する同期情報が生成される。再生デバイスにおいて、再生時間を測定するために、再生デバイスクロックが提供され、それは少なくとも一度、サーバ時間と同期され、サーバ時間に対する再生時間の時間ドリフトが測定され、この時間ドリフトは、追加信号と一次信号の同期の際に考慮される。追加信号は、再生デバイスに出力され、再生デバイスから利用可能な再生時間により、制御することができる。時間ドリフトには、さまざまな原因が考えられる。一方では、再生デバイスのクロックは、サーバのクロックと、全く同じ速度で実行できるとは限らず、異なる再生デバイスのクロックは、異なる速度で実行できるとは限らない。他方では、追加信号は、一次信号と比較して時間的な伸長または圧縮を行うことができるため、特定の時間に一次信号と正確に同期する追加信号は、再生時間が増加するにつれ、一次信号から、さらに逸脱する。

そのような一時的な、伸長または圧縮は、例えば、対応するアナログデジタルコンバータによる、アナログ信号からデジタル信号への変換時に存在する。一次信号、追加信号、およびさらなる複数の信号は、少なくとも、異なる経路を介して送信され、それゆえ、異なるロケーションにある、異なるアナログデジタルコンバータを用いて変換される。各アナログデジタルコンバータは、時間情報を、デジタル信号へのタイムマーカの形態で追加するクロックジェネレータ（クロック）を有する。異なるクロックジェネレータの時間は、わずかに異ならせることができる。これは、たとえ、一次信号と追加信号がアナログ状態において同一であったとしても、それらは、デジタル状態において、わずかに異なる時間を有するという事実に導く。

それらが、同時に再生デバイスで再生される場合、２つの信号間のタイムオフセットは、再生時間が減少するにつれ生じる、可能性がある。異なる速度で実行している、異なる再生デバイス上の、クロックまたはクロックジェネレータによるタイムドリフトは、基準クロック（例えば、原子クロックまたはＴＭＰ）に対する規則的な比較を通して、消去することができる。再生デバイスにおいて、出力はしばしば固有のクロック信号を有し、再生デバイスは、独自のクロックを有した制御ユニットを有する。そのような場合に、再生ユニットのクロック信号が規則的に、再生デバイスの制御ユニットのクロックと同期され、再生デバイスの制御ユニットのクロックが、基準クロックレギュラーインターバルと同期されるなら有利である。信号の圧縮または伸長による時間ドリフトは、測定することができる。このコンテキストにおいて、特徴シーケンスの抽出を用いて、圧縮または伸長を決定することができる。

時間ドリフトが決定されると、追加信号は、レギュラーインターバルにおいて追加信号と、一次信号との間で新しい同期を行う必要なく、一次信号に同期して永久に再生することができる。追加信号が同期されるメイン信号の信号部分が、利用可能である場合、これを達成するためにタイムドリフトを考慮する必要なくして、相互に２つの信号の同期を繰り返すこともできる。たとえば、一次信号と追加信号を再生デバイスに出力する前に、共有同期サーバを介して、一次信号と追加信号を伝達することは、有利であり、完全な一次信号と追加信号が同期サーバ上で利用可能であり、一次信号に対する追加信号の新しい同期は、いつでも生じることができる。次に、再生デバイス上で、２つの信号の同期に必要な部位が無くても、一次信号を出力することができ、２つの信号間の新しい同期は、それにもかかわらず、定期的に生じさせることができる。

タイムドリフトは、それぞれの時間差を計算するために、基準時間に対する反復比較を介して生じさせることができる。タイムドリフトは、時間差における偏差に基づいて決定される。最初と最後の比較間のインターバルが大きければ大きいほど、タイムドリフトは、正確に決定することができる。

この発明の他の態様によれば、追加信号を一次信号に同期させる方法が作成される。第１のステップにおいて、利用可能な追加信号のタイムスタンプが、再生デバイスに送信される。従って、利用可能なバッファ時間を計算することが可能である。これに関して、バッファ時間は、一次信号と同期させるために、追加信号が再生される前に、追加信号に依然として利用可能である時間を記載する。同時に、この最初の送信において、利用可能な帯域幅が決定される。第２のステップにおいて、バッファ時間は、追加信号を符号化するために、追加信号サーバから再生デバイスへ送信するために、および追加信号を再び復号するために使用される。この場合、追加信号の品質は、センサ利用可能なバッファ時間、および利用可能なビットレートに依存する。同じバッファ時間で、可能な限り最短の符号化/復号時間を選択することによって、高い信号品質を達成できるが、これにより、対応する長い伝送時間を必要とする大量のデータが発生するか、または、長い符号化/復号時間を選択することにより、ビットレートを低減し、転送を高速化する。異なるバッファ時間、ハードウェア要件および利用可能な帯域で、符号化／復号時間を再度決定しなければならない。

実際には、この方法は、1つまたは複数のサーバ上で信号（一次信号および/または追加信号）が異なるコーデックで、異なる方法で符号化されるため、信号を異なる品質で利用できるように具現化することができる。再生デバイスにおいて、どの信号を使用するか、およびサーバから検索するかの判断がなされる。さらに、追加信号は、追加信号サーバから再生デバイスに、約４００ミリ秒に相当する１０フレーム、特に最大で約２００ミリ秒に相当する最大５フレームの時間の長さのチャンクで送信される。 最大で1フレーム（約４０ｍｓに相当）、および再生デバイスでは、追加信号がローカルウェブブサーバによって受信される。ローカルウェブサーバに、ウエブソケットを介して、ダイレクトリンクを提供することにより、追加信号は、遅延なく本質的に受信することができる。ダイレクト接続は、送信イベントの後で維持される接続である。ローカルウェブサーバは、ローカルウェブサーバを追加する必要があるという事実を除いて、再生デバイス自体を変更する必要が無いように、再生デバイスによって使用される送信プロトコル（原則としてhttp）と、互換性があることが好ましい。これは、また、非常に短いチャンク（chunk）の使用を可能にする。

従来の送信プロセスでは、このようなチャンクにより、データ接続が繰り返し確立されると、大幅な遅延が発生する。これは、シーケンシャルポーリングの動作と個々のファイルリクエストによってオーバーヘッドが発生するため、大幅な遅延が発生するためである。基本的には、ダイレクト接続を生成することが可能であり、それは、ほとんど遅延無く、チャンクの送信を可能にする。ただし、これには、２つの特定のパートナー間でのみ確立でき、複数の受信者へのストリーミングができないという、欠点がある。ダイレクト接続の代わりに、ローカルウェブサーバを具現化することができ、同時に、または連続して、あるいは、従前に要求したチャンクの受信を待つことなく、複数のチャンクを要求することができる。

一般的なプロセスでは、チャンクは、個別に要求され、追加のチャンクは、従前に要求されたチャンクが、すでに受信されているとき要求される。これにより、非常に小さなチャンクでさえも、迅速に送信することができる。例えば、ＨＬＳまたはＤＡＳＨのような一般的なストリーミング技術を、このために使用することができる。従って、必要な送信時間を最小にすることができ、結果として、より多くの時間を、符号化のために利用可能である。これは、より高速なデータレートで実行することができ、信号品質を高めることができる。この送信方法を用いて、追加信号は、一般的に、２乃至３秒で、受取人に到着することができる。上で説明した態様は、個別に、または任意の組合せで、インプリメントすることができる。この発明のコンテキストにおいて、追加信号は、一次信号に同期することができる。しかしながら、複数の追加信号を、一次信号に同期させることが可能である。この発明は、図面に基づいた例示により、以下に詳細に説明される。

一次信号に同期して、複数のカメラ信号を再生するシステムを示す。 ライブブロードキャストに関連する、外部追加情報をロードするシステムを示す。 テレビジョンブロードキャストに関連する、外部追加情報をロードするシステムを示す。 ローカルサーバを用いたテレビジョンブロードキャストに関連する、外部追加情報をロードするシステムを示す。

第１の例示実施形態は、ディレクタにより一次信号に変換されるように、個々のカメラ２のカメラ信号をマージする複数のカメラ２と、ブロードキャストスタジオ３を有する、ステージ１のライブイベントをブロードキャストする、システムに関する。ブロードキャストスタジオ３は、一次信号４が送信される同期サーバ５に接続される。同期サーバ５は、一次信号４をデータストリームとして、１つまたは複数の再生デバイス６に伝送する。

図１には単一の再生デバイスのみが示されている。実際には、一次信号４は、例えばブロードキャストプロセスにおいて、多数の再生デバイスに送信される。ブロードキャストスタジオから、個々のカメラの信号が、追加信号として、追加信号同期サーバ７に伝送される。追加信号同期サーバ７は、ウェブサーバ８に接続され、そこから、個別の追加信号を、インタネットプロトコルによって検索することができ、インターネット１８を介して、それぞれの再生デバイス６に供給することができる。再生デバイスとウェブサーバとの間で、双方向の接続があるので、再生デバイスにおいて、検索すべき追加信号について、個別の選択を行うことができる。ブロードキャストスタジオにおいて、一次信号は、前処理され最適化される。個別の追加信号は、さらなる事前処理を有して、または有さずに出力される。２つの同期サーバ５、７は、各々が、データベースを提供するデータベースサーバ９に、接続され、特定の特徴シーケンスが、特徴シーケンスに割当てられた同期情報に従って、記憶される。

この例示実施形態において、単一のデータベースのみが提供され、それは両方の同期サーバ５、７によりアクセスされる。しかしながら、迅速なアクセスのために、または、多少異なるデータコンテンツを有する、２つのデータベースを提供するために、同期サーバ５、７の各々の直近に、データベースのそれぞれのコピーを提供することが有利であり得る。この装置の場合、一次信号４は、特定再生デバイス６上に出力することができ、再生デバイスのユーザは、それにも関わらず、少なくとも１つの追加信号を、再生デバイス６上に同期出力する可能性も有すべきである。一次信号４と追加信号は、各々ビデオトラックとオーディオトラックを有する。追加信号のオーディオトラックは、各々それぞれのカメラに取り付けられたマイクロフォンにより記録される。一次信号のオーディオ信号は、ステージ１にインストールされたマイクロフォンシステムにより記録され、極めて高品質である。

以下では、一次信号と追加信号を簡単に、正確に、かつ信頼性を有して再生デバイスにより同期することを可能にするために、それらの信号をどのようにして処理するかについて説明する。同期サーバ５において、所定の長さの連続するセグメントは、オーディオトラックから読み取られ、特別な特徴が、そこから抽出される。これを達成するために、高速フーリエ変換を実行して、これらのセグメントを、周波数空間またはフーリエ空間に変換する。この例示実施形態において、このセグメントの長さは、１６ｍｓである。ただし、いずれの場合も、短いセグメントで対応する、正確な同期が可能になるため、５０ミリ秒以下、特に３２ミリ秒以下にする必要がある。セグメントとタイムスロットが短いほど、低周波数が考慮されなくなる傾向がより顕著になる。

しかしながら、驚くべきことに、最大長が８－１０ｍｓのタイムスロットでは、同期を実行するために、十分な多数の高周波信号が利用可能であることが判明した。読み取られ変換されたタイムスロットは、好ましくは互いに重なり合う。たとえば、５０％、３２ｍｓまたは１６ｍｓのタイムスロット長、１６ｍｓまたは８ｍｓの分解能を実現することができる。周波数空間では、特定のしきい値を超える、すべての周波数ピークが特徴と見なされる。

言い換えれば、特徴は、所定しきい値を超える特定の周波数の強度値である。これらの特徴は、個々のタイムスロットで検出され、特徴シーケンスを形成する。この例示実施形態において、シーケンスは、時系列のシーケンスではなく、頻度順の周波数のリストである。オーディオトラックから導出された特徴シーケンスは、以下では、信号特徴シーケンスと呼ばれる。これらの信号特徴シーケンスは、データベースに記憶されたＤＢ特徴シーケンスと比較される。データベース９は、前もって記憶されている、多数のそのようなＤＢ特徴シーケンスを含む。ステージ１でポップコンサートが行われる場合、データベース９が使用される。データベース９では、対応する音楽的演目のすべての曲が、ＤＢフィーチャーシーケンス（feature sequences）に変換され、他のアーティストの曲もライブで頻繁に変換される。特徴シーケンスは、たとえ、ＤＢ特徴シーケンスが生成された信号と、ライブ信号が同一でないとしても、それらの信号は、互いに割当て可能である類似性を有する。信号特徴シーケンスとＤＢ特徴シーケンスとの比較が、所定の割合で一致する場合、これは割当てであると評価される。

それぞれの信号特徴シーケンスの抽出において、抽出時間は、同期サーバクロック１１によって測定され、それぞれの特徴シーケンスに割当てられる。この抽出時間は、対応する信号内の特定の特徴シーケンスの時間を表すために使用される。従って、抽出時間は、信号内の複数の信号特徴シーケンスの相対時間割当てを一意に表すために使用することができる。しかしながら、抽出自体のプロセスが、時間変動の影響を受ける可能性もある。この場合、抽出時間は、時間変動によって引き起こされるエラーによって妨げられる。このため、同期サーバクロック１１によって測定される時間の代わりに、一次信号の特定の時点の時間を表す一次信号に含まれる、時間情報を使用することが有利であり得る。そのような時間情報は、本質的に一次信号に含まれ、以下では、信号時間情報と呼ぶ。例えば、一次信号がビデオ信号である場合、個々のフレームが記録され、再生される特定のフレームレートを有する。フレームが順番にカウントされる場合、この信号の２つの特定のフレーム間の時間間隔は、これらのフレーム間の信号内のフレーム数に、フレームレートの逆数を掛けたものである。それゆえ、ビデオ信号のフレームの数は、この種の信号時間情報を構成する。この結果、そのような信号時間情報は、一次信号において明確に符号化される。

しかしながら、例えば、ビデオ信号のフレームの数が数えられるという点で、それは暗黙的に含まれることもできる。したがって、抽出において、一次信号におけるこの特徴シーケンスの時間を示す信号時間情報と共に、特徴シーケンスを抽出することが可能である。これにより、抽出プロセスの時間的順序に依存しない、抽出時間が得られる。信号時間情報には、例えば、同期サーバクロック１１により、絶対時間を割り当てることができる。この割当は1回実行されてから維持される。この識別された信号特徴シーケンスは、データベース内の対応するＤＢ特徴シーケンスと一緒に記憶される、割当てられた同期情報である。

現在提示されている例示的な実施形態では、同期情報は、それぞれの歌を説明し、歌のポイントを定義する識別マーカを含む。同期情報はまた、対応する信号特徴シーケンスの抽出時間も含む。追加信号同期サーバ７では、同じプロセスが、それぞれの追加信号１０で実行される。ここでも、また、信号特徴シーケンスは、オーディオトラックから抽出され、データベースのＤＢ特徴シーケンスと比較される。抽出時間は、信号同期サーバクロック１２を用いて測定することができるか、あるいは、対応する信号時間情報から抽出することができ、抽出時間は、それぞれの追加信号の割当てを有するデータベースから派生された同期情報と一緒に、再生デバイスに送信される。これにより、それぞれの信号において抽出された、特徴シーケンスのそれぞれの時間を記載する時間情報が、一次信号と追加信号の両方に割当てられる。

この時間情報は、抽出された特徴シーケンスを、データベース9に格納されているＤＢ特徴シーケンスと比較することにより、事前に同期できる。つまり、抽出された特徴シーケンスが、ＤＢ特徴シーケンスの1つと所定の程度に一致する場合、同期情報またはこのＤＢ特徴シーケンスの時間情報は、抽出された特徴シーケンスに割り当てられ、時間差が計算される。これは、一次信号と追加信号に割り当てられる。時間差は、一次信号と追加信号のすべての抽出時間に追加される。その結果、同じ同期情報、または同じ時間情報が、一次信号と追加信号の同じ特徴シーケンスに割り当てられる。第１の変形形態によれば、同期情報は、それぞれの信号に結合される。これは、一次信号４についてであり、同期サーバ５で生成される同期情報が、一次信号に結合され、追加信号同期サーバ７で生成される同期情報が、対応する追加信号に結合されることを意味する。

同期情報は、それぞれのサーバ５、７からの対応する信号と一緒に再生デバイス６に送信される。対応する追加信号が、再生デバイス６により要求された場合にのみ、追加信号がウェブサーバ８から再生デバイス６に送信される。一次信号４と要求された追加信号が、次に再生デバイス６に出力される。これらの２つの信号は、それらと一緒に送信された同期情報に基づいて同期される。追加信号が一次信号と同期して出力されるとき、再生デバイスが認識することができる時間マーカ（例えば、同期された抽出時間）を含む。この変形例において、対応する信号は、一種のウォータマークで、同期情報が提供される。

この変形例は、２つの信号、すなわち、一次信号と追加信号は、タイムマーカに基づいて、互いに同期して出力する必要があるだけなので、再生デバイスでの同期は、簡単であること、および同期サーバ５、７と再生デバイスとの間で同期情報を送信するために、追加の送信経路は、必要ないという点で有利である。一方、この変形例では、一次信号と追加信号を共有再生デバイスに出力する必要があること、および一次信号と追加信号は、同期情報の追加によって変更する必要があるという点で不利である。この追加の情報は、この情報を使用しない対応する信号の受信機において、干渉を引き起こす可能性がある。同期情報を、送信される信号に統合することは、送信を遅らせる。

この例示実施形態の他の変形例において、同期情報は、一次信号と追加信号に結合されず、別個に再生デバイス６に送信される。同期情報は、それぞれの信号の特定の識別子に結合された時間情報を含む。信号が、開始点が定義された定義済みセグメントである場合、時間信号は、この開始点（beginning point）または出発点（starting point）を参照することができる。これは特に、たとえば、数十秒乃至数分持続し、一次信号に加えて出力することができる、省略された追加情報のみを各々が含む追加信号の場合に有利であり得る。

次に、開始点およびそれぞれの時間情報に基づいて、再生デバイスは、追加信号を一次信号と同期させることができる。そのような開始点がそれぞれの信号内に存在しない場合、時間情報は、他の基準点を参照しなければならない。この基準点は、例えば、それぞれの信号内の特徴シーケンスであり得る。この特徴シーケンスは、信号内の異なる点で、生じることができる。次に、再生デバイスには、それぞれの一次信号および/または追加信号から機能シーケンスを抽出し、それを同期情報とともに提供される機能シーケンスと比較できるモジュールを提供する必要がある。従って、一次信号または追加信号に一意に定義された開始点なしで、それぞれの一次信号および追加信号に対する時間情報の一意の参照を取得することが可能である。

この変形例では、特徴シーケンスを抽出し、抽出された特徴シーケンスを、同期情報に含まれる特徴シーケンスと比較するためのモジュールを、再生デバイスに提供しなければならないという欠点がある。しかしながら、この変形例では、追加信号および／または一次信号を変更する必要がなく、オリジナルの形態で送信することができることは、利点がある。第１の例示実施形態の第３の変形例によれば、再生デバイス６、同期サーバクロック１１、および追加信号同期サーバクロック１２に提供される再生デバイスクロック１３は、同期されている。この場合、再生デバイスクロック１３は、それぞれ同期サーバクロック１１と、追加信号同期サーバクロック１２とペアで同期される。さらに、同期サーバ５から再生デバイス６への一次信号の送信時間および追加信号同期サーバ７から再生デバイス６への、追加信号の送信時間は既知である。

この場合、送信経路は、送信時間が一定であるように具現化される。ブルートゥース（登録商標）リンクのような短い送信経路の場合、送信時間は、一般に一定である。より長い送信経路の場合、特に、データがインターネットを介して送信される場合、送信時間は、しばしば著しく異なるので、この場合、この変形例は作動しない。同期情報に含まれる時間情報は、同期サーバ５上、あるいは追加の同期サーバ７上の特定のイベントに関連する。このイベントは典型的にＤＢ特徴シーケンスに基づいて識別することが可能であった、特定の信号特徴シーケンスの時間である。それゆえ、対応する信号特徴シーケンスと共に、対応する同期サーバ５、７を介して、いつ一次信号または追加信号が転送されたかは、既知である。それぞれの同期サーバ５、７から再生デバイス６への送信時間も既知であるので、これは、いつ信号特徴シーケンスが、再生デバイス６に到着したかを決定するのに使用することができる。

一次信号と対応する追加信号のこれらの信号特徴シーケンスは、識別されているので、追加信号は、一次信号に対して時間基準になり得る、すなわち、追加信号は、一次信号と同期することができる。対応する時間関係は、同期情報に含まれる。

この変形実施形態では、再生デバイスのクロック１３は、同期サーバのクロック１１および追加信号同期サーバのクロック１２と、それぞれ同期しなければならず、個々の同期サーバ５、７から再生デバイスへの送信時間は既知であり、安定していなければならない。しかしながら、この場合、一次信号も追加信号も変更する必要がないことは、利点がある。さらに、特徴シーケンスを抽出するためのモジュールは、再生デバイスに統合される必要がない。これは、信頼できる同期を可能にする非常に簡単な解法である。

第３の変形例の他の利点は、第３の変形例が、２つの異なる再生デバイスで簡単に実行することができるという点にある。１つの再生デバイスは、一次信号を再生するために提供され、第２の再生デバイスは、追加信号を再生するために提供される。一次信号再生デバイスの再生デバイスクロックは、同期サーバ５の同期サーバクロック１１と同期する必要があり、追加信号再生デバイスクロックは、追加信号同期サーバクロック１２と同期する必要がある。さらに、２つの再生デバイスクロックは、互いに同期していなければならない。例えば、一次信号再生デバイスは、テレビジョンであり得、追加信号再生デバイスは、モバイルフォンであり得る。

一次信号と追加信号は、互いに同期して出力される。上で説明した３つの変形例は全て、ブロードキャストスタジオ３による、一次信号出力の形態の一次信号が、再生デバイスに出力することができ、カメラ２の信号の形態の追加信号も出力することができ、一次信号が出力されるカメラである必要はない、という事実を共有する。それゆえ、ユーザは、ステージ１のパフォーマンスを見たいカメラを自由に選択することができる。これらの信号は、すべて同様のオーディオトラックを有するので、オーディオトラックによって、簡単かつ信頼性を有して、互いに同期することができる。

さらに、上で説明した変形例は、例えば、３つの変形例の１つに従う再生デバイスを用いて追加信号を送信し、他の変形例の１つによって追加信号を再生デバイスへ送信し、追加信号と同期することにより、互いに結合することができる。基本的には、第３の変形例が一次信号の送信のために好適であり、同様に、３つの変形例のすべてが、追加信号の送信に関して等しい値である。第２の例示実施形態（図２）を以下に説明する。第１の例示実施形態のエレメントと同じエレメントが同じ参照符号を有して提供される。以下では、同じエレメントに関しては、そうではないと記載しない限り、上述の説明が適用される。

第２の例示実施形態において、ステージ１が再び提供され、複数のカメラ２でスキャンされる。カメラ２の信号は、ブロードキャストスタジオ３で一次信号４に変換される。ブロードキャストスタジオ３は、同期サーバ５に接続される。同期サーバ５は、データベースサーバ９に結合され、データベースサーバ９は、ＤＢ特徴シーケンスと関連する同期情報を含むデータベースを有する。ＰＳ再生デバイス６／１は、一次信号を受信し、再生するために同期サーバ５に接続される。この場合も複数のＰＳ再生デバイス６／１を設けることができる。

第２の例示実施形態は、第１の例示実施形態と異なり、追加情報のための独立したソースが提供される。例えば、このソースは、追加情報データベースサーバ１５である。複数の歌のコンサートがステージ１で行われる場合、対応する歌詞を、追加情報データベースサーバ１５に提供することは、利点がある。しかし、追加情報データベースサーバ１５は、またオーディオトラックとして、対応する歌詞の外国語翻訳を含むこともできる。子供たちの子守唄「フレア・ジャック」など、多くの言語で知られる歌がある。望ましくは、追加情報データベースサーバ１５に記憶された追加情報は、すでに、対応する同期情報が提供される。歌の場合、これは、開示時間であり得、歌の間の他のタイムマーカであり得る。追加の情報データベースサーバ１５は、ウェブサーバ８に接続される。追加情報は、インターネット１８を介してウェブサーバ８から、検索することができる。追加信号を再生するためのＡＳ再生デバイス６／２はインターネット１４に接続される。

同期サーバ５は、またインターネット１４への接続を有するので、同期サーバ５で生成された同期情報は、インターネット１４を介してＡＳ再生デバイス６／２に供給することができる。次に、同期サーバ５において、同期クロック１１が供給され、それぞれ、ＰＳ再生デバイスの再生デバイスクロック１３／１、およびＡＳ再生デバイス６／２の再生デバイスクロック１３／２と同期される。第２の例示実施形態において、同期サーバ５の同期クロック１１は、メインクロックであるのに対して、第１の例示実施形態では、再生デバイス１３は、他のすべてのクロックが同期されるメインクロックである。

同期サーバ５上で、一次信号から信号特徴シーケンスを抽出し、データベースサーバ９の対応するＤＢ特徴シーケンスと比較することにより、同期情報が生成される。同期情報の生成は、必須的に第１の例示実施形態のそれに対応する。さらに、一次信号を、同期サーバ５からＰＳ再生デバイス６／１に送信するための送信時間は、既知であるので、一次信号の特定のセグメントが、同期サーバ５を介して転送される時間が分かれば、このセグメントが、ＰＳ再生デバイス６／１に出力される時間も分かる。それゆえ、同期サーバ５からＡＳ再生デバイス６／２に送信される同期情報は、それぞれ検出された信号特徴シーケンスに対する一次信号の時間を記載する時間情報と、一次信号のコンテンツを記載する識別マーカを含む。この例示実施形態において、識別マーカは、どの歌が一次信号で再生されたかを示す。識別マーカは、歌の詩、行、または歌詞の抜粋などの追加情報も、オプションで含めることができる。

これらの歌詞の抜粋は、望ましくは、信号特徴シーケンスの１つが検出された時点からの、歌詞の抜粋である。時間情報は、望ましくは、同期サーバ５上の対応する信号特徴シーケンスが抽出された時間の表示を含む。この同期情報に基づいて、ＡＳ再生デバイス６／２は、いつ各歌がＰＳ再生デバイス６／１上に出力されたかを知る。対応して、ＡＳ再生デバイスは、追加情報データベースサーバ１５から受信されるか、またはウェブサーバ８から受信され、すでに前もって同期情報が提供されている追加信号を、ＰＳ再生デバイス６／１上の一次信号の出力に同期して、ＡＳ再生デバイス６／２上に出力することができる。

オプションとして、追加情報データベースサーバ１５とウェブサーバ８との間で、追加信号同期サーバ７を設けることができ、このサーバは、第１の例示実施形態のものと同様に具現化される。追加情報が、例えば、ＡＳＣＩＩで符号化された歌詞の形態である場合、追加情報は、何らのオーディオ信号を含まない。しかし、音声合成から分かるように、歌詞に含まれる言葉からオーディオ信号のような特徴シーケンスを生成することができる。これらの特徴シーケンスは、次に他のデータベースサーバ１６に記憶されたＤＢ特徴シーケンスと、比較される。

これは、また、歌の歌詞セグメントを、データベースサーバ１６に記憶された対応する歌詞セグメントと、直接比較することを可能にする。この場合、歌詞セグメントの個々の文字は、対応する特徴を構成する。データベースサーバ１６上に記憶された特徴シーケンスはそれぞれ、追加情報または追加信号に追加することができる、割当てられた同期情報である。あるいは、口頭または歌われたテキストは、音声認識によってテキスト形式に変換することもできる。その場合、特徴は、データベースに同様に記憶されたテキストおよび/または文字シーケンスである。ＡＳ再生デバイス６／２上では、ＰＳ再生デバイス６／１上に出力される、ステージ１で行われているコンサートのビデオおよびオーディオ再生に同期した、対応する歌詞を表示することが可能である。第３の例示実施形態（図３）は、第２の例示実施形態に対応し、同期サーバ５が、ブロードキャストステーション３と一次信号を再生するためのＰＳ再生デバイス６／１との間の接続に無関係に、具現化されるという点において異なる。

さらに、ＡＳ再生デバイス６／２は、ＰＳ再生デバイス６／１により出力された一次信号の少なくとも一部を検出するためのセンサ１７を有する。このセンサ１７は、一次信号４のオーディオ信号を検出するためのマイクロフォンであり得るか、または一次信号４のビデオ出力を撮像するためのカメラであり得る。ＡＳ再生デバイス６／２は、一次信号４の信号特徴シーケンスを抽出するためのモジュールで具現化される。これらの信号特徴シーケンスは、センサ１７により検出された一次信号から抽出される。抽出時間は、ＡＳ再生デバイスクロック１３/２により測定することができる。抽出のプロセス自体は、上で説明したように時間変動の影響を受けるので、抽出時間を決定するために信号時間情報を使用することは利点があり得る。この実施形態において、一次信号に本質的に含まれる信号時間情報の代わりに、センサ１７（マイクロフォン）を用いた記録中に追加され、信号の記録時間を記載する信号時間情報を使用することが可能である。

そのような信号時間情報は、抽出プロセスの時間変動に無関係であり、抽出された信号特徴シーケンスの一意的な相対時間のポジショニングを可能にする。信号特徴シーケンスは、第１及び第２の例示実施形態同様、同期サーバ５に送信され、データベースサーバ９からのＤＢ特徴シーケンスに基づいて解析され、識別される。同期サーバ５上では、次に同期情報が生成される。第３の例示的な実施形態の同期情報は、ＡＳ再生デバイスのクロック１３／２の時間のみが重要であるという点で、前の例示的な実施形態の同期情報とは異なる。同期情報は、インターネット１４を介して同期サーバからＡＳ再生デバイス６／２へ送信される。そこで、追加信号１０が、先行する例示実施形態のように同期情報に基づいて一次信号４に同期される。

しかしながら、この場合、同期は、ＡＳ再生デバイスクロック１３／２で測定された再生時間のみに基づいて行われる。ＡＳ再生デバイス６／２、ＰＳ再生デバイス６／１または同期サーバ５との間の異なる時間を同期させる必要はない。あるいは、信号特徴シーケンスの代わりに、追加信号として出力される音楽断片（snippets）などの短い信号シーケンスを、同期サーバ５に送信することも可能である。この場合、サーバは、信号シーケンスの信号特徴シーケンスを識別し、データベースサーバ９からのＤＢ特徴シーケンスに基づいてそれらを解析し、識別する。ルールとして、信号シーケンスは、６０秒より長くなく、特に、３０秒より長くなく、または１５秒より長くない。第３の例示実施形態は、また、信号特徴シーケンスを抽出するためのモジュールが、ＡＳ再生デバイス６／２の代わりに、同期サーバに提供されるように変更することができる。

第３の例示的な実施形態は、追加信号を、別個のＡＳ再生デバイス６／２に出力するための、非常に洗練された解決策である。この第３の例示実施形態において、追加信号は、一次信号に同期することができる。送信時間は、所定の範囲内で、例えば、ブロードキャストステーション３とＰＳ再生デバイス６／１との間で、自由に変更することができる。第４の例示実施形態（図４）は、必須的に第３の例示実施形態に対応し、同期サーバ５が、センサ１７を有する点が、第３の例示実施形態と異なる。同期サーバ５は、ローカルコンピューティングユニット、例えば、コンピュータ、ミニコンピューターまたはゲームコンソール上にさえ、インプリメントされる。先行する例示実施形態のように、センサ１７は、一次信号４のオーディオ信号を検出するためのマイクロフォンか、あるいは、一次信号４のビデオ出力を撮像するためのカメラであり得る。同期サーバ５は、一次信号４の信号特徴シーケンスを抽出するためのモジュールで具現化される。

これらの信号特徴シーケンスは、センサ１７により検出された一次信号から抽出される。抽出時間は、同期クロック１1により測定される。第１、第２および第３例示実施形態のように、信号特徴シーケンスは、データベースサーバ９からのＤＢ特徴シーケンスに基づいて、同期サーバ５上で解析され識別される。同期サーバ５上では、同期情報が次に生成される。同期情報の場合、同期クロック１１の時間のみが重要である。同期情報は、イントラネット１４またはブルートゥース（登録商標）のような、他のデータ接続を介して同期サーバ５からＡＳ再生デバイス６／２に送信される。そこでは、先行する例示実施形態のように、追加信号１０は、同期情報に基づいて一次信号４に同期される。この場合に、同期クロック１１の時間は、ＡＳ再生デバイス１３／２に同期される。

第４の例示実施形態と先行する例示実施形態との主な違いは、同期サーバ５がインターネットを介して制御されるのではなく、代りに、ローカルにユーザに提供されるという点にある。これは、例え、インターネットがダウンしても、インターネットに依存しないため、同期が常に行われるという利点を有する。しかしながら、データベースサーバ９は、インターネットを介して制御することができ、あるいは、同期サーバ５と同じコンピューティングユニット内に同様に提供される。

上で説明した、第３または第４の例示実施形態において、同期サーバ５、データベースサーバ９、およびＡＳ再生デバイス６／２は、コンピュータ（デスクトップ、ラップトップ等）のような単一デバイス上に、またはモバイルフォン上に具現化することができる。しかしながら、基本的には、同期サーバ５は、また再生デバイス６／２とは別個のハードウェアに設けることもできる。同期サーバ５は、インターネットを介して再生デバイス６／２に接続することができる。同期サーバ５と再生デバイスとの間で交換されるデータ量は、小さい。

上で説明した例示実施形態はすべて、同期情報が、一次信号から抽出された１つまたは複数の信号特徴シーケンスに基づいて生成されるという事実を共有する。これは、開始時間のような特定の時間が前もってわかっていない、一次信号に追加信号を（臨機応変に）同期させることを可能にする。当然ながら、この方法は、従前に決定された時間が、それぞれの信号で示され、動作のために使用することができる場合にも、使用することができる。この同期情報に基づいて、一次信号に対する追加信号の同期は、さまざまな方法で実行することができる。いくつかの例が上で説明されている。

しかしながら、この発明のコンテキストにおいて、それぞれの使用に合わせて対応して適合し、変更することができる、無数の可能な変更がある。この発明の他の態様は、利用可能な帯域幅だけでなく、利用可能なバッファ時間に基づいて、追加信号ストリーミングの品質を調整することである。この場合、追加信号再生デバイス６／２は、同期情報を受信し、どの追加信号が利用できるかについての問い合わせを、追加情報データベースサーバ１４に送信する。

対応する追加信号１０が見つかった場合、バッファ時間もわかる。これに関連したバッファ時間は、一次信号と同期するように再生される前に、追加信号に利用可能な残り時間を表す。この問合せは、ネットワークの利用可能な帯域幅を、大まかにチェックすることも可能である。帯域幅とバッファ時間に応じて、他の符号化ステップが自動的に選択される。バッファ時間の期間に、追加信号が符号化され、追加信号サーバから再生デバイスに送信され、次に再び復号される。符号化ステップに応じて、送信されるファイルまたはファイルの一部は、長さが異なり、送信に必要な時間量も異なる。

それゆえ、バッファ時間から最適使用時間が形成され、追加信号の品質をできるだけ高品質にするように、符号化時間と送信時間との間でバランスをとる必要がある。この方法は、また、１つまたは複数のサーバが異なる品質で、または異なる符号化ステップで信号を符号化し、同時に検索、および、信号を再生する再生デバイスに利用可能にし、適切な量、または符号化ステップで信号を選択し、再検索するように実行することもできる。バッファ時間が非常に短い場合、例えば、ライブブロードキャストの場合、送信される追加信号のチャンクの長さが、出来るだけ短くなるように選択する場合に利点がある。

信号は、複数のチャンクに分割して送信することができる。最初にチャンクを生成する必要がある。チャンクが短ければ短いほど、それらは個別に送信されるため、チャンクの処理は複雑になる。しかし、チャンクを検索するとき、少なくともそれぞれのチャンクの長さだけ待つ必要がある。このため、チャンクが短ければ短いほど、必要とされるリアクションは迅速になる。このコンテキストにおいて、チャンクの長さは、単一フレームに対応するまで、短くすることができる。毎秒２５フレームの場合、これは４０ｍｓに相当する。それゆえ、非情に高速な送信が可能になる。ｈ２６５コーデックのようなあるコーデックを用いると、「ゼロ待ち時間」の設定が可能になる。

これは、符号化して、次に再び複合するのに必要な時間が非常に短く、例えば、１秒未満であることを意味する。ある量の待ち時間は避けられない。しかし、「ゼロ待ち時間」設定の場合、対応するコーデック方法は、いかなる追加の待ち時間も生じない。従って、バッファ時間は、信号の実際の送信のためにほぼ排他的に必要であり、それは、また、対応するより高い帯域幅で著しく削減することができる。例えば、ライブコンサートでは、主催者は、スマートフォンを有する参加者に、ウェブサーバを介してカメラビューを提供し、対応するＷＬＡＮインフラストラクチャも供給されるので、ビデオ信号は、ほとんど遅延なく送信することができる。この態様の場合、追加信号の符号化および／または追加信号再生デバイス６／２への追加信号の送信のための送信経路は、決定された同期情報の関数として自動的に選択することができる。

追加信号を送信するのに多くの時間が残されていないことを示す表示を、同期情報が含む場合、対応する圧縮符号化を介して、追加信号のデータ量を縮減し、迅速な送信経路を選択することは、利点がある。符号化も、非常に迅速に行う必要がある。データ量の著しい縮減と迅速な圧縮は、しばしば追加信号の品質にマイナスの影響を及ぼす。しかし、より多くの時間が利用可能である場合、より面倒な符号化および／または低圧縮率を使用することができ、追加信号の、より高品質を達成することができる。上で説明したすべての例示実施形態において、データベースサーバ９には、ＤＢ特徴シーケンスと同期情報を含む、従前に準備されたデータベースが提供される。

この発明のコンテキストにおいて、データベースはまた、動作中にデータベースサーバ９上に作ることも可能である（ライブデータベース）。これは、主として、追加信号を同期して出力する必要がある一次信号があり、その一次信号が従前に知られていない場合に利点がある。そのような場合、特徴シーケンスが一次信号から抽出され、それぞれ抽出に利用可能な時間が測定される。これらの抽出された特徴シーケンスは、抽出時間と一緒にデータベースに記憶される。抽出時間の代わりに、または抽出時間に加えて、一次信号に含まれる時間情報を抽出して、特徴シーケンスと一緒にデータベースサーバ９に記憶することも可能である。この場合の時間情報は、同期情報のすべてまたは一部を構成する。システム動作中に、このようにして生成されたデータベースは、異なる信号がすでに前もって特徴シーケンスに記憶されている他のデータベースに、同期させることができる。

このデータベースは、これらの特徴シーケンスおよび／またはこの信号のコンテンツ、時間、および意味を記載するメタ情報を含むこともできる。多種多様のメディアストリームを、特徴シーケンスとして、このデータベースに記憶することができる。この追加のデータベースとの比較により、「オンライン」または「臨機応変（on the fly）」で生成されたデータベースの機能シーケンスに、メタ情報、特に意味論的情報または意味を割り当てることができる。データベースサーバ９上での、そのようなデータベースの生成は、上で説明したすべての例示実施形態で可能である。また、ユーザは、サイト上のそのようなライブデータベースを、自分のユーザデバイス（コンピュータ、モバイルフォン等）にローカルに生成することもできる。
参照符号リスト
１ ステージ
２ カメラ
３ ブロードキャストスタジオ
４ 一次信号
５ 同期サーバ
６ 再生デバイス
７ 追加信号同期サーバ
８ ウェブサーバ
９ データベースサーバ
１０ 追加信号
１１ 同期クロック
１２ 追加信号同期クロック
１３ 再生デバイスクロック
１４ 追加情報データベースサーバ
１６ データベースサーバ
１７ センサ
１８ インターネット

Claims (17)

1. ブロードキャスト方式により複数の再生デバイスに送信される追加信号を一次信号に同期させるための方法であって、
   前記一次信号が送信ステーションから１つの再生デバイスに送信されている間に、前記一次信号からデータベースのためのＤＢ特徴シーケンスを生成するステップと、
   前記一次信号の少なくとも１つの信号特徴シーケンスが抽出され、前記データベースに記憶されたＤＢ特徴シーケンスと比較されることにより、同期サーバにおいて前記一次信号に関する同期情報を生成するステップであって、前記信号特徴シーケンスと前記ＤＢ特徴シーケンスの両方が、周波数空間内の特徴を備える、ステップと、
   前記信号特徴シーケンスが、前記ＤＢ特徴シーケンスの１つと所定の割合で一致する場合、前記一致するＤＢ特徴シーケンスの同期情報が、前記信号特徴シーケンスによって事前に定義された位置で、前記一次信号に割り当てられるステップと、
   ここで、前記一次信号のサウンドトラックは、高速フーリエ変換によってセクションごとに前記周波数空間に変換され、前記周波数空間に変換される前記サウンドトラックの前記セクションは、５０ミリ秒より長くなく、前記特徴は、特定のしきい値を超える周波数ピークであり、
   前記同期情報を前記複数の再生デバイスの１つに送信するステップであって、前記１つの再生デバイスは前記同期情報に基づいて前記一次信号に同期して追加信号を配信する、ステップと、
   を備えた方法。
2. 前記ＤＢ特徴シーケンスに一致する、前記一次信号内の前記信号特徴シーケンスの時間が決定され、この時間が、前記同期情報を生成するための抽出時間として使用される、請求項１に記載の方法。
3. 前記ＤＢ特徴シーケンスは、前記同期情報を生成するのに使用される前記ＤＢ特徴シーケンスに関連する特定のＤＢ時間を定義する、割当てられた時間情報である、請求項１に記載の方法。
4. 前記追加信号の信号特徴シーケンスを抽出し、それをデータベースに記憶されたＤＢ特徴シーケンスと比較することにより同期情報が、前記追加信号に割り当てられ、
   前記信号特徴シーケンスが、前記ＤＢ特徴シーケンスの１つと所定の度合いで一致する場合、同期情報は、前記信号特徴シーケンスにより指定された位置で、前記追加信号に割り当てられるか、あるいは、同期情報が、手動で前記追加信号に割り当てられるか、あるいは、同期情報がすでに前もって割り当てられている追加信号が、使用される、請求項１乃至３のいずれか一項に記載の方法。
5. 前記同期情報は、
   検出された信号特徴シーケンスに関連した、一次および／または追加信号の時間を記載する時間情報と、
   前記一次および／または追加信号のコンテンツを記載する、１つまたは複数の識別マーカと、
   前記一次および／または追加信号の特定の時間を記載するタイムスタンプと、
   一次および／または追加信号を、送信経路の特定ポイントから、前記再生デバイス上の前記一次および／または追加信号の実際の出力へ中継するのに必要なタイムインターバルを記載する時間オフセットと、の１つまたは複数を備える、請求項１乃至４のいずれか一項に記載の方法。
6. 前記同期情報は、再生デバイスとは、独立に具現化された同期サーバにおいて生成される、請求項１乃至５のいずれか一項に記載の方法。
7. 前記再生デバイスにおいて、前記追加信号は、前記一次信号と同期され、
   前記一次信号と前記追加信号は、前記再生デバイスに出力され、各々が、前記再生デバイスが、前記追加信号を前記一次信号に同期して割り当てる１つまたは複数のタイムマーカを、同期情報として含むか、あるいは、
   クロックにより前記再生デバイスで測定された再生時間に基づいており、その再生時間に、前記追加信号が、前記一次信号に同期して出力されるように、前記同期情報により、前記追加信号が割り当てられる、請求項１乃至６のいずれか一項に記載の方法。
8. いくつかの信号特徴シーケンスが対応するＤＢ特徴シーケンスに所定の度合いで一致する場合、これらの信号特徴シーケンスは、所定のルールに従って評価され、最も良い評価を有する前記信号特徴シーケンスが、前記信号特徴シーケンスにより指定された位置で、前記同期情報を前記一次信号に割り当てるために選択される、請求項１乃至７のいずれか一項に記載の方法。
9. 前記所定のルールは、
   特徴シーケンスの前記一致する特徴の数が多ければ多いほど、前記評価が良いというルールと、
   前記特徴シーケンスに含まれる前記特徴の数に関連して、前記特徴シーケンスの一致する特徴の数が多ければ多いほど、前記評価が良いというルールと、
   前記個々の特徴の前記一致の分類が行われ、一致する特徴間の距離が短いほど、前記対応する一致に割り当てられる分類が良くなり、この分類は、特徴シーケンスの前記一致の、全体的な前記評価で考慮されるというルール、
   の１つまたは複数を含む、請求項８に記載の方法。
10. サーバから再生デバイスへの送信経路を較正する、および／またはメディア信号を前記再生デバイスへ出力するための、再生デバイス内の待ち時間を較正するために、対応するセンサにより同時に受信される基準信号が出力され、
    前記出力された基準信号と、前記受信された基準信号は互いに比較されて、基準信号を中継するために、および／または前記再生デバイスに実際に出力するために、必要なタイムインターバルを決定し、このタイムインターバルをタイムオフセットとして用いて、信号が前記再生デバイスに出力される出力時間を決定する、請求項１乃至９のいずれか一項に記載の方法。
11. 前記基準信号はオーディオ信号を含み、前記センサは、マイクロフォンであり、および／または前記基準信号は、ビデオ信号を含み、前記センサは、カメラである、請求項１０に記載の方法。
12. 前記タイムインターバルは、前記基準信号の送信時間と受信時間を決定することにより決定され、
    前記タイムインターバルは、これら２つの時間の時間差から派生され、前記２つの時間の少なくとも１つの測定は、抽出された基準信号特徴シーケンスを、１つまたは複数の従前に記憶された基準信号特徴シーケンスと比較することにより実行される、請求項１０または１１に記載の方法。
13. 追加信号が、再生デバイスとは独立して具現化される同期サーバから、前記再生デバイスへ送信され、前記同期サーバにおいて同期情報が生成され、
    前記同期情報は、供給されたクロックを用いて前記同期サーバにおいて測定された前記同期サーバのサーバ時間に関連し、
    前記再生デバイスにおいて、前記サーバ時間と少なくとも一度同期される、再生デバイスクロックが、再生時間を測定するために供給され、前記サーバ時間に関連する前記再生時間の時間ドリフトが測定され、この時間ドリフトを、前記一次信号を前記追加信号に同期させる際に考慮する、請求項１乃至１２のいずれか一項に記載の方法。
14. 前記時間ドリフトは、前記再生デバイスへの前記サーバ時間の時間信号の複数回の送信により決定されるか、または前記同期サーバへの前記再生時間の複数回の送信と、前記送信された時間信号をローカルに存在する時間信号と比較し、それぞれの時間差を計算することにより決定され、
    前記時間ドリフトは、前記時間差の偏差に基づいて決定される、請求項１３に記載の方法。
15. 前記同期情報に基づいて、所定のサーバから再生デバイスへ前記追加信号を送信するために、どれだけの時間が利用できるかの決定がなされ、この時間に基づいて、いくつかの符号化方法の内のいずれか１つが、選択されるか、または自動的に調整され、および／または１つまたは複数の送信経路が選択される、請求項１乃至１４のいずれか一項に記載の方法。
16. 第１のステップにおいて、利用可能な追加信号のタイムスタンプが再生デバイスへ送信され、これにより、利用可能なバッファ時間が計算され、第２のステップにおいて、前記追加信号は、追加信号サーバから再生デバイスへ送信され、
    前記追加信号の品質は、前記バッファ時間と利用可能ビットレートに依存する、請求項１乃至１５のいずれか一項に記載の方法。
17. 前記追加信号は、最大でも、約４００ｍｓに相当する１０フレームの時間長を有するチャンクで、前記追加信号サーバから前記再生デバイスへ送信され、前記再生デバイスにおいて、前記追加信号が、ローカルウェブサーバにより受信される、請求項１６に記載の方法。

Images