JP5795580B2 - タイムベースメディアにおけるソーシャルインタレストの推定および表示 - Google Patents

Description

優先権情報
本出願は、参照により本明細書に組み込まれている、２００９年７月１６日に出願した米国仮特許出願第６１／２２６，００２号明細書、名称「Ｍｅｔｈｏｄ ｏｆ Ｅｓｔｉｍａｔｉｎｇ Ｓｏｃｉａｌ Ｉｎｔｅｒｅｓｔ ｉｎ Ａｍｅｒｉｃａｎ Ｆｏｏｔｂａｌｌ」の優先権を米国特許法第１１９条（ｅ）の下に主張する。

本発明は、一般には、メディアイベントにおけるインタレストを推定するためにソーシャルメディアを使用することに関し、詳細には、タイムベースメディア（ｔｉｍｅ‐ｂａｓｅｄ ｍｅｄｉａ）におけるソーシャルインタレストを推定するためにソーシャルメディアのコンテンツアイテム、およびその中のメディアイベントの参照を推定することに関する。

ソーシャルネットワーキングサイト、検索エンジン、ニュースアグリゲータ、ブログなど、オンラインソーシャルメディアサービスは、関心のあるイベントについてユーザがコメントし、他のユーザとコミュニケーションするための豊かな環境を提供している。これらのソーシャルメディアサービスのユーザによって投稿されるコンテンツアイテムは、テレビ番組、ニュース報道、スポーツイベント、映画、演奏会など、タイムベースメディアにおいて発生するイベントの参照を備えることが多い。しかし、コンテンツアイテムがタイムベースメディアを参照しているにも拘らず、ソーシャルメディアのコンテンツアイテム自体は通常、イベント、およびそれらのイベントが発生するタイムベースメディアから分離されている。

Ｈａｕｐｔｍａｎｎ，Ａ．およびＷｉｔｂｒｏｃｋ，Ｍ．，Ｓｔｏｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｃｏｍｍｅｒｃｉａｌｓ ｉｎ Ｂｒｏａｄｃａｓｔ Ｎｅｗｓ Ｖｉｄｅｏ，ＡＤＬ−９８ Ａｄｖａｎｃｅｓ ｉｎ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｉｅｓ Ｃｏｎｆｅｒｅｎｃｅ，Ｓａｎｔａ Ｂａｒｂａｒａ，ＣＡ（１９９８年４月） Ｆｌｅｉｓｃｈｍａｎ，Ｍ．およびＲｏｙ，Ｄ．，Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｉｎｄｅｘｉｎｇ ｏｆ Ｓｐｏｒｔｓ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ，９ｔｈ ＡＣＭ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ（ＭＩＲ），Ａｕｇｓｂｕｒｇ，Ｇｅｒｍａｎｙ（２００７年９月） Ｔａｒｄｉｎｉら，Ｓｈｏｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｍｏｔｉｏｎ Ａｎａｌｙｓｉｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ ＭＰＥＧ−７ Ａｎｎｏｔａｔｉｏｎ ｏｆ Ｓｐｏｒｔｓ Ｖｉｄｅｏｓ，１３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ（２００５年１１月） Ａ．Ｊａｃｏｂｓら，Ａｕｔｏｍａｔｉｃ ｓｈｏｔ ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ ｃｏｍｂｉｎｉｎｇ ｃｏｌｏｒ，ｅｄｇｅ，ａｎｄ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ ｏｆ ａｄｊａｃｅｎｔ ｆｒａｍｅｓ，Ｃｅｎｔｅｒ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｂｒｅｍｅｎ，Ｇｅｒｍａｎｙ（２００４年） Ｗｉｔｔｅｎ，Ｉ．およびＦｒａｎｋ，Ｅ．，Ｄａｔａ Ｍｉｎｉｎｇ：Ｐｒａｃｔｉｃａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏｏｌｓ ａｎｄ ｔｅｃｈｎｉｑｕｅｓ（２版），Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ（２００５年６月） Ｂｏｕｔｈｅｍｙ，Ｐ．ら，Ａ ｕｎｉｆｉｅｄ ａｐｐｒｏａｃｈ ｔｏ ｓｈｏｔ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃａｍｅｒａ ｍｏｔｉｏｎ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ，ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，９（７）（１９９９年１０月） Ｆｌｅｉｓｃｈｍａｎ，Ｍ．およびＲｏｙ，Ｄ．，Ｇｒｏｕｎｄｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｓｐｏｒｔｓ Ｖｉｄｅｏ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ（ＡＣＬ），Ｃｏｌｕｍｂｕｓ，ＯＨ，１２１〜１２９頁（２００８年６月） Ｂ．ＰａｎｇおよびＬ．Ｌｅｅ，Ｏｐｉｎｉｏｎ Ｍｉｎｉｎｇ ａｎｄ Ｓｅｎｔｉｍｅｎｔ Ａｎａｌｙｓｉｓ，Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ ２（１−２），１〜１３５頁（２００８年）

ソーシャルメディアのコンテンツアイテム、およびその中で発生するイベントの参照は、それらが述べているタイムベースメディアイベントに調整される。これらのマッピングは、タイムベースメディアの検索結果のランキング、タイムベースメディアに関する自動推奨、メディア購入／計画への聴衆のインタレストの予測、およびタイムベースメディアにおけるソーシャルインタレストの推定など、複数の応用例のベースとして使用することができる。タイムベースメディア（例えばビデオストリームおよびオーディオストリーム、ならびに記録）セグメントにおけるソーシャルインタレストは、データ取込み（ｉｎｇｅｓｔｉｏｎ）および統合のプロセスによって推定される。推定プロセスは、スポーツイベントにおける特定のプレー、テレビ番組中のシーン、または教育ビデオ内のステップなど、タイムベースメディアの特定のセグメントにおけるソーシャルインタレストを決定する。所与のイベントにおけるソーシャルインタレストは、コンテンツアイテムが所与のイベントを参照する可能性を示す信頼性スコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）でソーシャルメディアのコンテンツアイテムを集計することによって決定される。

タイムベースメディアをセグメント化することによってそのイベントが識別された可能性があるタイムベースメディアにおいて発生するイベントについては、ソーシャルメディアのコンテンツアイテムが、イベントに潜在的に関連するコンテンツアイテムとして識別される。コンテンツアイテムがタイムベースメディアイベントに関連する確率は、各ソーシャルメディアのコンテンツアイテムごとに決定され、確率を反映する信頼性スコアが、コンテンツアイテムに割り当てられる。より高い確率を有するコンテンツアイテムは、イベントで調整され、集計され、格納される。集計されたコンテンツアイテムは、タイムベースメディアイベントの総スコアに関連付けられ、ただし、総スコアは、タイムベースメディアイベントのソーシャルインタレストレベルの推定値である。推定されたソーシャルインタレストレベルも、グラフィカルに表示することができる。この要約および以下の詳細な説明に述べられた特徴および利点は、包括的ではない。図面、明細書、およびその特許請求の範囲を考慮して、複数の追加の特徴および利点が当業者には明らかになろう。

ソーシャルメディアのコンテンツアイテムをタイムベースメディアイベントに関連付け、関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定するためのシステムの一実施形態のコンピューティング環境を示す図である。 ソーシャルインタレスト情報のプロバイダの一実施形態のブロック図である。 一実施形態による、ハイレベルのビデオ／メタデータアライメント／注釈プロセスおよびソーシャルメディア／イベントアライメントプロセスを示す概念図である。 ソーシャルメディアのコンテンツアイテムをタイムベースメディアイベントに関連付けるための方法の一実施形態、および関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定するための関連した方法を示すフローチャートである。 ビデオイベントのセグメント化プロセスの一実施形態を示すフローチャートである。 メタデータアライメント／注釈プロセスの一実施形態を示すフローチャートである。 ソーシャルメディア／イベントアライメントプロセスの一実施形態を示すフローチャートである。 ソーシャルインタレスト推定プロセスの一実施形態を示すフローチャートである。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップの一実施形態を示す図である。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップの一実施形態を示す図である。 ソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 ソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 ソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 感情ビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 感情ビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 フィルタリングされたビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 フィルタリングされたビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 フィルタリングされたビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 フォーカスされた未展開ビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 フォーカスされた展開ビューを示すソーシャルインタレスト推定システムのユーザインターフェースの一実施形態を示す図である。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップを表示するユーザインターフェースの別の実施形態を示す図である。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップを表示するユーザインターフェースの別の実施形態を示す図である。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップを表示するユーザインターフェースの別の実施形態を示す図である。 タイムベースメディアにおける一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップを表示するユーザインターフェースの別の実施形態を示す図である。

各図面は、本発明の様々な実施形態を例示するためだけのものである。本明細書に述べられた本発明から逸脱せずに、本明細書に示す構造および方法の代替的実施形態を用いてよいことが、以下の説明から当業者には容易に認識されよう。

図１は、ソーシャルメディアのコンテンツアイテム、およびその中のイベントの参照をタイムベースメディアイベントに関連付け、関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定するためのシステム１３０の一実施形態のコンピューティング環境１００を示す図である。

環境１００は、ソーシャルメディアソース１１０と、タイムベースメディアソース１２０と、ソーシャルインタレスト情報のプロバイダ１３０と、ネットワーク１４０と、クライアントデバイス１５０とを備える。

ソーシャルメディアソース１１０は、ソーシャルネットワーク、ブログ、ニュースメディア、フォーラム、ユーザグループなどを備える。一般にこれらのソースにより、複数のユーザが、ソースの他のユーザと連絡をとり対話することができる。ユーザは通常、メディアイベントを参照することができる様々なコンテンツアイテム（例えば投稿、ビデオ、写真、リンク、ステータス更新、ブログエントリ、ツイートなど）を投稿することができ、また議論、ゲーム、オンラインイベント、および他の参加型サービスに没頭することができる。

タイムベースメディアソース１２０は、放送局、直接のコンテンツプロバイダ、広告主、およびタイムベースメディアコンテンツの他の任意の第三者プロバイダを備える。これらのソース１２０は通常、テレビ番組、ビデオ、映画、連続番組、オーディオ録音などのコンテンツを配信する。

ソーシャルインタレスト情報のプロバイダ１３０は、ソーシャルメディアのコンテンツアイテム、およびその中のイベントの参照をタイムベースメディアイベントに関連付け、関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定するためのシステムを提供し、またそれについては、図２に関連して述べられる。

ネットワーク１４０は、有線と無線の両方の通信システムを使用して、ローカルエリアネットワークおよび／または広域ネットワーク、インターネット、または１つまたは複数のイントラネットの任意の組合せを備えることができる。

クライアントデバイス１５０は、ユーザから入力を受信することができ、ネットワーク１４０を介してデータを送受信できるコンピューティングデバイスを備える。例えば、クライアントデバイス１５０は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、携帯情報端末（ＰＤＡ）、またはコンピューティング機能性とデータ通信能力とを備える他の任意のデバイスであってよい。クライアントデバイス１５０は、ネットワーク１４０を介してソーシャルメディアソース１１０、およびソーシャルインタレスト情報のプロバイダシステム１３０と通信するように構成される。

図２は、ソーシャルインタレスト情報のプロバイダ１３０の一実施形態のブロック図である。図２に示すソーシャルインタレスト情報のプロバイダ１３０の実施形態は、ウェブサーバ２００と、関連するＡＰＩ２０２と、領域オントロジエンジン２０５と、作成者識別２１０と、クローズドキャプションエクストラクタ２１５と、イベントセグメント化エンジン２２０と、特徴抽出エンジン２２５と、メタデータアライメントエンジン２３０と、注釈エンジン２３５と、比較特徴抽出エンジン（ｃｏｍｐａｒａｔｉｖｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｅｎｇｉｎｅ）２４０と、メディアイベント／アライメントエンジン２４５と、ソーシャルインタレスト推定器２５０と、ユーザインターフェースエンジン２５５と、領域オントロジ２５７と、ソーシャルメディアのコンテンツ記憶２６０と、ソーシャルメディアの作成者記憶２６３と、使用統計記憶２６５と、クローズドキャプション記憶２６７と、マルチメディア記憶２７０と、イベントメタデータ記憶２７３と、マッピング記憶２７５と、ビデオイベント記憶２８０と、ソーシャルインタレスト記憶２８５と、注釈付きイベント記憶２９０とを備えるコンピュータシステムである。このシステムは、単一のコンピュータを使用して実装することも、クラウドベースのコンピュータ実装を備えて、コンピュータのネットワークを使用して実装することもできる。コンピュータは、１つまたは複数の高性能ＣＰＵ、１Ｇ以上のメインメモリ、ならびに５００ＧＢから２Ｔｂのコンピュータ読取り可能な不揮発性記憶装置を備えており、ＬＩＮＵＸ（登録商標）や同様の言語などによる、オペレーティングシステム上で実行されるサーバクラスのコンピュータであることが望ましい。システム１３０は、ハードウェアによって制御してもよいし、コンピュータ記憶装置にインストールされ、本明細書に述べる機能を実施するためにこうしたサーバのプロセッサによって実行されるコンピュータプログラムによって制御してもよい。システム１３０は、ネットワークインターフェースおよびプロトコルを含む、本明細書に述べる動作に必要な他のハードウェア要素、及びセキュリティシステム、データ入力用入力デバイス、並びに表示印刷または他のデータ提示を含む出力デバイスを備えるが、これら他の従来の構成要素は、本発明の詳細を不明瞭にするため図示しない。

上述したように、システム１３０は、具体的に機能性を提供するための計算論理を指す複数の「エンジン」を備える。エンジンは、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実装することができる。エンジンは、同様に「モジュール」または「サーバ」と呼ぶことがある。名前が付けられた構成要素は、本発明の一実施形態を表しており、他の実施形態は、他の構成要素を備えてよいことを理解されたい。さらに、他の実施形態は、本明細書に述べられた構成要素を欠くことがあり、かつ／または述べられた機能性を構成要素間で異なるやり方で分散させてよい。さらに、２つ以上の構成要素に帰する機能性を、単一の構成要素に組み込むことができる。本明細書に述べられたエンジンがソフトウェアとして実装される場合、エンジンは、スタンドアロンプログラムとして実装できるが、他の手段によって、例えばより大きいプログラムの一部として、複数の別個のプログラムとして、または静的または動的にリンクされた１つまたは複数のライブラリとして実装することもできる。これらのソフトウェア実装形態のいずれにおいても、エンジンは、システム１３０のコンピュータ読取り可能な不揮発性記憶媒体に格納され、メモリにロードされ、システムのコンピュータの１つまたは複数のプロセッサによって実行される。システム１３０およびその様々な構成要素の動作については、図２および以降の図を参照して以下にさらに述べる。本明細書に述べられた様々なデータ処理操作は、システム１３０などのコンピュータシステムの処理を必要とする、十分に複雑で多大な時間を要する処理であることは明らかである。

１つの手段であるウェブサーバ２００により、ネットワーク１４０を介してソーシャルインタレスト情報のプロバイダ１３０は、クライアントデバイス１５０、タイムベースメディアソース１２０、およびソーシャルメディアソース１４０にリンクする。ウェブサーバ２００は、ウェブページ、ならびにＪａｖａ（登録商標）、Ｆｌａｓｈ、ＸＭＬなど、他のウェブ関連コンテンツを供給する。ウェブサーバ２００は、ソーシャルインタレスト情報のプロバイダ１３０とクライアントデバイス１５０の間でメッセージを受信し経路設定するためのメールサーバまたは他のメッセージング機能性を備えてよい。

ＡＰＩ２０２とウェブサーバ２００とにより、１つまたは複数の外部エンティティが、ソーシャルインタレスト情報のプロバイダ１３０からの情報にアクセスすることが可能になる。ウェブサーバ２００は、ソーシャルインタレスト情報のプロバイダ１３０に外部エンティティが情報を送らせて、ＡＰＩ２０２を呼び出させることもできる。例えば、外部エンティティは、ネットワーク１４０を介してソーシャルインタレスト情報のプロバイダ１３０にＡＰＩ要求を送り、ウェブサーバ２００は、ＡＰＩ要求を受信する。ウェブサーバ２００は、ＡＰＩ要求に関連するＡＰＩ２０２を呼び出すことによって要求を処理して、適切な応答を生成し、この適切な応答を、ウェブサーバ２００はネットワーク１４０を介して外部のエンティティに通信する。ＡＰＩ２０２は、ソーシャルインタレスト情報のプロバイダ１３０が、抽出された特徴、および第三者（タイムベースメディアを提供するエンティティなど）からのソーシャルメディア／イベントアライメント３３０プロセスおよびソーシャルインタレスト推定３４０プロセスへの他の入力を受信するために使用することができるが、この抽出された特徴および他の入力は、ソーシャルインタレスト情報のプロバイダ１３０によって、それらのプロセスにおいて使用される。

アクションロガー２１５は、ソーシャルネットワーキングシステム１３０内および／または外のユーザアクションについて、ウェブサーバ２１０から通信を受信することができる。アクションロガー２１５は、アクションログ２３０に、ユーザアクションについての情報を取り込み、ソーシャルネットワーキングシステム１３０がソーシャルネットワーキングシステム１３０の内部およびソーシャルネットワーキングシステム１３０の外部のユーザによって取られた様々なアクションを追跡することを可能にする。特定のユーザが別のユーザに対して講じるどんなアクションも、アクションログ２３０、または類似のデータベースもしくは他のデータリポジトリに保持された情報によって各ユーザのプロファイルに関連付けられる。識別され格納される、ソーシャルネットワーク１３０内のユーザによって取られたアクションの例には、例えば別のユーザへの接続の追加、別のユーザへのメッセージの送信、メッセージを読むことを備え得る。

１つの手段である領域オントロジエンジン２０５は、領域オントロジ２５７に格納するための各々異なるメディアドメインに特有の語彙を示す領域オントロジを提供する。領域オントロジ２５７は、特定の領域に関連する情報を符号化し、また特定の領域では愛称、俗語、頭文字および他の短縮語が一般に使用されるので有益である。領域オントロジ２５７は、グラフとして階層的に構成することができ、このグラフでは、グラフ内の各ノードは、概念（例えば「フットボールのプレー」、「得点プレー」）を表し、各エッジは、概念の間の関係（例えば「のタイプ」）を表す。概念インスタンス（例えば特定のフットボールの試合からの特定のタッチダウンプレー）もまた、領域オントロジ、ならびに概念ノードを表す代替的用語を含む語彙で符号化することができる（例えば概念「タッチダウン」を表す「ＴＤ」）。領域オントロジ２５７は、人間の専門家の知識に基づいて作り出すことも、機械によって生成することもできる。領域オントロジは、ソーシャルメディアの投稿の初期フィルタリングのために、ソーシャルメディア／イベントアライメントプロセスにおいても使用される。本発明による、タイムベースメディアが使用されるソーシャルインタレスト領域の例示的なリストには、テレビ番組などの放送ビデオ、例えばスポーツ、ニュース、連続物の番組、実録／ライブイベントショー、映画、およびこれらの領域のいずれかに関連する広告が含まれる。より特定の領域、例えばフットボールの試合、娯楽ニュース、特定の実録ＴＶ番組なども可能であり、その各々が、それ自体の領域特有のオントロジを有し得る。領域オントロジエンジン２０５は、検索語に従って時間セグメントをフィルタリングする。すなわち、このグラフィック表示は、検索語に対応する一連の時系列の時間セグメントのサブセットだけを表示するように構成することができる。

１つの手段である作成者識別２１０は、例えばソーシャルメディアソース１１０によってコンテンツアイテムと共にソーシャルインタレスト情報のプロバイダ１３０に提供された各ソーシャルメディアのコンテンツアイテムの作成者または提供者を識別する。作成者に関する追加の情報は、例えばソーシャルメディアのコンテンツ記憶２６０に格納されたコンテンツアイテム自体から抽出してもよいし、他の外部ソースから抽出してもよい。作成者情報は、ソーシャルメディアの作成者記憶２６３に格納する。

１つの手段であるクローズドキャプションエクストラクタ２１５は、タイムベースメディアからクローズドキャプションデータを抽出する。クローズドキャプションデータは通常、ＳｏｕｒｃｅＦｏｒｇｅ．ｎｅｔで入手可能なＣＣＥｘｔｒａｃｔｏｒなど、オープンソースソフトウェアを使用してクローズドキャプションで符号化された放送ビデオまたは他のソースから抽出することができる。クローズドキャプションデータで符号化されないタイムベースメディアでは、完全ではないが、自動音声認識などの方法を使用して、オーディオデータを捕捉し、クローズドキャプションテキストに類似するテキストストリームに変換することができる。これは、例えば、ＳｏｕｒｃｅＦｏｒｇｅ．ｎｅｔで入手可能なＳｐｈｉｎｘ３など、オープンソースソフトウェアを使用して行うことができる。クローズドキャプションが取り込まれると、ビデオ内の音声に合わせるのが望ましい。様々な調整方法が、本技術分野において知られている。こうした１つの方法には、非特許文献１に記載されている動的プログラミングを使用して、クローズドキャプションストリーム内の単語を、ビデオのオーディオトラック上で実行された音声認識器の出力に調整するものがある。クローズドキャプション情報は、クローズドキャプション記憶２６７に格納される。

マルチメディア記憶２７０は、タイムベースメディアを様々な形で格納する。タイムベースメディアは、時間に関し実際に変化するいずれかのデータを備える。一例として、それに限定されないが、ビデオ（例えばテレビ番組またはその一部、映画またはその部分）オーディオ録音、ＭＩＤＩシーケンス、アニメーションおよびその組合せを備える。タイムベースメディアは、ローカルまたはネットワークの記憶装置など、様々なソースから取得することも、またカメラ、マイクロホンおよび生放送など、キャプチャデバイスから直接に取得することもできる。本発明の範囲内の他のタイプのタイムベースメディア（例えば３Ｄメディア、ホログラフィックプレゼンテーション、没入型メディアなど）が、将来開発されることが予想されている。

１つの手段であるイベントセグメント化エンジン２２０は、タイムベースメディアを、個別の部分または「イベント」に対応する意味論的に意味のあるセグメントにセグメント化する。様々なタイプのメディアは、ビデオイベントのセグメント化プロセスの一部と認識される様々なタイプのイベントを有してよい。例えば、テレビ番組または映画は、シーンとショットとを有することがあり、スポーツイベントは、粒度の高いイベント（例えば、プレー、パス、キャッチ、ヒット、ショット、得点、ゴールなど）、ならびに粒度の低いイベント（例えばサイド、ダウン、イニングなど）を有することができる。新しいプログラムは、物語、インタビュー、ホームラン、解説などのイベントを有してよい。ビデオイベントのセグメント化プロセスは、一実施形態による３つの主要コンポーネント、ショット境界検出とイベント検出と境界決定とを備える。イベントセグメント化のためのこれらのコンポーネントは、領域によって変化することがある。ビデオイベントのセグメント化の出力は、ビデオイベント記憶２８０に格納されるセグメント化されたビデオイベントのセットである。

１つの手段である特徴抽出エンジン２２５は、ビデオイベント記憶２８０から取り出された、セグメント化されたタイムベースメディアイベントを、イベントをメタデータで調整するための特徴ベクトル表現に変換する。特徴は、画像とオーディオプロパティとを備えてよく、領域によって変化してもよい。特徴タイプには、それだけに限らないが、ＳＩＦＴ（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅ）、ＬＥＳＨ（Ｌｏｃａｌ Ｅｎｅｒｇｙ ｂａｓｅｄ Ｓｈａｐｅ Ｈｉｓｔｏｇｒａｍ） 、カラーヒストグラムおよび（ＬＥＳＨ）、ＧＬＯＨ（ｇｒａｄｉｅｎｔ ｌｏｃａｔｉｏｎ ｏｒｉｅｎｔａｔｉｏｎ ｈｉｓｔｏｇｒａｍ）を備え得る。

１つの手段であるメタデータアライメントエンジン２３０は、ビデオイベントのセグメントを、イベントに関する意味論的に意味のある情報またはイベントに関するトピックで調整する。メタデータアライメントエンジン２３０は、イベントメタデータ記憶２７３からのメタデータインスタンスを使用する。メタデータインスタンスは、単一のイベントのメタデータ、すなわち単一のメタデータである。１つの手段である注釈エンジン２３５は、メタデータでセグメントに注釈を付ける。メタデータインスタンスは、低レベルのコンテンツ特徴、例えば画像特徴若しくはコンテンツ特徴の自動的な注釈、テキスト記述による手作業の注釈または両方の注釈を備えてよい。メタデータは、タイムベースメディアイベントのテキスト記述、および／またはイベントの例から抽出された特徴ベクトル表現として表すことができる。注釈は、注釈付きイベント記憶２９０に格納される。

１つの手段である比較特徴抽出エンジン２４０は、注釈付きイベント、および対応するソーシャルメディアのコンテンツアイテムを、特徴ベクトル表現に変換する。比較特徴抽出エンジン２４０によって抽出される３つの主要なタイプの特徴は、コンテンツ特徴、地理時間（ｇｅｏ−ｔｅｍｐｏｒａｌ）特徴およびオーソリティ特徴（ａｕｔｈｏｒｉｔｙ ｆｅａｔｕｒｅ）である。１つの手段であるメディア／イベントアライメントエンジン２４５は、抽出された特徴６２０を使用して、ソーシャルメディアのコンテンツアイテム６１０と、注釈付きイベント５３０を調整する。メディア／イベントアライメントエンジン２４５は、注釈付きイベント／ソーシャルメディアマッピング、および関連する信頼性スコアをマッピング記憶２７５に出力する。

以下は、包括的ではないが、タイムベースメディアに関連付けることができるメディアタイプのリストである。イベントまたはトピックのコメンテータまたは参加者（例えばＴＶまたはラジオのアナウンサ）のオーディオ、および（手動でまたは自動的に生成された）それを書き写したテキスト、イベント関連のメタデータ（例えばレシピ、インストラクションズ、スクリプトなど）、統計データ（例えばスポーツ統計または財務データストリーム）、ニュース記事、ソーシャルメディアのコンテンツアイテム、並びにメディア使用統計（例えば表示、巻戻し、休止などのユーザ振舞いなど）である。ソーシャルメディアのコンテンツアイテムは、ソーシャルメディアのコンテンツ記憶２６０に格納された様々なソーシャルメディア、および主流ニュースソースからの投稿、ビデオ、写真、リンク、ステータス更新、ブログエントリ、ツイートなど、ロングフォームおよびショートフォームのソーシャルメディアのコンテンツアイテムを備える。一般に、ソーシャルネットワークにより、ユーザは、ネットワーク内の他のメンバにテキストベースのコンテンツアイテムを公開することができるが、これは、そのコンテンツアイテムにより、公開され、オープンアプリケーションプログラムインターフェースによって一般の人々が視聴可能とすることができる。

通常、ソーシャルメディアのコンテンツアイテムは、２つの種類、静的なテキストベースのメディアおよび動的なテキストベースのメディアのコンテンツアイテムがある。静的なテキストベースのメディアは、インターネット上の大きいクラスの情報（例えばブログ、ニュース記事、ウェブページなど）を表す。この情報は、投稿されると最小限にしか変化せず（すなわち比較的静的であり）、全体が単語で構成される（すなわちテキストベースである）。動的なテキストベースのメディアは、作成者の状態および意見についてしばしば述べているソーシャルネットワークウェブサイトへの短く、頻繁に更新されるユーザ投稿で構成された１組の「データフィード」のうちのいずれかを指す。

一部の領域では、使用統計は、単独に取り込まれ、またはマルチメディア記憶２７０内のタイムベースメディアから生成され、使用統計記憶２６５に格納されてよい。使用統計は、マルチメディアデータがどのように消費されたかに関する情報、例えばビューの数、ビューの長さ、休止の数、休止が生じるタイムコードなどを備えてよい。統計は、ユーザタイプ、位置、使用タイプ、メディアタイプ他によってなど、様々な母集団に関して集計することができる。統計は、平均、モード、メジアン、分散、レート、速度、母集団測定などを表すことができる。

１つの手段であるソーシャルインタレスト推定器２５０は、ソーシャルインタレストスコアを使用して所与のメディアイベントにおけるソーシャルインタレストを推定するために、注釈付きイベント記憶２９０およびマッピング記憶２７５からの情報を集計する。ソーシャルインタレストスコアは、ソーシャルインタレスト推定器２５０によって、すべての（または選択された）注釈付きイベントを循環し、各イベントについて、所与のしきい値を超える各ソーシャルメディアのコンテンツアイテムの信頼性スコアの加重和を取り推定される。結果として生じるソーシャルインタレストスコアは、ソーシャルインタレスト記憶２８５に格納される。

１つの手段であるユーザインターフェースエンジン２５５は、例えば図８Ａ〜図１３Ｄに示すようなソーシャルインタレストヒートマップを描くためにユーザインターフェースに表示するフォーマットへとソーシャルインタレストを変換する。ユーザインターフェースエンジン２５５は、クライアントデバイス１５０が、ソーシャルインタレストスコアを提供するユーザインターフェースと対話することを可能にする。

ユーザインターフェースエンジン２５５は、ユーザインターフェースディスプレイに３つの主要領域、（１）一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップを表示するためのソーシャルインタレストヒートマップ領域、（２）ソーシャルインタレストヒートマップ領域と視覚的に区別され、またそれと同時に表示される、ソーシャルインタレストヒートマップから選択されたイベントを示すためのメディア表示領域、および（３）ソーシャルインタレストヒートマップおよびメディア表示領域と視覚的に区別され、またそれと同時に表示される、選択されたイベントのソーシャルメディアのコンテンツアイテムを表示するためのソーシャルメディア表示領域を提供する。

ソーシャルインタレストヒートマップ領域内で様々なイベントタイプが各々視覚的に異なり、例えば放送テレビのフットボールの試合では、試合のプレーに対応するイベントをあるやり方（例えば第１の色）で、また試合のプレー間のコマーシャルに対応するイベントを別のやり方（例えば第２の色）で示すように様々なイベントタイプを表示することができる。

さらに、ユーザインターフェースエンジン２５５は、ユーザインターフェースに追加の機能性を提供してよい。例えば、キーワードまたは検索語による時間セグメントをフィルタリングするためのユーザインターフェースフィールドであり、ソーシャルインタレストヒートマップ領域は次いで、検索語に一致する時間セグメントのサブセットだけを表示する。図１１の参照符号１１０５を参照されたい。別の例では、ユーザインターフェースは、各イベントセグメントについて集計されたコンテンツアイテム間の肯定的感情と否定的感情を別々に表示することを可能にすることができる。セグメントの第１の部分は、肯定的な感情に対応させ、セグメントの第２の部分は、否定的な感情に対応させて、両方のセグメントを、それらが視覚的に互いに区別するように表示することができる。図１０Ａの参照符号１０１０および１０１２を参照されたい。一部の実施形態では、セグメントの追加の部分は、中立のまたは不確かな感情に対応してよい。領域オントロジエンジン２０５は、ユーザインターフェースにフィルタリング側面を提供することができ、ソーシャルインタレスト推定器２５０は、感情解析を提供することができる。

ソーシャルメディアのコンテンツアイテムのタイムベースメディアへのマッピング
図３は、一実施形態による、ハイレベルでビデオ／メタデータアライメント／注釈プロセス３２０、およびソーシャルメディア／イベントアライメント３３０プロセスを示す概念図である。入力としてメタデータインスタンス３０７およびタイムベースメディア３０１内のイベントから開始して、注釈付きイベント３０９が形成される。図示されたように、タイムベースメディア（ＴＢＭ）３０１は、本明細書に述べられたように、タイムベースメディア内のイベントを備える複数のセグメント（ｓｅｇ．１〜Ｍ）３０３を備える。図５を関連してさらに述べられるように、ビデオ／メタデータアライメント／注釈３２０プロセスは、注釈付きイベント３０９を形成するために、１つまたは複数のメタデータインスタンス（１〜Ｎ）３０７をイベントで調整する。図６に関連してさらに述べられるように、ソーシャルメディア／イベントアライメント３３０プロセスは、ビデオ／メタデータアライメント／注釈３２０からの注釈付きイベント３０９を、１つまたは複数のソーシャルメディアのコンテンツアイテム（Ａ〜Ｏ）３１１にアライメントまたは「マッピング」する。両方のプロセス３２０、３３０では、様々なアライメントが１対１、複数対１、および／または複数対複数であることに留意されたい。したがって、所与のソーシャルメディアのコンテンツアイテム３１１は、複数の異なる注釈付きイベント３０９にマッピングすることができ、注釈付きイベント３０９は、複数の異なるソーシャルメディアのコンテンツアイテム３１１にマッピングすることができる。以下にさらに説明されるように、そのようにマッピングされると、コンテンツアイテムとイベントの関係は、ソーシャルインタレストを推定するために定量化することができる。

図３Ａは、ソーシャルメディアのコンテンツアイテム（およびその中のイベントの参照）をタイムベースメディアイベントで調整するための方法、および関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定する関連の方法の一実施形態を示すフローチャートである。

一般に、ソーシャルメディアのコンテンツアイテムは、タイムベースメディアイベントとのアライメントの候補であり、コンテンツアイテムがイベントに関連している確率を示す信頼性スコアが、各々について決定されている。信頼性スコアに基づいて、コンテンツアイテムは、イベントで調整されてよく、アライメントは、データ記憶内に収集される。信頼性スコアを集計して総スコアを生成し、総スコアに基づいて、イベントにおけるソーシャルインタレストレベルが確立される。

この方法の予備ステップとして、複数のデータストリームが、処理のためにソーシャルインタレスト情報のプロバイダ１３０で取り込まれる（３００）。データは、ソーシャルインタレスト情報のプロバイダ１３０で、コンテンツプロバイダから直接、またはソーシャルメディアソース１１０もしくはタイムベースメディアソース１２０を介して、例えば放送テレビフィードから、コンテンツ制作元から、かつ／または他の第三者から直接に受信してよい。一実施形態では、ウェブサーバ２００は、データを取り込む（３００）ための１つの手段である。データのタイプには、それだけに限らないが、上述された例の他、タイムベースメディア、クローズドキャプションデータ、統計、ソーシャルメディア投稿、主流ニュースメディア、および使用統計を備え得る。

取り込まれたデータは、（各々太字で示された）図３Ａの方法の１次プロセスのための入力データソースとして働く１つまたは複数のデータタイプに特有のデータ記憶内に格納される。例えば、タイムベースメディアデータは、マルチメディア記憶２７０に保存される。マルチメディア記憶２７０内のタイムベースメディアは、図３〜図７に示す方法において使用される前に追加の処理を受けることができる。例えば、クローズドキャプションデータは、例えばクローズドキャプションエクストラクタ２１５によって、タイムベースメディアから抽出されてもよいし、そのために作成されてもよい（３０５）。さらに、一部の領域では、使用統計が、単独に取り込まれ、またはマルチメディア記憶２７０内のタイムベースメディアから生成され、使用統計記憶２６５に格納されてもよい。さらに、マルチメディアに関連するイベントメタデータは、イベントメタデータ記憶２７３に格納され、本明細書に述べられたソーシャルメディアのコンテンツアイテムは、ソーシャルメディアのコンテンツ記憶２６０に格納され、ソーシャルメディアのコンテンツアイテムの作成者に関する情報は、ソーシャルメディアの作成者記憶２６３に格納され、例えば各々異なるメディアタイプに特有の語彙を示す領域オントロジが、領域オントロジ２５７に格納される。

上記を参照された取込みの結果として、マルチメディア記憶２７０は、タイムベースメディアの様々な形を備える。図２に関連して述べられたように、タイムベースメディアは、様々なタイプのメディアであってよい。

図３Ａに示すように、示された実施形態による方法に関与する３つの主要プロセス、ビデオイベントのセグメント化３１０、ビデオメタデータアライメント３２０およびソーシャルメディア／イベントアライメント／マッピング３３０がある。さらに、オプションのプロセス、ソーシャルインタレスト推定３４０が、この方法に備えてよい。これらのプロセス３１０〜３４０の各々について、以下に述べられる。

ビデオイベントのセグメント化
第１のプロセスは、ビデオ内に示す個別のイベントに対応する意味論的に意味のあるセグメントにタイムベースメディアがセグメント化されるビデオイベントのセグメント化３１０である。ビデオイベントのセグメント化３１０プロセスへの入力は、一実施形態に従ってマルチメディア記憶２７０から取り出される生のビデオ（および／またはオーディオ）ストリームであり、例えば、この機能を実施する１つの手段であるイベントセグメント化エンジン２２０によって実施されてよい。

ビデオイベントのセグメント化３１０プロセスは、ある程度まで領域に依存しており、例えば、スポーツイベントのビデオでは、イベントセグメントは個々のプレーに結び付ける（ｅｑｕａｔｅ）ことができ、放送テレビでは、イベントセグメントでは、個々のシーンおよび広告に結び付けることができる。したがって、イベントタイプおよびセグメントサイズは、領域のタイプに基づいて異なることがあり、一部のメディア、例えば非常に短いビデオクリップなどのショートフォーマットメディアでは、クリップ全体が１つのセグメントとして扱われる。システムは、ビデオがどの領域に属するかについての情報で事前に構成することができる。この構成は、ケースバイケースで手作業で実装してもよいし、（例えば放送テレビ番組の番組ガイドを使用して）ビデオソースおよび時刻に基づく事前にロードされたスケジュールに基づいて実装してもよい。

セグメント化は、人間による注釈、知られている自動化された方法によって達成することも、様々な実施形態に従って自動的なセグメント境界が人間の注釈者によって訂正されるハイブリッドの人間／自動手法によって達成することもできる。１つの自動化された方法は、非特許文献２に記載されている。

ビデオイベントのセグメント化３１０プロセスは、一実施形態による３つの主要構成要素、ショット境界検出とイベント検出と境界決定とを備える。これらの構成要素は、領域によって異なることがある。例えば、スポーツイベントについては、追加のコンポーネントは、シーン分類（例えば競技場またはスタジアムの識別）に対応してよい。

ビデオイベントのセグメント化３１０の出力は、ビデオイベント記憶２８０に格納される、１組のセグメント化されたビデオイベントである。ビデオイベントのセグメント化３１０については、図４に関連してさらに詳細に述べられる。

メタデータアライメント／注釈
次のプロセスは、ビデオイベントのセグメント化３１０からのセグメントが、セグメントが関連している、または示しているイベントに関する意味論的に有意義な情報で注釈が付けられるメタデータアライメント／注釈３２０である。メタデータアライメント／注釈３２０への入力は、ビデオイベント記憶２８０から取り出されたビデオイベント、およびイベントメタデータ記憶２７３からのメタデータである。こうしたメタデータには、それだけに限らないが、発生しているイベントのタイプ、イベントに関与するエージェント、イベントの位置、イベントの時間、イベントの結果／原因などを備え得る。

イベントセグメント化３１０と同様に、メタデータアライメント／注釈３２０プロセスは、ドメインに依存する。例えば、アメリカンフットボールでは、イベント用メタデータは、「パサー：Ｔｏｍ Ｂｒａｄｙ、結果：タッチダウン、レシーバ：Ｒａｎｄｙ Ｍｏｓｓ」などの情報を備えてよく、テレビ連続番組内のイベントのメタデータは、「エージェント：Ｊａｃｋ Ｂａｕｅｒ、場所：ホワイトハウス、時間：午後３：１５」などの情報を備えてよく、広告では、メタデータは、「ブランド：ウォルマート、シーン：父親がピエロの衣装を着ている、雰囲気：喜劇」などの情報を備えてよい。これらの例に示すように、メタデータは、対＜名前，値＞のタプルとして構造化することができる。

メタデータは、テキストを備え、特定の領域では、より低レベルの画像およびオーディオプロパティを備える。メタデータは、（例えば、イベントまたはそのサンプルを見ている注釈者による）人間による注釈を使用して生成することができ、特定の領域では（例えば、下位レベルの画像、ならびに各ショットの数および長さ、各ショットの平均色ヒストグラム、関連するオーディオの電力レベルなど、イベントのオーディオプロパティを記述する）、アライメントプロセスで使用する自動的な注釈で補うことができる。注釈は、注釈付きイベント記憶２９０に格納される。

メタデータアライメント／注釈３２０は、一実施形態による２つのステップ、イベント特徴抽出とビデオメタデータアライメントとを備える。メタデータアライメント／注釈３２０については、図５に関連してさらに詳細に述べられる。

別の実施形態では、データ取込み３００、ビデオイベントのセグメント化３１０およびビデオメタデータアライメント３２０は、コンテンツを他者に解放することを望まないコンテンツプロバイダや所有者など、別個のエンティティによって実施されてよい。この実施形態では、ソーシャルインタレスト情報のプロバイダ１３０は、別個のエンティティが生のタイムベースメディアに対してこれらのプロセスを実施することを可能にするするために、本明細書に述べられたソフトウェアモジュールおよびエンジンを備えて、ソフトウェアを別個のエンティティに提供する。別個のエンティティは、その返しとして、ソーシャルインタレスト情報のプロバイダ１３０に、抽出された特徴、およびソーシャルメディア／イベントアライメント３３０プロセスおよびソーシャルインタレスト推定３４０プロセスへの他の入力を提供することができ、次いで、この抽出された特徴および他の入力は、ソーシャルインタレスト情報のプロバイダ１３０によって、それらのプロセスで使用される。これらのデータ交換は、ソーシャルインタレスト情報のプロバイダ１３０によって提供されたＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）によって行われ、別個のエンティティ、例えばウェブサーバ２００に公開されてよい。次いで、ソーシャルインタレスト情報のプロバイダ１３０は、ソーシャルインタレスト情報を計算し、例えば図８Ａ〜図１３Ｄに示すインターフェースを使用して、データまたは表示された情報としてエンティティにそれを提供し返す。

ソーシャルメディア／イベントアライメント
次のステップは、注釈されたタイムベースメディアイベントセグメントを、イベントを参照するソーシャルメディアのコンテンツアイテムと統合することである。一実施形態によるソーシャルメディア／イベントアライメント３３０への入力は、注釈付きイベント記憶２９０から取り出された注釈付きイベント、ソーシャルメディアのコンテンツ記憶２６０から取り出されたソーシャルメディアのコンテンツアイテム、領域オントロジ２５７から取り出された領域オントロジ、および任意選択で、ソーシャルメディアの作成者記憶２６３から取り出されたソーシャルメディアのコンテンツアイテム作成者に関する作成者情報である。

しかしながら、ソーシャルメディアのコンテンツアイテムは、そもそもそれらがイベントを参照するかどうか、またそうであるならば、それらがどのイベントを参照するかに関して曖昧である場合が多い。例えば、単一の単語の投稿「タッチダウン」など、単純なソーシャルメディアのコンテンツアイテムは、フットボール試合のイベントを参照することがあり、またはそれは、フットボールに無関係な分野では、成功を表す比喩として使用することができる。こうした曖昧性に対処するために、ソーシャルメディア／イベントアライメント３３０は、所与のソーシャルメディアのコンテンツアイテムが特定のイベントを参照することの信頼性スコアを決定する。この方法は、入力として単一のソーシャルメディアのコンテンツアイテム、および単一の注釈付きイベントを取り、ソーシャルメディアのコンテンツアイテムがそのイベントに関連していることの信頼性を表すスコア（すなわち可能性、確率）を出力する。ソーシャルメディアのコンテンツアイテムは、イベントを参照することによってイベントに関連することがある。ソーシャルメディア／イベントアライメント３３０機能は、個々のソーシャルメディアのコンテンツアイテムおよび注釈付きイベントの特徴に対して動作し、教師あり学習法を使用して訓練することも、手作業で最適化することもできる。メディア／イベントアライメントエンジン２４５は、この機能を実施するための１つの手段である。

ソーシャルメディア／イベントアライメント３３０の出力は、注釈付きイベントとソーシャルメディアのコンテンツアイテム（および／またはその中のイベントの参照）との間のマッピング、および関連する信頼性スコアである。マッピングおよび信頼性スコアは、マッピング記憶２７５に格納される。ソーシャルメディア／イベントアライメント３３０プロセスについては、図６に関連してさらに述べられる。

ソーシャルメディア／イベントアライメント３３０によって出力されたマッピングは、タイムベースメディアの検索結果のランキング、タイムベースメディアに関する自動推奨、メディア購入／計画への聴衆のインタレストの予測、および以下にさらに述べられるソーシャルインタレストの推定など、複数の応用例のベースとして使用できるので、それ自体で、またそれだけで有用である。

ソーシャルインタレストの推定
ソーシャルメディア／イベントマッピングの用途のうちの１つは、様々なイベントにおけるソーシャルインタレストを推定することである。イベントにおけるソーシャルインタレストは、図３Ａに関して述べられたプロセスから収集された情報を集計することによって推定することができる。ソーシャルインタレスト推定３４０への入力は、注釈付きイベント記憶２９０から取り出された注釈付きイベント、およびマッピング記憶２７５から取り出された注釈付きイベントソーシャルメディアマッピングである。さらに、ソーシャルメディアのコンテンツ記憶２６０およびソーシャルメディアの作成者記憶２６３からの入力が、重み付けプロセスの一部として使用されてよい。ソーシャルインタレスト推定器２５０は、この機能を実施するための１つの手段である。

ソーシャルインタレスト推定３４０は、注釈付きイベントに対して、（マッピング記憶２７５内に注釈付きイベント／ソーシャルメディア６３０（図６）が存在することによって示されるように）そのイベントに関連するすべてのソーシャルメディアのコンテンツアイテムを循環し、各ソーシャルメディアのコンテンツアイテムの信頼性スコアの加重和を取ることによって達成することができる。一実施形態では、信頼性スコアの加重和は、しきい値を超えるソーシャルメディアのコンテンツアイテムについて取られる。他の実施形態では、重みがスコアに適用され、次いで和に加えられる（スコア、重み）の「スライディングスケール」を用いた関数には、しきい値が使用されない。この重み付けの効果は、より多くのソーシャルメディアのコンテンツアイテム（およびその中のイベントの参照）に関連するイベントが、より大きい推定されたソーシャルイベントに相関するということである。さらに、図７の重み関数７１０に関連してさらに述べられるように、イベントにおけるソーシャルインタレストは、ソース、作成者、および／またはそれを参照するソーシャルメディアのコンテンツアイテムの感情に依存する場合が多い。

ソーシャルインタレスト推定３４０の出力は、ソーシャルインタレスト記憶２８５に格納されるソーシャルインタレストスコアである。ソーシャルインタレスト推定３４０について、図７に関連してさらに詳細に述べられる。さらに、ソーシャルインタレスト推定３４０結果は、例えば図８Ａ〜図１３Ｄに関連して述べられたユーザインターフェースエンジン２５５を使用して、ソーシャルインタレスト情報デバイス１５０のユーザに表示されてよい。

ソーシャルインタレストスコアは、いくつか例を挙げると、データ解析論、メディアプランニング、タイムベースメディアの検索結果のランキング、タイムベースメディアに関する自動推奨、ユーザインターフェースを介した直接のエンドユーザデータナビゲーション、およびメディア購入／計画への聴衆のインタレストの予測など、複数の応用例のベースとして使用することができる。

イベントセグメント化
図４は、ビデオイベントのセグメント化プロセス３１０の一実施形態を示すフローチャートである。図３Ａで述べられたように、ビデオイベントのセグメント化３１０は、タイムベースメディアを、例えばこの機能を実施する１つの手段であるイベントセグメント化エンジン２２０によって、個別のビデオ部分または「イベント」に対応する意味論的に意味のあるセグメントにセグメント化する。

ビデオイベントのセグメント化プロセス３１０への入力は、マルチメディア記憶２７０からのビデオストリーム４０５である。ビデオイベントのセグメント化３１０は、３つの段階、ショット境界検出４１０とイベント検出４２０とイベント境界決定４３０とを備え、その各々について、以下により詳細に述べられる。ビデオイベントのセグメント化３１０の出力は、セグメント化されたビデオイベント４３５であり、このセグメント化されたビデオイベント４３５は、ビデオイベント記憶２８０に格納される。

ショット境界検出
セグメント化の第１のステップは、ビデオ内の個別のセグメント（または「ショット」）へのショット境界検出４１０である。ショット境界は、例えばカメラアングルまたはシーンの変化に関連するビデオ内の非連続の点群である。ショット境界は、隣接するビデオフレームの色ヒストグラムを比較し、その差にしきい値を適用することによって決定することができる。隣接するフレームの色ヒストグラムの差がこのしきい値を超えるときはいつでも、ショット境界が存在すると決定することができる。複数の技法が、ショット境界検出４１０の技術分野において知られている。例示的な１つのアルゴリズムは、非特許文献３に記載されている。運動特性の使用など、ショット境界検出４１０のための他の技法も使用することができる。別の知られている技法は、非特許文献４に記載されている。

イベント検出
イベント検出４２０は、例えば画像、オーディオ、および／または所与のセグメントのカメラ動作に対応する様々な特徴を使用して、（１つまたは複数の）セグメントのストリーム内にイベントが存在することを識別する。こうした特徴を使用する分類子は、手作業で最適化してもよいし、非特許文献５に記載されたＷＥＫＡ機械学習パッケージに実装された分類子など、機械学習技法を使用して訓練してもよい。イベント検出プロセス４２０の詳細は、領域によって異なることがある。

画像特徴は、ビデオ内の個々のフレームから生成された特徴である。画像特徴は、それらのピクセル値に基づく低レベルの特徴、およびより高レベルの特徴を備える。画像特徴には、それだけに限らないが、色分布、質感測定、エントロピー、運動、線の検出、顔検出、すべてのブラックフレームの存在、図形検出、アスペクト比およびショット境界を備える。

音声特徴およびオーディオ特徴は、オーディオストリームとクローズドキャプションストリームから抽出された情報を表す。オーディオ特徴は、音楽、応援、興奮したスピーチ、沈黙、音量変化の検出、クローズドキャプションの有無などに基づく。一実施形態によれば、これらの特徴は、ブースティング決定木（ｂｏｏｓｔｅｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅ）を使用して検出される。分類は、オーディオストリームから抽出された重複するフレーム（例えば３０ミリ秒の重複）のシーケンスに作用する。各フレームについて、特徴ベクトルが、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）、ならびにエネルギー、ゼロ交差の数、スペクトルエントロピー、および異なる周波数帯間の相対電力を使用して計算される。分類子を各フレームに適用し、クラスラベルのシーケンスが生成される。次いで、これらのラベルは、隠れマルコフモデルで使用されるラベルに類似した動的プログラミングコスト最小化アルゴリズムを使用して平滑化される。

オーディオ特徴に加えて、特徴は、ナレータおよび／またはアナウンサによって話された単語または語句から抽出することができる。ドメイン特有のオントロジ２５７から、単語および語句の所定のリストが選択され、こうした用語の発話について音声ストリームが監視される。リストからの特定単語が発せられた回数を各要素の値が表している、特徴ベクトル表現が作成される。特徴ベクトル内にこうした用語が存在することは、所定の単語リストに関連するイベントが生じることに相関する。例えば、語句「タッチダウン」を発することは、スポーツビデオ内のタッチダウンの発生と相関される。

画像特徴およびオーディオ特徴と異なり、カメラ動作特徴は、ビデオ内に発生するアクションについてのより正確な情報を表す。カメラは、視聴者の焦点の代わりとして働く。ビデオ内にアクションが生じるときに、カメラは、それを追うように移動し、したがって、このカメラ動作は、アクション自体を反映しており、イベント識別のための有益な特徴が提供される。ショット境界検出のように、ビデオ内のカメラの動き（すなわち、それが左から右にパンし、上下に動き、ズームインおよびアウトする量）を検出するための様々な方法がある。１つの例示的なシステムは、非特許文献６に記載されており、このシステムは、ビデオ内の連続フレームのあらゆる対に適合する２次元のアフィンモデルのパラメータを使用してカメラ動作を計算する。一実施形態によれば、１５状態１次隠れマルコフモデルが使用され、グラフィカルモデリングツールキットで実装され、次いで、Ｂｏｕｔｈｅｍｙの出力が、クラスタ化された特徴的なカメラ動作のストリームへと出力される（例えば、状態１２は、わずかに左にパンしている間、高速にズームインする動きを共に形成する。）いくつかの領域は、異なるまたは追加のイベント識別方法を使用することができる。例えば、アメリカンフットボールでは、追加の要因は、シーン分類であってよい。シーン分類では、ショット境界が検出されると、そのショットが主として特定のシーン、例えば競技場に焦点を合わせているかどうか決定するために、シーン分類子が使用される。個々のフレーム（キーフレームと呼ばれる）は、ショット境界内から選択され、キーフレームの色分布、エントロピー、運動などを表す低レベルの特徴のベクトルとして表される。ショットは、サンプリングされたフレームの過半数がそのシーンとして分類される場合に、特定のシーンのショットであると決定される。

イベント境界決定
ビデオのセグメントがイベントの発生を備えると決定されると、そのイベントの開始および終了境界を決定しなければならない（４３０）。一部の場合では、（４１０）で決定されたショット境界は、イベントの開始および終了の推定である。この推定は、ビデオのセグメントの境界をさらに精緻化するために、ビデオストリームおよびオーディオストリームの追加の特徴を活用することによっても向上させることができる。イベント境界決定４３０は、分類子を使用して実施することができ、この分類子は、手作業で最適化することも、教師あり学習技法を使用して最適化することもできる。分類子は、データの特徴ベクトル表現に適用された１組の規則に基づいて決定を行うことができる。ビデオを表すために使用された特徴は、前のプロセスで使用された特徴と重複する。イベントは、開始点および終了点（またはオフセット）を有し、それらの境界は、ブラックフレーム、ショット境界、アスペクト比変更などの有無に基づいて決定することができ、セグメント化に関連する信頼性尺度を有する。（ビデオイベントのセグメント化４１０を終了させる）イベント境界決定４３０の結果は、ビデオイベント記憶２８０に格納されるセグメント化されたビデオイベント４３５（のセット）である。

メタデータアライメント／注釈
図５は、メタデータアライメント／注釈３２０プロセスの一実施形態を示すフローチャートである。図３Ａに示すように、メタデータアライメント／注釈３２０プロセスは、ビデオイベントのセグメント化３１０からセグメントの注釈を生成し、その注釈は、イベント、またはセグメントの主題に関する意味論的に意味のある情報を備える。メタデータアライメント／注釈３２０は、２つのステップ、イベント特徴抽出３１５とビデオメタデータアライメント５２０とを備える。

ビデオ特徴抽出
メタデータで調整される所与のビデオイベントについて、第１のステップは、特徴抽出３１５によってビデオイベントを特徴ベクトル表現に変換することである。特徴抽出エンジン２２５は、この機能を実施するための１つの手段である。プロセスへの入力は、ビデオイベント記憶２８０から取り出された、セグメント化されたビデオイベント４３５である。ビデオ特徴抽出３１５からの出力は、ビデオイベント特徴表現５１０である。特徴は、ビデオイベントについて上記に論じられた画像／オーディオプロパティ（またはそのサブセット）に同一であり、イベントメタデータ記憶２７３に格納されてよく、ドメインによって異なることがある。

ビデオメタデータアライメント
ビデオメタデータアライメント５２０は、入力として、イベントの特徴ベクトル表現５１０、および単一のイベントに対応するメタデータとして上記に定義されたメタデータインスタンス５０５を取る。メタデータアライメントエンジン２３０は、この機能を実施するための１つの手段である。それは、イベントメタデータ記憶２７３内の各メタデータインスタンス５０５を循環し、アラインメント機能を使用して、イベントの特定のメタデータインスタンスによって特定のイベントが記述され得る可能性を推定する。上述されたように、メタデータインスタンスは、低レベルのコンテンツ特徴（例えば画像特徴またはオーディオ特徴）の自動注釈、手作業によるテキスト記述の注釈、または両方を備えてよい。メタデータが低レベルの特徴を備える領域では、アラインメント機能は、イベントの特徴表現５１０を、メタデータインスタンス５０５に記述された低レベルのプロパティと比較する単純コサイン類似度関数であってよい。メタデータインスタンスが低レベルの特徴の自動注釈を備えない領域では、ビデオメタデータアライメント５２０方法は、低レベルの特徴と記述テキストの間の関係を符号化するモデルを使用することができる。１つの例示的なモデルは、非特許文献７に記載されている。この方法は、ビデオから抽出された視覚的特徴およびテキスト特徴を、イベントを記述するために用いられたメタデータ用語にリンクするグラウンデッドランゲージモデル（ｇｒｏｕｎｄｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ）を使用する。この例の目的のために、グラウンデッドランゲージモデルは、イベントセグメント化に使用された視覚的特徴およびテキスト特徴に基づいて手動で推定することができ、そこから次式は、いずれかの特定のメタデータ注釈が特定のビデオイベントを記述する可能性を表す。

グラウンデッドランゲージモデルは、見つけられた各ビデオイベントが、人間によって生成された各メタデータ注釈に関連する確率を計算するために使用される。

イベントに対応するイベントメタデータ記憶２７３内のすべてのメタデータインスタンス５０５が検査されたとき、最も可能性の高いアライメント５２５（すなわち最も高い確率またはスコアを有するアライメント）がしきい値を通るならば、特徴表現５１０に関連するビデオイベントは、メタデータインスタンス５０５で注釈が付けられ、結果として生じる注釈付きイベント５３０が、注釈の信頼性を表すスコアと共に注釈付きイベント記憶２９０に格納される。イベントがしきい値を通らない場合は、イベントは、注釈されていないとマークされる。このしきい値を設定するために、プロセスからの１組の結果は、２つのカテゴリー、正確な結果と不正確な結果へと分けられ手作業で注釈が付けられる。次いで、手動で注釈が付けられた結果の組に対してシステムの精度／再現度を最大にするしきい値を見つけるために、交差確認を使用することができる。

ソーシャルメディア／イベントアライメント
図６は、ソーシャルメディア／イベントアライメント３３０プロセスの一実施形態を示すフローチャートである。ソーシャルメディア／イベントアライメント３３０は、注釈付きのタイムベースメディアイベントセグメントをソーシャルメディアのコンテンツアイテム、およびその中のイベントの参照に関連付ける（マッピングする）。

フィルタリング
初期かつ任意選択のステップとして、ソーシャルメディアフィルタリングステップ６０５が行われるが、領域オントロジ２５７は、この機能を実施するための１つの手段である。ソーシャルメディアのコンテンツアイテムは、それらが特定のイベントに関連する高い可能性を有する１組の候補コンテンツアイテムを作成するためにフィルタリングされる。コンテンツアイテムは、イベントの参照を備えることによってイベントに関連し得る。

この任意選択のステップで、ソーシャルメディアのコンテンツアイテムがビデオイベントと統合される前に、コンテンツアイテムの候補セットが、例えば特定のイベントへの少なくとも１つの参照を備えることによってそれらの投稿がイベントに関連しているという可能性に基づいて収集される。比較特徴抽出エンジン２４０は、この機能を実施するための１つの手段である。最も単純なものでは、コンテンツアイテムのこの候補セットは、上述のイベントの所与の時間フレームに関連するフィルタリング６０５の結果であってよい。所与のイベントと共に複数のコンテンツアイテムが偶然の一致で同時に発生するにすぎないので、時間フィルタはしばしば、あまりに一般的である。さらに、放送テレビでは、例えばデジタルビデオレコーダ使用の増加によって、イベントに関連する時間フレームが大きく拡大している。

追加のフィルタ６０５は、イベントのメタデータおよび／またはオントロジ２５７内の領域特有の用語にも現れるコンテンツアイテムのテキストコンテンツ（例えば実際のテキスト、またはクローズドキャプションもしくはオーディオから抽出されたテキスト）で使用される用語に基づいて適用される。例えば、ソーシャルネットワーク投稿のコンテンツアイテムの「タッチダウンＢｒａｄｙ！ Ｇｏペイトリオッツ」は、選手名、チーム名およびプレー名を使用していることにより、それがペイトリオッツのフットボール試合でのイベントを参照している高い確率を有しており、このコンテンツアイテムは、イベントに関連する。別の例では、「私はウォルマートのコマーシャルが好き」という投稿のコンテンツアイテムは、店の名前、および用語「コマーシャル」を使用していることにより、それがウォルマートの広告イベントを参照している高い確率を有しており、したがって同様に、このイベントに関連する。このタイプのフィルタリングを実施するために、イベントのメタデータから、ならびにオントロジ２５７に格納されたそれらの領域特有のものからの用語が使用される。

ソーシャルメディアのコンテンツアイテムは、イベントへの直接のテキスト参照を必ずしも備えることなしにイベントに関連することがある。集合論的（例えばブール検索）、代数（例えばベクトル空間モデル、ニューラルネットワーク、潜在的意味解析）、または確率モデル（例えば２進独立性や言語モデル）などに基づいて関連性を決定するために、様々な情報取出しおよびスコアリング方法をコンテンツアイテムに適用することができる。

これらの初期フィルタ、例えば時間またはコンテンツフィルタのうちのいくつかを通過しないソーシャルメディアのコンテンツアイテムは、さらなる処理から取り除かれ、後者のステップで行われるマッピングの数が減少する。ソーシャルメディアフィルタリング６０５の出力は、各コンテンツアイテムについて、そのコンテンツアイテムが時間フィルタでフィルタリングされたか、コンテンツフィルタでフィルタリングされたかを示す更新されたソーシャルメディアのコンテンツ記憶２６０である。追加のフィルタが、追加の領域に適用されてよい。

アライメント／マッピング
ソーシャルメディア／注釈付きイベントアライメント３３０は、特徴抽出プロセス６２０とアラインメント機能６２５とを備える。特徴抽出プロセス６２０は、注釈付きイベント５３０およびソーシャルメディアのコンテンツアイテム６１０の入力を特徴ベクトル表現に変換し、この特徴ベクトル表現は、アラインメント機能６２５に入力される。特徴抽出プロセス６２０は、ソーシャルメディアの作成者記憶２６３および領域オントロジ２５７から入力を受信することもできる。このプロセス６２０で抽出された３つの主なタイプの特徴は、コンテンツ特徴６２０ｃと、地理時間特徴６２０ｂと、オーソリティ特徴６２０ａである。比較特徴抽出エンジン２４０は、イベント特徴とソーシャルメディア特徴の関係を識別するこの機能を実施するための１つの手段である。関係は、共起、相関、または本明細書に述べられた他の関係であってよい。

コンテンツ特徴６２０ｃは、ソーシャルメディアのコンテンツアイテムのコンテンツ内の共起情報、およびビデオイベントのメタデータ、例えばコンテンツアイテム内とビデオイベントのメタデータ内の両方に存在する用語を指す。領域オントロジ２５７は、コンテンツ特徴を生成するときに使用される用語のセットを拡張するために使用することができる。

地理時間特徴６２０ｂは、イベントに関するソーシャルメディアのコンテンツアイテムに関連する位置からの入力されたメディアが生成された位置および時間の差を指す。こうした情報は、ソーシャルメディアのイベントとの関連性が、メディアが生成されたイベントからの距離（時間および空間）としばしば逆相関するので有用である。換言すると、イベントに関連するソーシャルメディアはしばしば、そのイベントの間に、またはその後すぐに、時としてイベント（例えばスポーツイベント）内の人々またはその近くの人々によって生成され、または（例えばテレビベースのイベントのための放送エリア内で）それに公開される。

ビデオイベントについては、地理時間情報は、イベントまたはイベントの放送の位置および／または時間帯、それが開始した時間、イベントの開始が決定されるビデオ内のオフセット、それが放送されたチャンネルに基づいて決定することができる。ソーシャルメディアについては、地理時間情報は、メディア自体のコンテンツの一部（例えばブログエントリのタイムスタンプやステータス更新）であってもよいし、メディアまたはその作成者のメタデータとしての地理時間情報であってもよい。

時間特徴は、イベント自体が生じたときから、ソーシャルメディアのコンテンツアイテムが作成されたときまでの間の時間差を表す。一般に、作成時間の差が小さいほど、より信頼性の高いアライメントが示される。こうした差は、時間の差が増加するにつれて、アライメントの確率が減少するが、ある点で横ばいになるように、シグモイド関数を介して処理させることができる。この関数のパラメータは、注釈付きの検証データセットに基づいて調整することができる。空間的特徴は、イベントまたは放送の地理的領域に対するコンテンツアイテム位置の作成者からの距離を表す。人々はしばしば、その位置から遠くで起きるイベントに関してコメントするので、空間の差をそれほど指標的ではない。シグモイド関数を使用してこの関係をモデル化することもできるが、パラメータは、提供された異なるデータに基づいて調整される。

オーソリティ特徴６２０ａは、ソーシャルメディアの作成者に関連する情報について記述し、ソーシャルメディアのコンテンツアイテムがビデオイベントを参照することの信頼性を高めるのに役立つ。いずれかの曖昧な投稿が特定のイベントを参照する確率は、作成者が類似のタイプのイベント（例えば、以前のバスケットボールゲームに関してコンテンツを投稿した作成者のバスケットボールの試合）について投稿する事前確率に依存する。事前確率は、下記を備えるいくつかの特徴に基づいて近似することができる：作成者自身が生成したユーザプロファイル（例えばブランド、チームなどの参照）、（例えば類似のまたは関連するイベントに関する）作成者の以前のコンテンツアイテム、および作成者の友達（例えばそのコンテンツの提供、プロファイルなど）。これらの事前確率特徴は、マッピング関数のための特徴として使用できる。

アラインメント機能６２５は、抽出された特徴６２０ａ〜ｃのセットを取り、マッピング６３０、およびソーシャルメディアのコンテンツアイテムがビデオイベントを参照することの確信を表す信頼性スコア６４０を出力する。メディア／イベントアライメントエンジン２４５は、この関数を実施するための１つの手段である。各特徴タイプ６２０ａ〜ｃについて、特徴特有のサブ関数は、ソーシャルメディアのコンテンツアイテムが注釈付きイベントを参照するかどうか示すスコアを生成する。各サブ関数のスコアは、その特定の特徴セット内で抽出された情報にだけ基づく。次いで、各サブ関数のスコアは、イベントｘ、およびソーシャルメディアのコンテンツアイテムｙについて以下に示されるように、マッピング６３０および関連する信頼性スコア６４０を出力するために、加重和を使用して組み合わせることができる。
ａｌｉｇｎ（ｆｅａｔ（ｘ，ｙ））＝［α・ｃｏｎｔｅｎｔ（ｆｅａｔ（ｘ，ｙ））］＋［β・ｇｅｏＴｅｍｐ（ｆｅａｔ（ｘ，ｙ））］＋［γ・ａｕｔｈｏｒ（ｆｅａｔ（ｘ，ｙ））］
ただし、ａ、βおよびγは、３つの特徴タイプに適用された各々の重みであり、ａｌｉｇｎ（ｆｅａｔ（ｘ，ｙ））は、信頼性スコアである。加重和の重みと、サブ機能自体の両方が、教師あり学習法を使用して訓練されてもよいし、手作業で最適化されてもよい。ソーシャルメディア／イベントアラインメント機能３３０の出力は、注釈付きイベントとソーシャルメディアのコンテンツアイテムの間のマッピングである。このマッピングは、実数値の信頼性スコアと共にマッピング記憶２７５に格納される。

ソーシャルインタレスト推定
図７は、ソーシャルインタレスト推定プロセス３４０の一実施形態を示すフローチャートである。イベントにおけるソーシャルインタレストは、ビデオイベントのセグメント化３１０プロセス、ビデオメタデータアライメント３２０プロセスおよびソーシャルメディア／イベントアライメント３３０プロセスから収集された情報を集計することにより推定することができる。ソーシャルインタレスト推定器２５０は、この関数を実施するための１つの手段である。

ソーシャルインタレスト推定プロセス３４０への入力は、注釈付きイベント記憶２９０から取り出された注釈付きイベント５３０と、マッピング記憶２７５から取り出された注釈付きイベント／ソーシャルメディアマッピング６２０とを備える。さらに、ソーシャルメディアのコンテンツ記憶２６０およびソーシャルメディアの作成者記憶２６３からのデータは、重み関数７１０用に使用することができる。

メディアタイプの各々について、ソーシャルインタレストが、各ソーシャルメディアのコンテンツアイテム内の特定のイベントへの重み付きの参照回数に基づいて推定される。イベントに関連するソーシャルメディアのコンテンツアイテムは、関心を示すコンテンツアイテムであり、こうしたコンテンツアイテム、およびその中のイベントの参照を発見し集計することによって、集計されたコンテンツアイテムに基づいてイベントのソーシャルインタレストレベルを表すソーシャルインタレストスコアが生成される。

特定のイベントについて、ソーシャルインタレスト推定プロセス３４０は、イベントへの少なくとも１つの参照を備えるすべてのソーシャルメディアのコンテンツアイテムに渡る加重和の計算を備える。計算は、（ソーシャルメディア／注釈付きイベントアライメント３３０プロセスで決定された）そのイベントを参照するすべてのソーシャルメディアのコンテンツアイテムを循環することによって進められる。そのイベントに調整された各アイテムについて、そのイベントのソーシャルインタレストスコアが、コンテンツアイテムのメタデータに基づいて加重値だけ増分される。したがって、出力されたソーシャルインタレストスコア７２０は、各イベントの信頼性スコア６４０に対して集計された総スコアであると考えることができる。

これらの重みは通常、システムの構成に応じてして、０〜１に設定することができる。重みは、乗法的であり、次のような様々な係数に基づく：ソーシャルメディアのコンテンツの重み７１０ａ、ソースベースの重み７１０ｂ、作成者ベースの重み７１０ｃ、および／またはイベントベースの重み７１０ｄ。

ソーシャルメディアのコンテンツの重み７１０ａは、例えばそれに言及するメディアについての感情に基づいて、ソーシャルインタレスト推定プロセス３４０内で使用することができる。例えば、スコアは、イベントに対して肯定的な感情を表す投稿だけに基づいてインタレストが計算されるように重み付けすることができる（すなわち、イベントに対して肯定的な感情を示した作成者からの投稿だけが加重和に組み込まれる）。ソーシャルメディアのコンテンツアイテムで表現された感情は、いくつかの技法を使用して自動的に識別することができる。例示的な技法は、非特許文献８に記載されている。

ソースベースの重み７１０ｂは、イベントがどのように（例えば、どんな形で）言及されるかに基づいてソーシャルインタレスト推定プロセス３４０で使用することができる。例えば、（例えばＱｕａｎｔＣａｓｔ Ｃｏｒｐｏｒａｔｉｏｎ、サンフランシスコ、カリフォルニア州によって推定された）聴衆の規模またはソースサイトへのインバウンドリンクの数によって測定されるように、一部のソースがより大きい影響力をもつと決定される場合には、それにより大きい重みを与えることができる。さらに、特定のユーザコミュニティについてのソーシャルインタレストスコアを生成するために、特定のソースに、より大きい重みを与えてもよい。例えばソーシャルインタレストスコアは、（例えばソースの政治的傾向が人間のエキスパートによって、または訓練された機械分類子によって決定される場合に）特定の政治的傾向のものであると事前に決定されないソースを有するすべてのコンテンツアイテムの重みをゼロに設定することによって、その特定の政治的傾向（例えば、共和党また民主党）のソースにより生成されたソーシャルメディアのコンテンツアイテムだけに基づいて計算することができる。

作成者ベースの重み７１０ｃは、ソーシャルインタレスト推定プロセス３４０内で、ユーザの特定のコミュニティに対してソーシャルインタレスト推定のバイアスをかけるために使用することができる。例えば、ソーシャルインタレストの推定は、例えば２５歳より年上の男性によって生成された投稿だけに０より大きい重みが与えられるように、投稿の作成者に関する人口学的情報に基づいてバイアスをかけることができる。こうした人口学的情報の決定は、投稿された公に入手可能なデータを作成者自身によって、専門家の意見に基づいて特定の作成者の人間による注釈によって、または人間によりラベル付けされた例に対して訓練されたマシン分類子によって、検査することによってもたらされることがある。スポーツコンテキストでは、ソーシャルインタレストの推定は、出身地に基づいて（すなわち、地元チームの都市の作成者からの投稿だけが加重和に組み込まれる）、または以前の投稿履歴（すなわち、作成者が、その地元チームに関する肯定的な発言を投稿したという履歴を有する）に基づいて投稿をフィルタリングすることによって、地元チームのファンだけに重み付けすることができる。

イベントベースの重み７１０ｄは、タイムベースメディアストリーム自体の中のソーシャルインタレストの証拠に基づいて、ソーシャルインタレスト推定プロセス３４０内で使用することができる。こうしたメディアの例には、それだけに限らないが、テレビ連続番組、および放送されるスポーツの試合を備える。こうしたタイムベースメディアでは、ソーシャルインタレストを推定するのに有用な情報を提供する複数の特徴が存在する。この例には、それだけに限らないが、視覚的解析（例えば、爆発などの特定のイベントを捜すこと）、オーディオ解析（例えば、興奮したスピーチなど、高エネルギー音のイベントの識別）、自然言語解析（例えば「ホームラン」などのキーとなる語および語句の識別）、およびビデオイベント解析（例えば、テレビ連続番組の最初に示されるイベントや、スポーツイベントでの即時再生など、スポーツ放送で断続的に示されるイベントなど、再生されたイベントを評価すること）を備える。こうしたイベント自体に基づく重みは、人間によってラベル付けされた例の解析を使用して事前に決定される。

さらに、ソーシャルインタレストスコアは、使用統計２６５に格納されたタイムベースメディアの視聴者の振舞いに基づいて重み付けすることができる。こうしたユーザ振舞いは、メディアに対するユーザコンテンツアイテムのタイミング、およびイベントの提示回数（例えば、特定のイベントが何回くらい再生されたか）に基づいて統合される。複数のユーザに渡るこれらの振舞いの解析は、例えば、メディアの同じセクションが休止され、（複数の人々によって）複数回レビューされる場合にソーシャルインタレストを示していることがある。ソーシャルインタレスト推定プロセス３４０に使用できる使用統計２６５からの他の記録可能なユーザ振舞いには、それだけに限らないが、視聴時間、ドウェル時間、広告のクリック率、検索クエリ、振舞いの共有などを備える。

ソーシャルインタレスト推定プロセス３４０の出力は、ソーシャルインタレスト記憶２８５に格納されるソーシャルインタレストスコア７２０である。ソーシャルインタレストスコア７２０は、この機能を実施するための１つの手段であるユーザインターフェースエンジン２５５によって、例えば本明細書に示す表示内に表されたようなユーザインターフェースに情報を提供するために使用することができる。

ソーシャルメディアのコンテンツアイテムをタイムベースメディアイベントに関連付け、関連付けの結果に基づいてイベントにおけるソーシャルインタレストを決定するための方法をさらに示すために、アメリカンフットボールおよび商用広告の領域の２つの例が、以下に示される。

例：アメリカンフットボール
図３Ａに関連して述べられたように、この方法の予備のステップとして、複数のデータストリームが取り込まれる。フットボール領域では、図３に論じられたデータに加えて、追加のデータソースが統計フィードから生じ、この統計フィードは、フットボールの試合のイベントに関する詳細なメタデータを（それらのイベントについてのテキスト記述と共に）備える。統計フィードは、ＮＦＬのＧａｍｅ Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍなどの複数のソース、およびＳｔａｔｓ，Ｉｎｃ．などの民間企業から入手可能である。

ビデオイベントのセグメント化
アメリカンフットボールのビデオイベントのセグメント化３１０プロセスでは、タイムベースメディア、例えばフットボール試合のための放送テレビフィードは、試合のプレー（および合間の広告）を備える個別の「イベント」に対応する意味論的に意味のあるセグメントへとセグメント化される。

フットボールビデオのイベントセグメント化の第１のステップは、ビデオのショット境界を検出することである。ショット境界は、カメラアングルまたはシーンの変化にしばしば関連する非連続のビデオ内の点群である。アメリカンフットボールの領域では、カメラアングルの変化は通常、プレーの変化を示す。

フットボール領域では、イベント検出４２０は、フットボール場を示すショットをまず識別することによって動作することができる。ショット境界が検出されると、シーン分類子を使用して、そのショットが主に競技場に焦点が当てているかどうか決定する。次いで、フィールドショットは、ゲームイベント（すなわちプレー）を示すフィールドショットとしてさらに分類することができる。フットボール領域では、イベント境界決定４３０の間、イベントの開始および終了点（すなわち、入／出点）は、プレーのより適切な開始点および停止点を反映するように精緻化することができる。こうした入／出点は、クロック特性および／または発話セグメント化に基づいて調整することができる。プロフットボールの試合では、プレーの開始および終了は、プレークロックの開始または停止に（常にとは限らないが）関連することがある。このプレークロックは、放送されるフットボールの試合においてグラフィックオーバーレイとしてしばしば示される。このプレークロックの開始／停止は、ビデオ内のフレームサブ領域（すなわち、プレークロックグラフィックを備える領域）の（ピクセルの）変化量を時間をかけて監視することによって決定することができる。こうしたサブ領域の総変化が、１秒超の間、しきい値未満になる場合、プレークロックの状態は「非アクティブ」であると見なされる。総変化がしきい値を超える場合は、プレークロックの状態は「アクティブ」であると見なされる。プレークロックの状態の変化は、ビデオ内でイベントが開始または終了したことの強力な指標である。

プレーの正確な開始点および終了点の境界を決定するとき、美的判断がしばしば求められる。こうした判断の近似は、試合のアナウンサの音声内の発話境界を使用して達成することができる。これらの発話境界は、ビデオ内の音声の流れの休止を識別することによって検出することができる。休止は、Ｓｐｈｉｎｘ３で見られるものなど、音声処理ソフトウェアを使用して識別することができる。

したがって、放送テレビのアメリカンフットボールの試合のビデオイベントのセグメント化３１０の出力は、試合のプレーに対応する１組のセグメント化されたビデオイベントである。

ビデオメタデータアライメント／注釈
アメリカンフットボールのメタデータアライメント／注釈３２０のプロセスは、試合のプレーに基づいてイベントへとセグメント化されたビデオストリームに作用する。これらのイベントは、示されたイベントのタイプ（例えば「タッチダウン」）、それらのイベント内のキープレーヤー（例えば「Ｔｏｍ Ｂｒａｄｙ」）、それらのプレーヤーの役割（例えば「パッサー」）、およびイベントの詳細（例えば「獲得されたヤード数」）に関するメタデータで注釈が付けられる。このメタデータは、人間の専門家によって手動で追加されてもよいし、マシンアルゴリズムによって完全に自動的に追加されてもよいし、人間マシンハイブリッド手法を使用して半自動的に追加されてもよい。メタデータは、イベントメタデータ記憶２７３に保存される。

メタデータで調整される各イベント（すなわちプレー）ごとに、プレーは、特徴抽出３１５によって特徴ベクトル表現に変換される。ビデオメタデータアライメント５２０は、入力として、単一プレーの特徴ベクトル表現５１０およびメタデータインスタンス５０５を取る。それは、イベントメタデータ記憶２７３内の各メタデータインスタンス５０５を循環し、例えば確率モデルを使用して特定のプレーが特定のメタデータインスタンスによって記述され得る可能性を推定する。１つの例示的なモデルは、上述されたグラウンデッドランゲージモデルである。

ソーシャルメディア／注釈付きイベントアライメント
ソーシャルメディア／注釈付きイベントアライメント３３０では、特徴抽出６２０は、地理時間特徴、コンテンツ特徴およびオーソリティ特徴を生成する。コンテンツ特徴の表現は、イベントメタデータと、ソーシャルメディアのコンテンツアイテム内の用語との間の相関されたコンテンツの量を示す。例えば、コンテンツアイテム「タッチダウンＢｒａｄｙ！ Ｇｏペイトリオッツ」および注釈「パッサー：Ｂｒａｄｙ、イベント：タッチダウン、レシーバ：Ｍｏｓｓ」は、重複するコンテンツ用語（すなわち「タッチダウン」および「Ｂｒａｄｙ」）を有する。

完全な一致に加えて、フットボール用語の領域オントロジ２５７は、同意語および上位語（例えば「タッチダウン」の「ＴＤ」または「スコア」）ならびにプレーヤーのニックネーム（例えば「Ｂｒａｄｙ」を表す「Ｔｏｍ Ｔｅｒｒｉｆｉｃ（猛烈トム）」）を備えるように用語セットを拡張するために使用される。

オーソリティ特徴の表現は、ソーシャルメディアのコンテンツのいずれかの作成者がフットボールイベントを参照していることがある事前確率を示す。この確率の推定の１つの要因は、友達、フォロワー、またはソーシャルネットワーク内のユーザへの他の接続に基づいてよい。こうした接続は、作成者のフットボールイベントに関する投稿の可能性を示しており、それは、ソーシャルメディア／イベントアライメント３３０機能に追加の特徴を提供することができる。フットボールイベントに関して投稿する誰かがキープする友達が増えるにつれて、友達がフットボールイベントに関して投稿する可能性が高まる。この情報を捕捉するために、連絡相手がフットボールイベントに関して投稿した頻度に基づいて、ユーザについてメタスコアが生成される。メタスコアは、友達のフットボールについての投稿の頻度のすべての平均、モードおよびメジアンである。

ソーシャルメディア／イベントアライメント３３０の出力は、関連する信頼性スコアを有する、注釈されたプレーと個々のソーシャルメディアのコンテンツアイテムの間のマッピングである。

プレーにおけるソーシャルインタレストに関する情報が望まれる場合、それは、上記のプロセスから収集された情報を集計することによって推定することができる。ソーシャルインタレスト推定３４０は、試合のあらゆるプレーについて計算することができる。あり得る結果は、タッチダウンなどプレーのソーシャルインタレストスコアが高くなり、重要度の低いプレーのソーシャルインタレストスコアが低くなるということである。

例：広告
図３Ａに関連して述べられるように、この方法の予備ステップとして、複数のデータストリームが取り込まれる。

ビデオイベントのセグメント化
広告領域では、ビデオイベントのセグメント化３１０プロセスの間、タイムベースメディアが、広告（すなわちコマーシャル）で識別される個別の「イベント」に対応する意味論的に意味のあるセグメントにセグメント化される。

広告領域のイベント検出４２０は、広告ブロックの一部（すなわち番組内、または番組間の一連のコマーシャル）であり得る１つまたは複数のショットを識別することによって動作することができる。広告ブロックは、すべてのブラックフレームの存在、図形検出（例えばフレーム内のチャンネルロゴの存在）、アスペクト比、ショット境界など、画像特徴を使用して検出される。音量変化の検出、クローズドキャプションの有無を備えて、音声／オーディオ特徴を使用することができる。

イベント境界検出４３０は、広告ブロックに作用し、ブロック内の個々の広告の開始および終了境界を識別する。イベント境界の決定は、ブラックフレームの有無、ショット境界、アスペクト比の変化などの特徴に基づく分類子を使用して実施することができる。分類子は、手作業で最適化してもよいし、機械学習技法を使用して最適化してもよい。

ビデオメタデータアライメント／注釈
イベントセグメント化３１０と同様に、ビデオメタデータアライメント／注釈３２０プロセスは、領域に依存する。広告領域では、広告のメタデータは、「ブランド：ウォルマート、シーン：父親がピエロの衣装を着ている、雰囲気：喜劇」などの情報を備えてよい。このメタデータは、サンプル広告イベントを見、広告に関与する主要製品／商標、広告の雰囲気、広告の物語／創造的側面、広告内の俳優／有名人などを備えて、広告のメタデータを記録する人間の注釈者によって生成される。

広告のメタデータは、広告の低レベルの画像およびオーディオプロパティ（例えばショットの数および長さ、各ショットの平均色ヒストグラム、オーディオの電力レベルなど）を備えることもできる。

メタデータで調整される各イベント（すなわち広告）について、広告は、特徴抽出３１５によって特徴ベクトル表現に変換される。次いで、ビデオメタデータアライメント５２０は、入力として単一広告の特徴ベクトル表現５１０、およびメタデータインスタンス５０５を取る。それは、イベントメタデータ記憶２７３内の各メタデータインスタンス５０５を循環し、例えば、広告イベントの低レベル特徴表現をメタデータ内の低レベルプロパティと比較する単純コサイン類似度関数を使用して、特定の広告が特定のメタデータインスタンスによって記述され得る可能性を推定する。

ソーシャルメディア／注釈付きイベントアライメント
ソーシャルメディア／注釈付きイベントアライメント３３０では、特徴抽出Ｅ．ｇ．，ｃは、地理時間特徴、コンテンツ特徴およびオーソリティ特徴を生成する。コンテンツ特徴の表現は、イベントメタデータと、ソーシャルメディアのコンテンツアイテム内の用語との間の共起するコンテンツの量を示す。例えば、コンテンツアイテム「私は、その面白いウォルマートのピエロの宣伝が好きだった」および注釈「ブランド：ウォルマート、シーン：父親がピエロの衣装を着ている、雰囲気：喜劇」は、共起するコンテンツアイテム（すなわち「ウォルマート」および「ピエロ」を有する）。

完全な一致に加えて、広告領域に関連する情報を符号化する領域オントロジ２５７は、同意語および上位語（例えば「喜劇」を表す「面白い」）、企業名、製品、店舗など、ならびに広告の関連する単語（例えば「コマーシャル」）を備えるように用語セットを拡張するために使用することができる。

ソーシャルメディア／イベントアライメント３３０の出力は、関連する信頼性スコアを有する、注釈された広告と各ソーシャルメディアのコンテンツアイテムの間のマッピングである。

広告におけるソーシャルインタレストに関する情報が望まれる場合、それは、上記のプロセスから収集された情報を集計することによって推定することができる。ソーシャルインタレスト推定３４０は、広告ブロックまたはテレビ番組のあらゆる広告について計算することができる。あり得る結果は、特に面白いまたは可笑しい広告のソーシャルインタレストスコアが高くなり、あまり刺激的でない、または反復的な広告はソーシャルインタレストスコアが低くなるということである。

アメリカンフットボールおよび広告の領域について上記に述べたが、本明細書に述べられた諸方法は、タイムベースメディアを使用して任意の領域に適応させることができる。適応の方法は一般に、各々異なる領域に渡る方法であり、２つの変更に焦点を当てる。第１に、イベントセグメント化および注釈に使用された技法および特徴は、領域特有の特性を反映するように適応される。例えば、フットボール内のイベントの検出は、それがビデオフレーム内の色分布で表現されているときは草が見れる点を使用する一方、ニュースビデオ内のイベントの検出は、フレーム内のクローズドキャプションストリームおよびグラフィックオーバーレイの手掛かりを活用することができる。第２の変更は、イベントを参照するソーシャルメディアのコンテンツアイテムにイベントをリンクするのに使用されるオントロジを必要とする。フットボールでは、必要なオントロジは、フットボール選手、チームおよびイベントに関連する概念を備え、ニュースビデオなどの領域は、現在のイベント、および文化的に人気のある人物など、密接な関係がある概念に関連する概念を有するオントロジを必要とする。

ソーシャルインタレストの推定の表示
上述されたように、ソーシャルインタレストの推定は、様々なやり方で使用することができる。こうした１つの応用例は、様々なユーザインターフェースおよびグラフィック表現におけるソーシャルインタレストを表示することである。図８Ａおよび図８Ｂは、タイムベースメディアの一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストのレベルを示すソーシャルインタレストヒートマップ８１０、８２０の２つの実施形態を示している。

図８Ａは、フットボールの試合に対応するソーシャルインタレストヒートマップ８１０を示しており、このソーシャルインタレストヒートマップ８１０では、個々のイベント（プレーおよび広告）８１５が、タイムライン８３０に渡って縦棒として時間順に示されており、バーの時間位置は、イベントの開始点に対応する。各イベント８１５における推定されたソーシャルインタレストのレベル（高さ）が、各イベント８１５に対応するソーシャルコンテンツアイテム８５０の数で垂直に示されており、より高いバーは、より大きいソーシャルインタレストを表す。２つのイベントタイプ、広告８７０およびプレー８８０が示されている。

図８Ｂは、フットボールの試合に対応する類似のソーシャルインタレストヒートマップを示しており、個々のイベント（プレーおよび広告）８６０がタイムライン８４０に渡って時間順に示されている。各イベント８６０における推定されたソーシャルインタレストのレベルは、対応するバー８６０の色の強度によって示されており、より黒いバーは、より大きいソーシャルインタレストを表している。インタレストのレベルを表すために、他の色／強度／質感／パターン尺度を使用することができる。２つのイベントタイプ、広告８９０およびプレー８６０が示されている。

図１３Ａ〜Ｄは、タイムベースメディア中の一連の時系列の時間セグメントに対応する複数のイベントへのソーシャルインタレストレベルを示すソーシャルインタレストヒートマップ１３１０を表示するユーザインターフェース１３００の別の実施形態を示している。

図１３Ａは、各ソーシャルインタレストヒートマップ１３１０（水平バー）が各々異なるチャンネルに対応している、ユーザインターフェース１３００ａを示している。マップ１３１０の幅は、２つの終端１３２５間のナビゲーションバー１３２０内の番組として期間に対応する。チャンネルは、セル１３１５として示された複数の別個のショーを有しており、それによってグリッドが形成されている。ソーシャルインタレストレベルは、所与のセル１３１５の色の強度によって示されており、最も濃いセルが、番組における最も高いソーシャルインタレストを示す。ナビゲーションバー１３２０によって、ユーザは、視聴する時間フレームを選ぶことができ、終端１３２５は、ユーザインターフェース１３００内のソーシャルインタレストヒートマップの可視部を調整するためにナビゲーションバーのサイズを拡張することを可能にし、左の終端１３２５ａが開始時間を制御し、右の終端１３２５ｂが、ソーシャルインタレストヒートマップ１３１０の終了時間を制御する。

図１３Ｂは、ソーシャルインタレストヒートマップ１３１０が、番組１３１５の間に現れる広告１３３０の表示を備えることを除いて、図１３Ａに示すものに類似のユーザインターフェース１３００ｂを示している。線の濃さは、広告にソーシャルインタレストの指標として濃さを有する個々の広告に対応しており、濃くなるにつれて大きくなるインタレストを示している。

図１３Ｃは、ソーシャルインタレストヒートマップ１３１０が、ナビゲーションバー１３３７上に異なる時間尺度を示すように日にちのレベルにズームアウトされていることを除いて、図１３Ａに示すものに類似のユーザインターフェース１３００ｃを示している。ここで、ナビゲーションバーの各分割１３４０は、単一の曜日に対応する。セル１３４５は、時刻、例えばゴールデンタイムに対応する。各セルの色の濃さは、その時間フレームの間の番組および／または広告におけるソーシャルインタレストを表している。

図１３Ｄは、ソーシャルインタレストヒートマップ１３００が、異なる時間尺度を示すように月のレベルにズームアウトされていることを除いて、図１３Ａに示すものに類似のユーザインターフェース１３００ｄを示している。ナビゲーションバー１３３７の分割１３６５は、４分の１年に対応する。グリッド内のセル１３５５は、その年の月に対応する。各セルの色の濃さは、その時間フレームの間の番組および／または広告におけるソーシャルインタレストを表している。

図９Ａ〜９Ｃは、ソーシャルインタレスト推定システムのユーザインターフェース９００の３つの実施形態を示している。各々の図は、ソーシャルインタレストヒートマップ領域９１０、メディア表示領域９２０およびソーシャルメディア表示領域９３０（９Ｃに図示せず）を示している。

図９Ａは、ソーシャルインタレストヒートマップ領域９１０ａ内に、図８Ａに関連して述べられたものに類似の３つのソーシャルインタレストヒートマップ９４０ａ〜ｃを示しており、各マップ９４０ａ〜ｃが、メディアコンテンツの異なるチャンネルに対応する。メディア表示領域９２０ａは、選択されたイベント９１５に関連するタイムベースメディア、この例ではＤｏｄｇｅ Ｃｈａｒｇｅｒ広告を表示するメディアプレイヤーを示している。ソーシャルメディア表示領域９３０ａは、選択されたイベントに対応するソーシャルメディアに関する統計情報、ならびに個々のソーシャルメディアのコンテンツアイテムを示している。

図９Ｂは、ソーシャルインタレストヒートマップ領域９１０ｂ内に、図８Ｂに関連して述べられたものに類似の複数のソーシャルインタレストヒートマップ９６０を示しており、各々のマップ９６０が、異なるチャンネルに対応し、また全体的なソーシャルインタレストヒートマップ９７０が、すべてのチャンネルに渡って選択されたイベントに対応する。メディア表示領域９２０ｂは、ユーザによって選択されたイベント９３５に関連するタイムベースメディア、この例では広告シーンを表示するメディアプレイヤーを示している。ユーザは、表示内でいずれかのイベント９３５を選択し、イベントのビデオコンテンツを示すためにプレーヤーを呼び出すことができる。ソーシャルメディア表示領域９３０ｂ１および９３０ｂ２は、個々のソーシャルメディアのコンテンツアイテム（９３０ｂ１）、および選択されたイベントに対応するソーシャルメディアに関する統計情報（９３０ｂ２）を示している。

図９Ｃは、ソーシャルインタレストヒートマップ領域９１０ｃ内に、図８Ｂに関連して述べられたものに類似の４つのソーシャルインタレストヒートマップ９５０ａ〜ｄを示しており、各々のマップ９５０ａ〜ｄが、異なるチャンネルに対応している。メディア表示領域９２０ｃは、選択されたイベント９２５に関連するタイムベースメディア、この例ではフットボール試合内のパスを表示するメディアプレイヤーを示している。この場合もやはり、ユーザは、マップ９５０内でイベント９２５を選択することによって、イベントを示すようにプレーヤーを制御することができる。

図１０Ａおよび図１０Ｂは、感情ビューを示すソーシャルインタレスト推定システムのユーザインターフェース１０００の２つの実施形態を示している。ユーザインターフェース１０００は、ソーシャルインタレストヒートマップ９４０および９７０が、例えば本明細書に述べられた感情検出プロセスに基づいてソーシャルメディアのコンテンツアイテムの感情、すなわちそれらが否定的か、それとも肯定的かを示す情報を提供することを除いて、図９Ａ〜図９Ｂに示すものに類似する。

図１０Ａは、ソーシャルインタレストヒートマップ９４０内のイベント９１５について、肯定的な感情を有するソーシャルメディアのコンテンツアイテムの数に対応する（上部の）肯定的な部分１０１０、および否定的な感情を有するソーシャルメディアのコンテンツアイテムの数に対応する（下部の）否定的な部分１０１２を示している。肯定的１０１０部分および否定的１０１２部分は、イベントバーの全体内の相対的なパーセンテージが見えるように、互いに視覚的に識別される。感情ビューをオン／オフで切り換えるラジオボタン１０１５が示されている。

図１０Ｂは、全体的なソーシャルインタレストヒートマップ９７０内のイベント１０１５について、肯定的な感情を有するソーシャルメディアのコンテンツアイテムの数に対応する（上部の）肯定的な部分１０２０、および否定的な感情を有するソーシャルメディアのコンテンツアイテムの数に対応する（下部の）否定的な部分１０２２を示している。肯定的１０２０部分および否定的１０２０部分は、イベントバーの全体内の相対的なパーセンテージが見えるように、互いに視覚的に識別される。

図１１Ａ〜図１１Ｃは、フィルタリングされたビューを示すソーシャルインタレスト推定システムのユーザインターフェース１１００の３つの実施形態を示している。ユーザインターフェース１１００は、ソーシャルインタレストヒートマップ９４０、９７０がソーシャルメディアのコンテンツアイテムのフィルタリングされたサブセットだけに関する情報を提供するということを除いて、図９Ａ〜図９Ｃに示すものに類似する。

図１１Ａは、Ｄｏｒｉｔｏｓブランド広告（１１１０）に対応するソーシャルメディアのコンテンツアイテムバーがより濃く表示され、また別のやり方で非Ｄｏｒｉｔｏｓブランドのソーシャルメディアのコンテンツアイテムバー（１１１５）と視覚的に区別されるようにデータに適用されるテキストベースのフィルタ「ｄｏｒｉｔｏｓ」を示している。

図１１Ｂは、全体的なソーシャルインタレストヒートマップ９７０内で、適用されたフィルタに対応するソーシャルメディアのコンテンツアイテムバーだけが見えるようにデータ（図示せず）に適用されるテキストベースのフィルタを示している。

図１１Ｃは、ソーシャルインタレストヒートマップ９５０内に、ファンタジーフットボール選手によるプレーに対応するソーシャルメディアのコンテンツアイテムバーだけが示されるように、ユーザのファンタジーフットボールリーグ内の選手に対応するデータに適用されるフィルタを示している。追加の選手領域１１２０は、ユーザのファンタジーフットボールリーグの選手を示している。

図１２Ａは、フォーカスされた未展開のビューを示すソーシャルインタレスト推定システムのユーザインターフェース１２００の一実施形態を示している。ユーザインターフェース１２００は、ソーシャルインタレストヒートマップ９４０ａが、選択されたソーシャルインタレストヒートマップのサブセクション１２１０を有することを除いて、図１０Ａのそれに類似する。図１２Ｂは、図１２Ａからのサブセクション１２１０が展開されているソーシャルインタレストヒートマップ９４０ａのズームビュー１２６０を示すことを除いて、図１２Ａのそれに類似のユーザインターフェース１２５０を示している。

本発明の諸実施形態についての上記説明は、例示するために提示されている。それは、網羅的なものでも、本発明を開示された厳密な形に制限するためのものではない。上記教示に鑑みて、複数の修正形態および変形形態が可能であることが当業者には理解されよう。

この説明のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現に関して、本発明の実施形態について述べている。これらのアルゴリズムに関する説明および表現は、データ処理分野の当業者によって、その仕事の内容を他の当業者に最も有効に伝えるために一般に使用される。これらの操作は、機能、計算、または論理に関して述べられているが、コンピュータプログラムまたは等価の電気回路、マイクロコードなどによって実装されることが理解されよう。さらに、それは、これらの操作構成を、一般性を失わずに、モジュールと呼ぶことが時々好都合であることも分かっている。述べられた操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組合せで具現化することができる。

本明細書に述べられたステップ、操作またはプロセスのいずれかは、１つまたは複数のハードウェアまたはソフトウェアモジュールで単独に、または他のデバイスと組み合わせて実施または実装されてよい。一実施形態では、ソフトウェアモジュールは、明細書に述べられたステップ、操作またはプロセスのいずれかまたはすべてを実施するためのコンピュータプロセッサによって実行可能なコンピュータプログラムコードを備えるコンピュータ読取り可能媒体を備えるコンピュータプログラム製品で実装される。

本発明の実施形態は、本発明の操作を実施するための装置にも関し得る。この装置は、必要な目的のために特別に構築することができ、かつ／またはそれは、コンピュータ内に格納されたコンピュータプログラムによって選択的に駆動され、また再構成された汎用コンピューティングデバイスを備えてよい。こうしたコンピュータプログラムは、非一時的な有形のコンピュータ読取り可能記憶媒体、またはコンピュータシステムバスに結合されてよい、電子命令を格納するのに適した任意のタイプの媒体内に永続的に格納されてよい。さらに、本明細書で参照されたいずれのコンピューティングシステムもが、単一のプロセッサを備えることができ、またコンピューティング能力向上のために複数のプロセッサ設計を使用するアーキテクチュアであってもよい。

本発明の実施形態は、本明細書に述べられたコンピューティングプロセスによって作成される製品にも関し得る。こうした製品は、コンピューティングプロセスから生じる情報を備えることができ、この情報は、非一時的な有形のコンピュータ読取り可能記憶媒体に格納され、またコンピュータプログラム製品のいずれかの実施形態、または本明細書に述べられた他のデータ組合せを備えてよい。

最後に、本明細書で使用された言語は、主に読みやすさおよび教育目的のために選ばれており、またそれは、本発明の主題の範囲を定めたり、限定するために選択されたものではない。したがって、本発明の範囲は、この詳細な説明によって限定されるものではなく、本明細書に基づく出願から生じるいずれかの特許請求の範囲によって限定されることが意図されている。したがって、本発明の諸実施形態の開示は、添付の特許請求の範囲に述べられた本発明の範囲を例示するものであるが、限定的でないことが意図されている。

Claims (39)

1. ソーシャルメディアのコンテンツアイテムをタイムベースメディア内のイベントに関連付けるコンピュータ実行方法であって、
   複数の候補ソーシャルメディアのコンテンツアイテムを受信するステップと、
   前記候補ソーシャルメディアのコンテンツアイテムの各々について、前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定するステップと、
   各々の信頼性スコアに基づいて、前記複数の候補ソーシャルメディアのコンテンツアイテムのサブセットを前記イベントで調整するステップと、
   データ記憶内に、前記イベントと前記複数の候補ソーシャルメディアのコンテンツアイテムの前記サブセットとの間のアライメントを収集するステップと、
   を備えることを特徴とするコンピュータ実行方法。
2. 受信したタイムベースメディアを、前記イベントに対応する複数のセグメントにセグメント化するステップをさらに含むことを特徴とする請求項１に記載のコンピュータ実行方法。
3. 前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する前記確率を示す前記信頼性スコアを決定するステップは、
   前記イベントに関連する注釈からイベント特徴を抽出するステップと、
   前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するステップと、
   前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングするステップと、
   をさらに含むことを特徴とする請求項１に記載のコンピュータ実行方法。
4. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付けるステップをさらに含むことを特徴とする請求項３に記載のコンピュータ実行
   方法。
5. 候補ソーシャルメディアのコンテンツアイテムの前記関連するサブセットの前記信頼性スコアを集計して、総スコアを生成するステップと、
   前記総スコアに基づいて前記イベントにおけるソーシャルインタレストレベルを決定するステップと、
   をさらに含むことを特徴とする請求項１に記載のコンピュータ実行方法。
6. タイムベースメディア内のイベントにおけるソーシャルインタレストを決定するコンピュータ実行方法であって、
   複数の候補ソーシャルメディアのコンテンツアイテムを受信するステップと、
   前記候補ソーシャルメディアのコンテンツアイテムの各々について、前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定するステップと、
   各々の信頼性スコアに基づいて、前記複数の候補ソーシャルメディアのコンテンツアイテムのサブセットを前記イベントで調整するステップと、
   前記候補ソーシャルメディアのコンテンツアイテムの前記調整されたサブセットの前記信頼性スコアを集計して、総スコアを生成するステップと、
   前記総スコアに基づいて前記イベントにおけるソーシャルインタレストレベルを決定するステップと、
   を備えることを特徴とするコンピュータ実行方法。
7. 前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する前記確率を示す前記信頼性スコアを決定するステップは、
   前記イベントに関連する注釈からイベント特徴を抽出するステップと、
   前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するステップと、
   前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングするステップと、
   をさらに含むことを特徴とする請求項６に記載のコンピュータ実行方法。
8. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付けるステップをさらに含むことを特徴とする請求項７に記載のコンピュータ実行方法。
9. タイムベースメディア内のイベントにおけるソーシャルインタレストを決定するコンピュータ実行方法であって、
   タイムベースメディア内の複数のイベントを選択するステップと、
   前記タイムベースメディア内の前記イベントに潜在的に関連する複数の候補ソーシャルメディアのコンテンツアイテムを受信するステップと、
   各々の前記候補ソーシャルメディアのコンテンツアイテムについて、前記複数のイベントのうちの少なくとも１つに関する前記候補ソーシャルメディアのコンテンツアイテムの信頼性スコアを決定するステップであって、前記信頼性スコアは、前記候補ソーシャルメディアのコンテンツアイテムが前記少なくとも１つのイベントに関連する確率を示す、ステップと、
   前記複数のイベントの各々について、
   各々の信頼性スコアに基づいて、前記複数の候補ソーシャルメディアのコンテンツアイテムのサブセットを前記イベントで調整するステップと、
   前記イベントの信頼性スコアを有する前記候補ソーシャルメディアのコンテンツアイテムの前記信頼性スコアを集計して総スコアを生成するステップと、
   前記総スコアに基づいて前記イベントにおけるソーシャルインタレストレベルを決定するステップと、
   を備えることを特徴とするコンピュータ実行方法。
10. データ記憶内で、前記イベントと、前記複数の候補ソーシャルメディアのコンテンツアイテムの前記サブセットとの間のアライメントを収集するステップをさらに備えることを特徴とする請求項９に記載のコンピュータ実行方法。
11. 選択されたイベントについて、前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する前記確率を示す前記信頼性スコアを決定するステップは、
    前記イベントに関連する注釈からイベント特徴を抽出するステップと、
    前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するステップと、
    前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングするステップと、
    をさらに含むことを特徴とする請求項９に記載のコンピュータ実行方法。
12. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付けるステップをさらに含むことを特徴とする請求項１１に記載のコンピュータ実行方法。
13. ソーシャルメディアのコンテンツアイテムをタイムベースメディア内のイベントにマッピングするコンピュータ実行方法であって、
    複数のメタデータインスタンスを、タイムベースメディア内のイベントに対応する前記タイムベースメディアのセグメントに調整して、注釈付きイベントを形成するステップと、
    前記注釈付きイベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムを前記注釈付きイベントにマッピングするステップを含み、
    前記複数のメタデータインスタンスを、タイムベースメディア内のイベントに対応する前記タイムベースメディアのセグメントに調整して、注釈付きイベントを形成するステップは、
    前記複数のメタデータインスタンスを受信するステップと、
    前記タイムベースメディア内のイベントに対応する前記セグメントに前記タイムベースメディアをセグメント化するステップであって、各々のセグメントは冒頭と末尾とを有するステップと、
    各々の前記メタデータインスタンスについて、前記メタデータインスタンスで調整する確率が最も高い前記タイムベースメディアのセグメントを決定するステップ
    、
    を備えることを特徴とするコンピュータ実行方法。
14. 前記注釈付きイベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムを前記注釈付きイベントにマッピングするステップは、
    前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するステップと、
    前記注釈付きイベントからイベント特徴を抽出するステップと、
    前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記注釈付きイベントを前記複数の候補ソーシャルメディアのコンテンツアイテムにマッピングするステップと、
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ実行方法。
15. ソーシャルメディアのコンテンツアイテムをタイムベースメディア内のイベントに関連付けるシステムであって、
    複数の候補ソーシャルメディアのコンテンツアイテムを受信する手段と、
    前記候補ソーシャルメディアのコンテンツアイテムの各々について、前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定する手段と、
    各々の信頼性スコアに基づいて、前記複数の候補ソーシャルメディアのコンテンツアイテムのサブセットを前記イベントで調整する手段と、
    前記イベントと前記複数の候補ソーシャルメディアのコンテンツアイテムの前記サブセットとの間のアライメントを収集するデータ記憶と、
    を備えることを特徴とするシステム。
16. 前記イベントに関連する注釈からイベント特徴を抽出する手段と、
    前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出する手段と、
    前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングする手段と、
    をさらに含むことを特徴とする請求項１５に記載のシステム。
17. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付ける手段をさらに含むことを特徴とする請求項１６に記載のシステム。
18. 候補ソーシャルメディアのコンテンツアイテムの前記関連するサブセットの前記信頼性スコアを集計して、総スコアを生成する手段と、
    前記総スコアに基づいて前記イベントにおけるソーシャルインタレストレベルを決定する手段と、
    をさらに含むことを特徴とする請求項１５に記載のシステム。
19. ソーシャルメディアのコンテンツアイテムをタイムベースメディア内のイベントに関連付けるシステムであって、
    コンピュータプロセッサと、
    前記コンピュータプロセッサ上で実行されるように構成されたコンピュータプログラムモジュールを格納するコンピュータ読取り可能記憶媒体とを備え、前記コンピュータプログラムモジュールは、
    候補ソーシャルメディアのコンテンツアイテムの各々について、前記候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定し、各々の信頼性スコアに基づいて、前記複数の候補ソーシャルメディアのコンテンツアイテムのサブセットを前記イベントで調整するように構成されたメディア／イベントアライメントエンジンと、
    前記イベントと、前記複数の候補ソーシャルメディアのコンテンツアイテムの前記サブセットとの間のアライメントを収集するデータ記憶と、
    を備えることを特徴とするシステム。
20. 前記コンピュータプログラムモジュールは、
    前記イベントに関連する注釈からイベント特徴を抽出し、前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するように構成された比較特徴抽出エンジンをさらに含み、
    前記メディア／イベントアライメントエンジンは、前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングするようにさらに構成されることを特徴とする請求項１９に記載のシステム。
21. 前記コンピュータプログラムモジュールは、
    前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付けるように構成された注釈エンジンをさらに含むことを特徴とする請求項２０に記載のシステム。
22. 前記コンピュータプログラムモジュールは、
    前記候補ソーシャルメディアのコンテンツアイテムの前記関連するサブセットの前記信頼性スコアを集計して、総スコアを生成し、
    前記総スコアに基づいて前記イベントにおけるソーシャルインタレストレベルを決定するように構成されたソーシャルインタレスト推定器をさらに含むことを特徴とする請求項１９に記載のシステム。
23. ソーシャルメディアのコンテンツアイテムをタイムベースメディア内のイベントにマッピングするシステムであって、
    複数のメタデータインスタンスを、タイムベースメディア内のイベントに対応する前記タイムベースメディアのセグメントに調整して、注釈付きイベントを形成するように構成されたメタデータアライメントエンジンと、
    前記注釈付きイベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムを前記注釈付きイベントにマッピングするように構成されたメディア／イベントアライメントエンジンと、
    を備えることを特徴とするシステム。
24. タイムベースメディア内のイベントにおけるソーシャルインタレストを表示するコンピュータ実行方法であって、
    タイムベースメディアにおいて発生する一連のイベントを選択するステップであって、
    各々のイベントは、前記タイムベースメディア内の一連の時系列の時間セグメントのうちの１つに関連するステップと、
    前記時間セグメントのうちの１つに関連する各イベントについて、前記イベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムからの前記イベントにおけるソーシャルインタレストレベルを決定するステップと、
    前記時間セグメントの各々について、前記時間セグメントで調整された前記イベントにおける総計のソーシャルインタレストレベルに基づいて前記時間セグメントにおけるソーシャルインタレストレベルを決定するステップと、
    各時間セグメントにおける前記ソーシャルインタレストレベルをグラフィカルに表示するステップと、
    を備えることを特徴とするコンピュータ実行方法。
25. 各時間セグメントをグラフィカルに表示するステップは、様々なイベントタイプが各々視覚的に異なるように前記様々なイベントタイプを表示するステップを含むことを特徴とする請求項２４に記載のコンピュータ実行方法。
26. 検索語に従って前記時間セグメントをフィルタリングするステップをさらに備え、前記グラフィカルに表示するステップは、前記検索語に対応する前記一連の時系列の時間セグメントのサブセットだけを表示することを特徴とする請求項２４に記載のコンピュータ実行方法。
27. 前記各時間セグメントをグラフィカルに表示するステップは
    肯定的な感情に対応する前記時間セグメントの第１の部分を決定するステップと、
    否定的な感情に対応する前記時間セグメントの第２の部分を決定するステップと、
    前記時間セグメントの前記第１の部分および第２の部分が視覚的に互いに区別された状態で前記時間セグメントを表示するステップと、
    を含むことを特徴とする請求項２４に記載のコンピュータ実行方法。
28. 前記複数の候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定するステップをさらに備え、
    前記イベントに関連する注釈からイベント特徴を抽出するステップと、
    前記複数の候補ソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出するステップと、
    前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングするステップと、
    をさらに含むことを特徴とする請求項２４に記載のコンピュータ実行方法。
29. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付けるステップをさらに含むことを特徴とする請求項２８に記載のコンピュータ実行方法。
30. タイムベースメディア内のイベントにおけるソーシャルインタレストを表示するシステムであって、
    タイムベースメディアにおいて発生する一連のイベントを選択する手段であって、各々のイベントは、前記タイムベースメディア内の一連の時系列の時間セグメントのうちの１つに関連する手段と、
    前記時間セグメントのうちの１つに関連する各イベントについて、前記イベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムからの前記イベントにおけるソーシャルインタレストレベルを決定する手段と、
    前記時間セグメントの各々について、前記時間セグメントで調整された前記イベントにおける総計のソーシャルインタレストレベルに基づいて前記時間セグメントにおけるソーシャルインタレストレベルを決定する手段と、
    各時間セグメントにおける前記ソーシャルインタレストレベルをグラフィカルに表示する手段と、
    を備えたことを特徴とするシステム。
31. 各時間セグメントをグラフィカルに表示する手段は、様々なイベントタイプが各々視覚的に異なるように前記様々なイベントタイプを表示する手段を含むことを特徴とする請求項３０に記載のシステム。
32. 検索語に従って前記時間セグメントをフィルタリングする手段をさらに備え、前記グラフィカルに表示する手段は、前記検索語に対応する前記一連の時系列の時間セグメントのサブセットだけを表示することを特徴とする請求項３０に記載のシステム。
33. 各時間セグメントをグラフィカルに表示する前記手段は、
    肯定的な感情に対応する前記時間セグメントの第１の部分を決定する手段と、
    否定的な感情に対応する前記時間セグメントの第２の部分を決定する手段と、
    前記時間セグメントの前記第１の部分および第２の部分が視覚的に互いに区別された状態で前記時間セグメントを表示する手段と、
    を含むことを特徴とする請求項３０に記載のシステム。
34. 前記複数の候補ソーシャルメディアのコンテンツアイテムが前記イベントに関連する確率を示す信頼性スコアを決定する手段をさらに備え、
    前記イベントに関連する注釈からイベント特徴を抽出する手段と、
    前記複数のソーシャルメディアのコンテンツアイテムからソーシャルメディア特徴を抽出する手段と、
    前記イベント特徴と前記ソーシャルメディア特徴との関係に基づいて、前記イベントを前記候補ソーシャルメディアのコンテンツアイテムにマッピングする手段と、
    をさらに含むことを特徴とする請求項３０に記載のシステム。
35. 前記イベントに関連するメタデータインスタンスを使用して前記注釈で前記イベントに注釈を付ける手段をさらに含むことを特徴とする請求項３４に記載のシステム。
36. タイムベースメディア内のイベントにおけるソーシャルインタレストを表示するシステムであって、
    コンピュータプロセッサと、
    前記コンピュータプロセッサ上で実行されるように構成されたコンピュータプログラムモジュールを格納するコンピュータ読取り可能記憶媒体とを備え、前記コンピュータプログラムモジュールは、
    タイムベースメディアにおいて発生する一連のイベントを格納するように構成されたマルチメディア記憶であって、各々のイベントは、前記タイムベースメディア内の一連の時系列の時間セグメントのうちの１つの関連する、マルチメディア記憶と、
    前記時間セグメントのうちの１つに関連する各イベントについて、前記イベントに関連する複数の候補ソーシャルメディアのコンテンツアイテムからの前記イベントにおけるソーシャルインタレストレベルを決定し、前記時間セグメントの各々について、前記時間セグメントで調整された前記イベントにおける総計のソーシャルインタレストレベルに基づいて前記時間セグメントにおけるソーシャルインタレストレベルを決定するように構成されたソーシャルインタレスト推定器と、
    各時間セグメントにおける前記ソーシャルインタレストレベルをグラフィカル表示するように構成されたユーザインターフェースエンジンと、
    を備えたことを特徴とするシステム。
37. 各時間セグメントの前記グラフィカル表示は、様々なイベントタイプが各々視覚的に異なるように前記様々なイベントタイプの表示を含むことを特徴とする請求項３６に記載のシステム。
38. 検索語に従って前記時間セグメントをフィルタリングするように構成された領域オントロジエンジンをさらに備え、前記グラフィカル表示は、前記検索語に対応する前記一連の時系列の時間セグメントのサブセットだけを表示することを特徴とする請求項３６に記載のシステム。
39. 前記イベントに関連するメタデータインスタンスを使用して、注釈で前記イベントに注釈を付けるように構成された注釈エンジンをさらに含むことを特徴とする請求項３６に記載のシステム。

Images