JP5571556B2 - ビデオ内ブックマーキング - Google Patents

Description

本発明はマルチメディア処理に関し、より具体的には双方向ビデオ処理に関する。

ビデオ及びビデオ広告は、インターネットに関する技術の次の波である。この現象は、インターネット上でのビデオ視聴を可能にするブロードバンドネットワーク接続、ビデオフォーマットの形で表示される広告、ユーザが生成したビデオコンテンツの評判、コンテキスト広告などのいくつかの局面を有する。

ビデオに広告を挿入するという概念は関心領域である。より具体的には、ユーザが生成したビデオコンテンツに広告を挿入するという概念は、プレミアムコンテンツに広告を挿入するという概念と同様に興味深い。プレミアムコンテンツとは、コマーシャルムービーから得られるコンテンツなどの、専門家が専門目的のために作成したコンテンツのことである。

ビデオプログラムストリーム内の、別のプログラムへの切り換えを行うことができるポイントのことを本明細書では挿入ポイントと呼ぶ。挿入されるプログラムが広告である場合、この挿入ポイントのことを本明細書では広告挿入ポイントと呼ぶ。現在のところ、プレミアムコンテンツ内の広告挿入ポイントは手動で決定される。

インターネットの主要テーマは双方向性である。今やユーザは、インターネット上の広告が双方向的すなわちクリック可能であることを期待する。クリック可能ビデオはハイパービデオと呼ばれる。ハイパービデオ上のクリック可能領域は、ビデオホットスポットと呼ばれる。従って、ハイパービデオは、ビデオ内の領域又はオブジェクトをクリック可能にしなければならないという前提に基づく。ユーザがハイパーテキストをクリックすると同時に、ホットスポットをクリックしたユーザは、新たなすなわちさらなる情報に到達することができる。通常このような情報は、ビデオ、ウェブページ、電子メールアドレスなどの形をとる。

ビデオ視聴は、ユーザにとって経時的経験であることを理解されたい。すなわち、通常、ビデオには、始まり、中間、及び終わりがある。ユーザは、ビデオを始まりから開始して終わりまで再生する。ディスプレイ上で再生されるビデオに加え、ユーザに広告ビデオ、広告ウェブページなどへのリンクが提示されている状況を考えてみる。ユーザは、ホットスポット又はウェブページへのリンクなどをクリックすることに関心があるかもしれない。しかしながら、ユーザがホットスポット又はウェブページへのリンクをクリックすると、ホットスポットに関連する広告ビデオ、又はリンクに関連するウェブページが直ちにユーザに表示される。ビデオ広告の表示又は表示されるウェブページなどは、必然的にユーザのビデオストリームを視聴するという経時的経験を何らかの形で中断し、又は妨げる。例えば、ビデオ広告は、ビデオ広告が終わるまで、ユーザが見ていたビデオに一時的に取って代わることができる。別の例では、最初のビデオストリームを再生し続けている間に、ディスプレイ上の異なる領域でビデオ広告を再生することができる。ホットスポット又はウェブページへのリンクのクリックが、ビデオストリームを見ているユーザの経時的経験を中断することを理解されたい。ひょっとすると、ユーザが広告の閲覧又は関連ウェブページへのリンクに関心を持つこともあり得る。しかしながら、多くの場合ユーザは、現在表示されているビデオストリームの方に関心がある。従って、広告を再生するためにビデオがクリック可能であり、又はリンクが提示されているような構成では、ユーザは通常、ビデオホットスポット又は広告へのリンクをクリックすることはないと理解されたい。通常、ユーザはビデオを中断したいとは思わない。ビデオ又はビデオ広告をクリックすることにより、継続性が損なわれる可能性がある。

Ｇｏｏｇｌｅ（商標）はこの程、双方向インジケータとしてオーバーレイ広告フォーマット（「オーバーレイ・アド・フォーマット」）を導入した。２００７年８月２２日付の、Ｍｉｇｕｅｌ Ｈｅｌｆｔによる「グーグル、ＹｏｕＴｕｂｅを広告で収益化へ」というニューヨークタイムズ紙のオンライン記事において、Ｇｏｏｇｌｅのオーバーレイ・アド・フォーマットの機能が解説されている。記事では、ユーザがビデオクリップを見始めた１５秒後に広告が表示される。広告は、ユーザの画面の下部１／５にオーバーレイされる。このオーバーレイは、テレビのニュース番組中に表示される見出しテロップと類似する。広告オーバーレイでは、ユーザがオーバーレイを無視して、これを約１０秒後に非表示にすることができる。ユーザは広告オーバーレイを閉じることもできる。或いは、ユーザは広告オーバーレイをクリックすることもできる。ユーザが広告オーバーレイをクリックした場合、ユーザが見ていたビデオが中断し、広告オーバーレイに関連するビデオ広告が再生し始める。広告が再生し終わると、又は広告を閉じるためにユーザがボックスをクリックすると、元のビデオが再生を中断していた時点から再生を再開する。

この項で説明するアプローチは追求できるアプローチではあるが、必ずしも以前から想到又は追求されていたアプローチではない。従って、他に指示がない限り、この項で説明するアプローチのいずれかを、単にこの項に含まれているという理由で従来技術として見なすべきではない。

Ｃ．Ｃａｉ、Ｋ．Ｍ．Ｌａｍ、及びＺ．Ｔａｎｂ、「香港科学技術大学でのＴＲＥＣＶＩＤ２００５実験：多段階比較方式に基づくショット境界検出」、及び「ＴＲＥＣＶＩＤワークショップ、ＮＩＳＴ特別出版、２００５」 Ｍ．Ｓｌａｎｅｙ、Ｄ．Ｐｏｎｃｅｌｅｏｎ、及びＪ．Ｋａｕｆｍａｎ、マルチメディアに関する第９回ＡＣＭ国際会議の議事録「マルチメディアエッジ：全次元における階層の発見」２９〜４０ページ、２００１年

本発明を限定ではなく例示として添付図面の図に示し、図中では同様の参照数字が類似の要素を示す。

遅延双方向ビデオアーキテクチャの実施形態の構成要素を示す概略図である。 実施形態によるビデオプレーヤのスクリプトを示すフロー図である。 実施形態を実施できるコンピュータシステムを示すブロック図である。

以下の説明では、本発明を完全に理解するために、説明を目的として数多くの特定の詳細を示す。しかしながら、これらの特定の詳細を伴わずに本発明を実施できることが明らかであろう。その他の場合、本発明を不必要に曖昧にしないように、周知の構造及び装置についてはブロック図形式で示す。

ビデオを見て、さらにはビデオ又は広告をクリックするユーザのために中断のない双方向性を実現するための方法及び処理を提供する。本明細書では、遅延双方向性のための方法及び処理を提供する。ある実施形態では、遅延双方向性が遅延挿入の形で実現される。ユーザがハイパービデオ内のオブジェクトをクリックすると、関連情報の表示、又は関連情報に関するいずれかの動作が直ちに再生又は表示されるのではなく保留される。ある実施形態では、ハイパービデオ内のクリックによって保留動作を行うために、広告が論理的挿入ポイントに配置される。ムービービデオに広告を挿入するための論理的挿入ポイントの例として、シーン変化に対応するポイントが挙げられる。

遅延双方向性は、ビデオブックマークの形で実現される。ユーザがハイパービデオをクリックすると、或いはユーザが実際の広告をクリックすると、関連情報が記憶すなわちブックマークされる。ある実施形態では、関連情報がビデオコンテンツとともに記憶される。関連情報をブックマークすることにより、ユーザは後程、及びユーザの都合が良いときに関連情報をたどることができる。

実施例
例えば、ユーザがジェームズボンドのビデオを見ながら、ジェームズボンドが運転している車の情報が欲しいという理由でその車をクリックすることができる。しかしながら、以前のアプローチの中には、ジェームズボンドが運転している車をクリックすると、ジェームズボンドのビデオのフローが中断してしまうものもあった。ジェームズボンドのビデオ及びその他の多くの種類のビデオなどのビデオの本質は、本来は経時的なものである。従って、ビデオのためのいずれの双方向パラダイムも、ビデオの経時的連続性に逆らうべきではない。

熱烈なジェームズボンドファンが、ジェームズボンドの車などのジェームズボンドが使用する変わった道具に実際に関心を持った場合には、インタラクションを許可すべきである。しかしながら、インタラクションが直ちにビデオのフローを中断すべきではない。ある実施形態では、ジェームズボンドのビデオのフローを直ちに中断しないように遅延双方向性が加えられる。本明細書における遅延双方向性とは、ユーザがビデオをクリックしたりしてビデオとやりとりし、このやりとりの効果が遅延することを意味する。

ある実施形態では、遅延の量がアプリケーション固有となる。ある実施形態では、次の対応できる広告ポイントで関連情報が再生される。別の実施形態では、インタラクションがブックマークされる。ユーザがインタラクションをブックマークすると、ユーザは後程、及びユーザの都合が良いときに情報を閲覧することができる。

一例として、ユーザがジェームズボンドの車をクリックすると、ユーザの機械にＵＲＬ及び８００の電話番号をファイルの形で記憶することができる。後程、ユーザはＵＲＬへのリンクを要求し、又は恐らく８００の電話番号に電話することができる。この後程の時点で、ユーザはブックマークを取り出す。すなわち、ユーザは、通常のファイルアクセス動作を通じてファイルを開き、ＵＲＬにリンクし、又は８００の電話番号に電話する。ブックマークはあらゆる数の方法で取り出すことができることを理解されたい。例えば、事前に設定したタイマに基づいてブックマークを自動的に取り出すことができる。別の実施構成では、すでにクライアントの機械上に作成されているファイルにＵＲＬ及び８００の電話番号が追加される。この実施形態では、ファイルがブックマークのリストを含む。後程、ユーザは、通常のユーザインターフェイス機能を介して、ブックマークのリストを表示するファイルを開き、リストから関心のあるブックマークを取り出す。

以下、遅延双方向性、遅延挿入及びビデオブックマークの２つの実施構成についてさらに詳細に説明する。

ビデオ内の遅延広告挿入
ある実施形態では、広告ポイントの集合が提供される。広告ポイントとは、ビデオストリームをユーザの観点から見た論理セグメントに分割するビデオストリーム内のポイントのことである。広告ポイントは、広告ビデオ又はその他の関連情報を挿入できるビデオストリーム内の論理的場所である。

ある実施形態では、広告ポイントの集合を決定する際に、ある技術を使用する。この技術は、スケール空間解析（ＳＳＡ）にショット境界検出を結合したものである。ショットとは、連続したカメラの動きを通じて取り込んだ中断のない一連のフレームのことである。１つのショットから別のショットへの遷移は突然行われる場合も、或いは緩やかに行われる場合もあり、この結果ショット境界が生じる。ショットがまだ続いている間は広告を再生すべきではないというのが論理的である。従ってある実施形態では、広告配置位置を定めるための基礎としてショット境界が一部使用される。スケール空間解析技術は、信号を複数のスケールで解析し、突然の閃光、インパルス雑音などの一時的な局所的変化から生じる偽の途切れに対するロバスト性を与える。さらに、ＳＳＡは、大幅なシーンの遷移のみを取り出して、同様のショットをグループ化する力を有する。

ショット境界の検出は広い研究分野である。ショット境界を探し出すために数多くの技術が考案されてきた。例えば、Ｃ．Ｃａｉ、Ｋ．Ｍ．Ｌａｍ、及びＺ．Ｔａｎｂは、「香港科学技術大学でのＴＲＥＣＶＩＤ２００５実験：多段階比較方式に基づくショット境界検出」において、及び「ＴＲＥＣＶＩＤワークショップ、ＮＩＳＴ特別出版、２００５」において、多段階フレーム比較を使用したショット境界検出技術について説明している。これらの文献の各々は、その全体が引用により本明細書に組み入れられる。

Ｍ．Ｓｌａｎｅｙ、Ｄ．Ｐｏｎｃｅｌｅｏｎ、及びＪ．Ｋａｕｆｍａｎにより、マルチメディアに関する第９回ＡＣＭ国際会議の議事録の形で「マルチメディアエッジ：全次元における階層の発見」２９〜４０ページ、２００１年にスケール空間解析技術例が記載されており、この文献の全体が引用により本明細書に組み入れられる。Ｍ．Ｓｌａｎｅｙ、Ｄ．Ｐｏｎｃｅｌｅｏｎ、及びＪ．Ｋａｕｆｍａｎは、オーディオビジュアル特性を多重スケールで解析することによりビデオをセグメント化するためのフレームワークについて基本的に説明している。セグメンテーション境界とは、ビデオ内の大幅な全体的遷移のことであると説明されている。

上記から分かるように、全てのショットの途切れが広告の配置に適した候補であるというわけではないので、ショットの途切れの検出は、広告挿入位置を識別する際の第１のステップにすぎない。例えば、ムービー内の２人の俳優間の会話は、カメラの焦点を一方の俳優から他方の俳優へと変更させ続け、結果として１つの会話内にいくつかのショットの途切れを生じる。しかしながら、このような挿入ポイント（ショットの途切れ）のいずれかに広告を配置することは不適切であり、視聴者を苛立たせるだけである。従って、１つのシーン内のショットの途切れを排除して、異なるシーン間の大幅な遷移を表す途切れのみを保つというシーンの途切れの概念を適用することが望ましい。ある実施形態では、本明細書で上述したようなスケール空間解析を使用してショット境界技術の出力をフィルタリングすることにより、異なるシーン間の大幅な遷移を表す途切れを保つことを実現することができる。

さらに、別の実施形態では、ビデオコンテンツ分析を使用して、広告ポイントに対応する適切な広告を識別する。例えば、識別される広告は、見込みユーザの関心に一部基づくことができる。ユーザがビデオを視聴している間にオブジェクトをクリックした場合、ユーザの関心は明らかである。ユーザがオブジェクトに関心を持っているという明示から適切な広告が識別される。識別された広告は、必ずしもユーザがオブジェクトをクリックした時点で再生されるわけではない。代わりに、識別された広告は、次の対応できるふさわしい広告ポイントで再生される。この識別された広告を次のふさわしい広告ポイントで再生する方法では、ビデオの連続性及びビデオの経時的性質が保たれる。

ユーザは、遅延広告を挿入した結果のより多くの経験を得るにつれて、情報及び／又は広告がビデオを中断して表示されるのは対照的に、ユーザが求める情報及び／又は広告の表示が適切な時間に行われることをより強く確信するようになると理解されたい。従って、ユーザの確信が強固なものとなり又は高まるにつれて、ユーザは、ハイパービデオ又はビデオ広告をより頻繁にクリックする傾向となる。

ビデオ内ブックマーキング
ビデオブックマーキングの実施形態について、以下のように一例として説明する。ユーザが、ハイパービデオ上のホットスポットをクリックする。これに応答して、ＵＲＬを含む対応するビデオ広告が、必ずしも直ぐにではなく次の適切な広告ポイントで再生される。ホットスポットとは、マウスクリックなどによる何らかの方法で選択可能なビデオディスプレイ上の領域のことである。この例では、ユーザが、ビデオ広告内に表示されたＵＲＬへのリンクを望んでいない。ユーザが、ＵＲＬに関連するウェブページをその時点で訪れたいと思わないかもしれない。にも関わらず、この例では、ビデオ広告内の情報、並びにＵＲＬ及び対応するウェブページに関する情報がユーザにとって重要となる。従ってこの例では、及びある実施形態によれば、ＵＲＬホットスポットをクリックするという行為の結果、ビデオ広告、ＵＲＬ、及び関連ウェブページに関する情報のセーブが行われる。

ビデオストリームに関する情報及びＵＲＬなどのその他の関連情報をセーブするという行為を、情報の「ブックマーキング」と呼ぶ。ある実施形態では、関連するデータファイル又はデータストリームからブックマークされる情報を取得することができる。関連するデータストリームの例にＸＭＬストリームがある。ある実施形態では、ブックマークが、ＵＲＬ、電話番号、デジタル画像などを含むことができる。別の実施形態では、ブックマークを既存のブックマークのリストに追加することができる。

ブックマークは、ユーザの都合が良いときに取り出し可能である。ブックマークは、ブックマークを保存した時点よりも後の時点で取り出し可能である。１つの実施形態では、ユーザが、局所的に又は遠隔的に記憶されたブックマークファイルを開くことなどにより、通常のファイルシステム動作を通じてブックマークを取り出す。別の実施形態では、ユーザがブックマークのリストを開き、例えば通常のファイルシステム動作又は通常のユーザインターフェイス機能によって関心のあるブックマークを選択することにより、ブックマークを取り出すことができる。

例示的な遅延双方向性アーキテクチャ
遅延双方向性アーキテクチャ例について図１を参照しながら説明する。図１は、遅延双方向ビデオシステム及び処理の実施形態の構成要素を示す概略図である。最初に、ビデオのショット境界検出及びスケール空間解析の組み合わせを使用して広告挿入ポイントを選択する。検出された広告挿入ポイントが、ビデオを論理セグメントに分割する。セグメントを解析して様々な要素を判定する。例えば、ブランド又は有名人の存在を判定することができる。ブランド又は有名人の存在は、コンテキスト広告を選択するためのメタデータの作成に役立つことができる。１つの実施形態では、作成されるメタデータと一体になった広告位置がプログラム挿入モジュールへ送信され、ここで適切な広告がビデオに挿入される。挿入は、事前に設定したビジネス規則、並びに自動的に生成されたメタデータに基づくことができる。他の実施形態では、別個のベンダがメタデータを生成する処理及び広告挿入処理を実行できることを理解されたい。ユーザがビデオを見ている場合、ホットスポットをクリックしたり、或いは広告をクリックしたりなどのいずれかの双方向イベント時に、提案するビデオプレーヤ機能が遅延インタラクションを容易にする。以下、さらなる詳細について説明する。

デジタルビデオ又はデジタルビデオ片（「ビデオストリーム」）が、ネットワークを介してサーバ上の入力ビデオモジュール１０２に入力される。入力ビデオモジュール１０２は、入力ビデオストリームから視覚特性及びオーディオトラックを抽出する。抽出された視覚特性がショット境界検出モジュール１０４へ送信され、スケール空間解析モジュール（ＳＳＡ）１０６へも送信される。抽出されたオーディオトラックもＳＳＡモジュール１０６へ送信される。入力ビデオストリームがデジタルプログラム挿入モジュール１１２へ送信される。入力ビデオモジュール１０２はオブジェクト検出データを抽出し、このオブジェクト検出データを論理セグメント分析モジュール１０８へ送信する。オブジェクション検出データとは、オブジェクトを識別するデータのことである。オブジェクトの例には、タイガーウッズの顔などの有名人の顔がある。オブジェクト検出データは、有名人の顔を表すデータを含む。このように、オブジェクト検出データを使用して、オブジェクトに関する広告、例えばタイガーウッズに関するより多くの広告を検索及び発見することができる。

ショット境界検出モジュール１０４は、ショットポイント（「ショットの途切れ」）を判定し、判定したショットの途切れをＳＳＡ１０６へ送信する。ＳＳＡ１０６は、送信された視覚特性、送信されたショットの途切れ、及び送信されたオーディオトラックを解析し、これらから論理的挿入ポイントを決定する。決定された論理的挿入ポイントがデジタルプログラム挿入モジュール１１２へ送信され、論理セグメント分析モジュール１０８へも送信される。ある実施形態では、論理セグメント分析モジュール１０８において、個々の決定された論理的挿入ポイントごとに、近接するビデオセグメントをさらに解析して広告マッチングのためのキューを抽出する。広告マッチングとは、ターゲット視聴者のプロフィール（行動ターゲティング）又はビデオコンテンツのいずれかに基づいて広告を選択する処理のことである。図１に示す実施形態では、論理セグメント分析モジュール１０８が、受信したオブジェクト検出データから及び受信した論理的挿入ポイントから少なくとも一部広告マッチングキューを決定する。論理セグメント分析モジュール１０８は、広告マッチングキューをデジタルプログラム挿入モジュール１１２へ送信する。ある実施形態では、論理セグメント分析モジュール１０８が、広告マッチングキューを論理的挿入ポイントとバンドルし、このバンドルをデジタルプログラム挿入モジュール１１２へ送信する。

実施構成例として、ある実施形態では、論理セグメント分析モジュール１０８が、入力ビデオストリーム内の俳優又はスポーツ選手の認識に基づいて広告マッチングキューの抽出を行う。場合によっては、同じパーソナリティにより承認された広告の方が、視聴者により大きなインパクトを与えることができる。

デジタルプログラム挿入モジュール１１２は、ネットワークを介して広告在庫レポジトリ１１０とやりとりする。デジタルプログラム挿入モジュール１１２は、挿入するための広告を広告在庫レポジトリ１１０から受信する。同様に、デジタルプログラム挿入モジュール１１２は、受信した広告を入力ビデオストリーム内の適切なポイントに挿入する。ある実施形態では、デジタルプログラム挿入モジュール１１２が、論理セグメント分析モジュール１０８又はその他のビジネス論理から受信した広告マッチングキューに少なくとも一部基づいて、挿入する広告及び広告を挿入する場所を決定する。ある実施形態では、デジタルプログラム挿入モジュール１１２が、挿入した広告に関するメタデータを生成する。例えば、生成されるメタデータは、広告に関連するＵＲＬを含むＸＭＬファイルであってもよい。同様に、ある実施形態では、ビデオと広告との間の遷移をより明確にするために、デジタルプログラム挿入モジュール１１２が、論理的挿入ポイントにフェードトゥブラック効果を導入することができる。

デジタルプログラム挿入モジュール１１２は、論理的挿入ポイントに挿入した広告を含む出力ビデオストリームを出力する。デジタルプログラム挿入モジュール１１２はまた、出力ビデオストリームを出力ビデオストア１１４に配置する。ある実施形態では、デジタルプログラム挿入モジュール１１２がまた、生成されたメタデータを単独で、又は出力ビデオストリームとともに出力する。ユーザ１１６が出力されたビデオを視聴したい場合、ユーザ１１６は出力ビデオストア１１４にアクセスすることができる。

出力ビデオストリームは、少なくとも入力ビデオストリームを含む。ある実施形態では、出力ビデオストリームの論理的挿入ポイントに１又はそれ以上の広告が埋め込まれる。別の実施形態では、出力ビデオストリームの論理的挿入ポイントに１又はそれ以上の広告を埋め込むことに加え、１又はそれ以上の広告に関するデータを含むメタデータが出力ビデオストリームに結合される。出力ビデオストリームに結合されるメタデータの例には、ＵＲＬ及び電子メールアドレスを含むファイルがある。

論理的挿入ポイントで再生される広告を再生及び提供するための、ユーザに対してビデオストリームのプロビジョニングを実行する方法は数多く存在し、これらは本明細書で説明する遅延双方向性の思想及び範囲内にある。例えば、ある実施形態によれば、ビデオプレーヤ内のスクリプトが、ビデオストリーム及びビデオストリームに対応するＸＭＬファイルを読み込む。広告ポイントに出くわすと、関連するメタデータから決定されたコンテキスト広告又はビジネス論理に基づいて事前に決定された広告のいずれかの再生が開始する。広告が再生されている間は、現在のアクティブなビデオストリームの状態が維持される。広告が終了すると、ビデオストリームは、その以前の状態から再生を再開する。換言すれば、ビデオストリームの論理セグメントが再生され、次に広告が再生され、次にビデオストリームの次の論理セグメントを再生することにより、ビデオストリームが再生を再開する。

別の実施形態では、ユーザ１１６が、出力ビデオストア１１４から出力ビデオストリームにアクセスする。出力ビデオストリームを視聴することに加え、広告に関連する視覚インジケータがユーザ１１６に表示される。例えば、ユーザ１１６は、タイガーウッズのビデオを見ていることができる。タイガーウッズのビデオの上方部分は、製品の名前を示す製品表示領域であってもよい。この実施形態では、タイガーウッズのビデオが再生されている間に、ユーザ１１６が製品表示領域をクリックする。ユーザ１１６が製品表示領域をクリックした時点でタイガーウッズのビデオが中断されるのではなく、次のふさわしい広告ポイントまでタイガーウッズのビデオが再生し続けられる。タイガーウッズのビデオが次のふさわしい広告ポイントに達すると、製品の広告が表示される。広告は、別のビデオ、ウェブページへのハイパーリンク、コンタクト情報などであってもよい。

ある実施形態では、ユーザ１１６が広告ポイントで再生される広告を見て、より多くの情報を所望する。ユーザ１１６は、広告又はその領域（ホットスポット）をクリックする。ユーザ１１６が広告又は広告上のホットスポットをクリックすると、広告に関連するデータがブックマークされ、すなわちブックマーク記憶ユニット１１８に記憶される。ブックマーク記憶ユニット１１８は、ユーザのシステムにローカルに常駐することができる。別の実施形態では、ブックマーク記憶ユニット１１８が遠隔でサーバに記憶される。ある実施形態では、ブックマーク記憶ユニット１１８が参照データ１２０を例えばファイルの形で記憶し、この記憶された参照データは、後程再生され、表示され、又は見直しのための他のあらゆる方法によりアクセスされるデータ又はデータへの参照を含む。

別の実施形態では、ユーザ１１６がホットスポットをクリックした後に、関連情報がユーザのシステム上で記憶又はブックマークされる。例えば、ユーザ１１６がホットスポットをクリックし、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈ内の共有オブジェクトを使用して、ユーザのシステム上で関連情報をブックマークすることができる。この例では、次のふさわしい広告ポイントが発生した時点で広告を再生することにより、遅延双方向性が実現される。１つの実施構成では、ビデオフレーム全体がホットスポットとなる。この実施構成では、広告ポイントファイルがブックマークされるデータを含む。従って、ビデオをダウンロードすることにより、ブックマーク情報のモジュラー転送が可能になる。さらに、この例では、以前のビデオの構成が、個々のビデオフレームを、各々が別のホットスポットのブックマーク情報とは異なり得るブックマーク情報に関連する異なるホットスポットに分割することを反映する。

例示的な遅延双方向性処理フロー
例示的な遅延双方向性処理について、ある実施形態によるビデオプレーヤ処理フロー（２００）を示すフロー図である図２を参照しながら説明する。ビデオプレーヤ処理フロー（２００）によれば、ユーザがビデオを見ている場合、ホットスポットをクリックしたり、又は広告をクリックしたりなどのあらゆる双方向イベントが遅延動作につながる。以下で説明する実施形態の詳細は例示のみを目的とするものであり、限定的であることを意味するものではないことを理解されたい。

ビデオプレーヤ処理フロー（２００）は、ビデオストリーム、及び論理的広告挿入ポイントを含むＸＭＬ広告ポイントファイルがビデオプレーヤ（２０２）にロードされることから開始する。ビデオプレーヤが、ＸＭＬ広告ポイントファイルを構文解析して広告ポイントを抽出する。ビデオプレーヤが、抽出した広告ポイントをビデオストリームに埋め込む（２０４）。ビデオプレーヤが、埋め込んだ広告ポイントを含むビデオストリームを再生する（２０６）。

ユーザインタラクションが行われなければ（２０８）、適切な広告ポイントにおいて、ビデオプレーヤが広告をアップロードする（２１８）。ビデオプレーヤはビデオストリームの状態を維持する（２２０）。例えば、ビデオプレーヤは、ビデオストリームの状態をローカルクッキーに記憶することによりビデオストリームの状態を維持することができる。ビデオストリームの状態の記憶後又は記憶中に、ビデオプレーヤは広告を再生又は表示する（２２２）。同様に広告もビデオストリームであってよいことを理解されたい。広告は、ウェブページへのハイパーリンクであってもよい。このような例は、例示を意味するものであるにすぎず限定を意味するものではない。広告を再生した後のある時点において、ビデオプレーヤは、ビデオストリームの状態を使用してビデオストリームの再生を続行する。このようにして、ユーザがビデオストリームを見ている間に継続性が失われることを経験しないように、広告が論理的広告ポイントで挿入される。映画のシーンの後などの、ビデオストリーム内の論理的ポイントでユーザに広告が示される。

ユーザが、ホットスポットをクリックすることなどによりビデオとやりとりした場合、ビデオプレーヤは、ビデオストリームに関するデータをブックマークする（２１２）。ある実施構成例では、ビデオプレーヤがフラッシュビデオプレーヤである。フラッシュビデオプレーヤは、ユーザのセキュリティポリシが、ビデオストリームに関するデータをユーザのシステムにローカルに記憶することを許可するかどうかをチェックする（２１０）。具体的には、実施構成例では、フラッシュビデオプレーヤが、ユーザのシステムへのアクセスが制限されているかどうかを判定する（２１０）。ユーザのシステムへのアクセスが制限されていなければ、フラッシュビデオプレーヤが、共有オブジェクトを一部使用してビデオストリームに関するデータをブックマークする（２１２）。制限されていれば、フラッシュビデオプレーヤは、ブックマーキングステップをスキップする（２１４）。フラッシュビデオプレーヤは適切なエラー処理を行う。ユーザがホットスポットをクリックする前、最中、及び後において、ユーザに視覚的な中断を与えることなくビデオストリームが再生され続けることを理解されたい。

ビデオストリームに関するデータがブックマークされた場合（２１２）及びビデオプレーヤがブックマーキングステップをスキップした場合（２１４）のいずれの場合でも、ビデオは次の広告ポイントまで再生され続ける（２１６）。次の広告ポイントが存在しなければ、ビデオは最後まで再生される（２２４）。ビデオが再生されている間の任意の時点において、及びユーザがビデオストリーム上でホットスポットを利用できる場合、ユーザは、いずれかのホットスポットをクリックして、ホットスポットクリックを検出するビデオプレーヤに制御を戻すことができる（２０８）。

ハードウェアの概要
図３は、本発明の実施形態を実施できるコンピュータシステム３００を示すブロック図である。コンピュータシステム３００は、情報を通信するためのバス３０２又はその他の通信メカニズム、及び情報を処理するためのバス３０２に結合されたプロセッサ３０４を含む。コンピュータシステム３００は、プロセッサ３０４により実行される情報及び命令を記憶するための、バス３０２に結合されたランダムアクセスメモリ（ＲＡＭ）又はその他の動的記憶装置などのメインメモリ３０６も含む。メインメモリ３０６は、プロセッサ３０４により実行される命令の実行中における一時的変数又はその他の中間情報を記憶するために使用することもできる。コンピュータシステム３００は、プロセッサ３０４の静的情報及び命令を記憶するための、バス３０２に結合された読出し専用メモリ（ＲＯＭ）３０８又はその他の静的記憶装置をさらに含む。情報及び命令を記憶するために、磁気ディスク又は光ディスクなどの記憶装置３１０が設けられ、バス３０２に結合される。

バス３０２を介して、コンピュータユーザに情報を表示するためのブラウン管（ＣＲＴ）などのディスプレイ３１２にコンピュータシステム３００を結合することができる。プロセッサ３０４に情報及びコマンド選択を伝えるために、英数字及びその他のキーを含む入力装置３１４がバス３０２に結合される。別の種類のユーザ入力装置として、プロセッサ３０４に方向情報及びコマンド選択を伝えてディスプレイ３１２上のカーソルの動きを制御するためのマウス、トラックボール、又はカーソル方向キーなどのカーソル制御３１６が挙げられる。通常、この入力装置は、装置が平面内で位置を特定できるようにする、（ｘなどの）第１軸及び（ｙなどの）第２軸の２つの軸の形の２つの自由度を有する。

本発明は、本明細書で説明する技術を実行するためのコンピュータシステム３００の使用に関する。本発明の１つの実施形態によれば、これらの技術は、メインメモリ３０６に含まれる１又はそれ以上の命令の１又はそれ以上のシーケンスを実行するプロセッサ３０４に応答してコンピュータシステム３００により実行される。このような命令を、記憶装置３１０などの別の機械可読媒体からメインメモリ３０６に読み込むことができる。メインメモリ３０６に含まれる一連の命令を実行することにより、プロセッサ３０４が本明細書で説明する処理ステップを実行するようになる。代替の実施形態では、ソフトウェア命令の代わりに、或いはこれと組み合わせて有線回路を使用して本発明を実施することができる。従って、本発明の実施形態は、ハードウェア回路とソフトウェアとのいずれの特定の組合せにも限定されるものではない。

本明細書で使用する「機械可読媒体」という用語は、特定の様式で機械を動作させるデータを提供することに関するあらゆる媒体を意味する。コンピュータシステム３００を使用して実現される実施形態では、例えば実行のためにプロセッサ３０４に命令を与えることなどに様々な機械可読媒体が関与する。このような媒体は、以下に限定されるわけではないが、不揮発性媒体、揮発性媒体、及び送信媒体を含む多くの形をとることができる。不揮発性媒体は、例えば、記憶装置３１０などの光又は磁気ディスクを含む。揮発性媒体は、メインメモリ３０６などの動的メモリを含む。送信媒体は、バス３０２を含む配線を含む、同軸ケーブル、銅線及び光ファイバを含む。送信媒体は、無線波及び赤外線データ通信中に生成されるような音波又は光波の形をとることができる。

機械可読媒体の共通形式として、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他のあらゆる磁気媒体、ＣＤ−ＲＯＭ、他のあらゆる光媒体、パンチカード、紙テープ、穴のパターンを含む他のあらゆる物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他のあらゆるメモリチップ又はカートリッジ、以下で説明するような搬送波、又はコンピュータが読み込むことのできる他のあらゆる媒体が挙げられる。

実行のためにプロセッサ３０４に１又はそれ以上の命令の１又はそれ以上のシーケンスを搬送する際に、様々な形の機械可読媒体を関与させることができる。例えば、最初に命令を遠隔コンピュータの磁気ディスクに記憶して搬送することができる。遠隔コンピュータは、命令を自身の動的メモリにロードし、モデムを使用して電話回線を介して命令を送信することができる。コンピュータシステム３００に対してローカルなモデムが、データを電話回線上で受信し、赤外線送信器を使用してこのデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号の形で搬送されたデータを受信することができ、また適切な回路がこのデータをバス３０２上に配置することができる。バス３０２がデータをメインメモリ３０６に搬送し、ここからプロセッサ３０４が命令を取り出して実行する。プロセッサ３０４による実行の前又は後のいずれかに、メインメモリ３０６により受信された命令を任意に記憶装置３１０に記憶することができる。

コンピュータシステム３００は、バス３０２に結合された通信インターフェイス３１８を含む。通信インターフェイス３１８は、ローカルネットワーク３２２に接続されたネットワークリンク３２０に結合する双方向データ通信を提供する。例えば、通信インターフェイス３１８は、対応する種類の電話回線へのデータ通信接続を提供するための統合デジタル通信サービス網（ＩＳＤＮ）カード又はモデムであってもよい、。別の例として、通信インターフェイス３１８は、互換性のあるＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクを実現することもできる。あらゆるこのような実施構成において、通信インターフェイス３１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気、電磁又は光信号を送受信する。

通常、ネットワークリンク３２０は、１又はそれ以上のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク３２０は、ローカルネットワーク３２２を介してホストコンピュータ３２４に又はインターネットサービスプロバイダ（ＩＳＰ）３２６により動作されるデータ装置に接続を提供することができる。さらにＩＳＰ３２６は、現在では一般に「インターネット」３２８と呼ばれるワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク３２２及びインターネット３２８はともに、デジタルデータストリームを搬送する電気、電磁又は光信号を使用する。コンピュータシステム３００との間でデジタルデータを搬送する、様々なネットワークを介する信号、及び通信インターフェイス３１８を介するネットワークリンク３２０上の信号は、情報を伝送する搬送波の例示的な形である。

コンピュータシステム３００は、（単複の）ネットワーク、ネットワークリンク３２０及び通信インターフェイス３１８を介してメッセージを送信するとともに、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ３３０が、アプリケーションプログラムに求められるコードをインターネット３２８、ＩＳＰ３２６、ローカルネットワーク３２２及び通信インターフェイス３１８を介して送信することができる。

プロセッサ３０４は、受信したコードを受信時に実行することができ、及び／又は後で実行するために記憶装置３１０、又はその他の不揮発性記憶装置に記憶することができる。このようにして、コンピュータシステム３００は、搬送波の形のアプリケーションコードを取得することができる。

上記明細書では、実施構成に応じて異なり得る数多くの特定の詳細を参照しながら本発明の実施形態について説明した。従って、本発明が何であるか、及び出願人が何を発明として意図しているかを示す唯一かつ排他的なものが、本出願に由来する特許請求の範囲の組であり、このような特許請求の範囲が発行される特定の形には今後のあらゆる補正が含まれる。本明細書に明確に示す、このような特許請求の範囲に含まれる用語のあらゆる定義が、特許請求の範囲で使用するこのような用語の意味を規定するものとする。従って、特許請求の範囲に明確に記載していない限定事項、要素、特性、特徴、利点又は属性により、決してこのような特許請求の範囲を限定すべきではない。従って、明細書及び図面については限定的な意味ではなく例示的な意味でとらえるべきである。

１０２ 入力ビデオ
１０４ ショット境界検出
１０６ スケール空間解析
１０８ 論理セグメント解析
１１０ 広告在庫
１１２ デジタルプログラム挿入
１１４ 出力ビデオ
１１６ ユーザ
１１８ ブックマーキング
１２０ 後で見直すための参照

Claims (10)

1. ビデオストリーム及び関連データを、前記ビデオストリームを再生するためのビデオプレーヤへ送信するステップであって、前記関連データは、前記ビデオストリーム中のコンテンツに関連する複数の製品のそれぞれに対応するメタデータを含み、前記ビデオプレーヤはビデオ表示領域及び製品表示領域を含み、前記ビデオ表示領域は前記製品表示領域と分離しているステップと、
   前記ビデオプレーヤにより前記ビデオストリームを前記ビデオ表示領域で再生するステップと、
   前記ビデオプレーヤが前記ビデオストリームを前記ビデオ表示領域で再生している間に、視覚インジケータを前記ビデオプレーヤの製品表示領域に表示するステップであって、前記視覚インジケータは、（ａ）前記再生されるビデオストリームのコンテンツに関連し、かつ（ｂ）前記関連データ中にメタデータが存在するような、１つ以上の製品の指示を含むステップと、
   前記ビデオプレーヤが前記ビデオストリームを再生している間に、ユーザが前記視覚インジケータと接触したと判定したことに応答して、前記ビデオストリームの再生を中断することなく特定の製品に対応する前記メタデータに基づく記録を記憶するステップと、
   前記記録に基づいて、前記特定の製品に関係する広告を後の時点で表示するステップであって、前記特定の製品は、それの指示が、前記ユーザが前記視覚インジケータと接触した時点において前記視覚インジケータに表示されているものであるステップと、
   を含むことを特徴とする方法。
2. 前記ビデオストリームがビデオ広告である、
   ことを特徴とする請求項１に記載の方法。
3. ユーザが前記視覚インジケータと接触したと判定されたことに応答して、次の対応できる広告挿入ポイントで前記広告を再生するステップであって、広告挿入ポイントは、前記ビデオストリーム内の２つのビデオセグメント間のポイントのことであり、前記ビデオストリームが再生されると、前記広告挿入ポイントの前に前記２つのビデオセグメントのうちの第１のビデオセグメントが出現し、前記広告挿入ポイントの後に第２のビデオセグメントが出現するステップ、
   をさらに含むことを特徴とする請求項１に記載の方法。
4. ユーザが該ユーザの都合が良いときにアクセスできる記憶済み関連データのリストに前記記録を追加するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
5. ユーザが前記視覚インジケータと接触したと判定されたことに応答して、前記関連データに基づく記録が記憶されることを、関連するセキュリティポリシが許可するかどうかを判定するステップと、記録が記憶されることを前記関連するセキュリティポリシが許可しない場合、前記視覚インジケータに接触したことに応答して、前記ビデオプレーヤが前記ビデオストリームの再生を続けている間に、適当なエラーメッセージを提示する機構を提供するステップとをさらに含む、
   ことを特徴とする請求項１に記載の方法。
6. １又はそれ以上の一連の命令を記憶する非一時的コンピュータ可読記録媒体であって、１又はそれ以上のプロセッサにより実行された場合、前記１又はそれ以上のプロセッサに、
   ビデオストリーム及び関連データを、前記ビデオストリームを再生するためのビデオプレーヤへ送信するステップであって、前記関連データは、前記ビデオストリーム中のコンテンツに関連する複数の製品のそれぞれに対応するメタデータを含み、前記ビデオプレーヤはビデオ表示領域及び製品表示領域を含み、前記ビデオ表示領域は前記製品表示領域と分離しているステップと、
   前記ビデオプレーヤにより前記ビデオストリームを前記ビデオ表示領域で再生するステップと、
   前記ビデオプレーヤが前記ビデオストリームを前記ビデオ表示領域で再生している間に、視覚インジケータを前記ビデオプレーヤの製品表示領域に表示するステップであって、前記視覚インジケータは、（ａ）前記再生されるビデオストリームのコンテンツに関連し、かつ（ｂ）前記関連データ中にメタデータが存在するような、１つ以上の製品の指示を含むステップと、
   前記ビデオプレーヤが前記ビデオストリームを再生している間に、ユーザが前記視覚インジケータと接触したと判定したことに応答して、前記ビデオストリームの再生を中断することなく特定の製品に対応する前記メタデータに基づく記録を記憶するステップと、
   前記記録に基づいて、前記特定の製品に関係する広告を後の時点で表示するステップであって、前記特定の製品は、それの指示が、前記ユーザが前記視覚インジケータと接触した時点において前記視覚インジケータに表示されているものであるステップと、
   を実行させる命令を含むことを特徴とする非一時的コンピュータ可読記録媒体。
7. 前記ビデオストリームがビデオ広告である、
   ことを特徴とする請求項６に記載の非一時的コンピュータ可読記録媒体。
8. ユーザが前記視覚インジケータと接触したと判定されたことに応答して、次の対応できる広告挿入ポイントで前記広告を再生するステップであって、広告挿入ポイントは、前記ビデオストリーム内の２つのビデオセグメント間のポイントのことであり、前記ビデオストリームが再生されると、前記広告挿入ポイントの前に前記２つのビデオセグメントのうちの第１のビデオセグメントが出現し、前記広告挿入ポイントの後に第２のビデオセグメントが出現するステップ、
   を前記１又はそれ以上のプロセッサにより実行された場合、前記１又はそれ以上のプロセッサに実行させる命令をさらに含むことを特徴とする請求項６に記載の非一時的コンピュータ可読記録媒体。
9. ユーザが該ユーザの都合が良いときにアクセスできる記憶済み関連データのリストに前記記録を追加するステップ、
   を前記１又はそれ以上のプロセッサにより実行された場合、前記１又はそれ以上のプロセッサに実行させる命令をさらに含むことを特徴とする請求項６に記載の非一時的コンピュータ可読記録媒体。
10. ユーザが前記視覚インジケータと接触したと判定されたことに応答して、前記関連データに基づく記録が記憶されることを、関連するセキュリティポリシが許可するかどうかを判定するステップと、記録が記憶されることを前記関連するセキュリティポリシが許可しない場合、前記視覚インジケータに接触したことに応答して、前記ビデオプレーヤが前記ビデオストリームの再生を続けている間に、適当なエラーメッセージを提示する機構を提供するステップ、
    を前記１又はそれ以上のプロセッサにより実行された場合、前記１又はそれ以上のプロセッサに実行させる命令をさらに含むことを特徴とする請求項６に記載の非一時的コンピュータ可読記録媒体。

Images