JP6952763B2 - メディア表示と同期したコンテンツアイテムの提示 - Google Patents

Description

本開示は、一般にオンラインコンテンツ配信に関し、より詳細には、ユーザにより閲覧または視聴されているメディア（例えば、ビデオ）と同期した、ユーザに対する関連コンテンツアイテムの提示に関する。

コンテンツプロバイダは、オンラインシステム内の一定のオーディエンスに対してターゲットされるコンテンツを生成する。ユーザは、オンラインシステムから受信したコンテンツと対話する。ソーシャルネットワーキングシステムなどのオンラインシステムの出現に伴い、コンテンツプロバイダは、オンラインシステム内に効果的なスポンサー付きコンテンツを生成してオンラインシステムのユーザの間におけるエンゲージメントを大幅に増加させるべく、次第にオンラインシステムに依存してきている。例えば、ユーザは、ビデオ（例えば、サッカーの試合のライブブロードキャストビデオまたはサッカーの試合の事前記録されたビデオ）を視聴するためにユーザデバイス（例えば、スマートフォン）を用いる場合がある。またユーザは、そのビデオにおいて提示されるいくつかの製品（例えば、そのサッカーの試合における選手が着用しているスポーツジャージ）に関心をもち、そのビデオを視聴している間に、その製品についてより多く（例えば、製品の価格）を知りたい場合がある。これに加えて、閲覧ユーザは、ビデオを視聴した後に、そのビデオに提示された製品を購入することに関心をもつ場合があるが、しかし彼／彼女は、そのビデオを視聴している間に自身が関心をもった全ての製品を思い出すことはできない場合がある。しかしながら、オンラインコンテンツ配信の現在のソリューションでは、同期した手法で、ユーザが関心をもつ可能性が高い関連製品を調べながらビデオまたはオンラインイベント（例えば、コンテンツプロバイダからの、あるイベントのライブビデオストリーミングまたは事前記録されたビデオ）を視聴することを可能とするプラットフォームは提供されていない。

一実施形態に従う、ユーザに対するビデオの表示と同期したおすすめ製品の提示用のシステム環境のブロック図。 一実施形態に従う、図１に示されるオンラインシステムのブロック図。 一実施形態に従う、同期した手法でビデオとおすすめ製品とをユーザに対し提示する一例のユーザインタフェースを示す図。 一実施形態に従う、同期した手法でビデオとおすすめ製品とをユーザに対し提示する別の例のユーザインタフェースを示す図。 一実施形態に従う、ユーザに対し表示されるビデオにおける関心点（「Ｑ点」とも呼ばれる）を検出する一例を示す直線図。 一実施形態に従う、同期した手法でユーザにより視聴されているビデオの表示とともにビデオに関連付けられているおすすめ製品を提示する処理を示す一例のフローチャート。

図面および以下の記載は、説明のため特定の実施形態しか記載していない。本明細書に示される構造および方法の代替の実施形態が、本明細書に記載される原理から逸脱せずに利用され得ることを、当業者は以下の記載から容易に想到する。いくつかの実施形態に対してこれから参照が詳細になされ、その例が添付の図面に示される。類似または同様の機能を示すように、図面において実際の類似または同様の参照番号が用いられ得ることに留意されたい。

本開示の実施形態は、同期した手法でユーザにより閲覧または視聴されるビデオなどのメディアコンテンツとともにおすすめ製品を提示するためのシステム（またはコンピュータ実装方法もしくは非一時的なコンピュータ可読媒体）を含む。例えば、オンラインシステムは、ビデオに示される製品がカルーセルに含まれるように、ビデオと同期した関連製品（例えば、スポンサー付きコンテンツアイテム）のスクロールカルーセルとともに、ユーザに対する表示用にビデオを提供し、ユーザは、表示された製品を購入のために選択することが可能である。

方法の実施形態は、ユーザに対し表示されるビデオフレームのシーケンスを備えるビデオを受信することを含む。入力ビデオは、コンテンツプロバイダにより提供されるライブブロードキャストビデオ、または事前記録されたビデオであってよい。ビデオは、特定のテーマ（例えば、サッカー試合）に関連付けられていてよく、１つまたは複数のビデオフレームは、関心点を含んでよい。本明細書における関心点（「Ｑ点」とも呼ばれる）は、受信したビデオのビデオフレームに表示されるオブジェクトを参照し、そのオブジェクトは、ユーザが関心をもつ可能性が高い特定の製品に関連する。野球試合のビデオにおける一例の関心点は、受信されたビデオの対応するビデオフレームに捕捉されている野球選手により着用されている特定のブランドの１足の野球シューズであることが可能である。一実施形態において、開示される方法は、入力ビデオに含まれる対応するビデオフレームに関連付けられているＱ点を検出する。他の実施形態において、対応するビデオフレームに関連付けられているＱ点は、関連製品を伴う同期した表示についてビデオを解析するエディタにより選択される。ビデオフレームにおいて検出されたＱ点は、対応するビデオフレームを示すインデックス（例えば、タイムスタンプまたはフレーム番号）を有する。例えば、受信されたビデオに含まれる２００番目のビデオフレームに関連付けられているＱ点は、そのビデオフレームに捕捉されている選手により着用されている人気ブランドのシャツを識別してよい。

開示される方法は、対応するビデオフレームにおける検出されたＱ点に基づいて関連製品を選択する。上に示される例を取ると、開示される方法は、対応するビデオフレームにおける選手により着用されているシャツと同一のブランドおよび同一の型のシャツをおすすめ製品として選択してよく、同一のブランドのシューズまたはパンツなどの追加の製品をユーザに対する提示用のおすすめ製品として選択してよい。いくつかの実施形態において、開示される方法は、ユーザのユーザプロフィール情報を検出されたＱ点に関連付け、オンラインシステムの強化されたユーザの体験だけでなくユーザのプリファレンスとおすすめ製品との間のより良い一致を可能とするその関連性に基づいて、検出されたＱ点に関連付けられている１つまたは複数の関連製品を選択する。一例として、開示される方法は、ユーザが女性であることを彼女のユーザプロフィール情報に基づいて決定した後には、女性の衣服しか選択しない。開示される方法は、ユーザがカルーセルに含まれる製品を購入のためまたはブックマークするために選択することが可能であるように、選択された製品（例えば、スポンサー付きコンテンツアイテム）のスクロールカルーセルとともに同期した手法でユーザに対する表示用にビデオを提供する。

ユーザにより視聴されるビデオと同期した手法でおすすめ製品を提示する開示される方法は、ユーザとおすすめ製品を提供するコンテンツプロバイダとにとっての様々な利益を提供する。第１に、開示される方法は、オンラインシステムのユーザが「視聴および買い物」を同時に行うことを可能とし、ユーザに、彼／彼女が現在視聴しているビデオに関連付けられているおすすめ製品にアクセスすることと、そのおすすめ製品を調べることとを可能とする。第２に、ユーザへのおすすめのために無作為に選択される製品と比較すると、開示される方法は、ユーザプロフィール情報に従ってユーザが関心をもつ可能性がより高い場合がある製品またはユーザのプリファレンスにより一致する製品をユーザに対し提示するときに、ユーザのより良いターゲティングを可能とする。第３に、開示される方法は、おすすめ製品をオンラインシステムのストレージにローカルに記述する情報を記憶することにより、ビデオに関連付けられているおすすめ製品の素早い生成および提示を可能とする。これに加えて、開示される方法は、コンテンツプロバイダの製品および／またはサービスの、ミッドファネルの検討とローワーファネルの製品販売とを行わせる手段としてビデオを用いることに関心をもつコンテンツプロバイダ（例えば、広告主）のためのより良いコンテンツ配信サービスを可能とする。

図１は、一実施形態に従う、ユーザに対するビデオの表示と同期したおすすめ製品の提示のためのシステム環境１００のブロック図である。図１において、システム環境１００は、ネットワーク１４０を通じて接続されている、１つまたは複数のクライアントデバイス１１０Ａ−１１０Ｂ、コンテンツプロバイダシステム１２０、およびオンラインシステム１３０を備える。説明のため、図１には２つのクライアントデバイス１１０Ａ−１１０Ｂ、１つのコンテンツプロバイダシステム１２０、および１つのオンラインシステム１３０しか示されない。システム環境１００の他の実施形態では、ネットワーク１４０を通じた、複数のクライアントデバイス１１０、複数のコンテンツプロバイダシステム１２０および複数のオンラインシステム１３０を有することが可能である。これに加えて、示されない他の実施形態においては、オンラインシステム１３０により果たされる機能が、クライアントデバイス１１０Ａ−１１０Ｂ上で実行されるソフトウェアアプリケーション（例えば、クライアントアプリケーション１１２Ａ−１１２Ｂ）により実現される。同様に、図１の様々なエンティティにより果たされる機能は、様々な実施形態において異なってよい。

クライアントデバイス１１０は、デジタルコンテンツを消費すること（例えば、クライアントデバイス上に表示されるビデオを視聴すること）、ソフトウェアアプリケーションを実行すること、ネットワーク１４０上のウェブサーバによりホスティングされているウェブサイトをブラウジングすること、おすすめ製品を購入することなどといった機能を果たすようにユーザにより用いられる電子デバイスである。例であるクライアントデバイス１１０は、スマートフォンもしくはタブレット、ラップトップパソコン、またはデスクトップコンピュータを含む。クライアントデバイス１１０はまた、ユーザがビデオおよび他のコンテンツを閲覧することができる表示デバイスも含むか、その表示デバイスとインタフェースするか、またはその両方である。これに加えて、クライアントデバイス１１０は、ユーザがデジタルコンテンツを閲覧すること、選択すること、および消費することなどの機能を果たすようにクライアントデバイス１１０と対話することができる物理的なボタンおよび／または画面上のボタンなどのユーザインタフェース（ＵＩ）を提供する。

一実施形態において、クライアントデバイス１１０の各々は、ユーザが、ビデオを再生することと、ビデオまたはそのビデオと同時に表示されるおすすめ製品と対話することとを可能とするクライアントデバイス１１０上で実行されるクライアントアプリケーション１１２をさらに備える。例えば、クライアントアプリケーション１１２は、特定のビデオを視聴するための要求をクライアントデバイス１１０のユーザから受信し、そのクライアントアプリケーションは、要求されたビデオと、その要求されたビデオについておすすめされる製品とを提示するための命令をオンラインシステム１３０から受信する。クライアントアプリケーション１１２は、ユーザがビデオを一時停止、停止または再開することも可能とし、またユーザが、ビデオを視聴しながら、例えば、おすすめ製品のボタンをクリックする／画像をドラッグすること、おすすめ製品の後の閲覧およびナビゲーションのためまたは即座の購入のために、そのおすすめ製品をブックマークすることといった、おすすめ製品と対話することを可能とする。例えば、ユーザがおすすめ製品アイテムと対話（例えば、ボタンをクリック）した後、ビデオが一時停止なしに再生を続けながら、おすすめ製品がブックマークされ、これはユーザがビデオ再生の中断なしにビデオを継続して視聴することを可能とする。さらに別の例において、以下でより十分に記載するように、ユーザは、ビデオを一時停止して、またはせずに、おすすめ製品の詳細情報を有する外部のウェブページ（例えば、おすすめ製品のためのショッピングカート用のウェブページまたはおすすめ製品のブランドの公式ウェブサイト）に向けられてよい。

いくつかの実施形態において、クライアントアプリケーション１１２はまた、ユーザが、オンラインシステム１３０に登録することと、オンラインシステム１３０上に個人のユーザプロフィールを生成することと、オンラインシステム１３０により提供されるコンテンツにアクセスすることおよびそのコンテンツと対話することと、も可能とする。ユーザのユーザプロフィールは、ユーザのプリファレンスの情報またはユーザの個人の関心（例えば、購入する関心）を示してよい。一実施形態において、クライアントアプリケーション１１２は、ユーザのプリファレンスまたは個人の関心に従ってユーザに合った製品をおすすめするために、ビデオのユーザのユーザプロフィール情報をオンラインシステム１３０に提供する。

コンテンツプロバイダシステム１２０は、オンラインシステム１３０とクライアントデバイス１１０とにコンテンツを提供するオンラインシステムであって、またコンテンツプロバイダシステム１２０は、様々なコンテンツプロバイダ（例えば、広告主、オンライン配信者）を含んでよい。一実施形態において、コンテンツプロバイダシステム１２０は、コンテンツアイテムの製品、サービスおよびブランド名をプロモーションするそのコンテンツアイテムを提供する。例えば、コンテンツプロバイダシステム１２０を用いるコンテンツプロバイダ（例えば、販売者またはブランドオーナー）は、コンテンツプロバイダによりターゲットされたユーザに対する表示用に、オンラインシステムにビデオを提供する。コンテンツアイテムにより記述される製品は、候補製品（例えば、サッカー試合のビデオについてのサッカーシューズ）によって共有される関連テーマを有するビデオを視聴しているユーザに対する表示用の候補製品になる。

さらに、コンテンツプロバイダシステム１２０のコンテンツプロバイダは、コンテンツアイテムにより記述される製品の詳細情報を提供する。例としての詳細情報は、おすすめ製品のブランド、発売された日、大きさ、価格、ならびに異なる色および大きさにおける製品の画像についての情報などの製品の記述を含む。ショッピングカート用のウェブページと上に記載された製品のブランドの公式ウェブサイトとは、おすすめ製品の詳細情報を含む。いくつかの実施形態において、コンテンツアイテムにより記述される製品の詳細情報は、ユーザにより視聴されるビデオの同期した表示においてユーザに対するおすすめ製品の提示を生成するために、オンラインシステム１３０に提供される。

いくつかの実施形態において、コンテンツプロバイダシステム１２０は、ファッション最新情報（ｕｐｄａｔｅ）のような情報を様々なソース（例えば、新聞、ライブブロードキャスト番組、雑誌）からオンラインシステム１３０に提供してもよく、またファッション最新情報は現在のファッションのトレンドを示し得る。ファッション最新情報は、以下に記載されるように、ユーザへのおすすめ製品のより良い選択のために用いられ得る。

オンラインシステム１３０は、ユーザのクライアントデバイス１１０に、ユーザにより視聴されているビデオに伴う１組のおすすめ製品とともにそのビデオを表示（例えば、ビデオの表示部の下のスクロールカルーセルにその１組のおすすめ製品を表示する）させるように命令する。オンラインシステム１３０は、ビデオのビデオフレームにおいて関心点すなわちＱ点を検出するかビデオのエディタにより選択されたビデオフレームにおいてＱ点を受信し、検出されたＱ点に関連する製品を識別する。上に記載したように、Ｑ点は、ビデオの対応するビデオフレームに捕捉されている特定の関心オブジェクトを識別し、またＱ点の位置は、対応するビデオフレームのタイムスタンプまたはフレーム番号により示されることが可能である。Ｑ点により識別された例としての関心オブジェクトは、Ｑ点を含むビデオフレームに捕捉されている選手が着用している衣服（例えば、シャツ、パンツ）を含む。例えば、ゴルフ試合についてのビデオでは、対応するＱ点により識別された関心オブジェクトは、対応するビデオフレームに捕捉されている選手により保持されている、特定の色、種類、またはブランドを有するゴルフクラブシャフトであり得る。いくつかの実施形態において、オンラインシステム１３０は、ビデオフレームにおける１つの関心オブジェクトを識別する１つのＱ点しか決定しなくてもよい。

検出されたＱ点に基づいて、オンラインシステム１３０は、検出されたＱ点によって識別される関心オブジェクトについての詳細情報を要求し、オンラインシステム１３０自身のデータベースから、または、例えば、コンテンツプロバイダのウェブサイトといった外部のソースから収集する。一例として、オンラインシステム１３０は、コンテンツプロバイダシステム１３０から受信されたコンテンツアイテムにより記述される製品についての詳細情報（例えば、ブランド名、価格）を解析し、また受信された詳細情報とビデオを視聴しているユーザに関連付けられているユーザプロフィール情報とに基づいて、オンラインシステム１３０は、ユーザにより視聴されているビデオとともにユーザに対し表示するために１つまたは複数の製品を選択し、ビデオに伴うそうした表示用の選択された特定の製品は、「おすすめ製品、とも呼ばれる。

オンラインシステム１３０は、おすすめ製品についての詳細情報（例えば、ブランド名、価格、画像）を選択し、集め、および／または整理し、ユーザに対しビデオが表示されるのと同時のおすすめ製品の提示をクライアントデバイス１１０に提供する。

ユーザのクライアントデバイス１１０上に表示されるビデオに関連付けられているおすすめ製品をそのクライアントデバイス１１０に提供しながら、オンラインシステム１３０はまた、クライアントデバイス１１０を介するユーザからの要求を処理することも可能である。一例として、閲覧ユーザがビデオを視聴しながら、例えば、「いま買う」ボタンをクリックするか、おすすめ製品画像をドラッグすることによっておすすめ製品と対話する時、図３Ａにおいて以下でより十分に記載するように、オンラインシステム１３０は、ユーザにより現在視聴されているビデオを中断して、または中断することなく、製品を購入するためにユーザを外部のウェブページに向ける命令をクライアントデバイス１１０に提供する。

ネットワーク１４０は、クライアントデバイス１１０、コンテンツプロバイダシステム１２０、およびオンラインシステム１３０の間の通信を可能とする。一実施形態において、ネットワーク１４０は、インターネットを含み、また標準通信技術および／またはプロトコル（例えば、クラウドコンピューティング）を用いる。別の実施形態において、ネットワーク１４０は、カスタマイズされたおよび／または専用のデータ通信技術を用いることが可能である。

図２は、一実施形態に従う、図１に示されるオンラインシステム１３０のブロック図を示す。図２において、オンラインシステム１３０は、インタフェースモジュール２１０、ビデオ解析モジュール２２０、オーディエンス解析モジュール２３０、製品選択モジュール２４０、ビデオデータストア２５０、製品データストア２６０、解析データストア２７０、およびオーディエンスデータストア２８０を備える。図２に提示される様々なモジュールおよびデータストアは一例を示すに過ぎず、示されない代替の実施形態において、追加のおよび／または異なるモジュールおよび／またはデータストアが、アクションログ、エッジストアおよびニュースフィードマネージャなどのオンラインサーバ１３０に備えられてよい。同様に、図２に含まれる様々なエンティティにより果たされる機能は、様々な実施形態において異なってよい。

オンラインシステム１３０のアクションログ（図２に示さず）は、オンラインシステム１３０の内部および／または外部のユーザアクションを記憶する。アクションの例は、別のユーザへのつながりを追加すること、別のユーザに対しメッセージを送信すること、画像をアップロードすること、別のユーザからのメッセージを読むこと、別のユーザに関連付けられているコンテンツを閲覧すること、別のユーザにより投稿されたイベントに出席することなどを含む。さらに、多数のアクションは、オブジェクトとそれから１または複数のユーザとを伴ってよく、結果としてこれらのアクションは、それらのユーザにも関連付けられ、アクションログに記憶される。

エッジストア（図２に示さず）は、オンラインシステム１３０上のユーザと他のオブジェクトとの間のつながりを記述する情報をエッジとして記憶する。いくつかのエッジは、ユーザにより定義され、ユーザが自身と他のユーザとの関係を特定することを可能としてよい。例えば、ユーザは、友人、同僚、配偶者などといった、ユーザの実生活の関係に相当する他のユーザとのエッジを生成してよい。他のエッジは、ユーザがオンラインシステム１３０におけるオブジェクトと対話するとき（オンラインシステム上のページに関心を示す、オンラインシステム１３０の他のユーザとリンクを共有する、およびオンラインシステム１３０の他のユーザにより作成された投稿にコメントをするなど）に生成される。オンラインシステム１３０内のユーザおよびオブジェクトは、エッジストアに記憶されているエッジにより接続されている、ソーシャルグラフにおけるノードとして表されることが可能である。

一実施形態において、オンラインシステム１３０は、ユーザに対し提示される「ニュースフィード」を通じてユーザが関心をもつ可能性が高いストーリを識別する。ユーザに対し提示されるストーリは、ユーザに接続されている追加のユーザによって起こされるアクションを記述し、追加のユーザを識別する。いくつかの実施形態において、ユーザにより行われたアクションを記述するストーリは、そのアクションを行ったユーザにつながっていないユーザにアクセス可能であってよい。ニュースフィードマネージャ（図２に示さず）は、アクションログおよびエッジストアにおける情報に基づいてユーザへの提示のためのストーリを生成してもよく、コンテンツストアに含まれる候補のストーリを選択してもよい。候補のストーリのうちの１つまたは複数は、ニュースフィードマネージャによって選択され、ユーザに対し提示される。

ビデオに示される製品または類似の製品がカルーセルに含まれ、そのカルーセルに含まれる製品をユーザが購入のために選択することが可能であるように、インタフェースモジュール２１０は、ビデオと同期したおすすめの製品のスクロールカルーセルとともにユーザのクライアントデバイス上においてユーザに対しビデオを表示する命令を生成する。一実施形態において、インタフェースモジュール２１０は、ユーザに対する表示用のビデオと１組のおすすめ製品アイテムとを受信し、ユーザにより視聴されているビデオとともにおすすめ製品を表示するための命令を生成する。ビデオに関連する入力データは、ビデオデータストア２５０に記憶される一方、おすすめ製品に関連するデータは、製品データストア２６０に記憶される。

ユーザに対しクライアントデバイス１１０上におけるビデオの表示とともにおすすめ製品を表示するための命令によって、インタフェースモジュール２１０は、選択されたおすすめ製品のコンテンツ、特定の提示スタイル、フォーマット（例えば、水平スクロール、フェードイン／フェードオフ）または、クライアントデバイス１１０の同一のユーザインタフェース上のビデオの表示に対するおすすめ製品の位置だけでなく、どのおすすめ製品が製品のスクロールカルーセルに含まれるかを指定してよい。図３Ａにおいて以下でより十分に記載するように、おすすめ製品アイテムに含まれるコンテンツのカテゴリによって、インタフェースモジュール２１０は、対応するおすすめ製品の画像、ブランドオーナー情報（例えば、ブランド名）、価格、大きさまたは追加の情報を含むことを決定してよい。

提示スタイルまたはフォーマットによって、一例として、インタフェースモジュール２１０は、おすすめ製品アイテムを提示するスクロールカルーセルを用いることを決定してよい。スクロールカルーセルには、ユーザに対し表示されているビデオフレームにおける検出されたＱ点に関連付けられている１つのおすすめ製品または複数のおすすめ製品が含まれ、現在のおすすめ製品は、そのビデオのビデオフレームに次のＱ点が出現するまで表示されてよい。次のＱ点がビデオフレームに出現する時、カルーセルは、現在表示されているおすすめ製品を、次のＱ点に関連付けられている１つまたは複数のおすすめ製品に動的に置き換える。例えば、ユーザが単にビデオを視聴し製品の自動スクロールを見ることが可能であるように、カルーセルは、１つのＱ点についての第１の製品に自動的にスクロールし、次いで次のＱ点についての次の製品に自動スクロールする。しかし、ユーザはその製品についてより多くの情報を得るために、何時でも製品をクリックすることまたは製品の上にホバリングすることが可能である。カルーセルまたはおすすめ製品の提示の他の形態は、図３Ａ−図３Ｂにおいて以下でより十分に記載するように、ユーザによって視聴されているビデオの表示の上に、下にまたは隣に提示されることが可能である。

いくつかの実施形態において、インタフェースモジュール２１０はまた、クライアントデバイス１１０からオーディエンスデータを受信し、オーディエンスデータはオーディエンスデータストア２８０に記憶される。一実施形態において、オーディエンスデータは、ビデオのユーザのプロフィール情報を含み、またユーザプロフィール情報は、ユーザへの提示のためのおすすめ製品を選択するために用いられることが可能なユーザの性別、プリファレンスまたは個人の関心（例えば、購入する関心）を含んでよく、ここで、選択されたおすすめ製品は、ユーザのプリファレンスまたは個人の関心に従って選択される。

インタフェースモジュール２１０はまた、コンテンツプロバイダシステム１２０からおすすめ製品についての詳細な製品情報も受信し、その製品情報は、製品データストア２６０に記憶されている。いくつかの実施形態において、インタフェースモジュール２１０はまた、過去の期間（例えば、過去２４時間または過去１週間）におけるファッション最新情報のような情報もコンテンツプロバイダシステム１２０から受信し、そのファッション最新情報は、製品選択モジュール２４０がトレンドを決定するように解析データストア２７０に記憶されており、以下でより十分に記載するように、おすすめ製品のより良い選択とオンラインシステム１３０のユーザのより良いターゲティングとを可能とする。コンテンツプロバイダシステム１２０は、カルーセルに含めるように特定の製品を選択することと、それらをオンラインシステムに対して示すことが可能であり、またはオンラインシステムがどの製品をカルーセルに含めるかを選択することが可能である。

いくつかの実施形態において、インタフェースモジュール２１０はまた、ユーザに対し表示されるおすすめ製品アイテムについてクライアントデバイス１１０を介するユーザの要求も受信し、そのユーザの要求に応じてクライアントデバイス１１０に対し命令を提供する。例えば、おすすめ製品を購入するというユーザの要求（例えば、図３Ａにおいて以下でより十分に記載するように、ユーザは「いま買う」ボタンをクリックできる）に応じて、インタフェースモジュール２１０は、ユーザがおすすめ製品について支払を行うことを可能とする外部の購入ウェブページにユーザを向けるためにクライアントデバイス１１０に対し命令を提供し、ユーザに対し現在表示されているビデオは、ユーザが購入ウェブページに向かい購入ウェブページを閲覧している間、一時停止されてもされなくてもよい。別の例として、おすすめ製品について詳細を知るというユーザの要求（例えば、図３Ａにおいて以下でより十分に記載するように、ユーザがおすすめ製品画像をクリックしてよい）に応じて、インタフェースモジュール２１０は、おすすめ製品のブランドオーナーの公式ウェブサイトにユーザを向けるためにクライアントデバイス１１０に対し命令を提供する。

ビデオ解析モジュール２２０は、ユーザに対し表示されるビデオの視覚的特徴を抽出し、ビデオとそのビデオの関連した視覚的特徴とをビデオデータストア２５０に記憶する。ビデオの視覚的特徴に基づいて、ビデオ解析モジュール２２０は、そのビデオのビデオフレームにおけるＱ点を検出し、そのＱ点は、対応するビデオフレームにおける１つまたは複数の関心オブジェクトを識別する。Ｑ点により識別された関心オブジェクトは、ユーザが購入することに関心をもっている潜在製品であり得る。決定されたＱ点と関連データ（例えば、識別された関心オブジェクト、および検出されたＱ点に関連付けられているビデオフレームインデックス）とは、解析データストア２７０に記憶されている。一実施形態において、ビデオ解析モジュール２２０は、ビデオの各ビデオフレームを解析し、あるビデオフレームがＱ点を含んでいるか否かを検出する。Ｑ点検出のフレームごとの解析の詳細な説明は、図４を参照して以下に記載される。

ビデオフレームにおけるＱ点の決定のために、ビデオ解析モジュール２２０は、マニュアルベースの方法とマシンベースの解析との両方を利用してよい。例えば、マニュアルベースの方法を用いると、人が手動でビデオフレームにおけるＱ点と、その識別されたＱ点に関連付けられている関心オブジェクト（例えば、選手により着用されている特定のブランドを有するシューズ）とを識別する。例えば、オンラインシステム１３０の管理者は、ビデオを視聴し、ビデオフレームにおいてブランド名Ｔシャツを着用している選手を識別する。管理者は、その選手をビデオフレームにおけるＱ点として、またブランド名Ｔシャツを対応する関心オブジェクトとして、手動でマークする（例えば、エントリをＱ点ログに記録する）。マシンベースの解析を用いると、ビデオ解析モジュール２２０は、ビデオのビデオフレームの視覚的特徴を抽出するように、エッジ検出、ブロブ抽出、ヒストグラム解析、画素強度フィルタリング、勾配フィルタリング、パターン認識、またはＳＩＦＴ（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）などの画像処理技術を用いる。これに代えて、ビデオ解析モジュール２２０は、ビデオフレームの視覚的特徴を抽出するように画像特徴抽出モデルを適用し、ここで抽出モデルは、訓練画像の大きなコーパスクラスタを計算時、非同期の確率的勾配降下法処理と様々な分散バッチ最適化処理とを用いて訓練される。抽出された視覚的特徴は、関心オブジェクトになり得るもの（例えば、識別されたオブジェクトに関連付けられているビデオフレームにおける特定のブランドロゴを有するシャツ、シューズ）を識別するように用いられることが可能である。

ここで図４を参照すると、図４は、一実施形態に従う、ユーザに対し表示されるビデオにおいて関心点（「Ｑ点」とも呼ばれる）を検出することの一例を示す線図を示す。図４において、ビデオを表示するタイムライン４２０に含まれる時間ラベル４０５（例えば、４０５Ａ−４０５Ｎ）のシーケンスに対応するビデオフレーム４１０のシーケンス（例えば、４１０Ａ−４１０Ｎ）が、そのビデオのフレームとなる。タイムライン４２０は、各ビデオフレーム４１０について、ビデオフレーム４１０のシーケンス全体におけるそのビデオフレームのタイムスタンプに関する相対位置を示す時間ラベル４０５を示す。例えば、ビデオフレーム４１０Ａは時間ラベル４０５Ａに対応し、ビデオフレーム４１０Ｂは時間ラベル４０５Ｂに対応し、ビデオフレーム４１０Ｎはフレームラベル４０５Ｎに対応する。

ビデオフレーム４１０のうちの１つまたは複数は、１つまたは複数のＱ点を有してよく、ビデオフレームにおける各Ｑ点は、ビデオフレームにおける関心オブジェクトを識別する。例えば、ビデオフレーム４１０Ｃは、ビデオフレーム４１０Ｃにおいて検出された選手を識別するＱ点を有する。その一方、ビデオフレーム４１０Ａおよび４１０Ｂがサッカー場の上方の青空などといったサッカー試合の開始を捕捉しているので、ビデオフレーム４１０Ａおよび４１０ＢはＱ点を有しない。上に記載したように、ビデオ解析モジュール２２０は、様々な画像処理技術を用いて、各ビデオフレームの視覚的特徴を解析しＱ点を検出する。ビデオフレームにおける各Ｑ点は、そのビデオの他のビデオフレームとの間におけるそのビデオフレームの相対位置を示すインデックス（例えば、タイムスタンプまたはフレーム番号）を有する。

オーディエンス解析モジュール２３０は、インタフェースモジュール２１０により収集された、オーディエンスデータストア２８０に記憶されているオーディエンスデータを受信し、またターゲットユーザのプリファレンスおよび個人の関心（例えば、購入する関心）を決定する。一実施形態において、オーディエンス解析モジュール２３０は、インタフェースモジュール２１０によりすでに収集されたユーザプロフィール情報から直接ユーザプリファレンスの情報を決定する。例えば、ユーザプロフィール情報に含まれる趣味（例えば、サッカー愛好者）は、そのユーザがサッカー試合に関心をもっていることを示し、また、このユーザは、サッカー試合のビデオを視聴している間、サッカージャージ、サッカーシューズおよびサッカーボールを購入することに関心をもつ場合がある。別の実施形態において、オーディエンス解析モジュール２３０は、例えば、様々な種類のターゲットオーディエンスに関連する訓練データのコーパスに基づいてモデルを訓練するように機械学習技術を用いるといったマシンベースの解析によって、収集されたオーディエンスデータに基づいてユーザプリファレンスの情報を決定する。

製品選択モジュール２４０は、コンテンツプロバイダにより提供されたコンテンツアイテムおよび／またはオンラインシステム１３０により生成された製品カタログから、検出されたＱ点に関連付けられているおすすめ製品を選択する。おすすめ製品の画像など、おすすめ製品についての情報は、製品データストア２６０に記憶されている。一実施形態において、製品選択モジュール２４０は、ユーザに関連付けられているオーディエンスデータに含まれるユーザプロフィール情報だけでなく、検出されたＱ点により識別された関心オブジェクト、その関心オブジェクトにより識別された候補製品の製品情報を解析し、ユーザに対する同期した表示用のおすすめ製品を決定する。例えば、識別された関心オブジェクトとユーザプロフィール情報とに基づいて、製品選択モジュール２４０は、候補製品または類似の製品がユーザに対する提示用のおすすめ製品として選ばれることが可能であるか否かを決定する。一例として、検出されたＱ点に対応するビデオフレームにおいて捕捉されている関心オブジェクトは、サッカー試合のビデオにおいて男性サッカー選手により着用されている非常に人気のあるブランドのシャツであってよい。製品選択モジュール２４０は、同一のブランドオーナーからの型および色の点で同一のシャツと、異なる色または異なるブランドにおける１つまたは複数の類似のシャツとをおすすめ製品として選択する。製品選択モジュール２４０は、ユーザプロフィール情報に基づいて、このブランドの女性用のシャツ、シューズ、パンツなど、他の関連製品をさらに選択してよい。

一実施形態においては、対応するビデオフレームにおいて検出された単一のＱ点について、１つのおすすめ製品しか選択されず、別の実施形態においては、対応するビデオフレームにおいて検出された単一のＱ点について、複数の様々なおすすめ製品が選択される。いくつかの実施形態において、複数のおすすめ製品は、同一であってよく、またはＱ点により識別された関心オブジェクトと類似の特性（例えば、同一のブランドおよび型）を共有してよい。一例として、１つのおすすめ製品は、対応するＱ点により識別された関心オブジェクト（例えば、そのビデオにおける選手により着用されているサッカージャージ）の全く同一の製品であることが可能である。別の例として、おすすめ製品は、例えば、同一の型であるが女性用のシッツといった、同一ブランドであるが異なる性別用の製品であることが可能である。いくつかの実施形態において、ユーザに対し提示されるおすすめ製品がユーザのプリファレンスまたは購入する関心に大いに一致する可能性が高いように、オンラインシステム１３０は、ビデオを視聴しているユーザに関連付けられているユーザプロフィール情報に基づいておすすめ製品を選択する。

いくつかの実施形態において、製品選択モジュール２４０は、解析データストア２７０に記憶されているトレンド（例えば、収集されたファッション最新情報）に関するデータに基づいてトレンドを決定し、ユーザに対する同期した表示のためにトレンドに基づいておすすめ製品を選択する。一実施形態において、製品選択モジュール２４０は、様々な画像解析技術を用いてトレンドを決定する。一例として、製品選択モジュール２４０は、最近のファッションイベントにおいて捕捉された著名人の服装（衣服、靴、ジュエリー）の写真を解析し、トレンドを決定する。製品選択モジュール２４０は、適切なコンテンツプロバイダ（例えば、広告主）についての情報と決定されたトレンドに一致する製品とを検索し収集するためにインタフェースモジュール２１０に命令してよい。製品選択モジュール２４０は、その検索結果とユーザのユーザプロフィール情報とに基づいておすすめ製品を選択する。

ビデオデータストア２５０は、インタフェースモジュール２１０により受信されＱ点を検出するためにビデオ解析モジュール２２０により用いられるビデオを記憶する。一実施形態において、ビデオデータストア２５０は、受信されたビデオの全てのビデオフレームを記憶し、ここでビデオフレームは、タイムスタンプまたはフレーム番号によりインデックスされてよい。上に記載したように、ビデオのコンテンツは、特定のテーマ（例えば、スポーツ試合）、またはコンテンツプロバイダにより提供される特定の製品のプロモーションに関連付けられてよい。上に記載したように、受信されたビデオのいくつかのビデオフレームは、Ｑ点と、そのＱ点により識別される対応する関心オブジェクトとを含んでよい。

製品データストア２６０は、ビデオ解析モジュール２２０により決定された関心オブジェクトなどの候補製品と製品選択モジュール２４０により決定されたおすすめ製品との製品情報を記憶する。候補製品の製品情報は、製品カテゴリ（例えば、服、食品、消費者向け電子機器など）、ブランド（例えば、ブランド名、ブランドの歴史）、発売日、価格、大きさ、性別などの情報や、その製品についての追加のコンテンツアイテムを含むことが可能である。

解析データストア２７０は、一定期間（例えば、先週）にわたってインタフェースモジュール２１０により収集された情報（例えば、ファッション最新情報）だけでなく、決定されたＱ点についての情報と、ビデオ解析モジュール２２０により決定されたＱ点により識別された関心オブジェクトとを記憶する。検出された各Ｑ点は、Ｑ点により識別された関心オブジェクトの情報だけでなく、そのＱ点を有する対応するビデオフレームのインデックス（例えば、タイムスタンプまたはフレーム番号）を含む。一実施形態において、関心オブジェクトの情報は、その関心オブジェクトを有するビデオフレームのインデックス、オブジェクトの種類（例えば、人、人により着用される衣服、ゴルフクラブシャフトまたはサッカーボールなどの装備品）、ブランドオーナー、色などをさらに含んでよい。解析データストア２７０に記憶されているファッション最新情報は、ある期間にわたるトレンド（ファッショントレンド）を決定するために用いられ、ファッション最新情報は、例えば、ライブブロードキャストもしくは他のメディアにより捕捉された著名人の服装（例えば、衣服または靴）の画像、または新聞、雑誌もしくはファッションショーにおいて特定される人気のファッション用語であってよい。

オーディエンスデータストア２８０は、インタフェースモジュール２１０によりクライアントデバイス１１０から受信されるオーディエンスデータを記憶し、例としてのオーディエンスデータは、性別、個人の趣味（例えば、スポーツまたは好適なスポーツの種類）および追加の個人の関心（例えば、購入する関心）など、クライアントデバイス１１０のユーザについてのユーザプロフィール情報を含む。オーディエンスデータストア２８０はまた、オーディエンス解析モジュール２３０によりユーザに関連付けられている決定されたユーザプリファレンスも記憶する。

図３Ａ−図３Ｂは、一実施形態に従う、おすすめ製品とともにビデオをユーザに対し同時に提示する異なる例のユーザインタフェース３００を示す。図３Ａは、ビデオのビデオフレームがおすすめ製品を示す時に提示される１つのおすすめ製品３４０を含む一例のユーザインタフェースを示す。図３Ｂは、ビデオのビデオフレームがおすすめ製品のうちの１つを示す時に複数のおすすめ製品を含む別の例のユーザインタフェース３５０を示す。

図３Ａにおいて、例であるユーザインタフェース３００は、ユーザインタフェース３００の上半分を占める、ビデオの現在のビデオフレーム３１０により表されるビデオと、ユーザインタフェース３００の下半分を占めるスクロール製品カルーセル３２０とを含む。現在のビデオフレーム３１０は、ユーザインタフェース３００上においてユーザに対し表示される。ビデオの現在のビデオフレーム３１０は、野球選手３１１と、シャツ３１２と、ショートパンツ３１３と、野球選手により着用されている１足のシューズ３１４と、野球選手３１１により保持されている野球バット３１５などの装備品と、野球ボール３１６が野球バット３１５によって打たれる前に野球ボール３１６の位置を定めるように用いられる野球バッティングティー３１７から離れて行くその野球ボール３１６と、を示す。

いくつかの実施形態において、ビデオ解析モジュール２２０は、現在のビデオフレームを解析し、例えば、現在のビデオフレーム３１０のオブジェクト認識に基づいて、野球選手３１１を現在のビデオのＱ点として検出する。ビデオ解析モジュール２２０は、シャツ３１２、ショートパンツ３１３、シューズ３１４、野球バット３１５、野球ボール３１６およびバッティングティー３１７を含む、検出されたＱ点に対応するオブジェクトのうちのいくつかまたは全てを識別する。

製品選択モジュール２４０は、上に記載したような検出されたＱ点に関連付けられている１つまたは複数のおすすめ製品を選択する。選択されたおすすめ製品は、図３Ａに示されるスクロール製品カルーセル３２０に含まれ、ここで製品カルーセル３２０におけるおすすめ製品は、現在のビデオフレームに示される関心オブジェクト（例えば、野球シャツ３１２、ショートパンツ３１３、およびシューズ３１４）がカルーセルに含まれるように、ビデオのビデオフレームの表示と同期して表示される。スクロール製品カルーセル３２０は、ビデオの現在のビデオフレームと同時の表示用に選択されたおすすめ製品についての一例の提示スタイルである。図３Ａに示すように、スクロール製品カルーセル３２０は、カルーセルエッジ３２１Ａとカルーセル３２１Ｂとにより囲まれ、同期しているおすすめ製品（例えば、ここでは３３０および３４０）が、例えば、左から右といった水平方向に示される。

例えば、３３０または３４０といったおすすめ製品は、ユーザインタフェース３００上に表示されているコンテンツアイテムを参照する。おすすめ製品は、例えば、このおすすめ製品についてのおすすめ製品画像３３２、製品名またはブランド名３３３、価格タグ３３４、および「いま買う」ボタン３３５といった、同期した表示用のおすすめ製品の情報に従って表示される。いくつかの実施形態において、「いま買う」ボタン３３５によって、現在再生しているビデオを中断して、または中断することなく、製品を購入するための外部のショッピングカートまたはチェックアウトウェブページにユーザを向けることが可能となる。一例として、ユーザが「いま買う」ボタン３３５をクリックした後、現在再生しているビデオが一時停止し、ユーザがその製品を買うか否かを決定する前に、ユーザはチェックアウトウェブページ上に表示されているおすすめ製品の詳細な製品情報を閲覧するために時間を費やすことが可能である。別の例では、ユーザは中断なしにビデオを視聴し終えることを好む。この場合には、ユーザが「いま買う」ボタン３３５をクリックした後、現在再生しているビデオが再生を継続し（一時停止される代わりに）、後で閲覧するためにおすすめ製品が保存またはブックマークされる。

図３Ａに示されるスクロール製品カルーセル３２０は、おすすめ製品を示す現在のビデオフレームとともに、１つのおすすめ製品３３０（例えば、野球シャツ３３２と同一または類似）しか提示しない。スクロール製品カルーセル３２０はまた、例えば、おすすめ製品３４０（例えば、野球バット３１５と同一または類似）といった、次のビデオフレームにおいて検出されたＱ点に関連付けられている次のおすすめ製品を含む。次のＱ点に関連付けられている次のビデオフレームが次のタイムスロットにて再生している時に、次のおすすめ製品３４０が提示される。一実施形態において、現在のおすすめ製品（例えば、おすすめ製品アイテム３３０）から次のおすすめ製品（例えば、おすすめ製品アイテム３４０）に変化する時、スクロール製品カルーセル３２０は、現在のおすすめ製品３３０の画像をフェードアウトすることおよび次のおすすめ製品３４０の画像をフェードインすることなど、現在のもの（例えば、おすすめ製品アイテム３３０）と次のもの（例えば、おすすめ製品アイテム３４０）との漸進的な置換えの効果を伴って左方にシフトまたは移動してよい。代わりの示されない実施形態において、スクロール製品カルーセル３２０は、現在のおすすめ製品を表示することから次のおすすめ製品を表示することに遷移するとき、右方にシフトしてよい。

図３Ａに示されるビデオ３１０とおすすめ製品３３０，３４０との提示も、単なる一例に過ぎず、示されない代わりの実施形態において、提示の様々なスタイルまたはフォーマットが用いられてよい。一例として、ユーザインタフェース３００は、図３Ａに示されるスクロール製品カルーセル３２０を用いる代わりにおすすめ製品の異なる提示フォーマットを有してよく、図３Ｂにおいて以下でより十分に記載されるように、現在のビデオフレームについて提示されるおすすめ製品の数は変化してよい。さらに、現在のビデオフレームに関連付けられているおすすめ製品が現在のビデオフレームと同時に提示される限り、ビデオ３１０とおすすめ製品３３０および３４０との間の相対位置は変化してよい。例えば、おすすめ製品は、現在のビデオフレーム３１０の上方に、左方にまたは右方に表示されてよい。これに加えて、おすすめ製品に含まれるコンテンツおよび／またはスタイルは変化してよく、例えば、「いま買う」ボタン３３５とは異なる「ブックマーク」ボタン（ここには示さず）がおすすめ製品に追加され、閲覧ユーザが後で閲覧またはナビゲートするために保存されたおすすめ製品を便利にブックマークすることを可能としてよい。

図３Ｂは、一実施形態に従う、ユーザにより視聴されているビデオの現在のビデオフレーム３６０の表示の同期において提示される複数のおすすめ製品を含む、別の例のユーザインタフェース３５０を示す。図３Ａに示される例としてのユーザインタフェース３００と同様に、ユーザインタフェース３５０もまた、ユーザに対し表示されるビデオの現在のビデオフレーム３６０により表されるビデオと、カルーセルエッジ３７１Ａとカルーセル３７１Ｂとにより囲まれている製品カルーセル３７０とを含む。現在のビデオフレーム３６０は検出されたＱ点を有し、そのＱ点は、現在のビデオフレームにおける関心オブジェクト（例えば、車）を識別する。図３Ａに示されるおすすめ製品３３０，３４０の表示と比較すると、図３Ｂに示される例としてのユーザインタフェース３５０は、おすすめ製品３８０，３８５，３９０の異なる提示を利用し、おすすめ製品３８０および３８５は、例えば、同一の自動車メーカからの異なる様々な色における車といった、現在のビデオフレーム３６０に示される車に関連するので、おすすめ製品のうちの２つ（例えば、３８０および３８５）が現在のビデオフレーム３６０とともに提示される。スクロールする製品カルーセル３７０はまた、次のおすすめ製品３９０と同一または類似の製品を示す次のビデオフレームとともに提示される次のおすすめ製品３９０も含む。

図５は、一実施形態に従う、ビデオにおけるＱ点を検出すること、ユーザにより視聴されているビデオとともに検出されたＱ点に関連付けられているおすすめ製品を選択し提示することの処理を示す一例のフローチャート５００を示す。最初に、オンラインシステム１３０は、ユーザに対する表示用にビデオを受信し（５１０）、ここでビデオは、コンテンツプロバイダから事前記録されたビデオまたはコンテンツプロバイダからのライブブロードキャストビデオであることが可能である。ビデオを受信した後、オンラインシステム１３０は、例えば、そのビデオの各ビデオフレームを解析することによって、ビデオの対応するビデオフレームに関連付けられているＱ点を検出する（５２０）。ビデオフレームにおける検出された各Ｑ点は、ビデオフレームにおける関心オブジェクト（例えば、野球試合のビデオにおける選手）を識別する（５３０）。オンラインシステム１３０は、識別された関心オブジェクトに関連付けられておりユーザのユーザプロフィール情報に関するおすすめ製品を選択する（５４０）。例えば、オンラインシステム１３０は、例えば、識別された選手により着用されているＴシャツ、帽子、ショートパンツといった識別されたオブジェクトに関連付けられている１つまたは複数の製品を識別し、そのビデオフレームに示される識別された製品と同一または類似の１つまたは複数の製品を選択する。オンラインシステム１３０がユーザのプリファレンス（例えば、購入する関心）に一致するおすすめ製品を選択することが可能となるように、オンラインシステム１３０は、ユーザプロフィール情報に基づいて製品選択を強化してよい。オンラインシステム１３０は、スクロール製品カルーセルにおすすめ製品を含み、ユーザに対し同一または類似の製品を示す対応するビデオフレームと同時に、ユーザに対しおすすめ製品を提示する。

追加の構成情報
本発明の実施形態の上述の記載は、例示の目的で提示され、網羅的であることまたは開示されたまさにその形態に本発明を限定することを意図するのではない。当業者は、上記の開示を考慮して多くの改良および変化が可能であることを認識し得る。

この明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現によって本発明の実施形態を記載する。これらのアルゴリズム的記述および表現は、データ処理分野における当業者が彼らの仕事の内容を他の当業者に効果的に伝えるように一般に用いられる。これらの動作は、機能的に、計算的に、または論理的に記載される一方、コンピュータプログラム、または均等な電気回路、マイクロコードなどにより実装されるように理解される。さらに、一般性の欠如なしに、モジュールとして動作のこれらの配置を参照することが時には便利であることも示される。記載される動作およびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて実施されてよい。

本明細書に記載される工程、動作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールにより、単独または他のデバイスとの組合せにおいて実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、記載される工程、動作、または処理のうちのいずれかまたは全てを実行するためのコンピュータプロセッサにより実行されることが可能なコンピュータプログラムコードを備えるコンピュータ可読媒体を備えるコンピュータプログラム製品により実装される。

本発明の実施形態は、本明細書において動作を実行する装置にも関し得る。この装置は、要求された目的のために特別に構築されてよく、および／または、コンピュータに記憶されるコンピュータプログラムにより選択的に作動または再構成される汎用のコンピュータデバイスを含み得る。そうしたコンピュータプログラムは、非一時的な、有形のコンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る電子的命令を記憶するのに適した任意の種類の媒体に記憶されてよい。さらに、本明細書において参照される任意のコンピュータシステムは、単一のプロセッサを備えてよく、または増進した計算性能のために複数のプロセッサの設計を利用するアーキテクチャであってよい。

本発明の実施形態は、本明細書に記載される計算処理により生成される製品にも関連し得る。そうした製品は、計算処理から生じる情報を含んでよく、ここで情報は、非一時的な有形のコンピュータ可読記憶媒体上に記憶されており、またコンピュータプログラム製品または本明細書に記載される他のデータの組合せの任意の実施形態を含み得る。

最後に、本明細書において用いられる言葉は、可読性と教示の目的とのために主に選択されており、発明の対象を描写または制限するように選択されていなくてよい。したがって、本発明の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願において請求される任意の請求項によって限定されることが意図される。したがって、本発明の実施形態の開示は、以下の請求項において説明される本発明の範囲の例示であるように示されるが、本発明の範囲を限定しない。

Claims (18)

1. コンピュータ実装方法において、
   ユーザに対する表示用にビデオを受信する工程であって、前記ビデオは複数のビデオフレームを備える工程と、
   各ビデオフレームについて、
   前記ビデオフレームの視覚的特徴の解析を行う特徴解析工程と、
   前記ビデオフレームの前記視覚的特徴の前記解析に基づいて前記ビデオフレームにおける１つまたは複数の関心点を検出する工程であって、前記ビデオフレームにおける関心点は、前記ビデオフレームにおけるオブジェクトに関連付けられており、前記ビデオフレームにおける前記オブジェクトは、１つまたは複数の様々な製品に関連する工程と、
   前記複数のビデオフレームにおいて特定された前記関心点のそれぞれについて、関心点に関連付けられた前記オブジェクトに関連する１つまたは複数の様々な製品のうちの１つの製品の選択を、
   前記ユーザに関連付けられているユーザプロフィール情報の解析を行ってユーザプリファレンスを導出すること、
   所定の期間にわたって捕捉された複数の画像を解析して、前記複数の画像に描写された１つまたは複数の製品に基づき、トレンドを特定すること、及び
   導出された前記ユーザプリファレンス及び特定された前記トレンドに基づき、１つまたは複数の様々な製品から１つの製品を選択すること、
   によって行う工程と、
   特定された前記関心点について選択された前記製品を、前記ユーザに対し表示されている対応する前記ビデオフレームとともに表示用に提供する製品提供工程であって、選択された製品と選択された前記製品に対応する関心点を含む対応するビデオフレームとがユーザインタフェースにおいて前記ユーザに対し同時に表示される工程と、を備える方法。
2. 前記製品提供工程は、
   前記ユーザに対し現在表示されている各ビデオフレームについて、
   前記ビデオフレームが検出された関心点を有するか否かを決定する工程と、
   前記ビデオフレームにおける検出された前記関心点に関連付けられている１つまたは複数の製品の選択を行う工程と、を含む、請求項１に記載の方法。
3. 前記ユーザに対し示される表示インタフェースの第１部分に前記ビデオフレームを表示用に提供する工程と、
   前記表示インタフェースの第２部分に位置する製品のスクロールカルーセルに選択された１つまたは複数の製品を表示用に提供するカルーセル製品提供工程であって、選択された前記製品のうちの１つ以上は前記ビデオフレームにおいて示される製品と同一または類似である工程と、をさらに備える、請求項２に記載の方法。
4. 前記カルーセル製品提供工程は、
   前記表示インタフェースの前記第２部分に１つまたは複数のツールを表示する工程であって、
   前記ユーザは、１つまたは複数のツールを通じて、表示されている前記製品と対話する工程、を含む、請求項３に記載の方法。
5. 前記表示インタフェースの前記第２部分に表示される前記１つまたは複数のツールは、
   前記ユーザが表示されている前記製品を購入するための購入ツールと、
   前記ユーザが表示されている前記製品をブックマークするためのブックマークツールと、のうちの一方を含む、請求項４に記載の方法。
6. ビデオフレームにおける関心点は、前記ビデオフレームに関連付けられているタイムスタンプと前記ビデオフレームのフレーム番号とのうちの一方により識別される、請求項１に記載の方法。
7. ビデオフレームにおける検出された関心点に関連付けられている選択された製品は、前記ビデオフレームにおける識別されたオブジェクトに関連する前記製品の１つまたは複数の特性を共有する、請求項１に記載の方法。
8. 前記特徴解析工程は、
   複数の視覚的特徴を抽出するように、訓練済みの画像特徴抽出モデルを前記ビデオフレームに適用する工程と、
   抽出された前記視覚的特徴に基づいて前記ビデオフレームにおけるオブジェクトを識別する工程と、
   識別された前記オブジェクトに関連付けられている１つまたは複数のアイテムを識別する工程であって、識別された各アイテムは、前記ユーザの関心となる可能性が高い製品に対応する工程と、を含む、請求項１に記載の方法。
9. 前記ユーザに対し表示される前記ビデオは、事前記録されたビデオと、前記ユーザに対しリアルタイムにストリーミングされるブロードキャストビデオとのうちの一方である、請求項１に記載の方法。
10. コンピュータプログラム命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータプロセッサにより実行される時、前記プロセッサに
    ユーザに対する表示用にビデオを受信する工程であって、前記ビデオは複数のビデオフレームを備える工程と、
    各ビデオフレームについて、
    前記ビデオフレームの視覚的特徴の解析を行う特徴解析工程と、
    前記ビデオフレームの前記視覚的特徴の前記解析に基づいて前記ビデオフレームにおける１つまたは複数の関心点を検出する工程であって、前記ビデオフレームにおける関心点は、前記ビデオフレームにおけるオブジェクトに関連付けられており、前記ビデオフレームにおける前記オブジェクトは、１つまたは複数の様々な製品に関連する工程と、
    前記複数のビデオフレームにおいて特定された前記関心点のそれぞれについて、関心点に関連付けられた前記オブジェクトに関連する１つまたは複数の様々な製品のうちの１つの製品の選択を、
    前記ユーザに関連付けられているユーザプロフィール情報の解析を行ってユーザプリファレンスを導出すること、
    所定の期間にわたって捕捉された複数の画像を解析して、前記複数の画像に描写された１つまたは複数の製品に基づき、トレンドを特定すること、及び
    導出された前記ユーザプリファレンス及び特定された前記トレンドに基づき、１つまたは複数の様々な製品から１つの製品を選択すること、
    によって行う工程と、
    特定された前記関心点について選択された前記製品を、前記ユーザに対し表示されている対応する前記ビデオフレームとともに表示用に提供する製品提供工程であって、選択された製品と選択された前記製品に対応する関心点を含む対応するビデオフレームとがユーザインタフェースにおいて前記ユーザに対し同時に表示される工程と、を実行させる、非一時的なコンピュータ可読記憶媒体。
11. 前記製品提供工程は、
    前記ユーザに対し現在表示されている各ビデオフレームについて、
    前記ビデオフレームが検出された関心点を有するか否かを決定する工程と、
    前記ビデオフレームにおける検出された前記関心点に関連付けられている１つまたは複数の製品の選択を行う工程と、を含む、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
12. 前記ユーザに対し示される表示インタフェースの第１部分に前記ビデオフレームを表示用に提供する工程と、
    前記表示インタフェースの第２部分に位置する製品のスクロールカルーセルに選択された１つまたは複数の製品を表示用に提供するカルーセル製品提供工程であって、選択された前記製品のうちの１つ以上は前記ビデオフレームにおいて示される製品と同一または類似である工程と、をさらに備える、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
13. 製品のスクロールカルーセルに１つまたは複数の選択された製品を提示する工程は、
    前記表示インタフェースの前記第２部分に１つまたは複数のツールを表示する工程であって、
    前記ユーザは、１つまたは複数のツールを通じて、表示されている前記製品と対話する工程、を含む、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
14. 前記表示インタフェースの前記第２部分に表示される前記１つまたは複数のツールは、
    前記ユーザが表示されている前記製品を購入するための購入ツールと、
    前記ユーザが表示されている前記製品をブックマークするためのブックマークツールと、のうちの一方を含む、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
15. ビデオフレームにおける関心点は、前記ビデオフレームに関連付けられているタイムスタンプと前記ビデオフレームのフレーム番号とのうちの一方により識別される、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
16. ビデオフレームにおける検出された関心点に関連付けられている選択された製品は、前記ビデオフレームにおける識別されたオブジェクトに関連する前記製品の１つまたは複数の特性を共有する、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
17. 前記特徴解析工程は、
    複数の視覚的特徴を抽出するように、訓練済みの画像特徴抽出モデルを前記ビデオフレームに適用する工程と、
    抽出された前記視覚的特徴に基づいて前記ビデオフレームにおけるオブジェクトを識別する工程と、
    識別された前記オブジェクトに関連付けられている１つまたは複数のアイテムを識別する工程であって、識別された各アイテムは、前記ユーザの関心となる可能性が高い製品に対応する工程と、を含む、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
18. 前記ユーザに対し表示される前記ビデオは、事前記録されたビデオと、前記ユーザに対しリアルタイムにストリーミングされるブロードキャストビデオとのうちの一方である、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。

Images