JP6821149B2 - 広告配信のための動画使用情報処理 - Google Patents

Description

本開示は、動画分析の分野に関し、さらに詳しくは、動画サマリの作成と、当該サマリの使用情報の収集及び処理に関する。

近年、動画情報の生成及び利用は急増している。スマートフォン、タブレット及び高解像度カメラなどでの安価なデジタル動画機能、ならびにインターネットを含む高速グローバルネットワークへのアクセスにより、個人やビジネスによる動画作成及び配信の急速な拡大が可能となってきた。このことは、ウェブサイト及びソーシャルネットワーク上の動画に対する需要の急速な増大にもつながってきた。ユーザが生成した、あるいは報道機関が情報を伝達するために作成した、あるいは販売者が製品もしくはサービスの、説明又は販促のために作成したショート動画クリップが、今日のインターネットで普及している。

しばしば、このようなショート動画は、初めに動画の一静止フレームを表示するやり方でユーザに提示される。大抵、マウスオーバー又はクリックをすると、動画がクリップの最初から開始される。このような場合、視聴者の興味を引き付ける度合いは限定的である。ここに本明細書の一部を構成するものとして援用する米国特許第８，８６９，１９８号明細書では、動画から情報を抽出して、動画のサマリを作成するシステム及び方法が説明されている。このシステムでは、主要な要素を認識し、主要な要素に関連したピクセルを一連の動画フレームから抽出する。動画フレームの、連続した短い一部分は「動画ビット」と呼ばれ、主要要素の分析に基づいて元の動画から抽出される。サマリは、これらの動画ビットの集まりから成る。このように、サマリは、元の動画の空間的及び時間的な一連の抜粋となりうる。複数の動画ビットは、連続して、又は同時に、又は両者の組み合わせにより、ユーザのインターフェイスに表示してもよい。上述の特許に開示されたシステムは、動画サマリの使用情報を利用しない。

本発明は、動画クリップのサマリを作成し、その後、これらの動画サマリの閲覧者による利用を示すデータソースを利用するシステム及び方法を提供する。具体的には、動画サマリを公表し、どのサマリを閲覧したか、どのように閲覧したか、閲覧時間及び頻度を含む、これらのサマリの使用に関する視聴者データを収集する。当該使用情報は様々な用途に利用できる。一実施形態では、関連動画のグループ分けと、それらの動画の重要な部分のスコアとを識別、アップデート及び最適化する機械学習アルゴリズムに、使用情報を供給することにより、サマリの選択性を向上させる。このように、使用情報を用いて、視聴者の興味をより引き付けるサマリを見つける。他の実施形態では、使用情報を用いて、動画の人気を予測する。さらに他の実施形態では、使用情報を用いて、ユーザへの広告表示を支援する。

図１は、動画サマリを顧客のデバイスへ提供するサーバと、使用情報の収集の一実施形態を示す。

図２は、動画サマリの使用情報を処理して、動画サマリの選択性を向上させる一実施形態を示す。

図３は、人気予測のために動画サマリの使用情報を処理する一実施形態を示す。

図４は、動画サマリの使用情報を処理して、広告表示を支援する一実施形態を示す。

本明細書で開示するシステム及び方法は、動画サマリの使用に関する情報収集に基づいている。一実施形態では、この使用情報を機械学習アルゴリズムに供給することにより、視聴者の興味を引き付ける最適なサマリを見つける支援をする。これは、クリックスルー（すなわち、サマリが作成される元となった動画クリップの閲覧をユーザが選択すること）の増加に役立てることができ、また最終目的として、クリックスルーに関わらず、あるいはクリックスルーが無くても、サマリに対する視聴者の興味を深めるために役立てることができる。使用情報は、閲覧パターンを検出し、人気の出る動画クリップ（例えば「バイラル」動画）を予測することにも使用でき、広告を、いつ、どこで、誰に表示するかの決定にも使用できる。広告表示に関する決定は、サマリを所定回数表示した後の表示、特定の広告表示の選択、及び個々のユーザの予測興味レベルなどの基準に基づいて行うことができる。使用情報は、どの動画をどのユーザへ表示するかの決定や、動画をユーザに表示する順序の選択にも使用できる。

使用情報は、動画情報がどのように利用されたかに関して収集したデータに基づいている。具体的には、動画サマリがどのように閲覧されたか（例えば、サマリの閲覧時間、動画フレーム上でマウスが置かれた場所、サマリ閲覧中にマウスがクリックされた時点など）に基づき、情報が収集される。当該情報は、サマリに対する視聴者の興味レベル、及びユーザがクリックスルーして下層の動画クリップを閲覧する頻度の評価に使用される。概して、サマリに対するユーザの興味を強めることが目的である。また、ユーザによる元の動画クリップ閲覧数の増加、及び元の動画に対するユーザの興味を強めることを目的としてもよい。さらに、広告の利用及び／又は広告とのインタラクションの増加を目的としてもよい。

図1に示す一実施形態では、インターネットを通じてアクセス可能な動画及びデータ収集サーバ１４０が、顧客デバイスと通信する。ユーザによる動画サマリ及び動画クリップ閲覧を可能にする顧客デバイスの例には、ウェブブラウザ１１０及び動画アプリケーション１２０が含まれる。ウェブブラウザ１１０は、ウェブサーバ１３０と通信してコンテンツをユーザに表示する、デスクトップウェブブラウザなどのいかなるウェブベースの顧客プログラムでもよく、例えばサファリ、クローム（登録商標）、ファイアーフォックス、インターネットエクスプローラー及びエッジなどである。ウェブブラウザ１１０は、例えばアンドロイド又はアイフォンデバイスで入手可能なモバイルベースのウェブブラウザでもよく、スマートTVやセットトップボックスに内蔵されるウェブブラウザでもよい。一実施形態では、ウェブブラウザ１１０は、ウェブサーバ１３０との接続を確立し、動画及びデータ収集サーバ１４０からのコンテンツ検索をウェブブラウザ１１０に指示する埋め込みコンテンツを受信する。各種の機構を用いることにより、ウェブサーバ１３０から検索されたドキュメントに、動画及びデータ収集サーバ１４０へのリファレンスを埋め込むことができ、例えば、JavaScript（登録商標）（ECMAScript）などの埋め込みスクリプト、又はJava（登録商標）もしくは他のプログラミング言語で記述されたアプレットなどを使用する。ウェブブラウザ１１０は、動画及びデータ収集サーバ１４０から動画サマリを検索及び表示し、使用情報を返送する。当該動画サマリは、ウェブサーバ１３０の提供するウェブページ内に表示してもよい。ウェブブラウザ１１０は、動画及びデータ収集サーバ１４０と動画サマリの表示について相互作用するため、ウェブサーバ１３０のフロントエンドに提供されたドキュメントに必要な修正は微小である。

一実施形態において、ウェブブラウザ１１０、ウェブサーバ１３０、動画及びデータ収集サーバ１４０間の通信は、インターネット１５０上で行われる。別の実施形態では、全ての適切なローカルエリアネットワーク又は広域ネットワークを使用することができ、各種のトランスポートプロトコルを使用することができる。動画及びデータ収集サーバ１４０は、専用の場所に置かれた単独の機器である必要はなく、クラウドベースの分散サーバであってもよい。一実施形態では、動画及びデータ収集サーバ１４０を提供するのにアマゾンウェブサービスが用いられるが、他のクラウドコンピューティングプラットフォームを利用してもよい。

いくつかの実施形態では、動画コンテンツをユーザに表示するために、ウェブサーバ１１０ではなく専用の動画アプリケーション１２０を利用することができる。動画アプリケーション１２０は、デスクトップ又はラップトップコンピュータで起動するものでもよく、スマートフォンやタブレットなどのモバイルデバイス上のものでもよく、スマートテレビ又はセットトップボックスの一部であるアプリケーションでもよい。この場合、動画アプリケーション１２０は、ウェブサーバ１３０と通信するのではなく、動画及びデータ収集サーバ１４０と直接通信する。動画アプリケーション１２０は、動画を含むコンテンツを表示するのに適したどのようなデスクトップ又はモバイルアプリケーションでもよく、動画及びデータ収集サーバ１４０から動画サマリを検索するように構成される。

ウェブブラウザ１１０及び動画アプリケーション１２０のいずれの場合においても、動画サマリの利用に関する情報は、動画及びデータ収集サーバ１４０に返送される。一実施形態では、当該動画使用情報は、動画サマリが検索されたのと同じネットワークを介して同じ機器へ返送される。他の実施形態では、使用データの収集のために別の方法が用いられる。例えば、他のネットワーク及び／又は他のプロトコルを使用する、あるいは、動画及びデータ収集サーバ１４０を、動画サマリを配信するものと使用情報を収集するものとの複数の機器又は機器グループに分ける。

いくつかの実施形態では、動画使用情報は機械学習アルゴリズムを供給するために使用される。機械学習とは、システムが明示的にプログラムされることなく情報を取得又は学習できるようにする技術及びアルゴリズムのことを一般的に指す。これは通常、ある特定のタスクに対する性能と、そのタスクに対する性能が経験によってどの程度向上したかという点から表される。機械学習には、教師あり学習と教師なし学習という２つの主な種類がある。教師あり学習は、各データアイテムの回答又は結果が既知であるデータセットを使用し、一般的に、回帰問題又は分類問題を行って最良適合を見出す。教師なし学習は、各データアイテムの回答又は結果が既知でないデータセットを使用し、一般的に、特定の属性を共有するデータのクラスタ又はグループを見出す。

本発明におけるいくつかの実施形態では、教師なし学習を利用して動画のクラスタを特定する。動画クリップは、物体及び／又は人物の配色、安定性、動き、数及び種類などの特定の属性に基づいて動画グループとサブグループにまとめられる。動画クリップのサマリが作成され、視聴者の動画利用情報を使用した教師なし機械学習アルゴリズムを用いて、動画グループ又はサブグループ内の各動画に対するサマリの選択性を向上させる。一つのグループ内の動画は類似した属性を持つため、グループ内の一つの動画の使用情報は、同グループ内の他の動画のサマリ選択を最適化するために有用である。このように、機械学習アルゴリズムは、グループ及びサブグループのサマリ選択を学習してアップデートする。

本開示では、グループ及びサブグループという用語を、個々のフレーム、連続したフレーム及び／又は動画全体において、以下に詳述する一つ又は複数のパラメータが類似する一連の動画について使う。動画のグループ及びサブグループは、フレームのサブセットでいくつかのパラメータを共有するか、動画時間全体で集約した時にパラメータを共有することができる。ある動画のサマリ選択は、当該動画のパラメータに基づき計算された性能評価指標であるスコアと、グループ内の他の動画のスコアと、以下説明する視聴者インタラクションとに基づいて行われる。

図２に示す一実施形態では、動画サマリ使用情報を利用して動画サマリの選択性を向上させる。動画入力２０１は、サマリの生成及び選択が所望される動画クリップの、システムへの導入を表す。この動画入力２０１は、例えば、ユーザ作成のコンテンツ、マーケティング及び販促動画、又は報道機関作成のニュース動画を含む多数のソースからのものであってよい。一実施形態では、動画入力２０１は、コンピュータ化されたシステムへネットワークを介してアップロードされ、後続の処理が行われる。動画入力２０１のアップロードは、自動でも手動でもよい。メディアRSS(MRSS)フィードを使用することにより、動画入力２０１は動画処理システムによって自動的にアップロードされる。動画入力２０１は、ローカルコンピュータ又はクラウドベースのストレージアカウントから、ユーザインターフェイスを使用して手動でアップロードすることもできる。他の実施形態では、オーナーのウェブサイトから動画を自動的に収集する。ウェブサイトから動画を直接検索する場合、動画への理解を深めるために、文脈情報を利用してもよい。例えば、ウェブページ内での動画の配置及びその周辺のコンテンツが、動画のコンテンツに関する有益な情報を提供し得る。他にも、公のコメントなどのコンテンツが、動画のコンテンツにさらに関連し得る。

動画を手動でアップロードする場合、ユーザは、動画のコンテンツに関して利用できそうな情報を提供してもよい。一実施形態では、「ダッシュボード」をユーザに提供することにより、動画の手動アップロードを支援する。当該ダッシュボードを使用することにより、ユーザは、手動で作成したサマリ情報を組み込むことができ、この情報は、以下説明する機械学習アルゴリズムへのメタデータ入力として使用される。

動画処理２０３は、動画入力２０１を処理して、種々のパラメータ又は指数の一連の値を取得する。これらの値は、各フレーム、連続したフレーム及び動画全体について生成される。一実施形態では、動画は初めに、一定時間のスロット、例えば５秒のスロットに分割され、スロットごとにパラメータが決定される。別の実施形態では、スロットは、時間幅が違っても、サイズが変化してもよく、動画コンテンツに基づき動的に決定される始点及び終点があってもよい。スロットは、個々のフレームが複数のスロットの一部となるように重なり合ってもよく、さらに、別の実施形態では、スロットは、一つのスロットが、別のスロット（サブスロット）に含まれたフレームのサブセットから成るように、階層型に存在してもよい。

一実施形態では、５秒間のスロットを用いて元の動画クリップのサマリを作成する。取捨選択を何度も行うことにより、サマリを作成するのに最適なスロットのサイズを決定することができる。スロットのサイズが小さすぎると、元の動画クリップの画像を提供するには不十分な文脈となる。スロットのサイズが大きすぎると、「ネタバレ」となり、元の動画クリップの内容が公開されすぎてクリックスルー率が低下する可能性がある。いくつかの実施形態では、元の動画クリップへのクリックスルーはそれほど重要でないか無関係で、視聴者に動画サマリへの興味を持たせることが主目的であってもよい。このような実施形態では、スロットの最適サイズはより長く、サマリ作成に用いるスロットの最適数はより多くしてもよい。

動画処理２０３で生成される値は、概して、映像パラメータ、音声パラメータ、及びメタデータの三つのカテゴリーに分類できる。映像パラメータは、以下の一つ又は複数を含んでもよい。

１．フレーム、スロット及び／又は動画の色ベクトル。

２．フレーム、スロット及び／又は動画のピクセル流動性指数。

３．フレーム、スロット及び／又は動画の背景領域。

４．フレーム、スロット及び／又は動画の前景領域。

５．フレーム、スロット及び／又は動画の、人物、物体又は顔などの特徴が占める領域の総量。

６．フレーム、スロット及び／又は動画内の、人物、物体又は顔などの特徴の反復回数（例えば、一人の人物が現れる回数）。

７．フレーム、スロット及び／又は動画内の、人物、物体又は顔などの特徴の位置。

８．フレーム、スロット及び／又は動画内の、画素及び画像統計（例えば、物体の数、人数、物体の大きさなど）。

９．フレーム、スロット及び／又は動画内の、テキスト又は認識可能なタグ。

１０．フレーム及び／又はスロットの相関（すなわち、あるフレーム又はスロットと、先行のもしくは後続のフレーム及び／又はスロットとの相関）。

１１．フレーム、スロット及び／又は動画の解像度、不鮮明さ、鮮明さ、及び／又はノイズなどの画像特性。

音声パラメータは、以下の一つ又は複数を含んでもよい。

１．フレーム、スロット及び／又は動画のピッチ変化。

２．フレーム、スロット及び／又は動画の、時間短縮あるいは時間伸長（すなわち、音声スピードの変更）。

３．フレーム、スロット及び／又は動画のノイズ指数。

４．フレーム、スロット及び／又は動画の音量変化。

５．音声認識情報。

音響認識情報では、認識された単語をキーワードリストと照合することができる。リスト上のキーワードは、世界的に全動画に対して定義されたものでもよく、ある動画グループに特有のものでもよい。さらに、キーワードリストの一部は、下記のメタデータ情報に基づくものであってもよい。動画で用いられる音声キーワードの反復回数を使用してもよく、それにより、その特定のキーワードの重要性を統計的手法を用いて特徴づけることができる。キーワード又は音声要素のボリュームを用いて、関連性のレベルを特徴づけてもよい。その他の分析として、固有の声が、同じキーワード又は音声要素を、同時に及び／又は動画全体を通じて話す回数が挙げられる。

一実施形態では、動画処理２０３は、フレーム、スロット及び／又は動画内の人物、物体又は顔などの画像特徴を、音声キーワード及び／又は要素と照合する。画像特徴と音声特徴とが複数回合致した場合、関連情報を関連パラメータとして使用できる。

メタデータは、動画タイトルを使用して得られた情報、あるいは同じ動画を包含する発行元のサイト、その他サイト又はソーシャルネットワークを介して得られた情報を含み、以下の一つ又は複数を含んでもよい。

１．動画のタイトル。

２．当該動画のウェブページ内における位置。

３．当該動画周辺のウェブページのコンテンツ。

４．当該動画へのコメント。

５．当該動画がどのようにソーシャルメディアでシェアされてきたかの分析結果。

一実施形態では、動画処理２０３は、画像特徴及び／又は音声キーワードもしくは音声要素を、動画のメタデータワードと照合する。音声キーワードをメタデータテクストと照合し、画像特徴をメタデータテクストと照合してもよい。動画の画像特徴と、音声キーワード又は音声要素と、動画のメタデータとの間の関連性を見つけることは、機械学習の目的の一部である。

当然ながら、他の同様の映像パラメータ、音声パラメータ、及びメタデータを、画像処理２０３で生成してもよい。別の実施形態では、上記パラメータのサブセット及び／又は動画の別の特徴を、この段階で抽出してもよい。また、機械学習アルゴリズムが、視聴者データに基づきサマリを再処理及び再分析することにより、以前の分析で取り上げられていない新たなパラメータを見出すこともできる。さらに、機械学習アルゴリズムを、選択したサマリのサブセットに適用することにより、それらの一致点を見つけ、それらに関連する視聴者の行動を説明することができる。

動画処理の後、収集された情報は、グループ選択及び生成２０５へ送られる。グループ選択及び生成２０５では、動画処理２０３からの結果値を用いて、動画をすでに定義されたグループ／サブグループに割り当てるか、新たなグループ／サブグループを作成する。この決定は、新たな動画と既存のグループ内の他の動画との共有指数率に基づき行われる。もし新たな動画が既存のどのグループとも十分に異なるパラメータ値を持つ場合、パラメータ情報が分類２１８に送られ、分類２１８が新たなグループ又はサブグループを作成し、新たなグループ／サブグループ情報をグループ及びスコアアップデート２１１へ送信する。次に、グループ及びスコアアップデート２１１がグループ選択及び生成２０５の情報をアップデートすることにより、新たな動画を新たなグループ／サブグループに割り当てる。「共有指数」という用語は、グループの持つパラメータの一定の範囲内に、一つ又は複数のパラメータがある、という意味で用いる。

動画は、パラメータプールとの類似率に基づきグループ／サブグループに割り当てられ、もし十分な類似性が無い場合は、新たなグループ／サブグループを生成する。類似性は高いが新たにパラメータプールに加えたいパラメータがある場合は、サブグループを作成できる。動画が複数のグループと類似している場合、親グループからパラメータプールを受け継いだ新たなグループを生成する。新たなパラメータはパラメータプールに統合することができ、それによってグループの再生成が必要となる可能性がある。別の実施形態では、グループ及びサブグループを、何段階の階層型にも作成することができる。

一実施形態では、一つ又は複数の閾値を用いて、新たな動画が既存のグループ又はサブグループと十分な類似性があるか決定する。これらの閾値は、下記のフィードバックに基づき、動的に調整してもよい。いくつかの実施形態では、グループ選択及び生成２０５の際に、一つの動画を複数のグループ／サブグループに割り当ててもよい。

動画入力２０１のグループを選択又は生成すると、グループ情報がサマリ選択２０７へ送信され、動画に「スコア」が割り当てられる。このスコアは、上述のパラメータ値の個別のスコアに所与の関数（機械学習アルゴリズムによって決まる）を適用することにより得られる性能評価指標の総計である。この段階で作成されるスコアは、そのグループのスコアに依存する。下記の通り、動画サマリ使用からのフィードバックを用いて、スコア計算に用いる性能評価指標を修正する。性能評価指標を調整するために、教師なし機械学習アルゴリズムが用いられる。

上記各パラメータ値は一つ一つのフレームについて評価され、スロットで総計される。この評価プロセスは、出来事の発生の場所及び時間などの基準を考慮して行われる。総計されたスロットパラメータにいくつかの性能指数を適用すると、その各々の結果により、サマリが選択される。次に、性能指数は、パラメータプール評価にグループの指数（所与の変動を含む）を考慮した組み合わせに基づき計算される。結果のスコアを個々のフレーム及び／又はフレームグループに適用することにより、性能指数によって順序付けられたサマリリストが得られる。一実施形態では、順序付けられたサマリリストは、ユーザの興味を最も引き付けると思われるスロットがリストの上位にくるような、動画スロットのリストである。

次に、一つ又は複数のサマリ２０８がパブリッシャー２０９に供給され、図１に関連して上述したように、ウェブサーバ又は他の機器上でユーザへ表示可能にする。一実施形態では、動画及びデータ収集サーバ１４０が、所与の動画のサマリを受信し、これらのサマリをウェブブラウザ１１０又は動画アプリケーション１２０を介してユーザに届けることができる。一実施形態では、ユーザに表示されるサマリは、一つ又は複数の動画スロットで構成してもよい。複数の動画スロットを、同じ動画ウィンドウに同時に表示してもよく、連続して表示してもよく、組み合わせて表示してもよい。いくつかの実施形態では、表示するスロットの数とタイミングをパブリッシャー２０９が決定する。あるパブリッシャーは一つ又は複数を連続して表示することを好み、他のパブリッシャーは複数のスロットを並行して表示することを好む。概して、並行して表示するスロットが増えると、ユーザが閲覧する情報は増え、プレゼンテーションデザインの観点からは繁雑となる可能性がある。一方、一度に表示するスロットを一つにすると、繁雑さは減るが、提供される情報が少なくなる。デザインを連続にするか並行にするかは、帯域幅によっても決定される。

動画及びデータ収集サーバ１４０から、サマリの動画利用（使用）情報を取得する。使用情報は、以下の一つ又は複数から成ってもよい。

１．ユーザが所与のサマリを閲覧した秒数。

２．前記サマリウィンドウ内の、クリックされた領域。

３．前記サマリウィンドウ内の、マウスが位置している領域。

４．ユーザがサマリを閲覧した回数。

５．前記サマリの再生に関連して、ユーザがマウスをクリックした時刻。

６．ドロップタイム（たとえば、ユーザがマウスアウトイベントにより、クリックせずにサマリの閲覧を停止する時刻）。

７．元の動画クリップを閲覧するためのクリックスルー数。

８．サマリの総閲覧回数。

９．直接のクリック数（すなわち、サマリを観ずにクリックした回数）。

１０．ユーザのサイトでの閲覧時間。

１１．ユーザがサマリと相互作用した時間（コンテンツの種類に基づき選択されたサマリセットごとの、又は全サマリの総計）。

また、一実施形態では、一人又は複数いずれの視聴者でも構わない種々のユーザに、種々のバージョンのサマリを配信して、サマリの各バージョンに対する所与の視聴者のクリック回数を視聴者データに含める。次に、上記のデータを、ユーザと種々のサマリとのインタラクションを通じて取得し、アルゴリズムの性能指数の各指数を改良する方法を決定するために用いる。

上述の視聴者データ２１０は、グループ及びスコアアップデート２１１へ送信される。視聴者データ２１０に基づいて、所与の動画を異なるグループ／サブグループに再度割り当てるか、新たなグループ／サブグループを作成することができる。グループ及びスコアアップデート２１１は、必要に応じて動画を他のグループへ再度割り当て、さらに視聴者データ２１０を選択トレーニング２１３及びグループ選択２０５へ転送する。

選択トレーニング２１３は、サマリ選択２０７で使用される、動画及び動画グループの性能関数の指数を、視聴者データ２１０に基づきアップデートする。次に、この情報は、動画サマリ作成に使用するためにサマリ選択２０７へ転送され、また動画グループの残りの動画へも転送される。性能関数は、最初のグループスコアと、選択トレーニング２１３とに依存する。

一実施形態では、グループは以下の２つの事柄により決まる。 a)一定の範囲内における共有指数、及び、ｂ）どのスロット群が動画の最高の瞬間か決定することを可能にする、指数の組み合わせ。指数の組み合わせに関し、適用スコア２１５はグループ及びスコアアップデート２１１に送信される。この情報は、グループをアップデートするために用いられる。つまり、もしスコアがグループの残りと関連性が無ければ、新たなサブグループを作成するという意味である。上述のように、分類２１８が、指数の結果値に基づき、新たなグループ／サブグループを作成させるか、既存のグループを複数のグループへ分割させる。グループ及びスコアアップデート２１１が、所与のグループに「スコア」関数を割り当てる。

上記のいくつかの特徴の具体例として、サッカー動画のあるグループにおける、ある動画について考える。当該動画はグループ内で、緑色、特定の動作量、小さな人影などのパラメータを共有するだろう。ここで、視聴者の興味を最も引き付けるサマリが、ゴールのシーケンスではなく、ある人物がフィールドを走ってボールを奪うところを見せるシーケンスであると決定されたとする。この場合、グループ及びスコアアップデート２１１へスコアが送信され、サッカーグループ内に新たなサブグループを作成することが決定される可能性があり、それはサッカー動画の中で走るシーンであると考えられる。

上記では多くの異なる局面で機械学習が用いられることに注目されたい。グループ選択及び生成２０５では、機械学習を用いて、フレーム、スロット及び動画情報（処理データ）と視聴者からのデータ（視聴者データの結果とグループ及びスコアアップデート２１１の結果）を基に動画グループを作成する。サマリ選択２０７では、機械学習を用いて、スコアリング関数に使うパラメータを決定する。つまり、所与の動画グループについて、パラメータプール内のどのパラメータが重要であるかを決定する。グループ及びスコアアップデート２１１と選択トレーニング２１３では、機械学習を用いて、スコアリング関数で使用する各パラメータのスコア付け方法を決定する。つまり、スコアリング関数内のパラメータにおける、各パラメータの値を決定する。この場合、動画グループの以前の情報を、視聴者行動とともに使用する。

動画サマリ使用データに加えて、他のソースからデータを収集してもよく、また動画サマリ使用データを他の目的に利用してもよい。図３に示す実施形態では、動画サマリ使用及び他のソースからデータを収集し、アルゴリズムを用いることにより、動画が大きな反響を呼ぶ（すなわち、「バイラル」となる）か否かを予測する。バイラル動画を予測することは、多くの異なる理由から有益である。広告主にとって、バイラル動画はより重要で、事前にそれを知ることは有用だろう。また、潜在的なバイラル動画の配信者にとっても、その情報を得ることは有用で、それにより、露出度を上げるような方法で当該動画を宣伝することができるだろう。さらに、バイラル予測を用いることにより、広告を載せる動画を決定することもできる。

どの動画に高度な閲覧性があるかを示す、ソーシャルネットワーキングデータを収集することができる。また、サマリクリックスルー、閲覧時間、動画閲覧数、感想及び視聴者行動などの動画クリップ利用データを検索することもできる。このサマリデータ、ソーシャルネットワーキングデータ及び動画利用データを用いることにより、バイラルとなりそうな動画を予測できる。

図３に示す実施形態では、グループ化段階とサマリ選択段階は、図２に関連して説明したものと同じでよい。検出アルゴリズムが視聴者からのデータを検索し、動画がバイラルとなりそうな時はそれを予測する。その結果（動画がバイラルか否か）は機械学習アルゴリズムに組み込まれ、所与のグループのバイラル検出を向上させる。また、サブグループの作成（バイラル動画）とスコア修正を行うことができる。

動画入力３０１は、図２に関連して説明した通り、システムにアップロードされる動画である。動画入力３０１は処理され、その動画の映像パラメータ、音声パラメータ及びメタデータの値が取得される。この一連の値と以前の動画のデータを使用して、本動画を既存のグループに割り当てるか、新たなグループを生成する。既存のグループ内の動画と本動画とに、可変の閾値に照らし合わせて十分な類似性がある場合、本動画は既存のグループに割り当てられる。どの所与のグループについても閾値を満たさない場合は、新たなグループ又はサブグループを生成し、本動画を割り当てる。さらに、本動画が複数のグループの特徴を有する場合は、新たなサブグループを生成してもよい。いくつかの実施形態では、動画は２つ以上のグループに属してもよく、２つ以上のグループに属するサブグループを作成してもよく、パラメータの合致するグループを組み合わせて新たなグループを作成してもよい。

動画入力３０１がグループ／サブグループに割り当てられると、動画スロット（又は連続したフレーム）のスコア計算に使用するアルゴリズムを当該グループから取得及び評価することにより、スコア付けしたスロットのリストを得られる。もし本動画が、グループにおける最初の動画の場合、基本のスコアリング関数が適用される。もし本動画が、新たに生成したサブグループにおける最初の動画の場合、親グループで使われた各アルゴリズムの特徴を、初期設定として使用する。

次に、３０２で生成した規定数のスロットをパブリッシャー３０９へ配信する。図１に関して上述したように、いくつかの実施形態では、パブリッシャーが、彼らのウェブサイト又はアプリケーション上に配信すべきスロットの数と、スロットを連続して、並行して又は両方を組み合わせて配信すべきか、を決定する。

次に、パブリッシャーの動画を見た時の視聴者行動が追跡され、使用情報３０１が返送される。ソーシャルネットワーク３１１及び動画利用３１２からの当該動画に関するデータは、処理、トレーニング及びスコア修正３０３へ送信され、動画がバイラルとなりうる計算上の潜在性と、視聴者からもたらされた結果とを比較するバイラル動画検出３０６へも送信される。

動画利用３１２は、当該動画の利用に関するデータであり、パブリッシャーのサイトから、又は同じ動画が配信される他のサイトを通じて取得される。一つ又は複数のソーシャルネットワークにクエリーを行うことにより、ソーシャルネットワーク３１１のデータを検索することができ、所与の動画に対する視聴者行動を取得できる。例えば、コメント数、シェア数、動画閲覧数を検索できる。

処理、トレーニング及びスコア修正３０３は、機械学習を用いて各グループのスコア付けアルゴリズムをアップデートすることにより、動画グループのスコア計算アルゴリズムを改良する。もし、取得した結果が、以前に同じグループ内の動画から取得した結果と、（例えば閾値に照らして）一致しない場合、当該動画は他のグループに再度割り当てることができる。この時点で、動画スロットは再計算される。機械学習アルゴリズムでは、例えば以下のような複数のパラメータを考慮に入れる。動画サマリに対する視聴者行動、ソーシャルネットワークからのデータ（コメント、ソーシャルネットワークのユーザを引き付けるために選択されるサムネイル、シェア数）及び動画利用（動画のどの部分がユーザに最も見られているか）。次に、アルゴリズムは、統計値を検索し、最良の結果を出したイメージサムネイル又は動画サマリに合わせようとしながらスコア付け指数をアップデートする。

バイラル動画検出３０６は、視聴者行動、動画の映像パラメータ、音声パラメータ及びメタデータの各指数から取得した結果と、以前に同じグループ内の動画から取得した結果を基に、動画がバイラルとなる潜在可能性を計算する。３０６で得られた情報は、パブリッシャーに送信してもよい。バイラル動画検出３０６は、動画がバイラルとなった後にトレーニング機構として運用してもよく、また、動画がバイラルになりつつある時に、人気の高まりを検出するためにその時点で運用してもよく、さらに、動画が公開される前に、動画がバイラルとなる可能性を予測するために運用してもよいことに注目されたい。

図４に示す実施形態では、動画サマリ使用情報を用いて、いつ、どこで、どのように広告を表示するかを決定する。前述の各実施形態の、視聴者の興味を引き付ける情報と、どの動画がバイラルとなるかの情報とに基づき、広告表示に関する決定を行うことができる。

具体的には、広告決定機構は、特に以下の質問に回答しようと試みる。１．ユーザはいつ広告を見てコンテンツにアクセスしたいか、２．どの広告がより多くの閲覧者を得られるか、及び、３．動画及び広告を前にユーザはどのような行動をとるか。例えば、ある種のユーザに対する、押しつけがましくない最大広告挿入比率を見出すことが可能である。今日の広告業界において、主要なパラメータはユーザによる広告の「視認性」である。したがって、広告のコンテンツに強い興味を持ってこそユーザは広告を利用する、と理解することは大変重要である。短い広告を使うこと、及びそれらを時宜を得た適切な瞬間に、適切な位置に挿入することも、潜在的な視認性を向上させるための２つの重要な要素である。広告の視認性を向上させることは、パブリッシャーが彼らのページに挿入される広告に対してより高額の料金を請求できることを意味する。これは重要で、ほとんどのブランド及び広告代理店が追求している。さらに、視認性の高いプレビューが長尺動画よりも大量に利用されることで、際立った動画インベントリを生み出し、収益も増加させる。一般的に、サマリ又はプレビューは長尺動画よりも大量なため、広告インベントリを多く生み出し、パブリッシャーにもたらす収益を増加させる。本発明の実施形態は、本明細書中で説明する通り機械学習を利用することにより、広告を挿入する適切な瞬間の決定を支援し、視認性を最大限に高めて、広告料を増加させる。

動画グループ４１０は、図２及び図３に関連して上述した通り、動画が割り当てられたグループを表す。ユーザ嗜好４２０は、現サイト又は他のサイト内での所与のユーザによる以前のインタラクションから得られたデータを表す。ユーザ嗜好は、以下の一つ又は複数を含んでもよい。

１．ユーザが閲覧するコンテンツの種類。

２．サマリとのインタラクション（サマリのデータ利用、異なるグループ内におけるサマリの特定のデータ利用）。

３．動画とのインタラクション（クリックスルー率、ユーザが利用した動画の種類）。

４．広告とのインタラクション（広告の閲覧時間、広告表示がより許容された動画グループ）。

５．一般的行動（サイト閲覧時間、クリックやマウス操作などのサイトとの一般的なインタラクション）。

ユーザ嗜好４２０は、一つ又は複数のサイトにおけるユーザ行動の観察と、サマリ、動画及び広告とのインタラクションと、ユーザが訪れたページの監視とを通じて取得する。ユーザ情報４３０は、ユーザに関する一般的な情報であり、このような情報が入手可能な範囲に限られる。当該情報には、性別、年齢、収入レベル、配偶者の有無、所属政党などの特性が含まれうる。いくつかの実施形態では、郵便番号又はIPアドレスなどの他の情報との相関に基づき、ユーザ情報４３０を予測してもよい。

４１０、４２０及び４３０からのデータは、ユーザ行動４６０に入力され、ユーザ行動４６０は、計算された性能指数に基づき、ユーザが動画グループ４１０関連の動画に関心を持っているかを判断する。ユーザ行動４６０は、動画コンテンツに対するユーザの関心を評価したスコアを、広告表示決定４７０へ送る。ユーザ４９０と当該コンテンツとのインタラクションに基づき、４６０で使用するアルゴリズムをアップデートすることができる。

サマリ利用４４０は、図２及び図３に関連して上述した通り、視聴者と動画サマリとのインタラクションに関するデータを表す。このデータは、配信されたサマリ数、当該サマリの平均閲覧時間などを含んでもよい。動画利用４５０は、視聴者と動画とのインタラクションに関するデータ（動画の閲覧回数、動画の閲覧時間など）を表す。

広告表示決定４７０は、４４０、４５０及び４６０からのデータを使用し、そのユーザにその特定のコンテンツで広告を配信するかを決定する。一般的に、広告表示決定４７０は、特定のユーザに対する特定の広告の興味予測レベルを判断する。この分析に基づき、所定数のサマリ表示の後に広告を表示するよう決定してもよい。次に、ユーザ４９０と、広告、サマリ及びコンテンツとのインタラクションはトレーニング４８０で使用され、広告表示決定４７０のアルゴリズムをアップデートする。ユーザ嗜好は、ユーザに関する以前の情報を表し、一方サマリ利用４４０及び動画利用４５０は、ユーザに関する現状のデータを表すことに注目されたい。したがって、広告表示決定４７０は、以前のデータに現状を合わせた結果である。

図４で使われる機械学習機構は、所与のサマリ及び／又は動画に広告を表示するか否かを決定する。広告を表示する場合、ユーザのインタラクション（例えば、ユーザによる閲覧の有無、クリックの有無など）は次回の広告決定に使用される。次に、機械学習機構は、広告表示決定４７０で用いられるスコアリング関数をアップデートし、広告表示決定４７０は、入力データ（４４０、４５０、４６０）を用いて特定のコンテンツに広告を表示するか否か、及びその位置を決定する。

本発明の実施形態は、動画サマリ使用情報を利用することにより、広告の視認性に関してより良い結果を実現する。ユーザは、サマリ又はプレビューの閲覧後、動画の閲覧に強い興味を持つ。つまり、ユーザは、動画の閲覧を決める前に、その動画について何かしら知りたくなる。ユーザが、プレビューで見た内容を理由に動画の閲覧を一度決めると、彼らは広告を見ようとする傾向が概して強まり、さらにその後、動画内でプレビューを見られる時点に到達するまで動画を見ようとする傾向が強まる。このように、プレビューはユーザをコンテンツに引き付ける誘惑として働き、本システムは、サマリ使用情報及びユーザ行動を使用することにより、各ユーザの広告に対する許容度を査定することができる。こうして、広告視認性を最適化することができる。

本発明は、いくつかの好適な実施形態に関連して上記の通り説明した。これは専ら例示を目的としてなされたものであり、本発明の変形形態は当業者にとって当然に明白なものであり、本発明の範囲内に含まれる。

Claims (9)

1. 動画及びデータ収集サーバが以下の各ステップを実行することで、広告を選択する方法であって、
   複数のフレームから成る動画を分析し、前記動画に関連した複数のパラメータを検出するステップと、
   前記動画に対して、それぞれが前記動画から動画フレームに基づき作成される連続したサマリフレームを含む、少なくとも一つのサマリを作成するステップと、
   前記少なくとも一つのサマリを公表して、ウェブブラウザまたは動画アプリケーションによって、ユーザから閲覧可能にするステップと、
   前記少なくとも一つのサマリのユーザによる利用に関するサマリ使用情報を収集するステップと、
   前記サマリ使用情報の少なくとも一部に基づき、前記ユーザへ提示する広告に関連する決定を行うステップと、
   アップデートを行うステップと、
   を備え、
   前記少なくとも一つのサマリを作成するステップは、
   前記パラメータの値に基づき、前記動画をグループに割り当てるステップと、
   前記動画の一つ一つのフレームの前記パラメータ値を、前記動画を分割したスロットで総計し、総計されたスロットパラメータに性能指数を適用するステップと、
   前記性能指数を適用した結果の各々により、サマリを選択するステップと、を備え、
   前記アップデートを行うステップにおいては、前記サマリ使用情報に基づいて、前記動画の前記グループへの割り当てまたは前記グループの作成を再度行うとともに、前記性能指数をアップデートする、広告選択方法。
2. 前記決定を行うステップは、さらに、ユーザ嗜好とユーザ情報とを含むユーザ行動に基づく、請求項１に記載の広告選択方法。
3. 前記ユーザ嗜好は、ユーザの、サマリ、動画又は広告との以前のインタラクションに関する情報を含む、請求項２に記載の広告選択方法。
4. 前記サマリを選択するステップは、前記一つ一つのフレームの、前記性能指数に基づく順位付けと、一つ又は複数の最高順位のサマリの選択とを含む、請求項１に記載の広告選択方法。
5. 前記決定を行うステップは、さらに、前記動画が割り当てられた前記グループの属性に基づいて行われる、請求項１に記載の広告選択方法。
6. 前記動画及びデータ収集サーバが前記動画の利用に関する動画使用情報を収集するステップをさらに備え、前記決定を行うステップおよび前記アップデートを行うステップは、さらに前記動画使用情報に基づいて行われる、請求項１に記載の広告選択方法。
7. 前記決定を行うステップおよび前記アップデートを行うステップは、機械学習機構を用いる、請求項１に記載の広告選択方法。
8. 前記サマリ使用情報を収集するステップは、ユーザのサマリとの相互作用に関するデータの収集を含む、請求項１に記載の広告選択方法。
9. 前記少なくとも一つのサマリを作成するステップは、複数のサマリの作成を含み、前記公表するステップは、前記複数のサマリをユーザから閲覧可能にすることを含む、請求項１に記載の広告選択方法。

Images