JP2023513095A - 選択および表示のための機械学習によるビデオのキュレーション - Google Patents

Abstract

機械学習によるビデオのキュレーションに基づくビデオ操作のための技術が開示される。ウェブページのコンテンツがロードされ、コンテンツには、短編ビデオのフレームが含まれる。前記ウェブページのコンテンツは、テキスト情報について分析される。短編ビデオサーバがアクセスされる。短編ビデオサーバから短編ビデオが選択され、この選択には短編ビデオを自動キュレーションすることが含まれる。アダプティブラーニングは、ユーザのウェブページ挙動に基づいて、前記選択のために使用される。アダプティブラーニングは、前記選択の前のユーザのウェブページ挙動を収集することを含む。自動キュレーションは、ニューラルネットワークによって、ウェブページに適した短編ビデオのサブセットを選択することを含む。前記ウェブページフレームには、前記ビデオサーバから取得した前記短編ビデオが取り込まれる。前記短編ビデオの表現は、前記ウェブページ上の前記フレーム内に表示される。前記短編ビデオは、前記フレーム内で自動再生される。

Description

関連出願の相互参照
本出願は、２０２０年２月５日に出願した米国仮特許出願第６２／９７０，３６４号「選択および表示のための機械学習によるビデオのキュレーション」および、２０２０年１０月１日に出願した米国仮特許出願第６３／０８６，０７７号「機械学習によるビデオテンプレートの使用法」の優先権を主張する。

上記の各出願は、許容される管轄権において、その全体が参照により本明細書に組み込まれる。

本出願は、一般にビデオ操作に関し、より詳細には、選択および表示のための機械学習によるビデオのキュレーションに関する。

非常に人気のあるデジタル娯楽の１つは、「ネットサーフィン」であり、ネットサーフィンは一般に、生産的な時間、空き時間、および先延ばししている時間をインターネットに費やすことを指すようになっている。実際、人々はネットサーフィンが大好きである。ネットサーフィンは、研究、教育、または仕事などの有意義な活動を含み得るが、多くの場合、ネットサーフィンは、ショッピング、エンターテイメント、ゲーム、子供もしくはペットの愛らしいビデオの検索、または単に暇つぶしのために行われる。人々は、様々なウェブサイトで見られる豊富なオンライン情報およびコンテンツとつながるために、ネットサーフィン用の様々な電子デバイスを使用する。特定のウェブサイトにアクセスするには、人は自分の電子デバイス上でウェブブラウザを起動し、ウェブアドレスまたはユニフォームリソースロケータ（ＵＲＬ）を入力することによってウェブサイトに移動する。ＵＲＬは、特定のデジタルアドレスを指し、基本的に、物理的住所に相当するデジタルの住所である。ＵＲＬによって、その人はホームページまたはランディングページへと導かれる。ウェブサイトホームページには、ニュース、スポーツ、政治、愛らしい子犬のビデオ、可笑しな仕草の子猫のビデオ、販売中の製品またはサービス、などなどを含む様々なコンテンツが提示されている。その人は、物語、スポーツのスコア、陰謀論、または自分にとって興味のあるコンテンツをクリックすることができる。ユーザの観点からすると、面白いウェブサイトを見つけるのは、通常、使い慣れたサイトに移動するか、またはウェブ検索を使うことによって始まる。どちらの手法を使用しても、ユーザは、ネットサーフィン体験を開始するために目的地またはトピックを念頭に置く必要がある。

「大西部（Ｔｈｅ Ｗｉｌｄ Ｗｅｓｔ）」、またはその収蔵書物全部が床全面に散らばっている図書館とも言い表されるウェブは、特定のコンテンツを見つけるとなると、検索に大きな問題を提起する。オンライン上の数十億のウェブサイトの中から所望のコンテンツを見つける手助けをするために、検索エンジンが開発されてきた。ある人は、「可愛い子犬のビデオ」または「スモールフォームファクタコンピュータ」などの検索文字列を検索エンジンに入力し、検索を開始する。しかしながら、そのような一般的な検索文字列は、膨大な数のヒットをもたらし、可愛い犬だけで約３０００億ヒットする。効果的でない検索では、結果が多すぎて、検索を開始する人にとって有用でなかったり、意味がなかったりする。簡潔な検索文字列を書くことが、この問題に対する解決策の示唆となるであろうが、あまりにも簡潔な検索は、実際にその人が探し求めているものに近いかもしれない「ほぼ一致」を排除しかねない。オンライン小売業者のようなプロバイダの観点からすると、そのビジネスが成功するか失敗するかは、見込み客に商品とサービスを提示し、次いで見込み客を購入者へとコンバートすることにかかっている。「正しい」ウェブページは、商品またはサービスを探している潜在的な顧客に迅速に提示されなければならない。そのような提示が行われない場合、顧客は他の所に行くだろうし、あるいは興味を失ったり時間がなくなったりして単にやめてしまうだろう。

ウェブページクリエイタは、彼らのウェブページのランキングを上げ、そのウェブページがウェブを検索するユーザに最初に提示される機会を増やす、検索エンジン最適化（ＳＥＯ）技術を使用して自分のウェブページを作成する。検索エンジンプロバイダは、検索結果においてウェブページをランク付けするためのＳＥＯ技術を使っているウェブページを調査する。これらのランク付けされた検索結果は、ウェブページにユーザを誘導して、そこでユーザが購入することを期待してユーザに提示される。ＳＥＯは、いたちごっこに少し似ている。クリエイタは、より高くランク付けされるウェブページを作成しようとする一方で、検索エンジン開発者は、より高いランク付けが正当であるか、または操作されているかを判定しようとする。特定のページへのアクセスを自動化してヒット率を高め、その結果としてその見かけの人気を高めるなど、明らかに欺瞞的で不正な手法は、全くもって推奨されていない。ただし、検索エンジン最適化に対する正当なアプローチは奨励されている。この後者のカテゴリには、ウェブページを作成するためのガイドが含まれ、中でも例えば、ウェブページコード内にメタタイトル、記述子、およびキーワードを埋め込むこと、検索エンジンによって容易にフォローされ得るようにＵＲＬを構造化すること、ならびに画像に適切なキーワードをタグ付けすること、などである。適切に行われた場合、ＳＥＯ技術を使用して作成されたウェブページは、ウェブページのランキングを上げ、ウェブページにユーザを引き付けることに成功する。

デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、およびＰＤＡなどの電子デバイスは、ウェブコンテンツを観察し、ウェブコンテンツとインタラクションしたい人々によって広く使用されている。ウェブコンテンツは、ウェブブラウザ内にウェブページとしてレンダリングされることが多く、ニュース、政府情報、娯楽、教育資料などを提示する。ウェブコンテンツには通常、テキスト、ライブフィードビデオを含むビデオ、オーディオなどが含まれる。ウェブページとインタラクションする個人は、ニュース記事、スポーツチーム、製品またはサービスなどについてより詳しく知ることを選択することができる。さらに情報を求めることには、ウェブ検索の実行が含まれてもよく、ウェブ検索により、数百、数千、またはそれ以上の検索ヒットが生じる。その個人はその後、検索結果のいくつかを試してみるか、さらなる検索を行うか、など決定しなければならない。有名人の最新のゴシップを探すこと、またはニュース速報を追跡することが検索に含まれる場合、総数と上位検索結果の適合度は絞られ、非常に扱いやすく、ユーザは自分の好きな情報源を選択することができる。対照的に、検索が製品またはサービスに関するもので、関連性の低い大量の検索結果を個人が受け取った場合、その人物が、「コンバート」または商品もしくはサービスを購入する可能性が非常に低い。検索結果の数および質を制御するには、検索結果をキュレーションし、個人の情報クエストに高度に関連する少数の結果を選択する方が遥かに効果的であり得る。個人は、妥当な数の関連選択肢が迅速に提示され、上位の検索結果を安全に選択すること、好みの情報源を選択すること、などが可能になる。さらに、アダプティブラーニングなどの人工知能（ＡＩ）技術を適用することによって、検索結果の選択および表示をキュレーションするための質および効率を大幅に改善することができる。ウェブページとインタラクションする間の各人の挙動を観察することにより、上位検索結果の選択を大幅に強化することができるため、検索結果の関連性を高め、その個人のユーザ体験（ＵＸ）を改善し、個人が閲覧者から購入者または消費者へと「コンバート」する確率を高めることができる。

ビデオ操作は、選択と表示のための機械学習によるビデオのキュレーションに基づいている。ビデオ操作のためのプロセッサ実装方法が開示され、この方法は、ウェブページのコンテンツをロードすることであって、前記コンテンツが複数の短編ビデオのためのフレームを含む、ロードすることと、テキスト情報についてウェブページのコンテンツを分析することと、短編ビデオサーバにアクセスすることと、前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択することであって、前記選択は、前記複数の短編ビデオを自動キュレーションすることを含む、選択することと、前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込むことと、前記ウェブページ上の前記フレーム内に前記複数の短編ビデオの表現を表示することと、を含む。自動キュレーションは、リカレントニューラルネットワークなどのニューラルネットワークを使用して、ウェブページに適した複数の短編ビデオのサブセットを選択することを含み得る。ニューラルネットワークは、長期短期記憶モデルなどのモデルを実装することができ、長期短期記憶モデルは、ニューラルネットワーク内のフィードバックを使用してデータのシーケンスを処理する。データのシーケンスは、スピーチまたはビデオを含むことができる。自動キュレーションは、ディープラーニングなどの機械学習に基づくことができる。機械学習は、ニューラルネットワークに訓練データを適用することによって、自動キュレーションのためにニューラルネットワークを訓練することを含み得る。短編ビデオは、ウェブページ上のフレーム内で自動再生することができる。ウェブページ上のフレーム内に埋め込まれたコールトゥアクションに対する応答を受信することができる。短編ビデオサーバからのコールトゥアクションに対する応答に基づいて、第２の複数の短編ビデオを提供することができる。第２の複数の短編ビデオの基準によって、複数の短編ビデオの自動キュレーションを修正することができる。

自動キュレーションは、アダプティブラーニングを使用して強化または更新され得る。アダプティブラーニングは、個人に関連する情報を収集し、その情報を分析し、分析結果を使用してニューラルネットワークに関連する様々なパラメータまたは相互接続を更新することを含み得る技術である。ニューラルネットワークに関連する更新パラメータは、ニューラルネットワークに関連する重み、バイアス、係数などを更新することを含み得る。アダプティブラーニングに関連し得る収集された情報には、個人のウェブページ挙動、ウェブページ上のスワイプおよび／またはクリック、他の人々のウェブページ挙動との比較などが含まれ得る。ウェブページからの個人に関連付けされたコンテキスト情報および人口統計データも、アダプティブラーニングに使用され得る。より多くのデータが収集および分析されるにつれて、ニューラルネットワークに対して行われる改善の質が向上する。個人は、「オプトイン」を選択することができ、これにより、所与のウェブサイト上でのユーザの使用法またはウェブサイト挙動、および追加のウェブサイト上での挙動、などに関連するさらなる情報を収集することが可能になる。

様々な実施形態の様々な特徴、態様、および利点は、以下のさらなる説明からより明らかになるであろう。

特定の実施形態の以下の詳細な説明は、以下の図を参照することによって理解することができる。

機械学習によるビデオのキュレーションのフロー図である。 キュレーションされたビデオを表示するためのフロー図である。 フレーム付きのウェブページの一例である。 デスクトップ／ラップトップデバイス上の埋め込みビデオを示す。 モバイルデバイス上の埋め込みビデオを示す。 ソースと通信するウェブページのブロック図である。 アダプティブラーニングの使用法のフロー図である。 ビデオ操作のシステム図である。

選択および表示のための機械学習によるビデオのキュレーションに基づくビデオ操作の技術が開示される。デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、携帯情報端末（ＰＤＡ）などの電子デバイスを使用して、個人によってウェブページがロードされ得る。ロード可能なウェブページは、テキスト、画像、ビデオ、オーディオ、および他のコンテンツを含むことができ、これらコンテンツは、ウェブページに関連するか、またはウェブページに関連付けられた、メッセージ、フィーリングまたは本能的反応、テーマ、体験などを提示する。所与のウェブページ上の情報は有用であり得るが、類似または関連しているウェブページへのアクセスは、個人がウェブページコンテンツを消費する際のユーザ体験を大幅に向上させることが広く知られている。例えば、個人がニュースレポートを消費して、特定のトピックについてもっと多くを知りたい場合、単純な検索では、優に数百または数千の検索結果またはヒットが生まれ得る。無数の結果には、類似のキーワード、トピック、名前などが含まれる場合があるが、結果の大部分の有用性またはメリットには疑問が残り得る。「スマート検索」は、検索結果の数を減らすことができるが、そのような高度な検索方法を知るのは、時間がかかり、ややこしい場合がある。キュレーションによる検索結果の選択は、選択されたウェブページによって個人の体験を大きく向上させる。

選択と表示のための機械学習によるビデオのキュレーションにより、ビデオ操作が可能になる。ウェブページのコンテンツがロードされ、コンテンツには、複数の短編ビデオのフレームが含まれる。ウェブページのコンテンツは、テキスト情報について分析される。ウェブページのコンテンツはさらに、ビデオ情報、オーディオ情報などについて分析され得る。短編ビデオサーバがアクセスされ、短編ビデオサーバは、ウェブページの残りの部分のストレージとコンテンツから分散されている。テキスト情報に基づいて短編ビデオサーバから複数の短編ビデオが選択され、選択には複数の短編ビデオを自動キュレーションすることが含まれる。自動キュレーションは、ニューラルネットワークを使用して、ウェブページに適した複数の短編ビデオのサブセットを選択することを含み得る。ウェブページ上のフレームには、短編ビデオサーバから取得された複数の短編ビデオが取り込まれる。フレームには、水平方向にスクロール可能なフレーム、グリッドなどが含まれ得る。複数の短編ビデオの表現は、ウェブページ上のフレーム内に表示される。複数の短編ビデオは、フレーム内で再生される。ウェブページ上のフレーム内に埋め込まれたコールトゥアクションに対する応答が受信される。第２の複数の短編ビデオが、短編ビデオサーバからのコールトゥアクションに対する応答に基づいて提供され、第２の複数の短編ビデオの基準によって、複数の短編ビデオの自動キュレーションが修正される。ユーザのウェブページ挙動が観察されると、短編ビデオを選択するためにアダプティブラーニングが使用され得る。アダプティブラーニングにより、選択と表示のための機械学習によるビデオのキュレーションが可能になる。アダプティブラーニングは、ユーザのウェブページ挙動に基づくことができる。アダプティブラーニングは、選択が行われる前のユーザのウェブページ挙動、すなわち以前のウェブページ挙動を収集することを含み得る。アダプティブラーニングは、１つのウェブページまたはそのウェブページに関連する複数のウェブページ上でのユーザのスワイプおよび／またはクリックを収集することを含み得る。

図１Ａは、機械学習によるビデオのキュレーションのフロー図である。短編ビデオを含み得るビデオには、ニュースビデオ、エンターテインメントビデオ、政治メッセージビデオなどの様々なメディアタイプが含まれ得る。短編ビデオは、数秒、１分などの長さのビデオを含むことができる。ビデオは、個人が使用する電子デバイス上に表示され得る。ビデオは、ウェブページの追加コンテンツの中に含まれてもよく、追加コンテンツは、テキストおよびオーディオを含むことができる。ウェブページは、フレームを含み得る。短編ビデオは、ビデオサーバに保存されてもよく、ビデオサーバは、ウェブページの残りのコンテンツから分散されている。短編ビデオがサーバから選択され、個人が閲覧しているウェブページ上のフレームに取り込むために使用され得る。短編ビデオを取り込むフレームは、水平方向、垂直方向、グリッド、などを含むことができる。フレームは、水平方向、垂直方向、およびグリッド構成においてスクロール可能であり得る。フレーム内の短編ビデオは自動再生され得る。

フロー１００は、ウェブページのコンテンツのロード１１０を含む。ウェブページコンテンツのロードは、ウェブブラウザを使用して達成され得る。ウェブページは、個人が選択したウェブページを含むことができる。ウェブページは、ニュースウェブサイト、ｅコマースウェブサイト、政府ウェブサイト、などの様々なウェブサイトのコンテンツを含むことができる。ウェブページコンテンツは、テキスト、画像、ビデオ、オーディオ、などを含むことができる。テキストは、フォント、文字、絵文字などを含むことができる。ビデオおよびオーディオは、ビデオ用にはＭＰＥＧ－４（商標）、Ｆｌａｓｈ（商標）、ＱｕｉｃｋＴｉｍｅ（商標）など、オーディオ用にはＭＰＥＧ－３（商標）、ＷＡＶ（商標）、ＡＩＦＦ（商標）など、の様々な規格またはプロトコルに基づくことができる。ロードされるウェブページのコンテンツは、個人がウェブページのコンテンツを表示するために使用する電子デバイスに基づくことができる。個人は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、ＰＤＡ、または他の電子デバイスを使用してウェブページコンテンツをロードすることができる。ロードされるウェブページコンテンツは、ディスプレイサイズ、ディスプレイ解像度、個人によって構成されたダウンロード設定、などに基づいて決定され得る。フロー１００において、コンテンツは、１１２の複数の短編ビデオ用のフレームを含む。全体を通して論じているように、フレームはスクロール可能であり、水平方向、垂直方向、またはグリッド方向に含めることができる。実施形態では、以下で説明するように、フレームを既存のウェブページに追加して、関連する短編ビデオの表示を容易にすることができる。フレームは、ウェブページ内に配置することができ、ウェブページ上のフローティングボックスなどを含むことができる。さらなる実施形態では、ウェブページ上のフレームは、短編ビデオサーバから複数の短編ビデオをプルすることができる。短編ビデオは、ウェブページ上のフレーム内に表示することができる。

フロー１００は、テキスト情報についてウェブページのコンテンツを分析すること１２０を含む。テキスト情報の分析には、１つまたは複数のキーワード、１つまたは複数のキーフレーズ、などのテキストの処理が含まれ得る。テキストデータは、ユーザが見るウェブページ上の実際の単語を含むことができる。テキストデータは、ＳＥＯメタデータなどよりもウェブページコンテンツをより純粋に表現することができる。前記分析はさらに、ビデオ情報の分析を含むことができる。ビデオ情報は、ビデオ内の物体、人物、または動物など、ビデオに関連するキーワードを含むことができる。前記分析はさらに、オーディオ情報の分析を含むことができる。オーディオ情報の分析は、自然言語処理を含むことができる。フロー１００はさらに、テキスト情報をメタデータによって拡張すること１３０を含む。メタデータ、すなわち「データに関するデータ」は、分析の結果に加えて情報を提供することができる。メタデータは、タイムスタンプ、ウェブジャーニー情報（例えば、ページ訪問、クリックされたボタン）、ユーザ情報、ＳＥＯデータ、クッキーなどを含むことができる。以下で説明するように、メタデータによるテキスト情報の拡張は、メタデータに基づいて複数の短編ビデオを選択するために使用されてもよい。メタデータによる拡張は、ビデオ情報およびオーディオ情報にも適用されてもよい。フロー１００はさらに、テキスト情報を画像情報によって拡張すること１３２と、画像情報に基づいて複数の短編ビデオを選択することとを含む。画像情報によるテキスト情報の拡張は、画像の説明、キーワード、またはフレーズ、および画像コンテンツの説明などを含むことができる。フロー１００はさらに、ウェブページから抽出されたテーマによってテキスト情報を拡張すること１３４を含み、テーマの選択は、メタデータと短編ビデオテーマ情報との関連性のランク付けに基づく。ウェブページテーマは、ウェブページによって伝達される外観、スタイル、ムード、または「フィーリング」を含むことができる。テーマは、喜びまたは悲しみ、恐怖または自己啓発、行動を起こす呼びかけ、愉快または不快などを含むことができる。フロー１００は、短編ビデオサーバにアクセスすること１４０を含む。短編ビデオは、１５秒のような数秒、１分などの長さのビデオを含むことができる。短編ビデオは、マーケティング、商業、ニュース、政府、教育、または他の目的のために使用されるビデオを含むことができる。ビデオサーバは、ローカルサーバ、リモートサーバ、クラウドベースのサーバ、グリッドサーバ、などを含むことができる。ビデオサーバは、ウェブページコンテンツおよびレンダリングに関与する他のコンピューティング機能およびストレージ機能から分散されたサーバを含むことができる。

フロー１００は、テキスト情報に基づいて、短編ビデオサーバから複数の短編ビデオを選択すること１５０を含む。複数の短編ビデオは２つ以上のビデオを含むことができ、２つ以上のビデオは実質的に同様のコンテンツを含むことができる。短編は、一般的に関連し得る範囲のコンテンツを提供することができ、一般的な関連には、「ニュース」、「エンターテインメント」、「旅行」などが含まれ得る。使用例では、短編ビデオの選択は、例えば、カリブ海でのスキューバダイビング、ヒマラヤでのトレッキング、またはオーストラリアでのバンジージャンプのような多様な目的地の旅行ビデオを含むことができる。フロー１００において、選択は、複数の短編ビデオの自動キュレーション１５２を含む。短編ビデオの選択のキュレーションは、ユーザの好み、マーケティングメッセージ、などに基づくことができる。さらなる実施形態では、自動キュレーションは、ウェブページにアクセスするユーザによる最近の挙動を追跡する長期短期記憶モデルに基づくことができる。ユーザによる最近の挙動は、訪問されたウェブページ、行われたメニュー選択、クリックされたボタンなどを含むことができる。実施形態では、キュレーションは、ウェブページにアクセスするユーザによって時間的に重み付けされた挙動を使用することができる。時間的に重み付けされた挙動は、所与のウェブページでユーザが費やした時間量、ボタンのクリックまたはスクロールなどのアクション間の時間量、などを含むことができる。

フロー１００では、自動キュレーションは、ニューラルネットワークによって、ウェブページに適した複数の短編ビデオのサブセットを選択すること１５４を含み得る。ニューラルネットワークは、畳み込みニューラルネットワークを含むことができる。実施形態では、ニューラルネットワークは、長期短期記憶モデルに基づくことができ、長期短期記憶モデルは、リカレントニューラルネットワーク上で実行され得る。他のニューラルネットワークのモデルおよび構成を使用することができる。実施形態では、自動キュレーションは機械学習を含むことができる。機械学習は、ディープラーニングニューラルネットワークなどのニューラルネットワーク上で達成され得る。機械学習は、ニューラルネットワークを訓練するために、教師あり、教師なし、または半教師ありの技法を使用して達成され得る。ニューラルネットワークの訓練には、既知の良好なデータの使用を含むことができ、このデータに対する予測結果は、計算、推定、人間の専門家などによって決定されている。他の実施形態では、自動キュレーションは、ウェブページからのコンテキスト情報に基づいてビデオのサブセットを提供する。コンテキスト情報は、ウェブページに関連付けられたキーワード、非表示テキスト、タグ、などを含むことができる。コンテキスト情報は、例えばウェブページがホームページ、製品ページ、ニュース記事ページであるかどうか、などのウェブページ情報を含むことができる。他の実施形態では、コンテキスト情報は、ウェブページからのビデオ情報に基づいていてもよい。ビデオ情報は、ビデオの種類、ビデオコンテンツなどを含み得る。

フロー１００は、アダプティブラーニングの使用１５６を含む。アダプティブラーニングは、ユーザのウェブページ挙動に基づいていてもよい。全体を通して論じているように、短編ビデオは、テキスト情報などの基準に基づいて選択され得る。選択はさらに、短編ビデオの自動キュレーションを含むことができる。ユーザのウェブページ挙動が観察されると、短編ビデオを選択するためにアダプティブラーニングが使用され得る。アダプティブラーニングによって、選択と表示のための機械学習によるビデオのキュレーションが可能になる。アダプティブラーニングは、ユーザのウェブページ挙動に基づくことができる。アダプティブラーニングは、選択が行われる前のユーザのウェブページ挙動、すなわち以前のウェブページ挙動を収集することを含み得る。アダプティブラーニングは、１つのウェブページまたは当該ウェブページに関連する複数のウェブページ上でのユーザのスワイプおよび／またはクリックを収集することを含み得る。アダプティブラーニングは、他のユーザのウェブページ挙動の履歴パターンと当該ユーザの現在のウェブページ挙動とを比較することを含み得る。アダプティブラーニングは、ユーザのウェブページ挙動とウェブページからのコンテキスト情報とを組み合わせることができる。アダプティブラーニングは、ユーザに関する人口統計データを含むことができる。ユーザによる「オプトイン」によって、ユーザに関する追加のウェブページ挙動の収集が可能になる。追加のウェブページ挙動の収集には、追加のウェブサイト上でユーザのウェブページ挙動を監視することが含まれ得る。ユーザは、オプトインをすることで報酬を得ることができる。

フロー１００の様々なステップは、開示された概念から逸脱することなく、順番の変更、反復、省略などが可能である。フロー１００の様々な実施形態は、１つまたは複数のプロセッサによって実行可能なコードを含むコンピュータ可読媒体で具現化されたコンピュータプログラム製品に含まれ得る。

図１Ｂは、キュレーションされたビデオを表示するためのフロー図である。フロー１０２は、ウェブページ上のフレームに、短編ビデオサーバから取得した複数の短編ビデオを取り込むこと１６０を含む。取り込みは、サーバから複数の短編ビデオを取得することと、短編ビデオをウェブページ上のフレームにロードすることとを含み得る。フロー１０２は、ウェブページ上のフレーム内に複数の短編ビデオの表現を表示すること１７０を含む。表現は、短編ビデオの縮小サイズまたは「サムネイル」バージョンを含むことができる。フルサイズのビデオは、ビデオの表現を選択するか、またはクリックすることによって見ることができる。実施形態では、フレームは、複数の短編ビデオの表現を直線的に示すことができる。フレームは、水平構成または垂直構成を含むことができる。フレームに取り込まれる短編ビデオの数は、一度にすべてが見えるとは限らない。フレームはスクロール可能であり得る。他の実施形態では、フレームは、グリッド形式で複数の短編ビデオの表現を示すことができる。グリッドも、スクロール可能であり得る。

フロー１０２はさらに、フレーム内で複数の短編ビデオを自動再生すること１８０を含む。フレームにデータが取り込まれると、自動再生が起こり得る。短編ビデオの自動再生は、フレーム内で視認可能なビデオの自動再生を含み得る。フレーム内でスクロールが生じると、フレーム内で視認可能になる短編ビデオが自動再生され得る。自動再生は、ウェブページとインタラクションしている個人がフレーム内の短編ビデオ表現の上にカーソルを移動したときに起こり得る。フロー１０２はさらに、ウェブページ上のフレーム内に埋め込まれたコールトゥアクションに対する応答を受信すること１９０を含む。コールトゥアクションは、ウェブページを閲覧している個人に何らかのアクションをとるよう促すことを含み得る。コールトゥアクションには、請願書に署名すること、購入を行うこと、ニュースレターに署名すること、などが含まれ得る。コールトゥアクションに対する応答には、ボタンクリック、ウェブフォームに入力されたデータ、などが含まれ得る。フロー１０２はさらに、コールトゥアクションに対する応答に基づいて、短編ビデオサーバから第２の複数の短編ビデオを提供すること１９２を含む。第２の複数の短編ビデオの基準を使用して、複数の短編ビデオの自動キュレーションを修正することができる。第２の複数の短編ビデオは、第１の複数の短編ビデオのサブセット、追加の短編ビデオセット、別の短編ビデオセット、などを含むことができる。

フロー１０２の様々なステップは、開示された概念から逸脱することなく、順番の変更、反復、省略などが可能である。フロー１０２の様々な実施形態は、１つまたは複数のプロセッサによって実行可能なコードを含むコンピュータ可読媒体で具現化されたコンピュータプログラム製品に含まれ得る。

図２は、フレーム付きのウェブページの一例である。フレームを含むウェブページをディスプレイ上にレンダリングすることができる。フレームには、ウェブページ内で分析されたテキスト情報の分析に基づいて選択された短編ビデオを取り込むことができる。フレームのコンテンツは、選択と表示のための機械学習によるビデオのキュレーションに基づいて選択される。ウェブページのコンテンツがロードされ、コンテンツには、複数の短編ビデオのフレームが含まれる。ウェブページのコンテンツは、テキスト情報について分析される。短編ビデオサーバがアクセスされる。テキスト情報に基づいて短編ビデオサーバから複数の短編ビデオが選択され、選択には複数の短編ビデオを自動キュレーションすることが含まれる。ウェブページ上のフレームには、短編ビデオサーバから取得した複数の短編ビデオが取り込まれている。複数の短編ビデオの表現は、ウェブページ上のフレーム内に表示される。実施形態は、フレーム内で複数の短編ビデオを自動再生することを含む。

フレーム付きのウェブページの例を２００に示す。ウェブページおよびフレームをディスプレイ２１０上にレンダリングすることができ、ディスプレイは、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピューティングデバイス、およびタブレット、スマートフォン、ＰＤＡなどのパーソナル電子デバイス、に関連するディスプレイを含むことができる。ウェブページは、ウェブコンテンツ２２０を含むことができる。ウェブコンテンツは、テキスト、画像、ビデオクリップ、ビデオ、オーディオ、オーディオクリップ、などを含むことができる。全体を通して論じているように、ウェブページコンテンツは、テキスト情報、ビデオ情報、オーディオ情報などについて分析される。ウェブページから収集した情報の分析に基づいて、複数の短編ビデオが選択される。選択された短編ビデオを使用して、ウェブページコンテンツに含まれるフレーム２３０を埋めることが可能である。短編ビデオは、２４０の短編ビデオ１、２４２の短編ビデオ２、２４４の短編ビデオ３、２４６の短編ビデオ４、２４８の短編ビデオ５、および２５０の短編ビデオ６を含むことができる。６つの短編ビデオが示されているが、他の数の短編ビデオがウェブページ上のフレームを埋めることができる。

図３は、デスクトップ／ラップトップデバイス３００上の埋め込まれたビデオを示す。様々なウェブブラウザを使用して、ラップトップコンピュータ、デスクトップコンピュータ、などの電子デバイス上にウェブページを表示することができる。表示されるウェブページは、短編ビデオサーバから選択された複数の短編ビデオから選択された短編ビデオを取り込むことができるフレームを含み得る。フレーム内の短編ビデオをキュレーションすることができ、キュレーションはビデオ選択に関連する機械学習に基づいている。

ウェブページおよびウェブページ内に含まれるフレームは、ラップトップコンピュータ、デスクトップコンピュータ、などのユーザデバイス上に表示することができる。例えば、ラップトップ上に表示されたウェブページが水平方向にレンダリングされると仮定すると、ウェブページ内のフレームも水平方向にレンダリングされ得る。短編ビデオサーバから複数の短編ビデオが選択されていること、およびウェブページ内のフレームに選択された短編ビデオが取り込まれていることを思い出していただきたい。フレーム内に表示された短編ビデオにアクセスするために、ユーザは、フレーム内で水平方向３１０にスクロールすることができる。ユーザがウェブページをスクロールダウンしている間、フレーム内の水平スクロールがサポートされ得る。水平スクロールフレームは、記事３１２の下部またはウェブページの他のウェブコンテンツの下部にあっても視認可能なままである。ウェブページ内のフレームには、他の構成技術を使用することができる。実施形態では、グリッド３１４は、短編ビデオサーバから選択され、ウェブページ内のフレームを埋めるために使用される複数の短編ビデオの表現を表示するために使用され得る。

ビデオプレーヤを使用して、ユーザによって選択された短編ビデオまたは他のビデオを再生することができる。ビデオプレーヤには、ＭＰＥＧ－４（商標）プレーヤ、Ｆｌａｓｈ（商標）プレーヤ、およびＱｕｉｃｋＴｉｍｅ（商標）プレーヤなどが含まれ得る。ビデオプレーヤを使用して、選択された短編ビデオを様々な構成で再生することができる。実施形態では、ビデオプレーヤが短編ビデオを再生する構成は、垂直３２０すなわち縦長の構成または方向を含むことができる。再生のためにユーザによって選択された選択済み短編ビデオは、垂直構成内に収まるようにズーム、スケーリング、トリミングなどを行われてもよい。他の実施形態では、短編ビデオを再生するための構成は、水平３２２または横長の構成を含むことができる。水平構成は、４：３、１６：９、などの一般的なアスペクト比を含む様々なアスペクト比を含むことができる。さらなる実施形態では、短編ビデオを再生するための構成は、正方形３２４の構成を含むことができる。正方形の構成は、短編ビデオのズーム、スケーリング、トリミングなどによって達成することができる。

図４は、モバイルデバイス上の埋め込みビデオを示す図である。モバイルデバイスを使用して、選択された短編ビデオの表現を含むフレームを表示することが可能なウェブページにアクセスすることができる。短編ビデオの表示は、選択と表示のための機械学習によるビデオのキュレーションに基づき得る。ウェブページのコンテンツがロードされる。コンテンツは、複数の短編ビデオのためのフレームを含む。ウェブページのコンテンツは、テキスト情報について分析される。短編ビデオサーバがアクセスされる。テキスト情報に基づいて、短編ビデオサーバから複数の短編ビデオが選択される。選択は、複数の短編ビデオの自動キュレーションを含む。ウェブページ上のフレームには、短編ビデオサーバから取得した複数の短編ビデオが取り込まれ、複数の短編ビデオの表現がウェブページ上のフレーム内に表示される。

モバイルデバイス上に表示される埋め込みビデオの例が４００に示されている。フレームを含むウェブページのコンテンツは、４１０の水平スクロールを含むことができる。水平スクロールは、短編ビデオサーバから選択されてフレーム内に表示されるビデオ間を横方向にスクロールすることを含み得る。水平スクロールは、所望の短編ビデオを見つけるために左スワイプ、右スワイプなどを含むことができる。次いで、短編ビデオの表現をタップすることによって、前記短編ビデオを選択または再生することができる。選択されたビデオの表現間の水平スクロールを可能にするフレームは、ユーザがウェブページのどこでウェブページコンテンツとインタラクションしているかに関係なく持続することができる。４１２では、ユーザは、ウェブページ上のウェブコンテンツの最後までスクロールした。選択した短編ビデオのうち、水平方向のスクロールを可能とするフレームは表示されたままであることに注意されたい。他のフレーム構成も含まれ得る。実施形態では、フレームは、４１４のグリッド内に、選択された短編ビデオの表現を表示することができる。グリッドは、水平方向および垂直方向のスクロールを有効化することができる。

選択した短編ビデオは、ユーザがビデオプレーヤを起動することによって視聴することができる。ビデオプレーヤには、電子デバイスにインストールすることができるビデオプレーヤアプリが含まれてもよい。ビデオプレーヤは、選択した短編ビデオを様々な方向で再生することができる。方向は、ウェブページの開発者によってコード化された方向、電子デバイスの方向、ユーザによって選択された方向、などを含むことができる。実施形態では、ビデオプレーヤは、４２０の垂直方向で短編ビデオを再生することができる。短編ビデオは、垂直方向に適合させるためにスケーリング、トリミングなどをすることができる。他の実施形態では、ビデオプレーヤは、４２２の水平方向で短編ビデオを再生することができる。水平方向は、４：３、１６：９、「レターボックス」などの様々な表示比を含むことができる。垂直方向については、ビデオプレーヤは、水平方向に表示するための短編ビデオのスケーリング、トリミング、調整などを行うことができる。さらなる実施形態では、ビデオプレーヤは、４２４の正方形の構成で短編ビデオを再生することができる。短編ビデオは、短編ビデオを正方形構成に適合させるためにスケーリングおよびトリミングすることができる。正方形の構成は、短編ビデオを見やすくするために短編ビデオの中心を最大化するのに有用であり得る。

図５は、５００でソースと通信するウェブページのブロック図である。ウェブページとソースとの間の通信により、選択および表示のための機械学習によるビデオのキュレーションが可能になる。ウェブページのコンテンツがロードされ、コンテンツには、複数の短編ビデオのフレームが含まれている。ウェブページのコンテンツはテキスト情報について分析され、短編ビデオサーバがアクセスされる。テキスト情報に基づいて短編ビデオサーバから複数の短編ビデオが選択され、選択には複数の短編ビデオを自動キュレーションすることが含まれる。ウェブページ上のフレームには、短編ビデオサーバから取得した複数の短編ビデオが取り込まれている。複数の短編ビデオの表現は、ウェブページ上のフレーム内に表示される。

全体を通して論じているように、短編ビデオは、短編ビデオサーバによってホストされる複数の短編ビデオから選択され得る。選択は、ユーザが訪問したウェブページに基づいて行うことができる。ウェブページは、ユーザが見ることができる複数のウェブページのうちの１つを含むことができる。ウェブページの分析に基づいて、短編ビデオがサーバから選択され、ユーザによって閲覧されるウェブページに表示される。ユーザは、電子デバイス５１０を使用してウェブページにアクセスすることができる。電子デバイスには、デスクトップまたはラップトップコンピュータ、タブレットまたはスマートフォン、携帯情報端末（ＰＤＡ）などが含まれ得る。電子デバイスは、ウェブページ５１４をレンダリングすることができるディスプレイ５１２に結合される。ウェブページ上のフレーム５１６には、ビデオ１の５１８、ビデオＮの５２０などのビデオが取り込まれている。２つのビデオが示されているが、他の数のビデオをフレーム内に取り込むことができる。電子デバイスは、ウェブページコンテンツ検出器５３０と通信することができる。電子デバイスとウェブページコンテンツ検出器との間の通信は、無線通信チャネル５３２などの通信チャネルを使用して達成することができる。ウェブページコンテンツ検出器は、テキスト情報についてウェブページを分析することができる。テキスト情報は、ウェブページ上のテキストを検索することによって検出することができる。さらに、ウェブページタグ、非表示のテキストなどは、テキスト情報を拡張することができる。テキスト情報は、ウェブページからのオーディオデータの自然言語解析に基づいて検出され得る。ウェブページコンテンツ検出器は、人工知能（ＡＩ）エンジン５４０によって制御され得る。畳み込みニューラルネットワークまたはリカレントニューラルネットワークなどのニューラルネットワークに基づき得るＡＩエンジンを使用して、１つまたは複数の短編ビデオの選択または選別をキュレーションすることができる。選択された短編ビデオを使用して、ウェブページ５１４内のフレーム５１６を埋めることができる。ＡＩエンジン５４０は、アダプティブラーニング５４２を含むことができる。本明細書で説明するアダプティブラーニングは、ＡＩエンジン５４０に埋め込まれてもよいし、または分散方式で実施されてもよい。

ウェブページコンテンツ検出器５３０は、短編ビデオサーバ５５０にアクセスすることができる。短編ビデオサーバは、ウェブページに関連する他のコンピューティング機能およびストレージ機能から分散させることができる。短編ビデオサーバは、通信チャネル５５２を介して電子デバイスと通信することができ、通信チャネルは無線通信チャネルを含むことができる。短編ビデオサーバは、複数の短編ビデオを提供することができる。短編ビデオは、短編ビデオデータストレージ５５４から選択することができる。短編ビデオデータストレージは、分散型ストレージを含むことができる。短編ビデオサーバによって選択された短編ビデオは、電子デバイス５１０上のフレーム５１６を埋めるために使用され得る。短編ビデオの表現は、ウェブページ上のフレーム内に表示することができ、表示には、短編ビデオを自動再生することが含まれ得る。

図６は、アダプティブラーニングの使用法のフロー図である。全体を通して論じているように、短編ビデオは、テキスト情報などの基準に基づいて選択され得る。選択はさらに、短編ビデオの自動キュレーションを含むことができる。ユーザのウェブページ挙動が観察されると、短編ビデオを選択するためにアダプティブラーニングが使用され得る。アダプティブラーニングにより、選択と表示のための機械学習によるビデオのキュレーションが可能になる。ウェブページのコンテンツがロードされ、コンテンツには、複数の短編ビデオのフレームが含まれる。ウェブページのコンテンツは、テキスト情報について分析される。短編ビデオサーバがアクセスされる。テキスト情報に基づいて短編ビデオサーバから複数の短編ビデオが選択され、選択には複数の短編ビデオを自動キュレーションすることが含まれる。ウェブページ上のフレームには、短編ビデオサーバから取得した複数の短編ビデオが取り込まれている。複数の短編ビデオの表現は、ウェブページ上のフレーム内に表示される。

フロー６００は、選択のためにアダプティブラーニングを使用すること６１０を含む。アダプティブラーニングは、ユーザに対して短編ビデオの選択を調整するために使用することができる。アダプティブラーニングは、ユーザが行った選択、訪問したウェブサイト、閲覧したコンテンツなどを含むことができる。アダプティブラーニングは、ユーザによって提示された好み、ユーザ識別情報（ＩＤ）などに基づくことができる。フロー６００において、アダプティブラーニングは、選択の前のユーザのウェブページ挙動を収集すること６１２を含む。ユーザのウェブページ挙動は、訪問したウェブサイト、選択しメニュー項目、クリックしたラジオボタンなどを含むことができる。ウェブサイト挙動を使用して、ユーザの好みを推測することができる。使用例では、ウェブサイト挙動を使用して、猫より犬、砂漠の島より山の風景、デスメタルレイジよりバロックストリングカルテットを好むなどを始めとした、短編ビデオに対するユーザの好みを決定することができる。ユーザ挙動は、選択する前に、アダプティブラーニングのために観察され得る。ユーザ挙動は、１時間、１日、１週間、ウェブサービスに加入してからの時間、またはアプリを有効にしてからの時間など、過去の使用時間量に基づき得る。ユーザ挙動は、単一のページに関して、およびニュースページまたはエンターテイメントページなどのウェブページのタイプなどに関して、閲覧されたコンテンツ、選択されたメニュー選択、押されたラジオボタンなどに基づき得る。ユーザ挙動は、複数のウェブページにわたるコンテンツまたは選択に基づき得る。

フロー６００において、アダプティブラーニングには、ユーザのスワイプおよび／またはウェブページ上のクリック６２０の収集が含まれる。ユーザによって実行される１つ以上のスワイプは、上、下、左、または右へのスワイプ、および時計回りまたは反時計回りの回転運動でのスワイプなど、を含むことができる。１つまたは複数のスワイプによって、選択または選択解除、承認または非承認、オプションリストなどのリストの中を移動することなどが可能になり得る。１つまたは複数のクリックは、オブジェクト、ラジオボタン、メニュー選択などをクリックすることと、人の指を使ってタッチスクリーンをタッチまたはプレスすることと、マウスまたはトラックパッドなどを使用することとを含み得る。フロー６００において、アダプティブラーニングには、ユーザのスワイプおよび／または１つのウェブページに関連する複数のウェブページ上のクリックの収集６２２が含まれる。１つのウェブページに関連し得る複数のウェブページは、１つのウェブページを通じてアクセス可能な複数のウェブページ、ニュースソース、ショッピングサイト、またはソーシャルネットワークなどの似たようなコンテンツを提供するウェブページ、可愛い子犬や子猫のビデオなどの似たような短編ビデオを提供するウェブページ、アニメ音楽ビデオ（ＡＭＶ）などを含み得る。

フロー６００では、アダプティブラーニングは、他のユーザのウェブページ挙動の履歴パターンと当該ユーザのウェブページ挙動とを比較すること６３０を含み得る。当該ユーザのウェブページ挙動と他のユーザの履歴パターンとの比較は、ユーザが訪問したいサイト、ウェブページを訪問するためのユーザの目的に関連する短編ビデオといったコンテンツなどを予想するのに有用であり得る。他のユーザは、当該ユーザの友人であってもよいし、そうでなければユーザの関係者や他のユーザの中から選ばれた人などであってもよい。フロー６００において、アダプティブラーニングは、ユーザのウェブページ挙動とウェブページからのコンテキスト情報との組み合わせ６４０を行う。コンテキスト情報は、ユーザがインタラクションしているウェブページの一部またはリージョン、時刻、曜日などを含むことができる。コンテキスト情報によって、選択および表示のための短編ビデオなどのビデオのキュレーションが可能になり得る。コンテキスト情報は、現在のイベント、人気のあるミームなどを含むことができる。

フロー６００では、アダプティブラーニングは、ユーザに関する人口統計データを含むこと６５０ができる。人口統計データは、年齢、性別または性同一性、人種、民族、もしあれば信仰宗教など、ユーザに関連する情報を含むことができる。人口統計データは、雇用状況、教育レベル、収入レベル、結婚または家庭内パートナーシップ状況などの社会経済情報を含むことができる。人口統計データはさらに、州、地域、または居住国など、より一般的なデータを含むことができる。人口統計データによって、年齢に適した素材、文化的に適した素材などを選択するなど、適切なキュレーションに基づいてビデオの選択が可能になり得る。フロー６００はさらに、追加のウェブページ挙動を収集するためのユーザによるオプトイン６６０を含む。オプトインは、登録、ユーザ認証情報の提供、ボタンのクリック、ボックスのチェックなどによって達成することができる。オプトインは、研究データの収集、ユーザ体験の向上などに使用することができる。フロー６００において、追加のウェブページ挙動には、追加のウェブサイトでのユーザのウェブページ挙動を監視すること６６２が含まれる。追加のウェブサイトには、ウェブサイトに関連付けられたウェブサイト、およびウェブサイトに結合されているかまたはウェブサイトにアクセス可能なウェブサイト、などが含まれ得る。追加のウェブサイトには、ユーザがランダムに訪問したウェブサイトが含まれ得る。フロー６００はさらに、オプトインに対してユーザに報酬を付与すること６６４を含む。ユーザの報酬は、最初の購入に割引を提供するなどしてユーザに報酬を与えること、ユーザへお金を支払うこと、短編ビデオなどのビデオにアクセスするのに使用可能なクレジットをユーザに割り当てること、ブロックチェーンクーポンをクレジットすること、などを含むことができる。

図７は、ビデオ操作のシステム図である。ビデオ操作は、選択と表示のための機械学習によるビデオキュレーションに基づいている。システム７００は、命令を格納するメモリ７１２に接続された１つまたは複数のプロセッサ７１０を含むことができる。システム７００は、データ、ビデオ、中間ステップ、命令、短編ビデオなどを表示するために、１つまたは複数のプロセッサ７１０に結合されたディスプレイ７１４を含むことができる。実施形態では、１つまたは複数のプロセッサ７１０は、メモリ７１２に接続されており、前記１つまたは複数のプロセッサは、格納された命令を実行した場合、ウェブページのコンテンツをロードすることであって、前記コンテンツは、複数の短編ビデオのためのフレームを含む、ロードすることと、テキスト情報について前記ウェブページの前記コンテンツを分析することと、短編ビデオサーバにアクセスすることと、前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択することであって、前記選択は、前記複数の短編ビデオを自動キュレーションすることを含む、選択することと、前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込むことと、前記フレーム内で前記複数の短編ビデオの表現を前記ウェブページ上に表示することと、を行うように構成される。

システム７００は、ビデオとデータの収集７２０を含むことができる。ビデオおよびデータ７２０は、１つまたは複数のプロセッサに結合された電子ストレージ、データベース、１つまたは複数の静的にリンクされたライブラリ、１つまたは複数の動的にリンクされたライブラリ、または他の適切なビデオまたはデータフォーマットなどのストレージに格納され得る。ビデオは、短編ビデオを含むことができる。短編ビデオは、数秒、十数秒、１分、などを含む時間量で示すことができるビデオを含み得る。短編ビデオは、その短編ビデオの視聴者に迅速かつ効率的にコンテンツを伝えることができる。短編ビデオは、物語、広告、政治的メッセージなどを提示することができる。短編ビデオは、複数のビデオの中から１つのビデオを含むことができ、複数のビデオには、広範囲または多様なコンテンツが含まれ得る。データは、以下に説明するように、ウェブページに関連付けることができるテキスト情報またはデータを含み得る。テキスト情報は、画像情報、テーマ、などによって拡張され得る。システム７００は、ロードコンポーネント７３０を含むことができる。ロードコンポーネント７３０は、ウェブページのコンテンツをロードするための機能および命令を含むことができる。コンテンツは、例えばウェブページ内のフレームなどのフレームを含むことができる。フレームは、複数の短編ビデオに使用され得る。実施形態では、フレームを既存のウェブページに追加することができる。実施形態は、ウェブページ上のフレーム内に埋め込まれたコールトゥアクションに対する応答を受信することを含み得る。コールトゥアクションは、「ここをクリック」、「今すぐ登録」、「今すぐ購入」などを含むことができる。コールトゥアクションは、登録、金融活動、政治的行動、などを含むことができる。

システム７００は、分析コンポーネント７４０を含むことができる。分析コンポーネント７４０は、テキスト情報についてウェブページのコンテンツを分析するための機能および命令を含むことができる。テキスト情報には、バナーテキスト、タイトルテキスト、コンテンツテキスト、非表示テキスト、などが含まれ得る。テキスト情報には、画像、ビデオ、ＧＩＦなどに関連付けられたテキストが含まれ得る。テキスト情報には、スポンサーの名前または情報、ウェブページの所有権または責任者名または情報、などが含まれ得る。システム７００は、アクセスコンポーネント７５０を含むことができる。アクセスコンポーネント７５０は、短編ビデオサーバにアクセスするための機能および命令を含むことができる。短編ビデオサーバは、ローカルサーバ、クラウドベースサーバ、メッシュサーバ、などを含むことができる。ビデオサーバを介してアクセス可能な短編ビデオは、広告ビデオ、ソーシャルビデオ、ニュースおよび情報ビデオ、政治的メッセージビデオ、などを含むことができる。短編ビデオサーバを介してアクセス可能な短編ビデオは、ＭＰＥＧ－４（商標）、Ｆｌａｓｈ（商標）、ＱｕｉｃｋＴｉｍｅ（商標）、などのような様々なビデオフォーマットのビデオを含むことができる。

システム７００は、選択コンポーネント７６０を含むことができる。選択コンポーネント７６０は、テキスト情報に基づいて短編ビデオサーバから複数の短編ビデオを選択するための機能および命令を含むことができる。選択は、複数の短編ビデオの自動キュレーションを含む。選択は、実質的に類似したコンテンツ、実質的に異なるコンテンツ、などを含む短編ビデオを選択することを含み得る。選択は、ユーザのウェブページ挙動のアダプティブラーニングを含み得る。実施形態は、メタデータによってテキスト情報を拡張すること、およびメタデータに基づいて複数の短編ビデオの選択を実行することを含む。メタデータ、すなわち「データに関するデータ」は、時刻、曜日、または他の何らかの期間を含むことができる。メタデータは、ユーザに関する人口統計データの推測、ユーザプロファイルからのデータの取得、ウェブページ履歴の判定、などに基づくことができる。他の実施形態は、画像情報によってテキスト情報を拡張すること、および画像情報に基づいて複数の短編ビデオの選択を実行することを含む。画像情報は、それに広告、娯楽、または政治的メッセージが含まれているかどうか、といった画像コンテンツ情報を含むことができる。画像コンテンツは、都市か地方か、開発済みか未開発か、海か山か、イヌやネコといった動物か野生の生き物か、昼間か夜間か、などの環境情報を含むことができる。さらなる実施形態は、ウェブページから抽出されたテーマによってテキスト情報を拡張することを含み、その選択は、メタデータと短編ビデオテーマ情報との関連性のランク付けに基づく。ウェブページテーマは、ウェブページによって伝達される外観、スタイル、または「フィーリング」を含むことができる。テーマは、喜びまたは悲しみ、恐怖または意欲喚起、愉快または不快、などを含むことができる。所与のウェブページからのメタデータは、１つまたは複数の他のウェブページからのメタデータと比較すること、または関連付けることができる。

複数の短編ビデオの自動キュレーションは、短編ビデオを選択することによって達成することができる。短編ビデオの選択は、「台本」、所定のポリシー、広告キャンペーン、政治的メッセージ、などに基づいて行うことができる。実施形態では、自動キュレーションは、ニューラルネットワークによって、ウェブページに適した複数の短編ビデオのサブセットを選択することを含み得る。ニューラルネットワークは、短編ビデオの適切な選択を推論するため、適切な選択を予測するため、などに使用され得る。ニューラルネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、などを含むことができる。実施形態では、自動キュレーションは機械学習を含む。機械学習は、訓練データセットを用いてニューラルネットワークを訓練することを含むことができ、訓練データセットは、既知の良好なデータおよびデータに基づき予想される結果を含む。機械学習は、深層学習を含むことができ、教師なし学習、教師あり学習、などに基づくことができる。他の実施形態では、自動キュレーションは、ウェブページからのコンテキスト情報に基づいてサブセットを提供することができる。ウェブサイトからのコンテキスト情報は、ニュースウェブサイト、娯楽ウェブサイト、電子商取引ウェブサイト、などの種類のウェブサイトを含むことができる。実施形態では、コンテキスト情報は、ウェブページからのオーディオ情報の自然言語処理に基づいていてもよい。オーディオ情報は、ユーザが最初にウェブサイトを訪れたときに提供されるオーディオ情報、メニュー選択またはボタンクリックに基づいてウェブサイトを移動しているユーザから得られたオーディオ情報、などであり得る。さらなる実施形態では、コンテキスト情報は、ウェブページからのビデオ情報に基づいてもよい。ビデオ情報は、ウェブサイトから提供したり、ユーザが選択したりすることができる。他の実施形態では、自動キュレーションは、ウェブページにアクセスするユーザによる最近の挙動を追跡する長期短期記憶モデルに基づくことができる。長期短期記憶モデルは、リカレントニューラルネットワーク上に実装され得る。長期短期記憶モデルは、１つまたは複数の画像のような単一のデータポイント、オーディオまたはビデオのような一連のデータ、などを処理することができる。実施形態では、キュレーションは、ウェブページにアクセスするユーザによって時間的に重み付けされた挙動を使用する。時間的に重み付けされた挙動は、ウェブページ、ビデオ、オーディオなどに費やされる時間量を含むことができる。時間的に重み付けされた挙動は、ボタンクリックまたはメニュー選択の頻度、ボタンクリックまたはメニュー選択間の時間量などに基づくことができる。

システム７００は、取り込みコンポーネント７７０を含むことができる。取り込みコンポーネント７７０は、短編ビデオサーバから取得した複数の短編ビデオを、ウェブページ上のフレームに取り込むための機能および命令を含むことができる。フレームは、水平方向、垂直方向、マトリックス構成などで構成され得る。実施形態では、短編ビデオを取り込んだフレームを既存のウェブページに追加して、関連する短編ビデオの表示を容易にすることができる。システム７００は、表示コンポーネント７８０を含むことができる。表示コンポーネント７８０は、ウェブページ上のフレーム内に複数の短編ビデオの表現を表示するための機能および命令を含むことができる。表示表現は、ユーザによって構成されたウェブページの幅または高さに収まるように短編ビデオをサイズ変更することを含み得る。表示表現は、ユーザによって使用されているラップトップコンピュータ、タブレット、またはスマートフォンなどのデバイスに基づくことができる。実施形態は、フレーム内の複数の短編ビデオを自動再生することを含む。短編ビデオの自動再生は、短編ビデオの一部をループすること、ビデオ全体を再生すること、などを含むことができる。表示コンポーネント７８０は、没入型視聴体験を含むことができる。従来のビデオ視聴は、短編ビデオを表示するモバイルデバイスを単に凝視することを指すが、ビデオ視聴は、インタラクティブで参加型の体験に変換され得る。没入型視聴体験によって、ユーザがビデオを見ながら、ビデオの視聴に使用されるモバイルデバイスを回転、移動、傾斜させることが可能になる。結果として、そのような没入型視聴体験は、もはやパノラマ／全天球ビデオを使用して録画されたビデオ、またはＶＲ（仮想現実）デバイスを使用して視聴されるビデオに限定されない。具体的には、良好な／スムーズな視聴体験とは、ビデオが固定されたままで（ユーザはビデオの外側を見ることができず、その結果、望ましくない部分的な黒い画面が生じる）、ユーザが必要なときだけズームインすることができ（ユーザが可能な限り多くのビデオを視聴できるようにするため）、安定した画面が提供され（回転時または傾斜時の激しい動きまたはスケーリングを回避するため）、スマートビューが提供され（ビデオの一部分の表示しか見えない場合、可能であればかなりの部分を見せる）、ビデオ品質が保証される（表示のあらゆる角度／傾斜において）こと、と定義される。

システム７００は、ビデオ操作のためにコンピュータ可読媒体に具体化されたコンピュータプログラム製品を含むことができ、前記コンピュータプログラム製品は、１つまたは複数のプロセッサに以下の動作を行わせるコードを含んでおり、すなわち、ウェブページのコンテンツをロードする動作であって、前記コンテンツが複数の短編ビデオのためのフレームを含む、ロードする動作と、テキスト情報についてウェブページのコンテンツを分析する動作と、短編ビデオサーバにアクセスする動作と、前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択する動作であって、前記選択は、前記複数の短編ビデオを自動キュレーションすることを含む、選択する動作と、前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込む動作と、前記ウェブページ上の前記フレーム内に前記複数の短編ビデオの表現を表示する動作と、である。

上記の方法の各々は、１つまたは複数のコンピュータシステム上の１つまたは複数のプロセッサ上で実行され得る。実施形態は、様々な形態の分散コンピューティング、クライアント／サーバコンピューティング、およびクラウドベースのコンピューティングを含むことができる。さらに、本開示のフローチャートに含まれる図示されたステップまたはボックスは、単に例示的かつ説明的であることが理解されよう。ステップは、本開示の範囲から逸脱することなく修正、省略、反復、または並べ替えが行われてもよい。さらに、各ステップは、１つまたは複数のサブステップを含むことができる。前述の図面および説明は、開示されたシステムの機能的態様を記載しているが、明示的に述べられていない限り、または文脈から明らかでない限り、ソフトウェアおよび／またはハードウェアの特定の実装または配置は、これらの説明から推測されるべきではない。ソフトウェアおよび／またはハードウェアのすべてのそのような構成は、本開示の範囲内に含まれることが意図されている。

ブロック図およびフローチャート図は、方法、装置、システム、およびコンピュータプログラム製品を示す。ブロック図およびフロー図の要素および要素の組み合わせは、方法、装置、システム、コンピュータプログラム製品、および／またはコンピュータ実装方法、の機能またはステップまたはステップ群を示す。本明細書で一般に「回路」、「モジュール」、または「システム」と呼ばれるそのような機能のすべては、コンピュータプログラム命令、専用ハードウェアベースのコンピュータシステム、専用ハードウェアとコンピュータ命令の組み合わせ、汎用ハードウェアとコンピュータ命令の組み合わせ、などによって実装され得る。

上述のコンピュータプログラム製品またはコンピュータ実装方法のいずれかを実行するプログラマブル装置は、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイロジック、メモリデバイス、特定用途向け集積回路、などを含むことができる。各々は、コンピュータプログラム命令を処理し、コンピュータロジックを実行し、コンピュータデータを格納する、などのために適切に使用または構成され得る。

コンピュータは、コンピュータ可読ストレージ媒体からのコンピュータプログラム製品を含むことができ、この媒体は、内部もしくは外部、取り外し可能かつ交換可能、または固定され得ることが理解されよう。さらに、コンピュータは、ベーシックインプット／アウトプットシステム（ＢＩＯＳ）、ファームウェア、オペレーティングシステム、データベース、などを含み、これらは、本明細書に記載のソフトウェアおよびハードウェアを含むか、それとインターフェース接続するか、またはそれをサポートすることができる。

本発明の実施形態は、従来のコンピュータアプリケーションにも、それらを実行するプログラマブル装置にも、限定されない。例を挙げると、ここで特許請求される発明の実施形態は、光学コンピュータ、量子コンピュータ、アナログコンピュータなどを含むことができる。コンピュータプログラムをコンピュータにロードして、図示した機能のすべてを実行することができる特定のマシンを製造することができる。この特定のマシンは、図示した機能のすべてを実行するための手段を提供する。

１つまたは複数のコンピュータ可読媒体の任意の組み合わせは、限定はしないが、以下を含んで利用されてもよく、すなわち、ストレージ用の非一時的コンピュータ可読媒体、電子的、磁気的、光学的、電磁的、赤外線、もしくは半導体コンピュータ可読ストレージ媒体、もしくは上記の任意の適切な組み合わせ、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ、フラッシュ、ＭＲＡＭ、ＦｅＲＡＭ、または相変化メモリ）、光ファイバ、ポータブルコンパクトディスク、光学ストレージデバイス、磁気ストレージデバイス、または前述の任意の適切な組み合わせ、である。本明細書の文脈では、コンピュータ可読ストレージ媒体は、命令実行システム、装置、またはデバイスによる、またはそれに関連する、使用のためのプログラムを含み得るかまたは格納し得る任意の有形媒体であってもよい。

コンピュータプログラム命令は、コンピュータ実行可能コードを含み得ることが理解されよう。コンピュータプログラム命令を表現するための様々な言語は、限定はしないが、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ（商標）、ＡｃｔｉｏｎＳｃｒｉｐｔ（商標）、アセンブリ言語、Ｌｉｓｐ、Ｐｅｒｌ、Ｔｃｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ハードウェア記述言語、データベースプログラミング言語、機能プログラミング言語、命令プログラミング言語、などを含むことができる。実施形態では、コンピュータプログラム命令は、コンピュータ、プログラマブルデータ処理装置、プロセッサまたはプロセッサアーキテクチャの異種組み合わせ、などで実行されるように格納、コンパイル、または解釈され得る。限定するものではないが、本発明の実施形態は、ウェブベースのコンピュータソフトウェアの形態をとることができ、これには、クライアント／サーバソフトウェア、ソフトウェアアズアサービス、ピアツーピアソフトウェアなどが含まれる。

実施形態では、コンピュータは、複数のプログラムまたはスレッドを含む、コンピュータプログラム命令の実行を可能にすることができる。複数のプログラムまたはスレッドは、プロセッサの使用率を向上させるため、および実質的に同時に行われる機能を容易にするために、ほぼ同時に処理されてもよい。実装として、本明細書に記載されたすべての方法、プログラムコード、プログラム命令などは、１つまたは複数のスレッドで実装されてもよく、これによって次に他のスレッドを起動させることができ、他のスレッド自体はそれらに関連付けられた優先順位を有し得る。いくつかの実施形態では、コンピュータは、優先順位または他の順序に基づいてこれらのスレッドを処理することができる。

明確に述べられていない限り、または文脈から明らかでない限り、動詞「実行する」および「処理する」は、実行、処理、解釈、コンパイル、アセンブル、リンク、ロード、またはこれらの組み合わせを示すために交換可能に使用され得る。したがって、コンピュータプログラム命令、コンピュータ実行可能コードなどを実行または処理する実施形態は、記載された方法のすべてにおいて命令またはコードに従って対応し得る。さらに、示された方法ステップは、１つまたは複数の当事者または事業体にステップを実行させる任意の適切な方法を含むことを意図している。ステップまたはステップの一部を実行する当事者は、特定の地理的位置または国の境界内に位置する必要はない。例えば、米国内にある事業体が、方法ステップまたはその一部を米国外で実行させる場合、その方法は、因果関係のある事業体によって米国内で実行されると見なされる。

本発明は、詳細に示され説明された好ましい実施形態に関連して開示されているが、これらの様々な修正および改良が当業者には明らかになるであろう。したがって、前述の例は、本発明の趣旨および範囲を限定するものではなく、むしろ、それは法律によって許容される最も広い意味で理解されるべきである。

Claims (46)

1. ビデオ操作のためのコンピュータ実装方法であって、
   ウェブページのコンテンツをロードすることであって、前記コンテンツには、複数の短編ビデオのフレームが含まれる、ロードすることと、
   テキスト情報について前記ウェブページの前記コンテンツを分析することと、
   短編ビデオサーバにアクセスすることと、
   前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択することであって、前記選択は前記複数の短編ビデオを自動キュレーションすることを含む、選択することと、
   前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込むことと、
   前記ウェブページ上の前記フレーム内に前記複数の短編ビデオの表現を表示することと、を含む方法。
2. 前記自動キュレーションが、ニューラルネットワークによって、前記ウェブページに適した前記複数の短編ビデオのサブセットを選択することを含む、請求項１に記載の方法。
3. 前記自動キュレーションが機械学習を含む、請求項２に記載の方法。
4. 前記自動キュレーションが、前記ウェブページからのコンテキスト情報に基づいて前記ビデオのサブセットを提供する、請求項２に記載の方法。
5. 前記コンテキスト情報が、前記ウェブページからのオーディオ情報の自然言語処理に基づいている、請求項４に記載の方法。
6. 前記コンテキスト情報が、前記ウェブページからのビデオ情報に基づいている、請求項４に記載の方法。
7. 前記自動キュレーションが、前記ウェブページにアクセスするユーザによる最近の挙動を追跡する長期短期記憶モデルに基づいている、請求項１に記載の方法。
8. 前記キュレーションが、前記ウェブページにアクセスするユーザによって時間的に重み付けされた挙動を使用する、請求項１に記載の方法。
9. 前記フレームが、既存のウェブページに追加されて、関連する短編ビデオの表示を容易にする、請求項１に記載の方法。
10. 前記ウェブページ上の前記フレームが、前記短編ビデオサーバから前記複数の短編ビデオをプルする、請求項１に記載の方法。
11. 前記テキスト情報をメタデータで拡張すること、および前記メタデータに基づいて前記複数の短編ビデオの前記選択を実行することをさらに含む、請求項１に記載の方法。
12. 前記テキスト情報を画像情報によって拡張すること、および前記画像情報に基づいて前記複数の短編ビデオの前記選択を実行することをさらに含む、請求項１１に記載の方法。
13. 前記ウェブページから抽出されたテーマによって前記テキスト情報を拡張することをさらに含み、前記選択は、メタデータと短編ビデオテーマ情報との関連性のランク付けに基づく、請求項１１に記載の方法。
14. 前記フレーム内で前記複数の短編ビデオを自動再生することをさらに含む、請求項１に記載の方法。
15. 前記ウェブページ上の前記フレーム内に埋め込まれたコールトゥアクションに対する応答を受信することをさらに含む、請求項１に記載の方法。
16. 前記コールトゥアクションに対する応答に基づいて、前記短編ビデオサーバから第２の複数の短編ビデオを提供することをさらに含み、前記第２の複数の短編ビデオの基準によって、前記複数の短編ビデオの前記自動キュレーションが修正される、請求項１５に記載の方法。
17. 前記フレームが、前記複数の短編ビデオの表現を直線的に示す、請求項１に記載の方法。
18. 前記フレームが、グリッド形式で前記複数の短編ビデオの表現を示す、請求項１に記載の方法。
19. ユーザのウェブページ挙動に基づいて、前記選択のためにアダプティブラーニングを使用することをさらに含む、請求項１に記載の方法。
20. 前記アダプティブラーニングが、前記選択の前の前記ユーザのウェブページ挙動を収集することを含む、請求項１９に記載の方法。
21. 前記アダプティブラーニングが、前記ウェブページ上の前記ユーザのスワイプおよび／またはクリックの収集を含む、請求項１９に記載の方法。
22. 前記アダプティブラーニングが、前記ウェブページに関連する複数のウェブページ上の前記ユーザのスワイプおよび／またはクリックの収集を含む、請求項２１に記載の方法。
23. 前記アダプティブラーニングが、他のユーザのウェブページ挙動の履歴パターンと前記ユーザのウェブページ挙動とを比較することを含む、請求項１９に記載の方法。
24. 前記アダプティブラーニングが、前記ユーザのウェブページ挙動と前記ウェブページからのコンテキスト情報と組み合わせる、請求項１９に記載の方法。
25. 前記アダプティブラーニングが、前記ユーザに関する人口統計データを含む、請求項１９に記載の方法。
26. 追加のウェブページ挙動を収集するために前記ユーザによるオプトインをさらに含む、請求項１９に記載の方法。
27. 前記追加のウェブページ挙動が、追加のウェブサイトでの前記ユーザのウェブページ挙動を監視することを含む、請求項２６に記載の方法。
28. オプトインに対して前記ユーザに報酬を与えることをさらに含む、請求項２６に記載の方法。
29. ビデオ操作のためのコンピュータ可読媒体に具現化されたコンピュータプログラム製品であって、前記コンピュータプログラム製品はコードを含み、このコードによって、１つまたは複数のプロセッサが、
    ウェブページのコンテンツをロードする動作であって、前記コンテンツには、複数の短編ビデオのフレームが含まれる、ロードする動作と、
    テキスト情報について前記ウェブページの前記コンテンツを分析する動作と、
    短編ビデオサーバにアクセスする動作と、
    前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択する動作であって、前記選択は前記複数の短編ビデオを自動キュレーションすることを含む、選択する動作と、
    前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込む動作と、
    前記ウェブページ上の前記フレーム内に前記複数の短編ビデオの表現を表示する動作と、を実行するコンピュータプログラム製品。
30. 前記自動キュレーションが、ニューラルネットワークによって、前記ウェブページに適した前記複数の短編ビデオのサブセットを選択することを含む、請求項２９に記載のコンピュータプログラム製品。
31. 前記自動キュレーションが機械学習を含む、請求項３０に記載のコンピュータプログラム製品。
32. 前記自動キュレーションが、前記ウェブページからのコンテキスト情報に基づいてビデオの前記サブセットを提供する、請求項３０に記載のコンピュータプログラム製品。
33. 前記コンテキスト情報が、前記ウェブページからのオーディオ情報の自然言語処理に基づいている、請求項３２に記載のコンピュータプログラム製品。
34. 前記コンテキスト情報が、前記ウェブページからのビデオ情報に基づいている、請求項３２に記載のコンピュータプログラム製品。
35. 前記自動キュレーションが、前記ウェブページにアクセスするユーザによる最近の挙動を追跡する長期短期記憶モデルに基づいている、請求項２９に記載のコンピュータプログラム製品。
36. 前記キュレーションが、前記ウェブページにアクセスするユーザによって時間的に重み付けされた挙動を使用する、請求項２９に記載のコンピュータプログラム製品。
37. ユーザのウェブページ挙動に基づいて、前記選択のためにアダプティブラーニングを使用するためのコードをさらに含む、請求項２９に記載のコンピュータプログラム製品。
38. ビデオ操作のためのコンピュータシステムであって、
    命令を格納するメモリと、
    前記メモリに接続された１つまたは複数のプロセッサとを含み、前記１つまたは複数のプロセッサが、格納された前記命令を実行した場合、
    ウェブページのコンテンツをロードすることであって、前記コンテンツが、複数の短編ビデオのフレームを含む、ロードすることと、
    テキスト情報について前記ウェブページの前記コンテンツを分析することと、
    短編ビデオサーバにアクセスすることと、
    前記テキスト情報に基づいて前記短編ビデオサーバから複数の短編ビデオを選択することであって、前記選択が前記複数の短編ビデオを自動キュレーションすることを含む、選択することと、
    前記短編ビデオサーバから取得した前記複数の短編ビデオを前記ウェブページ上の前記フレームに取り込むことと、
    前記ウェブページ上の前記フレーム内に前記複数の短編ビデオの表現を表示することと、を行うように構成されたコンピュータシステム。
39. 前記自動キュレーションが、ニューラルネットワークによって、前記ウェブページに適した前記複数の短編ビデオのサブセットを選択することを含む、請求項３８に記載のコンピュータシステム。
40. 前記自動キュレーションが機械学習を含む、請求項３９に記載のコンピュータシステム。
41. 前記自動キュレーションが、前記ウェブページからのコンテキスト情報に基づいてビデオの前記サブセットを提供する、請求項３９に記載のコンピュータシステム。
42. 前記コンテキスト情報が、前記ウェブページからのオーディオ情報の自然言語処理に基づいている、請求項４１に記載のコンピュータシステム。
43. 前記コンテキスト情報が、前記ウェブページからのビデオ情報に基づいている、請求項４１に記載のコンピュータシステム。
44. 前記自動キュレーションが、前記ウェブページにアクセスするユーザによる最近の挙動を追跡する長期短期記憶モデルに基づいている、請求項３８に記載のコンピュータシステム。
45. 前記キュレーションが、前記ウェブページにアクセスするユーザによって時間的に重み付けされた挙動を使用する、請求項３８に記載のコンピュータシステム。
46. ユーザのウェブページ挙動に基づいて、前記選択のためにアダプティブラーニングを使用するようさらに構成された、請求項３８に記載のコンピュータシステム。

Images