JP6937978B2 - 双方向性ビデオコンテンツの表示の検出および表示に対する応答 - Google Patents

Description

関連出願の相互参照
本願は、２０１７年６月１２日に出願された米国特許出願第１５／６２０，４４０号の優先権を主張するものであり、そのすべての内容を本明細書に援用する。

通常のビデオ提示装置は、ビデオコンテンツを表すデジタルビデオストリームを受信するとともに、ビデオコンテンツをディスプレイに表示して１人または複数のユーザが視聴できるように動作する。このような装置の例としては、テレビ、コンピュータモニタ、ヘッドマウントディスプレイ、タブレット、スマートフォン、時計、カメラ、プロジェクションシステム等が挙げられるが、これらに限定されない。

多くの場合、ビデオ提示装置は、表示する多様なビデオコンテンツのいずれかを選択的に提供することができるビデオソースと接続することができ、また、ビデオ提示装置は、選択されたビデオコンテンツを受信して表示するように構成することができる。たとえば、ビデオ提示装置は、ユーザにより選択されたビデオコンテンツを出力するように構成された受信機、再生機、コンソール、コンピュータ、および／またはリモートサーバとの結合または通信リンクも可能であり、また、ビデオ提示装置は、ビデオソースにより出力されているビデオコンテンツの受信およびビデオコンテンツの視聴のためのディスプレイへの実時間表示を行うように構成することができる。

一部のビデオコンテンツは、少なくとも部分的に「双方向性」とすることができ、この場合は、ビデオコンテンツを提示されるユーザが表示されているコンテンツと相互作用するとともに、当該ユーザ相互作用に基づいて、コンテンツが動的に変化する。双方向性ビデオコンテンツの非限定的な一例としては、ビデオゲームが挙げられ、ゲームの進行具合ひいてはゲームのビデオコンテンツの経時的な内容の少なくとも一部をユーザ（ゲームのプレイヤ）が制御可能である。たとえば、ゲームコンソール、リモートサーバ、またはゲームのビデオコンテンツの他のソースとの相互作用により、ユーザは、数ある可能性の中でもとりわけ、ゲームの目標の達成もしくは失敗、ゲーム中のアイテムの取得もしくは喪失、ゲーム内の仮想オリエンテーション、ならびに／またはゲーム中の１つもしくは複数のアバターもしくは物体の移動等の動作と関連付けられたビデオコンテンツを制御できる可能性もある。その結果、双方向性ビデオコンテンツは、ユーザの入力に基づいて実時間で変化する可能性もあるし、再生ごとに（場合により、実質的に）異なる可能性もある。

このようなユーザ相互作用および表示されているビデオコンテンツへの影響は、ビデオコンテンツを再生する基本構造に対するユーザ制御と識別可能であって、ユーザの相互作用は、基本的なビデオコンテンツ自体には影響を及ぼさない。たとえば、ゲームコンソールまたはリモートサーバ等のビデオソースによれば、ユーザは、再生、一時停止、停止、早送り、または巻き戻し等の機能を制御できる可能性もある。ただし、これらの制御機能は、基本的なビデオコンテンツに影響を及ぼさないため、たとえばビデオゲームのストーリーおよび進行を制御する実時間ユーザ相互作用とは対照的に、双方向性とは考えられない。

さらに、このような双方向性の、または動的に定められたコンテンツを含むビデオコンテンツは時折、表示中のユーザ相互作用に基づいては変化しない特定の事前に確立された、または静的に定められたビデオセグメントも含むことができる。たとえば、ビデオゲームは、映画的に制作されたビデオクリップ等、ゲームレベル間の遷移として自動的に再生される事前に確立されたされた「カットシーン」のほか、起動シーン、終了シーン等の他の事前に確立されたビデオセグメントを含むことが多い。ユーザは、ビデオゲームのあるプレイレベルの完了に成功したタイミング等、上記事前に確立されたビデオセグメントが再生されるタイミングを制御することができるものの、事前に確立されたビデオセグメントが表示されている間のユーザ相互作用に基づいて当該事前に確立されたビデオセグメントのコンテンツが変化することはない。

ビデオ提示装置は、ビデオコンテンツを受信して表示する場合、表示されているビデオコンテンツの識別情報を示すことができない。ビデオコンテンツをビデオ提示装置に提供するローカル再生器またはリモートサーバ等のビデオソースは、このような情報を有することができる。ただし、当該ビデオソースからビデオコンテンツを受信するビデオ提示装置は、このような情報を有することができない。

たとえば、コンピュータモニタがビデオゲームコンソールと接続されており、ユーザがゲームコンソールと相互作用して、プレイする特定のビデオゲームを選択する場合、ゲームコンソールは、プレイされているゲームひいては表示用に出力されるゲームのビデオコンテンツを示すことができる。ただし、コンピュータモニタは、ゲームコンソールにより提供されたビデオコンテンツを受信して表示することしかできず、表示されているビデオコンテンツがビデオゲームであることを示すことなどできない。当然のことながら、プレイされているビデオゲームひいてはコンピュータモニタが表示しているビデオゲームのコンテンツを示すこともできない。

ただし、さまざまな理由から、ビデオ提示装置により表示されているビデオコンテンツの識別情報を決定するのが有用と考えられる。さらに、どのビデオコンテンツが表示されているかに関する報告をビデオソースから受信することなく、場合によっては、ビデオソースまたはその提供者の関与なく、識別情報を決定するのが有用と考えられる。たとえば、ビデオ提示装置自体および／またはビデオ提示装置と協働するネットワークサーバにとっては、表示されているビデオコンテンツ自体の評価に基づいて、ビデオ提示装置が表示しているビデオコンテンツを識別するのが有用と考えられる。

表示されているビデオコンテンツの識別情報を把握することにより、ビデオ提示装置等のエンティティは、識別したビデオコンテンツに固有のアクション等の１つまたは複数の有用なアクションをプログラムで実行することができる。たとえば、エンティティは、特定のビデオコンテンツが提示される程度を測るコンテンツ格付けまたは解析システムの一部として、ビデオ提示装置が識別したビデオコンテンツが提示されている事実を記録することができる。あるいは、エンティティは、識別したコンテンツと関連するポップアップ広告または他の情報等の補助ビデオコンテンツの提示のトリガあるいは識別したビデオコンテンツであるビデオコンテンツに基づいて提示されている特定のビデオコンテンツに応答することができる。

一例として、表示されているビデオコンテンツが特定のビデオゲームであると判定すると、当該ビデオゲームと関連する仮想商品または物理的商品またはサービスを提供するポップアップ広告をエンティティが提示することができる。さらに、エンティティは、どのくらいの期間、カットシーン間でゲームの表示が続いているかを決定し、当該持続時間に基づいて、補助コンテンツの提示をトリガすることができる。たとえば、持続時間が閾値長さである場合、エンティティは、ユーザが悪戦苦闘しているように見えることを理由として、ゲームの目標を達成するヒントまたは他の秘訣等のゲームプレイヘルプの提示をトリガすることができる。他の例も同様に可能である。

これを実際に可能とするため、ビデオ提示装置は、ビデオコンテンツの表示中に、表示されているビデオコンテンツのデジタルフィンガープリントを生成して、コンピュータシステムに提供することができる。また、コンピュータシステムは、このフィンガープリントを取得した場合、既知のビデオコンテンツアイテムについて事前に確立された基準フィンガープリントデータに対して当該フィンガープリントを比較することができる。理論上、これにより表示されているビデオコンテンツのフィンガープリントが既知のビデオコンテンツアイテムの基準フィンガープリントに一致するものとコンピュータシステムが判定した場合、サーバは、ビデオ提示装置により表示されているビデオコンテンツが当該既知のビデオコンテンツアイテムであるものと結論付けることができ、コンピュータシステムはこれに応答して、上記のようなアクションを取ることができる。

ただし、残念なことに、このプロセスは、ビデオゲーム等の双方向性ビデオコンテンツの場合に問題となる可能性がある。上記説明の通り、双方向性ビデオコンテンツは、ユーザ相互作用に基づいて動的に変化する可能性があり、したがって、表示ごとに異なる可能性がある。その結果、任意所与の時間に表示されている双方向性ビデオコンテンツを識別する確実な比較点として機能する基準フィンガープリントデータを確立するのは非現実的となり得る。

一方、上記の通り、ビデオゲーム等の双方向性ビデオコンテンツは、カットシーン等のいくつかの事前に確立された、または静的に定められたビデオセグメントを含むこともでき、これらの事前に確立されたビデオセグメントは、表示されている間のユーザ相互作用に基づいて動的に変化することはない。さらに、所与のビデオゲーム等、所与のビデオコンテンツアイテムにおける事前に確立されたビデオセグメントは、当該ビデオコンテンツアイテムに対して一意とすることができる（たとえば、他のビデオコンテンツアイテムには含まれない）。したがって、双方向性ビデオコンテンツを扱う場合は、このような事前に確立されたビデオセグメントにフィンガープリントの比較をフォーカスすることが有用となり得る。

たとえば、コンピュータシステムは、ビデオ提示装置による表示されているビデオコンテンツのデジタルフィンガープリントを取得した場合、特定のビデオコンテンツアイテム（特定のビデオゲーム等）とそれぞれ対応するさまざまな事前に確立されたビデオセグメントの基準フィンガープリントに対して当該フィンガープリントを比較することができる。これにより、ビデオ提示装置による表示されているビデオコンテンツのフィンガープリントが特定の事前に確立されたビデオセグメントの基準フィンガープリントに一致すると判定すると、コンピュータシステムは、ビデオ提示装置による表示されているビデオコンテンツが当該ビデオコンテンツアイテムであり、基準データが当該特定の事前に確立されたビデオセグメントと関連するものと結論付けることができる。

これにより、ビデオ提示装置による表示されているビデオコンテンツの識別情報をコンピュータシステムが決定すると、問題は、事前に確立されたビデオセグメントが終了した後、ビデオ提示装置が、引き続き、識別したビデオコンテンツを表示しているかどうかである。たとえば、ビデオゲームに関して、問題は、識別したカットシーンが終了した後に表示されているビデオコンテンツが、引き続き、当該カットシーンと関連付けられたビデオゲームであるかどうかである。さらに、問題は、識別したビデオゲームの双方向性プレイがカットシーン等の間でどのくらいの期間続いているのか等、当該識別したビデオコンテンツの表示が事前に確立されたビデオセグメントのインスタンス間でどのくらいの期間続いているのかである。

ただし、この場合も、ビデオコンテンツの双方向性のため、困難が生じ得る。すなわち、事前に確立されたビデオセグメントが終了して、表示中のユーザ相互作用に基づいて動的に変化する双方向性コンテンツへとビデオコンテンツが遷移すると、再び、表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるかの判定の基礎として、フィンガープリントの照合のみを使用するのが困難または非現実的となる可能性もある。

この困難に対処するため、本開示によれば、コンピュータシステムは、問題の双方向性ビデオコンテンツのプレイアウトの多くのインスタンスに基づいてトレーニングされたニューラルネットワーク等の機械学習アルゴリズムを利用することができる。たとえば、ビデオゲームについて考えると、ニューラルネットワークは、多くのオンラインプレイスルービデオ等のデジタルフィンガープリント等、実際のゲームプレイの多くのインスタンスのデジタルフィンガープリントに基づいてトレーニングすることができる。所与のゲームの双方向性ビデオコンテンツはゲームのプレイごとに異なり得るものの、当該ゲームの認識ならびに当該ゲームと他のゲームおよび／もしくは少なくとも当該ゲームとゲーム以外のビデオコンテンツとの分類もしくは識別のためにニューラルネットワークをトレーニング可能である点において、ゲームのインスタンスは、十分に類似するものと考えることができる。

このため、コンピュータシステムは、ビデオ提示装置による表示されているビデオコンテンツを表すデジタルフィンガープリントを取得した場合、上述のフィンガープリント照合プロセスを適用することにより、既知のビデオコンテンツと関連付けられた事前に確立されたビデオセグメントについてのフィンガープリントの一致に基づいて、ビデオコンテンツを識別することができる。また、コンピュータシステムは、ビデオ提示装置による表示されているビデオコンテンツのデジタルフィンガープリントを取得し続けた場合、その後は、少なくともビデオコンテンツの動的に定められた部分についてニューラルネットワークを適用することにより、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであることを検出することができる。その後、コンピュータシステムは、これに応答して、上記のようなアクションを取ることができ、都合が良い。

以上から、ある点において、本明細書においては、ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答の方法であり、ビデオコンテンツが、（ｉ）表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を含む、方法が開示される。

この方法によれば、コンピュータシステムは、表示されているビデオコンテンツの表現として表示中に実時間で生成されたクエリフィンガープリントであって、事前に確立されたビデオセグメントを表す第１の部分および動的に定められたビデオセグメントを表す第２の部分を含む、クエリフィンガープリントを取得する。さらに、クエリフィンガープリントの取得の間、コンピュータシステムは、（ａ）クエリフィンガープリントの第１の部分と事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、（ｂ）一致の検出に基づいて、表示されているビデオコンテンツを識別し、（ｃ）表示されているビデオコンテンツを識別した後、少なくともクエリフィンガープリントの第２の部分に対して、トレーニング済みニューラルネットワークを適用し、（ｄ）ニューラルネットワークの適用に基づいて、識別したビデオコンテンツの表示が続いていることを検出する。また、少なくとも識別したビデオコンテンツの表示が続いていることの検出に応答して、コンピュータシステムは、識別したビデオコンテンツと関連付けられたアクションを取る。

また、別の点においては、ビデオゲームのプレイの検出およびプレイに対する応答の方法であり、ビデオゲームが、ビデオディスプレイユニットに実時間で表示され、ビデオゲームが、（ｉ）表示中のユーザ相互作用に基づいては変化しないカットシーンビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する双方向性ビデオセグメントと、を含む、方法が開示される。

この方法によれば、コンピュータシステムは、プレイされているビデオゲームの表現として表示中に実時間で生成されたクエリフィンガープリントであって、（ｉ）第１のカットシーンビデオセグメントを表す第１の部分および（ｉｉ）第１の双方向性ビデオセグメントを表す第２の部分を含む、クエリフィンガープリントを取得する。さらに、コンピュータシステムは、クエリフィンガープリントの第１の部分と第１のカットシーンビデオセグメントを表す基準フィンガープリントとの一致を検出し、検出した一致に基づいて、コンピュータシステムにより、表示されているビデオゲームを識別する。表示されているビデオコンテンツを識別した後、コンピュータシステムは、少なくともクエリフィンガープリントの第２の部分に対して、トレーニング済みニューラルネットワークを適用することにより、表示されているビデオコンテンツが識別したゲームであり続けることを検出する。また、少なくとも表示されているビデオコンテンツが、引き続き、識別したビデオゲームであることの検出に応答して、コンピュータシステムは、補助コンテンツを提示させる。

さらには、ネットワーク通信インターフェースと、処理ユニットと、非一時的データストレージと、当該非一時的データストレージに格納され、ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答の動作であり、ビデオコンテンツが、（ｉ）表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を順に含む、動作を実行するように処理ユニットにより実行可能なプログラム命令と、を備えた、コンピュータシステムが開示される。

コンピュータシステムにより実行される動作は、上記動作と同様にすることができる。たとえば、これらの動作は、ビデオ提示装置からネットワーク通信インターフェースを介して、表示されているビデオコンテンツの表現として表示中に実時間で生成されたクエリフィンガープリントを受信することであり、クエリフィンガープリントが、（ｉ）事前に確立されたビデオセグメントを表す第１の部分および（ｉｉ）動的に定められたビデオセグメントを表す第２の部分を順に含む、ことを含むことができる。さらに、これらの動作は、クエリフィンガープリントの第１の部分と事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、検出した一致に基づいて、表示されているビデオコンテンツを識別することを含むことができる。また、これらの動作は、表示されているビデオコンテンツを識別した後、少なくともクエリフィンガープリントの第２の部分に対して、機械学習アルゴリズムを適用することにより、表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであることを検出することを含むことができる。また、これらの動作は、少なくとも表示されているビデオコンテンツが識別したビデオコンテンツであり続けることの検出に応答して、ユーザ装置に補助コンテンツを表示させることを含むことができる。

上記および他の態様、利点、および選択肢については、必要に応じて添付の図面を参照しつつ、以下の詳細な説明を読むことによって、当業者に明らかとなるであろう。さらに、本概要および以下に与える説明は、本発明の一例の説明を意図したものに過ぎず、何ら限定的なものではないことが了解されるものとする。

開示のさまざまな原理を適用することができる例示的なシステムの簡易ブロック図である。 ビデオ提示装置がネットワークプラットフォームと通信して、開示のさまざまな原理の実装を可能とする例示的なネットワーク構成の簡易ブロック図である。 １つまたは複数の動的に定められた部分および１つまたは複数の事前に確立された部分を含むビデオコンテンツの一例を示したタイミング図である。 本開示に従って実行可能な動作を示した図である。 本開示に従って実行可能な動作を示した別の図である。 例示的なコンピュータシステムの簡易ブロック図である。 例示的なビデオ提示装置の簡易ブロック図である。

図面を参照して、図１は、開示のさまざまな原理を適用することができる例示的なシステムの簡易ブロック図である。ただし、本構成ならびに本明細書に記載の他の構成およびプロセスは、他の形態も取り得ることが了解される。たとえば、要素および動作の並べ替え、割り振り、複製、組合せ、省略、追加、あるいは変更が可能である。さらに、１つまたは複数のエンティティにより実行されるものとして本明細書に記載の機能は、プログラム命令等を実行する１つまたは複数の処理ユニット等、ハードウェア、ファームウェア、および／またはソフトウェアによって、当該エンティティによる実装および／または当該エンティティの代替による実装が可能である。

図１に示すように、例示的なシステムは、１つまたは複数のビデオソース１４と通信可能にリンクして、ビデオソースからビデオコンテンツを受信するとともに、当該ビデオコンテンツを表示してユーザ１６が視聴できるように構成されたビデオ提示装置１２を具備する。

代表的な一実施態様において、ビデオ提示装置１２としては、コンピュータモニタ、テレビ、またはビデオコンテンツを受信してディスプレイ等に表示するように構成された他の装置も可能である。このため、ビデオ提示装置１２は、ビデオコンテンツを受信する１つもしくは複数のビデオ入力ポート（たとえば、ＨＤＭＩ（登録商標）、ＤＶＩ、コンポーネントビデオ、コンポジットビデオ、ＶＧＡ、ならびに／または他の有線もしくは無線入力ポート）、ビデオコンテンツを提示するディスプレイパネル（たとえば、ＯＬＥＤ、ＬＥＤ、ＬＣＤ、プラズマ、および／または他のパネル）、ならびに選択ビデオ入力ポートを介して到着したビデオコンテンツを表示するとともに、表示したビデオコンテンツをディスプレイに出力してユーザ１６に提示する１つもしくは複数の処理コンポーネント（たとえば、ビデオプロセッサ）を具備することができる。

そして、ビデオソース１４は、ビデオ提示装置１２による受信および表示に適したビデオコンテンツを提供するとともに、ビデオコンテンツを双方向的に定める等、ビデオコンテンツ出力を制御するためのユーザ１６からの入力を受信してこれに応答するように構成された多様なビデオコンポーネントのいずれかを具備することができる。図示のように、ビデオソースは、１つもしくは複数のローカルビデオソースコンポーネント１８ならびに１つもしくは複数のリモートビデオソースコンポーネント２０を含み、これらのいずれかは、ビデオ提示装置１２により表示されるビデオコンテンツの生成および出力または受信および転送を行うように構成することができる。さらに、少なくとも１つのローカルビデオソースコンポーネント１８は、ユーザ１６の近傍への位置付けあるいはユーザ１６との接続のほか、ビデオコンテンツ出力を制御するユーザ入力を受信するような配備も可能である。

一例として、ビデオソース１４は、ＨＤＭＩ（登録商標）ケーブルまたは他の有線もしくは無線機構によってビデオ提示装置１２とローカルに接続されたビデオゲームコンソールを含むことができる。このようなコンソールとしては、ＤＶＤ、ＣＤ、内部ストレージ、ネットワークソース等からのゲームソフトウェアの実行により双方向性ビデオゲームプレイを可能とするように設計された専用のコンピュータも可能である。このため、コンソールは、プレイするビデオゲームを選択、提供、あるいは指定するユーザ入力を受信することができ、その後、ゲームを実行し、関連するビデオコンテンツをビデオ提示装置に出力して表示する場合は、ゲームの進行を動的に制御することによって出力されているビデオコンテンツを動的に規定するユーザ入力を受信することができる。

あるいは、ビデオソース１４は、ビデオ提示装置とローカルに接続された汎用コンピュータ（たとえば、デスクトップまたは携帯用コンピュータ）を含むとともに、ローカルコンピュータとネットワーク接続したリモートゲームサーバを含むことができる。この構成において、ローカルコンピュータは、ユーザがゲームサーバと相互作用することができるユーザインターフェース、場合によっては一般のブラウザインターフェースを提供するとともに、ゲームサーバからビデオコンテンツを受信し、当該ビデオコンテンツをビデオ提示装置に出力して表示するように構成することができる。このため、ローカルコンピュータのユーザインターフェースを通じて、ユーザは、プレイするビデオゲームを選択あるいは指定するとともに、ゲームの進行ひいてはビデオ提示装置による表示用にゲームサーバが出力するビデオコンテンツを制御することができる。

あるいは、ビデオソース１４は、他の形態も取ることができ、必ずしもビデオゲームソースに限定されない。たとえば、ビデオソースは、ビデオ提示装置とローカルに接続され、テレビチャンネルのユーザ選択を受信し、これに応答して当該チャンネルに合わせ、当該テレビチャンネルのビデオコンテンツをビデオ提示装置に出力して表示するように構成されたケーブルＴＶまたは衛星セットトップボックス等のテレビチューナを含むことができる。また、ビデオソースは、同様にプレイするビデオコンテンツのユーザ選択を受信し、これに応答して、選択されたビデオコンテンツをビデオ提示装置に出力して表示することができるデジタルビデオ録画機／再生機を含むことができる。さらに、ビデオソースは、ビデオコンテンツを提供するビデオソースのユーザ選択を可能にするとともに、選択されたソースからのビデオを受信し、ビデオ提示装置に転送して表示するオーディオ／ビデオ受信機またはこのような他の装置を含むことができる。他の例も同様に可能である。

上記の通り、ビデオ提示装置は、ビデオコンテンツを受信して表示する場合、当該ビデオコンテンツの識別情報を示すことができない。むしろ、ビデオ提示装置は単に、ビデオソースからのビデオストリームとしてビデオコンテンツを受動的に受信し、受信したビデオコンテンツを表示するように構成することができる。ただし、本開示によれば、ビデオ提示装置は、ネットワークプラットフォームと接続することができ、また、上記の通り、ネットワークプラットフォームと協働して、表示されているビデオコンテンツの識別ひいてはコンテンツ固有の有用なアクションを可能とすることができる（あるいは、ビデオ提示装置の一部として、または、ローカルにビデオ提示装置と関連して、ネットワークプラットフォームの機能を提供することができる）。

図２は、インターネット等のネットワーク２４を介してビデオ提示装置１２がネットワークプラットフォーム２２と接続した例示的なネットワーク構成を示している。実際、ビデオ提示装置１２は、顧客宅内のローカルエリアネットワーク（ＬＡＮ）上のノードとして存在することができ、ＬＡＮ上のインターネットプロトコル（ＩＰ）アドレスが割り当てられており、ＬＡＮはインターネット上のＩＰアドレスを有する。さらに、ネットワークプラットフォーム２２は、同じくインターネット上のＩＰアドレスにてアクセス可能なサーバを備えることができる。

上記構成により、ビデオ提示装置は、インターネットを介したプラットフォームとのＩＰ通信を開始して実行することにより、ビデオコンテンツの表示中にデジタルフィンガープリントを実時間でプラットフォームに与えることができる。また、プラットフォームは、到着するデジタルフィンガープリントを継続的に評価して、ビデオコンテンツを識別するとともに、これに応答してコンテンツ固有のアクションをトリガすることができる。

これを実際に可能とするため、ビデオ提示装置１２または別のエンティティは、表示されているビデオコンテンツのデジタルフィンガープリントを生成するとともに、当該デジタルフィンガープリントをプラットフォーム２２に送信して解析するように構成することができる。

たとえば、図２に示すように、ビデオ提示装置は、当該ビデオ提示装置による表示されているビデオコンテンツのデジタルフィンガープリントを生成するように構成可能なフィンガープリント生成器２６を具備することができる。このようなフィンガープリント生成器は、ビデオ提示装置がビデオコンテンツを受信している場合および／またはビデオ提示装置がビデオコンテンツを処理して提示している場合に、当該ビデオコンテンツのデジタルフィンガープリントを生成するように構成可能である。このため、フィンガープリント生成器は、ビデオ提示装置に到着するビデオコンテンツおよび／またはビデオ提示装置が処理して提示するビデオコンテンツのコピーを入力として受信し、現在既知のまたは後に開発される任意のメディアフィンガープリンティングプロセスの適用によって、ビデオコンテンツのデジタルフィンガープリントを生成することができる。

例示的なデジタルフィンガープリンティングプロセスは、ビデオフレーム単位で適用可能であり、明度および／または他のビデオ特性の表現を確立することを含むことができるが、これに限定されない。たとえば、所与のビデオフレームについて、フィンガープリント生成器は、プログラムでフレームをグリッドに分割し、グリッドセルごとにフレームの明度を測定するとともに、各グリッドセルの明度、またはグリッドセルのある定められたペア間の加重明度差を各ビットまたは一連のビットが表すビット列を生成することができる。さらに、フィンガープリント生成器は、このプロセスの継続的な適用により、フィンガープリントシーケンス（たとえば、フィンガープリントストリーム）としてデジタルフィンガープリントを経時的に生成することができる。たとえば、フィンガープリント生成器は、スライディングウィンドウに基づいて、各ビット列ならびに／またはこのようなビット列の特定のハッシュ組合せもしくは一連のビット列等の代表値がデジタルフィンガープリントを定める各フレーム（各キーフレーム）に対して、周期的または別の基準でこのプロセスを適用することができる。他のデジタルフィンガープリンティングプロセスも同様に使用可能である。

実際、ビデオ提示装置１２は、プラットフォーム２２との通信セッション（たとえば、ＴＣＰソケット）をプログラムで確立するとともに、当該セッションにおいて、表示されているビデオコンテンツのデジタルフィンガープリント（本明細書においては、「クエリフィンガープリント」と称する）をプラットフォームに送信するように構成することができる。たとえば、ビデオ提示装置は、当該ビデオ提示装置による表示されているビデオコンテンツの最新フレーム、一連のフレーム、または他の部分のデジタルフィンガープリントを搬送するメッセージのプラットフォームへの周期的な送信または適宜の送信を行うように構成することができる。これにより、プラットフォームは、ビデオコンテンツがビデオ提示装置により表示されている実時間において、デジタルフィンガープリントの大部分を受信して解析することができる。

あるいは、ビデオ提示装置は、継続性等の基準で、当該ビデオ提示装置による表示されているビデオコンテンツに関するさまざまなデータをプラットフォームに送信することができ、プラットフォームはこのデータを受信することによって、それ自体または別のエンティティで、ビデオ提示装置による表示されているビデオコンテンツのクエリフィンガープリントを生成することができる。たとえば、ビデオ提示装置は、ビデオコンテンツの個々のフレーム（たとえば、スナップショット）または他のセグメント等、当該ビデオ提示装置による表示されているビデオコンテンツの一部をプラットフォームに送信することができる。また、プラットフォームは、フィンガープリント生成器の適用により、ビデオコンテンツのデジタルフィンガープリントを生成して解析することができる。

上での議論に沿って、この構成のプラットフォームは、ビデオ提示装置による表示されているビデオコンテンツのクエリフィンガープリントを評価することにより、表示されているビデオコンテンツを識別し、これに応答して、コンテンツ固有のアクションを取ることができる。

上記説明の通り、このプロセスでは、表示されているビデオコンテンツが事前に確立されたビデオコンテンツおよび双方向性ビデオコンテンツの組合せを含むシナリオに対処することができる。たとえば、このプロセスでは、表示されているビデオコンテンツがビデオゲームであって、（ｉ）表示中のユーザ相互作用に基づいては変化しないカットシーン等の１つまたは複数の事前に確立されたビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する進行中のゲームプレイビデオコンテンツ等の１つまたは複数の動的に定められたビデオセグメントとを含むシナリオに対処することができる。

図３は、このようなビデオコンテンツを構造化することができる方法の一例を示したタイミング図である。図３に示すように、ビデオコンテンツは、動的に定められたビデオセグメントおよび事前に確立されたビデオセグメントを交互に含む。特に、ビデオコンテンツは、時間Ｔ₁〜時間Ｔ₂の第１の動的に定められたビデオセグメント３０、時間Ｔ₂〜時間Ｔ₃の第１の事前に確立されたビデオセグメント３２、時間Ｔ₂〜時間Ｔ₃の第２の動的に定められたビデオセグメント３４、および時間Ｔ₃〜時間Ｔ₄の第２の事前に確立されたビデオセグメント３６を含む。

たとえば、この例示的なビデオコンテンツが特定のビデオゲームである場合、第１および第２の動的に定められたビデオセグメント３０、３４としては、各ゲームプレイレベルの双方向性ビデオコンテンツも可能であり、このビデオコンテンツは、プレイ中のユーザ相互作用に基づいて（たとえば、ユーザのゲームプレイ中の選択に基づいて）動的に定められる。また、第１および第２の事前に確立されたビデオセグメント３２、３６としては、ビデオゲームに固有で、ゲームプレイレベル間の遷移時にユーザに提示される静的に定められた映画のカットシーンまたはビデオゲームに固有の他の事前に確立されたビデオセグメントも可能である。

上での議論に沿って、ネットワークプラットフォーム２２は、フィンガープリント照合プロセスの適用により、特定のビデオコンテンツアイテム（たとえば、特定のビデオゲーム）に対応することが知られている事前に確立されたビデオセグメントの基準フィンガープリントに対して表示されているビデオコンテンツのフィンガープリントが一致することの検出によって、表示されているビデオコンテンツを識別するように構成することができる。さらに、プラットフォームは、トレーニング済みニューラルネットワークの適用により、関連するアクションのトリガの基礎として、表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるものと判定するように構成することができる。

例示的な一実施態様において、プラットフォームは、図２に示すように、別個でありながら相互作用するサーバ等のモジュールを具備することができる。すなわち、プラットフォームは、ビデオ提示装置と通信するための外向きＩＰアドレスを有するプロキシサーバ３８と、フィンガープリント照合プロセスを実行して表示されているビデオコンテンツを識別するフィンガープリント照合サーバ４０と、トレーニング済みニューラルネットワークを適用して、表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるものと判定することにより、当該ビデオコンテンツの継続提示に基づくアクションのトリガを可能とするニューラルネットワークサーバ４２と、を具備することができる。これらのサーバは、ＬＡＮ上のノードとして存在することができるし、あるいは、互いに通信的にリンクされることができる。

上記構成により、プロキシサーバ３８は、ビデオ提示装置から、ビデオ提示装置による表示されているビデオコンテンツのクエリフィンガープリントを受信し、クエリフィンガープリントが到着した場合に、当該クエリフィンガープリントをフィンガープリント照合サーバ４０に転送して解析することができる。

フィンガープリント照合サーバ４０は、クエリフィンガープリントを受信した場合、引き続き（たとえば、高速周期で）、フィンガープリントの一致を求めて、各ビデオコンテンツアイテムに現れることが知られている事前に確立されたビデオセグメントの基準フィンガープリントに対してクエリフィンガープリントを比較することができる。そして、このような一致を検出すると、フィンガープリント照合サーバ４０は、フィンガープリントが一致する事前に確立されたビデオセグメントを表示されているビデオコンテンツが含むものと結論付けることができるため、当該事前に確立されたビデオセグメントを含むことが知られているビデオコンテンツアイテムとして、表示されているビデオコンテンツを識別することができる。たとえば、特定のビデオゲームに現れることが知られているカットシーンについてのフィンガープリント一致の検出により、フィンガープリント照合サーバは、表示されているビデオコンテンツが当該特定のビデオゲームであるものと結論付けることができる。

クエリフィンガープリントストリームを基準フィンガープリントと比較するため、サーバは、フィンガープリントの対応部分を互いに比較することにより、当該部分が厳密に一致するか、規定の許容範囲内であるかを判定することができる。たとえば、サーバは、フレーム単位または別の所望のレートで、フィンガープリント間の最大偏差を演算し、最大偏差が所定の許容範囲内であるかを判定することができる。さらに、フィンガープリントが２進値である場合は、ブール判定も可能であるし、（フィンガープリント中の各ビット位置間の不一致の計数として）ハミング距離の演算を含むことができる。また、１０進値またはベクトル（たとえば、ビデオフレーム領域ごとの濃淡値）等、フィンガープリントがより複雑な値である場合は、値またはベクトル間の距離の決定を含むことができる。他の多くの例についても同様に可能である。

フィンガープリント照合サーバは、事前に確立されたビデオセグメントについてのフィンガープリントの一致の開始を検出し、これにより表示されているビデオコンテンツを識別したら、場合により検出した事前に確立されたビデオセグメントの一意の識別子（たとえば、カットシーン識別子）と併せて、ビデオコンテンツの決定した識別情報（たとえば、表示されているビデオゲームの名称）を示すように、プロキシサーバ３８に知らせることができる。さらに、フィンガープリント照合サーバはその後、入力クエリフィンガープリントを基準フィンガープリントデータと比較し続け、当該事前に確立されたビデオセグメントについて検出したフィンガープリントの一致が終了するタイミングを決定し、次いで、次の事前に確立されたビデオセグメントについてフィンガープリントの一致を求め、以下同様にすることができる。

フィンガープリント照合サーバは、そのフィンガープリント解析によって、検出したフィンガープリントの一致が終了したものと判定した場合、ビデオ提示装置が関連する事前に確立されたビデオセグメントの表示を終えたものと表すこともできる。当該時点の問題は、ビデオ提示装置が、引き続き、識別したビデオコンテンツを表示しているか、そして、場合によってはその期間である。たとえば、識別したビデオコンテンツが特定のビデオゲームであり、フィンガープリント照合サーバが当該ビデオゲームのカットシーンについてのフィンガープリントの一致の終了を検出した場合の問題は、ビデオ提示装置が（その他何らかのビデオコンテンツを表示するのとは対照的に）、引き続き、識別したビデオゲームを表示しているか、そして、場合によっては、次のカットシーンの発生の前に、識別したビデオゲームの表示がどのくらいの期間続くかである。

上記説明の通り、続くビデオコンテンツが別の事前に確立されたビデオセグメントではなく、双方向性ユーザゲームプレイ等の動的に定められたビデオセグメントであり、ユーザ相互作用に応じて大幅に変化する場合に、この問題は解決が困難である。

この問題に対処するため、フィンガープリント照合サーバは、カットシーンの終了を検出したことを示すように、プロキシサーバに知らせることができ、プロキシサーバはこれに応答して、ニューラルネットワークサーバ４２に助けを求めることができる。すなわち、プロキシサーバは、ビデオ提示装置による表示されているビデオコンテンツのクエリフィンガープリントを受信し続ける場合、当該クエリフィンガープリントをニューラルネットワークサーバに転送するとともに、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるかを示すのを助けるように、クエリフィンガープリントの分類の開始をニューラルネットワークサーバに指示することができる。

このプロキシサーバからの信号に応答して、ニューラルネットワークサーバは、所望の粒度レベルでデジタルフィンガープリントを分類するようにトレーニングされたニューラルネットワークに到着するクエリフィンガープリントを供給することができる（あるいは、ニューラルネットワークサーバは、プロキシサーバから到着するクエリフィンガープリントを定期的に受信し、フィンガープリント照合サーバの解析と並行してこの解析を適用することにより、表示されているビデオコンテンツを識別することができる）。

一例として、識別したビデオコンテンツが特定のビデオゲームである場合、ニューラルネットワークサーバは、ビデオゲームコンテンツとビデオゲーム以外のコンテンツとを識別するようにトレーニングされたニューラルネットワークを適用することができる。たとえば、ニューラルネットワークは、（ｉ）動的に定められたビデオゲームコンテンツの多くのデジタルフィンガープリントおよび（ｉｉ）テレビコンテンツ等のビデオゲーム以外のコンテンツの多くのデジタルフィンガープリントを含む入力データに基づいてトレーニングすることができる。このトレーニングにより、ニューラルネットワークは、ビデオゲームコンテンツを示すビデオコンテンツ特性およびビデオゲーム以外のコンテンツを示すビデオコンテンツ特性を学習することができるため、ビデオゲーム以外のコンテンツからのビデオゲームコンテンツの識別を学習することができる。

ビデオ提示装置による表示されているビデオコンテンツを表すクエリフィンガープリントに対してこのようなトレーニング済みニューラルネットワークを適用することにより、ニューラルネットワークサーバは、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、ビデオゲームコンテンツであるか否かを判定するとともに、それに応じてプロキシサーバに知らせることができる。

これにより、ビデオ提示装置による表示されているビデオコンテンツがビデオゲームであるものとニューラルネットワークが判定した場合、特定のビデオゲームとしてのビデオコンテンツの識別を前提とする合理的な結論として、ビデオ提示装置による表示されているビデオゲームは、引き続き、当該識別したビデオゲームである。したがって、この時点での合理的な結論として、ユーザは、識別したビデオゲームをプレイし続けている。一方、ビデオ提示装置による表示されているビデオコンテンツがビデオゲームではないとニューラルネットワークが判定した場合、合理的な結論として、ビデオ提示装置による表示されているビデオコンテンツはもはや、識別したビデオゲームではなく、ユーザは識別したビデオゲームのプレイを止めている。

これに換えて、またはこれに加えて、ニューラルネットワークサーバは、特定のビデオゲーム間および／または他の種類の双方向性ビデオコンテンツ間でより細かい粒度で識別するようにトレーニングされたニューラルネットワークを適用することができる。たとえば、ニューラルネットワークは、さまざまな特定のビデオゲームそれぞれについて別個に、当該特定のビデオゲームをプレイするインスタンスからの動的に定められたビデオゲームコンテンツの多くのデジタルフィンガープリントを含む入力データに基づいてトレーニングすることができる。このトレーニングにより、ニューラルネットワークは、特定のビデオゲームに固有のビデオコンテンツ特性を学習することができ、このため、ビデオゲームの識別を学習することができる。

この場合、ビデオ提示装置による表示されているビデオコンテンツを表すクエリフィンガープリントのニューラルネットワーク解析に基づいて、ニューラルネットワークサーバは、たとえば別のビデオゲームまたは他の双方向性ビデオコンテンツとの比較として、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、特定の識別したビデオゲームであるかを判定することができる。また、ニューラルネットワークサーバは、これに応じて、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるかを示すように、プロキシサーバに知らせることができる。

このように、より細かい粒度のニューラルネットワーク実装によって、さまざまなビデオコンテンツアイテム（たとえば、特定のビデオゲーム）はそれぞれ、名称等の識別子により指定することができ、ニューラルネットワークは、その分類において当該識別子を参照することができる。プロキシサーバは、ビデオ提示装置による表示されているビデオコンテンツの識別情報をフィンガープリント照合サーバから知ると、このビデオコンテンツ識別子をニューラルネットワークサーバに通知することができ、ニューラルネットワークサーバはこれに応答して、そのニューラルネットワークの適用により、当該識別子を伴うビデオコンテンツが、引き続きビデオ提示装置により表示されているビデオコンテンツであるかを判定するとともに、そのことをプロキシサーバに折り返し報告することができる。

このプロセスにおいてニューラルネットワークサーバにより適用されるニューラルネットワークは、多様な形態のいずれかを取り得る。一例として、ニューラルネットワークとしては、長短期記憶（ＬＳＴＭ）アーキテクチャを使用する回帰型深層ニューラルネットワークも可能であり、その動作については、Hochreiter et al., "Long Short-Term Memory," Neural Computation 9(8):1735-1780, 1997, http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdfに記載されている。あるいは、他の形態のニューラルネットワーク（たとえば、ゲート付き回帰型ユニットニューラルネットワーク、畳み込みニューラルネットワーク、または他の現在既知もしくは後に開発されるニューラルネットワーク）も同様に適用可能である。

図３は、例示的なビデオセグメント３０〜３６を表す入力デジタルフィンガープリントに対してこのプロセスが作用することができる様子を示している。ここで、ネットワークプラットフォーム２２は、表示されているビデオコンテンツを表すクエリフィンガープリントを受信するが、このクエリフィンガープリントは、動的に定められたビデオセグメント３０を表す第１の部分、事前に確立されたビデオセグメント３２を表す第２の部分、動的に定められたビデオセグメント３４を表す第３の部分、および事前に確立されたビデオセグメント３６を表す第４の部分を順に含むことができる。

上での議論に沿って、プラットフォームがこのクエリフィンガープリントを受信すると、プロキシサーバは、クエリフィンガープリントをフィンガープリント照合サーバに転送することができ、フィンガープリント照合サーバは、既知のビデオコンテンツアイテムに対応するさまざまな事前に確立されたビデオセグメントを表す基準フィンガープリントに対して、クエリフィンガープリントを継続的に比較することができる。その結果、時間Ｔ₂の直後に（時間Ｔ_Aにおいて）、フィンガープリント照合サーバは、特定の既知のビデオゲームに対応する事前に確立されたビデオセグメントの基準フィンガープリントとの一致を検出することにより、表示されているビデオコンテンツが当該特定のビデオゲームであるものとする結論を裏付けることができる。また、フィンガープリント照合サーバは、この知見をプロキシサーバに報告することができる。

その後、フィンガープリント照合サーバは、入力クエリフィンガープリントの評価を続ける場合、Ｔ₃の直後に（時間Ｔ_Bにおいて）、事前に確立されたビデオセグメントの終了に起因する不一致を検出して、これをプロキシサーバに報告することができる。この不一致ひいては事前に確立されたビデオセグメントの終了に応答して、プロキシサーバはその後、入力デジタルフィンガープリントのニューラルネットワークサーバへの転送（未実行の場合）を開始するとともに、問題のビデオコンテンツの決定した識別情報をニューラルネットワークサーバに知らせることができる。

これに応答して、ニューラルネットワークサーバはその後、クエリフィンガープリントを分類し、当該クエリフィンガープリントが、引き続き、識別したビデオコンテンツを表しているかを判定するために、クエリフィンガープリントの到着時にトレーニング済みニューラルネットワークをクエリフィンガープリントに適用することができる。たとえば、識別したビデオコンテンツが特定のビデオゲームである場合、ニューラルネットワークサーバは継続的に、ニューラルネットワークを到着したクエリフィンガープリントに適用して、クエリフィンガープリントが、引き続き、一般的にビデオゲームコンテンツを表しているかの判定および／またはフィンガープリントが、引き続き、具体的に識別したビデオゲームを表しているかの判定を行うことができる。また、ニューラルネットワークサーバは、同じく場合により継続的に、その知見をプロキシサーバに報告することができる。

一方、フィンガープリント照合サーバは、入力クエリフィンガープリントを基準フィンガープリントと比較し続けている場合、Ｔ₄の直後に（時間Ｔ_Cにおいて）、同じく識別したビデオゲームに対応する別の事前に確立されたビデオセグメントの基準フィンガープリントとの一致を検出して、この知見をプロキシサーバに報告することができる。この事前に確立されたビデオセグメントとの一致が動的に定められたビデオセグメント３４の終了を示す場合、プロキシサーバは、デジタルフィンガープリントのニューラルネットワークサーバへの転送を中断させるとともに、ニューラルネットワークの適用の停止をニューラルネットワークサーバに知らせることができる。

そして、このプロセスは反復的に継続可能であり、フィンガープリント照合サーバは再び、検出した事前に確立されたビデオセグメントのフィンガープリントとの一致の終了を検出して、そのことをプロキシサーバに知らせることができ、プロキシサーバはこれに応答してニューラルネットワークサーバに知らせることができ、ニューラルネットワークサーバはこれに応答して、ニューラルネットワークの適用により、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであるかを判定することができる。

上記の通り、このプロセスは、既知のビデオコンテンツアイテムにそれぞれ対応するさまざまな事前に確立されたビデオセグメントの基準フィンガープリントにフィンガープリント照合サーバがアクセス可能であることと、さまざまな既知のビデオコンテンツアイテムに基づいてトレーニングされたニューラルネットワークがニューラルネットワークサーバに構成されていることと、を仮定している。このプロセスを実際に可能とするため、ネットワークプラットフォーム２２は、フィンガープリント照合サーバ４０およびニューラルネットワークサーバ４２と相互作用して基準フィンガープリントの確立およびニューラルネットワークのトレーニングに役立ち得るプロビジョニングサーバ４４をさらに具備することができる。

ビデオゲームに関して、プロビジョニングサーバは、ビデオゲームプレイの実際のインスタンスの多くのビデオ記録を取得するとともに、これらのビデオ記録のデジタルフィンガープリントを生成して、事前に確立されたビデオセグメント（たとえば、カットシーン等）の基準フィンガープリントの生成ならびに１つもしくは複数のニューラルネットワークのトレーニングに使用することができる。

プロビジョニングサーバは、これらビデオゲームプレイの実際のインスタンスの記録をさまざまな方法で取得することができる。たとえば、有用な記録ソースとしては、オンラインの「Ｌｅｔ’ｓ Ｐｌａｙ」（ＬＰ）ビデオおよび他のプレイスルービデオが挙げられ、通常は、ＴｗｉｔｃｈおよびＹｏｕＴｕｂｅ（登録商標）等のウェブサイト上でアクセス可能である。これらのプレイスルービデオは、ゲームプレイの実際のインスタンスの記録であって、スクリプト化されたナレーションで編集される場合があるとともに、オンザフライでキャプチャされるゲームプレイのより未加工の記録である場合がある。

例示的な一実施態様において、プロビジョニングサーバは、これらのプレイスルービデオのデジタルフィンガープリントを自動的に検索して生成するように構成することができる。一例として、ネットワークプラットフォームの管理者は、さまざまな既知のビデオゲームの名称をプロビジョニングサーバに入力することができ、プロビジョニングサーバは、指名されたビデオゲームのプレイスルービデオをＴｗｉｔｃｈおよびＹｏｕＴｕｂｅ（登録商標）等のウェブサイトで自動的に検索することができる。プロビジョニングサーバは、このようなビデオを見つけた場合、自動的にビデオの再生（たとえば、ビデオのストリーミングビデオ表現の受信）を行うとともに、上記のようなフィンガープリント生成器を適用することによって、ビデオの対応するデジタルフィンガープリントを生成することができる。そして、プロビジョニングサーバは、ビデオゲームの名称と関連付けて、得られたデジタルフィンガープリントを保存することができる。

これらゲームプレイの実際のインスタンスのデジタルフィンガープリントを提供され、プロビジョニングサーバはその後、プログラムでデジタルフィンガープリントを評価して、事前に確立されたビデオセグメントを表すフィンガープリントセグメントを識別することができる。たとえば、特定のビデオゲームのプレイの複数のインスタンスのフィンガープリントを評価することにより、プロビジョニングサーバは、当該ビデオゲームのプレイの各インスタンス内で繰り返し発生するフィンガープリントセグメントまたは当該ビデオゲームのプレイの各インスタンスにおいて少なくとも一度発生するフィンガープリントセグメントを識別することができる。カットシーン等の事前に確立されたビデオセグメントの静的性質を所与として、プロビジョニングサーバは、このように繰り返し発生するフィンガープリントセグメントがビデオゲームの事前に確立されたビデオセグメントを表すものと見なすことができる。したがって、プロビジョニングサーバは、場合により事前に確立されたビデオセグメントの識別子とともに、問題のビデオゲームの既知の識別情報と関連付けて、事前に確立されたビデオセグメントを表す基準フィンガープリントとして、これらのフィンガープリントセグメントを格納することができる。また、プロビジョニングサーバは、この基準フィンガープリントデータをフィンガープリント照合サーバが利用できるようにして、上述の通り、ビデオ提示装置による表示されているビデオコンテンツの識別に使用することができる。

あるいは、プロビジョニングサーバは、既知のビデオコンテンツアイテムと関連付けられた事前に確立されたビデオセグメントの基準フィンガープリントを他の方法で取得することができる。たとえば、人間が、さまざまなビデオゲームのビデオ記録を視聴するとともに、（たとえば、それぞれの開始および停止時間によって）事前に確立されたビデオセグメントを手動で識別して、これら識別したビデオセグメントの基準フィンガープリントの生成をプロビジョニングサーバに指示することができる。他の例も同様に可能である。

さらに、プロビジョニングサーバは、ビデオゲームプレイの実際のインスタンスのデジタルフィンガープリントをニューラルネットワークサーバに提供して、ニューラルネットワークサーバが１つまたは複数のニューラルネットワークのトレーニングに使用できるようにすることができる。プロビジョニングサーバは、このような各記録のビデオゲーム識別情報と併せて、各記録の完全なデジタルフィンガープリントをニューラルネットワークサーバに提供することができる。あるいは、プロビジョニングサーバは、事前に確立されたビデオセグメントを表すと見なされたセグメントではないフィンガープリントセグメントに基づいて、記録の動的に定められたセグメントを表すフィンガープリントセグメントを取り出すことができ、また、各記録のビデオゲーム識別情報と併せて、これらのフィンガープリントセグメントをニューラルネットワークサーバに提供することができる。

また、ニューラルネットワークサーバがニューラルネットワークをトレーニングしてビデオゲームコンテンツとビデオゲーム以外のコンテンツとを識別できるように、プロビジョニングサーバは、テレビコンテンツ等、ビデオゲーム以外のコンテンツのデジタルフィンガープリントを取得することができる。たとえば、プロビジョニングサーバおよび／または他の関連するサーバは、テレビコンテンツのさまざまなチャンネルを受信するチューナを有する１つまたは複数のテレビ視聴ステーションを具備することができるとともに、上述のようなフィンガープリント生成器を使用して、当該テレビコンテンツのデジタルフィンガープリントを生成することができる。そして、プロビジョニングサーバは、これらビデオゲーム以外のコンテンツのデジタルフィンガープリントをニューラルネットワークサーバに提供して、上述の通り、１つまたは複数のニューラルネットワークのトレーニングに使用することができる。

本開示によれば、上記の通り、ネットワークプラットフォームは、ビデオ提示装置による表示されているビデオコンテンツの識別情報の決定に応答して、場合により具体的には、引き続き、識別ビデオコンテンツアイテムを表示しているビデオ提示装置の閾値持続時間の検出に応答してアクションを取るように構成することができる。

一例として、ビデオ提示装置による表示されているビデオコンテンツの識別情報（たとえば、ビデオ提示装置による表示されている特定のビデオゲームの識別情報）をプロキシサーバが知ると、プロキシサーバまたは関連するエンティティは、当該ビデオコンテンツの提示に関する格付けデータを記録することができる。たとえば、プロキシサーバは、表示されている識別ビデオコンテンツの計数等の統計値への追加等により、当該ビデオコンテンツが提示される程度を示すデータとして、ビデオ提示装置が識別したビデオコンテンツを提示している事実を記録することができる。さらに、プロキシサーバは、このようなデータを（装置固有の視聴解析として）ビデオ提示装置および関連するデモグラフィクスごとに記録することができる。

別の例として、ビデオ提示装置による表示されているビデオコンテンツの識別情報をプロキシサーバが知ると、プロキシサーバまたは関連するエンティティは、ビデオ提示装置または別のユーザ装置に補助コンテンツを提示させることができ、場合によっては、識別ビデオコンテンツと関連付けられたコンテンツを提示させることができる。たとえば、プロキシサーバは、識別ビデオコンテンツ（たとえば、付加的なゲームレベルまたは他のゲームコンテンツ）を所与として関心を集める可能性がある仮想コンテンツもしくは物理的商品またはヘルプもしくは関心を集める可能性がある他の情報を提供するポップアップ広告をビデオ提示装置または別のユーザ装置に提示させることができる。特に、プロキシサーバは、ユーザによる視聴あるいはユーザへの補助コンテンツの提示のため、（たとえば、ディスプレイの隅部または縁部において）提示されるビデオコンテンツに補助コンテンツを重ね合わせることによりビデオ提示装置または他のユーザ装置が応答することになる指示とともに補助コンテンツを搬送するメッセージをビデオ提示装置または他のユーザ装置に送信することができる。

この具体例として、上記の通り、プロキシサーバは、ビデオ提示装置が、どのくらいの期間、ビデオコンテンツの事前に確立されたビデオセグメントのインスタンス間で、引き続き、識別ビデオコンテンツを表示しているかを決定するとともに、決定した持続時間に基づいてアクションを取ることができる。たとえば、プロキシサーバは、どのくらいの期間、ユーザが次のゲームプレイレベルに到達しようとしているかを示すかもしれない、どのくらいの期間、識別したビデオゲームのカットシーン間で当該ビデオゲームの双方向性ビデオセグメントが続いているかを決定することができ、この持続時間に基づいてアクションを取ることができる。たとえば図３の時間Ｔ_Dに示すように、決定した持続時間が閾値より長い（および依然として継続している）場合、プロキシサーバはこれに応答して、ユーザが悪戦苦闘しているように見えることを理由として、ビデオ提示装置に対して、ゲームプレイのヒント等のヘルプコンテンツをユーザに提示させることができる。一方、決定した持続時間が閾値より短い場合、プロキシサーバはこれに応答して、ユーザが熟練プレイヤであるように見えることを理由として、ビデオ提示装置に対して、より高いゲームレベル等の購入の提案をユーザに提示させることができる。

この事前に確立されたビデオセグメント間の持続時間の評価は、識別したビデオコンテンツに固有のものとすることができ、識別ビデオコンテンツを再生する実際のインスタンスの履歴統計解析に基づいて、１つまたは複数の持続時間閾値が確立される。実際、プロビジョニングサーバまたは別のエンティティは、このような閾値を作成することができる。たとえば、特定のビデオゲームに関して、プロビジョニングサーバは、当該ビデオゲームのプレイの多くのインスタンス（たとえば、プレイスルー記録等）それぞれにおいて、当該ビデオゲームの特定のカットシーン間の持続時間を評価することができ、これら持続時間の平均化あるいは持続時間データの丸めによって、カットシーン間の代表的な持続時間と見なし得るものを確立することができる。また、プロビジョニングサーバは、ビデオゲームのプレイの所与のインスタンスにおけるカットシーン間の持続時間が閾値よりも長いか短いかを判定する閾値として使用するため、これらの持続時間を示すデータを（カットシーンの識別子と併せて）プロキシサーバに提供することができる。他の実施態様も同様に可能である。

次に、図４は、上での議論に沿って、ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答の例示的な方法であり、ビデオコンテンツが、（ｉ）表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を含む、例示的な方法の図である。

図４に示すように、ブロック４０において、この方法は、表示されているビデオコンテンツの表現として表示中に実時間で生成されたクエリフィンガープリントであって、事前に確立されたビデオセグメントを表す第１の部分および動的に定められたビデオセグメントを表す第２の部分を含む、クエリフィンガープリントをコンピュータシステムが取得する（たとえば、受信または確立する）ことを含む。さらに、ブロック４０と並列に示すブロック４２において、コンピュータシステムは、（ａ）クエリフィンガープリントの第１の部分と事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、（ｂ）一致の検出に基づいて、表示されているビデオコンテンツを識別し、（ｃ）表示されているビデオコンテンツを識別した後、少なくともクエリフィンガープリントの第２の部分に対して、トレーニング済みニューラルネットワークを適用し、（ｄ）ニューラルネットワークの適用に基づいて、識別したビデオコンテンツの表示が続いていることを検出する。次に、ブロック４４においては、少なくとも識別したビデオコンテンツの表示が続いていることの検出に応答して、コンピュータシステムは、識別したビデオコンテンツに固有のアクションを取る。

上での議論に沿って、この方法のビデオコンテンツは、ビデオゲームコンテンツを含むことができ、表示されているビデオコンテンツを識別する動作は、表示されている特定のビデオゲームの識別情報の決定を含むことができる。さらに、識別したビデオコンテンツの表示が続いていることを検出する動作は、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、ビデオゲームコンテンツであることを検出することおよび／または表示されているビデオコンテンツが、引き続き、特定の識別したビデオゲームであることを検出することを含むことができる。さらに、識別したビデオコンテンツに固有のアクションを取る動作は、別のビデオゲームコンテンツの提案を含む補助コンテンツを提示させることを含むことができる。

さらに上述の通り、この方法は、（事前に確立されたビデオセグメントに関して）検出した一致の終了をコンピュータシステムが検出することをさらに含むことができる。この場合、トレーニング済みニューラルネットワークを適用する動作は、少なくとも検出した一致の終了の検出に応答することができる。

また、この方法は、少なくともクエリフィンガープリントの第２の部分に対するトレーニング済みニューラルネットワークの適用に基づいて、ビデオコンテンツの動的に定められた部分の表示が少なくとも閾値持続時間にわたって続いたことをコンピュータシステムが判定することを含むことができる。そして、識別したビデオコンテンツに固有のアクションを取る動作は、補助コンテンツを提示させることを含むことができる。さらに、補助コンテンツを提示させる動作は、さらに、ビデオコンテンツの動的に定められた部分の表示が少なくとも閾値持続時間にわたって続いたことを判定する動作に応答するものとすることができる。たとえば、ビデオコンテンツの動的に定められた部分は、双方向性ビデオゲームコンテンツを含み、さらに、ビデオコンテンツの動的に定められた部分が少なくとも閾値持続時間にわたって続いたことに応答して、補助コンテンツを提示させる動作は、ビデオゲームヘルプコンテンツを提示させることを含むことができる。

さらに、その事前に確立されたビデオセグメントは、第１の事前に確立されたビデオセグメントと呼ばれ、ビデオコンテンツは、同じく表示中のユーザ相互作用に基づいては変化しない第２の事前に確立されたビデオセグメントを含み、クエリフィンガープリントは、第２の事前に確立されたビデオセグメントを表す第３の部分を含むことができる。そして、この場合、少なくともクエリフィンガープリントの第２の部分に対するトレーニング済みニューラルネットワークの適用に基づいて、ビデオコンテンツの動的に定められた部分の表示が少なくとも閾値持続時間にわたって続いたことを判定する動作は、第１の事前に確立されたビデオセグメントの表示から第２の事前に確立されたビデオセグメントの表示まで（たとえば、表示前または表示時点）に、閾値の長さの持続時間を検出することを含むことができる。

さらに、その一致は、第１の一致と呼ばれ、この方法は、クエリフィンガープリントの第３の部分と第２の事前に確立されたビデオセグメントを表す基準フィンガープリントとの第２の一致をコンピュータシステムが検出することと、第２の一致の検出に基づいて、クエリフィンガープリントに対するトレーニング済みニューラルネットワークの適用をコンピュータシステムが中断させること、をさらに含むことができる。

また、上での議論に沿って、コンピュータシステムは、ネットワークを介してビデオ提示装置と通信し、表示されているビデオコンテンツの表現として表示中に実時間で生成されたクエリフィンガープリントをコンピュータシステムが取得する動作は、ビデオ提示装置からネットワークを介して、ビデオコンテンツの表示中にビデオ提示装置により実時間で生成されたクエリフィンガープリントの送信（たとえば、継続的送信または順次的送信）をコンピュータシステムが受信することを含むことができる。

さらに、上述の通り、この方法は、ビデオゲームプレイのさまざまなインスタンスのコンピュータ解析に基づいて、基準フィンガープリントおよびトレーニング済みニューラルネットワークを含む一組の基準データを確立することをさらに含むことができる。たとえば、この方法は、プレイスルービデオ等、ビデオゲームプレイのさまざまなインスタンスの少なくとも一部を公衆パケット交換網で自動的に検索してダウンロードすること（たとえば、ストリーミングプレイアウトを受信すること）と、ダウンロードした（たとえば、ストリーミング）ビデオゲームプレイのインスタンスにコンピュータ解析を実行することと、をさらに含むことができる。

次に、図５は、上での議論に沿って、ビデオゲームのプレイの検出およびプレイに対する応答の方法であり、ビデオゲームが、ビデオ提示ユニット（たとえば、ビデオ提示装置または関連するユニット）に実時間で表示され、ビデオゲームが、（ｉ）表示中のユーザ相互作用に基づいては変化しないカットシーンビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する双方向性ビデオセグメントと、を含む、方法を示した別の図である。

図５に示すように、ブロック５０において、この方法は、プレイされているビデオゲームの表現として表示中に実時間で生成されたクエリフィンガープリントであって、（ｉ）第１のカットシーンビデオセグメントを表す第１の部分および（ｉｉ）第１の双方向性ビデオセグメントを表す第２の部分を含む、クエリフィンガープリントをコンピュータシステムが取得することを含む。また、この方法は、クエリフィンガープリントの取得の間に実行可能な後続ブロックを含む。特に、ブロック５２において、この方法は、クエリフィンガープリントの第１の部分と第１のカットシーンビデオセグメントを表す基準フィンガープリントとの一致をコンピュータシステムが検出し、検出した一致に基づいて、コンピュータシステムにより、表示されているビデオゲームを識別することを含む。ブロック５４において、この方法は、表示されているビデオコンテンツを識別した後、少なくともクエリフィンガープリントの第２の部分に対して、トレーニング済みニューラルネットワークを適用することにより、表示されているビデオコンテンツが、引き続き、識別したゲームであることをコンピュータシステムが検出することを含む。また、ブロック５６において、この方法は、少なくとも表示されているビデオコンテンツが、引き続き、識別したビデオゲームであることの検出に応答して、コンピュータシステムに補助コンテンツを提示させることを含む。

さらに上述の通り、この方法は、検出した一致の終了をコンピュータシステムが検出することをさらに含むことができる。トレーニング済みニューラルネットワークの適用は、少なくとも検出した一致の終了の検出に応答することができる。さらに、この方法は、少なくともクエリフィンガープリントの第２の部分に対するトレーニング済みニューラルネットワークの適用に基づいて、第１の双方向性ビデオセグメントが少なくとも閾値持続時間にわたって続いたことをコンピュータシステムが判定することをさらに含むことができる。補助コンテンツの提示は、さらに、ビデオコンテンツの双方向性部分が少なくとも閾値持続時間にわたって続いたことの判定に応答するものとすることができる。補助コンテンツは、ビデオゲームヘルプコンテンツを含むことができる。

次に、図６は、本開示に従って動作することができる例示的なコンピュータシステムの簡易ブロック図である。このコンピュータシステムは、上述のネットワークプラットフォーム２２ならびに／または１つもしくは複数の他のエンティティ（場合により、ビデオ提示装置を含む）として具現化することができる。図６に示すように、この例示的なシステムは、ネットワーク通信インターフェース６０、処理ユニット６２、非一時的データストレージ６４を具備しており、これらのいずれかまたはすべてを一体的に統合することができるし、図示のように、システムバス、ネットワーク、または他の接続機構６６による一体的な通信リンクも可能である。

ネットワーク通信インターフェース６０は、上述のネットワーク２４等のネットワーク上の通信の容易化ならびに／または１つもしくは複数の他のローカルもしくはリモートエンティティとの直接もしくはネットワーク通信の実行のための１つまたは複数の物理的ネットワーク接続機構を備え得る。このため、ネットワーク通信インターフェースは、ＩＰ通信および／または他の種類のネットワーク通信を実行する無線もしくは有線イーサネット（登録商標）インターフェースまたは他の種類のネットワークインターフェースを備え得る。

そして、処理ユニット６２は、１つもしくは複数の汎用プロセッサ（たとえば、マイクロプロセッサ）ならびに／または１つもしくは複数の専用プロセッサ（たとえば、特定用途向け集積回路）を備え得る。また、非一時的データストレージ６４は、光学、磁気、またはフラッシュストレージ等、１つまたは複数の揮発性および／または不揮発性ストレージコンポーネントを備え得る。

図示のように、データストレージ６４は、処理ユニット６２による実行によって、本明細書に記載のさまざまな動作を実行することにより、ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答が可能なプログラム命令６８を格納する。ビデオコンテンツは、（ｉ）表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を順に含む。

上述の通り、たとえば、これらの動作は、ビデオ提示装置からネットワーク通信インターフェースを介して、表示されているビデオコンテンツの表現として表示中に実時間で生成されたクエリフィンガープリントを受信することであり、クエリフィンガープリントが、（ｉ）事前に確立されたビデオセグメントを表す第１の部分および（ｉｉ）動的に定められたビデオセグメントを表す第２の部分を順に含む、ことを含むことができる。さらに、これらの動作は、クエリフィンガープリントの第１の部分と事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、検出した一致に基づいて、表示されているビデオコンテンツを識別することを含むことができる。そして、これらの動作は、表示されているビデオコンテンツを識別した後、少なくともクエリフィンガープリントの第２の部分に対してトレーニング済みニューラルネットワークを適用することにより、表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであることを検出することと、少なくともビデオコンテンツが、引き続き、識別したビデオコンテンツであることの検出に応答して、ユーザ装置に補助コンテンツを表示させることと、を含むことができる。

本文脈において、上述のさまざまな特徴を同様に適用することができる。たとえば、ビデオコンテンツはビデオゲームコンテンツを含み、事前に確立されたビデオセグメントはカットシーンビデオセグメントを含み、動的に定められたビデオセグメントは双方向性ゲームプレイビデオセグメントを含むことができる。そして、この場合、これらの動作は、少なくともクエリフィンガープリントの第２の部分に対するトレーニング済みニューラルネットワークの適用に基づいて、双方向性ゲームプレイビデオセグメントが少なくとも閾値持続時間にわたって続いたことを判定することをさらに含むことができる。ユーザ装置に補助コンテンツを表示させることは、双方向性ゲームプレイビデオセグメントが少なくとも閾値持続時間にわたって続いたことの判定にさらに応答することができる。補助コンテンツは、ビデオゲームヘルプコンテンツを含むことができる。

最後に、図７は、本開示に従って動作することができる例示的なビデオ提示装置の簡易ブロック図である。上での議論に沿って、このビデオ提示装置は、さまざまな形態を取り得る。たとえば、テレビ、コンピュータモニタ、またはビデオコンテンツを受信して表示するように動作する他の装置も可能である。

図７に示すように、この例示的なビデオ提示装置は、ビデオ入力インターフェース７０、ビデオ提示インターフェース７２、ネットワーク通信インターフェース７４、処理ユニット７６、および非一時的データストレージ７８を具備しており、これらのいずれかまたはすべてを一体的に統合することができるし、図示のように、システムバス、ネットワーク、または他の接続機構８０による一体的な通信リンクも可能である。

ビデオ入力インターフェース７０は、ビデオ提示装置により表示されているビデオコンテンツを受信する物理的な通信インターフェースを備え得る。このため、メディア入力インターフェースは、ビデオソースとの通信の確立ならびにビデオソースからのアナログもしくはデジタル形態のビデオコンテンツの受信を行う１つまたは複数の有線および／または無線インターフェースを含むことができる。たとえば、ビデオ入力インターフェースは、数ある可能性の中でもとりわけ、上記のインターフェースのうちの１つまたは複数を含むことができる。

ビデオ提示インターフェース７２は、受信したビデオコンテンツの提示を可能とする１つまたは複数の構成要素を備え得る。一例として、ビデオ提示インターフェースは、ディスプレイパネルのほか、受信したビデオコンテンツを処理して、ビデオコンテンツのディスプレイパネルへの提示を可能とする１つまたは複数のビデオディスプレイドライバまたは他の構成要素を備え得る。

ネットワーク通信インターフェース７４は、上述のネットワーク２４等のネットワーク上の通信の容易化ならびに／または１つもしくは複数の他のローカルもしくはリモートエンティティとの直接もしくはネットワーク通信の実行のための物理的ネットワーク接続機構を備え得る。このため、ネットワーク通信インターフェースは、ＩＰ通信および／または他の種類のネットワーク通信を実行する無線もしくは有線イーサネット（登録商標）インターフェースまたは他の種類のネットワークインターフェースを備え得る。

そして、処理ユニット７６は、１つもしくは複数の汎用プロセッサ（たとえば、マイクロプロセッサ）ならびに／または１つもしくは複数の専用プロセッサ（たとえば、特定用途向け集積回路）を備え得る。また、非一時的データストレージ７８は、光学、磁気、またはフラッシュストレージ等、１つまたは複数の揮発性および／または不揮発性ストレージコンポーネントを備え得る。さらに、図示のように、データストレージ７８は、処理ユニット７６による実行によって、本明細書に記載のさまざまな動作を実行可能なプログラム命令８２を格納する。たとえば、このプログラム命令は、ビデオ入力インターフェース７０での受信および／またはビデオ提示インターフェースでの処理が行われるメディアコンテンツの解析に基づいて、ビデオ提示装置による表示されているビデオコンテンツのフィンガープリントを継続的に生成するとともに、生成したフィンガープリントを継続的に提供して、本明細書に記載のチャンネル識別を可能とするように実行可能であることができる。

なお、上の議論では、ニューラルネットワークを使用して、ビデオ提示装置による表示されているビデオコンテンツが、引き続き、識別したビデオコンテンツであることを判定することができるが、この目的では、他の種類の機械学習アルゴリズムも同様に使用可能である。たとえば、テンプレート照合プロセスを使用することができる。テンプレート照合は、所与のビデオコンテンツアイテムに固有の（場合により、非連続の）ビデオフレームのシーケンスまたは他のパターンの識別を含むことができる。このため、双方向性ビデオコンテンツの基準フィンガープリントを評価して、ビデオコンテンツアイテムごとに、このような１つまたは複数のパターンを識別するトレーニングプロセスをテンプレート照合サーバが適用することができる。また、テンプレート照合サーバはその後、トレーニングプロセスにより特定のビデオコンテンツアイテムと関連付けられたパターンを入力クエリフィンガープリントが含むことの検出によって、当該クエリフィンガープリントを分類することができる。他の機械学習プロセスも同様に使用可能である。

以上、例示的な実施形態を説明した。ただし、当業者であれば、本発明の真の範囲および主ことから逸脱することなく、これらの実施形態を変更および改良できることが了解されよう。

Claims (20)

1. ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答の方法であり、前記ビデオコンテンツが、（ｉ）前記表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）前記表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を含む、方法であって、
   コンピュータシステムにより、表示されている前記ビデオコンテンツの表現として前記表示中に実時間で生成されたクエリフィンガープリントを取得することであり、前記クエリフィンガープリントが、前記事前に確立されたビデオセグメントを表す第１の部分および前記動的に定められたビデオセグメントを表す第２の部分を含む、ことと、
   前記クエリフィンガープリントを取得する間に、前記コンピュータシステムが、（ａ）前記クエリフィンガープリントの前記第１の部分と前記事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、（ｂ）前記一致の検出に基づいて、表示されている前記ビデオコンテンツを識別し、（ｃ）表示されている前記ビデオコンテンツを識別した後、少なくとも前記クエリフィンガープリントの前記第２の部分に対して、トレーニング済みニューラルネットワークを適用し、（ｄ）前記ニューラルネットワークの適用に基づいて、前記識別したビデオコンテンツの表示が続いていることを検出することと、
   少なくとも前記識別したビデオコンテンツの表示が続いていることの検出に応答して、前記コンピュータシステムが、前記識別したビデオコンテンツに固有のアクションを取ることと、
   を含む、方法。
2. 前記ビデオコンテンツが、ビデオゲームコンテンツを含む、請求項１に記載の方法。
3. 前記識別したビデオコンテンツの表示が続いていることを検出することが、前記ビデオ提示装置による表示されている前記ビデオコンテンツが、引き続き、ビデオゲームコンテンツであることを検出することを含む、請求項２に記載の方法。
4. 表示されている前記ビデオコンテンツを識別することが、表示されている特定のビデオゲームの識別情報を決定することを含み、前記識別したビデオコンテンツの表示が続いていることを検出することが、表示されている前記ビデオコンテンツが、引き続き、前記特定のビデオゲームであることを検出することを含む、請求項２に記載の方法。
5. 前記識別したビデオコンテンツに固有のアクションを取ることが、別のビデオゲームコンテンツの提案を含む補助コンテンツを提示させることを含む、請求項２に記載の方法。
6. 前記コンピュータシステムにより、前記検出した一致の終了を検出することをさらに含み、
   前記コンピュータシステムにより前記トレーニング済みニューラルネットワークを適用することが、少なくとも前記検出した一致の前記終了の検出に応答する、請求項１に記載の方法。
7. 前記コンピュータシステムにより、少なくとも前記クエリフィンガープリントの前記第２の部分に対する前記トレーニング済みニューラルネットワークの適用に基づいて、前記ビデオコンテンツの前記動的に定められた部分の表示が少なくとも閾値持続時間にわたって続いたことを判定することをさらに含み、
   前記識別したビデオコンテンツに固有のアクションを取ることが、補助コンテンツを提示させることを含み、
   前記補助コンテンツを提示させることが、さらに、前記ビデオコンテンツの前記動的に定められた部分の表示が少なくとも前記閾値持続時間にわたって続いたことの判定に応答するものである、請求項１に記載の方法。
8. 前記ビデオコンテンツの前記動的に定められた部分が、双方向性ビデオゲームコンテンツを含み、
   さらに、前記ビデオコンテンツの前記動的に定められた部分が少なくとも前記閾値持続時間にわたって続いたことに応答して、前記補助コンテンツを提示させることが、ビデオゲームヘルプコンテンツを提示させることを含む、請求項７に記載の方法。
9. 前記事前に確立されたビデオセグメントが、第１の事前に確立されたビデオセグメントであり、前記ビデオコンテンツが、同じく前記表示中のユーザ相互作用に基づいては変化しない第２の事前に確立されたビデオセグメントを含み、前記クエリフィンガープリントが、前記第２の事前に確立されたビデオセグメントを表す第３の部分を含み、
   前記コンピュータシステムにより、少なくとも前記クエリフィンガープリントの前記第２の部分に対する前記トレーニング済みニューラルネットワークの適用に基づいて、前記ビデオコンテンツの前記動的に定められた部分の表示が少なくとも前記閾値持続時間にわたって続いたことを判定することが、前記第１の事前に確立されたビデオセグメントの表示から前記第２の事前に確立されたビデオセグメントの表示までに、閾値の長さの持続時間を検出することを含む、請求項７に記載の方法。
10. 前記一致が、第１の一致であり、
    当該方法が、
    前記コンピュータシステムにより、前記クエリフィンガープリントの前記第３の部分と前記第２の事前に確立されたビデオセグメントを表す基準フィンガープリントとの第２の一致を検出することと、前記第２の一致の検出に基づいて、前記コンピュータシステムにより、前記クエリフィンガープリントに対する前記トレーニング済みニューラルネットワークの適用を中断させることと、をさらに含む、請求項９に記載の方法。
11. 前記コンピュータシステムが、ネットワークを介して前記ビデオ提示装置と通信し、前記コンピュータシステムにより、表示されている前記ビデオコンテンツの表現として前記表示中に実時間で生成された前記クエリフィンガープリントを取得することが、前記コンピュータシステムにより、前記ビデオ提示装置から前記ネットワークを介して、前記ビデオコンテンツの前記表示中に前記ビデオ提示装置により実時間で生成された前記クエリフィンガープリントの送信を受信することを含む、請求項１に記載の方法。
12. ビデオゲームプレイのさまざまなインスタンスのコンピュータ解析に基づいて、前記基準フィンガープリントおよび前記トレーニング済みニューラルネットワークを含む一組の基準データを確立することをさらに含む、請求項１に記載の方法。
13. 前記ビデオゲームプレイのさまざまなインスタンスの少なくとも一部を公衆パケット交換網で自動的に検索してダウンロードすることと、
    前記ダウンロードしたビデオゲームプレイのさまざまなインスタンスに前記コンピュータ解析を実行することと、
    をさらに含む、請求項１２に記載の方法。
14. 前記ビデオゲームプレイのさまざまなインスタンスが、プレイスルービデオを含む、請求項１３に記載の方法。
15. 前記ニューラルネットワークが、長短期記憶ニューラルネットワークを含む、請求項１に記載の方法。
16. ビデオゲームのプレイの検出およびプレイに対する応答の方法であり、前記ビデオゲームが、ビデオディスプレイユニットに実時間で表示され、前記ビデオゲームが、（ｉ）前記表示中のユーザ相互作用に基づいては変化しないカットシーンビデオセグメントと、（ｉｉ）前記表示中のユーザ相互作用に基づいて変化する双方向性ビデオセグメントと、を含む、方法であって、
    コンピュータシステムにより、プレイされている前記ビデオゲームの表現として前記表示中に実時間で生成されたクエリフィンガープリントを取得することであり、前記クエリフィンガープリントが、（ｉ）第１のカットシーンビデオセグメントを表す第１の部分および（ｉｉ）第１の双方向性ビデオセグメントを表す第２の部分を含む、ことと、
    前記コンピュータシステムにより、前記クエリフィンガープリントの前記第１の部分と前記第１のカットシーンビデオセグメントを表す基準フィンガープリントとの一致を検出し、前記検出した一致に基づいて、前記コンピュータシステムにより、表示されている前記ビデオゲームを識別することと、
    前記コンピュータシステムにより表示されている前記ビデオゲームを識別した後、前記コンピュータシステムにより、少なくとも前記クエリフィンガープリントの前記第２の部分に対して、トレーニング済みニューラルネットワークを適用することにより、表示されている前記ビデオゲームが、引き続き、前記識別したゲームであることを検出することと、
    少なくとも表示されている前記ビデオゲームが、引き続き、前記識別したビデオゲームであることの検出に応答して、前記コンピュータシステムにより、補助コンテンツを提示させることと、
    を含む、方法。
17. 前記コンピュータシステムにより、前記検出した一致の終了を検出することをさらに含み、
    前記コンピュータシステムにより前記トレーニング済みニューラルネットワークを適用することが、少なくとも前記検出した一致の前記終了の検出に応答する、請求項１６に記載の方法。
18. 前記コンピュータシステムにより、少なくとも前記クエリフィンガープリントの前記第２の部分に対する前記トレーニング済みニューラルネットワークの適用に基づいて、前記第１の双方向性ビデオセグメントが少なくとも閾値持続時間にわたって続いたことを判定することをさらに含み、
    前記補助コンテンツを提示させることが、さらに、前記第１の双方向性ビデオセグメントが少なくとも前記閾値持続時間にわたって続いたことの判定に応答するものであり、
    前記補助コンテンツが、ビデオゲームヘルプコンテンツを含む、請求項１６に記載の方法。
19. ネットワーク通信インターフェースと、
    処理ユニットと、
    非一時的データストレージと、
    前記非一時的データストレージに格納され、ビデオ提示装置によるビデオコンテンツの表示の検出および表示に対する応答の動作であり、前記ビデオコンテンツが、（ｉ）前記表示中のユーザ相互作用に基づいては変化しない事前に確立されたビデオセグメントと、（ｉｉ）前記表示中のユーザ相互作用に基づいて変化する動的に定められたビデオセグメントと、を含む、動作であって、
    前記ビデオ提示装置から前記ネットワーク通信インターフェースを介して、表示されている前記ビデオコンテンツの表現として前記表示中に実時間で生成されたクエリフィンガープリントを受信することであり、前記クエリフィンガープリントが、（ｉ）前記事前に確立されたビデオセグメントを表す第１の部分および（ｉｉ）前記動的に定められたビデオセグメントを表す第２の部分を順に含む、ことと、
    前記クエリフィンガープリントの前記第１の部分と前記事前に確立されたビデオセグメントを表す基準フィンガープリントとの一致を検出し、前記検出した一致に基づいて、表示されている前記ビデオコンテンツを識別することと、
    表示されている前記ビデオコンテンツを識別した後、少なくとも前記クエリフィンガープリントの前記第２の部分に対して、機械学習アルゴリズムを適用することにより、表示されている前記ビデオコンテンツが、引き続き、前記識別したビデオコンテンツであることを検出することと、
    少なくとも表示されている前記ビデオコンテンツが、引き続き、前記識別したビデオコンテンツであることの検出に応答して、ユーザ装置に補助コンテンツを表示させることと、
    を含む、動作を実行するように前記処理ユニットにより実行可能なプログラム命令と、
    を備えた、コンピュータシステム。
20. 前記ビデオコンテンツが、ビデオゲームコンテンツを含み、前記事前に確立されたビデオセグメントが、カットシーンビデオセグメントを含み、前記動的に定められたビデオセグメントが、双方向性ゲームプレイビデオセグメントを含み、前記動作が、
    少なくとも前記クエリフィンガープリントの前記第２の部分に対する前記機械学習アルゴリズムの適用に基づいて、前記双方向性ゲームプレイビデオセグメントが少なくとも閾値持続時間にわたって続いたことを判定することをさらに含み、
    前記ユーザ装置に前記補助コンテンツを表示させることが、さらに、前記双方向性ゲームプレイビデオセグメントが少なくとも前記閾値持続時間にわたって続いたことの判定にさらに応答するものであり、
    前記補助コンテンツが、ビデオゲームヘルプコンテンツを含む、請求項１９に記載のコンピュータシステム。

Images