JP2023552744A - ゲーム内の動的カメラアングル調整 - Google Patents

Abstract

【解決手段】ビデオゲームにおいてカメラアングルを動的に調整するための方法及びシステムが提供される。一方法例は、複数のビデオシーケンスのそれぞれで発生するアクションの特性を識別するメタデータ内のタグ付けデータに関連付けられた複数のビデオシーケンスのデータセットを受信することを含む。本方法は、データセットから人工知能（ＡＩ）モデルを生成することを含む。本方法は、ビデオゲームのゲームプレイ中にＡＩモデルにアクセスすることを含む。アクセスすることは、上記のビデオゲームのゲームプレイ中に生成されるビデオシーケンスのスナップショットを提供することを含む。本方法は、ゲームプレイ中にゲームカメラアングルを動的に調整することを含む。調整することは、上記ＡＩモデルから導出される調整命令に応答する。【選択図】図３

Description

本開示は、ビデオゲームにおいてユーザに提示されているインタラクティブシーンに最適な学習されたカメラアングルに基づいて、ビデオゲームシーンへカメラアングルを動的に変更するための方法及びシステムに関する。

ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。コンピューティング能力の増大に伴い、ビデオゲームの開発者もまた、この向上したコンピューティング能力を利用するゲームソフトウェアを開発してきた。そのために、ビデオゲーム開発者は、高度な演算及び数学的手法を取り入れたゲームをコーディングして、非常に精緻で魅力のあるゲーム体験を生み出している。

ゲームプラットフォームの例としては、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ３（登録商標）（ＰＳ３）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ４（登録商標）（ＰＳ４）、及びＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ５（登録商標）（ＰＳ５）があり、それぞれ、ゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、ディスプレイ（一般的には、テレビ）に接続し、ハンドヘルドコントローラを介したユーザインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、集約的なグラフィック演算を処理するためのグラフィックシンセサイザ、ジオメトリ変換を行うためのベクトルユニット、ならびに他のグルーハードウェア、ファームウェア、及びソフトウェアを含む、専用処理ハードウェアが設けられるように設計されている。さらに、ゲームコンソールによってローカルでプレイするために、ゲームコンソールは、ゲームディスクを受けるために、光ディスクリーダが設けられるように設計されている。オンラインゲームも可能であり、ユーザはインターネットを通じて他のユーザとインタラクティブに対戦または共にプレイができる。ゲームの複雑さがプレイヤを魅了し続けるため、ゲームメーカ及びハードウェアメーカは、さらなるインタラクティブ性及びコンピュータプログラムを可能にするための技術革新を続けている。

ゲームには、グラフィックス、スピード、及びリアリズムにおいて大幅な向上が継続して見られるが、ゲーム体験は依然としてゲーム開発者がプログラムした特定のゲームシーンへのカメラビューに依存する。例えば、インタラクティブ性とシーン内でのゲーマーの位置選定とに応じて、ほとんどのカメラアングルは事前に決定されるか、またはゲームプログラミング中に設定された開発者のコーディングに基づいて設定される。残念ながら、プレイヤがより動的な方法でゲームシーンを体験しようとすると、場合によってはカメラアングルが遅れ、またはゲーム内で発生するインタラクティブ性に対して最適に配置されないことがある。

このような状況において、本開示の実施態様が生じる。

本開示の実施態様には、人工知能によるカメラアングルの選択に基づいて、ゲームがインタラクティブである最中に生成されるシーンへのカメラアングルの動的な選択及び生成に関連するデバイス、方法、及びシステムが含まれる。

一実施形態では、ビデオゲーム内のカメラアングルを動的に調整する方法が提供される。本方法は、複数のビデオシーケンスのそれぞれで発生するアクションの特性を識別するメタデータ内のタグ付けデータに関連付けられた複数のビデオシーケンスのデータセットを受信することを含む。一例では、メタデータには、複数のビデオシーケンスのそれぞれで使用されるカメラアングルが含まれる。別の例では、カメラアングルは、ビデオシーケンス内の画像の分析に基づいて決定される。本方法は、データセットから人工知能（ＡＩ）モデルを生成することを含む。本方法は、ビデオゲームのゲームプレイ中にＡＩモデルにアクセスすることを含む。アクセスすることは、上記のビデオゲームのゲームプレイ中に生成されるビデオシーケンスのスナップショットを提供することを含む。本方法は、ゲームプレイ中にゲームカメラアングルを動的に調整することを含む。調整することは、上記ＡＩモデルから導出される調整命令に応答する。

一実施態様では、ゲームカメラアングルの調整により、ゲームの開発者カメラアングルが修正または置き換えられる。

一実施態様では、ＡＩモデルを生成することは、複数のビデオシーケンスのそれぞれからビデオ特徴データを抽出することと、複数のビデオシーケンスのそれぞれに関連付けられたメタデータ特徴データを抽出することとを含む。本実施態様は、ＡＩモデルによる処理のために、ビデオ特徴データ及びメタデータ特徴データを分類することを含む。ＡＩモデルは、ビデオ特徴データ及びメタデータ特徴データを処理して、複数のビデオシーケンスのそれぞれで発生する上記アクションの特性にラベルを付けるように構成されている。上記のＡＩモデルの生成は、トレーニングプロセス中に行われる。

一実施態様では、ＡＩモデルは、ゲームプレイ中に生成される上記のビデオシーケンスのスナップショットを処理するように構成されている。ビデオシーケンスのスナップショットの処理は、上記ゲームプレイ中に作り出される１つ以上のビデオシーケンスの画像コンテンツを調査して、ビデオ特徴データを作り出すことと、上記調査された画像コンテンツに関連付けられたメタデータを調査して、メタデータ特徴データを作り出すこととを含む。ビデオ特徴データ及びメタデータ特徴データが分類され、上記ゲームプレイ中にビデオゲームのシーンを提示するためにゲームカメラアングルを調整するための上記調整命令を識別するように、上記ＡＩモデルによって使用される。

一実施態様では、上記ビデオのスナップショットは、上記ゲームプレイ中にビデオゲームのシーンを提示するためにゲームカメラアングルを調整するための上記調整命令の処理をトリガするように、上記ゲームプレイ中に定期的に生成される。

一実施態様では、上記ビデオのスナップショットは、発生中のアクションシーンが上記ゲームカメラアングルへの調整を含むべきであることを示す、上記ゲームプレイ中に作り出されるメタデータに応答して生成される。

一実施態様では、上記ビデオのスナップショットは、発生しようとしているアクションシーンが上記ゲームカメラアングルへの調整を含むべきであることを示す、上記ゲームプレイ中に作り出されるメタデータに応答して生成される。

一実施態様では、タグ付けデータは、ユーザ生成データ（ＵＧＤ）のデータベースから取得され、ＵＧＤは、優先としてマークされた前記カメラアングルを含むフレームシーケンスを含み、上記の優先としてマークすることが、前記ＡＩモデルのトレーニングデータとして使用する複数のビデオシーケンスを選択するために使用される。

一実施態様では、タグ付けデータは、カメラアングルを含むフレームシーケンスについて検出された視聴人気に基づいて自動的に生成され、視聴人気が、上記ＡＩモデルのトレーニングデータとして使用する複数のビデオシーケンスを選択するために使用される。

一実施態様では、データセット内の複数のビデオシーケンスは、複数の映画、複数のビデオゲーム録画、ライブスポーツイベントの録画、ソーシャルメディアビデオ、または１つ以上のアクションシーンを含む録画のうちの１つ以上から供給され、上記複数のビデオシーケンスが、上記ＡＩモデルをトレーニングするために使用される。ＡＩモデルは、上記ゲームプレイ中にビデオゲーム内のゲームカメラアングルを調整するために、上記ゲームプレイ中に使用される。

一実施態様では、上記複数のビデオシーケンスは、上記ＡＩモデルをトレーニングするために使用され、ＡＩモデルは、上記ゲームプレイ中にビデオゲーム内のゲームカメラアングルを調整するために、上記ゲームプレイ中に使用される。

一実施態様では、上記ゲームカメラアングルは、ビデオゲームの開発者によってプログラムされた視界とは別の視界をビデオゲームのシーンに提供する。

一実施形態では、ビデオゲーム内のカメラアングルを動的に調整するシステムが提供される。本システムは、クライアントデバイスにストリーミングするための１つ以上のゲームを実行するためのゲームサーバを含む。本システムは、ビデオゲームのゲームプレイ中に作り出されたビデオシーケンスのスナップショットを調査するための人工知能（ＡＩ）カメラアングルプロセッサを含む。スナップショットの調査では、ゲームプレイのシーンの作成に使用するゲームカメラアングルを特定するためにＡＩモデルが使用される。ゲームプレイのシーンを作り出すために使用されるゲームカメラアングルは、ビデオゲームの開発者によってプログラムされた視界とは別の視界を上記シーンに提供する。本システムは、上記別の視界を有する上記カメラアングルを含む上記作り出されたシーンのビデオフレームを圧縮するように構成されたストリーミングサーバを含む。ストリーミングサーバは、上記ゲームプレイ中に見ることができるディスプレイ上に表示するために、圧縮されたビデオフレームを上記クライアントに伝送するように構成されている。

一実施態様では、ＡＩモデルを使用してゲームカメラアングルを特定するスナップショットの調査は、ゲームプレイの進行中に定期的に処理される。

一実施態様では、ＡＩモデルを使用してゲームカメラアングルを特定するスナップショットの調査は、ゲームアクティビティが事前定義された閾値を超える期間中に処理される。

一実施態様では、ＡＩモデルを使用してゲームカメラアングルを特定するスナップショットの調査は、ゲームアクティビティが事前定義された閾値を超えない期間中には処理されない。

一実施態様では、上記スナップショットは、ゲームアクティビティが事前定義された閾値を超える期間中に作り出される。

一実施態様では、スナップショットは、ゲームアクティビティが事前定義された閾値を超えない期間中には作り出されない。

一実施態様では、ゲームカメラアングルは、開発者によってプログラムされたものから変更するように選択されると、ビデオゲームへの上記シーンが、上記クライアントにストリーミングされる上記ビデオフレームをレンダリングするために作り出されるように、ゲームエンジンによって実行される。

開示される方法及びシステムの例を提供する目的で、様々な実施形態が以下に説明される。本開示の他の態様及び利点は、添付の図面と併せて、本開示の原理を例を挙げて示す下記の詳細な説明から明らかになるであろう。

本開示は、添付の図面と併せて以下の説明を参照することによって、一層よく理解することができる。

一実施形態による、様々な異なるタイプのビデオからなる複数のビデオストリームのグラフィカルな図を示す。

一実施形態による、異なるタイプのビデオでタグ付けされたビデオシーケンスを識別するデータセットの例を示す。

一実施形態による、カメラアングルＡＩモデルをトレーニングする際にビデオ及びメタデータを処理するために利用されるＡＩモデルトレーニングエンジンの例を示す。

一実施形態による、１つ以上のビデオゲームを実行し、カメラアングルＡＩモデルを利用するために、１つ以上のデータセンターが利用される実施形態を示す。

一実施形態による、データセンターのうちの１つの例を示す。

一実施形態による、異なるカメラビュー間の切り替えの一例を示す。

一実施形態による、インタラクティブゲームで提示されるシーンの特定の特性に対する最適なカメラアングルの学習に基づいて、ゲームプレイ中にカメラアングルを動的に選択するために利用される方法の一般的な実施形態を示す。

本開示の様々な実施態様による、ゲームシステムのブロック図である。

本開示の以下の実施態様は、ビデオゲーム用に生成されたシーンへのカメラアングルビューの動的調整、及び最適なカメラアングルを選択するためのモデルの使用に関するデバイス、方法、及びシステムを提供する。しかしながら、本開示は、ここに説明する具体的詳細の一部または全部を用いることなく、実践され得ることは、当業者には明らかである。他の例では、周知のプロセス動作は、本開示を不必要に不明瞭にしないために、詳細に説明されていない。

図１は、様々な異なるタイプのビデオからなる複数のビデオストリームのグラフィカルな図を示す。例えば、ビデオ１はアクション映画でよく、ビデオ２はビデオゲームの録画でよく、ビデオゲームＮは録画されたスポーツイベントのビデオでよい。これらの異なるタイプのビデオは、特定のカメラアングルが最適化されるように利用されるシーンを強調するビデオシーケンスを含むデータセットを生成する際のトレーニング目的で選択されることがある。例として、ビデオ１では、ビデオからいくつかの異なるビデオシーケンス１０４を識別することができ、そこでは異なるタイプのアクションが発生しており、対応するカメラアングルが、他のカメラアングルと比較して、最適化されているように、またはより良い位置を選定しているように決定される。

例えば、ビデオ１において、アクション映画にレースカーがフィニッシュラインを横切るシーンがあり、フロントバンパーがフィニッシュラインを横切るところがカメラアングルに映っている場合、そのカメラアングルは、レースカーを後ろから映しているカメラアングル（例えば、前向きの浮動カメラのビュー）よりも好ましいことになる。具体的には、フィニッシュラインを横切るレースカーのフロントバンパーを映すカメラアングルの方が、より関心を引き、その特定の時間にビデオ内で発生するアクションの前後関係やアクションの特性に、より関連性の高い情報が提供されることになる。

この例を続けると、ビデオシーケンス１０４（ＶＳ１）は、アクション映画内で発生するアクションを提示するために選択された複数のビデオフレームを表すことがある。そこにはレースカーがフィニッシュラインを横切る様子を映すビデオフレームが含まれ、カメラアングルは、バンパーがフィニッシュラインを横切る様子を映すように、レースカーに側方から焦点を合わせられている。同様に、同じアクション映画において、ビデオ１、他のビデオシーケンス、例えば、ＶＳ２、ＶＳ３、ＶＳＮが、ビデオ内で発生するアクションのインタラクティブなビューを最適化するようにカメラアングルの配置及び選択が行われているビデオシーンを表すものとして選択されることがある。ビデオには、関連性がある、またはカメラアングルが最適化されている、と識別されたビデオシーケンスを、程度の差はあれ有し得るものがあることを理解されたい。

同様に、ビデオＮがスポーツイベントの録画を表す場合、特定のビデオフレームは、カメラアングルが最適化されたビデオ内で発生するアクションを表すことがある。例えば、ビデオがサッカーゲームであり、ビデオ内でコーナーキックが発生している場合、カメラアングルがキッカーのビューを映すように最適化されるだろう。つまり、カメラアングルがサッカーゲームのシーンへの視界として提示され、キックをするプレイヤからのビューが得られる場合、そのカメラアングルは最適であると考えられる。例として、カメラアングルが上から得られる場合（例えば、サッカーフィールドのトップビューを映す場合）、そのカメラアングルではサッカーボールがネットに向かう軌道をどのように移動するかを映すことはできない。

様々なビデオ内の各ビデオシーケンスの選択は、様々な処理動作で実行することができる。１つのプロセス動作には、ビデオの視聴者から選択を受け取ることが含まれる場合がある。この選択は、視聴者がビデオを視聴し、視聴されているコンテンツ／アクションに対してカメラアングルが最適であるか、または最適化されていると見られているときに、ビデオにタグ付けする入力を提供している間に発生することがある。一実施形態では、タグは、ビデオシーケンス内で視聴されているコンテンツに関する情報を提供することを含むことがある。例えば、視聴者は、アクションがサッカーゲームのコーナーキックであると特定し、これによりシーン識別子（ＩＤ）が提供されることがある。一実施形態では、タグは、一定期間適用されることがある。例えば、タグは、視聴されているビデオのタイムスライスの間、例えば時間１：２０～時間１：２３の間（３分間に相当する）に適用されてよい。

この３分間に、１秒あたり６０フレームで約１０，８００フレームがタグ付けされる。場合によっては、タグ付けの時間が短くなる、または長くなることがある（フレームに対するタグの数が少なくなる、または多くなることに相当する）。他の実施形態では、タグは、所定数のフレームに関連付けられてよい。例えば、特定のアクションシーンに対して最適化されたカメラアングルを有するビデオシーケンスを識別するために視聴者がビデオにタグを付ける場合、タグ付けはタグの前後の設定された数のフレームを関連付けることができる。フレーム数は、プログラム可能であり、ビデオコンテンツの種類に応じて変更してもよい。例えば、スポーツビデオは、ビデオシーケンスのためにより多くのフレーム（例えば、４００フレーム）がキャプチャされている必要があるが、特定のビデオゲームシーンは、より少ないフレーム（例えば、２００フレーム）を必要とすることがある。

さらに他の実施形態では、タグは、より短い数のフレーム、例えば５～２０のビデオフレームに関連付けられてよい。場合によっては、フレームのタグビデオシーケンスの分析が、シーケンスの１つ以上のフレームに制限されることがある。例えば、単一フレームの分析により、フレーム内で発生するアクションとカメラアングルとが特定された場合、追加のフレームを処理する必要はない。いくつかの実施形態では、タグ付けされている特定のアクションシーケンスについてカメラアングルが識別されるまで、より多くのフレームが処理される。

別の実施形態では、ビデオシーケンス選択プロセスは、ユーザ生成データ（ＵＧＤ）を有するデータベースから取得したデータを使用して自動的に実行され得る。例として、特定のビデオがソーシャルメディアサイトで多くの人に視聴されることがあり、それらのビデオに視聴者によってタグが付けられることがある。視聴者によるタグには、サムズアップ、コメント、編集、絵文字などが含まれる。このＵＧＤ情報を処理して、ビデオ内の特定の時間フレームが重要であること、または視聴人気があることを推測してもよい。一実施形態では、ＵＧＤからの情報処理を使用して、ビデオシーケンスの分析のためにビデオの一部に自動的にタグが付けられ得る。

一実施形態では、結果として生じるビデオシーケンスをさらに分析して、利用されたカメラアングルと、それらの特定の画像に写っているコンテンツとを判定することがある。ユーザが最適化されたカメラアングルを有するビデオに特にタグを付ける実施形態と同様に、自動タグ付けプロセスは、異なる数のビデオフレームを調査することも可能である。ビデオのタイプに応じて、より多くの、またはより少ないフレームを分析して、利用されているカメラアングルを判定することがある。

図２は、一実施形態による、異なるタイプのビデオでタグ付けされたビデオシーケンスを識別するデータセット２００の例を示す。上記のように、ビデオシーケンス（ＶＳ）は、手動のユーザタグ付けプロセスまたはＵＧＤを使用する自動タグ付けプロセスを利用してタグ付けすることがある。データセット２００は、様々なビデオタイプ１２２によって定義され得ることを示す。例えば、ビデオタイプ１２２には、アクション映画、レースゲーム、サッカーゲーム、インタラクティブゲーム、運ゲーム、ライブゲームイベントなどが含まれることがある。タグ付けされたビデオシーケンスは、シーン識別子（ＩＤ）に関連付けられ得る。

シーン識別子は、ビデオにタグを付ける人によって提供される記述用語であってよい。別の実施形態では、シーン識別子は、ソースビデオからキャプチャされたメタデータに基づいてコンピュータによって生成される記述用語であってよい。別の実施形態では、シーン識別子は、ビデオフレーム内で識別されたアクティビティに基づいて機械学習を使用して生成されることがある。データセット２００には、識別されたカメラアングル１２６がさらに含まれる。カメラアングル１２６は、記述文字列、例えば、オーバーヘッド、サイト－左、キッカービュー、または他の記述文字列で識別される。別の実施形態では、カメラアングル１２６は、ビデオ内で提供されているシーンを捉える３次元座標として記述することもある。３次元座標は、位置（例えば、Ｘ、Ｙ、Ｚ）及び方向（例えば、ロール、ピッチ、ヨー）を特定し得る。これらの３次元座標は、タグ付けされたシーン識別子に関連付けられたカメラアングルを特定する。

一実施形態では、３次元座標は、ビデオシーンに提供される視野角及び視界に基づいて３次元座標を近似するプロセッサによって生成される。他の実施形態では、ビデオにタグを付けているユーザによって３次元座標が提供されることがある。いくつかの実施形態では、３次元座標は、カメラアングル１２６を規定するために、コンピュータ生成と手動入力との組み合わせとして提供され得る。データセット２００は、フレーム識別子（ＩＤ）１２８を含むこともできる。フレーム識別子は、特定のビデオの各ビデオシーケンスに関連付けられているフレームの数を特定する。例えば、アクション映画の場合、ビデオシーケンス１０４は、ＶＳ１、ビデオ１として特定され得る。ビデオシーケンスＶＳ１は、ビデオ内の特定の時間フレーム、例えば、時間１：２０～１：２３の間のフレーム、またはビデオ内で具体的に特定された数値フレームを特定し得る。

データセット２００において、ビデオタイプ１２２、シーン識別子１２４、カメラアングル１２６、及びフレームＩＤ１２８は、データセット２００内のメタデータ２０４の一部であってよく、またはメタデータ２０４を規定するものであってよい。データセット２００の一部として、ビデオ２０６からのビデオシーケンス１２９も示されている。これらのビデオシーケンスは、タグ付けされたビデオの部分を表す別個のファイルにすることができる。別の実施形態では、ビデオ２０６は、別個のファイルに保存される実際のビデオへのインデックスとすることができる。データセット２００が作成されると、データセット２００は、ゲームプレイ中にカメラアングルを動的に選択するために使用されるようになるカメラアングル人工知能（ＡＩ）モデル３５０のためのトレーニングアルゴリズムの一部として利用することができる。

図３は、一実施形態による、カメラアングルＡＩモデル３５０をトレーニングする際にビデオ２０６及びメタデータ２０４を処理するために利用されるＡＩモデルトレーニングエンジン２２０の例を示す。図示するように、図１及び図２を参照して説明したように、入力ビデオ１０２は、ビデオシーケンスを識別するために処理される。ビデオシーケンス選択プロセス３０２は、異なるビデオ内のビデオシーケンスを識別するために利用される。上述したように、ビデオシーケンス選択プロセス３０２は、ビデオにタグ付けしているビデオの視聴者によって手動で実行されることがあり、または入力ビデオ１０２内の１つ以上のビデオフレームに自動タグ付けするためのアクティビティ、アクション、シーン、ユーザフィードバック、人気、興味、もしくは他の重要な特徴を識別するコンピュータによってプログラム的に実行されることがある。上記のように、入力ビデオのタグ付けにより、関連するビデオシーケンスのビデオフレームが識別されるようになり、ビデオシーケンスはメタデータ２０４に関連付けられることになる。

メタデータ２０４は、ビデオタイプ１２２、シーン識別子１２４、カメラアングル１２６、及びフレーム識別子１２８を含むように示されている。いくつかの実施形態では、このタイプの情報が、より多くまたはより少なくメタデータ２０４に含まれ得る。例えば、一部のメタデータは、ビデオフレームから直接取得されることがあり、またはビデオに関連付けられたビデオフレームに埋め込まれたメタデータから取得されることがある。例えば、ビデオタイプは、ビデオに関連付けられた大きなメタデータファイル内のフィールドである場合があり、そのようなデータがそこからキャプチャされ得る。提供された入力ビデオのタイプに応じて、ソースビデオから他のデータがキャプチャされることもある。図示のように、ビデオ２０６及びメタデータ２０４は、ビデオシーケンス３０４ａ、３０４ｂ、・・・３０４ｎに関連付けられている。これらのキャプチャされたビデオシーケンスは、次いで、ＡＩモデルトレーニングエンジン２２２によって処理され、カメラアングルＡＩモデル３５０によって使用可能な特徴データが抽出される。図示されるように、ビデオシーケンスは、ビデオ特徴抽出器３０５によって分析される。

ここでも、入力ビデオ１０２は、異なるタイプのインタラクティブコンテンツを含むように選択される。インタラクティブコンテンツは、ビデオゲームプレイ、映画、ショートフィルム、ビデオクリップ、マルチメディアビデオ、ソーシャルメディアビデオなどから記録されたビデオを含む、任意のタイプのビデオから選択されてよい。入力ビデオ１０２は、特定のシーン及び関連するカメラアングルのインタラクティブコンテンツを表すビデオシーケンス１０４を識別するように処理される。上記のように、ビデオシーケンス選択プロセス３０２を利用して、様々なビデオシーケンス３０４ａ、３０４ｂ、・・・３０４ｎを選択することができる。ビデオシーケンス３０４ａ、３０４ｂ、・・・３０４ｎは一般に、図１のビデオシーケンス１０４によって表され、異なるタイプのビデオ２０６及びそれらに関連するメタデータ２０４から選択された１つ以上のビデオシーケンスを表す。

上記のように、メタデータ２０４は、メタデータ２０４に示される異なるタイプのメタデータコンテンツのうちの１つ以上を含むことがある。いくつかの実施形態では、メタデータ２０４は、メタデータ２０４内で識別されるもの以外の他のタイプのメタデータ情報を含むことがある。一般的に言えば、メタデータ２０４は、ビデオ２０６に関する情報を記述または識別するデータである。一実施形態では、ＡＩモデルトレーニングエンジン２２０は、ビデオ２０６をビデオシーケンスとして受信し、その後、ビデオシーケンスは、ビデオ特徴抽出器３０５によって処理される。一実施形態では、ビデオ特徴抽出器３０５は、特定のビデオフレーム内または画像内のビデオコンテンツを調査して、オブジェクト、色、キャラクター、アクション、動きの変化、方向の変化、オブジェクトの動きなどの識別特性を特定する。

抽出されたこれらの特徴は、ピクセルデータ分析、及びピクセルデータを識別して特徴付ける他の学習アルゴリズムによって調査されて、ピクセルデータをビデオフレームに関連付けられた画像内で見つけられるオブジェクトと関連付けることもできる。ビデオ特徴抽出器３０５がビデオ特徴データを抽出すると、そのビデオ特徴データは動作３０６で１つのビデオ特徴分類器または複数の分類器によって処理される。識別された特徴の分類は、調査されたビデオフレームの相対的な変化の間での特徴とそのアクションとを識別し追跡するために使用される。次に、分類された特徴は、カメラアングルＡＩモデル３５０によって処理される。

カメラアングルＡＩモデル３５０は、分類された特徴を処理して、ビデオフレームまたはビデオフレームのグループのそれぞれで利用されるカメラアングルを決定しまたは近似する。同様に、メタデータ特徴抽出器３０８は、メタデータ２０４を読み取って、メタデータ特徴データを識別する。次に、メタデータ分類器３１０は、カメラアングルＡＩモデル３５０によって処理されることになるそれらの識別されたメタデータ特徴を分類する。いくつかの実施形態では、カメラアングルはメタデータ２０４内で識別される。他の実施形態では、カメラアングルは、カメラアングルＡＩモデル３５０によって処理された分類されたビデオ特徴において提供されるビューに基づいて決定される。

他の実施形態では、カメラアングルＡＩモデル３５０は、１つ以上のビデオフレームで利用されるカメラアングルを近似し、それらのカメラアングルをビデオフレームで発生するアクションのタイプに関連付ける。時間の経過とともに、カメラアングルＡＩモデル３５０は、ビデオフレーム内で発生するアクションを最もよく反映するカメラアングルのタイプを継続的に学習する。時間の経過とともにトレーニングが行われるほど、カメラアングルＡＩモデル３５０は、特定のビデオシーケンスで見られる特定のアクションシーンで利用する最適なカメラアングルを特定しまたは予測できるようになる。

図３に示される例では、ビデオゲーム３３０がプレイのために選択されると、ユーザは動作３４０でゲームをプレイすることが可能になる。一例として、ビデオゲームはビデオストリーミングサービスによってホストされており、ユーザはビデオストリーミングサービスにアクセスしてストリーミングモードでゲームをプレイしている場合がある。ビデオストリーミングサービスでは、１つ以上のサーバを利用して、ビデオゲームの実行、ストリーミング、及び関連する圧縮を処理することがある。一実施形態では、ストリーミングサービスの１つ以上のサーバは、ＡＩモデルトレーニングエンジン２２０を処理すること、またはカメラアングルＡＩモデル３５０にアクセスすることもある。一実施形態では、モデル３５０内のカメラアングルがトレーニングされている場合、そのカメラアングルにはゲームプレイ３４０中にアクセスしてもよい。ゲームプレイ３４０中に、１つ以上のビデオシーケンスがカメラアングルＡＩモデル３５０に渡される。

一実施形態では、ビデオシーケンスは、ユーザのインタラクティブなゲームプレイの結果であるビデオフレームである。これらのビデオシーケンスは、プレイ中のビデオゲームで特定のアクションが発生しているときに、継続的に撮影されるスナップショット、定期的に撮影されるスナップショット、またはプログラムによって撮影されるスナップショットであってもよい。ビデオゲームがプレイされている間、カメラアングルＡＩモデル３５０は、ゲームプレイ３４０で発生するゲームアクティビティのタイプにより適した特定のカメラアングルを識別することができてもよい。それに対応して、動的カメラアングル調整３６０は、カメラアングルＡＩモデル３５０からの出力を処理してもよい。そして、動的カメラアングル調整３６０は、ビデオゲーム３３０に入力を提供するために、そのカメラアングルＡＩモデル３５０から受信した情報を利用する。

入力は、ゲームプレイ３４０でゲームをプレイしている間にユーザに提供されているゲームカメラアングルを調整するための調整命令の形式である。例えば、ゲームプレイ３４０中に、ユーザが、ボス戦の間にボスを攻撃している場合、カメラアングルＡＩモデル３５０は、最良のカメラアングルまたは好ましいカメラアングルが戦闘兵器に焦点を合わせているサイドビューであると決定することがある。この決定に基づいて、ビデオゲームは、ゲームプレイ３４０中にゲームプレイヤに提供されるフレームがサイドビューカメラアングルを伝えるように、１つ以上のサーバによるビデオゲームの実行中に、その利用されるカメラアングルを動的に変化させることになる。このサイドビューカメラアングルは、ゲームプレイ中にユーザに対して表示されているはずのカメラアングルとは異なる。つまり、ビデオゲームの開発者によってプログラム的に設定されたカメラアングルとは異なる。したがって、カメラアングルＡＩモデル３５０を利用したカメラアングルのこの動的な調整により、プレイヤは、ゲーム内で発生するインタラクティブ性のタイプにとって最適なカメラアングルであると決定されたカメラアングルからビデオゲームのシーンを見ることが可能になる。

図４は、一実施形態による、１つ以上のビデオゲームを実行し、カメラアングルＡＩモデル３５０を利用するために、１つ以上のデータセンター４００が利用される実施形態を示す。ＡＩカメラアングルプロセッサ４０４が示されており、これはビデオゲーム３３０を実行するゲームサーバ４０２４によってアクセスされ得る。図示のように、ゲームサーバ４０２は、特定のデータセンターに実装された１つ以上のゲームサーバであってもよく、ビデオゲーム３３０を実行している。説明の目的で、ゲームエンジン４０８はビデオゲーム３３０を実行するために使用され、ゲームエンジンはカメラアングルロジック４１０と統合されてもよい。カメラアングルロジック４１０は、ゲームエンジン４０８と統合されてもよく、またはゲームサーバ４０２によって実行されるときにアドオンとして提供されてもよい。

カメラアングルロジック４１０は、ゲームコンソールまたはパーソナルコンピュータなどのローカルクライアント上で実行させることもあることを理解されたい。この実施形態では、スナップショット抽出器４１２がゲームエンジン４０８と併せて利用され、これはビデオゲーム３３０の実行中にゲームサーバ４０２によって実行され得る。一実施形態では、スナップショット抽出器４１２は、現在実行中のゲームからビデオシーケンスを選択するプロセスである。スナップショット４１４から得られるビデオシーケンス４１６は、ゲームプレイ中に定期的に生成され得る。別の実施形態では、スナップショット４１４は、アクティビティが高いことが示されるゲーム内の特定の時点にわたり、または特定のゲームアクションが発生しているときに、生成され得る。

例えば、ゲーム中に、キャラクタが道を歩いている、もしくはキャラクタが車を運転している、またはキャラクタが次のアクションアドベンチャを待って立っている、またはユーザが次の動きを決めているなど、ゆっくりとしたアクティビティシーンがある場合、スナップショット４１４は、アクションシーンが発生するまで、生成される頻度が低くなり、または保留される。いくつかの実施形態では、スナップショット４１４は、ゲームエンジンから決定される処理ロジックに基づいて、または特定のシーンで発生するアクションのタイプの学習（または識別）に基づいて、アクションシーンが発生しようとする直前に生成され得る。一般的に言えば、スナップショットは、カメラアングルＡＩモデル３５０が、これらのビデオシーケンスを調査して、カメラアングルを切り替えるべきか、または異なるカメラアングルに変更すべきかを判定できるように、十分な頻度で生成されるべきである。

上記のように、カメラアングルＡＩモデル３５０は、ビデオゲーム内で発生するアクションの特定のタイプのシーケンスまたは特性に対して異なるカメラアングルを使用すべきであると判定し、その後、動的カメラアングル調整３６０が調整命令を生成してよい。調整命令はカメラアングルロジック４１０に送信され、カメラアングルロジック４１０は、新しいカメラアングルを生成し、実行中のビデオゲームの生成されたシーンへのビューを生成するために、ゲームエンジン４０８によって使用される。図示の例では、ユーザ４５６はコントローラ４５８を利用してストリーミングモードでビデオゲーム３３０をプレイしており、ビデオシーンがディスプレイ４５４に表示されている。

この実施形態では、ディスプレイ４５４に表示されるビデオシーンは、カメラアングルロジック４１０の実行によって提供されるゲームカメラアングルの変更に基づいて、ビデオゲームシーンに利用されるカメラアングルに関して更新され得る。再び、ゲームカメラアングルの変更は、ゲームプレイ４５２で何が起こっているかと、カメラアングルＡＩモデル３５０によって処理されることになるより良いカメラアングルがどのようなものであるかという予測とに基づいて、動的に実行される。

図５Ａは、一実施形態による、データセンター４００のうちの１つの例を示す。この例では、データセンターは、ビデオゲーム３３０ａ～３３０ｎを保存するための１つ以上のデータベースを含むことができる。これらのゲームは、インターネット４５０を介してストリーミング形式で１人以上のユーザにアクセス可能である。ビデオゲーム３３０は、フルビデオゲーム、ミニゲーム、ゲームの共有スライス、または対話型プログラムであり得ることを理解されたい。データセンター４００はまた、負荷要件に応じて１つ以上のビデオゲームの実行を任せられる１つ以上のゲームサーバ４０２ａ～４０２ｎを含んでもよい。

さらに、データセンターは、ストリーミングサービスをユーザ４５６の様々なクライアント５０６に提供するために、ゲームサーバ４０２と連携して動作するストリーミングサーバ５０２を含むこともできる。一実施形態では、ストリーミングサーバ５０２は、クライアントデバイス５０６への効率的な提示のため、ビデオストリームの符号化／圧縮及びパケット化を実行することがある。図示されているように、データセンターはまた、１つ以上のＡＩカメラアングルプロセッサ４０４を実行し得る。ＡＩアングルプロセッサ４０４は、ユーザ４５６に提供されるゲームカメラビューを動的に調整するために、１つ以上のゲームサーバ４０２によって利用されることがある。図５Ａに示すように、ユーザ４５６はコントローラ４５８を使用してビデオゲームをプレイしている。ユーザ４５６は、ビデオゲームのボス戦シーンをプレイしながら、ディスプレイ４５４上でゲームを見ている。最初に、ＡＩカメラアングルプロセッサ４０４は、戦闘シーンのサイドビューが時間０では最適であると判定した。

別の時点ｔ１で、ＡＩアングルプロセッサ４０４は、ビデオゲーム内で発生する現在のアクション及びアクションの特性に基づいて、一人称視点がシーンへの最も関心を引くまたは動的なビューを提供すると判定した。その後、別の時点ｔｎで、ＡＩカメラアングルプロセッサ４０４は、ボス戦中にユーザとボスとの間で起こるアクティビティを示すにはトップビューが最適であると判定することになる。この例示は、カメラアングルの動的な変更が、シームレスに発生し、ＡＩカメラアングルプロセッサ４０４によって推奨されるビデオゲームに最高のシーンをインテリジェントに提供するために使用されることを示す。ユーザ４５６にとっては、ビデオゲームの視聴はシームレスなものとなり、カメラアングルがゲーム設計者によって最初にプログラムされたものから動的に変更されていることは明らかにならない。しかし、ビデオゲームアクティビティへのビューは、ビデオゲームプレイ中に表示されるシーンまたは遭遇するシーンのタイプについて学習された最適なビューに基づいて、よりインタラクティブでコンテキスト特有の方法で提供されることになる。

図５Ｂは、異なるカメラビュー間の切り替えの例を示す。図に示すように、時刻ｔ０では、ゲームカメラビューには、横からのビューが選択される。時刻ｔ１で、ゲームカメラビューが、一人称視点からのビュー（つまり、キャラクタプレイヤから見えるビュー）に選択され、時刻ｔｎで、ゲームカメラビューが上からのゲームカメラビューに切り替わる。ビデオゲームへのカメラアングルのこの動的な切り替えはシームレスに行われ、選択は、ビデオゲーム内で発生する特定のタイプのシーンに対して最適なタイプのカメラアングルが何であるかをトレーニング中に学習したＡＩカメラアングルプロセッサ４０４に基づいて行われる。

上記のように、最適なカメラアングルの選択は、過去のゲームビデオの調査に基づくだけでなく、アクション映画、ライブスポーツイベント、ビデオクリップ、ソーシャルメディアクリップ、ソーシャルメディアの投稿、ユーザが投稿したビデオ、注釈付きビデオ、アニメーションビデオなどからの調査に基づいていてもよい。したがって、カメラアングルＡＩモデル３５０のトレーニングは、ビデオゲームのユーザがインタラクティブコンテンツ内でインタラクトするときに遭遇するであろう、異なるタイプのコンテンツに最適な、異なるタイプの学習されたカメラアングルから恩恵を受ける。

一実施形態では、ビデオゲームは、ゲーム機、パーソナルコンピュータ上でローカルに実行されるか、またはサーバ上で実行される。場合によっては、ビデオゲームは、データセンターの１つ以上のサーバによって実行される。ビデオゲームが実行されるとき、ビデオゲームのいくつかのインスタンスは、ビデオゲームのシミュレーションであり得る。例えば、ビデオゲームは、ビデオゲームのシミュレーションを生成する環境またはサーバによって実行され得る。シミュレーションは、いくつかの実施形態では、ビデオゲームのインスタンスである。他の実施形態では、シミュレーションは、エミュレータによって生成されてもよい。いずれの場合でも、ビデオゲームがシミュレーションとして表現されている場合、そのシミュレーションは、ユーザ入力によってインタラクティブにストリーミングされ、実行され、及び／または制御されることが可能であるインタラクティブコンテンツをレンダリングするために実行することができる。

図６は、一実施形態による、インタラクティブゲームで提示されるシーンの特定の特性に対する最適なカメラアングルの学習に基づいて、ゲームプレイ中にカメラアングルを動的に選択するために利用される方法の一般的な実施形態を示す。動作６０２において、ビデオゲーム内で発生しているアクションの特性を識別する複数のビデオシーケンスのデータセットが受信される。これらのビデオシーケンスに関連付けられたメタデータもまた処理することができ、メタデータには、複数のビデオシーケンスのそれぞれで使用されるカメラアングルが含まれ得る。

他の実施形態では、メタデータは使用されるカメラアングルを含まず、カメラアングルは、ビデオシーケンス内で発生するアクションと、シーンに提供されるビューとを調査する際に、機械学習を使用して、決定することができる。一実施形態では、データセットは、データセットに取り込まれた多くのタイプのビデオの中から選択された複数のビデオシーケンスを含む。送信されるデータには、ビデオゲーム録画、映画、マルチメディアコンテンツ、ソーシャルメディアビデオなどからのビデオが含まれることがある。データセットの一部であるビデオシーケンスは、特定のタイプのインタラクティブコンテンツを視聴するのに最適なカメラアングル、または最良もしくは最も人気のあるカメラアングルであると判定されたカメラアングルを示すシーケンスである。

上記のように、カメラアングルは、主観的な選択に基づいて最適または最良のカメラアングルを含むものとして特定のシーンにタグ付けされるビデオの視聴者によって手動で選択されてもよい。別の実施形態では、カメラアングルは、特定のタイプのシーンまたはインタラクティブ性について最も人気のあるカメラアングルを識別するプログラムを使用して自動的に選択されてもよい。

動作６０４では、トレーニングプロセスに基づいて、データセットから人工知能（ＡＩ）モデルが生成される。トレーニングプロセスは、コンテンツのタイプとコンテンツの特性とに最適であると判定されたビデオシーケンス及び関連カメラアングルを含むデータセットからの入力データとして利用される。ＡＩモデルがトレーニングされると、最終モデルはゲームプレイ中に動的に利用されて、ゲーマーが体験している特定のタイプのコンテンツに最適な異なるカメラアングルを自動的に選択するのに役立ち得る。

動作６０６では、ビデオゲームのゲームプレイ中にサーバまたはプロセスによってＡＩモデルにアクセスすることができる。ＡＩモデルは、ビデオゲームのゲームプレイ中に生成されたビデオシーケンスのスナップショットを分析のために処理する。スナップショットには、インタラクティブ性と、コンテンツの特性と、シーンのインタラクティブ性と、シーンの特性と、インタラクティブなコンテンツの特性を識別するために抽出、識別、分類、及び利用を行い得るその他の特徴とを決定するために分析される１つ以上のフレームが含まれる。ゲームプレイ中、動作６０８において、ゲームカメラアングルを動的に調整することができる。この動的調整は、ＡＩモデルから導出された調整命令に応答してよい。

一実施形態では、動的調整は、ゲームプレイ中に定期的に、アクティビティまたはインタラクティブ性の高い特定のシーンの間中に、またはより正確なカメラビュー及びカメラアングルの選択を必要とするビデオゲーム内の特定のシーンに基づいてプログラム的に、行われることがある。ユーザにとっては、ビデオゲームプレイのシーンへの改善されたカメラアングルを受け入れることを除いては、カメラアングルに対する調整はシームレスであり目立つものではない。カメラアングルに対する調整は、ゲーム開発者によってプログラムされたものとは異なる別のカメラアングルがビデオゲームに取り入れられることに相当する。

図７は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス７００の構成要素を示す。このブロック図は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、サーバ、または他のデジタルデバイスを組み込むことができる、またはこれらであり得る、デバイス７００を示す。デバイス７００は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）７０２を含む。ＣＰＵ７０２は、１つ以上の同種または異種の処理コアで構成されてもよい。

例えば、ＣＰＵ７０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングの処理動作など、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、実施することができる。デバイス７００は、ゲームセグメント（例えば、ゲームコンソール）をプレイするプレイヤにローカライズされたもの、またはプレイヤからリモートであるもの（例えば、バックエンドサーバプロセッサ）、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの１つであってもよい。

メモリ７０４は、ＣＰＵ７０２が使用するアプリケーション及びデータを記憶する。ストレージ７０６は、アプリケーション及びデータのための不揮発性ストレージ及びその他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、またはその他の光学ストレージデバイス、ならびに信号伝送及びストレージメディアを含んでもよい。ユーザ入力デバイス７０８は、１人以上のユーザからのユーザ入力をデバイス７００へ通信し、ユーザ入力デバイス７０８の例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。

ネットワークインタフェース７１４は、電子通信ネットワークを介してデバイス７００が他のコンピュータシステムと通信することを可能にするものであり、ローカルエリアネットワークやインターネットなどのワイドエリアネットワークを介した有線または無線の通信を含み得る。オーディオプロセッサ７１２は、ＣＰＵ７０２、メモリ７０４、及び／またはストレージ７０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ７０２、メモリ７０４、データストレージ７０６、ユーザ入力デバイス７０８、ネットワークインタフェース７１０、及びオーディオプロセッサ７１２を含むデバイス７００の構成要素は、１つ以上のデータバス７２２を介して接続されている。

グラフィックスサブシステム７２０が、データバス７２２及びデバイス７００の構成要素とさらに接続されている。グラフィックスサブシステム７２０は、グラフィックス処理ユニット（ＧＰＵ）７１６とグラフィックスメモリ７１８とを含む。グラフィックスメモリ７１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えば、フレームバッファ）を含む。グラフィックスメモリ７１８は、ＧＰＵ７０８と同じデバイスに統合されてもよく、ＧＰＵ７１６と別個のデバイスとして接続されてもよく、及び／またはメモリ７０４内に組み込まれてもよい。画素データは、ＣＰＵ７０２から直接グラフィックスメモリ７１８に提供することができる。あるいは、ＣＰＵ７０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ７１６に提供し、そこからＧＰＵ７１６が１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ７０４及び／またはグラフィックスメモリ７１８に格納することができる。実施形態では、ＧＰＵ７１６は、シーンのジオメトリ、ライティング、シェーディング、テクスチャリング、モーション、及び／またはカメラパラメータを定義する命令及びデータから、出力画像用の画素データを生成するための３Ｄレンダリング機能を含む。ＧＰＵ７１６は、シェーダプログラムを実行することができる１つ以上のプログラマブル実行ユニットをさらに含むことができる。

グラフィックスサブシステム７１４は、グラフィックスメモリ７１８から画像の画素データを定期的に出力して、ディスプレイデバイス７１０に表示させる。ディスプレイデバイス７１０は、ＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイを含む、デバイス７００からの信号に応答して視覚情報を表示することができる任意のデバイスであり得る。デバイス７００は、例えば、アナログ信号またはデジタル信号をディスプレイデバイス７１０に提供することができる。

現在の実施形態のゲームへのアクセス提供など、広範囲な地域にわたり配信されるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意されたい。クラウドコンピューティングとは、動的にスケーラブルで多くの場合仮想化されたリソースがインターネットを介したサービスとして提供されるコンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに記憶される。クラウドという用語は、コンピュータネットワーク図におけるインターネットの描かれ方に基づいたインターネットの隠喩として使用され、複雑なインフラストラクチャを隠し持つことの抽象的概念である。

ゲームサーバは、いくつかの実施形態では、ビデオゲームプレイヤのための持続的情報プラットフォームの動作を実行するために使用され得る。インターネット上でプレイされる大抵のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレイヤからデータを収集し、収集したデータを他のプレイヤに配信する専用サーバアプリケーションを使用する。他の実施形態では、ビデオゲームは、分散型ゲームエンジンによって実行されてよい。これらの実施形態では、分散型ゲームエンジンは、複数の処理エンティティ（ＰＥ）上で実行されてよく、その結果、各ＰＥは、ビデオゲームが実行される所与のゲームエンジンの機能セグメントを実行する。各処理エンティティは、ゲームエンジンからは単なる計算ノードと見なされる。

ゲームエンジンは通常、機能的に多様な一連の動作を行って、ユーザが体験する追加のサービスと共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理的過程、ジオメトリ変換、レンダリング、ライティング、シェーディング、オーディオ、及び追加のゲーム内またはゲーム関連サービスを実行する。追加のサービスには、例えば、メッセージング、ソーシャルユーティリティ、オーディオ通信、ゲームプレイ再生機能、ヘルプ機能などが含まれてよい。ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化されたオペレーティングシステム上で実行されてよいが、他の実施形態では、ゲームエンジン自体が複数の処理エンティティに分散され、各エンティティはデータセンターの異なるサーバユニットに常駐してよい。

この実施形態によると、実行のために各処理エンティティは、各ゲームエンジンセグメントのニーズに応じて、サーバユニット、仮想マシン、またはコンテナであってよい。例えば、ゲームエンジンセグメントがカメラの変換を担当する場合、比較的単純な数学演算（例えば、行列変換）を多数行うことになるので、その特定のゲームエンジンセグメントは、グラフィック処理ユニット（ＧＰＵ）に関連付けられた仮想マシンと共にプロビジョニングされてよい。より少ないがより複雑な演算を必要とする他のゲームエンジンセグメントは、１つ以上のより高出力の中央処理装置（ＣＰＵ）に関連付けられた処理エンティティと共にプロビジョニングされてよい。

ゲームエンジンを分散することにより、ゲームエンジンは、物理サーバユニットの能力に拘束されない弾力性のある計算特性を備える。代わりに、ゲームエンジンは、必要に応じて、ビデオゲームの要求を満たすためにより多いまたは少ない計算ノードと共にプロビジョニングされる。ビデオゲーム及びビデオゲームプレイヤの観点からは、複数の計算ノードに分散されているゲームエンジンは、ゲームエンジンマネージャまたはスーパーバイザがワークロードを分散し、結果をシームレスに統合して、エンドユーザにビデオゲーム出力構成要素を提供するので、単一の処理エンティティで実行される非分散ゲームエンジンと区別できない。

ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより、遠隔サービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであってよい。一実施形態では、ゲームサーバ上で実行されるネットワークは、クライアントが使用するデバイスの種類を認識し、採用される通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネットを介してゲームサーバ上のアプリケーションにアクセスする。

所与のビデオゲームまたはゲームアプリケーションは、特定のプラットフォーム及び特定の関連コントローラデバイス用に開発され得ることを、理解されたい。しかしながら、本明細書に提示されるようなゲームクラウドシステムを介してこのようなゲームを利用可能にするときに、ユーザは、異なるコントローラデバイスによってビデオゲームにアクセスすることができる。例えば、ゲームは、ゲームコンソール及びその関連したコントローラのために開発されている可能性があるが、ユーザは、キーボード及びマウスを利用するパーソナルコンピュータからゲームのクラウドベースのバージョンにアクセスすることができる。このようなシナリオにおいて、入力パラメータ構成は、ユーザの利用可能なコントローラデバイス（この事例において、キーボード及びマウス）により生成されることが可能である入力から、ビデオゲームの実行のために許容可能である入力へのマッピングを定義することが可能である。

別の実施例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この事例において、クライアントデバイス及びコントローラデバイスは、入力が、検出されたタッチスクリーンの入力／ジェスチャとして提供されながら、同一のデバイスに統合化される。このようなデバイスについて、入力パラメータ構成は、ビデオゲームについてのゲーム入力に対応する特定のタッチスクリーン入力を定義することができる。例えば、ボタン、指向性パッド、または他のタイプの入力素子は、ビデオゲームの実行中に表示され、またはオーバレイされ、ユーザがゲーム入力を生成するためにタッチすることが可能であるタッチスクリーン上の位置を示すことができる。特定の向きにおけるスワイプなどのジェスチャ、または特定のタッチモーションもゲーム入力として検出されることができる。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、タッチスクリーンを介してゲームプレイに入力する方法を示すチュートリアルが、ユーザに提供され得る。

いくつかの実施形態では、クライアントデバイスは、コントローラデバイスについての接続ポイントとして機能する。すなわち、コントローラデバイスは、無線または有線接続を介してクライアントデバイスと通信し、コントローラデバイスからクライアントデバイスへ入力を送信する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク（例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク）を介して、クラウドゲームサーバへ送信し得る。しかしながら、他の実施形態において、コントローラ自体は、ネットワークを介してクラウドゲームサーバへ直接に入力を通信する能力を有し、これらのような入力を最初にクライアントデバイスを通して通信する必要がなく、ネットワーク化されたデバイスであることが可能である。例えば、コントローラは、ローカルネットワークデバイス（前述のルータなど）に接続し、クラウドゲームサーバへデータを送信し、このクラウドゲームサーバからデータを受信することができる。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを依然として必要とし得るが、コントローラがクラウドゲームサーバへネットワーク経由で直接に入力を送信することを可能にし、クライアントデバイスをバイパスすることにより入力レイテンシを減少させることが可能である。

一実施形態では、ネットワーク化されたコントローラ及びクライアントデバイスは、特定のタイプの入力をコントローラからクラウドゲームサーバへ直接に、また他のタイプの入力をクライアントデバイスを介して送信するように構成されることが可能である。例えば、検出がコントローラ自体から離れた任意の追加のハードウェアまたは処理に依存しない入力は、コントローラからクラウドゲームサーバへネットワークを介して直接に送信され、クライアントデバイスをバイパスすることが可能である。これらのような入力は、ボタン入力、ジョイスティック入力、埋め込み型動き検出入力（例えば、加速度計、磁力計、ジャイロスコープ）などを含むことができる。しかしながら、追加のハードウェアを利用する、またはクライアントデバイスによる処理を必要とする入力は、クライアントデバイスによりクラウドゲームサーバへ送信されることが可能である。これらは、クラウドゲームサーバへ送信する前に、クライアントデバイスにより処理されることができるゲーム環境からキャプチャされたビデオまたはオーディオを含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりクラウドゲームサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。

本明細書で規定した種々の実施形態を、本明細書で開示した種々の特徴を用いて具体的な実施に結合するかまたは組み立ててもよいことを理解されたい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生用エレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成によって実施してもよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

方法動作は特定の順序で説明されたが、修正されたゲーム状態を生成するための遠隔測定データ及びゲーム状態データの処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、様々な処理関連間隔で処理動作が起こることを可能にしてもよいことを、理解されたい。

１つ以上の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして作ることもできる。コンピュータ可読媒体は、データを記憶することができ、その後、コンピュータシステムによって読み取ることができる任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスを含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。

前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の中で変更されてもよい。

Claims (20)

1. ビデオゲーム内のカメラアングルを動的に調整する方法であって、
   複数のビデオシーケンスのそれぞれで発生するアクションの特性を識別するメタデータ内のタグ付けデータに関連付けられた前記複数のビデオシーケンスのデータセットを受信することであって、前記メタデータが、前記複数のビデオシーケンスのそれぞれで使用される前記カメラアングルを含む、前記受信することと、
   前記データセットから人工知能（ＡＩ）モデルを生成することと、
   前記ビデオゲームのゲームプレイ中に前記ＡＩモデルにアクセスすることであって、前記アクセスすることが、前記ビデオゲームの前記ゲームプレイ中に生成されるビデオシーケンスのスナップショットを提供することを含む、前記アクセスすることと、
   前記ゲームプレイ中にゲームカメラアングルを動的に調整することであって、前記調整することが、前記ＡＩモデルから導出される調整命令に応答する、前記調整することと、
   を含む、方法。
2. 前記ゲームカメラアングルの前記調整することにより、前記ゲームの開発者カメラアングルが修正される、請求項１に記載の方法。
3. 前記ＡＩモデルを生成することは、
   前記複数のビデオシーケンスのそれぞれからビデオ特徴データを抽出することと、
   前記複数のビデオシーケンスのそれぞれに関連付けられたメタデータ特徴データを抽出することと、
   前記ＡＩモデルによる処理のために、前記ビデオ特徴データ及び前記メタデータ特徴データを分類することであって、前記ＡＩモデルが、前記ビデオ特徴データ及び前記メタデータ特徴データを処理して、前記複数のビデオシーケンスのそれぞれで発生する前記アクションの特性にラベルを付けるように構成される、前記分類することと、
   を含み、
   前記ＡＩモデルを生成することが、トレーニングプロセス中に行われる、請求項１に記載の方法。
4. 前記ＡＩモデルは、前記ゲームプレイ中に生成される前記ビデオシーケンスのスナップショットを処理するように構成され、前記ビデオシーケンスのスナップショットの前記処理が、
   前記ゲームプレイ中に作り出される１つ以上のビデオシーケンスの画像コンテンツを調査して、ビデオ特徴データを作り出すことと、
   前記調査された画像コンテンツに関連付けられたメタデータを調査して、メタデータ特徴データを作り出すことと、
   を含み、
   前記ビデオ特徴データ及び前記メタデータ特徴データが分類され、前記ゲームプレイ中に前記ビデオゲームのシーンを提示するために前記ゲームカメラアングルを調整するための前記調整命令を識別するように、前記ＡＩモデルによって使用される、請求項１に記載の方法。
5. 前記ビデオのスナップショットは、前記ゲームプレイ中に前記ビデオゲームのシーンを提示するために前記ゲームカメラアングルを調整するための前記調整命令の処理をトリガするように、前記ゲームプレイ中に定期的に生成される、請求項１に記載の方法。
6. 前記ビデオのスナップショットは、発生中のアクションシーンが前記ゲームカメラアングルへの調整を含むべきであることを示す、前記ゲームプレイ中に作り出されるメタデータに応答して生成される、請求項１に記載の方法。
7. 前記ビデオのスナップショットは、発生しようとしているアクションシーンが前記ゲームカメラアングルへの調整を含むべきであることを示す、前記ゲームプレイ中に作り出されるメタデータに応答して生成される、請求項１に記載の方法。
8. 前記タグ付けデータは、ユーザ生成データ（ＵＧＤ）のデータベースから取得され、前記ＵＧＤは、優先としてマークされた前記カメラアングルを含むフレームシーケンスを含み、前記優先としてマークすることが、前記ＡＩモデルのトレーニングデータとして使用する前記複数のビデオシーケンスを選択するために使用される、請求項１に記載の方法。
9. 前記タグ付けデータは、前記カメラアングルを含むフレームシーケンスについて検出された視聴人気に基づいて自動的に生成され、前記視聴人気が、前記ＡＩモデルのトレーニングデータとして使用する前記複数のビデオシーケンスを選択するために使用される、請求項１に記載の方法。
10. 前記データセット内の前記複数のビデオシーケンスは、複数の映画、複数のビデオゲーム録画、ライブスポーツイベントの録画、または１つ以上のアクションシーンを含む録画のうちの１つ以上から供給され、前記複数のビデオシーケンスが、前記ＡＩモデルをトレーニングするために使用され、
    前記ＡＩモデルは、前記ゲームプレイ中に前記ビデオゲーム内の前記ゲームカメラアングルを調整するために、前記ゲームプレイ中に使用される、請求項１に記載の方法。
11. 前記複数のビデオシーケンスは、前記ＡＩモデルをトレーニングするために使用され、
    前記ＡＩモデルは、前記ゲームプレイ中に前記ビデオゲーム内の前記ゲームカメラアングルを調整するために、前記ゲームプレイ中に使用される、請求項１に記載の方法。
12. 前記ゲームカメラアングルは、前記ビデオゲームの開発者によってプログラムされた視界とは別の視界を前記ビデオゲームのシーンに提供する、請求項１１に記載の方法。
13. ビデオゲーム内のカメラアングルを動的に調整するシステムであって、
    クライアントデバイスにストリーミングするための１つ以上のゲームを実行するためのゲームサーバと、
    前記ビデオゲームのゲームプレイ中に作り出されたビデオシーケンスのスナップショットを調査するための人工知能（ＡＩ）カメラアングルプロセッサであって、前記スナップショットの前記調査では、前記ゲームプレイのシーンの作成に使用するゲームカメラアングルを特定するためにＡＩモデルが使用され、前記ゲームプレイの前記シーンを作り出すために使用される前記ゲームカメラアングルが、前記ビデオゲームの開発者によってプログラムされた視界とは別の視界を前記シーンに提供する、前記人工知能（ＡＩ）カメラアングルプロセッサと、
    前記別の視界を有する前記カメラアングルを含む前記作り出されたシーンのビデオフレームを圧縮するように構成されたストリーミングサーバであって、前記ストリーミングサーバが、前記ゲームプレイ中に見ることができるディスプレイ上に表示するために、前記圧縮されたビデオフレームを前記クライアントに伝送するように構成されている、前記ストリーミングサーバと、
    を備える、システム。
14. ＡＩモデルを使用してゲームカメラアングルを特定する前記スナップショットの前記調査が、前記ゲームプレイの進行中に定期的に処理される、請求項１３に記載のシステム。
15. ＡＩモデルを使用してゲームカメラアングルを特定する前記スナップショットの前記調査が、ゲームアクティビティが事前定義された閾値を超える期間中に処理される、請求項１３に記載のシステム。
16. ＡＩモデルを使用してゲームカメラアングルを特定する前記スナップショットの前記調査が、ゲームアクティビティが事前定義された閾値を超えない期間中には処理されない、請求項１３に記載のシステム。
17. 前記スナップショットは、ゲームアクティビティが事前定義された閾値を超える期間中に作り出される、請求項１３に記載のシステム。
18. 前記スナップショットは、ゲームアクティビティが事前定義された閾値を超えない期間中には作り出されない、請求項１３に記載のシステム。
19. 前記ゲームカメラアングルは、前記開発者によってプログラムされたものから変更するように選択されると、前記ビデオゲームへの前記シーンが、前記クライアントにストリーミングされる前記ビデオフレームをレンダリングするために作り出されるように、ゲームエンジンによって実行される、請求項１３に記載のシステム。
20. ビデオゲーム内のカメラアングルを動的に調整する方法であって、
    複数のビデオシーケンスのそれぞれで発生するアクションの特性を識別するメタデータ内のタグ付けデータに関連付けられた前記複数のビデオシーケンスのデータセットを受信することと、
    前記データセットから人工知能（ＡＩ）モデルを生成することと、
    前記ビデオゲームのゲームプレイ中に前記ＡＩモデルにアクセスすることであって、前記アクセスすることが、前記ビデオゲームの前記ゲームプレイ中に生成されるビデオシーケンスのスナップショットを提供することを含む、前記アクセスすることと、
    前記ゲームプレイ中にゲームカメラアングルを動的に調整することであって、前記調整することが、前記ＡＩモデルから導出される調整命令に応答する、前記調整することと、
    を含む、方法。

Images