JP2023530537A - ビデオストリームの解像度を向上させること - Google Patents

Abstract

一実施形態では、方法が、ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成することと、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整することとを含む。【選択図】図２

Description

本開示は、一般に画像処理に関し、詳細には、ビデオストリームの解像度を向上させることに関する。

本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

特定の実施形態では、コンピューティングデバイスが、より低い解像度において画像を処理し、機械学習モデルを使用してその画像をより高い解像度にアップサンプリングし得る。画像をレンダリングし、レンダリングされた画像を転送するコストは、レンダリングされた画像の解像度に依存し得る。そのようなコストを低減するために、コンピューティングデバイスは、より低い解像度において画像を処理し、ユーザに画像を表示する前に、機械学習モデルを使用して画像の解像度を増加させ得る。コンピューティングデバイスは、ビデオのフレームに対応する第１の解像度の（ｆｉｒｓｔ－ｒｅｓｏｌｕｔｉｏｎ）画像にアクセスし得る。コンピューティングデバイスは、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて第１の動きベクトルを算出し得、ここで、第１のフレームは、ビデオにおいて第２のフレームの前に来る。コンピューティングデバイスは、第１のフレームに関連する第２の解像度の（ｓｅｃｏｎｄ－ｒｅｓｏｌｕｔｉｏｎ）再構築された画像をワーピングするために、第１の動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成し得、ここで、第２の解像度が第１の解像度よりも高くなり得る。第２のフレームに関連する第２の解像度のワーピングされた画像は、算出された動きベクトルに基づく予測されたロケーションに位置するオブジェクトを備え得る。コンピューティングデバイスは、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成し得る。第２のフレームに関連する第２の解像度の中間画像を生成するために、コンピューティングデバイスは、複数のピクセルがブランクのままであるように、第２のフレームに関連する第１の解像度の画像のピクセルを、第２の解像度の中間画像のための第２の解像度の画像平面に一様に配置し得る。コンピューティングデバイスは、第２の解像度の画像平面中の複数のブランクピクセルを、非ブランク隣接ピクセルの補間値で充填し得る。コンピューティングデバイスは、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出し得る。コンピューティングデバイスは、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整し得る。

特定の実施形態では、機械学習モデルがトレーニングされ得る。トレーニングは、別のコンピューティングデバイスによって実施され得る。機械学習モデルのトレーニングプロセス中に、所定の損失関数を最小限に抑える調整パラメータを算出するために、機械学習モデルのトレーニング可能変数が調整され得る。トレーニング可能変数は、機械学習モデル内の重みとバイアスとを備え得る。コンピューティングデバイスは、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の差を測定し得る。コンピューティングデバイスは、機械学習モデルのトレーニング可能変数の勾配を、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の測定された差に基づいて算出し得る。コンピューティングデバイスは、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数を更新し得る。特定の実施形態では、コンピューティングデバイスは、第３のフレームに関連する第２の解像度のワーピングされた画像中の選択されたピクセルと第３のフレームに関連する第２の解像度のグランドトゥルース画像中の選択されたピクセルとの間の差を測定し得、ここで、第２のフレームは、ビデオのフレームシーケンスにおいて第３のフレームの前に位置し得る。第３のフレームに関連する第２の解像度のワーピングされた画像を生成するために、コンピューティングデバイスは、第２のフレームに関連する第２の解像度のグランドトゥルース画像と第３のフレームに関連する第２の解像度のグランドトゥルース画像とに基づいて、第２の動きベクトルを算出し得る。次いで、コンピューティングデバイスは、第２のフレームに関連する第２の解像度の再構築された画像をワーピングするために、第２の動きベクトルを使用することによって、第３のフレームに関連する第２の解像度のワーピングされた画像を生成し得る。選択されたピクセルが、第２のフレームに関連する第２の解像度のグランドトゥルース画像中のピクセルと、第３のフレームに関連する第２の解像度のグランドトゥルース画像中のピクセルとを比較することによって、強いオプティカルフロー対応をもつピクセルとして識別され得る。コンピューティングデバイスは、第３のフレームに関連する第２の解像度のワーピングされた画像中の選択されたピクセルと第３のフレームに関連する第２の解像度のグランドトゥルース画像中の選択されたピクセルとの間の測定された差に基づいて、機械学習モデルのトレーニング可能変数の勾配を算出し得る。コンピューティングデバイスは、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数を更新し得る。コンピューティングデバイスは、算出された勾配のいずれかにより、または算出された勾配の両方により、機械学習モデルをトレーニングし得る。

本開示のさらなる態様によれば、ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、ソフトウェアが、実行されたとき、ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成することと、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整することとを行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体が提供される。

いくつかの実施形態では、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の差が、機械学習モデルのトレーニングプロセス中に測定され得る。

いくつかの実施形態では、機械学習モデルのトレーニング可能変数の勾配が、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の測定された差に基づいて算出され得る。

いくつかの実施形態では、トレーニング可能変数は、勾配降下バックプロパゲーションプロシージャによって更新され得る。

いくつかの実施形態では、第１のフレームは、ビデオのフレームシーケンスにおいて第２のフレームの前に位置し得る。

本開示のさらなる態様によれば、１つまたは複数のプロセッサと、プロセッサによって実行可能な命令を含む、プロセッサに結合された非一時的メモリとを備えるシステムであって、プロセッサが、命令を実行したとき、ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成することと、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整することとを行うように動作可能である、システムが提供される。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

例示的な人工現実システムを示す図である。 機械学習モデルを使用してビデオの画像の解像度を向上させるための例示的なプロセスを示す図である。 元の解像度の（ｏｒｉｇｉｎａｌ－ｒｅｓｏｌｕｔｉｏｎ）画像からターゲット解像度の（ｔａｒｇｅｔ－ｒｅｓｏｌｕｔｉｏｎ）中間画像を生成するための例示的なプロセスを示す図である。 再構築された画像とその対応するグランドトゥルース画像との間の測定された差に基づく損失関数を用いた例示的な機械学習モデルトレーニングを示す図である。 後続のフレームについてのワーピングされた画像とその対応するグランドトゥルース画像との間の測定された差に基づく損失関数を用いた例示的な機械学習モデルトレーニングを示す図である。 ビデオストリームの解像度を向上させるための例示的な方法を示す図である。 仮想現実システムに関連する例示的なネットワーク環境を示す図である。 例示的なコンピュータシステムを示す図である。

図１は、例示的な人工現実システムを示す。人工現実は、ユーザ１０５への提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連し得る。図１に示されている例示的な人工現実システムは、ヘッドマウントディスプレイ（ＨＭＤ）１０１と、コントローラ１０２と、コンピューティングデバイス１０３とを備え得る。ユーザ１０５が、視覚人工現実コンテンツをユーザ１０５に提供し得るヘッドマウントディスプレイ（ＨＭＤ）１０１を装着し得る。ＨＭＤ１０１は、オーディオ人工現実コンテンツをユーザ１０５に提供し得るオーディオデバイスを含み得る。コントローラ１０２は、トラックパッドと１つまたは複数のボタンとを備え得る。コントローラ１０２は、ユーザ１０５から入力を受信し、その入力をコンピューティングデバイス１０３に中継し得る。コントローラ１０２はまた、触覚フィードバックをユーザ１０５に提供し得る。コンピューティングデバイス１０３は、ＨＭＤ１０１およびコントローラ１０２に接続され得る。コンピューティングデバイス１０３は、人工現実コンテンツをユーザに提供し、ユーザ１０５から入力を受信するように、ＨＭＤ１０１およびコントローラ１０２を制御し得る。コンピューティングデバイス１０３は、ＨＭＤ１０１と組み合わせられたスタンドアロンホストコンピュータシステム、モバイルデバイス、または人工現実コンテンツを１人または複数のユーザ１０５に提供し、ユーザ１０５から入力を受信することが可能な任意の他のハードウェアプラットフォームであり得る。

特定の実施形態では、コンピューティングデバイス１０３は、サードパーティデバイスからビデオストリームを受信し、受信されたビデオストリームをＨＭＤ１０１を通してユーザ１０５に提示し得る。サードパーティデバイスからコンピューティングデバイス１０３へのトラフィックについての必要とされる帯域幅は、ビデオストリームの解像度に依存し得る。サードパーティデバイスとコンピューティングデバイス１０３との間の通信経路がワイヤレスリンクを備える場合、利用可能帯域幅が限定され得る。コンピューティングデバイス１０３が、妥当な算出コストでビデオストリームの解像度を向上させることが可能である場合、コンピューティングデバイス１０３は、より低い解像度においてビデオストリームを受信することと、ユーザにビデオを表示する前にビデオの解像度を向上させることとによって、ネットワーク帯域幅に関連するコストを低減することが可能であり得る。さらに、高解像度の画像をレンダリングすることは、費用がかかり得る。ビデオのための高解像度画像をレンダリングすることに関連するコストが、ビデオのための低解像度画像をレンダリングすることと、機械学習モデルを使用してその画像の解像度を向上させることとに関連する組み合わせられたコストよりも大きい場合、コンピューティングデバイス１０３は、低解像度において画像をレンダリングすることと、機械学習モデルを使用してその画像の解像度を向上させることとによって、コストを低減し得る。より低い解像度において画像を処理し、機械学習モデルを使用してその画像をより高い解像度にアップサンプリングするためのやり方が、本明細書で開示される。

特定の実施形態では、コンピューティングデバイス１０３は、より低い解像度において画像を処理し、機械学習モデルを使用してその画像をより高い解像度にアップサンプリングし得る。画像をレンダリングし、レンダリングされた画像を転送するコストは、レンダリングされた画像の解像度に依存し得る。そのようなコストを低減するために、コンピューティングデバイス１０３は、より低い解像度において画像を処理し、ユーザに画像を表示する前に、機械学習モデルを使用して画像の解像度を増加させ得る。コンピューティングデバイス１０３は、ビデオのフレームに対応する第１の解像度の画像にアクセスし得る。コンピューティングデバイス１０３は、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて第１の動きベクトルを算出し得、ここで、第１のフレームは、ビデオにおいて第２のフレームの前に来る。コンピューティングデバイス１０３は、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、第１の動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成し得、ここで、第２の解像度が第１の解像度よりも高くなり得る。第２のフレームに関連する第２の解像度のワーピングされた画像は、算出された動きベクトルに基づく予測されたロケーションに位置するオブジェクトを備え得る。コンピューティングデバイス１０３は、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成し得る。第２のフレームに関連する第２の解像度の中間画像を生成するために、コンピューティングデバイス１０３は、複数のピクセルがブランクのままであるように、第２のフレームに関連する第１の解像度の画像のピクセルを、第２の解像度の中間画像のための第２の解像度の画像平面に一様に配置し得る。コンピューティングデバイス１０３は、第２の解像度の画像平面中の複数のブランクピクセルを、非ブランク隣接ピクセルの補間値で充填し得る。コンピューティングデバイス１０３は、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出し得る。コンピューティングデバイス１０３は、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整し得る。本開示は、特定の様式で機械学習モデルを使用して第２の解像度の再構築された画像を生成することについて説明するが、本開示は、任意の好適な様式で機械学習モデルを使用して第２の解像度の再構築された画像を生成することを企図する。

特定の実施形態では、コンピューティングデバイス１０３は、ビデオのフレームに対応する第１の解像度の画像にアクセスし得る。コンピューティングデバイス１０３は、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて第１の動きベクトルを算出し得、ここで、第１のフレームは、ビデオにおいて第２のフレームの前に来る。図２は、機械学習モデルを使用してビデオの画像の解像度を向上させるための例示的なプロセスを示す。限定としてではなく一例として、図２に示されているように、コンピューティングデバイス１０３は、元の解像度のビデオストリームにアクセスし得る。コンピューティングデバイス１０３は、ビデオストリームをターゲット解像度において関連するユーザに提示し得、ここで、ターゲット解像度は、元の解像度よりも高い。ビデオストリームをターゲット解像度において関連するユーザに提示するために、コンピューティングデバイス１０３は、機械学習モデル２１０を使用してビデオストリームの解像度を向上させ得る。特定の実施形態では、コンピューティングデバイス１０３は、ＨＭＤ１０１と組み合わせられ得る。コンピューティングデバイス１０３は、サードパーティデバイスからビデオストリームを受信し得る。特定の実施形態では、サードパーティデバイスは、ハンドヘルドデバイスであり得る。サードパーティデバイスからコンピューティングデバイス１０３への通信リンクは、ワイヤレスであり得る。特定の実施形態では、ビデオストリームは、人工現実オブジェクトを備え得る。図２に示されている例では、コンピューティングデバイス１０３は、ビデオストリームのフレームｔに対応する画像の解像度を向上させている。コンピューティングデバイス１０３は、フレームｔ－１に対応する元の解像度の画像２０１ａと、フレームｔに対応する元の解像度の画像２０１ｂとにアクセスし得る。コンピューティングデバイス１０３は、フレームｔ－１に対応する元の解像度の画像２０１ａと、フレームｔに対応する元の解像度の画像２０１ｂとに基づいて動きベクトルを算出し得る。特定の実施形態では、動きベクトルは、オプティカルフロー２０３であり得る。オプティカルフローは、視覚シーンにおけるオブジェクト、表面、およびエッジの明らかな動きのパターンであり得る。本開示は、特定の様式でビデオストリームの連続フレームに対応する画像に基づいて動きベクトルを算出することについて説明するが、本開示は、任意の好適な様式でビデオストリームの連続フレームに対応する画像に基づいて動きベクトルを算出することを企図する。

特定の実施形態では、コンピューティングデバイス１０３は、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、第１の動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成し得る。第２の解像度は、第１の解像度よりも高くなり得る。第２のフレームに関連する第２の解像度のワーピングされた画像は、算出された動きベクトルに基づく予測されたロケーションに位置するオブジェクトを備え得る。限定としてではなく一例として、図２に示されている前の例を続けると、コンピューティングデバイス１０３は、フレームｔ－１に対応するターゲット解像度の再構築された画像２０５にアクセスし得る。フレームｔ－１に対応するターゲット解像度の再構築された画像２０５は、フレームｔ－１に対応する画像の解像度を向上させるプロセスにおいて生成されていることがある。コンピューティングデバイス１０３は、フレームｔ－１に対応するターゲット解像度の再構築された画像２０５をワーピングするために、フレームｔ－１からフレームｔまでの算出されたオプティカルフロー２０３を使用することによって、フレームｔに対応するターゲット解像度のワーピングされた画像２０７を生成し得る。フレームｔに対応するターゲット解像度のワーピングされた画像２０７は、予測されたロケーションに位置するフレームｔ－１に対応するターゲット解像度の再構築された画像２０５に示されるオブジェクトを備え得る。それらのオブジェクトについての予測されたロケーションは、フレームｔ－１からフレームｔまでの算出されたオプティカルフロー２０３に基づいて決定され得る。本開示は、特定の様式でターゲット解像度のワーピングされた画像を生成することについて説明するが、本開示は、任意の好適な様式でターゲット解像度のワーピングされた画像を生成することを企図する。

特定の実施形態では、コンピューティングデバイス１０３は、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成し得る。限定としてではなく一例として、図２に示されている前の例を続けると、コンピューティングデバイス１０３は、フレームｔに対応する元の解像度の画像２０１ｂに基づいて、フレームｔに対応するターゲット解像度の中間画像２２１を生成し得る。特定の実施形態では、コンピューティングデバイス１０３は、フレームｔに対応するターゲット解像度の中間画像２２１を生成するために、補間ベースのアップサンプリング方法を使用し得る。本開示は、特定の様式でターゲット解像度の中間画像を生成することについて説明するが、本開示は、任意の好適な様式でのターゲット解像度の中間画像を企図する。

特定の実施形態では、コンピューティングデバイス１０３は、第２のフレームに関連する第２の解像度の中間画像を生成するために、複数のピクセルがブランクのままであるように、第２のフレームに関連する第１の解像度の画像のピクセルを、第２の解像度の中間画像のための第２の解像度の画像平面に一様に配置し得る。コンピューティングデバイス１０３は、第２の解像度の画像平面中の複数のブランクピクセルを、非ブランク隣接ピクセルの補間値で充填し得る。図３は、元の解像度の画像からターゲット解像度の中間画像を生成するための例示的なプロセスを示す。限定としてではなく一例として、図３に示されているように、コンピューティングデバイス１０３は、元の解像度の画像３１０にアクセスし得る。ターゲット解像度の中間画像を生成するために、コンピューティングデバイス３１０は、ターゲット解像度の画像平面３２０を準備し、ここで、ターゲット解像度は、元の解像度よりも高い。ターゲット解像度の画像平面は、コンピューティングデバイス１０３に関連するメモリスペースであり得る。次いで、コンピューティングデバイス１０３は、この段階のターゲット解像度の画像平面３２０ａが複数のブランクピクセルを備え得るように、元の解像度の画像３１０のピクセルをターゲット解像度の画像平面３２０ａに一様に配置し得る。コンピューティングデバイス１０３は、ターゲット解像度の中間画像３２０ｂを生成するために、複数のブランクピクセルを、非ブランク隣接ピクセルの補間値で充填し得る。コンピューティングデバイス１０３は、複数のブランクピクセルを充填するために、最近傍補間、双線形補間、双３次補間または任意の好適な補間技法を使用し得る。本開示は、特定の様式で補間によってターゲット解像度の中間画像を生成することについて説明するが、本開示は、任意の好適な様式で補間によってターゲット解像度の中間画像を生成することを企図する。

特定の実施形態では、コンピューティングデバイス１０３は、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出し得る。特定の実施形態では、機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデルであり得る。特定の実施形態では、機械学習モデルは、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）モデルであり得る。限定としてではなく一例として、図２に示されている前の例を続けると、コンピューティングデバイス１０３は、フレームｔに対応する元の解像度の画像２０１ｂと、フレームｔに対応するターゲット解像度のワーピングされた画像２０７とを機械学習モデル２１０に提供し得る。機械学習モデル２１０は、調整パラメータ２２３を作り出し得る。特定の実施形態では、機械学習モデル２１０は、コンピューティングデバイス１０３上で実行され得る。特定の実施形態では、機械学習モデル２１０は、サードパーティデバイス上で実行され得る。本開示は、特定の様式で機械学習モデルを使用して調整パラメータを算出することについて説明するが、本開示は、任意の好適な様式で機械学習モデルを使用して調整パラメータを算出することを企図する。

特定の実施形態では、コンピューティングデバイス１０３は、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整し得る。限定としてではなく一例として、図２に示されている前の例を続けると、コンピューティングデバイス１０３は、算出された調整パラメータ２２３を、フレームｔに対応するターゲット解像度の中間画像２２１に適用することによって、フレームｔに対応するターゲット解像度の再構築された画像２２５を生成し得る。コンピューティングデバイス１０３は、フレームｔに対応するターゲット解像度の再構築された画像２２５を、関連するユーザに提示し得る。本開示は、特定の様式でターゲット解像度の中間画像と算出された調整パラメータとに基づいてターゲット解像度の再構築された画像を生成することについて説明するが、本開示は、任意の好適な様式でターゲット解像度の中間画像と算出された調整パラメータとに基づいてターゲット解像度の再構築された画像を生成することを企図する。

特定の実施形態では、機械学習モデルがトレーニングされ得る。機械学習モデルのトレーニングプロセス中に、所定の損失関数を最小限に抑える調整パラメータを算出するために、機械学習モデルのトレーニング可能変数が調整され得る。トレーニング可能変数は、機械学習モデル内の重みとバイアスとを備え得る。限定としてではなく一例として、コンピューティングデバイスは、収集されたトレーニングデータを用いて機械学習モデルをトレーニングし得る。トレーニングデータは、元の解像度のビデオストリームと、対応するターゲット解像度のビデオストリームとを備え得る。コンピューティングデバイスは、ターゲット解像度の再構築された画像と、対応するターゲット解像度のグランドトゥルース画像との間の差に基づいて、損失を算出し得る。コンピューティングデバイスは、損失に基づいて、機械学習モデルのトレーニング可能変数のための勾配を算出し得る。コンピューティングデバイスは、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数を更新し得る。コンピューティングデバイスは、トレーニングの目的が達成されるまでプロセスを繰り返し得る。本開示は、特定の様式で機械学習モデルをトレーニングすることについて説明するが、本開示は、任意の好適な様式で機械学習モデルをトレーニングすることを企図する。

特定の実施形態では、コンピューティングデバイスは、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の差を測定し得る。図４Ａは、再構築された画像とその対応するグランドトゥルース画像との間の測定された差に基づく損失関数を用いた例示的な機械学習モデルトレーニングを示す。限定としてではなく一例として、図４Ａに示されているように、トレーニングデータのセットが準備され得、ここで、トレーニングデータのセットは、元の解像度のビデオストリームと、それらの対応するターゲット解像度のビデオストリームとを備え得る。ステップ４０１ａにおいて、コンピューティングデバイスは、入力４２０を機械学習モデル４１０に提供し得る。機械学習モデル４１０は、トレーニング変数４１５を備え得る。入力４２０は、元の解像度の画像とターゲット解像度のワーピングされた画像とを備え得る。入力４２０は、図２に示されているように準備され得る。ステップ４０３ａにおいて、ターゲット解像度の再構築された画像４３０が生成され得る。簡潔のために、図４Ａでは詳細は省略されるが、コンピューティングデバイスは、機械学習モデル４１０からの調整パラメータに基づいてターゲット解像度の中間画像のピクセルを調整することによって、ターゲット解像度の再構築された画像４３０を生成し得る。ステップ４０５ａにおいて、コンピューティングデバイスは、ターゲット解像度の再構築された画像４３０と、対応するターゲット解像度のグランドトゥルース画像４４０との間の差を測定することによって、損失を算出し得る。損失は、所定の損失関数に基づいて算出され得る。本開示は、特定の様式で機械学習モデルをトレーニングするための損失を算出することについて説明するが、本開示は、任意の好適な様式で機械学習モデルをトレーニングするための損失を算出することを企図する。

特定の実施形態では、コンピューティングデバイスは、機械学習モデルのトレーニング可能変数の勾配を、第２のフレームに関連する第２の解像度の再構築された画像と第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の測定された差に基づいて算出し得る。コンピューティングデバイスは、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数を更新し得る。限定としてではなく一例として、図４Ａに示されている前の例を続けると、コンピューティングデバイスは、算出された損失に基づいて、機械学習モデル４１０のトレーニング可能変数４１５の勾配を算出し得る。コンピューティングデバイスは、ステップ４０７ａにおいて、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数４１５を更新し得る。コンピューティングデバイスは、トレーニングの所定の目的が達成されるまでプロセスを繰り返すことによってトレーニングを続け得る。特定の実施形態では、トレーニングの所定の目的は、テストデータのセットについて所定のしきい値よりも小さい損失を達成することであり得る。本開示は、特定の様式で勾配降下バックプロパゲーションによってトレーニング可能変数を更新することについて説明するが、本開示は、任意の好適な様式で勾配降下バックプロパゲーションによってトレーニング可能変数を更新することを企図する。

図４Ｂは、後続のフレームについての第２の解像度のワーピングされた画像とその対応する第２の解像度のグランドトゥルース画像との間の測定された差に基づく損失関数を用いた例示的な機械学習モデルトレーニングを示す。特定の実施形態では、コンピューティングデバイスは、第３のフレームに対応するターゲット解像度のワーピングされた画像と第３のフレームに対応するターゲット解像度のグランドトゥルース画像との間の測定された差に基づいて損失を算出し得、ここで、第３のフレームは、ビデオストリームにおいて第２のフレームよりも後に来る。特定の実施形態では、コンピューティングデバイスは、算出された損失に基づいて、トレーニング可能変数４１５のための勾配を算出し得る。コンピューティングデバイスは、算出された勾配を用いた勾配降下バックプロパゲーションプロセスによってトレーニング可能変数４１５を更新し得る。限定としてではなく一例として、図４Ｂに示されているように、コンピューティングデバイスは、図２に示されているように入力４２０を準備し得る。入力４２０は、フレームｔに対応する元の解像度の画像と、フレームｔに対応するターゲット解像度のワーピングされた画像とを備え得る。コンピューティングデバイスは、ステップ４０１ｂにおいて、準備された入力４２０を機械学習モデル４１０に提供し得る。ステップ４０３ｂにおいて、コンピューティングデバイスは、機械学習モデル４１０からの調整パラメータに基づいて、フレームｔに対応するターゲット解像度の中間画像のピクセルを調整することによって、フレームｔについてのターゲット解像度の再構築された画像４３０を生成し得る。特定の実施形態では、フレームｔに対応するターゲット解像度の再構築された画像４３０は、図４Ａに示されているように、フレームｔに対応するターゲット解像度のグランドトゥルース画像４４０ａと比較され得る。それに加えてまたはその代替として、コンピューティングデバイスは、フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０を生成し、フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０を、フレームｔ＋１に対応するターゲット解像度のグランドトゥルース画像４４０ｂと比較し得る。ステップ４０５ｂにおいて、コンピューティングデバイスは、フレームｔに対応するターゲット解像度のグランドトゥルース画像４４０ａとフレームｔ＋１に対応するターゲット解像度のグランドトゥルース画像４４０ｂとに基づいて、フレームｔからフレームｔ＋１までのオプティカルフロー４５０を算出し得る。コンピューティングデバイスは、ステップ４０７ｂにおいて、フレームｔに対応するターゲット解像度の再構築された画像４３０とフレームｔからフレームｔ＋１までの算出されたオプティカルフロー４５０とに基づいて、フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０を生成し得る。コンピューティングデバイスは、フレームｔに対応するターゲット解像度の再構築された画像４３０をワーピングするために、フレームｔからフレームｔ＋１までのオプティカルフロー４５０を使用する。フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０は、算出されたオプティカルフロー４５０に基づく予測されたロケーションに位置するオブジェクトを備え得る。本開示は、特定の様式で将来のフレームに関連するターゲット解像度のワーピングされた画像を生成することについて説明するが、本開示は、任意の好適な様式で将来のフレームに関連するターゲット解像度のワーピングされた画像を生成することを企図する。

特定の実施形態では、コンピューティングデバイスは、第３のフレームに関連する第２の解像度のワーピングされた画像と第３のフレームに関連する第２の解像度のグランドトゥルース画像との間の差を測定し得、ここで、第２のフレームは、ビデオのフレームシーケンスにおいて第３のフレームの前に位置し得る。特定の実施形態では、コンピューティングデバイスは、第３のフレームに関連する第２の解像度のワーピングされた画像中の選択されたピクセルと第３のフレームに関連する第２の解像度のグランドトゥルース画像中の選択されたピクセルとの間の差を測定し得る。特定の実施形態では、コンピューティングデバイスは、選択されたピクセルを、第２のフレームに関連するワーピングされた第２の解像度のグランドトゥルース画像中のピクセルと、第３のフレームに関連するワーピングされた第２の解像度のグランドトゥルース画像中のピクセルとを比較することによって、強いオプティカルフロー対応をもつピクセルとして識別し得る。限定としてではなく一例として、図４Ｂに示されている前の例を続けると、コンピューティングデバイスは、ステップ４０８ｂにおいて、フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０とフレームｔ＋１に対応するターゲット解像度のグランドトゥルース画像４４０ｂとの間の差に基づいて、損失を算出し得る。損失は、所定の損失関数に基づいて算出され得る。特定の実施形態では、損失は、フレームｔ＋１に対応するターゲット解像度のワーピングされた画像４６０中の選択されたピクセルとフレームｔ＋１に対応するターゲット解像度のグランドトゥルース画像４４０ｂ中の選択されたピクセルとの間の差に基づいて算出され得る。選択されたピクセルは、しきい値よりも高いオプティカルフロー対応をもつピクセルとして識別され得る。本開示は、特定の様式で機械学習モデルをトレーニングするための損失を算出することについて説明するが、本開示は、任意の好適な様式で機械学習モデルをトレーニングするための損失を算出することを企図する。

特定の実施形態では、コンピューティングデバイスは、第３のフレームに関連する第２の解像度のワーピングされた画像中の選択されたピクセルと第３のフレームに関連する第２の解像度のグランドトゥルース画像中の選択されたピクセルとの間の測定された差に基づいて、機械学習モデルのトレーニング可能変数の勾配を算出し得る。コンピューティングデバイスは、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数を更新し得る。限定としてではなく一例として、図４Ｂに示されている前の例を続けると、コンピューティングデバイスは、ステップ４０８ｂにおいて算出された損失に基づいて、機械学習モデル４１０のトレーニング可能変数４１５の勾配を算出し得る。コンピューティングデバイスは、ステップ４０９ｂにおいて、勾配降下バックプロパゲーションプロシージャによってトレーニング可能変数４１５を更新し得る。コンピューティングデバイスは、トレーニングの所定の目的が達成されるまでプロセスを繰り返すことによってトレーニングを続け得る。本開示は、特定の様式で勾配降下バックプロパゲーションによってトレーニング可能変数を更新することについて説明するが、本開示は、任意の好適な様式で勾配降下バックプロパゲーションによってトレーニング可能変数を更新することを企図する。

図５は、ビデオストリームの解像度を向上させるための例示的な方法５００を示す。方法は、ステップ５１０において開始し得、コンピューティングデバイスが、ビデオのフレームに対応する第１の解像度の画像にアクセスし得る。ステップ５２０において、コンピューティングデバイスは、ビデオ中の第１のフレームの第１の解像度の画像とビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出し得る。ステップ５３０において、コンピューティングデバイスは、第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、動きベクトルを使用することによって、第２のフレームに関連する第２の解像度のワーピングされた画像を生成し得る。ステップ５４０において、コンピューティングデバイスは、第２のフレームに関連する第１の解像度の画像に基づいて、第２のフレームに関連する第２の解像度の中間画像を生成し得る。ステップ５５０において、コンピューティングデバイスは、機械学習モデルを使用して、第２のフレームに関連する第１の解像度の画像と第２のフレームに関連する第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出し得る。ステップ５６０において、コンピューティングデバイスは、第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、調整パラメータに基づいて第２のフレームに関連する第２の解像度の中間画像のピクセルを調整し得る。特定の実施形態は、適切な場合、図５の方法の１つまたは複数のステップを繰り返し得る。本開示は、図５の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図５の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図５の方法の特定のステップを含む、ビデオストリームの解像度を向上させるための例示的な方法を説明し、示すが、本開示は、適切な場合、図５の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、ビデオストリームの解像度を向上させるための任意の好適な方法を企図する。さらに、本開示は、図５の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図５の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。

図６は、仮想現実システムに関連する例示的なネットワーク環境６００を示す。ネットワーク環境６００は、ネットワーク６１０によって互いに接続された、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、およびサードパーティシステム６７０と対話するユーザ６０１を含む。図６は、ユーザ６０１、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、サードパーティシステム６７０、およびネットワーク６１０の特定の構成を示すが、本開示は、ユーザ６０１、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、サードパーティシステム６７０、およびネットワーク６１０の任意の好適な構成を企図する。限定としてではなく一例として、ユーザ６０１、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、およびサードパーティシステム６７０のうちの２つまたはそれ以上が、ネットワーク６１０をバイパスして、直接互いに接続され得る。別の例として、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、およびサードパーティシステム６７０のうちの２つまたはそれ以上が、全体的にまたは部分的に、物理的にまたは論理的に互いとコロケートされ得る。その上、図６は、特定の数のユーザ６０１、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、サードパーティシステム６７０、およびネットワーク６１０を示すが、本開示は、任意の好適な数のクライアントシステム６３０、ソーシャルネットワーキングシステム６６０、サードパーティシステム６７０、およびネットワーク６１０を企図する。限定としてではなく一例として、ネットワーク環境６００は、複数のユーザ６０１と、クライアントシステム６３０と、ソーシャルネットワーキングシステム６６０と、サードパーティシステム６７０と、ネットワーク６１０とを含み得る。

本開示は、任意の好適なネットワーク６１０を企図する。限定としてではなく一例として、ネットワーク６１０の１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラー電話ネットワーク、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。ネットワーク６１０は、１つまたは複数のネットワーク６１０を含み得る。

リンク６５０は、クライアントシステム６３０と、ソーシャルネットワーキングシステム６６０と、サードパーティシステム６７０とを、通信ネットワーク６１０にまたは互いに接続し得る。本開示は、任意の好適なリンク６５０を企図する。特定の実施形態では、１つまたは複数のリンク６５０は、１つまたは複数の、（たとえば、デジタル加入者回線（ＤＳＬ）またはデータオーバーケーブルサービスインターフェース仕様（ＤＯＣＳＩＳ）などの）ワイヤラインリンク、（たとえば、Ｗｉ－Ｆｉまたはワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）などの）ワイヤレスリンク、または（たとえば、同期光ネットワーク（ＳＯＮＥＴ）または同期デジタルハイアラーキ（ＳＤＨ）などの）光リンクを含む。特定の実施形態では、１つまたは複数のリンク６５０は、各々、アドホックネットワーク、イントラネット、エクストラネット、ＶＰＮ、ＬＡＮ、ＷＬＡＮ、ＷＡＮ、ＷＷＡＮ、ＭＡＮ、インターネットの一部分、ＰＳＴＮの一部分、セルラー技術ベースネットワーク、衛星通信技術ベースネットワーク、別のリンク６５０、または２つまたはそれ以上のそのようなリンク６５０の組合せを含む。リンク６５０は、ネットワーク環境６００の全体にわたって必ずしも同じである必要はない。１つまたは複数の第１のリンク６５０は、１つまたは複数の第２のリンク６５０とは１つまたは複数の点で異なり得る。

特定の実施形態では、クライアントシステム６３０は、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のそのような構成要素の組合せを含み、クライアントシステム６３０によって実装またはサポートされる適切な機能性を行うことが可能な、電子デバイスであり得る。限定としてではなく一例として、クライアントシステム６３０は、デスクトップコンピュータ、ノートブックまたはラップトップコンピュータ、ネットブック、タブレットコンピュータ、電子ブックリーダー、ＧＰＳデバイス、カメラ、携帯情報端末（ＰＤＡ）、ハンドヘルド電子デバイス、セルラー電話、スマートフォン、仮想現実ヘッドセットおよびコントローラ、他の好適な電子デバイス、あるいはそれらの任意の好適な組合せなど、コンピュータシステムを含み得る。本開示は、任意の好適なクライアントシステム６３０を企図する。クライアントシステム６３０は、クライアントシステム６３０におけるネットワークユーザが、ネットワーク６１０にアクセスすることを可能にし得る。クライアントシステム６３０は、クライアントシステム６３０のユーザが、他のクライアントシステム６３０における他のユーザと通信することを可能にし得る。クライアントシステム６３０は、ユーザがコンテンツと対話するための仮想現実環境を生成し得る。

特定の実施形態では、クライアントシステム６３０は、ＯＣＵＬＵＳ ＲＩＦＴなど、仮想現実（または拡張現実）ヘッドセット６３２と、仮想現実コントローラなど、（１つまたは複数の）仮想現実入力デバイス６３４とを含み得る。クライアントシステム６３０におけるユーザは、仮想現実ヘッドセット６３２を装着し、仮想現実ヘッドセット６３２によって生成された仮想現実環境６３６と対話するために（１つまたは複数の）仮想現実入力デバイスを使用し得る。示されていないが、クライアントシステム６３０は、別個の処理コンピュータおよび／または仮想現実システムの任意の他の構成要素をも含み得る。仮想現実ヘッドセット６３２は、ソフトウェアまたはファームウェア更新など、（限定はしないがオペレーティングシステムを含む）システムコンテンツ６３８を含み、アプリケーションからのコンテンツ、またはインターネットから動的にダウンロードされたコンテンツ（たとえば、ウェブページコンテンツ）など、サードパーティコンテンツ６４０をも含み得る、仮想現実環境６３６を生成し得る。仮想現実ヘッドセット６３２は、ヘッドセットデバイス６３２のロケーションを追跡するセンサーデータを生成するための、加速度計、ジャイロスコープ、磁力計など、（１つまたは複数の）センサー６４２を含み得る。ヘッドセット６３２は、ユーザの眼の位置またはユーザの眼の観察方向を追跡するためのアイトラッカーをも含み得る。クライアントシステムは、ヘッドセットに関する速度、配向、および重力を決定するために、（１つまたは複数の）センサー６４２からのデータを使用し得る。（１つまたは複数の）仮想現実入力デバイス６３４は、入力デバイス６３４のロケーションとユーザの指の位置とを追跡するセンサーデータを生成するための、加速度計、ジャイロスコープ、磁力計、およびタッチセンサーなど、（１つまたは複数の）センサー６４４を含み得る。クライアントシステム６３０は、アウトサイドイン追跡（ｏｕｔｓｉｄｅ－ｉｎ ｔｒａｃｋｉｎｇ）を利用し得、ここで、追跡カメラ（図示せず）が、仮想現実ヘッドセット６３２の外部に、および仮想現実ヘッドセット６３２の見通し線内に置かれる。アウトサイドイン追跡では、追跡カメラは、（たとえば、仮想現実ヘッドセット６３２上の１つまたは複数の赤外線ＬＥＤマーカーを追跡することによって）仮想現実ヘッドセット６３２のロケーションを追跡し得る。代替または追加として、クライアントシステム６３０は、インサイドアウト追跡（ｉｎｓｉｄｅ－ｏｕｔ ｔｒａｃｋｉｎｇ）を利用し得、ここで、追跡カメラ（図示せず）が、仮想現実ヘッドセット６３２自体の上に、または仮想現実ヘッドセット６３２自体の内部に置かれ得る。インサイドアウト追跡では、追跡カメラは、現実世界において追跡カメラの周りの画像をキャプチャし得、現実世界の変化するパースペクティブを使用して、空間における追跡カメラ自体の位置を決定し得る。

サードパーティコンテンツ６４０は、ＭＩＣＲＯＳＯＦＴ ＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲ、ＧＯＯＧＬＥ ＣＨＲＯＭＥまたはＭＯＺＩＬＬＡ ＦＩＲＥＦＯＸなど、ウェブブラウザを含み得、１つまたは複数のアドオン、プラグイン、あるいは、ＴＯＯＬＢＡＲまたはＹＡＨＯＯ ＴＯＯＬＢＡＲなど、他の拡張を有し得る。クライアントシステム６３０におけるユーザは、ウェブブラウザを（サーバ６６２、またはサードパーティシステム６７０に関連するサーバなどの）特定のサーバに向けるユニフォームリソースロケータ（ＵＲＬ）または他のアドレスを入力し得、ウェブブラウザは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）要求を生成し、ＨＴＴＰ要求をサーバに通信し得る。サーバは、ＨＴＴＰ要求を受け入れ、ＨＴＴＰ要求に応答する１つまたは複数のハイパーテキストマークアップ言語（ＨＴＭＬ）ファイルをクライアントシステム６３０に通信し得る。クライアントシステム６３０は、ユーザへの提示のためにサーバからのＨＴＭＬファイルに基づいてウェブインターフェース（たとえば、ウェブページ）をレンダリングし得る。本開示は、任意の好適なソースファイルを企図する。限定としてではなく一例として、ウェブインターフェースは、特定の必要に応じて、ＨＴＭＬファイル、拡張可能ハイパーテキストマークアップ言語（ＸＨＴＭＬ）ファイル、または拡張可能マークアップ言語（ＸＭＬ）ファイルから、レンダリングされ得る。そのようなインターフェースは、たとえば、限定はしないが、ＪＡＶＡＳＣＲＩＰＴ、ＪＡＶＡ、ＭＩＣＲＯＳＯＦＴ ＳＩＬＶＥＲＬＩＧＨＴで書かれたものなどのスクリプト、ＡＪＡＸ（非同期ＪＡＶＡＳＣＲＩＰＴおよびＸＭＬ）などのマークアップ言語とスクリプトとの組合せなどをも実行し得る。本明細書では、ウェブインターフェースへの言及は、適切な場合、（ブラウザがウェブインターフェースをレンダリングするために使用し得る）１つまたは複数の対応するソースファイルを包含し、その逆も同様である。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、オンラインソーシャルネットワークをホストすることができるネットワークアドレス指定可能なコンピューティングシステムであり得る。ソーシャルネットワーキングシステム６６０は、たとえば、ユーザプロファイルデータ、概念プロファイルデータ、ソーシャルグラフ情報、またはオンラインソーシャルネットワークに関係する他の好適なデータなど、ソーシャルネットワーキングデータを生成し、記憶し、受信し、送り得る。ソーシャルネットワーキングシステム６６０は、直接的にまたはネットワーク６１０を介してのいずれかで、ネットワーク環境６００の他の構成要素によってアクセスされ得る。限定としてではなく一例として、クライアントシステム６３０は、直接的にまたはネットワーク６１０を介してのいずれかで、サードパーティコンテンツ６４０のウェブブラウザ、またはソーシャルネットワーキングシステム６６０に関連するネイティブアプリケーション（たとえば、モバイルソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、別の好適なアプリケーション、またはそれらの任意の組合せ）を使用して、ソーシャルネットワーキングシステム６６０にアクセスし得る。特定の実施形態では、ソーシャルネットワーキングシステム６６０は、１つまたは複数のサーバ６６２を含み得る。各サーバ６６２は、単一サーバ、あるいは複数のコンピュータまたは複数のデータセンターにわたる分散型サーバであり得る。サーバ６６２は、たとえば、限定はしないが、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書で説明される機能またはプロセスを実施するのに好適な別のサーバ、あるいはそれらの任意の組合せなど、様々なタイプのものであり得る。特定の実施形態では、各サーバ６６２は、サーバ６６２によって実装またはサポートされる適切な機能性を行うための、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のそのような構成要素の組合せを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム６６０は、１つまたは複数のデータストア６６４を含み得る。データストア６６４は、様々なタイプの情報を記憶するために使用され得る。特定の実施形態では、データストア６６４に記憶された情報は、固有のデータ構造に従って編成され得る。特定の実施形態では、各データストア６６４は、リレーショナルデータベース、列指向データベース、相関データベース、または他の好適なデータベースであり得る。本開示は、特定のタイプのデータベースを説明するかまたは示すが、本開示は任意の好適なタイプのデータベースを企図する。特定の実施形態は、クライアントシステム６３０、ソーシャルネットワーキングシステム６６０、またはサードパーティシステム６７０が、データストア６６４に記憶された情報を管理する、取り出す、修正する、追加する、または削除することを可能にするインターフェースを提供し得る。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、１つまたは複数のソーシャルグラフを１つまたは複数のデータストア６６４に記憶し得る。特定の実施形態では、ソーシャルグラフは、（各々特定のユーザに対応する）複数のユーザノードまたは（各々特定の概念に対応する）複数の概念ノードを含み得る、複数のノードと、ノードをつなげる複数のエッジとを含み得る。ソーシャルネットワーキングシステム６６０は、オンラインソーシャルネットワークのユーザに、他のユーザと通信および対話する能力を提供し得る。特定の実施形態では、ユーザは、ソーシャルネットワーキングシステム６６０を介してオンラインソーシャルネットワークに加わり、次いで、ユーザがつなげられることを希望するソーシャルネットワーキングシステム６６０の何人かの他のユーザへのつながり（たとえば、関係）を追加し得る。本明細書では、「友達」という用語は、ソーシャルネットワーキングシステム６６０を介してユーザがつながり、関連付け、または関係を形成したソーシャルネットワーキングシステム６６０の任意の他のユーザを指し得る。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、ソーシャルネットワーキングシステム６６０によってサポートされる様々なタイプのアイテムまたはオブジェクトに関するアクションをとる能力をユーザに提供し得る。限定としてではなく一例として、アイテムおよびオブジェクトは、ソーシャルネットワーキングシステム６６０のユーザが属し得るグループまたはソーシャルネットワーク、ユーザが興味があり得るイベントまたはカレンダーエントリ、ユーザが使用し得るコンピュータベースアプリケーション、ユーザがサービスを介してアイテムを購入または販売することを可能にするトランザクション、ユーザが実施し得る広告との対話、あるいは他の好適なアイテムまたはオブジェクトを含み得る。ユーザは、ソーシャルネットワーキングシステム６６０において、またはソーシャルネットワーキングシステム６６０とは別個であり、ネットワーク６１０を介してソーシャルネットワーキングシステム６６０に結合された、サードパーティシステム６７０の外部システムによって、表されることが可能であるものと対話し得る。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、様々なエンティティをリンクすることが可能であり得る。限定としてではなく一例として、ソーシャルネットワーキングシステム６６０は、ユーザが、互いと対話し、ならびにサードパーティシステム６７０または他のエンティティからコンテンツを受信すること、あるいは、ユーザがアプリケーションプログラミングインターフェース（ＡＰＩ）または他の通信チャネルを通してこれらのエンティティと対話することを可能にすることを可能にし得る。

特定の実施形態では、サードパーティシステム６７０は、１つまたは複数のタイプのサーバ、１つまたは複数のデータストア、限定はしないがＡＰＩを含む１つまたは複数のインターフェース、１つまたは複数のウェブサービス、１つまたは複数のコンテンツソース、１つまたは複数のネットワーク、またはたとえばサーバが通信し得る任意の他の好適な構成要素を含み得る。サードパーティシステム６７０は、ソーシャルネットワーキングシステム６６０を動作させるエンティティとは異なるエンティティによって動作させられ得る。しかしながら、特定の実施形態では、ソーシャルネットワーキングシステム６６０とサードパーティシステム６７０とは、互いと連携して動作して、ソーシャルネットワーキングシステム６６０またはサードパーティシステム６７０のユーザにソーシャルネットワーキングサービスを提供し得る。この意味で、ソーシャルネットワーキングシステム６６０は、サードパーティシステム６７０などの他のシステムが、インターネットにわたってユーザにソーシャルネットワーキングサービスおよび機能性を提供するために使用し得る、プラットフォームまたはバックボーンを提供し得る。

特定の実施形態では、サードパーティシステム６７０は、サードパーティコンテンツオブジェクトプロバイダを含み得る。サードパーティコンテンツオブジェクトプロバイダは、クライアントシステム６３０に通信され得る、コンテンツオブジェクトの１つまたは複数のソースを含み得る。限定としてではなく一例として、コンテンツオブジェクトは、たとえば、映画の上映時間、映画のレビュー、レストランのレビュー、レストランのメニュー、製品情報およびレビュー、または他の好適な情報など、ユーザにとって興味のある物またはアクティビティに関する情報を含み得る。限定としてではなく別の例として、コンテンツオブジェクトは、クーポン、ディスカウントチケット、ギフト券、または他の好適なインセンティブオブジェクトなど、インセンティブコンテンツオブジェクトを含み得る。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、ソーシャルネットワーキングシステム６６０とのユーザの対話を向上させ得る、ユーザ生成されたコンテンツオブジェクトをも含む。ユーザ生成されたコンテンツは、ユーザがソーシャルネットワーキングシステム６６０に追加するか、アップロードするか、送るか、または「投稿」することができるものを含み得る。限定としてではなく一例として、ユーザは、クライアントシステム６３０からソーシャルネットワーキングシステム６６０に投稿を通信する。投稿は、ステータス更新または他のテキストデータ、ロケーション情報、写真、ビデオ、リンク、音楽あるいは他の同様のデータまたはメディアなど、データを含み得る。コンテンツはまた、ニュースフィードまたはストリームなどの「通信チャネル」を通して、サードパーティによってソーシャルネットワーキングシステム６６０に追加され得る。

特定の実施形態では、ソーシャルネットワーキングシステム６６０は、様々なサーバ、サブシステム、プログラム、モジュール、ログ、およびデータストアを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム６６０は、ウェブサーバ、アクションロガー、ＡＰＩ要求サーバ、関連性およびランキングエンジン、コンテンツオブジェクト分類子、通知コントローラ、アクションログ、サードパーティコンテンツオブジェクト露出ログ、推論モジュール、許可／プライバシーサーバ、検索モジュール、広告ターゲッティングモジュール、ユーザインターフェースモジュール、ユーザプロファイルストア、つながりストア、サードパーティコンテンツストア、またはロケーションストアのうちの１つまたは複数を含み得る。ソーシャルネットワーキングシステム６６０は、ネットワークインターフェース、セキュリティ機構、ロードバランサ、フェイルオーバサーバ、管理およびネットワーク運用コンソール、他の好適な構成要素、またはそれらの任意の好適な組合せなど、好適な構成要素をも含み得る。特定の実施形態では、ソーシャルネットワーキングシステム６６０は、ユーザプロファイルを記憶するための１つまたは複数のユーザプロファイルストアを含み得る。ユーザプロファイルは、たとえば、経歴情報、人口統計学的情報、行動情報、ソーシャル情報、あるいは、職歴、学歴、趣味もしくは選好、興味、親和性、またはロケーションなど、他のタイプの記述的情報を含み得る。興味情報は、１つまたは複数のカテゴリーに関係する興味を含み得る。カテゴリーは一般的であるかまたは固有のものであり得る。限定としてではなく一例として、ユーザが、靴のブランドに関する記事に対して「いいね！」を表明した場合、カテゴリーは、ブランド、あるいは「靴」または「衣類」の一般的なカテゴリーであり得る。つながりストアは、ユーザに関するつながり情報を記憶するために使用され得る。つながり情報は、同様のまたは共通の職歴、グループメンバーシップ、趣味、学歴を有するか、あるいはいかなる形でも関係するか、または共通属性を共有する、ユーザを指示し得る。つながり情報は、（内部と外部の両方の）異なるユーザとコンテンツとの間のユーザ定義されたつながりをも含み得る。ウェブサーバは、ネットワーク６１０を介して、ソーシャルネットワーキングシステム６６０を、１つまたは複数のクライアントシステム６３０または１つまたは複数のサードパーティシステム６７０にリンクするために使用され得る。ウェブサーバは、ソーシャルネットワーキングシステム６６０と１つまたは複数のクライアントシステム６３０との間でメッセージを受信およびルーティングするためのメールサーバまたは他のメッセージング機能性を含み得る。ＡＰＩ要求サーバは、サードパーティシステム６７０が、１つまたは複数のＡＰＩを呼び出すことによってソーシャルネットワーキングシステム６６０からの情報にアクセスすることを可能にし得る。アクションロガーは、ソーシャルネットワーキングシステム６６０上の、またはソーシャルネットワーキングシステム６６０から離れた、ユーザのアクションに関するウェブサーバからの通信を受信するために使用され得る。アクションログと併せて、サードパーティコンテンツオブジェクトへのユーザ露出についてのサードパーティコンテンツオブジェクトログが維持され得る。通知コントローラは、クライアントシステム６３０にコンテンツオブジェクトに関する情報を提供し得る。情報は、通知としてクライアントシステム６３０にプッシュされ得るか、または、情報は、クライアントシステム６３０から受信された要求に応答してクライアントシステム６３０からプルされ得る。許可サーバは、ソーシャルネットワーキングシステム６６０のユーザの１つまたは複数のプライバシー設定を施行するために使用され得る。ユーザのプライバシー設定は、ユーザに関連する特定の情報がどのように共有され得るかを決定する。許可サーバは、ユーザが、たとえば、適切なプライバシー設定をセットすることなどによって、そのユーザのアクションがソーシャルネットワーキングシステム６６０によってロギングされるか、または他のシステム（たとえば、サードパーティシステム６７０）と共有されることをオプトインまたはオプトアウトすることを可能にし得る。サードパーティコンテンツオブジェクトストアは、サードパーティシステム６７０など、サードパーティから受信されたコンテンツオブジェクトを記憶するために使用され得る。ロケーションストアは、ユーザに関連するクライアントシステム６３０から受信されたロケーション情報を記憶するために使用され得る。広告価格設定モジュールは、ソーシャル情報、現在時間、ロケーション情報、または他の好適な情報を組み合わせて、関連する広告を通知の形態でユーザに提供し得る。

図７は、例示的なコンピュータシステム７００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム７００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム７００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の好適な数のコンピュータシステム７００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム７００を企図する。限定としてではなく例として、コンピュータシステム７００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム７００は、１つまたは複数のコンピュータシステム７００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム７００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム７００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム７００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。

特定の実施形態では、コンピュータシステム７００は、プロセッサ７０２と、メモリ７０４と、ストレージ７０６と、入出力（Ｉ／Ｏ）インターフェース７０８と、通信インターフェース７１０と、バス７１２とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ７０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ７０２は、内部レジスタ、内部キャッシュ、メモリ７０４、またはストレージ７０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ７０４、またはストレージ７０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ７０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ７０２を企図する。限定としてではなく一例として、プロセッサ７０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ７０４またはストレージ７０６中の命令のコピーであり得、命令キャッシュは、プロセッサ７０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ７０２において実行する命令が動作する対象のメモリ７０４またはストレージ７０６中のデータのコピー、プロセッサ７０２において実行する後続の命令によるアクセスのための、またはメモリ７０４もしくはストレージ７０６に書き込むための、プロセッサ７０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ７０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ７０２のための仮想アドレストランスレーション（ｖｉｒｔｕａｌ－ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ）を高速化し得る。特定の実施形態では、プロセッサ７０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ７０２を企図する。適切な場合、プロセッサ７０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ７０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、メモリ７０４は、プロセッサ７０２が実行するための命令、またはプロセッサ７０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム７００は、ストレージ７０６または（たとえば、別のコンピュータシステム７００などの）別のソースからメモリ７０４に命令をロードし得る。プロセッサ７０２は、次いで、メモリ７０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ７０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ７０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ７０２は、次いで、メモリ７０４にそれらの結果のうちの１つまたは複数を書き込み得る。特定の実施形態では、プロセッサ７０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ７０６または他の場所とは対照的な）メモリ７０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ７０６または他の場所とは対照的な）メモリ７０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ７０２をメモリ７０４に結合し得る。バス７１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ７０２とメモリ７０４との間に常駐し、プロセッサ７０２によって要求されるメモリ７０４へのアクセスを容易にする。特定の実施形態では、メモリ７０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ７０４は、適切な場合、１つまたは複数のメモリ７０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、ストレージ７０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ７０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ７０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ７０６は、適切な場合、コンピュータシステム７００の内部または外部にあり得る。特定の実施形態では、ストレージ７０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ７０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ７０６を企図する。ストレージ７０６は、適切な場合、プロセッサ７０２とストレージ７０６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ７０６は、１つまたは複数のストレージ７０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース７０８は、コンピュータシステム７００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム７００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム７００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース７０８とを企図する。適切な場合、Ｉ／Ｏインターフェース７０８は、プロセッサ７０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース７０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース７０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース７１０は、コンピュータシステム７００と、１つまたは複数の他のコンピュータシステム７００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース７１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース７１０とを企図する。限定としてではなく一例として、コンピュータシステム７００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム７００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム７００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース７１０を含み得る。通信インターフェース７１０は、適切な場合、１つまたは複数の通信インターフェース７１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス７１２は、コンピュータシステム７００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス７１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス７１２は、適切な場合、１つまたは複数のバス７１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、構成されるか、実施することが可能であるか、実施するように設定されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、構成されるか、可能であるか、設定されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (15)

1. コンピューティングデバイスによって、
   ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、
   前記ビデオ中の第１のフレームの第１の解像度の画像と前記ビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、
   前記第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、前記動きベクトルを使用することによって、前記第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、
   前記第２のフレームに関連する前記第１の解像度の画像に基づいて、前記第２のフレームに関連する第２の解像度の中間画像を生成することと、
   機械学習モデルを使用して、前記第２のフレームに関連する前記第１の解像度の画像と前記第２のフレームに関連する前記第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、
   前記第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、前記調整パラメータに基づいて前記第２のフレームに関連する前記第２の解像度の中間画像のピクセルを調整することと
   を含む、方法。
2. 前記第２のフレームに関連する前記第２の解像度の再構築された画像と前記第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の差が、前記機械学習モデルのトレーニングプロセス中に測定される、請求項１に記載の方法。
3. 前記機械学習モデルのトレーニング可能変数の勾配が、前記第２のフレームに関連する前記第２の解像度の再構築された画像と前記第２のフレームに関連する前記第２の解像度のグランドトゥルース画像との間の測定された前記差に基づいて算出され、好ましくは、前記トレーニング可能変数が、勾配降下バックプロパゲーションプロシージャによって更新される、請求項２に記載の方法。
4. 前記第１のフレームが、前記ビデオのフレームシーケンスにおいて前記第２のフレームの前に位置する、請求項１から３のいずれか一項に記載の方法。
5. 第３のフレームに関連する第２の解像度のワーピングされた画像中の選択されたピクセルと、前記第３のフレームに関連する第２の解像度のグランドトゥルース画像中の前記選択されたピクセルとの間の差が、前記機械学習モデルのトレーニングプロセス中に測定される、請求項１から４のいずれか一項に記載の方法。
6. 前記第２のフレームが、前記ビデオのフレームシーケンスにおいて前記第３のフレームの前に位置する、請求項５に記載の方法。
7. 前記選択されたピクセルが、前記第２のフレームに関連するワーピングされた第２の解像度のグランドトゥルース画像中のピクセルと、前記第３のフレームに関連するワーピングされた第２の解像度のグランドトゥルース画像中のピクセルとを比較することによって、強いオプティカルフロー対応をもつピクセルとして識別される、請求項５または６に記載の方法。
8. 前記第３のフレームに関連する前記第２の解像度のワーピングされた画像が、
   前記第２のフレームに関連する前記第２の解像度のグランドトゥルース画像と前記第３のフレームに関連する前記第２の解像度のグランドトゥルース画像とに基づいて、第２の動きベクトルを算出することと、
   前記第２のフレームに関連する前記第２の解像度の再構築された画像をワーピングするために、前記第２の動きベクトルを使用することによって、前記第３のフレームに関連する前記第２の解像度のワーピングされた画像を生成することと
   によって生成される、請求項５から７のいずれか一項に記載の方法。
9. 前記機械学習モデルのトレーニング可能変数の勾配が、前記第３のフレームに関連する前記第２の解像度のワーピングされた画像中の前記選択されたピクセルと前記第３のフレームに関連する前記第２の解像度のグランドトゥルース画像中の前記選択されたピクセルとの間の測定された前記差に基づいて算出され、好ましくは、前記トレーニング可能変数が、勾配降下バックプロパゲーションプロシージャによって更新される、請求項５から８のいずれか一項に記載の方法。
10. 第２の解像度が第１の解像度よりも高く、好ましくは、前記第２のフレームに関連する前記第２の解像度の中間画像を生成することは、
    複数のピクセルがブランクのままであるように、前記第２のフレームに関連する前記第１の解像度の画像のピクセルを、前記第２の解像度の中間画像のための第２の解像度の画像平面に一様に配置することと、
    前記第２の解像度の画像平面中の複数のブランクピクセルを、非ブランク隣接ピクセルの補間値で充填することと
    を含む、請求項１から９のいずれか一項に記載の方法。
11. 前記第２のフレームに関連する前記第２の解像度のワーピングされた画像が、算出された前記動きベクトルに基づく予測されたロケーションに位置するオブジェクトを備える、請求項１から１０のいずれか一項に記載の方法。
12. ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されたとき、
    ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、
    前記ビデオ中の第１のフレームの第１の解像度の画像と前記ビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、
    前記第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、前記動きベクトルを使用することによって、前記第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、
    前記第２のフレームに関連する前記第１の解像度の画像に基づいて、前記第２のフレームに関連する第２の解像度の中間画像を生成することと、
    機械学習モデルを使用して、前記第２のフレームに関連する前記第１の解像度の画像と前記第２のフレームに関連する前記第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、
    前記第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、前記調整パラメータに基づいて前記第２のフレームに関連する前記第２の解像度の中間画像のピクセルを調整することと
    を行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
13. 前記第２のフレームに関連する前記第２の解像度の再構築された画像と前記第２のフレームに関連する第２の解像度のグランドトゥルース画像との間の差が、前記機械学習モデルのトレーニングプロセス中に測定され、好ましくは、前記機械学習モデルのトレーニング可能変数の勾配が、前記第２のフレームに関連する前記第２の解像度の再構築された画像と前記第２のフレームに関連する前記第２の解像度のグランドトゥルース画像との間の測定された前記差に基づいて算出され、好ましくは、前記トレーニング可能変数が、勾配降下バックプロパゲーションプロシージャによって更新される、請求項１２に記載の媒体。
14. 前記第１のフレームが、前記ビデオのフレームシーケンスにおいて前記第２のフレームの前に位置する、請求項１２または１３に記載の媒体。
15. １つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む、前記プロセッサに結合された非一時的メモリとを備えるシステムであって、前記プロセッサが、前記命令を実行したとき、
    ビデオのフレームに対応する第１の解像度の画像にアクセスすることと、
    前記ビデオ中の第１のフレームの第１の解像度の画像と前記ビデオ中の第２のフレームの第１の解像度の画像とに基づいて動きベクトルを算出することと、
    前記第１のフレームに関連する第２の解像度の再構築された画像をワーピングするために、前記動きベクトルを使用することによって、前記第２のフレームに関連する第２の解像度のワーピングされた画像を生成することと、
    前記第２のフレームに関連する前記第１の解像度の画像に基づいて、前記第２のフレームに関連する第２の解像度の中間画像を生成することと、
    機械学習モデルを使用して、前記第２のフレームに関連する前記第１の解像度の画像と前記第２のフレームに関連する前記第２の解像度のワーピングされた画像とを処理することによって、調整パラメータを算出することと、
    前記第２のフレームに関連する第２の解像度の再構築された画像を再構築するために、前記調整パラメータに基づいて前記第２のフレームに関連する前記第２の解像度の中間画像のピクセルを調整することと
    を行うように動作可能である、システム。

Images