JP6944564B2 - 注視追跡のための装置及び方法 - Google Patents

Description

［関連出願の相互参照］
本出願は、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＡＺＥ ＴＲＡＣＫＩＮＧ」という題名で、２０１６年９月２９日に提出された米国特許出願第１５／２８０，９６２号の継続出願であり、そこからの利益を主張しており、この出願は、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」という題名で、２０１６年６月３０日に提出された米国仮特許出願第６２／３５７，２５９号の利益を主張しており、かつ「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＣＯＮＴＥＮＴ」という題名で、２０１６年８月１２日に提出された米国仮特許出願第６２／３７４，６８７号の利益も主張しており、これらの出願の全内容及び全開示は全てこれにより、その全体が本明細書での参照により完全に組み込まれている。

本出願は、発明者Ｄｅｎｎｉｓ Ｄ．Ｃａｓｔｌｅｍａｎによる、及び代理人整理番号１３９５９２［ＳＣＥＡ１６００１ＵＳ０１］によって特定される、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」という題名で、２０１６年９月２９日に提出された米国特許出願第１５／２８０，９３３号に関連しており、この出願の全内容及び全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

本出願はまた、発明者Ｄｅｎｎｉｓ Ｄ．Ｃａｓｔｌｅｍａｎによる、及び代理人整理番号１３９５９３［ＳＣＥＡ１６００３ＵＳ０１］によって特定される、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＣＯＮＴＥＮＴ」という題名で、２０１６年９月２９日に提出された米国特許出願第１５／２８０，９４７号に関連しており、この出願の全内容及び全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

［発明の分野］
本発明は一般にモーショントラッキングに関する。

注視追跡は、センサを用いて閲覧者の注視位置を追跡するプロセスである。注視位置はその後、コンピュータシステムへの入力として利用されてよい。

一実施形態は、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含む注視追跡のための方法を提供する。

別の実施形態は、閲覧者のプロフィールのデータベースと、通信装置と、閲覧者のプロフィールのデータベース及び通信装置に結合されたプロセッサとを有する注視追跡のためのシステムを提供する。プロセッサは、通信装置に結合された再生装置を介して閲覧者にコンテンツを提示し、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡し、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、かつ閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測するように構成されている。

別の実施形態は、プロセッサベースのシステムに、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含むステップを実行させるように構成された１つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体を提供する。

別の実施形態は、表示装置と、注視追跡装置と、通信装置と、表示装置、注視追跡装置及び通信装置に結合されたプロセッサとを備える、注視追跡のためのシステムを提供する。プロセッサは、表示装置を介して閲覧者にコンテンツを提示し、注視追跡装置によって閲覧者の注視経路を追跡し、閲覧者の注視経路に基づいて、閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択し、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測し、かつ通信装置によって、この先の注視位置に基づいてコンテンツサーバからコンテンツの一部を取り出すように構成されている。

本発明の種々の実施形態の特徴及び利点のより適切な理解は、本発明の実施形態の原理が利用される例示の実施形態を説明する以下の詳細な記載及び添付の図面を参照して達成されるであろう。

本発明の実施形態の上記の及び他の態様、特徴及び利点は、後に続く図面と併せて提示される以下のそのより詳細な説明からより明らかになるであろう。
本発明の一部の実施形態による注視を追跡するための方法を例示するフロー図である。 本発明の一部の実施形態による注視を追跡するためのシステムを例示するブロック図である。 本発明の一部の実施形態による注視経路を示す図である。 本発明の一部の実施形態による注視を追跡するためのプロセスを例示するプロセス図である。 本発明の一部の実施形態によるコンテンツを提供するための方法を例示するフロー図である。 本発明の一部の実施形態によるコンテンツを提供するための方法を例示するフロー図である。

注視追跡は、目の追跡及び／または頭部の追跡を含んでよい。一部の実施形態では、注視追跡は、表示される画像における、及び／または現実世界の状況の中での閲覧者の固視点を特定するために利用されてよい。仮想現実（ＶＲ）用途及び拡張現実（ＡＲ）用途では、システムは、閲覧者の注視位置を利用してユーザに表示するためのコンテンツを決定する場合がある。

まず図１を参照すると、注視を追跡するための方法が示されている。図１におけるステップは、例えばコンピュータシステム、サーバ、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、再生装置、表示装置などのうちの１つまたは複数などプロセッサベースの装置によって全体的に実行されてよい。一部の実施形態では、図１におけるステップは、図２を参照して説明されるサーバ２１０及び再生装置２２０、図４を参照して説明されるサーバ、及び／または他の同様の装置のうちの１つまたは複数によって実行される場合がある。

ステップ１１０では、システムは、再生装置を介して閲覧者にコンテンツを提示する。一部の実施形態では、コンテンツは、映画、ＴＶショウ、ビデオクリップ、録画されたビデオコンテンツ、ストリーミングビデオコンテンツ、生中継放送のビデオコンテンツなどのうちの１つまたは複数を含んでよい。いくつかの実施形態において、コンテンツは、立体映像カメラシステム、パノラマカメラシステム、サラウンドビューカメラシステム、３６０°カメラシステム、全方位カメラシステムなどのうちの１つまたは複数によって取り込まれた単一のビデオストリームまたは複数のビデオストリームを含んでよい。いくつかの実施形態において、コンテンツは、コンテンツサーバから再生装置に流されてよい。いくつかの実施形態において、再生装置は、ゲームコンソール、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、ヘッドマウントディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、ウェアラブルデバイス、携帯型ユーザデバイス、スマートフォンなどのうちの１つまたは複数を含んでよい。いくつかの実施形態において、再生装置は、「Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｔｒａｃｋｉｎｇ」という題名で、２０１６年３月３０日に提出された米国特許出願第１５／０８５，８８７号に記載されるタイプの装置及び／またはシステムを有する場合もあり、この出願の全開示はこれにより、その全体が本明細書での参照により完全に組み込まれている。

ステップ１２０では、システムは、閲覧者の注視経路を追跡する。いくつかの実施形態において、注視経路は、再生装置に結合された注視追跡装置によって追跡されてよい。いくつかの実施形態では、注視追跡装置は、閲覧者の目の動き、頭部の動き及び身体の動きのうちの１つまたは複数を追跡するように構成されてよい。いくつかの実施形態において、注視追跡装置は、目の動き及び／または頭部の動きを検出するために画像センサ、光学反射板センサ、距離センサ、筋電図計測（ＥＭＧ）センサ及び光学フローセンサのうちの１つまたは複数を備えてよい。いくつかの実施形態において、注視追跡装置は、加速度計及びジャイロスコープ、ときには磁気計の組み合わせを利用して、身体の固有の力、角速度及び／または身体を取り巻く磁場を計測し、報告する慣性計測装置（ＩＭＵ）を備える場合がある。いくつかの実施形態において、注視追跡装置は、センサが、ＨＭＤ及び／またはウェアラブルデバイスの動きを介してユーザの頭部の動きまたは目の動きを検出することを可能にするＨＭＤ及び／またはウェアラブルデバイスに結合されてよい。いくつかの実施形態において、注視追跡装置は、ユーザの頭部の動き及び目の動きのうちの１つまたは複数を検出するための光学センサを備えてよい。いくつかの実施形態において、センサは、ＨＭＤ及び／またはウェアラブルデバイスに結合されてよい、あるいは、特定の距離から閲覧者からのデータを取り込む相対的に静止したデバイスを備える場合もある。いくつかの実施形態において、閲覧者の注視経路は、任意の従来式のアイトラッキングセンサ、ヘッドトラッキングセンサ及び／またはモーショントラッキングセンサによって追跡されてよい。

いくつかの実施形態において、閲覧者の注視経路は、経時的に検出される閲覧者の複数の注視位置及び／または注視方向の記録を含んでよい。いくつかの実施形態において、閲覧者の注視経路は、閲覧者によって閲覧されるコンテンツのタイムスタンプに従って刻印された注視位置及び／または注視方向を含んでよい。いくつかの実施形態において、注視経路における注視位置は、コンテンツの１つまたは複数のフレームと各々関連付けられてよい。いくつかの実施形態において、注視経路は、二次元の注視経路を含む場合がある。いくつかの実施形態において、注視経路は、コンテンツの表示領域に座標を有する注視位置を含んでよい。いくつかの実施形態において、注視経路は、三次元の注視経路を含む場合がある。例えばコンテンツは、閲覧者が、身体の動作及び／または入力装置を利用して三次元の空間内を自由に移動することができる没入型コンテンツを含む場合がある。いくつかの実施形態において、注視経路は、閲覧者の頭部及び／または目ならびに視線の方向に対応するｘ、ｙ及びｚ座標を有する。

ステップ１３０では、システムは、ステップ１２０において追跡した閲覧者の注視経路に基づいて閲覧者のプロフィールを選択する。いくつかの実施形態において、閲覧者のプロフィールは、閲覧者のプロフィールのデータベースに格納された、そのコンテンツと対応付けられた複数の閲覧者のプロフィールから選択されてよい。いくつかの実施形態において、各閲覧者のプロフィールは、コンテンツに対応付けられた見込まれる注視経路を含んでよい。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツの１つのセグメント及び／またはコンテンツの全体の継続時間に対応付けられてよい。いくつかの実施形態において、見込まれる注視経路は、コンテンツの１つまたは複数のフレームにおける見込まれる固視点を含んでよい。いくつかの実施形態において、閲覧者のプロフィールは、ステップ１２０において追跡したユーザの注視経路と、コンテンツ内の同一時間の中での複数の閲覧者のプロフィールにおける注視経路とのマッチングに基づいて選択されてよい。いくつかの実施形態において、追跡した注視経路と、閲覧者のプロフィールにおける注視経路とのずれの大きさを求め、最も少ないずれを有する閲覧者のプロフィールを選択することによって、追跡した注視経路は閲覧者のプロフィールと比較されてよい。

いくつかの実施形態において、閲覧者のプロフィールは、コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された１つまたは複数の閲覧者のプロフィールを含んでよい。例えば、システムは、同一コンテンツを閲覧した複数の閲覧者の注視経路を記録してよい。注視経路はその後、互いに対するその類似性によってグループ分けされてよく、よく似た注視経路の各集団に対して１つの閲覧者のプロフィールが形成されてよい。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生じた１つまたは複数のデフォルトの閲覧者のプロフィールを含んでよい。例えばコンテンツの製作者は、彼らが閲覧者の固視位置でありそうだと考える場所に基づいてデフォルトの注視経路を手入力で入力してよい。いくつかの実施形態において、コンテンツをリリースする前に、１人または複数の閲覧者が製作後のプロセス中にコンテンツを閲覧してデフォルトの閲覧者のプロフィールを生成する場合がある。いくつかの実施形態において、閲覧者のプロフィールは、コンテンツ内の１つまたは複数のオブジェクトの動きの追跡に基づいて生成された１つまたは複数の閲覧者のプロフィールを含んでよい。例えばサッカーゲームに対応付けられた閲覧者のプロフィールは、ゲームをしている間のサッカーボールの動きに対応付けられた注視経路を含んでよい。別の例では、閲覧者のプロフィールは、フレーム内で最も速く動いているオブジェクトの後を追う注視経路を含んでよい。さらに別の例では、閲覧者のプロフィールは、コンテンツ内の１人の特定のアクターまたは複数のアクターの後を追う注視経路を含む場合もある。いくつかの実施形態において、コンテンツは、コンテンツ内の１つまたは複数のオブジェクトを識別するためにオブジェクト認識エンジンによって処理される場合もある。識別されたオブジェクトの位置はその後、閲覧者のプロフィールの注視経路を生成するために使用されてよい。

いくつかの実施形態において、コンテンツが最初に閲覧者に示される際、システムは、デフォルトの閲覧者のプロフィールを利用して閲覧者のこの先の注視位置を予測することができ、閲覧者に対応付けられた閲覧者のプロフィールは、注視追跡データが利用可能になったとき、ステップ１３０においてその後調整されてよい。いくつかの実施形態において、コンテンツが最初に閲覧者に示される際、閲覧者のプロフィールは、年齢、性別、場所などの閲覧者の人口統計上の情報に基づいて選択されてよい。いくつかの実施形態において、１つまたは複数のデフォルトの閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生成されてよい。

ステップ１４０では、システムは、ステップ１３０で選択された閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測する。いくつかの実施形態において、コンテンツの特定のフレームに関して予測されるこの先の注視位置は、ステップ１３０で選択された閲覧者のプロフィールにおける見込まれる注視経路の注視位置及び／または注視方向に対応してよい。いくつかの実施形態において、閲覧者のプロフィールにおける見込まれる注視経路は、注視方向情報を含んでよく、システムはまず、注視位置を予測するために見込まれる注視方向に対応するコンテンツ表示領域の一部を特定する。

いくつかの実施形態において、ステップ１４０で予測されたこの先の注視位置は、コンテンツの表示に影響を与えるためにシステムによって利用されてよい。いくつかの実施形態において、システムは、この先の注視位置に基づいてコンテンツの一部を選択し、再生装置においてコンテンツの一部をバッファに格納して構成されてよい。いくつかの実施形態において、再生装置においてバッファに格納されたコンテンツの一部は、この先の注視位置と対応付けられた焦点領域に相当し得る。いくつかの実施形態において、システムは、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＣＯＮＴＥＮＴ」という題名で２０１６年８月１２日に提出され、その全開示は、その全体が参照により本明細書に組み込まれている米国仮特許出願第６２／３７４，６８７号に記載されるように、コンテンツアイテムの低ビットレートバージョンと、焦点領域に相当するコンテンツアイテムの高ビットレートバージョンの一部を再生装置に提供するように構成されてよい。高ビットレートバージョンの一部は、ステップ１４０で予測されたこの先の注視位置に基づいて再生装置において選択される、及び／またはバッファに格納されてよい。

いくつかの実施形態において、コンテンツの一部は、そのコンテンツを含む複数のビデオストリームから選択された１つのビデオストリームに相当する。いくつかの実施形態において、コンテンツは、複数の別々にエンコードされたビデオストリームを含む場合があり、システムは、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」という題名で、２０１６年６月３０日に提出され、その全開示は、その全体が参照により本明細書に組み込まれている米国仮特許出願第６２／３５７，２５９号に記載されるように、再生装置に提供するために１つまたは複数のストリームを選択するように構成されてよい。再生装置に提供される１つまたは複数のビデオストリームは、ステップ１４０で予測されたこの先の注視位置に基づいて選択されてよい。

いくつかの実施形態において、システムは、この先の注視位置に基づいて追加されるコンテンツに関する挿入位置をさらに決定してよい。いくつかの実施形態において、追加されるコンテンツは、警告情報、補足情報、選択メニュー及び広告コンテンツのうちの１つまたは複数を含んでよい。例えばシステムは、閲覧者の予測された注視位置に基づいてレガシーコンテンツにネイティブ広告を挿入するように構成されてよい。一部の実施形態による予測されたこの先の注視位置に基づいてコンテンツを表示する方法及びシステムの例が、本明細書において図５及び図６を参照して説明される。

いくつかの実施形態において、ステップ１４０の後に、プロセスは、コンテンツの再生中にステップ１２０に戻る場合がある。いくつかの実施形態において、システムは、閲覧者のプロフィールを選択した後、閲覧者のその後の注視経路を追跡し、その後の注視経路に基づいて複数の閲覧者のプロフィールのうちの異なる１つを選択してよい。いくつかの実施形態において、ステップ１３０において閲覧者のために選択された閲覧者のプロフィールは、閲覧者がコンテンツを閲覧する際、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ１３０は、周期的に（例えば１秒、２秒、２４０フレームなど）繰り返されてよい。いくつかの実施形態において、ステップ１３０は、見込まれる注視経路からかなりのずれが検出された場合、繰り返される場合がある。

次に図２を参照すると、本発明の一部の実施形態に従って本明細書に示され記載される方法及び技術のいずれかを実施する、実装する及び／または実行するのに使用され得る注視追跡のためのシステムが示されている。システムは、ネットワークなどのデータ通信を介して通信するサーバ２１０と、再生装置２２０とを含む。

サーバ２１０は、プロセッサ２１２と、メモリ２１３と、通信装置２１４とを含む。サーバ２１０は、インターネットなどのネットワークを介して再生装置によってアクセス可能な１つまたは複数のプロセッサベースの装置を一般的に含んでよい。いくつかの実施形態において、コンテンツサーバは、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、ストリーミングビデオサーバ、ブロードキャストコンテンツサーバ、ソーシャルネットワーキングサーバなどのうちの１つまたは複数を含んでよい。プロセッサ２１２は、制御回路、中央プロセッサ装置、グラフィカルプロセッサ装置（ＧＰＵ）、マイクロプロセッサ、ビデオデコーダ、ビデオエンコーダなどのうちの１つまたは複数を含んでよい。メモリ２１３は、揮発性及び／または不揮発性のコンピュータ可読メモリ装置のうちの１つまたは複数を含んでよい。いくつかの実施形態において、メモリ２１３は、プロセッサ２１２に再生装置２２０にコンテンツを提供するようにさせるコンピュータ実行可能コードを格納する。いくつかの実施形態において、通信装置２１４は、ネットワークアダプター、データポート、ルータ、モデムなどのうちの１つまたは複数を含んでよい。一般に、通信装置２１４は、プロセッサ２１２が再生装置２２０と通信することを可能にするように構成されてよい。いくつかの実施形態において、プロセッサ２１２は、再生装置２２０によって検出されたユーザの注視経路を、閲覧者のプロフィールのデータベース２１９に保管された閲覧者のプロフィールと照合するように構成されてよい。いくつかの実施形態において、サーバ２１０は、選択された閲覧者のプロフィールに基づいて再生装置２２０にコンテンツを提供するように構成されたコンテンツサーバをさらに備えてよい。いくつかの実施形態において、サーバ２１０は、キャプチャ装置によって記録されたコンテンツをほぼリアルタイムで再生装置２２０に流すように構成されてよい。いくつかの実施形態において、サーバ２１０は、オンデマンド方式で再生装置２２０に流す、及び／またはダウンロードするために、複数の事前に記録されたコンテンツアイテムをホストするように構成される場合もある。

閲覧者のプロフィールのデータベース２１９は、１つまたは複数のコンテンツアイテムに対応付けられた複数の閲覧者のプロフィールを格納するコンピュータ可読メモリ記憶装置を備えてよい。いくつかの実施形態において、閲覧者のプロフィールは、特定のコンテンツアイテムに各々対応付けられてよく、コンテンツに対応付けられた見込まれる注視経路を含んでよい。いくつかの実施形態において、見込まれる注視経路は、コンテンツの１つまたは複数のフレームにおける見込まれる固視点及び／または視線の方向を含んでよい。いくつかの実施形態において、各閲覧者のプロフィールは、コンテンツの１つのセグメント及び／またはコンテンツの全体の継続時間に対応付けられてよい。

いくつかの実施形態において、閲覧者のプロフィールのデータベース２１９における閲覧者のプロフィールは、コンテンツを閲覧した複数のユーザの注視経路に基づいて生成された１つまたは複数の閲覧者のプロフィールを含んでよい。例えばシステムは、同一コンテンツを閲覧した複数の閲覧者の注視経路を記録してよい。注視経路は、互いに対するその類似性によってグループ分けされてよく、よく似た注視経路の各集団に対して１つの閲覧者のプロフィールが形成されてよい。いくつかの実施形態において、例えばスポーツイベントなどの生中継放送コンテンツの場合、閲覧者のプロフィールは、放送されたコンテンツの閲覧者と比べて時間の遅延が全くないか、または遅延がより小さい状態でコンテンツを閲覧するモデル閲覧者の注視経路に基づいて確立されてよい。いくつかの実施形態において、閲覧者のプロフィールのデータベース２１９における閲覧者のプロフィールは、コンテンツの製作後のプロセス中に生じた１つまたは複数のデフォルトの閲覧者のプロフィールを含んでよい。いくつかの実施形態において、コンテンツが放送するためにリリースされる前に、１人または複数の閲覧者が製作後のプロセス中にコンテンツを閲覧してデフォルトの閲覧者のプロフィールを生成する場合がある。いくつかの実施形態において、閲覧者のプロフィールのデータベース２１９における閲覧者のプロフィールは、コンテンツ内の１つまたは複数のオブジェクトの動きの追跡に基づいて生成された１つまたは複数の閲覧者のプロフィールを含んでよい。例えばサッカーゲームに対応付けられた閲覧者のプロフィールは、ゲームをしている間、サッカーボールの動きに対応付けられた注視経路を含んでよい。別の例では、閲覧者のプロフィールのデータベース２１９における閲覧者のプロフィールは、フレーム内の最も速く動いているオブジェクトの後を追う注視経路を含む場合もある。さらに別の例では、閲覧者のプロフィールのデータベース２１９における閲覧者のプロフィールは、コンテンツ内の１人の特定のアクターまたは複数のアクターの後を追う注視経路を含む場合もある。いくつかの実施形態において、コンテンツは、コンテンツ内の１つまたは複数のオブジェクトを識別するためにオブジェクト認識エンジンによって処理される場合がある。コンテンツのフレーム内の識別されたオブジェクトの位置はその後、閲覧者のプロフィールに関する注視経路を生成するために使用されてよい。いくつかの実施形態において、閲覧者のプロフィールのデータベース２１９における１つまたは複数の閲覧者のプロフィールは、閲覧者の人口統計上の情報（例えば性別、年齢、場所など）と対応付けられてよい。追跡した注視経路が利用できない場合、閲覧者のプロフィールは、閲覧者の人口統計上の情報から選択されてよい。

１つの再生装置２２０のみが図２に示されているが、一部の実施形態では、サーバ２１０は、同時に（複数の）閲覧者のプロフィールを選択する、及び／または通信装置２１４を介して複数の再生装置２２０にコンテンツを同時に提供するように構成される場合もある。いくつかの実施形態において、サーバ２１０は、キャプチャ装置と、再生装置２２０との間のビデオストリームのピアツーピア転送を促進するように構成されてよい。いくつかの実施形態において、サーバ２１０は、複数の再生装置２２０から受信した閲覧者の注視経路の記録に基づいて閲覧者のプロフィールのデータベース２１９に閲覧者のプロフィールを加える、及び／またはその中の閲覧者のプロフィールを修正するように構成されてよい。例えば閲覧者の１つのグループが、閲覧者のプロフィールのデータベース２１９内の既存の閲覧者のプロフィールとあまり一致しないコンテンツの一部に関してよく似た注視経路を共有する場合、サーバ２１０は、このよく似た注視経路のグループに基づいて新たな閲覧者のプロフィールを形成する場合がある。いくつかの実施形態において、システムは、閲覧者の人口統計を利用して、１つまたは複数の閲覧者のプロフィールと対応付けられた人口統計を更新してよい。１つのサーバ２１０が示されているが、一部の実施形態では、サーバ２１０の機能は、１つまたは複数のプロセッサベースの装置において履行される場合もある。

再生装置２２０は、プロセッサ２２１と、メモリ２２３と、表示装置２２５と、センサ装置２２７とを備える。いくつかの実施形態において、再生装置２２０は一般に、ゲームコンソール、メディアコンソール、セットトップボックス、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、ヘッドマウントディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、ウェアラブルデバイス、携帯型ユーザデバイス、スマートフォンなどのうちの１つまたは複数などのプロセッサベースの装置を含んでよい。プロセッサ２２１は、制御回路、中央プロセッサ装置（ＣＰＵ）、グラフィカルプロセッサ装置（ＧＰＵ）、マイクロプロセッサ、ビデオデコーダなどのうちの１つまたは複数を含んでよい。メモリ２２３は、揮発性及び／または不揮発性のコンピュータ可読メモリ装置のうちの１つまたは複数を含んでよい。いくつかの実施形態において、メモリ２２３は、プロセッサ２２１にセンサ装置２２７を利用して閲覧者の注視経路を追跡させるコンピュータ実行可能コードを格納している。いくつかの実施形態において、再生装置２２０は、サーバ２１０から取り出された、及び／またはローカルに保管された閲覧者のプロフィールに基づいてこの先の注視位置を予測するように構成されてよい。いくつかの実施形態において、再生装置２２０は、サーバ２１０からコンテンツを取り出す、及び／または閲覧者の予測された注視位置に基づいてローカルにコンテンツをレンダリングするように構成されてよい。いくつかの実施形態において、メモリ２２３は、サーバ２１０から表示装置２２５上で閲覧されるコンテンツの一部をバッファに格納するためのバッファを有してよい。いくつかの実施形態において、メモリ２２３に格納されたコンピュータ実行可能コードは、コンピュータプログラム、ソフトウェアプログラム、再生装置ファームウェア、モバイルアプリケーション、ゲーム及び／またはメディアコンソールアプリケーションなどのうちの１つまたは複数を含んでよい。

表示装置２２５は、閲覧者にコンテンツを表示するための装置を備えてよい。いくつかの実施形態において、表示装置２２５は、モニター、テレビジョン、ヘッドマウントディスプレイ（ＨＭＤ）、仮想現実表示装置、ウェアラブルデバイス、ディスプレイスクリーン、モバイル装置などのうちの１つまたは複数を含んでよい。いくつかの実施形態において、表示装置２２５は、１つまたは複数のスクリーンを有する立体的なディスプレイを備える場合がある。

センサ装置２２７は、表示装置２２５の閲覧者の注視を追跡するように構成された１つまたは複数のセンサを備えてよい。いくつかの実施形態において、センサ装置２２７は、目及び／または頭部の動きを検出するための画像センサ、光学反射板センサ、距離センサ、筋電図計測（ＥＭＧ）センサ及び光学フローセンサのうちの１つまたは複数を備えてよい。いくつかの実施形態において、センサ装置２２７は、加速度計及びジャイロスコープ、ときには磁気計の組み合わせを利用して、身体の固有の力、角速度及び／または身体を取り巻く磁場を計測し、報告するＩＭＵを備える場合がある。いくつかの実施形態において、センサ装置２２７は、ＨＭＤ及び／またはウェアラブルデバイスの動きを介してセンサがユーザの頭部または目の動きを検出することを可能にするＨＭＤ及び／またはウェアラブルデバイスに結合されてよい。いくつかの実施形態において、センサ装置２２７は、ユーザの頭部の動き及び目の動きのうちの１つまたは複数を検出するためのカメラを備える場合がある。いくつかの実施形態において、センサ装置２２７は、ＨＭＤ及び／またはウェアラブルデバイスに結合されてよい、または特定の距離から閲覧者からのデータを取り込む相対的に静止した装置を備える場合もある。

表示装置２２５は、再生装置２２０の一部として示されているが、いくつかの実施形態において、表示装置２２５は、別個のプロセッサを備えた、または備えていない別個の装置を備える場合もある。いくつかの実施形態において、表示装置２２５は、有線または無線通信チャネルを介して再生装置２２０に結合されてよい。例えば再生装置２２０は、ＰＣまたはゲームコンソールを備えてよく、表示装置２２５は、再生装置２２０からコンテンツを表示するように構成されたＨＭＤを備えてよい。いくつかの実施形態において、センサ装置２２７は、再生装置２２０、表示装置２２５の一部であってよい、及び／または再生装置２２０及び表示装置２２５のうちの１つまたは複数と通信する物理的に離れた装置である場合もある。いくつかの実施形態において、表示装置２２５及びセンサ装置２２７のうちの１つまたは複数は、再生装置２２０と一体式であってよい。いくつかの実施形態において、表示装置２２５は、取り出したコンテンツ及び／またはセンサ装置２２７によって検出された閲覧者の目の動きまたは頭部の動きの少なくとも一部を記憶するためにプロセッサ及び／またはメモリをさらに備えてよい。

いくつかの実施形態において、再生装置２２０は、サーバ２１０及び／またはキャプチャ装置と通信するために、例えばネットワークアダプター、ＷｉーＦｉトランシーバ、モバイルデータネットワークトランシーバなどの通信装置をさらに含んでよい。いくつかの実施形態において、再生装置２２０は、コンテンツアイテムの選択及び再生を制御するために、ユーザのために、動作追跡装置、ボタン、コントローラ、キイボード、ディスプレイスクリーン、タッチスクリーンなどの１つまたは複数のユーザ入／出力装置をさらに含んでよい。いくつかの実施形態において、入力装置は、没入型のリアリティコンテンツの中を自由に移動するために閲覧者によってさらに利用されてよい。

次に図３を参照すると、本発明の一部の実施形態による注視経路の例証が示されている。図３では、コンテンツエリア３００は、コンテンツの表示領域を表しており、注視経路３０１、３０３及び３０２は、コンテンツの再生の同一の時間帯をカバーし、異なる閲覧者のプロフィールと対応付けられた注視経路を表している。図３において、閲覧者の追跡された注視経路が注視経路３１０に相当する場合、システムは、この閲覧者を注視経路３０２と対応付けられた閲覧者のプロフィールに一致させてよい。時間と共に継続して注視経路３０２の後をたどることによって、閲覧者のこの先の注視位置をその後予測することができる。いくつかの実施形態において、閲覧者は、注視経路３０２からのかなりずれが検出されるまで、注視経路３０２と対応付けられてよい。

図３に示される注視経路は、単に例示の目的で提供されており、実際の注視経路を必ずしも表していない場合もある。二次元の注視経路が示されているが、いくつかの実施形態において、閲覧者のプロフィールに対応付けられた注視経路は、三次元空間の中に注視経路を有する場合もある。例えばコンテンツは、閲覧者が三次元空間内を自由に移動し得る没入型コンテンツを有する場合がある。いくつかの実施形態において、注視経路を含む注視位置はこのとき、仮想空間において、及び視線の方向での基準点からのｘ、ｙ及びｚ座標を各々含んでよい。図３における注視経路は細い線として示されているが、いくつかの実施形態において、注視経路は、広帯域の領域及び／または視線の方向を有する場合もある。

次に図４を参照すると、本発明の一部の実施形態によるプロセスの図式が示されている。いくつかの実施形態において、図４におけるサーバは、図２を参照して説明したサーバ２１０または同様の装置を備えてよい。図４における再生装置は、図２を参照して説明した再生装置２２０または同様の装置を備えてよい。図４では、再生装置の注視追跡装置４１０はまずユーザの注視位置を検出し、注視経路４１２を特定する。注視経路４１２はその後、サーバに提供される。いくつかの実施形態において、各注視経路データ地点は、それらが集められてからサーバに転送され、サーバは、データ地点を統合して注視経路を形成することができる。ステップ４１６では、サーバは、注視経路４１２を複数の閲覧者のプロフィール４１４と照合することによって閲覧者を選択する。ステップ４２０では、サーバは、選択された閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測する。ステップ４３０では、システムは、予測された注視位置に基づいて再生装置に提供するためのコンテンツの一部を選択する。いくつかの実施形態において、コンテンツの一部は、コンテンツファイル４３２から取り出されてよい、及び／または抽出されてよい。いくつかの実施形態において、コンテンツの一部は、コンテンツを含む１つまたは複数のビデオストリームに対応する場合がある。いくつかの実施形態において、コンテンツの一部は、コンテンツの高ビットレートバージョンの一部を含んでよい。ステップ４３４では、コンテンツの一部は、再生装置においてバッファに格納される。ステップ４３６では、コンテンツの一部を含むコンテンツがユーザに表示される。

いくつかの実施形態において、ステップ４１６、４２０及び４３０のうちの１つまたは複数は再生装置によって実行されてよい。例えば複数の閲覧者のプロフィールは、再生装置に予めロードされてよい。再生装置は、検出された注視経路４１２及び複数のローカルに保管された閲覧者のプロフィールに基づいて注視位置を予測するように構成されてよい。いくつかの実施形態において、再生装置は、予測された注視位置に基づいてコンテンツの一部を特定するリクエストをサーバに送信するように構成されてよい。いくつかの実施形態において、取り出したコンテンツをバッファに格納する代わりに、再生装置は、ローカルに保管された、及び／または流されたコンテンツファイルを利用して、予測された注視位置に基づいてコンテンツのレンダリングを開始するように構成される場合もある。

次に図５を参照すると、コンテンツを提供するための方法が示されている。図５におけるステップは、ヘッドマウントディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、ウェアラブルデバイス、携帯型ユーザデバイス、スマートフォン、パーソナルコンピュータ、サーバ装置、テレビジョン、タブレットコンピュータ、ゲームコンソールなどのうちの１つまたは複数などのプロセッサベースの装置によって全体的に実行されてよい。いくつかの実施形態において、図５におけるステップは、図２を参照して説明したサーバ２１０及び再生装置２２０、図４を参照して説明したサーバ、及び／または他の同様の装置のうちの１つまたは複数によって実行されてよい。

ステップ５１０では、システムは、コンテンツアイテムを閲覧しているユーザの視線の方向を予測する。いくつかの実施形態において、ユーザの視線の方向は、頭部の方向及び目の方向のうちの１つまたは複数を含んでよい。いくつかの実施形態において、視線の方向は、図１を参照して説明した方法または同様の方法において予測されたこの先の注視位置に基づいて予測された方向を含んでよい。いくつかの実施形態において、閲覧者の視線の方向の履歴を含む閲覧者の注視経路は、閲覧者のプロフィールにおける複数の注視経路と比較されてよい。閲覧者の注視経路が閲覧者のプロフィールにおける注視経路と一致する場合、この一致する注視経路に基づいて閲覧者のこの先の視線の方向が予測されてよい。

コンテンツアイテムは、パノラマカメラシステム、サラウンドビューカメラシステム、３６０°カメラシステム、全方向性カメラシステムなどのうちの１つまたは複数によって取り込まれた複数のビデオストリームを含んでよい。いくつかの実施形態において、コンテンツアイテムは、パノラマビデオ、没入型ビデオ及び／または無指向性ビデオのうちの１つまたは複数に対応するセグメント化されたコンテンツを含んでよい。いくつかの実施形態において、複数のビデオストリームの各々は、カメラ組立体の別個の画像センサによって取り込まれてよい。いくつかの実施形態において、コンテンツアイテムは、事前に記録された、またはリアルタイムのストリーミングコンテンツを含んでよい。コンテンツアイテムは、再生装置にアクセス可能なサーバ上にホストされた複数の個々にエンコードされたビデオストリームを含んでよい。

いくつかの実施形態において、ステップ５１０の後、システムは、コンテンツアイテムの１つまたは複数のビデオストリームが、コンテンツアイテムを閲覧中のユーザの予測される閲覧領域の範囲内にあるかどうかを判断することができる。いくつかの実施形態において、ユーザの予測される閲覧領域は、選択された閲覧者のプロフィールに基づいて予測された視線の方向に対応する固視点を取り囲む特定の領域に相当し得る。いくつかの実施形態において、視線の方向は、１つまたは複数の入力装置を介するユーザの入力に基づいてよい。例えばユーザは、ジョイスティック、タッチパッド、マウス、方向キーなどを使用して視線の方向を変えることができる。閲覧領域はこのとき、視線の方向に対応付けられた表示領域に対応してよい。いくつかの実施形態において、１つのビデオストリームのみが閲覧領域の範囲内にある場合、システムは、ユーザに表示するために、選択されたビデオストリームを取り出す、及び／またはデコードするだけでよい。いくつかの実施形態において、２つ以上のビデオストリームがユーザの閲覧領域の範囲内にある場合、システムは、ステップ５２０〜５４０を実行することができる。

ステップ５２０では、システムは、コンテンツアイテムの２つ以上のビデオストリームを選択する。ビデオストリームの選択は、ステップ５１０において予測されたユーザの視線の方向、及びコンテンツアイテムの複数のビデオストリームに対応付けられた方向データに基づいてよい。複数のビデオストリームの方向データは、コンテンツアイテムを記録するキャプチャシステムによって記録され、コンテンツアイテムファイルの一部として含まれてよい。いくつかの実施形態において、キャプチャシステムは、コンテンツアイテムを記録する間、キャプチャシステムの配向を記録するために１つまたは複数のＩＭＵを含んでよい。コンテンツアイテムの現行のセクションに対応付けられたＩＭＵデータは、ユーザの予測される視線の方向に対応するビデオストリームを特定するために、ユーザの予測される視線の方向と比較されてよい。

いくつかの実施形態において、２つ以上のビデオストリームを選択することは、選択したビデオストリームをバッファまたはキャッシュにロードしてデコードすることを含む。いくつかの実施形態において、２つ以上のビデオストリームを選択することは、コンテンツアイテムをホストするサーバから選択したストリームを取り出すことを含む。いくつかの実施形態において、ステップ５１０及びステップ５２０は、コンテンツサーバ、再生装置及び／または第３の装置によって実行されてよい。

ステップ５３０では、システムは、ステップ５２０で選択された２つ以上のビデオストリームをデコードして、２つ以上の復号されたビデオストリームを形成する。いくつかの実施形態において、デコーディングは、再生装置にある画像もしくはビデオデコーダハードウェア及び／またはソフトウェアモジュールによって実施されてよい。

ステップ５４０では、システムは、２つ以上の復号されたビデオストリームをつなぎ合わせて組み合わされた画像を形成する。いくつかの実施形態において、ビデオストリームは、ビデオストリームのアライニング、ワーピング、ブレンディングのうちの１つまたは複数を含む方法など既知のスティッチ法に従ってつなぎ合わせることができる。いくつかの実施形態において、画像のアライニングは、特徴及び／またはキーポイント検出を介して再生装置において実行される場合もある。

いくつかの実施形態において、システムは、ユーザの予測される閲覧領域に基づいてビデオストリームの一部を選択的につなぎ合わせるようにさらに構成されてよい。例えば２つのビデオストリームの重なり合う領域の一部のみが、ユーザの予測される閲覧領域の範囲内にある場合、システムは、この予測に基づいてユーザにとって見ることができると推定される重なり合う領域の一部をブレンドするだけでよい。いくつかの実施形態において、ブレンディングの度合いは、視野の中でのその領域の位置にさらに左右される場合がある。例えば、重なり合う領域が、ユーザの視野の周辺領域内にある場合、おおざっぱな（例えばあまり計算的に要求が厳しくない）ブレンディングが行われてよく、重なり合う領域が、ユーザの見込まれる固視点の付近にある場合、より大規模なブレンディングが行われる可能性がある。いくつかの実施形態において、２つ以上の復号されたビデオストリームをつなぎ合わせる作業は、再生装置に関連付けられる歪み及びゆがみに基づいて画像を組み合わせることをさらに含む。

ステップ５５０では、システムは、ステップ５４０において生成された組み合わされた画像がユーザに表示されるようにする。いくつかの実施形態において、画像は、フラットスクリーン表示装置またはヘッドマウントディスプレイに表示されてよい。いくつかの実施形態において、ステップ５５０の前に、システムは、表示装置と対応付けられたパラメータに基づいて組み合わせた画像をさらに調整する。いくつかの実施形態において、システムは、３Ｄ及び／または仮想現実表示装置のために立体画像を生成する場合もある。いくつかの実施形態において、システムは、表示装置の表示解像度に基づいて組み合わせた画像の解像度を調整してよい。いくつかの実施形態において、システムは、表示装置に関連付けられる歪み及びゆがみに基づいて画像を調整する場合もある。

いくつかの実施形態において、ステップ５１０〜５５０は、ユーザがコンテンツアイテムを閲覧している間、自分の視線の方向を変えるのにつれて継続的に繰り返されてよい。いくつかの実施形態において、ステップ５１０においてユーザの視線の方向を予測するのに選択された閲覧者のプロフィールは、コンテンツアイテムを閲覧している間、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ５１０において予測される視線の方向に応じて、ステップ５２０〜ステップ５４０において選択され、デコードされ、つなぎ合わされたビデオストリームは経時的に変化する場合がある。

次に図６を参照すると、コンテンツを提供するための方法が示されている。図６におけるステップは、コンピュータシステム、サーバ、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバなどのうちの１つまたは複数などプロセッサベースの装置によって全体的に実行されてよい。いくつかの実施形態において、図６におけるステップは、図２を参照して説明したサーバ２１０及び再生装置２２０、図４を参照して説明したサーバ、及び／または他の同様の装置のうちの１つまたは複数によって実行されてよい。

ステップ６１０では、システムは、コンテンツアイテムの閲覧者のこの先の注視位置を予測する。いくつかの実施形態において、ユーザの注視位置は、頭部の方向及び目の方向のうちの１つまたは複数を含んでよい。いくつかの実施形態において、この先の注視位置は、図１を参照して説明した方法または同様の方法に基づいて予測されてよい。いくつかの実施形態において、閲覧者の注視位置の履歴を含む注視経路は、閲覧者のプロフィールにおける複数の注視経路と比較されてよい。閲覧者の注視経路が、閲覧者のプロフィールの注視経路と一致した場合、この一致する注視経路に基づいて閲覧者のこの先の注視位置が予測されてよい。いくつかの実施形態において、ステップ６１０は、コンテンツサーバ、再生装置及び／または第３の装置によって実行されてよい。

ステップ６２０では、再生装置は、コンテンツアイテムの低ビットレートバージョンを取り出す。いくつかの実施形態において、再生装置は、コンテンツアイテムを取り出すために、ステップ６２０においてコンテンツアイテムをホストしているサーバにコンテンツリクエストを送信する。コンテンツアイテムの低ビットレートバージョンは、コンテンツプロバイダ及び／またはホスティングサービスによって生成されたコンテンツアイテムの低下されたビットレートバージョンを含んでよい。いくつかの実施形態において、ステップ６２０は、ステップ６１０に先だって行われる場合もあり、コンテンツアイテムの低ビットレートバージョンは、閲覧者の焦点領域が特定される、または予測される前にダウンロードされる、バッファに格納される、及び／または閲覧され始めてよい。

ステップ６３０では、再生装置は、コンテンツアイテムの高ビットレートバージョンの一部を取り出す。いくつかの実施形態において、再生装置は、コンテンツアイテムの高ビットレートバージョンの一部を取り出すために、ステップ６１０で予測した閲覧者の焦点領域を識別するコンテンツリクエストをサーバに送信する。いくつかの実施形態において、サーバは、焦点領域を予測し、コンテンツアイテムの高ビットレートバージョンの対応する部分を再生装置に送信するように構成されてよい。一般に、取り出された部分は、閲覧者の予測される焦点領域に基づいて選択されたコンテンツの空間的な部分を含んでよい。いくつかの実施形態において、取り出された部分は、コンテンツアイテムの特定の領域の短い一時的な区分を含んでよい（例えばミリ秒、秒、フレームなど）。いくつかの実施形態において、コンテンツアイテムの高ビットレートバージョンの一部は、ステップ６２０において取り出されたコンテンツアイテムの低ビットレートバージョンとは別個にエンコードされたビデオストリームの中で取り出されてよい。いくつかの実施形態において、コンテンツアイテムの低ビットレートバージョンは、コンテンツアイテムの高ビットレートバージョンの取り出しより先にバッファに格納されてよい。

ステップ６４０では、システムは、コンテンツアイテムの高ビットレートバージョンの一部を、コンテンツアイテムの低ビットレートバージョンと組み合わせて組み合わされた画像を生成する。いくつかの実施形態において、ステップ６４０において、システムはまず、ステップ６３０において取り出したコンテンツアイテムの高ビットレートバージョンの一部と、ステップ６２０において取り出したコンテンツアイテムの低ビットレートバージョンをデコードする。いくつかの実施形態において、コンテンツアイテムの低ビットレートバージョンと、高ビットレートバージョンの解像度及び／またはフレーム率が異なる場合、システムは、画像を組み合わせる前に、バージョンの少なくとも一方の解像度及び／またはフレーム率をまず調節する場合がある。

ステップ６５０では、組み合わせた画像が表示装置に表示される。いくつかの実施形態において、表示装置は、モニター、テレビジョンセット、プロジェクタ、ヘッドマウントディスプレイ（ＨＭＤ）、仮想現実表示装置、ウェアラブルデバイス、ディスプレイスクリーン、モバイル装置などのうちの１つまたは複数を含んでよい。いくつかの実施形態において、ステップ６５０の前に、システムは表示装置の仕様に基づいて組み合わせた画像をさらに調整する場合がある。例えば仮想現実表示装置の場合、システムは、装置に対応付けられた歪み及びゆがみに対して調整されてよい。

いくつかの実施形態において、ステップ６１０〜６５０は、閲覧者がコンテンツアイテムを閲覧する際、継続的に繰り返されてよい。いくつかの実施形態において、ステップ６１０においてユーザの焦点領域を予測するために選択された閲覧者のプロフィールは、コンテンツアイテムを閲覧している間、任意の数の時間の長さを変更する場合がある。いくつかの実施形態において、ステップ６１０において予測された焦点領域に基づいて、コンテンツアイテムの高ビットレートバージョンの異なる部分がステップ６３０において取り出され、経時的にステップ６４０において低ビットレートバージョンと組み合わされてよい。いくつかの実施形態において、ステップ６２０は、ステップ６１０及びステップ６３０と独立して行われてよい。

いくつかの実施形態において、システムは、閲覧者の閲覧領域を予測し、ステップ６２０において閲覧者の閲覧領域に基づいて低ビットレートのコンテンツの一部のみを取り出すようにさらに構成されてよい。閲覧者の閲覧領域は、ステップ６１０における焦点領域の予測と同様に、閲覧者のプロフィールに対する閲覧者のマッチングに基づいて予測されてよい。閲覧者の閲覧領域は一般に、ユーザにとって見ることが可能なコンテンツの領域を指してよいが、閲覧者の視野における焦点である場合、または焦点ではない場合がある。

いくつかの実施形態において、上記に記載した実施形態、方法、手法及び／または技術のうちの１つまたは複数は、プロセッサベースの装置またはシステムによって実行可能な１つまたは複数のコンピュータプログラムまたはソフトウェアアプリケーションにおいて実施されてよい。一例として、そのようなプロセッサベースの装置またはシステムは、コンピュータ、エンターテイメントシステム、ゲームコンソール、ワークステーション、グラフィックワークステーション、サーバ、クライアント、携帯型装置、パッド式装置などを含んでよい。そのようなコンピュータプログラム（複数可）は、上記に記載した方法及び／または技術の様々なステップ及び／または特徴を実行するために使用されてよい。すなわち、コンピュータプログラム（複数可）は、プロセッサベースの装置またはシステムに上記に記載した機能を実行し、達成させる、またはプロセッサベースの装置またはシステムを上記に記載した機能を実行し、達成するように構成するように適合されてよい。例えばそのようなコンピュータプログラム（複数可）は、上記に記載した方法、ステップ技術または特徴の任意の実施形態を実施するために使用されてよい。別の例として、そのようなコンピュータプログラム（複数可）は、上記に記載した実施形態、方法、手法及び／または技術のうちの任意の１つまたは複数を利用する任意のタイプのツールまたは同様のユーティリティを実装するために使用される場合もある。いくつかの実施形態において、上記に記載した方法及び／または技術の様々なステップ及び／または特徴を実行するために、コンピュータプログラム（複数可）内の、またはコンピュータプログラム（複数可）を持たないプログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどが使用されてよい。いくつかの実施形態において、コンピュータプログラム（複数可）は、コンピュータ可読記憶装置、もしくは１つまたは複数の記録媒体、例えば本明細書に記載されるコンピュータ可読記憶装置もしくは１つまたは複数の記録媒体に格納される、またはそこに取り込まれてよい。

したがっていくつかの実施形態において、本発明は、コンピュータへの入力のためにコンピュータプログラムを取り込むための媒体と、コンピュータに、本明細書に記載される実施形態、方法、手法及び／または技術のうちの任意の１つまたは複数に含まれるステップのうちの任意の１つまたは複数を含むステップを実施させる、または実行させるために、媒体に取り込まれたコンピュータプログラムとを備えるコンピュータプログラム製品を提供する。例えばいくつかの実施形態において、本発明は、再生装置を介して閲覧者にコンテンツを提示することと、再生装置に結合された注視追跡装置によって閲覧者の注視経路を追跡することと、閲覧者の注視経路に基づいて閲覧者のプロフィールのデータベースに格納された複数の閲覧者のプロフィールから閲覧者のプロフィールを選択することと、閲覧者のプロフィールに基づいて閲覧者のこの先の注視位置を予測することとを含むステップをプロセッサベースの装置またはシステムに実行させるように適合された、またはそのように構成された１つまたは複数のコンピュータプログラムを格納する１つまたは複数の非一時的コンピュータ可読記憶媒体を提供する。

ここに開示される発明は、特有の実施形態及びその用途を利用して説明されてきたが、特許請求の範囲に記載される本発明の範囲から逸脱することなく、多くの修正及び変更が、それに対して当業者によって行われる可能性がある。

Claims (26)

1. 再生装置を介して閲覧者にビデオコンテンツを提示することと、
   前記閲覧者が再生されている前記ビデオコンテンツを閲覧している間、閲覧者プロフィールに基づいて前記閲覧者のこの先の注視位置を予測することと、
   前記この先の注視位置に基づいてサーバから前記ビデオコンテンツの一部を取り出すこととを含み、
   前記閲覧者プロフィールは、前記ビデオコンテンツに対応付けられた見込まれる注視経路を含む、方法。
2. 前記ビデオコンテンツの前記一部は、前記ビデオコンテンツの高ビットレートバージョンの一部を含む、請求項１の方法。
3. 前記この先の注視位置に基づいて前記ビデオコンテンツの前記一部を選択することと、
   前記再生装置において前記ビデオコンテンツの前記一部をバッファに格納することとをさらに含む、請求項１の方法。
4. 前記ビデオコンテンツの前記一部は、前記この先の注視位置と対応付けられた焦点領域に相当する、請求項１の方法。
5. 前記ビデオコンテンツの前記一部は、前記ビデオコンテンツを含む複数のビデオストリームから選択された１つのビデオストリームに相当する、請求項１の方法。
6. 前記この先の注視位置に基づいて追加されるコンテンツに関する挿入位置を決定することをさらに含む、請求項１の方法。
7. 前記閲覧者が前記ビデオコンテンツを閲覧している間、前記閲覧者の注視経路を追跡することと、
   前記閲覧者の前記注視経路に基づいて前記閲覧者プロフィールを選択することとをさらに含む、請求項１の方法。
8. 前記閲覧者プロフィールを選択した後、前記閲覧者のその後の注視経路を追跡することと、
   前記その後の注視経路に基づいて異なる閲覧者プロフィールを選択することとをさらに含む、請求項７の方法。
9. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツを閲覧した複数のユーザの注視経路に基づいて生成された１つまたは複数の閲覧者プロフィールを含む、請求項１から８のいずれか一項の方法。
10. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツの製作後のプロセス中に生じた１つまたは複数のデフォルトの閲覧者プロフィールを含む、請求項１から８のいずれか一項の方法。
11. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツ内の１つまたは複数のオブジェクトの動きの追跡に基づいて生成された１つまたは複数の閲覧者プロフィールを含む、請求項１から８のいずれか一項の方法。
12. 閲覧者プロフィールデータベースと、
    通信装置と、
    前記閲覧者プロフィールデータベース及び前記通信装置と結合されたプロセッサとを備え、前記プロセッサは、
    前記通信装置に結合された再生装置を介して閲覧者にビデオコンテンツを提示し、
    前記閲覧者が再生されている前記ビデオコンテンツを閲覧している間、前記閲覧者プロフィールデータベースから取り出された閲覧者プロフィールに基づいて前記閲覧者のこの先の注視位置を予測し、
    前記この先の注視位置に基づいてサーバから前記ビデオコンテンツの一部を取り出すように構成され、
    前記閲覧者プロフィールは、前記ビデオコンテンツに対応付けられた見込まれる注視経路を含む、システム。
13. 前記ビデオコンテンツの前記一部は、前記ビデオコンテンツの高ビットレートバージョンの一部を含む、請求項１２のシステム。
14. 前記プロセッサは、
    前記この先の注視位置に基づいて前記ビデオコンテンツの前記一部を選択し、
    前記再生装置において前記ビデオコンテンツの前記一部をバッファに格納するようにさらに構成される、請求項１２のシステム。
15. 前記ビデオコンテンツの前記一部は、前記この先の注視位置と対応付けられた焦点領域に相当する、請求項１２のシステム。
16. 前記ビデオコンテンツの前記一部は、前記ビデオコンテンツを含む複数のビデオストリームから選択された１つのビデオストリームに相当する、請求項１２のシステム。
17. 前記プロセッサは、
    前記この先の注視位置に基づいて追加されるコンテンツに関する挿入位置を決定するようにさらに構成される、請求項１２のシステム。
18. 前記プロセッサは、
    前記閲覧者が前記ビデオコンテンツを閲覧している間、前記閲覧者の注視経路を追跡し、
    前記閲覧者の前記注視経路に基づいて前記閲覧者プロフィールを選択するようにさらに構成される、請求項１２のシステム。
19. 前記プロセッサは、
    前記閲覧者プロフィールを選択した後、前記閲覧者のその後の注視経路を追跡し、
    前記その後の注視経路に基づいて異なる閲覧者プロフィールを選択するようにさらに構成される、請求項１８のシステム。
20. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツを閲覧した複数のユーザの注視経路に基づいて生成された１つまたは複数の閲覧者プロフィールを含む、請求項１２から１９のいずれか一項のシステム。
21. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツの製作後のプロセス中に生じた１つまたは複数のデフォルトの閲覧者プロフィールを含む、請求項１２から１９のいずれか一項のシステム。
22. 前記閲覧者プロフィールは、複数の閲覧者プロフィールから選択され、前記複数の閲覧者プロフィールは、前記ビデオコンテンツ内の１つまたは複数のオブジェクトの動きの追跡に基づいて生成された１つまたは複数の閲覧者プロフィールを含む、請求項１２から１９のいずれか一項のシステム。
23. プロセッサベースのシステムに、
    再生装置を介して閲覧者にビデオコンテンツを提示することと、
    前記閲覧者が再生されている前記ビデオコンテンツを閲覧している間、閲覧者プロフィールに基づいて前記閲覧者のこの先の注視位置を予測することと、
    前記この先の注視位置に基づいてサーバから前記ビデオコンテンツの一部を取り出すこととを含み、
    前記閲覧者プロフィールは、前記ビデオコンテンツに対応付けられた見込まれる注視経路を含む、ステップを実行させるように構成された１つまたは複数のコンピュータプログラムを格納する非一時的コンピュータ可読記憶媒体。
24. 表示装置と、
    通信装置と、
    前記表示装置及び前記通信装置に結合されたプロセッサとを備え、
    前記プロセッサは、
    前記表示装置を介して閲覧者にビデオコンテンツを提示し、
    前記閲覧者が再生されている前記ビデオコンテンツを閲覧している間、閲覧者プロフィールに基づいて前記閲覧者のこの先の注視位置を予測し、
    前記通信装置によって、前記この先の注視位置に基づいてサーバから前記ビデオコンテンツの一部を取り出すように構成され、
    前記閲覧者プロフィールは、前記ビデオコンテンツに対応付けられた見込まれる注視経路を含む、システム。
25. 前記プロセッサに結合された注視追跡装置をさらに含み、
    前記プロセッサは、
    前記注視追跡装置によって前記閲覧者の注視経路を追跡し、
    前記閲覧者の前記注視経路に基づいて前記閲覧者プロフィールを選択するようにさらに構成される、請求項２４のシステム。
26. 前記閲覧者プロフィールは、閲覧者プロフィールデータベースに格納された複数の閲覧者プロフィールから選択される、請求項２４または２５のシステム。

Images