JP2024518243A - 没入型視聴体験 - Google Patents

Abstract

本開示は、ユーザが視覚化できるよりも大きな画像を記録する方法を開示する。そして、ヘッドトラッキングとアイトラッキングによってユーザが自然に見ることができるようにし、あたかもその場にいる人がリアルタイムで見ているかのようにシーンを見たり検査したりできるようにする。ユーザの視聴パラメータを分析し、カスタマイズされた画像をストリーミング表示するスマートなシステムもここで教示される。

Description

本開示の側面は、一般的に仕事の分配の使用に関する。
関連出願の相互参照

本出願は、２０２１年２月２８日に出願された米国特許出願１７／１８７，８２８の一部継続出願である、２０２１年４月７日に出願された米国特許出願１７／２２５，６１０の一部継続出願である、２０２１年４月２２日に出願された米国特許出願１７／２３７，１５２のＰＣＴである。

映画はエンターテイメントの一形態である。

本明細書に記載されているすべての例、態様及び特徴は、技術的に考えられるあらゆる方法で組み合わせることができる。本開示は、没入型視聴体験のための方法、ソフトウェア、装置に関する。

一般に、本開示は、２０２１年４月７日に出願された米国特許出願１７／２２５，６１０で教示された技術を改良したものであり、その全体が参照により組み込まれる。米国特許出願１７／２２５，６１０に記載されている装置の中には、非常に大きなデータセットを生成する機能を持つものがある。本開示は、このような非常に大きなデータセットの表示を改善した。

本開示は、改善された没入型視聴体験を実現するためのシステム、方法、装置及びソフトウェアを開示する。まず、ユーザの視聴パラメータをクラウドにアップロードし、当該クラウドが画像（好ましい実施形態では、極めて大規模なデータセットである）を保存する。視聴パラメータには、任意の動作、ジェスチャー、体位、視線角度、視線の収束／輻輳、又は入力（例えば、グラフィカルユーザインターフェースを介したもの）を含めることができる。したがって、ほぼリアルタイムで、ユーザの視聴パラメータが（例えば、視線カメラやジェスチャーを記録するカメラなど、さまざまな装置によって）特徴付けられ、クラウドに送信される。第２に、画像からユーザ固有の画像のセットが最適化され、ユーザ固有の画像は少なくとも視聴パラメータに基づく。好ましい実施形態では、ユーザ固有の画像の視野は、画像よりも小さい。好ましい実施形態では、ユーザが見ている場所は高分解能になり、ユーザが見ていない場所は低分解能になる。例えば、ユーザが左側の被写体を見ている場合、ユーザ固有の画像は左側の分解能が高くなる。いくつかの実施形態では、ユーザ固有の画像がほぼリアルタイムでストリーミングされる。

いくつかの実施形態では、ユーザ固有の画像は、第１の空間分解能を有する第１の部分と、第２の空間分解能を有する第２の部分とを含み、第１の空間分解能は、第２の空間分解能よりも高い。いくつかの実施形態は、視認パラメータが視認位置を含み、視認位置が第１の部分に対応する。

いくつかの実施形態は、ユーザ固有の画像が、第１のズーム設定を有する第１の部分と、第２のズーム設定を有する第２の部分とを含み、第１のズーム設定が第２のズーム設定よりも高い。いくつかの実施形態は、第１の部分が、視聴パラメータによって決定され、視聴パラメータが、ユーザの身体の位置、ユーザの身体の向き、ユーザの手のジェスチャー、ユーザの顔の表情、ユーザの頭の位置、及びユーザの頭の向きからなる群から選択される少なくとも１つを含む。いくつかの実施形態は、第１の部分が、マウス又はコントローラなどのグラフィカルユーザインターフェースによって決定されることを含む。

いくつかの実施形態は、画像が第１の視野（ＦＯＶ）を含み、ユーザ固有の画像が第２の視野を含み、第１のＦＯＶが第２のＦＯＶよりも大きい。

いくつかの実施形態は、画像が立体画像を含み、立体画像が、立体カメラ又は立体カメラクラスタを介して取得される。

いくつかの実施形態は、画像がスティッチングされた画像を含み、スティッチングされた画像が少なくとも２つのカメラによって生成される。

いくつかの実施形態は、画像が合成画像を含み、合成画像が、第１のカメラ設定セットを用いてシーンの第１の画像を撮影するステップであって、第１のカメラ設定セットにより、第１の被写体に焦点が合い、第２の被写体に焦点が合わなくなるステップと、第２のカメラ設定でシーンの第２の画像を撮影するステップであって、第２のカメラ設定で第２の物体に焦点を合わせ、第１の物体を焦点から外すステップによって生成される。幾つかの実施形態は、ユーザが第１の被写体を見ると、第１の画像がユーザに提示され、ユーザが第２の被写体を見ると、第２の画像が前記ユーザに提示される。いくつかの実施形態は、少なくとも第１の画像からの第１の被写体と第２の画像からの第２の被写体とを合成画像に合成することを含む。

いくつかの実施形態では、手ぶれ補正が実行される。いくつかの実施形態は、視聴パラメータが収束を含む。いくつかの実施形態は、ユーザ固有の画像が３Ｄ画像であり、３Ｄ画像がＨＤＵ、アナグリフメガネのセット、又は偏光メガネのセットで提示される。

いくつかの実施形態は、ユーザ固有の画像が、ユーザが少なくとも０．５πステラジアン視野を有するディスプレイ上でユーザに提示されることを含む。

いくつかの実施形態では、ユーザ固有の画像がディスプレイ上に提示される。いくつかの実施形態では、ディスプレイはスクリーン（例えば、テレビ、プロジェクターシステムと結合された反射スクリーン、拡張現実ディスプレイ、仮想現実ディスプレイ、又は複合現実ディスプレイを含む拡張現実ヘッドディスプレイユニット）である。

図１は、立体画像のレトロスペクティブ表示を示す。 図２は、所与の時点について、どのステレオペアをユーザに表示するかを決定する方法を示す。 図３は、ＨＤＵにビデオ録画を表示することを示す図である。 図４は、ユーザ１が行った録画済みのステレオ視聴を示す。 図５は、立体カメラクラスタを用いて遠距離の対象物を立体撮像することを示す。 図６は、立体合成画像の生成により、ユーザの視線追跡に基づいて最良の画像になるように画像を取得後に調整する機能を示している。 図７（Ａ）は、動きのある画像と手ぶれ補正処理の適用とを示す図である。図７（Ｂ）は、ＨＤＵに表示された動きのある画像を示す。図７（Ｃ）は、立体視画像を用いて画像に適用される手ぶれ補正を示す。 図８（Ａ）は、第１のカメラ設定による左画像と右画像とを示す。図８（Ｂ）は、第２のカメラ設定による左画像と右画像とを示す。 図９（Ａ）は、ある時点におけるシーンの収集された全データの上面図を示す。図９（Ｂ）は、ビデオ録画の表示された広角２Ｄ画像フレームを示す。図９（Ｃ）は、ユーザＡの視野角－７０°、ＦＯＶ５５°の上面図を示す。図９（Ｄ）は、ユーザＡの視野角が－７０°でＦＯＶが５５°の場合、ユーザＡが何を見るかを示している。図９（Ｅ）は、ユーザＢの視野角＋５０°、ＦＯＶ８５°の上面図を示す。図９（Ｆ）は、ユーザＢの視野角が＋５０°、ＦＯＶが８５°の場合、ユーザＢが何を見るかを示している。 図１０（Ａ）は、左カメラによって第１の時点で撮像された視野を示す。図１０（Ｂ）は、右のカメラによって第１の時点で撮像された視野を示す。図１０（Ｃ）は、所与の時点における第１のユーザのパーソナライズされた視野（ＦＯＶ）を示す。図１０（Ｄ）は、ある時点における第２のユーザのパーソナライズされた視野（ＦＯＶ）を示す。図１０（Ｅ）は、ある時点における第３のユーザのパーソナライズされた視野（ＦＯＶ）を示す。図１０（Ｆ）は、ある時点における第４のユーザのパーソナライズされた視野（ＦＯＶ）を示す。 図１１（Ａ）は、第１のユーザの左目視界の上面図を示す。図１１（Ｂ）は、左眼と右眼とに近接する収束点がある第１のユーザの左眼視界の上面図を示す。図１１（Ｃ）は、収束のない時点１における左目の視界を示す。図１１（Ｄ）は、収束のある時点２での左目の視界を示す。 図１２は、以前に取得された広角ステレオ画像からの様々な立体画像の再構成を示す。 図１３（Ａ）は、ホームシアターの上面図である。図１３（Ｂ）は、図１３（Ａ）に示すホームシアターの側面図である。 図１４（Ａ）は、ホームシアターの上面図である。図１４（Ｂ）は、図１４（Ａ）に示すホームシアターの側面図である。 図１５（Ａ）は、時点＃１においてユーザが真正面を向いている、球形に近いテレビを示す。図１５（Ｂ）は、時点＃１においてユーザが観察しているテレビの部分と視野とを示す。図１５（Ｃ）は、時点＃２においてユーザが真正面を向いている、球形に近いテレビを示す。図１５（Ｄ）は、時点＃２においてユーザが観察しているテレビの部分と視野とを示す。図１５（Ｅ）は、時点＃３においてユーザが真正面を向いている、球形に近いテレビを示す。図１５（Ｆ）は、時点＃３においてユーザが観察しているテレビの部分と視野とを示す。 図１６（Ａ）は、ズームされていない画像を示す。図１６（Ｂ）は、画像の一部をデジタル式にズームインした図である。 図１７（Ａ）は、ズームされていない画像を示す。図１７（Ｂ）は、画像の一部の光学式ズームインを示す。 図１８（Ａ）は、単一分解能の画像を示す。図１８（Ｂ）は、多重分解能画像を示す。 図１９（Ａ）は、第１のユーザが画像の第１の部分を見ており、第２のユーザが画像の第２の部分を見ている、大きな視野を示す図である。図１９（Ｂ）は、図１９（Ａ）の画像の第１の部分のみと、図１９（Ａ）の画像の第２の部分とが高分解能であり、画像の残りの部分が低分解能であることを示す。 図２０（Ａ）は、低分解能の画像を示す。図２０（Ｂ）は、高分解能画像を示す。図２０（Ｃ）は合成画像を示す。 図２１は、カスタマイズされた画像のほぼリアルタイムストリーミングを実行するための方法及びプロセスを示す。 図２２（Ａ）は、第１のカメラの位置が不明である場合に、立体カメラと組み合わせて切除を使用することを示す。図２２（Ｂ）は、物体の位置が不明な場合に、立体カメラと組み合わせて切除を使用することを示す。 図２３（Ａ）は、ホームシアターのスクリーンの中央を前方から見ている人の上面図を示す。図２３（Ｂ）は、ホームシアターのスクリーンの右側を前方から見ている人の上面図を示す。 図２４は、移動中の画像取得中に立体視カメラ設定を最適化するための方法、システム及び装置を示す。

フロー図は、特定のプログラミング言語のシンタックスを描いたものではない。むしろ、フロー図は、当業者が本発明に従って必要な処理を実行するために回路を作製したり、コンピュータソフトウェアを生成したりするために必要な機能情報を示す。なお、ループ及び変数の初期化、一時変数の使用など、多くの日常的なプログラム要素が示されていない。本明細書において特に指示しない限り、記載された特定の工程の順序は例示に過ぎず、本発明の精神から逸脱することなく変更可能であることは、当業者には理解されよう。したがって、特に断りのない限り、以下に説明するステップは順不同であり、可能であれば、ステップを都合のよい又は望ましい順序で実行できることを意味する。

図１は、立体画像のレトロスペクティブ表示を示す。１００は、ステップＡを示しており、これは、視聴者が時点ｎで見ている位置（例えば、（αｎ，βｎ，ｒｎ）座標）を決定することである。注１：この位置は、近位、中位、遠位の収束点となりうる。注２：立体映像のコレクションが収集され、記録されている。ステップＡは、収集プロセスに続いて行われ、ユーザによる視聴中のその後のある時間帯に行われる。１０１は、時点ｎの位置（例えば、（αｎ、βｎ、ｒｎ）座標）に対応するＦＯＶｎを決定するステップＢを示す。注：ユーザはＦＯＶを選択するオプションを有する）。１０２はステップＣを示しており、左目のＦＯＶに対応するカメラを選択し、追加画像処理（例えば、合成画像の使用、輻輳ゾーンの使用）を実行して、時点ｎ（ＰＬＥＩｎ）でパーソナライズされた左目画像を生成する。１０３はステップＤを示しており、これは右目のＦＯＶに対応するカメラを選択し、追加画像処理（例えば、合成画像の使用、輻輳ゾーンの使用）を実行し、時点ｎ（ＰＲＥＩｎ）でパーソナライズされた右目画像を生成するオプションである。１０４はステップＥを示しており、ＨＤＵの左目ディスプレイにＰＬＥＩｎを表示する。１０５はステップＦを示しており、ＨＤＵの右目ディスプレイにＰＲＥＩｎを表示する。１０６はステップＧを示しており、これは時間ステップをｎ＋１に増やし、上記のステップＡに進む。

図２は、所与の時点について、どのステレオペアをユーザに表示するかを決定する方法を示す。２００は、どの立体画像をユーザに表示するかを決定するために、ユーザのパラメータを分析するテキストボックスを示す。第一に、ユーザの頭の方向を用いる。例えば、ユーザの頭が前方に向いている場合、第１のステレオペアを用い、ユーザの頭が左方に向いている場合、第２のステレオペアを用いることができる。第二に、ユーザの視線の角度を利用する。例えば、ユーザが遠くの物体（例えば遠くの山）を見ている場合、その時点では遠くの（例えばゾーン３）ステレオ画像ペアが選択される。第三に、ユーザの収束を用いる。例えば、近くの物体（木の葉など）の視線方向と遠くの物体（遠くの山など）の視線方向とが極端に似ている場合、収束角と視野角とを組み合わせて使用するオプションがある。第四に、ユーザの目の調節を利用する。例えば、ユーザの瞳孔の大きさをモニターし、その大きさの変化を利用して、ユーザがどこ（近く／遠く）を見ているかを示す。

図３は、ＨＤＵにビデオ録画を表示することを示している。３００は座標系の確立を示す。例えば、カメラ座標を原点とし、カメラのポインティング方向を軸として用いる。この点については、米国特許出願１７／２２５，６１０に詳しく述べられており、参照することによりその全体が組み込まれる。３０１は、シーンを広角で記録することを示す。例えば、ユーザに見せるＦＯＶよりも大きなＦＯＶでデータを記録する）。３０２は、図２で説明したように、ユーザがシーンのどこを見ているかを判断するために、ユーザの分析を実行することを示す。３０３は、３０２の分析に基づいて表示を最適化することを示す。いくつかの実施形態では、物理被写体の特徴（例えば、位置、サイズ、形状、向き、色、明るさ、テクスチャ、ＡＩアルゴリズムによる分類）が、仮想被写体の特徴（例えば、位置、サイズ、形状、向き、色、明るさ、テクスチャ）を決定する。例えば、ユーザが家の中の部屋で複合現実ディスプレイを使用していて、部屋の一部の領域（例えば、昼間の窓）が明るく、部屋の一部の領域が暗い（例えば、濃い青色の壁）。いくつかの実施形態では、仮想被写体の配置位置は、部屋内の被写体の位置に基づいている。例えば、背景が紺色の壁の場合、仮想被写体を目立たせるために白に着色することができる。例えば、背景が白い壁の場合、仮想被写体を青く着色して目立たせることができる。例えば、仮想被写体は、その背景がユーザにとって最適な視聴体験となるように表示されるように位置決め（又は再配置）され得る。

図４は、ユーザ１が行った録画済みのステレオ視聴を示す。４００は、ステレオカメラシステム（スマートフォンなど）を使ってステレオ録画を行うユーザ１を示す。この点については、米国特許出願１７／２２５，６１０に詳しく述べられており、参照することによりその全体が組み込まれる。４０１はステレオ録音がメモリ装置に保存されることを示す。４０２は、ユーザ（例えば、ユーザ１又は他のユーザ）が保存されたステレオ録音を取得することを示す。なお、ステレオ録音が他のユーザに送信され、他のユーザが保存されたステレオ録音を受信する。４０３は、ステレオディスプレイユニット（例えば、拡張現実、複合現実、バーチャルリアリティディスプレイ）上で保存されたステレオレコーディングを視聴するユーザ（例えば、ユーザ１又は他のユーザ）を示す。

図５は、立体カメラクラスタを用いて、遠距離の対象物を長範囲立体撮像することを示す。５００は、２つのカメラクラスタを少なくとも５０フィート離して配置している。５０１は少なくとも１マイル離れた目標を選択する。５０２は、焦点の中心線が目標で交差するように、各カメラクラスタを正確に照準することを示す。５０３は、目標の立体画像を取得することを示す。５０４は、取得した立体画像の視聴及び／又は分析を示す。いくつかの実施形態では、カメラクラスタではなく、望遠レンズを備えたカメラを使用する。また、いくつかの実施形態では、１マイル未満の距離で最適化された視聴のために、５０フィート以下のステレオ分離を有する。

図６は、立体合成画像の生成により、ユーザの視線追跡に基づいて最良の画像になるように画像を取得後に調整する機能を示す。この時点で表示される立体画像には、現場を観察している人が興味を持ちそうな被写体がいくつかある。こうして、各時点で、少なくとも１人のユーザの入力に一致する立体合成画像が生成される。例えば、第１の時点において、ユーザが山６００又は雲６０１を見ている（視線追跡により視線位置を決定している）場合、ＨＤＵに配信される立体合成画像ペアは、山６００又は雲６０１の遠方の被写体に焦点が合い、鹿６０３及び花６０２を含む近傍の被写体に焦点が合わないように生成される。ユーザが鹿６０３を見ていた場合（視線追跡で視聴位置を決定）、このフレームで提示される立体合成画像は中距離用に最適化される。最後に、ユーザが近くの花６０３を見ている（視線追跡で見る位置を決定している）場合、立体合成画像は近距離用に最適化される（例えば、収束を実装し、鹿６０３、山６００、雲６０１などの遠くのアイテムをぼかす）。さまざまなユーザ入力を使って、立体合成画像を最適化する方法をソフトウェアスイートに指示することができる。目を細めるようなジェスチャーは、より遠くの物体に対して立体合成画像を最適化するために使用できる。前傾姿勢のようなジェスチャーを使えば、遠くの対象物にズームインできる。また、没入感のある視聴体験を向上させるためにＧＵＩを使用することもできる。

図７（Ａ）は、動きのある画像と手ぶれ補正処理の適用とを示す図である。７００Ａは、物体の縁部をぼかす動きがある物体の左目画像を示す。７０１Ａは、手ぶれ補正処理が施された被写体の左目画像を示す。

図７（Ｂ）は、ＨＤＵに表示された動きのある画像を示す。７０２はＨＤＵを示す。７００Ａは、物体の縁部をぼかす動きがある物体の左目画像を示す。７００Ｂは、物体の縁部をぼかす動きがある物体の右目画像を示す。７０１Ａは、ユーザの左目に合わせた左目用ディスプレイを示す。７０１Ｂは、ユーザの右目に合わせた右目用ディスプレイを示す。

図７（Ｃ）は、立体画像を使用して画像に適用される手ぶれ補正を示す。画像処理の重要なタスクは、立体画像を使った手ぶれ補正である。７００Ａは、手ぶれ補正処理が施された被写体の左目画像を示す。７００Ｂは、手ぶれ補正処理が施された被写体の左目画像を示す。７０１Ａは、ユーザの左目に合わせた左目用ディスプレイを示す。７０１Ｂは右目用ディスプレイを示し、ユーザの右目に合わせて表示される。７０２はＨＤＵを説明する。

図８（Ａ）は、第１のカメラ設定による左画像と右画像とを示す。なお、モニター上の文字には焦点が合っており、キャビネット上のノブという遠くの被写体には焦点が合っていない。

図８（Ｂ）は、第２のカメラ設定による左画像と右画像とを示す。なお、モニター上の文字には焦点が合っておらず、遠くのキャビネットのノブには焦点が合っている。新規な点は、少なくとも２台のカメラを使用していることである。第１のカメラからの第１の画像が得られる。第２のカメラからの第２の画像が得られる。第１のカメラと第２のカメラとは同じ視点にある。また、それらはシーンのものである（例えば、静止したシーン又は動き／変化のあるシーンの同じ時点）。合成画像が生成され、合成画像の第１の部分が第１の画像から得られ、合成画像の第２の部分が第２の画像から得られる。なお、いくつかの実施形態では、第１の画像内の被写体をセグメント化し、第２の画像内の同じ被写体もセグメント化することができる。被写体の第１の画像と被写体の第２の画像とを比較して、どちらが画質が良いかを見ることができる。より画質の良い画像を合成画像に加えることができる。しかし、いくつかの実施形態では、クリアでない部分を意図的に選択することができる。

図９（Ａ）は、ある時点におけるシーンの収集された全データの上面図を示す。

図９（Ｂ）は、ビデオ録画の表示された広角２Ｄ画像フレームを示す。なお、この全視野をユーザに表示すると、ユーザの固有ＦＯＶ（人間の目のＦＯＶ）とカメラシステムのＦＯＶとが不一致になるため、歪んで表示されることになる。

図９（Ｃ）は、ユーザＡの視野角－７０°、ＦＯＶ５５°の上面図を示す。新規な点は、ユーザが立体映像の一部を視野角で選択できることである。なお、選択された部分は現実的には－１８０°まで可能だが、それ以上にはならない。

図９（Ｄ）は、ユーザＡの視野角が－７０°、ＦＯＶが５５°の場合、ユーザＡが何を見るかを示している。これにより、異なる視聴者が視野の異なる部分を見ることができるため、先行技術よりも改善される。人間の水平視野は１８０度をわずかに超えるが、人間が文字を読めるのは視野の約１０度超、形状を判断できるのは視野の約３０度超、色を判断できるのは視野の約６０度超である。いくつかの実施形態では、フィルタリング（減算）が実行される。人間の垂直方向の視野は約１２０度、上方（水平より上）の視野は約５０度、下方（水平より下）の視野は約７０度である。しかし、眼球の最大回旋角度は、水平より約２５度上、水平より約３０度下に制限されている。通常、座った状態からの通常の視線は、水平より約１５度下にある。

図９（Ｅ）は、ユーザＢの視野角＋５０°、ＦＯＶ８５°の上面図を示す。新規な点は、ユーザが立体映像の一部を視野角で選択できることである。なお、また、ユーザＢのＦＯＶはユーザＡのＦＯＶよりも大きい。なお、選択された部分は、現実的には－１８０°まで可能であるが、人間の目の限界のため、それ以上にはならない。

図９（Ｆ）は、ユーザＢの視野角が＋５０°、ＦＯＶが８５°の場合、ユーザＢが何を見るかを示す。これにより、異なる視聴者が視野の異なる部分を見ることができるため、先行技術よりも改善される。いくつかの実施形態では、複数のカメラが２４０°フィルム用に記録されている。一実施形態では、同時録画用に４台のカメラ（それぞれ６０°のセクターを持つ）を使用する。別の実施形態では、セクタは順次撮影される。映画のあるシーンは順次撮影され、他のシーンは同時に撮影される。いくつかの実施形態では、画像のつなぎ合わせのために重複してカメラのセットを使用することができる。いくつかの実施形態は、参照によりその全体が組み込まれる米国特許出願１７／２２５，６１０に記載されているカメラボールシステムを使用することを含む。映像が記録された後、カメラからの映像はシーンを同期させ、つなぎ合わせるために編集される。ＬＩＤＡＲ装置は、正確なカメラ方向指示のためにカメラシステムに統合することができる。

図１０（Ａ）は、左カメラによって第１の時点で撮像された視野を示す。左カメラ１０００と右カメラ１００１とを示す。左のＦＯＶ１００２は白い領域で示され、約２１５°で、＋９０°から－１３５°の範囲のαを有する（反時計回りに＋９０°から－１３５°まで掃引）。左ＦＯＶ１００３内の撮像されない領域は約１３５°であり、＋９０°から－１３５°の範囲のαを有する（時計回りに＋９０°から－１３５°まで掃引）。

図１０（Ｂ）は、右のカメラによって第１の時点で撮像された視野を示す。左カメラ１０００と右カメラ１００１とが示される。右のＦＯＶ１００４は白い領域で示されており、約２１５°で、＋１３５°から－９０°の範囲のαを有する（反時計回りに＋１３５°から－９０°まで掃引）。右ＦＯＶ１００５内に撮像されない領域は約１３５°であり、＋１３５°から－９０°の範囲のαを有する（反時計回りに＋１３５°から－９０°まで掃引）。

図１０（Ｃ）は、所与の時点における第１のユーザのパーソナライズされた視野（ＦＯＶ）を示す。１０００は左のカメラを示す。１００１は右のカメラを示す。１００６ａは、第１のユーザの左目ＦＯＶの左境界を示しており、薄い灰色で示される。１００７ａは、第１のユーザの左目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１００８ａは、第１のユーザの右目ＦＯＶの左境界を示しており、薄い灰色で示される。１００９ａは、第１のユーザの右目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１０１０ａは、第１のユーザの左目ＦＯＶの中心線を示す。１０１１ａは、第１のユーザの右目ＦＯＶの中心線を示す。なお、第１のユーザの左眼ＦＯＶ１０１０ａの中心線と第１のユーザの右眼ＦＯＶ１０１１ａの中心線とは平行であり、無限遠に収束点があることと等価である。なお、第１のユーザは前方方向を見ている。動きのあるシーンの撮影では、ほとんどのアクションがこの前方を見ている方向で起こることが示唆されている。

図１０（Ｄ）は、ある時点における第２のユーザの個人化された視野（ＦＯＶ）を示す。１０００は左のカメラを示す。１００１は右のカメラを示す。１００６ｂは、第２のユーザの左目ＦＯＶの左境界を示しており、薄い灰色で示される。１００７ｂは、第２のユーザの左目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１００８ｂは、第２のユーザの右目ＦＯＶの左境界を示しており、薄い灰色で示される。１００９ｂは、第２のユーザの右目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１０１０ｂは、第２のユーザの左目ＦＯＶの中心線を示す。１０１１ｂは、第２のユーザの右目ＦＯＶの中心線を示している。なお、第２のユーザの左目ＦＯＶ１０１０ｂの中心線と第２のユーザの右目ＦＯＶ１０１１ｂの中心線とは、収束点１０１２で合流している。これにより、第２のユーザは小さな対象物をより詳細に見ることができる。なお、第２のユーザは前方を見ている。動きのあるシーンの撮影では、ほとんどのアクションがこの前方を見ている方向で起こることが示唆される。

図１０（Ｅ）は、ある時点における第３のユーザのパーソナライズされた視野（ＦＯＶ）を示す図である。１０００は左のカメラを示す。１００１は右のカメラを示す。１００６ｃは、第３のユーザの左目ＦＯＶの左境界を示しており、薄い灰色で示される。１００７ｃは、第３のユーザの左目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１００８ｃは、第３のユーザの右目ＦＯＶの左境界を示しており、薄い灰色で示される。１００９ｃは、第３のユーザの右目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１０１０ｃは、第３のユーザの左目ＦＯＶの中心線を示す。１０１１ｃは、第３のユーザの右目ＦＯＶの中心線を示す。なお、第３のユーザの左目ＦＯＶ１０１０ｃの中心線と第３のユーザの右目ＦＯＶ１０１１ｃの中心線とはほぼ平行であり、非常に遠くを見ていることに相当する。なお、第３のユーザは適度に左方向を見ている。なお、左目用ＦＯＶと右目用ＦＯＶとが重なることで、第３の視聴者に立体視が提供される。

図１０（Ｆ）は、ある時点における第４のユーザのパーソナライズされた視野（ＦＯＶ）を示す図である。１０００は左のカメラを示す。１００１は右のカメラを示す。１００６ｄは、第４のユーザの左目ＦＯＶの左境界を示しており、薄い灰色で示される。１１０７ｄは、第４のユーザの左目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１００８ｄは、第４のユーザの右目ＦＯＶの左境界を示しており、薄い灰色で示される。１００９ｄは、第４のユーザの右目ＦＯＶの右側の境界を示しており、薄い灰色で示される。１０１０ｄは、第４のユーザの左目ＦＯＶの中心線を示す。１０１１ｄは、第４のユーザの右目ＦＯＶの中心線を示す。なお、第４のユーザの左目ＦＯＶ１０１０ｄの中心線と第４のユーザの右目ＦＯＶ１０１１ｄの中心線とはほぼ平行であり、非常に遠くを見ていることに相当する。なお、第４のユーザは左方向を見ている。なお、第１のユーザ、第２のユーザ、第３のユーザ及び第４のユーザは、すべて同じ時点で異なる映像を見ている。なお、カメラクラスタ又はボールシステムなど、いくつかの設計は、以下に説明する。

図１１（Ａ）は、時点１における第１のユーザの左目視界の上面図を示す。１１００は左目の視点を示している。１１０１は右目の視点を示している。１１０２は、どちらのカメラによってもカバーされていない視野（ＦＯＶ）の部分を示している。１１０３は、少なくとも１つのカメラによってカバーされるＦＯＶの部分を示す。１１０４Ａは、ユーザが使用する高分解能ＦＯＶの内側部分を示しており、α＝＋２５°に相当する。この点については、米国特許出願１７／２２５，６１０に詳しく述べられており、参照することによりその全体が組み込まれる。

１１０５Ａは、ユーザが使用する高分解能ＦＯＶの側方部分を示しており、これはα＝－２５°に対応する。

図１１（Ｂ）は、左眼と右眼とに近接する収束点がある第１のユーザの左眼視界の上面図を示す。１１００は左目の視点を示す。

１１０１は右目の視点を示す。１１０２は、どちらのカメラによってもカバーされていない視野（ＦＯＶ）の部分を示す。１１０３は、少なくとも１つのカメラによってカバーされるＦＯＶの部分を示す。１１０４Ｂは、α＝－５°に対応する、ユーザによって使用される高分解能ＦＯＶの中央部分を示す。１１０５Ｂは、α＝＋４５°に対応する、ユーザによって使用される高分解能ＦＯＶの側方部分を示す。

図１１（Ｃ）は、収束のない時点１での左目視界を示す。なお、花１１０６が画像内に示されており、視角α＝０°に沿って位置している。

図１１（Ｄ）は、収束した時点２での左目の視野を示す。なお、花１１０６が画像内に示されており、依然として視角α＝０°に沿って位置している。ただし、この時点でユーザは収束している。この収束動作により、左目の視野は、αが－２５°～２５°の範囲である水平視野（図１１（Ａ）及び１１（Ｃ）に示す）から、αが－５°～＋４５°の範囲に変更される（図１１（Ｂ）及び１１（Ｄ）に示すように）。このシステムは、左（及び右）の視野に従って画像をシフトすることによって立体カメラ上で立体収束を提供するため、従来技術を改良している。いくつかの実施形態では、ディスプレイの一部は最適化されていないが、これは米国特許第１０，７１２，８３７号に記載されており、その全体が参照により組み込まれる。

図１２は、以前に取得された広角ステレオ画像からの様々な立体画像の再構成を示す。１２００は、立体カメラシステムから画像を取得することを示す。このカメラシステムについては、米国特許出願第１７／２２５，６１０号でより詳細に説明されており、その全体が参照により組み込まれる。１２０１は、左眼視点用の第１のカメラと右眼視点用の第２のカメラとが利用されることを示す。１２０２は、左眼の視線角度に基づいて第１のカメラの視野を選択し、右眼の視線角度に基づいて第２のカメラの視野を選択することを示す。好ましい実施形態では、選択は、ユーザの目の動きを追跡する視線追跡システムに基づいてコンピュータ（例えば、ヘッドディスプレイユニットに組み込まれた）によって実行される。なお、また、好ましい実施形態では、収束中に鼻に近いディスプレイ上で画像が内側にシフトすることもあり、これは米国特許第１０，７１２，８３７号、特に図１５（Ａ）、１５（Ｂ）、１６（Ａ）、及び１６（Ｂ）に教示されており、その全体が参照により組み込まれる。１２０３は、左目の視野をユーザの左目に提示し、右目の視野をユーザの右目に提示することを示す。この場合にはさまざまなオプションがある。第一に、左眼画像が少なくとも２つのレンズから生成され（例えば、第一に近接画像用に最適化され、第二に遠方画像用に最適化される）、左眼画像が少なくとも２つのレンズから生成される（例えば、第一に近接画像用に最適化され、第二に遠方画像用に最適化される）。ユーザが近くの物体を見ている場合、近くの物体には焦点が合い、遠くの物体には焦点が合っていない立体画像のペアを表示する。ユーザが遠くの物体を見ている場合、近くの物体には焦点が合っておらず、遠くの物体には焦点が合っている立体画像のペアを表示する。第二に、さまざまな表示装置（拡張現実、仮想現実、複合現実ディスプレイなど）を用いる。

図１３（Ａ）は、ホームシアターの上面図を示す。１３００はユーザを示す。１３０１はプロジェクタを示す。１３０２は画面を示す。なお、この没入型ホームシアターは、ユーザ１３００の視野よりも広い視野を表示する。例えば、ユーザ１３００がまっすぐ前を見ている場合、ホームシアターは１８０度を超える水平ＦＯＶを表示することになる。したがって、ホームシアターのＦＯＶはユーザの水平方向のＦＯＶを完全にカバーする。同様に、ユーザがまっすぐ前を見ている場合、ホームシアターは１２０度を超える垂直方向のＦＯＶを表示する。したがって、ホームシアターのＦＯＶはユーザの垂直方向のＦＯＶを完全にカバーする。ＡＲ／ＶＲ／ＭＲヘッドセットはこのシステムと併用できるが、必須ではない。安価なアナグリフ又は使い捨ての色メガネも使用できる。従来のＩＭＡＸ偏光プロジェクタは、ＩＭＡＸタイプの偏光使い捨てメガネと一緒に利用できる。ホームシアターのサイズは異なる場合がある。ホームシアターの壁は、白い反射パネルとフレームで構築できる。プロジェクタには、より広い視野をカバーするために複数のヘッドを有する。

図１３（Ｂ）は、図１３（Ａ）に示すホームシアターの側面図を示す。１３００はユーザを示す。１３０１はプロジェクタを示す。１３０２は画面を示す。なお、この没入型ホームシアターは、ユーザ１３００の視野よりも広い視野を表示する。例えば、ユーザ１００がリクライニングチェアに座って前を向いている場合、ホームシアターは１２０度を超える垂直方向のＦＯＶを表示することになる。したがって、ホームシアターのＦＯＶは完全にユーザのＦＯＶをカバーするであろう。同様に、もしユーザがまっすぐ前を見ていれば、ホームシアターは１２０度以上の水平のＦＯＶを表示するであろう。したがって、ホームシアターのＦＯＶは完全にユーザのＦＯＶをカバーするであろう。

図１４（Ａ）は、ホームシアターの上面図を示す。１４００Ａは、第１のユーザを示す。１４００Ｂは、第１のユーザを示す。１４０１はプロジェクタを示す。１４０２は画面を示す。なお、この没入型ホームシアターは、第１のユーザ１４００Ａ又は第２のユーザ１４００ＢのＦＯＶよりも大きな視野を表示する。例えば、第１のユーザ１４００Ａが真っ直ぐ前を見ていた場合、第１のユーザ１４００Ａは１８０度を超える水平ＦＯＶを見ることになる。したがって、ホームシアターのＦＯＶはユーザの水平方向のＦＯＶを完全にカバーする。同様に、第１のユーザ１４００Ａが真っ直ぐ前を見ていた場合、ホームシアターは、図１４（Ｂ）に示すように、１２０度を超える垂直ＦＯＶを表示するであろう。したがって、ホームシアターのＦＯＶはユーザの垂直方向のＦＯＶを完全にカバーする。ＡＲ／ＶＲ／ＭＲヘッドセットはこのシステムと併用できるが、必須ではない。安価なアナグリフグラス又は偏光グラスも使用できる。従来のＩＭＡＸ偏光プロジェクタは、ＩＭＡＸタイプの偏光使い捨てメガネと一緒に利用できる。ホームシアターのサイズは異なる場合がありうる。ホームシアターの壁は、白い反射パネルとフレームで構築できる。プロジェクタには、より広い視野をカバーするために複数のヘッドを有する。

図１４（Ｂ）は、図１４（Ａ）に示すホームシアターの側面図を示す。１４００Ａは、第１のユーザを示す。１４０１はプロジェクタを示す。１４０２は画面を示す。なお、この没入型ホームシアターは、第１のユーザ１４００Ａの視野よりも広い視野を表示する。例えば、第１のユーザ１４００Ａがリクライニングチェアに座っているときに前方を向いていた場合、ユーザは１２０度を超える垂直ＦＯＶを見ることになる。したがって、ホームシアターのＦＯＶは、第１のユーザ１４００ＡのＦＯＶを完全にカバーすることになる。同様に、第１のユーザ１４００Ａがまっすぐ前を見ていた場合、ホームシアターは１２０度を超える水平ＦＯＶを表示するであろう。したがって、ホームシアターのＦＯＶは、第１のユーザ１４００ＡのＦＯＶを完全にカバーすることになる。

典型的な高分解能ディスプレイは、１．３７ｍの距離にわたって４０００個のピクセルを有する。これは、１．８７ｍ^２あたり１０×１０^６ピクセルと等価である。半球シアターのデータを考えてみる。半球シアターが半径２メートルを有すると仮定する。半球の表面積は２×π×ｒ^２で、（４）（３．１４）（２２）又は５０．２４ｍ^２に相当する。空間分解能が一般的な高分解能ディスプレイと等しいことが望ましいと仮定すると、これは（５０．２４ｍ^２）（１．８７ｍ^２あたり１０×１０^６ピクセル）、つまり４億２，９００万ピクセルに等しくなる。フレームレートが１秒あたり６０フレームであると仮定する。これは、標準的な４Ｋモニターと比較して２６倍のデータ量である。

いくつかの実施形態は、プロジェクタの幾何学的形状と一致するようにホームシアターを構築することを含む。好ましい実施形態は、準球形（例えば、半球形）である。低コストの構造は、反射面をマルチヘッドプロジェクタとつなぎ合わせて使用することになる。いくつかの実施形態では、視野は４πステラジアンの球形の範囲を含む。これはＨＤＵを介して実現できる。いくつかの実施形態では、視野は、少なくとも３πステラジアンの準球面範囲を含む。いくつかの実施形態では、視野は少なくとも２πステラジアンの準球面範囲を含む。いくつかの実施形態では、視野は少なくとも１πステラジアンの準球面範囲を含む。いくつかの実施形態では、視野は少なくとも０．５πステラジアンの準球面範囲を含む。いくつかの実施形態では、視野は、少なくとも０．２５πステラジアンの球面以下の範囲を含む。いくつかの実施形態では、視野は少なくとも０．０５πステラジアンの準球面範囲を含む。いくつかの実施形態では、多くの視聴者による改善された映画館体験のために、亜球面ＩＭＡＸシステムが作成される。椅子は標準的な映画館と同様の位置に配置されるが、スクリーンは準球形であろう。いくつかの実施形態では、非球形の形状も使用することができる。

図１５（Ａ）は、ユーザが真っ直ぐ前方を見て、水平約６０度、垂直４０度の水平視野を適度に正確な視野で見る（例えば、ユーザは周辺の形状と色とを見ることができる）時点＃１を示す。

図１５（Ｂ）は、ＴＶの中央部分と、時点＃１でユーザによって観察されている視野を示す。なお、いくつかの実施形態では、データは（例えば、インターネットを介して）ストリーミングされる。なお、本開示の新しい機能は「視聴パラメータポインティングストリーミング」と呼ばれる。本実施形態では、ストリーミングされるデータを指示するために視聴パラメータが使用される。例えば、ユーザ１５００が真っ直ぐ前方を見ていた場合、第１のデータセットは、ユーザ１５００の真っ直ぐ前方の視野角に対応するようにストリーミングされることになる。しかしながら、ユーザが画面の横を見ていた場合、第２のデータセットは、ユーザ１５００の横を見る角度に対応するようにストリーミングされることになる。視野角を制御できるその他の視野パラメータにはユーザの輻輳、ユーザの頭の位置、ユーザの頭の向きがあるが、これらに限定されない。広い意味では、ユーザのあらゆる特徴（年齢、性別、好み）又はアクション（視野角、位置など）を使用してストリーミングを指示することができる。なお、もう１つの新しい特徴は、少なくとも２つの画質のストリーミングである。例えば、第１の画質（例えば、高品質）は、第１のパラメータに従って（例えば、ユーザの３０°の水平ＦＯＶ及び３０°の垂直ＦＯＶ内で）ストリーミングされるであろう。そして、この基準を満たさない（たとえば、ユーザの水平ＦＯＶ３０°及び垂直ＦＯＶ３０°内にない）第２の画質（たとえば、低品質）もストリーミングされる。このシステムにはサラウンドサウンドが実装される。

図１５（Ｃ）は、時点＃２を示しており、ユーザが画面の左側を見ていると、水平約６０度、垂直約４０度の水平視野が適度に正確な視野で見える（例えば、ユーザは、周辺視野の形状と色とを見ることができる）。

図１５（Ｄ）は、時点＃２でユーザによって観察されている視野を有する時点＃２を示しており、図１５（Ｂ）と比較すると異なる。対象領域は時点＃１の半分である。いくつかの実施形態では、シーン内の小さなＦＯＶ内の被写体のより詳細でより高い分解能がユーザに提供される。この高分解能の視野ゾーンの外側では、低分解能の画質が画面上に表示されうるであろう。

図１５（Ｅ）は、ユーザが画面の右側を見ている時点＃３を示す。

図１５（Ｆ）は時点＃３を示し、円形の高分解能ＦＯＶを示す。

図１６（Ａ）は、ズームされていない画像を示す。１６００は画像を示す。１６０１Ａは、ズームインされるように設定された画像１６００内の領域を示すために示されたボックスを示す。

図１６（Ｂ）は、画像の一部を拡大したデジタルタイプを示す。これは、米国特許第８，３８４，７７１号に記載されている方法（例えば、１つのピクセルが４になる）を介して達成することができ、その全体が参照により組み込まれる。なお、ズームインする領域は、ジェスチャー追跡システム、視線追跡システム及びグラフィカルユーザインターフェイス（ＧＵＩ）を含むさまざまなユーザ入力を通じて実現できる。なお、図１６（Ａ）に示されていた画像１６０１Ａ内の領域が、１６０１Ｂに示されているようにズームインされている。なお、領域１６０１Ｂの分解能は画像１６００の分解能と等しいが、それより大きいだけである。なお、１６００Ｂは、１６００Ａの拡大されていない部分を示している。なお、１６０１Ａが拡大されており、１６００Ａの一部が視覚化されていない。

図１７（Ａ）は、ズームされていない画像を示す。１７００は画像を示す。１７０１Ａは、ズームインされるように設定された画像１７００内の領域を示すために示されたボックスを示す。

図１７（Ｂ）は、画像の一部に対する光学式ズームインを示す。なお、ズームインする領域は、ジェスチャー追跡システム、視線追跡システム及びグラフィカルユーザインターフェイス（ＧＵＩ）を含むさまざまなユーザ入力を通じて実現できる。なお、図１７（Ａ）に示されていた画像１７０１Ａ内の領域が、１７０１Ｂに示されるように拡大されており、また、１７０１Ｂ内の画像がより高画質に見える。これは、領域１７０１Ｂに最高品質の画像を選択的に表示し、領域１７０１Ｂを拡大することによって行うことができる。クラウドが大きくなっただけでなく、クラウドの分解能も良くなる。なお、１７００Ｂは、拡大されていない１７００Ａの部分を示している（なお、拡大されていない１７００Ａの部分の一部がズームインされた領域によって覆われている）。

図１８（Ａ）は、単一分解能画像を示す。１８００Ａは画像を示す。１８０１Ａは、分解能が改善されるように設定された画像１８００Ａ内の領域を示すために示されたボックスを示す。

図１８（Ｂ）は、多重分解能画像を示す。分解能が向上する領域は、ジェスチャー追跡システム、視線追跡システム及びジョイスティック又はコントローラを含むグラフィカルユーザインターフェイス（ＧＵＩ）を含むさまざまなユーザ入力を通じて実現できる。なお、図１８（Ａ）に示されていた画像１８０１Ａ内の領域が、１８０１Ｂに示されるように、より高い分解能で表示される。いくつかの実施形態では、１８０１Ｂ内の画像は、他のオプション（例えば、異なる配色、異なる明るさ設定など）でも同様に変更することができる。これは、領域１７０１Ｂを拡大することなく、領域１８０１Ｂにより高い（例えば、最高の）品質の画像を選択的に表示することによって行うことができる。

図１９（Ａ）は、第１のユーザが画像の第１の部分を見ており、第２のユーザが画像の第２の部分を見ている広い視野を示す。１９００Ａは広い視野であり、第１分解能である。１９００Ｂは、図１９（Ｂ）に示すように、第１のユーザが見ている場所であり、高分解能になるように設定されている。１９００Ｃは、図１９（Ｂ）に示すように、第２のユーザが見ている場所であり、高分解能になるように設定されている。

図１９（Ｂ）は、図１９（Ａ）の画像の第１の部分のみと図１９（Ａ）の画像の第２の部分のみが高分解能であり、画像の残りの部分が低分解能であることを示す。１９００Ａは広い視野であり、第１の分解能（低分解能）である。１９００Ｂは、第２の分解能（この例では高分解能）である第１のユーザの高分解能ゾーンの位置である。１９００Ｃは、第２の分解能（この例では高分解能）である第２のユーザの高分解能ゾーンの位置である。したがって、第１の高分解能ゾーンは第１のユーザに使用される。また、第２の高分解能ゾーンは第２のユーザに使用できる。このシステムは、図１４（Ａ）及び１４（Ｂ）に示すように、ホームシアターディスプレイに役立ちうるであろう。

図２０（Ａ）は、低分解能画像を示す。

図２０（Ｂ）は、高分解能画像を示す。

図２０（Ｃ）は、合成画像を示す。なお、この合成画像は、低分解能の第１の部分２０００と高分解能の第２の部分２００１とを有する。これは米国特許第１６／８９３，２９１号に記載されており、その全体が参照により組み込まれる。第１の部分は、ユーザの視聴パラメータ（視野角など）によって決定される。新規な点は、第１の画質による第１の部分２０００と第２の画質による第２の部分とのほぼリアルタイムのストリーミングである。なお、第１の部分は第２の部分とは異なる方法で表示される可能性がある。例えば、第１の部分と第２の部分は、輝度、カラースキーム又はその他のような視覚的プレゼンテーションパラメータが異なりうる。したがって、いくつかの実施形態では、画像の第１の部分は圧縮することができ、画像の第２の部分は圧縮されない。他の実施形態では、ユーザに表示するためにいくつかの高分解能画像といくつかの低分解能画像とをつなぎ合わせて配置して合成画像が生成される。いくつかの実施形態では、大きな（例えば、４億２９００万ピクセル）画像のいくつかの部分は高分解能であり、大きな画像のいくつかの部分は低分解能である。大きな画像の高分解能部分は、ユーザの表示パラメータ（収束点、視野角、頭の角度など）に従ってストリーミングされる。

図２１は、カスタマイズされた画像のほぼリアルタイムのストリーミングを実行するための方法及びプロセスを示す。

ディスプレイ２１００に関して、ディスプレイには、大型テレビ、拡張現実（拡張現実、仮想現実、複合現実ディスプレイなど）、スクリーン上のプロジェクターシステム、コンピュータのモニターなどが含まれるが、これらに限定されない。ディスプレイの重要な要素は、ユーザが画像のどこを見ているか、及び表示パラメータが何であるかを追跡する能力である。

表示パラメータ２１０１に関して、表示パラメータには、視野角、輻輳／収束、ユーザの好み（例：特定の関心のある被写体、フィルタリング＊「Ｒ」と評価された一部の被写体は特定のユーザ向けにフィルタリング可能、など）が含まれるが、これらに限定されない。

クラウド１２０２に関しては、映画又はビデオの各フレームは非常に大きなデータになる（特に、図１４（Ａ）及び１４（Ｂ）に示されるホームシアターが米国特許出願第１７／２２５，６１０号、その全体が参照により組み込まれる、に記載されているようにカメラクラスタと組み合わせて使用される場合）。なお、クラウドとはストレージ、データベースなどを指す。なお、クラウドはクラウドコンピューティングが可能である。本開示の新規な点は、ユーザの表示パラメータをクラウドに送信し、クラウド内で表示パラメータを処理すること（例えば、図１２で説明した視野又は複合立体画像ペアの選択）及び個々のユーザのエクスペリエンスを最適化するために、非常に大きなデータのどの部分をストリーミングするかを決定することである。例えば、複数のユーザがムービーを同期させることができるであろう。それぞれが、その特定の時点で個別に最適化されたデータをクラウドからモバイル装置にストリーミングする２１０３。そして、各自が個別に最適化されたデータを自分の装置で表示する。これにより、没入型の視聴体験が向上する。例えば、ある時点で、シャンデリア、犬、老人、本棚、長テーブル、カーペット、壁画のあるディナーのシーンがあると仮定する。デーブという名前のユーザが犬を見ていると、デーブの画像が最適化される（例えば、犬の最大分解能と最適化された色の画像とがデーブのモバイル装置にストリーミングされ、デーブのＨＤＵに表示される）。キャシーという名前のユーザがシャンデリアを見ている可能性があり、キャシーの画像が最適化される（例えば、シャンデリアの最大分解能と最適化された色の画像とがキャシーのモバイル装置にストリーミングされ、キャシーのＨＤＵに表示される）。最後に、ボブという名前のユーザが老人を見ている可能性があり、ボブの画像が最適化される（例えば、老人の最大分解能と最適化された色の画像とがボブのモバイル装置にストリーミングされ、ボブのＨＤＵに表示される）。なお、クラウドには各時点で膨大なデータセットが保存されるが、ストリーミングされるのはその一部のみであり、それらの部分はユーザの視聴パラメータ及び／又は好みによって決定される。したがって、本棚、長テーブル、カーペット、壁画はすべてデーブ、キャシー、ボブの視野内にある可能性があるが、これらの被写体は表示用に最適化されない（例えば、クラウドに保存されたこれらの画像の考えうる最高の分解能はトリーミングされなかった）。

最後に、先制の概念が導入される。次のシーンが特定のユーザの視聴パラメータの変化（例えば、ユーザの頭の回転）を引き起こす可能性があると予測される場合、その追加の画像フレームの先制的なストリーミングを実行することができる。たとえば、映画の時間が１：４３：０５で、１：４３：３０に恐竜が音を立てて画面の左側から飛び出してくるとする。したがって、シーン全体を低分解能フォーマットでダウンロードし、必要に応じてＦＯＶの選択部分のデータの追加セットをダウンロードすることができる（例えば、ユーザの観察パラメータに基づいて、ユーザが見ると予測される今後の恐竜シーンに基づいて）。したがって、飛び出してくる恐竜は常に最大分解能になる。このような技術により、より没入型で改善された視聴体験が作られる。

図２２（Ａ）は、立体カメラと組み合わせて切除を使用することを示す。カメラ＃１は既知の位置（ＧＰＳからの緯度と経度など）を有する。カメラ＃１から、被写体２２００までの距離（２マイル）及び方向（北北西３３０度）が分かる。被写体２２００の位置を計算することができる。カメラ＃２の位置は不明であるが、被写体２２００までの距離（１マイル）と方向（北北東３０度）は分かっている。被写体２２００の位置は計算できるので、幾何学的形状を解決してカメラ＃２の位置を決定することができる。

図２２（Ａ）は、立体カメラと組み合わせて切除を使用することを示す。カメラ＃１は既知の位置（ＧＰＳからの緯度と経度など）を有する。カメラ＃１とカメラ＃２とは既知の位置を有する。カメラ＃１から、被写体２２００Ｂまでの方向（北北西３３０度）が分かる。カメラ＃２から、被写体２２００Ｂまでの方向（北北東３０度）が分かる。被写体２２００Ｂの位置を計算することができる。

図２３（Ａ）は、ホームシアターのスクリーンの中心から前方を見ている人の上面図を示す。人物２３００は、ホームシアターのスクリーン２３０１の中央セクション２３０２Ｂを向いている。この時点の間、ストリーミングは、中央セクション２３０２Ｂが最適化され（例えば、可能な限り最高の分解能）、左セクション２３０２Ａが最適化されず（例えば、低分解能又は黒）、右セクション２３０２Ｃが最適化されない（例えば、高分解能）ようにカスタマイズされる。なお、適切なストリーミングのためには、監視システム（ユーザの視線方向及びジェスチャー又は顔の表情などのその他の視聴パラメータを検出する）又はコントローラ（ユーザからのコマンドを受け取るためのコントローラも設置する必要がある）が必要である。

図２３（Ｂ）は、ホームシアターのスクリーンの右側を見ている人の上面図を示す。人物２３００は、ホームシアターのスクリーン２３０１のセクション２３０２Ｃの右側を見ている。この時点の間、ストリーミングは、右セクション２３０２Ｃが最適化され（例えば、可能な限り最高の分解能）、左セクション２３０２Ａが非最適化（例えば、低分解能又は黒）、中央セクション２３０２Ｂが非最適化（例えば、高分解能）するようにカスタマイズされる。なお、適切なストリーミングのためには、監視システム（ユーザの視線方向及び、ジェスチャー又は顔の表情などのその他の視聴パラメータを検出する）又はコントローラ（ユーザからのコマンドを受け取るためのコントローラも設置する必要がある）が必要である。

図２４は、移動中の画像取得中に立体カメラ設定を最適化するための方法、システム、及び装置を示す。２４００は、ある時点での物体の距離を決定する（例えば、レーザー距離計を使用する）ことを示す。被写体追跡／目標追跡システムを実装できる。２４０１は、ステップ２４００で決定された前記距離に対して最適化されるように立体カメラシステムのズーム設定を調整することを示す。好ましい実施形態では、これは、デジタルズームを実行するのではなく、ズームレンズを使用するときに実行される。２４０２は、ステップ２４００で決定されたように、立体カメラ間の分離の距離（ステレオ距離）が前記距離に対して最適化されるように調整することを示す。なお、ステップ２４００で決定された前記距離に対して最適化されるようにカメラの向きを調整するオプションもある。２４０３は、ステップ２４００の時点で目標の立体画像を取得することを示す。２４０４は、取得された立体画像の記録、表示、及び／又は分析を示す。

Claims (20)

1. インターネットを介してユーザの視聴パラメータをクラウドにアップロードするステップであって、前記クラウドは画像を保存し、前記クラウドはクラウドコンピューティングが可能であり、前記ユーザの視聴パラメータは視野角を含むステップと、
   前記クラウドにおいて、前記画像からユーザ固有の表示画像を最適化するステップであって、前記ユーザ固有の表示画像は、少なくとも前記視聴パラメータに基づき、前記ユーザ固有の表示画像は、第１の部分と第２の部分とを含み、前記ユーザ固有の表示画像の前記第１の部分は、前記ユーザ固有の表示画像の前記第２の部分とは異なり、前記ユーザ固有の表示画像の前記第１の部分は第１の画質を含み、
   前記ユーザ固有の表示画像の前記第１の部分は前記視野角に対応し、前記ユーザ固有の表示画像の前記第２の部分は第２の画質を含み、前記第２の画質は前記第１の画質より低く、
   前記インターネットを介して、前記ユーザ固有の表示画像をダウンロードするステップと、
   前記ユーザ固有の表示画像を前記ユーザに表示するステップと、
   を含む方法。
2. 前記ユーザ固有の表示画像は、第１の空間解像度を有する第１の部分と、第２の空間解像度を有する第２の部分とを含み、前記第１の空間解像度は、前記第２の空間解像度よりも高いことをさらに含む請求項１に記載の方法。
3. 前記画像がビデオ画像を含むことをさらに含む請求項１に記載の方法。
4. 前記ユーザ固有の表示画像は、前記第１の部分が第１のズーム設定を含み、前記第２の部分が第２のズーム設定を含み、前記第１のズーム設定が前記第２のズーム設定よりも高いことをさらに含む請求項１に記載の方法。
5. 前記第１の部分が、前記ユーザの身体の位置と、前記ユーザの身体の位置と、前記ユーザの身体の向きと、前記ユーザの手のジェスチャーと、前記ユーザの表情と、前記ユーザの頭の位置と、及び前記ユーザの頭の向きからなる群のうちの少なくとも１つによって決定されることをさらに含む請求項４に記載の方法。
6. 前記第１の部分がグラフィカルユーザインターフェースによって決定されることをさらに含む請求項４に記載の方法。
7. 前記画像は第１の視野（ＦＯＶ）を含み、前記ユーザ固有の表示画像は第２のＦＯＶを含み、前記第１のＦＯＶは前記第２のＦＯＶよりも大きいことをさらに含む請求項１に記載の方法。
8. 前記画像は立体画像を含み、前記立体画像は、立体カメラ又は立体カメラクラスタを介して取得されることをさらに含む請求項１に記載の方法。
9. 前記画像は結合された画像を含み、前記結合された画像は少なくとも２台のカメラによって生成されることをさらに含む請求項１に記載の方法。
10. 前記画像は合成画像を含み、前記合成画像は、第１のカメラ設定セットを用いてシーンの第１の画像を撮影するステップであって、前記第１のカメラ設定のセットにより、第１の対象に焦点が合い、第２の対象に焦点が合わなくなるステップと、第２のカメラ設定のセットを用いてシーンの第２の画像を撮影するステップであって、前記第２のカメラ設定のセットにより、前記第２の対象に焦点が合い、前記第１の対象に焦点が合わなくなるステップと、によって生成されることをさらに含む請求項１に記載の方法。
11. 前記ユーザが前記第１の対象を見ると、前記第１の画像が前記ユーザに提示され、前記ユーザが前記第２の対象を見ると、前記第２の画像が前記ユーザに提示される請求項１０に記載の方法。
12. 少なくとも前記第１の画像からの前記第１の対象と前記第２の画像からの前記第２の対象とを前記合成画像に組み合わせるステップをさらに含む請求項１０に記載の方法。
13. 前記視野角が前記ユーザによって移動可能であることをさらに含む請求項１に記載の方法。
14. 前記視聴パラメータが収束を含む請求項１に記載の方法。
15. 前記ユーザ固有の画像が３Ｄ画像であり、前記３Ｄ画像がヘッドディスプレイユニット（ＨＤＵ）上に提示されることをさらに含む請求項１に記載の方法。
16. 前記視野角は、前記ＨＤＵの向きによって決定されることをさらに含む請求項１５に記載の方法。
17. ユーザの視聴パラメータを決定するステップであって、前記ユーザの視聴パラメータは視野角を含むステップと、
    インターネットを介して前記ユーザの視聴パラメータをクラウドに送信するステップであって、前記クラウドはクラウドコンピューティングが可能であり、前記クラウドコンピューティングは、前記クラウドに保存された画像からユーザ固有の表示画像を生成し、前記ユーザ固有の表示画像は少なくとも前記ユーザの視聴パラメータに基づき、前記ユーザ固有の表示画像は第１の部分と第２の部分とを含み、前記ユーザ固有の表示画像の前記第１の部分は、前記ユーザ固有の表示画像の前記第２の部分とは異なり、
    前記ユーザ固有の表示画像の前記第１の部分は第１の画質を含み、前記ユーザ固有の表示画像の前記第１の部分は前記視野角に対応し、前記ユーザ固有の表示画像の前記第２の部分は第２の画質を含み、前記第２の画質は、前記第１の画質よりも低く、
    前記インターネットを介して前記ユーザ固有の表示画像を受信するステップと、
    前記ユーザ固有の表示画像をヘッドディスプレイユニット（ＨＤＵ）上に表示するステップであって、前記ＨＤＵは左目ディスプレイ及び右目ディスプレイを備えるステップ、を含む方法。
18. 前記ユーザ固有の表示画像がディスプレイ上で前記ユーザに提示され、前記ユーザが少なくとも０．５πステラジアンの視野を有することをさらに含む、請求項１に記載の方法。
19. 前記ディスプレイが、スクリーン及びプロジェクタ、テレビ並びにモニターからなる群のうちの少なくとも１つを含むことをさらに含む、請求項１８に記載の方法。
20. インターネットを介してクラウドでユーザの視聴パラメータを受信するステップであって、前記ユーザの視聴パラメータは視野角を含み、前記クラウドはクラウドコンピューティングが可能であるステップと、
    クラウドコンピューティングを使用して、前記クラウドに保存された画像からユーザ固有の表示画像を生成するステップであって、前記ユーザ固有の表示画像は、少なくとも前記ユーザの視聴パラメータに基づいており、前記ユーザ固有の表示画像は、第１の部分及び第２の部分を含み、前記ユーザ固有の表示画像の前記第１の部分は、前記ユーザの前記第２の部分とは異なる、前記ユーザ固有の表示画像の前記第１の部分は第１の画質を含み、前記ユーザ固有の表示画像の前記第１の部分は前記視野角に対応し、前記ユーザ固有の表示画像の前記第２の部分は、第２の画質を含み、前記第２の画質は前記第１の画質よりも低いステップと、
    前記インターネットを介して、前記ユーザ固有の表示画像をヘッドディスプレイユニット（ＨＤＵ）に送信するステップであって、前記ＨＤＵは左目ディスプレイ及び右目ディスプレイを備え、前記ＨＤＵは前記ユーザ固有の表示画像を表示するステップと、を含む方法。

Images