JP7443325B2 - フォービエイションおよびｈｄｒ - Google Patents

Description

関連出願への相互参照
本願は、２０１８年７月１７日に出願された米国仮特許出願第６２／６９９，５８３号および２０１８年９月１７日に出願された欧州特許出願第１８１９４８５９．７号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。

技術
本発明は、一般に、画像符号化および描画（ｒｅｎｄｅｒｉｎｇ）に関し、特に、フォービエイション（ｆｏｖｉａｔｉｏｎ）およびハイダイナミックレンジ（ＨＤＲ）に関連する画像符号化に関する。

背景
拡張現実、仮想現実、リモートプレゼンス（ｒｅｍｏｔｅ ｐｒｅｓｅｎｃｅ）アプリケーション、没入型（ｉｍｍｅｒｓｉｖｅ）映像アプリケーションなどの映像関連アプリケーションにおいて、高品質でシームレスなユーザ使用感（ｅｘｐｅｒｉｅｎｃｅ）をサポートするために、大量の映像データがクライアントデバイスにリアルタイムに送信され得る。映像データの圧縮・復元に必要な帯域量やコンピューティングパワーを考慮すると、大量の映像データを多種類のクライアントデバイスおよび／またはディスプレイデバイスにストリーミングすることは、多くの既存のネットワークインフラストラクチャにおいて困難であり、非現実的でさえあり得る。

加えて、映像アプリケーションに関与する大量の映像データや映像処理によって、ユーザが自分の視野（ＦＯＶ）を方向付けた第１の時刻と、高品質画像コンテンツがユーザのＦＯＶにおいて描画された第２の後の時刻との間に、著しいタイムラグ（例えば、１２～１５ミリ秒より長い、など）が頻繁に生じ得る。そのようなタイムラグは、ユーザによって容易に認識され得るので、ユーザ使用感の品質に悪影響を与え得る。

本節に記載された手法は、検討され得る手法であって、必ずしもこれまでに着想または検討されてきた手法ではない。従って、特に断らない限り、本節に記載された手法はいずれも、本節に記載されているというだけで従来技術とみなされるべきではない。同様に、特に断らない限り、１つ以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術分野においてすでに認識されていると考えるべきではない。

図面の簡単な説明
本発明を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。

図１は、平均的な視聴者の目の角視野の例の図を示す。 図２Ａは、フォービエイテッド画像の画像部分の例を示す。 図２Ｂは、フォービエイテッド画像の画像部分の例を示す。 図２Ｃは、ソースゾーンおよびターゲットゾーンの例を示す。 図２Ｄは、ディスプレイマッピングの例を示す。 図２Ｅは、ディスプレイマッピングの例を示す。 図２Ｆは、ローカウントディミングターゲットディスプレイの例を示す。 図２Ｇは、ディスプレイマッピングの例を示す。 図３Ａは、映像ストリーミングサーバおよび映像ストリーミングクライアントの例を示す。 図３Ｂは、映像ストリーミングサーバおよび映像ストリーミングクライアントの例を示す。 図３Ｃは、映像ストリーミングサーバおよび映像ストリーミングクライアントの例を示す。 図４Ａは、処理フローの例を示す。 図４Ｂは、処理フローの例を示す。 図５は、本明細書に記載されるコンピュータまたはコンピューティングデバイスが実装され得るハードウエアプラットフォームの例を示す。

例示的な実施形態の説明
本明細書において、フォービエイション（ｆｏｖｉａｔｉｏｎ）およびＨＤＲに関する例示的な実施形態を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

例示的な実施形態は、以下の大筋にしたがって説明される。
１．概要
２．人間の視野
３．視聴方向のトラッキング
４．フォービエイテッド画像（ｆｏｖｉａｔｅｄ ｉｍａｇｅ）
５．明順応レベル
６．空間微分ディスプレイマッピング
７．映像ストリーミングサーバおよび映像ストリーミングクライアントの例
８．処理フローの例
９．実装機構－ハードウェアの概要
１０．均等物、拡張、代替およびその他

１．概要
この概要は、本発明の例示的な実施形態のいくつかの局面の基本的な説明を提示する。この概要は、例示的な実施形態の局面を広範囲にあるいは網羅的に要約するものではないことに留意されたい。さらに、この概要は、例示的な実施形態の特に著しい局面や要素を指定するものでは一切なく、特に例示的な実施形態の範囲を線引きしたり、一般に本発明の範囲を線引きしたりするものでも一切ないことに留意されたい。この概要は、例示的な実施形態に関するいくつかの概念を凝縮・簡略化して提示するだけであり、以下の例示的な実施形態のより詳細な説明の単なる概念的な序章として理解されたい。なお、本明細書において個別の実施形態を説明するが、本明細書に記載の実施形態および／または部分的な実施形態を組み合せてさらなる実施形態としてもよい。

本明細書に記載の技術は、様々な映像アプリケーションにおいて、ＨＤＲソース画像のビューポートにわたる（ｖｉｅｗｐｏｒｔ－ｗｉｄｅ）、画像にわたる（ｉｍａｇｅ－ｗｉｄｅ）および／またはディスプレイにわたる（ｄｉｓｐｌａｙ－ｗｉｄｅ）ダイナミックレンジ（例えば、映像画像全体に適用されるダイナミックレンジ、ビューポート全体に適用されるダイナミックレンジ、ターゲットディスプレイ全体に適用されるダイナミックレンジなど）を、フォービエイテッド画像の中心窩視（ｆｏｖｅａｌ－ｖｉｓｉｏｎ）依存のダイナミックレンジに再マッピングするために実装され得る。各フォービエイテッド画像は、対応する時点に対して判定または予測された視聴者の視聴方向に基づいて、ＨＤＲソース画像のうちの対応するＨＤＲソース画像から生成される。各フォービエイテッド画像は、対応するＨＤＲソース画像におけるハイダイナミックレンジを保存（ｐｒｅｓｅｒｖｅ）または非常に近似する中心窩視ダイナミックレンジの中心窩視画像部分と、対応するＨＤＲソース画像におけるハイダイナミックレンジから圧縮またはダウンサンプリングされた非中心窩視ダイナミックレンジの１つ以上の非中心窩視画像部分とを含む。

本明細書において、用語「保存する（ｐｒｅｓｅｒｖｅ）」または「非常に近似する（ｃｌｏｓｅｌｙ ａｐｐｒｏｘｉｍａｔｅ）」とは、フォービエイテッド画像における中心窩視画像部分（例えば、視聴者の視聴方向周辺の２～４度半径など）が、フォービエイテッド画像を導出するために使用された対応のＨＤＲソース画像中の対応の画像部分における、グレースケールレベル差を持つ対応の画像ディテールを表すためのグレースケールレベルの総数などと比較して、同等の（ｃｏｍｐａｒａｂｌｅ）グレースケールレベル差を持つ画像ディテールを表すための、同等なグレースケールレベルの総数などを備えたダイナミックレンジを有することを意味し得る。

本明細書に記載の映像アプリケーションは、映像ディスプレイアプリケーション、ＶＲアプリケーション、ＡＲアプリケーション、自動車エンターテイメントアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーションなどをいずれも指し得る。

上記技術は、映像ストリーミングサーバと映像ストリーミングクライアントとの間で映像データをストリーミングするための帯域使用量を最小化するために適用され得る。映像コンテンツの例は、音響映像プログラム、映画、映像プログラム、ＴＶ放送、コンピュータゲーム、拡張現実（ＡＲ）コンテンツ、仮想現実（ＶＲ）コンテンツ、自動車エンターテイメントコンテンツなどをいずれも含み得るが、それらに必ずしも限定されない。映像ストリーミングクライアントの例は、ディスプレイデバイス、ニアアイ（ｎｅａｒ－ｅｙｅ）ディスプレイを有するコンピューティングデバイス、ヘッドマウントディスプレイ（ＨＭＤ）、モバイルデバイス、ウェラブルディスプレイデバイス、テレビなどのディスプレイを有するセットトップボックス、映像モニタなどをいずれも含み得るが、それらに必ずしも限定されない。

本明細書において、「映像ストリーミングサーバ」とは、映像コンテンツを用意し、映像コンテンツの少なくとも一部分（例えば、ユーザのＦＯＶまたはビューポートに対応する部分など）を１つ以上の（ターゲット）ディスプレイ上に描画するために、１つ以上の映像ストリーミングクライアントに映像コンテンツをストリーミングする１つ以上の上流デバイスを指し得る。映像コンテンツが描画されるディスプレイは、１つ以上の映像ストリーミングクライアントの一部分であってもよいし、または、１つ以上の映像ストリーミングクライアントと連携して動作してもよい。映像ストリーミングサーバの例は、映像ストリーミングクライアントから遠隔に位置するクラウドベース映像ストリーミングサーバ、ローカル有線または無線ネットワークを介して映像ストリーミングクライアントに接続されるローカル映像ストリーミングサーバ、ＶＲデバイス、ＡＲデバイス、自動車エンターテイメントデバイス、デジタルメディアデバイス、デジタルメディアレシーバ、セットトップボックス、ゲーム機（例えば、Ｘｂｏｘ）、汎用パソコン、タブレット、Ａｐｐｌｅ ＴＶやＲｏｋｕ ｂｏｘなどの専用デジタルメディアレシーバなどをいずれも含み得るが、それらに必ずしも限定されない。

フォービエイテッド画像などの圧縮映像コンテンツは、全低帯域（ｏｖｅｒａｌｌ ｌｏｗ ｂａｎｄｗｉｄｔｈ）を用いて、空間的に変化するダイナミックレンジ再マッピングメタデータとともに送信され得る。空間的に変化するダイナミックレンジ再マッピングメタデータは、（人間の）視聴者が視聴方向をいずれの方向に向ける場合にも視聴者の中心窩視における人間のハイダイナミックの認識をサポートするディスプレイマッピング画像（ｄｉｓｐｌａｙ ｍａｐｐｅｄ ｉｍａｇｅ）にフォービエイテッド画像を再マッピングするために、受信デバイスによって使用され得る。視聴者の視聴方向は、視聴方向トラッキング方法（視線トラッキング（ｇａｚｅ ｔｒａｃｋｉｎｇ）、ビューポートトラッキング、ＦＯＶトラッキング、視聴者位置トラッキング、顔トラッキング、または任意の別の視聴方向トラッキング方法を含むが、これらに限定されない）の任意の組み合わせによって、トラッキングされ得る。

視聴者の視聴方向をトラッキングする視聴方向データは、視聴者がフォービエイテッド画像から再マッピングされた表示画像を視聴している際に収集される。視聴方向データの例は、視線トラッキングデバイス、位置トラッキングデバイス、ビューポートトラッキングデバイス、顔トラッキングデバイス、ＦＯＶトラッキングデバイスなどの任意の組み合わせによって収集され得る、直線変位、角変位、直線運動または平行移動、角運動または回転、ピッチ、ロール、ヨー、スウェイ（ｓｗａｙ）、ヒーブ（ｈｅａｖｅ）、サージ（ｓｕｒｇｅ）、最大６自由度などを含むが、これらに限定されない。複数の時点における視聴者の視聴方向が判定され得る。視聴者の視聴方向は、上流デバイスが新しいデータを用いて応答するまで、受信デバイス自体上で（例えば、付加として、オプションとして、代替として、など）新しいビュー（ｖｉｅｗ）を生成するために使用され得る。また、視聴者の視聴方向は、上流デバイスにフィードバックされることにより、視聴者の視聴方向とともにグレースケールレベルおよび／または色および／または空間解像度についての異なるレベルの画像ディテールを参照し、ＨＤＲソース画像から特定のフォービエイテッド画像が生成され得る。大きなデータボリュームを有するＨＤＲソース画像を送る代わりに、ＨＤＲソース画像の大きなデータボリュームよりもはるかに小さいデータボリュームである、視聴者の視聴方向を参照して生成された特定のフォービエイテッド画像が視聴者のディスプレイデバイスに送られ、描画される。

本明細書において、フォービエイテッド画像とは、視聴者の視野をカバーする非常に小さな領域または画像部分（例えば、視聴者の中心窩視を十分にカバーする、視聴者の中心窩視よりも１０％大きくカバーする、視聴者の中心窩視よりも５％大きくカバーするなど）のみに最も精細な画像ディテール（例えば、最も高いダイナミックレンジ、最も精細なクレースケールレベル、最も高い色正確度、最も高い空間解像度など）の画像データが与えられ、他方、視聴者の視野の他の領域をカバーする画像データについては、ダイナミックレンジ、グレースケールレベルおよび／または色正確度／精度および／または空間解像度についての画像ディテールのレベルにおいて（例えば、大きく）圧縮および／またはダウンサンプリングされ得る、画像を指す。

視聴者が現在どこを視聴しているかに基づいて、ダイナミックレンジの空間微分再マッピングが、映像ストリーミングサーバによって、ＨＤＲソース画像における画像部分（例えば、１つの中心窩視画像部分に対応する部分、１つ以上の非中心窩視画像部分に対応する部分など）に対して行われ、フォービエイテッド画像を生成し得る。フォービエイテッド画像は、視聴者の視聴方向周辺の、視聴者の中心窩視と同等か、またはそれよりも若干大きな、相対的に小さなサイズ（例えば、２度半径、４度半径をカバーするのに十分なサイズ）の中心窩視画像部分を含む。フォービエイテッド画像の中心窩視画像部分におけるダイナミックレンジは、ＨＤＲソース画像の対応する画像部分における最大および最小輝度値に基づいて、最適化され得るか、または最大限に保存され得る。他方、フォービエイテッド画像の非中心窩視画像部分におけるダイナミックレンジは、低減または押しつぶされ（ｃｒｕｓｈ）得るが、その結果、ＨＤＲソース画像の対応する画像部分に存在する輝度値は、フォービエイテッド画像において保存されても、されなくてもよい。例えば、帯域使用量を低減するために、非中心窩視画像部分における（例えば、それについて特有の、など）ダイナミックレンジがフォービエイテッド画像においてクリッピング（ｃｌｉｐ）または大きく圧縮され得る。

フォービエイテッド画像の中心窩視画像部分において存在する明るい画像ディテール（または、画素）に対して、中心窩視画像部分の生成に関与するダイナミックレンジ再マッピングは、中心窩視画像部分のダイナミックレンジ内で、ターゲットディスプレイ（例えば、４０００ニットのディスプレイなど）によってサポートされる最大限まで、ピーク輝度値（例えば、４０００ニット以上など）を最大化し得る。他方、周辺視画像部分などの非中心窩視画像部分において存在する明るい画像ディテールに対して、非中心窩視画像部分の生成に関与するダイナミックレンジ再マッピングは、非中心窩視画像部分のダイナミックレンジ内で、ターゲットディスプレイによってサポートされる最大限まで、ピーク輝度値を最大化しなくてもよい。むしろ、ＨＤＲソース画像における明るい画像ディテールの輝度値は、必要に応じて、クリッピングされた輝度値に設定されてもよい。付加として、オプションとして、または代替として、中心窩視画像部分および周辺視画像部分の外側の画像部分において存在する明るい画像ディテールに対して、当該残りの画像部分の生成に関与するダイナミックレンジ再マッピングは、ＨＤＲソース画像における明るい画像ディテールの輝度値をクリッピングして、クリッピングされた輝度値が周辺輝度値におけるクリッピングされた輝度値よりもさらに低くなるようにしてもよい。

上記のように、本明細書に記載の、ＨＤＲソース画像のフォービエイテッド画像へのダイナミックレンジ再マッピングは、ＨＤＲソース画像およびフォービエイテッド画像の異なる画像部分に対して、ダイナミックレンジ再マッピングが視聴者の中心窩視、視聴者の周辺視野、視聴者の視野の外側などのいずれにおいて行われるかに応じて、領域ごとに変化し得る。

ダイナミックレンジ再マッピングの他に、空間変化解像度再マッピング（ｓｐａｔｉａｌｌｙ ｖａｒｙｉｎｇ ｒｅｓｏｌｕｔｉｏｎ ｒｅｍａｐｐｉｎｇ）がまた実装され得る。例えば、限定しないが、視聴者の虹彩は、視聴者が明るい画像ディテールを見ている（例えば、太陽を直視またはその近くを見ている、など）際に、瞳孔の直径およびサイズを制御して、網膜に達する光量を低減し得る。瞳孔の直径およびサイズを低減すると、近くにある異なる点を視覚的に解像または区別する点において視聴者の視力を低減させ得る。このように、視聴者が明るい画像ディテールを視聴している際、非中心窩視画像部分は、ダウンサンプリングされた空間解像度の画像データを用いて符号化され得、他方、中心窩視画像部分は、やはり最大可能空間解像度の画像データを用いて符号化され得る。いくつかの動作状況において、ある時点において視聴者が過度に高い空間解像度を認識できないと判断したことに応答して、画像全体がより低い空間解像度で符号化されてもよい。

視聴者の視聴方向は、連続したシーケンスの画像などのシーンにおいて、動き回り得る。例えば、第１の明るさレベルを有する第１の画像ディテール（そのシーンの前の画像における画像ディテール）の視聴から、第２の異なる明るさレベルを有する第２の画像ディテール（そのシーンの現在の画像における画像ディテール）の視聴への視聴方向の動きである。視聴者の目は、視聴者が第１の明るさレベルなどの前の明るさレベルにまだ順応しているかもしれないので、第２の画像ディテールを見た際に第２の明るさレベルに瞬間的に調節できない場合がある。視聴者の視聴方向周辺のゾーンの時間に対する平均明レベル（ｌｉｇｈｔ ｌｅｖｅｌ）に基づいて、そして、目の順応特性、ディレクタの意見（ｄｉｒｅｃｔｏｒ ｉｎｐｕｔ）、ターゲットディスプレイ特性などに少なくとも部分的に基づいて、視聴者の明順応レベルが推定、予測または判定され得る。

視聴者の明順応レベルをある時点において予測または推定するために、明順応曲線（または、明順応曲線族）を使用して、どのソースゾーンを視聴者が視聴していたか、どの中間ゾーンを視聴者が遷移していたか、どのターゲットゾーンを視聴者が現在視聴しているか、または現在視聴していると予測されるかなどを示す多くの入力因子を考慮してもよい。入力因子の例は、目の順応特性、ディレクタの意見、ターゲットディスプレイ特性などを含み得るが、それらに限定されない。視聴トラッキングデータを使用して、明順応曲線におけるこれらの入力因子のうちのいくつかまたはすべてを判定し、ある時点における視聴者の明順応レベルを判定、推定または予測してもよい。例えば、視聴者の視聴トラッキングデータを介してモニタリングされた視聴者の目の動きを使用して、明順応曲線におけるいくつかのまたはすべての演算パラメータを設定または決定してもよい。

視聴者の周辺視の瞬間的なフラッシュ、明レベルにおける脈動（ｐｕｌｓａｔｉｎｇ）変化または突然の変化は、いくつかの状況下において、減衰（ｄａｍｐｅｎ）または平滑化され得る。視聴者の周辺視における画像部分のダイナミックレンジ再マッピングは、順応時間（例えば、２秒、５秒、１０秒、開始および終了明レベルに少なくとも部分的に依存する時間量など）中に、視聴者の周辺視における明レベルが平滑な遷移（例えば、比較的ゆっくりとした上昇、比較的ゆっくりとした下降など）することを可能にするような平滑化処理を実装し得る。一例において、いくつかのまたはすべての画像部分が、順応時間にわたり、同じまたは同様の遷移処理が施されてもよい。視聴のターゲットディスプレイ全体が、時間にわたり同じまたは同様の明レベル調節処理を同時に受けてもよい。別の例において、異なる画像部分が時間にわたり異なる明レベル調節処理を同時に受けてもよい。

芸術的意図（または、ディレクタ意図）が明レベル調節に関与する映像描画演算に組み込まれ得る。一例において、視聴者が視聴方向を動かして暗い領域を見る場合には、暗い領域におけるディテールが、芸術的意図を表すユーザ入力によって示されるように、ある特定の時間の後だけ、現れなくてもよい（または、描画されなくてもよい）。別の例において、暗い領域におけるディテールが描画されるとともに、周辺領域におけるディテールの描画がある特定の時間の後だけ遅らされてもよい。

本明細書に記載の技術を使用して、下流の受信デバイスのユーザが、映像ストリーミングサーバからのフォービエイテッド画像から生成されたディスプレイマッピング画像に対し、ユーザの視聴角度または視野を自由に変化させることを可能にさせ得る。すべてではないにしてもほとんどの動作状況において、ユーザには最も精細な画像ディテールを有する焦点視映像コンテンツが提示され、このことにより、本明細書に記載の技術を採用しない別のいくつかの方法におけるような視覚アーチファクト、生理的な不快感などが比較的無い、シームレスな視聴感が得られる。別の方法における視覚アーチファクト、生理的な不快感などの例としては、平滑な追跡（ｐｕｒｓｕｉｔ）を維持できないこと、精細な画像ディテールへ遷移する際の人間の視覚によって認識される長いラグ、人間の視覚の焦点視エリア内において目立ってしまう粗い画像ディテール、ユーザの自然視に関連する直感とユーザに対して実際に描画された映像コンテンツとの間の不一致、視聴者が視聴角度を移動させた場合の画像ディテールの急なレベル低下、粗い画像ディテールから精細な画像ディテールへの認識可能な遅い遷移、視聴者が視聴角度を移動させた場合の、それより以前には隠れていた画像ディテールに対するボケた画像の表示などをいずれも含み得るが、それらに必ずしも限定されない。

本明細書に記載の視聴方向に基づいた映像アプリケーションは、複数の視聴者（または、ユーザ）をサポートするように拡張され得る。例えば、複数の視聴者のうちの各視聴者の視聴方向を、テレビの前のバー形態の視聴方向トラッカ（ｔｒａｃｋｅｒ）によって、それぞれトラッキングおよび／または判定してもよい。複数の視聴者は、同じ画像ディテールまたはいくつかの異なる画像ディテールに対して同時に引き付けられ得る。フォービエイテッド画像は、フォービエイテッド画像が描画される時点に対して予測されたすべての視聴者の視聴方向を参照して生成され得る。フォービエイテッド画像は、複数の視聴者の各視聴者に対して、最も高いダイナミックレンジ、最も精細な画像ディテール、最も高いカラー精度、最も精細な空間解像度などを有する中心窩視画像部分を含む。複数の視聴者が少なくとも２つの異なる画像ディテールを視聴している状況において、フォービエイテッド画像は、少なくとも２つの異なる画像ディテールにそれぞれ対応する少なくとも２つの中心窩視画像部分を含み得る。複数の視聴者の周辺視画像部分は、複数の視聴者の明順応レベルに基づいて、平均ダイナミックレンジに設定され得る。視聴者の周辺視の瞬間的なフラッシュ、明レベルにおける脈動変化または突然の変化は、いくつかの状況下においては減衰または平滑化され得る。付加として、オプションとして、または代替として、選択された（例えば、代表的な、など）視聴者（１以上の視聴者を含む１グループのうちの１視聴者であってもよいし、そうでなくてもよい）の視聴方向がトラッキングおよび／または判定され得る。選択された視聴者の視聴方向が、興味のある画像ディテールを示し得る。フォービエイテッド画像が、選択された視聴者の視聴方向を参照して生成され、このフォービエイテッド画像を用いて、視聴者のグループに対して描画され得る。したがって、映像ストリーミングサーバと映像ストリーミングクライアントとの間でストリーミングされる映像コンテンツの量は、１視聴者動作状況および複数視聴者動作状況において低減または最小化され得るので、映像コンテンツをストリーミングするための比較的大きな帯域割当量（ｂｕｄｇｅｔ）を使用する必要性が低減または最小化し、多種類の下流のデバイスに対して多種類の映像ストリーミングアプリケーションを効率よくサポートし得る。

本明細書に記載のフォービエイテッド画像における異なる画像部分に対して、空間微分ディスプレイマネジメント（ＤＭまたはＳＤＤＭ）メタデータ部分が生成され得る。フォービエイテッド画像およびＤＭメタデータ部分を受け取る受信映像復号化デバイスは、ＤＭメタデータ部分を使用して、それぞれのディスプレイマッピングまたはディスプレイマネジメント（ＤＭ）演算をフォービエイテッド画像の画像部分に対して行い、受信映像復号化デバイスとともに動作する１つ以上のターゲットディスプレイ上に描画されるディスプレイマッピング画像を生成し得る。

空間微分ＤＭメタデータに基づいてフォービエイテッド画像から改変（ａｄａｐｔ）されたディスプレイマッピング画像は、多種類のターゲットディスプレイのうちのいずれのターゲットディスプレイ上にも描画され得る。ターゲットディスプレイの例は、グローバルディミングディスプレイ、ローカウント（ｌｏｗ ｃｏｕｎｔ）ディミングディスプレイ、ローカルディミングディスプレイ、光方向付け能力付きディスプレイ、オーバドライブ／アンダードライブ能力付きディスプレイ、位相ベース光変調能力付きディスプレイなどを含み得るが、それらに限定されない。

また、位相ベース光変調を使用して、本明細書に記載のディスプレイマッピング画像における１つ以上の特定のスポットに、光を正確に方向付け得る。未使用のエネルギーを明るく輝度を必要としない画像位置／領域上で無駄にするのではなく、これらの画像位置／領域からのエネルギーまたは光を位相ベース光変調能力付きのターゲットディスプレイにおける任意の所与の位置に再分配し、これらの特定のスポットにおいて非常に高い明るさレベルを正確に生成し得る。

いくつかの例示的な実施形態において、本明細書に記載の機構は、メディア処理システムの一部を構成する。その例は、クラウドベースサーバ、モバイルデバイス、仮想現実システム、拡張現実システム、ヘッドアップディスプレイデバイス、ヘルメットマウントディスプレイデバイス、ＣＡＶＥ型システム、壁サイズ（ｗａｌｌ－ｓｉｚｅｄ）ディスプレイ、映像ゲームデバイス、ディスプレイデバイス、メディアプレイヤ、メディアサーバ、メディアプロダクションシステム、カメラシステム、ホームベース（ｈｏｍｅ－ｂａｓｅｄ）システム、通信デバイス、映像処理システム、映像コーデックシステム、スタジオシステム、ストリーミングサーバ、クラウドベースコンテンツサービスシステム、携帯デバイス、ゲーム機、テレビ、シネマディスプレイ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、セルラー無線電話、電子本リーダ、ＰＯＳ端末、デスクトップコンピュータ、コンピュータワークステーション、コンピュータサーバ、コンピュータキオスク、または様々な別の種類の端末およびメディア処理ユニットなどをいずれも含み得るが、それらに限定されない。

上記好適な実施形態に対する様々な変更ならびに本明細書に記載の一般原理および特徴が当業者に容易に明らかとなるであろう。したがって、本開示は、本明細書に記載の実施例に限定されるものではなく、本明細書に記載の原理および特徴に整合する最も広い範囲に従うべきものである。

２．人間の視野
本明細書に記載の技術は、（人間の）目および目が輝度、色、空間解像度などをどのように認識するかの知見に基づいて実装され得る。これらの技術は、個々の視聴者の特定の視覚特性またはユーザの集団の平均もしくは集団的視覚特性に基づいて適用され得る。

図１は、平均的な視聴者の目の視野を示す図の一例である。錐体および桿体分布（目における分布）は、錐体および桿体の異なる分布範囲に区分され、さらに、図１に示すような（目の）角視野図に投射され得る。最も高いレベルの視覚認識は、目の中心窩（視野）領域１０２において達成される。

例えば、限定しないが、目の視野において最も幅広い角度範囲は、図１の水平方向に沿う。この水平方向は、顔の解剖学上の視覚に関する制約を考慮しなければ、視聴者の２つの目の間の瞳孔間ライン（ｉｎｔｅｒｐｕｐｉｌ ｌｉｎｅ）に平行であり、約１８０角度であり得る。

各同心円（例えば、３０°、６０°、９０°などと標識）は、視聴者の左右の目の視聴方向に対して等（または、同一）角度の方向を表す。なお、３０°、６０°、９０°などの角度は、あくまで例示にすぎない。異なる値の角度または異なる組の角度を使用して、視聴者の視野を定義または記述し得る。視聴方向（図１において図示せず）は、中心窩領域１０２（最も暗く塗られたパターン）における横方向１１２と縦方向１１４との交点において、図１の紙面から垂直に突き出る。ここで、横方向（１１２）および縦方向（１１４）は、視聴方向に垂直な平面を形成する。

図１に示すように、目の視野は、中心傍（ｐａｒａｃｅｎｔｒａｌ）領域１０４によって直ちに囲まれた中心窩領域（１０２）に区分され得る（例えば、桿体／錐体の密度分布における所定の境界によって、論理的に、投射される、など）。いくつかの実施形態において、中心窩領域（１０２）は、視聴者の中心窩視に対応し、視聴方向に対してゼロ（０）角度から第１の角度（例えば、２～４角度、３～７角度、５～９角度など）まで広がり得る。いくつかの実施形態において、中心傍領域（１０４）は、視聴方向に対して第１の角度から第２の角度（例えば、６～１２角度など）まで広がり得る。

中心傍領域（１０４）は、近周辺（ｎｅａｒ－ｐｅｒｉｐｈｅｒａｌ）領域１０６によって直ちに囲まれる。近周辺領域（１０６）は、中間周辺（ｍｉｄ－ｐｅｒｉｐｈｒａｌ）領域（１０８）に直ちに隣接する。次いで、中間周辺領域（１０８）は、残りの視野、すなわち、遠周辺（ｆａｒ－ｐｅｒｉｐｈｅｒａｌ）領域１１０に直ちに隣接する。いくつかの実施形態において、近周辺領域（１０６）は、視聴方向に対して、第２の角度から第３の角度（例えば、２５～３５角度など）まで広がり得る。いくつかの実施形態において、中間周辺領域（１０８）は、視聴方向に対して第３の角度から第４の角度（例えば、５０～６５角度など）まで広がり得る。遠周辺領域（１１０）は、第４の角度から視野の端まで広がり得る。

この論理的な視野区分例において使用される第１、第２、第３および第４の角度は、横方向（１１２）に沿って定義または特定され得る。図１の視野が前レベル視聴方向（ｆｒｏｎｔ ｌｅｖｅｌ ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ）の視野に対応する場合、横方向（１１２）は、視聴者の瞳孔間ラインと同じであるか、または平行であり得る。

なお、図１に示すような角度に基づいて視聴者の視野を中心窩、中心傍、近周辺、中間周辺、遠周辺領域などに論理的に区分する方式に加えて、またはそれに代えて、それと異なる視聴者の視野の論理的区分方式を使用してもよい。

例えば、いくつかの実施形態において、視聴者の視野をより多くまたはより少ない領域に区分してもよい。例えば、中心傍領域および／または中間周辺領域のない、中心窩領域、近周辺領域および遠周辺領域の組み合わせなどに区分してもよい。そのような視聴者の視野の論理区分において、ＨＤＲ画像部分を使用して、中心窩領域から近周辺領域の一部または全てまでをカバーしてもよい。

いくつかの実施形態において、視聴者の視野は、図１に示す角度以外の他の大きさに基づいて区分してもよい。例えば、非限定的な実装において、中心窩領域は、視聴者の中心窩視に対応する視野領域として定義され得る。中心傍領域は、錐体／桿体密度が相対的に高い錐体／桿体密度閾値を超える視聴者の網膜エリアに対応する視野領域として定義され得る。近周辺領域は、錐体／桿体密度がそれぞれ相対的に高い錐体／桿体密度閾値を超えないが、中間錐体／桿体密度閾値を超える視聴者の網膜エリアに対応する視野領域として定義され得る。中間周辺領域は、錐体／桿体密度がそれぞれ中間錐体／桿体密度閾値を超えないが、相対的に低い錐体／桿体密度閾値を超える視聴者の網膜エリアに対応する視野領域として定義され得る。本明細書に記載の焦点視領域は、視聴者の中心窩視から、閾値（例えば、錐体／桿体密度閾値など）に基づく領域の一部または全部（例えば、視聴者の近周辺視の一部または全部など）までをカバー有し得る。閾値は、必ずしも角度に基づかなくてもよい。

付加として、オプションとして、または代替として、視聴者の視野および／または別の人間の視覚要素を論理的に区分する２つ以上の異なる方式の組み合わせを使用して、視聴者の視野の焦点視領域を判定してもよい。例えば、本明細書に記載の焦点視領域を使用して異なる角度方向の同じ角度値範囲をカバーする代わりに、本明細書に記載の焦点視領域は、縦方向（１１４）に沿ってカバーする角度値範囲よりも、横方向（１１２）に沿ってカバーする角度値範囲が大きくてもよい。なぜなら、人間の視覚系は、縦方向（１１４）に沿う画像ディテールよりも、横方向（１１２）に沿う画像ディテールに対してより高い感度を有し得るからである。

いくつかの実施形態において、本明細書に記載の焦点視領域は、中心窩領域（例えば、＋余裕マージン（ｓａｆｅｔｙ ｍａｒｇｉｎ）など）、中心傍領域（例えば、中心窩領域を除き、そしてそこから延伸する、など）、近周辺領域（例えば、中心傍領域をさらに除き、そしてそこから延伸する、など）、中間周辺領域（例えば、近周辺領域をさらに除き、そしてそこから延伸する、など）などのいくつかまたはすべてをカバーする。

いくつかの実施形態において、本明細書に記載の焦点視領域は、幅広い角度範囲の（視聴者の視聴方向に対して）対称な領域を表す対称な角度範囲をカバーする。焦点視領域の例は、視聴者の視聴方向に対して＋／－１５角度、＋／－２０角度、＋／－２５角度などのうちの１つを含み得るが、必ずしもそれに限定されない。

いくつかの実施形態において、本明細書に記載の焦点視領域は、幅広い角度範囲の（視聴者の視聴方向に対して）非対称な領域を表す非対称な角度範囲をカバーする。１つの目の視野の非対称な角度範囲は、内角（他方の／対の目を向く角度）から外角（他方の／対の目から離れる方向を向く角度）までをカバーする角度範囲として定義または特定され得る。

いくつかの実装例において、非対称な角度範囲は、視聴者の左右の目の両方の視野において重複する内側方向へ優先的にバイアスされる。内角にバイアスされた非対称な角度範囲の内角の例は、視聴者の視聴方向に対して１５角度、３０角度、４５角度などのうちの１つを含み得るが、必ずしもそれに限定されない。内角にバイアスされた非対称な角度範囲の外角の例は、視聴者の視聴方向に対して１０角度、１５角度、２０角度などのうちの１つを含み得るが、必ずしもそれに限定されない。

いくつかの実装例において、非対称な角度範囲は外側方向へ優先的にバイアスされ、この外側方向とは、視聴者の左右の目の両方の視野において重複してもよいし、しなくてもよい。外側方向にバイアスされた非対称な角度範囲の外角の例は、視聴者の視聴方向に対して１５角度、３０角度、４５角度などのうちの１つを含み得るが、必ずしもそれに限定されない。外側方向にバイアスされた非対称な角度範囲の内角の例は、視聴者の視聴方向に対して１０角度、１５角度、２０角度などのうちの１つを含み得るが、必ずしもそれに限定されない。

付加として、オプションとして、または代替として、いくつかの実施形態において、本明細書に記載の目の視野は、目の旋回、鼻、角膜、目蓋による視聴制約などの視覚に関する因子を考慮する。

本明細書に記載の焦点視領域の例は、円形、長円形、卵形、心臓形、星形、丸形、正方形、多角形などのうちの１つ以上の任意の組み合わせを含み得るが、必ずしもそれらに限定されない。

３．視聴方向のトラッキング
いくつかの実施形態において、目の視野の（例えば、相対的に小さい、などの）焦点視領域だけに、最も高いダイナミックレンジ、最も幅広い色域、最も高い（または、最もシャープな）空間解像度などを有する画素値を与える必要がある。いくつかの実施形態において、目の視野の焦点視領域は、目の中心窩視の全体（例えば、ちょうど全体、およそ全体、全体の９５％以上、１０５％以上など）に対応し、最大で目の近周辺視の一部または全部に対応し得る。いくつかの実施形態において、目の視野の焦点視領域は、さらに余裕視野領域（ｓａｆｅｔｙ ｖｉｓｉｏｎ ｆｉｅｌｄ ｒｅｇｉｏｎ）を含み得る。

いくつかの実施形態において、焦点視領域における余裕視野領域のサイズおよび／または形は、固定サイズ（例えば、０％、５％、１０％、－５％、－１０％など）に予め構成され得る。この固定サイズは、ネットワーク帯域、画像コンテンツ、映像アプリケーションに関与するコンピューティングデバイスの種類（例えば、ヘルメットマウントディスプレイデバイス、クレジットカードサイズプラグインデバイスなどのスモールフォームファクタ（ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ）コンピューティングデバイス、壁ディスプレイなど）、映像アプリケーションに関与する描画環境の種類（例えば、クラウドベース映像ストリーミングサーバ、映像ストリーミングクライアントと並置（ｃｏｌｌｏｃａｔｅ）される映像ストリーミングサーバ、ローカル無線接続を介して映像ストリーミングクライアントに接続された映像ストリーミングサーバなど）によって変化しない。

いくつかの別の実施形態において、焦点視領域における余裕視野領域のサイズおよび／または形は、実行時に動的に再構成可能であり、ある範囲（例えば、－１０％から１０％、－５％から５％、０％から５～１０％など）内で、ネットワーク帯域、画像コンテンツ、映像アプリケーションに関与するコンピューティングデバイスの種類（例えば、ヘルメットマウントディスプレイデバイス、クレジットカードサイズプラグインデバイスなどのスモールフォームファクタコンピューティングデバイス、壁ディスプレイなど）、映像アプリケーションに関与する描画環境の種類（例えば、クラウドベース映像ストリーミングサーバ、映像ストリーミングクライアントと並置される映像ストリーミングサーバ、ローカル無線接続を介して映像ストリーミングクライアントに接続された映像ストリーミングサーバなど）によって変化し得る。

例えば、ネットワーク接続が比較的高い帯域をサポートしていないと判断したことに応答して、余裕視野領域のサイズおよび／または形を目の中心窩視に対して１０％から５％に実行時に動的に縮小してもよい。他方、ネットワーク接続が比較的高い帯域をサポートしていないと判断したことに応答して、余裕視野領域のサイズおよび／または形を目の中心窩視に対して５％から１０％に実行時に動的に拡大してもよい。

また、余裕視野領域のサイズおよび／または形は、アイトラッキング（ｅｙｅ ｔｒａｃｋｉｎｇ）における潜時（ｌａｔｅｎｃｙ）に応じて設定され得る。例えば、実行時のユーザの視聴方向は、視聴方向トラッキングデバイスによってトラッキングされ得る。視聴方向トラッキングデバイスは、１シーケンスのディスプレイマッピング画像が描画されるディスプレイとともにリアルタイムに動作し得る。ユーザは、時々視聴方向および／または視聴距離を変化させるので、視聴方向トラッキングデバイスは、当該シーケンスのディスプレイマッピング画像が描画されている座標系における視聴角度および／または視聴距離をトラッキングおよび計算し、１つの時間シーケンスの視聴方向を生成し、当該時間シーケンスの視聴方向のうちの各視聴方向の信号を本明細書に記載の映像ストリーミングサーバに送信する。映像ストリーミングサーバによって受信された、各そのような信号化された視聴者の視聴方向は、時点値によってインデックス化され得る。時点値は、本明細書に記載の映像ストリーミングサーバによって、１シーケンスのディスプレイマッピング画像を生成するために映像デコーダによって使用される１シーケンスのフォービエイテッド画像のうちの特定のフォービエイテッド画像と関連付けまたは関係付けされ得る。

視聴方向データは、視聴方向トラッキングデバイスおよびストリーミングデバイスの間で、比較的短い潜時（例えば、１画像フレーム時間の数分の１以内、５ミリ秒以内など）で収集、分析および／または共有／送信され得る。一実装例において、視聴方向トラッキングデータは、複数のデータ／ネットワーク接続が利用可能である最短潜時データ／ネットワーク接続を使用して、これらのデバイス間で共有され得る。

視聴方向データに基づいて、比較的短い潜時（例えば、１画像フレーム時間の数分の１以内など）で比較的迅速に視聴者の視聴方向を判定したことに応答して、映像ストリーミングサーバ（例えば、１つ以上の上流デバイスで実装される映像ストリーミングサーバなど）は、余裕視野領域のサイズおよび／または形を目の中心窩視に対して１０％から５％に実行時に動的に縮小し得る。最も高いダイナミックレンジ、最も幅広い色域、最も高い空間解像度などを有する比較的小さなエリア（例えば、視聴方向から２０角度以内など）は、映像信号に含められて下流の受信デバイスに送られ得る。

他方、視聴方向データに基づいて、比較的長い潜時（例えば、時間閾値を超える潜時、１画像フレーム時間の数分の１を超える潜時、５ミリ秒よりも長い潜時など）で比較的ゆっくりと視聴者の視聴方向を判定したことに応じて、映像ストリーミングサーバは、余裕視野領域のサイズおよび／または形を目の中心窩視に対して、例えば、１％から３％に、２％から６％に、５％から１０％に実行時に動的に拡大し得る。最も高いダイナミックレンジ、最も幅広い色域、最も高い空間解像度などを有する比較的大きなエリア（例えば、視聴方向から最大３０角度など）は、映像信号に含められて下流の受信デバイスに送られ得る。このように、映像信号の受信デバイスは、画像描画を目的として視聴方向に基づくローカルな判定をするために、比較的大きな焦点視領域にわたって十分な画像データを有し得る。

本明細書に記載のＨＤＲソース画像は、１つ以上の空間環境に配備された１つ以上のカメラシステムを用いて撮像／生成され得る。空間環境の例は、物理的空間環境、シミュレーションされた空間環境、映画スタジオ、屋外シーン、屋内シーン、トンネル、街路、乗り物、船、飛行機、宇宙などをいずれも含み得るが、それらのみに限定されない。カメラシステムの例は、ライトフィールドカメラ、重複する視野および／または重複しない視野を有する複数のカメラ、デジタルカメラ、アナログカメラ、ウェッブカメラなどをいずれも含み得るが、それらのみに限定されない。

本明細書において、ＨＤＲソース画像は、１シーケンスのＨＤＲソース画像のうちの１個別のＨＤＲソース画像を表し得る。映像ストリーミングサーバは、１シーケンスのＨＤＲソース画像を受信し、受信したＨＤＲソース画像のシーケンスを入力として使用して、映像ディスプレイアプリケーション、ＶＲアプリケーション、ＡＲアプリケーション、自動車エンターテイメントアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーションなどのうちの１つ以上をサポートする（下流の）映像ストリーミングクライアントにストリーミングするための中心窩映像コンテンツを用意するように構成され得る。

本明細書に記載の画像（例えば、ＨＤＲソース画像、フォービエイテッド画像、ディスプレイマッピング画像など）は、ワールド座標系、カメラシステムに対して固定的な（ｓｔａｔｉｏｎａｒｙ）された座標系、空間環境などに対して固定（ｆｉｘｅｄ）された座標系などの多種類の座標系うちのいずれかにおいて表され得る。画像における空間位置は、絶対位置（例えば、ワールド座標系において表される位置など）または相対位置（例えば、カメラシステムに対して固定的な相対座標系において表される位置など）のいずれでもよい。

いくつかの実施形態において、画像における空間位置（例えば、画素など）は、１組の特定の（ｘ，ｙ）座標値によって表され得る。例えば、限定しないが、特定の（ｘ，ｙ）座標値のｘ座標値は、３Ｄ空間内の画像表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）における特定の経度（０～３６０角度の範囲）に対応し、他方、（ｘ，ｙ）座標値のｙ座標値は、３Ｄ空間内の画像表現における特定の緯度（０～１８０角度の範囲）に対応し得る。様々な実施形態において、幾何学的変換を使用して、１つの画像表現における空間位置の１組の（例えば、ｘ，ｙ）座標値を、別の画像表現における同じ位置の別の１組の（例えば、ピッチ、ロール、ヨー、スウェイ、ヒーブ、サージなど）座標値などに変換し得る。

４．フォービエイテッド画像
図２Ａは、ＨＤＲ画像コンテンツを有し、視聴者の中心窩視をカバーする一例のフォービエイテッド画像２００を示す。フォービエイテッド画像（２００）は、対応するＨＤＲソース画像における複数の対応する画像部分から改変された複数の画像部分を含む。フォービエイテッド画像における複数の画像部分にそれぞれ対する複数のディスプレイマネジメント（ＤＭ）メタデータ部分を含む画像メタデータが生成され得る。ＨＤＲソース画像を直接符号化する代わりに、フォービエイテッド画像（２００）が映像信号に符号化される。映像信号は、１つ以上の上流デバイス（例えば、映像ストリーミングサーバなど）から下流の受信デバイス（例えば、映像ストリーミングクライアントなど）に送信され得る。

本明細書に記載の画像における画像部分は、１組の画素（または位置）において１組の画素値を含む画像フレームを論理的に表し得る。画像部分および／またはその画像部分を格納するために使用される対応のバッファの個々の形（例えば、長方形、多角形、正形状（ｒｅｇｕｌａｒ ｓｈａｐｅ）、非正形状（ｉｒｒｅｇｕｌａｒ ｓｈａｐｅ）など）および個々のサイズは、例えば、ネットワーク潜時、帯域、視聴方向移動、画像コンテンツなどのうちの１つ以上に基づいて、動的に形状変更またはサイズ変更され得る。１つ以上の上流デバイスにおいて、および／または受信デバイスにおいて、フォービエイテッド画像（２００）における各画像部分（または、各画像フレーム）は、フォービエイテッド画像（２００）を格納する複数のメモリバッファにおいて、それぞれのメモリバッファに保持され得るが、それのみに限定されない。いくつかの実施形態において、メモリバッファのうちのいくつかまたはすべてが、共通のフレームレートで一括してリフレッシュされ得る。いくつかの実施形態において、メモリバッファのうちの少なくともいくつかがそれら自体のフレームレートで個々にリフレッシュされてもよい。いくつかの実施形態において、本明細書に記載の異なるメモリバッファにおける画像データは、一括に、個々に、または別々に圧縮され得る。いくつかの実施形態において、異なる画像レイヤを格納する異なるメモリバッファは、１つ以上のコンテンツデリバリネットワーク、１つ以上のコンテンツディストリビューションネットワーク、１つ以上のコアネットワーク、１つ以上のアクセスネットワークなどの異なるコンピューティングデバイスに位置し得る。例えば、対応するＨＤＲソース画像の同じ映像コンテンツを表すフォービエイテッド画像の焦点視画像部分を格納するメモリバッファは、受信デバイスに比較的近接して（例えば、地理的に、ネットワークトポロジーにおいて、同じネットワークにおいて、同じサービスプロバイダネットワークにおいて、アクセスネットワークにおいて、ローカルＷＩＦＩまたはワイヤラインネットワーク／データ接続を介して、比較的少ないネットワークホップを介して、など）保持され得る。対応するＨＤＲソース画像の同じ映像コンテンツを表すフォービエイテッド画像の非焦点視画像部分を格納する別のメモリバッファは、受信デバイスから比較的さらに離れて（例えば、地理的に、ネットワークトポロジーにおいて、異なるネットワークにおいて、異なるサービスプロバイダネットワークにおいて、コアネットワークにおいて、１つ以上のリモートネットワーク／データ接続を介して、比較的多くのネットワークホップを介して、など）保持され得る。

１つ以上の上流デバイスにおいて、フォービエイテッド画像（２００）を生成するための入力として受信されたＨＤＲソース画像は、別の入力ＨＤＲソース画像バッファにおいて保持され得る。受信デバイスにおいて、フォービエイテッド画像（２００）から生成されたディスプレイマッピング画像は、別のディスプレイマッピング画像バッファにおいて保持され得る。いくつかの実施形態において、ディスプレイマッピング画像バッファは、フォービエイテッド画像から得られた画像コンテンツを視聴者のディスプレイデバイス上で駆動／描画するために使用され、視聴者のディスプレイデバイスのデバイス固有フレームレートでリフレッシュされ得る。

フォービエイテッド画像（２００）は、目の視野の焦点視領域をカバーする焦点視画像部分２０２を含み得る。いくつかの実施形態において、中心窩視画像部分（２０２）は、視聴者の中心窩視の最も内側の部分（例えば、５０％、７０％、９０％など）に対応する焦点視領域をカバーする（例えば、完全に、実質的に＋または－５％余裕マージンなど）。いくつかの実施形態において、中心窩視画像部分（２０２）は、視聴者の中心窩視および視聴者の近周辺視の一部または全部に対応する焦点視領域をカバーする（例えば、完全に、実質的に＋または－５％余裕マージンなど）。

焦点視画像部分（２０２）における画像データは、下流の受信デバイスに対して空間距離（ｐｒｏｘｉｍｉｔｙ）的またはネットワークトポロジー距離的に比較的近接した上流デバイス、コンテンツサービングノード、コンテンツキャシュノードなどにおいて、キャッシュされ、そして比較的高いデータレートで下流の受信デバイスに供給され得る。焦点視画像部分は、１つ以上の上流デバイス（例えば、クラウドベース映像ストリーミングサーバ、セットトップボックス、ローカル映像ストリーミングサーバ、それらの１つ以上の任意の組み合わせなど）から映像信号に含められて送信される、最も高いダイナミックレンジ、最も幅広い色域、最も高い空間解像度などを有する画素値を含む。

フォービエイテッド画像（２００）は、目の視野における焦点視領域の外側の周辺視領域をカバーする周辺視画像部分２０４を含み得る。周辺視画像部分（２０４）における画像データは、下流の受信デバイスに対して空間距離的またはネットワークトポロジー距離的に比較的遠隔な上流デバイス、コンテンツサービングノード、コンテンツキャシュノードなどにおいて、キャッシュされ、そして比較的低いデータレートで下流の受信デバイスに供給され得る。周辺視画像部分（２０４）は、１つ以上の上流デバイス（例えば、クラウドベース映像ストリーミングサーバ、セットトップボックス、ローカル映像ストリーミングサーバ、それらの１つ以上の任意の組み合わせなど）から映像信号に含められて送信される、比較的低いダイナミックレンジ、比較的狭い色域、比較的低い空間解像度などを有する画素値を含み得る。

いくつかの実施形態において、焦点視画像部分（２０２）および周辺視画像部分（２０４）は、その時点に対して判定または予測された視聴者の視聴方向を参照して、フォービエイテッド画像（２００－１）における焦点視および周辺視画像部分（２０２および２０４）を生成するために使用されるＨＤＲソース画像（不図示）の画像フィールド（例えば、２０８など）の視聴者のビューポート２０６をカバーし得る。

図２Ａに示すように、ＨＤＲソース画像は、焦点視画像部分（２０２）および周辺視画像部分（２０４）にそれぞれ対応する２つのＨＤＲソース画像部分を含み得る。２つのＨＤＲソース画像部分のうち一方は、視聴者の焦点視領域に対応し（カバー可能であり）、焦点視画像部分（２０２）を生成するために使用または改変される。２つのＨＤＲソース画像部分うちの他方は、視聴者の周辺視領域に対応し（カバー可能であり）、周辺視画像部分（２０４）を生成するために使用または改変される。

図２Ａに示すように、焦点視画像部分（２０２）および周辺視画像部分（２０４）は、共になって、フォービエイテッド画像（２００）から生成されるディスプレイマッピング画像が描画される時点に対して判定または予測された視聴者の視聴方向を参照して生成されたフォービエイテッド画像（２００）における画像データ全体を表す。フォービエイテッド画像（２００）における焦点視画像部分（２０２）および周辺視画像部分（２０４）は、共になって、その時点における視聴者のビューポート（２０６）をカバーするために使用され得る。本明細書において、ビューポートは、フォービエイテッド画像（２００）から生成されたディスプレイマッピング画像が描画される、視聴者の１つ以上の画像ディスプレイ（または、１つ以上のターゲットディスプレイ）から利用可能な全ディスプレイエリア（または、全画像描画面）を指し得る。その時点に対して判定または予測された視聴者の視聴方向を参照してフォービエイテッド画像（２００）における複数の画像部分を生成するために使用されるＨＤＲソース画像は、視聴者のビューポート（２０６）よりもはるかに大きい画像フィールド２０８（例えば、没入型、パノラマ、３６０度ビューなど）をカバーし得る。

フォービエイテッド画像（２００）を使用して、ビューポート全体＋余裕マージンをカバーしてもよい。例えば、フォービエイテッド画像（２００）がたまたまビューポート全体をカバーするには不十分な場合、ビューポート内のいくつかの（例えば、小さい、など）部分に対して、充填画素（ｆｉｌｌｅｒ ｐｉｘｅｌ）を使用してもよい。

いくつかの実施形態において、フォービエイテッド画像（２００）が描画される時点に対して判定または予測された視聴者の視聴方向を参照して生成されたフォービエイテッド画像（２００）において、複数の焦点視画像部分が生成され得る。付加として、オプションとして、または代替として、フォービエイテッド画像（２００）が描画される時点に対して判定または推定された視聴者の視聴方向を参照して生成されたフォービエイテッド画像（２００）において、複数の周辺視（例えば、近周辺、中間周辺、遠周辺など）画像部分が生成され得る。

いくつかの実施形態において、本明細書に記載のフォービエイテッド画像に対して、焦点視および周辺視画像部分に加えて１つ以上の他の画像部分が生成されてもよい。他の画像部分ならびに焦点視および周辺視画像部分は、共になって、フォービエイテッド画像（２００）から生成されるディスプレイマッピング画像が描画される時点に対して判定または予測された視聴者の視聴方向を参照して生成されたフォービエイテッド画像（２００）における画像データ全体を表す。

図２Ｂは、焦点視画像部分２０２－１、周辺視画像部分２０４－１、他の画像部分２１０－１などを含む一例のフォービエイテッド画像２００－１を示す。いくつかの実施形態において、他の画像部分（２１０－１）、焦点視画像部分（２０２－１）および周辺視画像部分（２０６－１）は、その時点に対して判定または予測された視聴者の視聴方向を参照してフォービエイテッド画像（２００－１）において複数の画像部分を生成するために使用されるＨＤＲソース画像（不図示）の画像フィールド２０８－１を最大でその全体までカバーし得る。図２Ｂに示すように、視聴者のターゲットディスプレイのビューポートにおいて表示されるディスプレイマッピング画像は、焦点視画像部分（２０２－１）の全体、周辺視画像部分（２０６－１）の一部、および他の画像部分（２１０－１）の一部から得られるディスプレイマッピング画像データから構成され得る。

図２Ｂに示すように、ＨＤＲソース画像は、焦点視画像部分（２０２－１）、周辺視画像部分（２０４－１）および他の画像部分（２１０－１）にそれぞれ対応する３つのＨＤＲソース画像部分に区分され得る。３つのＨＤＲソース画像部分のうちの第１のＨＤＲソース画像部分は、視聴者の焦点視領域に対応し（カバーでき）、焦点視画像部分（２０２－１）を生成するために使用または改変される。３つのＨＤＲソース画像部分のうちの第２のＨＤＲソース画像部分は、視聴者の周辺視領域をカバーし、周辺視画像部分（２０４－１）を生成するために使用または改変される。３つのＨＤＲソース画像部分のうちの第３のＨＤＲソース画像部分は、視聴者の周辺視領域の外側（または、ビューポート（２０６－１）の外側）の画像フィールド部分をカバーし、他の画像部分（２１０－１）を生成するために使用または改変される。

いくつかの実施形態において、フォービエイテッド画像（２００－１）の焦点視画像部分（２０２－１）における画像データは、最も精細な画像ディテールを含み、クリッピングがないかもしくはほとんどない、または量子化エラーがないかもしくはほとんどない相対的に非圧縮なダイナミックレンジ、色歪みがないかもしくはほとんどない、または量子化エラーがないかもしくはほとんどない相対的に幅広い色域、サンプリングエラーがないかまたはほとんどない相対的に高い空間解像度などを有し得る。焦点視画像部分（２０２－１）における画像データは、ＨＤＲソース画像における対応の画像部分から生成され得るが、その際、色および／または空間解像度におけるダウンサンプリングは、行わないか、ほとんど行わないか、または最小限に行い、ダイナミックレンジ圧縮は、行わないか、ほとんど行わないか、または最小限に行うなどである。

いくつかの実施形態において、フォービエイテッド画像（２００－１）の周辺視画像部分（２０４－１）における画像データは、より少ない画像ディテールを含み、おそらくは、いくつかのクリッピングまたは相対的に大きな量子化エラーを有する圧縮ダイナミックレンジ、いくつかの色歪みまたは相対的に大きな量子化エラーを有する相対的に狭い色域、相対的に大きなサンプリングエラーを有する相対的に低い空間解像度などを有し得る。周辺視画像部分（２０４－１）における画像データは、ＨＤＲソース画像における対応の画像部分から生成され得るが、その際、色および／または空間解像度におけるダウンサンプリング、ダイナミックレンジ圧縮などを行う。

いくつかの実施形態において、フォービエイテッド画像（２００－１）の他の画像部分（２１０－１）における画像データは、さらに少ない画像ディテールを含み、おそらくは、より多くのクリッピングまたはより大きな量子化エラーを有するより圧縮されたダイナミックレンジ、色歪みまたはより大きな量子化エラーを有するより狭い色域、大きなサンプリングエラーを有するより低い空間解像度などを有し得る。他の画像部分（２１０－１）における画像データは、ＨＤＲソース画像における対応の画像部分から生成され得るが、その際、色および／または空間解像度におけるさらなるダウンサンプリング、より大きなダイナミックレンジ圧縮などを行う。

本明細書に記載の中心窩映像コンテンツは、視聴者のターゲットディスプレイのディスプレイ能力を超え得る高いダイナミックレンジおよび幅広い色域の少なくともいくつかの画像データ（例えば、中心窩視画像部分における画像データ、周辺視画像部分における画像データなど）を含む。ＤＭ演算（すなわち、ディスプレイマッピング演算）は、中心窩映像コンテンツの、視聴者に対して描画するためのディスプレイマッピング映像コンテンツへの変換に、空間微分的に適用され得る。ディスプレイマッピング映像コンテンツは、視聴者のターゲットディスプレイのディスプレイ能力内で、より低いダイナミックレンジ、より狭い色域などを有するが、その程度は、ディスプレイマッピング映像コンテンツにおける各ディスプレイマッピング画像にわたって空間的に変化する。

中心窩映像コンテンツに対して、ダイナミックレンジおよび色域がリファレンスターゲットディスプレイから視聴者の（実際の）ターゲットディスプレイへどのようにマッピングされるべきかを示すＤＭメタデータを含む画像メタデータが映像ストリーミングサーバによって生成され得る。本明細書に記載の技術において、ＤＭ演算は、フォービエイテッド画像にわたって、またはフォービエイテッド画像から生成されたディスプレイマッピング画像の視聴者のビューポートにわたって、必ずしも空間的に均一に行われない。むしろ、空間微分ＤＭ演算は、フォービエイテッド画像の異なる空間部分に位置するか、またはフォービエイテッド画像から生成されたディスプレイマッピング画像のビューポートの異なる空間部分に位置する異なる画像部分に対して行われ得る。

本明細書に記載の技術によってモニタリングされた視聴者の視聴方向を使用して、フォービエイテッド画像における焦点視画像部分、および周辺視画像部分などの他の画像部分を規定または線引きする。フォービエイテッド画像における焦点視画像部分に対して、焦点視ＤＭメタデータ部分が特異的に（ｓｐｅｃｉｆｉｃａｌｌｙ）または独立して（ｓｅｐａｒａｔｅｌｙ）生成され得る。フォービエイテッド画像における周辺視画像部分などの他の画像部分に対して、周辺視ＤＭメタデータ部分などの他のＤＭメタデータ部分が特異的にまたは独立して生成され得る。

これらの異なるＤＭメタデータ部分に基づいて、同じフォービエイテッド画像内において、ダイナミックレンジ圧縮、色および／または空間解像度におけるダウンサンプリングなどに空間微分的な影響（ｓｐａｔｉａｌｌｙ ｄｉｆｆｅｒｅｎｔｉａｔｅｄ ｉｍｐａｃｔ）を与える異なるＤＭ演算が行われる。

フォービエイテッド画像とともに受信デバイスに送られる画像メタデータセットは、フォービエイテッド画像に対して生成される様々なＤＭメタデータ部分を含み得る。より具体的には、フォービエイテッド画像とともに送られる画像メタデータセットは、視聴者の視野における中心窩視の小さい角度範囲（例えば、２～４度、３～５度、４～６度など）をカバーする焦点視画像部分に対する焦点視ＤＭメタデータ部分を含む。この焦点視ＤＭメタデータ部分は、受信デバイスによって、フォービエイテッド画像における焦点視画像部分をフォービエイテッド画像から生成されたディスプレイマッピング画像における対応の画像部分に再マッピングするために使用され得る。この再マッピングは、ディスプレイマッピング画像の焦点視画像部分において、ディスプレイマッピング画像の非焦点視画像部分と比較して、対応するＨＤＲソース画像から得られ得る最も精細な画像ディテールをダイナミックレンジ、色域、空間解像度などについて保存するように行われる。このように、本明細書に記載のＤＭメタデータは、ビューポートおよびターゲットディスプレイに適用可能なＤＭメタデータだけでなく、様々な時点における視聴者の視野のリアルタイム焦点視領域（例えば、２～４度、３～５度、４～６度など）に適用可能なＤＭメタデータも含む。

例えば、限定しないが、本明細書に記載の画像メタデータセットは、視聴者の視野に関するいくつかまたはすべての空間領域、ビューポート、ターゲットディスプレイの画像描画エリア、没入型画像の画像フィールドなどに対する以下のＤＭメタデータ部分のいくつかまたはすべてを含み得る。例えば、焦点視ＤＭメタデータ部分は、視聴者の視野における焦点視領域中の最大、最小および／もしくは平均輝度レベルまたは最大、最小および／もしくは平均ルマ値を含み得る。周辺視ＤＭメタデータ部分は、視聴者の視野における周辺視領域中の最大、最小および／もしくは平均輝度レベルまたは最大、最小および／もしくは平均ルマ値を含み得る。ビューポートＤＭメタデータ部分は、ビューポートにおける最大、最小および／もしくは平均輝度レベルまたは最大、最小および／もしくは平均ルマ値を含み得る。周辺視ＤＭメタデータ部分は、ビューポートの、焦点視ＤＭメタデータ、周辺視ＤＭメタデータなどのより特定のＤＭメタデータ部分によって表される空間領域の外側の空間領域に適用され得る。没入型（例えば、３６０度、全方向性など）ＤＭメタデータ部分は、ＨＤＲソース画像の画像フィールドにおける最大、最小および／もしくは平均輝度レベルまたは最大、最小および／もしくは平均ルマ値を含み得る。没入型ＤＭメタデータ部分は、画像フィールドの、焦点視ＤＭメタデータ、周辺視ＤＭメタデータ、ビューポートＤＭメタデータなどのより特定のＤＭメタデータ部分によって表される空間領域の外側の空間領域に適用され得る。これらの異なるＤＭメタデータ部分は、フォービエイテッド画像における異なる空間領域に適用されるＤＭ演算用の異なる再マッピング曲線（例えば、伝達関数など）を規定または生成ために使用され得る。

中心窩視領域に対するＤＭメタデータ部分に基づいて生成された再マッピング曲線（例えば、伝達関数など）は、クリッピングを含まないかもしくはほとんど含まず、および／または量子化エラーを含まないかもしくはほとんど含まない場合がある。例えば、再マッピング曲線は、フォービエイテッド画像の焦点視画像部分の、ディスプレイマッピング画像の焦点視画像部分へのマッピングに適用されるので、フォービエイテッド画像において表されるすべてのグレースケールレベル（これらはまた、次いで、フォービエイテッド画像を導出するために使用された対応のＨＤＲソース画像におけるすべてのグレースケールレベルを忠実に維持し得る）は、フォービエイテッド画像から生成される対応のディスプレイマッピング画像において正確に再生され得る。

他方、非中心窩視領域に対するＤＭメタデータ部分に基づいて生成された再マッピング曲線（例えば、伝達関数など）は、クリッピングおよび／または量子化エラーを含み得る。例えば、再マッピング曲線は、フォービエイテッド画像の周辺視画像部分の、ディスプレイマッピング画像の周辺視画像部分へのマッピングに適用されるので、フォービエイテッド画像において表されるいくつかのグレースケールレベル（これらはまた、次いで、フォービエイテッド画像を導出するために使用した対応のＨＤＲソース画像におけるすべてのグレースケールレベルを表さない場合がある）は、再生されないか、またはディスプレイマッピング画像のおける量子化エラーをともなって表され得る。

５．明順応レベル
実世界において、太陽を見つめた後に、少しそれた暗エリアを見ると、視聴者は、大きな痛みを感じるであろう。視聴者が非常に強い明レベルから低い明レベルに順応するには時間がかかる（例えば、おそらくは長い時間、５秒、２０秒など）。視聴者が低い明レベルに順応する前では、描画された画像の暗画像領域における画像ディテールは、描画された画像が表し得る完全な程度には認識されない。したがって、視聴者が低い明レベルに順応していなくて、画像ディテールを完全には認識しない場合は、描画された画像に画像ディテールを含ませることは、コンピューティング資源および／または帯域の無駄である。

他方、太陽が視聴者の中心窩視内になかった場合は、たとえ太陽がなおも視聴者の視野において、または描画された画像（例えば、ディスプレイマッピング画像など）を導出するために直接または間接的に使用されたＨＤＲソース画像の画像フィールドにおいて（視聴の中心窩視から離れて）存在していたとしても、視聴者にとって、上記の場合ほど痛くはないか、あるいは、低い明レベルに順応し、画像ディテールを完全に認識するのに上記の場合ほど長い時間はかからないであろう。

このように、様々な時点での画像ディテールに対する視聴者の認識能力は、その様々な時点において視聴者がどの明レベルに順応するかによって影響される。特に、特定の時点において視聴者がどの明レベルに順応するかは、視聴者がその特定の時点の前に具体的にどこで、いつ、どれくらいの長く見ていたかに基づいて（例えば、ほとんど、主に、著しく高い相関を有して、など）判定され、視聴者が順応した明レベルとは非常に異なる明レベルの他の画像ディテールを、描画された画像が含み得るかどうかにはあまり大きく依存しない。ただし、これらの他の画像ディテールが視聴者の中心窩視内またはその近傍にない場合に限る。

本明細書に記載の技術は、視聴者の明順応レベル（または、視聴者が順応する明レベル）を予測し、中心窩映像コンテンツからディスプレイマッピングされたディスプレイマッピング映像コンテンツを描画する処理において自然な視覚処理をエミュレートするように実装され得る。ＤＭメタデータなどの画像メタデータを使用して、様々な時点において視聴者が様々な明順応レベルにどれくらいの速さで順応するかに基づいて、ＤＭ演算（または、別の画像処理演算）において使用される再マッピング曲線が時間経過によってどのように変化、遷移、または改変するかを特定し得るか、またはそれに影響を与え得る。

明順応曲線は、目（視聴者の目）が時間経過によってどれくらい順応するかを予測または推定するために映像ストリーミングサーバ、映像ストリーミングクライアントなどによって使用され得る。いくつかの実施形態において、明順応曲線は、多くの明順応因子または入力変数に依存し得る。明順応因子または入力変数の例は、ソースゾーンの明レベル、ターゲットゾーンの明レベル、視聴者の焦点視がソースゾーン内にある期間の長さ、視聴者の焦点視がターゲットゾーン内にある期間の長さなどのうちの１つ以上を含むが、それらに限定されない。

本明細書に記載の明順応曲線は、人間の視覚モデルに基づき得るが、必ずしもそれのみに限定されない。明順応曲線は、ターゲットディスプレイの差異を考慮する入力因子を含み得る。例えば、明順応曲線は、異なるディスプレイ能力を有する異なる種類のターゲットディスプレイに対して異なるように、異なる明順応レベルを予測し得る。

本明細書に記載の明順応曲線は、異なる画像コンテクスト（ｃｏｎｔｅｘｔ）のシーンに対して異なるように明順応レベルを予測し得る。シーンにおける画像コンテクストの例は、連続した追跡（例えば、視聴者の目は、急速または弾道的運動、すなわちサッカードを行う、など）、平滑な追跡シーン（例えば、視聴者の目は、平滑な追跡運動を行う、など）、比較的大きな奥行のシーン（例えば、視聴者の目は、輻輳開散運動（ｖｅｇｅｎｃｅ ｍｏｖｅｍｅｎｔ）を行う、など）、または別のシーン（例えば、視聴者の目は、描写シーンにおける物体の移動を安定化または補償するために、小さな前庭動眼運動（ｖｅｓｔｉｂｕｌｏ－ｏｃｕｌａｒ ｍｏｖｅｍｅｎｔ）を行う、など）を含み得るが、それらに限定されない。

例えば、連続した追跡シーンにおいて、明順応曲線は、連続した追跡を直接的に描写する画像ディテール（または画素）の明レベルにはより大きな重みを与え、連続した追跡を直接的には描写しない画像ディテール（または画素）の明レベルにはより小さい重みを与え得る。

対照的に、明順応曲線は、平滑なシーン（例えば、ゆっくりと変化するシーンなど）においては、他のシーンと異なり、明順応レベルを予測し得る。そのようなシーンにおいて、明順応曲線は、そのシーンにおける相対的に大きなゾーン（例えば、周辺視画像ディテールのうちの一部を含む、など）内の画像ディテールの明レベルに（例えば、同等な、同じオーダーの大きさである（ｓａｍｅ ｏｒｄｅｒ ｏｆ ｍａｇｎｉｔｕｄｅ）、など）重みを割り当て得る。

視聴者の明順応レベルを判定、推定または予測するための明順応曲線を構築するために使用されるモデルにおいて、演算パラメータ（例えば、リフト（ｌｉｆｔ）、ゲイン、オフセットなどの曲線パラメータ）のうちのいくつかまたはすべてを調節するために、芸術的意図（例えば、ディレクタの意見、カラリストの意見など）が組み込まれ得る。

また、視聴者の明順応レベルを予測するために使用される明順応曲線は、ユーザ入力に部分的に基づき得る。例えば、視聴者は、受信デバイスおよび／またはターゲットディスプレイと対話して、複数の選択可能な明順応設定の中から特定の明順応設定を選択し得る。特定の明順応設定は、明順応曲線がどのように視聴者の明順応レベルを予測するかに影響を与えること、明順応曲線において使用される入力パラメータのうちのいくつかまたはすべてに対する値を判定することなどのために使用され得る。

本明細書に記載の技術において、視聴者が視聴していたターゲットゾーンを考慮し、砲弾モデルまたは人間の眼球運動に対して特別に開発されたモデル（例えば、実験を介して、シミュレーションを介して、実証研究（ｖａｌｉｄａｔｉｏｎ ｓｔｕｄｉｅｓ）を介して開発されたモデルなど）に基づいて、視聴者が視聴していると予測されるソースゾーンが判定され得る。例えば、視聴者の眼球運動（例えば、サッカード、平滑な追跡運動、輻輳開散運動、前庭動眼運動など）は、視聴トラッキングデータに基づいてモニタリングされ得る。視聴方向変化における速度、加速度などは、ターゲットゾーンにおいて、視聴者の眼球運動をトラッキングする視聴トラッキングデータに基づいて、判定され得る。ターゲットゾーンの初期位置とともに、ターゲットゾーンにおいて測定される速度、加速度などに少なくとも基づいて、ソースゾーンの位置が判定、推定または予測され得る。

ある時点において予測または推定された視聴者の明順応レベルに基づいて、視聴者の視野の様々な領域において空間的に変化する丁度可知差異（ｓｐａｔｉａｌｌｙ－ｖａｒｙｉｎｇ ｊｕｓｔ ｎｏｔｉｃｅａｂｌｅ ｄｉｆｆｅｒｅｎｃｅ）（ＪＮＤ）の分布が判定され得る。ダイナミックレンジおよび空間解像度は、視聴者の視野における空間変化ＪＮＤの分布に基づいて調節され得る。視聴者の視覚能力（例えば、ＪＮＤに基づく視覚能力など）が精細な画像ディテールまたは精細なグレースケールレベル差を識別することができないと予測または推定される画像部分（例えば、周辺視画像部分など）において、画像部分における画像データ（例えば、２ビット映像データなどの比較的低いビットの奥行き画像データが与えられ得る、など）は、視聴者の視覚認識に視覚アーチファクトを生じさせることなく、ダウンサンプリング、圧縮などがなされ得る。他方、視聴者の視覚能力（例えば、ＪＮＤに基づく視覚能力など）が精細な画像ディテールまたは精細なグレースケールレベル差を識別できると予測または推定される画像部分（例えば、中心窩視画像部分など）において、画像部分における画像データ（例えば、１２ビット映像データなどの比較的高いビットの奥行き画像データが与えられ得る、など）は、精細な画像ディテールを維持または保存するようにＨＤＲソース画像から１－１にマッピングされ得る。

図２Ｃは、視聴者によって視聴される描画シーン２２４における一例のソースゾーン２２０および一例のターゲットゾーン２２２を示す。ソースゾーン（２２０）は、視聴者の焦点視が描画シーン（２２４）においてあらかじめ位置づけられた（描画シーンの）空間位置またはゾーンを表す。ターゲットゾーン（２２２）は、ディスプレイマッピング画像が描画される時点において視聴者の焦点視が位置する（例えば、そうなると判定、予測、推定された、など）（描画シーンの）空間位置またはゾーンを表す。ここで、ディスプレイマッピング画像は、明順応曲線に基づいてその時点に対して予測された視聴者の明順応レベルに少なくとも部分的に基づいて、フォービエイテッド画像から再マッピングされる。ゾーンの形状の例は、を含み得るが、それらに限定されない。

ターゲットゾーン（２２２）、ソースゾーン（２２０）などのゾーンの明レベルは、ゾーン内またはその周辺における画素の輝度値から判定／計算される重み付け集約明レベル（ｗｅｉｇｈｔｅｄ ａｇｇｒｅｇａｔｅｄ ｌｉｇｈｔ ｌｅｖｅｌ）に基づいて判定され得る。ゾーンの明レベルを計算するために、ゾーンの最も内側の部分における画素の輝度値に、ゾーンの最も内側の部分の外側またはゾーンの外側の画素の輝度値よりも（例えば、著しく、など）高い重みが与えられ得る。ゾーンの明レベルを計算する特定方法、特定因子、特定パラメータなどは、人間の視覚モデル化、人間の視覚系（ＨＶＳ）に対する明順応モデル、実験による人間の視覚研究、実験、実証などに基づき得る。

視聴者の視聴方向があるゾーン内にある時、視聴者は、そのゾーンにもう順応しているかもしれないし、そうでないかもしれない。いくつかの実施形態において、明順応曲線を使用して、視聴者がターゲットゾーン（２２２）における明レベルに調節するためのフェードインフェードアウト時間を判定してもよい。フェードインフェードアウト時間は、中心窩映像コンテンツをディスプレイマッピング映像コンテンツに再マッピングするための順応時間として使用され得る。

例えば、視聴者がターゲットゾーン（２２２）の明レベルに順応するために順応時間を必要とすると判断したことに応答して、映像ストリーミングサーバは、順応時間を画像メタデータに含めて送信し得る。受信デバイスは、順応時間が過ぎるまで、ターゲットゾーン（２２２）（または、おそらくはその他の場所）における完全な画像ディテールの再マッピングを遅らせ得る。順応時間中、視聴者の目によって十分には認識されない明レベルまたは明レベル範囲は、クリッピングされ得るか、または大きな量子化刻み幅で符号化された粗いグレースケールレベルまたは色を用いて表され得る。一旦順応時間が過ぎ、視聴者がターゲットゾーン（２２２）の明レベルに順応したと予測されると、完全な画像ディテールが、ディスプレイマッピングコンテンツにおけるターゲットゾーン（２２２）に対して、視聴者の新たな明順応レベル（ターゲットゾーン（２２２）の明レベルに等しいか、または非常に近似する明順応レベル）で再生／描画され得る。

このように、本明細書に記載の技術において、１シーケンスのＨＤＲソース画像のうちの同じＨＤＲソース画像に対して、視聴者の予測された明順応レベル（視聴者の視聴方向の履歴および前回描画された画像コンテンツに依存する）の値に応じて、当該ＨＤＲソース画像から異なるフォービエイテッド画像が生成され得、そして、異なるディスプレイマッピング画像が再生／描画され得る。

例えば、視聴者の目が視聴者のターゲットディスプレイのビューポートを介して、描画シーンの左上の隅におけるソースゾーン（２２０）を見ていた後に、同じビューポートを介して、描画シーンにおけるターゲットゾーン（２２２）を見下ろした時、本明細書に記載のディスプレイマッピング演算（または、ＤＭ演算）は、ソースゾーン（２２０）における画像部分がどの時刻に、どの明るさであったか、および視聴者の目がターゲットゾーン（２２２）の明レベルまでの一続きのターゲットゾーンにおける明レベルにどれだけの長さの時間で順応するかに基づいて、視聴者の目の順応時間を考慮する。

このように、視聴者の目がソースゾーン（２２０）における画像内の太陽またはその近傍を見ていた場合に、輝度範囲の上限を、明るい輝度レベルまたは明るい輝度範囲における画像ディテールを失わないか、またはほとんど失わずに、最大またはピーク輝度レベルにクランクアップ（ｃｒａｎｋ ｕｐ）または保存し、ターゲットゾーン（２２２）（または、他の場所）における輝度範囲内の暗輝度レベルまたは影をつぶす（ｃｒｕｓｈｉｎｇ）またはクリッピングすることは、視聴者の目がターゲットゾーン（２２２）における明レベルに順応する前では許容され得る。加えて、視聴者の目が影内のターゲットゾーン（２２２）に移動するにつれ、および視聴者の目がターゲットゾーン（２２２）における明レベルにますます順応するにつれ、まずターゲットゾーン（２２２）における明レベル近傍の画像ディテールを示すことなく画像全体を暗くし、次いで（一時的に）影内の画像ディテールを時間とともにゆっくりと引き出すことは、例えば、視聴者のターゲットディスプレイとともに動作する視聴者の映像復号化デバイスにフォービエイテッド画像とともに（例えば、同時に、など）送られる画像メタデータにおいて順応時間を特定することによって、許容され得る。

６．空間微分ディスプレイマッピング
図２Ｄは、視聴者の目が比較的高い明レベルに順応する動作状況における、ＨＤＲソース画像のＨＤＲソースダイナミックレンジ２３０（例えば、全体にわたって均一、など）から、ＨＤＲソース画像から生成されたフォービエイテッド画像の焦点視画像部分の焦点視ダイナミックレンジ２３２、およびフォービエイテッド画像の周辺視画像部分の周辺視ダイナミックレンジ２３４へのディスプレイマッピングの例を示す。

図示のように、ＨＤＲソースダイナミックレンジ（２３０）の第１のサブレンジ２３６は、フォービエイテッド画像の焦点視画像部分を導出／生成するために使用される（ＨＤＲソース画像の）第１の画像部分の全ダイナミックレンジを表し得る。本明細書に記載の技術において、ＨＤＲソース画像の第１の画像部分に対して、ダイナミックレンジ圧縮を全く行わないか、または最小限のダイナミックレンジ圧縮を行い得る。ＨＤＲソース画像の第１の画像部分は、フォービエイテッド画像の焦点視画像部分を（例えば、視聴者の明順応レベルが焦点視画像部分周辺のゾーンにおける重み付け集約明レベルと同等であると判定したことに応答して、など）導出／生成するために使用される。ＨＤＲソース画像の第１の画像部分のすべてのグレースケールレベルおよび／または色および／または空間解像度は、焦点視画像部分において、焦点視ダイナミックレンジ（２３２）および／または焦点視色域および／または焦点視空間解像度で、１－１または比較的忠実に再生され得る。

他方、本明細書に記載の技術において、フォービエイテッド画像の非焦点視画像部分を導出／生成するために使用されるＨＤＲソース画像の他の画像部分に対して、（例えば、比較的大きな、など）ダイナミックレンジ圧縮が行われ得る。ＨＤＲソース画像の他の画像部分のいくつかのグレースケールレベルおよび／または色および／または空間解像度は、非焦点視画像部分において、非焦点視ダイナミックレンジおよび／または非焦点視色域および／または非焦点視空間解像度で、大きな量子化エラーを伴いながら、圧縮、ダウンサンプリングまたは表され得る。ＨＤＲソース画像の他の画像部分のいくつかのグレースケールレベルおよび／または色および／または空間解像度は、非焦点視画像部分において、非焦点視ダイナミックレンジおよび／または非焦点視色域および／または非焦点視空間解像度で、さらに大きなエラーを伴いながら、クリッピングまたは表され得る。

例えば、ＨＤＲソースダイナミックレンジ（２３０）の第２サブレンジ２４０は、フォービエイテッド画像の周辺視画像部分の少なくとも一部を導出／生成するために使用される（ＨＤＲソース画像の）第１の画像部分の第１のサブレンジ（２３６）よりも低い近（ｎｅａｒｂｙ）グレースケールレベルを表し得る。ＨＤＲソースダイナミックレンジ（２３０）の第２サブレンジ（２４０）内で表されたグレースケールまたは輝度レベルは、周辺視ダイナミックレンジ（２３４）内で圧縮され得る。ＨＤＲソースダイナミックレンジ（２３０）の第３のサブレンジ２４２は、フォービエイテッド画像の周辺視画像部分の少なくとも一部を導出／生成するために使用されるグレースケールレベルを表し得、そして、（ＨＤＲソース画像の）第１の画像部分の第２サブレンジ（２４０）よりもさらに低く、視聴者の明順応レベルからさらに離れている。ＨＤＲソースダイナミックレンジ（２３０）の第３のサブレンジ（２４２）内で表されたグレースケールまたは輝度レベルは、周辺視ダイナミックレンジ（２３４）内でクリッピングされ得る。対照的に、ＨＤＲソースダイナミックレンジ（２３０）の第４のサブレンジ（２３８）内で表されるグレースケールまたは輝度レベルは、これらのグレースケールまたは輝度レベルが視聴者の明順応レベルに近い場合、さらにこれらのグレースケールまたは輝度レベルがフォービエイテッド画像の焦点視画像部分を符号化するために使用されるダイナミックレンジの一部でない場合に、周辺視ダイナミックレンジ（２３４）内で主に再生され得る。

図２Ｅは、視聴者の目が比較的低い明レベルに順応する動作状況における、ＨＤＲソース画像のＨＤＲソースダイナミックレンジ２３０－１（例えば、全体にわたって均一、など）から、ＨＤＲソース画像から生成されるフォービエイテッド画像の焦点視画像部分の焦点視ダイナミックレンジ２３２－１、およびフォービエイテッド画像の周辺視画像部分の周辺視ダイナミックレンジ２３４－１へのディスプレイマッピングの例を示す。

図示のように、ＨＤＲソースダイナミックレンジ（２３０－１）の第１のサブレンジ２３６－１は、フォービエイテッド画像の焦点視画像部分を導出／生成するために使用される（ＨＤＲソース画像の）第１の画像部分の全ダイナミックレンジを表し得る。ＨＤＲソース画像の第１の画像部分のすべてのグレースケールレベルおよび／または色および／または空間解像度は、焦点視画像部分において、焦点視ダイナミックレンジ（２３２－１）および／または焦点視色域および／または焦点視空間解像度で、１－１または比較的忠実に再生され得る。

他方、ＨＤＲソースダイナミックレンジ（２３０－１）の第２サブレンジ２４０－１は、フォービエイテッド画像の周辺視画像部分の少なくとも一部を導出／生成するために使用される（ＨＤＲソース画像の）第１の画像部分の第１のサブレンジ（２３６）よりも高い近グレースケールレベルを表し得る。ＨＤＲソースダイナミックレンジ（２３０－１）の第２サブレンジ（２４０－１）内で表されるグレースケールまたは輝度レベルは、周辺視ダイナミックレンジ（２３４－１）内で圧縮され得る。ＨＤＲソースダイナミックレンジ（２３０－１）の第３のサブレンジ２４２－１は、フォービエイテッド画像の周辺視画像部分の少なくとも一部を導出／生成するために使用されるグレースケールレベルを表し得、そして、（ＨＤＲソース画像の）第１の画像部分の第２サブレンジ（２４０－１）よりもさらに高く、視聴者の明順応レベルからさらに離れている。ＨＤＲソースダイナミックレンジ（２３０－１）の第３のサブレンジ（２４２－１）内で表されるグレースケールまたは輝度レベルは、周辺視ダイナミックレンジ（２３４－１）内でクリッピングされ得る。対照的に、ＨＤＲソースダイナミックレンジ（２３０－１）の第４のサブレンジ（２３８－１）内で表されたグレースケールまたは輝度レベルは、これらのグレースケールまたは輝度レベルが視聴者の明順応レベルに近い場合、さらにはこれらのグレースケールまたは輝度レベルがフォービエイテッド画像の焦点視画像部分を符号化するために使用されるダイナミックレンジの一部でない場合に、周辺視ダイナミックレンジ（２３４－１）内で主に再生され得る。

本明細書に記載のディスプレイマッピング映像コンテンツは、グローバルディミング、ローカルディミングまたはローカウントディミングをサポートする視聴者の１つ以上のターゲットディスプレイ上に描画され得る。本明細書において、グローバルディミングをサポートするターゲットディスプレイは、光が画像データに基づいて画像中に変調される前に、光の（例えば、グローバルな、など）輝度レベルを全ディスプレイエリアまたは全画像描画表面にわたって調節することが可能なディスプレイデバイスを指す。ローカルディミングをサポートするターゲットディスプレイは、光が画像データに基づいて画像中に変調される前に、ディスプレイエリアまたは画像描画表面内の比較的多数（例えば、数十、数百、数千またはそれ以上、など）のエリアに対して、光の個々のローカルエリア輝度レベルを調節することが可能なディスプレイデバイスを指す。個々のエリアに対する個々のローカルエリア輝度レベルは、画像をダウンサンプリングしたものに少なくとも部分的に基づいて制御され得る。ローカウントディミングをサポートするターゲットディスプレイは、光が画像データに基づいて画像中に変調される前に、ディスプレイエリアまたは画像描画表面内の比較的少数（例えば、２、４、６、８個など）のエリアに対して、光の個々のローカルエリア輝度レベルを調節できるディスプレイデバイスを指す。

一例において、中心窩視画像部分などの画像部分における再マッピング（ｒｅｍａｐｐｅｄ）ダイナミックレンジを使用して、オーバドライブおよび／またはアンダードライブ能力を有するターゲットディスプレイにおけるバックライトが画像描画演算においてどのように使用されるかに影響を与え得る。中心窩視画像部分が比較的高いダイナミックレンジまたはピーク輝度値を有する場合、ターゲットディスプレイは、バックライトを中心窩視画像部分に与えるバックライトサブユニットをオーバドライブし得る。付加として、オプションとして、または代替として、ターゲットディスプレイは、バックライトを非中心窩視画像部分に与えるバックライトサブユニットをアンダードライブして、過熱またはエネルギーの過剰消費を防止し得る。

別の例において、グローバルディミングターゲットディスプレイは、ある時点において多く（例えば、１０００個など）のグレースケールレベルをサポート可能であり得る。これらのグレースケールレベルを使用して、視聴者の中心窩視における画像ディテールまたはグレースケールレベルの描画を最大限サポートし得る。視聴者が明るい画像ディテールを視聴しているとき、グローバルディミングターゲットディスプレイは、グレースケールレベルのすべてではないとしてもそのほとんどを比較的高い輝度値（例えば、３０００～４０００ニットなど）に設定し得る。他方、視聴者が暗い画像ディテールを視聴している時、グローバルディミングターゲットディスプレイは、グレースケールレベルのすべてではないとしてもそのほとんどを比較的低い輝度値（例えば、０．１ニット～１００ニットなど）に設定し得る。同様に、任意のある時点において視聴者の中心窩視内に表されるダイナミックレンジに応じて、別の輝度サブレンジがグローバルディミングターゲットディスプレイによって動的に設定される。これにより、グローバルディミングターゲットディスプレイが１０００個のグレースケールレベルに限定され得るとしても、グローバルディミングターゲットディスプレイは、視聴者の中心窩視において、はるかにより大きなダイナミックレンジおよびはるかにより多くのグレースケールレベルで描画し、それにより、グローバルディミングターゲットディスプレイがローカルディミング能力を有し、非常に低い輝度値から非常に高い輝度値までの非常に高いダイナミックレンジをサポートでき、非常に大きいコントラスト（例えば、最低輝度値０．１ニット～ピーク輝度値４０００ニットなど）をサポートでき、画像を高い忠実度で描画できる、などの印象を生成し得る。

付加として、オプションとして、または代替として、本明細書に記載のフォービエイテッド画像から生成されたディスプレイマッピング画像を描画するために、ローカウントディミングターゲットディスプレイを使用してもよい。グローバルディミングターゲットディスプレイと同様に、ローカウントディミングターゲットディスプレイはまた、ディスプレイマッピング画像における中心窩視画像部分のダイナミックレンジに基づいて、ターゲットディスプレイにおけるローカウント総数のゾーンのうちのいずれのゾーンにおいても、グレースケールレベルを有するダイナミックレンジを適合可能に設定し得る。これにより、ローカウントディミングターゲットディスプレイは、ディミング演算に対して比較的限定された数のゾーンを有し、ゾーンのそれぞれにおける多くのグレースケールレベルに限定され得るが、ローカウントディミングターゲットディスプレイは、視聴者の中心窩視において、はるかにより大きなダイナミックレンジおよびはるかにより多くのグレースケールレベルで描画し、それにより、ローカウントディミングターゲットディスプレイは、ローカルディミング能力を有し、非常に低い輝度値から非常に高い輝度値までの非常に高いダイナミックレンジをサポートでき、非常に大きいコントラスト（例えば、最低輝度値０．１ニット～ピーク輝度値４０００ニットなど）をサポートでき、画像を高い忠実度で描画できる、などの印象を生成し得る。

図２Ｆは、４つの個々のローカウントディミングエリア２５２－１～２５２－４を含む一例のローカウントディミングターゲットディスプレイ２５０を示す。ディミングエリア（２５２－１～２５２－４）のそれぞれにおいて、個々の輝度レベルが調節され得る。例えば、第１の時刻において、視聴者の視聴方向または中心窩視は、ローカウントディミングエリア２５２－１に対応するソースゾーン（例えば、２２０など）内に位置し、ローカウントディミングエリア（２５２－１）の輝度レベルは、ローカウントディミングエリア（２５２－１）内のディスプレイマッピング画素の輝度値のダイナミックサブレンジに基づいて制御され得る。特に、ローカウントディミングエリア（２５２－１）の輝度レベルは、視聴者の中心窩視において、視聴者の中心窩視において、ソースゾーン（２２０）において、などで、少なくともピーク輝度以上に設定され得る。これにより、視聴者の中心窩視内で、視聴者の中心窩視において、ソースゾーン（２２０）において、などで、ディスプレイマッピング画素の輝度値は、最大限にまたは最大の忠実度で再生され得る。

第２の時刻において、視聴者の視聴方向または中心窩視は、ローカウントディミングエリア２５２－４に対応するターゲットゾーン（例えば、２２２など）内に位置し、ローカウントディミングエリア（２５２－４）の輝度レベルは、ローカウントディミングエリア（２５２－４）内のディスプレイマッピング画素の輝度値のダイナミックサブレンジに基づいて制御され得る。特に、ローカウントディミングエリア（２５２－４）の輝度レベルは、視聴者の中心窩視において、視聴者の中心窩視において、ターゲットゾーン（２２２）において、などで、少なくともピーク輝度以上に設定され得る。これにより、視聴者の中心窩視内、視聴者の中心窩視において、ターゲットゾーン（２２２）において、などで、ディスプレイマッピング画素の輝度値は、最大限にまたは最大の忠実度で再生され得る。

図２Ｇは、ＨＤＲソース画像のＨＤＲソースダイナミックレンジ２３０－１（例えば、全体にわたって均一、など）から、ＨＤＲソース画像から生成されるフォービエイテッド画像の焦点視画像部分の焦点視ダイナミックレンジ、および視聴者の目が比較的低い明レベルに順応する動作状況におけるフォービエイテッド画像の周辺視画像部分の周辺視ダイナミックレンジ２３４－１へのディスプレイマッピングの例を示す。フォービエイテッド画像の焦点視画像部分の焦点視ダイナミックレンジは、２つのダイナミックサブレンジを含み得る。２つのダイナミックサブレンジうちの一方は、図２Ｅのダイナミックレンジ２３２－１に対応し、他方は、ダイナミックレンジ（２３２－１）よりも高い追加のダイナミックレンジ２３２－２（例えば、画像ハイライト、電球、光沢な表面からの強い反射など）であり得る。

いくつかの実施形態において、グローバルディミングディスプレイは、焦点視画像部分に対してダイナミックレンジ圧縮を行わないか、またはそれを最小限に行うために、ディスプレイ全体の輝度レベルを追加のダイナミックレンジ２３２－２内の最大輝度値以上に設定し得る。

いくつかの実施形態において、ローカルディミングディスプレイは、ディスプレイの異なるエリアにおけるローカル輝度レベルを、これらの異なるエリアにおけるディスプレイマッピング画素の最大輝度値以上に設定し得るが、そうなり得るのは、これらのディスプレイマッピング画素が焦点視画像部分の一部である場合である。

いくつかの実施形態において、ローカルディミングディスプレイは、ディスプレイの異なるローカウントエリアにおけるローカル輝度レベルを、これらの異なるエリアにおけるディスプレイマッピング画素の最大輝度値以上に設定し得るが、そうなり得るのは、これらのディスプレイマッピング画素が焦点視画像部分の一部である場合である。

付加として、オプションとして、または代替として、光方向付け方法、フェーズド光変調方法などを使用して、ディスプレイマッピング画素がより高い輝度レベルを必要とする場合に、より多くの光をディスプレイマッピング画素の位置に向けて方向転換させ得る。例えば、追加のダイナミックレンジ（２３２－２）内の輝度値を有するディスプレイマッピング画素が焦点視画像部分において位置する場合、１つ以上の光方向付け方法、フェーズド光変調方法などを使用して、これらのディスプレイマッピング画素に対して、明レベルまたは輝度レベルを高くし得る。明レベルまたは輝度レベルが高められたこれらのディスプレイマッピング画素にさらに多くの光が方向付けられるにつれ、他の画像部分における他のディスプレイマッピング画素の明レベルまたは輝度レベルが低下または犠牲にされ得る可能性がある。

いくつかの動作状況において、視聴方向トラッキングの代わりに、またはそれに加えて、（例えば、カラリスト、ディレクタ、映像プロフェッショナルからの、など）事前の（ａ ｐｒｉｏｒｉ）ユーザ入力を使用して、ＨＤＲソース画像、またはＨＤＲソース画像から生成されたフォービエイテッド画像における焦点視画像部分を指定し得る。焦点視フォービエイテッド画像部分および対応するＤＭメタデータ部分は、ＨＤＲソース画像においてユーザ入力に基づいて指定された焦点視画像部分から生成され得る。ＤＭメタデータ部分は、ユーザ入力に基づいて指定された焦点視画像部分における、ダイナミックレンジ、色域、空間解像度などに関する画像ディテールが、フォービエイテッド画像から生成されるフォービエイテッド画像およびディスプレイマッピング画像において保存されることを確実にするために、受信デバイスによって使用され得る。ユーザ入力に基づいて指定された中心窩視画像部分を使用して、視聴者の視聴方向を、例えば、ある注目のエリアに、特定の長さの時間だけ向け得る。ここで、ある注目のエリアは、画像ディテールを用いて描画されるとともに、他のエリアは、マスクされ得るか、または当該注目のエリアと比較してより少ない画像ディテールを含み得る。

いくつかの実施形態において、ＡＲなどの映像アプリケーションにおける本明細書に記載のディスプレイマッピング映像コンテンツは、映像アプリケーションにおける周囲明レベルに少なくとも部分的に基づいて生成され得る。視聴者のターゲットディスプレイを用いてモニタリングされる周囲明レベルは、中心窩映像コンテンツにおける対応のダイナミックレンジ、ダイナミックサブレンジなどがマッピングまたは再マッピングされるディスプレイマッピング映像コンテンツの様々な画像部分におけるダイナミックレンジ、ダイナミックサブレンジなどを調節するために使用され得る。例えば、周囲明レベルは、ＤＭメタデータ部分およびデフォルトの周囲明レベルに基づくダイナミックレンジマッピングを、ＤＭメタデータ部分および視聴者のターゲットディスプレイによってモニタリングされた実際の周囲明レベルに基づく調節（ａｄｊｕｓｔｅｄ）ダイナミックレンジマッピングに調節するために使用され得る。調節ダイナミックレンジマッピングは、フォービエイテッド画像における画像部分のダイナミックレンジを、フォービエイテッド画像における画像部分のディスプレイマッピングダイナミックレンジにマッピングまたは再マッピングするために使用され得る。

本明細書に記載の技術は、様々な映像コンテンツに適用され得る。例えば、ＴＶなどのディスプレイ上に２Ｄ映像コンテンツを表示する映像アプリケーションにおいて、２Ｄ映像コンテンツを視聴している１以上の視聴者の視聴方向がリアルタイム、準リアルタイムなどでモニタリングされ得る。これらの視聴方向を使用して、画像ディテールが保存される１つ以上の焦点視画像部分を（例えば、同時に、など）指定し得る。フォービエイテッド画像は、フォービエイテッド画像を生成するために使用されたＨＤＲソース画像における１つ以上の対応する画像部分から１つ以上の焦点視画像部分を含むように生成され得る。

例示を目的として、視聴者が中心窩映像コンテンツを視聴しているときに収集／トラッキングされた視聴方向データに基づいて、ある時点における視聴者の視聴方向（例えば、ソースゾーン、ターゲットゾーン、中間ゾーンへの方向など）が判定され得ることを説明した。付加として、オプションとして、または代替として、ある時点における視聴者の視聴方向が予測され得る。例えば、いくつかの実施形態において、１つ以上の上流デバイスが１つ以上の上流デバイスと下流の受信デバイスとの間のネットワーク潜時を計測してもよい。また、１つ以上の上流デバイスは、視聴者の動き（例えば、６自由度、回転、平行移動、回転と平行移動の組み合わせにおける動きなど）を判定し得る。ネットワーク潜時および視聴者の動きに基づいて、１つ以上の上流デバイスは、後の時点における視聴者の視聴方向を予測してもよい。

いくつかの実施形態において、下流のデバイスが視聴者の動き（例えば、６自由度、回転、平行移動、回転と平行移動の組み合わせにおける動きなど）を判定してもよい。視聴者の動きに基づいて、下流のデバイスは、後の時点における視聴者の視聴方向（例えば、ソースゾーン、ターゲットゾーン、中間ゾーンへの方向など）を予測してもよい。

７．映像ストリーミングサーバおよびクライアントの例
図３Ａは、フォービエイテッド画像プロセッサ３０２、フォービエイテッド画像生成器３１２などを備える一例の映像ストリーミングサーバ３００を示す。いくつかの実施形態において、フォービエイテッド画像プロセッサ（３０２）は、ＨＤＲソース画像受信器３０６、データ格納器（ｒｅｐｏｓｉｔｏｒｙ）３１０などを備える。映像ストリーミングサーバ（３００）の構成要素のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどにおいて、１つ以上のデバイス、モジュール、ユニットなどよって実装され得る。

いくつかの実施形態において、ＨＤＲソース画像受信器（３０６）は、クラウドベースＨＤＲソース画像ソースや、ＶＲアプリケーション、ＡＲアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーションなどに関与するカメラシステムなどのＨＤＲソース画像ソースから入力ＨＤＲソース画像ストリーム３０４を受信するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、入力ＨＤＲソース画像ストリーム（３０４）を１つ以上の入力ＨＤＲソース画像（例えば、１シーケンスの入力ＨＤＲソース画像など）に復号化する、などである。

いくつかの実施形態において、データ格納器（３１０）は、入力ＨＤＲソース画像のうちのいくつかまたはすべてなどに対して、格納、更新、取り出し、削除などの操作をサポートするように構成された１つ以上のデータベース、１つ以上のデータ格納ユニット／モジュール／デバイスなどを表す、などである。

いくつかの実施形態において、フォービエイテッド画像生成器（３１２）は、双方向データフロー３１４を介して視聴者の視聴方向データを受信するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、中心窩映像コンテンツが視聴者の画像描画デバイス（または、ディスプレイデバイス）において描画される空間座標系に対して、時間とともに、視聴者の視聴方向（例えば、２つの目のそれぞれに対する視聴方向など）を確定／判定し、各ＨＤＲソース画像の複数の画像部分および複数のＤＭメタデータ部分を用いて符号化された全映像ストリームを生成する、などである。ある時点において描画されるＨＤＲソース画像における異なる画像部分に対して、その時点での視聴者の（例えば、判定、予測、推定された、など）視聴方向を参照して、異なるＤＭメタデータ部分が別途および特別に生成され、そして、それらのＤＭメタデータ部分は、ＨＤＲソース画像における異なる画像部分とともに送られる画像メタデータセットに含めて、双方向データフロー３１４を介して（例えば、直接に、または中間デバイスを介して間接的に、など）下流のデバイスへ送られ得る。下流のデバイスは、映像ストリーミングクライアント、ディスプレイデバイス、格納デバイス、ターゲットディスプレイとともに動作する映像デコーダなどを表し得る。

付加として、オプションとして、または代替として、画像回転判定、画像配列（ａｌｉｇｎｍｅｎｔ）解析、シーンカット検出、座標系間変換、時間減衰、ディスプレイマネジメント、コンテンツマッピング、カラーマッピング、視野マネジメントなど画像処理演算のうちのいくつかまたはすべては、映像ストリーミングサーバ（３００）によって行われ得る。

映像ストリーミングサーバ（３００）は、リアルタイム没入型映像アプリケーション、準リアルタイム没入型映像アプリケーション、リアルタイム非没入型映像アプリケーション、準リアルタイム非没入型映像アプリケーション、非リアルタイム没入型映像アプリケーション、仮想現実、拡張現実、自動車エンターテイメント、ヘルメットマウントディスプレイアプリケーション、ヘッドアップディスプレイアプリケーション、ゲーム、２Ｄディスプレイアプリケーション、３Ｄディスプレイアプリケーション、マルチビューディスプレイアプリケーションなどをサポートするように使用され得る。例えば、視聴者の視聴方向などを参照して生成される視聴方向トラッキングデータ、複数の画像部分、および複数のＤＭメタデータ部分のうちのいくつかまたはすべては、映像ストリーミングサーバ（３００）によってリアルタイム、準リアルタイムなどで生成またはアクセスされる。

図３Ｂは、フォービエイテッド画像受信器３１６、視聴方向トラッカ３２６、ディスプレイマネージャ３１８、１つ以上の画像ディスプレイ（または、１つ以上のターゲットディスプレイ）３２０などを備える一例の画像描画システム３２４－１を示す。画像描画システム（３２４－１）の構成要素のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどにおいて、１つ以上のデバイス、モジュール、ユニットなどによって実装され得る。

いくつかの実施形態において、フォービエイテッド画像受信器（３１６）は、双方向データフロー３１４を介して、視聴者の視聴方向トラッキングデータを送るように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、ここで、視聴者の視聴方向トラッキングデータは、中心窩映像コンテンツが視聴者の画像ディスプレイ（３２０）において描画される空間座標系に対して、時間にわたり視聴者の視聴方向を確定／判定するために、映像ストリーミングサーバによって使用され得、各ＨＤＲソース画像の複数の画像部分および複数のＤＭメタデータ部分を用いて符号化された全映像ストリームを受信する、などである。

ユーザは、実行時にユーザの視聴方向を移動させ得る。いくつかの実施形態において、視聴方向トラッカ（３２６）は、時間にわたり視聴者に関係する視聴方向データを生成するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備える。視聴方向トラッキングデータは、比較的精細な時間スケール（例えば、１ミリ秒毎、５ミリ秒毎など）でサンプリングまたは測定され得る。視聴方向トラッキングデータは、ある時間解像度（例えば、１ミリ秒毎、５ミリ秒毎など）で視聴者の視聴方向を確定／判定するために使用され得る。

いくつかの実施形態において、画像描画システム（３２４－１）は、ユーザのディスプレイに描画される中心窩映像コンテンツを生成するように構成される。いくつかの実施形態において、受信された映像ストリームにおけるフォービエイテッド画像の複数の画像部分は、対応するＤＭメタデータ部分に基づくＤＭ演算とともに適用され、そして合わさってスティッチ（ｓｔｉｔｃｈ）／合成（ｃｏｍｐｏｓｉｔｅ）され、一体イメージ（ｉｍａｇｅｒｙ）（または、全ディスプレイマッピング画像）を形成し得る。非ブロック化演算、非輪郭化演算、ぼかし（ｂｌｕｒｒｉｎｇ）演算などが、ユーザのディスプレイに描画される一体イメージを合成する工程の一部として行われ得る。

いくつかの実施形態において、ディスプレイマネージャ（３１８）は、画像ディスプレイ（３２０）に描画される中心窩映像コンテンツに対してＤＭ演算を行って、ディスプレイマッピング中心窩映像コンテンツを生成するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、ディスプレイマッピング中心窩映像コンテンツを（例えば、ＨＤＭＩ信号に含めて、など）描画のために画像ディスプレイ（３２０）に出力する、などである。

付加として、オプションとして、または代替として、視聴方向トラッキング、動き検出、位置検出、回転判定、座標系間変換、時変画像パラメータの時間減衰、画像パラメータの任意の別の時間操作、ディスプレイマネジメント、コンテンツマッピング、トーンマッピング、カラーマッピング、視野マネジメント、予測、マウス、トラックボール、キーボード、フットトラッカ（ｆｏｏｔ ｔｒａｃｋｅｒ）、実際の体の動きを介したナビゲーションなどの画像描画演算のいくつかまたはすべては、画像描画システム（３２４－１）によって行われ得る。

画像描画システム（３２４－１）は、リアルタイム没入型映像アプリケーション、準リアルタイム没入型映像アプリケーション、非リアルタイム没入型映像アプリケーション、リアルタイム非没入型映像アプリケーション、準リアルタイム非没入型映像アプリケーション、非リアルタイム非没入型映像アプリケーション、仮想現実、拡張現実、自動車エンターテイメント、ヘルメットマウントディスプレイアプリケーション、ヘッドアップディスプレイアプリケーション、ゲーム、２Ｄディスプレイアプリケーション、３Ｄディスプレイアプリケーション、マルチビューディスプレイアプリケーションなどをサポートするように使用され得る。例えば、視聴者の視聴方向などを参照して生成される視聴方向データ、複数の画像部分、および複数のＤＭメタデータ部分のうちのいくつかまたはすべては、画像描画システム（３２４－１）によってリアルタイムに、準リアルタイムなどで生成またはアクセスされる。

本明細書に記載の技術は、様々なシステムアーキテクチャにおいて実装され得る。本明細書に記載のいくつかまたはすべての画像処理演算は、クラウドベース映像ストリーミングサーバ、映像ストリーミングクライアントと並置されるか、またはそこに組み込まれる映像ストリーミングサーバ、画像描画システム、画像描画システム、ディスプレイデバイスなどのうちの１つ以上によって実装され得る。例えば、受信デバイスの様々な種類の映像アプリケーション、帯域／ビットレート割当量、コンピューティング能力、資源、負荷など、映像ストリーミングサーバおよび／またはコンピュータネットワークのコンピューティング能力、資源、負荷などの１つ以上の要素に基づいて、いくつかの画像処理演算が映像ストリーミングサーバによって行われ、他方、いくつかの別の画像処理演算が映像ストリーミングクライアント、画像描画システム、ディスプレイデバイスなどによって行われ得る。

図３Ｃは、フォービエイテッド画像生成器（例えば、３１２など）がエッジ映像ストリーミングサーバ３２４－２に組み込まれている構成の例を示す。いくつかの実施形態において、図３Ｃのフォービエイテッド画像プロセッサ３０２は、クラウドベースであり得る。いくつかの実施形態において、フォービエイテッド画像プロセッサ（３０２）は、エッジ映像ストリーミングサーバ（３２４－２）などのエッジデバイスから分離されたコアネットワーク内に位置し得る。図３Ａに示すように、フォービエイテッド画像プロセッサ（３０２）は、ＨＤＲソース画像受信器３０６、データ格納器３１０などを含み得る。フォービエイテッド画像プロセッサ（３０２）は、エッジ映像ストリーミングサーバ（３２４－２）と比較的高いビットレートで通信する上流映像ストリーミングサーバを表し得る。フォービエイテッド画像プロセッサ（３０２）および／またはエッジ映像ストリーミングサーバ（３２４－２）の構成要素のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどにおいて、１つ以上のデバイス、モジュール、ユニットなどによって実装され得る。

いくつかの実施形態において、フォービエイテッド画像プロセッサ（３０２）は、ＨＤＲソース画像をデータフロー３２２に含めて、下流のデバイスに出力するように構成される。下流のデバイスのうちの１つは、エッジ映像ストリーミングサーバ（３２４－２）であり得る。

いくつかの実施形態において、エッジ映像ストリーミングサーバ（３２４－２）、またはその中のフォービエイテッド画像生成器（３１２）は、中心窩映像コンテンツが視聴者のディスプレイデバイス内で描画される空間座標系に対して、時間にわたり視聴者の視聴方向を判定するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、各ＨＤＲソース画像の複数の画像部分および複数のＤＭメタデータ部分を用いて符号化された全映像ストリームを生成する、などである。ある時点において描画されるＨＤＲソース画像における異なる画像部分に対して、その時点での視聴者の（例えば、判定、予測、推定された、など）視聴方向を参照して、異なるＤＭメタデータ部分が別途および特別に生成され、そして、それらのＤＭメタデータ部分は、ＨＤＲソース画像における異なる画像部分とともに送られる画像メタデータセットに含めて、双方向データフロー３１４を介して（例えば、直接に、または中間デバイスを介して間接的に、など）下流のデバイスへ送られ得る。

いくつかの実施形態において、画像描画デバイス（例えば、３２４－１）、またはその中のディスプレイマネージャ（例えば、図２Ｂの３１８）は、１つ以上の画像ディスプレイ上に描画される中心窩映像コンテンツに対してＤＭ演算を行って、ディスプレイマッピング中心窩映像コンテンツを生成するように構成されたソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを備え、ディスプレイマッピング中心窩映像コンテンツを（例えば、ＨＤＭＩ信号に含めて、など）描画のために画像ディスプレイに出力する、などである。

視聴者は、実行時に視聴者の視聴方向を移動し得る。画像描画システム（３２４－２）は、視聴者のディスプレイデバイス上に描画される中心窩映像コンテンツを生成するように構成される。いくつかの実施形態において、受信された映像ストリームにおけるフォービエイテッド画像の複数の画像部分は、対応するＤＭメタデータ部分に基づくＤＭ演算とともに適用され、そして合わさってスティッチ／合成され、一体イメージ（または、全ディスプレイマッピング画像）を形成し得る。非ブロック化演算、非輪郭化演算、ぼかし演算などが、ユーザのディスプレイに描画される一体イメージを合成する工程の一部として行われ得る。

８．処理フローの例
図４Ａは、本発明の例示的な実施形態にかかる処理フローの例を示す。いくつかの例示的な実施形態において、１つ以上のコンピューティングデバイスまたは構成要素がこの処理フローを行い得る。ブロック４０２において、フォービエイテッド画像プロセッサ（例えば、図３Ａ～３Ｃの映像ストリーミングサーバまたは映像ストリーミングクライアントなど）は、１つ以上の第１のフォービエイテッド画像を１つ以上の第１の画像メタデータセットとともに映像ストリーミングクライアントにストリーミングする。１つ以上の第１のフォービエイテッド画像および１つ以上の第１の画像メタデータセットは、１つ以上の第１の時点において視聴者に対して描画するための１つ以上の第１のディスプレイマッピング画像を生成するために、映像ストリーミングクライアントによって使用される。１つ以上の第１のフォービエイテッド画像および１つ以上の第１の画像メタデータセットは、１つ以上の第１の時点における視聴者の１つ以上の第１の視聴方向を参照して、１つ以上の第１のハイダイナミックレンジ（ＨＤＲ）ソース画像から生成される。

ブロック４０４において、フォービエイテッド画像プロセッサ（例えば、図３Ａ～３Ｃの映像ストリーミングサーバまたは映像ストリーミングクライアントなど）は、視聴者が１つ以上の第１のディスプレイマッピング画像を視聴しているときにリアルタイムに収集された視聴者の視聴方向データの少なくとも一部を受信する。視聴方向データは、１つ以上の第１の時点の後の第２の時点における視聴者の第２の視聴方向を判定するために使用される。

ブロック４０６において、フォービエイテッド画像プロセッサは、第２の時点における視聴者の第２の視聴方向を参照して、第２のＨＤＲソース画像から第２のフォービエイテッド画像および第２の画像メタデータセットを生成する。第２のフォービエイテッド画像および第２の画像メタデータセットは、第２の時点において視聴者に対して描画するための第２のディスプレイマッピング画像を生成するために、映像ストリーミングクライアントによって使用される。第２のフォービエイテッド画像は、視聴者の第２の視聴方向をカバーする焦点視フォービエイテッド画像部分、および焦点視画像部分の外側の周辺視フォービエイテッド画像部分を有する。第２の画像メタデータセットは、焦点視フォービエイテッド画像部分を第２のディスプレイマッピング画像における焦点視ディスプレイマッピング画像部分に改変するために別途および特別に生成された焦点視ディスプレイマネジメント（ＤＭ）メタデータ部分を含む。第２の画像メタデータセットは、周辺視フォービエイテッド画像部分を第２のディスプレイマッピング画像における周辺視ディスプレイマッピング画像部分に改変するために別途および特別に生成された周辺視ＤＭメタデータ部分を含む。

ブロック４０８において、フォービエイテッド画像プロセッサは、第２のフォービエイテッド画像および第２の画像メタデータセットを映像ストリーミングクライアントに送信する。

一実施形態において、フォービエイテッド画像プロセッサは、第３のＨＤＲソース画像における第３の焦点視画像部分を指定するユーザ入力（例えば、カラリスト、ディレクタなどからの入力）を受信する工程であって、第３のＨＤＲソース画像は、第３のフォービエイテッド画像を生成するために使用される、工程と、第３のＨＤＲソース画像においてユーザ入力に基づいて指定された第３の焦点視画像部分から第３の焦点視フォービエイテッド画像部分を生成する工程と、第３の焦点視フォービエイテッド画像部分を、第３の時点において描画するための第３のディスプレイマッピング画像における第３の焦点視ディスプレイマッピング画像部分に改変するために、映像ストリーミングクライアントによって使用される第３の焦点視ＤＭメタデータ部分を生成する工程と、第３のフォービエイテッド画像、および第３の焦点視ＤＭメタデータを含む第３の画像メタデータセットを映像ストリーミングクライアントに送信する工程などを行うようにさらに構成される。

一実施形態において、フォービエイテッド画像プロセッサは、視聴方向データに少なくとも部分的に基づいて、視聴者が新しい明順応レベルに順応するための順応時間を判定する工程と、フォービエイテッド画像における焦点視フォービエイテッド画像部分における新しい明順応レベルに対応する完全な画像ディテールのストリーミングを順応時間が過ぎるまで遅延させる工程とを行うようにさらに構成される。

一実施形態において、順応時間は、映像ストリーミングクライアントに送信されるフォービエイテッド画像のうちの少なくとも１つに伴う画像メタデータセットにおいて特定される。

一実施形態において、焦点視ＤＭメタデータは、焦点視フォービエイテッド画像部分において表されるすべての画素の中で、焦点視特定最大（ｆｏｃａｌ－ｖｉｓｉｏｎ ｓｐｅｃｉｆｉｃ）（例えば、ピーク、上限など）ルマ値を特定するが、焦点視フォービエイテッド画像部分におけるどの画素が焦点視特定最大ルマ値に対応づけられるかは指定しない。周辺視ＤＭメタデータは、周辺視フォービエイテッド画像部分において表されるすべての画素の中で、周辺視特定（ｐｅｒｉｐｈｅｒａｌ－ｖｉｓｉｏｎ ｓｐｅｃｉｆｉｃ）最大ルマ値を特定するが、周辺視画像部分におけるどの画素が周辺視特定最大ルマ値に対応づけられるかは指定しない。焦点視特定最大ルマ値は、周辺視特定最大ルマ値と異なる。

一実施形態において、焦点視ＤＭメタデータ部分は、リファレンス伝達関数を、焦点視ディスプレイマッピング画像部分の生成に適用される焦点視特定伝達関数に改変するために使用される。周辺視ＤＭメタデータは、同じリファレンス伝達関数を、周辺視ディスプレイマッピング画像部分を生成するために適用される周辺視特定伝達関数に改変するために使用される。焦点視特定伝達関数は、周辺視特定伝達関数と異なり、少なくとも１つの入力コードワードをマッピングする。

一実施形態において、リファレンス伝達関数において表されたグレースケールレベルは、第２のＨＤＲソース画像における色空間のルマチャネルにおいて符号化可能な最も精細な認識可能画像ディテールに対応する。

一実施形態において、第２の画像メタデータセットは、同じリファレンス伝達関数を、第２のディスプレイマッピング画像における、焦点視ディスプレイマッピング画像部分および周辺視ディスプレイマッピング画像部分を除く、他の画像部分を生成するために適用される別の伝達関数に改変するために使用される別のＤＭメタデータをさらに含み得る。別の伝達関数は、焦点視特定伝達関数および周辺視特定伝達関数のどちらとも異なる。

一実施形態において、リファレンスターゲットディスプレイを参照して、第２のＨＤＲソース画像において符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される。

一実施形態において、リファレンスターゲットディスプレイを参照して、第２のＨＤＲソース画像のビューポートにおいて符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される。

一実施形態において、フォービエイテッド画像プロセッサは、第２の時点における視聴者の明順応レベルを予測する工程と、視聴者の予測された明順応レベルが順応されるべき（ｔｏ－ｂｅ－ａｄａｐｔｅｄ）輝度レベルと同等であるかどうかを判定する工程と、視聴者の予測された明順応レベルが順応されるべき輝度レベルと同等であると判定したことに応答して、第２のフォービエイテッド画像の焦点視フォービエイテッド画像部分において、第２のＨＤＲソース画像の第１の画像部分において符号化された最も精細な認識可能画像ディテールを保存する工程であって、第２のＨＤＲソース画像の第１の画像部分が第２のフォービエイテッド画像の焦点視フォービエイテッド画像部分を導出するために使用される、工程とを行うようにさらに構成される。

本明細書において、映像ストリーミングクライアントにおける明順応レベルは、明レベル情報に基づいて、フォービエイテッド画像、ＨＤＲソース画像などにおけるゾーン、画像部分、画像領域などの重み付け集約明レベルに、翻訳（ｔｒａｎｓｌａｔｅ）、マッピング、推定、近似などされ得る。

一実施形態において、フォービエイテッド画像プロセッサは、第２の時点における視聴者の明順応レベルを予測する工程と、視聴者の予測された明順応レベルが順応されるべき輝度レベルと同等であるかどうかを判定する工程と、視聴者の予測された明順応レベルが順応されるべき輝度レベルであると判定したことに応答して、第２のフォービエイテッド画像の焦点視フォービエイテッド画像部分において、第２のＨＤＲソース画像の第１の画像部分における視聴者の予測された明順応レベル（例えば、視聴者のターゲットディスプレイに対する明順応レベルなど）に対応する特定の明レベル（例えば、フォービエイテッド画像の符号化に使用されるリファレンスディスプレイディスプレイに対する翻訳明順応レベルなど）近傍の明レベルを有する最も精細な認識可能画像ディテールを保存する工程であって、第２のＨＤＲソース画像の第１の画像部分が第２のフォービエイテッド画像の焦点視フォービエイテッド画像部分を導出するために使用される、工程とを行うようにさらに構成される。

一実施形態において、フォービエイテッド画像プロセッサは、焦点視フォービエイテッド画像部分において、第２のＨＤＲソース画像の第１の画像部分において符号化された１つ以上のルマ値をクリッピングするようにさらに構成される。

一実施形態において、１つ以上の第１のディスプレイマッピング画像のうちの少なくとも１つの第１のディスプレイマッピング画像の焦点視ディスプレイマッピング画像部分は、視聴者の明順応に対するソースゾーンを表し、第２のディスプレイマッピング画像の焦点視ディスプレイマッピング画像部分は、視聴者の明順応に対するターゲットゾーンを表す。

一実施形態において、第２のＨＤＲソース画像は、没入型画像、パノラマ画像、拡張現実画像、仮想現実画像、リモートプレゼンス画像などのうちの１つを表す。

一実施形態において、焦点視ＤＭメタデータ部分は、焦点視フォービエイテッド画像部分における、視聴者の予測された明順応レベル、焦点視特定最大ルマ値、焦点視特定最小ルマ値、焦点視特定平均ルマ値、焦点視特定白色点などのうちの１つ以上を特定する。

一実施形態において、周辺視ＤＭメタデータ部分は、周辺視フォービエイテッド画像部分における、周辺視特定最大ルマ値、周辺視特定最小ルマ値、周辺視特定平均ルマ値、周辺視特定白色点などのうちの１つ以上を特定する。

一実施形態において、１つ以上の第１の時点および第２の時点は、共になって、ある時間間隔をカバーする連続した時点を表す。視聴者の焦点視における輝度レベルは、比較的明るい輝度レベル（例えば、ディスプレイマッピング画像、フォービエイテッド画像、またはソース画像に基づいて判定または推定される輝度レベルなど）から変化する。第２のＨＤＲソース画像における第１の画像部分は、第２のフォービエイテッド画像における焦点視フォービエイテッド画像部分に対応する。第２のフォービエイテッド画像における焦点視フォービエイテッド画像部分において表された暗いレベルの総数は、第２のＨＤＲソース画像における第１の画像部分において表されたソースの暗いレベルの総数に比べて低減される。

一実施形態において、１つ以上の第１の時点および第２の時点は、共になって、ある時間間隔をカバーする連続した時点を表す。視聴者の焦点視における輝度レベルは、比較的明るい輝度レベル（例えば、ディスプレイマッピング画像、フォービエイテッド画像、またはソース画像に基づいて判定または推定される輝度レベルなど）から変化する。第２のＨＤＲソース画像における第１の画像部分は、第２のフォービエイテッド画像における焦点視フォービエイテッド画像部分に対応する。第２のフォービエイテッド画像における焦点視フォービエイテッド画像部分において表された明るいレベルの総数は、第２のＨＤＲソース画像における第１の画像部分において表されたソースの明るいレベルの総数に比べて低減される。

一実施形態において、フォービエイテッド画像プロセッサは、時間とともに変化する視聴者の明順応レベル（例えば、時間変化など）を判定する工程と、時間とともに変化する視聴者の明順応レベルを使用して、第２の時点に対する視聴者の明順応レベルを予測する工程と、第２の時点に対して予測された視聴者の明順応レベルを用いて、焦点視ＤＭメタデータ部分を生成する工程とを行うようにさらに構成される。

一実施形態において、視聴者の明順応レベルは、１つ以上の第１の時点における視聴者の１つ以上の第１の予測された明順応レベルを含む。１つ以上の第１の予測された明順応レベルは、１つ以上の第１の時点における視聴者の１つ以上の第１の視聴方向および１つ以上の第１のディスプレイマッピング画像における１つ以上の第１の焦点視画像部分に少なくとも部分的に基づいて判定される。

一実施形態において、第２のディスプレイマッピング画像における第２の焦点視画像部分は、視聴者の中心窩視を、最大線角度値（ｍａｘｉｍｕｍ ｌｉｎｅａｒ ａｎｇｕｌａｒ ｖａｌｕｅ）（２～４度、４～６度、６～８度など）までカバーする。

図４Ｂは、本発明の例示的な実施形態にかかる処理フローの例を示す。いくつかの例示的な実施形態において、１つ以上のコンピューティングデバイスまたは構成要素がこの処理フローを行い得る。ブロック４５２において、映像ストリーミングクライアント（例えば、図３Ｂの画像描画システムなど）が、視聴者に対して、１つ以上の第１の時点において１つ以上の第１のディスプレイマッピング画像を描画する。１つ以上の第１のディスプレイマッピング画像は、映像ストリーミングサーバから受信された１つ以上の第１のフォービエイテッド画像および１つ以上の第１の画像メタデータセットから生成される。１つ以上の第１のフォービエイテッド画像および１つ以上の第１の画像メタデータセットは、映像ストリーミングサーバによって、１つ以上の第１の時点における視聴者の１つ以上の第１の視聴方向を参照して、１つ以上の第１のハイダイナミックレンジ（ＨＤＲ）ソース画像から生成される。

ブロック４５４において、映像ストリーミングクライアントは、視聴者が１つ以上の第１のディスプレイマッピング画像を視聴しているときに収集された視聴者の視聴方向データをリアルタイムに収集する。視聴方向データは、１つ以上の第１の時点の後の第２の時点における視聴者の第２の視聴方向を判定するために使用される。

ブロック４５６において、映像ストリーミングクライアントは、視聴方向データの少なくとも一部を映像ストリーミングサーバに送信し、映像ストリーミングサーバに、第２の時点における視聴者の第２の視聴方向を参照して、第２のＨＤＲソース画像から第２のフォービエイテッド画像および第２の画像メタデータセットを生成させる。第２のフォービエイテッド画像および第２の画像メタデータセットは、第２の時点において視聴者に対して描画するための第２のディスプレイマッピング画像を生成するために使用される。第２のフォービエイテッド画像は、視聴者の第２の視聴方向をカバーする焦点視フォービエイテッド画像部分および焦点視画像部分の外側の周辺視フォービエイテッド画像部分を有する。第２の画像メタデータセットは、焦点視フォービエイテッド画像部分を第２のディスプレイマッピング画像における焦点視ディスプレイマッピング画像部分に改変するために別途および特別に生成された焦点視ディスプレイマネジメント（ＤＭ）メタデータ部分を含む。第２の画像メタデータセットは、周辺視フォービエイテッド画像部分を第２のディスプレイマッピング画像における周辺視ディスプレイマッピング画像部分に改変するために別途および特別に生成された周辺視ＤＭメタデータ部分を含む。

ブロック４５８において、映像ストリーミングクライアントは、映像ストリーミングサーバから第２のフォービエイテッド画像および第２の画像メタデータセットを受信する。

ブロック４６０において、映像ストリーミングクライアントは、第２のフォービエイテッド画像から第２のディスプレイマッピング画像を生成する。

ブロック４６２において、映像ストリーミングクライアントは、第２の時点において、視聴者に対して、第２のディスプレイマッピング画像を描画する。

一実施形態において、映像ストリーミングクライアントは、視聴方向データに少なくとも部分的に基づいて、視聴者が新しい明順応レベルに順応するための順応時間を判定する工程と、フォービエイテッド画像における焦点視フォービエイテッド画像部分内の新しい明順応レベルに対応する完全な画像ディテールのストリーミングを順応時間が過ぎるまで遅延させる工程とを行うようにさらに構成される。

一実施形態において、順応時間は、実行時に自動的に判定される。

一実施形態において、映像ストリーミングクライアントは、フェーズド光変調を使用して、追加の光を第２のディスプレイマッピング画像の焦点視画像部分における１つ以上の特定の画素に集中させるようにさらに構成される。一実施形態において、追加の光は、第２のディスプレイマッピング画像における、焦点視画像部分内にない１つ以上の他の画素から光をそらしながら、第２のディスプレイマッピング画像の焦点視画像部分における１つ以上の特定の画素に集中させる。

一実施形態において、映像ストリーミングクライアントは、１つ以上の第１のディスプレイマッピング画像および第２のディスプレイマッピング画像が描画されるターゲットディスプレイに対応付けられた周囲明レベルをモニタリングする工程と、周囲明レベルを使用して、少なくとも１つのフォービエイテッド画像を、ターゲットディスプレイ上に描画される少なくとも１つのディスプレイ画像にマッピングするために使用される１つ以上の伝達関数に対して調節を行う工程とを行うようにさらに構成される。

一実施形態において、１つ以上の第１のディスプレイマッピング画像および第２のディスプレイマッピング画像は、グローバルディミング能力、ローカルディミング能力、またはローカウントディミング能力のうちの１つ以上を含むディミング能力を有するように構成されたターゲットディスプレイ上に描画される。

様々な例示的な実施形態において、上記の方法のいずれかまたは一部は、装置、システム、装置、または１つ以上の他のコンピューティングデバイスによって行われる。一実施形態において、１つ以上のプロセッサによって実行された際に本明細書に記載の方法を行うソフトウェア命令は、非一時的コンピュータ読み取り可能な格納媒体に格納される。

なお、別々の実施形態を本明細書において説明したが、本明細書に記載の実施形態および／または部分実施形態の任意の組み合わせがさらなる実施形態を形成し得る。

９．実装機構－ハードウェア概要
一実施形態によると、本明細書に記載の技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、上記技術を行うようにハードワイヤード（ｈａｒｄ－ｗｉｒｅｄ）されていてもよいし、または上記技術を行うように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・配列（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよいし、またはファームウェア、メモリ、他の記憶体、またはそれらの組み合わせにおけるプログラム命令にしたがって上記技術を行うようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでもよい。また、そのような専用コンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて上記技術を達成し得る。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯デバイス、ネットワーキングデバイス、または上記技術を実装するようにハードワイヤードおよび／もしくはプログラムロジックが組み込まれた任意の他のデバイスであり得る。

例えば、図５は、本発明の一例示的な実施形態が実装され得るコンピュータシステム５００を例示するブロック図である。コンピュータシステム５００は、情報を送受信するためのバス５０２または他の通信機構と、バス５０２に接続された、情報を処理するためのハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであり得る。

また、コンピュータシステム５００は、バス５０２に接続された、情報およびプロセッサ５０４によって実行される命令を記憶するためのランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶デバイスなどのメインメモリ５０６を含む。また、メインメモリ５０６は、プロセッサ５０４によって実行される命令の実行中の一時的な変数または他の中間情報を記憶するために使用され得る。そのような命令がプロセッサ５０４にとってアクセス可能な非一時的な記憶媒体に記憶されている場合、コンピュータシステム５００は、命令において指定される動作を行うようにカスタマイズされた専用マシンである。

コンピュータシステム５００は、バス５０２に接続された、静的情報およびプロセッサ５０４のための命令を記憶するための読み取り専用メモリ（ＲＯＭ）５０８または他の静的記憶デバイスをさらに含む。

情報および命令を記憶するために、磁気ディスクまたは光学ディスク、ソリッドステートＲＡＭなどの記憶デバイス５１０が提供され、バス５０２に接続される。

コンピュータシステム５００は、情報をコンピュータユーザに対して表示するための液晶ディスプレイなどのディスプレイ５１２にバス５０２を介して接続され得る。プロセッサ５０４に対して情報およびコマンド選択を送受信するために、英数字キーおよび他のキーを含む入力デバイス５１４がバス５０２に接続される。他のタイプのユーザ入力デバイスは、プロセッサ５０４に対して方向情報およびコマンド選択を送受信するための、およびディスプレイ５１２上でのカーソル移動を制御するためのマウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイスは、典型的には、２つの軸（第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ））における２自由度を有する。これにより、そのデバイスは、平面において位置を特定できる。

コンピュータシステム５００は、ハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、上記技術を実装し得る。これらのロジックなどと組み合わせることによって、コンピュータシステム５００は、専用マシンとされるか、またはそのようにプログラムされる。一実施形態によると、本明細書に記載される技術は、メインメモリ５０６に含まれる１つ以上の命令を含む１つ以上の命令シーケンスをプロセッサ５０４が実行することに応答して、コンピュータシステム５００によって行われる。そのような命令は、記憶デバイス５１０などの他の記憶媒体からメインメモリ５０６に読み込まれてもよい。メインメモリ５０６に含まれる命令シーケンスを実行することによって、プロセッサ５０４は、本明細書に記載のプロセスステップを行う。別の実施形態において、ハードワイヤードな回路をソフトウェア命令の代わりに、またはそれに組み合わせて使用してもよい。

本明細書で使用する用語「記憶媒体」は、マシンを特定のやり方で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非揮発性媒体は、例えば、記憶デバイス５１０などの光学または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

記憶媒体は、伝送媒体と異なるが、それと併せて使用され得る。伝送媒体は、情報を記憶媒体間で転送することに関与する。例えば、伝送媒体は、同軸ケーブル、銅ワイヤ、および光ファイバを含み、バス５０２を含むワイヤを含む。また、伝送媒体は、電波データ通信および赤外データ通信中に生成される音波または光波などの音波または光波の形態をとり得る。

様々な形態の媒体が１つ以上の命令を含む１つ以上の命令シーケンスを実行のためのプロセッサ５０４に搬送することに関与し得る。例えば、命令は、最初は遠隔のコンピュータの磁気ディスクまたはソリッドステートドライブ上に保存され得る。遠隔コンピュータは、それ自体のダイナミックメモリに命令をロードしたり、モデムを使用して電話回線を介して命令を送信したりし得る。コンピュータシステム５００に対してローカルなモデムは、電話回線上でデータを受信し、赤外送信機を使用してデータを赤外信号に変換し得る。赤外検出器が赤外信号において搬送されるデータを受信し得る。そして、適切な回路がデータをバス５０２に乗せ得る。バス５０２は、データをメインメモリ５０６に搬送する。プロセッサ５０４は、メインメモリ５０６から命令を取り込んで実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４によって実行される前または後のいずれかに、必要に応じて記憶デバイス５１０上に記憶され得る。

また、コンピュータシステム５００は、バス５０２に接続された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に接続する双方向データ通信を提供する。例えば、通信インターフェース５１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応する種類の電話回線に与えるためのモデムであり得る。別の例として、通信インターフェース５１８は、データ通信接続を互換性のあるＬＡＮに与えるためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。また、無線リンクが実装され得る。任意のそのような実装において、通信インターフェース５１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気、電磁または光学信号を送信および受信する。

ネットワークリンク５２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに与える。例えば、ネットワークリンク５２０は、接続を、ローカルネットワーク５２２を介して、ホストコンピュータ５２４に、またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって操作されるデータ設備に与え得る。次いで、ＩＳＰ５２６は、データ通信サービスを、現在一般的に「インターネット」と呼ばれるワールドワイドパケットデータ通信ネットワーク５２８を介して提供する。ローカルネットワーク５２２およびインターネット５２８の両方は、デジタルデータストリームを搬送する電気、電磁または光学信号を使用する。コンピュータシステム５００へおよびコンピュータシステム５００からデジタルデータを搬送する、様々なネットワークを介する信号ならびにネットワークリンク５２０上のおよび通信インターフェース５１８を介した信号は、伝送媒体の形態例である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードなどのデータを受信し得る。インターネット例において、サーバ５３０は、アプリケーションプログラムに対してリクエストされたコードをインターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、および通信インターフェース５１８を介して送信し得る。

受信されたコードは、受信されるとプロセッサ５０４によって実行され得るか、および／または後で実行するために、記憶デバイス５１０または他の不揮発性記憶体に記憶され得る。

１０．均等物、拡張物、代替物、その他
この明細書中において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を判定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

列挙実施形態例
本発明は、本明細書に記載のいずれの形態においても実施され得る。そのような形態は、本発明のいくつかの部分の構造、特徴および機能を説明する、以下の列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）を含むが、それらに限定されない。
ＥＥＥ１．
映像をストリーミングするための方法であって、
映像ストリーミングクライアントに、１つ以上の第１のフォービエイテッド画像を１つ以上の第１の画像メタデータセットとともにストリーミングする工程であって、前記１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットは、１つ以上の第１の時点において視聴者に対して描画するための１つ以上の第１のディスプレイマッピング画像を生成するために、前記映像ストリーミングクライアントによって使用され、前記１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットは、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の視聴方向を参照して、１つ以上の第１のハイダイナミックレンジ（ＨＤＲ）ソース画像から生成される、工程と、
前記視聴者が前記１つ以上の第１のディスプレイマッピング画像が視聴しているときにリアルタイムに収集された前記視聴者の視聴方向データの少なくとも一部を受信する工程であって、前記視聴方向データは、前記１つ以上の第１の時点の後の第２の時点における前記視聴者の第２の視聴方向を判定するために使用される、工程と、
前記第２の時点における前記視聴者の前記第２の視聴方向を参照して、第２のＨＤＲソース画像から第２のフォービエイテッド画像および第２の画像メタデータセットを生成する工程であって、前記第２のフォービエイテッド画像および前記第２の画像メタデータセットは、前記第２の時点において前記視聴者に対して描画するための第２のディスプレイマッピング画像を生成するために、前記映像ストリーミングクライアントによって使用され、前記第２のフォービエイテッド画像は、前記視聴者の前記第２の視聴方向をカバーする焦点視フォービエイテッド画像部分および前記焦点視画像部分の外側の周辺視フォービエイテッド画像部分を有し、前記第２の画像メタデータセットは、前記焦点視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における焦点視ディスプレイマッピング画像部分に改変するために別途および特別に生成される焦点視ディスプレイマネジメント（ＤＭ）メタデータ部分を含み、前記第２の画像メタデータセットは、前記周辺視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における周辺視ディスプレイマッピング画像部分に改変するために別途および特別に生成される周辺視ＤＭメタデータ部分を含む、工程と、
前記第２のフォービエイテッド画像および前記第２の画像メタデータセットを前記映像ストリーミングクライアントに送信する工程と、
を包含する、方法。

ＥＥＥ２．
第３のＨＤＲソース画像における第３の焦点視画像部分を指定するユーザ入力を受信する工程であって、前記第３のＨＤＲソース画像は、第３のフォービエイテッド画像を生成するために使用される、工程と、
前記第３のＨＤＲソース画像において前記ユーザ入力に基づいて指定された前記第３の焦点視画像部分から第３の焦点視フォービエイテッド画像部分を生成する工程と、
前記第３の焦点視フォービエイテッド画像部分を、第３の時点において描画するための第３のディスプレイマッピング画像における第３の焦点視ディスプレイマッピング画像部分に改変するために、前記映像ストリーミングクライアントによって使用される第３の焦点視ＤＭメタデータ部分を生成する工程と、
前記第３のフォービエイテッド画像、および前記第３の焦点視ＤＭメタデータを含む第３の画像メタデータセットを前記映像ストリーミングクライアントに送信する工程と、
をさらに包含する、ＥＥＥ１の方法。

ＥＥＥ３．
前記視聴方向データに少なくとも部分的に基づいて、前記視聴者が新しい明順応レベルに順応するための順応時間を判定する工程と、
フォービエイテッド画像における焦点視フォービエイテッド画像部分における、前記新しい明順応レベルに対応する完全な画像ディテールのストリーミングを前記順応時間が過ぎるまで遅延する工程と、
をさらに包含する、ＥＥＥ１または２の方法。

ＥＥＥ４．
前記順応時間は、前記映像ストリーミングクライアントに送信される前記フォービエイテッド画像のうちの少なくとも１つに伴う画像メタデータセットにおいて特定される、
先行するＥＥＥのいずれかの方法。

ＥＥＥ５．
前記焦点視ＤＭメタデータは、前記焦点視フォービエイテッド画像部分において表されるすべての画素中の焦点視特定最大ルマ値を特定し、当該特定は、前記焦点視フォービエイテッド画像部分におけるどの画素が前記焦点視特定最大ルマ値に対応づけられるかを指定することなく行われ、前記周辺視ＤＭメタデータは、前記周辺視フォービエイテッド画像部分において表されるすべての画素中の周辺視特定最大ルマ値を特定し、当該特定は、前記周辺視画像部分におけるどの画素が前記周辺視特定最大ルマ値に対応づけられるかを指定せずに行われ、前記焦点視特定最大ルマ値は、前記周辺視特定最大ルマ値と異なる、
先行するＥＥＥのいずれかの方法。

ＥＥＥ６．
前記焦点視ＤＭメタデータ部分は、リファレンス伝達関数を、前記焦点視ディスプレイマッピング画像部分の生成に適用される焦点視特定伝達関数に改変するために使用され、前記周辺視ＤＭメタデータは、同じリファレンス伝達関数を、前記周辺視ディスプレイマッピング画像部分の生成に適用される周辺視特定伝達関数に改変するために使用され、前記焦点視特定伝達関数は、前記周辺視特定伝達関数と異なるように、少なくとも１つの入力コードワードをマッピングする、
先行するＥＥＥのいずれかの方法。

ＥＥＥ７．
前記リファレンス伝達関数において表されるグレースケールレベルは、前記第２のＨＤＲソース画像における色空間のルマチャネルにおいて符号化可能な最も精細な認識可能画像ディテールに対応する、
ＥＥＥ６の方法。

ＥＥＥ８．
前記第２の画像メタデータセットは、同じリファレンス伝達関数を、前記第２のディスプレイマッピング画像における前記焦点視ディスプレイマッピング画像部分および前記周辺視ディスプレイマッピング画像部分以外の他の画像部分の生成に適用される別の伝達関数に改変するために使用される別のＤＭメタデータをさらに含み、前記別の伝達関数は、前記焦点視特定伝達関数および前記周辺視特定伝達関数のどちらとも異なる、
ＥＥＥ６または７の方法。

ＥＥＥ９．
リファレンスターゲットディスプレイを参照して、前記第２のＨＤＲソース画像において符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される、
ＥＥＥ６～８のいずれかの方法。

ＥＥＥ１０．
リファレンスターゲットディスプレイを参照して、前記第２のＨＤＲソース画像のビューポートにおいて符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される、
ＥＥＥ６～９のいずれかの方法。

ＥＥＥ１１．
前記第２の時点における前記視聴者の明順応レベルを予測する工程と、
前記視聴者の予測された明順応レベルが順応されるべき輝度レベルと同等であるかどうかを判定する工程と、
前記視聴者の予測された明順応レベルが前記順応されるべき輝度レベルと同等であると判定したことに応答して、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の第１の画像部分において符号化された最も精細な認識可能画像ディテールを保存する工程であって、前記第２のＨＤＲソース画像の前記第１の画像部分は、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分を導出するために使用される、工程と、
をさらに包含する、先行するＥＥＥのいずれかの方法。

ＥＥＥ１２．
前記第２の時点における前記視聴者の明順応レベルを予測する工程と、
前記視聴者の予測された明順応レベルが順応されるべき輝度レベルと同等であるかどうかを判定する工程と、
前記視聴者の予測された明順応レベルが前記順応されるべき輝度レベルと同等であると判定したことに応答して、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の第１の画像部分における前記視聴者の予測された明順応レベルに対応する特定の明レベル近傍の明レベルを有する最も精細な認識可能画像ディテールを保存する工程であって、前記第２のＨＤＲソース画像の前記第１の画像部分は、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分を導出するために使用される、工程と、
をさらに包含する、先行するＥＥＥのいずれかの方法。

ＥＥＥ１３．
前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の前記第１の画像部分において符号化された１つ以上のルマ値をクリッピングする工程
をさらに包含する、ＥＥＥ１２の方法。

ＥＥＥ１４．
前記１つ以上の第１のディスプレイマッピング画像のうちの少なくとも１つの第１のディスプレイマッピング画像の焦点視ディスプレイマッピング画像部分は、前記視聴者の明順応に対するソースゾーンを表し、前記第２のディスプレイマッピング画像の前記焦点視ディスプレイマッピング画像部分は、前記視聴者の明順応に対するターゲットゾーンを表す、
先行するＥＥＥのいずれかの方法。

ＥＥＥ１５．
前記第２のＨＤＲソース画像は、没入型画像、パノラマ画像、拡張現実画像、仮想現実画像、またはリモートプレゼンス画像のうちの１つを表す、
先行するＥＥＥのいずれかの方法。

ＥＥＥ１６．
前記焦点視ＤＭメタデータ部分は、前記焦点視フォービエイテッド画像部分における、前記視聴者の予測された明順応レベル、焦点視特定最大ルマ値、焦点視特定最小ルマ値、焦点視特定平均ルマ値、または焦点視特定白色点のうちの１つ以上を特定する、
先行するＥＥＥのいずれかの方法。

ＥＥＥ１７．
前記周辺視ＤＭメタデータ部分は、前記周辺視フォービエイテッド画像部分における、周辺視特定最大ルマ値、周辺視特定最小ルマ値、周辺視特定平均ルマ値、または周辺視特定白色点のうちの１つ以上を特定する、
先行するＥＥＥのいずれかの方法。

ＥＥＥ１８．
前記１つ以上の第１の時点および前記第２の時点は、共になって、ある時間間隔をカバーする連続した時点を表し、前記視聴者の焦点視における輝度レベルは、比較的明るい輝度レベルから変化し、前記第２のＨＤＲソース画像における第１の画像部分は、前記第２のフォービエイテッド画像における前記焦点視フォービエイテッド画像部分に対応し、前記第２のフォービエイテッド画像における前記焦点視フォービエイテッド画像部分において表される暗いレベルの総数は、前記第２のＨＤＲソース画像における前記第１の画像部分において表されるソース暗いレベルの総数に比べて低減される、
先行するＥＥＥのいずれかの方法。

ＥＥＥ１９．
前記１つ以上の第１の時点および前記第２の時点は、共になって、ある時間間隔をカバーする連続した時点を表し、前記視聴者の焦点視における輝度レベルは、比較的明るい輝度レベルから変化し、前記第２のＨＤＲソース画像における第１の画像部分は、前記第２のフォービエイテッド画像における前記焦点視フォービエイテッド画像部分に対応し、前記第２のフォービエイテッド画像における前記焦点視フォービエイテッド画像部分において表される明るいレベルの総数は、前記第２のＨＤＲソース画像における前記第１の画像部分において表されるソースの明るいレベルの総数に比べて低減される、
先行するＥＥＥのいずれかの方法。

ＥＥＥ２０．
時間とともに変化する前記視聴者の明順応レベルを判定する工程と、
時間とともに変化する前記視聴者の明順応レベルを使用して、前記第２の時点に対する前記視聴者の明順応レベルを予測する工程と、
前記第２の時点に対して予測された前記視聴者の明順応レベルを用いて、前記焦点視ＤＭメタデータ部分を生成する工程と、
をさらに包含する、先行するＥＥＥのいずれかの方法。

ＥＥＥ２１．
前記視聴者の明順応レベルは、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の予測された明順応レベルを含み、前記１つ以上の第１の予測された明順応レベルは、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の視聴方向および前記１つ以上の第１のディスプレイマッピング画像における１つ以上の第１の焦点視画像部分に少なくとも部分的に基づいて判定される、
ＥＥＥ２０の方法。

ＥＥＥ２２．
前記第２のディスプレイマッピング画像における前記第２の焦点視画像部分は、前記視聴者の中心窩視を、２～４度、４～６度、または６～８度の最大線角度値までカバーする、
先行するＥＥＥのいずれかの方法。

ＥＥＥ２３．
映像をストリーミングするための方法であって、
視聴者に対して、１つ以上の第１の時点において１つ以上の第１のディスプレイマッピング画像を描画する工程であって、前記１つ以上の第１のディスプレイマッピング画像は、映像ストリーミングサーバから受信された１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットから生成され、前記１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットは、前記映像ストリーミングサーバによって、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の視聴方向を参照して、１つ以上の第１のハイダイナミックレンジ（ＨＤＲ）ソース画像から生成される、工程と、
前記視聴者が前記１つ以上の第１のディスプレイマッピング画像を視聴しているときに収集された前記視聴者の視聴方向データを、リアルタイムに、収集する工程であって、前記視聴方向データは、前記１つ以上の第１の時点の後の第２の時点における前記視聴者の第２の視聴方向を判定するために使用される、工程と、
前記視聴方向データの少なくとも一部を前記映像ストリーミングサーバに送信し、前記映像ストリーミングサーバに、前記第２の時点における前記視聴者の前記第２の視聴方向を参照して、第２のＨＤＲソース画像から第２のフォービエイテッド画像および第２の画像メタデータセットを生成させる工程であって、前記第２のフォービエイテッド画像および前記第２の画像メタデータセットは、前記第２の時点において前記視聴者に対して描画するための第２のディスプレイマッピング画像を生成するために使用され、前記第２のフォービエイテッド画像は、前記視聴者の前記第２の視聴方向をカバーする焦点視フォービエイテッド画像部分および前記焦点視画像部分の外側の周辺視フォービエイテッド画像部分を有し、前記第２の画像メタデータセットは、前記焦点視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における焦点視ディスプレイマッピング画像部分に改変するために別途および特別に生成される焦点視ディスプレイマネジメント（ＤＭ）メタデータ部分を含み、前記第２の画像メタデータセットは、前記周辺視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における周辺視ディスプレイマッピング画像部分に改変するために別途および特別に生成される周辺視ＤＭメタデータ部分を含む、工程と、
前記映像ストリーミングサーバから前記第２のフォービエイテッド画像および前記第２の画像メタデータセットを受信する工程と、
前記第２のフォービエイテッド画像から前記第２のディスプレイマッピング画像を生成する工程と、
前記第２の時点において、前記視聴者に対して、前記第２のディスプレイマッピング画像を描画する工程と、
を包含する、方法。

ＥＥＥ２４．
前記視聴方向データに少なくとも部分的に基づいて、前記視聴者が新しい明順応レベルに順応するための順応時間を判定する工程と、
フォービエイテッド画像における焦点視フォービエイテッド画像部分における、前記新しい明順応レベルに対応する完全な画像ディテールのストリーミングを前記順応時間が過ぎるまで遅延する工程と、
をさらに包含する、ＥＥＥ２３の方法。

ＥＥＥ２５．
前記順応時間は、実行時に自動的に判定される、
ＥＥＥ２４の方法。

ＥＥＥ２６．
フェーズド光変調を使用して、追加の光を前記第２のディスプレイマッピング画像の前記焦点視画像部分における１つ以上の特定の画素に集中させる工程
をさらに包含する、ＥＥＥ２３～２５のいずれかの方法。

ＥＥＥ２７．
前記追加の光は、前記第２のディスプレイマッピング画像における、前記焦点視画像部分内にない１つ以上の他の画素から光をそらしながら、前記第２のディスプレイマッピング画像の前記焦点視画像部分における前記１つ以上の特定の画素に集中させる、
ＥＥＥ２６の方法。

ＥＥＥ２８．
前記１つ以上の第１のディスプレイマッピング画像および前記第２のディスプレイマッピング画像が描画されるターゲットディスプレイに対応付けられた周囲明レベルをモニタリングする工程と、
前記周囲明レベルを使用して、少なくとも１つのフォービエイテッド画像を、前記ターゲットディスプレイ上に描画される少なくとも１つのディスプレイ画像にマッピングするために使用される１つ以上の伝達関数に対して調節を行う工程と、
をさらに包含する、ＥＥＥ２３から２７のいずれかの方法。

ＥＥＥ２９．
前記１つ以上の第１のディスプレイマッピング画像および前記第２のディスプレイマッピング画像は、グローバルディミング能力、ローカルディミング能力、またはローカウントディミング能力のうちの１つ以上を含むディミング能力を有するように構成されたターゲットディスプレイ上に描画される、
ＥＥＥ２３～２８のいずれかの方法。

ＥＥＥ３０．
ＥＥＥ１～２９に記載の方法のいずれかを行う装置。

ＥＥＥ３１．
ＥＥＥ１～２９に記載の方法のいずれかを行うシステム。

ＥＥＥ３２．
１つ以上のプロセッサによって実行される際に、ＥＥＥ１～２９のいずれかに記載の方法を行わせるソフトウェア命令を格納する非一時的コンピュータ読み取り可能な記憶媒体。

ＥＥＥ３３．
１つ以上のプロセッサおよび１つ以上の記憶媒体を備えるコンピューティングデバイスであって、前記１つ以上の格納媒体は、１つ以上のプロセッサによって実行される際に、ＥＥＥ１～２９のいずれかに記載の方法を行わせる１組のソフトウェア命令を格納する、コンピューティングデバイス。

Claims (19)

1. 映像をストリーミングするための方法であって、
   映像ストリーミングクライアントに、１つ以上の第１のフォービエイテッド画像を１つ以上の第１の画像メタデータセットとともにストリーミングする工程であって、前記１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットは、１つ以上の第１の時点において視聴者に対して描画するための１つ以上の第１のディスプレイマッピング画像を生成するために、前記映像ストリーミングクライアントによって使用され、前記１つ以上の第１のフォービエイテッド画像および前記１つ以上の第１の画像メタデータセットは、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の視聴方向を参照して、１つ以上の第１のハイダイナミックレンジ（ＨＤＲ）ソース画像から生成される、工程と、
   前記視聴者が前記１つ以上の第１のディスプレイマッピング画像を視聴しているときにリアルタイムに収集された前記視聴者の視聴方向データの少なくとも一部を受信する工程であって、前記視聴方向データは、前記１つ以上の第１の時点の後の第２の時点における前記視聴者の第２の視聴方向を判定するために使用される、工程と、
   前記第２の時点における前記視聴者の前記第２の視聴方向を参照して、第２のＨＤＲソース画像から第２のフォービエイテッド画像および第２の画像メタデータセットを生成する工程であって、前記第２のフォービエイテッド画像および前記第２の画像メタデータセットは、前記第２の時点において前記視聴者に対して描画するための第２のディスプレイマッピング画像を生成するために、前記映像ストリーミングクライアントによって使用され、前記第２のフォービエイテッド画像は、前記視聴者の前記第２の視聴方向をカバーする焦点視フォービエイテッド画像部分および前記焦点視フォービエイテッド画像部分の外側の周辺視フォービエイテッド画像部分を有し、前記第２の画像メタデータセットは、前記焦点視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における焦点視ディスプレイマッピング画像部分に改変するために別途および特別に生成される焦点視ディスプレイマネジメント（ＤＭ）メタデータ部分を含み、前記第２の画像メタデータセットは、前記周辺視フォービエイテッド画像部分を前記第２のディスプレイマッピング画像における周辺視ディスプレイマッピング画像部分に改変するために別途および特別に生成される周辺視ＤＭメタデータ部分を含み、前記焦点視ＤＭメタデータ部分は、前記第２の時点に対する前記視聴者の予測された明順応レベルを用いて生成される、工程と、
   前記第２のフォービエイテッド画像および前記第２の画像メタデータセットを前記映像ストリーミングクライアントに送信する工程と、
   を包含する、方法。
2. 第３のＨＤＲソース画像における第３の焦点視画像部分を指定するユーザ入力を受信する工程であって、前記第３のＨＤＲソース画像は、第３のフォービエイテッド画像を生成するために使用される、工程と、
   前記第３のＨＤＲソース画像において前記ユーザ入力に基づいて指定された前記第３の焦点視画像部分から第３の焦点視フォービエイテッド画像部分を生成する工程と、
   前記第３の焦点視フォービエイテッド画像部分を、第３の時点において描画するための第３のディスプレイマッピング画像における第３の焦点視ディスプレイマッピング画像部分に改変するために、前記映像ストリーミングクライアントによって使用される第３の焦点視ＤＭメタデータ部分を生成する工程と、
   前記第３のフォービエイテッド画像、および前記第３の焦点視ＤＭメタデータを含む第３の画像メタデータセットを前記映像ストリーミングクライアントに送信する工程と、
   をさらに包含する、請求項１に記載の方法。
3. 前記視聴方向データに少なくとも部分的に基づいて、前記視聴者が新しい明順応レベルに順応するための順応時間を判定する工程と、
   フォービエイテッド画像における焦点視フォービエイテッド画像部分における、前記新しい明順応レベルに対応する完全な画像ディテールのストリーミングを前記順応時間が過ぎるまで遅延する工程と、
   をさらに包含する、請求項１または２に記載の方法。
4. 前記順応時間は、前記映像ストリーミングクライアントに送信される前記フォービエイテッド画像のうちの少なくとも１つに伴う画像メタデータセットにおいて特定される、
   請求項３に記載の方法。
5. 前記第２の時点に対する前記視聴者の明順応レベルは、前記１つ以上の第１の時点における前記視聴者の１つ以上の第１の予測された明順応レベルを使用して予測され、前記１つ以上の第１の予測された明順応レベルは、前記１つ以上の第１の時点における前記視聴者の前記１つ以上の第１の視聴方向および前記１つ以上の第１のディスプレイマッピング画像における１つ以上の第１の焦点視画像部分に少なくとも部分的に基づいて判定される、
   請求項１～４のいずれか１項に記載の方法。
6. 前記焦点視ＤＭメタデータ部分は、リファレンス伝達関数を、前記焦点視ディスプレイマッピング画像部分の生成に適用される焦点視特定伝達関数に改変するために使用され、前記周辺視ＤＭメタデータは、同じリファレンス伝達関数を、前記周辺視ディスプレイマッピング画像部分の生成に適用される周辺視特定伝達関数に改変するために使用され、前記焦点視特定伝達関数は、前記周辺視特定伝達関数と異なる、
   請求項１～５のいずれか１項に記載の方法。
7. 前記リファレンス伝達関数において表されるグレースケールレベルは、前記第２のＨＤＲソース画像における色空間のルマチャネルにおいて符号化可能な最も精細な認識可能画像ディテールに対応する、
   請求項６に記載の方法。
8. 前記第２の画像メタデータセットは、同じリファレンス伝達関数を、前記第２のディスプレイマッピング画像における前記焦点視ディスプレイマッピング画像部分および前記周辺視ディスプレイマッピング画像部分以外の他の画像部分の生成に適用される別の伝達関数に改変するために使用される別のＤＭメタデータをさらに含み、前記別の伝達関数は、前記焦点視特定伝達関数および前記周辺視特定伝達関数のどちらとも異なる、
   請求項６または７に記載の方法。
9. リファレンスターゲットディスプレイを参照して、前記第２のＨＤＲソース画像において符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される、
   請求項６～８のいずれか１項に記載の方法。
10. リファレンスターゲットディスプレイを参照して、前記第２のＨＤＲソース画像のビューポートにおいて符号化されたすべてのルマ値を対応するグレースケールレベルにマッピングすることに、同じリファレンス伝達関数が適用される、
    請求項６～９のいずれか１項に記載の方法。
11. 前記第２の時点における前記視聴者の明順応レベルを予測する工程と、
    前記視聴者の予測された明順応レベルが順応されるべき輝度レベルと同じオーダーの大きさであるかどうかを判定する工程と、
    前記視聴者の予測された明順応レベルが前記順応されるべき輝度レベルと同じオーダー
    の大きさであると判定したことに応答して、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の第１の画像部分において符号化された最も精細な認識可能画像ディテールを保存する工程であって、前記第２のＨＤＲソース画像の前記第１の画像部分は、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分を導出するために使用される、工程と、
    をさらに包含する、請求項１～１０のいずれか１項に記載の方法。
12. 前記第２の時点における前記視聴者の明順応レベルを予測する工程と、
    前記視聴者の予測された明順応レベルが順応されるべき輝度レベルと同じオーダーの大きさであるかどうかを判定する工程と、
    前記視聴者の予測された明順応レベルが前記順応されるべき輝度レベルと同じオーダーの大きさであると判定したことに応答して、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の第１の画像部分における前記視聴者の予測された明順応レベルに対応する特定の明レベル近傍の明レベルを有する最も精細な認識可能画像ディテールを保存する工程であって、前記第２のＨＤＲソース画像の前記第１の画像部分は、前記第２のフォービエイテッド画像の前記焦点視フォービエイテッド画像部分を導出するために使用される、工程と、
    をさらに包含する、請求項１～１１のいずれか１項に記載の方法。
13. 前記焦点視フォービエイテッド画像部分において、前記第２のＨＤＲソース画像の前記第１の画像部分において符号化された１つ以上のルマ値をクリッピングする工程
    をさらに包含する、請求項１２に記載の方法。
14. 前記１つ以上の第１のディスプレイマッピング画像のうちの少なくとも１つの第１のディスプレイマッピング画像の焦点視ディスプレイマッピング画像部分は、前記視聴者の明順応に対するソースゾーンを表し、前記第２のディスプレイマッピング画像の前記焦点視ディスプレイマッピング画像部分は、前記視聴者の明順応に対するターゲットゾーンを表す、
    請求項１～１３のいずれか１項に方法。
15. 前記第２のＨＤＲソース画像は、没入型画像、パノラマ画像、拡張現実画像、仮想現実画像、またはリモートプレゼンス画像のうちの１つを表す、
    請求項１～１４のいずれか１項に方法。
16. 明順応曲線を使用して、前記視聴者の明順応レベルを予測する工程
    を包含する、請求項１～１５のいずれか１項に方法。
17. 前記明順応曲線は、前記視聴者が予め視聴していたソースゾーンの明レベル、前記視聴者が遷移していた中間ゾーン、前記視聴者が現在視聴しているか、または前記第２の時点において現在視聴していると予測されるターゲットゾーンの明レベル、前記視聴者の焦点視が前記ソースゾーン内に存在する期間の長さ、および前記視聴者の焦点視が前記ターゲットゾーン内に存在する期間の長さのうちのいずれかに依存する、
    請求項１６に記載の方法。
18. 前記明順応曲線は、異なる画像コンテクストのシーンに対して異なるように前記視聴者の明順応レベルを予測する、
    請求項１６または１７に記載の方法。
19. 前記明順応曲線は、アーティストの意図および／またはユーザの入力に基づく、
    請求項１６～１８のいずれか１項に記載の方法。

Images