JP2023551896A - 拡張次元ライトフィールド画像の処理 - Google Patents

Abstract

一実施形態では、方法、媒体、及びシステムは、画像内のピクセル位置及びディスプレイからの視聴者の距離（観察者のZ位置）に基づいてビュー関数を使用して、ライトフィールド画像を処理し表示する。ビュー関数は、画像内のx又はyピクセル位置、ディスプレイからの視聴者の距離、及びディスプレイに対する視聴者の角度を含むことができる入力に基づいて、ライトフィールド画像内の異なるピクセルに対して異なる角度ビューを指定する角度ビュー関数にすることができる。一実施形態では、角度範囲メタデータ及び/又は角度オフセットメタデータなどのライトフィールドメタデータを使用して、画像を処理及び表示することができる。一実施形態では、カラーボリュームマッピングメタデータを使用して、決定された角度ビューに基づいてカラーボリュームマッピングを調整することができる。また、カラーボリュームマッピングメタデータは、角度オフセットメタデータに基づいて調整することもできる。

Description

［関連出願］
本願は、参照により全体がここに組み込まれる、共に２０２０年１２月４日に出願した米国仮出願番号第６３/１２１,３７２号及び欧州特許出願番号第２０２１１８７０.９号の優先権を主張する。

［技術分野］
本開示は、画像処理の分野、特にライトフィールド画像の画像処理に関する。

画像処理と画像表示の分野における最近の発展は、以前にレンダリングされたボリュームコンテンツから、水平方向と垂直方向の両方の異なる視点で画像を表示する能力を持つライトフィールド処理と呼ばれる。これらの異なる方向は、視聴者とディスプレイの間の線がディスプレイの表面に垂直である古典的な「真っ直ぐ」な視聴位置とは異なる角度である。このタイプの画像処理と表示は、イメージングが４つの値の関数として記述できるため、現在では４Dライトフィールドイメージングと呼ばれている。これらの値は、以前にレンダリングされた画像のピクセル位置（例えば、x,y）と視点の水平及び垂直角度である。４Dライトフィールド画像に関する詳細な背景情報は、次の文献で提供されている：Light Field Image Processing: An Overview, by Gaochang Wu,et.al., IEEE Journal of Selected Topics in Signal Processing, Vol.１１, No.７, October ２０１７, pages ９２６-９５４、Light Field Rendering, by Marc Levoy and Pat Hanrahan, in Proc. of the ２３d Annual Conf. on Computer Graphics and Interactive Techniques, １９９６, pages ３１－４２。

本開示は、４Dライトフィールドのようなライトフィールドのマッピングのための方法と機器を説明する。一実施形態では、方法、媒体、及びシステムは、画像内のピクセル位置及びディスプレイからの視聴者の位置（観察者の距離Z）に基づいてビュー関数を使用して、ライトフィールド画像を処理し表示する。ビュー関数は、画像内のx又はyピクセル位置、ディスプレイからの視聴者の距離、及びディスプレイに対する視聴者の位置を含むことができる入力に基づいて、ライトフィールド画像内の異なるピクセルに対して異なる角度ビューを指定する角度ビュー関数にすることができる。一実施形態では、角度範囲メタデータ及び/又は角度オフセットメタデータなどのライトフィールドメタデータを使用して、画像の処理及び表示を向上することができる。一実施形態では、カラーボリュームマッピングメタデータを使用して、決定された角度ビューに基づいてカラーボリュームマッピングを調整することができる。また、カラーボリュームマッピングメタデータは、角度オフセットメタデータに基づいて調整することもできる。

一実施形態では、方法は、次の操作：
画像内の複数のピクセルの各ピクセルについて、異なる参照ビューなどの異なるビューの画像データを含むライトフィールドフォーマットで表される画像データを受信するステップと、
画像に関連する所望の視点の選択を受信するステップと、
画像内の複数のピクセルの各ピクセルの空間座標に基づいて、所望の視点に基づいて、かつ、所望の視点とディスプレイとの距離に基づいて、１つ以上のビューを決定するビュー関数を使用して、複数のピクセル内の各ピクセルで１つ以上のビューを決定するステップと、
を含むことができる。一実施形態では、方法は以下の追加操作：
決定されたビューに基づいて、画像をレンダリングするステップと、
決定されたビューにレンダリングされた画像を表示するステップと、
を含むことができる。ライトフィールド形式で受信及び復号された画像データは、これらの異なる参照ビューに基づいて追加のビューを構築するために使用できる異なる参照ビューを含むベースバンドライトフィールド表現と呼ぶことができる。ベースバンドライトフィールド画像形式は、a）各タイルが可能なビューの１つであるタイルとして復号された平面形式、又はb）インタリーブ形式のいずれかとして表すことができる。

一実施形態では、ベースバンドライトフィールド画像は、以前にボリュームコンテンツとしてレンダリングされた４Dライトフィールド画像であり、所望の視点の選択は、所望の視点で画像を見るために、ユーザから受信される。ビュー関数を、水平角度ビュー関数と垂直角度ビュー関数を含む角度ビュー関数とすることができ、水平角度ビュー関数は、所望の視点と前記ディスプレイとの距離、ピクセルの水平空間座標、及び所望の視点の水平成分を含む入力を有しすることができ、垂直角度ビュー関数は、所望の視点とディスプレイとの距離、ピクセルの垂直空間座標、及び所望の視点の垂直成分を含む入力を有することができる。

一実施形態では、ビュー関数がディスプレイから基準距離にある基準平面に対して定義され、ビュー関数は、基準平面内の任意の１つの視点に対する画像内のすべてのピクセルに対して同じビューを決定する。基準平面の外側の視点の場合、ビュー関数は、画像内の異なるピクセルに対して異なるビューを決定できる。一実施形態では、推定された視聴者位置に基づいて所望の視点が選択される。

一実施形態では、方法は次の追加の操作：
カラーボリュームマッピングメタデータを受信するステップと、
決定されたビューとカラーボリュームマッピングメタデータに基づくカラーボリュームマッピングを適用するステップと、
を含むことができる。一実施形態では、カラーボリュームマッピングメタデータは、所望の視点と角度オフセットメタデータに基づいて調整される。一実施形態では、角度オフセットメタデータは、所望の視点に基づいて補間することができる。一実施形態では、カラーボリュームマッピングメタデータが、シーン単位で又は画像単位で複数の異なる画像にわたって変化することができる。

一実施形態では、方法は、次の追加操作：
画像データ内の最も近い利用可能な基準ビューのセットから、所望の視点で、決定されたビューを補間するステップ、を含めることもできる。一実施形態では、補間は、多くの基準ビューを含む高密度ライトフィールド画像からのバイリニア補間を使用できる。

一実施形態では、方法は、以下の追加操作：
所望の視点となり得る視点を有効な視聴ゾーンに制限するステップ、を含むこともできる。一実施形態では、制限は、（a）無効な視点を有効な視聴ゾーン内の視点にハードクランプするか、又は（b）無効な視点を有効な視聴ゾーン内の視点にソフトクランプするかのいずれかを含むことができる。一実施形態では、方法は、追加の操作：
有効な視聴ゾーンを決定するために使用される角度範囲を含むメタデータを受信するステップ、を含むこともできる。

ここに記載されている態様と実施形態は、実行可能なコンピュータプログラム命令を格納することができ、該命令が実行されると、コンピュータプログラム命令が実行されるときに、１つ以上のデータ処理システムに、ここに記載されている方法を実行させる非一時的機械可読媒体を含むことができる。命令は、揮発性メモリであるダイナミックランダムアクセスメモリ（DRAM）や、フラッシュメモリやその他の形式のメモリなどの不揮発性メモリなどの、非一時的な機械可読メディアに格納することができる。ここに記載されている対応と実施形態は、これらの方法を実行するように構築又はプログラムされたデータ処理システムの形式でもよい。例えば、データ処理システムは、これらの方法を実行するハードウェアロジックで構築することも、これらの方法を実行するようにコンピュータプログラムでプログラムすることもできる。

ここに記載されている態様及び実施形態は、例えば、以下のようなコンピュータ製品及びコンピュータ媒体を含むこともできる。命令を含むコンピュータプログラムプロダクトであって、プログラムがコンピュータによって実行されるときに、コンピュータに、例示的な実施形態１～１５のような以下の例示的な実施形態を含む本開示に記載されている方法のいずれかを実行させる命令を含む、コンピュータプログラムプロダクト。

命令を含むコンピュータ可読［記憶］媒体であって、コンピュータによって実行されるときに、コンピュータに、例示的な実施形態１～１５のような以下の例示的な実施形態を含む本開示に記載されている方法のいずれかを実行させる命令を含む、コンピュータ可読［記憶］媒体。

上記の概要には、本開示におけるすべての実施形態の態様の網羅的なリストは含まれない。すべてのシステム、媒体、及び方法は、上記で要約された様々な態様と実施形態、及び以下の詳細な説明で開示されたもののすべての適切な組み合わせから実施することができる。

本発明は、添付図面の図において、限定ではなく例として例示されている。図中の類似の参照符号は類似の要素を示す。

４Dライトフィールド画像などの画像の３つの異なる視聴位置又は視点からの３つの異なるビューの例を示している。

４Dライトフィールド画像をタイルのセットとして格納する方法の例を示し（復号された平面形式と呼ばれる）、各タイルは画像の可能なビューの１つであり、各ビューは特定の視点又は視聴位置に対応している。

フル高精細（FHD）画像（ピクセル解像度１９２０x１０８０を有する）の視聴ゾーンと基準視聴位置の例を示している。

FHD画像の視聴ゾーンと右端の視聴位置の別の例を示している。

FHD画像の視聴ゾーンと最近接視聴ポイントの別の例を示している。

ライトフィールド画像の角度範囲ごとに異なる視聴ゾーンの例を示している。 ライトフィールド画像の角度範囲ごとに異なる視聴ゾーンの例を示している。 ライトフィールド画像の角度範囲ごとに異なる視聴ゾーンの例を示している。 ライトフィールド画像の角度範囲ごとに異なる視聴ゾーンの例を示している。

無効な視点又は視聴位置をライトフィールド画像の有効な視点に変換する方法の例を示している。

無効な視点又は視聴位置をライトフィールド画像の有効な視点に変換する方法の別の例を示している。

無効な視点を有効な視点に変換するために使用できるソフトクランプ関数の例を示している。

無効な視点を有効な視点に変換するソフトクランプ関数の使用例を示している。

一実施形態に従った方法を示すフローチャートを示している。

別の実施形態に従った方法を示すフローチャートを示している。

ここに記載されている１つ以上の実施形態を実装するために使用できるデータ処理システムの例を示すブロック図である。

以下で説明する詳細を参照して、様々な実施形態と態様を説明し、添付の図面で様々な実施形態を説明する。以下の説明及び図面は例示的なものであり、限定的なものとは解釈されない。種々の実施形態の完全な理解を提供するため、多くの特定の詳細が説明される。しかし、特定の例では、実施形態を簡潔に説明するために、よく知られた、又は従来の詳細が記述されていない。

本願明細書において「一実施形態」又は「実施形態」の言及は、実施形態に関連して記載される特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれ得ることを意味する。本願明細書の様々な場所での語句「一実施形態では」の出現は、必ずしも全てが同じ実施形態を表さない。以下の図に示されている処理は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア、又はその両方の組み合わせで構成される処理ロジックによって実行される。以下では、幾つかの逐次的な操作に関して処理を説明するが、説明されている操作の幾つかは異なる順序で実行される可能性があることを認識すべきである。さらに、幾つかの操作は逐次的ではなく並行して実行される可能性がある。

本開示では、基準ビューを含む４Dライトフィールドなどのライトフィールドを画像の異なる視点にマッピングできる方法、非一時的機械可読媒体及びデータ処理システムについて説明する。本開示では、４Dライトフィールドに固有の概要から始めて、特定の視点に対してそのようなライトフィールドをマッピングする処理について説明する。次に、補間を使用し、メタデータを使用するさらなる態様について説明する。ここで説明する実施形態は、以下の請求項に含まれることを意図した様々な異なる組み合わせで組み合わせることができることが理解されるであろう。

一実施形態では、４Dライトフィールドのようなライトフィールドは、ディスプレイ装置のディスプレイスクリーンの平坦な表面のような平坦な表面の背後にあるボリュームシーンの完全な表現とすることができる。ディスプレイ装置は、異なる視点でシーンの画像を表示することができるため、視聴者は視聴位置又は視点に応じて異なる画像を提示される。画像は、４Dライトフィールド形式で保存されているプリレンダリングされたボリュームコンテンツにすることができる。図１は、一実施形態による、ディスプレイ１２上の異なる視点で異なる画像を表示するシステム１０の例を示している。視聴者が中央の位置にいる場合、ディスプレイ１２は、ライトフィールドを使用しないシステムで今日提示されている従来の画像である画像１４を示す。視聴者がディスプレイの左側に移動すると、システムは、ディスプレイ１２の左側にある視点からシーンがどのように見えるかを示す画像１８を表示される。視聴者がディスプレイの右側に移動すると、ディスプレイ１２は、ディスプレイ１２の右側にある視点からシーンがどのように見えるかを示す画像１６を提示する。

４Dライトフィールドを使用すると、視聴者はシーン内を見回すことができ、実際のシーンを窓越しに見ているように、各視聴位置からのわずかに異なる眺望を示すことができる。一実施形態では、わずかに異なる眺望は、雪、水、金属、皮膚、目などを照らす光のような１つのビューのみに表示され隣接するビューは含まれない鏡面ハイライトを含むことができる異なる画像を示すことができる。一実施形態では、ライトフィールドは、視聴者のわずかな動きによって明らかにされるオクルージョンを、視聴ゾーン内に含めることができる。これらのオクルージョンは、ウィンドウの境界にある場合もあれば、シーン自体の中にある場合もあり、一部のオブジェクトは、より近いオブジェクトによって部分的に隠されている場合もある。一実施形態では、ライトフィールドは、光学的にキャプチャされたコンテンツと、コンピュータ又は他のデータ処理システムによってレンダリングされたレンダリングされたグラフィックスの両方をサポートすることができる。ライトフィールドは、実際には、シーン内で有効な異なる視点に移動することによって、視聴者がシーン内を移動又は歩き回って、シーンの異なるビューを見ることができるようにすることができる。例えば、図１の場合、視聴者の視点を変更することによって、車の少なくとも一部の周りを歩き、車の前面と車の右側と車の左側、又は車の右側の少なくとも一部と車の左側の少なくとも一部を見ることができる場合がある。

ライトフィールドは、ピクセル位置（例えば、x,y）と角度情報（u,v）を含む４つの次元を持つと考えることができる。さらに、各ピクセル位置について、可能な各ビューのピクセルの色を表す色情報がある。各ピクセル位置は、角度情報に基づいて選択される複数のビュー（例えば、ビューごとに１つずつ、複数のカラー値）を持つことができる。つまり、ピクセル位置で選択される色情報は、ユーザが選択した視点から導き出されるか、又はシステムによって決定される（例えば、システムがユーザの位置を推定する）角度情報に依存する。第１視点は、特定のピクセルで（第１ビューに対応する）第１色情報を選択させる第１ビューの選択を引き起こし、第２視点は、同じピクセルで（第２ビューに対応する）第２色情報を選択する第２ビューの選択を引き起こす。従来の画像は、ピクセル位置（例えば、x,y）と色情報「c」によって表される３次元を持つと考えることができる（そのため、従来の画像はIm（x,y,c）という表記で表すことができる）。４Dライトフィールドの追加情報は、シーンを見るために選択した視点から得られる角度情報（例えば、u,v）であるため、４Dライトフィールド画像はIm（x,y,u,v,c）という表記で表すことができる。

ライトフィールドは、ビューの数として定義できる角度解像度を持つことができる（幾つかの実施形態では角度ビューの数とも呼ばれる）。図２の例では、水平方向の角度解像度は５（５つの異なるビュー）、垂直方向の角度解像度は５（５つの異なるビュー）である。ライトフィールドは、垂直方向と水平方向の両方で最大角度として定義できる角度範囲（例えば、単位：度）を持つと定義することもできる。一実施形態では、コンテンツによってサポートされる指定された角度範囲があり、この指定された角度範囲はコンテンツのキャプチャ、作成、又はレンダリング中に決定でき、コンテンツに関連付けられた角度範囲メタデータとして保存及び送信でき、角度範囲は度の単位で指定できる。一実施形態では、２つの角度範囲値があり、１つはライトフィールドを正確に見ることができる最大水平角度、もう１つはライトフィールドを正確に見ることができる最大垂直角度である。角度範囲が水平と垂直の両方で０の場合、どちらの方向にも代替のビューはなく、コンテンツはここで基準視聴位置として記述されているものからのみ正しく見ることができ、この視聴位置（基準視聴位置）からの単一のビューは、従来の２Dシステムの既存のコンテンツと同じであり、図１に示す画像１４と同じである。角度情報を記述するために使用できる別の用語は角度密度であり、（角度解像度）/（角度範囲）の比で表すことができる。角度解像度は、ビュー／度の単位で表すことができる。

４Dライトフィールド画像は、平面ライトフィールド画像（図２に示す）とインタリーブライトフィールド画像の２つの方法で概念化できる。受信及び復号された４Dライトフィールド画像は、基準ビューを含むベースバンドライトフィールド画像と呼ばれ、基準ビューは基準ビューに基づいてより多くのビューを作成するために利用できる。図２に示す４Dライトフィールド画像のような平面状のライトフィールド画像では、各タイル又は平面は、異なる基準視聴位置又は視点に対応する画像であり、これらのタイル又は平面の各々は、基準ビューの１つである。平面状の４Dライトフィールドは、以下に説明する既存の画像処理アーキテクチャを使用した圧縮やサイズ変更などの空間操作に適している。図２の例では、角度解像度は５ビュー×５ビューである。中央のタイル１４（例えばu=２、v=２のとき）は、今日の従来の２D画像であり、後述の基準視聴位置に対応している。図２のこの例の角度範囲は、水平方向と垂直方向の両方で３０°である。タイルの中央の行（v=２）に沿った左端のタイルは、後述の基準視聴距離での図１の画像１８に対応し、タイルの中央の列に沿った右端のタイルは、後述の基準視聴距離での図１の画像１６に対応する。図２の他のタイルは、後述の基準視聴距離での異なる水平角度２０と垂直角度２２にある異なる視聴位置に対応している。例えば、図２の左上隅のタイルは、左端の視点の水平ビュー及び垂直方向の最も高い視点の垂直ビューに対応している。図２の右上隅のタイルは、右端の視点の水平ビュー及び垂直方向の最も高い視点の垂直ビューに対応している。図２の左下隅のタイルは、左端の視点の水平ビュー及び垂直方向の最も低い視点の垂直ビューに対応している。図２の右下隅のタイルは、垂直方向の最も低い視点の垂直ビューにおける右端の視点の水平ビューに対応している。図２のこの表現の左から右への、タイルの最も上の行に沿ったピクセルの水平ビューは、（a）第１タイル（左上隅のタイル）の場合、x_０u_０、x_１u_０、x_２u_０、x_３u_０、．．．（b）次のタイル（第１タイルの右側）の場合、x_０u_１、x_１u_１、x_２u_１、．．．である、。図２のこの表現の左から右への、タイルの最も上の行に沿ったピクセルの水平ビューは、（a）第１タイル（左上隅のタイル）の場合、y_０u_０、y_１u_０、y_２u_０、y_３u_０、．．．（b）次のタイル（第１タイルの右側）の場合、y_０u_１、y_１u_１、y_２u_１、．．．である、。したがって、以下に示す基準視聴距離では、左上隅のタイルのすべてのピクセルが図２の左上隅のタイルに示されたビューを持ち、（タイルの最も上の行に沿った）次のタイルのすべてのピクセルが図２の該次のタイルに示されたビューを持つ。

４Dライトフィールドをインタリーブされた画像として表すこともできる。この表現では、角度ビューは水平方向と垂直方向にインタリーブされるため、隣接するピクセルは異なるビュー方向に対応する。この表現は、（後述する）新しい視点を選択又は補間するために４Dライトフィールド画像の小さな連続した領域しか必要ないため、視点間の補間などの角度処理を容易にすることができる。この表現の最も上の行に沿ったピクセルのビューは、左から右に、X_０U_０、X_０U_１、X_０U_２、X_０U_３、X_０U_４、X_１U_０、X_１U_１、．．．を生成する。

平面４Dライトフィールドは、画像の平面カラー表現と幾つかの類似点を共有しており、色の各次元は完全な画像として表される（例えば、R、R、R、G、G、G、B、B、B）。別の方法として、カラー画像をインタリーブ形式で表すこともできる（例えば、R、G、B、R、G、B、R、G、B）。同様に、インタリーブ４Dライトフィールドは、他のビューとインタリーブされた各ビューを表す。ライトフィールド画像を格納するシステムメモリの適切な部分にインデックスを作成することで、平面形式とインタリーブ形式の間の変換を可逆的にかつ効率的に行うことができる。

この開示では、多くの図や方法は、明確にするために水平軸（x,u）のみに焦点を当てている。明示されていない場合でも、垂直軸（y,v）にも同じアプローチが適用できることが理解される。

視聴ゾーンと基準視聴位置
視聴ゾーンは、有効な視点をレンダリングできる領域として定義できる。一実施形態では、この視聴ゾーンを使用して、以下でさらに説明するようにビューを制約できる。有効な視聴ゾーンは、画像の角度範囲メタデータによって制約及び定義される画像の視聴ゾーンであり、角度範囲メタデータ（以下でさらに説明する）は、画像が視聴され得る角度の範囲を指定する。有効な視点は、有効な視聴ゾーン内の任意の視点である。無効な視点は、有効な視聴ゾーン外の視点である。この視聴ゾーンは、図３A、３B、３Cに示す領域５９と６１に分けることができる。これらの図は、ディスプレイ５１の水平方向に上から見た図５０、及び領域５９と６１を含む視聴ゾーンを示す。図３A、３B、及び３Cに示す例では、有効な視聴ゾーンは領域５９と６１に制限されている。領域６１は、通常の観察者の視力で又はそれを超えて４次元ライトフィールドを正確に見ることができる視聴ゾーンを示し、この領域６１は基準視聴平面５６によって定義される基準視聴距離を超えている。つまり、領域６１は、基準視聴平面５６とディスプレイ５１の間の距離（y軸５３に示される）よりも大きいディスプレイ５１からの観察者/視聴者距離を持つ。領域５９は、４Dライトフィールドをまだ正確に見ることができる視聴ゾーンを示すが、観察者は、制限された空間解像度のために個々のピクセルを観察できる（基準視聴平面５６よりも観察者がディスプレイ５１に近いため）。視聴ゾーンは、以下でより詳細に説明するように、角度範囲と空間解像度によって決定される。基準視聴平面５６は、領域５９と６１を分離し、基準視聴平面５６の中心にある基準視点位置５７を含む。x軸５５に沿った位置は、観察者の（水平方向の）位置とすることができる。垂直方向の視聴ゾーンの表現は、図３A、３B及び３Cに示されているものと同様になることが理解される。

基準視聴平面５６の中心にある基準視点位置５７は、（水平及び垂直方向で）画面の中央にあり、画面の空間解像度が６０．８ピクセル/度である場合に基準距離z０にあると定義することができる。フルハイビジョン（full high definition （FHD））解像度の画像（例えば、１９２０*１０８０の画像）の場合、この基準距離z０は３.２ピクチャ高さになる（したがって、基準平面５６とディスプレイ５１の間の距離は３.２ピクチャ高さになる）。図３A、３Bなどに示すように、基準平面とディスプレイ表面の平面は互いに平行である。この基準距離z０は、視聴ゾーン５９と６１を分離し、基準視聴平面５６はディスプレイ５１からz０の距離に位置する。距離が大きくなると、画面解像度よりも視力が低下し、高い視覚忠実度で画像を表示できる。近い距離では、視力は画面解像度よりも大きく、画像を構成する個々のピクセルが見えることがある。基準視聴距離（z０、画面の高さの単位）は、パネルの垂直方向の空間解像度から、次の式によって垂直方向の寸法（例えばY=１０８０、２１６０、又は４３２０など）で計算できる：

図３Aにも示されているように、ディスプレイを横に横切るように配置されている３つの角度：左端、中央、右端がある。これらは、画面への法線と視聴位置によって形成される角度を示している。これらの角度は、以下に説明するように、ピクセル位置（x,y,画面の高さの単位）、観察者位置（ObX、ObY、画面の高さの単位）、及び基準視聴距離（z０、画面の高さの単位）から、thetafun（度の単位）を使用して計算される。

基準視聴位置では、これらの角度（ディスプレイ１５と並んで角度６３で示されている）は、アスペクト比が１６：９の画像を想定して、各々-１５．５度、０度、１５．５度である。また、３つの水平ビュー６５インデックスも示されており、どの角度のビューを視聴者に提示するかを示している。角度ビューは次式によって計算され：

ここで、（u,v）は角度ビュー、（x,y）は画像内の各ピクセルの空間座標、ObX、ObY、ObZは基準位置（ここでは、すべて０）に対する観察者の位置である。角度ビュー関数については後で詳しく説明する。基準視聴位置５７において、水平ビュー関数ufunは、一実施形態では、図３Aに示すように、ufun（x,０,０）=０、言い換えれば、すべてのピクセルの基準位置における水平角度ビュー=０となるように定義される。基準視聴位置５７において、垂直ビュー関数vfunは、一実施形態では、図３Aに示すように、vfun（y,０,０）=０、言い換えれば、すべてのピクセルの基準位置における垂直角度ビュー=０となるように定義される。

基準視聴平面での視聴位置及び右端の視聴位置
z０の線に沿った視聴位置を基準視聴平面５６での視聴位置という。視聴者が基準視聴平面５６でこの線に沿って横方向に（ディスプレイ５１に対して一定のZ距離で）移動すると、４Dライトフィールドからのシーンの新しいビューが表示される。視点が基準視聴平面上にある場合、画像内のすべてのピクセルは、一例ではその視点で同じビューを持つことになる。図３Bは、最も右の視点６７と呼ばれる、基準視聴平面上にある１つの視点を示している。これは、画像の中心からコンテンツの角度範囲にある点と定義される。

図３Bに示すように、画面の法線と右端の視点の間の角度は、画面の中心で３０度であり、この例では角度範囲である。また、図３Bに示すように、画面の法線と右端の視点の間の角度はすべて異なり、画像の左端のピクセルの４０．５度から右端の１６．７度までの範囲である。ただし、角度ビューは、視聴平面のすべての位置で同じになるように先に定義されている。これは、さらに次式を定義することによって行われる：

言い換えると、平面５６内の特定の視点における基準平面（ObZ=０）に沿った任意の１つの所与の観測者位置（ObX,ObY）におけるすべてのピクセル（x,y）について、同じビュー（un,vn）が計算される。図３Bに示すように、これは、画像内の各空間位置（x,y）について、水平ビュー=２（図３Bのディスプレイ５１のすぐ下のビュー６５の表記で示される）であるため、満たされる。基準視聴距離（z０、画面の高さの単位）と視聴角度範囲（AngleRange、度の単位）から、右端の視聴位置（ObXmax、画面の高さの単位）が決定される。これにより、最大角度範囲Umaxに対応するビューが返される。例えば、

最も近い視聴位置
図３Cは、「最も近い視聴位置（Closest Viewing Position）」と呼ばれる追加の関心のある視点を示している。これは、視聴ゾーン内の最も近いポイントとして定義される。見てわかるように、画面の法線と最も近い視聴ポイント（Closest Viewing Point）の間に形成される角度は、画像の左端のピクセルでは４０．５度であり、右端の視聴ポイント（Rightmost Viewing Point）の場合と同じである。画面の法線と最も近い視聴ポイント（（Closest Viewing Point）の間の角度は、中央のピクセルと右端のピクセルで各々０度と-４０．５度である。これらに対応するこれらの角度ビューにもラベルが付けられており（ビュー６５を参照）、各々-２、０、２である（-Umax,０,Umax）。これは、最も近い視聴位置の適切な画像が４Dライトフィールドからの複数のビューから構成されることを意味する。左端のピクセルは右端のビューから得られ（Umax=２）、中央のピクセルは中央のビューから得られ（u=０）、右端のピクセルは左端のビューから得られる（-Umax=-２）。中間のピクセルは中間のビューから得られるか、又は補間される。補間は後述する。基準視聴平面（Reference Viewing Plane）上にない任意の視聴位置からのビューも、同様に４Dライトフィールドからの複数のビューから構成されることに注意する。つまり、ある実施形態では、視点が基準視聴平面５６上にない場合、画像内のピクセルに複数のビューが使用され、異なる空間位置の異なるピクセルが異なるビューを使用する。

アスペクト比（ar）、右端の視聴位置（ObXmax、画面の高さの単位）、及び基準視聴距離（z０、画面の高さの単位）から、最も近い視聴ポイント（ObZmin、画面の高さの単位）が計算される：

最も遠い視聴位置
最も遠い視聴位置ObZmax（画面の高さの単位）は、４Dライトフィールドが正しく認識される可能性のある最も遠い距離である。これは、一実施形態では、アスペクト比（ar）、右端の視聴位置（ObXmax、画面の高さの単位）、及び基準視聴距離（z０、画面の高さの単位）から計算される：

右端の距離が画面の幅以上である視聴ゾーンの場合、最も遠い視聴位置ObZmaxは無限大であるか、又は固定小数点表現では表現可能な最大距離である。

角度範囲が視聴範囲に与える影響
角度範囲は、画面の中心から最も右の視聴位置までの最大角度に対応する。図４A、４B、４C、４Dは、各々０度、５度、１５．５度、３０度の角度範囲を比較する例と、これらの各例の最も右の視聴位置を示している。

図４Aに示す０度の角度範囲では、視聴ゾーンは基準視点に対応する単一点のみである。これは、今日の２D画像の場合であり、単一の視聴位置から正しい遠近法で視聴されるように画像が生成される。視聴ゾーンの外側の任意の他の視聴位置では、遠近法は正しくなくなり、人間の視覚システムは、画像が２D平面の「背後」にある実際のシーンではなく、２D平面上にあると推測する。U=１及びV=１の場合、角度解像度は０である必要があり、４Dライトフィールドは通常の２D画像と同じになるように折りたたまれる。

図４Bに示す５度の角度範囲では、視聴ゾーン（領域５９A及び６１Aを含む）がわずかに増大してひし形になる。この視聴ゾーン内では、視点がわずかに移動し、正しい遠近法を持つ画像が計算されて表示でき、窓越しに見るような体験を模倣している。基準視聴平面５６上の最も右側の視点７１は、画像内のすべてのピクセルに対して同じビュー（ビュー２）を提供する。

図４Cに示す１５．５度の角度範囲では、視聴ゾーンは画像のサイズに一致し（最も右側の視聴位置７３は画像の幅に相当する）、任意の距離から正しい遠近法で視聴できる。視聴ゾーン（領域５９Bと６１Bを含む）は角度範囲が大きくなるにつれて増加する。図４Dに示されている３０度の角度範囲では、視聴ゾーン（領域５９Cと６１Cを含む）は、視聴ゾーンのほとんどの場所で画像よりも大きい。右端の視聴位置７５は、ディスプレイ５１の右端のピクセルを超えている。

角度ビュー関数
水平ビュー関数と垂直ビュー関数を使用して、所与の視聴位置の角度ビューを計算できる。

ここで、u、vは角度ビュー、x、yは画像内の各ピクセルの空間座標、ObX、ObY、ObZは基準位置（ここでは、すべて０）に対する観察者の位置である。

角度ビュー関数に対する次の制約をさらに指定して、平面４Dライトフィールド画像の各ビューが基準視聴平面上の正しい遠近法を持つ画像に対応するようにすることができる。これらの制約を使用すると、基準平面上のすべての視点のビューを各々構築でき、これらのビューを基準視聴平面外の視点のビューを構築するための基準ビューとして使用できる。

一実施形態では、次のビュー関数が上記の基準を満たしている：

これは、一実施形態では、以下の水平及び垂直ビュー関数のセットに簡略化される：

これらのビュー関数のこの例では、AngularRangeUは画像の角度範囲メタデータによって指定できる水平の角度範囲であり、AngularRangeVは画像の角度範囲メタデータによって指定できる垂直の角度範囲である。また、この例では、Umaxは画像の水平の角度解像度であり、Vmaxは画像の垂直の角度解像度である。UmaxとVmaxは、画像のメタデータでも指定できる。

角度ビューの補間と高密度４Dライトフィールド
多くの視聴位置（特に基準視聴平面外の視点）では、角度ビュー関数は分数値を返すことがある。これは、必要なビューが隣接するビューの間のどこかにあることを意味するため、このような視聴位置の正しいビューは、図２に示すタイルやビューなどの既存のビューから補間される必要がある。２つ以上の画像の間を補間することによって画像を作成するプロセスは、従来で知られている。しかし、このような補間を実行するために、本開示では高密度４Dライトフィールド画像と呼ばれる、高い角度密度を持つライトフィールド画像を持つことが望ましい。高密度４Dライトフィールドは、隣接するビュー間の差が知覚できないか、又は基準視聴平面で目ではほとんど知覚できないほど十分に高い角度密度を持つと定義される。これは、画像の単一ピクセルサイズと同じサイズの視点の横方向シフト（ObXmin=ar/X）によって角度ビューが１．０近く増加するときに発生する。これは、次の場合に、基準視聴位置で発生する：

上で定義した角度密度では、右端の視聴位置付近の同じ横シフトObXminでは、正確に１．０の角度ビュー増分が得られない可能性があるため、この最悪の場合の視聴位置の角度密度を計算することが望ましい場合がある：

基準平面よりも大きい視聴距離では、ObXminの同じ横シフトで１．０未満の角度ビュー増分が得られる可能性がある。しかし、これはより大きな視聴角度で観察者の視力が低下するために予想される。

角度ビュー補間の最も単純な形式は最近接であり、補間されたビュー（interpolated view （IV））は以下に従って計算される：

十分に高い角度解像度を持つの高密度４Dライトフィールドでは、この補間は視点の変化を伴う滑らかな視覚体験をもたらす可能性がある。

一実施形態でのより良い（よりスムーズな）アプローチは、各ビューへの直線距離に基づいて最も近い２つ、３つ、又はそれ以上の角度ビューが追加されるバイリニア補間を使用することである。バイリニア補間では、最初に水平ビューを補間し、次に垂直ビューを補間するか、又はその逆を行うことができる。２つのビューを使用したバイリニア補間の例は次のとおりである：

十分に高い角度解像度の高密度４Dライトフィールドでは、この補間は視点の変化を伴うより滑らかな視覚体験をもたらす可能性がある。バイリニア補間に３つ以上のビューを使用すると、常に何らかのレベルの補間又は視点の組み合わせが適用されるため、複数の視点間でより一貫した先鋭さが得られる可能性がある。

インタリーブされた４Dライトフィールドは、ビュー間を補間するときに、幾つかの実施形態で有用である可能性があり、各空間位置x,yで、最も近い角度ビュー（u,v）が隣接するメモリ位置に格納されるため、検索が効率的になる。例えば、３つの隣接するビュー間を補間する場合、メモリ内のデータのレイアウトにより、システムは、３つのビューのために、メモリから連続するアドレス位置のシーケンスを読み取り、補間を実行するために必要なデータを取得できる。

より高度な形式の補間も可能であり、幾つかの実施形態では、密度の高くない（又はまばらな）４Dライトフィールドに役立つ。このような補間の１つは、フレームレートの補間に使用することが従来知られており、動き推定-動き補償技術のファミリである。これらは、隣接するビュー間で特徴を整列させ、隣接するビューをシフト又はモーフィングすることによって補間されたビューを作成しようとする。このような技術は当分野では知られており、IntelTrueViewなどのサービスで使用されている。これらの技術は、補間されたピクセルカラーデータを取得するためにビュー間を補間するために、ここで説明する実施形態で使用することができる。

補間のさらなる改善は、３０フレーム/秒のフレームレート又は他のフレームレートに基づく時間などの何らかの時間tで区切られた複数の４Dライトフィールド画像を含む、４Dライトフィールドビデオを考慮することによっても可能である。

角度ビューを有効な視聴範囲に制約する
有効な視聴範囲外の視聴位置では、角度ビュー関数は、画像に含まれる範囲（例えば、Umax,-Umax）を超える角度ビューを返すことがある。これは、１つ以上の実施形態では、角度ビューを決定する前に、観察者の位置ObX、ObY、及びObZを有効な視聴範囲に制限することによって解決することができる。一実施形態では、観察者の位置に最も近い（有効な視聴範囲内の）ビューがレンダリングされるビューとして選択され、観察者が有効な視聴ゾーンとゾーンの外との境界を越えるときに角度ビューが突然変化するのを防ぐ。

角度ビューは、図５A及び５Bに示すように制約することができる。ここで図５Aを参照すると、実際の視聴者位置９１（ObX,ObY,ObZ）は領域５９D及び６１Dを含む有効な視聴ゾーンの外側にあり、この実際の視聴者位置９１は、制約された視点９３（ObXc,ObYc,ObZc）を選択し、その制約された視点９３を使用して提供されるビューを決定することによって、有効な視聴ゾーン内にあるように制約されている。図５Bの場合、実際の視聴者位置９５は有効な視聴ゾーンの外側にあり、この実際の視聴者位置９５は、制約された視点９７（ObXc,ObYc,ObZc）を選択し、その制約された視点９７を使用して提供されるビューを決定することによって、有効な視聴ゾーン内にあるように制約されている。有効な視聴範囲内では、意図された眺望がレンダリングされ、眺望が視聴者位置によって自然な方法でシフトし、視聴ゾーンの外側では、角度ビューが有効な視聴範囲内にある最も近い使用可能なビューであることが保証される。このアプローチは、一実施形態では、観察者位置９１（ObX、ObY、ObZにある）と基準視聴位置５７の間に形成される線と、有効な視聴領域の境界によって形成される線の交点を見つけることによって機能する。この交点は、制約された視点９３で図５Aに示され、制約された視点９７で図５Bに示されている。この交点は、一実施形態では、２段階で計算される。

第１段階では、観察者と基準視聴位置との間の直線上にある最も近い有効な視聴ゾーンの境界上の点を決定する：

第２段階では、観察者の位置を有効な視聴範囲内に制限し、制約された視聴位置（制約された視点とも呼ばれる）を作成する：

別の実施形態では、有効な視聴範囲の境界へのソフトクランプを実現するために、視聴位置をさらに変更することができる。これは、一実施形態では、有効な視聴ゾーン内の視聴位置を基準位置に向かって滑らかに「圧縮」することによって達成される。観察者が基準視聴位置から離れると、基準視聴位置の境界に近づくにつれて視点の変化は少なくなる。これにより、窓越しに見るよりも自然な体験は少なくなるが、有効な視聴ゾーンの端で突然遷移することを避け、また視聴位置に基づいて異なる眺望を観察できるゾーンのサイズを大きくすることができる。

ソフトクランプを適用するための一実施形態における操作は以下のとおりである：
１）有効視聴ゾーンの他のどの境界よりも観察者に近い有効視聴ゾーンの境界を決定し、観察者と基準視聴位置の間の線上にある有効視聴ゾーンのその境界上の点を決定する（前と同じだが、第２クランプ段階が無い）。
２）次に示すように、有効視聴ゾーンに近い領域の角度ビューを基準位置に向かって圧縮する：
ａ．基準視聴位置から観察者までの距離を決定する：

ｂ．基準視聴位置から有効な視聴ゾーンの端までの距離を決定する：

ｃ．観察者の有効な視聴ゾーンの端に対する比を決定する：

ｄ．ソフトマッピングのカットオフc１とc２を定義する。これらは、マッピングが線形（c１未満）、圧縮領域（c１～c２）、及び有効な視聴ゾーンの境界（c２を超える）である、観察者と有効な視聴範囲の間の相対距離である。これらは、設定ファイルで定義することも、代替として特定のコンテンツのメタデータによって送信することもできる。

ｅ．３次スプライン圧縮領域の係数を計算する。これらは、関数の傾きがc１において１、c２において０になるように計算される：

ソフトクランプを適用する：

上記の関数は、図５Cに示すように、ソフト圧縮関数として立体スプラインを使用する。同様の形状を持つ他の関数も代わりに使用できる。図５Cの黒い破線は、上記のクランプ方法（ソフトクランプなし）を表している。曲線１０３はソフトクランプ関数を示している。点１０７と１０８は各々c１とc２の位置を示し、点１０５は有効な視聴範囲外の観察者位置が有効な視聴範囲内の別の視点にどのようにマッピングされるかを示している。図５Dは、ソフトクランプを使用して有効な視聴範囲外の視点１１５を有効な視聴範囲内の視点１１７にクランプする例を示している。視点１１７が有効な視聴範囲の端にあるのではなく、端から短い距離だけずれていることに注意する。
カラーボリュームマッピング
正しい角度ビューが取得されると、カラーボリュームマッピングを実行して、選択した角度ビューについてディスプレイの機能にライトフィールド画像のダイナミックレンジをマップすることもできる。これは、カラーボリュームマッピングプロセスなど、ドルビービジョン（Dolby Vision）で使用される手法を使用して行うことができる。このプロセスは、既存の様々なドルビーの特許（例えば、米国特許第１０,６００,１６６号を参照）で説明されているように、メタデータを使用してマッピングプロセスをガイドすることができる。このメタデータは、同じ全体的なカラーバランスとカラー範囲及びダイナミックレンジを共有するシーン内の画像のセットなど、画像又は画像のセットに基づくことができる。メタデータは、画像を可能な限り正確にレンダリングするために必要な制御レベルに応じて、シーンごと又は画像ごとに異なる場合がある。シーンごとにダイナミックレンジの量が異なり、カラーバランスやカラー範囲も異なる場合があるため、メタデータはこれらの異なるシーンに基づいて変化する場合がある。同様に、同じライトフィールド画像内の異なるビューは、異なる量のダイナミックレンジを持つこともでき、異なるカラーバランスとカラー範囲を持つこともできる。一実施形態では、カラーボリュームマッピング（color volume mapping （CVM））メタデータのセットをライトフィールド画像のために提供することができ、このCVMメタデータは、異なる可能なビューの各々に個別のCVMメタデータを提供するのではなく、選択されたビューに基づいて調整することができる。

４Dライトフィールド画像からレンダリングされたビューにカラーボリュームマッピングを適用する場合、実施形態では、前述のDolby Visionプロセスと同様のプロセスを使用できる。一実施形態では、視聴位置に基づいてマッピングを調整できる追加のメタデータフィールドを４Dライトフィールドに含めることができる。例えば、基準視聴位置からは、ディスプレイに表示される画像が暗い場合がある。しかし、観察者が最も右側の視聴位置に移動すると、窓や光源などの明るいオブジェクトが現れる場合があり、画像の特性が変化するため、最適なカラーボリュームマッピングが行われる。これは人間の視覚と同様に機能し、窓の方を見ると網膜上の画像が明るくなり、視覚システムによって露出が調整される（順応とも呼ばれる）。

一実施形態では、４Dライトフィールドに含まれるメタデータ（CVMメタデータなど）は、次の手順によって、角度ビュー関数に基づいて調整できる：
１）基準視聴位置に対応するメタデータをロードする。
２）少なくとも１つの追加視聴位置に対応する角度オフセットメタデータをロードする。例では、これには、極端な視聴角度（u=-Umax,０,Umax及びv=-Vmax,０,Vmax）に対応するフレーム内の平均輝度に関連するオフセットメタデータへの９つのオフセットが含まれる。例えば、角度オフセットメタデータには、右端の視聴位置から平均画像輝度が基準視聴位置から０．１だけ明るくなったことを示す値が含まれる場合がある（上述の明るい窓に対応する）。角度オフセットメタデータの解像度は、４Dライトフィールド画像の角度解像度と一致する場合もあれば、それ以下の場合もある。角度オフセットメタデータの角度範囲は、４Dライトフィールド画像の角度範囲と一致する必要があるため、右端のオフセットメタデータは右端の角度視聴位置とペアになる。この例の９つのオフセットは次のようになる：

３）角度ビューに基づいて角度オフセットメタデータを補間する。これは、前に説明したのと同じufunとvfunの計算を使用して、変更された角度オフセットメタデータを決定する。角度オフセットメタデータは、フレーム全体に適用されるオフセットメタデータの単一の値を計算するために平均化できる。又は、角度オフセットメタデータを画像の様々な空間領域に対して計算し、画像全体で空間的にカラーボリュームマッピングを変更するために使用できる。
４）その後、補間された角度オフセットメタデータが基準視聴位置に対応するメタデータに追加され、最終的なメタデータ値が決定される。
５）カラーボリュームマッピングは、最終的なメタデータ値を使用して適用される。
この例では、１つのメタデータフィールド（フレーム内の平均輝度に関連するオフセットメタデータ）のみを調整するプロセスについて説明しました。ただし、他のメタデータフィールドにも適用できる。

方法の例と実装に関する検討
ここで説明する１つ以上の実施形態を使用する方法の２つの例を、図６A及び６Bを参照しながら提供する。図６Aに示す方法は、操作２０１で開始できる。操作２０１では、データ処理システムは、画像の複数の可能なビューを持つ、４Ｄライトフィールド画像などのライトフィールド画像を受信できる。一実施形態では、データ処理システムは、アニメーションコンテンツや映画などの一連のライトフィールド画像を受信できる。データ処理システムは、操作２０３で、画像内のビューに関連する任意的なメタデータを受信することもできる。この任意的なメタデータには、カラーボリュームマッピングメタデータ、角度範囲メタデータ、角度オフセットメタデータを含めることができる。前述のように、角度オフセットメタデータは、選択された特定のビューに依存するカラーボリュームマッピングを実行するために使用されるカラーボリュームマッピングメタデータを調整するために使用できる。操作２０５では、データ処理システムは所望の視点の選択を受け取ることができる。例えば、ユーザは、データ処理システムによって提供されるユーザインタフェースを使用して、特定の視点を選択することができる。代替として、データ処理システムは、ライトフィールド画像を囲む環境におけるユーザの位置の推定に基づいて、所望の視点を決定することができる。次に、操作２０７において、データ処理システムは、以下：所望の視点、並びにピクセル位置及び所望の視点とディスプレイ間の距離、の関数としてビューを決定するビュー関数を使用して、各ピクセル位置で１つ以上のビューを決定することができる次に、操作２０９において、データ処理システムは、操作２０７で決定されたビューに基づいて、画像をレンダリングすることができる。複数のライトフィールド画像が受信されている場合、各々が所望の視点を持つことができ、その視点はビュー関数に基づいてビューを決定するために使用される。操作２１１では、データ処理システムはレンダリングされた画像を表示することができる。

図６Bに示す方法では、データ処理システムは、操作２５１で、１つ以上のライトフィールド画像、及び関連するメタデータを受信することができる。データ処理システムは、ユーザの選択又はデータ処理システムによって例えばユーザの推定位置に基づいて実行される選択であってよい、所望の視点の選択も受信することができる。次に、操作２５３において、データ処理システムは、特定のライトフィールド画像の有効な視聴範囲に基づいて、所望の視点が有効な視点であるかどうかを決定する。例えば、データ処理システムは、その視点が有効な視聴範囲外であると決定することができ、その場合、データ処理システムは、ここに記載されている１つ以上の実施形態を使用して、所望の視点を有効な視点にクランプする操作２５５を実行する。操作２５３がその視点が有効であると決定した場合、又は操作２５５が有効な視点を作成した場合、処理は操作２５７に進むことができる。操作２５７では、データ処理システムは、画像内の各ピクセル位置に対してレンダリングされるビューを決定するために、所望の視点（制約された視点である可能性がある）の現在の入力に対して、ここで説明する角度ビュー関数を使用できる。特定の場合、ビュー関数によって決定されたビューは、所望の視点の隣接ビューや近接ビューなどの既存のビューから補間できる。例えば、一実施形態では、バイリニア補間を使用して最近接ビュー間を補間し、適切なビューを導き出すことができるため、各ピクセル位置のピクセルカラー値を導き出すことができる。次に、操作２６１で、データ処理システムは、カラーボリュームマッピングメタデータと、カラーボリュームマッピングメタデータを調整するための角度オフセットメタデータを使用して、カラーボリュームマッピングを調整できる。例えば、補間を使用して角度オフセットメタデータを補間し、所望の視点又は決定されたビューに基づいて、カラーボリュームマッピングメタデータに対する適切な修正又は調整を導き出すことができる。次に、操作２６３で、データ処理システムは、決定されたビューと最終的なメタデータに基づいて画像をレンダリングし、レンダリングされた画像を表示できる。

ここで説明する角度ビュー関数は、３次元（３Ｄ）ルックアップテーブルを使用するか、ここで説明する関数形式を使用して実装できる。一実施形態では、atan関数は、当技術分野で知られているように、近い近似で置き換えることができる。ソフト圧縮関数は、１次元ルックアップテーブルとして、又はここで説明する関数形式を使用して実装できる。大きな角度解像度を持つコンテンツの場合、データ量が非常に大きくなることがある。ライトフィールド画像全体をDRAMメモリに格納することは、一部のアプリケーションでは不可能な場合がある。この場合、画像全体をDRAMメモリに格納するのではなく、ライトフィールド画像をインタリーブ形式で格納し、各角度ビューを補間し、一度に（DRAMメモリに格納された）数ピクセルを使用してカラーボリュームマッピングを実行することが望ましい場合がある。また、特にネットワーク又はネットワークのセット（インターネットなど）を介して配信する場合は、ライトフィールド画像を圧縮することが望ましい場合もある。この圧縮は、隣接する視点間の高度な相関関係を利用することができ、JPEG、JPEG２０００、HEVC、AVC、VVCなどを使用するか、又は代替としてMPEG-Iを使用して行うことができる。

図７は、データ処理システム８００の一例を示しており、ここで説明する１つ以上の実施形態で使用することができる。例えば、システム８００は、図６A及び６Bに示す方法など、ここで説明する方法又は計算のいずれかを実行するために使用することができる。データ処理システムは、クライアントシステムが消費するために、関連するメタデータを持つライトフィールド画像を作成することもできる。図７は、装置の様々なコンポーネントを示しているが、そのような詳細が開示と密接に関連していないため、コンポーネントを相互接続する特定のアーキテクチャや方法を表すことを意図していないことに注意する。また、ネットワークコンピュータやその他のデータ処理システム、又はその他の民生用電子機器など、より少ないコンポーネント又は場合によってはより多くのコンポーネントを持つものも、開示の実施形態とともに使用される可能性があることも理解される。

図７に示すように、データ処理システムの一形態である装置８００は、マイクロプロセッサ８０５及びROM（Read Only Memory）８０７と揮発性RAM８０９及び不揮発性メモリ８１１に結合されたバス８０３を含む。マイクロプロセッサ８０５は、メモリ８０７、８０９、８１１から命令を取得し、上記の操作を実行するために該命令を実行することができる。マイクロプロセッサ８０５は、１つ以上の処理コアを含んでもよい。バス８０３は、これらの様々なコンポーネントを相互接続し、また、これらのコンポーネント８０５、８０７、８０９、及び８１１をディスプレイ制御部及びディスプレイ装置８１３と、タッチスクリーン、マウス、キーボード、モデム、ネットワークインタフェース、プリンタ、及び当技術でよく知られているその他の装置である入力/出力（I/O）装置８１５などの周辺装置と相互接続する。通常、入力/出力装置８１５は、入力/出力コントローラ８１０を介してシステムに結合される。揮発性RAM（Random Access Memory）８０９は、通常、メモリ内のデータをリフレッシュ又は維持するために継続的に電力を必要とするダイナミックRAM（DRAM）として実装される。

不揮発性メモリ８１１は、通常、磁気ハードドライブ、磁気光学ドライブ、光学ドライブ、DVD RAM、フラッシュメモリ、又はその他のタイプのメモリシステムであり、システムから電力が除去された後でもデータ（例えば大量のデータ）を維持する。通常、不揮発性メモリ８１１もランダムアクセスメモリであるが、これは必須ではない。図７は、不揮発性メモリ８１１がデータ処理システム内の残りのコンポーネントに直接結合されたローカル装置であることを示しているが、開示の実施形態は、モデム、イーサネットインタフェース又は無線ネットワークなどのネットワークインタフェースを介してデータ処理システムに結合されたネットワーク記憶装置など、システムから離れた不揮発性メモリを利用することができることが理解される。バス８０３は、当該技術分野でよく知られているように、様々なブリッジ、制御部及び/又はアダプタを介して相互に接続された１つ以上のバスを含むことができる。

上記で説明したものの一部は、専用の論理回路などの論理回路、又はプログラムコード命令を実行するマイクロコントローラやその他の形式の処理コアで実装することができる。したがって、上記の議論で教示された処理は、これらの命令を実行する機械に特定の機能を実行させる機械実行可能命令などのプログラムコードで実行することができる。この文脈では、「機械は、中間形式（又は「抽象」）命令をプロセッサ固有命令（例えば、「仮想マシン」（例えば、Java Virtual Machine）のような抽象実行環境、インタプリタ、共通言語ランタイム、高級言語仮想マシンなどである）に変換するマシン、及び/又は汎用プロセッサ及び/又は特殊用途プロセッサなどの命令を実行するように設計された半導体チップに配置された電子回路（例えば、トランジスタで実装された「論理回路」）である場合がある。上記の議論で教示されたプロセスは、プログラムコードを実行せずにプロセス（又はその一部）を実行するように設計された電子回路によって（マシンの代替又はマシンとの組み合わせで）実行される場合もある。

本開示は、ここに記載された操作を実行するための機器にも関連する。この機器は、必要な目的のために特別に構成されることもあれば、装置に格納されたコンピュータプログラムによって選択的に起動又は再構成される汎用装置を含むこともある。このようなコンピュータプログラムは、各々が装置バスに結合される、フロッピーディスク、光ディスク、CD-ROM及び磁気光学ディスクを含む任意の種類のディスク、DRAM（揮発性）、フラッシュメモリ、読み出し専用メモリ（ROM）、RAM、EPROM、EEPROM、磁気カード又は光学カード、又は電子命令を格納するのに適した任意の種類の媒体などの、非一時的コンピュータ可読記憶媒体に格納することができる。

機械可読媒体は、機械（例えばコンピュータ）が読み取り可能な形式で情報を格納するための任意のメカニズムを含む。例えば、非一時的機械可読媒体は、読み出し専用メモリ（「ROM」）、ランダムアクセスメモリ（「RAM」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置などを含む。

プログラムコードを格納するために製造品が使用されることがある。プログラムコードを格納する製造品は、１つ以上の非一時的メモリ（例えば、１つ以上のフラッシュメモリ、ランダムアクセスメモリ（静的、動的、又はその他））、光ディスク、CD-ROM、DVD ROM、EPROM、EEPROM、磁気カード又は光学カード、又は電子命令を格納するのに適したその他の種類の機械可読媒体として具体化されることがあるが、これらに限定されない。また、プログラムコードは、伝播媒体（例えば、通信リンク（例えば、ネットワーク接続）経由で）に具現化されたデータ信号を介して、リモートコンピュータ（例えば、サーバ）から要求側のコンピュータ（例えば、クライアント）にダウンロードされ、クライアントコンピュータの非一時的メモリ（例えば、DRAM又はフラッシュメモリ又はその両方）に格納されることもある。

上記の詳細な説明は、装置メモリ内のデータビットに対する操作のアルゴリズムと記号表現の観点から示されている。これらのアルゴリズムの記述と表現は、データ処理技術における当業者が、他の当業者に自分の仕事の内容を最も効果的に伝えるために使用するツールである。アルゴリズムはここにあり、一般的には、望ましい結果につながる自己一貫性のある一連の操作と考えられている。操作は物理量の物理的操作を必要とするものである。必ずしもそうではないが、通常、これらの量は、保存、転送、結合、比較、その他の操作が可能な電気信号又は磁気信号の形式をとる。これらの信号をビット、値、要素、記号、文字、用語、数字などとして参照することは、主に一般的な使用法の理由から、時に便利であることが証明されている。

ただし、これらの用語及び類似の用語はすべて適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことに留意する必要がある。上記の議論から明らかなように特に明記されていない限り、説明全体を通して、「受信」、「決定」、「送信」、「終了」、「待機」、「変更」などの用語を利用した議論は、装置のレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、装置のメモリ又はレジスタ、又はその他のそのような情報の記憶、送信、又は表示装置内の物理量として同様に表される他のデータに変換する、装置又は同様の電子計算装置の動作とプロセスを参照していることが理解される。

ここに示されているプロセス及び表示は、本質的に特定の装置又は他の装置に関連していない。ここに示されている教示に従って、様々な汎用システムがプログラムとともに使用される場合もあれば、記載されている操作を実行するためのより専門的な装置を構築することが便利であることが証明される場合もある。これらの様々なシステムに必要な構造は、以下の説明から明らかである。さらに、開示は特定のプログラミング言語を参照して説明されていない。ここに記載されているように、開示の教示を実装するために、様々なプログラミング言語が使用される可能性があることが理解される。

例示的な実施形態
以下のテキストは、請求項のような形式で番号付きの実施形態を示す。そして、これらの実施形態は、１つ以上の継続又は分割出願のような、１つ以上の将来の出願における請求の範囲として提示されることが理解される。
個別の実施形態については、以下で詳細に説明するが、これらの実施形態は、部分的又は全体的に結合又は修正されることがあることが認識される。

例示的な実施形態１
データを処理する方法であって、
画像内の複数のピクセルの各ピクセルについて、前記画像の異なるビューに対する画像データを含む、ライトフィールドフォーマットで表現された画像データを受信するステップと、
前記画像の角度範囲メタデータを受信するステップと、
前記画像に関連する所望の視点の選択を受信するステップと、
１つ以上のビューを決定するビュー関数を使用して、前記複数のピクセルの各ピクセルで１つ以上のビューを決定するステップであって、前記ビュー関数は、前記画像内の前記複数のピクセルの各ピクセルの空間座標、前記所望の視点、前記受信した角度範囲メタデータ、及び（１）前記所望の視点とディスプレイとの間の距離又は（２）所望のズーム／倍率の量、を含む入力に基づくか又はそれを有する、ステップと、
を含む方法。

例示的な実施形態２
前記画像はボリュームコンテンツとして事前にレンダリングされた４Dライトフィールド画像であり、前記所望の視点の選択は前記所望の視点で前記画像を見るためにユーザから受信され、前記ビュー関数が、水平角度ビュー関数と垂直角度ビュー関数を含む角度ビュー関数であり、前記水平角度ビュー関数は、前記所望の視点と前記ディスプレイとの距離、ピクセルの水平空間座標、及び前記所望の視点の水平成分を含む入力を有し、前記垂直角度ビュー関数は、前記所望の視点と前記ディスプレイとの距離、ピクセルの垂直空間座標、及び前記所望の視点の垂直成分を含む入力を有する、例示的な実施形態１に記載の方法。

例示的な実施形態３
前記ビュー関数が前記ディスプレイから基準距離にある基準平面に対して定義され、前記ビュー関数が、前記基準平面内の任意の１つの視点に対する前記画像内のすべてのピクセルに対して同じビューを決定できるようにする、例示的な実施形態１に記載の方法。

例示的な実施形態４
前記基準平面外の視点について、前記ビュー関数が前記画像内の異なるピクセルに対して異なるビューを決定し、前記所望の視点は、推定された視聴者位置又はユーザが選択した位置に基づいて選択される、例示的な実施形態３に記載の方法。

例示的な実施形態５
前記方法は、
前記決定された１つ以上のビューに基づいて、前記画像をレンダリングするステップと、
前記決定されたビューで前記レンダリングされた画像を表示するステップと、
を更に含む例示的な実施形態１に記載の方法。

例示的な実施形態６
前記画像が、a）タイルとしての復号された平面形式であって、各タイルが可能なビューのうちの１つである、形式、又はb）インタリーブ形式、のいずれかに格納されたボリュームコンテンツとして以前にレンダリングされた４Dライトフィールド画像である、例示的な実施形態１に記載の方法。

例示的な実施形態７
前記方法は、
カラーボリュームマッピングメタデータを受信するステップと、
前記決定された１つ以上のビューと前記カラーボリュームマッピングメタデータに基づいて、カラーボリュームマッピングを適用するステップと、
を更に含む例示的な実施形態１～６のいずれか一項に記載の方法。

例示的な実施形態８
前記カラーボリュームマッピングメタデータが、前記所望の視点と、前記所望の視点に基づいて又はその関数として前記カラーボリュームマッピングメタデータに対する１つ以上の調整を指定する角度オフセットメタデータとに基づいて調整される、例示的な実施形態７に記載の方法。

例示的な実施形態９
前記方法は、
前記所望の視点に基づいて前記角度オフセットメタデータを補間するステップ、
を更に含む例示的な実施形態８に記載の方法。

例示的な実施形態１０
前記カラーボリュームマッピングメタデータが、シーン単位で又は画像単位で複数の異なる画像にわたって変化する、例示的な実施形態８に記載の方法。

例示的な実施形態１１
前記方法は、
前記画像データ内の最も近い利用可能なビューのセットから、前記決定された１つ以上のビューを前記所望の視点で補間するステップ、
を更に含む例示的な実施形態１に記載の方法。

例示的な実施形態１２
前記補間は、十分に高い角度密度を持つ高密度のライトフィールド画像からのバイリニア補間を使用し、隣接するビュー間の差異は、基準視聴平面での視聴者には知覚できないか、又はほとんど知覚できない、例示的な実施形態１１に記載の方法。

例示的な実施形態１３
前記方法は、所望の視点となり得る視点を有効な視聴ゾーンに制限するステップを更に含み、画像の有効な視聴ゾーンは、前記画像が正確に視聴されることができる角度の範囲を指定する（前記画像の）角度範囲メタデータによって定義される、例示的な実施形態１に記載の方法。

例示的な実施形態１４
前記制限するステップが、
（a）前記有効な視聴ゾーン内の視点に無効な視点をハードクランプするステップ、又は、
（b）前記有効な視聴ゾーン内の視点に前記無効な視点をソフトクランプするステップ、
のいずれか１つを含み、
ハードクランプは、前記有効な視聴ゾーンの境界上の点を常に選択し、ソフトクランプは、前記有効な視聴ゾーンの前記境界上ではなく前記境界の近くの点の集合を選択する、例示的な実施形態１３に記載の方法。

例示的な実施形態１５
前記方法は、前記画像の統計的（例えば、平均又はメジアン）輝度値を指定する輝度メタデータに関連するオフセットメタデータを含むメタデータを受信するステップであって、前記オフセットメタデータは、前記輝度メタデータの調整を前記視点の関数として指定する、ステップ、
を更に含む例示的な実施形態１４に記載の方法。

例示的な実施形態１６データ処理システムであって、例示的な実施形態１～１５のいずれか一項に記載の方法を実行するようプログラムされる又は構成されるデータ処理システム。

例示的な実施形態１７
データ処理システムにより実行されると前記データ処理システムに例示的な実施形態１～１５のいずれか一項に記載の方法を実行させる実行可能プログラム命令を格納している非一時的機械可読媒体。

例示的な実施形態１８
前記方法は、
カラーボリュームマッピングメタデータを受信するステップと、
前記決定された１つ以上のビューと前記カラーボリュームマッピングメタデータに基づいて、カラーボリュームマッピングを適用するステップと、
を更に含む例示的な実施形態１～６、８～１４のいずれか一項に記載の方法。

例示的な実施形態１９
前記方法は、
前記画像の統計的輝度値を指定する輝度メタデータに関連するオフセットメタデータを含むメタデータを受信するステップであって、前記オフセットメタデータは、前記視点に基づき前記輝度メタデータを調整するために使用される、ステップ、
を更に含む例示的な実施形態１～１４のいずれか一項に記載の方法。

上記の明細書では、具体的な例示的な実施形態について説明した。種々の変形及び変更が、以下の特許請求の範囲に記載された広範な精神及び範囲から逸脱することなく行われ得ることが明らかである。従って、明細書及び図面は、限定的意味ではなく説明的意味で考えられるべきである。

Claims (18)

1. データを処理する方法であって、
   画像内の複数のピクセルの各ピクセルについて、前記画像の異なるビューに対する画像データを含む、ライトフィールドフォーマットで表現された画像データを受信するステップと、
   前記画像の角度範囲メタデータを受信するステップであって、前記角度範囲メタデータは、前記画像を正確に見ることができる角度の範囲を指定する、ステップと、
   前記画像に関連する所望の視点の選択を受信するステップと、
   １つ以上のビューを決定するビュー関数を使用して、前記複数のピクセルの各ピクセルで１つ以上のビューを決定するステップであって、前記ビュー関数は、前記画像内の前記複数のピクセルの各ピクセルの空間座標、前記角度範囲メタデータ、前記所望の視点、前記所望の視点とディスプレイとの間の距離を含む入力を有する、ステップと、
   を含む方法。
2. 前記ビュー関数が、水平角度ビュー関数と垂直角度ビュー関数を含む角度ビュー関数であり、前記水平角度ビュー関数は、前記所望の視点と前記ディスプレイとの距離、ピクセルの水平空間座標、及び前記所望の視点の水平成分を含む入力を有し、前記垂直角度ビュー関数は、前記所望の視点と前記ディスプレイとの距離、ピクセルの垂直空間座標、及び前記所望の視点の垂直成分を含む入力を有する、請求項１に記載の方法。
3. 前記ビュー関数が前記ディスプレイから基準距離にある基準平面に対して定義され、前記ビュー関数は、前記基準平面内の任意の１つの視点に対する前記画像内のすべてのピクセルに対して同じビューを決定する、請求項１に記載の方法。
4. 前記基準平面外の視点について、前記ビュー関数が前記画像内の異なるピクセルに対して異なるビューを決定し、前記所望の視点は、推定された視聴者位置又は前記所望の視点のユーザ選択に基づいて選択される、請求項３に記載の方法。
5. 前記方法は、
   前記決定された１つ以上のビューに基づいて、前記画像をレンダリングするステップと、
   前記決定されたビューで前記レンダリングされた画像を表示するステップと、
   を更に含む請求項１～４のいずれか一項に記載の方法。
6. 前記画像が、a）タイルとしての復号された平面形式であって、各タイルが可能なビューのうちの１つである、形式、又はb）インタリーブ形式、のいずれかで格納されたボリュームコンテンツとして以前にレンダリングされた４Dライトフィールド画像である、請求項１～５のいずれか一項に記載の方法。
7. 前記方法は、
   カラーボリュームマッピングメタデータを受信するステップと、
   前記決定された１つ以上のビューと前記カラーボリュームマッピングメタデータに基づいて、カラーボリュームマッピングを適用するステップと、
   を更に含む請求項１～６のいずれか一項に記載の方法。
8. 前記カラーボリュームマッピングメタデータが、前記所望の視点と、前記所望の視点に基づいて又はその関数として前記カラーボリュームマッピングメタデータに対する１つ以上の調整を指定する角度オフセットメタデータとに基づいて調整される、請求項７に記載の方法。
9. 前記方法は、
   前記所望の視点に基づいて前記角度オフセットメタデータを補間するステップ、
   を更に含む請求項８に記載の方法。
10. 前記カラーボリュームマッピングメタデータが、シーン単位で又は画像単位で複数の異なる画像にわたって変化する、請求項７～９のいずれか一項に記載の方法。
11. 前記方法は、
    前記画像データ内の最も近い利用可能なビューのセットから、前記決定された１つ以上のビューを前記所望の視点で補間するステップ、
    を更に含む請求項１～１０のいずれか一項に記載の方法。
12. 前記補間するステップは、十分な角度密度を持つ高密度ライトフィールド画像からのバイリニア補間を使用する、請求項１１に記載の方法。
13. 前記方法は、
    有効な視聴ゾーンに視点を制限するステップであって、画像の有効な視聴ゾーンは、前記角度範囲メタデータによって定義される、ステップ、
    を更に含む請求項１～１２のいずれか一項に記載の方法。
14. 前記制限するステップが、
    （a）前記有効な視聴ゾーン内の視点に無効な視点をハードクランプするステップ、又は、
    （b）前記有効な視聴ゾーン内の視点に前記無効な視点をソフトクランプするステップ、
    のいずれか１つを含み、
    ハードクランプは、前記有効な視聴ゾーンの境界上の点を常に選択し、ソフトクランプは、前記有効な視聴ゾーンの前記境界上ではなく前記境界の近くの点の集合を選択する、請求項１３に記載の方法。
15. 前記画像の統計的輝度値を指定する輝度メタデータに関連するオフセットメタデータを含むメタデータを受信するステップであって、前記オフセットメタデータは、前記輝度メタデータの調整を前記視点の関数として指定する、ステップ、
    を更に含む請求項１～１４のいずれか一項に記載の方法。
16. 前記画像は、以前にボリュームコンテンツとしてレンダリングされた４Dライトフィールド画像であり、前記所望の視点の選択は、前記所望の視点で前記画像を見るために、ユーザから受信される、請求項１～１５のいずれか一項に記載の方法。
17. データ処理システムであって、請求項１～１６のいずれか一項に記載の方法を実行するようプログラムされる又は構成されるデータ処理システム。
18. データ処理システムにより実行されると前記データ処理システムに請求項１～１５のいずれか一項に記載の方法を実行させる実行可能プログラム命令を格納している非一時的機械可読媒体。

Images