JP6886253B2 - 複数のユーザのためのレンダリング方法及び装置 - Google Patents

Description

本発明は、レンダリング方法及び装置に関し、より具体的には、複数のユーザのためのレンダリング方法及び装置に関する。

現在商用化されている多くの３Ｄ表示装置は、ユーザの両眼に互いに異なる画像を再生することによって奥行き知覚を与える原理を用いる。このような方式は、ユーザに両眼差の情報を与えるだけで、焦点調節、運動視差などの単眼深さ認識（ｍｏｎｏｃｕｌａｒ ｄｅｐｔｈ ｒｅｃｏｇｎｉｔｉｏｎ）の要因を伝達することができない。そのため、３次元画像が不自然であり、眼に疲労をもたらし得る。

疲労を感じさせない自然な３次元画像を表示する技術として光線の空間角度（ｓｐａｔｉｏ−ａｎｇｕｌａｒ）分布、すなわち、ライトフィールドを再生する３Ｄ表示技術がある。ここで、ライトフィールドは、物体から来る光線の位置別又は方向別分布をいう。このようなライトフィールドを任意の面から光学的に再生すると、その後ろに位置するユーザは、実物体がある時のような光線分布を経験するため、自然な物体の３次元画像を見ることができる。

本発明の一態様によれば、３Ｄ画像を視聴する第１のユーザの視聴環境を保障する一方で、第２のユーザに発生するクロストークを最小化して第２のユーザにも最大限に円滑に３Ｄ画像を提供する。

本発明の一実施形態に係る複数のユーザのためのレンダリング方法は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングするステップと、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するステップとを含む。ここで、前記ピクセルは、サブピクセルであってもよい。

前記視点領域は、パネルに属した前記ピクセルと光学層に属した光学素子のペアに対応するビューコーン（ｖｉｅｗ ｃｏｎｅ）を含んでもよい。

前記マッピングするステップは、前記ピクセルと光学層に属する複数の光学素子との間の相対的な位置による繰り返し特性に基づいて、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置を前記視点領域にマッピングするステップを含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記第１のユーザに対応する場合、前記第１のユーザの両眼の位置に立体画像が再生されるように前記ピクセルの値を決定するステップと、前記光線方向が前記第２のユーザに対応する場合、前記第２のユーザの両眼のうち少なくとも片方の眼の位置に前記立体画像の左側の画像又は右側の画像が再生されるように前記ピクセルの値を決定するステップとを含んでもよい。

前記光線方向は、前記ピクセル及び光学層に含まれた光学素子によって伝播（ｐｒｏｐａｇａｔｉｏｎ）される光線方向を含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定するステップを含んでもよい。

前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記視点領域を複数のサブ視点領域に分割するステップと、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、前記ピクセルの値を決定するステップとを含んでもよい。

前記決定するステップは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定するステップと、前記第１のサブ視点領域のコンテンツに基づいて、前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定するステップとをさらに含んでもよい。

本発明の一実施形態に係る複数のユーザのためのレンダリング方法は、前記第１のユーザの両眼の位置に立体画像が再生されるように第１のピクセルの値を決定するステップと、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置の間の相関関係に基づいて、前記第２のユーザの両眼の位置に前記立体画像に関連する画像が再生されるように前記第１のピクセル以外の第２のピクセルの値を決定するステップとを含む。

前記立体画像に関連する画像は、前記立体画像と、前記立体画像の左側の画像と、前記立体画像の右側の画像と、前記立体画像より左側の視点の立体画像と、前記立体画像より右側の視点の立体画像とのうち少なくとも１つを含んでもよい。

前記第２のピクセルの値を決定するステップは、前記第２のユーザの両眼の位置のうち少なくとも１つに前記立体画像の左側の画像又は右側の画像が再生されるように、前記第２のピクセルの値を決定するステップを含んでもよい。

前記相関関係は、前記第１のユーザの両眼の位置と前記第２のユーザの両眼の位置が予め定められた視点領域にマッピングされる場合、前記マッピングされた位置が配置される順序及び前記マッピングされた位置の間の距離のうち少なくとも１つを含んでもよい。

本発明の一実施形態に係る複数のユーザのためのレンダリング装置は、第１のユーザ及び第２のユーザを撮影するセンサと、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングし、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するプロセッサとを含む。ここで、前記ピクセルはサブピクセルであってもよい。

前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定してもよい。

前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて前記視点領域を複数のサブ視点領域に分割して、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて前記ピクセルの値を決定してもよい。

前記プロセッサは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定し、前記第１のサブ視点領域のコンテンツに基づいて前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定してもよい。

３Ｄ画像を視聴する第１のユーザの視聴環境を保障する一方で、第２のユーザに発生するクロストークを最小化して第２のユーザにも最大限に円滑に３Ｄ画像を提供することができる。

本発明の一実施形態に係るライトフィールドレンダリング装置の動作を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置の視覚領域が複数のビューアを含む場合を示す図である。 本発明の一実施形態に係るライトフィールドレンダリング方法を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。 本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの眼の位置を検出する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの視線をマッピングする過程を説明するための図である。 本発明の一実施形態に係るビューコーンの大きさを決定する方法を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るのライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。 本発明の一実施形態に係るライトフィールドレンダリング装置がサブピクセルの値を決定する過程を説明するための図である。 本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。 本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。 本発明の一実施形態に係るライトフィールドレンダリング装置が２つの光学層を含む場合を示す図である。 本発明の一実施形態に係るライトフィールドレンダリング装置のブロック図である。

以下、添付の図面を参照しながら、実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。下記において説明する本発明の実施形態は、ライトフィールド表示方式（ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ ｍｅｔｈｏｄ）のためのレンダリングに用いられる。ライトフィールド表示方式は、３次元画像を表現する裸眼方式であって、例えば、３Ｄテレビ、３Ｄモニタ、３Ｄデジタル情報ディスプレイ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ：ＤＩＤ）、及び３Ｄモバイル機器などに適用される。

図１は、本発明の一実施形態に係るライトフィールドレンダリング装置の動作を説明するための図である。図１を参照すると、ライトフィールドレンダリング装置１００の構成が示されている。

ライトフィールドレンダリング装置１００は、一定の空間に存在する点から様々な方向に出力される光をそのまま表現する。ライトフィールドレンダリング装置１００は、実物体が一点から様々な方向に光を生成したり、又は反射する原理を用いる。「レンダリング」は、３次元空間上にライトフィールドを生成するために、パネル１０１に表示される画像を生成する動作であってもよい。例えば、「レンダリング」は、３次元空間上にライトフィールドを生成するために、パネル１０１に含まれたピクセル又はサブピクセルの値を決定する動作であってもよい。

ライトフィールドレンダリング装置１００は、ピクセルを含むパネル１０１及びピクセルから出力される光が通過する光学層１０３を含む。パネル１０１のピクセルを構成するサブピクセルの構造は多様に変形されてもよい。例えば、パネル１０１は、サブピクセルがストライプパターンで配列されたＲＧＢパネル、又は、サブピクセルがダイヤモンドパターンで配列されたペンタイルパネルなどであってもよい。

ライトフィールドレンダリング装置１００は、例えば、ペンタイルパネルに基づいて互いに異なる方向の光線を実現することができる。一般的なＲＧＢパネルは、１つのピクセルに互いに大きさが同一のＲ（ｒｅｄ）サブピクセル、Ｇ（ｇｒｅｅｎ）サブピクセル、及びＢ（ｂｌｕｅ）サブピクセルが含まれているサブピクセル構造を有する。一方、ペンタイルパネルに含まれたＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルの大きさは互いに異なってもよい。１つのピクセル内において、ＧサブピクセルとＲサブピクセルは対角方向に配置されてもよい。また、１つのピクセル内において、ＧサブピクセルとＢサブピクセルは対角方向に配置されてもよい。１つのピクセル内のサブピクセルの配置は多様に変形されてもよい。また、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルのそれぞれの大きさ及び形態は多様に変形されてもよい。

光学層１０３は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ Ｌｅｎｓ）、パララックスバリア（Ｐａｒａｌｌｅｘ Ｂａｒｒｉｅｒ）、レンズアレイ、及びマイクロレンズアレイなどの光学フィルタを含んでもよい。また、光学層１０３は、方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ ｂａｃｋ ｌｉｇｈｔ ｕｎｉｔ）を含んでもよい。本発明の実施形態における光学層１０３は、前述した光学フィルタに限定されることなく、ディスプレイの前面又は後面に配置できる全ての形態の光学層を含んでもよい。

パネル１０１に含まれたサブピクセルから出力される光線方向は、光学層１０３を介して決定される。サブピクセルのそれぞれから出力される光は、光学層１０３を通過しながら特定方向に放射される。このような過程を介して、ライトフィールドレンダリング装置１００は、立体画像又は全ての視点画像を表現することができる。ライトフィールドレンダリング装置１００の光学的特性は、パネル１０１に含まれたサブピクセルの光線方向に関連する特性を含んでもよい。

光学層１０３は、複数の光学素子１０４，１０５を含む。それぞれの光学素子は３Ｄ画素と呼んでもよい。１つの３Ｄ画素は、様々な方向に他の情報を含む光線を出力することができる。例えば、光学層１０３に含まれた１つの３Ｄ画素から１５×４方向の光線１１０が出力されてもよい。ライトフィールドレンダリング装置１００は、複数の３Ｄ画素を用いて３次元空間上の点を表現することができる。

ここで、パネル１０１のサブピクセル構造によってパネル１０１内のサブピクセルの位置及び／又は大きさが変わるため、パネル１０１のサブピクセル構造によってパネル１０１内の各サブピクセルから出力される光線方向が変わり得る。

ライトフィールドレンダリング装置１００の他の詳細事項は図２０を参照して説明する。

図２は、本発明の一実施形態に係るライトフィールドレンダリング装置の視覚領域（ｖｉｅｗｉｎｇ ａｒｅａ）が複数のビューアを含む場合を示す図である。ビューアは視聴者又はユーザ等と言及されてもよい。以下、説明の便宜のためにサブピクセル単位でレンダリングが行われる本発明の実施形態を説明する。しかし、本発明の実施形態に係るライトフィールドレンドレンダリング装置は、ピクセル単位でレンダリングが行われるように変形されてもよい。この場合、同一のピクセルに含まれたサブピクセルは、実質的に同一の光の進行方向を有するなどの相互関係があり得る。

図２を参照すると、パネル１０１のサブピクセルのそれぞれの光線方向が光学層１０３内のいずれか１つの光学素子の中心を通過する方向に向かって、サブピクセルのそれぞれの光線方向に沿って伝播される光が複数のビューア２１０，２３０の両眼に到達する状況が示されている。

複数のビューア２１０，２３０を考慮する前に、ライトフィールドレンダリング装置の視覚領域内にビューアが１人いる場合、ビューアの両眼に対応する画像は次のように決定してもよい。例えば、サブピクセルの光線方向に沿って伝播される光がビューアの右眼よりユーザの左眼にさらに近くに到達すると判断される場合、当該サブピクセルは、左側の画像に対応すると決定することができる。また、サブピクセルの光線方向に沿って伝播される光がユーザの左眼よりユーザの右眼にさらに近く到達すると判断される場合、当該サブピクセルは、右側の画像に対応すると決定することができる。

ライトフィールドレンダリング装置の視覚領域内に複数のビューア２１０，２３０がいて、複数のビューア２１０，２３０が独立的に視聴位置を決定すると仮定する。

複数のビューア２１０，２３０を含む視覚領域を表現しようとするには、広い視野角とその視野角内における各ビューアの両眼間隔に互いに異なる画像を表現できるように多くのビューの数又は光線の数が必要になる。いずれか１つのサブピクセルで表現するビューの数又は光線の数が多くなれば、結果的にライトフィールドレンダリング装置が表現する１つのビュー画像の解像度が低くなり得る。

また、いずれか１つのサブピクセルで表現するビューの数又は光線の数が多くなれば、複数のビューア２１０，２３０のそれぞれの視野角において多くのビュー又は多くの光線の間の干渉によるクロストークが発生し得る。

図３は、本発明の一実施形態に係るライトフィールドレンダリング方法を説明するための図である。図３を参照すると、本発明の一実施形態に係るライトフィールドレンダリング装置（以下、「レンダリング装置」）の視覚領域内に複数のビューア３１０，３３０があり、複数のビューア３１０，３３０が１つの視点領域でない互いに異なる視点領域３１５，３３５にある状況が示されている。レンダリング装置は、ソフトウェアモジュール、ハードウェアモジュール、又は、これらの様々な組み合わせで実現してもよい。

例えば、レンダリング装置は、図１及び図２０の構成要素の組む合わせを含んでもよい。本発明の他の実施形態におけるレンダリング装置は、例えば、図２０の２０１０のようなプロセッサ（例えば、特殊目的のプロセッサ）によって実現されてもよい。

レンダリング装置は、レンズを用いて互いに異なる方向の光線を実現することができる。ここで、パネル１０１は、画像を表現するサブピクセルで構成される。光学層１０３は、各サブピクセルから放射される光を特定方向に制限する役割をする光学素子の集合である。

本発明の一実施形態に係るレンダリング装置は、ビューアに優先順位を定めて、相対的に優先順位が高い（又は優先順位が最も高い）ビューアに優先的に画像を表現することができる。レンダリング装置は、各サブピクセルから放出される光線と複数ビューアの眼に向かう光線方向との関係を用いてどのビューアのどちらの眼にいかなるコンテンツを見せるようとするのかを決定することによって、複数ビューアに対応したライトフィールドレンダリングを実現することができる。以下、複数のビューアのうち優先順位が最も高いビューアを「第１のユーザ」と呼び、その次の優先順位のビューアを「第２のユーザ」と呼ぶことにする。

ビューアの優先順位は様々な方式で決定されてもよい。例えば、ビューアの優先順位は、ビューアのうちいずれか１人の入力を受信して決定されてもよい。このために、リモコン、スマートフォンなどの外部入力装置による入力、動作、又はジェスチャー認識による入力、音声認識による入力などの様々な方式の入力インターフェースが提供されてもよい。又は、顔認識方式を用いて自動的にビューアの優先順位が決定されてもよい。一例として、ビジョンセンサを介して複数のビューアの顔が認識され、認識されたビューア及び予め登録されたメインユーザのリストに基づいてビューアの優先順位が決定されてもよい。前述した方式は例示的な事項に過ぎず、ビューアの優先順位を決定する方式は多様に変形されてもよい。

複数のユーザがいる場合、レンダリング装置は、第１のユーザ３１０の左眼を基準として視点領域の幅ほどの領域を定義し、定義された領域内に全てのユーザの眼方向を表示することができる。ここで、第２のユーザ３３０の眼が第１の視点領域３１５に隣接する第２の視点領域３３５に存在すれば、レンダリング装置は、第２のユーザ３３０の眼の位置を第１の視点領域３１５に該当する方向に移して表示する。この過程を本明細書では、「視線マッピング過程（ｅｙｅ ｄｉｒｅｃｔｉｏｎ ｍａｐｐｉｎｇ ｐｒｏｃｅｓｓ）」と呼ぶことにする。視線マッピング過程は図６を参照して説明する。

レンダリング装置は、１つの視点領域内にマッピングされた両眼に対する方向範囲の大きさ及び配列順序などを基に両眼に表現する画像（あるいはコンテンツ）を決定する。レンダリング装置は、例えば、両眼方向を基に光線方向の範囲に入射する光線にどのビュー画像（あるいはコンテンツ）を決定するかを決定することができる。この過程を本明細書では「コンテンツ決定過程（ｃｏｎｔｅｎｔ ｄｅｔｅｒｍｉｎｉｎｇ ｐｒｏｃｅｓｓ）」と呼ぶことにする。コンテンツ決定過程は図１１〜図１５を参照して説明する。

コンテンツ決定過程において、隣接する光線方向の範囲の中心方向が一定の大きさに近い場合、レンダリング装置は、互いに隣接する光線方向の範囲が互いに同じ画像（コンテンツ）を表現するように決定する場合がある。これは、隣接する光線方向の範囲の中心方向が一定の大きさに近い場合に互いに異なる画像を表現すことになれば、クロストークが大きく発生し得るからである。ここで、レンダリング装置は、第１のユーザ３１０が常に指定された３Ｄ画像（例えば、２番と３番のぺアの３Ｄ画像）を見れるようにすることによって第１のユーザ３１０のための画像は変更されないようにすることができる。また、レンダリング装置は、第１のユーザ３１０が指定された３Ｄ画像を見るための最小限の光線方向の範囲を定義し、最小限の光線方向の範囲より小さい方向範囲には画像が決定されないようにすることができる。

上述した過程を経て第１のユーザ３１０が常に指定された３Ｄ画像を見ることができるとき、レンダリング装置は、第１のユーザ３１０に提供される画像（コンテンツ）を表現するための最小限のピクセルリソースを除いた残りのピクセルリソースを第２のユーザ３３０を含む他のユーザのための画像（コンテンツ）を表現するのに用いることができる。

レンダリング装置は、光学層１０３とパネル１０１に含まれたサブピクセルの位置関係によって決定された、サブピクセルから放射される光線方向を含む光線方向の範囲において表現すべき画像（コンテンツ）に対するサブピクセルの値を決定することができる。以下、サブピクセルの値を決定する過程は図１６を参照して説明する。

本発明の一実施形態においては、パネルのサブピクセルのそれぞれが提供する視点領域が繰り返されることを利用して高解像度を実現することができる。また、本発明の一実施形態においては、第１のユーザ３１０と第２のユーザ３３０のどちらか片方の眼に同じ画像を表現することによって、ユーザ３１０，３３０のそれぞれの視野角内における多くのビュー又は多くの光線の間の干渉によるクロストークの発生を防止することができる。

図４は、本発明の一実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。

図４を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をディスプレイ領域（例えば、ピクセル）に対応する視点領域にマッピングする（Ｓ４１０）。ここで、視点領域は、パネルに属したピクセルと光学層に属した光学素子のペアに対応するビューコーン（ｖｉｅｗ ｃｏｎｅ）を含んでもよい。レンダリング装置は、例えば、ピクセルと光学層に属する複数の光学素子の間の相対的な位置による繰り返し特性に基づいて、第１のユーザの両眼の位置及び第２のユーザの両眼の位置を視点領域にマッピングすることができる。

レンダリング装置は、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、ディスプレイ領域（例えば、ピクセル）の値を決定する（Ｓ４２０）。レンダリング装置は、例えば、ピクセルの光線方向が第１のユーザに対応する場合、第１のユーザの両眼の位置で立体画像が再生されるようにピクセルの値を決定することができる。また、レンダリング装置は、光線方向が第２のユーザに対応する場合、第２のユーザの両眼のうち少なくとも１つ眼の位置で立体画像の左側の画像又は右側の画像が再生されるようにピクセルの値を決定することができる。ここで、光線方向は、ピクセル及び光学層に含まれた光学素子によって伝播される光線方向を含んでもよい。

上述したようにレンダリング装置は、サブピクセル単位でレンダリングを行ってもよい。この場合、ステップＳ４１０及びステップＳ４２０に記述された「ピクセル」はサブピクセルとして理解されてもよい。本発明の一実施形態に係るレンダリング装置は、サブピクセルの光線方向がステップＳ４１０においてマッピングされたどのユーザのどちらの眼の位置に対応するかによって、例えば、下記の表１のようにサブピクセルの値を決定することができる。

以下、表１において、表示の簡略化のために第１のユーザの左眼を「１Ｌ」とし、第１のユーザの右眼を「１Ｒ」と表現し、第２のユーザの左眼を「２Ｌ」とし、第２のユーザの右眼を「２Ｒ」と表現した。また、表１において、マッピングされたユーザの眼の位置関係において用いられた記号

は、当該記号の左側と右側に位置する各ユーザの眼の位置が対応することを示す。第１のユーザの眼の位置と第２のユーザの眼の位置とが画像分離表現（ｉｍａｇｅ ｓｅｐａｒａｔｉｏｎ ａｎｄ ｄｉｓｐｌａｙ）のための最小間隔内に隣接した場合を示す。例えば、

は、i）２Ｌと１Ｌとの間の距離、ii）２Ｌと１Ｒとの間の距離、iii）２Ｒと１Ｌとの間の距離、及びiv）２Ｒと１Ｒとの間の距離のうち２Ｌと１Ｌとの間の距離が最小の場合を示すことができる。

表１において、サブピクセルの光線方向が、マッピングされた第１のユーザの左眼の位置に対応する場合（光線方向：１Ｌ）、レンダリング装置は、立体画像の左側の画像（２^ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、光線方向がマッピングされた第１のユーザの右眼の位置に対応する場合（光線方向：１Ｒ）、レンダリング装置は、立体画像の右側の画像（３^ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。

サブピクセルの光線方向がマッピングされた第２のユーザの左眼の位置に対応する場合（光線方向：２Ｌ）、ユーザの間の眼の位置関係によってサブピクセルの値を決定する。例えば、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合

レンダリング装置は、第１のユーザのための立体画像の左側の画像（２^ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。ここで、第１のユーザの左眼１Ｌには、２^ｎｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの左眼２Ｌのためのサブピクセルの値は、２^ｎｄｖｉｅｗに基づいて決定される。また、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合

レンダリング装置は、第１のユーザのための立体画像の右側の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの右眼１Ｒには、３^ｒｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの左眼２Ｌのためのサブピクセルの値は、３^ｒｄｖｉｅｗに基づいて決定される。

また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合

レンダリング装置は、第１のユーザのための立体画像の左側の画像又は左側の画像よりさらに左側の視点の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの左眼１Ｌには、２^ｎｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの右眼２Ｒにも２^ｎｄｖｉｅｗが再生されなければならない。この場合、第２のユーザの左眼２Ｌのためのサブピクセルの値は、１^ｓｔｖｉｅｗ又は２^ｎｄｖｉｅｗに基づいて決定される。

一例として、ユーザの間の相対的位置関係によって第２のユーザに立体画像を提供することが可能であれば、第２のユーザの左眼２Ｌのためのサブピクセルの値は、１^ｓｔｖｉｅｗに基づいて決定される。この場合、第２のユーザの右眼２Ｒには２^ｎｄｖｉｅｗが再生され、第２のユーザの左眼２Ｌには１^ｓｔｖｉｅｗが再生されるため、第２のユーザは立体画像を視聴することができる。他の例として、ユーザの間の相対的位置関係によって第２のユーザに立体画像を提供することが不可能であれば、第２のユーザの左眼２Ｌのためのサブピクセルの値は２^ｎｄｖｉｅｗに基づいて決定される。この場合、第２のユーザの右眼２Ｒ及び左眼２Ｌの両眼に２^ｎｄｖｉｅｗが再生されるため、第２のユーザは単画像を視聴することができる。

また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合

レンダリング装置は、左側の画像又は立体画像の右側の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの右眼１Ｒには、３^ｒｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの右眼２Ｒにも３^ｒｄｖｉｅｗが再生されなければならない。この場合、第２のユーザの左眼２Ｌのためのサブピクセルの値は、２^ｎｄｖｉｅｗ（立体画像）又は３^ｒｄｖｉｅｗ（単画像）に基づいて決定される。

サブピクセルの光線方向がマッピングされた第２のユーザの右眼の位置に対応する場合（光線方向：２Ｒ）、ユーザの間の眼の位置関係によってサブピクセルの値を決定する。例えば、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合

レンダリング装置は、第１のユーザのための立体画像の左の画像（２^ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合

レンダリング装置は、立体画像の右側の画像（３^ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合

レンダリング装置は、第１のユーザのための立体画像の左の画像（２^ｎｄｖｉｅｗ）又は立体画像の右側の画像（３^ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合

レンダリング装置は、右側の画像（３^ｒｄｖｉｅｗ）又は右側の画像よりさらに右側の視点の画像（４^ｔｈｖｉｅｗ）に基づいてサブピクセルの値を決定する。

本発明の一実施形態に係るサブピクセルの値を決定する方法は、上述したようなユーザの数が２人の場合だけでなく３人以上の場合にも同一に適用することができる。ここで、３人以上のユーザのためのサブピクセルの値は、上述のユーザが２人の場合と同じ方式で決定することができる。

前記及び以下の説明の観点から、レンダリング装置は、i）立体画像から複数の画像のうちの１つ以上の画像、ii）第２のユーザ（例えば、ユーザ６３０の眼の変換された位置）及び第１のユーザ（例えば、ユーザ５１０の実際の眼の位置）の間の関係、及びiii）領域の光線方向（ここで、光線方向は、光線が領域からディスプレイに関連する、例えば、光学層１０３からの光学素子の中心を経て通過する方向）に基づいて領域（例えば、ピクセル又はサブピクセル）の値を決定することができる。

本発明の一実施形態において、光線方向にマッピングされる各ユーザの眼の位置及び各ユーザの眼の間の関係によって発生し得る様々な状況に関しては、図１３〜図１５を参照する。以下においては、ユーザの両眼の位置をサブピクセルに対応する視点領域でマッピングする前に、図５を参照してユーザの眼の位置を検出する方法を説明する。

図５は、本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの眼の位置を検出する過程を説明するための図である。図５を参照すると、本発明の一実施形態に係るレンダリング装置のパネル１０１に含まれたサブピクセル１０２から第１のユーザ５１０に向かう方向が光学層１０３に含まれた光学素子１０４の領域を通過して、第２のユーザ５３０に向かう方向が光学素子１０５の領域を通過する状況が示されている。

サブピクセル１０２は、様々な方向に光を出力してもよい。光が出力される方向は光線方向と呼ぶ。サブピクセル１０２から出力される光は、光学層１０３を通過しながら光線方向が量子化される形態で出力されてもよい。例えば、サブピクセル１０２から出力される光線方向は、光学層１０３に含まれた光学素子１０４，１０５のそれぞれの中心を通過する方向に量子化されてもよい。

ここで、サブピクセル１０２から第１のユーザ５１０の左眼１Ｌ（５１３）に向かう第１の方向５０１と、第１のユーザ５１０の右眼１Ｒ（５１６）に向かう第２の方向５０２が光学素子１０４の領域を通過すると仮定する。また、サブピクセル１０２から第２のユーザ５３０の左眼２Ｌ（５３３）に向かう第３の方向５０３と第２のユーザ５３０の右眼２Ｒ（５３６）に向かう第４の方向５０４が光学素子１０５の領域を通過すると仮定する。

レンダリング装置は、第１のユーザ５１０の両眼５１３，５１６の位置を含む第１の情報及び第２のユーザ５３０の両眼５３３，５３６の位置を含む第２の情報を受信してもよい。レンダリング装置は、例えば、各ユーザの両眼の位置を追跡するセンサからユーザの両眼の位置に関する情報を含む信号を受信することができる。また、レンダリング装置は、サブピクセル１０２から各ユーザの両眼に向かう方向を各ユーザの眼の位置を用いて決定することができる。

レンダリング装置は、ユーザの両眼に向かう方向に基づいて、パネル１０１に含まれたサブピクセル１０２が各ユーザの左眼と右眼のうちどちらの眼に対応するかを決定することができる。

レンダリング装置は、例えば、サブピクセル１０２の光線方向を算出してもよい。例えば、サブピクセル１０２から出力された光線は、光学層１０３内の光学素子１０４，１０５の中心を通過する方向に伝播してもよい。レンダリング装置は、パネル１０１と光学層１０３の間の距離、パネル１０１内のサブピクセル１０２の位置、及び光学層１０３内の素子のうちサブピクセル１０２から出力された光線が通過する光学素子１０４，１０５の位置のうち少なくとも１つに基づいて、サブピクセル１０２の光線方向を算出してもよい。以下、サブピクセルから出力された光は、ＬＥＤのように自主的に発光するサブピクセルから出力される光だけでなく、ＬＣＤのようにバックライトの光を透過させるサブピクセルから出力される光を全て含んでもよい。

サブピクセル１０２の光線方向によって伝播される光は、第１のユーザ５１０又は第２のユーザ５３０の視点に対応してもよい。レンダリング装置は、サブピクセル１０２の光線方向によって伝播される光が到達する位置に対応するユーザの視点を選択してもよい。

以上、レンダリング装置がサブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定する動作方式を説明したが、本発明の実施形態は、レンダリング装置がテーブル（例えば、ルックアップテーブル（Ｌｏｏｋｕｐ Ｔａｂｌｅ：ＬＵＴ））からサブピクセルに対応する視点及びサブピクセルに対応する領域を取得する動作方式に変形してもよい。

例えば、全ての視点画像を撮影する距離、全ての視点画像を撮影する画角、全ての視点画像を撮影する方向、又は、全ての視点画像のためのカメラパラメータなど、全ての視点画像を撮影する条件が標準化される場合、任意のサブピクセルに対応する視点及び当該サブピクセルに対応する領域は定められてもよい。テーブルは、パネル１０１のサブピクセルの構造によって、パネル１０１に含まれたサブピクセルに対応する視点及び領域に関連する情報を格納してもよい。この場合、レンダリング装置は、テーブルを参照することによって、サブピクセルに対応する視点及びサブピクセルに対応する領域を決定することができる。

図６は、本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの視線をマッピングする過程を説明するための図である。

図６を参照すると、サブピクセルから複数のユーザの両眼に向かう方向を１つのビューコーンに対応する方向にマッピングした結果が示されている。

図６において、第１のユーザ５１０の左眼に向かう第１の方向５０１と、第１の方向５０１が光学層１０３を通過する第１の位置６０１から１つの光学素子１０４の幅ほど離れた第２の位置６０２を定義する。ここで、パネル１０１のサブピクセル１０２と光学層１０３に含まれた光学素子１０４に対応する方向範囲を視覚領域（例えば、「ビューコーン６５０」）として定義する。言い換えると、サブピクセル１０２を中心に第１の位置６０１を通過する方向５０１とサブピクセル１０２を中心に第２の位置６０２を通過する方向６０５との間の方向範囲をビューコーン６５０として定義する。

レンダリング装置は、例えば、光学層１０３のパターン周期と、光学層１０３とサブピクセル１０２が位置するパネル１０１との間の距離を用いてビューコーンの大きさを決定することができる。レンダリング装置がビューコーンの大きさを決定する方法は図７を参照して説明する。

レンダリング装置は、サブピクセル１０２から放出された光線が複数のユーザ５１０，５３０の眼に向かう方向を算出し、光線が各ユーザの眼に向かう方向を１つのビューコーンに対応する方向にマッピングする。

レンダリング装置は、各サブピクセルから複数のユーザのそれぞれの眼に向かう方向を算出する。ここで、レンダリング装置は、最も優先順位が高いユーザの眼方向（例えば、第１のユーザ５１０の左眼１Ｌ（５１３）の方向）を基準として１つのビューコーン６５０に該当する方向範囲を定める。レンダリング装置は、ビューコーン６５０に該当する方向範囲内にないユーザ（例えば、第２のユーザ５３０）の眼方向をビューコーン６５０の方向範囲内にマッピングする。

言い換えると、レンダリング装置は、視覚領域（例えば、図３のビューコーン３３５）から他の視覚領域（例えば、ビューコーン（図３の３１５又は図６の６５０））に第２のユーザの眼の位置を変換させることができる。レンダリング装置は、第２のユーザの変換された眼の位置６３３，６３６及び第１のユーザの実際の眼の位置５１３，５１６に基づいてサブピクセル１０２の値をすることができる。

図５において説明したように、第２のユーザ５３０の左眼２Ｌ（５３３）と右眼２Ｒ（５３６）に伝播される光は、光学素子１０５の領域を通過したものであるため、ビューコーン６５０内に存在しないものを見ることができる。この場合、第２のユーザ５３０の両眼に提供される光が光学素子１０５の領域を通過する代わりに光学素子１０４の領域を通過することに変換されれば、第２のユーザ５３０は、第２のユーザ６３０によって見える位置に変換される。これと共に、第２のユーザ５３０の左眼２Ｌ（５３３）の位置は新しい位置２Ｌ’（６３３）に変換され、第２のユーザ５３０の右眼２Ｒ（５３６）の位置は新しい位置２Ｒ’（６３６）に変換される。また、第３の方向５０３は新しい第３の方向６０３に、第４の方向５０４は新しい第４の方向６０４に変換される。

このように変換できる理由は、サブピクセル１０２から光学素子１０５を通過する光線と第３の方向５０３、第４の方向５０４との間の関係が、サブピクセル１０２から光学素子１０４を通過する光線と新しい第３の方向６０３、新しい第４の方向６０４との間の関係が同じだからである。

レンダリング装置は、サブピクセル１０２から第１のユーザ５１０と第２のユーザ５３０の両眼に向かう方向５０１，５０２，５０３，５０４をビューコーン６５０内にマッピングして最終的に方向５０１，５０２，６０３，６０４を得てもよい。

１つのビューコーンを基準として各ユーザの眼方向をマッピングした後、レンダリング装置は、マッピングされた方向を基準として両眼に見える画像を表現する光線方向の範囲を決定してもよい。光線方向の範囲は、例えば、所望する（又は予め定義された）方向の差ほどの幅を有した範囲として決定することができる。光線方向の範囲を決定する方法は、図８〜図１０を参照して説明する。以下、ビューコーン６５０内にマッピングされた第２のユーザ６３０の位置を中心にレンダリング装置の動作を説明する。

図７は、本発明の一実施形態に係るビューコーンの大きさを決定する方法を説明するための図である。

図７を参照すると、ビューコーン７１０及びビューコーン７１０内における第１のユーザの両眼７０１，７０２の位置及び第２のユーザの両眼７０３，７０４７０５，７０６の位置が示されている。

第１のユーザの両眼７０１，７０２は、最適な視聴距離において左眼７０１と右眼７０２との間に１ＩＰＤの間隔を有する。ここで、ＩＰＤ（Ｉｎｔｅｒ−Ｐｕｐｉｌ Ｄｉｓｔａｎｃｅ）は、両眼の瞳孔中心の間の距離を示す。第２のユーザの両眼７０３，７０４，７０５，７０６が第１のユーザの両眼の間に位置しない場合においても、第１のユーザのどちらか片方の眼を基準に、最小の分離可能な間隔（ｍｉｎｉｍｕｍ ｓｅｐａｒａｂｌｅ ｄｉｓｔａｎｃｅ）である０．５ＩＰＤ以上の差が必要である。「最小の分離可能な距離（間隔）」は、互いに異なるコンテンツの間にクロストークが発生しないようにするために（又はクロストークを減らすために）、所望する最小限の距離（間隔）として定義される。

図７（ａ）のように、第２のユーザのどちらか片方の眼（左眼Ｌ２（７０３））が第１のユーザの両眼７０１，７０２の間の中央に位置する場合、第２のユーザの左眼Ｌ２（７０３）は、第１のユーザの両眼７０１，７０２のうちどちらか片方の眼と同様の画像が表現されることになる。

例えば、第２のユーザの左眼Ｌ２（７０３）に第１のユーザの右眼Ｒ１（７０２）と同様の画像が表現されると仮定する。ここで、互いに異なる画像を表現される第１のユーザの左眼Ｌ１（７０１）と第２のユーザの左眼Ｌ２（７０３）には、画像を割り当ててもクロストークが発生しないように（又はクロストークを減らすために）、互いに最小の分離可能な間隔（例えば、０．５ＩＰＤ）を設定することができる。

例えば、図７（ｂ）のように、ビューコーン７１０内に第１のユーザの両眼７０１，７０２と共に第２のユーザの両眼７０３，７０４を位置させようとする場合を説明する。

ここで、第２のユーザの左眼７０３が第１のユーザの右眼７０２から０．５ＩＰＤよりもう少しさらに右側に離れた所に位置したり、又は、第２のユーザの右眼７０６が第１のユーザの左眼７０１よりもう少しさらに左側に離れた所に位置する場合、各ユーザの両眼のそれぞれのためのコンテンツがよく分離され得る。つまり、最適な視聴距離において３ＩＰＤ以上のビューコーンの大きさを有する場合、レンダリング装置は、２人のユーザのそれぞれのためのコンテンツをよく分離することができる。レンダリング装置は、２人のユーザのためのビューコーン７１０が最適な視聴距離において３ＩＰＤ以上の大きさを有するように決定することができる。

図８は、本発明の一実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。図８を参照すると、レンダリング装置が各眼に向かう方向の間の中間値を境界として光線方向の範囲を決定する方法が示されている。

レンダリング装置は、サブピクセル１０２から光学素子１０４を通過して各眼に向かう方向５０１，５０２，６０３，６０４，６０５の中間値に該当する方向８０１，８０２，８０３，８０４を各眼に該当する光線方向の範囲の境界として決定する。

レンダリング装置は、例えば、第１のユーザ５１０の左眼５１３のための光線方向の範囲は、方向５０１〜８０１の領域と方向８０４〜６０５の領域として、第１のユーザ５１０の右眼５１６のための光線方向の範囲は、方向８０１〜８０２の領域として決定する。また、第２のユーザ６３０の左眼６３３のための光線方向の範囲は、方向８０２〜８０３の領域として、第２のユーザ６３０の右眼６３６のための光線方向の範囲は、方向８０３〜８０４の領域として決定する。

以下、サブピクセル１０２に対応して所望する（又は予め決定した）視点領域（例えば、ビューコーン６５０）のうち各ユーザの眼のための光線方向の範囲の境界によって決定される一部領域を「サブ視点領域（ｓｕｂ−ｖｉｅｗ ａｒｅａ）」と呼ぶことにする。例えば、方向５０１〜８０１の領域、方向８０４〜６０５の領域、方向８０１〜８０２の領域、方向８０２〜８０３の領域、方向８０３〜８０４の領域などがサブ視点領域に該当する。

図９は、本発明の他の実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。

図９を参照すると、レンダリング装置が各眼に向かう方向を中心に一定の大きさを有する領域を境界として光線方向の範囲を決定する方法が示されている。

レンダリング装置は、第１のユーザの左眼５１３に向かう方向５０１を基準として右側に一定の大きさほど離れた方向９０１を決定し、方向５０１と同等に見える方向６０５を基準として左側に一定の大きさほど離れた方向９０２を決定する。

ここで、サブピクセル１０２から放出される光線方向が方向５０１から方向９０１の間の領域と方向９０２から方向６０５の間の領域に該当する場合、サブピクセル１０２は、第１のユーザの左眼５１３に見える画像を表現することになり、方向５０１から方向９０１の間の領域と方向９０２から方向６０５の間の領域は、第１のユーザの左眼５１３のための光線方向の範囲と見ることができる。

同様に、レンダリング装置は、第１のユーザの右眼５１６に向かう方向５０２を基準として左側に一定の大きさほど離れた方向９０３を決定し、方向５０２を基準として左側に一定の大きさほど離れた方向９０３と右側に一定大きさほど離れた方向９０４を決定する。

図９において、方向９０３と方向５０２のと間の間隔と方向５０２と方向９０４のと間の間隔が異なることを確認することができる。これは、方向９０３と方向５０２との間の間隔ほどの方向５０２から右側に離れた方向が、第１のユーザ５１０の右眼５１６に向かう方向５０２と第２のユーザ６３０の左眼６３３に向かう方向６０３との中間に該当する方向よりさらに右側に向かってしまったからである。

レンダリング装置は、眼の間の間隔が所望する（又は予め決定した）大きさほど確保できない場合、両眼に向かう各方向の中間方向を境界として決定してもよい。したがって、方向９０４は、方向５０２と方向６０３との中間方向に表現されてもよい。

同様に、レンダリング装置は、第２のユーザ６３０の左眼６３３に向かう方向６０３を基準として左側と右側への光線方向の範囲の境界をそれぞれ方向９０４と方向９０５として決定してもよい。レンダリング装置は、第２のユーザ６３０の右眼６３６に向かう方向６０４を基準として左側と右側への光線方向の範囲の境界をそれぞれ方向９０６と方向９０７として決定してもよい。

もし、図９において、ユーザの眼に向かう方向を中心に決定された光線方向の範囲の大きさが十分に大きくなければ、サブピクセル１０２から放出される光線方向がどのユーザの眼のための光線方向の範囲にも含まれない場合がある。この場合、サブピクセル１０２から放出される光は、どちらのユーザの眼のための画像表現にも使われない。

図１０は、本発明の他の実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。図１０を参照すると、レンダリング装置が一度決定された光線方向の範囲に修正を加える場合が示されている。

光線方向の範囲は、第１のユーザ５１０の視聴環境を優先するという意味で、一度決定された後にも修正を加えることができる。

レンダリング装置は、第１のユーザ５１０の左眼５１３を中心に方向５０１〜１００１の領域、方向１００２〜６０５の領域を最小の表示領域（ｍｉｎｉｍｕｍ ｄｉｓｐｌａｙ ａｒｅａ）に設定することができる。ここで、「最小の表示領域」は、許容可能な最小の分離距離内にある領域として定義される。許容可能な最小の分離距離とは、許容可能な範囲のクロストークを発生させる最小距離であって、２つの位置の中央を基準として両側に互いに異なる画像を表現したとき、両側の位置全てに予め指定された一定水準以下のクロストークを発生させる最小距離を意味する。一般的にはクロストークを発生させない最小距離を設定する。

ここで、最小の表示領域（方向１００２〜６０５の領域）は、例えば、図８において設定した方向５０１〜８０１の領域と方向８０４〜６０５の領域とに該当する光線方向の範囲に含まれる。したがって、レンダリング装置は、光線方向の範囲を修正することができない場合がある。

上述のような方法によって、レンダリング装置は、第１のユーザ５１０の右眼５１６を中心に方向１００３〜１００４の領域を最小の表示領域として設定する。ここで、最小の表示領域（方向１００３〜１００４の領域）の一部が、例えば、図８において設定した光線方向の範囲を逸脱することになるため、レンダリング装置は、光線方向の範囲を修正することができる。ここで、修正される光線方向の範囲は、第１のユーザ５１０の右眼５１６と第２のユーザ６３０の左眼６３３の光線方向の範囲であってもよい。

第１のユーザ５１０の右眼５１６のための光線方向の範囲は、方向８０１〜８０２の領域から方向８０１〜１００４の領域に拡張され、第２のユーザ６３０の左眼６３３のための光線方向の範囲は、方向８０２〜８０３領域から方向１００４〜８０３領域に縮小されてもよい。

図１１は、本発明の一実施形態に係るレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。

本発明の一実施形態に係るレンダリング装置は、光線方向の範囲を決定する過程を経て決定された光線方向の範囲情報を用いて各光線方向の範囲にどんな画像を表現するかを決定する。レンダリング装置は、例えば、第１のユーザ５１０の左眼５１３と右眼５１６の光線方向の範囲に所望する（又は予め指定された）立体画像が表現されるように決定してもよい。レンダリング装置は、第１のユーザ５１０のために必要なサブピクセル以外に残ったリソースを用いて第２のユーザ６３０のための画像を表現してもよい。

第１のユーザ５１０の両眼５１３，５１６にどんな画像を表現されるようにするかを決定した後、レンダリング装置は、第２のユーザ６３０の左眼６３３と右眼６３６の光線方向の範囲にどんな画像を表現させるかを決定してもよい。より効率的なリソースの利用のために、レンダリング装置は、第２のユーザ６３０の左眼６３３と右眼６３６のうち少なくとも片方の眼が第１のユーザ５１０の片方の眼で見れるコンテンツと同様のコンテンツを見れるようにしてもよい。

レンダリング装置は、例えば、各光線方向の範囲とサブピクセル１０２から両眼に向かう方向の関係に基づいて、第２のユーザ６３０の左眼６３３と右眼６３６の光線方向の範囲にどんな画像を表現するかを決定することができる。レンダリング装置が各ユーザの両眼にどんな画像を表現するか決定する具体的な方法を図１２〜図１５を参照して説明する。

図１２は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。

図１２を参照すると、ビューコーン内における２人のユーザの両眼の位置関係によって各サブ視点領域ごとに表現される画像（コンテンツ）が示されている。

１つのサブピクセルに対する入力画像１２１０は、１、２、３、４番の４つのビュー画像とする。ここで、４つのビュー画像のそれぞれは、それぞれ１ＩＰＤ離れた画像であって、隣接した番号の画像を左眼と右眼で視聴したとき、現在の一般的な立体画像のような程度の奥行き感を感じることができる。

本発明の一実施形態においては、各サブピクセルに対して、第１のユーザのビューコーンを基準として第２のユーザの方向及び両眼方向の領域を区分する。また、第１のユーザに常に２番の画像と３番の画像のペアを提供し、第２のユーザには下記において説明する各場合に応じて対応する画像を提供する。

図１２に示されたビューコーンにおいては、１つのサブピクセルから放出された光線方向が属する領域の画像をサブピクセルの値で表現することができる。

以下においては、ビューコーン内における第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒ及び第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒの位置関係によって各ユーザの眼に対応して再生される画像を説明する。

図１２（ａ）は、第２のビューアが３番の画像と４番の画像を視聴する場合を示し、図１２（ｂ）は、第２のビューアが２番の画像と３番の画像を視聴する場合を示し、図１２（ｃ）は、第２のビューアが１番の画像と２番の画像を視聴する場合を示す。

例えば、図１２（ａ）のように、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒが近くにあったり、又は第１のユーザの左眼１Ｌ、第１のユーザの右眼１Ｒ、第２のユーザの左眼２Ｌ、第２のユーザの右眼２Ｒの順に配置されており、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔より小さいとする。この場合、レンダリング装置は、第１のユーザの左眼１Ｌに２番の画像が、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌに３番の画像が、第２のユーザの右眼２Ｒに４番の画像が再生されるようにすることができる。図１２において、ビューコーンの右端に点線で表示された「１Ｌ」は、ビューコーン領域が繰り返される特徴によってビューコーンの左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。

図１２（ｂ）のように、第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌが２番の画像に対応するサブ視点領域内において近くにあり、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒが３番の画像に対応するサブ視点領域内において近くにあると仮定する。この場合、レンダリング装置は、各ユーザの左眼１Ｌ，２Ｌが２番の立体画像を視聴し、各ユーザの右眼１Ｒ，２Ｒが３番の立体画像を視聴するようにすることができる。

また、図１２（ｃ）のように、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒが２番の画像に対応するサブ視点領域内において近くにあり、第１のユーザの左眼１Ｌ、第１のユーザの右眼Ｒ１、第２のユーザの左眼２Ｌ、第２のユーザの右眼２Ｒの順に配置されていると仮定する。この場合、レンダリング装置は、第１のユーザの左眼１Ｌ及び第２のユーザの右眼２Ｒにおいて２番の画像が再生され、第１のユーザの右眼Ｒ１において３番の画像が、第２のユーザの左眼２Ｌにおいて１番の画像が再生されるようにすることができる。

以下、図１３〜図１５においては、図１２の（ａ）、（ｂ）、（ｃ）のような環境において、各ユーザの眼の位置によって視聴距離が類似したり、又は類似しない様々な場合を説明する。

図１３〜図１５においては、ビューコーンの領域を長方形の幅で表現し、横方向の位置は、ビューコーン内の１つの方向で表現する。また、ビューコーン内に各ユーザの眼が該当する方向を横方向の位置で表現する。本発明の一実施形態に係るレンダリング装置は、ビューコーン内に位置する各ユーザの両眼の間の中心点に境界をひいて、境界の間の領域に適切な視点を決定する。

以下、図１３〜図１５において、点線で表示された距離は、実線で表示された距離より短く示し、二点鎖線は、最小の分離可能な間隔を示す。

本発明の一実施形態に係るコンテンツ（画像）を決定するための手段（ｐｏｌｉｃｙ）において、第１のユーザの両眼に対応して常に２番の画像と３番の画像が再生されるようにするため、レンダリング装置は、第１のユーザの左眼１Ｌには２番の画像を決定し、第１のユーザの右眼１Ｒには３番の画像を決定してもよい。これと共に、レンダリング装置は、なるべく第２のユーザにも３Ｄ画像を視聴できるように各サブ視点領域の画像を決定してもよい。

図１３は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。

図１３を参照すると、図１２（ａ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。

［視聴距離が類似の場合］

下記の図１３（ａ）及び図１３（ｂ）においては、第１のユーザと第２のユーザの視聴距離が類似し、ビューコーン内において、２人のビューアの両眼方向の間の間隔が類似する場合に発生し得る場合を説明する。

図１３（ａ）を参照すると、ビューコーンの右端は、ビューコーン領域が繰り返される特徴によって、ビューコーンの左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。

第２のユーザの眼の位置によって、レンダリング装置は、例えば、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔と第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔のうちどちらが近いかによってサブ視点領域の画像を選択又は決定することができる。

図１３（ａ）において、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔がさらに狭いため、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。

図１３（ｂ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼の間に移動して第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒの近くにある場合が示されている。この場合、図１３（ａ）と同様に、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。

［視聴距離が非類似の場合］

上述にて説明した視聴距離が類似の場合とは異なって、２人のユーザが常に類似の視聴距離から視聴するという保障がないため、視聴距離が非類似の場合にレンダリング装置が画像を選択（決定）するという方法が要求される。以下においては、２人のユーザの間の視聴距離が非類似の様々な場合においてレンダリング装置が第２のユーザの画像を決定する方法を説明する。

図１３（ｃ）及び図１３（ｄ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼の間に存在し、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒの近くにある場合が示されている。ここで、図１３（ｃ）は、第２のユーザの右眼２Ｒは第１のユーザの右眼１Ｒより右側にあり、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔が最小の分離可能な間隔（二点鎖線）より大きい場合を示し、図１３（ｄ）は、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔も最小の分離可能な間隔より大きい場合を示す。

図１３（ｃ）及び図１３（ｄ）におけるレンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。

図１３（ｅ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。また、図１３（ｆ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌより右側に存在し、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔より大きい場合が示されている。図１３（ｅ）及び図１３（ｆ）におけるレンダリング装置は、第２のユーザの左眼２Ｌが３番の画像を視聴し、第２のユーザの右眼２Ｒに対して４番の画像を視聴するようにすることができる。図１３（ｆ）のように、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔内の場合、レンダリング装置は、第１のユーザの視聴環境を保障するようにするため、第２のユーザの右眼２Ｒにクロストークが発生し得る。

図１３（ｇ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔以上の場合が示されている。ここで、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔は最小の分離可能な間隔より大きく、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より小さいと仮定する。

この場合、レンダリング装置は、第２のユーザの左眼２Ｌに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザが３Ｄ画像を視聴できるようにするために、第２のユーザの右眼２Ｒに対して４番の画像を決定することができる。第２のユーザは３番と４番のペアの３Ｄ画像を視聴することができる。

図１４は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。

図１４Ａ、図１４Ｂ、図及び１４Ｃを参照すると、図１２（ｂ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。

［視聴距離が類似の場合］

図１４Ａ（ａ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に位置し、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌにさらに近くにある場合が示されている。この場合、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌと隣接するため、レンダリング装置は第２のユーザの左眼２Ｌに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。また、レンダリング装置は、第２のユーザが円滑な３Ｄ画像を視聴できるように第２のユーザの右眼２Ｒに対して３番の画像を決定することができる。この場合、第１のユーザ及び第２のユーザの両方が２番の画像及び３番の画像を視聴することができる。

図１４Ａ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼の間に位置し、第１のユーザの左眼１Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合が示されている。この場合、第２のユーザの右眼２Ｒは、第１のユーザの右眼１Ｒに隣接するため、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定することができる。ここで、レンダリング装置は第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。

［視聴距離が非類似の場合］

以下、図１４Ａ（ｃ）〜図１４Ａ（ｈ）においては、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌと画像分離表現のための最小間隔内に存在する場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ａ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在する場合が示されている。レンダリング装置は、このように分離表現可能な最小間隔内にあるユーザの眼が基本的に同じ画像を表現するようにすることができる。レンダリング装置は、第２のユーザの左眼２Ｌと右眼２Ｒに対して全て２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。

図１４Ａ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと右眼１Ｒとの間に位置し、第１のユーザの左眼１Ｌにさらに近い場合が示されている。この場合、第２のユーザの両眼２Ｌ，２Ｒが全て第１のユーザの左眼１Ｌに近いため、レンダリング装置は第２のユーザの両眼に対して全て２番の画像を決定することができる。

図１４Ａ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと右眼１Ｒとの間に位置し、第１のユーザの右眼１Ｒにさらに近い場合が示されている。ここで、第２のユーザの左眼２Ｌは第１のユーザの左眼１Ｌに近く、第２のユーザの右眼２Ｒは第１のユーザの右眼１Ｒのさらに近くにある。したがって、レンダリング装置は、第２のユーザの左眼に対して２番の画像を、右眼に対して３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ａ（ｆ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にあり、第１のユーザの右眼１Ｒにさらに近い場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌに２番の画像を、右眼２Ｒに３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ａ（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にある場合が示されている。ここで、第２のユーザの右眼２Ｒは、第２のユーザの左眼２Ｌにさらに近いが、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が画像分離表現のための最小間隔より大きい。この場合、第２のユーザの両眼２Ｌ，２Ｒは、分離表現が可能であるため、レンダリング装置は、第２のユーザの左眼２Ｌに対して２番の画像を、右眼２Ｒに対して３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ａ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にあり、第１のユーザの右眼１Ｒより第２のユーザの左眼２Ｌにさらに近く、第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒとの間隔が分離表現のための最小間隔より小さい場合が示されている。この場合、第２のユーザの両眼２Ｌ，２Ｒは分離表現が不可能であるため、両眼に対して同一の画像を決定してから、欠陥（ａｒｔｉｆａｃｔ）を最小化した画像を表現する。したがって、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。

以下、図１４Ａ（ｉ）〜図１４Ａ（ｍ）においては、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第１のユーザの右眼１Ｒより第１のユーザの左眼１Ｌにさらに近くにある場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ａ（ｉ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間に存在し、第１のユーザの右眼１Ｒより第２のユーザの左眼２Ｌにさらに近い場合が示されている。この場合、第２のユーザの左眼２Ｌは第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。また、第２のユーザの右眼２Ｒは第２のユーザの左眼２Ｌにさらに近いため、レンダリング装置は第２のユーザの右眼２Ｒに対してもまた、２番の画像を決定することができる。

ただし、図１４Ａ（ｉ）において、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔が最小の分離可能な間隔より小さい場合、レンダリング装置は、第１のユーザの右眼１Ｒを優先的にビューコーン内の表現範囲を決定してもよい。したがって、図１４Ａ（ｉ）において第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の２番と３番の画像の境界が中間ではなく片方に偏る理由はそのせいである。図１４Ａ（ｉ）においてビューコーンの大きさを見せるバー（Ｂａｒ）上に突出した四角形の幅は、第１のユーザの右眼１Ｒの中心から左方向に確保すべき最小範囲を表示する。

図１４Ａ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの左眼２Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合が示されている。この場合、レンダリング装置は、第２のユーザが第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴するようにすることができる。但し、第２のユーザの左眼２Ｌと右眼２Ｒとの間の間隔が最小の分離可能な間隔より小さい場合、第２のユーザは一定量のクロストークが含まれた３Ｄ画像を視聴することになる。

図１４Ａ（ｋ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔より大きい場合が示されている。ここで、レンダリング装置は、第２のユーザが第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴するようにすることができる。

図１４Ａ（ｌ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定することができる。

図１４Ａ（ｍ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間に存在する場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定することができる。

以下、図１４Ｂ（ａ）〜図１４Ｂ（ｄ）においては、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第１のユーザの左眼１Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ｂ（ａ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在する場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒが全て３番の画像を視聴するようにすることができる。

図１４Ｂ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側にあるが、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て３番の画像を決定することができる。

図１４Ｂ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、第２のユーザの右眼２Ｒには、第１のユーザの左眼１Ｌと同様の２番の画像が表現されなければならない。レンダリング装置は、第２のユーザの左眼２Ｌに対して２番の画像を決定して第２のユーザの両眼が２Ｄ画像を視聴するようにすることができる。ここで、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さければ、レンダリング装置は、第１のユーザの右眼１Ｒの視聴環境を保障しなければならないため、第２のユーザの左眼２Ｌにクロストークが発生し得る。

図１４Ｂ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間にある場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼が２番の画像を視聴するように画像を決定することができる。ここで、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さければ、図１４Ｂ（ｃ）と同様に第２のユーザの左眼２Ｌにクロストークが発生し得る。

以下、図１４Ｂ（ｅ）〜図１４Ｂ（ｈ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ｂ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌより右側に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て３番の画像を決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。

図１４Ｂ（ｆ）、（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に存在する場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定するが、第２のユーザの右眼２Ｒに対しては２番の画像を決定できないため、３番の画像を決定することができる。ここで、第１のユーザの視聴環境が保障されなければならないため、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔より小さければ、図１４Ｂ（ｆ）のような場合、第２のユーザの右眼２Ｒにクロストークが発生し得る。

図１４Ｂ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に位置する場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して全て３番の画像を決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。

以下、図１４Ｂ（ｉ）〜図１４Ｂ（ｋ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ｂ（ｉ）を参照すると、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔と、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔とを比較して第２のユーザの右眼２Ｒに前記間隔がさらに小さい側の画像を決定することができる。図１４Ｂ（ｉ）においては、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔が第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔よりさらに小さい。したがって、レンダリング装置は、第１のユーザの右眼１Ｒに決定された３番の画像を第２のユーザの両眼に対して決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。

図１４Ｂ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に位置し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して、第１のユーザの右眼１Ｒに該当する３番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。第２のユーザは、第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ｂ（ｋ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に位置する場合が示されている。図１４Ｂ（ｋ）において、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より近い。したがって、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定することができる。もし、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きければ、レンダリング装置は、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して２番の画像を決定してもよい。

図１４Ｂ（ｋ）においては、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さいため、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。

以下、図１４Ｃ（ａ）〜図１４Ｃ（ｄ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間隔より第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間隔がさらに近く、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔以上である場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ｃ（ａ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在し、第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔以下である場合が示されている。

この場合、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの左眼２Ｌに第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。また、レンダリング装置は、第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より小さい第２のユーザの右眼２Ｒに対しても同様の２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。

図１４Ｃ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対して２番の画像を決定して、第２のユーザが２、３番のペアの３Ｄ画像を視聴するようにすることができる。

図１４Ｃ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対しては２番の画像を決定することができる。第２のユーザは２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ｃ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。

以下、図１４Ｃ（ｅ）〜図１４Ｃ（ｊ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１４Ｃ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間にある場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対する２番の画像を決定することができる。第２のユーザは２番の２Ｄ画像を視聴することができる。

図１４Ｃ（ｆ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔がさらに小さい場合が示されている。この場合、第２のユーザの両眼が全て第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの両眼に対して２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。

図１４Ｃ（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔よりもさらに大きい場合が示されている。この場合、第２のユーザの右眼２Ｒは、第１のユーザの右眼１Ｒにさらに近いため、レンダリング装置は、第２のユーザの右眼２Ｒに対して３番の画像を決定することができる。また、第２のユーザの左眼２Ｌは、第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの左眼２Ｌに対する２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ｃ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔よりさらに小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ｃ（ｉ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔よりさらに小さいが、その間隔が最小の分離可能な間隔よりは大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対しては第１のユーザの右眼１Ｒと同様の３番の画像を、第２のユーザの左眼２Ｌに対しては第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。

図１４Ｃ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。

図１５は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。

図１５を参照すると、図１２（ｃ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。

以下、図１５（ａ）及び図１５（ｂ）においては、第１のユーザと第２のユーザとの視聴距離が類似して、ビューコーン内における２人のビューアの両眼方向の間の間隔が類似する場合に発生し得る場合を説明する。

［視聴距離が類似の場合］

図１５（ａ）を参照すると、第２のユーザの右眼２Ｒがビューコーンの右端にあるため、左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。ここで、レンダリング装置は、第１のユーザの両眼が２、３番の画像を視聴するようにする。レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。

そうすると、第２のユーザの左眼２Ｌに対してどの画像を表現するかが残ることになる。ここで、レンダリング装置が第２のユーザの左眼２Ｌに対して１番の画像を決定すれば、第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。もし、レンダリング装置が第２のユーザの左眼２Ｌに対して２番の画像を決定すれば、第２のユーザは２番の画像を２Ｄで視聴してもよい。

図１５（ｂ）を参照すると、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。レンダリング装置は、第２のユーザの右眼２Ｒに対して２番の画像を決定し、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。

図１５（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼の間に位置し、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより左眼１Ｌにさらに近い場合が示されている。この場合、レンダリング装置は第２のユーザの右眼２Ｒに第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。レンダリング装置は第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。

［視聴距離が非類似の場合］

以下、図１５（ｄ）〜図１５（ｅ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１５（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌより左側に存在し、第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さく、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔より第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が小さい場合が示されている。この場合、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと同様の２番の画像を表現しなければならないため、レンダリング装置は、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。ここで、第１のユーザの視聴環境が保障されなければならないため、第２のユーザの左眼２Ｌにおいてはクロストークが発生し得る。

図１５（ｅ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔と、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔とを比較して第２のユーザの右眼２Ｒのための画像を決定することができる。

ここで、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔よりさらに小さい場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して２番の画像を決定することができる。また、レンダリング装置は、３Ｄ表現のために、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。ここで、第１のユーザの視聴環境を保障するために、第２のユーザの左眼２Ｌにおいてクロストークが発生し得る。

以下、図１５（ｆ）〜図１５（ｇ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１５（ｆ）を参照すると、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。

図１５（ｇ）を参照すると、第１のユーザの両眼１Ｌ，１Ｒの間に第２のユーザの右眼２Ｒが位置し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して、第１のユーザの左眼１Ｌに該当する２番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。

以下、図１５（ｈ）〜図１５（ｉ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間隔より第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間隔がさらに近く、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。

図１５（ｈ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在し、第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より大きい場合が示されている。この場合、第２のユーザの左眼２Ｌと右眼２Ｒに表現する画像が分離可能であるため、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。

図１５（ｉ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。

図１６は、本発明の一実施形態に係るレンダリング装置がサブピクセルの値を決定する過程を説明するための図である。図１６を参照すると、サブピクセル１０２の光線方向１６１０が示されている。

レンダリング装置は、サブピクセル１０２から放出された量子化された光線方向のうち全ての視点画像を構成する視点に対応する光線方向をサブピクセル１０２の光線方向として決定してもよい。レンダリング装置は、サブピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、サブピクセルの値を決定してもよい。

レンダリング装置は、サブピクセル１０２の光線方向の範囲に対応する複数のサブ視点領域のうち光線方向１６１０が属したサブ視点領域に対応するコンテンツを決定してもよい。

例えば、図１６においては、第２のユーザの左眼６３３に向かう方向６０３が光線方向の範囲の境界に該当する方向１００４に非常に近いため、第１のユーザ５１０の右眼５１６に表現される画像と第２のユーザの左眼６３３に表現される画像が異なる場合、第２のユーザの左眼６３３にクロストークを発生させる可能性が高い。

もし、第１のユーザ５１０の右眼５１６と第２のユーザの左眼６３３に対して同じ画像を提供すると同時に、第２のユーザの左眼６３３と右眼６３６に対して適切な立体画像を提供できれば、レンダリング装置は、第２のユーザ６３０に対して欠陥が少ない画像を提供することができる。したがって、レンダリング装置は、第１のユーザ５１０の右眼５１６と第２のユーザの左眼６３３が同じ画像を見れるようにコンテンツを設定することができる。

ユーザの両眼に対する光線方向の範囲と両眼に表現するコンテンツが決定されれば、レンダリング装置は、最終的にサブピクセル１０２から放出された光線方向１６１０に対応する光がどちらの眼のための画像を表現するかを決定することができる。

これは、上述にて決定された光線方向の範囲の中から光線方向１６１０を含むサブ視点領域を選択することによって決定されてもよい。図１６における光線方向１６１０は、第２のユーザ６３０の右眼６３６のための光線方向の範囲に属しているため、サブピクセル１０２は、第２のユーザ６３０の右眼６３６に対して見える画像を表現するように決定することができる。

この過程において、サブピクセル１０２から放出された光線が属した光線方向が決定される場合、レンダリング装置は、コンテンツを決定する過程において、光線方向に属したユーザの眼に対してだけコンテンツを決定することができる。

レンダリング装置は、上述のような過程をパネル１０１に属する全てのサブピクセルに対して行って第１のユーザ５１０に優先的に３Ｄ画像を提供し、第２のユーザ６３０に対しても最大限に円滑に３Ｄ画像を提供できるようにする。

図１７は、本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。図１７を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングする（Ｓ１７１０）。ここで、「両眼の位置をピクセルに対応する視点領域にマッピングする」とは、ユーザの両眼の位置を、処理しようとするいずれか１つのピクセルを基準とする１つのビューコーンに該当する視点領域にマッピングするという意味として理解されてもよい。また、サブピクセル単位でレンダリングが行われる場合、図１７において記述した「ピクセル」はサブピクセルとして理解されてもよい。

レンダリング装置は、ステップＳ１７１０において、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、視点領域を複数のサブ視点領域に分割する（Ｓ１７２０）。レンダリング装置は、複数のサブ視点領域の中から第１のユーザのための第１のサブ視点領域のコンテンツを決定する（Ｓ１７３０）。

レンダリング装置は、第１のサブ視点領域のコンテンツに基づいて、複数のサブ視点領域の中から第２のユーザのための第２のサブ視点領域のコンテンツを決定する（Ｓ１７４０）。レンダリング装置は、ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、ピクセルの値を決定する（Ｓ１７５０）。

図１８は、本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。図１８を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置に基づいて、第１のユーザが立体画像を視聴するように第１のピクセルの値を決定する（Ｓ１８１０）。

レンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置の間の相関関係に基づいて、第２のユーザが立体画像に関連する画像を視聴するように第１のピクセル以外の第２のピクセルの値を決定する（Ｓ１８２０）。ここで、相関関係は、例えば、第１のユーザの両眼の位置と第２のユーザの両眼の位置が予め決定した視点領域にマッピングされる場合、マッピングされた位置が配置される順序及びマッピングされた位置の間の距離などを含んでもよい。

一例として、立体画像に関連する画像は立体画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像と同一の立体画像を視聴することができる。他の例として、立体画像に関連する画像は立体画像の左側の画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像の左の画像に該当する単画像を視聴する。また他の例として、立体画像に関連する画像は立体画像の右側の画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像の右側の画像に該当する単画像を視聴することができる。

また他の例として、立体画像に関連する画像は立体画像より左側の視点の立体画像であってもよい。この場合、第２のユーザの右眼に対しては、第１のユーザが視聴する立体画像の左側の画像が再生され、第２のユーザの左眼に対しては、第１のユーザが視聴する立体画像の左側の画像よりさらに左側の視点の画像が再生され得る。また他の例として、立体画像に関連する画像は立体画像より右側の視点の立体画像であってもよい。この場合、第２のユーザの左眼に対しては、第１のユーザが視聴する立体画像の右側の画像が再生され、第２のユーザの右眼に対しては、第１のユーザが視聴する立体画像の右側の画像よりさらに右側の視点の画像が再生され得る。

ステップＳ１８２０において、レンダリング装置は、例えば、第２のユーザの両眼の位置のうち少なくとも１つに立体画像の左側の画像又は右側の画像が再生されるように、第２のピクセルの値を決定する。本発明の実施形態は、ライトフィールドレンダリング装置で複数のユーザの両眼の位置に合うように画像を表現するレンダリングアルゴリズムを提供してもよい。

サブピクセル単位でレンダリングが行われる場合、図１８において記述した「ピクセル」はサブピクセルとして理解されてもよい。

図１９は、本発明の一実施形態に係るライトフィールドレンダリング装置の光学層がディスプレイの後面に位置する場合を示す図である。

図１９を参照すると、光学層のパララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）１９１０が透過型パネル１９３０の後面に位置するライトフィールドレンダリング装置が示されている。図１のパネル１０１に対する光学層１０３と同様に、透過型パネル１９３０に対する後面のパララックスバリア１９１０は、光学層のユニット位置１９１１とパネル１９３０のサブピクセル１９３１の位置関係を用いてパネル１９３０のサブピクセル１９３１から放出される光の方向を制限することができる。

この場合、レンダリング装置は、パララックスバリア１９１０に含まれたいずれか１つのユニット位置１９１１の光線方向と対応するパネル１９３０のサブピクセル１９３１を通過する光線方向１９５０が属したサブ視点領域に対応するコンテンツをユーザの両眼のうちいずれか１つに対応するように決定することができる。

図２０は、本発明の一実施形態に係るレンダリング装置のブロック図である。

図２０を参照すると、本発明の一実施形態に係るレンダリング装置２０００は、プロセッサ２０１０、センサ２０２０、及びメモリ２０３０を含む。プロセッサ２０１０、センサ２０２０、及びメモリ２０３０は、バス２０４０を介して通信する。
センサ２０２０は、第１のユーザ及び第２のユーザを撮影する。センサ２０２０は、例えば、画像センサであってもよい。プロセッサ２０１０は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をサブピクセルに対応する視点領域にマッピングし、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、サブピクセルの値を決定する。

少なくとも１つの本発明の実施形態によれば、プロセッサ２０１０は、第１のユーザに対する画像を表示するディスプレイの領域に関連する第１の視覚領域を決定する。

プロセッサ２０１０は、第２の視覚領域から第１の視覚領域に第２のユーザの眼の位置を変換する。

プロセッサ２０１０は、第２のユーザの変換された眼の位置及び第１のユーザの実際の眼の位置に基づいて領域の値を決定する。

プロセッサ２０１０は、領域が画像の対応する部分を表示するように決定された値を有するように画像をレンダリングする。

少なくとも１つの本発明の実施形態によれば、画像は、複数のビュー画像を含む立体画像であり、プロセッサ２０１０は、i）複数のビュー画像のうち少なくとも１つの画像、ii）変換された位置及び実際の位置の間の関係、及びiii）領域の光線方向（光線方向は、光線がディスプレイに関連する光学素子の中心を介して領域から通過する方向）に基づいて領域の値を決定する。

領域はピクセルであってもよく、第１の視覚領域はピクセルの第１のビューコーンであってもよい。第２の視覚領域はピクセルの第２のビューコーンであってもよい。

そうでなければ、領域はピクセルのサブピクセルであってもよく、第１の視覚領域はサブピクセルの第１のビューコーンであってもよい。第２の視覚領域はサブピクセルの第２のビューコーンであってもよい。
プロセッサ２０１０は、図１〜図１９において上述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行ってもよい。図に示さなかったが、レンダリング装置２０００はメモリをさらに含んでもよい。メモリはプロセッサ２０１０で決定されたサブピクセルの値を格納してもよい。メモリは揮発性メモリ又は非揮発性メモリであってもよい。

プロセッサ２０１０はプログラムを実行して、電子システムを制御する。プロセッサ２０１０によって実行されるプログラムコード（又は前記記述した動作及びアルゴリズムに対応するコンピュータ読み取り可能な命令）は、メモリに格納されてもよい。言い換えると、プロセッサ２０１０は、特殊目的プロセッサであってもよい。レンダリング装置２０００は、入出力装置（図示せず）を介して外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換してもよい。レンダリング装置２０００は、テレビ、スマートテレビなどの様々な電子システムを含んでもよい。

プロセッサ２０１０がセンサ２０２０及びメモリ２０３０と共に装置内にあると示しているが、本発明の実施形態はこれに限定されない。

例えば、プロセッサ２０１０は、バス２０４０を介してセンサ２０２０及びメモリ２０３０を含む外部装置とのインターフェースのための適切なデータインターフェース（ユニバーサルシリアルバスインターフェース（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ ｉｎｔｅｒｆａｃｅ）、高精細度マルチメディアインターフェース（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）など）を有したドングルに接続される別途の装置で実現してもよい。

また、センサ２０２０が外部装置の場合、プロセッサ２０１０及びメモリ２０３０はドングル内に実現されてもよい。

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現される。
例えば、本実施形態で説明した装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊眼的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合わせを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは伝達される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。前記記録媒体及びプログラム命令は、本発明の眼的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように、実施形態が限定された図面によって説明されたが、当技術分野における通常の知識を有する者であれば、前記の記載に基づいて様々な技術的修正及び変形が適用可能である。一例として、説明された技術が説明された方法と異なる順序で行われたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせたり、他の構成要素又は均等物によって代替、置換されても適切な結果が達成され得る。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１００：ライトフィールドレンダリング装置
１０１：パネル
１０３；光学層
１０４、１０５：複数の光漢元素
１１０：光線

Claims (30)

1. 複数のユーザのためのレンダリング方法であって、
   第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングするステップと、
   前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するステップと、
   を含み、前記第１のユーザの優先順位は、前記第２のユーザの優先順位よりも高く、
   前記ピクセルの値を決定するステップは、
   前記マッピングされた第１のユーザの両眼の位置に基づいて、第１のピクセルリソースを用いて前記第１のユーザのためのステレオ映像を表示し、前記ピクセルの値のうち、第１のピクセルリソースに対応するピクセルの値を第１の値として決定するステップと、
   前記マッピングされた第１のユーザの両眼の位置と、前記マッピングされた第２のユーザの両眼の位置とに基づいて、前記第１のピクセルリソース以外の残りのピクセルリソースを用いて、前記第２のユーザに対する映像を表示し、前記残りのピクセルリソースに対応するピクセルの値を第２の値として決定するステップと、
   を含む、レンダリング方法。
2. 前記視点領域は、パネルに属した前記ピクセルと光学層に属した光学素子のペアに対応するビューコーンを含む、請求項１に記載のレンダリング方法。
3. 前記マッピングするステップは、前記ピクセルと光学層に属する複数の光学素子との間の相対的な位置による繰り返し特性に基づいて、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置を前記視点領域にマッピングするステップを含む、請求項１又は２に記載のレンダリング方法。
4. 前記決定するステップは、
   前記ピクセルの光線方向が前記第１のユーザに対応する場合、前記第１のユーザの両眼の位置に立体画像が再生されるように前記ピクセルの値を決定するステップと、
   前記光線方向が前記第２のユーザに対応する場合、前記第２のユーザの両眼のうち少なくとも片方の眼の位置に前記立体画像の左側の画像又は右側の画像が再生されるように前記ピクセルの値を決定するステップと、
   を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
5. 前記光線方向は、前記ピクセル及び光学層に含まれた光学素子によって伝播される光線方向を含む、請求項４に記載のレンダリング方法。
6. 前記決定するステップは、
   前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
   前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
   を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
7. 前記決定するステップは
   前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
   前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
   を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
8. 前記決定するステップは、
   前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定するステップと、
   前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
   を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
9. 前記決定するステップは、
   前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
   前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
   を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
10. 前記決定するステップは、
    前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
    前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定するステップと、
    を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
11. 前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定するステップを含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
12. 前記決定するステップは、
    前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記視点領域を複数のサブ視点領域に分割するステップと、
    前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、前記ピクセルの値を決定するステップと、
    を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
13. 前記決定するステップは、
    前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定するステップと、
    前記第１のサブ視点領域のコンテンツに基づいて、前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定するステップと、
    をさらに含む、請求項１２に記載のレンダリング方法。
14. 複数のユーザのためのレンダリング方法であって、
    第１のユーザの両眼の位置に立体画像が再生されるように第１のピクセルの値を決定するステップと、
    前記第１のユーザの両眼の位置及び第２のユーザの両眼の位置の間の相関関係に基づいて、前記第２のユーザの両眼の位置に前記立体画像に関連する画像が再生されるように前記第１のピクセル以外の第２のピクセルの値を決定するステップと、
    を含み、前記第１のユーザの優先順位は、前記第２のユーザの優先順位よりも高く、
    前記第１のピクセルの値を決定するステップは、
    前記第１のユーザの両眼の位置に基づいて、第１のピクセルリソースを用いて前記第１のユーザのためのステレオ映像を表示し、前記第１のピクセルリソースに対応するピクセルの値を第１のピクセルの値として決定するステップを含み、
    前記第２のピクセルの値を決定するステップは、
    前記第１のユーザの両眼の位置と、前記第２のユーザの両眼の位置との相関関係に基づいて、前記第１のピクセルリソース以外の残りのピクセルリソースを用いて、前記第２のユーザに対する映像を表示し、前記残りのピクセルリソースに対応するピクセルの値を第２のピクセルの値として決定するステップを含む、レンダリング方法。
15. 前記立体画像に関連する画像は、
    前記立体画像と、
    前記立体画像の左側の画像と、
    前記立体画像の右側の画像と、
    前記立体画像より左側の視点の立体画像と、
    前記立体画像より右側の視点の立体画像と、
    のうち少なくとも１つを含む、請求項１４に記載のレンダリング方法。
16. 前記第２のピクセルの値を決定するステップは、前記第２のユーザの両眼の位置のうち少なくとも１つに前記立体画像の左側の画像又は右側の画像が再生されるように、前記第２のピクセルの値を決定するステップを含む、請求項１４又は１５に記載のレンダリング方法。
17. 前記相関関係は、前記第１のユーザの両眼の位置と前記第２のユーザの両眼の位置が予め決定した視点領域にマッピングされる場合、前記マッピングされた位置が配置される順序及び前記マッピングされた位置の間の距離のうち少なくとも１つを含む、請求項１４ないし１６のうちの何れか１項に記載のレンダリング方法。
18. 請求項１ないし請求項１７のうちいずれか１項に記載のレンダリング方法をレンダリング装置のコンピュータに実行させるコンピュータプログラム。
19. 複数のユーザのためのレンダリング装置であって、
    第１のユーザ及び第２のユーザを撮影するセンサと、
    前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングし、前記マッピングされた第１のユーザの 両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するプロセッサと、
    を含み、前記第１のユーザの優先順位は、前記第２のユーザの優先順位よりも高く、
    前記プロセッサは、
    前記マッピングされた第１のユーザの両眼の位置に基づいて、第１のピクセルリソースを用いて前記第１のユーザのためのステレオ映像を表示し、前記ピクセルの値のうち、第１のピクセルリソースに対応するピクセルの値を第１の値として決定し、
    前記マッピングされた第１のユーザの両眼の位置と、前記マッピングされた第２のユーザの両眼の位置とに基づいて、前記第１のピクセルリソース以外の残りのピクセルリソースを用いて、前記第２のユーザに対する映像を表示し、前記残りのピクセルリソースに対応するピクセルの値を第２の値として決定する、レンダリング装置。
20. 前記プロセッサは、
    前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
    前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
21. 前記プロセッサは、
    前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
    前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
22. 前記プロセッサは、
    前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定し、
    前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
23. 前記プロセッサは、
    前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
    前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
24. 前記プロセッサは、
    前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定し、
    前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
25. 前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
26. 前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて前記視点領域を複数のサブ視点領域に分割して、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
27. 前記プロセッサは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定し、前記第１のサブ視点領域のコンテンツに基づいて前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定する、請求項２６に記載のレンダリング装置。
28. プロセッサと、
    前記プロセッサによって実行されるコンピュータ読み取り可能な命令を含むメモリと、
    を含み、
    前記プロセッサは、
    第１のユーザに画像を見せるためのディスプレイの領域に関連する第１の視覚領域を決定し、
    第２のユーザの眼の位置を第２の視覚領域から前記第１の視覚領域に変換し、
    前記第２のユーザの眼の変換された位置及び前記第１のユーザの実際の眼の位置に基づいて領域のピクセルの値を決定し、前記第１のユーザの優先順位は、前記第２のユーザの優先順位よりも高く、
    前記プロセッサは、
    前記第１のユーザの実際の眼の位置に基づいて、第１のピクセルリソースを用いて前記第１のユーザに対するステレオ映像を表示し、前記領域のピクセルの値のうち、第１のピクセルリソースに対応するピクセルの値を第１の値として決定し、
    前記第２のユーザの眼の変換された位置と、前記第１のユーザの実際の眼の位置とに基づいて、前記第１のピクセルリソース以外の残りのピクセルリソースを用いて、前記領域のピクセルの値のうち、残りのピクセルリソースに対応するピクセルの値を第２の値として決定する、装置。
29. 前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されるとき、前記プロセッサに前記画像をレンダリングして前記領域が前記画像の一部に対応する部分を表示するように決定された値を有するようにする、請求項２８に記載の装置。
30. 前記画像は、複数のビュー画像及び前記コンピュータ読み取り可能な命令を含む立体画像であり、
    前記プロセッサによって実行されるとき、前記プロセッサに立体画像から複数の画像のうちの１つ以上の画像、変換された位置及び実際の位置の間の関係、及び領域の光線方向に基づいて領域の値を決定するようにし、
    前記光線方向は、
    ディスプレイに関連する光学素子の中心を介して前記領域から光線が通過する方向である、請求項２８に記載の装置。

Images