JP6050373B2 - サブピクセルをレンダリングする映像処理装置及び方法 - Google Patents

Description

下記の実施形態は映像処理装置及び方法に関し、視聴者（ｖｉｅｗｅｒ）の視聴位置を考慮してサブピクセルをレンダリングする映像処理装置及び方法に関する。

人の両眼に互いに異なる映像を表示する３Ｄ（３−ｄｉｍｅｎｓｉｏｎａｌ）ディスプレイは、メガネ式方式（ｓｔｅｒｅｏｓｃｏｐｉｃ）と無メガネ式方式（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）が存在する。メガネ式方式は、偏光を利用した映像分割、時分割、原色（ｐｒｉｍａｒｙ ｃｏｌｏｒ）の波長を相異にする波長分割などを用いて所望する映像をフィルタリングする方式である。この場合、視聴者がそれぞれの目に相異に分割された映像が類似にフィルタリングできるよう適切にデザインされたメガネを着用した場合、視聴者に３次元効果を提供することができる。そして、無メガネ式方式は、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）またはレンチキュラーレンズ（Ｌｅｎｔｉｃｕｌａｒ Ｌｅｎｓ）などを用いて各映像を特定の空間だけで見るえるようにする方式である。無メガネ式方式は、メガネ式方式で必要なメガネが使用されないため、視聴者に便利さを提供することができる。

特に、無メガネ式ディスプレイは、３Ｄ効果などを再生するために、他の方向から観察される他の映像を選択的に再生する複数のライトフィールドを表す一般的なライトフィールドを再生することのできるディスプレイを含んでもよい。

本発明の目的は、多視点ディスプレイ装置と光線再生（Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ）装置などを含むライトフィールド方式のディスプレイ装置に対して、視聴者の目の位置に応じてサブピクセルを調整する過程を提供する。また、ライトフィールド方式のディスプレイ装置は、メイン視聴領域の光線が隣接する領域に一定に繰り返される特徴を有するレンチキュラーレンズ、マイクロレンズアレイまたはバリアーアレイのような光学フィルタを用いたり、画素またはサブピクセルから出た光が一定の進行方向を有するプロジェクターのような装置を用いる。

一実施形態に係る映像処理装置は、ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するライトフィールド決定部と、前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツに関連する第２ライトフィールドに変換するライトフィールド変換部とを備える。

他の実施形態に係る映像処理装置は、視聴者の決定された位置に基づいてディスプレイに含まれたサブピクセルの代表光線を決定する代表光線決定部と、前記視聴者の決定された位置と前記サブピクセルの位置に基づいて基準情報を決定する基準情報決定部と、前記代表光線と基準情報に基づいて前記サブピクセルの信号レベルを調整するサブピクセルレンダリング部とを備える。

一実施形態に係る映像処理方法は、ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するステップと、前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換するステップとを含む。

他の実施形態に係る映像処理方法は、視聴者の決定された位置に基づいてディスプレイに含まれたサブピクセルの代表光線を決定するステップと、前記視聴者の決定された位置と前記サブピクセルの位置に基づいて基準情報を決定するステップと、前記代表光線と基準情報に基づいて前記サブピクセルの信号レベルを調整するステップとを含む。

本発明によると、レンチキュラーレンズ、マイクロレンズアレイまたはバリアーアレイのような光学フィルタを用いるライトフィールド方式のディスプレイ装置の場合、前述した視聴領域が繰り返される特徴を利用すれば、メイン視聴領域を狭くしてもサブ視聴領域の反復特性を用いることができる。このような過程によって、視聴者追跡を介して光線数リソースを節約しながら広い視聴領域を確保することができる。また、このような光学フィルタを用いて観測しようとする光線に隣接する光線が起こし得る光線間のクロストークも防止することができる。

また、視聴者の目の位置を検出して適応的にサブピクセルをレンダリングすることによって、視聴者の位置に応じる最適の視聴距離を設定することを必要とせず、視聴者はいかなる位置に存在するかに関係なく一定の品質以上の３Ｄ映像を視聴することができる。

ディスプレイ装置を示す図である。 一実施形態に係る映像処理装置の細部構成を示す図である。 他の実施形態に係る映像処理装置の細部構成を示す図である。 複数の方向に光線を出力するライトフィールドディスプレイを示す図である。 水平方向のディスプレイに含まれた２つの３Ｄ画素で出力された光線が視聴者の左眼及び右眼によって観察される例示を示す図である。 水平方向のディスプレイに含まれた一個の３Ｄ画素で出力された光線が視聴者の左眼及び右眼によって観察される例示を示す図である。 水平方向のディスプレイの３Ｄ画素を用いてサブピクセルの信号レベルを調整する過程を説明する図である。 サブピクセルから出力された中心光線が光学フィルタを通過した結果を示す図である。 サブピクセルから出力された中心光線で代表光線を決定する過程を示す図である。 水平方向のディスプレイのサブピクセルを用いてサブピクセルの信号レベルを調整する過程を説明する図である。 サブピクセルの応答特性を示す可視性グラフを示す図である。 サブピクセルの応答特性を示す可視性グラフを示す図である。 サブピクセルの応答特性を示す可視性グラフを示す図である。 サブピクセルの応答特性を示す可視性グラフを示す図である。 図１１Ａ〜Ｄの可視性グラフにおいて色別に同じ色を表示するサブピクセルのうち最大値を示す可視性グラフである。 図１１Ａ〜Ｄの可視性グラフにおいて同じ色を表示するサブピクセルのうち隣接するサブピクセル同士の和の最大値を示す図である。 図１２及び図１３の可視性グラフにおいてグリーンのサブピクセルをモデリングする結果を示す図である。 図１４に示されたグラフによってサブピクセルの信号レベルを調整する過程を説明する図である。 一実施形態に係る映像処理方法を示す図である。 他の実施形態に係る映像処理方法を示す図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。

参照情報は図面に基づいて説明される１つ以上の実施形態を具体化してもよい。参照番号は構成要素を参照する。一実施形態は異なる形態で実施されてもよく、以下にて説明する実施形態によって限定解釈されてはならない。したがって、以下の図面に基づいて説明される実施形態は本発明の様々な側面を説明する。

上記で説明したように、無メガネ式ディスプレイはメガネ式ディスプレイに比べて様々な長所を提供する。具体的に、無メガネ式ディスプレイは、解像度の低下を軽減しながらも視聴領域を広げたり、前方、後方、上下左右のような全ての方向に自然なディスパリティ（ｄｉｓｐａｒｉｔｙ）を提供しようとする要求を選択的に提供することができる。一方、無メガネ式ディスプレイは多くの短所がある。具体的に、視聴領域を広げるために複数の視点（ｖｉｅｗｓ）が求められ、決定された最適の視聴距離から離れた位置では映像の品質が急激に落ちるという問題がある。

ここで、一実施形態によると、無メガネ式ディスプレイは、一般的なライトフィールドを再生できる必須イメージディスプレイ（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｄｉｓｐｌａｙ）に追加的に少なくとも３つの視点映像を表示できる多重視点ディスプレイ（ｍｕｌｔｉｖｉｅｗ ｄｉｓｐｌａｙ）を含んでもよい。オブジェクトの表面上のいずれか一点から様々な方向に生成されたり反射される光を生成する実際のオブジェクトに類似するよう、必須イメージディスプレイは、パララックス再生映像と共に様々な方向に出力される光線またはライトフィールドを再生することができる。そして、必須イメージディスプレイは視聴距離が制限されることなく、視聴しようとする自然な映像を提供することができる。しかし、様々な方向への光の量が十分保障されることができない場合、必須イメージディスプレイはソリッド（ｓｏｌｉｄ）を表示することができない短所がある。また、様々な方向への間隔が十分狭くない場合、必須イメージディスプレイは自然な動きディスパリティを提供することが困難である。

それだけではなく、必須イメージディスプレイは視聴領域の保障も困難である。一実施形態によると、光線間の間隔、光線のフィールド間の間隔は必須イメージディスプレイに自然な場面を表示するための予め設定されたレベルよりも小さいか同一であってもよい。しかし、視聴領域を広げて光線間の間隔または光線のフィールド間の間隔を保持するために光線の個数が増加される場合、解像度が減少することがある。そして、多重視点ディスプレイは、異なる方向ごとに異なる視点を表示する光線が最適の視聴距離から離れた地点で視聴者によって視聴されるため、映像の表示が困難である。そして、光線の個数に応じて、多重視点ディスプレイはスムーズな映像変換のために要求される光線の狭い間隔及び視聴領域の拡張のために要求される光線の個数に応じて解像度が減少するという問題がある。

図１は、一実施形態に係るディスプレイ装置を示す図である。ディスプレイ装置は、センサ１０１、映像処理装置１０２、及びライトフィールドディスプレイ１０３を備える。ここで、装置という用語は、システムという用語に変更可能であり、説明される構成要素は実施形態によって１つまたは複数含んでもよい。例えば、センサ１０１は映像処理装置の内部または外部に存在してもよく、類似に、映像処理装置１０２はライトフィールドディスプレイ１０３を含むディスプレイ装置の内部または外部に存在してもよい。

ライトフィールドディスプレイ１０３は図４を参照して説明する。図４は、一実施形態によって複数の方向に光線を出力するライトフィールドディスプレイについて説明している。下記の図６〜８、図８〜９は追加的な用語説明を提供するために、図１に示す説明範囲内で説明されてもよい。

図４を参考すると、ライトフィールドディスプレイは、複数のサブピクセルを含むパネル４０１を含んでもよい。それぞれのサブピクセルからの光の光線は光学フィルタ４０２を介して通過してもよい。ここで、光学フィルタ４０２は、レンチキュラーレンズ、パララックスバリア、マイクロレンズアレイなどを含んでもよい。しかし、一実施形態は光学フィルタ４０２に限定されることなく、ライトフィールドディスプレイの前方または後方に配置されるいずれのタイプの光学フィルタを全て含んでもよい。ここで、光学フィルタ４０２は、複数のサブピクセルそれぞれから出力される光線４０３が通過する３Ｄ画素を含んでもよい。光学フィルタ４０２がライトフィールドディスプレイの前方に配置する場合、複数のサブピクセルそれぞれから出力された少なくとも１つの光線４０３は１つの３Ｄ画素に入力されてもよい。一実施形態によると、図８に示すように、１つの３Ｄ画素を通過する光線を有する複数のサブピクセルが存在してもよい。複数のサブピクセルそれぞれから出力された光線４０３は３Ｄ画素によって放出されてもよい。光学フィルタ４０２がライトフィールドディスプレイの後方に配置する場合、１つの３Ｄ画素から出力された光線は少なくとも１つのサブピクセルに入力されてもよい。少なくとも１つのサブピクセルそれぞれを通過する光線は、予め設定された方向に応じて外部に放出されてもよい。以上で説明した過程によってライトフィールドディスプレイは３次元映像を表現することができる。

例えば、光線４０３は１５×４方向により光学フィルタ４０２に含まれた１つの３Ｄ画素から出力されてもよい。ここで、１つの３Ｄ画素は、複数の方向により互いに異なる情報を有する光線４０３を出力してもよい。そして、複数の３Ｄ画素は３Ｄ空間で複数のポイントを表現してもよい。一実施形態において、１５個の横方向は横方向に１５個の潜在的なパララックス（ｐｏｔｅｎｔｉａｌ ｐａｒａｌｌａｘｅｓ）を表し、４個の縦方向は縦方向に４個の潜在的なパララックスを表してもよい。そして、４×１５方向のように同一に代替されてもよい。潜在的に、一実施形態によると、他のパララックス映像は、１つの３Ｄ画素のために光線４０３それぞれによって照射されてもよい。

図４を参照して説明すると、ディスプレイの前方空間に位置する特定のポイントにあらわれる１つ以上の光線４０３は、観察する位置に応じて互いに異なる潜在的な強度として観察されるため、光線４０３は横切る（ｔｒａｖｅｒｓａｌ）間に広さが拡張される効果を有する。例えば、光学フィルタ４０２がレンチキュラーレンズアレイである場合、もし、サブピクセルが生成した特定の明度（ｌｕｍｉｎａｎｃｅ）を有する光の光線がレンチキュラーレンズアレイの特定レンズの中心位置と一致する場合、光の光線は最小の反射及び明度を最大保持しながら特定レンズを通過することができる。そして、サブピクセルによって生成された光の光線がレンチキュラーレンズアレイの周辺部分（ｐｅｒｉｐｈｅｒｙ ｐｏｒｔｉｏｎ）と一致する場合、光線は実質的に多く反射されてより少ない明度を有しながら特定レンズを通過することができる。一実施形態によると、光学フィルタ４０２がレンチキュラーレンズである場合、光学フィルタ４０２を通過しながら最小限の明度の損失と最小限の反射を有する光の光線はサブピクセルから出力される光の最大強度を表す光の光線を意味する中心光線として説明され得る。

再び図８を参考すると、光学フィルタ８０２がレンチキュラーレンズアレイである場合、サブピクセルそれぞれから進行する複数の中心光線が光学フィルタ８０２のレンズそれぞれを通過する過程を説明している。一実施形態によると、図８は、１つのレンズを通過する中心光線を生成するものとして考慮される１２個のサブピクセルのグループが説明される。図８は、図１５を参照して説明するように、それぞれの明度レベルに依存して同じ色を有しながら、視聴者の目によって潜在的に観察され得る互いに異なるレンズまたは３Ｄ画素から出力される中心光線を説明する。

再び図４を参照して説明すると、ライトフィールドディスプレイのパネル４０１に含まれたサブピクセルから出力される中心光線の方向は、光学フィルタ４０２に基づいて決定されてもよい。予め設定された方向を有する複数の中心光線のうち、サブピクセルの位置及び中心光線を観察する視聴者の目の位置に依存する基準情報と同一であるか、またはほとんど類似の中心光線が決定されてもよい。図４を参照すると、ライトフィールドディスプレイのパネル４０１に含まれたサブピクセルから出力される中心光線が光学フィルタ４０２の３Ｄ画素を通過する場合、中心光線のいずれか１つの光線は基準光線または代表光線として決定されてもよい。ここで、図４において、３Ｄ画素を通過する光線４０３は中心光線として定義され、いずれか１つの光線４０３から観察される光の究極的な近接性（ｐｒｏｘｉｍｉｔｙ）及び視聴者の目の位置に基づいて中心光線のいずれか１つが代表光線として決定されてもよい。決定された代表光線に基づいてサブピクセルをレンダリングする過程が行われてもよい。

追加的な例示として、図５は、ライトフィールドディスプレイの２つの３Ｄ画素から横方向により光線が出力された後、視聴者の左眼及び右眼に観察されることについて説明する。

図５を参考すると、視聴者が３Ｄ空間で左眼５０２及び右眼５０３を用いてオブジェクト５０１を視聴する場合、３Ｄ画素５０４と３Ｄ画素５０５は複数の方向に光線を生成してもよい。３Ｄ画素５０４と３Ｄ画素５０５から出力された光線は左眼５０２と右眼５０３に見られる。

実際に、３Ｄ画素５０４と３Ｄ画素５０５から出力された光線のうち左眼５０２に直接的に到達したり、または左眼５０２にほとんど隣接する位置に到達する光線は、左眼５０２に対する代表光線として決定されてもよい。３Ｄ画素５０４と３Ｄ画素５０５から出力された光線のうち右眼５０３に直接的に到達したり、または右眼５０３にほとんど隣接する位置に到達する光線は右眼５０３に対する代表光線として決定されてもよい。

追加的に、図８は、サブピクセルから出力された複数の中心光線が光学フィルタを通過することを説明する。図８を参考すると、中心光線は、ライトフィールドディスプレイに含まれたサブピクセル８０１から出力されてもよい。中心光線は、サブピクセル８０１から出力された光線のうち視聴者によって観察され、明度の最大レベルを有する方向に出力される光線を意味する。ここで、中心光線が光学フィルタ８０２を通過する方向は、サブピクセル８０１に対する最適な視聴方向に定義されてもよい。ここで、少なくとも１つの中心光線はサブピクセル８０１から出力されてもよい。

サブピクセル８０１から出力された中心光線は、パララックスバリアまたはレンチキュラーレンズのような光学フィルタ８０２を通過してもよい。光学フィルタ８０２を通過する中心光線は、視聴者の目８０３に窮極的に認知されてもよい。上記で説明した３Ｄ画素は、中心光線が光学フィルタ８０２を通過する位置に対応する。

ここで、映像処理装置は、視聴者の目の位置に基づいてライトフィールドディスプレイに含まれたサブピクセル８０１から出力される中心光線のうち視聴者が認知できる中心光線に対応する代表光線を決定してもよい。ここで、代表光線は、光学フィルタ８２０によって予め設定された中心光線の方向に基づいて中心光線から決定されてもよい。光学フィルタ８２０が提供されない場合、代表光線はサブピクセル８０１から出力された中心光線から決定されてもよい。代表光線は、それぞれのサブピクセルごとに独立的に決定されてもよい。

追加的に図９は、サブピクセルから出力された複数の中心光線のうち代表光線を決定する過程を説明する。図９を参考すると、複数の中心光線は、複数のサブピクセルセットのうちレッドサブピクセル９０１から出力されてもよい。ここで、中心光線がライトフィールドディスプレイの光学フィルタ８０２を通過するとき、中心光線が進行する各方向を決定してもよい。例えば、３つの中心光線ａ_１、ａ_２、及びａ_３がレッドサブピクセル９０１から出力されると仮定する。すると、視聴者によって認知されることにより決定された中心光線は中心光線ａ_２である。ここで、サブピクセルから出力された特定中心光線は、視聴者の目９０３によって観察されてもよい。一方、同一のサブピクセルから出力された異なる中心光線は、視聴者の目９０３によって観察されない場合もある。

たとえ、中心光線ａ_２が視聴者の目９０３に直接的に到達できなくても、視聴者は中心光線ａ_２の幅（ｗｉｄｔｈ）のために中心光線ａ_２を認知することができる。再び説明するが、中心光線は、視聴者によって認知されて明度の最大レベルを示す光線を意味する。たとえ、中心光線が視聴者の目９０３に直接的に到達できなくても、中心光線の幅のために減少した明度のレベルを有する中心光線の光の一部が視聴者の目９０３に実質的に到達し得る。

したがって、映像処理装置は、中心光線ａ_２をレッドサブピクセル９０１に対する代表光線として識別してもよい。ここで、視聴者が動きにより視聴者の目９０３の位置が変更されると、レッドサブピクセル９０１の代表光線も再度変更されてもよい。上記で説明した処理過程にもかかわらず、映像処理装置はリアルタイムに視聴者の目９０３の位置を追跡することができ、追跡した視聴者の目９０３の位置に基づいてライトフィールドディスプレイに含まれた全てのサブピクセルに対する代表光線を決定することができる。

再度図１を参照して説明すると、センサ１０１は、ライトフィールドディスプレイ１０３によってコンテンツを視聴する視聴者の目の位置を測定する。ここで、センサ１０１は、視聴者の目を撮影して３次元の空間座標ｘ、ｙ、ｚを算出することのできるカメラを含んでもよい。一例として、カメラは、１つ以上の可視帯域カメラ、１つ以上の赤外線カメラ、および１つ以上の深度カメラのうち少なくとも１つを含んでもよい。ここで、カメラは、ライトフィールドディスプレイ１０３に挿入されたり、または取り付けられてもよい。一実施形態において、目の３次元位置を探知した結果のように、目が探知可能な空間にあると判断される場合、最適の視聴距離とは関係なく、３次元位置で視聴されるサブピクセルを適応的にレンダリングすることによって３Ｄ映像は自由に視聴され得る。また、所望する光線に隣接する光線により発生する光線間のクロストークも防止できる。

映像処理装置１０２は、３Ｄ効果のために視聴者に同時的に表示される他のイメージを示す複数の画素信号／画素値を生成してもよい。ここで、生成された複数の画素信号／画素値は、視聴者の目の位置に適するライトフィールドに対応する視点イメージを表示してもよい。

再び図９を参考すると、映像処理装置は視聴者の目９０３とレッドサブピクセル９０１を連結する仮想線に対応する基準情報９０４と代表光線ａ_２間の差に基づいてレッドサブピクセル９０１をレンダリングしてもよい。特に、代表光線ａ_２の角度と視聴者の目９０３とレッドサブピクセル９０１を連結する仮想線の角度の差に基づいてレッドサブピクセル９０１の画素値が調整されてもよい。

図６は、ライトフィールドディスプレイの１つの３Ｄ画素から水平方向により出力される光線と前記光線が視聴者の左眼及び右眼を介して観察される過程を説明する。図６に示すように、１つの３Ｄ画素６０１から光線が出力されるとき、パララックスメイン領域に対応する光線部分が視聴者の左眼６０２に到達してもよい。ここで、パララックスサブ領域に対応する光線部分が視聴者の右眼６０３に到達してもよい。これによって、図６は、パララックスメイン領域に隣接して形成され得るパララックスサブ領域に対応する光線を用いてライトフィールドを構成することで、実際の視聴角度を拡張できるよう狭いパララックスメイン領域を有するディスプレイ装置を示す。また、図６は、１つの３Ｄ画素６０１から出力された光線のうち視聴者の左眼６０２及び右眼６０３に見られる光線を説明する。ライトフィールドディスプレイに含まれた全ての３Ｄ画素に対して、視聴者の２つの目に見られる光線が決定されるとき、映像処理装置は視聴者の２つの目に見られる映像を決定してもよい。

言い換えれば、視聴者の目の位置が決定されるとき、映像処理装置は視聴者の目に見えられる光線を識別することができる。映像処理装置は視聴者が自然な３Ｄ映像を見ることができるよう、視聴者の目の位置に基づいて視聴者の目に見えられる光線に適切な画素値を割り当ててもよい。

再度、図１に基づいて説明すると、映像処理装置１０２は、視点映像が視聴者によって視聴される場合に視聴者の目の位置に対応するライトフィールドを決定する。そして、映像処理装置１０２は、決定したライトフィールドをライトフィールドディスプレイ１０３が表現することのできるライトフィールドに変換されてもよい。ここで、ライトフィールドの変換過程は、ライトフィールドディスプレイ１０３に表示され得るより少ない数のライトフィールドよりも多いライトフィールドを表現するためのサンプリング過程を意味する。ここで、複数の画素信号／画素値を調整する過程は、複数の画素信号／画素値を生成することに含まれたり、または、３Ｄ効果を生成するためにライトフィールドディスプレイに表示される他のイメージを考慮する前、または考慮した後に実行されてもよい。

最終的に、変換されたライトフィールドは、ライトフィールドディスプレイ１０３に表現されてもよい。それで、視聴者は、視聴位置と関係がなくライトフィールドディスプレイ１０３によって所望する３次元映像を視聴することができる。すなわち、視聴者が位置を移動してコンテンツを視聴しても、映像処理装置１０２は変更された視聴者の位置に適切な視点映像を表現することができる。

図２は、一実施形態に係る映像処理装置の細部構成を示す図である。図２を参考すると、映像処理装置２００は、ライトフィールド決定部２０１及びライトフィールド変換部２０２を備える。

ライトフィールド決定部２０１は、ディスプレイに表現されるコンテンツを視聴しようとする視聴者の目の位置に対応するライトフィールドを決定する。一例として、ライトフィールド決定部２０１は、視聴者の目の位置に基づいてディスプレイに含まれたサブピクセルから出力される中心光線のうち、視聴者が認識することのできる中心光線の代表光線を用いて第１ライトフィールドを決定する。視聴者の目の位置は、図１に示すセンサによって持続的に追跡され得る。

ここで、中心光線は、サブピクセルから出力された複数の光線のうち最適の視聴方向の光線を意味し、代表光線は視聴者が他の位置に移動するとしても、サブピクセルの中心光線のうち視聴者の変更された位置に基づいて視聴者の目に最も容易に観察され得る中心光線を意味する。

すなわち、中心光線はサブピクセルから出力される少なくとも１つの中心光線は、視聴者の目の位置に応じて決定される代表光線の候補群を意味する。もし、サブピクセルから出力される中心光線の方向がディスプレイの前面に配置された光学フィルタによって予め決定される場合、代表光線はサブピクセルから出力される複数の中心光線のうち予め決定された方向から選択されてもよい。もし、サブピクセルから出力される中心光線がディスプレイの後面に配置された光学フィルタから発生した光の方向によって少なくとも１つの方向に決定される場合、代表光線はサブピクセルから出力される複数の中心光線のうち少なくとも１つの方向から選択されてもよい。

したがって、ライトフィールド変換部２０２は、視聴者の目の位置に基づいて決定されたライトフィールドをディスプレイで表現しようとするコンテンツに関連するライトフィールドに変換してもよい。一例として、ライトフィールド変換部２０２は、ディスプレイに含まれたサブピクセルの位置と視聴者の目の位置を用いてサブピクセルの基準情報を生成する。その後、ライトフィールド変換部２０２は、基準情報と代表光線を用いて決定されたライトフィールドをディスプレイで表現しようとするコンテンツと関連するライトフィールドに変換してもよい。ライトフィールドディスプレイが物理的に表現できるライトフィールドは制限的であるため、視聴者が認知することのできるライトフィールドがディスプレイで表現しようとするコンテンツと関連するライトフィールドに変換する必要がある。ここで、表示されるライトフィールドは、複数の視点映像に表現されるコンテンツから選択され得る。

具体的に、ライトフィールド変換部２０２は、サブピクセルの位置と視聴者の目の位置とを連結した仮想線の基準情報の角度と代表光線の角度との間の差を用いて決定されたライトフィールドをディスプレイで表現しようとするコンテンツと関連するライトフィールドに変換してもよい。ここで、サブピクセルの基準情報は、サブピクセルの水平方向の位置と視聴者の目の水平方向の位置とを連結する基準情報を含んでもよい。または、サブピクセルの基準情報は、サブピクセルの垂直方向の位置と視聴者の目の垂直方向の位置とを連結する基準情報を含んでもよい。

ここで、ライトフィールドの変換過程は、サブピクセルのレンダリングによって行われてもよい。具体的に、ライトフィールドの変換過程は、基準情報の角度と代表光線の角度との間の差に基づいて行われてもよい。ライトフィールド変換部２０２は、仮想線の角度と代表光線の角度との間の差をサブピクセルごとに設定された可視性情報に適用することによって、サブピクセルごとに明度値を調整する。このようなライトフィールドの変換過程は、視聴者の左眼と右眼に対してリアルタイムで行われてもよい。

具体的に、代表光線は、サブピクセルから最適の明度を示す中心光線のうち１つを意味する。視聴者の目の位置とサブピクセルの位置とを連結した基準情報が代表光線と一致しなければ、ライトフィールド変換部２０２は、サブピクセルごとに設定された最大の明度値である可視性情報を増加させることによってサブピクセルをレンダリングする。すなわち、ライトフィールド変換部２０２は、基準情報と代表光線との間の差が増加するほど、サブピクセルの明度値を増加させる。ここで、実際信号値はその範囲があることから増加にはその限界があるため、サブピクセルの明度値が最大に増加した場合について元の明度値に表現され、明度値が最大ではない程度で増加した場合は最大に増加した場合と比例して増加させる。

実施形態に係る映像処理装置２００は、前述した決定されたライトフィールドをライトフィールドディスプレイに表現されるコンテンツと関連する有限な数のライトフィールドに変換する場合に発生し得る色の歪曲を補正する。一方、映像処理装置２００は、前述した決定されたライトフィールドをライトフィールドディスプレイに表現されるコンテンツと関連する有限な数のライトフィールドに変換する場合に発生し得る画面内の輝度の不均一（モアレ）などを補正する。

図３は、他の実施形態に係る映像処理装置の細部構成を示す図である。図３を参考すると、映像処理装置３００は、代表光線決定部３０１、基準情報決定部３０２及びサブピクセルレンダリング部３０３を備える。

代表光線決定部３０１は、視聴者の目の位置を用いてディスプレイに含まれたサブピクセルの代表光線を決定する。一例として、代表光線決定部３０１は、視聴者の目の位置を用いてサブピクセルで光学フィルタによって出力される中心光線のうち視聴者が認識することのできる中心光線をサブピクセルの代表光線に決定する。

ここで、中心光線は、サブピクセルの中心点から最大の明度を示す方向に出力されてもよい。そして、代表光線は、サブピクセルの位置から視聴者の目の位置への方向に一致したり、または、サブピクセルの位置から視聴者の目の位置への方向に最も隣接する中心光線を含んでもよい。サブピクセルの中心光線は、視聴者の目に直接的に一致しなくても、視聴者の目に最も容易に測定され得る。

基準情報決定部３０２は、視聴者の目の位置とサブピクセルの位置を用いて基準情報を決定する。一例として、基準情報決定部３０２は、視聴者の目の位置とサブピクセルの位置とを連結した仮想線を基準情報として決定する。ここで、一例として、基準情報決定部３０２は、サブピクセルの水平方向の位置と視聴者の目の水平方向の位置とを連結した仮想線、または、サブピクセルの垂直方向の位置と視聴者の目の垂直方向の位置とを連結した仮想線のうち少なくとも１つを用いて基準情報を決定してもよい。

サブピクセルレンダリング部３０３は、代表光線と基準情報を用いてサブピクセルの信号レベルを調整する。一例として、サブピクセルレンダリング部３０３は、代表光線と基準情報とを比較した角度差を用いてサブピクセルの信号レベルを調整してもよい。サブピクセルレンダリング部３０３は、基準情報の仮想線と代表光線との間の角度差をサブピクセルごとに設定された可視性情報に適用することでサブピクセルごとに明度値を調整してもよい。このようなサブピクセルのレンダリング過程は、視聴者の左眼と右眼の全てに対してリアルタイムで行われてもよい。

そして、サブピクセルレンダリング部３０３は、サブピクセルによって表現されるコンテンツが視聴者の左眼または右眼のうち少なくとも１つに見えるかの有無に応じて、視聴者の左眼に関連してサブピクセルの信号レベルを調整したり、または、視聴者の右眼に関連してサブピクセルの信号レベルを調整する。

図７は、水平方向のディスプレイの３Ｄ画素を用いてサブピクセルの信号レベルを調整する過程を説明する図である。図７は、視聴者の目の位置を考慮してサブピクセルをレンダリングする過程を３Ｄ画素を基準として説明する。ここで、サブピクセルをレンダリングする過程はサブピクセルの信号レベルを調整することを意味する。

図７において、３Ｄ画素７０１の座標をａ_ｉ、ｏ、視聴者の右眼７０２の座標をｘ、ｚとする。ここで、３Ｄ画素７０１から右眼７０２に向かう直線の傾きは下記の数式（１）によって決定される。

ここで、α_ｉは３Ｄ画素７０１から右眼７０２に向かう直線の傾きを意味する。映像処理装置はα_ｉを用いて３Ｄ画素７０１から出力された光線のうち視聴者の右眼７０２に見える光線を決定する。そして、映像処理装置は、視聴者の右眼７０２に見える光線を表現するサブピクセルを決定する。それだけではなく、映像処理装置は視聴者の右眼７０２に見える光線の傾きがα_ｉといかなる差があるかに応じてサブピクセルにどの値を割り当てるかを決定する。ここで、３Ｄ画素７０１から出力された光線は３Ｄ画素７０１で最大の明度（Ｍａｘ Ｂｒｉｇｈｔｎｅｓｓ）を維持する中心光線を意味し、視聴者の右眼７０２に見える光線は３Ｄ画素７０１の代表光線であり得る。

映像処理装置はα_ｉと最も類似の光線を出力するサブピクセルｐ_ｉは下記の数式（２）によって決定される。

ここで、

はサブピクセルｐ_ｉを決定する関数を意味する。

それで、ａ_ｉ、ｏに位置する３Ｄ画素から出力された光線の傾きとα_ｉの差によって発生するサブピクセルｐ_ｉの信号レベルの調整程度ｒ_ｉは下記の数式（３）によって決定される。

そして、α_ｉによりディスプレイに表現されるコンテンツｃ_ｉは下記の数式（４）によって決定される。

実際、ディスプレイに含まれたサブピクセルｐ_ｉは、数式（５）によってコンテンツｃ_ｉのｐ_ｉ位置に対応する値と信号レベルの調整程度ｒ_ｉを用いて決定される。

前述した事項はディスプレイが水平方向の視差だけを実現する場合を仮定したものであり、ディスプレイが水平方向と垂直方向の視差を全て実現する場合も類似に適用され得る。

垂直方向に配置されたディスプレイの３Ｄ画素０、ｂ_ｉで視聴者の右眼に向かう直線の傾きβ_ｉは下記の数式（６）によって決定される。

もし、映像処理装置が数式（１）によって導き出されたα_ｉと数式（６）によって導き出されたβ_ｉに対して、最も類似の光線を出力するサブピクセルｐ_ｉは下記の数式（７）によって決定される。

ここで、

はサブピクセルｐｉを決定する関数を意味する。これによって、ａ_ｉ、ｂ_ｉに位置する３Ｄ画素を通過する光線の傾きと傾きα_ｉ及びβ_ｉの差によって発生するサブピクセルｐ_ｉの信号レベルの調整程度ｒ_ｉは下記の数式（８）によって決定される。

そして、α_ｉ及びβ_ｉによってディスプレイに表現されるコンテンツｃ_ｉは下記の数式（９）によって決定される。

実際、ディスプレイに含まれたサブピクセルｐ_ｉは、数式（１０）によりコンテンツｃ_ｉのｐ_ｉ位置に対応する値と信号レベルの調整程度ｒ_ｉに決定される。

前述した演算過程は視聴者の目の位置が決定されれば、ディスプレイを構成している全ての３Ｄ画素で独立的に算出されるため、演算過程の並列化によって処理速度を向上させることができる。

図８を参照すると、映像処理装置は、視聴者の目の位置に基づいてディスプレイに含まれたサブピクセル８０１から出力される中心光線のうち、視聴者が認識することのできる中心光線の代表光線を決定する。ここで、代表光線は、光学フィルタ８２０によって進行方向が決定された中心光線から決定されてもよい。もし、光学フィルタ８２０が存在しなければ、代表光線はサブピクセル８０１から出力された中心光線から決定してもよい。代表光線は、サブピクセル８０１ごとに独立的に決定されてもよい。ここで、サブピクセル８０１から出力された中心光線が光学フィルタ８０２のどのような位置を通過するか否かに応じて視聴者が認識することのできる領域に到達することが変わる。

再び図９に示すように、サブピクセル９０１の集合のうち、レッド（Ｒｅｄ）サブピクセルから複数の中心光線が出力されてもよい。ここで、出力された中心光線の進行方向は、ディスプレイの光学フィルタ９０２を通過しながら決定される。レッドサブピクセルから３つの中心光線ａ_１〜ａ_３が出力されると仮定すれば、視聴者が認識することのできる中心光線はａ_２となる。すなわち、サブピクセルから出力された中心光線は視聴者の目９０３に到達したり、または、視聴者の目９０３に遠く離れる。

ここで、中心光線ａ_２は視聴者の目９０３に直接到達しないものの、中心光線ａ_２が有している光線幅に応じて視聴者は中心光線ａ_２を認識することができる。中心光線は、視聴者が認識することのできる最大の明度を示す光線である。すなわち、中心光線が視聴者の目９０３に直接到達しなくても中心光線の光線幅によって視聴者の目９０３に一定レベルの明度を有する中心光線から光の量が到達し得る。

それで、映像処理装置は、視聴者の目９０３とレッドを示すサブピクセル９０１を連結する仮想線の基準情報９０４と代表光線ａ_２との差を用いてレッドサブピクセルをレンダリングしてもよい。具体的に、視聴者の目９０３とレッドを示すサブピクセル９０１を連結する仮想線と代表光線ａ_２との間の角度差を用いてレッドサブピクセルの画素値を調整する。サブピクセルの画素値を調整する過程は、図１１Ａ〜Ｄ〜図１５を参照して具体的に説明する。

図１０は、水平方向のディスプレイのサブピクセルを用いてサブピクセルの信号レベルを調整する過程を説明する図である。図１０は、視聴者の目の位置を考慮してサブピクセルをレンダリングする過程をサブピクセルを基準にして説明する。ここで、サブピクセルをレンダリングする過程はサブピクセルの信号レベルを調整することを意味する。

図１０において、サブピクセル１００１の座標をｍ_ｉ、ｏ、視聴者の右眼１００２の座標をｘ、ｚとする。ここで、サブピクセル１００１から右眼１００２に向かう直線の傾きは下記の数式（１１）によって決定される。

ここで、μ_ｉはサブピクセル１００１から右眼１００２に向かう直線の傾きを意味する。もし、サブピクセル１００１から出力された光線が最も近い光学フィルタを通過した後の直線の傾きをμ_ｉ０と仮定してもよい。すると、サブピクセル１００１から出力された光線が光学フィルタを通過するためには傾きμ_ｉ０＋ｋδｕと表現される。ここで、ｋは整数である。

映像処理装置は、μ_ｉを用いてサブピクセル１００１から出力された光線のうち視聴者の右眼１００２に見える光線を決定する。ここで、サブピクセル１００１から出力された光線はサブピクセル１００１において最大の明度（Ｍａｘ Ｂｒｉｇｈｔｎｅｓｓ）を示す中心光線を意味し、視聴者の右眼１００２に見える光線はサブピクセル１００１の代表光線ｕ_ｉであってもよい。代表光線ｕ_ｉは下記の数式（１２）によって決定される。

すると、傾きμ_ｉとｍ_ｉ、ｏに位置するサブピクセル１００１から出力された代表光線ｕ_ｉの差によって、サブピクセル１００１の信号レベルの調整程度ｒ_ｉは下記の数式（１３）によって決定される。

そして、μ_ｉによりディスプレイに表現されるコンテンツｃ_ｉは下記の数式（１４）によって決定される。

実際、ディスプレイに含まれたサブピクセル１００１は数式（１５）によってコンテンツｃ_ｉを表現する。

前述した事項は、ディスプレイが水平方向の視差だけを実現する場合を仮定したものであり、ディスプレイが水平方向と垂直方向の視差を全て実現する場合も類似に適用され得る。

垂直方向に配置されたディスプレイのサブピクセル０、ｎ_ｉから視聴者の右眼に向かう直線の傾きν_ｉは下記の数式（１６）によって決定される。

サブピクセル１００１から出力された光線が最も近い光学フィルタを通過した後の水平方向の傾きμ_ｉ０であり、垂直方向の傾きν_ｉ０である。そして、サブピクセル１００１から出力された光線が光学フィルタを通過することのできる水平方向の傾きμ_ｉ０＋ｋδｕであり、垂直方向の傾きν_ｉ０＋ｌδｕという。ここで、ｋとｌは整数である。ここで、映像処理装置はμ_ｉとν_ｉに類似するｕ_ｉとｖ_ｉが下記の数式（１７）によって導き出される。

映像処理装置は数式（１８）によってμ_ｉとν_ｉに類似するｕ_ｉとｖ_ｉの差を用いてサブピクセル１００１の信号レベルの調整程度ｒ_ｉを決定する。

サブピクセル１００１によって表現されるコンテンツは下記の数式（１９）によって決定される。

映像処理装置は数式（１８）で導き出されたｒ_ｉと数式（１９）によって導き出されたｃ_ｉを用いて数式（２０）によってサブピクセル１００１が表示しなければならない信号
を決定する。

前述した演算過程は視聴者の目の位置が決定されれば、ディスプレイを構成している全てのサブピクセルで独立的に算出されるため、演算過程の並列化によって処理速度を向上させることができる。

映像処理装置は視聴者の目の位置が決定されたとき、前記過程によってそれぞれのサブピクセルが表現しなければならない信号を決定する。ここで、サブピクセルが表現しなければならない信号は視聴者の両眼に対して独立的に決定される。

ただし、１つのサブピクセルが視聴者の両眼に全て見られれば、それぞれの目に対応する信号を最大値、最小値、または、平均値などを出力する演算過程によって最終的にサブピクセルが表現しなければならない信号を決定する。このような過程は下記の数式（２１）によって決定される。

ここで、ｖ_ｉＬは左眼に対してサブピクセルが表現しなければならない信号の画素値を意味し、ｖ_ｉＲは右眼に対してサブピクセルが表現しなければならない信号の画素値を意味する。そして、ｆ_{ｓｔｅｒｅｏ}はｖ_ｉＬとｖ_ｉＲの最大値、最小値、または平均値を導き出すための関数を意味する。Ｖ_ｉは両眼に対してサブピクセルが表現しなければならない最終的な信号を意味する。

一例として、視聴者の両眼で同一のサブピクセルが画素値を調整すべきものと決定された場合、映像処理装置はサブピクセルの画素値ｗ_ｉＬとサブピクセルの画素値ｗ_ｉＲのうち大きい側の画素値にサブピクセルの画素値を調整する。例えば、ｗ_ｉＬ＜ｗ_ｉＲの場合、映像処理装置はサブピクセルの画素値をｗ_ｉＲに基づいて調整してもよい。

他の例として、映像処理装置は、サブピクセルの画素値ｗ_ｉＬとサブピクセルの画素値ｗ_ｉＲのうち小さい側の画素値にサブピクセルの画素値を調整してもよい。例えば、ｗ_ｉＬ＜ｗ_ｉＲの場合、映像処理装置はサブピクセルの画素値をｗ_ｉＬに基づいて調整してもよい。

更なる例として、映像処理装置は、サブピクセルの画素値ｗ_ｉＬとサブピクセルの画素値ｗ_ｉＲの平均値を算出し、算出された平均値に基づいてサブピクセルの画素値を調整してもよい。例えば、映像処理装置はサブピクセルの画素値を

に基づいて調整してもよい。

図１１Ａ〜図１１Ｄは、サブピクセルの応答特性を示す可視性グラフを示す図である。

サブピクセルのレンダリングにおいて、サブピクセルの信号レベルの調整程度は、ディスプレイの特性のライトフィールドの分布モデルによって決定され、サブピクセルによって表現される色を均一にするためにサブピクセルの信号レベルの調整程度は図１１Ａ〜Ｄ〜図１５によって決定される。

図１１Ａ〜図１１Ｄに示されたグラフは、１２個のサブピクセルからなるサブピクセルグループでサブピクセルそれぞれに対する視聴者の視聴角度別の応答特性を示す。図１１Ａ〜図１１Ｄに示されたグラフは、サブピクセルそれぞれの輝度を同じ色同士にグループ化して最大値に正規化することによって導き出された視認性情報を示す。図１１Ａ〜図１１Ｄにおいて、１２個のサブピクセルはグリーン色のサブピクセルＧ１、Ｇ４、Ｇ７、Ｇ１０、レッド色のサブピクセルＲ２、Ｒ５、Ｒ８、Ｒ１１、およびブルー色のサブピクセルＢ３、Ｂ６、Ｂ９、Ｂ１２のようにそれぞれ分類され得る。

図１１Ａ〜Ｄを参考すると、視聴者の視聴方向がディスプレイ面に垂直な方向からの角度が大きくなるほど輝度値が小さくなる。言い換えれば、視聴者の視聴方向がサブピクセルの含まれたディスプレイ面の法線方向から角度が大きくなるほど、視聴者はサブピクセルによって出力された信号の輝度が小さくなることを認知することができる。

特に、図１１Ａ〜Ｄに示されたサブピクセルの応答特性は約１５度の周期で最大値を示す。最大値を示す角度は、ディスプレイ装置の特性に応じて変わり得る。ここで、各サブピクセルに対して応答特性が最大値を示す方向がサブピクセルの最適な視聴方向である。そして、サブピクセルの応答特性が最大値を示す方向に出力された光線は中心光線を意味する。すなわち、図１１Ａ〜Ｄにおいて、視認性情報がピークをなす方向に出力された光線が中心光線を意味する。また、各サブピクセルごとに少なくとも１つの中心光線が存在してもよい。

図１２は、図１１Ａ〜Ｄの可視性グラフで色ごとに同じ色を表示するサブピクセルのうち最大値を示す可視性グラフである。図１２に示すように、同じ色を表示するサブピクセルの最大値は、特定の方向に対して１つのサブピクセルをターンさせたとき最大に示す正規化された輝度値を意味する。ここで、特定方向は視聴者がサブピクセルをみる視聴方向を意味する。最適な視聴方向は、サブピクセルが最大である明度を示す視聴方向を意味する。すなわち、特定方向と一致したり最も類似の最適な視聴方向を有するサブピクセルが選択される。

図１２に示すように、同じ色を表示するサブピクセルの最大値は方向によって異なるため、サブピクセルの輝度に対する補正が必要である。すなわち、補正過程がなければ、視聴者はサブピクセルの位置に応じて各色の明度は相異に見え、ディスプレイによって表現された映像では色が不均一になる。

すなわち、視聴者が動いて視聴者の目の位置が変更されてもサブピクセルの出力信号が変更されなければ、視聴者が視聴する映像の色は不均一である。したがって、視聴者の目の位置に応じてサブピクセルが表現する信号を調整する必要がある。

図１３は、図１１Ａ〜Ｄに示す可視性グラフで同じ色を表示するサブピクセルのうち隣接するサブピクセル同士の和の最大値を示す図である。図１３に示された輝度値は、特定方向と最適な視聴方向が最も近い２つのサブピクセルをターンさせたときに示される値を意味する。図１３のグラフは、図１１Ａ〜Ｄに示すグラフより振幅が相当減少したことが分かる。

図１２および図１３に示された可視性情報の特性を用いてサブピクセルが均一に表現する色の表現特性を導き出すためには、信号の変化を補償するための信号調整の比率を用いてもよい。信号調整の比率はディスプレイの特性に応じて決定されてもよく、図１２および図１３の可視性情報をモデリングすることによって決定されてもよい。

図１４は、図１２及び図１３の可視性グラフにおいて、グリーン（Ｇｒｅｅｎ）のサブピクセルをモデリングする結果を示す図である。図１４において、Ｇｍａｘは、図１２に示された可視性情報のうちグリーンに関連する可視性情報を意味する。Ｇ２ｍａｘは、図１３に示された可視性情報のうちグリーンに関連する可視性情報を意味する。

そして、ＧｍｏｄｅｌはＧｍａｘにコサイン関数を適用した可視性情報を意味し、Ｇ２ｍｏｄｅｌは、Ｇ２ｍａｘにコサイン関数を適用した可視性情報を意味する。映像処理装置は、ＧｍａｘとＧｍｏｄｅｌ間の類似性、およびＧ２ｍａｘとＧ２ｍｏｄｅｌ間の類似性に基づいてサブピクセルの輝度値に関連される信号調整の比率を決定する。

この結果、ディスプレイに含まれた各サブピクセルの信号レベルを均一することがでいる。すなわち、各サブピクセルの信号レベルが全体的に均一になりつつ、コンテンツの元の輝度及び色の表現を可能にする。

図１５は、図１４に示されたグラフによってサブピクセルの信号レベルを調整する過程を説明する図である。

映像処理装置は、特定方向と最適の視聴方向が近い４個のサブピクセルを選択するとき、Ｒ、Ｇ、Ｂのうち少なくとも１つのサブピクセルを２つ選択してもよい。ここで、選択されたサブピクセルは、他の種類のサブピクセルに比べて最適な視聴方向とサブピクセルの表現方向の差が大きい。例えば、レッド２つ、グリーン１つ、ブルー１つが選択されたり、レッド１つ、グリーン２つ、ブルー１つが選択されたり、または、レッド１つ、グリーン１つ、ブルー２つが選択されてもよい。

例えば、視聴者の視聴方向が（２）、（３）領域にあれば、グリーンサブピクセルは１つが選択されてＧｍａｘのような応答特性を導出する。そして、視聴者の視聴方向が（１）、（４）領域にある場合にグリーンサブピクセルは２つが選択され、Ｇ２ｍａｘのような応答特性を導出する。すなわち、１つの放物線が１つのサブピクセルと対応するとするとき、（２）、（３）領域は１つのサブピクセルだけが選択される。しかし、（１）、（４）領域は２つの放物線が含まれるため、（１）、（４）領域は隣接する同じ色の２つのサブピクセルが選択される。

このような応答特性を用いてサブピクセルの信号レベルを補償するために、モデリングする結果に基づいてＧ ｍｏｄｅｌ ｉｎｖ、Ｇ ２ｍｏｄｅｌ ｉｎｖを決定する。決定されたＧ ｍｏｄｅｌ ｉｎｖは領域（２）、（３）領域に視聴者の視聴方向が位置する場合に対してサブピクセルの信号レベルを補償するための信号調整の比率に用いられてもよい。そして、Ｇ２ ｍｏｄｅｌ ｉｎｖは（１）、（４）領域に視聴者の視聴方向が位置する場合に対してサブピクセルの信号レベルを補償するための信号調整の比率に用いられてもよい。

ここで、映像処理装置は１つの信号調整関数を用いてもよい。この信号調整関数は、（１）、（４）領域でＧ ２ｍｏｄｅｌ ｉｎｖ関数値を信号調整の比率にし、（２）、（３）領域でＧ ｍｏｄｅｌ ｉｎｖ値を信号調整の比率にする関数に決定されてもよい。ここで、サブピクセルの信号レベルを１よりも大きく調整することができないため、決定された信号調整関数で信号調整の比率の最大値が１になるように正規化して用いることができる。すなわち、視聴者の目の位置に応じて、視聴者の視聴方向が（１）、（２）、（３）、（４）の領域のいずれかの領域に属するかの有無が決定される。そして、決定された領域に基づいて該当の領域に関連するサブピクセルの最大輝度値はＧ ｍｏｄｅｌ ｉｎｖ、Ｇ ２ｍｏｄｅｌ ｉｎｖのいずれか１つによって決定された比率だけ減少する。

図１６は一実施形態に係る映像方法を示す図である。図１６に示すように、ステップＳ１６０１において、映像処理装置はディスプレイに表現されたコンテンツを視聴する視聴者の目の位置に対応するライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）を決定する。一例として、映像処理装置は、視聴者の目の位置に基づいてディスプレイに含まれたサブピクセルから出力される中心光線のうち、視聴者が認識することのできる中心光線の代表光線を用いて第１ライトフィールドを決定する。

ステップＳ１６０２において、映像処理装置は視聴者の目の位置に基づいて決定されたライトフィールドをディスプレイで表現するコンテンツに関連するライトフィールドに変換してもよい。一例として、映像処理装置は、ディスプレイに含まれたサブピクセルの位置と視聴者の目の位置を用いてサブピクセルの基準情報を生成する。その後、映像処理装置は、基準情報と代表光線を用いて決定されたライトフィールドをディスプレイで表現するコンテンツと関連するライトフィールドに変換してもよい。

具体的に、映像処理装置は、サブピクセルの位置と視聴者の目の位置とを連結した仮想線と代表光線との間の角度差を用いて決定されたライトフィールドをディスプレイで表現するコンテンツと関連するライトフィールドに変換してもよい。ここで、仮想線はサブピクセルの基準情報を意味する。ここで、サブピクセルの基準情報は、サブピクセルの水平方向の位置と視聴者の目の水平方向の位置を連結する基準情報を含んでもよい。または、サブピクセルの基準情報は、サブピクセルの垂直方向の位置と視聴者の目の垂直方向の位置を連結する基準情報を含んでもよい。

ここで、ライトフィールドの変換過程は、サブピクセルのレンダリングによって行われてもよい。具体的に、ライトフィールドの変換過程は、仮想線と代表光線との間の角度に基づいて行われてもよい。映像処理装置は、仮想線と代表光線との間の角度差をサブピクセルごとに設定された可視性情報に適用することで、サブピクセルごとに明度値を調整することができる。このようなライトフィールドの変換過程は視聴者の左眼と右眼の全てに対してリアルタイムで行われる。

図１７は、他の実施形態に係る映像方法を示す図である。ステップＳ１７０１において、映像処理装置は、視聴者の目の位置を用いてディスプレイに含まれたサブピクセルの代表光線を決定する。一例として、映像処理装置は、視聴者の目の位置を用いてサブピクセルで光学フィルタによって出力される中心光線のうち、視聴者が認識することのできる中心光線をサブピクセルの代表光線として決定する。

ここで、中心光線は、サブピクセルから最大の明度を示す方向に光学フィルタの中心点を介して出力されてもよい。そして、代表光線はサブピクセルの位置から視聴者の目の位置への方向に一致したり、または、サブピクセルの位置から視聴者の目の位置への方向に最も隣接する中心光線を含んでもよい。

ステップＳ１７０２において、映像処理装置は、視聴者の目の位置とサブピクセルの位置を用いて基準情報を決定する。一例として、映像処理装置は、視聴者の目の位置とサブピクセルの位置とを連結した仮想線を基準情報として決定する。ここで、一例として、映像処理装置は、サブピクセルの水平方向の位置と視聴者の目の水平方向の位置とを連結した仮想線、または、サブピクセルの垂直方向の位置と視聴者の目の垂直方向の位置とを連結した仮想線のうち少なくとも１つを用いて基準情報を決定する。

ステップＳ１７０３において、映像処理装置は、代表光線と基準情報を用いてサブピクセルの信号レベルを調整する。一例として、映像処理装置は、代表光線と基準情報とを比較した角度差を用いてサブピクセルの信号レベルを調整してもよい。映像処理装置は、基準情報の仮想線と代表光線との間の角度差をサブピクセルごとに設定された可視性情報に適用することで、サブピクセルごとに明度値を調整してもよい。このようなサブピクセルのレンダリング過程は、視聴者の左眼と右眼の全てに対してリアルタイムで行われてもよい。

そして、映像処理装置は、サブピクセルによって表現されるコンテンツが視聴者の左眼または右眼のうち少なくとも１つに見えるかの有無に応じて視聴者の左眼に関連してサブピクセルの信号レベルを調整したり、または、視聴者の右眼に関連してサブピクセルの信号レベルを調整する。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。そして、コンピュータ読取可能な記録媒体は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のようにプログラム命令を実行できるプロセッサによって実現されてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１０１ センサ
１０２ 映像処理装置
１０３ ライトフィールドディスプレイ

Claims (44)

1. ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するライトフィールド決定部と、
   前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツに関連する第２ライトフィールドに変換するライトフィールド変換部と、
   を備え、前記ディスプレイに含まれるサブピクセルから出力される複数の中心光線のうちの何れかである代表光線と、前記サブピクセル及び前記視聴者の決定された位置を結ぶ仮想線との間の相違に応じて、前記サブピクセルの明度値を調整することを特徴とする映像処理装置。
2. 前記ライトフィールド決定部は、前記ディスプレイに含まれたサブピクセルから出力される中心光線のうち、前記視聴者の決定された位置に応じて視聴者が認識することのできる中心光線に対応する代表光線に基づいて前記第１ライトフィールドを決定することを特徴とする請求項１に記載の映像処理装置。
3. 前記中心光線は、前記サブピクセルから明度の出力最大レベル（ｏｕｔｐｕｔ ｍａｘｉｍｕｍ ｌｅｖｅｌｓ）それぞれの方向に出力される光線であり、
   前記代表光線は、前記中心光線のうち前記視聴者の決定された位置とほとんど一致する中心光線であることを特徴とする請求項２に記載の映像処理装置。
4. 前記ライトフィールド変換部は、前記ディスプレイに含まれたサブピクセルの位置と前記視聴者の決定された位置を用いて前記サブピクセルの基準情報を生成し、
   前記基準情報と前記代表光線に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換することを特徴とする請求項１に記載の映像処理装置。
5. 前記サブピクセルの基準情報は、前記サブピクセルの水平方向の位置と前記視聴者の目の水平方向の位置を連結する基準情報、または前記サブピクセルの垂直方向の位置と前記視聴者の目の垂直方向の位置を連結する基準情報のうち少なくとも１つを含むことを特徴とする請求項４に記載の映像処理装置。
6. 前記サブピクセルの中心光線は、前記ディスプレイの前面に配置された光学フィルタを介して予め設定された方向に出力されることを特徴とする請求項２に記載の映像処理装置。
7. 前記サブピクセルの中心光線は、前記ディスプレイの後面に配置された光学フィルタから発生した光線の方向に基づいて少なくとも１つの方向に決定されるものとして設定され、
   前記代表光線は、少なくとも１つの方向に対応する中心光線から選択されることを特徴とする請求項２に記載の映像処理装置。
8. 前記ライトフィールド変換部は、前記サブピクセルごとに設定された最大の明度値に基づいて可視性情報を増加させることによってサブピクセルをレンダリングすることを特徴とする請求項１に記載の映像処理装置。
9. 前記ライトフィールド変換部は、前記サブピクセルの明度値が最大値に増加した場合にサブピクセルを元の明度値に維持し、
   前記サブピクセルの明度値が最大値よりも小さい明度値に増加した場合に前記サブピクセルの明度値が最大値に増加した場合と比例して前記明度値を増加させることを特徴とする請求項１に記載の映像処理装置。
10. 視聴者の決定された位置に基づいてディスプレイに含まれたサブピクセルの代表光線を決定する代表光線決定部と、
    前記視聴者の決定された位置と前記サブピクセルの位置とを結ぶ仮想線についての基準情報を決定する基準情報決定部と、
    前記代表光線と前記仮想線との間の相違に基づいて、前記サブピクセルの明度値を含む信号レベルを調整するサブピクセルレンダリング部と、
    を備えることを特徴とする映像処理装置。
11. 前記代表光線決定部は、前記視聴者の決定された位置に基づいて光学フィルタによって前記サブピクセルから出力される中心光線のうち、視聴者が認識することのできる中心光線を前記サブピクセルの代表光線として決定することを特徴とする請求項１０に記載の映像処理装置。
12. 前記中心光線は、前記サブピクセルから明度の出力最大の明度値それぞれの方向に出力される光線であり、
    前記代表光線は、前記中心光線のうち視聴者の決定された位置とほとんど一致する中心光線であることを特徴とする請求項１１に記載の映像処理装置。
13. 前記基準情報決定部は、前記視聴者の決定された位置と前記サブピクセルの位置とを連結した仮想線を基準情報として決定することを特徴とする請求項１０に記載の映像処理装置。
14. 前記基準情報決定部は、前記サブピクセルの水平方向の位置と前記視聴者の目の水平方向の位置とを連結した仮想線、または、前記サブピクセルの垂直方向の位置と前記視聴者の目の垂直方向の位置とを連結した仮想線のうち少なくとも１つを用いて基準情報を決定することを特徴とする請求項１３に記載の映像処理装置。
15. 前記サブピクセルレンダリング部は、前記代表光線と基準情報とを比較した角度差に基づいて前記サブピクセルの信号レベルを調整することを特徴とする請求項１０に記載の映像処理装置。
16. 前記サブピクセルレンダリング部は、前記サブピクセルによって表現されるコンテンツが視聴者の左眼または右眼のうち少なくとも１つに見えるかの有無に応じて、視聴者の左眼に関連してサブピクセルの信号レベルを調整したり、または、視聴者の右眼に関連してサブピクセルの信号レベルを調整することを特徴とする請求項１０に記載の映像処理装置。
17. 前記サブピクセルの中心光線は、前記ディスプレイの前面に配置された光学フィルタによって予め設定された方向に出力されることを特徴とする請求項１０に記載の映像処理装置。
18. 前記サブピクセルの中心光線は、前記ディスプレイの後面に配置された光学フィルタから発生した光線の方向に基づいて少なくとも１つ以上の方向に出力されるものとして設定され、
    前記代表光線は、少なくとも１つの方向に対応する中心光線から選択されることを特徴とする請求項１０に記載の映像処理装置。
19. 前記サブピクセルレンダリング部は、前記サブピクセルごとに設定された最大の明度値に基づいて可視性情報を増加させることによってサブピクセルをレンダリングすることを特徴とする請求項１０に記載の映像処理装置。
20. 前記サブピクセルレンダリング部は、前記サブピクセルの明度値が最大値に増加した場合にサブピクセルを元の明度値に維持し、
    前記サブピクセルの明度値が最大値よりも小さい明度値に増加した場合に前記サブピクセルの明度値が最大値に増加した場合と比例して前記明度値を増加させることを特徴とする請求項１０に記載の映像処理装置。
21. ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するライトフィールド決定部と、
    前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換するライトフィールド変換部と、
    をさらに備えることを特徴とする請求項１０に記載の映像処理装置。
22. ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するステップと、
    前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換するステップと、
    を含み、前記ディスプレイに含まれるサブピクセルから出力される複数の中心光線のうちの何れかである代表光線と、前記サブピクセル及び前記視聴者の決定された位置を結ぶ仮想線との間の相違に応じて、前記サブピクセルの明度値を調整することを特徴とする映像処理方法。
23. 前記第１ライトフィールドを決定するステップは、前記ディスプレイに含まれたサブピクセルから出力される中心光線のうち、前記視聴者の決定された位置に応じて視聴者が認識することのできる中心光線に対応する代表光線に基づいて前記第１ライトフィールドを決定することを特徴とする請求項２２に記載の映像処理方法。
24. 前記中心光線は、前記サブピクセルから明度の出力最大レベル（ｏｕｔｐｕｔ ｍａｘｉｍｕｍ ｌｅｖｅｌｓ）それぞれの方向に出力される光線であり、
    前記代表光線は、前記中心光線のうち前記視聴者の決定された位置とほとんど一致する中心光線であることを特徴とする請求項２２に記載の映像処理方法。
25. 前記第２ライトフィールドに変換するステップは、
    前記ディスプレイに含まれたサブピクセルの位置と前記視聴者の決定された位置を用いて前記サブピクセルの基準情報を生成するステップと、
    前記基準情報と前記代表光線に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換するステップと、
    を含むことを特徴とする請求項２２に記載の映像処理方法。
26. 前記サブピクセルの基準情報は、前記サブピクセルの水平方向の位置と前記視聴者の目の水平方向の位置を連結する基準情報、または前記サブピクセルの垂直方向の位置と前記視聴者の目の垂直方向の位置を連結する基準情報のうち少なくとも１つを含むことを特徴とする請求項２５に記載の映像処理方法。
27. 前記サブピクセルの中心光線は、前記ディスプレイの前面に配置された光学フィルタを介して予め設定された方向に出力されることを特徴とする請求項２３に記載の映像処理方法。
28. 前記サブピクセルの中心光線は、前記ディスプレイの後面に配置された光学フィルタから発生した光線の方向に基づいて少なくとも１つの方向に出力されるものと設定され、
    前記代表光線は、少なくとも１つの方向に対応する中心光線から選択されることを特徴とする請求項２３に記載の映像処理方法。
29. 前記第２ライトフィールドに変換するステップは、前記サブピクセルごとに設定された最大の明度値に基づいて可視性情報を増加させることによってサブピクセルをレンダリングすることを特徴とする請求項２２に記載の映像処理方法。
30. 前記第２ライトフィールドに変換するステップは、前記サブピクセルの明度値が最大値に増加した場合にサブピクセルを元の明度値に維持し、
    前記サブピクセルの明度値が最大値よりも小さい明度値に増加した場合に前記サブピクセルの明度値が最大値に増加した場合と比例して前記明度値を増加させることを特徴とする請求項２２に記載の映像処理方法。
31. 視聴者の決定された位置に基づいてディスプレイに含まれたサブピクセルの代表光線を決定するステップと、
    前記視聴者の決定された位置と前記サブピクセルの位置とを結ぶ仮想線についての基準情報を決定するステップと、
    前記代表光線と前記仮想線との相違に基づいて、前記サブピクセルの明度値を含む信号レベルを調整するステップと、
    を含むことを特徴とする映像処理方法。
32. 前記サブピクセルの代表光線を決定するステップは、前記視聴者の決定された位置に基づいて光学フィルタによって前記サブピクセルから出力される中心光線のうち、視聴者が認識することのできる中心光線を前記サブピクセルの代表光線に決定することを特徴とする請求項３１に記載の映像処理方法。
33. 前記中心光線は、前記サブピクセルから明度の出力最大の明度値それぞれの方向に出力される光線であり、
    前記代表光線は、前記中心光線のうち前記視聴者の決定された位置とほとんど一致する中心光線であることを特徴とする請求項３２に記載の映像処理方法。
34. 前記基準情報を決定するステップは、前記視聴者の決定された位置と前記サブピクセルの位置とを連結した仮想線を基準情報として決定することを特徴とする請求項３１に記載の映像処理方法。
35. 前記基準情報を決定するステップは、前記サブピクセルの水平方向の位置と前記視聴者の目の水平方向の位置とを連結した仮想線、または前記サブピクセルの垂直方向の位置と前記視聴者の目の垂直方向の位置とを連結した仮想線のうち少なくとも１つを用いて基準情報を決定することを特徴とする請求項３４に記載の映像処理方法。
36. 前記サブピクセルの信号レベルを調整するステップは、前記代表光線と基準情報とを比較した角度差に基づいて前記サブピクセルの信号レベルを調整することを特徴とする請求項３１に記載の映像処理方法。
37. 前記サブピクセルの信号レベルを調整するステップは、前記サブピクセルによって表現されるコンテンツが視聴者の左眼または右眼のうち少なくとも１つに見えるかの有無に応じて視聴者の左眼に関連してサブピクセルの信号レベルを調整したり、または視聴者の右眼に関連してサブピクセルの信号レベルを調整することを特徴とする請求項３１に記載の映像処理方法。
38. 前記サブピクセルの中心光線は、前記ディスプレイの前面に配置された光学フィルタによって予め設定された方向に出力されることを特徴とする請求項３１に記載の映像処理方法。
39. 前記サブピクセルの中心光線は、前記ディスプレイの後面に配置された光学フィルタから発生した光線の方向に基づいて少なくとも１つの方向に出力されるものと設定され、
    前記代表光線は、少なくとも１つの方向に対応する中心光線から選択されることを特徴とする請求項３１に記載の映像処理方法。
40. 前記サブピクセルの信号レベルを調整するステップは、前記サブピクセルごとに設定された最大の明度値に基づいて可視性情報を増加させることによってサブピクセルをレンダリングすることを特徴とする請求項３１に記載の映像処理方法。
41. 前記サブピクセルの信号レベルを調整するステップは、
    前記サブピクセルの明度値が最大値に増加した場合にサブピクセルを元の明度値に維持し、
    前記サブピクセルの明度値が最大値よりも小さい明度値に増加した場合に、前記サブピクセルの明度値が最大値に増加した場合と比例して前記明度値を増加させることを特徴とする請求項３１に記載の映像処理方法。
42. ディスプレイに表現されるコンテンツを視聴しようとする視聴者の決定された位置に基づいて前記視聴者に表現する第１ライトフィールドを決定するステップと、
    前記視聴者の決定された位置に基づいて前記決定された第１ライトフィールドを前記ディスプレイに表現しようとするコンテンツと関連する第２ライトフィールドに変換するステップと、
    をさらに含むことを特徴とする請求項３１に記載の映像処理方法。
43. 請求項２２ないし４２のうち何れか１項に記載の映像処理方法を、映像処理装置のコンピュータに実行させるコンピュータプログラム。
44. 請求項４３に記載のコンピュータプログラムを記録した記録媒体。