JP6734620B2 - 映像処理方法及び映像処理装置 - Google Patents

Description

本発明の実施形態は、ピクセル情報を用いて多視点映像をライトフィールドディスプレイの表現方式に適するように変換する映像処理方法及び映像処理装置に関する。

立体感を提供する３Ｄ映像を効果的に実現するためには、人間の左右の視覚に互いに異なる視点（ｖｉｅｗ ｐｏｉｎｔ）の映像を表現しなければならない。メガネなどのフィルタを利用せずに３Ｄ映像を実現するためには、３Ｄ映像を視点に応じて空間的に分割して表現しなければならない。このような方式を用いたディスプレイを裸眼３Ｄディスプレイ（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）という。裸眼３Ｄディスプレイでは、主に光学的な手段を用いて映像を空間に分割して表現し、代表としてレンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）またはパララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）を用いる。レンチキュラレンズは各々のピクセル映像が特定の方向にだけ表現されるようにし、パララックスバリアはスリットを介して特定の方向から特定ピクセルだけ見られるようにする。

裸眼３Ｄディスプレイには、ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）の原理を用いるライトフィールドディスプレイがある。ライトフィールドは、３次元空間上の全ての点で全ての方向に光がどれだけの強度を有するのかを表現する一種の場（ｆｉｅｌｄ）であり、ライトフィールドの概念は空間で実際の物体を表現するのに適する。ライトフィールドディスプレイは、現実の空間にライトフィールドを表現し、実際の事物と似た３Ｄ映像を実現する。

ライトフィールドディスプレイの方式のうち一般的なライトフィールドを実現するインテグラルイメージング（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ）方式がある。インテグラルイメージング方式は、実際の物体が一点で様々な方向に光を生成したり、または反射する原理を用いて一定の空間に存在する点が様々な方向に放射する光をそのまま実現する方式である。

ライトフィールドを用いる方式では、様々な点から様々な方向に向かう光を表現するため、多視点映像（ｍｕｌｔｉ−ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅ）が入力される場合、表示ピクセル（ｐｉｘｅｌ）と視点映像ピクセルが一対一で対応しない場合が多い。これは、特定視点の映像を表現するためにピクセルの位置とピクセルから出る光の方向が特定されていないためである。従って、ライトフィールド原理を用いる一般的なディスプレイにおいて多視点映像を入力して３Ｄ映像を表現するためには、多視点映像をライトフィールドディスプレイの表現方式に変換する過程が必要である。

一実施形態に係る映像処理方法は、 表示ピクセルの予め決められた表示方向及び視点映像の視点を用いて前記表示方向に対応する視点映像を決定するステップと、前記表示ピクセルのディスプレイ内の位置及び前記決められた映像のピクセル位置情報を用いて前記視点映像から前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定するステップと、前記視点映像ピクセルのピクセル値に基づいて前記表示ピクセルのピクセル値を決定するステップを含んでもよい。

一実施形態に係る映像処理方法において、前記視点映像を決定するステップは、複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間するステップと、前記補間によって生成された視点映像を前記表示方向に対応する視点映像として決定するステップとを含んでもよい。

他の実施形態に係る映像処理方法は、ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別するステップと、前記表示ピクセルの予め決められた表示方向及び視点映像の視点を用いて前記表示方向に対応する視点映像を決定するステップと、前記表示ピクセルのディスプレイ内の位置及び前記決められた映像のピクセル位置情報を用いて前記視点映像から前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定するステップと、を含んでもよい。

他の実施形態に係る映像処理方法において、前記視点映像を決定するステップは、複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間するステップと、前記補間によって生成された視点映像を前記表示方向に対応する視点映像として決定するステップとを含んでもよい。

一実施形態に係る映像処理装置は、表示ピクセルの予め決められた表示方向及び視点映像の視点を用いて前記表示方向に対応する視点映像を決定する視点映像決定部と、前記表示ピクセルのディスプレイ内の位置及び前記決められた映像のピクセル位置情報を用いて前記視点映像から前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定する視点映像ピクセル決定部と、前記視点映像ピクセルのピクセル値に基づいて前記表示ピクセルのピクセル値を決定するピクセル値決定部と、を含んでもよい。

一実施形態に係る映像処理装置において、前記視点映像決定部は、複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間する視点映像補間部を含んでもよい。

一実施形態に係る映像処理装置において、前記ピクセル値決定部は、隣接した視点映像ピクセルのピクセル値を補間するピクセル値補間部を含んでもよい。

一実施形態に係る映像処理装置は、ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別する表示ピクセル識別部をさらに含んでもよい。

一実施形態によれば、多視点映像を多様な形態のライトフィールドディスプレイに適したコンテンツに変換することができる。

一実施形態によれば、変換されたコンテンツをライトフィールドディスプレイで再生した場合、視聴する位置が変わってもその物体が実際にその位置に存在するような現実的な体験を視聴者に提供することができる。

一実施形態に係る映像処理装置の全般的な動作を説明するための図である。 他の実施形態に係るセンサと連動して映像処理を行う映像処理装置の全般的な動作を説明するための図である。 一実施形態に係る３Ｄピクセルを含むライトフィールドディスプレイを示す図である。 一実施形態に係る映像処理装置の細部構成を示す図である。 他の実施形態に係る映像処理装置の細部構成を示す図である。 一実施形態に係る視点映像を決定する動作を説明するための図である。 一実施形態に係る表示ピクセルのピクセル値を決定する動作を説明するための図である。 一実施形態に係る光学的な手段を含むライトフィールドディスプレイで表示ピクセルのピクセル値を決定する動作を説明するための図である。 一実施形態に係る複数のプロジェクターを用いるライトフィールドディスプレイにおける映像処理動作を説明するための図である。 一実施形態に係る複数のプロジェクターを用いるライトフィールドディスプレイで水平方向のパララックスを有する多視点映像が入力された時の映像処理動作を説明するための図である。 一実施形態に係る映像処理方法の細部的なステップを説明するためのフローチャートである。 他の実施形態に係る映像処理方法の細部的なステップを説明するためのフローチャートである。

以下、実施形態を添付する図面を参照しながら詳細に説明する。一実施形態に係る映像処理方法は、映像処理装置によって行ってもよい。各図面に提示された同一の参照符号は、同一の部材を示す。

図１は、一実施形態に係る映像処理装置の全般的な動作を説明するための図である。図１によれば、ライトフィールドディスプレイ１２０システムは、映像処理装置１１０及びライトフィールドディスプレイ１２０を含んでもよい。

ライトフィールドディスプレイ１２０は、ライトフィールド原理を用いてオブジェクトを出力するディスプレイであり、３次元空間上のオブジェクトが光をどの方向にどれくらいの強度を生成または反射するかを表現してもよい。ライトフィールドディスプレイ１２０は、例えば、特定の方向に光線（ｒａｙ）を出力するピクセルをグループ化して実現したり、または複数のプロジェクター（ｐｒｏｊｅｃｔｏｒ）及びスクリーンを用いて実現してもよい。また、ライトフィールドディスプレイ１２０は、レンチキュラレンズまたはパララックスバリアなどの光学的な手段を用いてもよい。ライトフィールドディスプレイ１２０は、多視点３Ｄディスプレイまたはインテグラルイメージング方式を用いるディスプレイを含んでもよい。

映像処理装置１１０は、多視点映像（ｍｕｌｔｉ−ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅ）がライトフィールドディスプレイ１２０の表現方式に適するようにライトフィールドディスプレイ１２０のピクセル情報を用いて映像変換を行ってもよい。ここで、ピクセル情報は、ライトフィールドディスプレイ１２０に含まれた表示ピクセルの位置及び各表示ピクセルから出る光線に関する情報を含んでもよい。

多視点映像は、同一の時間に同一のオブジェクトを撮影した映像であり、互いに異なる視点で撮影した映像を示す。例えば、多視点映像は、複数のカメラが配列されたカメラアレイ（ｃａｍｅｒａ ａｒｒａｙ）によって撮影されてもよい。カメラアレイにおける各カメラ位置によって互いに異なる視点（ｖｉｅｗ ｐｏｉｎｔ）を有する視点映像が撮影されてもよい。

映像処理装置１１０は、各々の視点映像から映像情報を抽出してもよい。映像処理装置１１０は、映像情報に基づいて各々の視点映像から視点方向を決定してもよい。映像情報は、各々の視点映像からオブジェクトの撮影位置、撮影方向、画角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）などに関する情報を含んでもよい。一実施形態によれば、撮影位置と撮影方向は、カメラアレイの固定された座標情報から導き出されてもよい。視点映像と関連する映像情報は、メタデータなどの形態で伝達されてもよい。ピクセル値を算出するための情報は、ルックアップテーブル（ｌｏｏｋ−ｕｐ ｔａｂｌｅ、ＬＵＴ）の形態でライトフィールドディスプレイ１２０のメモリに格納されてもよい。例えば、ルックアップテーブルは、ライトフィールドディスプレイ１２０の製造過程で定義され、その後にアップデートされてもよい。

一実施形態によれば、受信した視点映像の数は、ライトフィールドディスプレイ１２０の可能な視点方向の数と同一であってもよい。視点映像は、圧縮された形態または圧縮されていない形態で提供されてもよく、現在のフレームと以前のフレーム間の差のみ提供されてもよい。視点映像の映像費（ａｓｐｅｃｔ ｒａｔｉｏ）、解像度（ｒｅｓｏｌｕｔｉｏｎ）、撮影条件は、視点映像の間で同一または異なってもよい。

映像処理装置１１０は、多視点映像が入力された場合、ライトフィールドディスプレイ１２０の各表示ピクセルに対応する視点映像を決定してもよい。映像処理装置１１０は、複数の視点映像のうち各表示ピクセルのピクセル情報に基づいて視点映像を決定してもよい。または、映像処理装置１１０は複数の視点映像を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して新しい視点を有する視点映像を生成してもよく、生成された視点映像を表示ピクセルに対応する視点映像として決定してもよい。

映像処理装置１１０は、表示ピクセルに対応する視点映像が決定されれば、表示ピクセルに対応する視点映像ピクセルのピクセル値に基づいて当該表示ピクセルのピクセル値を決定してもよい。または、映像処理装置１１０は、同一または異なる視点映像の複数の視点映像ピクセルのピクセル値を補間して当該表示ピクセルのピクセル値を決定してもよい。従って、可能な視点方向の数が受信した視点映像の数と同一であっても、視点方向は視点映像の撮影位置と完全に一致しないこともある。このような条件において、映像処理装置１１０は、目的とする位置に最も近い視点映像／ピクセルを選択したり、または目的とする位置に隣接した視点映像を選択して、各々の視点映像に対して表現するピクセルの位置と近い複数のピクセルを選択した後に、選択したピクセルを補間することによって表現するピクセル値を決定してもよい。映像処理装置１１０は、上のような過程によって多視点映像をライトフィールドディスプレイ１２０に適した映像に変換してもよい。

また、映像処理装置１１０は、３次元オブジェクトで発生する実際のライトフィールドと類似のライトフィールドを実現することによってユーザに３次元オブジェクトに対する実感を提供することができ、ユーザが移動してもライトフィールドディスプレイ１２０内の３次元オブジェクトは固定された位置に存在するような現実感を提供することができる。

図２は、他の実施形態に係るセンサと連動して映像処理を行う映像処理装置の全般的な動作を説明するための図である。図２よれば、ライトフィールドディスプレイ２３０システムは、センサ２１０、映像処理装置２２０及びライトフィールドディスプレイ２３０を含んでもよい。

センサ２１０は、ライトフィールドディスプレイ２３０を凝視するユーザの目の位置を検出してもよい。ここで、センサ２１０では、ユーザの目を撮影して３次元空間座標を生成できるカメラが用いられてもよい。ここで、カメラは、ライトフィールドディスプレイ２３０に組み込まれたり（ｅｍｂｅｄ）、または、外部に装着されてライトフィールドディスプレイ２３０と接続してもよい。一例として、カメラは、１つ以上の可視帯域カメラ、１つ以上の赤外線カメラ、及び１つ以上のデプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）のうち少なくとも１つを含んでもよい。

一例として、映像処理装置２２０は、カメラによって撮影された２Ｄ（ｄｉｍｅｎｓｉｏｎ）映像及び深さ情報を含む深さ映像を用いてユーザの目の位置を算出してもよい。映像処理装置２２０は、２Ｄ映像でカメラの位置及びカメラの方向に基づいて３次元空間座標系の二本の軸に関する位置情報を取得してもよく、深さ映像によって残りの１つの軸に関する位置情報を取得してもよい。映像処理装置２２０は、取得した位置情報を組み合わせてユーザの目の位置を算出してもよい。

一実施形態によれば、映像処理装置２２０は、ユーザの目の位置に基づいて映像処理が行われる表示ピクセルを識別してもよい。具体的には、映像処理装置２２０は、表示ピクセルから出る光線とユーザの目の位置間の距離に基づいて一定の距離以内に該当する表示ピクセルを識別してもよい。映像処理装置２２０は、ライトフィールドディスプレイに含まれた表示ピクセルに対して選択的に映像処理を行うことで算出量を減らすことができる。例えば、ユーザの目の追跡結果として、表示ピクセルとユーザの目との間の方向差及び表示ピクセルの表現方向と意図する方向との間の方向差が予め設定された閾値より大きい場合、映像処理装置２２０は先に識別したピクセルを処理しなくてもよい。ユーザの目の位置と最も近い視点映像が意図する方向と最も近い視点映像であってもよい。

換言すれば、映像処理装置２２０は、識別された表示ピクセルに対してのみ対応する視点映像を決定し、対応する表示ピクセルのピクセル値を決定してもよい。映像処理装置２２０が視点映像を決定する動作及び表示ピクセルのピクセル値を決定する動作は、図１の内容を参考にしてもよい。

映像処理装置２２０は、ユーザの目の位置を用いてユーザの目の位置に応じて互いに異なるコンテンツを提供してもよく、ユーザの目の位置を用いて互いに異なるユーザに同時に互いに異なるコンテンツを提供してもよい。

図３は、一実施形態に係る３Ｄピクセルを含むライトフィールドディスプレイを示す図である。図３によれば、ライトフィールドディスプレイ３１０は、複数の３Ｄピクセル３２０を含んでもよい。３Ｄピクセル３２０は、各々の方向を有する光線３４０を出力する表示ピクセル３３０を含んでもよい。光線３４０の方向は、表示ピクセルの予め決められた表示方向に対応してもよい。または、３Ｄピクセル３２０は、レンチキュラレンズ、パララックスバリア、またはマイクロレンズアレイなどの光学フィルタを用いての様々な方向に光線３４０を放射してもよい。そのため、表示ピクセル３３０が集まって３次元空間上の点などがライトフィールドディスプレイ３１０に表示されてもよい。

各３Ｄピクセル３２０で表示ピクセル３３０の位置及び表示ピクセル３３０から出力する光線３４０に関する情報は、ライトフィールドディスプレイ、または映像処理装置に予め格納されてもよい。表示ピクセルの位置、及び表示ピクセルから出る光線に関する情報は、ライトフィールドディスプレイの設計環境、及び用いられる光学フィルタによって多様になり得る。

表示ピクセル３３０から出る光線３４０の方向は、水平方向及び垂直方向のうちのいずれか１つであるか、または全ての方向を含んでもよい。例えば、表示ピクセル３３０から出る光線３４０が水平方向には特定の方向を有するが、垂直方向には全ての方向に進む場合、ライトフィールドディスプレイ３１０は水平方向のライトフィールドを構成してもよい。反対に、表示ピクセル３３０から出る光線３４０が垂直方向には特定の方向を有するが、水平方向には全ての方向に進む場合、ライトフィールドディスプレイ３１０は、垂直方向のライトフィールドを構成してもよい。また、表示ピクセル３３０から出る光線３４０が水平方向及び垂直方向に全て特定の方向に進む場合、ライトフィールドディスプレイ３１０は、全ての方向に対してライトフィールドを構成してもよい。

例えば、ライトフィールドディスプレイ３１０が多視点ディスプレイである場合、プロジェクションの水平方向は、パララックスバリアまたはレンチキュラレンズを用いるライトフィールドディスプレイ３１０内で固定されてもよい。ライトフィールドディスプレイ３１０がインテグラル映像のディスプレイである場合、プロジェクションの水平方向及び垂直方向は固定されてもよい。ライトフィールドディスプレイ３１０が複数のプロジェクターを用いる場合、プロジェクションの方向はスクリーンの後面に位置するプロジェクターの中心位置に基づいて決定されてもよい。一実施形態によれば、プロジェクションの方向が固定されていないディスプレイの場合、構造が可変され得るパララックスバリアまたはレンチキュラレンズが用いられてもよい。従って、プロジェクションの方向は、多様な条件に基づいて決定され得る。

図４は、一実施形態に係る映像処理装置の細部構成を示す図である。図４によれば、映像処理装置４１０は、視点映像決定部４２０、視点映像ピクセル決定部４４０、及びピクセル値決定部４５０を含んでもよい。また、視点映像決定部４２０は視点映像補間部４３０を含んでもよく、ピクセル値決定部４５０はピクセル値補間部４６０を含んでもよい。

視点映像決定部４２０は、各々の表示ピクセルから出る光線と多視点映像を構成している視点映像の視点を用いて各光線に対応する視点映像を決定してもよい。視点映像決定部４２０は、表示ピクセルの予め決められた表示方向及び視点映像の視点を用いて表示ピクセルの表示方向に対応する視点映像を決定してもよい。

表示ピクセルは各々の進行方向を有する光線を出力してもよく、表示ピクセルから出る光線に関する情報はライトフィールドディスプレイまたは映像処理装置４１０に予め格納されていてもよい。視点映像の視点は、視点映像が撮影された撮影位置であって、例えばカメラがオブジェクトを撮影した位置を示してもよい。視点映像の視点は、オブジェクトとカメラとの間の距離及び撮影各背中の情報から取得されてもよい。

視点映像決定部４２０は、表示ピクセルから出る光線と視点映像の視点の位置を用いて各光線に対応する視点映像を決定してもよい。具体的には、視点映像決定部４２０は、複数の視点映像のうち光線と最も近い視点を有する視点映像を光線に対応する視点映像として決定してもよい。

一実施形態によれば、視点映像決定部４２０は、多視点映像を構成する各々の視点映像の視点と表示ピクセルから出る光線間の距離を算出してもよい。視点映像決定部４２０は、算出された距離のうち最も距離が近い視点を有する視点映像を当該光線に対応する視点映像として決定してもよい。

または、視点映像決定部４２０は、複数の視点映像のうち光線に隣接した視点を有する複数の視点映像を補間する視点映像補間部４３０を含んでもよい。視点映像補間部４３０は、複数の視点映像を補間して新しい視点を有する視点映像を生成してもよい。視点映像補間部４３０は、上の過程によって光線の方向に位置する視点を有する視点映像を生成してもよい。

一実施形態によれば、視点映像補間部４３０は、表示ピクセルから出る光線と各視点映像の視点間の距離が予め設定された閾値範囲内に含まれる場合、含まれる視点映像に基づいて補間を行ってもよい。視点映像補間部４３０は、補間を行う視点映像で対応する位置におけるピクセル値を平均したり、または予め決定した多様な補間公式を用いて視点映像を補間してもよい。視点映像決定部４２０は、補間によって新しく生成された視点映像を当該表示ピクセルまたは光線に対応する視点映像として決定してもよい。

視点映像ピクセル決定部４４０は、表示ピクセルのディスプレイ内の位置及び決められた映像のピクセル位置情報を用いて視点映像決定部４２０が決めた視点映像で表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定してもよい。

視点映像ピクセル決定部４４０は、ライトフィールドディスプレイで視点映像が表示されるディスプレイ領域を識別してもよい。その後、視点映像ピクセル決定部４４０は、ディスプレイ領域で表示ピクセルの位置に対応する座標を識別してもよい。視点映像ピクセル決定部４４０は、視点映像のディスプレイ領域で表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定してもよい。

具体的には、視点映像ピクセル決定部４４０は、視点映像ピクセルのうち座標に対応するピクセルを識別してもよい。一実施形態によれば、視点映像ピクセル決定部４４０は、座標に対応する視点映像における位置と最も近い視点映像ピクセルを当該表示ピクセルに対応する視点映像ピクセルとして決定してもよい。

または、視点映像ピクセル決定部４４０は、座標に対応する視点映像における位置に隣接した視点映像ピクセルを表示ピクセルに対応する視点映像ピクセルとして決定してもよい。視点映像ピクセル決定部４４０は、複数の視点映像ピクセルを各表示ピクセルに対応する視点映像ピクセルとして決定してもよい。例えば、視点映像ピクセル決定部４４０は、座標に対応する視点映像の位置と各視点映像ピクセル間の距離に基づいて、予め設定された閾値範囲内に該当する視点映像ピクセルを決定してもよい。

ピクセル値決定部４５０は、視点映像ピクセル決定部４４０が決めた視点映像ピクセルのピクセル値に基づいて表示ピクセルのピクセル値を決定してもよい。ピクセル値決定部４５０は、決定された視点映像ピクセルのピクセル値を当該表示ピクセルのピクセル値として決定してもよい。ピクセル値決定部４５０は、表示ピクセルに対応する視点映像ピクセルのピクセル値を当該表示ピクセルに印加してもよい。

ピクセル値補間部４６０は、決定された視点映像ピクセルのピクセル値を補間してもよい。視点映像ピクセル決定部４４０が座標に隣接した複数の視点映像ピクセルを決めた場合、ピクセル値補間部４６０は、決定された視点映像ピクセルのピクセル値を補間してもよい。ピクセル値補間部４６０は、視点映像ピクセルのピクセル値を平均したり、または予め決定した補間公式を適用してピクセル値の補間を行ってもよい。ピクセル値決定部４５０は、補間したピクセル値を表示ピクセルのピクセル値として決定してもよい。

上の過程によって、ライトフィールドディスプレイの各々の表示ピクセルには、各々の視点映像が決定され、当該視点映像のピクセル値に基づいて各表示ピクセルに最も適したピクセル値が適用される。映像処理装置４１０は、ライトフィールドディスプレイの表現方式に適するように多視点映像に基づく映像変換を行ってもよい。

映像処理装置４１０は、多視点映像に含まれた視点映像の視点の数とライトフィールドディスプレイの表示ピクセルが表現できる光線の方向の数が一致しなくとも、多視点映像をライトフィールドディスプレイが表現するために適した映像に変換してもよい。また、映像処理装置４１０は、ライトフィールドディスプレイを構成する光学フィルタの種類に関わらず、各表示ピクセルから出る光線に関する情報を用いて映像処理を行ってもよい。映像処理装置４１０は、各表示ピクセルから出る光線の表現方式が決定されたライトフィールドディスプレイに対しては上記の映像処理過程を適用してもよい。

図５は、他の実施形態に係る映像処理装置の細部構成を示す図である。図５によれば、映像処理装置５２０は、表示ピクセル識別部５３０、視点映像決定部５４０、視点映像ピクセル決定部５６０及びピクセル値決定部５７０を含んでもよい。また、視点映像決定部５４０は視点映像補間部５５０を含んでもよくピクセル値決定部５７０はピクセル値補間部５８０を含んでもよい。一実施形態によれば、図４の視点映像決定部４２０、視点映像補間部４３０、視点映像ピクセル決定部４４０、ピクセル値決定部４５０、ピクセル値補間部４６０の特徴は、各々図５の視点映像決定部５４０、視点映像補間部５５０、視点映像ピクセル決定部５６０、ピクセル値決定部５７０、ピクセル値補間部５８０の特徴と同一であってもよい。

表示ピクセル識別部５３０は、ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別してもよい。ユーザの目の位置は、センサ５１０によって取得されてもよい。例えば、センサ５１０は、ユーザの目を撮影して３次元空間座標を生成できるカメラなどが該当し得る。ここで、カメラは、ライトフィールドディスプレイに内蔵されたり、または、外部に装着されてライトフィールドディスプレイと接続されてもよい。表示ピクセル識別部５３０は、ユーザの目を撮影した２Ｄ映像及びユーザの目を撮影した深さ映像を用いてユーザの目の位置を取得してもよい。

具体的には、表示ピクセル識別部５３０は、表示ピクセルから出る光線とユーザの目の位置間の距離が予め設定された閾値以下になる少なくとも１つの表示ピクセルを識別してもよい。ここで、予め設定された閾値は、例えば表示ピクセルから出力された光線がユーザの目に見える領域に含まれるか否かに基づいて設定されてもよい。ユーザの目に見える領域は、表示ピクセルから光線が出力されてユーザの目に見えるようになる領域として予め設定されてもよい。換言すれば、表示ピクセルから出力された光線がユーザの目の瞳に直接到達しなくても、光線の光が一定量ユーザの目に到達してユーザの目に見え得る。このように、ユーザの目に見える領域は、光線の光がユーザの目に到達することによってユーザの目に見えるようになる領域であってもよい。

表示ピクセル識別部５３０は、上の過程によって映像処理の対象になる表示ピクセルを識別してもよい。これにより、映像処理装置５２０は、映像処理過程における算出量を減らして迅速に映像変換を行ってもよい。

視点映像決定部５４０は、表示ピクセル識別部５３０が識別した各々の表示ピクセルから出る光線及び視点映像の視点を用いて各光線に対応する視点映像を決定してもよい。具体的には、視点映像決定部５４０は、複数の視点映像のうち光線と最も近い視点を有する視点映像を光線に対応する視点映像として決定してもよい。

一実施形態によれば、視点映像決定部５４０は、多視点映像を構成する各々の視点映像の視点と表示ピクセルから出る光線間の距離を算出してもよい。視点映像決定部５４０は、算出された距離のうち最も距離が近い視点を有する視点映像を当該光線に対応する視点映像として決定してもよい。

または、視点映像決定部５４０は、複数の視点映像のうち光線に隣接した視点を有する複数の視点映像を補間する視点映像補間部５５０を含んでもよい。視点映像補間部５５０は、複数の視点映像を補間して新しい視点を有する視点映像を生成してもよい。視点映像補間部５５０は、上の過程によって光線の方向に位置する視点を有する視点映像を生成してもよい。

一実施形態によれば、視点映像補間部５５０は、表示ピクセルから出る光線と各視点映像の視点間の距離が予め設定された閾値範囲内に含まれる場合、含まれる視点映像に基づいて補間を行ってもよい。視点映像決定部５４０は、補間によって新しく生成された視点映像を当該表示ピクセルまたは光線に対応する視点映像として決定してもよい。

視点映像ピクセル決定部５６０は、表示ピクセルの位置を用いて視点映像決定部５４０が決めた視点映像で表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定してもよい。

視点映像ピクセル決定部５６０は、ライトフィールドディスプレイで視点映像が表示されるディスプレイ領域を識別してもよい。その後、視点映像ピクセル決定部５６０は、ディスプレイ領域で表示ピクセルの位置に対応する座標を識別してもよい。視点映像ピクセル決定部５６０は、視点映像のディスプレイ領域で表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定してもよい。

具体的には、視点映像ピクセル決定部５６０は、視点映像ピクセルのうち座標に対応するピクセルを識別してもよい。一実施形態によれば、視点映像ピクセル決定部５６０は、座標に対応する視点映像における位置と最も近い視点映像ピクセルを当該表示ピクセルに対応する視点映像ピクセルとして決定してもよい。

または、視点映像ピクセル決定部５６０は、座標に対応する視点映像における位置に隣接した視点映像ピクセルを表示ピクセルに対応する視点映像ピクセルとして決定してもよい。視点映像ピクセル決定部５６０は、複数の視点映像ピクセルを各表示ピクセルに対応する視点映像ピクセルとして決定してもよい。例えば、視点映像ピクセル決定部５６０は、座標に対応する視点映像の位置と各視点映像ピクセル間の距離に基づいて、予め設定された閾値範囲内に該当する視点映像ピクセルを決定してもよい。

ピクセル値決定部５７０は、視点映像ピクセル決定部５６０が決めた視点映像ピクセルのピクセル値に基づいて表示ピクセルのピクセル値を決定してもよい。ピクセル値決定部５７０は、決定された視点映像ピクセルのピクセル値を当該表示ピクセルのピクセル値として決定してもよい。換言すれば、ピクセル値決定部５７０は、表示ピクセルに対応する視点映像ピクセルのピクセル値を当該表示ピクセルに印加してもよい。

視点映像ピクセル決定部５６０が座標に隣接した複数の視点映像ピクセルを決めた場合、ピクセル値補間部５８０は、決定された視点映像ピクセルのピクセル値を補間してもよい。ピクセル値補間部５８０は、視点映像ピクセルのピクセル値を平均したり、または予め決定した補間公式を適用してピクセル値の補間を行ってもよい。ピクセル値決定部５７０は補間したピクセル値を表示ピクセルのピクセル値として決定してもよい。

図６は、一実施形態に係る視点映像を決定する動作を説明するための図である。図６によれば、ライトフィールドディスプレイ６２０のある表示ピクセル６１０から光線６６０が出力されている。また、ライトフィールドディスプレイ６２０の位置を基準として複数の視点映像６３０が図示されている。各々の視点映像は、互いに異なる視点を有してもよい。視点映像の視点は、例えばオブジェクトを撮影したカメラの位置に対応してもよい。

図６では、平面構造のカメラアレイで撮影された視点映像６３０が一例として現れている。例えば、映像処理装置は、光線６６０がカメラアレイがなす平面と交わる点６４０を基準として光線６６０と視点映像の視点間の距離を算出してもよい。映像処理装置は、光線６６０と各視点映像の視点間の距離のうち一番小さい値を有する視点映像６５０を決定してもよい。例えば、映像処理装置は、光線６６０と最も近い視点を有する視点映像６５０を決定してもよい。

または、映像処理装置は、光線６６０がカメラアレイがなす平面と交わる点６４０に隣接した複数の視点映像を用いて新しい視点を有する視点映像を生成してもよい。具体的には、映像処理装置は、隣接した複数の視点映像を補間して新しい視点映像を生成してもよく、生成された視点映像を当該表示ピクセル６１０の光線６６０に対応する視点映像として決定してもよい。映像処理装置は、上の過程によって光線６６０方向に位置する視点を有する視点映像を生成してもよい。

この場合、映像処理装置は、視点映像６３０から光線６６０と視点映像の視点間の距離が予め設定された閾値範囲内に含まれる視点映像を識別してもよく、識別された視点映像を補間して新しい視点を有する視点映像を生成してもよい。

映像処理装置が隣接した複数の視点映像を補間して新しい視点映像を生成する場合、光線と当該視点映像間の距離に基づいて重みを設定して補間を行ってもよい。例えば、映像処理装置は、光線と当該視点映像間の距離が小さいほどより大きい重みを設定してもよく、重みが大きいほど補間過程で当該視点映像のピクセル値により大きい重みを割り当ててもよい。

図７は、一実施形態に係る表示ピクセルのピクセル値を決定する動作を説明するための図である。図７によれば、表示ピクセル６１０または表示ピクセルから出る光線６６０に対応する視点映像６５０が決定されれば、映像処理装置は、視点映像６５０で表示ピクセル６１０から出る光線６６０に対応する少なくとも１つの視点映像ピクセルを決定してもよい。

映像処理装置は、ライトフィールドディスプレイ６２０上で視点映像６５０のディスプレイ領域７１０を識別してもよい。ディスプレイ領域７１０は、当該視点映像６５０が表示される時、視点映像６５０のコンテンツが表示される領域であってもよい。

映像処理装置は、視点映像６５０のディスプレイ領域７１０で表示ピクセル６１０の位置に対応する座標７２０を識別してもよい。座標７２０は、視点映像６５０の視点で撮影した時、当該表示ピクセル６１０の位置が映像内で位置する座標であってもよい。映像処理装置は、ディスプレイ領域７１０における座標７２０を用いて視点映像６５０で表示ピクセル６１０に対応する視点映像ピクセルを決定してもよい。この場合、映像処理装置は、表示ピクセル６１０の位置に対応する座標７２０で最も近い視点映像ピクセルを決定して、当該視点映像ピクセルのピクセル値を表示ピクセル６１０に適用してもよい。

または、映像処理装置は、表示ピクセル６１０の位置に対応する座標７２０に隣接した視点映像ピクセルを決定してもよい。映像処理装置は、隣接した視点映像ピクセルのピクセル値を補間して当該表示ピクセル６１０のピクセル値として決定してもよい。この場合、映像処理装置は、座標７２０と各視点映像ピクセル間の距離に基づいて視点映像ピクセルのピクセル値に重みを設定してもよく、設定された重みに基づいて補間を行ってもよい。

図８は、一実施形態に係る光学的な手段を含むライトフィールドディスプレイで表示ピクセルのピクセル値を決定する動作を説明するための図である。図８によれば、ライトフィールドディスプレイ８２０は、レンチキュラレンズまたはパララックスバリアなどの光学フィルタを用いたライトフィールドディスプレイであってもよい。一例として、図８は、光学フィルタによって表示ピクセル８１０から出る光線８７０が水平方向には特定の方向を有するが、垂直方向には全ての方向に進む場合を示している。この場合、水平方向のパララックス（ｐａｒａｌｌａｘ）だけ存在することになり、映像処理装置は、表示ピクセルから出る光線の水平方向成分だけを用いてもよい。

映像処理装置は、表示ピクセル８１０から出る光線８７０と視点映像８３０の視点間の距離に基づいて表示ピクセル８１０または光線８７０に対応する視点映像８４０を決定してもよい。映像処理装置は、光線８７０と最も近い視点を有する視点映像を表示ピクセル８１０または光線８７０に対応する視点映像８４０として決定してもよい。または、映像処理装置は、隣接した複数の視点映像を補間して光線８７０の進行方向に位置する視点を有する視点映像を生成してもよい。

映像処理装置は、対応する視点映像８４０が決定されれば、当該視点映像８４０のディスプレイ領域８５０で表示ピクセル８１０の位置に対応する座標８６０に基づいて表示ピクセル８１０のピクセル値を決定してもよい。具体的には、映像処理装置は、ディスプレイ領域８５０で座標８６０に対応する位置と最も近い視点映像ピクセルのピクセル値を当該表示ピクセル８１０のピクセル値として決定してもよい。

または、映像処理装置は、ディスプレイ領域８５０で座標８６０に対応する位置に隣接した視点映像ピクセルのピクセル値を補間して当該表示ピクセル８１０のピクセル値として決定してもよい。

図９は、一実施形態に係る複数のプロジェクターを用いるライトフィールドディスプレイにおける映像処理動作を説明するための図である。図９によれば、ライトフィールドディスプレイは、複数のプロジェクター９１０，９２０、及びスクリーン９３０を用いて実現してもよい。ここで、映像処理装置に入力される視点映像９８０は、全てスクリーン９３０に対応する領域を撮影したと仮定する。従って、各々の視点映像９８０のディスプレイ領域は、スクリーン９３０の領域と同一である。

第１プロジェクター９１０を例を挙げて説明すると、第１プロジェクター９１０の１つの表示ピクセルから出た光線９７０がスクリーン９３０上のある位置９５０に到達している。映像処理装置は、光線９７０と視点映像９８０の視点を用いて当該表示ピクセルに対応する視点映像を決定してもよい。

図９では、光線９７０と最も近い視点を有する視点映像９９０を当該表示ピクセルに対応する視点映像として決定すると仮定する。これとは異なり、映像処理装置は、複数の視点映像を補間して光線９７０に位置する視点を有する新しい視点映像を生成してもよく、生成された視点映像を当該表示ピクセルに対応する視点映像として決定してもよい。

映像処理装置は、対応する視点映像９９０が決定されれば、当該視点映像９９０のディスプレイ領域９６０からスクリーン９３０上の位置９５０に対応する座標９４０に基づいて当該光線９７０に関する表示ピクセルのピクセル値を決定してもよい。具体的には、映像処理装置は、ディスプレイ領域９６０で座標９４０に対応する位置と最も近い視点映像ピクセルのピクセル値を当該表示ピクセルのピクセル値として決定してもよい。

または、映像処理装置は、ディスプレイ領域９６０で座標９４０に対応する位置に隣接した視点映像ピクセルのピクセル値を補間して当該表示ピクセルのピクセル値として決定してもよい。

映像処理装置は、上のような過程を第１プロジェクト９１０と第２プロジェクト９２０の全ての表示ピクセルに行って、多視点映像をライトフィールドディスプレイで自然に表示できる映像に変換してもよい。図９では、第１プロジェクト９１０と第２プロジェクト９２０を用いて説明したが、ライトフィールドディスプレイを構成するプロジェクターの数は、上の実施形態の記載に限定されない。

図１０は、一実施形態に係る複数のプロジェクターを用いるライトフィールドディスプレイで水平方向のパララックスを有する多視点映像が入力された時の映像処理動作を説明するための図である。

図１０は、図９とは別に、水平方向のパララックスだけを有する視点映像１０１０が入力された場合を示す。この場合、映像処理装置は、プロジェクター９１０，９２０から出る光線の水平方向成分だけを用いてもよい。この他に、映像処理装置がプロジェクター９１０，９２０の各表示ピクセルのピクセル値を決定する構成は、図９で説明した内容と同一である。映像処理装置は第１プロジェクター９１０の表示ピクセルまたは表示ピクセルから出る光線９７０に対応する視点映像１０２０を決定してもよい。その後、映像処理装置は、決定された視点映像１０２０で表示ピクセルから出た光線９７０がスクリーン９３０上に到達した位置９５０に対応する座標９４０を識別してもよい。映像処理装置は、座標９４０に基づいて当該光線９７０に関する表示ピクセルのピクセル値を決定してもよい。映像処理装置は、上のような過程を第１プロジェクト９１０と第２プロジェクト９２０の全ての表示ピクセルに対して行ってもよい。

図１１は、一実施形態に係る映像処理方法の細部的なステップを説明するためのフローチャートである。ステップＳ１１１０において、映像処理装置は、各々の表示ピクセルから出る光線と多視点映像を構成している視点映像の視点を用いて各光線に対応する視点映像を決定してもよい。具体的には、映像処理装置は、複数の視点映像のうち光線と最も近い視点を有する視点映像を光線に対応する視点映像として決定してもよい。

または、映像処理装置は、複数の視点映像のうち光線に隣接した視点を有する複数の視点映像を補間して新しい視点を有する視点映像を生成してもよい。映像処理装置は、表示ピクセルから出る光線と各視点映像の視点間の距離が予め設定された閾値範囲内に含まれる場合、含まれる視点映像に基づいて補間を行ってもよい。映像処理装置は、補間によって新しく生成された視点映像を当該表示ピクセルまたは光線に対応する視点映像として決定してもよい。

ステップＳ１１２０において、映像処理装置は、表示ピクセルの位置を用いて視点映像で表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定してもよい。

映像処理装置は、ディスプレイ領域で表示ピクセルの位置に対応する座標を識別してもよい。その後、映像処理装置は、視点映像のディスプレイ領域で表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定してもよい。

具体的には、映像処理装置は、視点映像ピクセルのうち座標に対応するピクセルを識別してもよい。一実施形態によれば、映像処理装置は、座標に対応する視点映像における位置と最も近い視点映像ピクセルを当該表示ピクセルに対応する視点映像ピクセルとして決定してもよい。

または、映像処理装置は、座標に対応する視点映像における位置に隣接した視点映像ピクセルを表示ピクセルに対応する視点映像ピクセルとして決定してもよい。この場合、映像処理装置は、座標に対応する視点映像の位置と各視点映像ピクセル間の距離に基づいて、予め設定された閾値範囲内に該当する視点映像ピクセルを決定してもよい。

ステップＳ１１３０において、映像処理装置は、決定された視点映像ピクセルのピクセル値に基づいて表示ピクセルのピクセル値を決定してもよい。映像処理装置は、決定された視点映像ピクセルのピクセル値を当該表示ピクセルのピクセル値として決定してもよい。

映像処理装置が座標に隣接した複数の視点映像ピクセルを決めた場合、映像処理装置は、決定された視点映像ピクセルのピクセル値を補間してもよい。映像処理装置は、視点映像ピクセルのピクセル値を平均したり、または予め決定した補間公式を適用してピクセル値の補間を行ってもよい。映像処理装置は、補間したピクセル値を表示ピクセルのピクセル値として決定してもよい。

上の過程によって、ライトフィールドディスプレイの各々の表示ピクセルには、各々の視点映像が決定され、当該視点映像のピクセル値に基づいて各表示ピクセルに最も適したピクセル値が適用される。

図１２は、他の実施形態に係る映像処理方法の細部的なステップを説明するためのフローチャートである。ステップＳ１２１０において、映像処理装置は、ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別してもよい。ユーザの目の位置は、センサによって取得されてもよい。例えば、センサ５１０は、ユーザの目を撮影して３次元空間座標を生成できるカメラなどが該当し得る。映像処理装置は、ユーザの目を撮影した２Ｄ映像及びユーザの目を撮影した深さ映像を用いてユーザの目の位置を取得してもよい。

具体的には、映像処理装置は、表示ピクセルから出る光線とユーザの目の位置間の距離が予め設定された閾値以下になる少なくとも１つの表示ピクセルを識別してもよい。ここで、予め設定された閾値は、例えば表示ピクセルから出力された光線がユーザの目に見える領域に含まれるか否かに基づいて設定されてもよい。映像処理装置は、上の過程によって、映像処理を行う表示ピクセルを識別してもよい。

ステップＳ１２２０において、映像処理装置は、各々の表示ピクセルから出る光線と多視点映像を構成している視点映像の視点を用いて各光線に対応する視点映像を決定してもよい。具体的には、映像処理装置は、複数の視点映像のうち光線と最も近い視点を有する視点映像を光線に対応する視点映像として決定してもよい。

または、映像処理装置は、複数の視点映像のうち光線に隣接した視点を有する複数の視点映像を補間して新しい視点を有する視点映像を生成してもよい。映像処理装置は、表示ピクセルから出る光線と各視点映像の視点間の距離が予め設定された閾値範囲内に含まれる場合、含まれる視点映像に基づいて補間を行ってもよい。映像処理装置は、補間によって新しく生成された視点映像を当該表示ピクセルまたは光線に対応する視点映像として決定してもよい。

ステップＳ１２３０において、映像処理装置は、表示ピクセルの位置を用いて視点映像で表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定してもよい。

映像処理装置は、ディスプレイ領域で表示ピクセルの位置に対応する座標を識別してもよい。その後、映像処理装置は、視点映像のディスプレイ領域で表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定してもよい。

具体的には、映像処理装置は、視点映像ピクセルのうち座標に対応するピクセルを識別してもよい。一実施形態によれば、映像処理装置は、座標に対応する視点映像における位置と最も近い視点映像ピクセルを当該表示ピクセルに対応する視点映像ピクセルとして決定してもよい。

または、映像処理装置は、座標に対応する視点映像における位置に隣接した視点映像ピクセルを表示ピクセルに対応する視点映像ピクセルとして決定してもよい。この場合、映像処理装置は、座標に対応する視点映像の位置と各視点映像ピクセル間の距離に基づいて、予め設定された閾値範囲内に該当する視点映像ピクセルを決定してもよい。

ステップＳ１２４０において、映像処理装置は、決定された視点映像ピクセルのピクセル値に基づいて表示ピクセルのピクセル値を決定してもよい。映像処理装置は、決定された視点映像ピクセルのピクセル値を当該表示ピクセルのピクセル値として決定してもよい。

映像処理装置が座標に隣接した複数の視点映像ピクセルを決めた場合、映像処理装置は、決定された視点映像ピクセルのピクセル値を補間してもよい。映像処理装置は、視点映像ピクセルのピクセル値を平均したり、または予め決定した補間公式を適用してピクセル値の補間を行ってもよい。映像処理装置は、補間したピクセル値を表示ピクセルのピクセル値として決定してもよい。

上の過程により、映像処理装置は、ライトフィールドディスプレイの表示ピクセルに対して選択的に映像処理を行うことができる。映像処理装置は、一部表示ピクセルに対してのみ映像処理を行って映像処理過程における算出量を減らすことができ、そのために迅速に映像処理を行うことができる。

実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録してもよい。前記記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように本発明を限定された実施形態と図面によって説明したが、当該技術分野で通常の知識を有する者であれば、上記の記載から多様な修正及び変形が可能である。例えば、説明した技術が説明した方法と異なる順序で行われたりおよび／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合または組合わせたり、他の構成要素または均等物によって置き換えたり置換されても、適切な結果が達成され得る。

従って、他の実現、他の実施形態及び特許請求の範囲と均等なものなども後述する特許請求の範囲に属する。

１１０、２２０、４１０、５２０：映像処理装置
１２０、２３０：ライトフィールドディスプレイ
２１０、５１０：センサ
４２０、５４０：視点映像決定部
４３０、５５０：視点映像補間部
４４０、５６０：視点映像ピクセル決定部
４５０、５７０：ピクセル値決定部
４６０、５８０：ピクセル値補間部
５３０：表示ピクセル識別部

Claims (19)

1. ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを表示ピクセル識別部が識別するステップと、
   前記表示ピクセルの予め決められた表示方向及び複数の視点映像の視点を用いて前記表示方向に対応する視点映像を視点映像決定部が決定するステップと、
   前記表示ピクセルのディスプレイ内の位置及び前記決定された視点映像のピクセル位置の情報を用いて、前記決定された視点映像の中で前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを視点映像ピクセル決定部が決定するステップと、
   前記視点映像ピクセルのピクセル値に基づいて前記表示ピクセルのピクセル値をピクセル値決定部が決定するステップと、
   を含み、前記複数の視点映像の視点はオブジェクトが撮影される複数の位置に対応し、前記表示方向に対応する視点映像は、前記表示ピクセルから出る光線と前記複数の視点映像の各視点との間の距離に基づいて決定されることを特徴とする映像処理方法。
2. 前記視点映像を決定するステップは、
   複数の視点映像のうち前記表示方向と最も近い視点を有する視点映像を前記表示方向に対応する視点映像として決定することを特徴とする請求項１に記載の映像処理方法。
3. 前記視点映像を決定するステップは、
   複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間するステップと、
   前記補間によって生成された視点映像を前記表示方向に対応する視点映像として決定するステップと、
   を含むことを特徴とする請求項１に記載の映像処理方法。
4. 前記視点映像ピクセルを決定するステップは、
   前記視点映像のディスプレイ領域で前記表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定することを特徴とする請求項１に記載の映像処理方法。
5. 前記視点映像ピクセルを決定するステップは、
   前記視点映像で前記座標に対応する位置と最も近い視点映像ピクセルを前記表示ピクセルに対応する視点映像ピクセルとして決定することを特徴とする請求項４に記載の映像処理方法。
6. 前記視点映像ピクセルを決定するステップは、
   前記視点映像で前記座標に対応する位置に隣接した視点映像ピクセルを前記表示ピクセルに対応する視点映像ピクセルとして決定することを特徴とする請求項４に記載の映像処理方法。
7. 前記表示ピクセルのピクセル値を決定するステップは、
   前記隣接した視点映像ピクセルのピクセル値を補間して前記表示ピクセルのピクセル値として決定することを特徴とする請求項６に記載の映像処理方法。
8. ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別するステップと、
   前記表示ピクセルの予め決められた表示方向及び複数の視点映像の視点を用いて前記表示方向に対応する視点映像を決定するステップと、
   前記表示ピクセルのディスプレイ内の位置及び前記決定された視点映像のピクセル位置の情報を用いて、前記決定された視点映像の中で前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定するステップと、
   前記視点映像ピクセルのピクセル値に基づいて前記表示ピクセルのピクセル値を決定するステップと、
   を含み、前記複数の視点映像の視点はオブジェクトが撮影される複数の位置に対応し、前記表示方向に対応する視点映像は、前記表示ピクセルから出る光線と前記複数の視点映像の各視点との間の距離に基づいて決定されることを特徴とする映像処理方法。
9. 前記表示ピクセルを識別するステップは、
   前記表示方向とユーザの目の位置間の距離が予め設定された閾値以下になる少なくとも１つの表示ピクセルを識別することを特徴とする請求項８に記載の映像処理方法。
10. 前記視点映像を決定するステップは、
    複数の視点映像のうち前記表示方向と最も近い視点を有する視点映像を前記表示方向に対応する視点映像として決定することを特徴とする請求項８に記載の映像処理方法。
11. 前記視点映像を決定するステップは、
    複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間するステップと、
    前記補間によって生成された視点映像を前記表示方向に対応する視点映像として決定するステップと、
    を含むことを特徴とする請求項８に記載の映像処理方法。
12. 前記視点映像ピクセルを決定するステップは、
    前記視点映像のディスプレイ領域で前記表示ピクセルの位置に対応する座標を用いて視点映像ピクセルを決定することを特徴とする請求項８に記載の映像処理方法。
13. 前記視点映像ピクセルを決定するステップは、
    前記視点映像で前記座標に対応する位置と最も近い視点映像ピクセルを前記表示ピクセルに対応する視点映像ピクセルとして決定することを特徴とする請求項１２に記載の映像処理方法。
14. 前記視点映像ピクセルを決定するステップは、
    前記視点映像で前記座標に対応する位置に隣接した視点映像ピクセルを前記表示ピクセルに対応する視点映像ピクセルとして決定することを特徴とする請求項１２に記載の映像処理方法。
15. 前記表示ピクセルのピクセル値を決定するステップは、
    前記隣接した視点映像ピクセルのピクセル値を補間して前記表示ピクセルのピクセル値として決定することを特徴とする請求項１４に記載の映像処理方法。
16. 前記ユーザの目の位置は、
    ユーザの目を撮影した２Ｄ映像及びユーザの目を撮影した深さ映像を用いて取得されることを特徴とする請求項８に記載の映像処理方法。
17. ユーザの目の位置に基づいてピクセル値が適用される表示ピクセルを識別する表示ピクセル識別部と、
    前記表示ピクセルの予め決められた表示方向及び複数の視点映像の視点を用いて前記表示方向に対応する視点映像を決定する視点映像決定部と、
    前記表示ピクセルのディスプレイ内の位置及び前記決定された視点映像のピクセル位置の情報を用いて、前記決定された視点映像の中で前記表示ピクセルに対応する少なくとも１つの視点映像ピクセルを決定する視点映像ピクセル決定部と、
    前記視点映像ピクセルのピクセル値に基づいて前記表示ピクセルのピクセル値を決定するピクセル値決定部と、
    を含み、前記複数の視点映像の視点はオブジェクトが撮影される複数の位置に対応し、前記表示方向に対応する視点映像は、前記表示ピクセルから出る光線と前記複数の視点映像の各視点との間の距離に基づいて決定されることを特徴とする映像処理装置。
18. 前記視点映像決定部は、
    複数の視点映像のうち前記表示方向に隣接した視点を有する複数の視点映像を補間する視点映像補間部を含むことを特徴とする請求項１７に記載の映像処理装置。
19. 前記ピクセル値決定部は、
    前記決定された視点映像ピクセルのピクセル値を補間するピクセル値補間部を含むことを特徴とする請求項１７に記載の映像処理装置。

Images