JP6669063B2

JP6669063B2 - 画像処理装置および方法

Info

Publication number: JP6669063B2
Application number: JP2016521029A
Authority: JP
Inventors: 健吾早坂; 功久井藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-05-21
Filing date: 2015-05-08
Publication date: 2020-03-18
Anticipated expiration: 2035-05-08
Also published as: JPWO2015178217A1; US20170078637A1; CN106464853B; US10547822B2; CN106464853A; EP3101892A1; EP3101892A4; WO2015178217A1

Description

本開示は、画像処理装置および方法に関し、特に、高速で高品位に視点補間画像を生成することができるようにした画像処理装置および方法に関する。

従来、様々な画像処理による視点補間技術が提案され、開発されている。例えば、非特許文献１では、２枚の画像とその間の画像位置の対応関係(Optical flow)を用いて、任意の視点画像が合成されている。

Shenchang Eric Chen,"View Interpolation for Image Synthesis.",Lance Williams Apple Computer, Inc.， IJCV 2002.

上記の処理は、奥行き情報（２視点の画素ズレ量）に基づいて、補間画像を生成する技術である。しかしながら、補間画像生成時、前景による同一画素の上書き、情報不足による穴埋めが存在するため、１枚の視点画像生成にあたり、全画素に渡り、同一ピクセルの画素ズレ量の比較を行う必要があった。

本開示は、このような状況に鑑みてなされたものであり、高速で高品位に視点補間画像を生成することができるものである。

本開示の一側面の画像処理装置は、複数の視点画像、および前記複数の視点画像に対応するディスパリティマップに基づいて、各視点に対する輝度値とディスパリティ値を有する視点画像データを生成し、基準視点以外の前記視点画像データを、前記ディスパリティマップに従って前記基準視点の位置に移動させて、前記基準視点に対応する同一位置の複数の前記視点画像データを重ね合わせて、前記基準視点のオクルージョン領域の情報と、多層の輝度値およびディスパリティ値とを有する撮影空間を再構成する再構成処理部と、再構成された前記撮影空間を、所定視点から前記基準視点上の所定のディスパリティ値に向かうベクトルによりサンプリングして、前記所定視点から見て１番手前のディスパリティ値に対応する輝度値を用いて前記所定視点の補間画像を生成する補間画像生成部とを備える。

前記再構成処理部は、前記同一位置に値がすでにある場合、前記同一位置の値として、各視点画像における前記同一位置の輝度値の平均値をそれぞれ格納することで、前記撮影空間を再構成することができる。

再構成された前記撮影空間は、前記複数の視点画像に存在する値として、前記複数の視点画像の輝度値の平均値を有することができる。

前記補間画像生成部は、再構成された前記撮影空間において、前記基準視点上の前記ディスパリティ値が、前記所定視点から見て１番手前の方から前記サンプリングを開始することができる。

本開示の一側面の画像処理方法は、画像処理装置が、複数の視点画像、および前記複数の視点画像に対応するディスパリティマップに基づいて、各視点に対する輝度値とディスパリティ値を有する視点画像データを生成し、基準視点以外の前記視点画像データを、前記ディスパリティマップに従って前記基準視点の位置に移動させて、前記基準視点に対応する同一位置の複数の前記視点画像データを重ね合わせて、前記基準視点のオクルージョン領域の情報と、多層の輝度値およびディスパリティ値とを有する撮影空間を再構成し、
再構成された前記撮影空間を、所定視点から前記基準視点上の所定のディスパリティ値に向かうベクトルによりサンプリングして、前記所定視点から見て１番手前のディスパリティ値に対応する輝度値を用いて前記所定視点の補間画像を生成する。

本開示の一側面においては、複数の視点画像、および前記複数の視点画像に対応するディスパリティマップに基づいて、各視点に対する輝度値とディスパリティ値を有する視点画像データを生成し、基準視点以外の前記視点画像データを、前記ディスパリティマップに従って前記基準視点の位置に移動させて、前記基準視点に対応する同一位置の複数の前記視点画像データを重ね合わせて、前記基準視点のオクルージョン領域の情報と、多層の輝度値およびディスパリティ値とを有する撮影空間が再構成される。再構成された前記撮影空間を、所定視点から前記基準視点上の所定のディスパリティ値に向かうベクトルによりサンプリングして、前記所定視点から見て１番手前のディスパリティ値に対応する輝度値を用いて前記所定視点の補間画像が生成される。

本開示の一側面によれば、多視点画像を処理することができる。特に、高速で高品位に視点補間画像を生成することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術を適用した撮像装置の構成例を示すブロック図である。撮影空間の再構成について説明する図である。撮影空間の再構成について説明する図である。撮影空間の再構成について説明する図である。撮影空間の再構成について説明する図である。２次元平面上の補間の場合について説明する図である。再構成された撮影空間の例を示す図である。再構成された撮影空間に対するサンプリングの例を示す図である。撮像装置の画像処理について説明するフローチャートである。撮影空間の再構成処理について説明するフローチャートである。光線補間処理について説明する図である。画素ずれ量（ディスパリティ）と奥行きについて説明する図である。多視点画像利用サービスプラットフォームの例を説明する図である。多視点画像を利用するアプリケーションの例を説明する図である。多視点画像利用サービス提供システムの主な構成例を示す図である。端末装置の主な構成例を示す図である。撮像部の概要を説明する図である。サーバの主な構成例を示す図である。端末装置およびサーバが有する機能を説明する機能ブロック図である。サーバで管理される情報の例を示す図である。多視点画像利用サービス提供処理の流れの例を示すフローチャートである。多視点画像およびデプスデータの例を示す図である。多視点画像ファイルの主な構成例を示す図である。カメラ配列の例を説明する図である。メタデータの例を説明する図である。デプス検出処理の流れの例を説明するフローチャートである。多視点画像利用サービス提供システムの他の構成例を示す図である。アプリケーション提供サーバの主な構成例を示す図である。端末装置、サーバ、アプリケーション提供サーバが有する機能を説明する機能ブロック図である。多視点画像利用サービス提供処理の流れの、他の例を示すフローチャートである。情報表示例を示す図である。多視点画像利用サービス提供システムの、さらに他の構成例を示す図である。仮想レンズ処理の流れの様子の例を説明する図である。端末装置およびサーバが有する機能を説明する機能ブロック図である。多視点画像利用サービス提供処理の流れの、さらに他の例を示すフローチャートである。仮想レンズ選択の様子の例を説明する図である。仮想レンズ処理の流れの例を説明するフローチャートである。レンズプロファイルの例を説明する図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（多視点画像の撮像装置）
２．第２の実施の形態（多視点画像利用サービスプラットフォーム）
３．第３の実施の形態（多視点画像の管理）
４．第４の実施の形態（アプリケーション販売）
５．第５の実施の形態（仮想レンズ処理）

＜１．第１の実施の形態＞
＜撮像装置の構成＞
図１は、本技術を適用した画像処理装置としての撮像装置の構成例を示すブロック図である。この撮像装置は、どこを通ってきた光線であるのかという光線追跡を可能とするLight Field撮像技術において、複数台のカメラからなるカメラアレイを用いての多視点撮像を行う撮像装置である。なお、図１においては、カメラ３台からなるカメラアレイを有する例が示されているが、カメラは３台に限らない。

図１の撮像装置１１は、カメラ２１−Ｌ、カメラ２１−Ｃ、カメラ２１−Ｒ、ディスパリティ算出部２２、および補間画像生成部２３を含むように構成されている。

図１の例において、カメラ２１−Ｃは、中央に位置するカメラであり、カメラ２１−Ｌは、カメラ２１−Ｃより左側に位置するカメラであり、カメラ２１−Ｒは、カメラ２１−Ｃより右側に位置するカメラである。カメラ２１−Ｌ、カメラ２１−Ｃ、カメラ２１−Ｒを特に区別する必要がない場合、適宜カメラ２１と総称する。

カメラ２１−Ｌ、カメラ２１−Ｃ、カメラ２１−Ｒの各視点画像が、ディスパリティ算出部２２に入力される。ディスパリティ算出部２２は、入力された各視点画像を用いて、多視点画像間の被写体のディスパリティ（画素ずれ量）をそれぞれ算出し、各ディスパリティMap(Disparity Map)を生成する。ディスパリティ算出部２２は、それらを、多視点ディスパリティMapとして、多視点画像とともに、補間画像生成部２３に供給する。

なお、以下、カメラ２１−Ｌ、カメラ２１−Ｃ、カメラ２１−Ｒの各視点画像を区別する場合、それぞれ、視点画像L、視点画像C、視点画像Rと称する。また、ここで算出された視点画像L、視点画像C、視点画像RのDisparity Mapは、それぞれ、Disparity Map_DL、Disparity Map_DC、Disparity Map_DRと称する。なお、Disparity Map_DLおよびMap_DRは、Disparity Map_DCから簡易的に生成することも可能である。

補間画像生成部２３は、各視点画像と各Disparity Mapとに応じて、視点画像が撮影された空間を再構成し、再構成した空間に対して、傾きを変えながらサンプリングすることで、任意の視点の補間画像を生成する。

補間画像生成部２３は、空間再構成部３１、補間位置設定部３２、およびデータ探索部３３により構成されている。

空間再構成部３１は、各視点画像と各Disparity Mapとに応じて、視点画像が撮影された空間を再構成する。空間再構成部３１は、その空間の再構成データを、補間位置設定部３２に供給する。

補間位置設定部３２は、空間再構成部３１により再構成された空間に対して、光線（の傾き）を変えながら、補間位置を設定し、設定した補間位置を示す補間対象座標を、データ探索部３３に供給する。

データ探索部３３は、補間位置設定部３２からの補間対象座標のRGB値をサンプリングすることで、任意の視点の補間画像を生成し、生成した補間画像を、後段に出力する。なお、後段においては、図示しないが、Light Field撮像技術が適用されるこの撮像装置１１の場合、補間画像とDisparity Mapとが用いられて、光線追跡が行われ、集光処理が行われて、メモリ上に集光画像が生成される。

なお、図１の例における補間位置設定部３２とデータ探索部３３は、１つにまとめて構成することも可能である。

＜撮影空間の再構成の例＞
次に、図２乃至図５を参照して、撮影空間の再構成について説明する。

図２の例において、左側には、カメラ２１−Ｌの視点で撮像された視点画像LとそのDisparity Map_DLが示されている。中央には、カメラ２１−Ｃの視点で撮像された視点画像CとそのDisparity Map_DCが示されている。右側には、カメラ２１−Ｒの視点で撮像された視点画像RとそのDisparity Map_DRが示されている。

視点画像L、視点画像C、視点画像Rより、被写体として、手前に丸い物体があり、丸い物体の右の奥に長方形の物体があり、さらに、その奥が背景となっていることがわかる。

視差画像Cを基準画像として説明する。なお、各画像は、例えば、RGBD(Dは、ディスパリティ：画素ズレ量)データとして、各視点画像の(x,y)から、（R,G,B,D）を読み込むことができるようになっている。

本技術においては、撮影空間の再構成がポイントとなるため、視点画像L、視点画像C、視点画像RをディスパリティMap（画素ずれ量 Map）に応じて、Disparity Map_DCの視点における3D空間上に、Disparity Map_DLとDisparity Map_DRとを投影する。

図３は、Disparity Map_DCのある水平１ラインのディスパリティ（画素ズレ量）を表した多層ディスパリティマップである。

多層ディスパリティマップにおいて、視点画像に対して一番手前の丸い物体のディスパリティが一番大きく、次に、長方形の物体のディスパリティが続き、背景のディスパリティは小さい。すなわち、ディスパリティ値は、画像に一番近い位置がMaxであり、画像に近いほど大きく、画像から遠いほど小さくなる。

ここで、各周辺の視点画像（ここでは、視点画像L、視点画像R）のRGBDデータをD（Disparity）に従って、Disparity Map_DCの視点に移動させる。

図４の上段に示されるように、RGBに関しては、重複した点は全て重ね合わせる。重複した点の場合、各視点画像に対して、視点位置に基づく重み付けをして輝度を求める。例えば、各輝度の平均値が、その輝度値とされる。なお、平均値に限らず、中間値や、その他の値であってもよい。これにより、生成する補間画像の低ノイズ化を図ることが可能である。

図４の下段の長方形の物体に示されるように、オクルージョンと呼ばれる、ある視点からは見えないが、どこかの視点から見える面も、ディスパリティに沿ってメモリ空間へ展開する。

これらのようにすることで、図５の黒ベタ部分に示されるように、不要としていた部分についても情報を活かした、ディスパリティ値毎の多層ディスパリティマップを作成することができる。また、図５においては、同一位置のRGBDデータは重ね合わせで更新（再構成）されるので、低ノイズ化が可能である。

以上のように、基準画像の3D空間上に展開することにより、同じ水平垂直座標でも値を複数持つような多層の輝度および奥行き情報を持った空間が再構成される。

この再構成された空間において視点画像を生成する場合は、ディスパリティの低い値については後ろに隠れて見えないことと等価なため、最もディスパリティの大きな輝度値が有効として演算するのがよい。すなわち、探索を行うディスパリティは、例えば、MAXの値から開始される。

具体的には、２次元平面上の補間の場合、図６と式（１）に示されるように、例えば、LとRの２視差のディスパリティを、常に比較する必要があった。

なお、D_L,D_C,D_Rは、それぞれの視点のディスパリティマップであり、dは、ディスパリティの値である。

これに対して、本技術においては、視差画像のディスパリティマップを、図７に示されるような３次元のメモリ空間に展開する。

すなわち、中央位置のディスパリティマップを有するメモリ空間に、左位置ディスパリティマップから得られるディスパリティの情報を戻し、同様に、右位置ディスパリティマップから得られるディスパリティの情報を戻す。これにより、メモリ空間に、オクルージョン領域の情報も有する撮影空間が再構成される。

この再構成された撮影空間を、図中手前（ディスパリティの大きい方（例えば、MAX））からサンプリングを開始することにより、２者の比較を必要とせず、高速に、高品位な補間画像の生成が可能になる。

また、このメモリ空間の情報として、RGBD（輝度情報、ディスパリティ情報）やD+カメラID（奥行き情報、どのカメラに輝度情報があるかを示す情報）、さらには、各テクスチャの偏光情報なども取り扱うことが可能である。

なお、図７の再構成された撮影空間に対して、例えば、Rの視点は、45度傾いたベクトルでメモリ空間をサンプリングすることにより、同一の視点画像となる。なお、同様に、再構成された撮影空間に対して、例えば、Lの視点は、135度傾いたベクトルでメモリ空間をサンプリングすることにより、同一の視点画像となる。

以上のように、この空間に対して、図８に示されるように、傾きを変えながらサンプリングすることで任意の視点画像を各ピクセルのディスパリティ値の比較なしで高速に視点画像を生成することが可能である。図８の例において、縦軸はディスパリティであり、横軸はX座標である。

すなわち、図８のＡは、R視点の補間方法の例を示す図である。図８のＡにおいて、基準視点から見て右（最右側）に位置するR視点においては、45度方向にサンプリングし、１番ディスパリティが手前のRGBデータを有効とする。これにより、低ノイズ化されたR視点の画像が生成可能となる。

同様に、図８のＢは、Ｉ視点の補間方法の例を示す図である。この場合、基準視点からα離れたＩ視点においては、１/αの傾きでサンプリングし、１番ディスパリティが手前のRGBデータを有効とする。これにより、低ノイズ化されたI視点の画像が生成可能となる。

なお、上記説明は、１次元で行ったが、本技術は垂直方向やカメラアレイを前後にずらすなど３次元についても適用可能な技術である。また、上記説明においては、３視点の例を説明したが、３視点に限定されず、本技術は、多視点であれば、適用可能である。

＜画像処理の例＞
次に、図９のフローチャートを参照して、撮像装置１１の画像処理について説明する。

ディスパリティ算出部２２は、ステップＳ２１において、各ディスパリティMap(Disparity Map)を生成する。

すなわち、カメラ２１−Ｌ、カメラ２１−Ｃ、カメラ２１−Ｒの各視点画像が、ディスパリティ算出部２２に入力される。ディスパリティ算出部２２は、入力された各視点画像を用いて、多視点画像間の被写体のディスパリティ（画素ずれ量）をそれぞれ算出し、各ディスパリティMapを生成する。ディスパリティ算出部２２は、生成した各ディスパリティMapを、多視点ディスパリティMapとして、多視点画像とともに、補間画像生成部２３に供給する。

ステップＳ２２において、空間再構成部３１は、各視点画像と各ディスパリティMapとに応じて、視点画像が撮影された空間を再構成する。この撮影空間の再構成処理については、図１０を参照して後述する。空間再構成部３１は、再構成された空間の再構成データを、補間位置設定部３２に供給する。

ステップＳ２３において、補間位置設定部３２は、光線補間処理を行う。光線補間処理については、図１１を参照して後述する。ステップＳ２３により、空間再構成部３１により再構成された空間に対して、光線（の傾き）を変えながら、補間位置が設定され、設定された補間位置を示す補間対象座標が、データ探索部３３に供給される。

ステップＳ２４において、データ探索部３３は、再構成された空間をサンプリングし、補間画像を生成する。すなわち、データ探索部３３は、補間位置設定部３２からの補間対象座標のRGB値をサンプリングすることで、任意の視点の補間画像を生成し、生成した補間画像を、後段に出力する。

次に、図１０のフローチャートを参照して、図９のステップＳ２２の撮影空間の再構成処理について説明する。

空間再構成部３１は、ステップＳ４１において、対象入力視点番号をセットし、ステップＳ４２において、水平／垂直座標をセットする。

空間再構成部３１は、ステップＳ４３において、セットした座標の値が再構成空間へ反映済みか否かを判定する。ステップＳ４３において、セットした座標の値が再構成空間へ反映済みであると判定された場合、処理は、ステップＳ４４乃至Ｓ４８をスキップし、ステップＳ４９に進む。

ステップＳ４３において、セットした座標の値が再構成空間へ反映済みではないと判定された場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、空間再構成部３１は、多視点ディスパリティMapに従って、基準視点のRGBD空間にその座標の値を反映する。ステップＳ４５において、空間再構成部３１は、既に同じ座標に値があるか否かを判定する。

ステップＳ４５において、既に同じ座標に値があると判定された場合、処理は、ステップＳ４６に進む。ステップＳ４６において、空間再構成部３１は、既にある値も用いて、RGB値の平均値を求め、それをメモリに格納し、処理は、ステップＳ４８に進む。

ステップＳ４５において、同じ座標に値がないと判定された場合、処理は、ステップＳ４７に進む。ステップＳ４７において、空間再構成部３１は、RGB値をメモリに格納し、処理は、ステップＳ４８に進む。

ステップＳ４８において、空間再構成部３１は、視点番号を記録し、処理は、ステップＳ４９に進む。

ステップＳ４９において、空間再構成部３１は、全水平／垂直座標に反映済みであるか否かを判定する。ステップＳ４９において、全水平／垂直座標に反映済みではないと判定された場合、処理は、ステップＳ４２に戻り、それ以降の処理が繰り返される。

ステップＳ４９において、全水平／垂直座標に反映済みであると判定された場合、処理は、ステップＳ５０に進む。ステップＳ５０において、空間再構成部３１は、全視点が再構成空間に反映済みであるか否かを判定する。ステップＳ５０において、全視点が再構成空間に反映済みではないと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理を繰り返す。ステップＳ５０において、全視点が再構成空間に反映済みであると判定された場合、撮影空間の再構成処理は終了し、図９のステップ２２に戻る。

次に、図１１のフローチャートを参照して、図９のステップＳ２３の光線補間処理について説明する。

補間位置設定部３２は、ステップＳ７１において、補間対象光線（傾き）をセットし、ステップＳ７２において、水平／垂直座標をセットする。補間位置設定部３２は、ステップＳ７３において、探索ディスパリティをMAXにセットする。上述したように、データ探索は、大きいディスパリティから行うためである。

ステップＳ７４において、補間位置設定部３２は、再構成空間にデータが存在するか否かを判定する。ステップＳ７４において、再構成空間にデータが存在すると判定された場合、処理は、ステップＳ７５乃至Ｓ７７をスキップし、ステップＳ７８に進む。

ステップＳ７４において、再構成空間にデータが存在しないと判定された場合、処理は、ステップＳ７５に進む。ステップＳ７５において、補間位置設定部３２は、探索ディスパリティを１ステップだけマイナスする。

ステップＳ７６において、補間位置設定部３２は、探索ディスパリティが最小未満であるかを判定する。最小のディスパリティとは、例えば、背景に相当するディスパリティである。ステップＳ７６において、探索ディスパリティが最小未満であると判定された場合、ステップＳ７７に進む。ステップＳ７７において、補間位置設定部３２は、不明画素であるとして出力し、処理は、ステップＳ７８に進む。

ステップＳ７６において、探索ディスパリティが最小未満ではないと判定された場合、処理は、ステップＳ７４に戻り、それ以降の処理が繰り返される。

ステップＳ７８において、補間位置設定部３２は、全水平／垂直座標を探索済みであるか否かを判定する。ステップＳ７８において、全水平／垂直座標をまだ探索済みではないと判定された場合、処理は、ステップＳ７２に戻り、それ以降の処理が繰り返される。

ステップＳ７８において、全水平／垂直座標を探索済みであると判定された場合、処理は、ステップＳ７９に進む。ステップＳ７９において、補間位置設定部３２は、全補間対象光線を処理したか否かを判定する。ステップＳ７９において、全補間対象光線をまだ処理していないと判定された場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。ステップＳ７９において、全補間対象光線を処理したと判定された場合、光線補間処理は終了し、図９のステップＳ２３に戻る。

以上のように、本技術によれば、視差の異なる画像から視点補間画像を生成処理する際に、各視点各ピクセルの奥行きを判別することなく、高速に、高品位な視点補間画像を生成することが可能である。

すなわち、オクルージョンのデータを取得できる撮像装置からの輝度をすべて利用することができるので、生成される視点補間画像を、低ノイズ化し、品質を向上させることができる。

なお、上記説明においては、多視点画像間のディスパリティ（画素ずれ量）からディスパリティマップを生成し、生成されたディスパリティMapを用いる例を説明したが、本明細書において、画素ずれ量と奥行きとは、以下に説明するようにデプスで総称される。

＜本明細書におけるデプスの説明＞
図１２は、画素ずれ量（ディスパリティ）と奥行きについて説明する図である。

図１２に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（２）で定義される。

なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち画素ずれ量（視差ともいう）である。さらに、fは、カメラｃ１の焦点距離であり、式（２）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

式（２）に示すように、画素ずれ量ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の画素ずれ量ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差画像）とする。

なお、デプス画像（視差画像）は、画素ずれ量ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差画像）の画素値としては、画素ずれ量ｄまたは奥行きＺそのものではなく、画素ずれ量ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

画素ずれ量ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（３）により求めることができる。なお、画素ずれ量dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（３）において、Ｄ_maxは、画素ずれ量ｄの最大値であり、Ｄ_minは、画素ずれ量ｄの最小値である。最大値Ｄ_maxと最小値Ｄ_minは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（４）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（４）において、Ｚ_farは、奥行きＺの最大値であり、Ｚ_nearは、奥行きＺの最小値である。最大値Ｚ_farと最小値Ｚ_nearは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

このように、上述した本明細書では、画素ずれ量dと奥行きZとは一意に変換可能であることを考慮して、画素ずれ量dを正規化した値Iを画素値とする画像と、奥行きZの逆数１／Zを正規化した値yを画素値とする画像とを総称して、デプス画像（視差画像）とする。ここでは、デプス画像（視差画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。

なお、デプス画像（視差画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。

以上のように、本明細書において上述したディスパリティ情報は、デプス情報と総称することができ、ディスパリティマップは、デプスマップと総称することができる。

なお、本技術は、次に説明する多視点画像利用サービスプラットフォームなどにも適用可能である。すなわち、上述した第１の実施の形態における補間画像の生成方法は、アプリケーションなどとして、次に説明するサービスなどで利用される。

＜２．第２の実施の形態＞
＜多視点画像利用サービスプラットフォーム＞
図１３は、多視点画像利用サービスプラットフォームの例を説明する図である。図１３に示される多視点画像利用サービスプラットフォーム１００は、視点が互いに異なる複数の画像からなる多視点画像を用いたサービスをユーザに提供する基礎的な構造・環境である。多視点画像利用サービスプラットフォーム１００は、例えば、クラウドストレージ１０１、アプリケーションマーケット１０２等の機能を有する。

クラウドストレージ１０１は、多視点画像のデータである多視点画像データ１１１を記憶し、管理するサービスである。例えば、多視点画像利用サービスプラットフォームに登録済みのユーザが多視点撮像装置１２１を操作して、被写体を撮像し、視点が互いに異なる複数の撮像画像を多視点画像として得る。そして、そのユーザが多視点撮像装置１２１を操作して、その多視点画像データを多視点画像利用サービスプラットフォーム１００に供給する。クラウドストレージ１０１は、供給されたその多視点画像データを記憶し、ユーザ毎に管理する。

また、クラウドストレージ１０１は、必要に応じて、多視点画像データ等に基づいて、その多視点画像データに関連するデータを生成し、生成したデータも管理することもできる。さらに、クラウドストレージ１０１は、ユーザ等からの要求に応じて、その管理している多視点画像データを、必要に応じて、多視点画像データに関連するデータともに、ユーザが操作する端末装置や、後述するアプリケーションに提供することもできる。

アプリケーションマーケット１０２は、多視点画像データを利用して何らかの処理を行い、多視点画像を用いたサービスをユーザに提供するアプリケーション１１２を、ユーザに提供したり販売したり実行したりするサービスである。つまり、このアプリケーション１１２は、多視点画像利用サービスプラットフォーム１００により実行されてもよいし、端末装置において実行されてもよい。

このようなアプリケーション１１２が実行されることにより、ユーザには、多視点画像を用いたゲーム、空間合成、レンズシミュレーション、空間認識、物販支援等の、利便性の高い様々なサービスが提供される。

アプリケーション１１２が提供するサービスは、多視点画像を用いるものであればどのようなものであってもよい。例えば、レンズシミュレーションは、仮想の光学系をシミュレーション（模擬的に現出）し、多視点画像を用いて、その仮想の光学系を用いて被写体を撮像した仮想の撮像画像を生成するサービスである。その場合、アプリケーション１１２は、例えば、図１４のＡに示されるような、仮想のレンズ１５０を設定し、その仮想のレンズ１５０に入射する被写体からの入射光である光線ベクトル１５１、仮想のレンズ１５０を透過した後の入射光である光線ベクトル１５２、および、光線ベクトル１５２から仮想の撮像画像を得る仮想のイメージセンサ１５３等をシミュレーションする（模擬的に現出する）。その際、例えば、そして、アプリケーション１１２は、以上のようなシミュレーションに基づいて、多視点画像から仮想の撮像画像を生成し、ユーザに提供する。また、アプリケーション１１２は、設定する仮想のレンズ１５０の選択や販売等を行うこともできる。

そして、例えば、アプリケーション１１２で実行されるサービスで補間画像生成が行われる場合、第１の実施の形態の補間画像生成方法を適用させることができる。この場合、第１の実施の形態の効果と同じ効果を得ることができる。すなわち、高速で高品位に視点補間画像を生成することができる。

レンズシミュレーションは、仮想のレンズを設定することができるので、任意の仕様の光学系をシミュレーションすることができる。すなわち、レンズシミュレーションは、実在する光学系であっても非現実的な光学系であってもシミュレーションすることができる。したがって、このようなサービスが提供されることにより、ユーザは、多様な光学系により得られる撮像画像を再現することができる。例えば、ユーザは、このようなレンズシミュレーションにより、多視点画像を構成する各撮像画像を得た光学系よりも大口径の光学系を用いた撮像画像を容易に得ることができる。例えば、ユーザは、このようなレンズシミュレーションにより、多視点画像の各画像よりも高解像度な画像、広角な画像、画角が狭く焦点距離が遠い画像等をより容易に得ることができる。さらに、例えば、ユーザは、このようなレンズシミュレーションにより、高級なレンズを用いた撮像画像や、非現実的な光学系を用いた撮像画像を容易に得ることもできる。すなわち、ユーザは、安価に多様な撮像画像を得ることができる。

例えば、このレンズシュミレーションにも、第１の実施の形態の補間画像生成方法を適用することができる。この場合、第１の実施の形態の効果と同じ効果を得ることができる。すなわち、高速で高品位に視点補間画像を生成することができるので、高品位なレンズシュミレーションをユーザに提供することができる。

また、例えば、物販支援は、多視点画像を用いて、物品の販売を支援するサービスである。販売する物品や支援の仕方はどのようなものであってもよい。例えば、販売する物品が家具であるとし、図１４のＢに示されるように、撮像画像に家具の画像を仮想的に配置するサービスであってもよい。その場合、アプリケーション１１２は、多視点画像の各撮像画像を重ね合わせて撮像画像を生成し、その撮像画像上に家具の画像を、その３次元モデリングデータ（3Dモデリングデータとも称する）と、多視点画像における被写体までの距離を示すデプスデータとを用いて配置し、その合成画像をユーザに提供する。また、アプリケーション１１２は、配置する家具やその位置を、ユーザの操作に基づいて設定する。

このようなサービスにも、第１の実施の形態の補間画像生成方法を適用することができる。この場合、第１の実施の形態の効果と同じ効果を得ることができる。すなわち、高速で高品位に視点補間画像を生成することができるので、ユーザに高品位な合成画像を提供することができる。

このようなサービスにより、ユーザは、例えば、自身の部屋を撮像し、その撮像画像（すなわち自分の部屋の画像）上の所望の位置に、家具の画像を配置することができる。したがって、ユーザは、購入前にレイアウトをより正確に想定することができる。つまり、このようなサービスにより、「購入した家具が自分の部屋に設置できないのではないか」、「購入した家具が自分の部屋に合わないのではないか」等といった、ユーザの購入前の不安を低減させることができ、ユーザの購買意欲を向上させることができる。すなわち、アプリケーション１１２は、家具の販売を支援することができる。

以上のように、多視点画像利用サービスプラットフォーム１００は、単に多視点画像から１枚の画像を生成して提供するだけでなく、ユーザや多視点画像に関するデータを管理するとともに、アプリケーションの販売やアプリケーションを用いたサービスの提供を行うことができるので、ユーザにとってより利便性の高い、多様なサービスを提供することができる。つまり、多視点画像利用サービスプラットフォーム１００は、多視点画像を用いたサービスの利便性を向上させることができる。

その際に、第１の実施の形態の補間画像生成方法を適用することにより、高速で高品位に視点補間画像を生成することができるので、ユーザに高品位なサービスを提供することができる。

以上において、多視点画像は、複数の撮像画像よりなるように説明したが、多視点画像を構成する画像数は任意である。また、多視点画像を構成する画像の一部若しくは全部、または、各画像の一部若しくは全部が、人工的に描かれたコンピュータグラフィック画像のような非現実の画像であってもよい（つまり、多視点画像が撮像画像以外の画像を含むようにしてもよい）。

また、多視点画像利用サービスプラットフォーム１００がサービスを提供する端末装置は、多視点画像の所有者であるユーザが操作する多視点撮像装置１２１であってもよいし、そのユーザが操作する多視点撮像装置１２１以外の端末装置であってもよいし、そのユーザが多視点画像の使用を許可した他のユーザが操作する端末装置であってもよい。

さらに、多視点画像利用サービスプラットフォーム１００の物理的構成は任意である。例えば、１台のサーバにより構成されても良いし、複数のサーバにより構成されても良い。また、例えば、多視点画像利用サービスプラットフォーム１００の機能の一部または全部を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとるようにしてもよい。さらに、多視点画像利用サービスプラットフォーム１００の機能の一部または全部を、端末装置において実行するようにしてもよい。

以下に、多視点画像利用サービスプラットフォーム１００が提供するサービスの例の詳細について説明する。

＜３．第３の実施の形態＞
＜多視点画像の管理＞
第２の実施の形態において説明したように、多視点画像利用サービスプラットフォーム１００は、例えば、クラウドストレージ１０１の機能を有し、多視点画像データを記憶し、管理するサービスを提供することができる。本実施の形態において、この多視点画像の管理について説明する。

＜多視点画像利用サービス提供システム＞
図１５は、多視点画像利用サービス提供システムの主な構成例を示す図である。図１５に示される多視点画像利用サービス提供システム２００は、本技術を適用したシステムの一例であり、サーバ２０２が、ネットワーク２１０を介して接続される端末装置２０１に対して、多視点画像を利用したサービスを提供するシステムである。つまり、多視点画像利用サービス提供システム２００は、多視点画像利用サービスプラットフォーム１００を実現する構成の一例である。

図１５には、多視点画像利用サービスプラットフォーム１００が提供するサービスの内、多視点画像の管理に関するサービスの提供に関する構成の例を示している。図１５において、多視点画像利用サービス提供システム２００は、ネットワーク２１０に接続される端末装置２０１およびサーバ２０２を有する。

ネットワーク２１０は、例えば、インターネットやローカルエリアネットワーク等の任意のネットワークである。ネットワーク２１０は、有線若しくは無線またはその両方により構成される１つ若しくは複数のネットワークよりなる。端末装置２０１およびサーバ２０２は、それぞれ、有線若しくは無線によりそのネットワーク２１０に接続される。

端末装置２０１は、被写体を撮像することにより視点が互いに異なる複数の撮像画像からなる多視点画像を得る多視点撮像を行う。その際、例えば、第１の実施の形態の補間画像生成方法による補間画像生成が行われる。そして、端末装置２０１は、生成された補間画像含めた多視点画像データを符号化し、多視点符号化データを生成する。端末装置２０１は、生成した多視点符号化データをサーバ２０２に伝送する。なお、補間画像生成は、サーバ２０２で行われるようにしてもよい。このようにすることで、伝送するデータを削減することができる。

サーバ２０２は、予め登録されたユーザを管理する。また、サーバ２０２は、伝送された多視点画像符号化データを取得し、その多視点画像のデプスを検出し、デプスデータを生成する。さらに、サーバ２０２は、それらの多視点画像に関するデータをファイル化し、多視点画像ファイルを生成する。そして、サーバ２０２は、生成した多視点画像ファイルを記憶（保存）し、管理する。このサーバ２０２により管理される多視点画像ファイルは、端末装置２０１や実行されるアプリケーションと関連づけられており、必要に応じて、端末装置２０１や実行されるアプリケーションに提供される。

＜端末装置＞
図１６は、端末装置２０１の主な構成例を示すブロック図である。図１６に示されるように、端末装置２０１において、CPU（Central Processing Unit）２２１、ROM（Read Only Memory）２２２、RAM（Random Access Memory）２２３は、バス２２４を介して相互に接続されている。

バス２２４にはまた、入出力インタフェース２３０も接続されている。入出力インタフェース２３０には、入力部２３１、出力部２３２、記憶部２３３、通信部２３４、およびドライブ２３５が接続されている。

入力部２３１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２３１には、操作ボタン、タッチパネル、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部２３１に含まれるようにしてもよい。出力部２３２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２３２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部２３３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部２３４は、例えば、ネットワークインタフェースよりなる。ドライブ２３５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２４１を駆動する。

CPU２２１は、例えば、記憶部２３３に記憶されているプログラムを、入出力インタフェース２３０およびバス２２４を介して、RAM２２３にロードして実行することにより、各種処理を行う。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２２１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２４１に記録して端末装置２０１に提供することができる。その場合、プログラムは、リムーバブルメディア２４１をドライブ２３５に装着することにより、入出力インタフェース２３０を介して、記憶部２３３にインストールすることができる。

また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して端末装置２０１に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部２３４で受信し、記憶部２３３にインストールすることができる。

その他、このプログラムは、ROM２２２や記憶部２３３に、あらかじめインストールしておくこともできる。

入出力インタフェース２３０には、さらに、撮像部２３６が接続される。撮像部２３６は、例えばCPU２２１に制御されて、被写体を撮像して視点が互いに異なる複数の撮像画像からなる多視点画像を得る多視点撮像を行う。撮像部２３６は、カメラモジュール２４２−１乃至カメラモジュール２４２−Ｎを有する。Ｎは２以上の任意の整数である。カメラモジュール２４２−１乃至カメラモジュール２４２−Ｎは、互いに同様の構成を有し、同様の処理を行うモジュールである。以下において、カメラモジュール２４２−１乃至カメラモジュール２４２−Ｎを互いに区別して説明する必要が無い場合、単に、カメラモジュール２４２と称する。

カメラモジュール２４２は、イメージセンサ（撮像素子）を含む光学系を有し、被写体を撮像することにより撮像画像を得るモジュールである。各カメラモジュール２４２は、図１７に示されるC11，C12，C13，C21，C22，C23，C31，C32，C33のように、平面若しくは曲面上の互いに異なる位置に配置されており、互いに異なる視点を有する。つまり、カメラモジュール２４２−１乃至カメラモジュール２４２−Ｎは、被写体を撮像し、互いに異なる視点の撮像画像を得る。

撮像部２３６は、CPU２２１に制御される等して、このようなカメラモジュール２４２−１乃至カメラモジュール２４２−Ｎを用いて被写体を撮像し、互いに異なる視点のＮ枚の（複数の）撮像画像を得る。撮像部２３６は、その複数の撮像画像を多視点画像（多視点画像データ）として得る。すなわち、撮像部２３６は、各カメラモジュール２４２を用いて、多視点撮像を行う。

撮像部２３６は、CPU２２１に制御される等して、得られた多視点画像データを補間し、補間画像データとして、入出力インタフェース２３０やバス２２４等を介してCPU２２１やRAM２２３に供給したり、入出力インタフェース２３０を介して記憶部２３３に供給して記憶させたり、出力部２３２に供給して出力させたり、通信部２３４に供給して外部に供給させたりする。

各カメラモジュール２４２の画角や撮像方向は、互いに同一であってもよいし、同一でなくてもよい。例えば、一部のカメラモジュール２４２において、画角若しくは撮像方向またはその両方が、他のカメラモジュール２４２のそれと異なるようにしてもよい。また、例えば、全てのカメラモジュール２４２の画角や撮像方向が互いに異なるようにしてもよい。ただし、後述するように多視点撮像画像は、互いに重ね合わせて画像を生成するのに用いられたりするので、各カメラモジュール２４２の撮像の範囲（すなわち、各カメラモジュール２４２の被写体）は、少なくともその一部が互いに重複するようにするのが望ましい。

なお、多視点撮像において、各カメラモジュール２４２の撮像タイミング、露光、絞り等の撮像条件は、互いに同一であってもよいし、同一でなくてもよい。また、多視点撮像により得られる多視点画像（多視点画像を構成する各撮像画像）は、静止画像であってもよいし、動画像であってもよい。

また、撮像部２３６は、端末装置２０１の筐体に、その構成の１つとして製造時に設けられるものであってもよいし、端末装置２０１とは別体の、端末装置２０１に接続可能なモジュールとして構成されるようにしてもよい。例えば、撮像部２３６が、端末装置２０１の外部端子等に接続し、端末装置２０１の制御により動作する外付け付属部品であってもよい。さらに、撮像部２３６は、端末装置２０１とは別体の独立した装置としてもよい。例えば、撮像部２３６が、カメラ等の端末装置２０１とは別の撮像装置であり、有線若しくは無線の通信により端末装置２０１に接続され、多視点撮像により得られた多視点画像を端末装置２０１に供給するようにしてもよい。

＜サーバ＞
図１８は、サーバ２０２の主な構成例を示すブロック図である。図１８に示されるように、サーバ２０２において、CPU２５１、ROM２５２、RAM２５３は、バス２５４を介して相互に接続されている。

バス２５４にはまた、入出力インタフェース２６０も接続されている。入出力インタフェース２６０には、入力部２６１、出力部２６２、記憶部２６３、通信部２６４、およびドライブ２６５が接続されている。

入力部２６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２６１には、操作ボタン、タッチパネル、マイクロホン、カメラ、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部２６１に含まれるようにしてもよい。出力部２６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２６２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部２６３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部２６４は、例えば、ネットワークインタフェースよりなる。ドライブ２６５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２７１を駆動する。

CPU２５１は、例えば、記憶部２６３に記憶されているプログラムを、入出力インタフェース２６０およびバス２５４を介して、RAM２５３にロードして実行することにより、各種処理を行う。RAM２５３にはまた、CPU２５１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２７１に記録してサーバ２０２に提供することができる。その場合、プログラムは、リムーバブルメディア２７１をドライブ２６５に装着することにより、入出力インタフェース２６０を介して、記憶部２６３にインストールすることができる。

また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してサーバ２０２に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部２６４で受信し、記憶部２６３にインストールすることができる。

その他、このプログラムは、ROM２５２や記憶部２６３に、あらかじめインストールしておくこともできる。

＜機能ブロック＞
端末装置２０１は、CPU２２１が所定のプログラムを実行することにより、図１９のＡに機能ブロックとして示される機能を有する。図１９のＡに示されるように、CPU２２１は、撮像制御部２８１、メタデータ生成部２８２、符号化部２８３、および伝送制御部２８４等の機能ブロックを有する。

撮像制御部２８１は、多視点撮像の制御に関する処理を行う。メタデータ生成部２８２は、多視点撮像により得られた多視点画像のメタデータの生成に関する処理を行う。符号化部２８３は、多視点画像の符号化に関する処理を行う。伝送制御部２８４は、多視点画像データ等の伝送制御に関する処理を行う。

また、サーバ２０２は、CPU２５１が所定のプログラムを実行することにより、図１９のＢに機能ブロックとして示される機能を有する。図１９のＢに示されるように、CPU２５１は、ユーザ管理部２９１、取得制御部２９２、デプス検出部２９３、ファイル生成部２９４、およびデータ管理部２９５等の機能ブロックを有する。

ユーザ管理部２９１は、多視点画像利用サービスを提供するユーザの管理に関する処理を行う。例えば、ユーザ管理部２９１は、各ユーザについて、図２０のＡに示されるようなユーザ管理情報３０１を記憶部２６３に記憶し、管理する。図２０のＡに示されるように、このユーザ管理情報３０１には、例えば、ユーザの識別情報であるユーザID、ユーザの購入履歴、ユーザに関連付けられた（ユーザに登録された）ファイル管理情報の識別情報であるファイル管理情報識別情報、例えば統計分析等によりユーザが嗜好するセッティングを予想した情報であるお好みセッティング予想、ユーザが有するポイント（若しくはお金）、並びに、他のユーザに対して送った、若しくは、他のユーザから送られたコメント等が含まれる。もちろん、ユーザ管理情報３０１の内容は任意であり、上述した情報の一部が省略されても良いし、上述した以外の情報が含まれていても良い。

取得制御部２９２は、端末装置２０１から伝送される多視点画像データ等の情報の取得制御に関する処理を行う。デプス検出部２９３は、多視点画像のデプス値の検出に関する処理を行う。ファイル生成部２９４は、多視点画像データを含む各種データをファイル化した多視点画像ファイルの生成に関する処理を行う。

データ管理部２９５は、多視点画像ファイル等のデータの管理に関する処理を行う。例えば、データ管理部２９５は、各多視点画像ファイルについて、図２０のＢに示されるようなファイル管理情報３０２を記憶部２６３に記憶し、管理する。図２０のＢに示されるように、このファイル管理情報３０２には、例えば、多視点画像ファイルの識別情報である多視点画像ファイル識別情報、多視点画像ファイルに関連付けられた、多視点画像の編集結果である編集結果画像の識別情報である編集結果画像識別情報、並びに、多視点画像ファイルに関連付けられた、多視点画像を用いたアプリケーションの動作等の履歴であるアプリパラメータの識別情報であるアプリパラメータ識別情報等が含まれる。もちろん、ファイル管理情報３０２の内容は任意であり、上述した情報の一部が省略されても良いし、上述した以外の情報が含まれていても良い。

＜多視点画像利用サービス提供処理の流れ＞
以上のような構成の多視点画像利用サービス提供システムの端末装置２０１およびサーバ２０２は、多視点画像利用サービス提供処理を実行することにより、多視点画像を利用するサービスの提供、本実施の形態の場合、多視点画像の管理等のサービスの提供を行う。図２１のフローチャートを参照して、これらの装置が実行する多視点画像利用サービス提供処理の流れの例を説明する。

ステップＳ１０１において、端末装置２０１の撮像制御部２８１は、撮像部２３６を制御して、被写体を多視点撮像し、多視点画像を得る。例えば、撮像制御部２８１は、多視点撮像により、図２２のＡに示されるような、視点が互いに異なる複数の撮像画像からなる多視点画像３１１を得る。なお、多視点画像の取得後、第１の実施の形態において上述した補間画像生成処理により補間画像も生成されるようにしてもよい。その場合、サーバ２０２のCPU２５１が、図１を参照して上述したような補間画像生成に必要な機能ブロックを適宜有するようにすればよい。

図２１に戻り、多視点撮像により多視点画像データが得られると、ステップＳ１０２において、メタデータ生成部２８２は、多視点画像データのメタデータを生成する。メタデータの詳細については、後述するが、メタデータには、例えば、多視点画像の各視点の相対位置関係を示す配列情報と、多視点画像の視点数を示す眼数情報とが含まれる。つまり、メタデータ生成部２８２は、これらの配列情報や眼数情報を含むメタデータを生成し、それを多視点画像データに関連付ける。

ステップＳ１０３において、符号化部２８３は、多視点画像データを所定の符号化方法で符号化し、多視点画像符号化データを生成する。この符号化方法は、画像データを符号化する方法であればどのような方法であってもよい。例えば、JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）等のような既存の符号化方法であってもよいし、新たな多視点画像専用の符号化方法であってもよい。なお、上述した多視点画像データのメタデータ（例えば、配列情報や眼数情報等）は、多視点画像データの符号化後、メタデータ生成部２８２によって、この多視点画像符号化データに関連付けられる（多視点画像符号化データのメタデータとなる）。

ステップＳ１０４において、伝送制御部２８４は、通信部２３４を制御して、ステップＳ１０３において生成された多視点画像符号化データを、ステップＳ１０２において生成されたメタデータとともにサーバ２０２に伝送させる。例えば、伝送制御部２８４は、多視点画像符号化データやメタデータをビットストリーム、または、ビットストリームの補助情報として伝送する。

ステップＳ１１１において、サーバ２０２の取得制御部２９２は、通信部２６４を制御して、ステップＳ１０４において端末装置２０１から伝送された多視点画像符号化データおよびそのメタデータを取得する。

ステップＳ１１２において、デプス検出部２９３は、ステップＳ１１１において取得された多視点画像符号化データを、ステップＳ１０３の符号化方法に対応する復号方法で復号する。なお、ステップＳ１０１の後における補間画像生成の代わりに、復号後、第１の実施の形態において上述した補間画像生成処理により補間画像も生成されるようにしてもよい。その場合、サーバ２０２のCPU２５１が、図１を参照して上述したような補間画像生成に必要な機能ブロックを適宜有するようにすればよい。

ステップＳ１１３において、デプス検出部２９３は、ステップＳ１１２において多視点画像符号化データが復号されて得られた多視点画像データを用いて、その多視点画像のデプスを検出し、デプスデータを生成する。例えば、デプス検出部２９３は、デプスデータとして、図２２のＢに示されるような、被写体までの距離を画素毎に輝度や色で表したデプスマップ３１２を生成する。

なお、デプスの検出の詳細については、後述する。

図２１に戻り、デプスデータが生成されると、デプス検出部２９３は、ステップＳ１１４において、デプスが検出された多視点画像データを符号化し、多視点画像符号化データを生成する。この符号化方法は、画像データを符号化する方法であればどのような方法であってもよい。例えば、JPEGやMPEG等のような既存の符号化方法であってもよいし、新たな多視点画像専用の符号化方法であってもよい。ステップＳ１０３の符号化方法と同一であってもよいし、同一でなくてもよい。デプス検出部２９３は、生成したデプスデータを、この多視点画像符号化データに関連付ける。

なお、このデプス検出（デプスデータの生成）は、サーバ２０２以外の任意の装置において行われるようにしてもよい。例えば、端末装置２０１において行われるようにしてもよい。その場合、端末装置２０１のCPU２２１が、デプス検出部２９３等の必要な機能ブロックを適宜有するようにすればよい。その場合、デプス検出部２９３は、符号化部２８３により多視点画像データが符号化される前（ステップＳ１０３の処理が実行される前）に、デプスを検出するようにすればよい。そして、ステップＳ１０３において、上述したように、符号化部２８３が多視点画像データを符号化し、デプス検出部２９３が多視点画像符号化データにデプスデータを関連付け、メタデータ生成部２８２が多視点画像符号化データにメタデータ（例えば、配列情報や眼数情報等）を関連付けるようにすればよい。

ステップＳ１１５において、ファイル生成部２９４は、ステップＳ１１４において生成された多視点画像符号化データ、そのメタデータ、およびステップＳ１１３において生成されたデプスデータを含む多視点画像ファイルを生成する。なお、この多視点画像ファイルのフォーマット形式は任意である。例えば、多視点画像が静止画像の場合、EXIF（Exchangeable Image File Format）ファイルフォーマットでファイル化されるようにしてもよい。また、例えば、多視点画像が動画像の場合、MP4（MPEG-4 Part 14）ファイルフォーマットでファイル化されるようにしてもよい。もちろん、これら以外のフォーマット形式でファイル化されるようにしてもよい。

例えば、ファイル生成部２９４は、図２３に示されるような構成の多視点画像ファイル３２１を生成する。図２３の例の場合、多視点画像ファイル３２１には、多視点画像符号化データ３３１、デプスデータ３３２、およびメタデータ３３３が含まれる。

多視点画像符号化データ３３１は、ステップＳ１１４において生成された多視点画像符号化データである。デプスデータ３３２は、ステップＳ１１３において生成されたデプスデータであり、多視点画像符号化データ３３１の多視点画像のデプスデータである。メタデータ３３３は、ステップＳ１０２において生成されたメタデータであり、多視点画像符号化データ３３１のメタデータである。

メタデータ３３３には、例えば、図２３に示されるように、カメラモジュール情報３４１、カメラ配列情報３４２、眼数情報３４３、キャリブレーション情報３４４、および基線長情報３４５が含まれる。

カメラモジュール情報３４１は、多視点画像を得る撮像に関する情報、すなわち、撮像部２３６の各カメラモジュール２４２に関する情報である。例えば、撮像部２３６にカメラモジュール２４２がＮ個設けられている場合、メタデータ３３３には、Ｎ個のカメラモジュール情報３４１が含まれる。カメラモジュール情報３４１には、例えば、図２３に示されるように、解像度、焦点距離、ISO感度、撮像方向、シャッタスピード、Ｆ値、および画角等の情報が含まれる。もちろん、カメラモジュール情報３４１の構成は任意であり、これらの情報の内、一部が省略されるようにしてもよいし、これら以外の情報が含まれるようにしてもよい。

カメラ配列情報３４２は、各カメラモジュール２４２の相対位置関係を示す情報である。すなわち、カメラ配列情報３４２は、多視点画像の各視点の相対位置関係を示す情報である。例えば、カメラ配列情報３４２は、図２４に示されるように、基準とするカメラモジュールC0からその他のカメラモジュールCx（図２４の例の場合、x=1乃至8）までの距離Lx（基準となる視点から各視点までの距離Lx）と、基準とするカメラモジュールC0からその他のカメラモジュールCxの向きRx（基準となる視点から各視点の向きRx）とを含む。

眼数情報３４３は、各カメラモジュール２４２の数（視点数）を示す情報である。キャリブレーション情報３４４は、各カメラモジュール２４２のばらつきを示す情報である。基線長情報３４５は、多視点画像における長さの基準となる情報である。

なお、メタデータ３３３の構成は任意であり、これらの情報の内、一部が省略されるようにしてもよいし、これら以外の情報が含まれるようにしてもよい。

図２５は、このようなメタデータの各データの構成例を示す図である。図２５のＡに示されるように、カメラモジュール情報３４１は、解像度、焦点距離、ISO感度、撮像方向、シャッタスピード、F値、および画角等の情報が、カメラモジュール２４２毎に示されるようにしてもよい。

各カメラモジュール２４２のこれらのパラメータを互いに異なる値とすると、例えば、多視点画像の各撮像画像を重ね合わせる際に、パラメータの値に応じて、重ね合わせる撮像画像の選択やその混合比等を制御することにより、より高画質な画像を得ることができる。例えば、これらのパラメータが所望の値に近い撮像画像のみを重ね合わせる、若しくは、そのパラメータがその所望の値に近い撮像画像をより強く重ね合わせる（その撮像画像の混合比を高くする）ことにより、そのパラメータがその所望の値に近い画像が得られやすくなる。そのため、パラメータを変更するための不要な画像処理を低減させることができるので、画像処理による画質の低減を抑制することができる（より高画質な画像を得ることができる）。

また、各撮像画像が、これらのパラメータについて多様な値をとることになるから、重ね合わせの結果得られる画像のパラメータをどのような値にするとしても、その所望の値に近い撮像画像が得られる。すなわち、パラメータの値に関わらず、より高画質な画像を得ることができる。

カメラ配列情報３４２は、上述したように各カメラモジュール２４２の配列を、図２３の例のように、相対位置関係（CN. LN. RN）で表すようにしてもよいし、図２５のＡの例のように、「Ｘ型」といった、予め定められた配列の型で表すようにしてもよい。図２３の例のようにすることにより、配列の自由度を向上させることができ、図２５の例のようにすることにより、メタデータの情報量の増大を抑制することができる。

また、眼数情報３４３は、図２５のＡに示される例のように、数字で示される。

キャリブレーション情報３４４は、例えば、多視点画像の各視点の位置を示す情報により構成されるようにしてもよい。図２５のＡの例の場合、キャリブレーション情報３４４は、各カメラモジュール２４２の座標情報（各カメラモジュールの中心座標を示す情報）により構成される。また、キャリブレーション情報３４４は、例えば、多視点画像の各画像の輝度を補正する情報により構成されるようにしてもよい。図２５のＢの例の場合、キャリブレーション情報３４４は、各カメラモジュール２４２の輝度補正データ情報により構成される。

基線長情報３４５は、例えば、多視点画像の基準となる視点から各視点までの距離を示す情報を含むようにしてもよい。図２５のＣの例の場合、基線長情報３４５は、基準となるカメラモジュール２４２から他のカメラモジュール２４２までの距離を示す情報を含む。

図２１に戻り、ステップＳ１１６において、データ管理部２９５は、ステップＳ１１５において生成された多視点画像ファイルを、記憶部２６３に供給して記憶させ、その多視点画像ファイルのファイル管理情報３０２を生成して管理する。また、ユーザ管理部２９１は、記憶部２６３に記憶されている、当該ユーザのユーザ管理情報３０１を更新し、その多視点画像ファイルをユーザに登録する。

ステップＳ１１６の処理が終了すると、多視点画像利用サービス提供処理が終了する。

このような多視点画像利用サービス提供処理を実行することにより、ユーザは、多視点撮像により得られた多視点画像データのサーバ２０２への登録をより容易に行うことができる。また、多視点画像データが、その多視点画像に関する関連データ（デプスデータやメタデータ）とともにファイル化されて管理されるので、ユーザは、自身が登録した多視点画像データをより容易に利用することができる。つまり、多視点画像利用サービス提供システム２００（多視点画像利用サービスプラットフォーム１００）は、多視点画像を用いたサービスの利便性を向上させることができる。

なお、以上においては、複数のカメラモジュール２４２を有する撮像部２３６を用いて多視点撮像を行い、多視点画像（多視点画像データ）を生成するように説明したが、多視点画像（多視点画像データ）の生成方法は任意である。例えば、単一の撮像素子と光学系を有する撮像部（すなわち、単一のカメラモジュール２４２を有する撮像部）を用いて撮像位置や撮像方向（すなわち視点）を移動させながら撮像（動画像撮像でもよいし、複数の静止画像撮像でもよい）を行うことにより、多視点画像を生成するようにしてもよい。また、第１の実施の形態の補間画像生成により補間画像を生成するようにしてもよい。その場合、撮像位置や撮像方向（視点）の変位に関する情報を、メタデータとして、多視点画像データ（多視点画像符号化データ）に関連付けるのが望ましい。

また、以上においては、ファイル生成部２９４が生成した多視点画像ファイルが、サーバ２０２の記憶部２６３に記憶されて管理されるように説明したが、多視点画像ファイルが管理される場所は任意である。例えば、多視点画像ファイルがサーバ２０２以外の装置（例えば、図示せぬファイル管理サーバ等）において記憶され、管理されるようにしてもよい。その場合、ファイル生成部２９４は、生成した多視点画像ファイルを、通信部２６４を介して、例えば、ビットストリーム、または、ビットストリームの補助情報として、その装置に伝送する。その場合、その装置が、サーバ２０２と通信して多視点画像ファイルを取得する通信部と、取得した多視点画像ファイルを記憶する記憶部と、その記憶部に記憶された多視点画像ファイルを管理し、必要に応じてその多視点画像ファイルを更新したり、端末装置２０１やサーバ２０２等の他の装置に供給したりする機能ブロックであるデータ管理部を有するようにすればよい。

さらに、以上においては、サーバ２０２において多視点画像ファイルが生成されるように説明したが、多視点画像ファイルの生成は、任意の装置において行われるようにしてもよい。例えば、端末装置２０１において行われるようにしてもよい。その場合、端末装置２０１のCPU２２１が、ファイル生成部２９４等の必要な機能ブロックを適宜有するようにすればよい。その場合、ファイル生成部２９４は、符号化部２８３により多視点画像データが符号化された後（ステップＳ１０３の処理後）に、多視点画像ファイルを生成するようにすればよい。そして、ステップＳ１０４において、伝送制御部２８４が多視点画像ファイルを、例えば、ビットストリーム、または、ビットストリームの補助情報として、サーバ２０２に伝送し、ステップＳ１１１において、取得制御部２９２が、通信部２６４を制御して、その多視点画像ファイルを取得するようにすればよい。

また、サーバにおいて、ファイル化される前に、多視点画像の補間画像を生成することができるように説明したが、端末装置２０１において表示前に、上述した第１の実施の形態の方法により、多視点画像の補間画像を生成して、補間画像が生成された多視点画像を表示するようにすることも可能である。

＜デプス検出処理の流れ＞
次に、図２６のフローチャートを参照して、図２１のステップＳ１１３において実行されるデプス検出処理の流れの例を説明する。

デプス検出処理が開始されると、デプス検出部２９３は、ステップＳ１３１において、メタデータ３３３を取得する。ステップＳ１３２において、デプス検出部２９３は、各カメラモジュール２４２の解像度等に応じて、各撮像画像の解像度を補正する。

ステップＳ１３３において、デプス検出部２９３は、各カメラモジュールのシャッタスピード等に応じて、各撮像画像の輝度を補正する。ステップＳ１３４において、デプス検出部２９３は、各カメラモジュールの画角等に応じて、デプス演算に用いる領域を設定する。

ステップＳ１３５において、デプス検出部２９３は、基線長情報３４５等に基づいて、ディスパリティ評価時のズレ量を補正する。ステップＳ１３６において、デプス検出部２９３は、カメラ配列や眼数等に基づいて、基準カメラ、マッチング軸、および画像保管方法などを決定する。

ステップＳ１３７において、デプス検出部２９３は、キャリブレーション情報３４４に基づいて、各撮像画像を校正する。ステップＳ１３８において、デプス検出部２９３は、ステレオマッチングの繰り返し等によりデプス推定を行い、デプスデータを検出する。

デプスデータが検出されると、処理は図２１に戻る。

以上のように、デプス検出処理が行われることにより、ユーザは、より容易にデプスデータを生成し、利用することができる。

また、例えば、第３の実施の形態に、第１の実施の形態を適用する場合、第３の実施の形態において、第１の実施の形態の効果と同様の効果を得ることができる。例えば、高速で高品位に視点補間画像を生成することができる。すなわち、ユーザは、高品位な画像を得ることができる。

＜４．第４の実施の形態＞
＜アプリケーション販売＞
第２の実施の形態において説明したように、多視点画像利用サービスプラットフォーム１００は、例えば、アプリケーションマーケット１０２において、アプリケーション１１２を販売するサービスを提供することができる。本実施の形態において、このアプリケーションの販売について説明する。

＜多視点画像利用サービス提供システム＞
図２７は、多視点画像利用サービス提供システムの主な構成例を示す図である。図２７に示される多視点画像利用サービス提供システム２００は、本技術を適用したシステムの一例であり、サーバ２０２が、ネットワーク２１０を介して接続される端末装置２０１に対して、多視点画像を利用したサービスを提供するシステムである。つまり、多視点画像利用サービス提供システム２００は、多視点画像利用サービスプラットフォーム１００を実現する構成の一例である。

図２７には、多視点画像利用サービスプラットフォーム１００が提供するサービスの内、アプリケーション１１２の販売若しくは提供に関するサービスの提供に関する構成の例を示している。図２７において、多視点画像利用サービス提供システム２００は、ネットワーク２１０に接続される端末装置４０１、サーバ２０２、およびアプリケーション提供サーバ４０２を有する。

ネットワーク２１０に有線若しくは無線により接続される端末装置４０１は、サーバ２０２と通信を行うことにより、アプリケーション１１２の購入に関する手続きを行う。端末装置４０１は、端末装置２０１であってもよいし、端末装置２０１と異なる端末装置であってもよい。端末装置４０１は、基本的に端末装置２０１と同様の構成を有する。したがって、図１６に示される構成は、端末装置４０１にも適用することができる。ただし、端末装置４０１の場合、撮像に関する機能は不要であるので、撮像部２３６は省略することができる。

アプリケーション提供サーバ４０２は、アプリケーション１１２を多視点画像利用サービスプラットフォーム１００（アプリケーションマーケット１０２）に提供するサーバである。サーバ２０２は、アプリケーション提供サーバ４０２が提供するアプリケーションを、端末装置４０１（のユーザ）に向けて販売若しくは提供する。

＜サーバ＞
図２８は、アプリケーション提供サーバ４０２の主な構成例を示すブロック図である。図２８に示されるように、アプリケーション提供サーバ４０２において、CPU４１１、ROM４１２、RAM４１３は、バス４１４を介して相互に接続されている。

バス４１４にはまた、入出力インタフェース４２０も接続されている。入出力インタフェース４２０には、入力部４２１、出力部４２２、記憶部４２３、通信部４２４、およびドライブ４２５が接続されている。

入力部４２１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部４２１には、操作ボタン、タッチパネル、マイクロホン、カメラ、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部４２１に含まれるようにしてもよい。出力部４２２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部４２２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部４２３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部４２４は、例えば、ネットワークインタフェースよりなる。ドライブ４２５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４３１を駆動する。

CPU４１１は、例えば、記憶部４２３に記憶されているプログラムを、入出力インタフェース４２０およびバス４１４を介して、RAM４１３にロードして実行することにより、各種処理を行う。RAM４１３にはまた、CPU４１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４１１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４３１に記録してアプリケーション提供サーバ４０２に提供することができる。その場合、プログラムは、リムーバブルメディア４３１をドライブ４２５に装着することにより、入出力インタフェース４２０を介して、記憶部４２３にインストールすることができる。

また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してアプリケーション提供サーバ４０２に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部４２４で受信し、記憶部４２３にインストールすることができる。

その他、このプログラムは、ROM４１２や記憶部４２３に、あらかじめインストールしておくこともできる。

＜機能ブロック＞
端末装置４０１は、CPU２２１が所定のプログラムを実行することにより、図２９のＡに機能ブロックとして示される機能を有する。図２９のＡに示されるように、CPU２２１は、アプリケーション購入処理部４４１等の機能ブロックを有する。

アプリケーション購入処理部４４１は、入力部２３１、出力部２３２、記憶部２３３、および通信部２３４等の各部を制御し、サーバ２０２と通信を行い、画像を表示したり、ユーザの指示を受け付けたりして、アプリケーションの購入に関する処理を行う。

また、サーバ２０２は、CPU２５１が所定のプログラムを実行することにより、図２９のＢに機能ブロックとして示される機能を有する。図２９のＢに示されるように、CPU２５１は、ユーザ管理部４５１、アプリケーション販売処理部４５２、およびデータ管理部４５３等の機能ブロックを有する。

ユーザ管理部４５１は、ユーザ管理部２９１と同様に、多視点画像利用サービスを提供するユーザの管理に関する処理を行う。アプリケーション販売処理部４５２は、通信部２６４を制御して端末装置４０１と通信を行う等して、アプリケーションの販売に関する処理を行う。データ管理部４５３は、データ管理部２９５（図１９のＢ）と同様に、多視点画像ファイル等のデータの管理に関する処理を行う。また、例えば、データ管理部４５３は、アプリケーション提供サーバ４０２から供給されるアプリケーションの管理に関する処理を行う。

さらに、アプリケーション提供サーバ４０２は、CPU４１１が所定のプログラムを実行することにより、図２９のＣに機能ブロックとして示される機能を有する。図２９のＣに示されるように、CPU４１１は、アプリケーション提供処理部４６１等の機能ブロックを有する。

アプリケーション提供処理部４６１は、通信部４２４を制御してサーバ２０２と通信を行う等して、アプリケーションのサーバ２０２への提供に関する処理を行う。

＜多視点画像利用サービス提供処理の流れ＞
以上のような構成の多視点画像利用サービス提供システムの端末装置４０１、サーバ２０２、およびアプリケーション提供サーバ４０２は、多視点画像利用サービス提供処理を実行することにより、多視点画像を利用するサービスの提供、本実施の形態の場合、アプリケーションの販売等のサービスの提供を行う。図３０のフローチャートを参照して、これらの装置が実行する多視点画像利用サービス提供処理の流れの例を説明する。

ステップＳ１７１において、アプリケーション提供サーバ４０２のアプリケーション提供処理部４６１は、通信部４２４を制御する等して提供するアプリケーションをサーバ２０２に供給し、登録する。

ステップＳ１６１において、サーバ２０２のデータ管理部４５３は、通信部２６４等を制御して、アプリケーション提供サーバ４０２から供給されるアプリケーションを取得し、それを記憶部２６３に記憶させ、そのアプリケーションを端末装置４０１に対して販売することができるように管理する。

ステップＳ１５１において、端末装置４０１のアプリケーション購入処理部４４１は、通信部２３４を制御し、サーバ２０２に対してアプリケーションの購入を要求する。

ステップＳ１６２において、サーバ２０２のアプリケーション販売処理部４５２は、通信部２６４を制御する等して、その要求を取得する。

ステップＳ１６３において、アプリケーション販売処理部４５２は、ユーザ管理部４５１やデータ管理部４５３と連携し、そのユーザに販売することができるアプリケーションのリストを作成する。そして、アプリケーション販売処理部４５２は、通信部２６４を制御する等して、そのアプリケーションのリストを端末装置４０１に提供する。

端末装置４０１のアプリケーション購入処理部４４１は、ステップＳ１５２において、そのアプリケーションのリストを取得する。アプリケーション購入処理部４４１は、出力部２３２を制御する等して、そのアプリケーションのリストをモニタに表示する等して、ユーザに提示し、ユーザからの指示を受け付ける。

例えば、端末装置４０１のモニタには、図３１のＡに示されるGUI（Graphical User Interface）４７１が表示される。ユーザは、このようなGUIに基づいて、所望のアプリケーションを多数の中から絞り込む。例えば、レンズシミュレーションのアプリケーションが選択された場合、さらに、図３１のＢに示されるようなGUI４７２が表示され、仮想レンズの選択が行われる。また、例えば、画像を編集するアプリケーションが選択された場合、さらに、図３１のＣに示されるようなGUI４７３が表示され、デコレーションスタンプや多視点画像の再現等のような、その編集機能の選択が行われる。

図３０に戻り、ステップＳ１５３において、ユーザが、そのリストの中から購入するアプリケーションを選択すると、アプリケーション購入処理部４４１は、その選択指示を受け付け、通信部２３４を制御する等して、購入するアプリケーションを選択する制御情報をサーバ２０２に供給する。

サーバ２０２のアプリケーション販売処理部４５２は、ステップＳ１６４において、通信部２６４を制御する等してその制御情報を取得する。ステップＳ１６５において、アプリケーション販売処理部４５２は、ユーザ管理部４５１やデータ管理部４５３と連携し、選択されたアプリケーション（ユーザにより購入が指示されたアプリケーション）を、そのユーザのユーザ管理情報３０１に関連付けるなどして、そのユーザに登録する。

ステップＳ１６６において、アプリケーション販売処理部４５２は、アプリケーションの販売に関する決済処理を行う。ユーザ管理部４５１は、その決済情報をそのユーザのユーザ管理情報３０１に反映させる（例えば、そのユーザが所有するポイントやお金から代金若しくは代金に相当するポイントを減算する。また、アプリケーションの購入履歴に今回の販売を追記する）。

ステップＳ１６６の処理が終了すると、多視点画像利用サービス提供処理が終了する。

このような多視点画像利用サービス提供処理を実行することにより、ユーザは、多視点画像を利用して処理を行うアプリケーションの購入をより容易に行うことができる。また、購入したアプリケーションがサーバ２０２においてユーザに登録されて管理されるので、ユーザは、自身が購入したアプリケーションをより容易に利用することができる。つまり、多視点画像利用サービス提供システム２００（多視点画像利用サービスプラットフォーム１００）は、多視点画像を用いたサービスの利便性を向上させることができる。また、これらのアプリケーションにおいて、第１の実施の形態の画像補間方法を適用することにより、ユーザに、高品質な多視点画像を高速に提供することが可能である。

なお、アプリケーションは、販売でなくても良く、無料で提供されるようにしても良い。その場合、決済処理は省略することができる。

＜５．第５の実施の形態＞
＜仮想レンズ処理＞
以上のようにユーザに提供されるアプリケーションを実行することにより、多視点画像利用サービスプラットフォーム１００は、様々な多視点画像を利用するサービスをユーザに提供することができる。

本実施の形態においては、そのアプリケーションの一例として、第２の実施の形態において説明したレンズシミュレーション（仮想レンズ処理）を行うアプリケーションの実行の様子について説明する。

＜多視点画像利用サービス提供システム＞
図３２は、多視点画像利用サービス提供システムの主な構成例を示す図である。図３２に示される多視点画像利用サービス提供システム２００は、本技術を適用したシステムの一例であり、サーバ２０２が、ネットワーク２１０を介して接続される端末装置２０１に対して、多視点画像を利用したサービスを提供するシステムである。つまり、多視点画像利用サービス提供システム２００は、多視点画像利用サービスプラットフォーム１００を実現する構成の一例である。

図３２には、多視点画像利用サービスプラットフォーム１００が提供するサービスの内、レンズシミュレーション（仮想レンズ処理）に関するサービスの提供に関する構成の例を示している。図３２において、多視点画像利用サービス提供システム２００は、ネットワーク２１０に接続される端末装置４０１およびサーバ２０２を有する。

ネットワーク２１０に有線若しくは無線により接続される端末装置４０１は、サーバ２０２と通信を行い、レンズシミュレーションに用いる多視点画像の選択、シミュレーションする仮想のレンズの選択、合焦位置や被写界深度等のユーザが値を指定する撮像に関するパラメータであるユーザ指定パラメータの設定等を行う。

サーバ２０２は、それらの処理に基づいて、仮想のレンズをシミュレーションする仮想レンズ処理を実行し、仮想レンズを用いた撮像により得られる仮想の撮像画像データである仮想撮像画像データを生成する。また、サーバ２０２は、その仮想撮像画像データを保存する（記憶し、管理する）。さらに、サーバ２０２は、以上のレンズシミュレーションにおいて、どのようなパラメータについてどのような値が設定され、ユーザによりどのような操作（指示）が行われ、どのような処理が行われたか等を示す履歴情報を、このレンズシミュレーションを行うアプリケーションのアプリケーションパラメータとして生成し、保存する（記憶し、管理する）。

＜仮想レンズ処理の概要＞
次に、仮想レンズ処理の概要について説明する。仮想レンズ処理においては、図１４のＡに示されるような、ユーザにより指定された仮想のレンズ１５０が設定され、その仮想のレンズ１５０に入射する被写体からの入射光である光線ベクトル１５１、仮想のレンズ１５０を透過した後の入射光である光線ベクトル１５２、および、光線ベクトル１５２から仮想の撮像画像を得る仮想のイメージセンサ１５３等がシミュレーション（模擬的に現出）され、そのシミュレーションに基づいて、多視点画像から仮想の撮像画像が生成される。

例えば、図３３のＡに示されるような多視点画像５０１から、図３３のＢに示されるような補間画像５０２やデプスデータ５０３が生成され、それらを用いて、図３３のＣに示されるような、仮想のレンズ１５０（図１４のＡに示される仮想の光学系）を用いた撮像により得られる仮想の撮像画像５０４が生成される。この補間画像５０２の生成に、第１の実施の形態の画像補間方法を適用することができる。

このようにすることにより、多視点画像５０１の各撮像画像よりも大きな、仮想のレンズ１５０が付与する光学的効果を反映させた仮想の撮像画像５０４が得られる。仮想のレンズ１５０等の光学系は、その仮想の光学系による光学的効果を再現するパラメータよりなる、その仮想の光学系固有のプロファイル情報を用いてシミュレーションされる。したがって、サーバ２０２は、実在するものから非現実的なものまで、多様な光学系を容易に再現することができる。つまり、ユーザは、このサービスにより、より安価により多様な撮像画像を得ることができる。すなわち、多視点画像利用サービス提供システム２００（多視点画像利用サービスプラットフォーム１００）は、多視点画像を用いたサービスの利便性を向上させることができる。

＜機能ブロック＞
端末装置４０１は、CPU２２１が所定のプログラムを実行することにより、図３４のＡに機能ブロックとして示される機能を有する。図３４のＡに示されるように、CPU２２１は、ユーザ指示受付処理部５１１、表示制御部５１２、および伝送制御部５１３等の機能ブロックを有する。

ユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザ指示の受け付けに関する処理を行う。表示制御部５１２は、出力部２３２等を制御して、GUIや案内等の画像をモニタに表示させる等の表示制御に関する処理を行う。伝送制御部５１３は、通信部２３４等を制御して、ユーザ指示受付処理部５１１において受け付けられたユーザ指示等の各種情報の伝送に関する処理を行う。

また、サーバ２０２は、CPU２５１が所定のプログラムを実行することにより、図３４のＢに機能ブロックとして示される機能を有する。図３４のＢに示されるように、CPU２５１は、ユーザ管理部５２１、アプリケーション選択処理部５２２、画像選択処理部５２３、レンズ選択処理部５２４、ユーザ指定パラメータ設定処理部５２５、仮想レンズ処理部５２６、およびデータ管理部５２７等の機能ブロックを有する。

ユーザ管理部５２１は、ユーザ管理部２９１と同様に、多視点画像利用サービスを提供するユーザの管理に関する処理を行う。アプリケーション選択処理部５２２は、通信部２６４を制御して端末装置４０１と通信を行う等して、実行するアプリケーションの選択に関する処理を行う。画像選択処理部５２３は、通信部２６４を制御して端末装置４０１と通信を行う等して、レンズシミュレーション（仮想レンズ処理）の処理対象とする多視点画像の選択に関する処理を行う。ユーザ指定パラメータ設定処理部５２５は、通信部２６４を制御して端末装置４０１と通信を行う等して、端末装置４０１から伝送されるユーザ指定パラメータの設定に関する処理を行う。仮想レンズ処理部５２６は、仮想の光学系のシミュレーション（模擬的な現出）に関する処理を行う。データ管理部５２７は、データ管理部２９５と同様に、多視点画像ファイル等のデータの管理や、アプリケーションおよびそのアプリケーションに関するデータ等の管理に関する処理を行う。

例えば、第５の実施の形態に、第１の実施の形態を適用する場合、補間画像が生成されるので、レンズシュミレーションにおいて、高速で高品位な多視点画像をユーザに提供することができる。

＜多視点画像利用サービス提供処理の流れ＞
以上のような構成の多視点画像利用サービス提供システムの端末装置４０１およびサーバ２０２、多視点画像利用サービス提供処理を実行することにより、多視点画像を利用するサービスの提供、本実施の形態の場合、レンズシミュレーションのサービスの提供を行う。図３５のフローチャートを参照して、これらの装置が実行する多視点画像利用サービス提供処理の流れの例を説明する。

ステップＳ２０１において、端末装置４０１のユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザからアプリケーションの起動を要求する指示を受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられたアプリケーションの起動要求をサーバ２０２に供給する。

サーバ２０２のアプリケーション選択処理部５２２は、ステップＳ２２１において、通信部２６４等を制御して、その要求を取得する。その要求に応じて、アプリケーション選択処理部５２２は、ステップＳ２２２において、ユーザ管理部５２１が管理するユーザ管理情報に基づいて、そのユーザが使用可能なアプリケーションのリストを生成し、通信部２６４等を制御して、そのリストを端末装置４０１に供給する。

端末装置４０１の伝送制御部５１３は、ステップＳ２０２において、通信部２３４等を制御して、そのリストを取得する。表示制御部５１２は、出力部２３２を制御し、取得されたそのリストを画像としてモニタに表示する。ユーザは、そのリストに基づいて起動するアプリケーションを選択する。

ステップＳ２０３において、ユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザから起動するアプリケーションの選択指示を受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられた、起動するアプリケーションの選択指示をサーバ２０２に供給する。

サーバ２０２のアプリケーション選択処理部５２２は、ステップＳ２２３において、通信部２６４等を制御して、その選択指示を取得する。次に、画像選択処理部５２３は、ステップＳ２２４において、ユーザ管理部５２１が管理するユーザ管理情報に基づいて、そのユーザの多視点画像のリストを生成し、通信部２６４等を制御して、そのリストを端末装置４０１に供給する。

端末装置４０１の伝送制御部５１３は、ステップＳ２０４において、通信部２３４等を制御して、そのリストを取得する。表示制御部５１２は、出力部２３２を制御し、取得されたそのリストを画像としてモニタに表示する。ユーザは、そのリストに基づいて処理対象とする多視点画像を選択する。

ステップＳ２０５において、ユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザから処理対象画像の選択指示を受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられた処理対象画像の選択指示を、サーバ２０２に供給する。

サーバ２０２の画像選択処理部５２３は、ステップＳ２２５において、通信部２６４等を制御して、その選択指示を取得する。次に、レンズ選択処理部５２４は、ステップＳ２２６において、ユーザ管理部５２１が管理するユーザ管理情報に基づいて、そのユーザに登録されたレンズのリストを生成し、通信部２６４等を制御して、そのリストを端末装置４０１に供給する。

端末装置４０１の伝送制御部５１３は、ステップＳ２０６において、通信部２３４等を制御して、そのリストを取得する。表示制御部５１２は、出力部２３２を制御し、取得されたそのリストを画像としてモニタに表示する。ユーザは、そのリストに基づいてシミュレーションする仮想のレンズを選択する。

ステップＳ２０７において、ユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザからレンズの選択指示を受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられたレンズの選択指示を、サーバ２０２に供給する。

サーバ２０２のレンズ選択処理部５２４は、ステップＳ２２７において、通信部２６４等を制御して、その選択指示を取得する。

また、ステップＳ２０８において、端末装置４０１のユーザ指示受付処理部５１１は、入力部２３１等を制御して、例えば撮像条件等の、ユーザが値を指定する撮像に関するパラメータであるユーザ指定パラメータを受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられたユーザ指定パラメータを、サーバ２０２に供給する。

サーバ２０２のユーザ指定パラメータ設定処理部５２５は、ステップＳ２２８において、通信部２６４等を制御して、そのユーザ指定パラメータを取得する。

ステップＳ２２９において、仮想レンズ処理部５２６は、仮想レンズ処理を実行し、多視点画像データと、仮想の光学系による光学的効果を再現するパラメータを含むプロファイル情報とを用いて、ステップＳ２２７において選択された仮想のレンズを用いてステップＳ２２５において選択された多視点画像の被写体を撮像して得られる仮想の撮像画像を生成する。その際、仮想レンズ処理部５２６は、ステップＳ２２８において取得されたユーザ指定パラメータを用いて、仮想のレンズによる光学的影響をより正確に再現する。また、その際、仮想レンズ処理部５２６は、ステップＳ２２５において選択された多視点画像の多視点画像ファイルに含まれるカメラ配列情報３４２と、眼数情報３４３と、デプスデータ３３２とに従って、多視点画像の補間画像を生成する。この補間画像の生成に、第１の実施の形態の補間画像生成方法を適用することができる。仮想レンズ処理の詳細については、後述する。

ステップＳ２３０において、仮想レンズ処理部５２６は、通信部２６４等を制御して、ステップＳ２２９の処理により生成された仮想の撮像画像（仮想撮像画像）のデータを端末装置４０１に供給する。

端末装置４０１の伝送制御部５１３は、ステップＳ２０９において、その仮想撮像画像のデータを取得する。表示制御部５１２は、出力部２３２を制御し、取得されたその仮想撮像画像をモニタに表示する。ユーザは、その仮想撮像画像に基づいて、その仮想撮像画像を保存するか否かを選択する。

ステップＳ２１０において、ユーザ指示受付処理部５１１は、入力部２３１等を制御して、ユーザから仮想撮像画像のデータの保存指示を受け付ける。伝送制御部５１３は、通信部２３４等を制御して、そのユーザ指示受付処理部５１１により受け付けられた仮想撮像画像のデータの保存指示を、サーバ２０２に供給する。

サーバ２０２のデータ管理部５２７は、ステップＳ２３１において、通信部２６４等を制御して、その仮想画像のデータの保存指示を取得する。ステップＳ２３２において、データ管理部５２７は、このレンズシミュレーションについてのアプリケーションパラメータを生成する。データ管理部５２７は、ステップＳ２２９の処理により生成された仮想撮像画像のデータと、そのアプリケーションパラメータとを記憶して管理し、さらに、当該ユーザに登録する（当該ユーザのユーザ管理情報を更新する）。

ステップＳ２３２の処理が終了すると、多視点画像利用サービス提供処理が終了する。

このような多視点画像利用サービス提供処理を実行することにより、ユーザは、多視点画像を利用して仮想のレンズのシミュレーション（すなわち、仮想のレンズを用いた撮像により得られる仮想の撮像画像の生成）をより容易に行うことができる。また、生成された仮想撮像画像データがサーバ２０２においてユーザに登録されて管理されるので、ユーザは、その仮想撮像画像データをより容易に利用することができる。また、その仮想撮像画像データが、その仮想撮像画像の生成に用いられた多視点画像やアプリケーションパラメータ等と関連付けられて管理されるので、ユーザは、より容易に、その仮想撮像画像データを、関連する他のデータとともに利用することができる。つまり、多視点画像利用サービス提供システム２００（多視点画像利用サービスプラットフォーム１００）は、多視点画像を用いたサービスの利便性を向上させることができる。

さらに、第５の実施の形態に、第１の実施の形態を適用する場合、高速で高品位に視点補間画像を生成することができる。したがって、ユーザは、レンズ再現性の高い、高品質な画像を得ることができる。

＜画面の例＞
図３６は、表示部５３１に表示される設定GUIの例を示す模式図である。

図３６の画面では、プレビュー画像Pvとともに、設定GUIが表示されている。図３６の例では、現像パラメータは、レンズの設計情報、絞り形状、およびフォーカス位置により構成される。

この場合、表示部５３１には、プレビュー画像Pvに重畳して、設定GUIとして、レンズユニット選択部DL、絞り形状選択部DA、およびフォーカス位置選択部DFが表示される。

レンズユニット選択部DLには、現像パラメータのレンズの設計情報の選択候補に基づくレンズユニットを表す図形が表示される。絞り形状選択部DAには、現像パラメータの絞り形状の選択候補を表す図形が表示される。フォーカス位置選択部DFには、フォーカス位置の選択候補を位置で表す設定バーFbが表示される。

ユーザは、レンズユニット選択部DLに表示される所望のレンズユニットを表す図形を指Uでタッチ操作することにより、そのレンズユニットに対応するレンズの設計情報の選択候補を選択する。また、ユーザは、絞り形状選択部DAに表示される所望の絞り形状を表す図形を指Uでタッチ操作することにより、その絞り形状の選択候補を選択する。

また、ユーザは、フォーカス位置選択部DFの設定バーFbを指Uでタッチ操作し、指Uを上下方向に移動させることにより、設定バーFbを所望のフォーカス位置に対応する位置に移動させる。これにより、ユーザは、所望のフォーカス位置の選択候補を選択することができる。

なお、設定バーFbは、ユーザが設定バーFbを指Uでタッチ操作した後、指Uを移動させることにより移動するのではなく、ユーザがフォーカス位置選択部DF上の所望の位置をタッチ操作することにより、その位置に移動するようにしてもよい。また、フォーカス位置の選択候補は表示されず、画面内における指Uのタッチ位置の被写体に最も近いフォーカス位置の選択候補が選択されるようにしてもよい。

また、図３６の例では、プレビュー画像Pvの左上にレンズユニット選択部DLが配置され、左下に絞り形状選択部DAが配置され、右側にフォーカス位置選択部DFが配置されているが、配置位置は、これに限定されない。

図示は省略するが、ホワイトバランスや露出補正値等の他の現像パラメータの選択候補も、レンズユニット選択部DL、絞り形状選択部DA、フォーカス位置選択部DF等と同様に表示することができる。

また、第５実施の形態では、表示部５３１がタッチパネルと一体化されているが、タッチパネルと一体化されていない場合、ユーザは、図示せぬマウス等の操作により画面内に表示されるポインタを移動させ、タッチ操作に相当する選択操作を行う。

＜仮想レンズ処理の流れ＞
次に、図３７のフローチャートを参照して、図３５のステップＳ２２９において実行される仮想レンズ処理の詳細な流れの例について説明する。

仮想レンズ処理が開始されると、仮想レンズ処理部５２６は、ステップＳ２５１において、選択された多視点画像ファイルを記憶部２６３から取得する。ステップＳ２５２において、仮想レンズ処理部５２６は、選択されたレンズのプロファイル情報を記憶部２６３から取得する。

なお、多視点画像ファイルやプロファイル情報が記憶され、管理される場所は、任意であり、記憶部２６３以外であっても良い。例えば、多視点画像ファイルやプロファイル情報が、端末装置４０１等のようにサーバ２０２以外の装置に記憶され、管理されるようにしてもよい。その場合、仮想レンズ処理部５２６は、例えば、通信部２６４を制御して、多視点画像ファイルやプロファイル情報を、それらが記憶される装置から取得する。なお、多視点画像ファイルが記憶される場所と、プロファイル情報が記憶される場所とが互いに異なっていてもよい。

プロファイル情報は、仮想の光学系による光学的効果を再現するパラメータよりなる、その仮想の光学系固有の情報である。プロファイル情報には、例えば、RGB毎のPSF（Point spread function）データ、絞り形状、および補間枚数指定情報等が含まれる。

PSFデータは、点拡がり関数または点像分布関数とも称し、仮想の光学系に含まれる仮想のレンズの点光源に対する応答を表す関数である。つまり、PSFデータは、RGB毎に、仮想のレンズを透過する光線に対する仮想のレンズの影響を表すデータである。図３８のＡにそのPSFデータの例を示す。この例の場合、合焦部（すなわち点光源）までの距離に応じたPSFデータが、色毎（各行）に示されている。

絞り形状は、仮想の光学系に含まれる仮想の絞りの形状を示す情報である。この絞り形状は、実際に存在する絞りの形状であってもよいし、例えば、図３８のＢの左に示される丸型、星型、Ｘ型等のように、実際には存在しない任意の形状であってもよい。なお、この絞り形状は、任意の方法により指定することができる。例えば、予め定められた形状を識別情報（ID）等により指定するようにしてもよい。また、例えば、図３８のＢの右に示されるように、強度分布５４２により表現されるようにしてもよい。この強度分布の大きさ（強度の数）は、補間枚数指定情報により指定される補間画像の枚数（補間枚数）に依存する。例えば、補間枚数がＮ枚だとすると、絞り形状は、NxNの強度分布５４２により表現される。

補間枚数指定情報は、仮想の撮像画像を作成する際に生成する補間画像の枚数を指定する情報である。つまり、仮想レンズ処理部５２６は、仮想レンズ処理において、この補間枚数指定情報により指定される枚数の補間画像を生成する。補間画像の枚数が多いほど、より高精細な仮想の撮像画像を得ることができる。一般的には、仮想のレンズが高級な（高性能な）レンズであるほど、補間画像の枚数は多くなる。

以上のように、レンズプロファイル情報は、仮想のレンズの特徴を示す情報により構成される。なお、レンズプロファイル情報の内容は任意であり、上述した各情報の内、一部が省略されるようにしてもよいし、上述した情報以外の情報が含まれるようにしてもよい。例えば、仮想のレンズをエミュレーションするために用いられるレンズの物理的な設計情報がレンズプロファイル情報に含まれるようにしてもよい。

図３７に戻り、ステップＳ２５３において、仮想レンズ処理部５２６は、図３５のステップＳ２２８において取得されたユーザ指定パラメータを設定する。

ユーザ指定パラメータは、ユーザが値を指定する撮像に関するパラメータである。仮想レンズ処理部５２６は、このユーザ指定パラメータに応じて、仮想の撮像画像を生成する。例えば、ユーザ指定パラメータには、合焦位置指定情報、被写界深度指定情報、超解像処理実行指示情報等が含まれる。

合焦位置指定情報（フォーカス位置指定情報）は、撮像画像内において合焦させる被写体が位置する領域（若しくは点）を指定する情報である。つまり、ユーザが撮像画像の任意の位置を合焦位置として指定すると、その合焦位置の被写体（の距離）に焦点が合焦されるように仮想の撮像画像が生成される。

また、被写界深度指定情報は、被写界深度（絞りの大きさ）を指定する情報である。さらに、超解像処理実行指示情報は、仮想の撮像画像を生成するために多視点画像の各撮像画像を重ね合わせる際に、超解像処理を行うか否か、行う場合、どの範囲にどの程度の処理を行うか等の超解像処理に関する指示を含む情報である。多視点画像の各撮像画像の重ね合わせの際の超解像処理は、この超解像処理実行指示情報に基づいて行われる。

もちろん、ユーザ指定パラメータの内容は任意であり、上述した各情報の内、一部が省略されるようにしてもよいし、上述した情報以外の情報が含まれるようにしてもよい。

ステップＳ２５４において、仮想レンズ処理部５２６は、処理対象の多視点画像データに関連付けられたメタデータに含まれるカメラ配列情報や眼数情報等に基づいて、基準カメラ（基準とする視点の画像）、マッチング軸、画像補間方法等を決定する。

ステップＳ２５５において、仮想レンズ処理部５２６は、生成する補間画像の位置に応じて、画像の補間に用いる各画像（すなわち、重ね合わせる各画像）の混合比率を決定する。

ステップＳ２５６において、仮想レンズ処理部５２６は、デプスデータや以上のように設定した各種パラメータに従って、補間画像を生成する。例えば、仮想レンズ処理部５２６は、ステップＳ２５４において決定された基準とする視点の画像と、ステップＳ２５４において決定されたマッチング軸とを用いて、ステップＳ２５４において決定された補間方法により指定される画像を、デプスデータに従って重ね合わせることにより、補間画像を生成する。仮想レンズ処理部５２６は、プロファイル情報の補間枚数指定情報により指定される枚数分の補間画像を生成する。なお、ステップＳ２５６における補間画像生成に、上述した第１の実施の形態の補間画像生成方法を適用することができる。これにより、高速で高品位に視点補間画像を生成することができる。

ステップＳ２５７において、仮想レンズ処理部５２６は、各補間画像に対して、プロファイル情報の絞り形状データを反映する。

ステップＳ２５８において、仮想レンズ処理部５２６は、デプスデータに基づいて、ユーザにより指定された合焦位置（フォーカス位置）のデプス値を求める。つまり、仮想レンズ処理部５２６は、生成される仮想撮像画像の、例えばステップＳ２２８において取得されたユーザ指定パラメータに含まれる合焦位置指定情報（フォーカス位置指定情報）において指定される位置（座標）の被写体のデプス値（被写体までの距離）を求める。

ステップＳ２５９において、仮想レンズ処理部５２６は、ユーザ指定パラメータの被写界深度指定情報により指定される被写界深度を設定する。

ステップＳ２６０において、仮想レンズ処理部５２６は、ステレオマッチングの繰り返し等により多視点画像や補間画像を重ね合わせて仮想撮像画像を生成する。その際、仮想レンズ処理部５２６は、仮想のレンズの、デプスデータ（被写体のデプス値）に応じたPSFデータを反映させる。また、仮想レンズ処理部５２６は、ステップＳ２５８において求めたデプス値（距離）に合焦させるように、仮想撮像画像を生成する。さらに、仮想レンズ処理部５２６は、ステップＳ２５７において各補間画像に対して絞り形状データを反映させることにより、仮想撮像画像に、仮想の絞りの形状を反映させることができる。また、仮想レンズ処理部５２６は、ステップＳ２５９において設定した被写界深度になるように、仮想撮像画像を生成する。

ステップＳ２６１において、仮想レンズ処理部５２６は、ユーザ指定パラメータの超解像処理実行指示情報に従って、仮想撮像画像に超解像処理を行う。例えば、超解像処理実行指示情報により超解像処理を行わないように指示されている場合、仮想レンズ処理部５２６は、超解像処理を行わない。また、例えば、超解像処理実行指示情報により超解像処理を行うように指示されている場合、仮想レンズ処理部５２６は、超解像処理を行う。

なお、超解像処理は、仮想撮像画像全体に対して行うようにしてもよいし、合焦位置のデプス値を含む所定の範囲のデプス値の部分のみ行うようにしてもよい。合焦していない被写体の部分に対して超解像処理を行っても、得られる効果（画質の向上）は少ない。したがって、このように合焦位置とデプス値が一致若しくは近似する部分のみに対して超解像処理を行うことにより、画質の低減を抑制しながら、処理の負荷を低減させることができる。なお、このように超解像処理を行う部分を超解像処理実行指示情報により指示することができるようにしても良い。

ステップＳ２６１の処理が終了すると、仮想レンズ処理が終了し、処理は図３５に戻る。

以上のように仮想レンズ処理を行うことにより、ユーザは、より容易に仮想撮像画像を得ることができる。また、上述した第１の実施の形態の補間画像生成方法を適用することにより、高速で高品位に視点補間画像を生成することができる。

なお、以上に説明した仮想レンズ処理は、サーバ２０２に限らず、任意の装置において実行されるようにしてもよい。例えば、端末装置４０１のCPU２２１が仮想レンズ処理部５２６等を有し、端末装置４０１において、仮想レンズ処理が行われるようにしてもよい。その場合も、仮想レンズ処理は、上述した例と基本的に同様に実行することができる。なお、多視点画像ファイルや仮想のレンズのプロファイル情報等、仮想レンズ処理に用いられる情報であって、サーバ２０２において記憶（管理）される情報は、必要に応じて適宜端末装置４０１に伝送されるようにすればよい。

以上のように、第１の実施の形態の補間画像生成方法は、第２乃至第５の実施の形態のシステムにおいて、サーバ側で行われてもよい、端末装置側で行われてもよい。また、生成されたものがサーバに管理されて、画像処理後、端末装置側に提供されてもよいし、サーバ側から提供されて、端末装置側において画像処理に用いられてもよい。さらに、生成されたものが端末装置側で管理されていて、端末側で画像処理されてもよいし、サーバ側に送信し、サーバ側で処理してもよい。

以上のように、第２乃至第５の実施の形態に、上述した第１の実施の形態を適用することにより、第２乃至第５の実施の形態の効果に加えて、さらに、高速に、品質の高い画像をユーザに提供することができるなど効果を得ることができる。

＜６．その他＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１６、図１８、および図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア（例えば、リムーバブルメディア２４１、リムーバブルメディア２７１、リムーバブルメディア４３１）により構成される。このリムーバブルメディアには、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。

その場合、プログラムは、それらのリムーバブルメディアをドライブに装着することにより、入出力インタフェースを介して、記憶部にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、各装置の通信部（例えば、通信部２３４、通信部２６４、通信部４２４）で受信し、記憶部（例えば、記憶部２３３、記憶部２６３、記憶部４２３）にインストールすることができる。

その他、このプログラムは、各装置のROM（例えば、ROM２２２、ROM２５２、ROM４１２）や記憶部（例えば、記憶部２３３、記憶部２６３、記憶部４２３）に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）多視点画像における被写体のデプス情報に応じて、前記多視点画像が撮影された空間を再構成する処理を行う再構成処理部と、
前記再構成処理部により再構成された空間を、傾きを変えてサンプリングし、補間画像を生成する補間画像生成部と
を備える画像処理装置。
（２）前記再構成処理部は、前記デプス情報として、前記多視点画像間の被写体の画素ずれ量に応じて、前記多視点画像が撮影された空間を再構成する処理を行う
前記（１）に記載の画像処理装置。
（３）前記再構成処理部は、基準視点の輝度と前記画素ずれ量からなる空間に、他の視点の輝度と画素ずれ量とを反映させることで、前記空間を再構成する処理を行う
前記（１）または（２）に記載の画像処理装置。
（４）前記再構成処理部は、すでに同じ座標に値がある場合、その座標の値としてRGBの平均値を格納することで、前記空間を再構成する処理を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記再構成された空間は、任意の視点でオクルージョンとなる位置の値を有する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記再構成された空間は、複数視点に存在する値として、前記複数視点の平均値を有する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記補間画像生成部は、前記再構成された空間において、前記画素ずれ量の大きい方からサンプリングを開始する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）画像処理装置が、
多視点画像における被写体のデプス情報に応じて、前記多視点画像が撮影された空間を再構成する処理を行い、
再構成された空間を、傾きを変えてサンプリングし、補間画像を生成する
画像処理方法。

１１撮像装置，２１,２１−Ｌ，２１−Ｃ，２１−Ｒカメラ，２２ディスパリティ算出部，２３補間画像生成部，３１空間再構成部，３２補間位置設定部，３３データ探索部，１００多視点画像利用サービスプラットフォーム，２００多視点画像利用サービス提供システム，２０１端末装置，２０２サーバ，２２１ CPU，２３６撮像部，２５１ CPU，２８１撮像制御部，２８２メタデータ生成部，２８３符号化部，２８４伝送制御部，２９１ユーザ管理部，２９２取得制御部，２９３デプス検出部，２９４ファイル生成部，２９５データ管理部，３２１多視点画像ファイル，３３１多視点画像符号化データ，３３２デプスデータ，３３３メタデータ，４０１端末装置，４０２アプリケーション提供サーバ，４１１ CPU，４４１アプリケーション購入処理部，４５１ユーザ管理部，４５２アプリケーション販売処理部，４５３データ管理部，４６１アプリケーション提供処理部，５１１ユーザ指示受付処理部，５１２表示制御部，５１３伝送制御部，５２１ユーザ管理部，５２２アプリケーション選択処理部，５２３画像選択処理部，５２４レンズ選択処理部，５２５ユーザ指定パラメータ設定処理部，５２６仮想レンズ処理部，５２７データ管理部

Claims

複数の視点画像、および前記複数の視点画像に対応するディスパリティマップに基づいて、各視点に対する輝度値とディスパリティ値を有する視点画像データを生成し、基準視点以外の前記視点画像データを、前記ディスパリティマップに従って前記基準視点の位置に移動させて、前記基準視点に対応する同一位置の複数の前記視点画像データを重ね合わせて、前記基準視点のオクルージョン領域の情報と、多層の輝度値およびディスパリティ値とを有する撮影空間を再構成する再構成処理部と、
再構成された前記撮影空間を、所定視点から前記基準視点上の所定のディスパリティ値に向かうベクトルによりサンプリングして、前記所定視点から見て１番手前のディスパリティ値に対応する輝度値を用いて前記所定視点の補間画像を生成する補間画像生成部と
を備える画像処理装置。
前記再構成処理部は、前記同一位置に値がすでにある場合、前記同一位置の値として、各視点画像における前記同一位置の輝度値の平均値をそれぞれ格納することで、前記撮影空間を再構成する
請求項１に記載の画像処理装置。
再構成された前記撮影空間は、前記複数の視点画像に存在する値として、前記複数の視点画像の輝度値の平均値を有する
請求項１に記載の画像処理装置。
前記補間画像生成部は、再構成された前記撮影空間において、前記基準視点上の前記ディスパリティ値が、前記所定視点から見て１番手前の方から前記サンプリングを開始する
請求項１に記載の画像処理装置。
画像処理装置が、
複数の視点画像、および前記複数の視点画像に対応するディスパリティマップに基づいて、各視点に対する輝度値とディスパリティ値を有する視点画像データを生成し、基準視点以外の前記視点画像データを、前記ディスパリティマップに従って前記基準視点の位置に移動させて、前記基準視点に対応する同一位置の複数の前記視点画像データを重ね合わせて、前記基準視点のオクルージョン領域の情報と、多層の輝度値およびディスパリティ値とを有する撮影空間を再構成し、
再構成された前記撮影空間を、所定視点から前記基準視点上の所定のディスパリティ値に向かうベクトルによりサンプリングして、前記所定視点から見て１番手前のディスパリティ値に対応する輝度値を用いて前記所定視点の補間画像を生成する
画像処理方法。