WO2014034444A1

WO2014034444A1 - 画像処理装置および画像処理方法、並びに情報処理装置

Info

Publication number: WO2014034444A1
Application number: PCT/JP2013/072021
Authority: WO
Inventors: 健吾早坂; 功久井藤
Original assignee: ソニー株式会社
Priority date: 2012-08-31
Filing date: 2013-08-16
Publication date: 2014-03-06
Also published as: JP6458988B2; CN104584545B; US9600859B2; US20150248744A1; JPWO2014034444A1; CN104584545A

Abstract

　本技術は、簡素な構成で高解像度の視点画像とディスパリティマップとを取得することができる画像処理装置および画像処理方法、並びに情報処理装置に関する。解像度変換部は、第１の解像度で撮像された中央の視点の視点画像の解像度を、第１の解像度よりも低い第２の解像度で撮像された周辺視点の視点画像の解像度に変換し、同一の解像度の中央の視点の視点画像と周辺視点の視点画像を生成する。相関値算出部は、同一の解像度の中央の視点の視点画像と周辺視点の視点画像との間の相関値に基づいて、ディスパリティマップを生成する。本技術は情報処理装置に適用することができる。

Description

画像処理装置および画像処理方法、並びに情報処理装置

　本技術は、画像処理装置および画像処理方法、並びに情報処理装置に関し、特に、簡素な構成で高解像度の視点画像とディスパリティマップとを取得することができるようにした画像処理装置および画像処理方法、並びに情報処理装置に関する。

　視点の異なる複数の画像を用いて測定対象（被写体）までの距離を測定する技術が知られている。例えば下記特許文献１にはステレオマッチングと呼ばれる手法を用いた距離算出方法が記載されている。

　このようなステレオマッチングの手法では、画像内の水平方向（Ｈ方向）又は垂直方向（Ｖ方向）に沿った複数の視点画像から距離を算出する場合、視点画像間の位相差が距離に対応する値として求められる。位相差は、比較対象の局所領域（単位領域）を水平方向に逐次移動させ、比較範囲内で最も相関が強い単位領域同士の視点画像間での位置ずれ（Pixelずれ、ディスパリティ）を検出することにより求められる。画像内の任意の角度方向に沿った複数の視点画像からも位置ずれを算出することが可能である。さらにディスパリティは、画素単位で計測可能なため、ディスパリティの分布図（ディスパリティマップ）は入力画像の解像度と等しく求めることが可能である。

特開２０１１－１７１８５８号公報

　しかしながら、ディスパリティはあくまで距離情報であるため、必ずしも高精度である必要はない。従って、一般的に写真として用いられる所定の視点の視点画像は高解像度であることが望ましいが、ディスパリティの生成にのみ用いられる視点画像は、必ずしも高解像度である必要はない。

　本技術は、このような状況に鑑みてなされたものであり、簡素な構成で高解像度の視点画像とディスパリティマップとを取得することができるようにするものである。

　本技術の第１の側面の画像処理装置は、第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部とを備える画像処理装置である。

　本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。

　本技術の第１の側面においては、第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度が、他方の視点画像の解像度に変換されて、同一の解像度の前記第１の視点画像と前記第２の視点画像が生成され、前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップが生成される。

　本技術の第２の側面の情報処理装置は、第１の解像度の第１の視点画像を撮像する第１の撮像素子と、前記第１の解像度よりも低い第２の解像度の第２の視点画像を撮像する第２の撮像素子とを有する撮像部と、前記第１の撮像素子により撮像された前記第１の視点画像と前記第２の撮像素子により撮像された前記第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部とを備える情報処理装置である。

　本技術の第２の側面においては、第１の解像度の第１の視点画像を撮像する第１の撮像素子と、前記第１の解像度よりも低い第２の解像度の第２の視点画像を撮像する第２の撮像素子とが備えられ、前記第１の撮像素子により撮像された前記第１の視点画像と前記第２の撮像素子により撮像された前記第２の視点画像のうちの一方の視点画像の解像度が、他方の視点画像の解像度に変換されて、同一の解像度の前記第１の視点画像と前記第２の視点画像が生成され、前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップが生成される。

　本技術によれば、簡素な構成で高解像度の視点画像とディスパリティマップとを取得することができる。

本技術を適用した情報処理装置の一実施の形態のハードウェア構成の例を示すブロック図である。撮像部を構成するカメラモジュールの構成例を示す概略斜視図である。撮像部の概略斜視図である。撮像される視点画像の例を示す図である。画像処理部の第１の構成例を示したブロック図である。図５の画像処理部における補間画像を生成する処理の流れを説明する図である。図５の解像度変換部による解像度変換後の視点画像の例を示す図である。図６のステレオマッチング処理を説明する図である。図６のディスパリティマップの解像度変換を説明する図である。図６のディスパリティマップの解像度変換を説明する図である。図６の視点補間処理を説明する図である。図６の視点補間処理を説明する図である。視点画像と補間画像を撮像するカメラアレイを示す図である。撮像部により取得される光線の光線ベクトルを示す撮像部の側面図である。視点画像と補間画像の光線ベクトルを示す撮像部の側面図である。現像処理を説明する図である。現像処理を説明する図である。図１の情報処理装置の撮像処理を説明するフローチャートである。図１８の高解像度化処理の詳細を説明するフローチャートである。画像処理部の第２の構成例を示したブロック図である。図２０の画像処理部における補間画像を生成する処理の流れを説明する図である。図２０の解像度変換部による解像度変換後の視点画像の例を示す図である。ＣＰＵが図２０の画像処理部として機能する場合の撮像処理を説明するフローチャートである。本技術を適用したシステムの一実施の形態の構成例を示す図である。図２４のサーバのハードウェア構成の例を示した図である。図２５のサーバの処理を説明するフローチャートである。図２４のネットワーク端末のハードウェア構成の例を示したブロック図である。設定ＧＵＩの例を示す模式図である。システムの基本的な動作の流れを示したシーケンス図である。視点画像のサーバへのアップロードを説明するフローチャートである。被写体像の現像を説明するフローチャートである。ディスパリティと奥行きについて説明する図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１実施の形態＞
　（情報処理装置の一実施の形態のハードウェア構成の例）
　図１は、本技術を適用した情報処理装置の一実施の形態のハードウェア構成の例を示すブロック図である。

　情報処理装置１０は、撮像部１１、表示部１２、記憶部１３、通信部１４及びＣＰＵ１５を有する。

　撮像部１１は、静止画や動画を撮影する。特に本実施形態では、撮像部１１は、被写体の複数の視点画像を取得可能なカメラアレイにより構成される。撮像部１１は、複数の視点画像のうちの中央の視点の視点画像を高解像度で撮像し、中央の視点以外の視点である周辺視点の視点画像を低解像度で撮像する。

　表示部１２は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ(Organic Electro-Luminescence Display)、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。表示部１２は、撮像部１１で取得された複数の視点画像を基に生成される被写体のプレビュー画像の表示、現像処理に必要な現像パラメータの設定、ＣＰＵ１５の演算処理により生成される被写体の最終画像の表示等に用いられる。

　記憶部１３は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ（ＳＳＤ(Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。記憶部１３は、撮像部１１で取得された複数の視点画像、複数の現像パラメータ、ＣＰＵ１５の演算処理により生成される補間画像及び最終画像、各種のプログラム等を記憶する。記憶部１３に格納される現像パラメータは、通信部１４を介してダウンロードされてもよいし、図示せぬスロットに装着されたメモリーカードから読み出されてもよい。

　通信部１４は、図示せぬネットワーク上のサーバ装置や外部のネットワーク端末との通信が可能に構成される。

　ＣＰＵ１５は、記憶部１３に記憶されているプログラムを実行することにより、撮像部１１、表示部１２、記憶部１３、通信部１４の動作を制御する。具体的には、ＣＰＵ１５は、複数の視点画像に基づいて複数の視点画像を補間する複数の補間画像を生成し、補間画像および視点画像を用いて、ユーザにより選択された現像パラメータに対応する被写体像を現像する画像処理部等として機能する。

　（撮像部の構成例）
　撮像部１１は、複数のカメラモジュールを同一平面内にマトリクス状に配列したカメラアレイ（多視点カメラ）により構成される。図２は、撮像部１１を構成するカメラモジュール２１の構成例を示す概略斜視図であり、図３は、撮像部１１の概略斜視図である。

　カメラモジュール２１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）センサ等の固体撮像素子で構成される。

　図３には、画角θ度のカメラモジュール２１が同一平面内に３（行）×３（列）個配列された例が示されるが、カメラモジュール２１の配列や個数は勿論これに限られない。例えば、周辺視点のカメラモジュール２１は、中央の視点のカメラモジュールを中心とした８角形の頂点に配置されるようにしてもよい。

　以下の説明では、９つのカメラモジュール２１のうちの上から１番目の行の３つのカメラモジュール２１を、被写体に向かって左から順に、カメラモジュールC11，C12，C13とも称する。同様に、上から２番目の行の３つのカメラモジュールを、被写体に向かって左から順に、C21，C22，C23とも称する。上から３番目の行の３つのカメラモジュールを、被写体に向かって左から順に、C31，C32，C33とも称する。

　撮像部１１は、個々のカメラモジュール２１で被写体を同時に撮影することで、複数のカメラモジュール２１各々の位置（視点）に応じた被写体の視点画像を取得する。取得した視点画像は、画像処理部３０で用いられたり、記憶部１３に記憶されたりする。

　なお、中央に配置されたカメラモジュールC22は、その周囲に配置された他のカメラモジュールC11乃至Ｃ13，C21，C23、およびC31乃至C33よりも高い解像度を有するカメラモジュールで構成されている。従って、図４に示すように、カメラモジュールC22により取得される中央の視点の視点画像G22の解像度は、カメラモジュールC11乃至Ｃ13，C21，C23、およびC31乃至C33で撮像された周辺視点の視点画像G11乃至G13,G21,G23、およびG31乃至G33の解像度に比べて高い。

　第１の解像度R1のカメラモジュールC22は主に、被写体の高解像度の視点画像を取得するために用いられ、第２の解像度R2のカメラモジュールC11乃至Ｃ13，C21，C23、およびC31乃至C33は、ディパリティマップを取得するためにのみ用いられる。

　本明細書では、カメラモジュールC22は第１の解像度R1を有し、その周囲の他のカメラモジュールC11乃至Ｃ13，C21，C23、およびC31乃至C33はそれぞれ第１の解像度より低い第２の解像度R2を有しているものとする。第１の解像度R1及び第２の解像度R2の値は特に限定されず、目的とする解像度の最終画像及びディスパリティマップを取得できる適宜の値に設定可能である。

　（画像処理部の第１の構成例）
　図５は、ＣＰＵ１５により実現される画像処理部の第１の構成例を示したブロック図である。

　図５の画像処理部３０は、解像度変換部３１、相関値算出部３２、補間処理部３３、および現像処理部３４により構成される。

　情報処理装置１０の解像度変換部３１は、図１の撮像部１１により撮像された複数の視点画像のうちの中央の視点の第１の解像度R1の視点画像の解像度を、第２の解像度R2に変換する。解像度変換部３１は、その結果得られる第２の解像度R2の中央の視点の視点画像と周辺視点の視点画像を相関値算出部３２に供給する。

　相関値算出部３２は、生成部として機能し、解像度変換部３１から供給される第２の解像度R2の中央の視点の視点画像と周辺視点の視点画像とを用いて、第２の解像度R2の画素ごとにステレオマッチング処理を行う。そして、相関値算出部３２は、第２の解像度R2の画素ごとに、ステレオマッチング処理により得られる相関値が最も強い相関を表すときの中央の視点と周辺視点の視点画像内の局所領域どうしの距離を検出する。

　相関値算出部３２は、検出された第２の解像度R2の各画素の距離（位相差）を画素値とすることにより、第２の解像度R2の位相差分布（ディスパリティマップ）を生成する。相関値算出部３２は、第２の解像度R2のディスパリティマップの解像度を第１の解像度R1に変換し、補間処理部３３に供給する。なお、以下では、ディスパリティマップの画素値を、視点画像の画素値と区別するため、ディスパリティ値という。

　補間処理部３３は、相関値算出部３２からのディスパリティマップと、撮像部１１からの視点画像とを用いて、中央の視点と周辺視点の間の視点の第１の解像度R1の視点画像を補間するとともに、周辺視点の第１の解像度R1の視点画像を生成する。補間処理部３３は、中央の視点と周辺視点の第１の解像度R1の視点画像、および、補間画像を現像処理部３４に供給する。

　現像処理部３４は、補間処理部３３からの視点画像および補間画像と、記憶部１３に記憶されている複数の現像パラメータのうちのユーザにより選択された現像パラメータとを用いて、被写体像を現像（再構築）する現像処理を行う。現像処理部３４は、その結果生成される第１の解像度R1の画像を最終画像として出力する。最終画像は、記憶部１３に記憶されたり、通信部１４を介して外部の装置に伝送されたりする。

　以上のように、画像処理部３０は、第１の解像度R1の中央の視点の視点画像の解像度を周辺視点の視点画像の解像度と同一の第２の解像度R2に変換してステレオマッチング処理を行う。従って、画像処理部３０は、撮像される周辺視点の視点画像の解像度が中央の視点の視点画像の解像度に比べて低い場合であっても、高解像度の中央の視点の視点画像とディスパリティマップを取得することができる。

　よって、情報処理装置１０は、周辺視点のカメラモジュール２１の解像度が中央の視点のカメラモジュール２１の解像度に比べて低い簡素な構成の撮像部１１を用いて、高解像度の視点画像とディスパリティマップとを取得することができる。その結果、製造コストを低減することができる。

　（補間画像を生成する処理の流れ）
　図６は、図５の画像処理部３０における補間画像を生成する処理の流れを説明する図である。画像処理部３０は、中央の視点の視点画像G22と、周辺の視点の視点画像G11乃至G13,G21,G23,G31乃至G33との間の相関値をそれぞれ算出するが、ここでは一例として、視点画像G22と水平方向にのみ視差を有する視点画像G23との相関値を算出する場合について説明する。

　解像度変換部３１は、撮像部１１により撮像された第１の解像度R1の視点画像G22の解像度を第２の解像度R2に変換（ダウンコンバート）する（ステップＳＴ０１）。これにより、図７に示すように、視点画像G22と視点画像G23の解像度が同一となるため、適正なステレオマッチング処理が可能となる。

　解像度変換後、相関値算出部３２は、第２の解像度R2の視点画像G22と視点画像G23との間の相関値を算出するためのステレオマッチング処理を実行し、第２の解像度R2のディスパリティマップを生成する（ステップＳＴ０２）。

　さらに相関値算出部３２は、生成したディスパリティマップの解像度を第１の解像度R１に変換（アップコンバート）する（ステップＳＴ０３）。この際、解像度変換前の第１の解像度R１を有する視点画像G22のエッジ情報を参考にすることができる。

　補間処理部３３は、その後、得られた第１の解像度R1のディスパリティマップと、撮像された視点画像G22および視点画像G23を参照して、第１の解像度R１の視点画像G23を生成するとともに、視点画像G22と視点画像G23の視点の間の視点の第１の解像度R１の視点画像を補間する（ステップＳＴ０４）。これにより、第１の解像度R１の視点画像（カメラ画像）Ｇ23が得られるとともに、視点画像Ｇ22と視点画像Ｇ23の間の視点画像である第１の解像度R１の補間画像が補間結果として得られる（ステップＳＴ０５）。

　視点画像G22と、視点画像G11乃至G13,G21,G31乃至G33との間における相関値算出についても上述と同様な手順で実行される。これにより、視点画像G21とその周囲の視点画像G11乃至G13,G21,G31乃至G33との間の第１の解像度R１の補間画像が生成される。

　（ステレオマッチング処理の説明）
　図８は、図６のステップＳＴ０２のステレオマッチング処理を説明する図である。

　ステレオマッチング処理では、中央の視点の視点画像と各周辺視点の画像が局所領域で逐次比較されていき、視点画像間の位相差（ディスパリティ）が求められる。

　例えば、図８に示すように、視点が水平（Ｈ）方向に並び、水平方向に視差を有する中央の視点の視点画像G22と周辺視点の視点画像G23のステレオマッチング処理では、視点画像G22と視点画像G23の各画素が局所領域単位で逐次比較され、局所領域同士の類似度を示す相関値（画素相関値）が求められる。そして、相関値が最も強い相関を表すときの局所領域間の位相差が、その局所領域に対応する画素のディスパリティ値とされる。

　すなわち、まず、視点画像G22内の局所領域（図８中の部分画像C1：中心座標（x1，y1））が取り出される。次いで、視点画像G23内における比較対象の局所領域（図８中の部分画像H1：中心座標（x1，y1）が取り出され、この部分画像H1の位置が比較範囲H10内で水平方向に逐次移動されながら、相関値が逐次算出される。そして、この比較範囲H10内で相関値が最も強い相関を表すときの部分画像C1と部分画像H1の位置ずれ（Pixelずれ）が、中心座標（x1，y1）の画素のディスパリティ値として求められる。

　相関値算出部３２は、このような処理を視点画像G22のエッジが存在するエッジ領域内の画素について行うことにより、視点画像G22のエッジ領域においてのみディスパリティ値として位相差を有するディスパリティマップを生成する。ディスパリティマップのエッジ領域以外のディスパリティ値は、位相差の未検出を表す未検出値とされる。

　また、図８に示すように、視点が垂直（Ｖ）方向に並び、垂直方向に視差を有する中央の視点の視点画像G22と周辺視点の視点画像G12のステレオマッチング処理は、視点画像G22と視点画像G23のステレオマッチング処理と同様に行われる。

　すなわち、まず、視点画像G22内の部分画像C1と、視点画像G12内の部分画像V1とがそれぞれ取り出され、部分画像V1の位置が比較範囲V10内で垂直方向に逐次移動されながら相関値が逐次算出される。相関値算出部３２は、このような処理を視点画像G22のエッジ領域内の画素について行うことにより、視点画像G22のエッジ領域においてのみ位相差を有するディスパリティマップを生成する。ディスパリティマップのエッジ領域以外のディスパリティ値は未検出値とされる。

　このようにして、複数の視点画像を用いてステレオマッチング処理が行われることにより視点画像間の位相差が検出され、ディスパリティマップが生成される。

　なお、ステレオマッチング処理における相関値としては種々のものを用いることができるが、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、またはＮＣＣ（Normalized Cross-Correlation）などを相関値として用いることができる。ＳＡＤまたはＳＳＤが用いられる場合、相関が強いほど相関値は小さくなり（０に近づき）、相関が弱いほど相関値が大きくなる（∞に近づく）。一方、ＮＣＣが用いられる場合、相関が強いほど相関値が１に近づき、相関が弱いほど相関値が０に近づく。

　（ディスパリティマップの解像度変換の説明）
　図９および図１０は、図６のステップＳＴ０３のディスパリティマップの解像度変換を説明する図である。

　図９および図１０において、正方形は画素を表す。また、図９および図１０の例では、第１の解像度R１は第２の解像度Ｒ２の4倍である。

　上述したように、ディスパリティマップは、中央の視点の視点画像G22のエッジ領域内においてのみディスパリティ値として位相差を有する。従って、図９に示すように、第１の解像度R1の視点画像G22である視点画像７１のエッジ領域７１Ａと、第２の解像度R2の視点画像G22である視点画像７２のエッジ領域７２Ａが異なる場合、単純な画素補間によりディスパリティマップの解像度を第１の解像度R１に変換することができない場合がある。

　即ち、単純な画素補間では、視点画像７２のエッジ領域７２Ａではないが、視点画像７１のエッジ領域７１Ａである、視点画像７１の画素９１と画素９２の位相差は、対応する視点画像７２の画素９０のディスパリティ値が未検出値であるため、補間できない。

　従って、相関値算出部３２は、視点画像７２ではエッジ領域７２Ａではないが、視点画像７１ではエッジ領域７１Ａである画素９１および画素９２について、以下のようにして位相差を生成する。

　まず、相関値算出部３２は、視点画像７１における画素９１の上下左右に隣接する隣接画素（図１０中Ａ乃至Ｄが付された正方形で表す画素）と画素９１の画素値の差分を求める。そして、相関値算出部３２は、その差分が小さい順に、隣接画素に対応する第２の解像度R2のディスパリティ値が存在するかどうかを判定し、存在する場合、そのディスパリティ値を画素９１の位相差とする。

　一方、全ての隣接画素に対応する第２の解像度R2のディスパリティ値が存在しない場合、相関値算出部３２は、画素９１の右隣の画素９２の上下左右に隣接する画素を新たに隣接画素とし、同様の処理を行う。このようにして、画素９１の位相差が生成される。画素９２の位相差についても同様である。

　相関値算出部３２はまた、視点画像７１のエッジ領域７１Ａ内の画素９１および画素９２以外の画素について、第２の解像度R2のディスパリティマップを単純に画素補間することにより位相差を生成する。

　以上のようにして、相関値算出部３２は、エッジ領域７１Aのディスパリティ値として位相差を有し、エッジ領域７１A以外の領域のディスパリティ値として未検出値を有する第１の解像度R1のディスパリティマップを生成する。そして、相関値算出部３２は、第１の解像度R1のディスパリティマップのエッジ領域７１Aのディスパリティ値に基づいてエッジ領域７１A以外の領域のディスパリティ値を補間し、最終的な第１の解像度R1のディスパリティマップを生成する。

　以上により、相関値算出部３２は、第１の解像度R1のディスパリティマップにおいて、視点画像７２において位相差が検出されていない画素９１および画素９２のディスパリティ値を、画素値が似ている画素の位相差とすることができる。従って、ディスパリティマップの解像度を高精度に第１の解像度R１に変換することができる。

　（視点補間処理の説明）
　次に、図１１および図１２を参照して、図６のステップＳＴ０４の視点補間処理を説明する。

　補間処理部３３は、まず、ディスパリティマップおよび全ての視点の視点画像を用いて、第１の解像度R１の周辺視点の視点画像G11乃至G13,G21,G23、およびG31乃至G33を生成する。

　具体的には、補間処理部３３は、画素ごとに、各周辺視点と基準視点のディスパリティマップのディスパリティ値だけ視点画像G22の画素値を移動する。そして、補間処理部３３は、第１の解像度R１の画素ごとに、移動後の視点画像G22の画素値と、対応する第２の解像度R2の周辺視点の視点画像の画素値とを比較し、その差分が最小になるまで移動量および視点画像G23の画素値を調整する。このようにして画素値が調整されると、視点画像G23の解像度は、第１の解像度R１となる。

　次に、補間処理部３３は、調整後の移動量をディスパリティ値とする各周辺視点と基準視点のディスパリティマップと、隣り合う２つの視点画像とを用いて、その２つの視点画像に対応する視点間の視点の視点画像を補間する。

　例えば、補間処理部３３は、図１１に示すように、画素ごとに、視点画像G21と視点画像G22のディスパリティマップのディスパリティ値の1/2倍だけ、第１の解像度R1の視点画像G21と視点画像G22を移動させる。補間処理部３３は、移動後の視点画像G21と視点画像G22に対して平均化等を行うことにより、カメラモジュールC21とカメラモジュールC22を結ぶ直線上の中央に位置する視点の補間画像T35を生成する。

　同様に、補間処理部３３は、視点画像G11、視点画像G12、およびディスパリティマップを用いて、カメラモジュールC11とカメラモジュールC12を結ぶ直線上の中央に位置する視点の視点画像を補間画像T02として生成する。補間処理部３３は、視点画像G11と視点画像G22、およびディスパリティマップを用いて、カメラモジュールC11とカメラモジュールC22を結ぶ直線上に位置する視点の視点画像を補間画像T08として生成する。補間画像T27は、補間画像T27と水平方向の位置が同一である補間画像T25と補間画像T29、あるいは、垂直方向の位置が同一である補間画像T02と補間画像T35が生成された後、生成される。

　また、図１２に示すように、補間処理部３３は、視点画像G21、視点画像G22、およびディスパリティマップを用いて、補間画像T35の視点とカメラモジュールC22の視点を結ぶ直線上の中央に位置する視点の視点画像を補間画像T36として生成する。補間処理部３３は、視点画像G21、視点画像G22、およびディスパリティマップを用いて、補間画像T35の視点とカメラモジュールC21の視点を結ぶ直線上の中央に位置する視点の視点画像を補間画像T34として生成する。

　同様の処理が、全ての視点の視点画像G11乃至G13,G21乃至G23,およびG31乃至G33の隣り合う２つの視点画像に対して行われることにより、カメラモジュールC11乃至C13，C21乃至C23、およびC31乃至C33で囲まれた領域内の視点の補間画像を生成することができる。

　図１２の例では、視点画像G11乃至G13,G21乃至G23、およびG31乃至G33の隣り合う２つの視点画像の視点の間に補間画像の視点が３つずつ設けられ、72枚の補間画像T01乃至T72が生成されている。勿論、補間画像の数は図１２の例に限定されない。補間画像の数は、最終画像の画質、視点補間処理の処理時間や処理コスト等を考慮して自由に設定される。

　補間画像T01乃至T72を生成することによって、図１３に示すような多数のカメラモジュール２１を有するカメラアレイ１１０で撮影したときに近い視点画像（光線ベクトルの情報）を、僅か９個のカメラモジュール２１からなる撮像部１１で容易に得ることができる。ここで、第１の解像度R１がb（縦）×a（横）画素であり、視点補間処理によりm行n列の視点画像が生成されたとすると、視点補間処理により、角度や通過位置の異なる光線情報が、b×a×m×nの数だけサンプリングできたことになる。

　補間画像の生成方法は、特に限定されない。

　（現像処理の説明）
　図１４は、撮像部１１により取得される光線の光線ベクトルを示す撮像部１１の側面図である。

　図１４に示すように、撮像部１１の各カメラモジュール２１は、画角θ度の範囲の同一の被写体からの光線を取得し、視点画像を撮像する。従って、各カメラモジュール２１により撮像される視点画像は、そのカメラモジュール２１の視点における被写体からの光線の光線ベクトル４１０の情報である。

　図１５は、視点画像と補間画像の光線ベクトルを示す撮像部１１の側面図である。

　補間画像は、隣接するカメラモジュール２１の間の視点の視点画像である。即ち、図１５に示すように、補間画像は、隣接するカメラモジュール２１の間の視点における被写体からの光線の光線ベクトルの情報（の予測値）である。従って、視点画像と補間画像の光線ベクトル４２０の情報は、光線ベクトル４１０の情報に比べて多くなる。

　図１６と図１７は、光線ベクトル４２０と現像パラメータとに基づいて行われる現像処理を説明する図である。

　図１６と図１７に示すように、現像処理では、光線ベクトル４２０に対応する光線を現像パラメータに対応する仮想光学系４３０を介して仮想イメージセンサ４４０で撮像したときの撮像画像が再構築される。

　具体的には、記憶部１３には、複数の現像パラメータとして複数種の光学系を特定するパラメータが記憶されている。現像パラメータとしては、レンズの設計情報（レンズ形状、配置、材質、コーティング等）、フィルタ、フォーカス位置、絞り値、絞り形状、ホワイトバランス、露出補正値などがある。現像パラメータのレンズの設計情報としては、現在流通しているレンズの設計情報だけでなく、希少価値の高い幻のレンズや、物理的に作り得ない仮想的なレンズなどの設計情報を採用することができる。

　ユーザは、記憶部１３に記憶されている複数の現像パラメータのうちの所望の現像パラメータを選択する。これにより、ユーザの意図した光学系で被写体像を撮像することが可能となる。

　現像処理部３４は、ユーザにより選択された現像パラメータに基づいて、その現像パラメータに対応する光学系を通過する光線の光線ベクトル４２１を光線ベクトル４２０から選択する。例えば、ユーザにより選択された現像パラメータが、ある一眼レフカメラ用に開発された交換レンズの設計情報である場合、現像処理部３４は、その交換レンズの開口面に降り注ぎ、内部に侵入する光線の光線ベクトルを光線ベクトル４２０から選択する。

　そして、現像処理部３４は、光線ベクトル４２１の光線が仮想イメージセンサ４４０のどの位置に到達するかを光学シミュレーションにより求める。現像処理部３４は、画素ごとに、その画素の位置または周辺の位置に到達する光線の光線ベクトル４２１の情報を視点画像または補間画像から抽出し、色と輝度を表す画素値を生成する。

　以上のように、視点画像と補間画像が表す光線ベクトル４２０は高密度であるため、現像処理部３４は、光線ベクトル４２０の情報を用いて任意の光学系を介して撮像される被写体像を再構築することができる。その結果、ユーザは、撮影後に何度でも任意のレンズでフォーカス位置や絞りを変更して仮想的な撮影を行うことができる。

　（情報処理装置の処理の説明）
　図１８は、図１の情報処理装置１０の撮像処理を説明するフローチャートである。

　図１８のステップＳ１１において、情報処理装置１０の撮像部１１は、中央の視点の視点画像を第１の解像度R1で撮像するとともに、周辺視点の視点画像を第２の解像度R2で撮像する。

　ステップS１２において、画像処理部３０の解像度変換部３１は、撮像部１１により撮像された中央の視点の視点画像の解像度を、第２の解像度R2に変換する。解像度変換部３１は、その結果得られる中央の視点の第２の解像度R2の視点画像を相関値算出部３２に供給する。

　ステップＳ１３において、相関値算出部３２は、中央の視点の第２の解像度R2の視点画像と周辺視点の第２の解像度R2の視点画像とを用いて、ステレオマッチング処理を行うことにより、第２の解像度R2のディスパリティマップを生成する。

　ステップＳ１４において、相関値算出部３２は、生成されたディスパリティマップの解像度を第１の解像度R1に変換する高解像度化処理を行う。この高解像度化処理の詳細は、後述する図１９を参照して説明する。相関値算出部３２は、高解像度化処理の結果得られる第１の解像度R1のディスパリティマップのエッジ領域のディスパリティ値に基づいて、エッジ領域外のディスパリティ値を補間し、補間処理部３３に供給する。

　ステップＳ１５において、補間処理部３３は、相関値算出部３２から供給される第１の解像度R1のディスパリティマップと撮像された全ての視点の視点画像とを用いて、第１の解像度R1の補間画像と周辺視点の視点画像を生成する。補間処理部３３は、第１の解像度R1の中央の視点および周辺視点の視点画像並びに補間画像を、現像処理部３４に供給する。

　ステップＳ１６において、現像処理部３４は、補間処理部３３からの視点画像および補間画像と、記憶部１３に記憶されている複数の現像パラメータのうちのユーザにより選択された現像パラメータとを用いて、被写体像を現像（再構築）する。現像処理部３４は、その結果生成される第１の解像度R1の画像を最終画像として出力する。そして、処理は終了する。

　図１９は、図１８のステップＳ１４の高解像度化処理の詳細を説明するフローチャートである。この高解像度化処理は、中央の視点の第１の解像度R1の画像の各画素を処理対象の画素として行われる。

　図１９のステップＳ３１において、相関値算出部３２は、処理対象の画素にエッジがあるかどうかを判定する。ステップＳ３１で処理対象の画素にエッジがあると判定された場合、処理はステップＳ３２に進む。

　ステップＳ３２において、相関値算出部３２は、第２の解像度R2のディスパリティマップに処理対象の画素に対応する画素のディスパリティ値が存在するかどうかを判定する。

　ステップＳ３２でディスパリティ値が存在すると判定された場合、ステップＳ３３において、相関値算出部３２は、そのディスパリティ値を、第１の解像度R1のディスパリティマップの処理対象の画素のディスパリティ値にする。そして、処理は図１８のステップＳ１４に戻る。

　一方、ステップＳ３２でディスパリティ値が存在しないと判定された場合、ステップＳ３４において、相関値算出部３２は、処理対象の画素の上下左右に隣接する画素を隣接画素に設定する。ステップＳ３５において、相関値算出部３２は、第１の解像度R1の中央の視点の視点画像における処理対象の画素と各隣接画素の画素値の差分を求める。

　ステップＳ３６において、相関値算出部３２は、ｍを１に設定する。ステップＳ３７において、相関値算出部３２は、ｍ番目に小さい差分に対応する隣接画素のディスパリティ値が存在するかどうかを判定する。

　ステップＳ３６でディスパリティ値が存在しないと判定された場合、ステップＳ３８において、相関値算出部３２は、ｍを１だけインクリメントする。ステップＳ３９において、相関値算出部３２は、ｍが隣接画素の数Ｍより大きいかどうか、即ち全ての隣接画素のディスパリティ値が存在しないかどうかを判定する。

　ステップＳ３９でｍが隣接画素の数Ｍより大きくはないと判定された場合、処理はステップＳ３７に戻り、以降の処理が繰り返される。

　一方、ステップＳ３９でｍが隣接画素の数Ｍより大きいと判定された場合、処理はステップＳ３４に戻り、相関値算出部３２は、処理対象の画素の右隣の画素の上下左右に隣接する画素を隣接画素に設定する。そして、以降の処理が繰り返される。

　また、ステップＳ３６でディスパリティ値が存在すると判定された場合、処理はステップＳ４０に進む。ステップＳ４０において、相関値算出部３２は、ｍ番目に小さい差分に対応する隣接画素の第２の解像度R2のディスパリティマップのディスパリティ値を、処理対象の画素のディスパリティ値にする。そして、処理は図１８のステップＳ１４に戻る。

　一方、ステップＳ３１でエッジがないと判定された場合、ステップＳ４１において、相関値算出部３２は、処理対象の画素のディスパリティ値を未検出値にし、処理を図１８のステップＳ１４に戻す。

　（画像処理部の第２の構成例）
　図２０は、ＣＰＵ１５により実現される画像処理部の第２の構成例を示したブロック図である。

　図２０に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図２０の画像処理部４５０の構成は、解像度変換部３１、相関値算出部３２の代わりに、解像度変換部４５１、相関値算出部４５２が設けられる点が、図５の画像処理部３０の構成と異なる。画像処理部４５０は、周辺視点の視点画像の解像度を第１の解像度に変換し、第１の解像度でステレオマッチング処理を行う。

　具体的には、画像処理部４５０の解像度変換部４５１は、図１の撮像部１１により撮像された複数の視点画像のうちの周辺視点の第２の解像度R2の視点画像の解像度を、第１の解像度R1に変換する。解像度変換部４５１は、その結果得られる第１の解像度R1の周辺視点の視点画像と中央の視点の視点画像とを相関値算出部４５２に供給する。

　相関値算出部４５２は、生成部として機能し、解像度変換部４５１から供給される第１の解像度R1の周辺視点の視点画像と中央の視点の視点画像とを用いて、第１の解像度R1の画素ごとにステレオマッチング処理を行う。そして、相関値算出部４５２は、第１の解像度R1の画素ごとに、ステレオマッチング処理により得られる相関値が最も強い相関を表すときの中央の視点と周辺視点の視点画像内の局所領域どうしの距離を検出する。

　相関値算出部４５２は、検出された第１の解像度R1の各画素の距離をディスパリティ値とすることにより、第１の解像度R1のディスパリティマップを生成し、補間処理部３３に供給する。

　以上のように、画像処理部４５０は、第２の解像度R2の周辺視点の視点画像の解像度を中央の視点の視点画像の解像度と同一の第１の解像度R1に変換してステレオマッチング処理を行う。従って、画像処理部４５０は、画像処理部３０と同様に、撮像される周辺視点の視点画像の解像度が中央の視点の視点画像の解像度に比べて低い場合であっても、高解像度の中央の視点の視点画像とディスパリティマップを取得することができる。

　（補間画像を生成する処理の他の流れ）
　図２１は、図２０の画像処理部４５０における補間画像を生成する処理の流れを説明する図である。画像処理部４５０は、中央の視点の視点画像G22と、周辺の視点の視点画像G11乃至G13,G21,G23,G31乃至G33との間の相関値をそれぞれ算出するが、ここでは一例として、視点画像G22と水平方向にのみ視差を有する視点画像G23との相関値を算出する場合について説明する。

　解像度変換部４５１は、撮像部１１により撮像された第２の解像度R2の視点画像G23の解像度を第１の解像度R1に変換（アップコンバート）する（ステップＳＴ１１）。これにより、図２２に示すように、視点画像G22と視点画像G23の解像度が同一となるため、適正なステレオマッチング処理が可能となる。視点画像G23の解像度を第１の解像度R1に変換する具体的な手法は特に限定されず、例えば、超解像度処理が適用可能である。

　解像度変換後、相関値算出部４５２は、第１の解像度R1の視点画像G22と視点画像G23との間の相関値を算出するためのステレオマッチング処理を実行し、第１の解像度R1のディスパリティマップを生成する（ステップＳＴ１２）。

　補間処理部３３は、その後、上述した方法と同様な処理によって、得られた第１の解像度R1のディスパリティマップと、撮像された視点画像G22および視点画像G23を参照して、第１の解像度R1の視点画像G23を生成するとともに、視点画像G22と視点画像G23の視点の間の視点の第１の解像度R1の視点画像を補間する（ステップＳＴ０４）。これにより、第１の解像度R1の視点画像G23が得られるとともに、視点画像G22と視点画像G23の間の視点画像である第１の解像度R1の補間画像が補間結果として得られる（ステップＳＴ０５）。

　（撮像処理の他の例）
　図２３は、ＣＰＵ１５が画像処理部４５０として機能する場合の情報処理装置１０の撮像処理を説明するフローチャートである。

　図２３のステップＳ６１において、情報処理装置１０の撮像部１１は、中央の視点の視点画像を第１の解像度R1で撮像するとともに、周辺視点の視点画像を第２の解像度R2で撮像する。

　ステップＳ６２において、画像処理部４５０の解像度変換部４５１は、撮像部１１により撮像された周辺視点の視点画像の解像度を、第１の解像度R1に変換する。解像度変換部４５１は、その結果得られる周辺視点の第１の解像度R1の視点画像を相関値算出部４５２に供給する。

　ステップＳ６３において、相関値算出部４５２は、周辺視点の第１の解像度R1の視点画像と中央の視点の第１の解像度R1の視点画像とを用いて、ステレオマッチング処理を行うことにより、第１の解像度R1のディスパリティマップを生成する。相関値算出部４５２は、第１の解像度R1のディスパリティマップを補間処理部３３に供給する。

　ステップＳ６４およびＳ６５の処理は、図１８のステップＳ１５およびＳ１６の処理と同様であるので、説明は省略する。

　以上のように、画像処理部４５０は、第１の解像度R1の中央の視点の画像と周辺視点の画像を用いて第１の解像度R1の画素単位で位相差を求め、第１の解像度R1のディスパリティマップを生成する。従って、画像処理部３０に比べて高精度で第１の解像度R1のディスパリティマップを生成することができる。

　これに対して、画像処理部３０は、第２の解像度R2の中央の視点の画像と周辺視点の画像を用いて第２の解像度R2の画素単位で位相差を求め、第１の解像度R1のディスパリティマップを生成する。従って、画像処理部４５０に比べて少ない演算量で第１の解像度R1のディスパリティマップを生成することができる。

　なお、第２の解像度R2が第１の解像度R1の片軸1/2の解像度である場合、解像度変換部４５１は、演算量およびディスパリティ算出精度を考慮して、中央の視点の視点画像の垂直方向の画素数を1/2にし、周辺視点の視点画像の水平方向の画素数を２倍にしてもよい。この場合、図２１のステップＳＴ１２の処理後に図６のステップＳＴ０３の処理と同様の処理が行われ、ディスパリティマップの解像度が第１の解像度R1に変換される。

　＜第２実施の形態＞
　（システムの一実施の形態の構成例）
　図２４は、本技術を適用したシステムの一実施の形態の構成例を示す図である。

　図２４のシステム５００は、撮像装置５０１と通信可能なネットワーク端末５０２が、ネットワーク５０３を介してクラウド上のサーバ５０４と接続することにより構成される。システム５００は、図１の情報処理装置１０の処理を複数の装置により行う。

　具体的には、撮像装置５０１は、静止画を撮影するデジタルスチルカメラ、動画を撮影するデジタルビデオカメラである。撮像装置５０１は、上述した撮像部１１を備え、第１の解像度R1の中央の視点の視点画像と第２の解像度R2の周辺視点の視点画像を撮像する。撮像された視点画像は、ネットワーク端末５０２に伝送される。

　ネットワーク端末５０２は、典型的には、パーソナルコンピュータ（ＰＣ（Personal Computer）、スマートフォン、携帯電話機、タブレットＰＣ、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。

　撮像装置５０１とネットワーク端末５０２とは有線又は無線で通信可能であり、ネットワーク端末５０２は、撮像装置５０１で撮像された視点画像を受け取る。ネットワーク端末５０２はまた、サーバ５０４とネットワーク５０３を介して通信可能にされている。ネットワーク端末５０２は、視点画像をネットワーク５０３を介してサーバ５０４に伝送する。

　ネットワーク５０３は、インターネット、有線LAN（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（IEEE802.11等）、３Ｇや４Ｇ方式の無線移動体通信ネットワーク等である。

　サーバ５０４は、ネットワーク端末５０２のユーザに視点画像を用いて仮想撮影を行う現像処理システムを提供する。具体的には、サーバ５０４は、上述した画像処理部３０（４５０）として機能し、ネットワーク端末５０２から送信されてくるＮ視点（ここでは９視点）の視点画像と現像パラメータを基に被写体像を現像する。また、サーバ５０４は、現像パラメータを記憶する。さらに、サーバ５０４は、記憶している現像パラメータのうちの、利用者が魅力を感じる特殊なレンズ等の現像パラメータを用いた現像処理に対して課金処理を行う。

　なお、ここでは、撮像装置５０１とネットワーク端末５０２は、別々の装置として構成されるようにしたが、１つの携帯端末５０５として構成されるようにしてもよい。この場合、携帯端末５０５が、視点画像の撮像と視点画像のサーバ５０４への送信の両方を行う。

　（サーバのハードウェア構成の例）
　図２５は、図２４のサーバ５０４のハードウェア構成の例を示した図である。

　図２５に示すように、サーバ５０４は、ＣＰＵ（Central Processing Unit）５２１、ＲＯＭ（Read Only Memory）５２２、ＲＡＭ（Random Access Memory）５２３、入出力インターフェース５２５、及び、これらを互いに接続するバス５２４を備える。

　ＣＰＵ５２１は、ＲＯＭ５２２やＲＡＭ５２３に記憶されているプログラムを実行することにより、サーバ５０４の各ブロックを統括的に制御する。具体的には、ＣＰＵ５２１は、画像処理部３０（４５０）として機能する。また、ＣＰＵ５２１は、通信部５２９を制御して視点画像等を受信したり、再構築された被写体像等を送信したりする。ＣＰＵ５２１は、Ｗｅｂサーバにおけるフロントエンドと同様の機能を有してもよく、例えば、メインページの出力等の基本的なＷｅｂ動作を行ってもよい。

　ＲＯＭ５２２は、ＣＰＵ５２１に実行させるＯＳ（Operating System）やプログラム、各種パラメータなどが固定的に記憶されている不揮発性のメモリである。ＲＡＭ５２３は、ＣＰＵ５２１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一次的に保持する。

　入出力インターフェース５２５には、表示部５２６、操作受付部５２７、記憶部５２８、通信部５２９等が接続される。

　表示部５２６は、例えばＬＣＤ、ＯＥＬＤ、ＣＲＴ等を用いた表示デバイスである。操作受付部５２７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部５２７がタッチパネルである場合、そのタッチパネルは表示部５２６と一体となり得る。

　記憶部５２８は、例えばＨＤＤやフラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。記憶部５２８には、ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部５２８には、ネットワーク端末５０２から受信したＮ視点の視点画像が格納される。また、記憶部５２８は、複数の現像パラメータを記憶する。

　通信部５２９は、ネットワーク５０３に優先接続するためのNIC（Network Interface Card）や、無線通信用のモジュールであり、ネットワーク端末５０２との間の通信処理を担う。通信部５２９は、ネットワーク端末５０２からＮ視点の視点画像を受信し、ネットワーク端末５０２へ現像した被写体像を送信する。

　また、通信部５２９は、記憶部５２８に記憶されている複数の現像パラメータを現像パラメータの選択候補としてネットワーク端末５０２へ送信する。通信部５２９は、ユーザにより選択された現像パラメータの選択候補をネットワーク端末５０２から受信する。この現像パラメータは、現像処理部３４で用いられる。

　（サーバの処理の説明）
　図２６は、図２５のサーバ５０４の処理を説明するフローチャートである。

　図２６のステップＳＴ２１において、サーバ５０４の通信部５２９は、ネットワーク端末５０２からＮ視点の視点画像を受信する。ステップＳＴ２２において、サーバ５０４の画像処理部３０（４５０）は、通信部５２９により受信されたＮ視点の視点画像から第１の解像度R1のディスパリティマップを生成する。

　ステップＳＴ２３において、画像処理部３０（４５０）は、第１の解像度R1のディスパリティマップと受信されたＮ視点の視点画像とを用いて、第１の解像度の補間画像と周辺視点の視点画像を生成する。

　ステップＳＴ２４において、画像処理部３０（４５０）は、第１の解像度の補間画像、中央の視点の視点画像、および周辺視点の視点画像、並びに、現像パラメータに基づいて、被写体像を現像する。この現像パラメータは、ネットワーク端末５０２のユーザにより選択されたものである。

　ステップＳＴ２５において、通信部５２９は、現像された被写体像を最終画像として、ネットワーク端末５０２へ送信する。

　（ネットワーク端末のハードウェア構成の例）
　図２７は、図２４のネットワーク端末５０２のハードウェア構成の例を示したブロック図である。

　図２７に示すように、ネットワーク端末５０２は、ＣＰＵ５４１、ＲＡＭ５４２、不揮発性メモリ５４３、表示部５４４及び通信部５４５を有する。

　ＣＰＵ５４１は、ＲＡＭ５２３や不揮発性メモリ５４３に記憶されているプログラムを実行することにより、必要に応じてＲＡＭ５４２等にアクセスしながらネットワーク端末５０２の各ブロックを統括的に制御する。ＲＡＭ５４２は、ＣＰＵ５４１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一次的に保持する。

　不揮発性メモリ５４３は、例えばフラッシュメモリやＲＯＭであり、ＣＰＵ５４１に実行させるＯＳ、プログラム（アプリケーション）や各種パラメータなどを記憶する。また不揮発性メモリ５４３は、撮像装置５０１により撮像されたＮ視点の静止画像である視点画像や動画像などを記憶する。

　表示部５４４は、例えばＬＣＤやＯＥＬＤであり、各種メニューやアプリケーションのGUI（Graphical User Interface）等を表示する。典型的には、表示部５４４は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。例えば、表示部５４４は、通信部５４５を介して供給される現像パラメータの選択候補を選択するための設定ＧＵＩを表示する。表示部５４４は、設定ＧＵＩの表示中のユーザのタッチ操作に応じて、選択候補の中から所定の現像パラメータを選択し、通信部５４５に供給する。

　通信部５４５は、ネットワーク５０３を介したサーバ５０４との通信、撮像装置５０１との通信、近隣の他の携帯端末との通信等を行う。例えば、通信部５４５は、撮像装置５０１から伝送されてくるＮ視点の視点画像等を受け取り、不揮発性メモリ５４３に記憶させる。通信部５４５は、不揮発性メモリ５４３に記憶されているＮ視点の視点画像をサーバ５０４へ送信する。

　また、通信部５４５は、サーバ５０４から送信されてくる現像パラメータの選択候補を受信する。通信部５４５は、現像パラメータの選択候補のうちの選択された現像パラメータをサーバ５０４に通知する。

　なお、図示は省略するが、撮像装置５０１とネットワーク端末５０２が一体となった携帯端末５０５のハードウェアの構成は、図２７に示すように撮像部１１が新たに設けられる点を除いてネットワーク端末５０２の構成と同一である。

　（画面の例）
　図２８は、表示部５４４に表示される設定ＧＵＩの例を示す模式図である。

　図２８の画面では、プレビュー画像Ｐｖとともに、設定ＧＵＩが表示されている。図２８の例では、現像パラメータは、レンズの設計情報、絞り形状、およびフォーカス位置により構成される。

　この場合、表示部５４４には、プレビュー画像Ｐｖに重畳して、設定ＧＵＩとして、レンズユニット選択部ＤＬ、絞り形状選択部ＤＡ、およびフォーカス位置選択部ＤＦが表示される。

　レンズユニット選択部ＤＬには、現像パラメータのレンズの設計情報の選択候補に基づくレンズユニットを表す図形が表示される。絞り形状選択部ＤＡには、現像パラメータの絞り形状の選択候補を表す図形が表示される。フォーカス位置選択部ＤＦには、フォーカス位置の選択候補を位置で表す設定バーＦｂが表示される。

　ユーザは、レンズユニット選択部ＤＬに表示される所望のレンズユニットを表す図形を指Ｕでタッチ操作することにより、そのレンズユニットに対応するレンズの設計情報の選択候補を選択する。また、ユーザは、絞り形状選択部ＤＡに表示される所望の絞り形状を表す図形を指Ｕでタッチ操作することにより、その絞り形状の選択候補を選択する。

　また、ユーザは、フォーカス位置選択部ＤＦの設定バーＦｂを指Ｕでタッチ操作し、指Ｕを上下方向に移動させることにより、設定バーＦｂを所望のフォーカス位置に対応する位置に移動させる。これにより、ユーザは、所望のフォーカス位置の選択候補を選択することができる。

　なお、設定バーＦｂは、ユーザが設定バーＦｂを指Ｕでタッチ操作した後指Ｕを移動させることにより移動するのではなく、ユーザがフォーカス位置選択部ＤＦ上の所望の位置をタッチ操作することにより、その位置に移動するようにしてもよい。また、フォーカス位置の選択候補は表示されず、画面内における指Ｕのタッチ位置の被写体に最も近いフォーカス位置の選択候補が選択されるようにしてもよい。

　また、図２８の例では、プレビュー画像Ｐｖの左上にレンズユニット選択部ＤＬが配置され、左下に絞り形状選択部ＤＡが配置され、右側にフォーカス位置選択部ＤＦが配置されているが、配置位置は、これに限定されない。

　図示は省略するが、ホワイトバランスや露出補正値等の他の現像パラメータの選択候補も、レンズユニット選択部ＤＬ、絞り形状選択部ＤＡ、フォーカス位置選択部ＤＦ等と同様に表示することができる。

　また、第２実施の形態では、表示部５４４がタッチパネルと一体化されているが、タッチパネルと一体化されていない場合、ユーザは、図示せぬマウス等の操作により画面内に表示されるポインタを移動させ、タッチ操作に相当する選択操作を行う。

　（システムの処理の説明）
　図２９は、図２４のシステム５００の基本的な動作の流れを示したシーケンス図である。図３０は、視点画像のサーバ５０４へのアップロードを説明するフローチャートであり、図３１は、被写体像の現像を説明するフローチャートである。第２実施の形態において、ネットワーク端末５０２およびサーバ５０４における動作は、ＣＰＵと、その制御下において実行される各ソフトウェアモジュールとで協働して行われる。

　撮像装置５０１は電源がオフにされると、ステップＳＴ３０１において、撮像装置５０１は、ユーザにより図示せぬシャッタボタンが押されたかどうかを判定する。ステップＳＴ３０１でシャッタボタンが押されたと判定した場合、ステップＳＴ３０２において、撮像装置５０１は、撮像部１１によりＮ視点の視点画像を同時に撮影する。即ち、撮像装置５０１は、中央の視点の第１の解像度R1の視点画像と周辺視点の第２の解像度R2の視点画像を取得する。

　続いてステップＳＴ３０３において、撮像装置５０１は、取得されたＮ視点の視点画像を隣り合う視点画像間の相関を利用して圧縮する。ステップＳＴ３０４において、撮像装置５０１は、ネットワーク端末５０２へ画像転送要求を有線又は無線で送信する。

　ステップＳＴ３０５において、撮像装置５０１は、画像転送要求がネットワーク端末５０２において受理されたかどうかを判定する。ステップＳＴ３０５で受理されていないと判定された場合、処理はステップＳＴ３０４に戻り、受理されるまでステップＳＴ３０４およびＳＴ３０５の処理が繰り返される。

　一方、ステップＳＴ３０５で受理されたと判定された場合、ステップＳＴ３０６において、撮像装置５０１は、ネットワーク端末５０２にＮ視点の視点画像の圧縮画像を有線又は無線で送信し、処理をステップＳＴ３０７に進める。

　また、ステップＳＴ３０１でシャッタボタンが押されていないと判定された場合、処理はステップＳＴ３０７に進む。

　ステップＳＴ３０７において、撮像装置５０１は、電源オフするかどうか、即ちユーザにより電源オフ操作が行われたかどうかを判定する。

　ステップＳＴ３０７で電源オフしないと判定された場合、処理はステップＳＴ３０１に戻り、電源オフ操作が行われるまでステップＳＴ３０１乃至ＳＴ３０７の処理が行われる。また、ステップＳＴ３０７で電源オフすると判定された場合、撮像装置５０１は電源をオフし、処理を終了する。

　視点画像の圧縮処理は、例えば、動画圧縮のアルゴリズムを利用することができる。撮像装置５０１で取得されたＮ視点の視点画像は、圧縮せずに、ネットワーク端末５０２へ送信されてもよい。視点画像を圧縮することで、ネットワーク端末５０２へ送信されるデータ量を抑えることができる。また、圧縮画像の生成は、ネットワーク端末５０２で行ってもよい。これにより撮像装置５０１の処理負荷を低減することができる。

　ネットワーク端末５０２は、ステップＳＴ４０１において、通信部５４５を介して撮像装置５０１からの画像転送要求を受信したかどうかを判定する。ステップＳＴ４０１で画像転送要求を受信していないと判定された場合、処理は終了する。

　一方、ステップＳＴ４０１で画像転送要求を受信したと判定された場合、ステップＳＴ４０２において、ネットワーク端末５０２は、通信部５４５を介して撮像装置５０１に転送許可を送信する。撮像装置５０１は、この転送許可を受信したとき画像転送要求が受理されたと判定する。

　ステップＳＴ４０３において、ネットワーク端末５０２は、通信部５４５を介して、撮像装置５０１からＮ視点の視点画像の圧縮画像を受信する。ネットワーク端末５０２は、受信した圧縮画像を不揮発性メモリ５４３へ格納する。

　ステップＳＴ４０４において、ネットワーク端末５０２は、通信部５４５とネットワーク５０３を介して、サーバ５０４の記憶部５２８へ圧縮画像をアップロード（送信）する。そして、処理はステップＳＴ４０１に戻り、以降の処理が繰り返される。

　一方、サーバ５０４は、ステップＳＴ５０１において、通信部５２９を介して記憶部５２８へアップロードされた圧縮画像があるかどうかを判定する。ステップＳＴ５０１でアップロードされた圧縮画像がないと判定された場合、処理は終了する。

　また、ステップＳＴ５０１でアップロードされた圧縮画像があると判定された場合、ステップＳＴ５０２において、サーバ５０４は、アップロードされた圧縮画像を確認後解凍して元のＮ視点の視点画像に戻し、記憶部５２８へ格納する。

　次に、ステップＳＴ５０３において、サーバ５０４は、ネットワーク端末５０２の表示部５４４に表示する低解像度のプレビュー画像を生成する。プレビュー画像は、ネットワーク端末５０２から送信されたＮ視点の視点画像を基に生成される。ステップＳＴ５０４において、サーバ５０４は、通信部５４５とネットワーク５０３を介して、ネットワーク端末５０２へプレビュー画像が用意できたことを送信し、プレビュー画像を送信する。そして、処理はステップＳＴ５０１に戻り、以降の処理が繰り返される。

　ネットワーク端末５０２は、ステップＳＴ４０４でサーバ５０４の記憶部５２８へ圧縮画像をアップロードした後、ステップＳＴ４０５において、サーバ５０４に新しいプレビュー画像があるかどうかを判定する。具体的には、ネットワーク端末５０２は、サーバ５０４からプレビュー画像が用意できたことを受信したかどうかを判定する。

　ネットワーク端末５０２は、サーバ５０４からプレビュー画像が用意できたことを受信していない場合、ステップＳＴ４０５で新しいプレビュー画像がないと判定し、処理を終了する。

　一方、サーバ５０４からプレビュー画像が用意できたことを受信した場合、ステップＳＴ４０５で新しいプレビュー画像があると判定し、処理をステップＳＴ４０６に進める。

　ステップＳＴ４０６において、ネットワーク端末５０２は、サーバ５０４からプレビュー画像を受信する。受信されたプレビュー画像は、ネットワーク端末５０２の表示部５４４に表示され、ユーザにより、現像対象の画像の確認が行われる。

　プレビュー画像は、サーバ５０４ではなく、ネットワーク端末５０２で生成されてもよい。また、プレビュー画像は、Ｎ視点のうちの１つの視点の低解像度の視点画像であってもよいし、所定の現像パラメータを用いて現像した最終画像を低解像度化したサンプル画像であってもよい。さらに、プレビュー画像の枚数は、１枚であってもよいし、複数であってもよい。プレビュー画像の枚数が複数であり、プレビュー画像がサンプル画像である場合、各プレビュー画像に対応する現像パラメータは異なる。

　サーバ５０４は、プレビュー画像の送信時又は送信後に、現像パラメータの選択候補をネットワーク端末５０２に送信する。ステップＳＴ４０７において、ネットワーク端末５０２は、現像パラメータの選択候補を受信し、プレビュー画像とともに設定GUI（例えば、図２８のレンズユニット選択部ＤＬ等）を表示部５４４に表示する。これにより、ユーザに対して利便性の高い現像サービスの提供が可能となる。

　ステップＳＴ４０８において、ネットワーク端末５０２は、ユーザによる設定GUIのタッチ操作に応じて、ユーザの好みの現像パラメータの選択候補を選択する。

　ステップＳＴ４０９において、プレビュー画像の枚数が複数である場合、ネットワーク端末５０２は、表示対象のプレビュー画像を、選択された現像パラメータに近いプレビュー画像に変更する。ステップＳＴ４１０において、ネットワーク端末５０２は、現像パラメータの選択候補の選択が完了したかどうかを判定する。

　例えば、ユーザにより現像パラメータの選択の完了操作が行われていない場合、ステップＳＴ４１０で現像パラメータの選択候補の選択が完了していないと判定され、処理はステップＳＴ４０８に戻る。そして、現像パラメータの選択候補の選択の完了操作が行われるまで、ステップＳＴ４０８乃至ＳＴ４１０の処理が繰り返される。

　ステップＳＴ４１０で現像パラメータの選択候補の選択が完了したと判定された場合、例えば、ユーザにより現像パラメータの選択の完了操作が行われた場合、処理はステップＳＴ４１１に進む。ステップＳＴ４１１において、ネットワーク端末５０２は、サーバ５０４へ選択された現像パラメータの選択候補を送信する。

　ステップＳＴ４１２において、ネットワーク端末５０２は、現在の現像対象の画像を、選択した現像パラメータの選択候補とは異なる現像パラメータの選択候補で現像するかどうかを判定する。

　例えば、ユーザにより現像パラメータの変更操作が行われた場合、ステップＳＴ４１２で、選択した現像パラメータの選択候補とは異なる現像パラメータの選択候補で現像すると判定され、処理はステップＳＴ４０８に戻る。その結果、新しく選択された現像パラメータの選択候補が、サーバ５０４へ送信される。

　一方、例えば、ユーザにより現像パラメータの変更操作が行われない場合、ステップＳＴ４１２で、選択した現像パラメータの選択候補とは異なる現像パラメータの選択候補で現像しないと判定され、処理はステップＳＴ４０５に戻る。

　サーバ５０４は、ステップＳＴ５０５において、ネットワーク端末５０２から現像パラメータを受信したかどうかを判定する。ステップＳＴ５０５で現像パラメータを受信していないと判定された場合、処理は終了する。

　一方、ステップＳＴ５０５で現像パラメータを受信したと判定された場合、ステップＳＴ５０６において、サーバ５０４は、その現像パラメータに従って第２の解像度R2の最終画像を生成する。詳細には、サーバ５０４は、ステップＳＴ２２乃至ＳＴ２４の処理を行う。すなわちサーバ５０４は、アップロードされたＮ視点の視点画像を補間処理して高密度の光線ベクトルの情報に変換し、更に、現像パラメータを用いた光学シミュレーションを実行し、最終画像を生成する。

　ステップＳＴ５０７において、サーバ５０４は、最終画像（被写体像）が生成できたことをネットワーク端末５０２へ通知するとともに、最終画像をネットワーク端末５０２へ送信する。

　ネットワーク端末５０２は、ステップＳＴ４１４において、現像が完了した最終画像があるかどうか、即ちサーバ５０４から最終画像が生成できたことが通知されたかどうかを判定する。ステップＳＴ４１４で現像が完了した最終画像がないと判定された場合、処理は終了する。

　ステップＳＴ４１４で現像が完了した最終画像があると判定された場合、ステップＳＴ４１５において、ネットワーク端末５０２は、現像された最終画像をサーバ５０４からダウンロードする。

　ステップＳＴ４１６において、ネットワーク端末５０２は、ダウンロードした最終画像を表示部５４４へ表示する。これにより、ユーザは、最終画像を鑑賞することができる。このとき、表示部５４４には、例えば、最終画像の保存の要否を選択する保存GUIも表示される。

　ステップＳＴ４１７において、ネットワーク端末５０２は、保存GUIに対するユーザのタッチ操作等に応じて最終画像を保存するかどうかを判定する。ステップＳＴ４１７で保存しないと判定された場合、処理はステップＳＴ４１４に戻り、以降の処理が行われる。

　ステップＳＴ４１７で保存すると判定された場合、ステップＳＴ４１８において、ネットワーク端末５０２は、ユーザにより選択された現像パラメータの選択候補が有料の現像パラメータであるかどうかを判定する。

　ステップＳＴ４１８で有料の現像パラメータであると判定された場合、ネットワーク端末５０２は、表示部５４４に課金の承諾を求めるメッセージを表示する。そして、ステップＳＴ４１９において、ネットワーク端末５０２は、ユーザからのタッチ操作等に応じてユーザが課金を承諾したかどうかを判定する。

　ステップＳＴ４１９で課金を承諾していないと判定された場合、最終画像は保存されず、処理はステップＳＴ４１４に戻り、以降の処理が繰り返される。

　一方、ステップＳＴ４１９で課金を承諾したと判定された場合、ステップＳＴ４２０において、ネットワーク端末５０２は、電子決済処理を行い、処理をステップＳＴ４２１に進める。

　また、ステップＳＴ４１８で有料の現像パラメータではないと判定された場合、電子決済処理は行われず、処理はステップＳＴ４２１に進む。

　ステップＳＴ４２１において、ネットワーク端末５０２は、ダウンロードした最終画像をネットワーク端末５０２の不揮発性メモリ５４３又はサーバ５０４の記憶部５２８へ保存する。

　サーバ５０４は、異なる種類の現像パラメータを再受信した場合、上述の処理を再実行して最終画像を生成する（２回目の現像）。この場合、ネットワーク端末５０２は上述の処理を再実行して、必要に応じた最終画像の保存、電子決済処理を実行する。

　以上のように第２実施の形態において、サーバ５０４は、画像処理部３０（４５０）として機能する。従って、サーバ５０４は、撮像される周辺視点の視点画像の解像度が中央の視点の視点画像の解像度に比べて低い場合であっても、高解像度の中央の視点の視点画像とディスパリティマップを取得することができる。

　よって、システム５００は、周辺視点のカメラモジュール２１の解像度が中央の視点のカメラモジュール２１の解像度に比べて低い簡素な構成の撮像装置５０１を用いて、高解像度の視点画像とディスパリティマップとを取得することができる。その結果、製造コストを低減することができる。

　また、サーバ５０４は、補間処理を行うので、少ないカメラモジュール２１で多くの視点の視点画像を生成し、ユーザの意図する現像パラメータの被写体像を再構築することができる。

　第２実施の形態においては、クラウド上のサーバ５０４を利用して、撮像装置５０１で撮像した被写体像を現像（再構築）するようにしている。これにより、補間処理や現像処理といった膨大な演算処理を撮像装置５０１において行う必要がなくなり、撮像装置５０１の低コスト化、低消費電力化を実現することができる。また、撮像装置５０１と、ビューアの役目を果たすネットワーク端末５０２とを分離したので、撮像装置５０１を容易に持ち運ぶことができる。これにより、撮像装置５０１を用いた柔軟な撮影が可能となる。

　＜本明細書におけるディスパリティマップの説明＞
　図３２は、ディスパリティ(視差)と奥行きについて説明する図である。

　図３２に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。

　なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

　式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、第１および第２実施の形態におけるディスパリティマップは、奥行きＺを表す画像に代えることができる。以下では、ディスパリティマップと奥行きＺを表す画像とを総称して、デプス画像とする。

　デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

　視差ｄを8bit（0～255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

　なお、式（ｂ）において、Ｄ_maxは、視差ｄの最大値であり、Ｄ_minは、視差ｄの最小値である。最大値Ｄ_maxと最小値Ｄ_minは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

　また、奥行きＺの逆数１／Ｚを8bit（0～255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

　式（ｃ）において、Ｚ_farは、奥行きＺの最大値であり、Ｚ_nearは、奥行きＺの最小値である。最大値Ｚ_farと最小値Ｚ_nearは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

　また、デプス画像のカラーフォーマットとしては、YUV420又はYUV400などを採用することができる。勿論、他のカラーフォーマットを採用するにようにしてもよい。

　本技術によれば、被写体の撮影後に、フォーカス位置や絞り等を設定し直すことができる。従って、ピントがぼけたり、被写界深度の設定にミスがあったりした場合でも、ユーザの意図する高画質の被写体像を得ることができる。

　また、重くて嵩張る交換レンズを持ち歩かなくても、撮影後に幾つもの交換レンズで撮影したのと同様の画像を取得することができる。さらに、小型、軽量、薄型の撮像装置でも、大型レンズ等を有する大型の撮像装置と同等の高画質の撮影が可能となる。

　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

　例えば以上の実施形態では、補間処理部３３は、ステレオマッチング処理に用いられる中央の視点または周辺視点の視点画像の全領域の解像度が変換されたが、位相差を算出するエッジ領域（ウィンドウ）に対応する領域のみを解像度変換するようにしてもよい。これによっても上述と同様の作用効果を得ることができる。

　以上の実施形態では、補間画像を用いて被写体像が再構築されたが、補間画像を用いて３次元（３Ｄ）画像を生成してもよい。

　また以上の実施形態では、視点補間処理及び現像処理がサーバ５０４で行われたが、ネットワーク端末５０２で行われるようにしてもよい。

　また、以上の実施の形態では、第１の解像度のディスパリティマップを用いて補間画像が生成されたが、第２の解像度のディスパリティを用いて補間画像が生成されるようにしてもよい。

　また、周辺視点のカメラモジュール２１を、モノクロ撮影を行うカメラモジュールにすることにより、周辺視点の視点画像の解像度を向上させるようにしてもよい。この場合、中央の視点のカメラモジュール２１がベイヤ配列のカメラモジュールであり、第１の解像度が第２の解像度の縦横２倍である場合、中央の視点の視点画像と周辺視点の視点画像の解像度は同一になる。その結果、ディスパリティマップを精度良く生成することができる。

　また、中央の視点の視点画像と周辺視点の視点画像のサンプリング周波数が異なるように、第１の解像度と第２の解像度が設定されてもよい。この場合、中央の視点の視点画像と周辺視点の視点画像において同時にモアレが発生することを防止することができる。

　また、以上の実施の形態では、ディスパリティマップが補間処理に用いられたが、被写体の切り出し処理等に用いられるようにしてもよい。この場合、ディスパリティマップを高精度で生成することにより、視点画像から所望の被写体を精度良く切り出すことができる。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、本技術は以下のような構成も採ることができる。

　（１）
　第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、
　前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部と
　を備える画像処理装置。
　（２）
　前記解像度変換部は、前記第１の視点画像の解像度を前記第２の解像度に変換し、
　前記生成部は、前記解像度変換部により生成された前記第２の解像度の前記第１の視点画像と前記第２の視点画像との間の相関値に基づいて、前記第２の解像度の前記ディスパリティマップを生成する
　前記（１）に記載の画像処理装置。
　（３）
　前記生成部は、前記ディスパリティマップの解像度を前記第１の解像度に変換する
　前記（２）に記載の画像処理装置。
　（４）
　前記生成部は、前記第１の解像度の前記第１の視点画像に基づいて、前記ディスパリティマップの解像度を前記第１の解像度に変換する
　前記（３）に記載の画像処理装置。
　（５）
　前記生成部は、前記第１の解像度の前記第１の視点画像においてエッジ領域であるが、前記第２の解像度の前記第１の視点画像においてエッジ領域ではない前記第１の解像度の画素である対象画素の前記ディスパリティマップの画素値を、前記対象画素と前記対象画素に隣接する隣接画素の前記第１の解像度の前記第１の視点画像の画素値の差分に基づいて決定する
　前記（４）に記載の画像処理装置。
　（６）
　前記解像度変換部は、前記第２の視点画像の解像度を前記第１の解像度へ変換し、
　前記生成部は、前記解像度変換部により生成された前記第１の解像度の前記第１の視点画像と前記第２の視点画像との間の相関値に基づいて、前記第１の解像度の前記ディスパリティマップを生成する
　前記（１）に記載の画像処理装置。
　（７）
　前記生成部により生成された前記ディスパリティマップと前記第１の視点画像に基づいて、前記第１の視点画像と前記２の視点画像に対応する視点間の視点の補間画像を生成する補間処理部と、
　前記第１の視点画像、前記第２の視点画像、および前記補間画像、並びに、光学系を特定するパラメータを用いて、仮想的に前記光学系で撮像された画像を生成する現像処理部と
　をさらに備える
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）
　画像処理装置が、
　第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換ステップと、
　前記解像度変換ステップの処理により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成ステップと
　を含む画像処理方法。
　（９）
　第１の解像度の第１の視点画像を撮像する第１の撮像素子と、前記第１の解像度よりも低い第２の解像度の第２の視点画像を撮像する第２の撮像素子とを有する撮像部と、
　前記第１の撮像素子により撮像された前記第１の視点画像と前記第２の撮像素子により撮像された前記第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、
　前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部と
　を備える情報処理装置。
　（１０）
　前記第２の撮像素子は、前記第１の撮像素子の周囲に配置される
　前記（９）に記載の情報処理装置。

　１１　撮像部，　２１　カメラモジュール，　３０　画像処理部，　３１　解像度変換部，　３２　相関値算出部，　３３　補間処理部，　３４　現像処理部，　４５０　画像処理部，　４５１　解像度変換部，　４５２　相関値算出部，　５００　システム，　５０１　撮像装置，　５０４　サーバ

Claims

　第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、
　前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部と
　を備える画像処理装置。
　前記解像度変換部は、前記第１の視点画像の解像度を前記第２の解像度に変換し、
　前記生成部は、前記解像度変換部により生成された前記第２の解像度の前記第１の視点画像と前記第２の視点画像との間の相関値に基づいて、前記第２の解像度の前記ディスパリティマップを生成する
　請求項１に記載の画像処理装置。
　前記生成部は、前記ディスパリティマップの解像度を前記第１の解像度に変換する
　請求項２に記載の画像処理装置。
　前記生成部は、前記第１の解像度の前記第１の視点画像に基づいて、前記ディスパリティマップの解像度を前記第１の解像度に変換する
　請求項３に記載の画像処理装置。
　前記生成部は、前記第１の解像度の前記第１の視点画像においてエッジ領域であるが、前記第２の解像度の前記第１の視点画像においてエッジ領域ではない前記第１の解像度の画素である対象画素の前記ディスパリティマップの画素値を、前記対象画素と前記対象画素に隣接する隣接画素の前記第１の解像度の前記第１の視点画像の画素値の差分に基づいて決定する
　請求項４に記載の画像処理装置。
　前記解像度変換部は、前記第２の視点画像の解像度を前記第１の解像度へ変換し、
　前記生成部は、前記解像度変換部により生成された前記第１の解像度の前記第１の視点画像と前記第２の視点画像との間の相関値に基づいて、前記第１の解像度の前記ディスパリティマップを生成する
　請求項１に記載の画像処理装置。
　前記生成部により生成された前記ディスパリティマップと前記第１の視点画像に基づいて、前記第１の視点画像と前記２の視点画像に対応する視点間の視点の補間画像を生成する補間処理部と、
　前記第１の視点画像、前記第２の視点画像、および前記補間画像、並びに、光学系を特定するパラメータを用いて、仮想的に前記光学系で撮像された画像を生成する現像処理部と
　をさらに備える
　請求項１に記載の画像処理装置。
　画像処理装置が、
　第１の解像度で撮像された第１の視点画像と前記第１の解像度よりも低い第２の解像度で撮像された第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換ステップと、
　前記解像度変換ステップの処理により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成ステップと
　を含む画像処理方法。
　第１の解像度の第１の視点画像を撮像する第１の撮像素子と、前記第１の解像度よりも低い第２の解像度の第２の視点画像を撮像する第２の撮像素子とを有する撮像部と、
　前記第１の撮像素子により撮像された前記第１の視点画像と前記第２の撮像素子により撮像された前記第２の視点画像のうちの一方の視点画像の解像度を、他方の視点画像の解像度に変換し、同一の解像度の前記第１の視点画像と前記第２の視点画像を生成する解像度変換部と、
　前記解像度変換部により生成された前記同一の解像度の第１の視点画像と第２の視点画像との間の相関値に基づいて、ディスパリティマップを生成する生成部と
　を備える情報処理装置。
　前記第２の撮像素子は、前記第１の撮像素子の周囲に配置される
　請求項９に記載の情報処理装置。