WO2021124940A1

WO2021124940A1 - 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ

Info

Publication number: WO2021124940A1
Application number: PCT/JP2020/045368
Authority: WO
Inventors: 健吾早坂; 功久井藤
Original assignee: ソニーグループ株式会社
Priority date: 2019-12-20
Filing date: 2020-12-07
Publication date: 2021-06-24
Also published as: US20220408021A1

Abstract

本開示は、撮像モードに応じた視点画像を得ることができるようにする情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズに関する。光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像画像の撮像モードに応じて設定する。本開示は、例えば、情報処理装置、電子機器、複数の個眼光学系を備える交換レンズやカメラシステム、情報処理方法、撮像方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ

　本開示は、情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズに関し、特に、撮像モードに応じた視点画像を得ることができるようにした情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズに関する。

　従来、広角レンズを介して得られる撮像画像と、望遠レンズを介して得られる撮像画像とを互いに同一の撮像面の異なる位置で生成する方法が考えられた（例えば、特許文献１参照）。

特開２０１５－１４８７６５号公報

　しかしながら、特許文献１に記載の方法の場合、撮像モードに応じて撮像画像の大きさや形状を設定することは考慮されていなかった。

　本開示は、このような状況に鑑みてなされたものであり、撮像モードに応じた視点画像を得ることができるようにするものである。

　本技術の一側面の情報処理装置は、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部を備える情報処理装置である。

　本技術の一側面の情報処理方法は、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する情報処理方法である。

　本技術の一側面のプログラムは、コンピュータを、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部として機能させるプログラムである。

　本技術の他の側面の撮像装置は、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部とを備える撮像装置である。

　本技術の他の側面の撮像方法は、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成し、生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する撮像方法である。

　本技術の他の側面のプログラムは、コンピュータを、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部として機能させるプログラムである。

　本技術のさらに他の側面の交換レンズは、光路が互いに独立している複数の個眼光学系と、各個眼光学系に対応する各視点画像の領域である視点画像領域を示す撮像モード毎の情報である視点領域情報を記憶する記憶部とを備える交換レンズである。

　本技術の一側面の情報処理装置および方法、並びに、プログラムにおいては、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域が、その撮像画像の撮像モードに応じて設定される。

　本技術の他の側面の撮像装置および方法、並びに、プログラムにおいては、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光が、所定の撮像モードで光電変換されて撮像画像が生成され、その生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域が、その撮像モードに応じて設定される。

　本技術のさらに他の側面の交換レンズにおいては、光路が互いに独立している複数の個眼光学系と、各個眼光学系に対応する各視点画像の領域である視点画像領域を示す撮像モード毎の情報である視点領域情報を記憶する記憶部とが備えられる。

本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。カメラの電気的構成例を示すブロック図である。３板式のイメージセンサの例を示す図である。全体画像の例を示す図である。視点画像の例を示す図である。合成画像の例を示す図である。有効画素領域に照射される照射光の例について説明する図である。撮像モードに応じた有効画素領域の例について説明する図である。撮像モードに応じた視点画像領域設定の様子の例を示す図である。撮像処理の流れの例を説明するフローチャートである。撮像モードに応じた視点画像領域設定の様子の例を示す図である。撮像処理の流れの例を説明するフローチャートである。本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。カメラシステムの電気的構成例を示すブロック図である。コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（カメラ）
　２．第２の実施の形態（カメラシステム）
　３．付記

　＜１．第１の実施の形態＞
　　＜カメラ外観＞
　図１は、本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。

　カメラ１０は、イメージセンサを内蔵し、レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。以下において、このような撮像により得られる画像を、撮像画像ともいう。

　カメラ１０は、そのイメージセンサの正面側（光が入射する側）に鏡筒２０が設けられており、その鏡筒２０に、複数としての５個の個眼光学系３１₀，３１₁，３１₂，３１₃、および、３１₄を有する。以下においては、個眼光学系３１₀乃至個眼光学系３１₄を互いに区別して説明する必要がない場合、個眼光学系３１（または個眼光学系３１_ｉ）と称する。

　複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、鏡筒２０の各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサの受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサの受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサの受光面の互いに異なる位置に照射する。

　したがって、イメージセンサにより生成される撮像画像（イメージセンサの出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、カメラ１０は、被写体を撮像することにより、複数の視点画像を得ることができる。この複数の視点画像は、例えば、奥行情報の生成や、その奥行情報を用いたリフォーカス等の処理に利用することができる。

　なお、以下においては、カメラ１０が５個の個眼光学系３１を有する例を用いて説明するが、この個眼光学系３１の数は２以上であれば任意である。

　５個の個眼光学系３１は、鏡筒２０の光軸に直交する（イメージセンサの受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１₀を中心（重心）として、他の４個の個眼光学系３１₁乃至個眼光学系３１₄が、長方形の頂点を構成するように配置される形で、設けられている。もちろん、図１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。

　また、カメラ１０については、被写体からの光が入射する側の面を、正面とする。

　＜カメラの電気的構成例＞
　図２は、図１のカメラ１０の電気的構成例を示すブロック図である。カメラ１０は、多眼光学系３０、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、記憶部８２、および光学系制御部８４を有する。

　　　＜多眼光学系＞
　多眼光学系３０は、上述の個眼光学系３１（例えば個眼光学系３１₀乃至個眼光学系３１₄）からなる。多眼光学系３０の各個眼光学系３１は、被写体からの光線をカメラ１０のイメージセンサ５１に集光させる。各個眼光学系３１の仕様は互いに同一であるものとする。

　　　＜イメージセンサ＞
　イメージセンサ５１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ５１の受光面には、個眼光学系３１₀乃至３１₄それぞれにより集光される光線が照射される。撮像画像における、１つの個眼光学系３１を介してイメージセンサ５１に照射される照射光が入力された領域に対応する画像を個眼画像とも称する。つまり、イメージセンサ５１は、それらの光線（照射光）を受光して光電変換を行うことにより、各個眼光学系３１を視点とする個眼画像を含む撮像画像を生成する。なお、個眼画像は、周辺に画像としては有効でない部分を有する。また、全ての個眼画像を含む撮像画像（つまり、イメージセンサ５１により生成された撮像画像全体や、その撮像画像から、その撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）のことを全体画像とも称する。

　なお、イメージセンサ５１は、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。

　なお、本実施の形態においてRAWフォーマットとは、イメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。また、RAWフォーマットの撮像画像は、モノクロの画像は含まないものとする。

　イメージセンサ５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０、RAW信号処理部５２、領域抽出部５３、および領域特定部５６の内の、少なくともいずれか１つに供給することができる。

　例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して通信部６４に供給し、カメラ１０の外部へ送信させることができる。さらに、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。

　なお、イメージセンサ５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。

　例えば、３板式のイメージセンサとしては、図３に示されるような、RGB（Red, Green, Blue）それぞれのための３つのイメージセンサ（イメージセンサ５１－１乃至イメージセンサ５１－３）を有するものがある。この場合、被写体からの光線は、プリズムなどの光学系（光路分離部）を利用して波長域毎に分離され、各イメージセンサに入射する。イメージセンサ５１－１乃至イメージセンサ５１－３は、それぞれ入射された光を光電変換する。つまり、イメージセンサ５１－１乃至イメージセンサ５１－３は、互いに異なる波長域の光を互いに略同一のタイミングで光電変換する。したがって、複数板式のイメージセンサの場合、各イメージセンサにおいて、互いに略同時刻に略同一の画角で撮像された撮像画像（つまり、波長域が互いに異なるだけで略同一の絵柄の画像）が得られる。したがって、各イメージセンサで得られる撮像画像における視点画像領域（後述する）の位置や大きさは、互いに略同一となる。この場合、R画像、G画像、B画像を合わせたものを、RAWフォーマットの撮像画像と捉えることができる。

　なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。

　このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。

　　　＜RAW信号処理部＞
　RAW信号処理部５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部５２は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、または圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して様々な信号処理は、信号処理後の画像が、上述したようにイメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。

　RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、および圧縮RAW（いずれも図２）を互いに区別して説明する必要が無い場合、RAW画像と称する。

　　　＜領域抽出部＞
　領域抽出部５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部５３は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部５３は、領域特定部５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。

　例えば、領域抽出部５３は、撮像画像（全体画像）から、各個眼光学系３１を視点とする画像を切り出すことができる。つまり、領域抽出部５３は、各個眼光学系３１を視点とする画像として、撮像画像に含まれる各個眼画像の領域から有効な部分を切り出すことができる。この切り出された有効な部分の画像（個眼画像の一部）を視点画像とも称する。また、撮像画像におけるその切り出される領域（視点画像に対応する領域）を視点画像領域とも称する。例えば、領域抽出部５３は、領域特定部５６から供給される、視点画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各視点画像領域を抽出する（各視点画像を切り出す）ことができる。そして、領域抽出部５３は、その切り出した各視点画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。

　また、例えば、領域抽出部５３は、撮像画像（全体画像）から切り出した各視点画像を合成し、合成画像を生成することができる。合成画像は、各視点画像が合成されて、１データ化、または、１枚の画像とされたものである。例えば、領域抽出部５３は、各視点画像を平面状に並べた１枚の画像（合成画像）を生成することができる。領域抽出部５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。

　また、例えば、領域抽出部５３は、全体画像をカメラ信号処理部５４に供給することができる。例えば、領域抽出部５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部５３において予め定められていてもよいし、領域特定部５６から供給される視点関連情報により指定されるようにしてもよい。

　また、領域抽出部５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することもできる。

　なお、領域抽出部５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、イメージセンサ５１の場合と同様に、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

　また、領域抽出部５３は、そのRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、RAW信号処理部５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

　つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。

　　　＜カメラ信号処理部＞
　カメラ信号処理部５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部５４は、領域抽出部５３から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、カメラ信号処理部５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、およびＢ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、またはガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。

　なお、以下においては、カメラ信号処理部５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各視点画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。

　つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。

　また、カメラ信号処理部５４が出力する画像は、完全な現像処理をするものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部または全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。

　カメラ信号処理部５４は、例えば、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１に供給し、表示させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して通信部６４に供給し、外部に送信させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。

　また、例えば、カメラ信号処理部５４は、そのYCフォーマットの画像（YC）をスルー画像生成部５５に供給することもできる。

　なお、RAWフォーマットの画像（全体画像、視点画像、または部分画像）が記憶媒体６３に記憶されている場合、カメラ信号処理部５４は、そのRAWフォーマットの画像を記憶媒体６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１、記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

　また、イメージセンサ５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部５３が一部の領域を抽出するようにしてもよい。

　　　＜スルー画像生成部＞
　スルー画像生成部５５は、スルー画像の生成に関する処理を行う。スルー画像は、撮影時または撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画像は、ライブビュー画像やEE（Electronic to Electronic）画とも称する。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画像も表示される。

　例えば、スルー画像生成部５５は、カメラ信号処理部５４から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、スルー画像生成部５５は、その取得した画像を用いて、例えば表示部６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像であるスルー画像を生成することができる。スルー画像生成部５５は、生成したスルー画像を、バス６０を介して表示部６１に供給し、表示させることができる。

　　　＜領域特定部＞
　領域特定部５６は、領域抽出部５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部５６は、視点関連情報（VI）を特定し、領域抽出部５３に視点画像領域を供給する。

　視点関連情報（VI）は、例えば、撮像画像における視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標とも称する）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像の内の視点画像領域の場所の特定が可能になる。

　なお、視点領域情報は、視点画像領域毎に設定される。つまり、撮像画像に複数の視点画像が含まれる場合、視点関連情報（VI）は、各視点画像（各視点画像領域）について、視点画像（領域）を識別するための視点識別情報（例えば識別番号）と視点領域情報とを含み得る。

　また、視点関連情報（VI）は、その他の任意の情報を含み得る。例えば、視点関連情報（VI）が、視点画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。また、視点関連情報（VI）が、個眼画像から切り出す領域であって、視点画像領域を内包する視点画像包含領域を示す視点画像包含領域情報を含むようにしてもよい。さらに、視点関連情報（VI）が、撮像画像の視点画像領域でも個眼画像の領域でもない領域に形成されるスポット光の画像に関する情報であるスポット光情報（SI）を含むようにしてもよい。

　領域特定部５６が、このような視点関連情報（VI）を、特定した視点画像領域を示す情報として領域抽出部５３に供給することにより、領域抽出部５３は、その視点関連情報（VI）に基づいて、領域特定部５６により特定された視点画像領域を抽出する（視点画像を切り出す）ことができる。

　また、領域特定部５６は、視点関連情報（VI）をバス６０に供給することができる。例えば、領域特定部５６は、視点関連情報（VI）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、領域特定部５６は、視点関連情報（VI）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理に利用させることができる。

　例えば、領域特定部５６は、このような視点関連情報（VI）を制御部８１から取得し、その取得した視点関連情報（VI）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。

　このようにバス６０を介して記憶部６２、通信部６４、またはファイル化部６５に供給された視点関連情報（VI）は、そこにおいて画像（全体画像、視点画像、または合成画像）と関連付けられる。例えば、記憶部６２は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、記憶媒体６３に記憶させることができる。また、通信部６４は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部６５は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、それらを含む１つのファイルを生成することができる。

　また、領域特定部５６は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報（VI’）を生成し、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、領域特定部５６は、撮像画像から各視点画像領域を特定し、その視点画像領域を示す（例えば、撮像画像における視点画像領域の中心座標と視点画像領域の解像度等により視点画像領域を示す）視点関連情報（VI’）を生成する。そして、領域特定部５６は、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI’）には、領域特定部５６が撮像画像に基づいて生成したスポット光情報（SI’）が含まれていてもよい。

　さらに、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、視点関連情報（VI）にそのスポット光情報（SI’）を付加し、領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）にスポット光情報（SI’）を付加して視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。

　また、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、そのスポット光情報（SI’）を用いて視点関連情報（VI）を補正し、補正後の視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を、スポット光情報（SI’）を用いて補正し、視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。

　　　＜画像再構成処理部＞
　画像再構成処理部５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部５７は、バス６０を介してカメラ信号処理部５４や記憶部６２からYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、画像再構成処理部５７は、バス６０を介して領域特定部５６や記憶部６２から視点関連情報を取得することができる。

　さらに、画像再構成処理部５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、視点画像を処理対象とする場合、画像再構成処理部５７は、その各視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部５７は、その撮像画像や合成画像から各視点画像を抽出し、抽出した視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。

　画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して通信部６４に供給し、外部に送信させることができる。さらに、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。

　　　＜バス＞
　バス６０には、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、表示部６１、記憶部６２、通信部６４、およびファイル化部６５が接続される。バス６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス６０は、有線により実現されてもよいし、無線通信により実現されてもよい。

　　　＜表示部＞
　表示部６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ１０の筐体と一体、または別体に設けられている。例えば、表示部６１は、カメラ１０の筐体の背面（多眼光学系３０が設けられている面と反対側の面）に設けられていてもよい。

　表示部６１は、画像の表示に関する処理を行う。例えば、表示部６１は、スルー画像生成部５５から供給されるYCフォーマットであるスルー画像を取得し、RGBフォーマットに変換して表示することができる。その他、表示部６１は、例えば、メニュー、カメラ１０の設定等の情報を表示することもできる。

　また、表示部６１は、記憶部６２から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。また、表示部６１は、記憶部６２から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部６１は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。

　　　＜記憶部＞
　記憶部６２は、例えば、半導体メモリ等よりなる記憶媒体６３の記憶を制御する。この記憶媒体６３は、リムーバブルな記憶媒体であってもよいし、カメラ１０に内蔵される記憶媒体であってもよい。例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、バス６０を介して供給される画像（撮像画像、視点画像、または合成画像）を記憶媒体６３に記憶させることができる。

　例えば、記憶部６２は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。また、記憶部６２は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。

　その際、記憶部６２は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、記憶部６２は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、記憶媒体６３に記憶させることができる。つまり、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

　また、例えば、記憶部６２は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、ファイル化部６５から供給されるファイルを取得し、記憶媒体６３に記憶させることができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。

　また、例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、記憶媒体６３に記憶されているデータやファイル等を読み出し、バス６０を介して、カメラ信号処理部５４、表示部６１、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。例えば、記憶部６２は、記憶媒体６３からYCフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、表示部６１に供給し、表示させることができる。また、記憶部６２は、記憶媒体６３からRAWフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、カメラ信号処理部５４に供給し、カメラ信号処理を施させることができる。

　また、記憶部６２は、互いに関連付けられて記憶媒体６３に記憶されている画像（全体画像、視点画像、または合成画像）および視点関連情報のデータまたはファイルを読み出し、他の処理部に供給することができる。例えば、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを画像再構成処理部５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを通信部６４に供給し、送信させることができる。さらに、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらをファイル化部６５に供給し、ファイル化させることができる。

　なお、記憶媒体６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体６３は、任意の情報を記憶することができる。

　　　＜通信部＞
　通信部６４は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部６４は、制御部８１の制御やユーザの操作等に応じて、その通信により、画像（撮像画像、視点画像、または合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。

　例えば、通信部６４は、イメージセンサ５１や領域抽出部５３から供給されるRAWフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。また、通信部６４は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（撮像画像、視点画像、または合成画像）や圧縮（符号化）した画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。さらに、通信部６４は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。

　その際、通信部６４は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、通信部６４は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部６４は、送信する画像（全体画像、視点画像、または合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

　また、例えば、通信部６４は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部６４は、ファイル化部６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。

　　　＜ファイル化部＞
　ファイル化部６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部６５は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、ファイル化部６５は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。さらに、ファイル化部６５は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、例えば、ファイル化部６５は、領域特定部５６から供給される視点関連情報を取得することができる。

　ファイル化部６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部６５は、上述の画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

　また、例えば、ファイル化部６５は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部６５は、記憶部６２から供給される、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することができる。

　なお、ファイル化部６５は、ファイル化する画像（例えば視点画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、視点画像、または合成画像）や視点関連情報に関連付けることができる。

　ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して通信部６４に供給し、送信させることができる。

　　　＜関連付け部＞
　これらの記憶部６２、通信部６４、およびファイル化部６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、視点画像、または合成画像）と、視点関連情報とを関連付ける。例えば、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させることができる。また、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。

　　　＜制御部＞
　制御部８１は、カメラ１０に関する制御処理を行う。つまり、制御部８１は、カメラ１０の各部を制御し、処理を実行させることができる。例えば、制御部８１は、光学系制御部８４を介して多眼光学系３０（各個眼光学系３１）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部８１は、イメージセンサ５１を制御し、イメージセンサ５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。

　さらに、制御部８１は、視点関連情報（VI）を領域特定部５６に供給し、撮像画像から抽出する領域を特定させることができる。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。また、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給してもよい。

　また、制御部８１は、バス６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部８４を介して絞りを制御することができる。さらに、制御部８１は、その画像の鮮鋭度に基づいて、光学系制御部８４を介してフォーカスを制御することができる。また、制御部８１は、その画像のRGB比率に基づいてカメラ信号処理部５４を制御し、ホワイトバランスゲインを制御することができる。

　　　＜記憶部＞
　記憶部８２は、例えば、半導体メモリ等よりなる記憶媒体８３の記憶を制御する。この記憶媒体８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。この記憶媒体８３には、例えば、視点関連情報（VI）が記憶されている。この視点関連情報（VI）は、多眼光学系３０（の各個眼光学系３１）およびイメージセンサ５１に対応する情報である。つまり、視点関連情報（VI）は、この多眼光学系３０の各個眼光学系３１を視点とする視点画像に関する情報であり、その視点画像領域を特定するために用いられる情報である。例えば、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。

　例えば、記憶部８２は、制御部８１やユーザの操作等に応じて、記憶媒体８３に記憶されている視点関連情報（VI）を読み出し、制御部８１に供給することができる。

　なお、記憶媒体８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体８３は、任意の情報を記憶することができる。

　また、記憶部８２および記憶媒体８３を記憶部６２および記憶媒体６３により代用してもよい。つまり、上述した記憶媒体８３に記憶させる情報（視点関連情報（VI）等）を記憶媒体６３に記憶させてもよい。その場合、記憶部８２および記憶媒体８３は、省略してもよい。

　　　＜光学系制御部＞
　光学系制御部８４は、制御部８１の制御に従って、多眼光学系３０（の各個眼光学系３１）を制御する。例えば、光学系制御部８４は、各個眼光学系３１のレンズ群や絞りを制御し、各個眼光学系３１の焦点距離若しくはF値、またはその両方を制御することができる。なお、カメラ１０が電動フォーカス調整機能を有する場合、光学系制御部８４は、多眼光学系３０（の各個眼光学系３１の）フォーカス（焦点距離）を制御することができる。また、光学系制御部８４が、各個眼光学系３１の絞り（F値）を制御することができるようにしてもよい。

　なお、カメラ１０が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を調整する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部８４は、省略することができる。

　　＜視点関連情報の関連付け＞
　カメラ１０は、撮像画像から、各個眼光学系３１を視点とする視点画像を抽出し得る。１枚の撮像画像から抽出された複数の視点画像は互いに異なる視点の画像であるので、これらの視点画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各視点画像間の相対位置等の情報が必要である。

　そこで、カメラ１０は、出力する全体画像、視点画像、または、合成画像に対して、撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。

　ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、撮像画像と視点関連情報のデータ（ファイル）としての形態は任意である。例えば、撮像画像と視点関連情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）としてもよい。例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。勿論、撮像画像と視点関連情報とをまとめて、１つのストリームデータにしたり、１つのファイルにしたりしてもよい。

　なお、視点関連情報を関連付ける画像は、静止画像でもよいし動画像でもよい。動画像の場合、各フレーム画像において、静止画像の場合と同様に領域抽出や視点関連情報の関連付け等を行うことができる。

　また、この「関連付け」は、データ全体でなく、データ（ファイル）の一部であってもよい。例えば、撮像画像が複数フレームからなる動画像である場合、視点関連情報が、撮像画像の、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位に対して関連付けられるようにしてもよい。

　なお、撮像画像と視点関連情報とが個別のデータ（ファイル）とされる場合は、その撮像画像と視点関連情報の双方に同じ識別番号を付与することなどで、両者を関連付けることができる。また、撮像画像と視点関連情報とが１つのファイルにまとめられる場合、例えば、撮像画像のヘッダ等に視点関連情報が付与されるようにしてもよい。なお、視点関連情報が関連付けられる対象は、撮像画像（全体画像）であってもよいし、視点画像であってもよいし、視点画像の合成画像であってもよい。

　　＜全体画像の出力＞
　全体画像を出力する場合について説明する。全体画像の例を図４に示す。図４に示されるように、全体画像１３０には、各個眼光学系３１に対応する個眼画像（各個眼光学系３１を介して入射された被写体からの光を光電変換した画像）が含まれる。例えば、全体画像１３０の中央の画像が個眼光学系３１₀に対応する個眼画像である。また、全体画像１３０の右上の画像が個眼光学系３１₁に対応する個眼画像である。さらに、全体画像１３０の左上の画像が個眼光学系３１₂に対応する個眼画像である。また、全体画像１３０の左下の画像が個眼光学系３１₃に対応する個眼画像である。さらに、全体画像１３０の右下の画像が個眼光学系３１₄に対応する個眼画像である。

　なお、この全体画像１３０は、イメージセンサ５１により生成される撮像画像全体であってもよいし、その撮像画像より切り出された部分画像（ただし、全ての個眼画像を含む）であってもよい。また、この全体画像１３０は、RAWフォーマットの画像であってもよいし、YCフォーマットの画像であってもよい。

　視点領域情報により、全体画像１３０に対して各個眼画像の一部（有効な部分）が視点画像領域として指定される。例えば図４の場合、全体画像１３０の、点線枠で囲まれた領域が視点画像領域である。つまり、個眼光学系３１₀に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₀として指定される。同様に、個眼光学系３１₁に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₁として指定される。また、個眼光学系３１₂に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₂として指定される。さらに、個眼光学系３１₃に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₃として指定される。また、個眼光学系３１₄に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₄として指定される。なお、以下において、視点画像領域１３１₀乃至視点画像領域１３１₄を互いに区別して説明する必要がない場合、視点画像領域１３１と称する。

　このような全体画像１３０を出力する場合、関連付け部７０は、イメージセンサ５１、RAW信号処理部５２、または、カメラ信号処理部５４からこの全体画像１３０を取得し、領域特定部５６から供給される多眼光学系３０に対応する視点関連情報を、その全体画像１３０に関連付ける。そして、関連付け部７０は、その互いに関連付けた全体画像および視点関連情報を出力する。出力の例としては、例えば、記憶部６２が、その互いに関連付けた全体画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた全体画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた全体画像および視点関連情報をファイル化してもよい。

　なお、全体画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する全体画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた全体画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

　この場合の視点関連情報は、撮像画像における複数の視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像１３０の内の視点画像領域の場所を特定することができる。

　撮像画像にこのような視点関連情報を関連付けることにより、多眼マッチングによる奥行推定や、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理のための事前処理としての視点画像の抽出において、この視点関連情報を用いることができる。例えば、画像再構成処理部５７は、この視点関連情報に含まれる視点領域情報に基づいて各視点画像を抽出したうえで、多眼マッチングによる奥行推定や、リフォーカス処理、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理を行うことができる。

　なお、全体画像１３０に視点関連情報が関連付けられていなくても、例えば画像再構成処理部５７は、画像処理により、全体画像１３０に含まれる視点画像領域を特定することができる可能性があるが、撮像条件などによって撮像画像の内の視点画像領域を正確に特定することは困難な可能性がある。そこで、上述のように視点関連情報を全体画像１３０に関連付けることにより、画像再構成処理部５７は、その視点関連情報に基づいて、より容易かつより正確に上述の全体画像１３０から視点画像領域を抽出することができる。

　　＜視点画像の出力＞
　次に、視点画像を出力する場合について説明する。図５は、切り出された視点画像の例を示す図である。図５において、視点画像１３２₀は、全体画像１３０（図４）から視点画像領域１３１₀を抽出した画像である。視点画像１３２₁は、全体画像１３０から視点画像領域１３１₁を抽出した画像である。視点画像１３２₂は、全体画像１３０から視点画像領域１３１₂を抽出した画像である。視点画像１３２₃は、全体画像１３０から視点画像領域１３１₃を抽出した画像である。視点画像１３２₄は、全体画像１３０から視点画像領域１３１₄を抽出した画像である。以下において、視点画像１３２₀乃至視点画像１３２₄を互いに区別して説明する必要がない場合、視点画像１３２と称する。

　このような視点画像を出力する場合、領域抽出部５３は、この図５の例のように切り出した各視点画像１３２を、それぞれ独立したデータ（またはファイル）として出力する。

　例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像に、各視点を識別するための視点識別情報（例えば、識別番号）を割り当てる。領域抽出部５３は、その視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像にカメラ信号処理を施し、YCフォーマットの各視点画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの各視点画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。

　関連付け部７０は、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。視点関連情報は、各視点を識別するための視点識別情報（例えば、視点識別番号）を含み得る。関連付け部７０は、この視点識別情報に基づいて、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。この視点識別情報を参照することにより、関連付け部７０は、どの視点関連情報がどの視点画像に対応するかを容易に把握することができる。つまり、関連付け部７０は、この視点識別情報を用いることにより、より容易に、各視点画像および視点関連情報を正しく関連付けることができる。

　そして、関連付け部７０は、その互いに関連付けた各視点画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた各視点画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた各視点画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた各視点画像および視点関連情報をファイル化してもよい。

　なお、各視点画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する各視点画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた各視点画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

　また、視点関連情報に、視点画像が抽出される撮像画像が撮像された時刻や順番を示す視点時刻情報が含まれるようにしてもよい。複数の撮像画像から抽出された視点画像が混在する場合や動画像や連写画像である場合、どの視点画像がどの撮像画像から抽出されたものであるかの識別が困難になるおそれがある。撮像画像の生成時刻や順番を示す視点時刻情報を視点画像に関連付けることにより、各視点画像に対応する撮像画像（各視点画像が抽出された撮像画像）の識別をより容易に行うことができる。換言するに、互いに同一の撮像画像から抽出された複数の視点画像をより容易に特定することができる。付言するに、記録されたファイルが一括管理されていない場合においても、同時刻の各視点画像を特定することができる。

　なお、視点画像の場合と同様に個眼画像を撮像画像から切り出し、処理したり記録したりしてもよい。

　　＜合成画像の出力＞
　次に、合成画像を出力する場合について説明する。図６は、各視点画像を合成した合成画像の例を示す図である。図６の例の場合、図５の例において抽出された視点画像１３２₀乃至視点画像１３２₄が1枚の画像内に並んで表示されるように合成されてなる１枚の合成画像１３３が生成されている。つまり、合成画像１３３は、各視点画像１３２が合成されて、１データ化（１フレーム化）、または、１ファイル化されたものである。

　なお、図６においては、合成画像１３３の視点画像１３２₀乃至視点画像１３２₄の周囲に余白領域が示されているが、合成画像１３３がこの余白領域を有していてもよいし、有していなくてもよい。また、合成画像１３３の形状は、矩形であればよく、各視点画像１３２の配置方法（並べ方）は任意である。図６の例のように、５枚の視点画像１３２を２行３列に並べる場合に生ずる空白領域（６枚目の視点画像１３２に相当する領域）は、null dataや固定値で表すようにしてもよい。

　例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像を1枚の画像内に並んで表示されるように合成して合成画像を生成する。その際、各視点画像の並び順（位置）を予め定めておくことにより、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。

　また、各視点画像に視点識別情報（例えば、識別番号）を割り当ててから合成するようにしてもよい。この場合も同様に、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。以下においては、合成画像における各視点画像の並び順が予め定められているものとする。

　領域抽出部５３は、視点識別情報を割り当てた合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像にカメラ信号処理を施し、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの合成画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。

　関連付け部７０は、合成画像に対して視点関連情報を関連付ける。合成画像に含まれる各視点画像の視点は、合成画像におけるその視点画像の位置により明らかである。つまり、各視点画像が視点関連情報のどの視点領域情報に対応するかは、容易に把握することができる。

　そして、関連付け部７０は、その互いに関連付けた合成画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた合成画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた合成画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた画像および視点関連情報をファイル化してもよい。

　なお、合成画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する合成画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた合成画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

　　　＜撮像モード制御＞
　次に制御部８１の処理の例について説明する。制御部８１は、例えば、撮像モードを指定し、イメージセンサ５１を制御して、その指定した撮像モードで撮像を行わせることができる。

　例えば、制御部８１は、図示せぬ入力部を介して入力されるユーザ等の指示に基づいて、撮像モードの指定を行う。例えば、制御部８１は、予め用意された複数の候補の中から、所望の撮像モードを選択する。この候補には、どのような撮像モードが含まれていてもよい。例えば、静止画像の撮像画像を生成する静止画撮像モードや、動画像の撮像画像を生成する動画像撮像モードが含まれていてもよい。以下においては、説明の便宜上、静止画撮像モードと動画撮像モードの２つの撮像モードが候補として用意されているものとする。

　撮像モードを指定（選択）すると、制御部８１は、イメージセンサ５１を制御し、その指定した撮像モードで撮像を行わせ、撮像画像を生成させる。つまり、制御部８１は、静止画撮像モードで撮像を行うか動画像撮像モードで撮像を行うかを選択し、その選択した撮像モードで撮像を行わせる。

　　　＜視点画像領域の設定＞
　また、制御部８１は、視点画像領域の設定に関する処理を行うこともできる。例えば、制御部８１は、上述のように設定した撮像モード（つまりイメージセンサ５１が行う撮像の撮像モード）に対応する視点画像領域を設定することができる。その際、制御部８１は、その設定した視点画像領域を定義する視点領域情報を視点関連情報VIに含めて領域特定部５６に供給することができる。

　この視点画像領域の設定方法は任意である。例えば、制御部８１が、記憶部８２を介して、記憶媒体８３に記憶されている撮像モード毎の視点領域情報の中から、設定した撮像モードに対応する視点領域情報を選択して読み出す（取得する）ことにより、その撮像モードに対応する視点画像領域を設定するようにしてもよい。

　　　＜視点領域情報＞
　記憶媒体８３は、撮像モード毎に設定された視点領域情報を記憶することができる。例えば、記憶媒体８３は、静止画撮像モードの撮像において用いられる視点領域情報である静止画撮像モード視点領域情報と、動画撮像モードの撮像において用いられる視点領域情報である動画撮像モード視点領域情報を記憶することができる。

　例えば、静止画撮像モード視点領域情報には、静止画撮像モードの視点画像が得られるように各視点画像領域が定義されている。また、動画撮像モード視点領域情報には、動画撮像モードの視点画像が得られるように各視点画像領域が定義されている。視点領域情報の詳細については後述する。

　なお、記憶媒体８３は、任意の撮像モードに対応する視点領域情報を記憶することができる。例えば、記憶媒体８３には、候補となる撮像モードに対応する視点領域情報が予め記憶されており、記憶部８２は、その中から、制御部８１により指定された撮像モードに対応する視点領域情報を読み出し、制御部８１に供給することができる。

　例えば、カメラ１０の撮像モードとして、アスペクト比が互いに異なる複数の動画撮像モードが存在し、記憶媒体８３が、それらの動画撮像モードのそれぞれに対応する視点領域情報を記憶するようにしてもよい。また、例えば、カメラ１０の撮像モードとして、アスペクト比が互いに異なる複数の静止画撮像モードが存在し、記憶媒体８３が、それらの静止画撮像モードのそれぞれに対応する視点領域情報を記憶するようにしてもよい。さらに例えば、カメラ１０のお撮像モードとして、カメラ１０の姿勢に応じて撮像画像を９０度回転させる縦撮りモードが存在し、記憶媒体８３が、その縦撮りモードに対応する視点領域情報を記憶するようにしてもよい。

　　＜撮像モードに応じた視点画像領域の制御＞
　ここで、視点画像領域について説明する。各個眼光学系３１を通過した被写体からの光は、図７の例のように、イメージセンサ５１の有効画素領域１５０に照射される。図７において、個眼画像領域１５１₀は、個眼光学系３１₀を通過した被写体からの光が照射される領域を示す。この個眼画像領域１５１₀の画像が個眼光学系３１₀に対応する個眼画像である。視点画像領域１３１₀はこの個眼画像領域１５１₀内に設定される。この視点画像領域１３１₀の画像が視点画像１３２₀（図５）である。

　同様に、個眼画像領域１５１₁は、個眼光学系３１₁を通過した被写体からの光が照射される領域を示す。この個眼画像領域１５１₁の画像が個眼光学系３１₁に対応する個眼画像である。視点画像領域１３１₁はこの個眼画像領域１５１₁内に設定される。この視点画像領域１３１₁の画像が視点画像１３２₁（図５）である。

　個眼画像領域１５１₂は、個眼光学系３１₂を通過した被写体からの光が照射される領域を示す。この個眼画像領域１５１₂の画像が個眼光学系３１₂に対応する個眼画像である。視点画像領域１３１₂はこの個眼画像領域１５１₂内に設定される。この視点画像領域１３１₂の画像が視点画像１３２₂（図５）である。

　個眼画像領域１５１₃は、個眼光学系３１₃を通過した被写体からの光が照射される領域を示す。この個眼画像領域１５１₃の画像が個眼光学系３１₃に対応する個眼画像である。視点画像領域１３１₃はこの個眼画像領域１５１₃内に設定される。この視点画像領域１３１₃の画像が視点画像１３２₃（図５）である。

　個眼画像領域１５１₄は、個眼光学系３１₄を通過した被写体からの光が照射される領域を示す。この個眼画像領域１５１₄の画像が個眼光学系３１₄に対応する個眼画像である。視点画像領域１３１₄はこの個眼画像領域１５１₄内に設定される。この視点画像領域１３１₄の画像が視点画像１３２₄（図５）である。

　ところで、多眼光学系ではない単数の光学系を介して被写体を撮像し、撮像画像を生成する従来の撮像装置において、例えば静止画撮像モードと動画撮像モードのように複数の撮像モードに対応するものがあった。そしてそのような撮像装置において、各撮像モードに応じてイメージセンサの有効画素領域（撮像画像のアスペクト比や解像度等）を変えるものがあった。

　例えば、静止画の撮像画像を得る静止画撮像モードの場合、図８のＡに示される有効画素領域１５０Ａのように、有効画素領域１５０を最大化してアスペクト比（横：縦）を3:2として撮像が行われる。つまり、この場合、アスペクト比3:2の最高解像度の撮像画像が生成される。

　これに対して、動画撮像モードの場合、図８のＢに示される有効画素領域１５０Ｂのように、有効画素領域１５０Ａの一部を切り出し、アスペクト比（横：縦）を16:9として撮像が行われる。

　つまり、このような撮像装置の場合、動画撮像モードと静止画撮像モードとで大きさや形状が互いに異なる撮像画像が生成される。

　なお、一般的に、イメージセンサの画素領域は、撮像画像に用いられ得る有効画素領域（最大有効画素領域とも称する）と、オプティカルブラックの検出等に用いられる非有効画素領域とを有する。有効画素領域１５０Ａおよび有効画素領域１５０Ｂは、それぞれの撮像モードにおいて撮像画像として採用される画素領域を示すものであり、上述の最大有効画素領域内において任意の大きさおよびアスペクト比で設定可能な領域である。

　多眼光学系３０を用いた撮像においても、これと同様に、撮像モード毎に各視点画像領域（各視点画像）の大きさや形状等を変更可能とすることが望まれていた。

　そこで、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像画像の撮像モードに応じて設定するようにする。

　例えば、情報処理装置において、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像画像の撮像モードに応じて設定する設定部を備えるようにする。

　また、例えば、プログラムにおいて、コンピュータを、光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像画像の撮像モードに応じて設定する設定部として機能させるようにする。

　例えば、制御部８１が、このような設定部として、視点画像領域を撮像モードに応じて設定するようにする。このようにすることにより、撮像モードに応じた視点画像を得ることができる。

　また、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成し、その生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像モードに応じて設定するようにする。

　例えば、撮像装置において、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、その撮像部により生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像モードに応じて設定する設定部とを備えるようにする。

　また、例えば、プログラムにおいて、コンピュータを、光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、その撮像部により生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、その撮像モードに応じて設定する設定部として機能させるようにする。

　例えば、イメージセンサ５１が、このような撮像部として、多眼光学系３０を介して所望の撮像モードで被写体を撮像し、制御部８１が、このような設定部として、視点画像領域をその撮像モードに応じて設定するようにする。このようにすることにより、所望の撮像モードで被写体を複数視点から撮像し、その撮像モードに応じた視点画像を得ることができる。

　撮像モードに応じて設定する視点画像領域に関するパラメータは、視点画像（または視点画像領域）の大きさや形状に関するものであればよい。例えば、撮像モードに対応して設定されているアスペクト比に基づいて視点画像領域が設定されるようにしてもよい。このようにすることにより、撮像モードに応じたアスペクト比の視点画像を得ることができる。

　また、例えば、撮像モードに対応して設定されている解像度に基づいて視点画像領域が設定されるようにしてもよい。このようにすることにより、撮像モードに応じた解像度の視点画像を得ることができる。

　勿論、撮像モードに応じて設定する視点画像領域に関するパラメータは、上述の例に限定されない。また、このパラメータは、複数であってもよい。例えば、視点画像の領域のアスペクト比と解像度の両方が撮像モードに応じて設定されるようにしてもよい。このようにすることにより、撮像モードに応じたアスペクト比および解像度の視点画像を得ることができる。

　　＜視点領域情報＞
　次に、視点画像領域を示す視点領域情報について説明する。制御部８１は、視点領域情報を視点関連情報に含めて領域特定部５６に供給することにより、視点画像領域を設定することができる。つまり、制御部８１は、適用された撮像モードに対応する視点領域情報を選択することにより、その撮像モードに対応する視点画像領域を設定することができる。

　この視点領域情報には、視点画像内の所定の位置の座標が示されていればよい。例えば視点画像領域（つまり視点画像）の大きさや形状がシステムにおいて予め定められている（システムが把握している）とする。この場合、視点画像の所定の位置（例えば、視点画像の右上端、左下端、または中央（重心）等）の、撮像画像（イメージセンサ５１の有効画素領域）における座標を指定することにより、視点画像領域の範囲を指定することができる。

　撮像モード毎に視点画像領域の大きさや形状が異なる場合、各視点画像の所定の位置の座標も撮像モード毎に変化し得る。したがって、例えば各撮像モードに対応する視点画像領域の大きさや形状がシステム上既知である場合、各撮像モードの視点領域情報には、その撮像モードに対応する大きさおよび形状の各視点画像の所定の位置の座標が示されていればよい。例えば、静止画撮像モード視点領域情報には、各視点画像の所定の位置の静止画撮像モードで適用される座標が示されていればよい。同様に、動画撮像モード視点領域情報には、各視点画像の所定の位置の動画撮像モードで適用される座標が示されていればよい。

　この場合、制御部８１は、適用された撮像モードに対応する視点領域情報を選択することにより、その撮像モードに対応した各視点画像の所定の位置の座標を指定することができる。上述のように各視点画像の大きさや形状が既知であるので、制御部８１は、その撮像モードに対応した視点画像領域を設定することができる。

　勿論、視点領域情報により視点画像の大きさや形状も定義されるようにしてもよい。つまり、この場合、各撮像モードの視点領域情報には、各視点画像の所定の位置の座標だけでなく、各視点画像の大きさや形状も指定されている。つまり、制御部８１は、撮像モードに対応する視点領域情報を選択することにより、その撮像モードに対応した各視点画像の所定の位置の座標だけでなく、各視点画像の大きさや形状も指定することができる。したがって、この場合、視点画像領域の大きさや形状がシステム上未知であっても、制御部８１は、撮像モードに対応する視点領域情報を選択することにより、その撮像モードに対応した視点画像領域を設定することができる。

　視点画像（視点画像領域）の形状は、例えば、視点画像（視点画像領域）の「アスペクト比（横:縦）」により表すようにしてもよい。例えば、静止画撮像モードの視点画像のアスペクト比を3:2とし、動画撮像モードの視点画像のアスペクト比を16:9としてもよい。勿論、各撮像モードのアスペクト比は任意であり、この例に限定されない。例えば、4:3、1.85:1、2.35:1、16:10等であってもよいし、これら以外であってもよい。つまり、視点領域情報において、各視点画像のアスペクト比が示されるようにしてもよい。

　また、視点画像（視点画像領域）の大きさは、例えば、視点画像（視点画像領域）の「解像度」により表すようにしてもよい。画素領域において画素間隔は固定値であるので、ここで「解像度」とは、画像（領域）の大きさを表す情報である。具体的にはどのような情報であってもよい。例えば、矩形である視点画像（視点画像領域）の対角線の長さ（画素数）や、一辺（縦または横）の長さ（画素数）であってもよい。また、この値は絶対値であってもよいし、所定の基準に対する相対値であってもよい。

　なお、例えばインターレース方式のように領域内の一部の画素を間引くことができるようにしてもよい。その場合、そのような間引きに関する情報（例えば、画素を間引くか否かを示す情報や、どの画素を間引くかを示す情報等）がこの「解像度」に含まれていてもよい。

　　＜撮像モード毎の視点画像領域の具体例＞
　　　＜有効画素領域外を含む場合＞
　次に、上述のような撮像モード毎の視点画像領域の具体例について説明する。なお、ここでは、イメージセンサ５１が、静止画撮像モードまたは動画撮像モードに対応する（それらの撮像モードで撮像を行うことができる）ものとする。また、イメージセンサ５１の有効画素領域が各撮像モードにおいて図８の例のように設定されるものとする。より具体的には、静止画撮像モードの場合、アスペクト比3:2の最大の有効画素領域１５０Ａが設定されるものとする（図８のＡ）。また、動画撮像モードの場合、アスペクト比（横：縦）を16:9の、有効画素領域１５０Ａよりも狭い（有効画素領域１５０Ａの上側および下側の部分領域が無効画素領域とされた）有効画素領域１５０Ｂが設定されるものとする（図８のＢ）。

　勿論、撮像モードは任意であり、静止画撮像モードおよび動画撮像モード以外であってもよい。また、有効画素領域の大きさおよび形状は任意であり、上述の例に限定されない。例えば、各撮像モードで有効画素領域の大きさおよび形状が互いに同一であってもよい。

　視点画像領域が有効画素領域外も含み得る場合の、各撮像モードの視点画像領域の例を図９に示す。図９のＡは、その場合の静止画撮像モードの視点画像領域等の例を示す図である。例えば、制御部８１が、静止画撮像モード視点領域情報を選択すると図９のＡのような視点画像領域が設定される。

　図９のＡに示されるように、有効画素領域１５０Ａには個眼画像領域１５１₀乃至個眼画像領域１５１₄が形成されている。そして、その個眼画像領域１５１のそれぞれに、静止画撮像モードにおいて適用される大きさおよび形状の視点画像領域１３１Ａ（視点画像領域１３１Ａ₀乃至視点画像領域１３１Ａ₄）が設定されている。この視点画像領域１３１Ａのアスペクト比は例えば3:2である。各視点画像領域１３１Ａの位置は、それぞれの中央（図中×印で示されるような対角線の交点）の座標により指定されている。

　図９のＢは、動画撮像モードの視点画像領域等の例を示す図である。例えば、制御部８１が、動画撮像モード視点領域情報を選択すると図９のＢのような視点画像領域が設定される。

　撮像モードに関わらず各個眼光学系３１の光軸の位置は固定であるので、各個眼光学系３１を通過した被写体からの光は、撮像モードによらず、イメージセンサ５１の受光面の同一の位置に照射される。したがって、図９のＢに示されるように、有効画素領域１５０Ｂには、図９のＡの場合と同一の位置に個眼画像領域１５１₀乃至個眼画像領域１５１₄が形成され、そのそれぞれに、動画撮像モードにおいて適用される大きさおよび形状の視点画像領域１３１Ｂ（視点画像領域１３１Ｂ₀乃至視点画像領域１３１Ｂ₄）が設定されている。各視点画像領域１３１Ｂの位置は、視点画像領域１３１Ａと同じ位置に指定されている。

　ここで、例えば図９のＢに示されるように、視点画像領域１３１Ｂ₁の上側の一部が有効画素領域１５０Ｂ外となり、欠損領域１６１₁となるとする。同様に、視点画像領域１３１Ｂ₂の上側の一部も有効画素領域１５０Ｂ外となり、欠損領域１６１₂となるとする。また、視点画像領域１３１Ｂ₃の下側の一部が有効画素領域１５０Ｂ外となり、欠損領域１６１₃となるとする。同様に、視点画像領域１３１Ｂ₄の下側の一部も有効画素領域１５０Ｂ外となり、欠損領域１６１₄となるとする。

　この場合、これらの欠損領域１６１₀乃至欠損領域１６１₄は、各視点画像を用いた奥行情報生成のためのマッチングである多眼マッチング等に利用することができない。つまり、各視点画像領域１３１の共通の領域（全ての視点画像領域１３１に存在する領域）が、多眼マッチング等に利用可能な実解像度領域となる。

　例えば、図９のＢにおいて、実解像度領域１６３₀は、視点画像領域１３１Ｂ₀から、部分領域１６２_0-1および部分領域１６２_0-2を除いた領域である。部分領域１６２_0-1は、欠損領域１６１₁や欠損領域１６１₂と同じ位置および大きさの領域である。部分領域１６２_0-2は、欠損領域１６１₃や欠損領域１６１₄と同じ位置および大きさの領域である。

　また、実解像度領域１６３₁は、視点画像領域１３１Ｂ₁から、欠損領域１６１₁および部分領域１６２₁を除いた領域である。部分領域１６２₁は、欠損領域１６１₃や欠損領域１６１₄と同じ位置および大きさの領域である。

　さらに、実解像度領域１６３₂は、視点画像領域１３１Ｂ₂から、欠損領域１６１₂および部分領域１６２₂を除いた領域である。部分領域１６２₂は、欠損領域１６１₃や欠損領域１６１₄と同じ位置および大きさの領域である。

　また、実解像度領域１６３₃は、視点画像領域１３１Ｂ₃から、部分領域１６２₃および欠損領域１６１₃を除いた領域である。部分領域１６２₃は、欠損領域１６１₁や欠損領域１６１₂と同じ位置および大きさの領域である。

　さらに、実解像度領域１６３₄は、視点画像領域１３１Ｂ₄から、部分領域１６２₄および欠損領域１６１₄を除いた領域である。部分領域１６２₄は、欠損領域１６１₁や欠損領域１６１₂と同じ位置および大きさの領域である。

　そのため、このような場合、視点画像領域１３１Ｂの大きさおよび形状は、実解像度領域において所望の大きさおよび形状の画像が得られるように設定される。例えば、多眼マッチング等に利用可能な視点画像としてアスペクト比16:9の所望の解像度の画像が求められる場合、実解像度領域においてその画像が得られるように、視点画像領域１３１Ｂのアスペクト比や解像度を設計すればよい。換言するに、そのようなアスペクト比や解像度の視点画像領域１３１Ｂを示す動画撮像モード視点領域情報を生成すればよい。つまり、そのような動画撮像モード視点領域情報を記憶媒体８３に記憶させ、動画撮像モードにおいて、制御部８１がその動画撮像モード視点領域情報を選択するようにすればよい。

　このようにすることにより、撮像モードに応じた視点画像を得ることができる。

　　　＜撮像処理の流れ＞
　被写体の撮像が指示されると、カメラ１０は、撮像処理を実行し、撮像モードに応じた撮像を開始する。この場合の撮像処理の流れの例を、図１０のフローチャートを参照して説明する。

　撮像処理が開始されると、制御部８１は、ステップＳ１０１において、撮像モードが静止画撮像モードであるか否かを判定する。静止画撮像モードであると判定された場合、処理はステップＳ１０２に進む。

　ステップＳ１０２において、制御部８１は、静止画撮像モードに対応する視点画像領域を設定する。例えば、制御部８１は、記憶部８２を介して記憶媒体８３に記憶されている静止画撮像モード視点領域情報を選択して読み出し、それを視点関連情報に含めて領域特定部５６に供給する。

　この静止画撮像モード視点領域情報は、例えば図９のＡに示されるような、静止画撮像モードにおいて適用される大きさおよび形状の視点画像領域１３１Ａを示す。つまり、制御部８１がこの静止画撮像モード視点領域情報を選択することにより、静止画撮像モードに対応する視点画像領域が設定される。

　ステップＳ１０３において、イメージセンサ５１は、制御部８１の制御に従って、静止画撮像モードで被写体を撮像し、静止画像の撮像画像を生成する。

　ステップＳ１０４において、領域特定部５６は、ステップＳ１０２において選択された静止画撮像モード視点領域情報を用いて、ステップＳ１０３において生成された撮像画像に対して領域特定処理を行う。

　例えば、領域特定部５６は、この領域特定処理として、ステップＳ１０２において供給された静止画撮像モード視点領域情報（を含む視点関連情報）を関連付け部７０に供給し、ステップＳ１０３において生成された撮像画像（または全体画像）と関連付けさせる。また、例えば、領域特定部５６は、この領域特定処理として、ステップＳ１０２において供給された静止画撮像モード視点領域情報（を含む視点関連情報）を領域抽出部５３に供給し、ステップＳ１０３において生成された撮像画像から視点画像を切り出させる（抽出させる）。

　ステップＳ１０５において、各処理部が画像等に対して信号処理を行う。例えば、RAW信号処理部５２は、RAWフォーマットの撮像画像または全体画像に対して所定の信号処理を施す。また、領域抽出部５３は、領域特定部５６から供給される視点関連情報に基づいて、RAWフォーマットの撮像画像から一部の領域を抽出する（部分画像を切り出す）。例えば、領域抽出部５３は、撮像画像から全体画像や複数の視点画像を抽出したり、その複数の視点画像を用いて合成画像を生成したりする。そして、領域抽出部５３は、切り出した画像（全体画像、視点画像、合成画像等）を出力する（RAW信号処理部５２やカメラ信号処理部５４に供給する）。なお、領域抽出部５３は、部分画像の抽出を行わずに撮像画像を出力することもできる。

　さらに、カメラ信号処理部５４は、領域抽出部５３から供給された画像（撮像画像、視点画像、または合成画像等）に対して、所定のカメラ信号処理を施す。また、関連付け部７０は、供給された画像（撮像画像、視点画像、または合成画像）に対して、領域特定部５６から供給される視点関連情報を関連付ける。なお、これらの信号処理は省略（スキップ）することもできる。

　ステップＳ１０６において、画像再構成処理部５７は、画像（撮像画像、視点画像、または合成画像）に対して、画像再構成処理を行う。この画像再構成処理の内容は任意である。例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等であってもよい。なお、この画像再構成処理は省略（スキップ）することもできる。

　ステップＳ１０７において、関連付け部７０は、画像（撮像画像、視点画像、または合成画像）を出力する。例えば、記憶部６２は、画像（撮像画像、視点画像、または合成画像）を、記憶媒体６３に記憶させる。なお、ステップＳ１０５の処理により、この画像に視点関連情報が関連付けられていてもよい。

　また、例えば、通信部６４は、画像（撮像画像、視点画像、または合成画像）を、他のデバイス宛てに送信する。例えば、通信部６４は、画像等のデータをストリーミング方式やダウンロード方式等で送信することができる。なお、ステップＳ１０５の処理により、この画像に視点関連情報が関連付けられていてもよい。

　さらに、例えば、ファイル化部６５は、ステップＳ１０５の処理によりファイル化された画像（撮像画像、視点画像、または合成画像）を出力する。例えば、ファイル化部６５は、この画像（撮像画像、視点画像、または合成画像）を含むファイルを、記憶部６２に供給して記憶媒体６３に記憶させてもよいし、通信部６４に供給して他のデバイス宛てに送信させてもよい。なお、ステップＳ１０５の処理により、この画像に視点関連情報が関連付けられていてもよい。つまり、ファイル化部６５が出力するファイルに、画像（撮像画像、視点画像、または合成画像）とともに、ステップＳ１０２において設定された静止画撮像モード視点領域情報（を含む視点関連情報）が格納されていてもよい。

　ステップＳ１０７の処理が終了すると、撮像処理が終了する。

　また、ステップＳ１０１において、静止画撮像モードでない（動画撮像モードである）と判定された場合、処理はステップＳ１１１に進む。

　ステップＳ１１１において、制御部８１は、欠損領域を考慮した動画撮像モードに対応する視点画像領域を設定する。つまり、制御部８１は、図９のＢを参照して説明したように、実解像度領域において所望の大きさおよび形状の画像が得られるように、視点画像領域を設定する。例えば、制御部８１は、記憶部８２を介して記憶媒体８３に記憶されている動画撮像モード視点領域情報を選択して読み出し、それを領域特定部５６に供給する。

　この動画撮像モード視点領域情報は、例えば図９のＢに示されるような、実解像度領域において所望の大きさおよび形状の画像が得られるように設定された視点画像領域１３１Ｂを示す。つまり、制御部８１がこの動画撮像モード視点領域情報を選択することにより、欠損領域を考慮した動画撮像モードに対応する視点画像領域が設定される。

　ステップＳ１１２において、イメージセンサ５１は、制御部８１の制御に従って、動画撮像モードで被写体を撮像し、動画像の１フレームとして撮像画像を生成する。

　ステップＳ１１３において、領域特定部５６は、ステップＳ１１１において選択された動画撮像モード視点領域情報を用いて、ステップＳ１１２において生成された撮像画像に対して領域特定処理を行う。この処理は、ステップＳ１０４の処理と同様に実行される。

　ステップＳ１１４において、各処理部が画像等に対して信号処理を行う。この処理は、ステップＳ１０５の処理と同様に実行される。

　ステップＳ１１５において、画像再構成処理部５７は、画像（撮像画像、視点画像、または合成画像）に対して、画像再構成処理を行う。この処理は、ステップＳ１０６の処理と同様に実行される。

　ステップＳ１１６において、関連付け部７０は、画像（撮像画像、視点画像、または合成画像）を出力する。この処理は、ステップＳ１０７の処理と同様に実行される。

　ステップＳ１１７において、制御部８１は、例えばユーザ等の指示に基づいて、撮像を終了するか否かを判定する。撮像を終了しないと判定された場合、処理はステップＳ１１２に戻り、それ以降の処理を繰り返す。ステップＳ１１２乃至ステップＳ１１７の処理を実行することにより、動画像の１フレーム分の処理が行われる。そして、ステップＳ１１７において撮像を終了すると判定されるまで、ステップＳ１１２乃至ステップＳ１１７の各処理が繰り返し実行され、動画像の各フレームが生成される。

　ステップＳ１１７において、撮像を終了すると判定された場合、撮像処理が終了する。

　このように撮像処理を実行することにより、撮像モードに応じた視点画像を得ることができる。

　　　＜有効画素領域外を含まない場合＞
　視点画像領域が有効画素領域外を含み得ない場合の、各撮像モードの視点画像領域の例を図１１に示す。＜有効画素領域外を含む場合＞と同様に、イメージセンサ５１が、静止画撮像モードまたは動画撮像モードに対応するものとする。また、イメージセンサ５１の有効画素領域が各撮像モードにおいて図８の例のように設定されるものとする。

　勿論、撮像モードは任意であり、静止画撮像モードおよび動画撮像モード以外であってもよい。また、有効画素領域の大きさおよび形状は任意であり、上述の例に限定されない。

　図１１のＡは、この場合の静止画撮像モードの視点画像領域等の例を示す図である。例えば、制御部８１が、静止画撮像モード視点領域情報を選択すると図１１のＡのような視点画像領域１３１Ａが設定される。

　図１１のＡに示されるように、この場合も、有効画素領域１５０Ａには各個眼画像領域１５１が図９のＡの場合と同様に形成され、各視点画像領域１３１Ａが図９のＡの場合と同様に設定されている。

　図１１のＢは、動画撮像モードの視点画像領域等の例を示す図である。例えば、制御部８１が、動画撮像モード視点領域情報を選択すると図１１のＢのような視点画像領域が設定される。

　撮像モードに関わらず各個眼光学系３１の光軸の位置は固定であるので、各個眼光学系３１を通過した被写体からの光は、撮像モードによらず、イメージセンサ５１の受光面の同一の位置に照射される。したがって、図１１のＢに示されるように、有効画素領域１５０Ｂには、図１１のＡの場合と同一の位置に個眼画像領域１５１₀乃至個眼画像領域１５１₄が形成され、そのそれぞれに、動画撮像モードにおいて適用される大きさおよび形状の視点画像領域１３１Ｂ（視点画像領域１３１Ｂ₀乃至視点画像領域１３１Ｂ₄）が設定されている。各視点画像領域１３１Ｂの位置は、視点画像領域１３１Ａと同じ位置に指定されている。

　図１１のＢの例の場合、各視点画像領域１３１Ｂは、全て有効画素領域１５０Ｂに内包されるように設定されている。したがってこの場合の視点画像領域には欠損領域が存在しない。したがって、視点画像領域１３１Ｂの大きさおよび形状は、視点画像領域において所望の大きさおよび形状の画像が得られるように設定される。つまり、動画撮像モードにおいて適用される大きさおよび形状の視点画像領域１３１Ｂが設定される。

　例えば、静止画撮像モード視点領域情報においては、アスペクト比が3:2の所望の解像度の視点画像領域１３１Ａが示され、動画撮像モード視点領域情報においては、アスペクト比が16:9の、視点画像領域１３１Ａよりも低解像度の視点画像領域１３１Ｂが示される。

　　　＜撮像処理の流れ＞
　この場合の撮像処理の流れの例を、図１２のフローチャートを参照して説明する。

　この場合の撮像処理において、ステップＳ２０１乃至ステップＳ２０７の各処理は、図１０のステップＳ１０１乃至ステップＳ１０７の各処理と同様に実行される。

　また、ステップＳ２０１において、静止画撮像モードでない（動画撮像モードである）と判定された場合、処理はステップＳ２１１に進む。

　ステップＳ２１１において、制御部８１は、動画撮像モードに対応する視点画像領域を設定する。つまり、図１１のＢを参照して説明したように、視点画像領域全体において所望の大きさおよび形状の画像が得られるように、視点画像領域を設定する。例えば、制御部８１は、記憶部８２を介して記憶媒体８３に記憶されている動画撮像モード視点領域情報を選択して読み出し、それを領域特定部５６に供給する。

　この動画撮像モード視点領域情報は、例えば図１１のＢに示されるような、視点画像領域全体において所望の大きさおよび形状の画像が得られるように設定された視点画像領域１３１Ｂを示す。つまり、制御部８１がこの動画撮像モード視点領域情報を選択することにより、動画撮像モードに対応する視点画像領域が設定される。

　ステップＳ２１２乃至ステップＳ２１７の各処理は、図１０のステップＳ１１２乃至ステップＳ１１７の各処理と同様に実行される。そして、ステップＳ２１７において、撮像を終了すると判定された場合、撮像処理が終了する。

　このように撮像処理を実行することにより、撮像モードに応じた視点画像を得ることができる。したがって、多眼光学系３０を用いた撮像において、より正確な奥行推定が可能になる。その奥行推定により導出した奥行情報を用いたアプリケーションは、レンズエミュレーションやCG（Computer Graphics）や撮像画像同士の奥行を用いた合成など映像制作分野への応用も可能となる。

　　＜その他の構成例＞
　なお制御部８１は、独立した装置としてもよい。また、制御部８１、記憶部８２、および記憶媒体８３を独立した装置としてもよい。また、それらの独立した装置が、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、関連付け部７０、または、それらの内の２つ以上を有するようにしてもよい。つまり、本技術は、撮像機能を有しない情報処理装置（または画像処理装置）にも適用することができる。

　＜２．第２の実施の形態＞
　　＜カメラシステム＞
　第１の実施の形態においては、多眼光学系３０を備えるカメラ１０を例に本技術を説明したが、本技術はその他の構成にも適用することができる。例えば、多眼光学系３０を含む光学系を交換可能としてもよい。つまり、多眼光学系３０は、カメラ１０から着脱可能に構成されるようにしてもよい。

　　　＜カメラシステムの外観＞
　図１３は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。図１３に示されるカメラシステム３０１は、カメラ本体３１０と多眼交換レンズ３２０（レンズ部）とで構成される。多眼交換レンズ３２０がカメラ本体３１０に装着された状態においてカメラシステム３０１は、カメラ１０と同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム３０１は、カメラ１０と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。

　カメラ本体３１０は、多眼交換レンズ３２０が着脱可能なようになっている。すなわち、カメラ本体３１０は、カメラマウント３１１を有し、そのカメラマウント３１１に対して、多眼交換レンズ３２０（のレンズマウント３２２）が取り付けられることで、カメラ本体３１０に、多眼交換レンズ３２０が装着される。なお、カメラ本体３１０に対しては、多眼交換レンズ３２０以外の一般的な交換レンズも着脱することができるようにされていてもよい。

　カメラ本体３１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、カメラ本体３１０（のカメラマウント３１１）に装着された多眼交換レンズ３２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。

　多眼交換レンズ３２０は、鏡筒３２１およびレンズマウント３２２を有する。また、多眼交換レンズ３２０は、複数としての５個の個眼光学系３１₀，３１₁，３１₂，３１₃、および、３１₄を有する。

　カメラ１０の場合と同様に、この場合の複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサ５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサ５１の受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサ５１の受光面の互いに異なる位置に照射する。

　したがって、カメラ１０の場合と同様に、イメージセンサ５１により生成される撮像画像（イメージセンサ５１の出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、多眼交換レンズ３２０をカメラ本体３１０に装着して被写体を撮像することにより、複数の視点画像を得ることができる。

　鏡筒３２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント３２２が形成されている。レンズマウント３２２は、多眼交換レンズ３２０がカメラ本体３１０に装着されるときに、カメラ本体３１０のカメラマウント３１１に取り付けられる。

　５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１₀を中心（重心）として、他の４個の個眼光学系３１₁乃至個眼光学系３１₄が、長方形の頂点を構成するように配置される形で、多眼交換レンズ３２０に設けられている。もちろん、図２１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。

　　＜カメラシステムの電気的構成例＞
　図１４は、図２１のカメラシステム３０１の電気的構成例を示すブロック図である。

　　　＜カメラ本体＞
　カメラシステム３０１において、カメラ本体３１０は、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、および記憶部８２を有する。つまり、カメラ本体３１０は、カメラ１０の鏡筒２０の部分に設けられる多眼光学系３０および光学系制御部８４以外の構成を有する。

　なお、カメラ本体３１０は、上述の構成に加え、通信部３４１を有する。この通信部３４１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０（の通信部３５１）と通信を行い、情報の授受等を行う処理部である。通信部３４１は、任意の通信方式で多眼交換レンズ３２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。

　例えば、通信部３４１は、制御部８１により制御され、その通信を行い、多眼交換レンズ３２０から供給される情報を取得する。また、例えば、通信部３４１は、その通信により、制御部８１から供給される情報を多眼交換レンズ３２０に供給する。この多眼交換レンズ３２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。

　　　＜多眼交換レンズ＞
　カメラシステム３０１において、多眼交換レンズ３２０は、多眼光学系３０および光学系制御部８４の他に、通信部３５１および記憶部３５２を有する。通信部３５１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０において、通信部３４１と通信を行う。この通信により、カメラ本体３１０と多眼交換レンズ３２０との間の情報の授受を実現する。通信部３５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。

　例えば、通信部３５１は、通信部３４１を介してカメラ本体３１０から送信される制御情報を取得する。通信部３５１は、このように取得した情報を、必要に応じて、光学系制御部８４に供給し、多眼光学系３０の制御に利用させることができる。

　また、通信部３５１は、その取得した情報を記憶部３５２に供給し、記憶媒体３５３に記憶させることができる。また、通信部３５１は、記憶媒体３５３に記憶されている情報を、記憶部３５２を介して読み出し、それをカメラ本体３１０（通信部３４１）に送信することができる。

　なお、記憶媒体３５３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３５３は、任意の情報を記憶することができる。

　このような構成の場合であっても、第１の実施の形態において説明したカメラ１０の場合と同様に、制御部８１が、視点画像領域を撮像モードに応じて設定するようにする。このようにすることにより、撮像モードに応じた視点画像を得ることができる。つまり、カメラシステム３０１においても、本技術を適用することにより、第１の実施の形態において説明したカメラ１０の場合と同様の各種効果を得ることができる。

　なお、視点領域情報は、任意の記憶媒体に記憶させることができる。例えば、図１４のカメラシステム３０１の場合、多眼交換レンズ３２０の記憶媒体３５３に記憶されるようにしてもよい。

　＜３．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図１５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２１を駆動する。

　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。

　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部
　を備える情報処理装置。
　（２）　前記設定部は、前記撮像モードに対応して設定されているアスペクト比に基づいて前記視点画像領域を設定する
　（１）に記載の情報処理装置。
　（３）　前記設定部は、前記撮像モードに対応して設定されている解像度に基づいて前記視点画像領域を設定する
　（１）または（２）に記載の情報処理装置。
　（４）　前記設定部は、前記視点画像の候補である視点画像候補領域に有効画素領域外となる欠損領域が含まれる場合、前記視点画像候補領域の前記欠損領域以外の部分である実解像度領域において所望のサイズおよびアスペクト比の画像が得られるように、前記視点画像領域を設定する
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記設定部は、前記視点画像内の所定の位置の座標を指定することにより、前記視点画像領域を設定する
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記設定部は、さらに、前記視点画像の大きさと形状とを指定することにより、前記視点画像領域を設定する
　（５）のいずれかに記載の情報処理装置。
　（７）　前記設定部は、前記視点画像領域を示す情報である視点領域情報を前記撮像モードに応じて選択することにより、前記視点画像領域を設定する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　撮像モード毎の前記視点領域情報を記憶する記憶部をさらに備え、
　前記設定部は、前記撮像モードに対応する前記視点領域情報を、前記記憶部に記憶されている撮像モード毎の前記視点領域情報の中から選択する
　（７）に記載の情報処理装置。
　（９）　前記設定部が設定した前記視点画像領域を示す情報である視点領域情報を、前記撮像画像、または、前記撮像画像を用いて生成された画像に関連付ける関連付け部をさらに備える
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記設定部が設定した前記視点画像領域の画像を前記撮像画像から切り出す切り出し部をさらに備える
　（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する
　情報処理方法。
　（１２）　コンピュータを、
　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部
　として機能させるプログラム。

　（１３）　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、
　前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部と
　を備える撮像装置。
　（１４）　前記設定部は、前記視点画像領域を示す情報である視点領域情報を前記撮像モードに応じて選択することにより、前記視点画像領域を設定する
　（１３）に記載の撮像装置。
　（１５）　複数の前記個眼光学系と、撮像モード毎の前記視点領域情報を記憶する記憶部とを備える多眼交換光学系と通信を行う通信部をさらに備え、
　前記設定部は、前記通信部を介して、前記多眼交換光学系の前記記憶部に記憶されている撮像モード毎の前記視点領域情報を取得し、取得した前記視点領域情報の中から、前記撮像モードに対応する前記視点領域情報を選択する
　（１４）に記載の撮像装置。
　（１６）　撮像モード毎の前記視点領域情報を記憶する記憶部をさらに備え、
　前記設定部は、前記撮像モードに対応する前記視点領域情報を、前記記憶部に記憶されている撮像モード毎の前記視点領域情報の中から選択する
　（１４）に記載の撮像装置。
　（１７）　複数の前記個眼光学系をさらに備える
　（１３）乃至（１６）のいずれかに記載の撮像装置。
　（１８）　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成し、
　生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する
　撮像方法。
　（１９）　コンピュータを、
　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、
　前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部と
　として機能させるプログラム。

　（２０）　光路が互いに独立している複数の個眼光学系と、
　各個眼光学系に対応する各視点画像の領域である視点画像領域を示す撮像モード毎の情報である視点領域情報を記憶する記憶部と
　を備える交換レンズ。

　１０　カメラ，　３０　多眼光学系，　３１　個眼光学系，　５１　イメージセンサ，　５２　RAW信号処理部，　５３　領域抽出部，　５４　カメラ信号処理部，　５５　スルー画像生成部，　５６　領域特定部，　５７　画像再構成処理部，　６０　バス，　６１　表示部，　６２　記憶部，　６３　記憶媒体，　６４　通信部，　６５　ファイル化部，　７０　関連付け部，　８１　制御部，　８２　記憶部，　８３　記憶媒体，　８４　光学系制御部，　３０１　カメラシステム，　３１０　カメラ本体，　３２０　多眼交換レンズ，　３４１　通信部，　３５１　通信部，　３５２　記憶部，　３５３　記憶媒体

Claims

　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部
　を備える情報処理装置。
　前記設定部は、前記撮像モードに対応して設定されているアスペクト比に基づいて前記視点画像領域を設定する
　請求項１に記載の情報処理装置。
　前記設定部は、前記撮像モードに対応して設定されている解像度に基づいて前記視点画像領域を設定する
　請求項１に記載の情報処理装置。
　前記設定部は、前記視点画像の候補である視点画像候補領域に有効画素領域外となる欠損領域が含まれる場合、前記視点画像候補領域の前記欠損領域以外の部分である実解像度領域において所望のサイズおよびアスペクト比の画像が得られるように、前記視点画像領域を設定する
　請求項１に記載の情報処理装置。
　前記設定部は、前記視点画像内の所定の位置の座標を指定することにより、前記視点画像領域を設定する
　請求項１に記載の情報処理装置。
　前記設定部は、さらに、前記視点画像の大きさと形状とを指定することにより、前記視点画像領域を設定する
　請求項５に記載の情報処理装置。
　前記設定部は、前記視点画像領域を示す情報である視点領域情報を前記撮像モードに応じて選択することにより、前記視点画像領域を設定する
　請求項１に記載の情報処理装置。
　撮像モード毎の前記視点領域情報を記憶する記憶部をさらに備え、
　前記設定部は、前記撮像モードに対応する前記視点領域情報を、前記記憶部に記憶されている撮像モード毎の前記視点領域情報の中から選択する
　請求項７に記載の情報処理装置。
　前記設定部が設定した前記視点画像領域を示す情報である視点領域情報を、前記撮像画像、または、前記撮像画像を用いて生成された画像に関連付ける関連付け部をさらに備える
　請求項１に記載の情報処理装置。
　前記設定部が設定した前記視点画像領域の画像を前記撮像画像から切り出す切り出し部をさらに備える
　請求項１に記載の情報処理装置。
　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する
　情報処理方法。
　コンピュータを、
　光路が互いに独立している複数の個眼光学系のそれぞれを通過した各照射光が互いに異なる位置に照射するイメージセンサにより生成された撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像画像の撮像モードに応じて設定する設定部
　として機能させるプログラム。
　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、
　前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部と
　を備える撮像装置。
　前記設定部は、前記視点画像領域を示す情報である視点領域情報を前記撮像モードに応じて選択することにより、前記視点画像領域を設定する
　請求項１３に記載の撮像装置。
　複数の前記個眼光学系と、撮像モード毎の前記視点領域情報を記憶する記憶部とを備える多眼交換光学系と通信を行う通信部をさらに備え、
　前記設定部は、前記通信部を介して、前記多眼交換光学系の前記記憶部に記憶されている撮像モード毎の前記視点領域情報を取得し、取得した前記視点領域情報の中から、前記撮像モードに対応する前記視点領域情報を選択する
　請求項１４に記載の撮像装置。
　撮像モード毎の前記視点領域情報を記憶する記憶部をさらに備え、
　前記設定部は、前記撮像モードに対応する前記視点領域情報を、前記記憶部に記憶されている撮像モード毎の前記視点領域情報の中から選択する
　請求項１４に記載の撮像装置。
　複数の前記個眼光学系をさらに備える
　請求項１３に記載の撮像装置。
　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成し、
　生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する
　撮像方法。
　コンピュータを、
　光路が互いに独立している複数の個眼光学系のそれぞれを通過して互いに異なる位置に照射する各照射光を、所定の撮像モードで光電変換して撮像画像を生成する撮像部と、
　前記撮像部により生成された前記撮像画像に対して、各個眼光学系に対応する各視点画像の領域である視点画像領域を、前記撮像モードに応じて設定する設定部と
　として機能させるプログラム。
　光路が互いに独立している複数の個眼光学系と、
　各個眼光学系に対応する各視点画像の領域である視点画像領域を示す撮像モード毎の情報である視点領域情報を記憶する記憶部と
　を備える交換レンズ。