JP7392712B2 - 撮像装置、情報処理方法、およびプログラム - Google Patents

撮像装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7392712B2
JP7392712B2 JP2021506170A JP2021506170A JP7392712B2 JP 7392712 B2 JP7392712 B2 JP 7392712B2 JP 2021506170 A JP2021506170 A JP 2021506170A JP 2021506170 A JP2021506170 A JP 2021506170A JP 7392712 B2 JP7392712 B2 JP 7392712B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
unit
related information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506170A
Other languages
English (en)
Other versions
JPWO2020188929A1 (ja
Inventor
健吾 早坂
功久 井藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020188929A1 publication Critical patent/JPWO2020188929A1/ja
Application granted granted Critical
Publication of JP7392712B2 publication Critical patent/JP7392712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本開示は、撮像装置、情報処理方法、およびプログラムに関し、特に、視点画像を利用した画像処理を行うことができるようにした撮像装置、情報処理方法、およびプログラムに関する。
従来、複数の視差画像からリフォーカスや光学レンズ同様の集光処理を行う画像処理技術に関して、様々な研究がされている。例えば、100台のカメラアレイを用いて、リフォーカス処理をすることが考えられた（例えば、非特許文献１参照）。
Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Mark Horowitz, Marc Levoy, "High Performance Imaging Using Large Camera Arrays", ACM Trans. Graph. 24(3), 765-776, 2005
しかしながら、非特許文献１では、撮像後にその撮像機器や別の機器等でリフォーカス処理等の画像処理を行うための構成は考慮されていなかった。
本開示は、このような状況に鑑みてなされたものであり、視点画像を利用した画像処理を行うことができるようにするものである。
本技術の一側面の撮像装置は、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける関連付け部を備える撮像装置である。
本技術の一側面の情報処理方法は、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける情報処理方法である。
本技術の一側面のプログラムは、コンピュータを、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける関連付け部として機能させるプログラムである。
本技術の一側面の撮像装置、情報処理方法、およびプログラムにおいては、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、その複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、その撮像画像の複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とが関連付けられる。
本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。 カメラの電気的構成例を示すブロック図である。 ３板式のイメージセンサの例を示す図である。 撮像画像の例を示す図である。 視点画像包含領域の例を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 個眼画像の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 合成画像の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 スポット光の画像の例を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラシステムの電気的構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（カメラ）
２．第２の実施の形態（スポット光の利用）
３．第３の実施の形態（画像処理装置）
４．第４の実施の形態（カメラシステム）
５．付記
＜１．第１の実施の形態＞
＜カメラ外観＞
図１は、本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。
カメラ１０は、イメージセンサを内蔵し、レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。以下において、このような撮像により得られる画像を、撮像画像ともいう。
カメラ１０は、そのイメージセンサの正面側（光が入射する側）に、複数としての５個の個眼光学系３１0，３１1，３１2，３１3、および、３１4を有する。以下においては、個眼光学系３１0乃至個眼光学系３１4を互いに区別して説明する必要がない場合、個眼光学系３１（または個眼光学系３１i）と称する。
複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサの受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサの受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサの受光面の互いに異なる位置に照射する。
したがって、イメージセンサにより生成される撮像画像（イメージセンサの出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、カメラ１０は、被写体を撮像することにより、複数の視点画像を得ることができる。この複数の視点画像は、例えば、奥行情報の生成や、その奥行情報を用いたリフォーカス等の処理に利用することができる。
なお、以下においては、カメラ１０が５個の個眼光学系３１を有する例を用いて説明するが、この個眼光学系３１の数は２以上であれば任意である。
５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサの受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１0を中心（重心）として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置される形で設けられている。もちろん、図１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。
また、カメラ１０については、被写体からの光が入射する側の面を、正面とする。
＜カメラの電気的構成例＞
図２は、図１のカメラ１０の電気的構成例を示すブロック図である。カメラ１０は、多眼光学系３０、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、記憶部８２、および光学系制御部８４を有する。
＜多眼光学系＞
多眼光学系３０は、上述の個眼光学系３１（例えば個眼光学系３１0乃至個眼光学系３１4）からなる。多眼光学系３０の各個眼光学系３１は、被写体からの光線をカメラ１０のイメージセンサ５１に集光させる。各個眼光学系３１の焦点距離やF値等の仕様は任意であり、互いに同一でなくてもよいが、ここでは、互いに同一であるものとする。
個眼光学系３１は、鏡筒光軸の光軸方向に並べられた複数のレンズや、遮蔽物の開き度合いを制御することによりその複数のレンズを介してイメージセンサ５１に入射する光の量（F値）を調整する機構である絞り等の光学系素子を有する。なお、個眼光学系３１が、レンズの位置を制御することにより、ズーム倍率を制御することができるようにしてもよい。
＜イメージセンサ＞
イメージセンサ５１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ５１の受光面には、個眼光学系３１0乃至３１4それぞれにより集光される光線が照射される。撮像画像における、１つの個眼光学系３１を介してイメージセンサ５１に照射される照射光が入力された領域に対応する画像を個眼画像とも称する。つまり、イメージセンサ５１は、それらの光線（照射光）を受光して光電変換を行うことにより、各個眼光学系３１を視点とする個眼画像を含む撮像画像を生成する。なお、個眼画像は、周辺に画像としては有効でない部分を有する。また、全ての個眼画像を含む撮像画像（つまり、イメージセンサ５１により生成された撮像画像全体や、その撮像画像から、その撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）のことを全体画像とも称する。
なお、イメージセンサ５１は、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。
なお、本実施の形態においてRAWフォーマットとは、イメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。また、RAWフォーマットの撮像画像は、モノクロの画像は含まないものとする。
イメージセンサ５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０、RAW信号処理部５２、領域抽出部５３、および領域特定部５６の内の、少なくともいずれか１つに供給することができる。
例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して通信部６４に供給し、カメラ１０の外部へ送信させることができる。さらに、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。
なお、イメージセンサ５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。
例えば、３板式のイメージセンサとしては、図３に示されるような、RGB（Red, Green, Blue）それぞれのための３つのイメージセンサ（イメージセンサ５１－１乃至イメージセンサ５１－３）を有するものがある。この場合、被写体からの光線は、プリズムなどの光学系（光路分離部）を利用して波長域毎に分離され、各イメージセンサに入射する。イメージセンサ５１－１乃至イメージセンサ５１－３は、それぞれ入射された光を光電変換する。つまり、イメージセンサ５１－１乃至イメージセンサ５１－３は、互いに異なる波長域の光を互いに略同一のタイミングで光電変換する。したがって、複数板式のイメージセンサの場合、各イメージセンサにおいて、互いに略同時刻に略同一の画角で撮像された撮像画像（つまり、波長域が互いに異なるだけで略同一の絵柄の画像）が得られる。したがって、各イメージセンサで得られる撮像画像における視点画像領域（後述する）の位置や大きさは、互いに略同一となる。この場合、R画像、G画像、B画像を合わせたものを、RAWフォーマットの撮像画像と捉えることができる。
なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。
このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。
＜RAW信号処理部＞
RAW信号処理部５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部５２は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、または圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して様々な信号処理は、信号処理後の画像が、上述したようにイメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。
RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、および圧縮RAW（いずれも図２）を互いに区別して説明する必要が無い場合、RAW画像と称する。
＜領域抽出部＞
領域抽出部５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部５３は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部５３は、領域特定部５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。
例えば、領域抽出部５３は、撮像画像（全体画像）から、各個眼光学系３１を視点とする画像を切り出すことができる。つまり、領域抽出部５３は、各個眼光学系３１を視点とする画像として、撮像画像に含まれる各個眼画像の領域から有効な部分を切り出すことができる。この切り出された有効な部分の画像（個眼画像の一部）を視点画像とも称する。また、撮像画像におけるその切り出される領域（視点画像に対応する領域）を視点画像領域とも称する。例えば、領域抽出部５３は、領域特定部５６から供給される、視点画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各視点画像領域を抽出する（各視点画像を切り出す）ことができる。そして、領域抽出部５３は、その切り出した各視点画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。
また、例えば、領域抽出部５３は、撮像画像（全体画像）から切り出した各視点画像を合成し、合成画像を生成することができる。合成画像は、各視点画像が合成されて、１データ化、または、１枚の画像とされたものである。例えば、領域抽出部５３は、各視点画像を平面状に並べた１枚の画像（合成画像）を生成することができる。領域抽出部５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。
また、例えば、領域抽出部５３は、全体画像をカメラ信号処理部５４に供給することができる。例えば、領域抽出部５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部５３において予め定められていてもよいし、領域特定部５６から供給される視点関連情報により指定されるようにしてもよい。
また、領域抽出部５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することもできる。
なお、領域抽出部５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、イメージセンサ５１の場合と同様に、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
また、領域抽出部５３は、そのRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、RAW信号処理部５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。
＜カメラ信号処理部＞
カメラ信号処理部５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部５４は、領域抽出部５３から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、カメラ信号処理部５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、およびＢ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、またはガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。
なお、以下においては、カメラ信号処理部５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各視点画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。
つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。
また、カメラ信号処理部５４が出力する画像は、完全な現像処理をするものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部または全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。
カメラ信号処理部５４は、例えば、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１に供給し、表示させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して通信部６４に供給し、外部に送信させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。
また、例えば、カメラ信号処理部５４は、そのYCフォーマットの画像（YC）をスルー画像生成部５５に供給することもできる。
なお、RAWフォーマットの画像（全体画像、視点画像、または部分画像）が記憶媒体６３に記憶されている場合、カメラ信号処理部５４は、そのRAWフォーマットの画像を記憶媒体６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１、記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
また、イメージセンサ５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部５３が一部の領域を抽出するようにしてもよい。
＜スルー画像生成部＞
スルー画像生成部５５は、スルー画像の生成に関する処理を行う。スルー画像は、撮影時または撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画像は、ライブビュー画像やEE（Electronic to Electronic）画とも称する。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画像も表示される。
例えば、スルー画像生成部５５は、カメラ信号処理部５４から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、スルー画像生成部５５は、その取得した画像を用いて、例えば表示部６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像であるスルー画像を生成することができる。スルー画像生成部５５は、生成したスルー画像を、バス６０を介して表示部６１に供給し、表示させることができる。
＜領域特定部＞
領域特定部５６は、領域抽出部５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部５６は、視点関連情報（VI）を特定し、領域抽出部５３に視点画像領域を供給する。
視点関連情報（VI）は、例えば、撮像画像における視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標とも称する）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像の内の視点画像領域の場所の特定が可能になる。
なお、視点領域情報は、視点画像領域毎に設定される。つまり、撮像画像に複数の視点画像が含まれる場合、視点関連情報（VI）は、各視点画像（各視点画像領域）について、視点画像（領域）を識別するための視点識別情報（例えば識別番号）と視点領域情報とを含み得る。
また、視点関連情報（VI）は、その他の任意の情報を含み得る。例えば、視点関連情報（VI）が、視点画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。また、視点関連情報（VI）が、個眼画像から切り出す領域であって、視点画像領域を内包する視点画像包含領域を示す視点画像包含領域情報を含むようにしてもよい。さらに、視点関連情報（VI）が、撮像画像の視点画像領域でも個眼画像の領域でもない領域に形成されるスポット光の画像に関する情報であるスポット光情報（SI）を含むようにしてもよい。
領域特定部５６が、このような視点関連情報（VI）を、特定した視点画像領域を示す情報として領域抽出部５３に供給することにより、領域抽出部５３は、その視点関連情報（VI）に基づいて、領域特定部５６により特定された視点画像領域を抽出する（視点画像を切り出す）ことができる。
また、領域特定部５６は、視点関連情報（VI）をバス６０に供給することができる。例えば、領域特定部５６は、視点関連情報（VI）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、領域特定部５６は、視点関連情報（VI）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理に利用させることができる。
例えば、領域特定部５６は、このような視点関連情報（VI）を制御部８１から取得し、その取得した視点関連情報（VI）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。
このようにバス６０を介して記憶部６２、通信部６４、またはファイル化部６５に供給された視点関連情報（VI）は、そこにおいて画像（全体画像、視点画像、または合成画像）と関連付けられる。例えば、記憶部６２は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、記憶媒体６３に記憶させることができる。また、通信部６４は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部６５は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、それらを含む１つのファイルを生成することができる。
また、領域特定部５６は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報（VI’）を生成し、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、領域特定部５６は、撮像画像から各視点画像領域を特定し、その視点画像領域を示す（例えば、撮像画像における視点画像領域の中心座標と視点画像領域の解像度等により視点画像領域を示す）視点関連情報（VI’）を生成する。そして、領域特定部５６は、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI’）には、領域特定部５６が撮像画像に基づいて生成したスポット光情報（SI’）が含まれていてもよい。
さらに、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、視点関連情報（VI）にそのスポット光情報（SI’）を付加し、領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）にスポット光情報（SI’）を付加して視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。
また、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、そのスポット光情報（SI’）を用いて視点関連情報（VI）を補正し、補正後の視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を、スポット光情報（SI’）を用いて補正し、視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。
＜画像再構成処理部＞
画像再構成処理部５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部５７は、バス６０を介してカメラ信号処理部５４や記憶部６２からYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、画像再構成処理部５７は、バス６０を介して領域特定部５６や記憶部６２から視点関連情報を取得することができる。
さらに、画像再構成処理部５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、視点画像を処理対象とする場合、画像再構成処理部５７は、その各視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部５７は、その撮像画像や合成画像から各視点画像を抽出し、抽出した視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。
画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して通信部６４に供給し、外部に送信させることができる。さらに、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。
＜バス＞
バス６０には、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、表示部６１、記憶部６２、通信部６４、およびファイル化部６５が接続される。バス６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス６０は、有線により実現されてもよいし、無線通信により実現されてもよい。
＜表示部＞
表示部６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ１０の筐体と一体、または別体に設けられている。例えば、表示部６１は、カメラ１０の筐体の背面（多眼光学系３０が設けられている面と反対側の面）に設けられていてもよい。
表示部６１は、画像の表示に関する処理を行う。例えば、表示部６１は、スルー画像生成部５５から供給されるYCフォーマットであるスルー画像を取得し、RGBフォーマットに変換して表示することができる。その他、表示部６１は、例えば、メニュー、カメラ１０の設定等の情報を表示することもできる。
また、表示部６１は、記憶部６２から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。また、表示部６１は、記憶部６２から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部６１は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。
＜記憶部＞
記憶部６２は、例えば、半導体メモリ等よりなる記憶媒体６３の記憶を制御する。この記憶媒体６３は、リムーバブルな記憶媒体であってもよいし、カメラ１０に内蔵される記憶媒体であってもよい。例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、バス６０を介して供給される画像（撮像画像、視点画像、または合成画像）を記憶媒体６３に記憶させることができる。
例えば、記憶部６２は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。また、記憶部６２は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。
その際、記憶部６２は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、記憶部６２は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、記憶媒体６３に記憶させることができる。つまり、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、記憶部６２は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、ファイル化部６５から供給されるファイルを取得し、記憶媒体６３に記憶させることができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。
また、例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、記憶媒体６３に記憶されているデータやファイル等を読み出し、バス６０を介して、カメラ信号処理部５４、表示部６１、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。例えば、記憶部６２は、記憶媒体６３からYCフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、表示部６１に供給し、表示させることができる。また、記憶部６２は、記憶媒体６３からRAWフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、カメラ信号処理部５４に供給し、カメラ信号処理を施させることができる。
また、記憶部６２は、互いに関連付けられて記憶媒体６３に記憶されている画像（全体画像、視点画像、または合成画像）および視点関連情報のデータまたはファイルを読み出し、他の処理部に供給することができる。例えば、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを画像再構成処理部５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを通信部６４に供給し、送信させることができる。さらに、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらをファイル化部６５に供給し、ファイル化させることができる。
なお、記憶媒体６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体６３は、任意の情報を記憶することができる。
＜通信部＞
通信部６４は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部６４は、制御部８１の制御やユーザの操作等に応じて、その通信により、画像（撮像画像、視点画像、または合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。
例えば、通信部６４は、イメージセンサ５１や領域抽出部５３から供給されるRAWフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。また、通信部６４は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（撮像画像、視点画像、または合成画像）や圧縮（符号化）した画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。さらに、通信部６４は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。
その際、通信部６４は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、通信部６４は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部６４は、送信する画像（全体画像、視点画像、または合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、通信部６４は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部６４は、ファイル化部６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。
＜ファイル化部＞
ファイル化部６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部６５は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、ファイル化部６５は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。さらに、ファイル化部６５は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、例えば、ファイル化部６５は、領域特定部５６から供給される視点関連情報を取得することができる。
ファイル化部６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部６５は、上述の画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、ファイル化部６５は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部６５は、記憶部６２から供給される、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することができる。
なお、ファイル化部６５は、ファイル化する画像（例えば視点画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、視点画像、または合成画像）や視点関連情報に関連付けることができる。
ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して通信部６４に供給し、送信させることができる。
＜関連付け部＞
これらの記憶部６２、通信部６４、およびファイル化部６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、視点画像、または合成画像）と、視点関連情報とを関連付ける。例えば、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させることができる。また、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。
＜制御部＞
制御部８１は、カメラ１０に関する制御処理を行う。つまり、制御部８１は、カメラ１０の各部を制御し、処理を実行させることができる。例えば、制御部８１は、光学系制御部８４を介して多眼光学系３０（各個眼光学系３１）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部８１は、イメージセンサ５１を制御し、イメージセンサ５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。
さらに、制御部８１は、視点関連情報（VI）を領域特定部５６に供給し、撮像画像から抽出する領域を特定させることができる。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。また、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給してもよい。
また、制御部８１は、バス６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部８４を介して絞りを制御することができる。さらに、制御部８１は、その画像の鮮鋭度に基づいて、光学系制御部８４を介してフォーカスを制御することができる。また、制御部８１は、その画像のRGB比率に基づいてカメラ信号処理部５４を制御し、ホワイトバランスゲインを制御することができる。
＜記憶部＞
記憶部８２は、例えば、半導体メモリ等よりなる記憶媒体８３の記憶を制御する。この記憶媒体８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。この記憶媒体８３には、例えば、視点関連情報（VI）が記憶されている。この視点関連情報（VI）は、多眼光学系３０（の各個眼光学系３１）およびイメージセンサ５１に対応する情報である。つまり、視点関連情報（VI）は、この多眼光学系３０の各個眼光学系３１を視点とする視点画像に関する情報であり、その視点画像領域を特定するために用いられる情報である。例えば、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。
例えば、記憶部８２は、制御部８１やユーザの操作等に応じて、記憶媒体８３に記憶されている視点関連情報（VI）を読み出し、制御部８１に供給することができる。
なお、記憶媒体８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体８３は、任意の情報を記憶することができる。
また、記憶部８２および記憶媒体８３を記憶部６２および記憶媒体６３により代用してもよい。つまり、上述した記憶媒体８３に記憶させる情報（視点関連情報（VI）等）を記憶媒体６３に記憶させてもよい。その場合、記憶部８２および記憶媒体８３は、省略してもよい。
＜光学系制御部＞
光学系制御部８４は、制御部８１の制御に従って、多眼光学系３０（の各個眼光学系３１）を制御する。例えば、光学系制御部８４は、各個眼光学系３１のレンズ群や絞りを制御し、各個眼光学系３１の焦点距離若しくはF値、またはその両方を制御することができる。なお、カメラ１０が電動フォーカス調整機能を有する場合、光学系制御部８４は、多眼光学系３０（の各個眼光学系３１の）フォーカス（焦点距離）を制御することができる。また、光学系制御部８４が、各個眼光学系３１の絞り（F値）を制御することができるようにしてもよい。
なお、カメラ１０が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を制御する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部８４は、省略することができる。
＜視点関連情報の関連付け＞
以上のようなカメラ１０においては、上述のように、多眼光学系３０（複数の個眼光学系３１）を介してイメージセンサ５１において被写体が撮像され、各個眼光学系３１に対応する画像である個眼画像を含む撮像画像が生成される。このような撮像画像から、この個眼画像の一部または全部を抽出することにより、個眼光学系３１を視点とする視点画像が生成される。１枚の撮像画像から抽出された複数の視点画像は互いに異なる視点の画像であるので、これらの視点画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各視点画像間の相対位置等の情報が必要である。
しかしながら、従来は、そのような情報が全体画像、視点画像、合成画像等に関連付けられておらず、記録や他の機器に伝送済みの全体画像、視点画像、合成画像等を利用して、上述した奥行推定や多眼レンズの取り付け誤差抑制のための補正等の、視点画像を利用した画像処理を行うことができなかった。換言するにオフラインでの処理が考慮されていなかった。
そこで、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、その複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。
例えば、撮像装置において、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部を備えるようにする。
例えば、関連付け部７０が、画像（全体画像、視点画像、または合成画像）に対応する視点関連情報を領域特定部５６から取得し、その画像および視点関連情報を関連付と視点関連情報とを関連付けるようにする。例えば、記憶部６２が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させるようにする。また、通信部６４が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信するようにする。さらに、ファイル化部６５が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けるようにする。
このようにすることにより、視点関連情報に基づいて処理を行うことができる。したがって、視点画像を利用した画像処理を行うことができる。
ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、撮像画像と視点関連情報のデータ（ファイル）としての形態は任意である。例えば、撮像画像と視点関連情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）としてもよい。例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。勿論、撮像画像と視点関連情報とをまとめて、１つのストリームデータにしたり、１つのファイルにしたりしてもよい。
なお、視点関連情報を関連付ける画像は、静止画像でもよいし動画像でもよい。動画像の場合、各フレーム画像において、静止画像の場合と同様に領域抽出や視点関連情報の関連付け等を行うことができる。
また、この「関連付け」は、データ全体でなく、データ（ファイル）の一部であってもよい。例えば、撮像画像が複数フレームからなる動画像である場合、視点関連情報が、撮像画像の、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位に対して関連付けられるようにしてもよい。
なお、撮像画像と視点関連情報とが個別のデータ（ファイル）とされる場合は、その撮像画像と視点関連情報の双方に同じ識別番号を付与することなどで、両者を関連付けることができる。また、撮像画像と視点関連情報とが１つのファイルにまとめられる場合、例えば、撮像画像のヘッダ等に視点関連情報が付与されるようにしてもよい。なお、視点関連情報が関連付けられる対象は、撮像画像（全体画像）であってもよいし、視点画像であってもよいし、視点画像の合成画像であってもよい。
＜全体画像の出力＞
全体画像を出力する場合について説明する。全体画像の例を図４に示す。図４に示されるように、全体画像１３０には、各個眼光学系３１に対応する個眼画像（各個眼光学系３１を介して入射された被写体からの光を光電変換した画像）が含まれる。例えば、全体画像１３０の中央の画像が個眼光学系３１0に対応する個眼画像である。また、全体画像１３０の右上の画像が個眼光学系３１1に対応する個眼画像である。さらに、全体画像１３０の左上の画像が個眼光学系３１2に対応する個眼画像である。また、全体画像１３０の左下の画像が個眼光学系３１3に対応する個眼画像である。さらに、全体画像１３０の右下の画像が個眼光学系３１4に対応する個眼画像である。
なお、この全体画像１３０は、イメージセンサ５１により生成される撮像画像全体であってもよいし、その撮像画像より切り出された部分画像（ただし、全ての個眼画像を含む）であってもよい。また、この全体画像１３０は、RAWフォーマットの画像であってもよいし、YCフォーマットの画像であってもよい。
視点領域情報により、全体画像１３０に対して各個眼画像の一部（有効な部分）が視点画像領域として指定される。例えば図４の場合、全体画像１３０の、点線枠で囲まれた領域が視点画像領域である。つまり、個眼光学系３１0に対応する個眼画像の一部（有効な部分）が視点画像領域１３１0として指定される。同様に、個眼光学系３１1に対応する個眼画像の一部（有効な部分）が視点画像領域１３１1として指定される。また、個眼光学系３１2に対応する個眼画像の一部（有効な部分）が視点画像領域１３１2として指定される。さらに、個眼光学系３１3に対応する個眼画像の一部（有効な部分）が視点画像領域１３１3として指定される。また、個眼光学系３１4に対応する個眼画像の一部（有効な部分）が視点画像領域１３１4として指定される。なお、以下において、視点画像領域１３１0乃至視点画像領域１３１4を互いに区別して説明する必要がない場合、視点画像領域１３１と称する。
このような全体画像１３０を出力する場合、関連付け部７０は、イメージセンサ５１、RAW信号処理部５２、または、カメラ信号処理部５４からこの全体画像１３０を取得し、領域特定部５６から供給される多眼光学系３０に対応する視点関連情報を、その全体画像１３０に関連付ける。そして、関連付け部７０は、その互いに関連付けた全体画像および視点関連情報を出力する。出力の例としては、例えば、記憶部６２が、その互いに関連付けた全体画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた全体画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた全体画像および視点関連情報をファイル化してもよい。
なお、全体画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する全体画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた全体画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
この場合の視点関連情報は、撮像画像における複数の視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像１３０の内の視点画像領域の場所を特定することができる。
撮像画像にこのような視点関連情報を関連付けることにより、多眼マッチングによる奥行推定や、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理のための事前処理としての視点画像の抽出において、この視点関連情報を用いることができる。例えば、画像再構成処理部５７は、この視点関連情報に含まれる視点領域情報に基づいて各視点画像を抽出したうえで、多眼マッチングによる奥行推定や、リフォーカス処理、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理を行うことができる。
なお、全体画像１３０に視点関連情報が関連付けられていなくても、例えば画像再構成処理部５７は、画像処理により、全体画像１３０に含まれる視点画像領域を特定することができる可能性があるが、撮像条件などによって撮像画像の内の視点画像領域を正確に特定することは困難な可能性がある。そこで、上述のように視点関連情報を全体画像１３０に関連付けることにより、画像再構成処理部５７は、その視点関連情報に基づいて、より容易かつより正確に上述の全体画像１３０から視点画像領域を抽出することができる。
なお、視点画像生成のために全体画像１３０から切り出す領域の大きさや形状は、視点画像領域を包含（内包）している限り任意である。例えば、図５に示されるように、個眼画像の領域である個眼領域１４１内に、視点画像領域１３１を包含する（内包する）視点画像包含領域１４２を設定し、全体画像１３０からその視点画像包含領域１４２を抽出する（視点画像包含領域１４２の画像を切り出す）ようにしてもよい。そして、必要に応じて、その切り出された視点画像包含領域１４２の画像から、視点画像（視点画像領域１３１の画像）が抽出されるようにしてもよい。
なお、この視点画像包含領域１４２が個眼領域１４１よりも大きくてもよい（視点画像包含領域１４２内に個眼領域１４１外の領域が含まれてもよい）。また、視点関連情報に、視点画像包含領域１４２を示す視点画像包含領域指定情報が含まれるようにしてもよい。
この視点関連情報（の視点画像包含領域指定情報）において、視点画像包含領域１４２は、どのように表現されてもよい。例えば、その視点画像包含領域１４２の所定の場所（例えば、左上隅や中央等）の位置を示す座標と解像度（画素数）とにより、その視点画像包含領域１４２が表現されるようにしてもよい。つまり、視点画像包含領域指定情報が、その視点画像包含領域１４２の所定の場所の位置を示す座標と、その視点画像包含領域１４２の解像度（画素数）とを含むようにしてもよい。このような視点画像包含領域指定情報を含む視点関連情報を全体画像１３０に関連付けることにより、後段の処理部において、その視点画像包含領域指定情報を参照して処理を行うことができるので、より容易に視点画像包含領域１４２の画像の切り出しを行うことができるようになる。
なお、視点画像の場合と同様に個眼画像を撮像画像から切り出し、処理したり記録したりしてもよい。
＜撮像処理の流れ＞
このように全体画像を出力する場合の、撮像に関する処理の流れの例を、図６に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図６の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１０１において、記憶部８２を介して記憶媒体８３から視点関連情報を読み出し、領域特定部５６にセットする。なお、領域特定部５６は、イメージセンサ５１からRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて抽出する領域（例えば、視点画像領域等）を特定し、その特定した領域を示す情報を含む視点関連情報を生成し、セットすることもできる。また、領域特定部５６は、イメージセンサから取得した撮像画像に基づいて、セットした視点関連情報を補正することもできる。領域特定部５６は、そのセットした視点関連情報を領域抽出部５３に供給する等して、領域抽出部５３による一部領域の抽出（部分画像の切り出し）を制御する。
ステップＳ１０２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、スルー画像を表示する。
スルー画像は、スルー画像生成部５５において生成される表示用の画像であり、記録用の画像よりも解像度が低くてもよい。このスルー画像は、任意の画像の表示用画像であってもよい。例えば、表示部６１が、スルー画像として、全体画像を表示してもよいし、単数の視点画像を表示してもよいし、複数の視点画像を表示してもよいし、単数の個眼画像を表示してもよいし、複数の個眼画像を表示してもよいし、合成画像を表示してもよい。また、表示部６１が、スルー画像として、例えば視点画像と個眼画像等のように、互いに異なる種類の画像を組み合わせて表示してもよい。さらに、表示部６１が、例えば、アプリケーションからの要求やユーザ等の操作に基づいて、上述した各種の画像（または複数の画像の組み合わせ）の中からいずれかを選択して表示するようにしてもよい。つまり、表示部６１が、スルー画像として表示する画像を切り替える（選択する）ことができるようにしてもよい。
例えば、表示部６１がスルー画像として全体画像（撮像画像全体）を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、その撮像画像を（部分画像を切り出さずに、）カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの撮像画像に対してカメラ信号処理を行い、YCフォーマットの撮像画像（全体画像）を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、そのYCフォーマットの撮像画像（全体画像）から、例えば解像度を落とす等して、全体画像（撮像画像全体）を表示するスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、撮像画像全体を表示する）。
また、例えば、表示部６１がスルー画像として全体画像（撮像画像から切り出した全ての個眼画像を含む部分画像）を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、全ての個眼画像を含む一部の領域の画像（全体画像）を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、そのYCフォーマットの全体画像から、例えば解像度を落とす等して、その全体画像を表示するスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、全体画像を表示する）。
さらに、例えば、表示部６１がスルー画像として撮像画像から切り出した視点画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、各視点画像を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの視点画像のそれぞれに対してカメラ信号処理を行い、YCフォーマットの視点画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、単数または複数の視点画像を用いて、例えば解像度を落とす等して、その単数または複数の視点画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、単数または複数の視点画像を表示する）。
また、例えば、表示部６１がスルー画像として撮像画像から切り出した個眼画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報（各個眼画像の領域を示す情報）に基づいて、その撮像画像から、各個眼画像を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの個眼画像のそれぞれに対してカメラ信号処理を行い、YCフォーマットの個眼画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、単数または複数の個眼画像を用いて、例えば解像度を落とす等して、その単数または複数の個眼画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、単数または複数の個眼画像を表示する）。
さらに、例えば、表示部６１がスルー画像として撮像画像から切り出した視点画像の合成画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、各視点画像を抽出し、それらを合成して合成画像を生成する。領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、その合成画像を用いて、例えば解像度を落とす等して、その合成画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、合成画像を表示する）。
なお、表示部６１が、スルー画像として表示する画像を切り替える（選択する）場合、例えば、領域抽出部５３が、制御部８１の制御に従って、上述の各方法の中から採用する方法を切り替える。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１０３において、イメージセンサ５１は、制御部８１に制御されて、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像全体を全体画像とし、カメラ信号処理部５４に供給する。また、例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像から全ての個眼画像を含む一部の領域を抽出し、全体画像としてカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成する。カメラ信号処理部５４は、その全体画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１０１においてセットされた視点関連情報を関連付け部７０に供給する。
ステップＳ１０４において、関連付け部７０は、ステップＳ１０３において生成された全体画像に、ステップＳ１０１において領域特定部５６にセットされた視点関連情報を関連付ける。
例えば、記憶部６２が、全体画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、全体画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、全体画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
なお、表示部６１が、この出力する全体画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの全体画像を用いて、例えば解像度を落とす等して、出力する全体画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、全体画像と視点関連情報とを関連付けて出力するようにしてもよい。
ステップＳ１０４の処理が終了すると撮像処理が終了する。
このように各ステップの処理を行うことにより、全体画像に視点関連情報を関連付けることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
＜視点画像の出力＞
次に、視点画像を出力する場合について説明する。図７は、切り出された視点画像の例を示す図である。図７において、視点画像１３２0は、全体画像１３０から視点画像領域１３１0を抽出した画像である。視点画像１３２1は、全体画像１３０から視点画像領域１３１1を抽出した画像である。視点画像１３２2は、全体画像１３０から視点画像領域１３１2を抽出した画像である。視点画像１３２3は、全体画像１３０から視点画像領域１３１3を抽出した画像である。視点画像１３２4は、全体画像１３０から視点画像領域１３１4を抽出した画像である。以下において、視点画像１３２0乃至視点画像１３２4を互いに区別して説明する必要がない場合、視点画像１３２と称する。
このような視点画像を出力する場合、領域抽出部５３は、この図７の例のように切り出した各視点画像１３２を、それぞれ独立したデータ（またはファイル）として出力する。
例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像に、各視点を識別するための視点識別情報（例えば、識別番号）を割り当てる。領域抽出部５３は、その視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像にカメラ信号処理を施し、YCフォーマットの各視点画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの各視点画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。
関連付け部７０は、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。視点関連情報は、各視点を識別するための視点識別情報（例えば、視点識別番号）を含み得る。関連付け部７０は、この視点識別情報に基づいて、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。この視点識別情報を参照することにより、関連付け部７０は、どの視点関連情報がどの視点画像に対応するかを容易に把握することができる。つまり、関連付け部７０は、この視点識別情報を用いることにより、より容易に、各視点画像および視点関連情報を正しく関連付けることができる。
そして、関連付け部７０は、その互いに関連付けた各視点画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた各視点画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた各視点画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた各視点画像および視点関連情報をファイル化してもよい。
なお、各視点画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する各視点画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた各視点画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
視点関連情報は、上述の＜全体画像の出力＞の場合と同様に、視点領域情報および視点画像包含領域指定情報を含み得る。したがって、全体画像を出力する場合と同様の効果を得ることができる。
さらに、視点関連情報に、視点画像が抽出される撮像画像が撮像された時刻や順番を示す視点時刻情報が含まれるようにしてもよい。複数の撮像画像から抽出された視点画像が混在する場合や動画像や連写画像である場合、どの視点画像がどの撮像画像から抽出されたものであるかの識別が困難になるおそれがある。撮像画像の生成時刻や順番を示す視点時刻情報を視点画像に関連付けることにより、各視点画像に対応する撮像画像（各視点画像が抽出された撮像画像）の識別をより容易に行うことができる。換言するに、互いに同一の撮像画像から抽出された複数の視点画像をより容易に特定することができる。付言するに、記録されたファイルが一括管理されていない場合においても、同時刻の各視点画像を特定することができる。
＜撮像処理の流れ＞
この場合の撮像に関する処理の流れの例を、図８に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図８の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１２１において、記憶部８２を介して記憶媒体８３から視点関連情報を読み出し、領域特定部５６にセットする。
なお、領域特定部５６は、イメージセンサ５１からRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて抽出する視点画像領域を特定し、その特定した視点画像領域を示す視点領域情報を含む視点関連情報を生成し、セットすることもできる。また、領域特定部５６は、イメージセンサから取得した撮像画像に基づいて、セットした視点関連情報を補正することもできる。領域特定部５６は、そのセットした視点関連情報を領域抽出部５３に供給する等して、領域抽出部５３による視点画像領域の抽出（視点画像の切り出し）を制御する。
なお、この視点関連情報に含まれる各視点領域情報には、各視点画像を識別するための視点識別情報（例えば、識別番号）が割り当てられている。つまり、視点関連情報には、視点識別情報が含まれる。
ステップＳ１２２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、スルー画像を表示する。スルー画像は、図６のステップＳ１０２について説明した場合と同様である。
また、図６のステップＳ１０２の場合と同様に、表示部６１が、スルー画像として、全体画像を表示してもよいし、単数の視点画像を表示してもよいし、複数の視点画像を表示してもよいし、単数の個眼画像を表示してもよいし、複数の個眼画像を表示してもよいし、合成画像を表示してもよい。また、表示部６１が、スルー画像として、例えば視点画像と個眼画像等のように、互いに異なる種類の画像を組み合わせて表示してもよい。さらに、表示部６１が、例えば、アプリケーションからの要求やユーザ等の操作に基づいて、上述した各種の画像（または複数の画像の組み合わせ）の中からいずれかを選択して表示するようにしてもよい。つまり、表示部６１が、スルー画像として表示する画像を切り替える（選択する）ことができるようにしてもよい。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１２３において、イメージセンサ５１は、制御部８１に制御されて、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
ステップＳ１２４において、領域抽出部５３は、ステップＳ１２１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて、ステップＳ１２３において得られた撮像画像から各視点画像を抽出する。
ステップＳ１２５において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば、識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１２１においてセットされた視点関連情報を関連付け部７０に供給する。
ステップＳ１２６において、関連付け部７０は、その各視点画像に、ステップＳ１２１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
ステップＳ１２７において、関連付け部７０は、ステップＳ１２６において各視点画像に関連付けられた視点関連情報に、その視点画像が抽出された撮像画像の撮像タイミングを示すタイムスタンプ情報をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
例えば、記憶部６２が、各視点画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、各視点画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、各視点画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
なお、表示部６１が、この出力する各視点画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの各視点画像を用いて、例えば解像度を落とす等して、出力する各視点画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、各視点画像と視点関連情報とを関連付けて出力するようにしてもよい。
ステップＳ１２７の処理が終了すると撮像処理が終了する。
このように各ステップの処理を行うことにより、各視点画像に視点関連情報を関連付けることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
＜合成画像の出力＞
次に、合成画像を出力する場合について説明する。図９は、各視点画像を合成した合成画像の例を示す図である。図９の例の場合、図７の例において抽出された視点画像１３２0乃至視点画像１３２4が1枚の画像内に並んで表示されるように合成されてなる１枚の合成画像１３３が生成されている。つまり、合成画像１３３は、各視点画像１３２が合成されて、１データ化（１フレーム化）、または、１ファイル化されたものである。
なお、図９においては、合成画像１３３の視点画像１３２0乃至視点画像１３２4の周囲に余白領域が示されているが、合成画像１３３がこの余白領域を有していてもよいし、有していなくてもよい。また、合成画像１３３の形状は、矩形であればよく、各視点画像１３２の配置方法（並べ方）は任意である。図９の例のように、５枚の視点画像１３２を２行３列に並べる場合に生ずる空白領域（６枚目の視点画像１３２に相当する領域）は、null dataや固定値で表すようにしてもよい。
例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像を1枚の画像内に並んで表示されるように合成して合成画像を生成する。その際、各視点画像の並び順（位置）を予め定めておくことにより、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。
また、各視点画像に視点識別情報（例えば、識別番号）を割り当ててから合成するようにしてもよい。この場合も同様に、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。以下においては、合成画像における各視点画像の並び順が予め定められているものとする。
領域抽出部５３は、視点識別情報を割り当てた合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像にカメラ信号処理を施し、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの合成画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。
関連付け部７０は、合成画像に対して視点関連情報を関連付ける。合成画像に含まれる各視点画像の視点は、合成画像におけるその視点画像の位置により明らかである。つまり、各視点画像が視点関連情報のどの視点領域情報に対応するかは、容易に把握することができる。
そして、関連付け部７０は、その互いに関連付けた合成画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた合成画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた合成画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた画像および視点関連情報をファイル化してもよい。
なお、合成画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する合成画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた合成画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
視点関連情報は、上述の＜全体画像の出力＞や＜視点画像の出力＞の場合と同様に、視点領域情報および視点画像包含領域指定情報を含み得る。したがって、全体画像や視点画像を出力する場合と同様の効果を得ることができる。
＜撮像処理の流れ＞
この場合の撮像に関する処理の流れの例を、図１０に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１０の撮像処理が開始される。撮像処理が開始されると、ステップＳ１４１乃至ステップＳ１４４の各処理が、ステップＳ１２１乃至ステップＳ１２４の各処理（図８）と同様に実行される。
ステップＳ１４５において、領域抽出部５３は、ステップＳ１４４において撮像画像より抽出された各視点画像を並べて合成し、合成画像を生成する。
領域抽出部５３は、その合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１４１においてセットされた視点関連情報を関連付け部７０に供給する。
ステップＳ１４６において、関連付け部７０は、その合成画像に、ステップＳ１４１において領域特定部５６にセットされた視点関連情報を関連付ける。
例えば、記憶部６２が、合成画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、合成画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、合成画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
なお、表示部６１が、この出力する合成画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの合成画像を用いて、例えば解像度を落とす等して、出力する合成画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、合成画像と視点関連情報とを関連付けて出力するようにしてもよい。
ステップＳ１４６の処理が終了すると撮像処理が終了する。
このように各ステップの処理を行うことにより、合成画像に視点関連情報を関連付けすることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
＜全体画像、視点画像、合成画像の比較＞
上述のように、全体画像を出力する場合、単眼の光学系を用いる既存のシステムとの差異が少なく、親和性が高い。したがって、このように全体画像を出力する撮像装置を、より容易に実現することができる。また、汎用性が高い。また、以上のように出力された全体画像を再生する再生装置も同様に、単眼の光学系を用いる既存のシステムと差異が少なく、親和性が高い。したがって、このように出力された全体画像を再生する再生装置も、より容易に実現することができる。
また、各視点画像を出力する場合、その視点画像は、奥行情報の生成やリフォーカス等の処理に利用することができるだけでなく、サムネイルの生成や表示に利用することができる。その際、撮像画像や合成画像の場合と比べてより小さい画像サイズで絵柄を示す（識別可能に表示する）ことができる。
さらに、合成画像を出力する場合、不要な領域を低減させることができ、かつ、ファイルやストリームも１つで済むので、データの容量の増大を抑制することができる。また、画像の記録や送信の際に、各視点画像を出力する場合に比べて、データの管理がより容易になる。さらに、全体画像の場合と同様に、単眼の光学系を用いる既存のシステムとの差異が少なく、親和性が高い。したがって、このように合成画像を出力する撮像装置を、より容易に実現することができる。また、汎用性が高い。また、以上のように出力された合成画像を再生する再生装置も同様に、単眼の光学系を用いる既存のシステムと差異が少なく、親和性が高い。したがって、このように出力された合成画像を再生する再生装置も、より容易に実現することができる。
＜組み合わせ＞
なお、上述の方法は組み合わせて適用することができる。つまり、全体画像、視点画像、合成画像のうち、複数を出力するようにしてもよい。その場合、図６、図８、および図１０のフローチャートを参照して説明した各撮像処理のうち、必要なものを実行すればよい。
例えば、表示用として視点画像を出力し、画像処理や記録用に全体画像または合成画像を出力するようにしてもよい。もちろん、この例以外の組み合わせであってもよい。このように複数の画像を組み合わせて出力することにより、より多様な用途に適した画像出力を行うことができる。
＜出力選択＞
また、出力する画像を選択することができるようにしてもよい。例えば、アプリケーションやユーザ等の指示や用途等に応じて、出力する画像が選択されるようにしてもよい。
その場合の撮像に関する処理の流れの例を、図１１に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図６の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１６１において、出力する画像を選択する。つまり、制御部８１は、全体画像を出力するか、視点画像を出力するか、合成画像を出力するかを選択する。もちろん、複数選択してもよい。制御部８１は、例えば、アプリケーション、ユーザ等の指示、用途等に応じてこの選択を行う。なお、ユーザによる指示は撮像処理を開始する前にメニューによる設定により行われても良い。
ステップＳ１６２において、制御部８１は、全体画像を出力するか否かを判定する。全体画像を出力すると判定された場合、処理はステップＳ１６３に進む。
ステップＳ１６３において、カメラ１０の各処理部は、全体画像を出力する撮像処理（例えば、図６のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６３の処理が終了すると処理はステップＳ１６４に進む。
また、ステップＳ１６２において全体画像を出力しないと判定された場合、ステップＳ１６３の処理がスキップされ、処理はステップＳ１６４に進む。
ステップＳ１６４において、制御部８１は、視点画像を出力するか否かを判定する。視点画像を出力すると判定された場合、処理はステップＳ１６５に進む。
ステップＳ１６５において、カメラ１０の各処理部は、各視点画像を出力する撮像処理（例えば、図８のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６５の処理が終了すると撮像処理が終了する。
また、ステップＳ１６４において、視点画像を出力しないと判定された場合、処理はステップＳ１６６に進む。
ステップＳ１６６において、カメラ１０の各処理部は、合成画像を出力する撮像処理（例えば、図１０のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６６の処理が終了すると撮像処理が終了する。
以上のように各ステップの処理を実行することにより、任意の画像を出力画像として選択することができる。したがって、制御部８１は、より多様な用途に適した画像出力を行うことができる。
＜２．第２の実施の形態＞
＜スポット光の利用＞
なお、撮像画像に対して回転方向に補正をかけられるようにしてもよい。図１に示されるように、カメラ１０の鏡筒には、５個の個眼光学系３１0乃至個眼光学系３１4の他、複数である２個の光源３２Ｌおよび光源３２Ｒが設けられている。光源３２Ｌおよび光源３２Ｒは、カメラ１０を正面から見たときに、鏡筒の右端および左端の位置に、それぞれ設けられている。
光源３２Ｌおよび光源３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、カメラ１０の正面側から背面側に向かってスポット光を照射する。
したがって、光源３２Ｌおよび光源３２Ｒが照射するスポット光は、カメラ１０のイメージセンサ５１で受光される。
図１２は、カメラ１０の鏡筒における個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒの配置と、その多眼光学系３０を用いて撮像される撮像画像との例を示す図である。
図１２のＡは、鏡筒１５１における個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒの配置の例を示す背面図である。
図１２のＡでは、個眼光学系３１0乃至個眼光学系３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼光学系３１0を中心として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置されている。
すなわち、個眼光学系３１0乃至個眼光学系３１4のうちの、例えば、個眼光学系３１0を基準とすると、図１２では、個眼光学系３１1は、個眼光学系３１0の右上に配置され、個眼光学系３１2は、個眼光学系３１0の左上に配置されている。さらに、個眼光学系３１3は、個眼光学系３１0の左下に配置され、個眼光学系３１4は、個眼光学系３１0の右下に配置されている。
また、図１２のＡにおいて、光源３２Ｌは、平面が略円形の鏡筒１５１の左端の位置に配置され、光源３２Ｒは、平面が略円形の鏡筒１５１の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
なお、光源３２Ｌおよび光源３２Ｒは、鏡筒１５１の任意の異なる位置に配置することができる。
但し、光源３２Ｌおよび光源３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌおよび光源３２Ｒそれぞれが照射するスポット光のスポット光像PLおよびスポット光像PRが、撮像画像に含まれる個眼画像の領域外（個眼光学系３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやスポット光像PRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
図１２のＢは、図１２のＡのように個眼光学系３１0乃至３１4並びに光源３２Ｌおよび光源３２Ｒが配置された鏡筒１５１を備えるカメラ１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒを有する鏡筒１５１を備えるカメラ１０のイメージセンサ５１で撮像される撮像画像には、個眼光学系３１0乃至個眼光学系３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0、個眼画像E1、個眼画像E2。個眼画像E3、個眼画像E4と、光源３２Ｌおよび光源３２Ｒそれぞれのスポット光のスポット光像PLおよびスポット光像PRとが含まれる。
＜多眼光学系３０の取り付け位置の誤差＞
カメラ１０のイメージセンサ５１の受光面に対する多眼光学系３０の取り付け位置は、ずれ得る。以下においては、多眼光学系３０の設計上の取り付け位置に対する実際の取り付け位置の誤差を取り付け誤差と称する。例えば、多眼光学系３０をカメラ１０の筐体に取り付ける際に、その取り付け位置が、設計上の取り付け位置に対してずれる場合があり得る。つまり多眼光学系３０の取り付け位置に誤差が生じる場合があり得る。
また、多眼光学系３０が取り付けられたカメラ１０に大きな衝撃が加わる等して、多眼光学系３０の取り付け位置が変化する場合があり得る。つまり、多眼光学系３０の取り付け位置に誤差が生じる場合があり得る。
例えば、図１２のＡにおいて、多眼光学系３０の取り付け位置の、x方向、y方向、およびz方向の内の少なくとも１方向に誤差が生じる場合があり得る。また、例えば、多眼光学系３０の取り付け位置の、イメージセンサ５１に対して平行な面の回転方向に誤差が生じる場合があり得る。
例えば、図１２のＡにおいて、多眼光学系３０の取り付け位置の、x方向、y方向、およびz方向の内の少なくとも１方向に誤差が生じる場合があり得る。また、例えば、多眼光学系３０の取り付け位置の、イメージセンサ５１に対して平行な面の回転方向に誤差が生じる場合があり得る。
図１２のＢにおいて、個眼画像E#iは、個眼光学系３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0乃至個眼画像E4は、互いに視点の異なる画像である。
互いに視点の異なる画像である個眼画像E0乃至個眼画像E4を用いて、例えば、視差情報を求める場合、個眼光学系３１0乃至個眼光学系３１4について、基線長と基線角が必要となる。その内の基線角は、多眼光学系３０の取り付け誤差によって変化する。したがって、個眼画像E0乃至個眼画像E4を用いて、正確な視差情報を求めるためには、取り付け誤差に対処する必要がある。
そこで、スポット光像PLおよびスポット光像PRを用いて、撮像時の取り付け誤差（例えば、相対的な回転誤差（レンズ回転量））を導出し、その取り付け誤差を抑制するように、全体画像１３０の位置を補正する。
＜全体画像を出力する場合＞
図１２のＢに示されるように、全体画像には、スポット光像PLおよびスポット光像PRが含まれている。したがって、全体画像を出力する場合は、その位置の補正を行う前の画像を出力する。全体画像には、後で位置補正をかけることができるように、全体画像の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報を関連付ける。
その場合の、撮像に関する処理の流れの例を、図１３に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１３の撮像処理が開始される。
撮像処理が開始されると、制御部８１は、ステップＳ１８１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
その際、スポット光情報は、視点関連情報に含められてもよい。また、このスポット光情報には、例えば、撮像画像に形成される複数のスポット光の画像のそれぞれを識別するためのスポット光識別情報が含まれるようにしてもよい。
また、スポット光情報には、撮像画像におけるスポット光の画像の位置を示すスポット光結像位置情報が含まれるようにしてもよい。スポット光結像位置情報において、スポット光の画像の位置がどのように示されるかは任意である。例えば、スポット光の中心座標と、スポット光の大きさとで示されるようにしてもよい。つまり、スポット光結像位置情報が、撮像画像におけるスポット光の中心座標と、そのスポット光の大きさとを示す情報を含むようにしてもよい。また、スポット光結像位置情報が、撮像画像におけるスポット光の中心座標のみを含む（そのスポット光の大きさを示す情報を含まない）ようにしてもよい。さらに、スポット光結像位置情報が、２つのスポット光の角度情報を含むようにしてもよい。
ステップＳ１８２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図６の場合と同様に、スルー画像を表示する。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１８３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像全体を全体画像とし、カメラ信号処理部５４に供給する。また、例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像から全ての個眼画像を含む一部の領域を抽出し、全体画像としてカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成する。カメラ信号処理部５４は、その全体画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１８１においてセットされた視点関連情報（スポット光情報を含む）を関連付け部７０に供給する。
ステップＳ１８４において、関連付け部７０は、その全体画像にステップＳ１８１においてセットされた視点関連情報とスポット光情報を関連付ける。例えば、関連付け部７０は、スポット光情報を含む視点関連情報を全体画像に関連付ける。
例えば、記憶部６２が、全体画像および視点関連情報（スポット光情報を含む）を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、全体画像および視点関連情報（スポット光情報を含む）を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、全体画像および視点関連情報（スポット光情報を含む）をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
なお、図６の場合と同様に、表示部６１が、この出力する全体画像を確認するための確認画像を表示してもよい。
ステップＳ１８４の処理が終了すると、撮像処理が終了する。
撮像画像には、スポット光像PLおよびスポット光像PRが含まれているので、以上のように撮像画像にスポット光情報を関連付けることにより、撮像画像から検出したスポット光像の位置と、スポット光情報が示すスポット光像の位置とを比較することができる。したがって、この比較結果に基づいて、撮像画像に対して後で補正をかけることができる。
＜視点画像を出力する場合＞
＜位置補正をかけずに出力する場合＞
視点画像には、スポット光像PLおよびスポット光像PRが含まれていない。そのため、後で位置補正をかける場合は、視点画像および視点関連情報の他に、スポット光像PLやスポット光像PRを含む領域の画像であるスポット光画像と、そのスポット光情報も出力してもよい。
その場合の、撮像に関する処理の流れの例を、図１４に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１４の撮像処理が開始される。
撮像処理が開始されると、制御部８１は、ステップＳ２０１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞において上述したものと同様である。
ステップＳ２０２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図８の場合と同様に、スルー画像を表示する。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２０３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
ステップＳ２０４において、領域抽出部５３は、ステップＳ２０１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて、ステップＳ２０３において得られた撮像画像から各視点画像を抽出する。
ステップＳ２０５において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２０１においてセットされた視点関連情報とスポット光情報とを関連付け部７０に供給する。
ステップＳ２０６において、関連付け部７０は、その各視点画像に、ステップＳ２０１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
ステップＳ２０７において、関連付け部７０は、ステップＳ２０６において各視点画像に関連付けられた視点関連情報に、その視点画像が抽出された撮像画像の撮像タイミングを示すタイムスタンプ情報（視点時刻情報）をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
ステップＳ２０８において、領域抽出部５３は、ステップＳ２０１において領域特定部５６にセットされたスポット光情報に基づいて、撮像画像から各スポット光画像を抽出する。
ステップＳ２０９において、領域抽出部は、ステップＳ２０８において抽出した各スポット光画像に、スポット光を識別するためのスポット光識別情報（例えば、識別番号）を割り当てる。例えば、各スポット光画像にスポット光識別情報を付加する。つまり、この処理により、各スポット光画像にはスポット光識別情報が含まれる。
ステップＳ２１０において、関連付け部７０は、各スポット光画像に視点関連情報のスポット光情報を関連付ける。関連付け部７０は、スポット光識別情報を用いて各スポット光画像とスポット光情報とを関連付ける。スポット光情報は視点関連情報に含まれていてもよい。
ステップＳ２１０の処理が終了すると、撮像処理が終了する。
以上のように、各ステップの処理を実行し、各視点画像に対して各スポット光画像および各スポット光情報を関連付けることにより、後で各視点画像に対して位置補正（例えば、回転補正）をかけることができる。
なお、以上においては、位置補正（例えば回転補正）を行わない場合、スポット光画像とスポット光情報も出力されるように説明したが、この例に限定されない。例えば、位置補正量（レンズ回転量）が分かれば、視点領域情報の位置ずれの補正が可能である（視点領域情報を視点画像に対応させることができる）。つまり、スポット光画像とスポット光情報の代わりに、この位置補正量（レンズ回転量）を合成画像に関連付けて出力するようにしてもよい。なお、この位置補正量（レンズ回転量）は、スポット光画像やスポット光情報等から導出することができる。
＜位置補正をかけて出力する場合＞
視点画像に位置補正（例えば回転補正）をかける場合、補正後はスポット光画像等が不要になる。したがって、この場合、スポット光画像やスポット光情報は出力せず、第１の実施の形態の場合と同様に、各視点画像と、その視点画像に関連付けられた視点関連情報とを出力する。
その場合の、撮像に関する処理の流れの例を、図１５に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１５の撮像処理が開始される。
撮像処理が開始されると、制御部８１は、ステップＳ２２１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜位置補正をかけずに出力する場合＞において上述したものと同様である。
ステップＳ２２２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図８の場合と同様に、スルー画像を表示する。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２２３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
ステップＳ２２４において、領域特定部５６は、スポット光情報に基づいて位置補正量（例えばレンズ回転量）を導出する。
ステップＳ２２５において、領域特定部５６は、その位置補正量（例えばレンズ回転量）に基づいて、視点領域情報を位置補正（例えば、回転補正）し、更新する。
ステップＳ２２６において、領域抽出部５３は、更新された視点領域情報に基づいてステップＳ２２３において生成された撮像画像から各視点画像を抽出する。
ステップＳ２２７において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２２１においてセットされた視点関連情報とスポット光情報とを関連付け部７０に供給する。
ステップＳ２２８において、関連付け部７０は、その各視点画像に、ステップＳ２０１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
ステップＳ２２９において、関連付け部７０は、ステップＳ２０６において各視点画像に関連付けられた視点関連情報にタイムスタンプ情報（視点時刻情報）をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
ステップＳ２２９の処理が終了すると、撮像処理が終了する。
以上のように、各ステップの処理を実行することにより、位置補正を行ってから、各視点画像を抽出し、視点関連情報を関連付け、出力することができる。したがって、より容易に、視点画像を利用した画像処理を行うことができる。
＜合成画像を出力する場合＞
＜回転補正をかけずに出力する場合＞
合成画像には、スポット光像PLおよびスポット光像PRが含まれていない。そのため、後で回転補正をかける場合は、合成画像および視点関連情報の他に、スポット光像PLやスポット光像PRを含む領域の画像であるスポット光画像と、そのスポット光情報も出力する。
その場合の、撮像に関する処理の流れの例を、図１６に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１６の撮像処理が開始される。
撮像処理が開始されると、制御部８１は、ステップＳ２４１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜視点画像を出力する場合＞において上述したものと同様である。
ステップＳ２４２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図１０の場合と同様に、スルー画像を表示する。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２４３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
ステップＳ２４４において、領域抽出部５３は、ステップＳ２４１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて撮像画像から各視点画像を抽出する。
ステップＳ２４５において、領域抽出部５３は、ステップＳ２４４において抽出された各視点画像を並べて合成し、合成画像を生成する。
領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされた視点関連情報を関連付け部７０に供給する。
ステップＳ２４６において、関連付け部７０は、その合成画像に、ステップＳ２４１において領域特定部５６にセットされた視点関連情報を関連付ける。
ステップＳ２４７において、領域抽出部５３は、ステップＳ２４１において領域特定部５６にセットされたスポット光情報に基づいて撮像画像から各スポット光画像を抽出する。
ステップＳ２４８において、領域抽出部５３は、ステップＳ２４７において抽出した各スポット光画像に、各スポット光画像を識別するためのスポット光識別情報（例えば、識別番号）を割り当てる。例えば、各スポット光画像にスポット光識別情報を付加する。つまり、この処理により、各スポット光画像にはスポット光識別情報が含まれる。
領域抽出部５３は、各スポット光画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットのスポット光画像に対してカメラ信号処理を行い、YCフォーマットのスポット光画像を生成する。カメラ信号処理部５４は、そのスポット光画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされたスポット光情報を関連付け部７０に供給する。
ステップＳ２４９において、関連付け部７０は、各スポット光画像にスポット光情報を関連付ける。関連付け部７０は、スポット光識別情報を用いて各スポット光画像とスポット光情報とを関連付ける。
ステップＳ２４９の処理が終了すると、撮像処理が終了する。
以上のように、各ステップの処理を実行し、合成画像に対して各スポット光画像および各スポット光情報を関連付けることにより、後で合成画像に対して位置補正（例えば回転補正）をかけることができる。
なお、以上においては、位置補正（例えば回転補正）を行わない場合、スポット光画像とスポット光情報も出力されるように説明したが、この例に限定されない。例えば、位置補正量（レンズ回転量）が分かれば、視点領域情報の位置ずれの補正が可能である（視点領域情報を視点画像に対応させることができる）。つまり、スポット光画像とスポット光情報の代わりに、この位置補正量（レンズ回転量）を合成画像に関連付けて出力するようにしてもよい。なお、この位置補正量（レンズ回転量）は、スポット光画像やスポット光情報等から導出することができる。
＜位置補正をかけて出力する場合＞
合成画像に位置補正（例えば回転補正）をかける場合、補正後はスポット光画像等が不要になる。したがって、この場合、スポット光画像やスポット光情報は出力せず、第１の実施の形態の場合と同様に、合成画像と、その合成画像に関連付けられた視点関連情報とを出力する。
その場合の、撮像に関する処理の流れの例を、図１７に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１７の撮像処理が開始される。
撮像処理が開始されると、制御部８１は、ステップＳ２６１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜視点画像を出力する場合＞において上述したものと同様である。
ステップＳ２６２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図１０の場合と同様に、スルー画像を表示する。
例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２６３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
ステップＳ２６４において、領域特定部５６は、スポット光情報に基づいて位置補正量（例えばレンズ回転量）を導出する。
ステップＳ２６５において、領域特定部５６は、その位置補正量（例えばレンズ回転量）に基づいて、視点領域情報を位置補正（例えば、回転補正）し、更新する。
ステップＳ２６６において、領域抽出部５３は、更新された視点領域情報に基づいてステップＳ２６３において生成された撮像画像から各視点画像を抽出する。
ステップＳ２６７において、領域抽出部５３は、抽出された各視点画像を並べて合成し、合成画像を生成する。
領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされた視点関連情報を関連付け部７０に供給する。
ステップＳ２６８において、関連付け部７０は、その合成画像に、ステップＳ２６１において領域特定部５６にセットされた視点関連情報を関連付ける。
ステップＳ２６８の処理が終了すると、撮像処理が終了する。
以上のように、各ステップの処理を実行することにより、位置補正（回転補正）を行ってから、各視点画像を抽出し、合成画像を生成し、視点関連情報を関連付け、出力することができる。したがって、より容易に、合成画像を利用した画像処理を行うことができる。
＜３．第３の実施の形態＞
＜画像処理装置＞
次に、上述のように出力された視点関連情報等の利用について説明する。第１の実施の形態や第２の実施の形態において説明したように、多眼光学系を利用した撮像において、撮像画像の全体またはその一部と、視点関連情報とを関連付けて出力することにより、撮像後にイメージセンサ５１の受光面のどの位置にあった視点画像であるかを特定することができる。また、撮像された視点画像間のイメージセンサ５１の受光面における位置関係を特定することができる。この各視点画像間の位置関係が明確になることで、多眼マッチングによる奥行推定や、多眼レンズの取り付け誤差補正等の後段の処理において、その位置関係を利用することができる。また、RGB画像（カラーイメージセンサの場合）と奥行情報（Depth）の同時取得が可能になる。そのためそれらのRGBDを用いたアプリケーションは、レンズエミュレーションやCG（Computer Graphics）や実写同士の奥行を用いて合成等、映像制作分野への応用も可能になる。
図１８は、本技術を適用した一実施の形態の画像処理装置の主な構成例を示すブロック図である。この画像処理装置２００は、カメラ１０から出力された画像等を取得し、画像処理等を施す装置である。なお、図１８に示される構成は、カメラ１０の構成の一部であってもよい。
図１８に示されるように、画像処理装置２００は、通信部２１１、画像処理部２１２、画像再構成処理部２１３、および出力部２１４を有する。
通信部２１１は、カメラ１０の通信部６４と通信を行い、視点関連情報が関連付けられた画像（全体画像、視点画像、または合成画像）等を取得する。通信部２１１は、取得した画像等を画像処理部２１２に供給する。なお、この視点関連情報が関連付けられた画像（全体画像、視点画像、または合成画像）は、記録媒体を介して画像処理装置２００に供給されるようにしてもよい。例えば、画像処理装置２００が、通信部２１１の代わりに記憶部を有し、その記憶部が記憶媒体（例えば、リムーバブル記憶媒体）から画像を読み出し、画像処理部２１２に供給するようにしてもよい。
画像処理部２１２は、通信部２１１より供給された画像（全体画像、視点画像、または合成画像）に対して任意の画像処理を行う。例えば、画像処理部２１２は、通信部２１１より供給された画像に対して、その画像に関連付けられた視点関連情報を用いた画像処理を行うことができる。
例えば、画像処理部２１２は、視点関連情報に含まれる視点識別情報や視点領域情報等を用いて、全体画像や合成画像から視点画像を切り出すことができる。また、例えば、各視点領域情報の位置ずれの補正（例えば回転補正）を行うことができる。また、例えば画像が圧縮されて（符号化されて）供給される場合、画像処理部２１２は、その符号化データを、その圧縮（符号化）方式に対応する所定の方式で復号（伸張）することもできる。
画像処理部２１２は、画像処理後の画像を画像再構成処理部２１３に供給することができる。なお、この画像処理部による画像処理はスキップすることができる。つまり、通信部２１１は、取得した画像等を画像再構成処理部２１３に供給することもできる。
画像再構成処理部２１３は、画像再構成処理部５７と同様の処理部であり、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行う。その際、画像再構成処理部２１３は、視点関連情報を用いてこの処理を行ってもよい。例えば、画像再構成処理部２１３は、例えば、通信部２１１または画像処理部２１２から供給される画像等を取得し、その取得した画像に対して、奥行情報の生成やリフォーカス等の処理を行うことができる。また、画像再構成処理部２１３は、後述する記憶部２２２を介して記憶媒体２２３に記憶されている画像等を取得し、その取得した画像に対して、奥行情報の生成やリフォーカス等の処理を行うことができる。画像再構成処理部２１３は、処理後の画像等のデータを出力部２１４に供給する。
出力部２１４は、画像再構成処理部２１３から供給されたデータの出力に関する処理を行う。出力部２１４は、例えば、バス２２０、表示部２２１、および記憶部２２２を有する。
バス２２０には、表示部２２１および記憶部２２２、並びに、画像再構成処理部２１３が接続されている。バス２２０は、これらの処理部の間で授受されるデータを伝送する。
表示部２２１は、表示部６１と同様の処理部であり、例えば、液晶パネルや有機ELパネル等で構成される。表示部２２１は、例えば、画像再構成処理部２１３や記憶部２２２から供給される撮像画像、視点画像、または合成画像を表示する。
記憶部２２２は、例えば、半導体メモリ等よりなる記憶媒体２２３の記憶を制御する。この記憶媒体２２３は、リムーバブルな記憶媒体であってもよいし、画像処理装置２００に内蔵される記憶媒体であってもよい。例えば、記憶部２２２は、ユーザの操作等に応じて、バス２２０を介して供給される画像（撮像画像、視点画像、または合成画像）や視点関連情報等を記憶媒体２２３に記憶させることができる。
また、記憶部２２２は、記憶媒体２２３に記憶されている画像等を読み出し、画像再構成処理部２１３に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。さらに、記憶部２２２は、記憶媒体２２３に記憶されている画像等を読み出し、表示部２２１に供給し、表示させることができる。
このような画像処理装置２００により実行される画像処理の流れの例を、図１９のフローチャートを参照して説明する。画像処理装置２００は、この画像処理を行うことにより、カメラ１０から出力された画像に対して画像再構成処理を行い、奥行情報の生成やリフォーカス等の処理を行う。
画像処理が開始されると、通信部２１１は、ステップＳ２８１において、カメラ１０から送信される、互いに関連付けられた画像および視点関連情報を取得し、それらを画像処理部２１２に供給する。
画像処理部２１２は、画像再構成処理の処理対象となる視点画像を生成する。つまり、ステップＳ２８２において、画像処理部２１２は、取得した画像が視点画像であるか否かを判定する。視点画像ではない、つまり、全体画像または合成画像であると判定された場合、処理はステップＳ２８３に進む。
ステップＳ２８３において、画像処理部２１２は、視点領域情報に基づいて、その全体画像または合成画像から各視点画像を抽出する。ステップＳ２８３の処理が終了すると、処理はステップＳ２８４に進む。
なお、ステップＳ２８２において、取得した画像が視点画像であると判定された場合、ステップＳ２８３の処理（視点画像の抽出）が省略され、処理はステップＳ２８４に進む。そして、画像処理部２１２は、各視点画像および視点領域情報を画像再構成処理部２１３に供給する。
ステップＳ２８４において、画像再構成処理部２１３は、画像処理部２１２から供給された画像に対して多視点でマッチングを行う多眼マッチングを行い、奥行情報を生成する。また、ステップＳ２８５において、画像再構成処理部２１３は、画像処理部２１２から供給された画像のリフォーカスを行う。
ステップＳ２８６において、出力部２１４は、ステップＳ２８４およびステップＳ２８５において奥行情報の生成やリフォーカス等の処理が行われた画像を出力する。
ステップＳ２８６の処理が終了すると画像処理が終了する。
以上のように、画像処理装置２００は、画像に関連付けられた視点関連情報を用いて奥行情報の生成やリフォーカス等の処理を行うことができる。したがって、画像処理装置２００は、視点画像を利用した画像処理を行うことができる。
なお、ビットストリームの受信側（復号側）であるこの画像処理装置２００において、視点関連情報等を補正するようにしてもよい。例えば、画像処理部２１２が、視点関連情報に含まれる視点領域情報の位置ずれを補正する（例えば回転補正を行う）ようにしてもよい。
その場合の画像処理の流れの例を、図２０のフローチャートを参照して説明する。
画像処理が開始されると、通信部２１１は、ステップＳ３０１において、カメラ１０から送信される、互いに関連付けられた画像および視点関連情報を取得し、それらを画像処理部２１２に供給する。
画像処理部２１２は、画像再構成処理の処理対象となる視点画像を生成する。つまり、ステップＳ３０２において、画像処理部２１２は、取得した画像が視点画像であるか否かを判定する。視点画像ではない、つまり、全体画像または合成画像であると判定された場合、処理はステップＳ３０３に進む。
ステップＳ３０３において、画像処理部２１２は、位置補正を行う。例えば、画像処理部２１２は、取得した画像からスポット光を検出する。また、画像処理部２１２は、検出したスポット光の画像（つまり、スポット光画像）と、視点関連情報に含まれるスポット光情報とに基づいて、位置補正量（例えばレンズ回転量）を導出する。そして、画像処理部２１２は、その導出した位置補正量を用いて視点領域情報の補正を行い、画像に合わせる。これにより視点画像と視点領域情報との間の位置ずれが低減される。
ステップＳ３０４において、画像処理部２１２は、視点関連情報に基づいて、その全体画像または合成画像から各視点画像を抽出する。ステップＳ３０４の処理が終了すると、処理はステップＳ３０５に進む。
なお、ステップＳ３０２において、取得した画像が視点画像であると判定された場合、ステップＳ３０３およびステップＳ３０４の処理（視点画像の抽出）が省略され、処理はステップＳ３０５に進む。そして、画像処理部２１２は、各視点画像および視点関連情報を画像再構成処理部２１３に供給する。
ステップＳ３０５において、画像再構成処理部２１３は、画像処理部２１２から供給された画像に対して画像処理部２１２から供給された画像に対して多視点でマッチングを行う多眼マッチングを行い、奥行情報を生成する。また、ステップＳ３０６において、画像再構成処理部２１３は、画像処理部２１２から供給された画像のリフォーカスを行う。
ステップＳ３０７において、出力部２１４は、ステップＳ３０５およびステップＳ３０６において奥行情報の生成やリフォーカス等の処理が行われた画像を出力する。
ステップＳ３０７の処理が終了すると画像処理が終了する。
以上のように、画像処理装置２００は、この場合も、画像に関連付けられた視点関連情報を用いて奥行情報の生成やリフォーカス等の処理を行うことができる。したがって、画像処理装置２００は、視点画像を利用した画像処理を行うことができる。
＜４．第４の実施の形態＞
＜カメラシステムの外観＞
多眼光学系３０は、カメラ１０から着脱可能に構成されるようにしてもよい。図２１は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。図２１に示されるカメラシステム３０１は、カメラ本体３１０と多眼交換レンズ３２０（レンズ部）とで構成される。多眼交換レンズ３２０がカメラ本体３１０に装着された状態においてカメラシステム３０１は、カメラ１０と同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム３０１は、カメラ１０と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。
カメラ本体３１０は、多眼交換レンズ３２０が着脱可能なようになっている。すなわち、カメラ本体３１０は、カメラマウント３１１を有し、そのカメラマウント３１１に対して、多眼交換レンズ３２０（のレンズマウント３２２）が取り付けられることで、カメラ本体３１０に、多眼交換レンズ３２０が装着される。なお、カメラ本体３１０に対しては、多眼交換レンズ３２０以外の一般的な交換レンズも着脱することができるようにされていてもよい。
カメラ本体３１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、カメラ本体３１０（のカメラマウント３１１）に装着された多眼交換レンズ３２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。
多眼交換レンズ３２０は、鏡筒３２１およびレンズマウント３２２を有する。また、多眼交換レンズ３２０は、複数としての５個の個眼光学系３１0，３１1，３１2，３１3、および、３１4を有する。
カメラ１０の場合と同様に、この場合の複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサ５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサ５１の受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサ５１の受光面の互いに異なる位置に照射する。
したがって、カメラ１０の場合と同様に、イメージセンサ５１により生成される撮像画像（イメージセンサ５１の出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、多眼交換レンズ３２０をカメラ本体３１０に装着して被写体を撮像することにより、複数の視点画像を得ることができる。
鏡筒３２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント３２２が形成されている。レンズマウント３２２は、多眼交換レンズ３２０がカメラ本体３１０に装着されるときに、カメラ本体３１０のカメラマウント３１１に取り付けられる。
５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１0を中心（重心）として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置される形で、多眼交換レンズ３２０に設けられている。もちろん、図２１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。
＜カメラシステムの電気的構成例＞
図２２は、図２１のカメラシステム３０１の電気的構成例を示すブロック図である。
＜カメラ本体＞
カメラシステム３０１において、カメラ本体３１０は、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、および記憶部８２を有する。つまり、カメラ本体３１０は、カメラ１０の鏡筒部分に設けられる多眼光学系３０および光学系制御部８４以外の構成を有する。
なお、カメラ本体３１０は、上述の構成に加え、通信部３４１を有する。この通信部３４１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０（の通信部３５１）と通信を行い、情報の授受等を行う処理部である。通信部３４１は、任意の通信方式で多眼交換レンズ３２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。
例えば、通信部３４１は、制御部８１により制御され、その通信を行い、多眼交換レンズ３２０から供給される情報を取得する。また、例えば、通信部３４１は、その通信により、制御部８１から供給される情報を多眼交換レンズ３２０に供給する。この多眼交換レンズ３２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
＜多眼交換レンズ＞
カメラシステム３０１において、多眼交換レンズ３２０は、多眼光学系３０および光学系制御部８４の他に、通信部３５１および記憶部３５２を有する。通信部３５１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０において、通信部３４１と通信を行う。この通信により、カメラ本体３１０と多眼交換レンズ３２０との間の情報の授受を実現する。通信部３５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
例えば、通信部３５１は、通信部３４１を介してカメラ本体３１０から送信される制御情報を取得する。通信部３５１は、このように取得した情報を、必要に応じて、光学系制御部８４に供給し、多眼光学系３０の制御に利用させることができる。
また、通信部３５１は、その取得した情報を記憶部３５２に供給し、記憶媒体３５３に記憶させることができる。また、通信部３５１は、記憶媒体３５３に記憶されている情報を、記憶部３５２を介して読み出し、それをカメラ本体３１０（通信部３４１）に送信することができる。
＜視点関連情報の記憶１＞
このような構成のカメラシステム３０１において、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報の記憶場所は任意である。例えば、多眼交換レンズ３２０の記憶媒体３５３に記憶されていてもよい。そして、例えば、カメラ本体３１０の制御部８１が、通信部３５１および通信部３４１を介して記憶部３５２にアクセスし、その記憶媒体３５３からその視点関連情報を読み出させてもよい。そして、その制御部８１が、その視点関連情報を取得すると、それを領域特定部５６に供給し、セットするようにしてもよい。
例えば、多眼交換レンズ３２０をカメラ本体３１０に正しく装着した際、カメラシステム３０１に電源を投入した際、または、カメラシステム３０１の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミングまたはきっかけにおいて、このような処理が行われてもよい。
このようにすることにより、カメラ本体３１０は、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報を用いて、視点画像を利用した画像処理を行うことができる。
＜視点関連情報の記憶２＞
また、制御部８１が、多眼交換レンズ３２０から取得したその多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０の識別情報（以下、IDと称する）とともに記憶部８２に供給し、記憶させてもよい。その場合、記憶部８２は、供給された識別情報と視点関連情報とを対応付けて記憶媒体８３に記憶させる。つまり、カメラ本体３１０において、多眼交換レンズ３２０の視点関連情報とIDとを管理することができる。したがって、カメラ本体３１０は、複数の多眼交換レンズ３２０の視点関連情報を管理することができる。
このようにすることにより、制御部８１は、次回からは多眼交換レンズ３２０のIDを取得することにより、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を読み出すことができる。つまり、制御部８１は、多眼交換レンズ３２０に対応する視点関連情報を容易に取得することができる。
＜視点関連情報の記憶３＞
また、記憶媒体８３が、予め、複数の多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体３１０が、予め、複数の多眼交換レンズ３２０の視点関連情報を管理している。
このようにすることにより、制御部８１は、カメラ本体３１０に正しく装着された多眼交換レンズ３２０のIDを用いて、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を容易に読み出すことができる。
＜５．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
＜本技術の適用対象＞
本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
を備える撮像装置。
（２） 前記視点関連情報は、前記撮像画像における前記複数の視点画像の領域を示す視点領域情報を含む
（１）に記載の撮像装置。
（３） 前記視点領域情報は、前記撮像画像における前記個眼光学系の光軸に対応する座標と、前記視点画像の解像度とを含む
（２）に記載の撮像装置。
（４） 前記視点関連情報は、前記視点画像から切り出される部分領域を示す切り出し領域指定情報を含む
（１）乃至（３）のいずれかに記載の撮像装置。
（５） 前記視点関連情報は、前記複数の視点画像または前記合成画像に関連付けられる場合、前記撮像画像から抽出された前記複数の視点画像のそれぞれを識別するための視点識別情報を含む
（１）乃至（４）のいずれかに記載の撮像装置。
（６） 前記視点関連情報は、前記複数の視点画像に関連付けられる場合、前記撮像画像が撮像された時刻を示す視点時刻情報を含む
（１）乃至（５）のいずれかに記載の撮像装置。
（７） 前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、RAW画像である
（１）乃至（５）のいずれかに記載の撮像装置。
（８） 前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、YC画像である
（１）乃至（７）のいずれかに記載の撮像装置。
（９） 前記関連付け部は、前記撮像画像、前記複数の視点画像、または前記合成画像に対して、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報を関連付ける
（１）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記スポット光情報は、前記撮像画像に形成される複数の前記スポット光の画像のそれぞれを識別するためのスポット光識別情報を含む
（９）に記載の撮像装置。
（１１） 前記スポット光情報は、前記撮像画像における前記スポット光の画像の位置を示すスポット光結像位置情報を含む
（９）または（１０）に記載の撮像装置。
（１２） 前記関連付け部は、前記撮像画像から前記スポット光を含む領域の画像であるスポット光画像を抽出し、前記スポット光情報が関連付けられる前記複数の視点画像または前記合成画像に関連付ける
（９）乃至（１１）のいずれかに記載の撮像装置。
（１３） 前記関連付け部は、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像を用いて、前記撮像画像を回転補正し、回転補正された前記撮像画像、回転補正された前記撮像画像より抽出された前記複数の視点画像、または、回転補正された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
（１）乃至（１２）のいずれかに記載の撮像装置。
（１４） 前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを記憶する記憶部をさらに備える
（１）乃至（１３）のいずれかに記載の撮像装置。
（１５） 他の装置と通信を行い、前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを前記他の装置に送信する通信部をさらに備える
（１）乃至（１４）のいずれかに記載の撮像装置。
（１６） 前記視点関連情報と前記複数の視点画像とを用いて画像再構成処理を行う画像再構成処理部をさらに備える
（１）乃至（１５）のいずれかに記載の撮像装置。
（１７） 前記撮像画像、前記複数の視点画像、または前記合成画像のいずれに前記視点関連情報を関連付けるかを選択する選択部をさらに備え、
前記関連付け部は、前記撮像画像、前記複数の視点画像、および前記合成画像のうち、前記選択部により選択された画像に前記視点関連情報を関連付ける
（１）乃至（１６）のいずれかに記載の撮像装置。
（１８） 光路が互いに独立している複数の個眼光学系を介して被写体を撮像して前記撮像画像を生成する撮像部をさらに備え、
前記関連付け部は、前記撮像部により生成された前記撮像画像、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像、または、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
（１）乃至（１７）のいずれかに記載の撮像装置。
（１９） 光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける
情報処理方法。
（２０） コンピュータを、
光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
として機能させるプログラム。
１０ カメラ， ３０ 多眼光学系， ３１ 個眼光学系， ５１ イメージセンサ， ５２ RAW信号処理部， ５３ 領域抽出部， ５４ カメラ信号処理部， ５５ スルー画像生成部， ５６ 領域特定部， ５７ 画像再構成処理部， ６０ バス， ６１ 表示部， ６２ 記憶部， ６３ 記憶媒体， ６４ 通信部， ６５ ファイル化部， ７０ 関連付け部， ８１ 制御部， ８２ 記憶部， ８３ 記憶媒体， ８４ 高額制御部， ２００ 画像処理装置， ２１１ 通信部， ２１２ 画像処理部， ２１３ 画像再構成処理部， ２１４ 出力部， ２２０ バス， ２２１ 表示部， ２２２ 記憶部， ２２３ 記憶媒体， ３０１ カメラシステム， ３１０ カメラ本体， ３２０ 多眼交換レンズ， ３４１ 通信部， ３５１ 通信部， ３５２ 記憶部， ３５３ 記憶媒体

Claims (19)

  1. 光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける関連付け部
    を備える撮像装置。
  2. 前記視点関連情報は、前記撮像画像における前記複数の視点画像の領域を示す視点領域情報を含む
    請求項１に記載の撮像装置。
  3. 前記視点領域情報は、前記撮像画像における前記個眼光学系の光軸に対応する座標と、前記視点画像の解像度とを含む
    請求項２に記載の撮像装置。
  4. 前記視点関連情報は、前記視点画像から切り出される部分領域を示す切り出し領域指定情報を含む
    請求項１に記載の撮像装置。
  5. 前記視点関連情報は、前記複数の視点画像または前記合成画像に関連付けられる場合、前記撮像画像から抽出された前記複数の視点画像のそれぞれを識別するための視点識別情報を含む
    請求項１に記載の撮像装置。
  6. 前記視点関連情報は、前記複数の視点画像に関連付けられる場合、前記撮像画像が撮像された時刻を示す視点時刻情報を含む
    請求項１に記載の撮像装置。
  7. 前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、RAW画像である
    請求項１に記載の撮像装置。
  8. 前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、YC画像である
    請求項１に記載の撮像装置。
  9. 前記スポット光情報は、前記撮像画像に形成される複数の前記スポット光の画像のそれぞれを識別するためのスポット光識別情報を含む
    請求項１に記載の撮像装置。
  10. 前記スポット光情報は、前記撮像画像における前記スポット光の画像の位置を示すスポット光結像位置情報を含む
    請求項１に記載の撮像装置。
  11. 前記関連付け部は、前記撮像画像から前記スポット光を含む領域の画像であるスポット光画像を抽出し、前記スポット光情報が関連付けられる前記複数の視点画像または前記合成画像に関連付ける
    請求項１に記載の撮像装置。
  12. 前記関連付け部は、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像を用いて、前記撮像画像を回転補正し、回転補正された前記撮像画像、回転補正された前記撮像画像より抽出された前記複数の視点画像、または、回転補正された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
    請求項１に記載の撮像装置。
  13. 前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを記憶する記憶部をさらに備える
    請求項１に記載の撮像装置。
  14. 他の装置と通信を行い、前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを前記他の装置に送信する通信部をさらに備える
    請求項１に記載の撮像装置。
  15. 前記視点関連情報と前記複数の視点画像とを用いて画像再構成処理を行う画像再構成処理部をさらに備える
    請求項１に記載の撮像装置。
  16. 前記撮像画像、前記複数の視点画像、または前記合成画像のいずれに前記視点関連情報を関連付けるかを選択する選択部をさらに備え、
    前記関連付け部は、前記撮像画像、前記複数の視点画像、および前記合成画像のうち、前記選択部により選択された画像に前記視点関連情報を関連付ける
    請求項１に記載の撮像装置。
  17. 光路が互いに独立している複数の個眼光学系を介して被写体を撮像して前記撮像画像を生成する撮像部をさらに備え、
    前記関連付け部は、前記撮像部により生成された前記撮像画像、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像、または、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
    請求項１に記載の撮像装置。
  18. 光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける
    情報処理方法。
  19. コンピュータを、
    光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報と、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報とを関連付ける関連付け部
    として機能させるプログラム。
JP2021506170A 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム Active JP7392712B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962819759P 2019-03-18 2019-03-18
US62/819,759 2019-03-18
PCT/JP2019/050029 WO2020188929A1 (ja) 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020188929A1 JPWO2020188929A1 (ja) 2020-09-24
JP7392712B2 true JP7392712B2 (ja) 2023-12-06

Family

ID=72519789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506170A Active JP7392712B2 (ja) 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11765336B2 (ja)
EP (1) EP3934231A4 (ja)
JP (1) JP7392712B2 (ja)
KR (1) KR20210139256A (ja)
WO (1) WO2020188929A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124965A (ja) 2009-12-11 2011-06-23 Advas Co Ltd 被写体寸法測定用カメラ装置
JP2013009274A (ja) 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2014014071A (ja) 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
WO2015037473A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2017112526A (ja) 2015-12-17 2017-06-22 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
JP2004032172A (ja) 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
JP4844353B2 (ja) * 2006-11-07 2011-12-28 パナソニック株式会社 撮像装置
US9565419B2 (en) 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
JP5567901B2 (ja) * 2010-05-24 2014-08-06 オリンパスイメージング株式会社 ステレオ撮影対応型の交換レンズ、撮像システム
JP5250070B2 (ja) * 2011-03-15 2013-07-31 富士フイルム株式会社 画像処理装置および画像処理方法、ならびに、画像処理システム
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP5860663B2 (ja) 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US20130329068A1 (en) 2012-06-08 2013-12-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6061816B2 (ja) 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
US9230310B2 (en) * 2013-11-27 2016-01-05 Semiconductor Components Industries, Llc Imaging systems and methods for location-specific image flare mitigation
JP6239993B2 (ja) * 2014-02-07 2017-11-29 オリンパス株式会社 撮像装置、表示装置、及び制御方法
JP6493395B2 (ja) 2014-04-30 2019-04-03 ソニー株式会社 画像処理装置と画像処理方法
JP6450498B2 (ja) 2016-03-17 2019-01-09 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
WO2019078032A1 (ja) 2017-10-20 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124965A (ja) 2009-12-11 2011-06-23 Advas Co Ltd 被写体寸法測定用カメラ装置
JP2013009274A (ja) 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2014014071A (ja) 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
WO2015037473A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2017112526A (ja) 2015-12-17 2017-06-22 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム

Also Published As

Publication number Publication date
CN113557711A (zh) 2021-10-26
EP3934231A1 (en) 2022-01-05
US11765336B2 (en) 2023-09-19
US20220132096A1 (en) 2022-04-28
JPWO2020188929A1 (ja) 2020-09-24
EP3934231A4 (en) 2022-04-06
KR20210139256A (ko) 2021-11-22
WO2020188929A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US20220109818A1 (en) Digital camera system for recording, editing and visualizing images
JP5142701B2 (ja) 符号化方法、電子カメラ、符号化プログラム、及び復号方法
US8908013B2 (en) Systems and methods for collaborative image capturing
CN102892008A (zh) 双图像捕获处理
JP2008219878A (ja) 復号方法、復号装置、復号プログラム、及び電子カメラ
EP2845164B1 (en) Reference card for scene referred metadata capture
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
US20120050495A1 (en) Method and system for multi-view 3d video rendering
JP7416057B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP7392712B2 (ja) 撮像装置、情報処理方法、およびプログラム
CN113557711B (zh) 图像拍摄装置、信息处理方法和程序产品
WO2021124941A1 (ja) 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
JP2010283504A (ja) 撮像装置、撮像方法、および、撮像プログラム
WO2020189510A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
WO2021124940A1 (ja) 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
JP2020150517A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020188417A (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP2014110442A (ja) 撮像装置
JP2020150527A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R151 Written notification of patent or utility model registration

Ref document number: 7392712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151