WO2020188929A1 - 撮像装置、情報処理方法、およびプログラム - Google Patents

撮像装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020188929A1
WO2020188929A1 PCT/JP2019/050029 JP2019050029W WO2020188929A1 WO 2020188929 A1 WO2020188929 A1 WO 2020188929A1 JP 2019050029 W JP2019050029 W JP 2019050029W WO 2020188929 A1 WO2020188929 A1 WO 2020188929A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
unit
related information
information
Prior art date
Application number
PCT/JP2019/050029
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
功久 井藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/434,920 priority Critical patent/US11765336B2/en
Priority to JP2021506170A priority patent/JP7392712B2/ja
Priority to EP19920192.2A priority patent/EP3934231A4/en
Priority to KR1020217029030A priority patent/KR20210139256A/ko
Priority to CN201980093903.XA priority patent/CN113557711A/zh
Publication of WO2020188929A1 publication Critical patent/WO2020188929A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present disclosure relates to an image pickup device, an information processing method, and a program, and more particularly to an image pickup device, an information processing method, and a program that enable image processing using a viewpoint image.
  • Non-Patent Document 1 discloses various studies on an image processing technology that performs refocusing and focusing processing similar to an optical lens from a plurality of parallax images. For example, it was considered to perform refocus processing using 100 camera arrays (see, for example, Non-Patent Document 1).
  • Non-Patent Document 1 the configuration for performing image processing such as refocus processing with the imaging device or another device after imaging is not considered.
  • This disclosure was made in view of such a situation, and enables image processing using a viewpoint image.
  • the image pickup device on one aspect of the present technology is an image pickup image generated by imaging a subject with one image pickup element via a plurality of individual eye optical systems whose optical paths are independent of each other, and the image pickup image extracted from the image pickup image.
  • a plurality of viewpoint images having each of the plurality of individual eye optical systems as viewpoints, or a composite image in which the plurality of viewpoint images corresponding to each of the plurality of individual eye optical systems are combined.
  • the information processing method of one aspect of the present technology is an image captured by capturing a subject with one image sensor via a plurality of individual eye optical systems whose optical paths are independent of each other, and is extracted from the captured image.
  • the captured image is a composite image obtained by synthesizing a plurality of viewpoint images with each of the plurality of individual eye optical systems as a viewpoint, or the plurality of viewpoint images corresponding to each of the plurality of individual eye optical systems.
  • It is an information processing method for associating viewpoint-related information which is information used for specifying a region of the plurality of viewpoint images in the above.
  • the program of one aspect of the present technology is extracted from a captured image generated by capturing a subject with one image sensor via a plurality of individual eye optical systems whose optical paths are independent of each other, and the captured image.
  • the image pickup is performed on a plurality of viewpoint images having each of the plurality of individual eye optical systems as a viewpoint, or a composite image in which the plurality of viewpoint images corresponding to each of the plurality of individual eye optical systems are combined.
  • This is a program that functions as an association unit that associates viewpoint-related information, which is information used for specifying the regions of the plurality of viewpoint images in an image.
  • an image pickup image generated by imaging a subject with one image pickup element via a plurality of individual eye optical systems whose optical paths are independent of each other.
  • viewpoint-related information which is information used to identify a plurality of viewpoint image regions in the captured image, is associated with the image.
  • FIG. 1 is a perspective view showing a configuration example of an embodiment of a camera to which the present technology is applied.
  • the camera 10 has a built-in image sensor, receives light rays focused by the lens, and performs photoelectric conversion to image the subject.
  • the image obtained by such imaging is also referred to as an captured image.
  • Camera 10 a front side of the image sensor (the side where light is incident), 5 ommatidium optical system 31 as a plurality 0, 31 1, 31 2, 31 3, and a 31 4.
  • ommatidium optical system 31 or ommatidium optical system 31 i.
  • the plurality of individual eye optical systems 31 are configured so that the optical paths of light passing through them are independent of each other. That is, the light that has passed through each individual eye optical system 31 irradiates the light receiving surface (for example, the effective pixel region) of the image sensor at different positions without incident on the other individual eye optical system 31. At least, the optical axes of the individual eye optical systems 31 are located at different positions on the light receiving surface of the image sensor, and at least a part of the light passing through each individual eye optical system 31 is different from each other on the light receiving surface of the image sensor. Irradiate the position.
  • the images of the subjects imaged via each individual eye optical system 31 are formed at different positions.
  • an captured image also referred to as a viewpoint image
  • the camera 10 can obtain a plurality of viewpoint images by capturing the subject.
  • the plurality of viewpoint images can be used, for example, for generating depth information and processing such as refocusing using the depth information.
  • the number of the individual eye optical systems 31 is arbitrary as long as it is two or more.
  • the five individual eye optical systems 31 are arranged on a two-dimensional plane orthogonal to the optical axis of the lens barrel (parallel to the light receiving surface (imaging surface) of the image sensor) with the individual eye optical system 310 as the center (center of gravity).
  • the other four individual eye optical systems 31 1 to the individual eye optical system 31 4 are provided so as to form the vertices of a rectangle.
  • the arrangement shown in FIG. 1 is an example, and the positional relationship of each individual eye optical system 31 is arbitrary as long as the optical paths are independent of each other.
  • the surface on the side where the light from the subject is incident is the front surface.
  • FIG. 2 is a block diagram showing an example of an electrical configuration of the camera 10 of FIG.
  • the camera 10 includes a multi-lens optical system 30, an image sensor 51, a RAW signal processing unit 52, a region extraction unit 53, a camera signal processing unit 54, a through image generation unit 55, an area identification unit 56, an image reconstruction processing unit 57, and a bus. It has 60, a display unit 61, a storage unit 62, a communication unit 64, a file conversion unit 65, a control unit 81, a storage unit 82, and an optical system control unit 84.
  • Multiview optical system 30 is composed of the above-mentioned single-eye optical system 31 (e.g. ommatidium optical system 31 0 to ommatidium optical system 31 4).
  • Each individual eye optical system 31 of the multi-eye optical system 30 collects light rays from the subject on the image sensor 51 of the camera 10.
  • Specifications such as the focal length and F value of each individual eye optical system 31 are arbitrary and do not have to be the same, but here, they are assumed to be the same.
  • the individual-eye optical system 31 has a plurality of lenses arranged in the optical axis direction of the lens barrel optical axis, and the amount of light incident on the image sensor 51 through the plurality of lenses by controlling the degree of opening of the shield. It has an optical system element such as an aperture that is a mechanism for adjusting (F value). The individual eye optical system 31 may be able to control the zoom magnification by controlling the position of the lens.
  • the image sensor 51 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor that captures a subject and generates an captured image.
  • the light receiving surface of the image sensor 51 light rays are condensed is irradiated by the respective ommatidium optical system 31 0 to 31 4.
  • the image corresponding to the region in which the irradiation light emitted to the image sensor 51 via one individual eye optical system 31 in the captured image is input is also referred to as an individual eye image. That is, the image sensor 51 receives the light rays (irradiation light) and performs photoelectric conversion to generate an captured image including an individual eye image with each individual eye optical system 31 as a viewpoint.
  • the individual eye image has a portion around which is not effective as an image.
  • a captured image including all individual eye images that is, the entire captured image generated by the image sensor 51, or a part of a region outside the captured image from all the captured images included in the captured image. Or an image in which all are deleted) is also referred to as an entire image.
  • the image sensor 51 may be a monochromatic (so-called monochrome) image sensor, or may be a color image sensor in which, for example, a Bayer array color filter is arranged in a pixel group. That is, the captured image output by the image sensor 51 may be a monochrome image or a color image. In the following, the image sensor 51 will be described as a color image sensor that generates and outputs a captured image in RAW format.
  • the RAW format means an image in which the positional relationship of the arrangement of the color filters of the image sensor 51 is maintained, and the image size conversion process for the image output from the image sensor 51 is performed. It is also possible to include an image that has undergone signal processing such as noise reduction processing, defect correction processing of the image sensor 51, and compression coding. In addition, the captured image in RAW format does not include a monochrome image.
  • the image sensor 51 can output a RAW format captured image (whole image) generated by photoelectric conversion of the irradiation light.
  • the image sensor 51 supplies the captured image (whole image) in the RAW format to at least one of the bus 60, the RAW signal processing unit 52, the area extraction unit 53, and the area identification unit 56. be able to.
  • the image sensor 51 can supply the captured image (whole image) in the RAW format to the storage unit 62 via the bus 60 and store it in the storage medium 63. Further, the image sensor 51 can supply the captured image (whole image) in the RAW format to the communication unit 64 via the bus 60 and transmit it to the outside of the camera 10. Further, the image sensor 51 can supply the captured image (whole image) in the RAW format to the file conversion unit 65 via the bus 60 and file it. Further, the image sensor 51 can supply the captured image (whole image) in the RAW format to the image reconstruction processing unit 57 via the bus 60 to perform the image reconstruction processing.
  • the image sensor 51 may be a single plate type image sensor, or may be a set of image sensors (also referred to as a plurality of plate type image sensor) composed of a plurality of image sensors such as a three-plate type image sensor. Good.
  • RGB Red, Green, Blue
  • the light rays from the subject are separated for each wavelength range by using an optical system (optical path separation unit) such as a prism, and are incident on each image sensor.
  • an optical system optical path separation unit
  • Each of the image sensor 51-1 to the image sensor 51-3 photoelectrically converts the incident light. That is, the image sensor 51-1 to the image sensor 51-3 photoelectrically convert light in different wavelength ranges from each other at substantially the same timing.
  • each image sensor obtains images captured at substantially the same time and at substantially the same angle of view (that is, images having substantially the same pattern only in different wavelength ranges). Be done. Therefore, the positions and sizes of the viewpoint image regions (described later) in the captured images obtained by each image sensor are substantially the same as each other.
  • the combination of the R image, G image, and B image can be regarded as the captured image in the RAW format.
  • each image sensor is not limited to one for each of RGB, and may be all monochrome, or all may be equipped with a color filter such as a Bayer array. If all are color filters such as Bayer array, noise reduction can be performed by making all arrays the same and matching the positional relationship of the pixels with each other, and the positional relationship of each RGB image sensor. It is also possible to improve the image quality by using the effect of the spatial pixel shift.
  • a plurality of individual eye images and a plurality of viewpoint images are included in each image sensor, that is, the captured image output from one image sensor.
  • the RAW signal processing unit 52 performs processing related to signal processing for an image in RAW format.
  • the RAW signal processing unit 52 can acquire a RAW format captured image (whole image) supplied from the image sensor 51.
  • the RAW signal processing unit 52 can perform predetermined signal processing on the acquired captured image.
  • the content of this signal processing is arbitrary. For example, it may be defect correction, noise reduction, compression (encoding), or the like, or it may be signal processing other than these.
  • the RAW signal processing unit 52 can also perform a plurality of signal processing on the captured image.
  • the image after the signal processing is an image in which the positional relationship of the arrangement of the color filters of the image sensor 51 is maintained as described above (in the case of a multi-plate image pickup device). Is limited to images that are in the state of R image, G image, and B image).
  • the RAW signal processing unit 52 supplies a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the storage unit 62 via the bus 60, and supplies the storage medium. It can be stored in 63. Further, the RAW signal processing unit 52 supplies a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the communication unit 64 via the bus 60. Can be sent. Further, the RAW signal processing unit 52 supplies a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the file file 65 via the bus 60. , Can be filed.
  • RAW' signal-processed RAW format image
  • compressed RAW compressed (encoded)
  • the RAW signal processing unit 52 transmits a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the image reconstruction processing unit 57 via the bus 60. It can be supplied and image reconstruction processing can be performed. When it is not necessary to distinguish between RAW, RAW', and compressed RAW (all of FIG. 2), they are referred to as RAW images.
  • RAW images When it is not necessary to distinguish between RAW, RAW', and compressed RAW (all of FIG. 2), they are referred to as RAW images.
  • the area extraction unit 53 performs processing related to extraction of a part of the area (cutting out a partial image) from the captured image in the RAW format.
  • the region extraction unit 53 can acquire a RAW format captured image (whole image) supplied from the image sensor 51. Further, the region extraction unit 53 can acquire information (also referred to as extraction region information) indicating a region to be extracted from the captured image, which is supplied from the region identification unit 56. Then, the region extraction unit 53 can extract a part of the region (cut out a partial image) from the captured image based on the extraction region information.
  • the region extraction unit 53 can cut out an image with each individual eye optical system 31 as a viewpoint from the captured image (overall image). That is, the region extraction unit 53 can cut out an effective portion from the region of each individual eye image included in the captured image as an image with each individual eye optical system 31 as a viewpoint.
  • the image of the effective portion (a part of the individual eye image) cut out is also referred to as a viewpoint image.
  • the region to be cut out (the region corresponding to the viewpoint image) in the captured image is also referred to as a viewpoint image region.
  • the area extraction unit 53 acquires the viewpoint-related information supplied from the area identification unit 56, which is information used for specifying the viewpoint image area, as the extraction area information, and obtains the viewpoint-related information from the captured image.
  • Each viewpoint image area shown in (1) can be extracted (each viewpoint image is cut out). Then, the area extraction unit 53 can supply the cut-out viewpoint images (RAW format) to the camera signal processing unit 54.
  • the region extraction unit 53 can synthesize each viewpoint image cut out from the captured image (whole image) to generate a composite image.
  • the composite image is one in which each viewpoint image is combined into one data or one image.
  • the region extraction unit 53 can generate one image (composite image) in which each viewpoint image is arranged in a plane.
  • the region extraction unit 53 can supply the generated composite image (RAW format) to the camera signal processing unit 54.
  • the area extraction unit 53 can supply the entire image to the camera signal processing unit 54.
  • the region extraction unit 53 extracts a part of the region including all the individual eye images from the acquired captured image (that is, cuts out the partial image including all the individual eye images), and the cut out partial image (that is, the partial image including all the individual eye images is cut out). That is, an image in which a part or all of the region outside the individual eye image included in the captured image is deleted) can be supplied to the camera signal processing unit 54 as an entire image in the RAW format.
  • the location (range) of the region to be extracted in this case may be predetermined in the region extraction unit 53, or may be specified by the viewpoint-related information supplied from the region identification unit 56.
  • the region extraction unit 53 supplies the acquired captured image (that is, the entire captured image, not the partial image including all the cut out individual eye images) to the camera signal processing unit 54 as the entire image in the RAW format. You can also do it.
  • the area extraction unit 53 stores the RAW format partial image (whole image, viewpoint image, or composite image) cut out from the captured image as described above via the bus 60, as in the case of the image sensor 51. It can be supplied to the unit 62, the communication unit 64, the file conversion unit 65, the image reconstruction processing unit 57, and the like.
  • the area extraction unit 53 supplies the partial image (whole image, viewpoint image, or composite image) of the RAW format to the RAW signal processing unit 52 to perform predetermined signal processing or compress (encode) the partial image. You can also let them do it. Also in this case, the RAW signal processing unit 52 communicates the signal-processed RAW format image (RAW') or the compressed (encoded) image (compressed RAW) with the storage unit 62 via the bus 60. It can be supplied to the unit 64, the file conversion unit 65, the image reconstruction processing unit 57, and the like.
  • At least one of the captured image (or the whole image), the viewpoint image, and the composite image may be a RAW image.
  • the camera signal processing unit 54 performs processing related to camera signal processing on the image.
  • the camera signal processing unit 54 can acquire an image (whole image, viewpoint image, or composite image) supplied from the area extraction unit 53. Further, the camera signal processing unit 54 can perform camera signal processing (camera process) on the acquired image.
  • the camera signal processing unit 54 separates each RGB color from the image to be processed and generates an R image, a G image, and a B image having the same number of pixels as the image to be processed (color separation processing).
  • the camera signal processing unit 54 can perform processing such as defect correction, noise reduction, AWB (Automatic White Balance), or gamma correction on the image to be processed. Further, the camera signal processing unit 54 can also compress (encode) the image to be processed. Of course, the camera signal processing unit 54 can perform a plurality of camera signal processing on the image to be processed, and can also perform camera signal processing other than the above-described example.
  • the camera signal processing unit 54 acquires an image in RAW format, performs color separation processing and YC conversion on the image, and outputs an image (YC) in YC format.
  • This image may be a whole image, each viewpoint image, or a composite image.
  • the image (YC) in this YC format may or may not be encoded. That is, the data output from the camera signal processing unit 54 may be encoded data or unencoded image data.
  • At least one of the captured image (or the whole image), the viewpoint image, and the composite image may be an image in the YC format (also referred to as a YC image).
  • the image output by the camera signal processing unit 54 is not completely developed, and is related to lossy image quality adjustment (color adjustment) such as gamma correction and color matrix as an image (YC) in YC format. It may not have been partially or completely processed. In this case, the YC format image (YC) can be returned to the RAW format image with almost no deterioration in the latter stage or during playback.
  • lossy image quality adjustment color adjustment
  • gamma correction and color matrix as an image (YC) in YC format. It may not have been partially or completely processed.
  • the YC format image (YC) can be returned to the RAW format image with almost no deterioration in the latter stage or during playback.
  • the camera signal processing unit 54 can supply, for example, a YC format image (YC) subjected to camera signal processing to the display unit 61 via the bus 60 and display it. Further, the camera signal processing unit 54 can supply the YC format image (YC) subjected to the camera signal processing to the storage unit 62 via the bus 60 and store it in the storage medium 63. Further, the camera signal processing unit 54 can supply the YC format image (YC) subjected to the camera signal processing to the communication unit 64 via the bus 60 and transmit it to the outside. Further, the camera signal processing unit 54 can supply the YC format image (YC) to which the camera signal processing has been performed to the file conversion unit 65 via the bus 60 to file the image (YC). Further, the camera signal processing unit 54 can supply the YC format image (YC) subjected to the camera signal processing to the image reconstruction processing unit 57 via the bus 60 to perform the image reconstruction processing.
  • YC YC format image
  • the camera signal processing unit 54 can supply the YC format image (YC) to the through image generation unit 55.
  • the camera signal processing unit 54 When a RAW format image (whole image, viewpoint image, or partial image) is stored in the storage medium 63, the camera signal processing unit 54 reads the RAW format image from the storage medium 63 and performs signal processing. It may be possible to apply. In this case as well, the camera signal processing unit 54 displays the YC format image (YC) subjected to the camera signal processing via the bus 60 into the display unit 61, the storage unit 62, the communication unit 64, the file conversion unit 65, or the image. It can be supplied to the reconstruction processing unit 57 and the like.
  • YC YC format image
  • the camera signal processing unit 54 performs camera signal processing on the RAW format captured image (whole image) output from the image sensor 51, and the area extraction unit is used from the captured image (whole image) after the camera signal processing. 53 may be made to extract a part of the region.
  • the through image generation unit 55 performs processing related to generation of the through image.
  • the through image is an image displayed for the user to confirm the image being prepared for shooting at the time of shooting or preparation for shooting (during non-recording). Through images are also referred to as live view images and EE (Electronic to Electronic) images.
  • EE Electronic to Electronic
  • the through image generation unit 55 can acquire an image (overall image, viewpoint image, or composite image) supplied from the camera signal processing unit 54. Further, the through image generation unit 55 uses the acquired image to perform image size (resolution) conversion for converting to an image size according to the resolution of the display unit 61, for example, to obtain a through image which is a display image. Can be generated. The through image generation unit 55 can supply the generated through image to the display unit 61 via the bus 60 and display the generated through image.
  • the area identification unit 56 performs processing related to identification (setting) of the area extracted from the captured image by the area extraction unit 53. For example, the area identification unit 56 identifies the viewpoint-related information (VI) and supplies the viewpoint image area to the area extraction unit 53.
  • the area identification unit 56 identifies the viewpoint-related information (VI) and supplies the viewpoint image area to the area extraction unit 53.
  • the viewpoint-related information (VI) includes, for example, the viewpoint area information indicating the viewpoint image area in the captured image.
  • the viewpoint area information may represent the viewpoint image area in any way.
  • the viewpoint image area is determined by the coordinates indicating the position corresponding to the optical axis of the individual eye optical system 31 in the captured image (also referred to as the center coordinates of the viewpoint image area) and the resolution (number of pixels) of the viewpoint image (viewpoint image area). May be represented.
  • the viewpoint region information may include the center coordinates of the viewpoint image region in the captured image and the resolution of the viewpoint image region. In this case, the location of the viewpoint image area in the entire image can be specified from the center coordinates of the viewpoint image area and the resolution (number of pixels) of the viewpoint image area.
  • the viewpoint area information is set for each viewpoint image area. That is, when the captured image includes a plurality of viewpoint images, the viewpoint-related information (VI) is the viewpoint identification information (for example, identification number) for identifying the viewpoint image (region) for each viewpoint image (each viewpoint image area). ) And the viewpoint area information may be included.
  • the viewpoint-related information is the viewpoint identification information (for example, identification number) for identifying the viewpoint image (region) for each viewpoint image (each viewpoint image area).
  • the viewpoint area information may be included.
  • the viewpoint-related information (VI) may include any other information.
  • the viewpoint-related information (VI) may include the viewpoint time information indicating the time when the captured image from which the viewpoint image is extracted is captured.
  • the viewpoint-related information (VI) may include the viewpoint image inclusion area information indicating the viewpoint image inclusion area including the viewpoint image area, which is a region cut out from the individual eye image.
  • the viewpoint-related information (VI) may include spot light information (SI) which is information about a spot light image formed in a region which is neither a viewpoint image region nor an individual eye image region of the captured image.
  • SI spot light information
  • the area identification unit 56 supplies such viewpoint-related information (VI) to the area extraction unit 53 as information indicating the specified viewpoint image area, so that the area extraction unit 53 can use the viewpoint-related information (VI). Based on this, the viewpoint image area specified by the area specifying unit 56 can be extracted (viewpoint image is cut out).
  • the area identification unit 56 can supply the viewpoint-related information (VI) to the bus 60.
  • the area identification unit 56 can supply the viewpoint-related information (VI) to the storage unit 62 via the bus 60 and store it in the storage medium 63.
  • the area specifying unit 56 can supply the viewpoint-related information (VI) to the communication unit 64 via the bus 60 and transmit it.
  • the area specifying unit 56 can supply the viewpoint-related information (VI) to the file forming unit 65 via the bus 60 and make it into a file.
  • the area specifying unit 56 can supply the viewpoint-related information (VI) to the image reconstruction processing unit 57 via the bus 60 and use it for the image reconstruction processing.
  • the area identification unit 56 may acquire such viewpoint-related information (VI) from the control unit 81 and supply the acquired viewpoint-related information (VI) to the area extraction unit 53 or the bus 60.
  • the control unit 81 reads out the viewpoint-related information (VI) stored in the storage medium 83 via the storage unit 82 and supplies it to the area identification unit 56.
  • the area identification unit 56 supplies the viewpoint-related information (VI) to the area extraction unit 53 and the bus 60.
  • the viewpoint-related information (VI) may include spot light information (SI).
  • the viewpoint-related information (VI) supplied to the storage unit 62, the communication unit 64, or the file conversion unit 65 via the bus 60 in this way is associated there with an image (whole image, viewpoint image, or composite image). ..
  • the storage unit 62 can associate the supplied viewpoint-related information (VI) with an image (whole image, viewpoint image, or composite image) and store it in the storage medium 63.
  • the communication unit 64 can associate the supplied viewpoint-related information (VI) with an image (whole image, viewpoint image, or composite image) and transmit it to the outside.
  • the file forming unit 65 can associate the supplied viewpoint-related information (VI) with an image (whole image, viewpoint image, or composite image) and generate one file including them.
  • the area specifying unit 56 acquires a RAW format captured image supplied from the image sensor 51, generates viewpoint-related information (VI') based on the captured image, and generates the viewpoint-related information (VI'). ) May be supplied to the region extraction unit 53 or the bus 60.
  • the area specifying unit 56 identifies each viewpoint image area from the captured image and indicates the viewpoint image area (for example, the viewpoint image area is determined by the center coordinates of the viewpoint image area in the captured image, the resolution of the viewpoint image area, and the like. (Show) Generate viewpoint-related information (VI'). Then, the area identification unit 56 supplies the generated viewpoint-related information (VI') to the area extraction unit 53 and the bus 60.
  • the viewpoint-related information (VI') may include spot light information (SI') generated by the region identification unit 56 based on the captured image.
  • the area identification unit 56 acquires the viewpoint-related information (VI) from the control unit 81, acquires the captured image in the RAW format supplied from the image sensor 51, and based on the captured image, the spot light information (SI'. ), The spot light information (SI') may be added to the viewpoint-related information (VI), and the spot light information (SI') may be supplied to the region extraction unit 53 or the bus 60.
  • the control unit 81 reads out the viewpoint-related information (VI) stored in the storage medium 83 via the storage unit 82 and supplies it to the area identification unit 56.
  • the area specifying unit 56 adds spot light information (SI') to the viewpoint-related information (VI) to generate viewpoint-related information (VI').
  • the area identification unit 56 supplies the viewpoint-related information (VI') to the area extraction unit 53 and the bus 60.
  • the area specifying unit 56 acquires the viewpoint-related information (VI) from the control unit 81, acquires a RAW format captured image supplied from the image sensor 51, and spot light information (SI') based on the captured image. ) Is generated, the viewpoint-related information (VI) is corrected using the spot light information (SI'), and the corrected viewpoint-related information (VI') may be supplied to the region extraction unit 53 or the bus 60. ..
  • the control unit 81 reads out the viewpoint-related information (VI) stored in the storage medium 83 via the storage unit 82 and supplies it to the area identification unit 56.
  • the area specifying unit 56 corrects the viewpoint-related information (VI) by using the spot light information (SI'), and generates the viewpoint-related information (VI').
  • the area identification unit 56 supplies the viewpoint-related information (VI') to the area extraction unit 53 and the bus 60.
  • the image reconstruction processing unit 57 performs processing related to image reconstruction.
  • the image reconstruction processing unit 57 can acquire an image in YC format (whole image, viewpoint image, or composite image) from the camera signal processing unit 54 or the storage unit 62 via the bus 60.
  • the image reconstruction processing unit 57 can acquire viewpoint-related information from the area identification unit 56 and the storage unit 62 via the bus 60.
  • the image reconstruction processing unit 57 uses the acquired image and the viewpoint-related information associated with the acquired image to generate, for example, depth information or an image focused on an arbitrary subject (Image processing such as refocusing (reconstruction) can be performed.
  • Image processing such as refocusing (reconstruction)
  • the viewpoint image is the processing target
  • the image reconstruction processing unit 57 performs processing such as generation of depth information and refocusing using each viewpoint image.
  • the image reconstruction processing unit 57 extracts each viewpoint image from the captured image or the composite image, and generates or refocuses depth information using the extracted viewpoint image. Etc. are performed.
  • the image reconstruction processing unit 57 can supply the generated depth information and the refocused image as a processing result to the storage unit 62 via the bus 60 and store them in the storage medium 63. Further, the image reconstruction processing unit 57 can supply the generated depth information and the refocused image as a processing result to the communication unit 64 via the bus 60 and transmit the processed image to the outside. Further, the image reconstruction processing unit 57 can supply the generated depth information and the refocused image as a processing result to the file conversion unit 65 via the bus 60 to create a file.
  • the bus 60 includes an image sensor 51, a RAW signal processing unit 52, an area extraction unit 53, a camera signal processing unit 54, a through image generation unit 55, an area identification unit 56, an image reconstruction processing unit 57, a display unit 61, and a storage unit. 62, the communication unit 64, and the file conversion unit 65 are connected.
  • the bus 60 functions as a transmission medium (transmission path) for various data exchanged between these blocks.
  • the bus 60 may be realized by wire or wireless communication.
  • the display unit 61 is composed of, for example, a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like, and is provided integrally with or separately from the housing of the camera 10.
  • the display unit 61 may be provided on the back surface of the housing of the camera 10 (the surface opposite to the surface on which the multi-lens optical system 30 is provided).
  • the display unit 61 performs processing related to image display. For example, the display unit 61 can acquire a through image in the YC format supplied from the through image generation unit 55, convert it into an RGB format, and display it. In addition, the display unit 61 can also display information such as menus and settings of the camera 10.
  • the display unit 61 can acquire and display a YC format image (captured image, viewpoint image, or composite image) supplied from the storage unit 62. Further, the display unit 61 can acquire and display a thumbnail image in the YC format supplied from the storage unit 62. Further, the display unit 61 can acquire and display a YC format image (captured image, viewpoint image, or composite image) supplied from the camera signal processing unit 54.
  • the storage unit 62 controls the storage of the storage medium 63 made of, for example, a semiconductor memory or the like.
  • the storage medium 63 may be a removable storage medium or a storage medium built in the camera 10.
  • the storage unit 62 can store an image (captured image, viewpoint image, or composite image) supplied via the bus 60 in the storage medium 63 in response to an operation of the control unit 81 or the user.
  • the storage unit 62 can acquire a RAW format image (whole image, viewpoint image, or composite image) supplied from the image sensor 51 or the area extraction unit 53 and store it in the storage medium 63.
  • the storage unit 62 is a signal-processed RAW format image (whole image, viewpoint image, or composite image) supplied from the RAW signal processing unit 52 or a compressed (encoded) RAW format image (whole image).
  • a viewpoint image, or a composite image) can be acquired and stored in the storage medium 63.
  • the storage unit 62 can acquire a YC format image (whole image, viewpoint image, or composite image) supplied from the camera signal processing unit 54 and store it in the storage medium 63.
  • the storage unit 62 can acquire the viewpoint-related information supplied from the area identification unit 56 and associate it with the above-mentioned image (overall image, viewpoint image, or composite image). That is, the storage unit 62 can store the image (whole image, viewpoint image, or composite image) and the viewpoint-related information in the storage medium 63 in association with each other. That is, the storage unit 62 functions as an association unit that associates at least one of the entire image, the viewpoint image, and the composite image with the viewpoint-related information.
  • the storage unit 62 can acquire the depth information and the refocused image supplied from the image reconstruction processing unit 57 and store them in the storage medium 63. Further, the storage unit 62 can acquire the file supplied from the file conversion unit 65 and store it in the storage medium 63.
  • This file contains, for example, an image (whole image, viewpoint image, or composite image) and viewpoint related information. That is, in this file, the image (whole image, viewpoint image, or composite image) and viewpoint-related information are associated with each other.
  • the storage unit 62 reads out the data, files, etc. stored in the storage medium 63 in response to the operation of the control unit 81 or the user, and the camera signal processing unit 54 and the display unit via the bus 60. It can be supplied to the 61, the communication unit 64, the file conversion unit 65, the image reconstruction processing unit 57, and the like.
  • the storage unit 62 can read an image in YC format (whole image, viewpoint image, or composite image) from the storage medium 63, supply it to the display unit 61, and display it.
  • the storage unit 62 can read an image in RAW format (whole image, viewpoint image, or composite image) from the storage medium 63 and supply it to the camera signal processing unit 54 to perform camera signal processing.
  • the storage unit 62 reads out the data or file of the image (whole image, viewpoint image, or composite image) and the viewpoint-related information stored in the storage medium 63 in association with each other, and supplies the data or file to another processing unit. Can be done.
  • the storage unit 62 reads out images (whole image, viewpoint image, or composite image) and viewpoint-related information associated with each other from the storage medium 63, supplies them to the image reconstruction processing unit 57, and supplies the depth information. Processing such as generation and refocus can be performed.
  • the storage unit 62 can read images (whole image, viewpoint image, or composite image) and viewpoint-related information associated with each other from the storage medium 63, supply them to the communication unit 64, and transmit them.
  • the storage unit 62 can read images (whole image, viewpoint image, or composite image) and viewpoint-related information associated with each other from the storage medium 63, supply them to the file conversion unit 65, and file them. it can.
  • the storage medium 63 may be a ROM (Read Only Memory) or a rewritable memory such as a RAM (Random Access Memory) or a flash memory. In the case of a rewritable memory, the storage medium 63 can store arbitrary information.
  • the communication unit 64 communicates with a server on the Internet, a PC on a wired or wireless LAN, another external device, or the like by an arbitrary communication method.
  • the communication unit 64 streams data or files such as images (captured images, viewpoint images, or composite images) and viewpoint-related information by the communication in response to the control of the control unit 81 or the operation of the user. It can be sent to the communication partner (external device) by the upload method or the like.
  • the communication unit 64 can acquire and transmit a RAW format image (captured image, viewpoint image, or composite image) supplied from the image sensor 51 or the area extraction unit 53. Further, the communication unit 64 uses a signal-processed RAW format image (captured image, viewpoint image, or composite image) supplied from the RAW signal processing unit 52 or a compressed (encoded) image (captured image, viewpoint image). , Or a composite image) can be acquired and transmitted. Further, the communication unit 64 can acquire and transmit a YC format image (captured image, viewpoint image, or composite image) supplied from the camera signal processing unit 54.
  • a YC format image capturedd image, viewpoint image, or composite image
  • the communication unit 64 can acquire the viewpoint-related information supplied from the area identification unit 56 and associate it with the above-mentioned image (overall image, viewpoint image, or composite image). That is, the communication unit 64 can transmit the image (whole image, viewpoint image, or composite image) and the viewpoint-related information in association with each other. For example, when transmitting an image by a streaming method, the communication unit 64 acquires an image to be transmitted (whole image, viewpoint image, or composite image) from a processing unit that supplies the image, and the area specifying unit 56 is attached to the image. The process of associating and transmitting the viewpoint-related information supplied from is repeated. That is, the communication unit 64 functions as an association unit that associates at least one of the entire image, the viewpoint image, and the composite image with the viewpoint-related information.
  • the communication unit 64 can acquire and transmit the depth information and the refocused image supplied from the image reconstruction processing unit 57. Further, the communication unit 64 can acquire and transmit the file supplied from the file conversion unit 65.
  • This file contains, for example, an image (whole image, viewpoint image, or composite image) and viewpoint related information. That is, in this file, the image (whole image, viewpoint image, or composite image) and viewpoint-related information are associated with each other.
  • the file conversion unit 65 performs processing related to file generation.
  • the file creation unit 65 can acquire a RAW format image (whole image, viewpoint image, or composite image) supplied from the image sensor 51 or the area extraction unit 53.
  • the file forming unit 65 is a signal-processed RAW format image (whole image, viewpoint image, or composite image) supplied from the RAW signal processing unit 52 or a compressed (encoded) RAW format image (whole).
  • An image, a viewpoint image, or a composite image) can be acquired.
  • the file conversion unit 65 can acquire an image (overall image, viewpoint image, or composite image) in the YC format supplied from the camera signal processing unit 54. Further, for example, the file conversion unit 65 can acquire the viewpoint-related information supplied from the area identification unit 56.
  • the file conversion unit 65 can associate the plurality of data with each other by converting the acquired plurality of data into a file and generating one file containing the plurality of data.
  • the file creation unit 65 can associate them with each other by generating one file from the above-mentioned images (whole image, viewpoint image, or composite image) and viewpoint-related information. That is, the file conversion unit 65 functions as an association unit that associates at least one of the entire image, the viewpoint image, and the composite image with the viewpoint-related information.
  • the file conversion unit 65 can acquire the depth information and the refocused image supplied from the image reconstruction processing unit 57 and create a file. Further, the file forming unit 65 can generate one file from the images (whole image, viewpoint image, or composite image) and the viewpoint related information supplied from the storage unit 62.
  • the file conversion unit 65 can generate a thumbnail image of the image to be filed (for example, a viewpoint image) and include it in the generated file. That is, the file conversion unit 65 can associate this thumbnail image with an image (whole image, viewpoint image, or composite image) or viewpoint-related information by creating a file.
  • the file conversion unit 65 can supply the generated files (images and viewpoint-related information associated with each other) to the storage unit 62 via, for example, the bus 60, and store the generated files in the storage medium 63.
  • the file conversion unit 65 can supply the generated files (images and viewpoint-related information associated with each other) to the communication unit 64 via, for example, the bus 60 and have them transmit the files.
  • association unit 70 associates an image (whole image, viewpoint image, or composite image) with viewpoint-related information.
  • the storage unit 62 can store at least one of the whole image, the viewpoint image, and the composite image in the storage medium 63 in association with the viewpoint-related information.
  • the communication unit 64 can transmit at least one of the whole image, the viewpoint image, and the composite image in association with the viewpoint-related information.
  • the file forming unit 65 can associate them by generating one file from at least one of the whole image, the viewpoint image, and the composite image and the viewpoint-related information.
  • the control unit 81 performs control processing related to the camera 10. That is, the control unit 81 can control each unit of the camera 10 and execute the process. For example, the control unit 81 can control the multi-eye optical system 30 (each individual-eye optical system 31) via the optical system control unit 84 to set the optical system related to imaging such as the aperture and the focus position. Further, the control unit 81 can control the image sensor 51 and cause the image sensor 51 to perform imaging (photoelectric conversion) to generate an captured image.
  • control unit 81 can supply the viewpoint-related information (VI) to the region identification unit 56 to specify the region to be extracted from the captured image.
  • the viewpoint-related information (VI) may include spot light information (SI).
  • control unit 81 may read the viewpoint-related information (VI) stored in the storage medium 83 via the storage unit 82 and supply it to the area identification unit 56.
  • control unit 81 can acquire an image via the bus 60 and control the aperture via the optical system control unit 84 based on the brightness of the image. Further, the control unit 81 can control the focus via the optical system control unit 84 based on the sharpness of the image. Further, the control unit 81 can control the camera signal processing unit 54 based on the RGB ratio of the image to control the white balance gain.
  • the storage unit 82 controls the storage of the storage medium 83 made of, for example, a semiconductor memory or the like.
  • the storage medium 83 may be a removable storage medium or a built-in memory.
  • viewpoint-related information (VI) is stored in the storage medium 83.
  • This viewpoint-related information (VI) is information corresponding to the multi-eye optical system 30 (each individual eye optical system 31) and the image sensor 51. That is, the viewpoint-related information (VI) is information about a viewpoint image with each individual eye optical system 31 of the multi-eye optical system 30 as a viewpoint, and is information used to specify the viewpoint image region.
  • this viewpoint-related information (VI) may include spot light information (SI).
  • the storage unit 82 can read out the viewpoint-related information (VI) stored in the storage medium 83 and supply it to the control unit 81 in response to an operation of the control unit 81 or the user.
  • VI viewpoint-related information
  • the storage medium 83 may be a ROM or a rewritable memory such as RAM or flash memory. In the case of a rewritable memory, the storage medium 83 can store arbitrary information.
  • the storage unit 82 and the storage medium 83 may be replaced by the storage unit 62 and the storage medium 63. That is, the information to be stored in the storage medium 83 described above (viewpoint-related information (VI), etc.) may be stored in the storage medium 63. In that case, the storage unit 82 and the storage medium 83 may be omitted.
  • the optical system control unit 84 controls the multi-eye optical system 30 (each individual eye optical system 31) according to the control of the control unit 81.
  • the optical system control unit 84 can control the lens group and the aperture of each individual eye optical system 31 and control the focal length and / or F value of each individual eye optical system 31.
  • the optical system control unit 84 can control the focus (focal length) of the multi-eye optical system 30 (of each individual eye optical system 31).
  • the optical system control unit 84 may be able to control the aperture (F value) of each individual eye optical system 31.
  • the camera 10 is provided with a mechanism (physical configuration) for controlling the focal length by manually operating the focus ring provided on the lens barrel. May be good. In that case, the optical system control unit 84 can be omitted.
  • the subject is imaged by the image sensor 51 via the multi-eye optical system 30 (plurality of individual eye optical systems 31), and the image corresponding to each individual eye optical system 31 is used.
  • An captured image including a certain individual eye image is generated.
  • a viewpoint image with the individual eye optical system 31 as a viewpoint is generated. Since the plurality of viewpoint images extracted from one captured image are images of different viewpoints, these viewpoint images are used, for example, to estimate the depth by multi-eye matching and to correct the mounting error of the multi-eye lens. Etc. can be performed. However, in order to perform these processes, information such as the relative position between the viewpoint images is required.
  • an image captured by imaging a subject with one image sensor via a plurality of individual eye optical systems whose optical paths are independent of each other, and each of the plurality of individual eye optical systems extracted from the captured image are captured.
  • viewpoint-related information which is the information used for, is associated.
  • a plurality of viewpoint images with each of the systems as a viewpoint, or a composite image in which a plurality of viewpoint images corresponding to each of a plurality of individual eye optical systems are combined the regions of the plurality of viewpoint images in the captured image are set.
  • the association unit 70 acquires the viewpoint-related information corresponding to the image (whole image, viewpoint image, or composite image) from the area identification unit 56, and associates the image and the viewpoint-related information with the association and the viewpoint-related information.
  • the storage unit 62 associates at least one of the whole image, the viewpoint image, and the composite image with the viewpoint-related information and stores it in the storage medium 63.
  • the communication unit 64 transmits at least one of the whole image, the viewpoint image, and the composite image in association with the viewpoint-related information.
  • the file forming unit 65 generates one file from at least one of the whole image, the viewpoint image, and the composite image and the viewpoint-related information, so as to associate them with each other.
  • processing can be performed based on viewpoint-related information. Therefore, image processing using the viewpoint image can be performed.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the form of the captured image and the viewpoint-related information as data (file) is arbitrary. For example, the captured image and the viewpoint-related information may be combined as one data (file), or may be individual data (file). For example, the viewpoint-related information associated with the captured image may be transmitted on a transmission path different from that of the captured image. Further, for example, the viewpoint-related information associated with the captured image may be recorded on a recording medium (or another recording area of the same recording medium) different from the captured image. Of course, the captured image and the viewpoint-related information may be combined into one stream data or one file.
  • the image associated with the viewpoint-related information may be a still image or a moving image.
  • a moving image in each frame image, it is possible to extract a region, associate viewpoint-related information, and the like in the same manner as in the case of a still image.
  • this "association" may be a part of the data (file) instead of the entire data.
  • the viewpoint-related information may be associated with an arbitrary unit of the captured image, such as a plurality of frames, one frame, or a part within the frame. ..
  • the captured image and the viewpoint-related information can be related to each other by assigning the same identification number to both the captured image and the viewpoint-related information. Further, when the captured image and the viewpoint-related information are combined into one file, the viewpoint-related information may be added to the header of the captured image, for example.
  • the object to which the viewpoint-related information is associated may be a captured image (whole image), a viewpoint image, or a composite image of the viewpoint image.
  • the whole image 130 includes an individual eye image corresponding to each individual eye optical system 31 (an image obtained by photoelectric conversion of light from a subject incident through each individual eye optical system 31). ..
  • an ommatidium image center of the image of the entire image 130 corresponds to the ommatidium optical system 31 0.
  • the upper right image of the whole image 130 is an individual eye image corresponding to the individual eye optical system 31 1 .
  • it is ommatidium images image in the upper left of the entire image 130 corresponds to the ommatidium optical system 31 2.
  • ommatidium image lower left image of the entire image 130 corresponds to the ommatidium optical system 31 3. Furthermore, it is ommatidium images image in the lower right of the entire image 130 corresponds to the ommatidium optical system 31 4.
  • the entire image 130 may be the entire captured image generated by the image sensor 51, or may be a partial image (however, including all individual eye images) cut out from the captured image. .. Further, the whole image 130 may be an image in RAW format or an image in YC format.
  • a part (effective part) of each individual eye image is designated as the viewpoint image area with respect to the entire image 130.
  • the viewpoint image area For example, in the case of FIG. 4, the area surrounded by the dotted line frame of the entire image 130 is the viewpoint image area. That is, some of the ommatidium images corresponding to the ommatidium optical system 31 0 (effective portion) is designated as the viewpoint image region 131 0.
  • a part (effective part) of the individual eye image corresponding to the individual eye optical system 31 1 is designated as the viewpoint image area 131 1 .
  • some of the ommatidium images corresponding to the ommatidium optical system 31 2 (effective portion) is designated as the viewpoint image area 131 2.
  • some of the ommatidium images corresponding to the ommatidium optical system 31 3 (effective portion) is designated as the viewpoint image region 131 3.
  • some of the ommatidium images corresponding to the ommatidium optical system 31 4 (effective portion) is designated as the viewpoint image area 131 4.
  • a viewpoint image area 131 when there is no need to distinguish the viewpoint image region 131 0 to view image area 131 4 together, referred to as a viewpoint image area 131.
  • the association unit 70 When outputting such an overall image 130, acquires the entire image 130 from the image sensor 51, the RAW signal processing unit 52, or the camera signal processing unit 54, and supplies the entire image 130 from the area specifying unit 56.
  • the viewpoint-related information corresponding to the multi-eye optical system 30 is associated with the entire image 130.
  • the association unit 70 outputs the entire image and the viewpoint-related information associated with each other.
  • the storage unit 62 may store the entire image and the viewpoint-related information associated with each other in the storage medium 63.
  • the communication unit 64 may transmit the whole image and the viewpoint-related information associated with each other.
  • the file conversion unit 65 may file the entire image and the viewpoint-related information associated with each other.
  • the association between the entire image and the viewpoint-related information may be performed by the area extraction unit 53. That is, the area extraction unit 53 associates the viewpoint-related information supplied from the area identification unit 56 with the output overall image, and the bus 60, the RAW signal processing unit 52, or the viewpoint-related information associates the entire image and the viewpoint-related information associated with each other. It may be supplied to the camera signal processing unit 54.
  • the viewpoint-related information in this case includes the viewpoint area information indicating a plurality of viewpoint image areas in the captured image.
  • the viewpoint area information may represent the viewpoint image area in any way.
  • the viewpoint image area is represented by the coordinates (center coordinates of the viewpoint image area) indicating the position corresponding to the optical axis of the individual eye optical system 31 in the captured image and the resolution (number of pixels) of the viewpoint image (viewpoint image area). It may be done.
  • the viewpoint region information may include the center coordinates of the viewpoint image region in the captured image and the resolution of the viewpoint image region.
  • the location of the viewpoint image area in the entire image 130 can be specified from the center coordinates of the viewpoint image area and the resolution (number of pixels) of the viewpoint image area.
  • viewpoint-related information By associating such viewpoint-related information with the captured image, it is used for post-stage processing such as depth estimation by multi-eye matching and processing for suppressing errors that occur when the multi-eye optical system 30 is attached (installed).
  • This viewpoint-related information can be used in extracting the viewpoint image as a pre-processing.
  • the image reconstruction processing unit 57 extracts each viewpoint image based on the viewpoint region information included in the viewpoint-related information, and then performs depth estimation by multi-eye matching, refocus processing, and multi-eye optical system 30.
  • Post-stage processing such as processing for suppressing errors that occur during installation (installation) can be performed.
  • the image reconstruction processing unit 57 may be able to specify the viewpoint image area included in the overall image 130 by image processing. , It may be difficult to accurately specify the viewpoint image area in the captured image depending on the imaging conditions and the like. Therefore, by associating the viewpoint-related information with the entire image 130 as described above, the image reconstruction processing unit 57 more easily and more accurately obtains the viewpoint image region from the above-mentioned overall image 130 based on the viewpoint-related information. Can be extracted.
  • the size and shape of the area cut out from the entire image 130 for generating the viewpoint image is arbitrary as long as the viewpoint image area is included (included).
  • a viewpoint image inclusion area 142 that includes (includes) the viewpoint image area 131 is set in the individual eye area 141 that is an area of the individual eye image, and the viewpoint is viewed from the entire image 130.
  • the image inclusion area 142 may be extracted (the image of the viewpoint image inclusion area 142 may be cut out). Then, if necessary, the viewpoint image (the image of the viewpoint image area 131) may be extracted from the image of the cut-out viewpoint image inclusion area 142.
  • the viewpoint image inclusion area 142 may be larger than the individual eye area 141 (the viewpoint image inclusion area 142 may include an area outside the individual eye area 141). Further, the viewpoint-related information may include the viewpoint image inclusion area designation information indicating the viewpoint image inclusion area 142.
  • the viewpoint image inclusion area 142 may be expressed in any way.
  • the viewpoint image inclusion area 142 may be represented by the coordinates indicating the position of a predetermined location (for example, the upper left corner, the center, etc.) and the resolution (number of pixels) of the viewpoint image inclusion area 142. .. That is, the viewpoint image inclusion area designation information may include the coordinates indicating the position of the viewpoint image inclusion area 142 at a predetermined position and the resolution (number of pixels) of the viewpoint image inclusion area 142.
  • the individual eye image may be cut out from the captured image and processed or recorded.
  • ⁇ Flow of imaging process> An example of the flow of processing related to imaging when the entire image is output in this way will be described with reference to the flowchart of the imaging process when capturing the still image shown in FIG.
  • the imaging process of FIG. 6 is started.
  • the control unit 81 reads the viewpoint-related information from the storage medium 83 via the storage unit 82 and sets it in the area identification unit 56.
  • the area specifying unit 56 acquires a RAW format captured image from the image sensor 51, identifies a region (for example, a viewpoint image region, etc.) to be extracted based on the captured image, and provides information indicating the specified region. It is also possible to generate and set viewpoint-related information including. Further, the area specifying unit 56 can also correct the set viewpoint-related information based on the captured image acquired from the image sensor.
  • the area identification unit 56 controls the extraction of a partial area (cutting out a partial image) by the area extraction unit 53 by supplying the set viewpoint-related information to the area extraction unit 53 or the like.
  • step S102 the display unit 61 displays a through image. This process is executed in a state before performing imaging to generate an captured image for recording. That is, the display unit 61 displays the through image in the state before the user operates the shutter button.
  • the through image is an image for display generated by the through image generation unit 55, and may have a lower resolution than the image for recording.
  • This through image may be a display image of any image.
  • the display unit 61 may display the entire image as a through image, may display a single viewpoint image, may display a plurality of viewpoint images, or may display a single viewpoint image. May be displayed, a plurality of individual eye images may be displayed, or a composite image may be displayed. Further, the display unit 61 may display a combination of different types of images as through images, such as a viewpoint image and an individual eye image.
  • the display unit 61 may select and display one of the various images (or a combination of a plurality of images) described above based on, for example, a request from an application or an operation of a user or the like. Good. That is, the display unit 61 may be able to switch (select) an image to be displayed as a through image.
  • the image sensor 51 supplies the captured image (overall image) in RAW format to the region extraction unit 53.
  • the region extraction unit 53 supplies the captured image to the camera signal processing unit 54 (without cutting out a partial image).
  • the camera signal processing unit 54 performs camera signal processing on the captured image in the RAW format, generates a captured image (overall image) in the YC format, and supplies the captured image (overall image) to the through image generation unit 55.
  • the through image generation unit 55 generates a through image for displaying the entire image (entire captured image) from the captured image (overall image) in the YC format, for example, by reducing the resolution.
  • the through image generation unit 55 supplies the generated through image to the display unit 61.
  • the display unit 61 displays the through image (displays the entire captured image as the through image).
  • the image sensor 51 covers the captured image (whole image) in RAW format. It is supplied to the extraction unit 53.
  • the area extraction unit 53 extracts an image (whole image) of a part of the area including all the individual eye images from the captured image based on the viewpoint-related information supplied from the area identification unit 56, for example, and obtains a camera signal. It is supplied to the processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the entire image in the RAW format, generates an entire image in the YC format, and supplies the entire image to the through image generation unit 55.
  • the through image generation unit 55 generates a through image for displaying the entire image from the entire image in the YC format, for example, by reducing the resolution.
  • the through image generation unit 55 supplies the generated through image to the display unit 61.
  • the display unit 61 displays the through image (displays the entire image as the through image).
  • the image sensor 51 supplies the captured image (overall image) in RAW format to the region extraction unit 53.
  • the area extraction unit 53 extracts each viewpoint image from the captured image based on, for example, the viewpoint-related information supplied from the area identification unit 56, and supplies the image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on each of the viewpoint images in the RAW format, generates a viewpoint image in the YC format, and supplies the viewpoint image to the through image generation unit 55.
  • the through image generation unit 55 uses a single or a plurality of viewpoint images to generate a through image for displaying the single or a plurality of viewpoint images, for example, by reducing the resolution.
  • the through image generation unit 55 supplies the generated through image to the display unit 61.
  • the display unit 61 displays the through image (displays a single or a plurality of viewpoint images as the through image).
  • the image sensor 51 supplies the captured image (overall image) in RAW format to the region extraction unit 53.
  • the area extraction unit 53 extracts each individual eye image from the captured image based on, for example, viewpoint-related information (information indicating the area of each individual eye image) supplied from the area identification unit 56, and causes the camera signal processing unit 54 to extract each individual eye image. Supply.
  • the camera signal processing unit 54 performs camera signal processing on each of the individual eye images in the RAW format, generates an individual eye image in the YC format, and supplies the individual image to the through image generation unit 55.
  • the through image generation unit 55 uses a single or a plurality of individual eye images to generate a through image for displaying the single or a plurality of individual eye images by, for example, reducing the resolution.
  • the through image generation unit 55 supplies the generated through image to the display unit 61.
  • the display unit 61 displays the through image (displays a single or a plurality of individual eye images as the through image).
  • the image sensor 51 supplies the captured image (overall image) in RAW format to the region extraction unit 53.
  • the region extraction unit 53 extracts each viewpoint image from the captured image based on, for example, the viewpoint-related information supplied from the region identification unit 56, and synthesizes them to generate a composite image.
  • the region extraction unit 53 supplies the generated composite image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the composite image in the RAW format, generates a composite image in the YC format, and supplies the composite image to the through image generation unit 55.
  • the through image generation unit 55 uses the composite image to generate a through image for displaying the composite image, for example, by lowering the resolution.
  • the through image generation unit 55 supplies the generated through image to the display unit 61.
  • the display unit 61 displays the through image (displays a composite image as the through image).
  • the area extraction unit 53 switches the method adopted from each of the above methods according to the control of the control unit 81.
  • the image sensor 51 is controlled by the control unit 81 in step S103, and the multi-eye optical system 30 (a plurality of individual eye optical systems).
  • the subject is imaged via 31), and a RAW format captured image (whole image) (for recording) is generated.
  • the area extraction unit 53 uses the entire captured image in the RAW format generated by the image sensor 51 as the entire image and supplies it to the camera signal processing unit 54. Further, for example, the region extraction unit 53 extracts a part of the region including all the individual eye images from the captured image in the RAW format generated by the image sensor 51, and supplies the entire region to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the entire image in the RAW format and generates an entire image in the YC format.
  • the camera signal processing unit 54 supplies the entire image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information set in step S101 to the association unit 70.
  • step S104 the association unit 70 associates the entire image generated in step S103 with the viewpoint-related information set in the area identification unit 56 in step S101.
  • the storage unit 62 may store the entire image and the viewpoint-related information in the storage medium 63 in association with each other.
  • the communication unit 64 may transmit the entire image and the viewpoint-related information in association with each other.
  • the file forming unit 65 may associate the whole image and the viewpoint-related information with each other by creating a file and generating one file.
  • the display unit 61 may display a confirmation image for confirming the output overall image.
  • the through image generation unit 55 uses the entire image in the YC format generated by the camera signal processing unit 54 to generate a confirmation image of the entire image to be output, for example, by lowering the resolution.
  • the display unit 61 displays the confirmation image. Then, for example, when a predetermined time elapses after the confirmation image is displayed or a predetermined operation is performed by a user or the like, the association unit 70 associates the entire image with the viewpoint-related information and outputs the image. May be good.
  • step S104 When the process of step S104 is completed, the imaging process is completed.
  • FIG. 7 is a diagram showing an example of a cut-out viewpoint image.
  • the viewpoint image 132 0 is an image obtained by extracting the viewpoint image area 131 0 from the entire image 130.
  • the viewpoint image 132 1 is an image obtained by extracting the viewpoint image area 131 1 from the entire image 130.
  • the viewpoint image 132 2 is an image obtained by extracting the viewpoint image area 131 2 from the entire image 130.
  • the viewpoint image 132 3 is an image obtained by extracting the viewpoint image area 131 3 from the entire image 130.
  • the viewpoint image 132 4 is an image obtained by extracting the viewpoint image area 131 4 from the entire image 130.
  • the viewpoint image 132 is referred to as the viewpoint image 132.
  • the area extraction unit 53 When outputting such a viewpoint image, the area extraction unit 53 outputs each viewpoint image 132 cut out as in the example of FIG. 7 as independent data (or file).
  • the area extraction unit 53 cuts out a viewpoint image from the captured image (overall image) according to the viewpoint-related information supplied from the area identification unit 56.
  • the area extraction unit 53 assigns viewpoint identification information (for example, an identification number) for identifying each viewpoint to each of the cut out viewpoint images.
  • the area extraction unit 53 supplies each viewpoint image to which the viewpoint identification information is assigned to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on each viewpoint image in the RAW format to generate each viewpoint image in the YC format.
  • the camera signal processing unit 54 supplies each viewpoint image in the YC format to the association unit 70.
  • the area identification unit 56 supplies the viewpoint-related information supplied to the area extraction unit 53 to the association unit 70.
  • the association unit 70 associates each viewpoint image with viewpoint-related information corresponding to the viewpoint image.
  • the viewpoint-related information may include viewpoint identification information (for example, a viewpoint identification number) for identifying each viewpoint. Based on this viewpoint identification information, the association unit 70 associates each viewpoint image with viewpoint-related information corresponding to the viewpoint image.
  • viewpoint identification information for example, a viewpoint identification number
  • the association unit 70 can easily grasp which viewpoint-related information corresponds to which viewpoint image. That is, the association unit 70 can more easily and correctly associate each viewpoint image and viewpoint-related information by using this viewpoint identification information.
  • the association unit 70 outputs each viewpoint image and viewpoint-related information associated with each other.
  • the storage unit 62 may store each viewpoint image and viewpoint-related information associated with each other in the storage medium 63.
  • the communication unit 64 may transmit each viewpoint image and viewpoint-related information associated with each other.
  • the file conversion unit 65 may file each viewpoint image and viewpoint-related information associated with each other.
  • each viewpoint image and the viewpoint-related information may be performed by the area extraction unit 53. That is, the area extraction unit 53 associates the viewpoint-related information supplied from the area identification unit 56 with each output viewpoint image, and the viewpoint images and viewpoint-related information associated with each other are associated with the bus 60 and the RAW signal processing unit 52. , Or may be supplied to the camera signal processing unit 54.
  • the viewpoint-related information may include viewpoint area information and viewpoint image inclusion area designation information, as in the case of ⁇ output of the entire image> described above. Therefore, the same effect as when outputting the entire image can be obtained.
  • the viewpoint-related information may include the viewpoint time information indicating the time and order in which the captured images from which the viewpoint images are extracted are captured.
  • viewpoint time information indicating the generation time and order of the captured images
  • each viewpoint image at the same time can be specified.
  • ⁇ Flow of imaging process> An example of the flow of processing related to imaging in this case will be described with reference to a flowchart of imaging processing when capturing a still image shown in FIG.
  • the imaging process of FIG. 8 is started.
  • the control unit 81 reads out the viewpoint-related information from the storage medium 83 via the storage unit 82 and sets it in the area identification unit 56.
  • the area specifying unit 56 acquires a RAW format captured image from the image sensor 51, specifies a viewpoint image area to be extracted based on the captured image, and includes a viewpoint area information indicating the specified viewpoint image area. You can also generate and set related information. Further, the area specifying unit 56 can also correct the set viewpoint-related information based on the captured image acquired from the image sensor.
  • the area identification unit 56 controls the extraction of the viewpoint image region (cutting out of the viewpoint image) by the area extraction unit 53 by supplying the set viewpoint-related information to the area extraction unit 53 or the like.
  • each viewpoint area information included in this viewpoint-related information is assigned viewpoint identification information (for example, an identification number) for identifying each viewpoint image. That is, the viewpoint-related information includes the viewpoint identification information.
  • step S122 the display unit 61 displays a through image. This process is executed in a state before performing imaging to generate an captured image for recording. That is, the display unit 61 displays the through image in the state before the user operates the shutter button.
  • the through image is the same as the case described in step S102 of FIG.
  • the display unit 61 may display the entire image as a through image, may display a single viewpoint image, or display a plurality of viewpoint images.
  • a single individual eye image may be displayed, a plurality of individual eye images may be displayed, or a composite image may be displayed.
  • the display unit 61 may display a combination of different types of images as through images, such as a viewpoint image and an individual eye image.
  • the display unit 61 may select and display one of the various images (or a combination of a plurality of images) described above based on, for example, a request from an application or an operation of a user or the like. Good. That is, the display unit 61 may be able to switch (select) an image to be displayed as a through image.
  • the image sensor 51 is controlled by the control unit 81 in step S123, and the multi-eye optical system 30 (a plurality of individual eye optical systems).
  • the subject is imaged via 31), and a RAW format captured image (whole image) (for recording) is generated.
  • step S124 the area extraction unit 53 extracts each viewpoint image from the captured image obtained in step S123 based on the viewpoint-related information (viewpoint area information) set in the area identification unit 56 in step S121.
  • step S125 the area extraction unit 53 assigns viewpoint identification information (for example, an identification number) for identifying each viewpoint image to each extracted viewpoint image. For example, viewpoint identification information is added to each viewpoint image. That is, by this processing, each viewpoint image includes the viewpoint identification information.
  • viewpoint identification information for example, an identification number
  • the area extraction unit 53 supplies each viewpoint image to which the viewpoint identification information is assigned to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on each viewpoint image in the RAW format and generates each viewpoint image in the YC format. As described above, viewpoint identification information is assigned to each viewpoint image in this YC format.
  • the camera signal processing unit 54 supplies each viewpoint image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information set in step S121 to the association unit 70.
  • step S126 the association unit 70 associates each viewpoint image with the viewpoint-related information set in the area specifying unit 56 in step S121.
  • the association unit 70 associates each viewpoint image with the viewpoint-related information (viewpoint area information) using the viewpoint identification information.
  • step S127 the association unit 70 sets the time stamp information indicating the imaging timing of the captured image from which the viewpoint image is extracted to the viewpoint-related information associated with each viewpoint image in step S126. That is, by this processing, the viewpoint-related information includes the time stamp information.
  • the storage unit 62 may store each viewpoint image and viewpoint-related information in the storage medium 63 in association with each other.
  • the communication unit 64 may transmit each viewpoint image and viewpoint-related information in association with each other.
  • the file forming unit 65 may associate each viewpoint image and the viewpoint-related information into a file to generate one file, thereby associating them with each other.
  • the display unit 61 may display a confirmation image for confirming each output viewpoint image.
  • the through image generation unit 55 uses each viewpoint image in the YC format generated by the camera signal processing unit 54 to generate a confirmation image of each viewpoint image to be output, for example, by lowering the resolution.
  • the display unit 61 displays the confirmation image. Then, for example, when a predetermined time elapses after the confirmation image is displayed or a predetermined operation is performed by a user or the like, the association unit 70 associates and outputs each viewpoint image with the viewpoint-related information. You may.
  • step S127 When the process of step S127 is completed, the imaging process is completed.
  • FIG. 9 is a diagram showing an example of a composite image obtained by synthesizing each viewpoint image.
  • one composite image 133 is generated by synthesizing the viewpoint image 132 0 to the viewpoint image 132 4 extracted in the example of FIG. 7 so as to be displayed side by side in one image.
  • the composite image 133 is a composite image 132 of each viewpoint image combined into one data (one frame) or one file.
  • the composite image 133 may have the margin region, has It does not have to be. Further, the shape of the composite image 133 may be rectangular, and the arrangement method (arrangement method) of each viewpoint image 132 is arbitrary. As in the example of FIG. 9, the blank area (the area corresponding to the sixth viewpoint image 132) generated when the five viewpoint images 132 are arranged in 2 rows and 3 columns is represented by null data or a fixed value. You may.
  • the area extraction unit 53 cuts out a viewpoint image from the captured image (overall image) according to the viewpoint-related information supplied from the area identification unit 56.
  • the area extraction unit 53 generates a composite image by synthesizing the cut-out viewpoint images so that they are displayed side by side in one image. At that time, by predetermining the arrangement order (position) of each viewpoint image, it is possible to easily grasp which viewpoint image each viewpoint image included in the composite image is.
  • the viewpoint identification information (for example, the identification number) may be assigned to each viewpoint image before synthesizing. In this case as well, it is possible to easily grasp which viewpoint image each viewpoint image included in the composite image is. In the following, it is assumed that the order of the viewpoint images in the composite image is predetermined.
  • the area extraction unit 53 supplies the composite image to which the viewpoint identification information is assigned to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the RAW format composite image to generate a YC format composite image.
  • the camera signal processing unit 54 supplies the composite image in the YC format to the association unit 70.
  • the area identification unit 56 supplies the viewpoint-related information supplied to the area extraction unit 53 to the association unit 70.
  • the association unit 70 associates viewpoint-related information with the composite image.
  • the viewpoint of each viewpoint image included in the composite image is clear from the position of the viewpoint image in the composite image. That is, it is possible to easily grasp which viewpoint area information of the viewpoint-related information corresponds to each viewpoint image.
  • the association unit 70 outputs the composite image and the viewpoint-related information associated with each other.
  • the storage unit 62 may store the composite image and the viewpoint-related information associated with each other in the storage medium 63.
  • the communication unit 64 may transmit the composite image and the viewpoint-related information associated with each other.
  • the file conversion unit 65 may file the images and viewpoint-related information associated with each other.
  • the association between the composite image and the viewpoint-related information may be performed by the area extraction unit 53. That is, the area extraction unit 53 associates the viewpoint-related information supplied from the area identification unit 56 with the output composite image, and the bus 60, the RAW signal processing unit 52, or the viewpoint-related information associates the composite image and the viewpoint-related information associated with each other. It may be supplied to the camera signal processing unit 54.
  • the viewpoint-related information may include the viewpoint area information and the viewpoint image inclusion area designation information, as in the case of ⁇ output of the entire image> and ⁇ output of the viewpoint image> described above. Therefore, it is possible to obtain the same effect as when outputting the entire image or the viewpoint image.
  • step S145 the region extraction unit 53 arranges and synthesizes each viewpoint image extracted from the captured image in step S144 to generate a composite image.
  • the area extraction unit 53 supplies the composite image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the RAW format composite image and generates a YC format composite image.
  • the camera signal processing unit 54 supplies the composite image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information set in step S141 to the association unit 70.
  • step S146 the association unit 70 associates the composite image with the viewpoint-related information set in the area identification unit 56 in step S141.
  • the storage unit 62 may store the composite image and the viewpoint-related information in the storage medium 63 in association with each other.
  • the communication unit 64 may transmit the composite image and the viewpoint-related information in association with each other.
  • the file forming unit 65 may associate the composite image and the viewpoint-related information into a file to generate one file, thereby associating them with each other.
  • the display unit 61 may display a confirmation image for confirming the composite image to be output.
  • the through image generation unit 55 uses the YC format composite image generated by the camera signal processing unit 54 to generate a confirmation image of the composite image to be output, for example, by lowering the resolution.
  • the display unit 61 displays the confirmation image. Then, for example, when a predetermined time elapses after the confirmation image is displayed or a predetermined operation is performed by a user or the like, the association unit 70 associates the composite image with the viewpoint-related information and outputs the image. May be good.
  • step S146 When the process of step S146 is completed, the imaging process is completed.
  • the viewpoint-related information can be associated with the composite image, so that image processing using the viewpoint image can be performed more easily.
  • the viewpoint image when each viewpoint image is output, the viewpoint image can be used not only for processing such as depth information generation and refocusing, but also for thumbnail generation and display. At that time, the pattern can be displayed (displayed in an identifiable manner) with an image size smaller than that of the captured image or the composite image.
  • the viewpoint image may be output for display, and the entire image or composite image may be output for image processing or recording.
  • combinations other than this example may be used.
  • the image to be output may be selectable.
  • the image to be output may be selected according to the instruction or application of the application or the user.
  • the imaging process of FIG. 6 is started.
  • the control unit 81 selects an image to be output in step S161. That is, the control unit 81 selects whether to output the entire image, the viewpoint image, or the composite image.
  • the control unit 81 makes this selection according to, for example, an application, an instruction from a user, or an application. It should be noted that the instruction by the user may be given by setting by the menu before starting the imaging process.
  • step S162 the control unit 81 determines whether or not to output the entire image. If it is determined that the entire image is output, the process proceeds to step S163.
  • step S163 each processing unit of the camera 10 executes an imaging process for outputting the entire image (for example, an imaging process described with reference to the flowchart of FIG. 6).
  • step S163 the process proceeds to step S164.
  • step S162 If it is determined in step S162 that the entire image is not output, the process of step S163 is skipped and the process proceeds to step S164.
  • step S164 the control unit 81 determines whether or not to output the viewpoint image. If it is determined that the viewpoint image is output, the process proceeds to step S165.
  • step S165 each processing unit of the camera 10 executes an imaging process for outputting each viewpoint image (for example, an imaging process described with reference to the flowchart of FIG. 8).
  • an imaging process for example, an imaging process described with reference to the flowchart of FIG. 8.
  • step S164 If it is determined in step S164 that the viewpoint image is not output, the process proceeds to step S166.
  • step S166 each processing unit of the camera 10 executes an imaging process for outputting a composite image (for example, an imaging process described with reference to the flowchart of FIG. 10).
  • an imaging process for example, an imaging process described with reference to the flowchart of FIG. 10.
  • control unit 81 can output an image suitable for a wider variety of applications.
  • Second Embodiment> ⁇ Use of spot light> It should be noted that the captured image may be corrected in the rotation direction.
  • the lens barrel of the camera 10 other 5 ommatidium optical system 31 0 to ommatidium optical system 31 4, the two light sources 32L and the light source 32R is provided with a plurality a is There is.
  • the light source 32L and the light source 32R are provided at the right end and the left end positions of the lens barrel when the camera 10 is viewed from the front, respectively.
  • the light source 32L and the light source 32R are composed of, for example, an LED (Light Emitting Diode), a laser, or the like, and irradiate spot light from the front side to the back side of the camera 10.
  • LED Light Emitting Diode
  • the light source 32R are composed of, for example, an LED (Light Emitting Diode), a laser, or the like, and irradiate spot light from the front side to the back side of the camera 10.
  • the spot light emitted by the light source 32L and the light source 32R is received by the image sensor 51 of the camera 10.
  • Figure 12 shows an example of the arrangement of the single-eye optical systems 31 0 to ommatidium optical system 31 4, and the light source 32L and the light source 32R in the lens barrel of the camera 10, the captured image captured using the multi-view optical system 30 It is a figure which shows.
  • a of FIG. 12 is a rear view showing an example of arrangement of 0 to ommatidium optical system 31 ommatidium optical system 31 in the lens barrel 151 4 and the light source 32L and the light source 32R.
  • ommatidium optical system 31 0 to ommatidium optical system 31 4 as described in FIG. 1, in the two-dimensional plane parallel to the light receiving surface of the image sensor 51, a single-eye optical system 31 0 As the center, the other four individual eye optical systems 31 1 to the individual eye optical system 3 14 are arranged so as to form the vertices of the rectangle.
  • ommatidium optical system 31 1 ommatidium optical system 31 1
  • ommatidia optical system 31 0 disposed in the upper right
  • ommatidium optical system 31 2 is disposed on the upper left of the ommatidium optical system 31 0.
  • ommatidia optical system 31 3 is disposed on the lower left of the ommatidium optical system 31
  • ommatidium optical system 31 4 are disposed in the lower right of the ommatidium optical system 31 0.
  • the light source 32L is arranged at the left end position of the lens barrel 151 having a substantially circular plane
  • the light source 32R is a light source with respect to the center (center) of the lens barrel 151 having a substantially circular plane. It is located at the right end position on the opposite side of 32L.
  • the light source 32L and the light source 32R can be arranged at arbitrary different positions on the lens barrel 151.
  • the light source 32L and the light source 32R include a spot light image PL and a spot light image PR of the spot light irradiated by each of the light source 32L and the light source 32R on the captured image captured by the image sensor 51. It can be arranged so as to be located outside the region of the ocular image (outside the range where the light passing through the individual eye optical system 31 i is irradiated). In this case, it is possible to prevent the spot light image PL and the spot light image PR from being duplicated on the individual eye image and deteriorating the image quality of the individual eye image.
  • the captured image captured by the image sensor 51 of camera 10 comprises a lens barrel 151 ommatidia optical system 31 0 to 31 4 and the light source 32L and the light source 32R are arranged as shown in A in FIG. 12 It is a figure which shows an example.
  • the captured image captured by the image sensor 51 of camera 10 comprises a lens barrel 151 having a single-eye optical system 31 0 to ommatidium optical system 31 4, and the light source 32L and the light source 32R, ommatidium optical system 31 0 to pieces eye Individual eye image E0, individual eye image E1, and individual eye image E2 corresponding to the image formed by the light source focused by each of the academic systems 31 4 .
  • the individual eye image E3 and the individual eye image E4, and the spot light image PL and the spot light image PR of the spot light of each of the light source 32L and the light source 32R are included.
  • the mounting position of the multi-lens optical system 30 with respect to the light receiving surface of the image sensor 51 of the camera 10 may shift.
  • the error of the actual mounting position with respect to the design mounting position of the multi-lens optical system 30 will be referred to as a mounting error.
  • the attachment position may deviate from the design attachment position. That is, there may be an error in the mounting position of the multi-lens optical system 30.
  • the mounting position of the multi-lens optical system 30 may change due to a large impact being applied to the camera 10 to which the multi-lens optical system 30 is mounted. That is, there may be an error in the mounting position of the multi-lens optical system 30.
  • an error in at least one of the x-direction, y-direction, and z-direction of the mounting position of the multi-lens optical system 30. Further, for example, an error may occur in the rotation direction of the surface of the mounting position of the multi-lens optical system 30 parallel to the image sensor 51.
  • an error in at least one of the x-direction, y-direction, and z-direction of the mounting position of the multi-lens optical system 30. Further, for example, an error may occur in the rotation direction of the surface of the mounting position of the multi-lens optical system 30 parallel to the image sensor 51.
  • the individual eye image E # i is an image similar to the image obtained by imaging with the position of the individual eye optical system 31 i as the viewpoint, and therefore, the individual eye images E0 to the individual eye image E4 are , Images with different viewpoints.
  • ommatidium images E0 to ommatidium image E4 is viewpoint of different images, for example, the case of obtaining the disparity information, the ommatidium optical system 31 0 to ommatidium optical system 31 4, required baseline length and the baseline angle It becomes.
  • the baseline angle thereof changes depending on the mounting error of the multi-lens optical system 30. Therefore, in order to obtain accurate parallax information using the individual eye image E0 to the individual eye image E4, it is necessary to deal with the mounting error.
  • the entire image 130 is used to derive the mounting error (for example, relative rotation error (lens rotation amount)) at the time of imaging by using the spot light image PL and the spot light image PR, and suppress the mounting error. Correct the position of.
  • the mounting error for example, relative rotation error (lens rotation amount)
  • the whole image includes the spot light image PL and the spot light image PR. Therefore, when outputting the entire image, the image before the position is corrected is output.
  • the whole image is associated with spot light information, which is information about a spot light image formed in a region of the whole image that is not the viewpoint image, so that position correction can be applied later.
  • control unit 81 reads out the viewpoint-related information and the spot light information from the storage medium 83 via the storage unit 82 in step S181, and sets them in the area identification unit 56.
  • the spot light information may be included in the viewpoint-related information.
  • the spot light information may include, for example, spot light identification information for identifying each of a plurality of spot light images formed in the captured image.
  • the spot light information may include spot light imaging position information indicating the position of the spot light image in the captured image.
  • spot light imaging position information how the position of the spot light image is indicated is arbitrary. For example, it may be indicated by the center coordinates of the spot light and the magnitude of the spot light. That is, the spot light imaging position information may include information indicating the center coordinates of the spot light in the captured image and the magnitude of the spot light. Further, the spot light imaging position information may include only the center coordinates of the spot light in the captured image (do not include information indicating the magnitude of the spot light). Further, the spot light imaging position information may include the angle information of the two spot lights.
  • step S182 the display unit 61 displays a through image.
  • This process is executed in a state before performing imaging to generate an captured image for recording. That is, in the state before the user operates the shutter button, the display unit 61 displays the through image as in the case of FIG.
  • step S183 the image sensor 51 controls the multi-eye optical system 30 (a plurality of individual eye optical systems 31) under the control of the control unit 81. ), And a RAW format captured image (whole image) (for recording) is generated.
  • the area extraction unit 53 uses the entire captured image in the RAW format generated by the image sensor 51 as the entire image and supplies it to the camera signal processing unit 54. Further, for example, the region extraction unit 53 extracts a part of the region including all the individual eye images from the captured image in the RAW format generated by the image sensor 51, and supplies the entire region to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the entire image in the RAW format and generates an entire image in the YC format.
  • the camera signal processing unit 54 supplies the entire image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information (including spot light information) set in step S181 to the association unit 70.
  • step S184 the association unit 70 associates the viewpoint-related information set in step S181 with the spot light information on the entire image.
  • the association unit 70 associates viewpoint-related information including spot light information with the entire image.
  • the storage unit 62 may store the entire image and the viewpoint-related information (including spot light information) in the storage medium 63 in association with each other.
  • the communication unit 64 may transmit the entire image and the viewpoint-related information (including the spot light information) in association with each other.
  • the file forming unit 65 may associate the whole image and the viewpoint-related information (including the spot light information) with each other by making a file and generating one file.
  • the display unit 61 may display a confirmation image for confirming the output overall image.
  • step S184 When the process of step S184 is completed, the imaging process is completed.
  • the captured image includes the spot light image PL and the spot light image PR, the position of the spot light image detected from the captured image and the spot light by associating the spot light information with the captured image as described above. It is possible to compare the position of the spot light image indicated by the information. Therefore, the captured image can be corrected later based on the comparison result.
  • the viewpoint image does not include the spot light image PL and the spot light image PR. Therefore, when the position correction is applied later, in addition to the viewpoint image and the viewpoint-related information, the spot light image which is an image of the area including the spot light image PL and the spot light image PR and the spot light information are also output. May be good.
  • control unit 81 reads out the viewpoint-related information and the spot light information from the storage medium 83 via the storage unit 82 in step S201, and sets them in the area identification unit 56.
  • the spot light information may be included in the viewpoint-related information.
  • This spot light information is the same as that described above in ⁇ When outputting the entire image>.
  • step S202 the display unit 61 displays a through image.
  • This process is executed in a state before performing imaging to generate an captured image for recording. That is, in the state before the user operates the shutter button, the display unit 61 displays the through image as in the case of FIG.
  • step S203 the image sensor 51 controls the multi-eye optical system 30 (a plurality of individual eye optical systems 31) under the control of the control unit 81. ) To image the subject and generate a captured image in RAW format (for recording).
  • step S204 the area extraction unit 53 extracts each viewpoint image from the captured image obtained in step S203 based on the viewpoint-related information (viewpoint area information) set in the area identification unit 56 in step S201.
  • step S205 the area extraction unit 53 assigns viewpoint identification information (for example, an identification number) for identifying each viewpoint image to each extracted viewpoint image. For example, viewpoint identification information is added to each viewpoint image. That is, by this processing, each viewpoint image includes the viewpoint identification information.
  • viewpoint identification information for example, an identification number
  • the area extraction unit 53 supplies each viewpoint image to which the viewpoint identification information is assigned to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on each viewpoint image in the RAW format and generates each viewpoint image in the YC format. As described above, viewpoint identification information is assigned to each viewpoint image in this YC format.
  • the camera signal processing unit 54 supplies each viewpoint image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information and the spot light information set in step S201 to the association unit 70.
  • step S206 the association unit 70 associates each viewpoint image with the viewpoint-related information set in the area specifying unit 56 in step S201.
  • the association unit 70 associates each viewpoint image with the viewpoint-related information (viewpoint area information) using the viewpoint identification information.
  • step S207 the association unit 70 sets the time stamp information (viewpoint time information) indicating the imaging timing of the captured image from which the viewpoint image is extracted to the viewpoint-related information associated with each viewpoint image in step S206. That is, by this processing, the viewpoint-related information includes the time stamp information.
  • step S208 the area extraction unit 53 extracts each spot light image from the captured image based on the spot light information set in the area identification unit 56 in step S201.
  • step S209 the region extraction unit assigns spot light identification information (for example, an identification number) for identifying the spot light to each spot light image extracted in step S208.
  • spot light identification information for example, an identification number
  • spot light identification information is added to each spot light image. That is, by this processing, each spot light image includes spot light identification information.
  • step S210 the association unit 70 associates the spot light information of the viewpoint-related information with each spot light image.
  • the association unit 70 associates each spot light image with the spot light information by using the spot light identification information.
  • the spot light information may be included in the viewpoint-related information.
  • step S210 When the process of step S210 is completed, the imaging process is completed.
  • position correction for example, rotation correction
  • the spot light image and the spot light information are also output when the position correction (for example, rotation correction) is not performed, but the present invention is not limited to this example.
  • the position correction amount (lens rotation amount)
  • it is possible to correct the positional deviation of the viewpoint area information (the viewpoint area information can be made to correspond to the viewpoint image). That is, instead of the spot light image and the spot light information, this position correction amount (lens rotation amount) may be associated with the composite image and output.
  • the position correction amount (lens rotation amount) can be derived from a spot light image, spot light information, or the like.
  • control unit 81 reads out the viewpoint-related information and the spot light information from the storage medium 83 via the storage unit 82 in step S221 and sets them in the area identification unit 56.
  • the spot light information may be included in the viewpoint-related information.
  • This spot light information is the same as that described above in ⁇ when outputting the entire image> and ⁇ when outputting without performing position correction>.
  • step S222 the display unit 61 displays a through image.
  • This process is executed in a state before performing imaging to generate an captured image for recording. That is, in the state before the user operates the shutter button, the display unit 61 displays the through image as in the case of FIG.
  • step S223 the image sensor 51 controls the multi-eye optical system 30 (a plurality of individual eye optical systems 31) under the control of the control unit 81. ) To image the subject and generate a captured image in RAW format (for recording).
  • step S224 the area specifying unit 56 derives a position correction amount (for example, a lens rotation amount) based on the spot light information.
  • a position correction amount for example, a lens rotation amount
  • step S225 the area specifying unit 56 performs position correction (for example, rotation correction) and updates the viewpoint area information based on the position correction amount (for example, lens rotation amount).
  • position correction for example, rotation correction
  • the position correction amount for example, lens rotation amount
  • step S226 the area extraction unit 53 extracts each viewpoint image from the captured image generated in step S223 based on the updated viewpoint area information.
  • step S227 the area extraction unit 53 assigns viewpoint identification information (for example, an identification number) for identifying each viewpoint image to each extracted viewpoint image. For example, viewpoint identification information is added to each viewpoint image. That is, by this processing, each viewpoint image includes the viewpoint identification information.
  • viewpoint identification information for example, an identification number
  • the area extraction unit 53 supplies each viewpoint image to which the viewpoint identification information is assigned to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on each viewpoint image in the RAW format and generates each viewpoint image in the YC format. As described above, viewpoint identification information is assigned to each viewpoint image in this YC format.
  • the camera signal processing unit 54 supplies each viewpoint image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information and the spot light information set in step S221 to the association unit 70.
  • step S2208 the association unit 70 associates each viewpoint image with the viewpoint-related information set in the area specifying unit 56 in step S201.
  • the association unit 70 associates each viewpoint image with the viewpoint-related information (viewpoint area information) using the viewpoint identification information.
  • step S229 the association unit 70 sets the time stamp information (viewpoint time information) to the viewpoint-related information associated with each viewpoint image in step S206. That is, by this processing, the viewpoint-related information includes the time stamp information.
  • step S229 When the process of step S229 is completed, the imaging process is completed.
  • each viewpoint image can be extracted, and the viewpoint-related information can be associated and output. Therefore, image processing using the viewpoint image can be performed more easily.
  • the composite image does not include the spot light image PL and the spot light image PR. Therefore, when the rotation correction is applied later, in addition to the composite image and the viewpoint-related information, the spot light image which is an image of the region including the spot light image PL and the spot light image PR and the spot light information thereof are also output.
  • control unit 81 reads out the viewpoint-related information and the spot light information from the storage medium 83 via the storage unit 82 in step S241 and sets them in the area identification unit 56.
  • the spot light information may be included in the viewpoint-related information.
  • This spot light information is the same as that described above in ⁇ when outputting the entire image> and ⁇ when outputting the viewpoint image>.
  • step S242 the display unit 61 displays a through image.
  • This process is executed in a state before performing imaging to generate an captured image for recording. That is, in the state before the user operates the shutter button, the display unit 61 displays the through image as in the case of FIG.
  • step S243 the image sensor 51 controls the multi-eye optical system 30 (a plurality of individual eye optical systems 31) according to the control of the control unit 81. ) To image the subject and generate a captured image in RAW format (for recording).
  • step S244 the area extraction unit 53 extracts each viewpoint image from the captured image based on the viewpoint-related information (viewpoint area information) set in the area identification unit 56 in step S241.
  • step S245 the area extraction unit 53 arranges and synthesizes the viewpoint images extracted in step S244 to generate a composite image.
  • the area extraction unit 53 supplies the generated composite image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the RAW format composite image to generate a YC format composite image.
  • the camera signal processing unit 54 supplies the composite image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information set in step S241 to the association unit 70.
  • step S246 the association unit 70 associates the composite image with the viewpoint-related information set in the area identification unit 56 in step S241.
  • step S247 the region extraction unit 53 extracts each spot light image from the captured image based on the spot light information set in the region identification unit 56 in step S241.
  • step S248 the area extraction unit 53 assigns spot light identification information (for example, an identification number) for identifying each spot light image to each spot light image extracted in step S247.
  • spot light identification information for example, an identification number
  • spot light identification information is added to each spot light image. That is, by this processing, each spot light image includes spot light identification information.
  • the area extraction unit 53 supplies each spot light image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the RAW format spot light image to generate a YC format spot light image.
  • the camera signal processing unit 54 supplies the spot light image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the spot light information set in step S241 to the association unit 70.
  • step S249 the association unit 70 associates the spot light information with each spot light image.
  • the association unit 70 associates each spot light image with the spot light information by using the spot light identification information.
  • step S249 the imaging process is completed.
  • the spot light image and the spot light information are also output when the position correction (for example, rotation correction) is not performed, but the present invention is not limited to this example.
  • the position correction amount (lens rotation amount)
  • it is possible to correct the positional deviation of the viewpoint area information (the viewpoint area information can be made to correspond to the viewpoint image). That is, instead of the spot light image and the spot light information, this position correction amount (lens rotation amount) may be associated with the composite image and output.
  • the position correction amount (lens rotation amount) can be derived from a spot light image, spot light information, or the like.
  • control unit 81 reads out the viewpoint-related information and the spot light information from the storage medium 83 via the storage unit 82 in step S261 and sets them in the area identification unit 56.
  • the spot light information may be included in the viewpoint-related information.
  • This spot light information is the same as that described above in ⁇ when outputting the entire image> and ⁇ when outputting the viewpoint image>.
  • step S262 the display unit 61 displays a through image.
  • This process is executed in a state before performing imaging to generate an captured image for recording. That is, in the state before the user operates the shutter button, the display unit 61 displays the through image as in the case of FIG.
  • step S263 the image sensor 51 controls the multi-eye optical system 30 (a plurality of individual eye optical systems 31) under the control of the control unit 81. ) To image the subject and generate a captured image in RAW format (for recording).
  • step S264 the area specifying unit 56 derives a position correction amount (for example, a lens rotation amount) based on the spot light information.
  • a position correction amount for example, a lens rotation amount
  • step S265 the area specifying unit 56 performs position correction (for example, rotation correction) and updates the viewpoint area information based on the position correction amount (for example, lens rotation amount).
  • position correction for example, rotation correction
  • the position correction amount for example, lens rotation amount
  • step S266 the area extraction unit 53 extracts each viewpoint image from the captured image generated in step S263 based on the updated viewpoint area information.
  • step S267 the region extraction unit 53 arranges and synthesizes the extracted viewpoint images to generate a composite image.
  • the area extraction unit 53 supplies the generated composite image to the camera signal processing unit 54.
  • the camera signal processing unit 54 performs camera signal processing on the RAW format composite image and generates a YC format composite image.
  • the camera signal processing unit 54 supplies the composite image to the association unit 70 (storage unit 62, communication unit 64, or file conversion unit 65). Further, the area specifying unit 56 supplies the viewpoint-related information set in step S241 to the association unit 70.
  • step S268 the association unit 70 associates the composite image with the viewpoint-related information set in the area identification unit 56 in step S261.
  • step S268 When the process of step S268 is completed, the imaging process is completed.
  • RGB images in the case of a color image sensor
  • Depth depth information
  • those applications using RGBD can be applied to the field of video production such as lens emulation, CG (Computer Graphics), and composition using the depth of live action.
  • FIG. 18 is a block diagram showing a main configuration example of an image processing device according to an embodiment to which the present technology is applied.
  • the image processing device 200 is a device that acquires an image or the like output from the camera 10 and performs image processing or the like.
  • the configuration shown in FIG. 18 may be a part of the configuration of the camera 10.
  • the image processing device 200 includes a communication unit 211, an image processing unit 212, an image reconstruction processing unit 213, and an output unit 214.
  • the communication unit 211 communicates with the communication unit 64 of the camera 10 and acquires an image (overall image, viewpoint image, or composite image) associated with viewpoint-related information.
  • the communication unit 211 supplies the acquired image or the like to the image processing unit 212.
  • the image (whole image, viewpoint image, or composite image) to which the viewpoint-related information is associated may be supplied to the image processing device 200 via the recording medium.
  • the image processing device 200 may have a storage unit instead of the communication unit 211, and the storage unit may read an image from a storage medium (for example, a removable storage medium) and supply the image to the image processing unit 212. ..
  • the image processing unit 212 performs arbitrary image processing on the image (overall image, viewpoint image, or composite image) supplied from the communication unit 211.
  • the image processing unit 212 can perform image processing on the image supplied by the communication unit 211 using the viewpoint-related information associated with the image.
  • the image processing unit 212 can cut out a viewpoint image from the entire image or the composite image by using the viewpoint identification information, the viewpoint area information, and the like included in the viewpoint-related information. Further, for example, it is possible to correct the positional deviation of each viewpoint area information (for example, rotation correction). Further, for example, when an image is compressed (encoded) and supplied, the image processing unit 212 decodes (decompresses) the encoded data by a predetermined method corresponding to the compression (encoding) method. You can also do it.
  • the image processing unit 212 can supply the image after image processing to the image reconstruction processing unit 213.
  • the image processing by the image processing unit can be skipped. That is, the communication unit 211 can also supply the acquired image or the like to the image reconstruction processing unit 213.
  • the image reconstruction processing unit 213 is a processing unit similar to the image reconstruction processing unit 57, and for example, generation of depth information, refocusing for generating (reconstructing) an image focused on an arbitrary subject, and the like. Perform image processing. At that time, the image reconstruction processing unit 213 may perform this processing using the viewpoint-related information. For example, the image reconstruction processing unit 213 acquires, for example, an image supplied from the communication unit 211 or the image processing unit 212, and performs processing such as generation of depth information and refocusing on the acquired image. be able to. Further, the image reconstruction processing unit 213 acquires an image or the like stored in the storage medium 223 via the storage unit 222 described later, and processes such as generation of depth information and refocusing on the acquired image. It can be performed. The image reconstruction processing unit 213 supplies data such as an image after processing to the output unit 214.
  • the output unit 214 performs processing related to the output of the data supplied from the image reconstruction processing unit 213.
  • the output unit 214 has, for example, a bus 220, a display unit 221 and a storage unit 222.
  • the display unit 221 and the storage unit 222, and the image reconstruction processing unit 213 are connected to the bus 220.
  • the bus 220 transmits data exchanged between these processing units.
  • the display unit 221 is a processing unit similar to the display unit 61, and is composed of, for example, a liquid crystal panel, an organic EL panel, or the like.
  • the display unit 221 displays, for example, an captured image, a viewpoint image, or a composite image supplied from the image reconstruction processing unit 213 or the storage unit 222.
  • the storage unit 222 controls the storage of the storage medium 223 made of, for example, a semiconductor memory or the like.
  • the storage medium 223 may be a removable storage medium or a storage medium built in the image processing device 200.
  • the storage unit 222 can store an image (captured image, viewpoint image, or composite image) supplied via the bus 220, a viewpoint-related information, or the like in the storage medium 223 in response to a user operation or the like. ..
  • the storage unit 222 can read out the image or the like stored in the storage medium 223 and supply it to the image reconstruction processing unit 213 to perform processing such as generation of depth information and refocusing. Further, the storage unit 222 can read out an image or the like stored in the storage medium 223, supply it to the display unit 221 and display it.
  • the image processing device 200 performs image reconstruction processing on the image output from the camera 10, and performs processing such as generation of depth information and refocusing.
  • the communication unit 211 acquires the images and viewpoint-related information associated with each other transmitted from the camera 10 in step S281, and supplies them to the image processing unit 212.
  • the image processing unit 212 generates a viewpoint image to be processed in the image reconstruction process. That is, in step S282, the image processing unit 212 determines whether or not the acquired image is a viewpoint image. If it is determined that it is not a viewpoint image, that is, it is an entire image or a composite image, the process proceeds to step S283.
  • step S283 the image processing unit 212 extracts each viewpoint image from the whole image or the composite image based on the viewpoint area information.
  • the process of step S283 proceeds to step S284.
  • step S282 If it is determined in step S282 that the acquired image is a viewpoint image, the process of step S283 (extraction of the viewpoint image) is omitted, and the process proceeds to step S284. Then, the image processing unit 212 supplies each viewpoint image and viewpoint area information to the image reconstruction processing unit 213.
  • step S284 the image reconstruction processing unit 213 performs multi-eye matching that matches the image supplied from the image processing unit 212 from multiple viewpoints, and generates depth information. Further, in step S285, the image reconstruction processing unit 213 refocuses the image supplied from the image processing unit 212.
  • step S286 the output unit 214 outputs an image in which processing such as depth information generation and refocusing has been performed in steps S284 and S285.
  • step S286 When the process of step S286 is completed, the image processing is completed.
  • the image processing device 200 can perform processing such as generation of depth information and refocusing using the viewpoint-related information associated with the image. Therefore, the image processing device 200 can perform image processing using the viewpoint image.
  • the image processing device 200 which is the receiving side (decoding side) of the bit stream, may correct the viewpoint-related information and the like.
  • the image processing unit 212 may correct the positional deviation of the viewpoint region information included in the viewpoint-related information (for example, perform rotation correction).
  • the communication unit 211 acquires the images and viewpoint-related information associated with each other transmitted from the camera 10 in step S301, and supplies them to the image processing unit 212.
  • the image processing unit 212 generates a viewpoint image to be processed in the image reconstruction process. That is, in step S302, the image processing unit 212 determines whether or not the acquired image is a viewpoint image. If it is determined that it is not a viewpoint image, that is, it is an entire image or a composite image, the process proceeds to step S303.
  • the image processing unit 212 performs position correction. For example, the image processing unit 212 detects spot light from the acquired image. Further, the image processing unit 212 derives a position correction amount (for example, a lens rotation amount) based on the detected spot light image (that is, the spot light image) and the spot light information included in the viewpoint-related information. Then, the image processing unit 212 corrects the viewpoint region information using the derived position correction amount, and adjusts the image to the image. As a result, the positional deviation between the viewpoint image and the viewpoint area information is reduced.
  • a position correction amount for example, a lens rotation amount
  • step S304 the image processing unit 212 extracts each viewpoint image from the whole image or the composite image based on the viewpoint-related information.
  • the process of step S304 proceeds to step S305.
  • step S302 If it is determined in step S302 that the acquired image is a viewpoint image, the processing of steps S303 and S304 (extraction of the viewpoint image) is omitted, and the processing proceeds to step S305. Then, the image processing unit 212 supplies each viewpoint image and viewpoint-related information to the image reconstruction processing unit 213.
  • step S305 the image reconstruction processing unit 213 performs multi-eye matching that matches the image supplied from the image processing unit 212 with respect to the image supplied from the image processing unit 212 from multiple viewpoints, and performs depth information. To generate. Further, in step S306, the image reconstruction processing unit 213 refocuses the image supplied from the image processing unit 212.
  • step S307 the output unit 214 outputs an image that has undergone processing such as depth information generation and refocusing in steps S305 and S306.
  • step S307 When the processing of step S307 is completed, the image processing is completed.
  • the image processing device 200 can perform processing such as generation of depth information and refocusing using the viewpoint-related information associated with the image. Therefore, the image processing device 200 can perform image processing using the viewpoint image.
  • FIG. 21 is a perspective view showing a configuration example of an embodiment of a camera system to which the present technology is applied.
  • the camera system 301 shown in FIG. 21 is composed of a camera body 310 and a multi-lens interchangeable lens 320 (lens unit).
  • the camera system 301 In a state where the multi-lens interchangeable lens 320 is attached to the camera body 310, the camera system 301 has the same configuration as the camera 10, and basically performs the same processing. That is, the camera system 301 functions as an imaging device similar to the camera 10 that captures a subject and generates image data of the captured image.
  • the camera body 310 has a removable multi-lens interchangeable lens 320. That is, the camera body 310 has a camera mount 311, and the multi-lens interchangeable lens 320 (lens mount 322) is attached to the camera mount 311 so that the multi-lens interchangeable lens 320 is attached to the camera body 310. It is installed. It should be noted that a general interchangeable lens other than the multi-lens interchangeable lens 320 may be attached to and detached from the camera body 310.
  • the camera body 310 has a built-in image sensor 51.
  • the image sensor 51 captures a subject by receiving light rays focused by a multi-lens interchangeable lens 320 or other interchangeable lenses mounted on the camera body 310 (camera mount 311) and performing photoelectric conversion.
  • the multi-lens interchangeable lens 320 has a lens barrel 321 and a lens mount 322. Also, the multiview interchangeable lens 320, 5 ommatidium optical system as a plurality 31 0, 31 1, 31 2, 31 3, and a 31 4.
  • the plurality of individual eye optical systems 31 in this case are configured so that the optical paths of light passing through them are independent of each other. That is, the light that has passed through each individual eye optical system 31 irradiates different positions on the light receiving surface (for example, the effective pixel region) of the image sensor 51 without incident on the other individual eye optical system 31. At least, the optical axes of each individual eye optical system 31 are located at different positions on the light receiving surface of the image sensor 51, and at least a part of the light passing through each individual eye optical system 31 is on the light receiving surface of the image sensor 51. Irradiate different positions.
  • the images of the subjects formed via the individual eye optical systems 31 are different from each other in the captured images (the entire image output by the image sensor 51) generated by the image sensor 51. Formed in position.
  • an captured image also referred to as a viewpoint image
  • a plurality of viewpoint images can be obtained by attaching the multi-eye interchangeable lens 320 to the camera body 310 and photographing the subject.
  • the lens barrel 321 has a substantially cylindrical shape, and a lens mount 322 is formed on the bottom surface side of one of the cylindrical shapes.
  • the lens mount 322 is attached to the camera mount 311 of the camera body 310 when the multi-lens interchangeable lens 320 is attached to the camera body 310.
  • the five individual eye optical systems 31 are arranged on a two-dimensional plane orthogonal to the optical axis of the lens barrel (parallel to the light receiving surface (imaging surface) of the image sensor 51) with the individual eye optical system 310 as the center (centroid).
  • the other four individual eye optical systems 31 1 to the individual eye optical system 3 14 are provided on the multi-lens interchangeable lens 320 so as to form the vertices of a rectangle.
  • the arrangement shown in FIG. 21 is an example, and the positional relationship of each individual eye optical system 31 is arbitrary as long as the optical paths are independent of each other.
  • FIG. 22 is a block diagram showing an example of an electrical configuration of the camera system 301 of FIG.
  • the camera body 310 includes an image sensor 51, a RAW signal processing unit 52, an area extraction unit 53, a camera signal processing unit 54, a through image generation unit 55, an area identification unit 56, an image reconstruction processing unit 57, and a bus. It has a display unit 61, a storage unit 62, a communication unit 64, a file conversion unit 65, a control unit 81, and a storage unit 82. That is, the camera body 310 has a configuration other than the multi-lens optical system 30 and the optical system control unit 84 provided in the lens barrel portion of the camera 10.
  • the camera body 310 has a communication unit 341 in addition to the above configuration.
  • the communication unit 341 is a processing unit that communicates with the multi-lens interchangeable lens 320 (communication unit 351) that is correctly mounted on the camera body 310 to exchange information and the like.
  • the communication unit 341 can communicate with the multi-lens interchangeable lens 320 by any communication method.
  • the communication may be wired communication or wireless communication.
  • the communication unit 341 is controlled by the control unit 81, performs the communication, and acquires the information supplied from the multi-lens interchangeable lens 320. Further, for example, the communication unit 341 supplies the information supplied from the control unit 81 to the multi-lens interchangeable lens 320 by the communication.
  • the information exchanged with the multi-lens interchangeable lens 320 is arbitrary. For example, it may be data or control information such as commands and control parameters.
  • the multi-lens interchangeable lens 320 has a communication unit 351 and a storage unit 352 in addition to the multi-lens optical system 30 and the optical system control unit 84.
  • the communication unit 351 communicates with the communication unit 341 in the multi-lens interchangeable lens 320 correctly attached to the camera body 310. Through this communication, information is exchanged between the camera body 310 and the multi-lens interchangeable lens 320.
  • the communication method of the communication unit 351 is arbitrary, and may be wired communication or wireless communication. Further, the information exchanged by this communication may be data or control information such as commands and control parameters.
  • the communication unit 351 acquires the control information transmitted from the camera body 310 via the communication unit 341.
  • the communication unit 351 can supply the information acquired in this way to the optical system control unit 84, if necessary, and use it for controlling the multi-eye optical system 30.
  • the communication unit 351 can supply the acquired information to the storage unit 352 and store it in the storage medium 353. Further, the communication unit 351 can read the information stored in the storage medium 353 via the storage unit 352 and transmit it to the camera body 310 (communication unit 341).
  • the storage location of the viewpoint-related information corresponding to the multi-lens interchangeable lens 320 (that is, the multi-lens optical system 30) is arbitrary. For example, it may be stored in the storage medium 353 of the multi-lens interchangeable lens 320. Then, for example, the control unit 81 of the camera body 310 may access the storage unit 352 via the communication unit 351 and the communication unit 341 and have the viewpoint-related information read from the storage medium 353. Then, when the control unit 81 acquires the viewpoint-related information, it may be supplied to the area identification unit 56 and set.
  • the multi-lens interchangeable lens 320 when the multi-lens interchangeable lens 320 is correctly attached to the camera body 310, when the power is turned on to the camera system 301, or when the drive mode of the camera system 301 shifts to an imaging mode capable of imaging a subject, etc. Such processing may be performed at an arbitrary timing or trigger before the imaging.
  • the camera body 310 can perform image processing using the viewpoint image by using the viewpoint-related information corresponding to the multi-eye interchangeable lens 320 (that is, the multi-eye optical system 30).
  • the control unit 81 supplies the viewpoint-related information of the multi-eye interchangeable lens 320 acquired from the multi-lens interchangeable lens 320 to the storage unit 82 together with the identification information (hereinafter referred to as ID) of the multi-eye interchangeable lens 320. , May be memorized.
  • ID the identification information
  • the storage unit 82 stores the supplied identification information and the viewpoint-related information in the storage medium 83 in association with each other. That is, the camera body 310 can manage the viewpoint-related information and the ID of the multi-lens interchangeable lens 320. Therefore, the camera body 310 can manage the viewpoint-related information of the plurality of multi-lens interchangeable lenses 320.
  • control unit 81 can read the viewpoint-related information corresponding to the ID from the storage unit 82 (storage medium 83) by acquiring the ID of the multi-lens interchangeable lens 320 from the next time. .. That is, the control unit 81 can easily acquire the viewpoint-related information corresponding to the multi-lens interchangeable lens 320.
  • the storage medium 83 may store the viewpoint-related information of the plurality of multi-lens interchangeable lenses 320 in advance in association with the ID of the multi-eye interchangeable lens 320. That is, in this case, the camera body 310 manages the viewpoint-related information of the plurality of multi-lens interchangeable lenses 320 in advance.
  • control unit 81 can easily obtain the viewpoint-related information corresponding to the ID from the storage unit 82 (storage medium 83) by using the ID of the multi-lens interchangeable lens 320 correctly mounted on the camera body 310. Can be read to.
  • Addendum> ⁇ Computer> The series of processes described above can be executed by hardware or by software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 23 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • the present technology can be applied to any configuration.
  • the present technology is a device such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, or a set in which other functions are added to the unit. It can also be implemented as a partial configuration.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • the present technology may be implemented in a cloud service that provides services to arbitrary terminals such as computers, portable information processing terminals, and IoT (Internet of Things) devices.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing departments, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, or may be executed in parallel or in calls. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • An image sensor having an association unit for associating viewpoint-related information, which is information used to identify.
  • the imaging device includes coordinates corresponding to the optical axis of the individual eye optical system in the captured image and the resolution of the viewpoint image.
  • the viewpoint-related information includes cutout area designation information indicating a partial area cut out from the viewpoint image.
  • the viewpoint-related information includes viewpoint identification information for identifying each of the plurality of viewpoint images extracted from the captured image when associated with the plurality of viewpoint images or the composite image (1).
  • the imaging device according to any one of (4).
  • (6) The imaging device according to any one of (1) to (5), wherein when the viewpoint-related information is associated with the plurality of viewpoint images, the viewpoint time information indicating the time when the captured image is captured is included.
  • the imaging device according to any one of (1) to (5), wherein at least one of the captured image, the viewpoint image, and the composite image is a RAW image.
  • the image pickup apparatus according to any one of (1) to (7), wherein at least one of the captured image, the viewpoint image, and the composite image is a YC image.
  • the association unit is information about an image of spot light formed in a region of the captured image that is not the plurality of viewpoint images with respect to the captured image, the plurality of viewpoint images, or the composite image.
  • the imaging device according to any one of (1) to (8), which associates optical information.
  • the imaging device includes spot light identification information for identifying each of a plurality of the spot light images formed on the captured image.
  • the imaging apparatus according to (9) or (10), wherein the spot light information includes spot light imaging position information indicating the position of the spot light image in the captured image.
  • the association unit extracts a spot light image, which is an image of a region containing the spot light, from the captured image and associates the spot light information with the plurality of viewpoint images or the composite image to which the spot light information is associated (9).
  • the image pickup apparatus according to any one of (11).
  • the associating portion rotates-corrects the captured image by using an image of spot light formed in a region other than the plurality of viewpoint images of the captured image, and rotates-corrects the captured image and the rotation-corrected image.
  • the viewpoint-related information is associated with the plurality of viewpoint images extracted from the captured image or the composite image in which the plurality of viewpoint images extracted from the rotation-corrected captured image are combined.
  • the image pickup apparatus according to any one of 1) to (12).
  • Any one of (1) to (13) further comprising a storage unit that stores the captured image, the plurality of viewpoint images, or the composite image associated with the association unit, and the viewpoint-related information.
  • a communication unit that communicates with another device and transmits the captured image, the plurality of viewpoint images, or the composite image and the viewpoint-related information associated with the association unit to the other device.
  • the imaging device according to any one of (1) to (14).
  • the imaging apparatus according to any one of (1) to (15), further comprising an image reconstruction processing unit that performs image reconstruction processing using the viewpoint-related information and the plurality of viewpoint images.
  • an image reconstruction processing unit that performs image reconstruction processing using the viewpoint-related information and the plurality of viewpoint images.
  • a selection unit for selecting whether to associate the viewpoint-related information with the captured image, the plurality of viewpoint images, or the composite image.
  • the association unit is described in any one of (1) to (16), wherein the association unit associates the viewpoint-related information with the image selected by the selection unit among the captured image, the plurality of viewpoint images, and the composite image.
  • Imaging device (18) Further provided with an imaging unit that images a subject via a plurality of individual eye optical systems whose optical paths are independent of each other and generates the captured image.
  • the association unit is extracted from the captured image generated by the imaging unit, the plurality of viewpoint images extracted from the captured image generated by the imaging unit, or the captured image generated by the imaging unit.
  • the imaging apparatus according to any one of (1) to (17), wherein the viewpoint-related information is associated with the composite image in which the plurality of viewpoint images are combined.
  • An information processing method that associates viewpoint-related information, which is information used to identify.
  • Computer A captured image generated by imaging a subject with one image sensor via a plurality of individual eye optical systems whose optical paths are independent of each other, and a viewpoint of each of the plurality of individual eye optical systems extracted from the captured image.
  • the region of the plurality of viewpoint images in the captured image is specified with respect to the plurality of viewpoint images to be used or the composite image in which the plurality of viewpoint images corresponding to each of the plurality of individual eye optical systems are combined.
  • a program that functions as an association part that associates viewpoint-related information, which is the information used for the purpose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本開示は、視点画像を利用した画像処理を行うことができるようにする撮像装置、情報処理方法、およびプログラムに関する。 光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、その複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。本開示は、例えば、撮像装置、電子機器、複数の個眼レンズが繰り出す交換レンズやカメラシステム、情報処理方法、またはプログラム等に適用することができる。

Description

撮像装置、情報処理方法、およびプログラム
　本開示は、撮像装置、情報処理方法、およびプログラムに関し、特に、視点画像を利用した画像処理を行うことができるようにした撮像装置、情報処理方法、およびプログラムに関する。
　従来、複数の視差画像からリフォーカスや光学レンズ同様の集光処理を行う画像処理技術に関して、様々な研究がされている。例えば、100台のカメラアレイを用いて、リフォーカス処理をすることが考えられた（例えば、非特許文献１参照）。
Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Mark Horowitz, Marc Levoy, "High Performance Imaging Using Large Camera Arrays", ACM Trans. Graph. 24(3), 765-776, 2005
　しかしながら、非特許文献１では、撮像後にその撮像機器や別の機器等でリフォーカス処理等の画像処理を行うための構成は考慮されていなかった。
　本開示は、このような状況に鑑みてなされたものであり、視点画像を利用した画像処理を行うことができるようにするものである。
　本技術の一側面の撮像装置は、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部を備える撮像装置である。
　本技術の一側面の情報処理方法は、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける情報処理方法である。
　本技術の一側面のプログラムは、コンピュータを、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部として機能させるプログラムである。
　本技術の一側面の撮像装置、情報処理方法、およびプログラムにおいては、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、その複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報が関連付けられる。
本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。 カメラの電気的構成例を示すブロック図である。 ３板式のイメージセンサの例を示す図である。 撮像画像の例を示す図である。 視点画像包含領域の例を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 個眼画像の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 合成画像の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 スポット光の画像の例を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 撮像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラシステムの電気的構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（カメラ）
　２．第２の実施の形態（スポット光の利用）
　３．第３の実施の形態（画像処理装置）
　４．第４の実施の形態（カメラシステム）
　５．付記
　＜１．第１の実施の形態＞
　　＜カメラ外観＞
　図１は、本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。
　カメラ１０は、イメージセンサを内蔵し、レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。以下において、このような撮像により得られる画像を、撮像画像ともいう。
　カメラ１０は、そのイメージセンサの正面側（光が入射する側）に、複数としての５個の個眼光学系３１0，３１1，３１2，３１3、および、３１4を有する。以下においては、個眼光学系３１0乃至個眼光学系３１4を互いに区別して説明する必要がない場合、個眼光学系３１（または個眼光学系３１i）と称する。
　複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサの受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサの受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサの受光面の互いに異なる位置に照射する。
　したがって、イメージセンサにより生成される撮像画像（イメージセンサの出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、カメラ１０は、被写体を撮像することにより、複数の視点画像を得ることができる。この複数の視点画像は、例えば、奥行情報の生成や、その奥行情報を用いたリフォーカス等の処理に利用することができる。
　なお、以下においては、カメラ１０が５個の個眼光学系３１を有する例を用いて説明するが、この個眼光学系３１の数は２以上であれば任意である。
　５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサの受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１0を中心（重心）として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置される形で設けられている。もちろん、図１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。
　また、カメラ１０については、被写体からの光が入射する側の面を、正面とする。
　＜カメラの電気的構成例＞
　図２は、図１のカメラ１０の電気的構成例を示すブロック図である。カメラ１０は、多眼光学系３０、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、記憶部８２、および光学系制御部８４を有する。
　　　＜多眼光学系＞
　多眼光学系３０は、上述の個眼光学系３１（例えば個眼光学系３１0乃至個眼光学系３１4）からなる。多眼光学系３０の各個眼光学系３１は、被写体からの光線をカメラ１０のイメージセンサ５１に集光させる。各個眼光学系３１の焦点距離やF値等の仕様は任意であり、互いに同一でなくてもよいが、ここでは、互いに同一であるものとする。
　個眼光学系３１は、鏡筒光軸の光軸方向に並べられた複数のレンズや、遮蔽物の開き度合いを制御することによりその複数のレンズを介してイメージセンサ５１に入射する光の量（F値）を調整する機構である絞り等の光学系素子を有する。なお、個眼光学系３１が、レンズの位置を制御することにより、ズーム倍率を制御することができるようにしてもよい。
　　　＜イメージセンサ＞
　イメージセンサ５１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ５１の受光面には、個眼光学系３１0乃至３１4それぞれにより集光される光線が照射される。撮像画像における、１つの個眼光学系３１を介してイメージセンサ５１に照射される照射光が入力された領域に対応する画像を個眼画像とも称する。つまり、イメージセンサ５１は、それらの光線（照射光）を受光して光電変換を行うことにより、各個眼光学系３１を視点とする個眼画像を含む撮像画像を生成する。なお、個眼画像は、周辺に画像としては有効でない部分を有する。また、全ての個眼画像を含む撮像画像（つまり、イメージセンサ５１により生成された撮像画像全体や、その撮像画像から、その撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）のことを全体画像とも称する。
　なお、イメージセンサ５１は、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。
　なお、本実施の形態においてRAWフォーマットとは、イメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。また、RAWフォーマットの撮像画像は、モノクロの画像は含まないものとする。
　イメージセンサ５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０、RAW信号処理部５２、領域抽出部５３、および領域特定部５６の内の、少なくともいずれか１つに供給することができる。
　例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して通信部６４に供給し、カメラ１０の外部へ送信させることができる。さらに、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。
　なお、イメージセンサ５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。
　例えば、３板式のイメージセンサとしては、図３に示されるような、RGB（Red, Green, Blue）それぞれのための３つのイメージセンサ（イメージセンサ５１－１乃至イメージセンサ５１－３）を有するものがある。この場合、被写体からの光線は、プリズムなどの光学系（光路分離部）を利用して波長域毎に分離され、各イメージセンサに入射する。イメージセンサ５１－１乃至イメージセンサ５１－３は、それぞれ入射された光を光電変換する。つまり、イメージセンサ５１－１乃至イメージセンサ５１－３は、互いに異なる波長域の光を互いに略同一のタイミングで光電変換する。したがって、複数板式のイメージセンサの場合、各イメージセンサにおいて、互いに略同時刻に略同一の画角で撮像された撮像画像（つまり、波長域が互いに異なるだけで略同一の絵柄の画像）が得られる。したがって、各イメージセンサで得られる撮像画像における視点画像領域（後述する）の位置や大きさは、互いに略同一となる。この場合、R画像、G画像、B画像を合わせたものを、RAWフォーマットの撮像画像と捉えることができる。
　なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。
　このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。
　　　＜RAW信号処理部＞
　RAW信号処理部５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部５２は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、または圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して様々な信号処理は、信号処理後の画像が、上述したようにイメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。
　RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、および圧縮RAW（いずれも図２）を互いに区別して説明する必要が無い場合、RAW画像と称する。
　　　＜領域抽出部＞
　領域抽出部５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部５３は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部５３は、領域特定部５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。
　例えば、領域抽出部５３は、撮像画像（全体画像）から、各個眼光学系３１を視点とする画像を切り出すことができる。つまり、領域抽出部５３は、各個眼光学系３１を視点とする画像として、撮像画像に含まれる各個眼画像の領域から有効な部分を切り出すことができる。この切り出された有効な部分の画像（個眼画像の一部）を視点画像とも称する。また、撮像画像におけるその切り出される領域（視点画像に対応する領域）を視点画像領域とも称する。例えば、領域抽出部５３は、領域特定部５６から供給される、視点画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各視点画像領域を抽出する（各視点画像を切り出す）ことができる。そして、領域抽出部５３は、その切り出した各視点画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。
　また、例えば、領域抽出部５３は、撮像画像（全体画像）から切り出した各視点画像を合成し、合成画像を生成することができる。合成画像は、各視点画像が合成されて、１データ化、または、１枚の画像とされたものである。例えば、領域抽出部５３は、各視点画像を平面状に並べた１枚の画像（合成画像）を生成することができる。領域抽出部５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。
　また、例えば、領域抽出部５３は、全体画像をカメラ信号処理部５４に供給することができる。例えば、領域抽出部５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部５３において予め定められていてもよいし、領域特定部５６から供給される視点関連情報により指定されるようにしてもよい。
　また、領域抽出部５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することもできる。
　なお、領域抽出部５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、イメージセンサ５１の場合と同様に、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
　また、領域抽出部５３は、そのRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、RAW信号処理部５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
　つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。
　　　＜カメラ信号処理部＞
　カメラ信号処理部５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部５４は、領域抽出部５３から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、カメラ信号処理部５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、およびＢ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、またはガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。
　なお、以下においては、カメラ信号処理部５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各視点画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。
　つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。
　また、カメラ信号処理部５４が出力する画像は、完全な現像処理をするものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部または全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。
　カメラ信号処理部５４は、例えば、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１に供給し、表示させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して通信部６４に供給し、外部に送信させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。
　また、例えば、カメラ信号処理部５４は、そのYCフォーマットの画像（YC）をスルー画像生成部５５に供給することもできる。
　なお、RAWフォーマットの画像（全体画像、視点画像、または部分画像）が記憶媒体６３に記憶されている場合、カメラ信号処理部５４は、そのRAWフォーマットの画像を記憶媒体６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１、記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。
　また、イメージセンサ５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部５３が一部の領域を抽出するようにしてもよい。
　　　＜スルー画像生成部＞
　スルー画像生成部５５は、スルー画像の生成に関する処理を行う。スルー画像は、撮影時または撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画像は、ライブビュー画像やEE（Electronic to Electronic）画とも称する。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画像も表示される。
　例えば、スルー画像生成部５５は、カメラ信号処理部５４から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、スルー画像生成部５５は、その取得した画像を用いて、例えば表示部６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像であるスルー画像を生成することができる。スルー画像生成部５５は、生成したスルー画像を、バス６０を介して表示部６１に供給し、表示させることができる。
　　　＜領域特定部＞
　領域特定部５６は、領域抽出部５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部５６は、視点関連情報（VI）を特定し、領域抽出部５３に視点画像領域を供給する。
　視点関連情報（VI）は、例えば、撮像画像における視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標とも称する）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像の内の視点画像領域の場所の特定が可能になる。
　なお、視点領域情報は、視点画像領域毎に設定される。つまり、撮像画像に複数の視点画像が含まれる場合、視点関連情報（VI）は、各視点画像（各視点画像領域）について、視点画像（領域）を識別するための視点識別情報（例えば識別番号）と視点領域情報とを含み得る。
　また、視点関連情報（VI）は、その他の任意の情報を含み得る。例えば、視点関連情報（VI）が、視点画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。また、視点関連情報（VI）が、個眼画像から切り出す領域であって、視点画像領域を内包する視点画像包含領域を示す視点画像包含領域情報を含むようにしてもよい。さらに、視点関連情報（VI）が、撮像画像の視点画像領域でも個眼画像の領域でもない領域に形成されるスポット光の画像に関する情報であるスポット光情報（SI）を含むようにしてもよい。
　領域特定部５６が、このような視点関連情報（VI）を、特定した視点画像領域を示す情報として領域抽出部５３に供給することにより、領域抽出部５３は、その視点関連情報（VI）に基づいて、領域特定部５６により特定された視点画像領域を抽出する（視点画像を切り出す）ことができる。
　また、領域特定部５６は、視点関連情報（VI）をバス６０に供給することができる。例えば、領域特定部５６は、視点関連情報（VI）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、領域特定部５６は、視点関連情報（VI）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理に利用させることができる。
　例えば、領域特定部５６は、このような視点関連情報（VI）を制御部８１から取得し、その取得した視点関連情報（VI）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。
　このようにバス６０を介して記憶部６２、通信部６４、またはファイル化部６５に供給された視点関連情報（VI）は、そこにおいて画像（全体画像、視点画像、または合成画像）と関連付けられる。例えば、記憶部６２は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、記憶媒体６３に記憶させることができる。また、通信部６４は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部６５は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、それらを含む１つのファイルを生成することができる。
　また、領域特定部５６は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報（VI’）を生成し、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、領域特定部５６は、撮像画像から各視点画像領域を特定し、その視点画像領域を示す（例えば、撮像画像における視点画像領域の中心座標と視点画像領域の解像度等により視点画像領域を示す）視点関連情報（VI’）を生成する。そして、領域特定部５６は、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI’）には、領域特定部５６が撮像画像に基づいて生成したスポット光情報（SI’）が含まれていてもよい。
　さらに、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、視点関連情報（VI）にそのスポット光情報（SI’）を付加し、領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）にスポット光情報（SI’）を付加して視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。
　また、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、そのスポット光情報（SI’）を用いて視点関連情報（VI）を補正し、補正後の視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を、スポット光情報（SI’）を用いて補正し、視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。
　　　＜画像再構成処理部＞
　画像再構成処理部５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部５７は、バス６０を介してカメラ信号処理部５４や記憶部６２からYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、画像再構成処理部５７は、バス６０を介して領域特定部５６や記憶部６２から視点関連情報を取得することができる。
　さらに、画像再構成処理部５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、視点画像を処理対象とする場合、画像再構成処理部５７は、その各視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部５７は、その撮像画像や合成画像から各視点画像を抽出し、抽出した視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。
　画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して通信部６４に供給し、外部に送信させることができる。さらに、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。
　　　＜バス＞
　バス６０には、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、表示部６１、記憶部６２、通信部６４、およびファイル化部６５が接続される。バス６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス６０は、有線により実現されてもよいし、無線通信により実現されてもよい。
　　　＜表示部＞
　表示部６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ１０の筐体と一体、または別体に設けられている。例えば、表示部６１は、カメラ１０の筐体の背面（多眼光学系３０が設けられている面と反対側の面）に設けられていてもよい。
　表示部６１は、画像の表示に関する処理を行う。例えば、表示部６１は、スルー画像生成部５５から供給されるYCフォーマットであるスルー画像を取得し、RGBフォーマットに変換して表示することができる。その他、表示部６１は、例えば、メニュー、カメラ１０の設定等の情報を表示することもできる。
　また、表示部６１は、記憶部６２から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。また、表示部６１は、記憶部６２から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部６１は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、表示することができる。
　　　＜記憶部＞
　記憶部６２は、例えば、半導体メモリ等よりなる記憶媒体６３の記憶を制御する。この記憶媒体６３は、リムーバブルな記憶媒体であってもよいし、カメラ１０に内蔵される記憶媒体であってもよい。例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、バス６０を介して供給される画像（撮像画像、視点画像、または合成画像）を記憶媒体６３に記憶させることができる。
　例えば、記憶部６２は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。また、記憶部６２は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。
　その際、記憶部６２は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、記憶部６２は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、記憶媒体６３に記憶させることができる。つまり、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、記憶部６２は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体６３に記憶させることができる。さらに、記憶部６２は、ファイル化部６５から供給されるファイルを取得し、記憶媒体６３に記憶させることができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。
　また、例えば、記憶部６２は、制御部８１やユーザの操作等に応じて、記憶媒体６３に記憶されているデータやファイル等を読み出し、バス６０を介して、カメラ信号処理部５４、表示部６１、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。例えば、記憶部６２は、記憶媒体６３からYCフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、表示部６１に供給し、表示させることができる。また、記憶部６２は、記憶媒体６３からRAWフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、カメラ信号処理部５４に供給し、カメラ信号処理を施させることができる。
　また、記憶部６２は、互いに関連付けられて記憶媒体６３に記憶されている画像（全体画像、視点画像、または合成画像）および視点関連情報のデータまたはファイルを読み出し、他の処理部に供給することができる。例えば、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを画像再構成処理部５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらを通信部６４に供給し、送信させることができる。さらに、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を読み出し、それらをファイル化部６５に供給し、ファイル化させることができる。
　なお、記憶媒体６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体６３は、任意の情報を記憶することができる。
　　　＜通信部＞
　通信部６４は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部６４は、制御部８１の制御やユーザの操作等に応じて、その通信により、画像（撮像画像、視点画像、または合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。
　例えば、通信部６４は、イメージセンサ５１や領域抽出部５３から供給されるRAWフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。また、通信部６４は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（撮像画像、視点画像、または合成画像）や圧縮（符号化）した画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。さらに、通信部６４は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。
　その際、通信部６４は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、通信部６４は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部６４は、送信する画像（全体画像、視点画像、または合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、通信部６４は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部６４は、ファイル化部６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。
　　　＜ファイル化部＞
　ファイル化部６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部６５は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、ファイル化部６５は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。さらに、ファイル化部６５は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、例えば、ファイル化部６５は、領域特定部５６から供給される視点関連情報を取得することができる。
　ファイル化部６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部６５は、上述の画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、ファイル化部６５は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部６５は、記憶部６２から供給される、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することができる。
　なお、ファイル化部６５は、ファイル化する画像（例えば視点画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、視点画像、または合成画像）や視点関連情報に関連付けることができる。
　ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して通信部６４に供給し、送信させることができる。
　　　＜関連付け部＞
　これらの記憶部６２、通信部６４、およびファイル化部６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、視点画像、または合成画像）と、視点関連情報とを関連付ける。例えば、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させることができる。また、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。
　　　＜制御部＞
　制御部８１は、カメラ１０に関する制御処理を行う。つまり、制御部８１は、カメラ１０の各部を制御し、処理を実行させることができる。例えば、制御部８１は、光学系制御部８４を介して多眼光学系３０（各個眼光学系３１）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部８１は、イメージセンサ５１を制御し、イメージセンサ５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。
　さらに、制御部８１は、視点関連情報（VI）を領域特定部５６に供給し、撮像画像から抽出する領域を特定させることができる。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。また、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給してもよい。
　また、制御部８１は、バス６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部８４を介して絞りを制御することができる。さらに、制御部８１は、その画像の鮮鋭度に基づいて、光学系制御部８４を介してフォーカスを制御することができる。また、制御部８１は、その画像のRGB比率に基づいてカメラ信号処理部５４を制御し、ホワイトバランスゲインを制御することができる。
　　　＜記憶部＞
　記憶部８２は、例えば、半導体メモリ等よりなる記憶媒体８３の記憶を制御する。この記憶媒体８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。この記憶媒体８３には、例えば、視点関連情報（VI）が記憶されている。この視点関連情報（VI）は、多眼光学系３０（の各個眼光学系３１）およびイメージセンサ５１に対応する情報である。つまり、視点関連情報（VI）は、この多眼光学系３０の各個眼光学系３１を視点とする視点画像に関する情報であり、その視点画像領域を特定するために用いられる情報である。例えば、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。
　例えば、記憶部８２は、制御部８１やユーザの操作等に応じて、記憶媒体８３に記憶されている視点関連情報（VI）を読み出し、制御部８１に供給することができる。
　なお、記憶媒体８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体８３は、任意の情報を記憶することができる。
　また、記憶部８２および記憶媒体８３を記憶部６２および記憶媒体６３により代用してもよい。つまり、上述した記憶媒体８３に記憶させる情報（視点関連情報（VI）等）を記憶媒体６３に記憶させてもよい。その場合、記憶部８２および記憶媒体８３は、省略してもよい。
　　　＜光学系制御部＞
　光学系制御部８４は、制御部８１の制御に従って、多眼光学系３０（の各個眼光学系３１）を制御する。例えば、光学系制御部８４は、各個眼光学系３１のレンズ群や絞りを制御し、各個眼光学系３１の焦点距離若しくはF値、またはその両方を制御することができる。なお、カメラ１０が電動フォーカス調整機能を有する場合、光学系制御部８４は、多眼光学系３０（の各個眼光学系３１の）フォーカス（焦点距離）を制御することができる。また、光学系制御部８４が、各個眼光学系３１の絞り（F値）を制御することができるようにしてもよい。
　なお、カメラ１０が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を制御する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部８４は、省略することができる。
　　＜視点関連情報の関連付け＞
　以上のようなカメラ１０においては、上述のように、多眼光学系３０（複数の個眼光学系３１）を介してイメージセンサ５１において被写体が撮像され、各個眼光学系３１に対応する画像である個眼画像を含む撮像画像が生成される。このような撮像画像から、この個眼画像の一部または全部を抽出することにより、個眼光学系３１を視点とする視点画像が生成される。１枚の撮像画像から抽出された複数の視点画像は互いに異なる視点の画像であるので、これらの視点画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各視点画像間の相対位置等の情報が必要である。
　しかしながら、従来は、そのような情報が全体画像、視点画像、合成画像等に関連付けられておらず、記録や他の機器に伝送済みの全体画像、視点画像、合成画像等を利用して、上述した奥行推定や多眼レンズの取り付け誤差抑制のための補正等の、視点画像を利用した画像処理を行うことができなかった。換言するにオフラインでの処理が考慮されていなかった。
　そこで、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、その複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。
　例えば、撮像装置において、光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、複数の個眼光学系のそれぞれに対応する複数の視点画像が合成された合成画像に対して、その撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部を備えるようにする。
　例えば、関連付け部７０が、画像（全体画像、視点画像、または合成画像）に対応する視点関連情報を領域特定部５６から取得し、その画像および視点関連情報を関連付と視点関連情報とを関連付けるようにする。例えば、記憶部６２が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させるようにする。また、通信部６４が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信するようにする。さらに、ファイル化部６５が、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けるようにする。
　このようにすることにより、視点関連情報に基づいて処理を行うことができる。したがって、視点画像を利用した画像処理を行うことができる。
　ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、撮像画像と視点関連情報のデータ（ファイル）としての形態は任意である。例えば、撮像画像と視点関連情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）としてもよい。例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。勿論、撮像画像と視点関連情報とをまとめて、１つのストリームデータにしたり、１つのファイルにしたりしてもよい。
　なお、視点関連情報を関連付ける画像は、静止画像でもよいし動画像でもよい。動画像の場合、各フレーム画像において、静止画像の場合と同様に領域抽出や視点関連情報の関連付け等を行うことができる。
　また、この「関連付け」は、データ全体でなく、データ（ファイル）の一部であってもよい。例えば、撮像画像が複数フレームからなる動画像である場合、視点関連情報が、撮像画像の、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位に対して関連付けられるようにしてもよい。
　なお、撮像画像と視点関連情報とが個別のデータ（ファイル）とされる場合は、その撮像画像と視点関連情報の双方に同じ識別番号を付与することなどで、両者を関連付けることができる。また、撮像画像と視点関連情報とが１つのファイルにまとめられる場合、例えば、撮像画像のヘッダ等に視点関連情報が付与されるようにしてもよい。なお、視点関連情報が関連付けられる対象は、撮像画像（全体画像）であってもよいし、視点画像であってもよいし、視点画像の合成画像であってもよい。
　　＜全体画像の出力＞
　全体画像を出力する場合について説明する。全体画像の例を図４に示す。図４に示されるように、全体画像１３０には、各個眼光学系３１に対応する個眼画像（各個眼光学系３１を介して入射された被写体からの光を光電変換した画像）が含まれる。例えば、全体画像１３０の中央の画像が個眼光学系３１0に対応する個眼画像である。また、全体画像１３０の右上の画像が個眼光学系３１1に対応する個眼画像である。さらに、全体画像１３０の左上の画像が個眼光学系３１2に対応する個眼画像である。また、全体画像１３０の左下の画像が個眼光学系３１3に対応する個眼画像である。さらに、全体画像１３０の右下の画像が個眼光学系３１4に対応する個眼画像である。
　なお、この全体画像１３０は、イメージセンサ５１により生成される撮像画像全体であってもよいし、その撮像画像より切り出された部分画像（ただし、全ての個眼画像を含む）であってもよい。また、この全体画像１３０は、RAWフォーマットの画像であってもよいし、YCフォーマットの画像であってもよい。
　視点領域情報により、全体画像１３０に対して各個眼画像の一部（有効な部分）が視点画像領域として指定される。例えば図４の場合、全体画像１３０の、点線枠で囲まれた領域が視点画像領域である。つまり、個眼光学系３１0に対応する個眼画像の一部（有効な部分）が視点画像領域１３１0として指定される。同様に、個眼光学系３１1に対応する個眼画像の一部（有効な部分）が視点画像領域１３１1として指定される。また、個眼光学系３１2に対応する個眼画像の一部（有効な部分）が視点画像領域１３１2として指定される。さらに、個眼光学系３１3に対応する個眼画像の一部（有効な部分）が視点画像領域１３１3として指定される。また、個眼光学系３１4に対応する個眼画像の一部（有効な部分）が視点画像領域１３１4として指定される。なお、以下において、視点画像領域１３１0乃至視点画像領域１３１4を互いに区別して説明する必要がない場合、視点画像領域１３１と称する。
　このような全体画像１３０を出力する場合、関連付け部７０は、イメージセンサ５１、RAW信号処理部５２、または、カメラ信号処理部５４からこの全体画像１３０を取得し、領域特定部５６から供給される多眼光学系３０に対応する視点関連情報を、その全体画像１３０に関連付ける。そして、関連付け部７０は、その互いに関連付けた全体画像および視点関連情報を出力する。出力の例としては、例えば、記憶部６２が、その互いに関連付けた全体画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた全体画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた全体画像および視点関連情報をファイル化してもよい。
　なお、全体画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する全体画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた全体画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
　この場合の視点関連情報は、撮像画像における複数の視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像１３０の内の視点画像領域の場所を特定することができる。
　撮像画像にこのような視点関連情報を関連付けることにより、多眼マッチングによる奥行推定や、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理のための事前処理としての視点画像の抽出において、この視点関連情報を用いることができる。例えば、画像再構成処理部５７は、この視点関連情報に含まれる視点領域情報に基づいて各視点画像を抽出したうえで、多眼マッチングによる奥行推定や、リフォーカス処理、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理を行うことができる。
　なお、全体画像１３０に視点関連情報が関連付けられていなくても、例えば画像再構成処理部５７は、画像処理により、全体画像１３０に含まれる視点画像領域を特定することができる可能性があるが、撮像条件などによって撮像画像の内の視点画像領域を正確に特定することは困難な可能性がある。そこで、上述のように視点関連情報を全体画像１３０に関連付けることにより、画像再構成処理部５７は、その視点関連情報に基づいて、より容易かつより正確に上述の全体画像１３０から視点画像領域を抽出することができる。
　なお、視点画像生成のために全体画像１３０から切り出す領域の大きさや形状は、視点画像領域を包含（内包）している限り任意である。例えば、図５に示されるように、個眼画像の領域である個眼領域１４１内に、視点画像領域１３１を包含する（内包する）視点画像包含領域１４２を設定し、全体画像１３０からその視点画像包含領域１４２を抽出する（視点画像包含領域１４２の画像を切り出す）ようにしてもよい。そして、必要に応じて、その切り出された視点画像包含領域１４２の画像から、視点画像（視点画像領域１３１の画像）が抽出されるようにしてもよい。
　なお、この視点画像包含領域１４２が個眼領域１４１よりも大きくてもよい（視点画像包含領域１４２内に個眼領域１４１外の領域が含まれてもよい）。また、視点関連情報に、視点画像包含領域１４２を示す視点画像包含領域指定情報が含まれるようにしてもよい。
　この視点関連情報（の視点画像包含領域指定情報）において、視点画像包含領域１４２は、どのように表現されてもよい。例えば、その視点画像包含領域１４２の所定の場所（例えば、左上隅や中央等）の位置を示す座標と解像度（画素数）とにより、その視点画像包含領域１４２が表現されるようにしてもよい。つまり、視点画像包含領域指定情報が、その視点画像包含領域１４２の所定の場所の位置を示す座標と、その視点画像包含領域１４２の解像度（画素数）とを含むようにしてもよい。このような視点画像包含領域指定情報を含む視点関連情報を全体画像１３０に関連付けることにより、後段の処理部において、その視点画像包含領域指定情報を参照して処理を行うことができるので、より容易に視点画像包含領域１４２の画像の切り出しを行うことができるようになる。
　なお、視点画像の場合と同様に個眼画像を撮像画像から切り出し、処理したり記録したりしてもよい。
　　＜撮像処理の流れ＞
　このように全体画像を出力する場合の、撮像に関する処理の流れの例を、図６に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図６の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１０１において、記憶部８２を介して記憶媒体８３から視点関連情報を読み出し、領域特定部５６にセットする。なお、領域特定部５６は、イメージセンサ５１からRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて抽出する領域（例えば、視点画像領域等）を特定し、その特定した領域を示す情報を含む視点関連情報を生成し、セットすることもできる。また、領域特定部５６は、イメージセンサから取得した撮像画像に基づいて、セットした視点関連情報を補正することもできる。領域特定部５６は、そのセットした視点関連情報を領域抽出部５３に供給する等して、領域抽出部５３による一部領域の抽出（部分画像の切り出し）を制御する。
　ステップＳ１０２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、スルー画像を表示する。
　スルー画像は、スルー画像生成部５５において生成される表示用の画像であり、記録用の画像よりも解像度が低くてもよい。このスルー画像は、任意の画像の表示用画像であってもよい。例えば、表示部６１が、スルー画像として、全体画像を表示してもよいし、単数の視点画像を表示してもよいし、複数の視点画像を表示してもよいし、単数の個眼画像を表示してもよいし、複数の個眼画像を表示してもよいし、合成画像を表示してもよい。また、表示部６１が、スルー画像として、例えば視点画像と個眼画像等のように、互いに異なる種類の画像を組み合わせて表示してもよい。さらに、表示部６１が、例えば、アプリケーションからの要求やユーザ等の操作に基づいて、上述した各種の画像（または複数の画像の組み合わせ）の中からいずれかを選択して表示するようにしてもよい。つまり、表示部６１が、スルー画像として表示する画像を切り替える（選択する）ことができるようにしてもよい。
　例えば、表示部６１がスルー画像として全体画像（撮像画像全体）を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、その撮像画像を（部分画像を切り出さずに、）カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの撮像画像に対してカメラ信号処理を行い、YCフォーマットの撮像画像（全体画像）を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、そのYCフォーマットの撮像画像（全体画像）から、例えば解像度を落とす等して、全体画像（撮像画像全体）を表示するスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、撮像画像全体を表示する）。
　また、例えば、表示部６１がスルー画像として全体画像（撮像画像から切り出した全ての個眼画像を含む部分画像）を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、全ての個眼画像を含む一部の領域の画像（全体画像）を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、そのYCフォーマットの全体画像から、例えば解像度を落とす等して、その全体画像を表示するスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、全体画像を表示する）。
　さらに、例えば、表示部６１がスルー画像として撮像画像から切り出した視点画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、各視点画像を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの視点画像のそれぞれに対してカメラ信号処理を行い、YCフォーマットの視点画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、単数または複数の視点画像を用いて、例えば解像度を落とす等して、その単数または複数の視点画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、単数または複数の視点画像を表示する）。
　また、例えば、表示部６１がスルー画像として撮像画像から切り出した個眼画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報（各個眼画像の領域を示す情報）に基づいて、その撮像画像から、各個眼画像を抽出し、カメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの個眼画像のそれぞれに対してカメラ信号処理を行い、YCフォーマットの個眼画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、単数または複数の個眼画像を用いて、例えば解像度を落とす等して、その単数または複数の個眼画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、単数または複数の個眼画像を表示する）。
　さらに、例えば、表示部６１がスルー画像として撮像画像から切り出した視点画像の合成画像を表示する場合、イメージセンサ５１は、RAWフォーマットの撮像画像（全体画像）を領域抽出部５３に供給する。領域抽出部５３は、例えば領域特定部５６より供給される視点関連情報に基づいて、その撮像画像から、各視点画像を抽出し、それらを合成して合成画像を生成する。領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成し、それをスルー画像生成部５５に供給する。スルー画像生成部５５は、その合成画像を用いて、例えば解像度を落とす等して、その合成画像を表示するためのスルー画像を生成する。スルー画像生成部５５は、生成したスルー画像を表示部６１に供給する。表示部６１は、そのスルー画像を表示する（スルー画像として、合成画像を表示する）。
　なお、表示部６１が、スルー画像として表示する画像を切り替える（選択する）場合、例えば、領域抽出部５３が、制御部８１の制御に従って、上述の各方法の中から採用する方法を切り替える。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１０３において、イメージセンサ５１は、制御部８１に制御されて、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
　例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像全体を全体画像とし、カメラ信号処理部５４に供給する。また、例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像から全ての個眼画像を含む一部の領域を抽出し、全体画像としてカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成する。カメラ信号処理部５４は、その全体画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１０１においてセットされた視点関連情報を関連付け部７０に供給する。
　ステップＳ１０４において、関連付け部７０は、ステップＳ１０３において生成された全体画像に、ステップＳ１０１において領域特定部５６にセットされた視点関連情報を関連付ける。
　例えば、記憶部６２が、全体画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、全体画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、全体画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
　なお、表示部６１が、この出力する全体画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの全体画像を用いて、例えば解像度を落とす等して、出力する全体画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、全体画像と視点関連情報とを関連付けて出力するようにしてもよい。
　ステップＳ１０４の処理が終了すると撮像処理が終了する。
　このように各ステップの処理を行うことにより、全体画像に視点関連情報を関連付けることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
　　＜視点画像の出力＞
　次に、視点画像を出力する場合について説明する。図７は、切り出された視点画像の例を示す図である。図７において、視点画像１３２0は、全体画像１３０から視点画像領域１３１0を抽出した画像である。視点画像１３２1は、全体画像１３０から視点画像領域１３１1を抽出した画像である。視点画像１３２2は、全体画像１３０から視点画像領域１３１2を抽出した画像である。視点画像１３２3は、全体画像１３０から視点画像領域１３１3を抽出した画像である。視点画像１３２4は、全体画像１３０から視点画像領域１３１4を抽出した画像である。以下において、視点画像１３２0乃至視点画像１３２4を互いに区別して説明する必要がない場合、視点画像１３２と称する。
　このような視点画像を出力する場合、領域抽出部５３は、この図７の例のように切り出した各視点画像１３２を、それぞれ独立したデータ（またはファイル）として出力する。
　例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像に、各視点を識別するための視点識別情報（例えば、識別番号）を割り当てる。領域抽出部５３は、その視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像にカメラ信号処理を施し、YCフォーマットの各視点画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの各視点画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。
　関連付け部７０は、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。視点関連情報は、各視点を識別するための視点識別情報（例えば、視点識別番号）を含み得る。関連付け部７０は、この視点識別情報に基づいて、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。この視点識別情報を参照することにより、関連付け部７０は、どの視点関連情報がどの視点画像に対応するかを容易に把握することができる。つまり、関連付け部７０は、この視点識別情報を用いることにより、より容易に、各視点画像および視点関連情報を正しく関連付けることができる。
　そして、関連付け部７０は、その互いに関連付けた各視点画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた各視点画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた各視点画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた各視点画像および視点関連情報をファイル化してもよい。
　なお、各視点画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する各視点画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた各視点画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
　視点関連情報は、上述の＜全体画像の出力＞の場合と同様に、視点領域情報および視点画像包含領域指定情報を含み得る。したがって、全体画像を出力する場合と同様の効果を得ることができる。
　さらに、視点関連情報に、視点画像が抽出される撮像画像が撮像された時刻や順番を示す視点時刻情報が含まれるようにしてもよい。複数の撮像画像から抽出された視点画像が混在する場合や動画像や連写画像である場合、どの視点画像がどの撮像画像から抽出されたものであるかの識別が困難になるおそれがある。撮像画像の生成時刻や順番を示す視点時刻情報を視点画像に関連付けることにより、各視点画像に対応する撮像画像（各視点画像が抽出された撮像画像）の識別をより容易に行うことができる。換言するに、互いに同一の撮像画像から抽出された複数の視点画像をより容易に特定することができる。付言するに、記録されたファイルが一括管理されていない場合においても、同時刻の各視点画像を特定することができる。
　　＜撮像処理の流れ＞
　この場合の撮像に関する処理の流れの例を、図８に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図８の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１２１において、記憶部８２を介して記憶媒体８３から視点関連情報を読み出し、領域特定部５６にセットする。
　なお、領域特定部５６は、イメージセンサ５１からRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて抽出する視点画像領域を特定し、その特定した視点画像領域を示す視点領域情報を含む視点関連情報を生成し、セットすることもできる。また、領域特定部５６は、イメージセンサから取得した撮像画像に基づいて、セットした視点関連情報を補正することもできる。領域特定部５６は、そのセットした視点関連情報を領域抽出部５３に供給する等して、領域抽出部５３による視点画像領域の抽出（視点画像の切り出し）を制御する。
　なお、この視点関連情報に含まれる各視点領域情報には、各視点画像を識別するための視点識別情報（例えば、識別番号）が割り当てられている。つまり、視点関連情報には、視点識別情報が含まれる。
　ステップＳ１２２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、スルー画像を表示する。スルー画像は、図６のステップＳ１０２について説明した場合と同様である。
　また、図６のステップＳ１０２の場合と同様に、表示部６１が、スルー画像として、全体画像を表示してもよいし、単数の視点画像を表示してもよいし、複数の視点画像を表示してもよいし、単数の個眼画像を表示してもよいし、複数の個眼画像を表示してもよいし、合成画像を表示してもよい。また、表示部６１が、スルー画像として、例えば視点画像と個眼画像等のように、互いに異なる種類の画像を組み合わせて表示してもよい。さらに、表示部６１が、例えば、アプリケーションからの要求やユーザ等の操作に基づいて、上述した各種の画像（または複数の画像の組み合わせ）の中からいずれかを選択して表示するようにしてもよい。つまり、表示部６１が、スルー画像として表示する画像を切り替える（選択する）ことができるようにしてもよい。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１２３において、イメージセンサ５１は、制御部８１に制御されて、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
　ステップＳ１２４において、領域抽出部５３は、ステップＳ１２１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて、ステップＳ１２３において得られた撮像画像から各視点画像を抽出する。
　ステップＳ１２５において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば、識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
　領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１２１においてセットされた視点関連情報を関連付け部７０に供給する。
　ステップＳ１２６において、関連付け部７０は、その各視点画像に、ステップＳ１２１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
　ステップＳ１２７において、関連付け部７０は、ステップＳ１２６において各視点画像に関連付けられた視点関連情報に、その視点画像が抽出された撮像画像の撮像タイミングを示すタイムスタンプ情報をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
　例えば、記憶部６２が、各視点画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、各視点画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、各視点画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
　なお、表示部６１が、この出力する各視点画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの各視点画像を用いて、例えば解像度を落とす等して、出力する各視点画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、各視点画像と視点関連情報とを関連付けて出力するようにしてもよい。
　ステップＳ１２７の処理が終了すると撮像処理が終了する。
　このように各ステップの処理を行うことにより、各視点画像に視点関連情報を関連付けることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
　　＜合成画像の出力＞
　次に、合成画像を出力する場合について説明する。図９は、各視点画像を合成した合成画像の例を示す図である。図９の例の場合、図７の例において抽出された視点画像１３２0乃至視点画像１３２4が1枚の画像内に並んで表示されるように合成されてなる１枚の合成画像１３３が生成されている。つまり、合成画像１３３は、各視点画像１３２が合成されて、１データ化（１フレーム化）、または、１ファイル化されたものである。
　なお、図９においては、合成画像１３３の視点画像１３２0乃至視点画像１３２4の周囲に余白領域が示されているが、合成画像１３３がこの余白領域を有していてもよいし、有していなくてもよい。また、合成画像１３３の形状は、矩形であればよく、各視点画像１３２の配置方法（並べ方）は任意である。図９の例のように、５枚の視点画像１３２を２行３列に並べる場合に生ずる空白領域（６枚目の視点画像１３２に相当する領域）は、null dataや固定値で表すようにしてもよい。
　例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像を1枚の画像内に並んで表示されるように合成して合成画像を生成する。その際、各視点画像の並び順（位置）を予め定めておくことにより、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。
　また、各視点画像に視点識別情報（例えば、識別番号）を割り当ててから合成するようにしてもよい。この場合も同様に、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。以下においては、合成画像における各視点画像の並び順が予め定められているものとする。
　領域抽出部５３は、視点識別情報を割り当てた合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像にカメラ信号処理を施し、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの合成画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。
　関連付け部７０は、合成画像に対して視点関連情報を関連付ける。合成画像に含まれる各視点画像の視点は、合成画像におけるその視点画像の位置により明らかである。つまり、各視点画像が視点関連情報のどの視点領域情報に対応するかは、容易に把握することができる。
　そして、関連付け部７０は、その互いに関連付けた合成画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた合成画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた合成画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた画像および視点関連情報をファイル化してもよい。
　なお、合成画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する合成画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた合成画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。
　視点関連情報は、上述の＜全体画像の出力＞や＜視点画像の出力＞の場合と同様に、視点領域情報および視点画像包含領域指定情報を含み得る。したがって、全体画像や視点画像を出力する場合と同様の効果を得ることができる。
　　＜撮像処理の流れ＞
　この場合の撮像に関する処理の流れの例を、図１０に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１０の撮像処理が開始される。撮像処理が開始されると、ステップＳ１４１乃至ステップＳ１４４の各処理が、ステップＳ１２１乃至ステップＳ１２４の各処理（図８）と同様に実行される。
　ステップＳ１４５において、領域抽出部５３は、ステップＳ１４４において撮像画像より抽出された各視点画像を並べて合成し、合成画像を生成する。
　領域抽出部５３は、その合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１４１においてセットされた視点関連情報を関連付け部７０に供給する。
　ステップＳ１４６において、関連付け部７０は、その合成画像に、ステップＳ１４１において領域特定部５６にセットされた視点関連情報を関連付ける。
　例えば、記憶部６２が、合成画像および視点関連情報を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、合成画像および視点関連情報を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、合成画像および視点関連情報をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
　なお、表示部６１が、この出力する合成画像を確認するための確認画像を表示してもよい。その場合、スルー画像生成部５５は、カメラ信号処理部５４において生成されたYCフォーマットの合成画像を用いて、例えば解像度を落とす等して、出力する合成画像の確認画像を生成する。表示部６１は、その確認画像を表示する。そして、例えば、その確認画像表示後所定の時間が経過したり、ユーザ等により所定の操作が行われたりした場合、関連付け部７０が、合成画像と視点関連情報とを関連付けて出力するようにしてもよい。
　ステップＳ１４６の処理が終了すると撮像処理が終了する。
　このように各ステップの処理を行うことにより、合成画像に視点関連情報を関連付けすることができるので、より容易に、視点画像を利用した画像処理を行うことができる。
　　＜全体画像、視点画像、合成画像の比較＞
　上述のように、全体画像を出力する場合、単眼の光学系を用いる既存のシステムとの差異が少なく、親和性が高い。したがって、このように全体画像を出力する撮像装置を、より容易に実現することができる。また、汎用性が高い。また、以上のように出力された全体画像を再生する再生装置も同様に、単眼の光学系を用いる既存のシステムと差異が少なく、親和性が高い。したがって、このように出力された全体画像を再生する再生装置も、より容易に実現することができる。
　また、各視点画像を出力する場合、その視点画像は、奥行情報の生成やリフォーカス等の処理に利用することができるだけでなく、サムネイルの生成や表示に利用することができる。その際、撮像画像や合成画像の場合と比べてより小さい画像サイズで絵柄を示す（識別可能に表示する）ことができる。
　さらに、合成画像を出力する場合、不要な領域を低減させることができ、かつ、ファイルやストリームも１つで済むので、データの容量の増大を抑制することができる。また、画像の記録や送信の際に、各視点画像を出力する場合に比べて、データの管理がより容易になる。さらに、全体画像の場合と同様に、単眼の光学系を用いる既存のシステムとの差異が少なく、親和性が高い。したがって、このように合成画像を出力する撮像装置を、より容易に実現することができる。また、汎用性が高い。また、以上のように出力された合成画像を再生する再生装置も同様に、単眼の光学系を用いる既存のシステムと差異が少なく、親和性が高い。したがって、このように出力された合成画像を再生する再生装置も、より容易に実現することができる。
　　＜組み合わせ＞
　なお、上述の方法は組み合わせて適用することができる。つまり、全体画像、視点画像、合成画像のうち、複数を出力するようにしてもよい。その場合、図６、図８、および図１０のフローチャートを参照して説明した各撮像処理のうち、必要なものを実行すればよい。
　例えば、表示用として視点画像を出力し、画像処理や記録用に全体画像または合成画像を出力するようにしてもよい。もちろん、この例以外の組み合わせであってもよい。このように複数の画像を組み合わせて出力することにより、より多様な用途に適した画像出力を行うことができる。
　　＜出力選択＞
　また、出力する画像を選択することができるようにしてもよい。例えば、アプリケーションやユーザ等の指示や用途等に応じて、出力する画像が選択されるようにしてもよい。
　その場合の撮像に関する処理の流れの例を、図１１に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図６の撮像処理が開始される。撮像処理が開始されると、制御部８１は、ステップＳ１６１において、出力する画像を選択する。つまり、制御部８１は、全体画像を出力するか、視点画像を出力するか、合成画像を出力するかを選択する。もちろん、複数選択してもよい。制御部８１は、例えば、アプリケーション、ユーザ等の指示、用途等に応じてこの選択を行う。なお、ユーザによる指示は撮像処理を開始する前にメニューによる設定により行われても良い。
　ステップＳ１６２において、制御部８１は、全体画像を出力するか否かを判定する。全体画像を出力すると判定された場合、処理はステップＳ１６３に進む。
　ステップＳ１６３において、カメラ１０の各処理部は、全体画像を出力する撮像処理（例えば、図６のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６３の処理が終了すると処理はステップＳ１６４に進む。
　また、ステップＳ１６２において全体画像を出力しないと判定された場合、ステップＳ１６３の処理がスキップされ、処理はステップＳ１６４に進む。
　ステップＳ１６４において、制御部８１は、視点画像を出力するか否かを判定する。視点画像を出力すると判定された場合、処理はステップＳ１６５に進む。
　ステップＳ１６５において、カメラ１０の各処理部は、各視点画像を出力する撮像処理（例えば、図８のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６５の処理が終了すると撮像処理が終了する。
　また、ステップＳ１６４において、視点画像を出力しないと判定された場合、処理はステップＳ１６６に進む。
　ステップＳ１６６において、カメラ１０の各処理部は、合成画像を出力する撮像処理（例えば、図１０のフローチャートを参照して説明した撮像処理）を実行する。ステップＳ１６６の処理が終了すると撮像処理が終了する。
　以上のように各ステップの処理を実行することにより、任意の画像を出力画像として選択することができる。したがって、制御部８１は、より多様な用途に適した画像出力を行うことができる。
　＜２．第２の実施の形態＞
　　＜スポット光の利用＞
　なお、撮像画像に対して回転方向に補正をかけられるようにしてもよい。図１に示されるように、カメラ１０の鏡筒には、５個の個眼光学系３１0乃至個眼光学系３１4の他、複数である２個の光源３２Ｌおよび光源３２Ｒが設けられている。光源３２Ｌおよび光源３２Ｒは、カメラ１０を正面から見たときに、鏡筒の右端および左端の位置に、それぞれ設けられている。
　光源３２Ｌおよび光源３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、カメラ１０の正面側から背面側に向かってスポット光を照射する。
　したがって、光源３２Ｌおよび光源３２Ｒが照射するスポット光は、カメラ１０のイメージセンサ５１で受光される。
　図１２は、カメラ１０の鏡筒における個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒの配置と、その多眼光学系３０を用いて撮像される撮像画像との例を示す図である。
　図１２のＡは、鏡筒１５１における個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒの配置の例を示す背面図である。
　図１２のＡでは、個眼光学系３１0乃至個眼光学系３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼光学系３１0を中心として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置されている。
　すなわち、個眼光学系３１0乃至個眼光学系３１4のうちの、例えば、個眼光学系３１0を基準とすると、図１２では、個眼光学系３１1は、個眼光学系３１0の右上に配置され、個眼光学系３１2は、個眼光学系３１0の左上に配置されている。さらに、個眼光学系３１3は、個眼光学系３１0の左下に配置され、個眼光学系３１4は、個眼光学系３１0の右下に配置されている。
　また、図１２のＡにおいて、光源３２Ｌは、平面が略円形の鏡筒１５１の左端の位置に配置され、光源３２Ｒは、平面が略円形の鏡筒１５１の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
　なお、光源３２Ｌおよび光源３２Ｒは、鏡筒１５１の任意の異なる位置に配置することができる。
　但し、光源３２Ｌおよび光源３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌおよび光源３２Ｒそれぞれが照射するスポット光のスポット光像PLおよびスポット光像PRが、撮像画像に含まれる個眼画像の領域外（個眼光学系３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやスポット光像PRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
　図１２のＢは、図１２のＡのように個眼光学系３１0乃至３１4並びに光源３２Ｌおよび光源３２Ｒが配置された鏡筒１５１を備えるカメラ１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
　個眼光学系３１0乃至個眼光学系３１4並びに光源３２Ｌおよび光源３２Ｒを有する鏡筒１５１を備えるカメラ１０のイメージセンサ５１で撮像される撮像画像には、個眼光学系３１0乃至個眼光学系３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0、個眼画像E1、個眼画像E2。個眼画像E3、個眼画像E4と、光源３２Ｌおよび光源３２Ｒそれぞれのスポット光のスポット光像PLおよびスポット光像PRとが含まれる。
　＜多眼光学系３０の取り付け位置の誤差＞
　カメラ１０のイメージセンサ５１の受光面に対する多眼光学系３０の取り付け位置は、ずれ得る。以下においては、多眼光学系３０の設計上の取り付け位置に対する実際の取り付け位置の誤差を取り付け誤差と称する。例えば、多眼光学系３０をカメラ１０の筐体に取り付ける際に、その取り付け位置が、設計上の取り付け位置に対してずれる場合があり得る。つまり多眼光学系３０の取り付け位置に誤差が生じる場合があり得る。
　また、多眼光学系３０が取り付けられたカメラ１０に大きな衝撃が加わる等して、多眼光学系３０の取り付け位置が変化する場合があり得る。つまり、多眼光学系３０の取り付け位置に誤差が生じる場合があり得る。
　例えば、図１２のＡにおいて、多眼光学系３０の取り付け位置の、x方向、y方向、およびz方向の内の少なくとも１方向に誤差が生じる場合があり得る。また、例えば、多眼光学系３０の取り付け位置の、イメージセンサ５１に対して平行な面の回転方向に誤差が生じる場合があり得る。
　例えば、図１２のＡにおいて、多眼光学系３０の取り付け位置の、x方向、y方向、およびz方向の内の少なくとも１方向に誤差が生じる場合があり得る。また、例えば、多眼光学系３０の取り付け位置の、イメージセンサ５１に対して平行な面の回転方向に誤差が生じる場合があり得る。
　図１２のＢにおいて、個眼画像E#iは、個眼光学系３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0乃至個眼画像E4は、互いに視点の異なる画像である。
　互いに視点の異なる画像である個眼画像E0乃至個眼画像E4を用いて、例えば、視差情報を求める場合、個眼光学系３１0乃至個眼光学系３１4について、基線長と基線角が必要となる。その内の基線角は、多眼光学系３０の取り付け誤差によって変化する。したがって、個眼画像E0乃至個眼画像E4を用いて、正確な視差情報を求めるためには、取り付け誤差に対処する必要がある。
　そこで、スポット光像PLおよびスポット光像PRを用いて、撮像時の取り付け誤差（例えば、相対的な回転誤差（レンズ回転量））を導出し、その取り付け誤差を抑制するように、全体画像１３０の位置を補正する。
　　＜全体画像を出力する場合＞
　図１２のＢに示されるように、全体画像には、スポット光像PLおよびスポット光像PRが含まれている。したがって、全体画像を出力する場合は、その位置の補正を行う前の画像を出力する。全体画像には、後で位置補正をかけることができるように、全体画像の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報を関連付ける。
　その場合の、撮像に関する処理の流れの例を、図１３に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１３の撮像処理が開始される。
　撮像処理が開始されると、制御部８１は、ステップＳ１８１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
　その際、スポット光情報は、視点関連情報に含められてもよい。また、このスポット光情報には、例えば、撮像画像に形成される複数のスポット光の画像のそれぞれを識別するためのスポット光識別情報が含まれるようにしてもよい。
　また、スポット光情報には、撮像画像におけるスポット光の画像の位置を示すスポット光結像位置情報が含まれるようにしてもよい。スポット光結像位置情報において、スポット光の画像の位置がどのように示されるかは任意である。例えば、スポット光の中心座標と、スポット光の大きさとで示されるようにしてもよい。つまり、スポット光結像位置情報が、撮像画像におけるスポット光の中心座標と、そのスポット光の大きさとを示す情報を含むようにしてもよい。また、スポット光結像位置情報が、撮像画像におけるスポット光の中心座標のみを含む（そのスポット光の大きさを示す情報を含まない）ようにしてもよい。さらに、スポット光結像位置情報が、２つのスポット光の角度情報を含むようにしてもよい。
　ステップＳ１８２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図６の場合と同様に、スルー画像を表示する。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ１８３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像（全体画像）を生成する。
　例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像全体を全体画像とし、カメラ信号処理部５４に供給する。また、例えば、領域抽出部５３は、イメージセンサ５１により生成されたRAWフォーマットの撮像画像から全ての個眼画像を含む一部の領域を抽出し、全体画像としてカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの全体画像に対してカメラ信号処理を行い、YCフォーマットの全体画像を生成する。カメラ信号処理部５４は、その全体画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ１８１においてセットされた視点関連情報（スポット光情報を含む）を関連付け部７０に供給する。
　ステップＳ１８４において、関連付け部７０は、その全体画像にステップＳ１８１においてセットされた視点関連情報とスポット光情報を関連付ける。例えば、関連付け部７０は、スポット光情報を含む視点関連情報を全体画像に関連付ける。
　例えば、記憶部６２が、全体画像および視点関連情報（スポット光情報を含む）を互いに関連付けて記憶媒体６３に記憶させてもよい。また、通信部６４が、全体画像および視点関連情報（スポット光情報を含む）を互いに関連付けて送信してもよい。さらに、ファイル化部６５が、全体画像および視点関連情報（スポット光情報を含む）をファイル化して１つのファイルを生成することにより、それらを互いに関連付けてもよい。
　なお、図６の場合と同様に、表示部６１が、この出力する全体画像を確認するための確認画像を表示してもよい。
　ステップＳ１８４の処理が終了すると、撮像処理が終了する。
　撮像画像には、スポット光像PLおよびスポット光像PRが含まれているので、以上のように撮像画像にスポット光情報を関連付けることにより、撮像画像から検出したスポット光像の位置と、スポット光情報が示すスポット光像の位置とを比較することができる。したがって、この比較結果に基づいて、撮像画像に対して後で補正をかけることができる。
　　＜視点画像を出力する場合＞
　　　＜位置補正をかけずに出力する場合＞
　視点画像には、スポット光像PLおよびスポット光像PRが含まれていない。そのため、後で位置補正をかける場合は、視点画像および視点関連情報の他に、スポット光像PLやスポット光像PRを含む領域の画像であるスポット光画像と、そのスポット光情報も出力してもよい。
　その場合の、撮像に関する処理の流れの例を、図１４に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１４の撮像処理が開始される。
　撮像処理が開始されると、制御部８１は、ステップＳ２０１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
　その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞において上述したものと同様である。
　ステップＳ２０２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図８の場合と同様に、スルー画像を表示する。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２０３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
　ステップＳ２０４において、領域抽出部５３は、ステップＳ２０１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて、ステップＳ２０３において得られた撮像画像から各視点画像を抽出する。
　ステップＳ２０５において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
　領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２０１においてセットされた視点関連情報とスポット光情報とを関連付け部７０に供給する。
　ステップＳ２０６において、関連付け部７０は、その各視点画像に、ステップＳ２０１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
　ステップＳ２０７において、関連付け部７０は、ステップＳ２０６において各視点画像に関連付けられた視点関連情報に、その視点画像が抽出された撮像画像の撮像タイミングを示すタイムスタンプ情報（視点時刻情報）をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
　ステップＳ２０８において、領域抽出部５３は、ステップＳ２０１において領域特定部５６にセットされたスポット光情報に基づいて、撮像画像から各スポット光画像を抽出する。
　ステップＳ２０９において、領域抽出部は、ステップＳ２０８において抽出した各スポット光画像に、スポット光を識別するためのスポット光識別情報（例えば、識別番号）を割り当てる。例えば、各スポット光画像にスポット光識別情報を付加する。つまり、この処理により、各スポット光画像にはスポット光識別情報が含まれる。
　ステップＳ２１０において、関連付け部７０は、各スポット光画像に視点関連情報のスポット光情報を関連付ける。関連付け部７０は、スポット光識別情報を用いて各スポット光画像とスポット光情報とを関連付ける。スポット光情報は視点関連情報に含まれていてもよい。
　ステップＳ２１０の処理が終了すると、撮像処理が終了する。
　以上のように、各ステップの処理を実行し、各視点画像に対して各スポット光画像および各スポット光情報を関連付けることにより、後で各視点画像に対して位置補正（例えば、回転補正）をかけることができる。
　なお、以上においては、位置補正（例えば回転補正）を行わない場合、スポット光画像とスポット光情報も出力されるように説明したが、この例に限定されない。例えば、位置補正量（レンズ回転量）が分かれば、視点領域情報の位置ずれの補正が可能である（視点領域情報を視点画像に対応させることができる）。つまり、スポット光画像とスポット光情報の代わりに、この位置補正量（レンズ回転量）を合成画像に関連付けて出力するようにしてもよい。なお、この位置補正量（レンズ回転量）は、スポット光画像やスポット光情報等から導出することができる。
　　　＜位置補正をかけて出力する場合＞
　視点画像に位置補正（例えば回転補正）をかける場合、補正後はスポット光画像等が不要になる。したがって、この場合、スポット光画像やスポット光情報は出力せず、第１の実施の形態の場合と同様に、各視点画像と、その視点画像に関連付けられた視点関連情報とを出力する。
　その場合の、撮像に関する処理の流れの例を、図１５に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１５の撮像処理が開始される。
　撮像処理が開始されると、制御部８１は、ステップＳ２２１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
　その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜位置補正をかけずに出力する場合＞において上述したものと同様である。
　ステップＳ２２２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図８の場合と同様に、スルー画像を表示する。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２２３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
　ステップＳ２２４において、領域特定部５６は、スポット光情報に基づいて位置補正量（例えばレンズ回転量）を導出する。
　ステップＳ２２５において、領域特定部５６は、その位置補正量（例えばレンズ回転量）に基づいて、視点領域情報を位置補正（例えば、回転補正）し、更新する。
　ステップＳ２２６において、領域抽出部５３は、更新された視点領域情報に基づいてステップＳ２２３において生成された撮像画像から各視点画像を抽出する。
　ステップＳ２２７において、領域抽出部５３は、抽出した各視点画像に、各視点画像を識別するための視点識別情報（例えば識別番号）を割り当てる。例えば、各視点画像に視点識別情報を付加する。つまり、この処理により、各視点画像には視点識別情報が含まれる。
　領域抽出部５３は、視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像に対してカメラ信号処理を行い、YCフォーマットの各視点画像を生成する。このYCフォーマットの各視点画像には、上述のように視点識別情報が割り当てられている。カメラ信号処理部５４は、その各視点画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２２１においてセットされた視点関連情報とスポット光情報とを関連付け部７０に供給する。
　ステップＳ２２８において、関連付け部７０は、その各視点画像に、ステップＳ２０１において領域特定部５６にセットされた視点関連情報を関連付ける。関連付け部７０は、視点識別情報を用いて各視点画像と視点関連情報（の視点領域情報）とを関連付ける。
　ステップＳ２２９において、関連付け部７０は、ステップＳ２０６において各視点画像に関連付けられた視点関連情報にタイムスタンプ情報（視点時刻情報）をセットする。つまり、この処理により、視点関連情報にはタイムスタンプ情報が含まれる。
　ステップＳ２２９の処理が終了すると、撮像処理が終了する。
　以上のように、各ステップの処理を実行することにより、位置補正を行ってから、各視点画像を抽出し、視点関連情報を関連付け、出力することができる。したがって、より容易に、視点画像を利用した画像処理を行うことができる。
　　＜合成画像を出力する場合＞
　　　＜回転補正をかけずに出力する場合＞
　合成画像には、スポット光像PLおよびスポット光像PRが含まれていない。そのため、後で回転補正をかける場合は、合成画像および視点関連情報の他に、スポット光像PLやスポット光像PRを含む領域の画像であるスポット光画像と、そのスポット光情報も出力する。
　その場合の、撮像に関する処理の流れの例を、図１６に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１６の撮像処理が開始される。
　撮像処理が開始されると、制御部８１は、ステップＳ２４１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
　その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜視点画像を出力する場合＞において上述したものと同様である。
　ステップＳ２４２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図１０の場合と同様に、スルー画像を表示する。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２４３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
　ステップＳ２４４において、領域抽出部５３は、ステップＳ２４１において領域特定部５６にセットされた視点関連情報（の視点領域情報）に基づいて撮像画像から各視点画像を抽出する。
　ステップＳ２４５において、領域抽出部５３は、ステップＳ２４４において抽出された各視点画像を並べて合成し、合成画像を生成する。
　領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされた視点関連情報を関連付け部７０に供給する。
　ステップＳ２４６において、関連付け部７０は、その合成画像に、ステップＳ２４１において領域特定部５６にセットされた視点関連情報を関連付ける。
　ステップＳ２４７において、領域抽出部５３は、ステップＳ２４１において領域特定部５６にセットされたスポット光情報に基づいて撮像画像から各スポット光画像を抽出する。
　ステップＳ２４８において、領域抽出部５３は、ステップＳ２４７において抽出した各スポット光画像に、各スポット光画像を識別するためのスポット光識別情報（例えば、識別番号）を割り当てる。例えば、各スポット光画像にスポット光識別情報を付加する。つまり、この処理により、各スポット光画像にはスポット光識別情報が含まれる。
　領域抽出部５３は、各スポット光画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットのスポット光画像に対してカメラ信号処理を行い、YCフォーマットのスポット光画像を生成する。カメラ信号処理部５４は、そのスポット光画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされたスポット光情報を関連付け部７０に供給する。
　ステップＳ２４９において、関連付け部７０は、各スポット光画像にスポット光情報を関連付ける。関連付け部７０は、スポット光識別情報を用いて各スポット光画像とスポット光情報とを関連付ける。
　ステップＳ２４９の処理が終了すると、撮像処理が終了する。
　以上のように、各ステップの処理を実行し、合成画像に対して各スポット光画像および各スポット光情報を関連付けることにより、後で合成画像に対して位置補正（例えば回転補正）をかけることができる。
　なお、以上においては、位置補正（例えば回転補正）を行わない場合、スポット光画像とスポット光情報も出力されるように説明したが、この例に限定されない。例えば、位置補正量（レンズ回転量）が分かれば、視点領域情報の位置ずれの補正が可能である（視点領域情報を視点画像に対応させることができる）。つまり、スポット光画像とスポット光情報の代わりに、この位置補正量（レンズ回転量）を合成画像に関連付けて出力するようにしてもよい。なお、この位置補正量（レンズ回転量）は、スポット光画像やスポット光情報等から導出することができる。
　　　＜位置補正をかけて出力する場合＞
　合成画像に位置補正（例えば回転補正）をかける場合、補正後はスポット光画像等が不要になる。したがって、この場合、スポット光画像やスポット光情報は出力せず、第１の実施の形態の場合と同様に、合成画像と、その合成画像に関連付けられた視点関連情報とを出力する。
　その場合の、撮像に関する処理の流れの例を、図１７に示される静止画像を撮像する場合の撮像処理のフローチャートを参照して説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、図１７の撮像処理が開始される。
　撮像処理が開始されると、制御部８１は、ステップＳ２６１において、記憶部８２を介して記憶媒体８３から視点関連情報とスポット光情報を読み出し、領域特定部５６にセットする。
　その際、スポット光情報は、視点関連情報に含められてもよい。このスポット光情報は、＜全体画像を出力する場合＞や＜視点画像を出力する場合＞において上述したものと同様である。
　ステップＳ２６２において、表示部６１は、スルー画像を表示する。この処理は、記録用の撮像画像を生成する撮像を行う前の状態において実行される。つまり、ユーザがシャッタボタンを操作する前の状態において、表示部６１は、図１０の場合と同様に、スルー画像を表示する。
　例えば、ユーザ等によりシャッタボタンが操作される等して撮像が指示されると、ステップＳ２６３において、イメージセンサ５１は、制御部８１の制御に従って、多眼光学系３０（複数の個眼光学系３１）を介して被写体を撮像し、（記録用の）RAWフォーマットの撮像画像を生成する。
　ステップＳ２６４において、領域特定部５６は、スポット光情報に基づいて位置補正量（例えばレンズ回転量）を導出する。
　ステップＳ２６５において、領域特定部５６は、その位置補正量（例えばレンズ回転量）に基づいて、視点領域情報を位置補正（例えば、回転補正）し、更新する。
　ステップＳ２６６において、領域抽出部５３は、更新された視点領域情報に基づいてステップＳ２６３において生成された撮像画像から各視点画像を抽出する。
　ステップＳ２６７において、領域抽出部５３は、抽出された各視点画像を並べて合成し、合成画像を生成する。
　領域抽出部５３は、生成した合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像に対してカメラ信号処理を行い、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、その合成画像を関連付け部７０（記憶部６２、通信部６４、またはファイル化部６５）に供給する。また、領域特定部５６は、ステップＳ２４１においてセットされた視点関連情報を関連付け部７０に供給する。
　ステップＳ２６８において、関連付け部７０は、その合成画像に、ステップＳ２６１において領域特定部５６にセットされた視点関連情報を関連付ける。
　ステップＳ２６８の処理が終了すると、撮像処理が終了する。
　以上のように、各ステップの処理を実行することにより、位置補正（回転補正）を行ってから、各視点画像を抽出し、合成画像を生成し、視点関連情報を関連付け、出力することができる。したがって、より容易に、合成画像を利用した画像処理を行うことができる。
　＜３．第３の実施の形態＞
　　＜画像処理装置＞
　次に、上述のように出力された視点関連情報等の利用について説明する。第１の実施の形態や第２の実施の形態において説明したように、多眼光学系を利用した撮像において、撮像画像の全体またはその一部と、視点関連情報とを関連付けて出力することにより、撮像後にイメージセンサ５１の受光面のどの位置にあった視点画像であるかを特定することができる。また、撮像された視点画像間のイメージセンサ５１の受光面における位置関係を特定することができる。この各視点画像間の位置関係が明確になることで、多眼マッチングによる奥行推定や、多眼レンズの取り付け誤差補正等の後段の処理において、その位置関係を利用することができる。また、RGB画像（カラーイメージセンサの場合）と奥行情報（Depth）の同時取得が可能になる。そのためそれらのRGBDを用いたアプリケーションは、レンズエミュレーションやCG（Computer Graphics）や実写同士の奥行を用いて合成等、映像制作分野への応用も可能になる。
　図１８は、本技術を適用した一実施の形態の画像処理装置の主な構成例を示すブロック図である。この画像処理装置２００は、カメラ１０から出力された画像等を取得し、画像処理等を施す装置である。なお、図１８に示される構成は、カメラ１０の構成の一部であってもよい。
　図１８に示されるように、画像処理装置２００は、通信部２１１、画像処理部２１２、画像再構成処理部２１３、および出力部２１４を有する。
　通信部２１１は、カメラ１０の通信部６４と通信を行い、視点関連情報が関連付けられた画像（全体画像、視点画像、または合成画像）等を取得する。通信部２１１は、取得した画像等を画像処理部２１２に供給する。なお、この視点関連情報が関連付けられた画像（全体画像、視点画像、または合成画像）は、記録媒体を介して画像処理装置２００に供給されるようにしてもよい。例えば、画像処理装置２００が、通信部２１１の代わりに記憶部を有し、その記憶部が記憶媒体（例えば、リムーバブル記憶媒体）から画像を読み出し、画像処理部２１２に供給するようにしてもよい。
　画像処理部２１２は、通信部２１１より供給された画像（全体画像、視点画像、または合成画像）に対して任意の画像処理を行う。例えば、画像処理部２１２は、通信部２１１より供給された画像に対して、その画像に関連付けられた視点関連情報を用いた画像処理を行うことができる。
　例えば、画像処理部２１２は、視点関連情報に含まれる視点識別情報や視点領域情報等を用いて、全体画像や合成画像から視点画像を切り出すことができる。また、例えば、各視点領域情報の位置ずれの補正（例えば回転補正）を行うことができる。また、例えば画像が圧縮されて（符号化されて）供給される場合、画像処理部２１２は、その符号化データを、その圧縮（符号化）方式に対応する所定の方式で復号（伸張）することもできる。
　画像処理部２１２は、画像処理後の画像を画像再構成処理部２１３に供給することができる。なお、この画像処理部による画像処理はスキップすることができる。つまり、通信部２１１は、取得した画像等を画像再構成処理部２１３に供給することもできる。
　画像再構成処理部２１３は、画像再構成処理部５７と同様の処理部であり、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行う。その際、画像再構成処理部２１３は、視点関連情報を用いてこの処理を行ってもよい。例えば、画像再構成処理部２１３は、例えば、通信部２１１または画像処理部２１２から供給される画像等を取得し、その取得した画像に対して、奥行情報の生成やリフォーカス等の処理を行うことができる。また、画像再構成処理部２１３は、後述する記憶部２２２を介して記憶媒体２２３に記憶されている画像等を取得し、その取得した画像に対して、奥行情報の生成やリフォーカス等の処理を行うことができる。画像再構成処理部２１３は、処理後の画像等のデータを出力部２１４に供給する。
　出力部２１４は、画像再構成処理部２１３から供給されたデータの出力に関する処理を行う。出力部２１４は、例えば、バス２２０、表示部２２１、および記憶部２２２を有する。
　バス２２０には、表示部２２１および記憶部２２２、並びに、画像再構成処理部２１３が接続されている。バス２２０は、これらの処理部の間で授受されるデータを伝送する。
　表示部２２１は、表示部６１と同様の処理部であり、例えば、液晶パネルや有機ELパネル等で構成される。表示部２２１は、例えば、画像再構成処理部２１３や記憶部２２２から供給される撮像画像、視点画像、または合成画像を表示する。
　記憶部２２２は、例えば、半導体メモリ等よりなる記憶媒体２２３の記憶を制御する。この記憶媒体２２３は、リムーバブルな記憶媒体であってもよいし、画像処理装置２００に内蔵される記憶媒体であってもよい。例えば、記憶部２２２は、ユーザの操作等に応じて、バス２２０を介して供給される画像（撮像画像、視点画像、または合成画像）や視点関連情報等を記憶媒体２２３に記憶させることができる。
　また、記憶部２２２は、記憶媒体２２３に記憶されている画像等を読み出し、画像再構成処理部２１３に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。さらに、記憶部２２２は、記憶媒体２２３に記憶されている画像等を読み出し、表示部２２１に供給し、表示させることができる。
　このような画像処理装置２００により実行される画像処理の流れの例を、図１９のフローチャートを参照して説明する。画像処理装置２００は、この画像処理を行うことにより、カメラ１０から出力された画像に対して画像再構成処理を行い、奥行情報の生成やリフォーカス等の処理を行う。
　画像処理が開始されると、通信部２１１は、ステップＳ２８１において、カメラ１０から送信される、互いに関連付けられた画像および視点関連情報を取得し、それらを画像処理部２１２に供給する。
　画像処理部２１２は、画像再構成処理の処理対象となる視点画像を生成する。つまり、ステップＳ２８２において、画像処理部２１２は、取得した画像が視点画像であるか否かを判定する。視点画像ではない、つまり、全体画像または合成画像であると判定された場合、処理はステップＳ２８３に進む。
　ステップＳ２８３において、画像処理部２１２は、視点領域情報に基づいて、その全体画像または合成画像から各視点画像を抽出する。ステップＳ２８３の処理が終了すると、処理はステップＳ２８４に進む。
　なお、ステップＳ２８２において、取得した画像が視点画像であると判定された場合、ステップＳ２８３の処理（視点画像の抽出）が省略され、処理はステップＳ２８４に進む。そして、画像処理部２１２は、各視点画像および視点領域情報を画像再構成処理部２１３に供給する。
　ステップＳ２８４において、画像再構成処理部２１３は、画像処理部２１２から供給された画像に対して多視点でマッチングを行う多眼マッチングを行い、奥行情報を生成する。また、ステップＳ２８５において、画像再構成処理部２１３は、画像処理部２１２から供給された画像のリフォーカスを行う。
　ステップＳ２８６において、出力部２１４は、ステップＳ２８４およびステップＳ２８５において奥行情報の生成やリフォーカス等の処理が行われた画像を出力する。
　ステップＳ２８６の処理が終了すると画像処理が終了する。
　以上のように、画像処理装置２００は、画像に関連付けられた視点関連情報を用いて奥行情報の生成やリフォーカス等の処理を行うことができる。したがって、画像処理装置２００は、視点画像を利用した画像処理を行うことができる。
　なお、ビットストリームの受信側（復号側）であるこの画像処理装置２００において、視点関連情報等を補正するようにしてもよい。例えば、画像処理部２１２が、視点関連情報に含まれる視点領域情報の位置ずれを補正する（例えば回転補正を行う）ようにしてもよい。
　その場合の画像処理の流れの例を、図２０のフローチャートを参照して説明する。
　画像処理が開始されると、通信部２１１は、ステップＳ３０１において、カメラ１０から送信される、互いに関連付けられた画像および視点関連情報を取得し、それらを画像処理部２１２に供給する。
　画像処理部２１２は、画像再構成処理の処理対象となる視点画像を生成する。つまり、ステップＳ３０２において、画像処理部２１２は、取得した画像が視点画像であるか否かを判定する。視点画像ではない、つまり、全体画像または合成画像であると判定された場合、処理はステップＳ３０３に進む。
　ステップＳ３０３において、画像処理部２１２は、位置補正を行う。例えば、画像処理部２１２は、取得した画像からスポット光を検出する。また、画像処理部２１２は、検出したスポット光の画像（つまり、スポット光画像）と、視点関連情報に含まれるスポット光情報とに基づいて、位置補正量（例えばレンズ回転量）を導出する。そして、画像処理部２１２は、その導出した位置補正量を用いて視点領域情報の補正を行い、画像に合わせる。これにより視点画像と視点領域情報との間の位置ずれが低減される。
　ステップＳ３０４において、画像処理部２１２は、視点関連情報に基づいて、その全体画像または合成画像から各視点画像を抽出する。ステップＳ３０４の処理が終了すると、処理はステップＳ３０５に進む。
　なお、ステップＳ３０２において、取得した画像が視点画像であると判定された場合、ステップＳ３０３およびステップＳ３０４の処理（視点画像の抽出）が省略され、処理はステップＳ３０５に進む。そして、画像処理部２１２は、各視点画像および視点関連情報を画像再構成処理部２１３に供給する。
　ステップＳ３０５において、画像再構成処理部２１３は、画像処理部２１２から供給された画像に対して画像処理部２１２から供給された画像に対して多視点でマッチングを行う多眼マッチングを行い、奥行情報を生成する。また、ステップＳ３０６において、画像再構成処理部２１３は、画像処理部２１２から供給された画像のリフォーカスを行う。
　ステップＳ３０７において、出力部２１４は、ステップＳ３０５およびステップＳ３０６において奥行情報の生成やリフォーカス等の処理が行われた画像を出力する。
　ステップＳ３０７の処理が終了すると画像処理が終了する。
　以上のように、画像処理装置２００は、この場合も、画像に関連付けられた視点関連情報を用いて奥行情報の生成やリフォーカス等の処理を行うことができる。したがって、画像処理装置２００は、視点画像を利用した画像処理を行うことができる。
　＜４．第４の実施の形態＞
　　＜カメラシステムの外観＞
　多眼光学系３０は、カメラ１０から着脱可能に構成されるようにしてもよい。図２１は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。図２１に示されるカメラシステム３０１は、カメラ本体３１０と多眼交換レンズ３２０（レンズ部）とで構成される。多眼交換レンズ３２０がカメラ本体３１０に装着された状態においてカメラシステム３０１は、カメラ１０と同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム３０１は、カメラ１０と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。
　カメラ本体３１０は、多眼交換レンズ３２０が着脱可能なようになっている。すなわち、カメラ本体３１０は、カメラマウント３１１を有し、そのカメラマウント３１１に対して、多眼交換レンズ３２０（のレンズマウント３２２）が取り付けられることで、カメラ本体３１０に、多眼交換レンズ３２０が装着される。なお、カメラ本体３１０に対しては、多眼交換レンズ３２０以外の一般的な交換レンズも着脱することができるようにされていてもよい。
　カメラ本体３１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、カメラ本体３１０（のカメラマウント３１１）に装着された多眼交換レンズ３２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。
　多眼交換レンズ３２０は、鏡筒３２１およびレンズマウント３２２を有する。また、多眼交換レンズ３２０は、複数としての５個の個眼光学系３１0，３１1，３１2，３１3、および、３１4を有する。
　カメラ１０の場合と同様に、この場合の複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサ５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサ５１の受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサ５１の受光面の互いに異なる位置に照射する。
　したがって、カメラ１０の場合と同様に、イメージセンサ５１により生成される撮像画像（イメージセンサ５１の出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、多眼交換レンズ３２０をカメラ本体３１０に装着して被写体を撮像することにより、複数の視点画像を得ることができる。
　鏡筒３２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント３２２が形成されている。レンズマウント３２２は、多眼交換レンズ３２０がカメラ本体３１０に装着されるときに、カメラ本体３１０のカメラマウント３１１に取り付けられる。
　５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１0を中心（重心）として、他の４個の個眼光学系３１1乃至個眼光学系３１4が、長方形の頂点を構成するように配置される形で、多眼交換レンズ３２０に設けられている。もちろん、図２１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。
　　＜カメラシステムの電気的構成例＞
　図２２は、図２１のカメラシステム３０１の電気的構成例を示すブロック図である。
　　　＜カメラ本体＞
　カメラシステム３０１において、カメラ本体３１０は、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、スルー画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、および記憶部８２を有する。つまり、カメラ本体３１０は、カメラ１０の鏡筒部分に設けられる多眼光学系３０および光学系制御部８４以外の構成を有する。
　なお、カメラ本体３１０は、上述の構成に加え、通信部３４１を有する。この通信部３４１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０（の通信部３５１）と通信を行い、情報の授受等を行う処理部である。通信部３４１は、任意の通信方式で多眼交換レンズ３２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。
　例えば、通信部３４１は、制御部８１により制御され、その通信を行い、多眼交換レンズ３２０から供給される情報を取得する。また、例えば、通信部３４１は、その通信により、制御部８１から供給される情報を多眼交換レンズ３２０に供給する。この多眼交換レンズ３２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
　　　＜多眼交換レンズ＞
　カメラシステム３０１において、多眼交換レンズ３２０は、多眼光学系３０および光学系制御部８４の他に、通信部３５１および記憶部３５２を有する。通信部３５１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０において、通信部３４１と通信を行う。この通信により、カメラ本体３１０と多眼交換レンズ３２０との間の情報の授受を実現する。通信部３５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
　例えば、通信部３５１は、通信部３４１を介してカメラ本体３１０から送信される制御情報を取得する。通信部３５１は、このように取得した情報を、必要に応じて、光学系制御部８４に供給し、多眼光学系３０の制御に利用させることができる。
　また、通信部３５１は、その取得した情報を記憶部３５２に供給し、記憶媒体３５３に記憶させることができる。また、通信部３５１は、記憶媒体３５３に記憶されている情報を、記憶部３５２を介して読み出し、それをカメラ本体３１０（通信部３４１）に送信することができる。
　　　＜視点関連情報の記憶１＞
　このような構成のカメラシステム３０１において、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報の記憶場所は任意である。例えば、多眼交換レンズ３２０の記憶媒体３５３に記憶されていてもよい。そして、例えば、カメラ本体３１０の制御部８１が、通信部３５１および通信部３４１を介して記憶部３５２にアクセスし、その記憶媒体３５３からその視点関連情報を読み出させてもよい。そして、その制御部８１が、その視点関連情報を取得すると、それを領域特定部５６に供給し、セットするようにしてもよい。
　例えば、多眼交換レンズ３２０をカメラ本体３１０に正しく装着した際、カメラシステム３０１に電源を投入した際、または、カメラシステム３０１の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミングまたはきっかけにおいて、このような処理が行われてもよい。
　このようにすることにより、カメラ本体３１０は、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報を用いて、視点画像を利用した画像処理を行うことができる。
　　　＜視点関連情報の記憶２＞
　また、制御部８１が、多眼交換レンズ３２０から取得したその多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０の識別情報（以下、IDと称する）とともに記憶部８２に供給し、記憶させてもよい。その場合、記憶部８２は、供給された識別情報と視点関連情報とを対応付けて記憶媒体８３に記憶させる。つまり、カメラ本体３１０において、多眼交換レンズ３２０の視点関連情報とIDとを管理することができる。したがって、カメラ本体３１０は、複数の多眼交換レンズ３２０の視点関連情報を管理することができる。
　このようにすることにより、制御部８１は、次回からは多眼交換レンズ３２０のIDを取得することにより、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を読み出すことができる。つまり、制御部８１は、多眼交換レンズ３２０に対応する視点関連情報を容易に取得することができる。
　　　＜視点関連情報の記憶３＞
　また、記憶媒体８３が、予め、複数の多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体３１０が、予め、複数の多眼交換レンズ３２０の視点関連情報を管理している。
　このようにすることにより、制御部８１は、カメラ本体３１０に正しく装着された多眼交換レンズ３２０のIDを用いて、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を容易に読み出すことができる。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
　を備える撮像装置。
　（２）　前記視点関連情報は、前記撮像画像における前記複数の視点画像の領域を示す視点領域情報を含む
　（１）に記載の撮像装置。
　（３）　前記視点領域情報は、前記撮像画像における前記個眼光学系の光軸に対応する座標と、前記視点画像の解像度とを含む
　（２）に記載の撮像装置。
　（４）　前記視点関連情報は、前記視点画像から切り出される部分領域を示す切り出し領域指定情報を含む
　（１）乃至（３）のいずれかに記載の撮像装置。
　（５）　前記視点関連情報は、前記複数の視点画像または前記合成画像に関連付けられる場合、前記撮像画像から抽出された前記複数の視点画像のそれぞれを識別するための視点識別情報を含む
　（１）乃至（４）のいずれかに記載の撮像装置。
　（６）　前記視点関連情報は、前記複数の視点画像に関連付けられる場合、前記撮像画像が撮像された時刻を示す視点時刻情報を含む
　（１）乃至（５）のいずれかに記載の撮像装置。
　（７）　前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、RAW画像である
　（１）乃至（５）のいずれかに記載の撮像装置。
　（８）　前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、YC画像である
　（１）乃至（７）のいずれかに記載の撮像装置。
　（９）　前記関連付け部は、前記撮像画像、前記複数の視点画像、または前記合成画像に対して、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報を関連付ける
　（１）乃至（８）のいずれかに記載の撮像装置。
　（１０）　前記スポット光情報は、前記撮像画像に形成される複数の前記スポット光の画像のそれぞれを識別するためのスポット光識別情報を含む
　（９）に記載の撮像装置。
　（１１）　前記スポット光情報は、前記撮像画像における前記スポット光の画像の位置を示すスポット光結像位置情報を含む
　（９）または（１０）に記載の撮像装置。
　（１２）　前記関連付け部は、前記撮像画像から前記スポット光を含む領域の画像であるスポット光画像を抽出し、前記スポット光情報が関連付けられる前記複数の視点画像または前記合成画像に関連付ける
　（９）乃至（１１）のいずれかに記載の撮像装置。
　（１３）　前記関連付け部は、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像を用いて、前記撮像画像を回転補正し、回転補正された前記撮像画像、回転補正された前記撮像画像より抽出された前記複数の視点画像、または、回転補正された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
　（１）乃至（１２）のいずれかに記載の撮像装置。
　（１４）　前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを記憶する記憶部をさらに備える
　（１）乃至（１３）のいずれかに記載の撮像装置。
　（１５）　他の装置と通信を行い、前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを前記他の装置に送信する通信部をさらに備える
　（１）乃至（１４）のいずれかに記載の撮像装置。
　（１６）　前記視点関連情報と前記複数の視点画像とを用いて画像再構成処理を行う画像再構成処理部をさらに備える
　（１）乃至（１５）のいずれかに記載の撮像装置。
　（１７）　前記撮像画像、前記複数の視点画像、または前記合成画像のいずれに前記視点関連情報を関連付けるかを選択する選択部をさらに備え、
　前記関連付け部は、前記撮像画像、前記複数の視点画像、および前記合成画像のうち、前記選択部により選択された画像に前記視点関連情報を関連付ける
　（１）乃至（１６）のいずれかに記載の撮像装置。
　（１８）　光路が互いに独立している複数の個眼光学系を介して被写体を撮像して前記撮像画像を生成する撮像部をさらに備え、
　前記関連付け部は、前記撮像部により生成された前記撮像画像、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像、または、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
　（１）乃至（１７）のいずれかに記載の撮像装置。
　（１９）　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける
　情報処理方法。
　（２０）　コンピュータを、
　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
　として機能させるプログラム。
　１０　カメラ，　３０　多眼光学系，　３１　個眼光学系，　５１　イメージセンサ，　５２　RAW信号処理部，　５３　領域抽出部，　５４　カメラ信号処理部，　５５　スルー画像生成部，　５６　領域特定部，　５７　画像再構成処理部，　６０　バス，　６１　表示部，　６２　記憶部，　６３　記憶媒体，　６４　通信部，　６５　ファイル化部，　７０　関連付け部，　８１　制御部，　８２　記憶部，　８３　記憶媒体，　８４　高額制御部，　２００　画像処理装置，　２１１　通信部，　２１２　画像処理部，　２１３　画像再構成処理部，　２１４　出力部，　２２０　バス，　２２１　表示部，　２２２　記憶部，　２２３　記憶媒体，　３０１　カメラシステム，　３１０　カメラ本体，　３２０　多眼交換レンズ，　３４１　通信部，　３５１　通信部，　３５２　記憶部，　３５３　記憶媒体

Claims (20)

  1. 　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
    　を備える撮像装置。
  2. 　前記視点関連情報は、前記撮像画像における前記複数の視点画像の領域を示す視点領域情報を含む
    　請求項１に記載の撮像装置。
  3. 　前記視点領域情報は、前記撮像画像における前記個眼光学系の光軸に対応する座標と、前記視点画像の解像度とを含む
    　請求項２に記載の撮像装置。
  4. 　前記視点関連情報は、前記視点画像から切り出される部分領域を示す切り出し領域指定情報を含む
    　請求項１に記載の撮像装置。
  5. 　前記視点関連情報は、前記複数の視点画像または前記合成画像に関連付けられる場合、前記撮像画像から抽出された前記複数の視点画像のそれぞれを識別するための視点識別情報を含む
    　請求項１に記載の撮像装置。
  6. 　前記視点関連情報は、前記複数の視点画像に関連付けられる場合、前記撮像画像が撮像された時刻を示す視点時刻情報を含む
    　請求項１に記載の撮像装置。
  7. 　前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、RAW画像である
    　請求項１に記載の撮像装置。
  8. 　前記撮像画像、前記視点画像、および前記合成画像の内の少なくともいずれか１つは、YC画像である
    　請求項１に記載の撮像装置。
  9. 　前記関連付け部は、前記撮像画像、前記複数の視点画像、または前記合成画像に対して、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像に関する情報であるスポット光情報を関連付ける
    　請求項１に記載の撮像装置。
  10. 　前記スポット光情報は、前記撮像画像に形成される複数の前記スポット光の画像のそれぞれを識別するためのスポット光識別情報を含む
    　請求項９に記載の撮像装置。
  11. 　前記スポット光情報は、前記撮像画像における前記スポット光の画像の位置を示すスポット光結像位置情報を含む
    　請求項９に記載の撮像装置。
  12. 　前記関連付け部は、前記撮像画像から前記スポット光を含む領域の画像であるスポット光画像を抽出し、前記スポット光情報が関連付けられる前記複数の視点画像または前記合成画像に関連付ける
    　請求項９に記載の撮像装置。
  13. 　前記関連付け部は、前記撮像画像の前記複数の視点画像でない領域に形成されるスポット光の画像を用いて、前記撮像画像を回転補正し、回転補正された前記撮像画像、回転補正された前記撮像画像より抽出された前記複数の視点画像、または、回転補正された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
    　請求項１に記載の撮像装置。
  14. 　前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを記憶する記憶部をさらに備える
    　請求項１に記載の撮像装置。
  15. 　他の装置と通信を行い、前記関連付け部により関連付けられた前記撮像画像、前記複数の視点画像、または前記合成画像と、前記視点関連情報とを前記他の装置に送信する通信部をさらに備える
    　請求項１に記載の撮像装置。
  16. 　前記視点関連情報と前記複数の視点画像とを用いて画像再構成処理を行う画像再構成処理部をさらに備える
    　請求項１に記載の撮像装置。
  17. 　前記撮像画像、前記複数の視点画像、または前記合成画像のいずれに前記視点関連情報を関連付けるかを選択する選択部をさらに備え、
    　前記関連付け部は、前記撮像画像、前記複数の視点画像、および前記合成画像のうち、前記選択部により選択された画像に前記視点関連情報を関連付ける
    　請求項１に記載の撮像装置。
  18. 　光路が互いに独立している複数の個眼光学系を介して被写体を撮像して前記撮像画像を生成する撮像部をさらに備え、
    　前記関連付け部は、前記撮像部により生成された前記撮像画像、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像、または、前記撮像部により生成された前記撮像画像より抽出された前記複数の視点画像が合成された前記合成画像に対して、前記視点関連情報を関連付ける
    　請求項１に記載の撮像装置。
  19. 　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける
    　情報処理方法。
  20. 　コンピュータを、
    　光路が互いに独立している複数の個眼光学系を介して被写体を１つの撮像素子で撮像して生成された撮像画像、前記撮像画像から抽出された前記複数の個眼光学系のそれぞれを視点とする複数の視点画像、または、前記複数の個眼光学系のそれぞれに対応する前記複数の視点画像が合成された合成画像に対して、前記撮像画像における前記複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける関連付け部
    　として機能させるプログラム。
PCT/JP2019/050029 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム WO2020188929A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/434,920 US11765336B2 (en) 2019-03-18 2019-12-20 Image-capturing apparatus, information processing method, and program
JP2021506170A JP7392712B2 (ja) 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム
EP19920192.2A EP3934231A4 (en) 2019-03-18 2019-12-20 IMAGING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
KR1020217029030A KR20210139256A (ko) 2019-03-18 2019-12-20 촬상 장치, 정보처리방법, 및 프로그램
CN201980093903.XA CN113557711A (zh) 2019-03-18 2019-12-20 图像拍摄装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962819759P 2019-03-18 2019-03-18
US62/819,759 2019-03-18

Publications (1)

Publication Number Publication Date
WO2020188929A1 true WO2020188929A1 (ja) 2020-09-24

Family

ID=72519789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050029 WO2020188929A1 (ja) 2019-03-18 2019-12-20 撮像装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11765336B2 (ja)
EP (1) EP3934231A4 (ja)
JP (1) JP7392712B2 (ja)
KR (1) KR20210139256A (ja)
CN (1) CN113557711A (ja)
WO (1) WO2020188929A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124965A (ja) * 2009-12-11 2011-06-23 Advas Co Ltd 被写体寸法測定用カメラ装置
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2014014071A (ja) * 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2017112526A (ja) * 2015-12-17 2017-06-22 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
WO2019078032A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
JP2004032172A (ja) 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
JP4844353B2 (ja) * 2006-11-07 2011-12-28 パナソニック株式会社 撮像装置
US9565419B2 (en) 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
CN102597693B (zh) * 2009-11-13 2015-04-01 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
JP5166650B2 (ja) * 2010-03-29 2013-03-21 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
JP5567901B2 (ja) * 2010-05-24 2014-08-06 オリンパスイメージング株式会社 ステレオ撮影対応型の交換レンズ、撮像システム
JP5250070B2 (ja) * 2011-03-15 2013-07-31 富士フイルム株式会社 画像処理装置および画像処理方法、ならびに、画像処理システム
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP5860663B2 (ja) 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US20130329068A1 (en) 2012-06-08 2013-12-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6061816B2 (ja) 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
EP3035282A4 (en) * 2013-09-11 2017-07-05 Sony Corporation Image processing device and method
US9230310B2 (en) * 2013-11-27 2016-01-05 Semiconductor Components Industries, Llc Imaging systems and methods for location-specific image flare mitigation
JP6239993B2 (ja) 2014-02-07 2017-11-29 オリンパス株式会社 撮像装置、表示装置、及び制御方法
US10229483B2 (en) 2014-04-30 2019-03-12 Sony Corporation Image processing apparatus and image processing method for setting an illumination environment
JP6478511B2 (ja) * 2014-08-01 2019-03-06 キヤノン株式会社 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
WO2017159353A1 (ja) 2016-03-17 2017-09-21 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP6700986B2 (ja) * 2016-06-03 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124965A (ja) * 2009-12-11 2011-06-23 Advas Co Ltd 被写体寸法測定用カメラ装置
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2014014071A (ja) * 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2017112526A (ja) * 2015-12-17 2017-06-22 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
WO2019078032A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENNETT WILBURNNEEL JOSHIVAIBHAV VAISHEINO-VILLE TALVALAEMILIO ANTUNEZADAM BARTHANDREW ADAMSMARK HOROWITZMARC LEVOY: "High Performance Imaging Using Large Camera Arrays", ACM TRANS. GRAPH., vol. 24, no. 3, 2005, pages 765 - 776

Also Published As

Publication number Publication date
US11765336B2 (en) 2023-09-19
JPWO2020188929A1 (ja) 2020-09-24
CN113557711A (zh) 2021-10-26
JP7392712B2 (ja) 2023-12-06
EP3934231A1 (en) 2022-01-05
EP3934231A4 (en) 2022-04-06
KR20210139256A (ko) 2021-11-22
US20220132096A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP5142701B2 (ja) 符号化方法、電子カメラ、符号化プログラム、及び復号方法
US20090102946A1 (en) Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
JP2008219878A (ja) 復号方法、復号装置、復号プログラム、及び電子カメラ
EP2845164B1 (en) Reference card for scene referred metadata capture
JP2013009274A (ja) 画像処理装置および画像処理方法、プログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
US9106894B1 (en) Detection of 3-D videos
JP6016516B2 (ja) 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
WO2021124941A1 (ja) 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2020188929A1 (ja) 撮像装置、情報処理方法、およびプログラム
CN105684419A (zh) 摄像设备、外部设备、摄像系统、摄像设备的控制方法、计算机程序和计算机可读存储介质
WO2012014494A1 (en) Image processing apparatus and method and program
US10863158B2 (en) Image processing apparatus, image processing method, and program
JP7416057B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
WO2021124940A1 (ja) 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
EP3185560A1 (en) System and method for encoding and decoding information representative of a bokeh model to be applied to an all-in-focus light-field content
JP6450288B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920192

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506170

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019920192

Country of ref document: EP

Effective date: 20210928