WO2016175045A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2016175045A1
WO2016175045A1 PCT/JP2016/062065 JP2016062065W WO2016175045A1 WO 2016175045 A1 WO2016175045 A1 WO 2016175045A1 JP 2016062065 W JP2016062065 W JP 2016062065W WO 2016175045 A1 WO2016175045 A1 WO 2016175045A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
unit
lens
image
pixel
Prior art date
Application number
PCT/JP2016/062065
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680023027.XA priority Critical patent/CN107534730B/zh
Priority to US15/565,547 priority patent/US10306146B2/en
Priority to JP2017515477A priority patent/JP6674644B2/ja
Publication of WO2016175045A1 publication Critical patent/WO2016175045A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the present technology relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of accurately reproducing, for example, the blurring of an optical lens.
  • Light field technology has been proposed that reconstructs, for example, an image that has been refocused from a plurality of viewpoint images, that is, an image that has been shot by changing the focus position of the optical system (for example, (See Patent Document 1).
  • the present technology has been made in view of such a situation, and makes it possible to accurately reproduce the blurring of an optical lens.
  • An image processing apparatus includes: a light ray generation unit that generates light rays that are incident on a virtual lens having a plurality of photographing units that shoot images of a plurality of viewpoints as synthetic apertures from real space points in real space;
  • An image processing apparatus comprising: a luminance assigning unit that assigns luminance to a light beam remaining as a result of a collision determination that determines whether the light beam generated by the generation unit collides with an object before entering the virtual lens.
  • the image processing method of the present technology generates a light ray incident on a virtual lens having a plurality of photographing units that photograph images of a plurality of viewpoints from a real space point in the real space, and the light ray includes: And assigning brightness to the rays remaining as a result of the collision determination for determining whether to collide with an object before entering the virtual lens.
  • a light ray incident on a virtual lens having a plurality of photographing units that shoot images of a plurality of viewpoints as a synthetic aperture is generated from a real space point in the real space, Luminance is assigned to the light beam remaining as a result of the collision determination for determining whether the light beam collides with the object before entering the virtual lens.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the image processing apparatus can be realized by causing a computer to execute a program, and the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the blur of the optical lens can be accurately reproduced.
  • FIG. 2 is a plan view illustrating a configuration example of a photographing apparatus 11.
  • FIG. 2 is a block diagram illustrating a configuration example of an image processing device 12.
  • FIG. It is a flowchart explaining the example of a process of an image processing system.
  • 3 is a block diagram illustrating a configuration example of a disparity information generation unit 31.
  • FIG. It is a figure explaining the example of the production
  • FIG. It is a figure explaining the example of the production
  • FIG. 10 is a flowchart illustrating an example of processing for generating a reference parallax map and a multi-layer parallax map in the parallax information generation unit 31. It is a figure which shows the example of the real image which image
  • 6 is a diagram illustrating an example of an emulation image obtained by the image processing apparatus 12. FIG. It is a figure explaining the principle by which a vivid blur is not reproduced when not performing a saturated pixel restoration process.
  • FIG. 10 is a flowchart for explaining an example of a saturated pixel restoration process performed by a saturated pixel restoration unit 33.
  • 6 is a block diagram illustrating a second configuration example of a saturated pixel restoration unit 33.
  • FIG. 10 is a flowchart for explaining an example of a saturated pixel restoration process performed by a saturated pixel restoration unit 33.
  • FIG. 6 is a plan view illustrating another configuration example of the imaging device 11.
  • FIG. 11 is a block diagram illustrating a third configuration example of a saturated pixel restoration unit 33.
  • FIG. It is a figure explaining the example of correction
  • 10 is a flowchart for explaining an example of a saturated pixel restoration process performed by a saturated pixel restoration unit 33.
  • 10 is a flowchart for explaining an example of processing for acquiring a pixel value of a target pixel of an HDR photographed image of a target viewpoint.
  • FIG. 6 is a diagram for explaining an outline of lens emulation processing of a lens emulation unit 35. It is a figure explaining the condensing process by an actual optical lens, and the condensing process of a lens emulation process.
  • FIG. 3 is a block diagram illustrating a configuration example of an incident light beam reproduction unit 36.
  • FIG. It is a figure explaining a real space point. It is a figure explaining how to obtain
  • FIG. 1 It is a flowchart explaining the example of a process of collision determination. It is a flowchart explaining the example of a light-luminance allocation process. It is a figure explaining the lens information produced
  • FIG. It is a figure explaining the real space point used as the object which produces
  • FIG. It is a figure which shows typically the image surface pitch produced
  • FIG. It is a figure explaining the example of the method of producing
  • FIG. It is a figure explaining image plane shift information. It is a figure explaining the example of the method of producing
  • FIG. 10 is a block diagram which shows the structural example of the emulation lens information generation part 37 which produces
  • 10 is a flowchart illustrating an example of emulation lens information generation processing performed by an emulation lens information generation unit 37. It is a figure explaining the outline
  • FIG. 3 is a block diagram illustrating a configuration example of a condensing processing unit 38.
  • FIG. It is a flowchart explaining the example of the condensing process which the condensing process part 38 performs. It is a flowchart explaining the example of a light beam addition process. It is a figure explaining the outline
  • shaft is a block diagram illustrating a configuration example of a condensing processing unit 38.
  • FIG. It is a flowchart explaining the example of the condensing process which the condensing process part 38 performs. It is a flowchart explaining the example of a light beam addition process. It is a figure explaining the outline
  • FIG. 10 is a flowchart illustrating an example of emulation lens information generation processing performed by an emulation lens information generation unit 37. It is a figure explaining the example of the condensing process performed using the lens information produced
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system includes a photographing device 11, an image processing device 12, and a display device 13.
  • the imaging device 11 captures the subject from a plurality of viewpoints, and supplies the captured images of the plurality of viewpoints obtained as a result to the image processing device 12.
  • the image processing apparatus 12 performs an image process using captured images from a plurality of viewpoints from the imaging apparatus 11, thereby obtaining an emulation image similar to that obtained when an object is captured using an emulation lens that is an optical lens to be emulated. It is generated and supplied to the display device 13.
  • the display device 13 displays the emulation image from the image processing device 12.
  • the emulation image is, for example, an image that faithfully reproduces the blur that occurs in an image obtained by photographing a subject using an optical lens that can be attached to and detached from a single-lens reflex camera or a mirrorless camera. Therefore, the user can enjoy the blur of such an expensive optical lens without purchasing an expensive optical lens.
  • the photographing device 11, the image processing device 12, and the display device 13 that constitute the image processing system are all of them, for example, a digital (still / video) camera, a portable terminal such as a smartphone, or the like. Can be built into an independent device.
  • the photographing device 11, the image processing device 12, and the display device 13 can be separately incorporated in independent devices.
  • the image capturing device 11, the image processing device 12, and the display device 13 can each incorporate any two of them and the remaining one separately in independent devices.
  • the photographing device 11 and the display device 13 can be built in a portable terminal owned by the user, and the image processing device 12 can be built in a server on the cloud.
  • a part of the blocks of the image processing device 12 can be built in a server on the cloud, and the remaining blocks of the image processing device 12, the photographing device 11 and the display device 13 can be built in a portable terminal.
  • FIG. 2 is a plan view showing a configuration example of the photographing apparatus 11.
  • the imaging device 11 has a plurality of camera units 21 i , and shoots images of a plurality of viewpoints with the plurality of camera units 21 i .
  • the photographing apparatus 11 includes, for example, seven camera units 21 1 , 21 2 , 21 3 , 21 4 , 21 5 , 21 6 , and 21 7 as a plurality, and seven of them.
  • the camera units 21 1 to 21 7 are arranged on a two-dimensional plane.
  • seven camera units 21 1 to 21 7 are one of them, for example, the other six camera units 21 2 to 21 7 centering on the camera unit 21 1. These are arranged around the camera unit 21 1 so as to form a regular hexagon.
  • any one of the camera units 21 i (i 1,2, ... , 7) and, most its camera unit 21 i
  • the imaging device 11 can be configured to be approximately the size of a card such as an IC card.
  • the number of camera units 21 i constituting the photographing apparatus 11 is not limited to seven, and a number of two or more and six or less or a number of eight or more can be employed.
  • the plurality of camera units 21 i can be arranged at arbitrary positions in addition to the regular polygon such as the regular hexagon as described above.
  • the camera unit 21 1 to 21 7 the camera unit 21 1 which is disposed in the center, the reference camera unit 21 1 and good, the camera unit 21 arranged around the base camera unit 21 1 2 to 21 7, also referred to as near the camera unit 21 2 to 21 7.
  • FIG. 3 is a block diagram illustrating a configuration example of the image processing apparatus 12 of FIG.
  • the image processing apparatus 12 includes a parallax information generation unit 31, a calibration data acquisition unit 32, a saturated pixel restoration unit 33, a lens design data acquisition unit 34, and a lens emulation unit 35.
  • the image processing device 12 is supplied from the photographing device 11 with seven viewpoints photographed by the camera units 21 1 to 21 7 .
  • the seven viewpoints of the photographed image supplied from the photographing device 11 to the image processing device 12 include standard luminance photographed images PL1 to PL7 and low-luminance photographed images PH1 to PH7.
  • the standard brightness photographed image PL # i is an image photographed by the camera unit 21 i at , for example, a predetermined exposure time (shutter speed) estimated to be appropriate at the time of photographing (hereinafter also referred to as standard exposure time).
  • a predetermined exposure time shutter speed
  • standard exposure time for example, an exposure time set by an automatic exposure function can be adopted.
  • the low brightness photographed image PH # i is an image photographed by the camera unit 21 i with an exposure time shorter than the standard exposure time (shutter speed faster than the shutter speed corresponding to the standard exposure time).
  • the standard luminance captured image PL # i is supplied to the parallax information generating unit 31 and the saturated pixel restoring unit 33, and the low luminance captured image PH # i is supplied to the saturated pixel restoring unit 33. .
  • the parallax information generation unit 31 obtains parallax information using the standard luminance captured image PL # i supplied from the imaging device 11, and constitutes a lens emulation unit 35, which will be described later, an incident ray reproduction unit 36, and emulation lens information generation. To the unit 37 and the condensing processing unit 38.
  • the parallax information generation unit 31 performs a process for obtaining parallax information of each standard luminance captured image PL # i supplied from the imaging device 11 with another standard luminance captured image PL # j. This is performed as image processing of the captured image PL # i. Then, the parallax information generation unit 31 generates a parallax map in which the parallax information is registered and supplies the parallax map to the lens emulation unit 35.
  • the parallax information generating unit 31 of the standard luminance photographed image PL # i, with respect to the standard luminance photographed image PL1 taken by the reference camera unit 21 1 generates a multilayer disparity map to be described later, the lens emulation To the unit 35.
  • parallax information a distance (depth) corresponding to the parallax can be employed in addition to the parallax (disparity) itself.
  • parallax of parallax and distance is adopted as parallax information.
  • the calibration data acquisition unit 32 acquires distortion values and shading coefficients of the optical lenses of the camera units 21 1 to 21 7 as calibration data.
  • the calibration data is stored in, for example, a memory (not shown) or provided from a server on the Internet.
  • the calibration data acquisition unit 32 acquires calibration data from a server on the memory or the Internet, and supplies the calibration data to the parallax information generation unit 31 and the incident light beam reproduction unit 36.
  • Parallax information generating unit 31, and the incident light reproduction unit 36 uses the calibration data supplied from the calibration data acquisition unit 32, image captured by the surrounding camera unit 21 2 to 21 7 (standard luminance photographed He no image PL2 PL7, or calibration to matches the to no HDR captured image HD2 later HD7), the image captured by the reference camera unit 21 1 (standard luminance photographed image PL1, or, HDR photographed image HD1 to be described later) Process.
  • the parallax information generation unit 31 and the incident light beam reproduction unit 36 may be obtained if shooting is performed using the reference camera unit 21 1 instead of the peripheral camera units 21 2 to 21 7.
  • a calibration process for correcting an image captured by the peripheral camera units 21 2 to 21 7 is performed on the image using the calibration data.
  • the saturated pixel restoration unit 33 is supplied from the camera unit 21 i with a pixel value of a saturated pixel whose pixel value is saturated among the pixels of the standard luminance captured image PL # i supplied from the camera unit 21 i. Restoration is performed using the low-brightness photographed image PH # i.
  • the saturated pixel restoration unit 33 restores the pixel value of the saturated pixel so that the standard luminance photographed image PL # i has a higher dynamic range than the standard luminance photographed image PL # i (the number of bits assigned to the pixel value is large).
  • the image is converted into a captured image HD # i and supplied to the incident light beam reproduction unit 36.
  • the captured image HD # i having a higher dynamic range than the standard luminance captured image PL # i can be supplied to the parallax information generating unit 31 in addition to the incident light beam reproducing unit 36.
  • the parallax information generation unit 31 can perform image processing for obtaining parallax information using the captured image HD # i having a high dynamic range instead of the standard luminance captured image PL # i.
  • the parallax information can be obtained with higher accuracy.
  • HDR High Dynamic Range
  • the reference camera unit 21 1 standard brightness taken by the photographing image PL1 and the low luminance photographed image PH1, and, the HDR photographed image HD1 (obtained from their standard luminance photographed images PL1 and the low luminance photographed image PH1), below Also referred to as a reference image.
  • the HDR captured image HD # i is hereinafter also referred to as a peripheral image.
  • the lens design data acquisition unit 34 acquires the lens design data of the emulation lens that is the optical lens to be emulated, and supplies it to the emulation lens information generation unit 37.
  • the lens design data is stored, for example, in a memory (not shown) or provided from a server on the Internet.
  • the lens design data acquisition unit 34 acquires lens design data from a memory or a server on the Internet, and supplies the lens design data to the emulation lens information generation unit 37.
  • the emulation lens need not be an actual optical lens, and may be an optical lens that does not exist.
  • the optical lens that does not exist may be a theoretically possible optical lens, or may be a theoretically impossible optical lens.
  • the lens design data of the emulation lens is input by, for example, operating an operation unit (not shown) by the user.
  • the lens design data acquisition unit 34 acquires lens design data input by the user.
  • the lens emulation unit 35 performs lens emulation processing, and supplies an emulation image obtained by the lens emulation processing to the display device 13 (FIG. 1).
  • the lens emulation unit 35 shoots seven viewpoints supplied from the parallax map (including a multi-layered parallax map described later) supplied from the parallax information generation unit 31 and the saturated pixel restoration unit 33, as necessary.
  • the images HD1 to HD7 and the lens design data supplied from the lens design data acquisition unit 34 are used to generate an emulation image that is an image that would be obtained if the subject was photographed using an emulation lens.
  • the lens emulation unit 35 functions as an emulator for performing emulation of a photographing apparatus (not shown) having an emulation lens.
  • the lens emulation unit 35 includes an incident light beam reproduction unit 36, an emulation lens information generation unit 37, and a light collection processing unit 38.
  • the incident ray reproduction unit 36 uses the seven viewpoints of the captured images HD1 to HD7 supplied from the saturated pixel restoration unit 33 and the parallax map supplied from the parallax information generation unit 31 from a real space point in the real space. Then, incident light reproduction processing for reproducing (information) light rays incident on a virtual lens that is a virtual optical lens is performed as image processing of the seven viewpoints of the captured images HD1 to HD7.
  • the virtual lens on which the light beam reproduced by the incident light beam reproduction unit 36 enters is a plurality of imaging units that shoot seven viewpoints of the captured images HD1 to HD7 (PL1 and PL7) supplied to the incident light beam reproduction unit 36. These are virtual lenses having camera units 21 1 to 21 7 as synthetic apertures.
  • Camera unit 21 1 to 21 7, for example, as shown in FIG. 2, are arranged in the positive hexagonal, 1 of the camera unit 21 i and, of another one of the nearest to the camera unit 21 i camera unit 21 If the distance between the j becomes L, and the synthetic aperture is an opening of the virtual lens, connecting the optical axes around the camera unit 21 2 to 21 7, the diameter is substantially circular 2L.
  • the incident light reproduction unit 36 reproduces the light incident on the virtual lens and supplies it to the condensing processing unit 38.
  • the emulation lens information generation unit 37 uses the parallax map supplied from the parallax information generation unit 31 and the lens design data supplied from the lens design data acquisition unit 34 to pass through the characteristics of the emulation lens, that is, the emulation lens.
  • Emulation lens information for defining the light beam to be generated is generated and supplied to the condensing processing unit 38.
  • the emulation lens information is also simply referred to as lens information.
  • lens information Since lens information has a value equivalent to an emulation lens, it can be sold and sold. Since the lens information is electronic data and can be easily copied, it is possible to require authentication to use the lens information in order to prevent illegal copying.
  • the condensing processing unit 38 uses the parallax map supplied from the parallax information generation unit 31, the light rays supplied from the incident light ray reproduction unit 36, and the lens information supplied from the emulation lens information generation unit 37 to convert the light rays. Condensation processing (digital) condensing is performed on the virtual sensor which is a virtual image sensor via the emulation lens.
  • the condensing process part 38 supplies the emulation image obtained as a result of a condensing process to the display apparatus 13 (FIG. 1).
  • the image processing apparatus 12 can be configured as a server or a client. Furthermore, the image processing apparatus 12 can also be configured as a server client system. When the image processing apparatus 12 is configured as a server client system, any part of the blocks of the image processing apparatus 12 can be configured by a server, and the remaining blocks can be configured by a client.
  • FIG. 4 is a flowchart for explaining an example of processing of the image processing system of FIG.
  • step S1 the photographing apparatus 11 photographs seven viewpoints of captured images PL1 to PL7 and PH1 to PH7 as a plurality of viewpoints.
  • the captured image PL # i is supplied to the parallax information generating unit 31 and the saturated pixel restoring unit 33 of the image processing device 12 (FIG. 3), and the captured image PH # i is supplied to the saturated pixel restoring unit 33.
  • step S1 the process proceeds from step S1 to step S2, and the parallax information generation unit 31 obtains parallax information using the captured image PL # i supplied from the imaging device 11, and the parallax map in which the parallax information is registered.
  • Parallax information generation processing for generating is performed.
  • the parallax information generation unit 31 supplies the parallax map obtained by the parallax information generation processing to the incident light beam reproduction unit 36, the emulation lens information generation unit 37, and the condensing processing unit 38 that constitute the lens emulation unit 35, and performs processing. Advances from step S2 to step S3.
  • step S3 the saturated pixel reconstruction unit 33, the pixel value of the saturation pixel among the pixels of the captured image PL # i supplied from the camera unit 21 i, the captured image PH # i supplied from the camera unit 21 i
  • a saturated pixel restoration process is performed to restore by using.
  • the saturated pixel restoration unit 33 supplies the high dynamic range captured image HD # i obtained by the saturation pixel restoration process to the incident light beam reproduction unit 36, and the process proceeds from step S3 to step S4.
  • step S 4 the lens design data acquisition unit 34 acquires the lens design data of the emulation lens and supplies it to the emulation lens information generation unit 37.
  • step S4 the emulation lens information generation unit 37 uses the parallax map supplied from the parallax information generation unit 31 and the lens design data supplied from the lens design data acquisition unit 34, so that the lens information of the emulation lens is obtained. Emulation lens information generation processing is performed.
  • the emulation lens information generation unit 37 supplies the lens information obtained by the emulation lens information generation process to the light collection processing unit 38, and the process proceeds from step S4 to step S5.
  • step S ⁇ b> 5 the incident ray reproduction unit 36 uses the seven viewpoints of captured images HD ⁇ b> 1 to HD ⁇ b> 7 supplied from the saturated pixel restoration unit 33 and the parallax map supplied from the parallax information generation unit 31. An incident ray reproduction process for reproducing rays incident on the virtual lens from the real space point is performed.
  • the incident light reproduction unit 36 supplies (information) the light beam obtained by the incident light reproduction process to the condensing processing unit 38, and the process proceeds from step S5 to step S6.
  • step S ⁇ b> 6 the condensing processing unit 38 uses the parallax map supplied from the parallax information generation unit 31, the light beam supplied from the incident light beam reproduction unit 36, and the lens information supplied from the emulation lens information generation unit 37. Then, a light condensing process for condensing the light beam on the virtual sensor via the emulation lens is performed.
  • the condensing processing unit 38 supplies the emulation image obtained as a result of the condensing process to the display device 13, and the process proceeds from step S6 to step S7.
  • step S7 the display device 13 displays the emulation image from the light collection processing unit 38.
  • FIG. 5 is a block diagram illustrating a configuration example of the disparity information generation unit 31 in FIG.
  • the parallax information generation unit 31 includes a reference parallax map generation unit 41 and a multilayer parallax map generation unit 42.
  • the captured images PL1 to PL7 are supplied from the imaging device 11 to the reference parallax map generation unit 41.
  • the reference parallax map generation unit 41 is a parallax in which the parallax of the reference image PL1, which is one of the captured images PL1 to PL7 from the imaging device 11, with other captured images (peripheral images) PL2 to PL7 is registered.
  • a reference parallax map that is a map is generated and supplied to the multilayer parallax map generating unit 42.
  • the multi-layer parallax map generation unit 42 uses the reference parallax map from the reference parallax map generation unit 41 to generate parallax maps of the peripheral images PL2 to PL7, for example.
  • the multilayer disparity map generation unit 42 reference disparity map of the reference image PL1, and, to no peripheral image PL2 using the disparity map of PL7, parallax reference camera unit 21 1 of the viewpoint (position) as a reference is registered A multi-layered parallax map is generated.
  • the necessary parallax maps are the incident ray reproduction unit 36, the emulation lens information generation unit 37, and the condensing process. It is supplied to the section 38 (FIG. 3).
  • FIG. 6 is a diagram illustrating an example of generation of a reference parallax map by the reference parallax map generation unit 41 in FIG.
  • FIG. 6 shows an example of the captured images PL1 to PL7.
  • the photographed images PL1 to PL7 show a predetermined object obj as a foreground on the front side of the predetermined background. Since each of the captured images PL1 to PL7 has a different viewpoint, for example, the position of the object obj reflected in each of the peripheral images PL2 to PL7 is shifted from the position of the object obj reflected in the reference image PL1 by the difference in viewpoint.
  • the reference parallax map generation unit 41 sequentially selects the pixels of the reference image PL1 as the target pixel, and sets corresponding pixels (corresponding points) corresponding to the target pixel to other captured images PL2 to PL7, that is, the peripheral image PL2. Detect from each of PL7.
  • any method such as block matching can be employed.
  • a vector from the target pixel of the reference image PL1 toward the corresponding pixel of the peripheral image PL # i that is, a vector representing a positional deviation between the target pixel and the corresponding pixel is referred to as a parallax vector v # i, 1. .
  • the reference disparity map generation unit 41 obtains disparity vectors v2,1 to v7,1 for the peripheral images PL2 to PL7, respectively. Then, the reference parallax map generation unit 41 performs a majority vote on the magnitudes of the parallax vectors v2,1 to v7,1 and determines the magnitude of the parallax vector v # i, 1 that has won the majority vote as a target pixel ( ) Position).
  • the reference camera unit 21 1 for photographing the reference image PL1 and the peripheral camera units 21 2 to 21 7 for photographing the peripheral images PL # 2 to PL # 7, respectively.
  • the portion shown in the target pixel of the reference image PL1 is also shown in the peripheral images PL # 2 to PL # 7 in the case where the distance to is the same distance L, the disparity vectors v2,1 to v7 , 1, vectors having different directions but the same magnitude are obtained.
  • no disparity vectors v2,1 v7,1 is to no peripheral image PL # 2 with respect to the reference camera unit 21 first direction corresponding to the position of the PL # 7 (viewpoint), is equal to the vector magnitude.
  • an image in which occlusion occurs that is, a portion reflected in the target pixel of the reference image PL1 is in the foreground. There may be images that are hidden and not shown.
  • peripheral image (hereinafter also referred to as an occlusion image) PL # i in which the portion that appears in the target pixel of the reference image PL1 is not reflected, it is difficult to detect a correct pixel as a corresponding pixel corresponding to the target pixel.
  • the disparity vector v # i, 1 having a size different from that of the disparity vector v # j, 1 of the peripheral image PL # j in which the portion reflected in the target pixel of the reference image PL1 is shown Is required.
  • the reference disparity map generation unit 41 performs a majority vote on the magnitudes of the disparity vectors v2,1 to v7,1 and the magnitude of the disparity vector v # i, 1 that has won the majority vote. As the parallax of the pixel of interest.
  • disparity vectors v2,1 to v7,1 three disparity vectors v2,1, v3,1, v7,1 are vectors having the same magnitude. Further, for each of the disparity vectors v4, 1, v5, 1, v6, 1, there is no disparity vector having the same magnitude.
  • the direction of the parallax between the target pixel of the reference image PL1 and the arbitrary peripheral image PL # i can be recognized from the positional relationship between the reference camera unit 21 1 and the peripheral camera unit 21 i .
  • the reference parallax map generation unit 41 sequentially selects the pixels of the reference image PL1 as the target pixel, and obtains the parallax. Then, the reference parallax map generating unit 41 generates, as a reference parallax map, a parallax map in which the parallax of the pixel is registered with respect to the position (xy coordinate) of each pixel of the reference image PL1. Therefore, the parallax map is a map (table) in which the position of a pixel is associated with the parallax of the pixel.
  • the parallax map of the peripheral image PL # i can be generated in the same manner.
  • the majority decision of the parallax vector is based on the viewpoint relationship between the peripheral image PL # i and the other captured images PL # j (positions of the camera units 21 i and 21 j). And the magnitude of the parallax vector is adjusted based on the relationship).
  • the disparity vector obtained between the peripheral image PL5 and the reference image PL1 is the disparity vector obtained between the peripheral image PL5 and the peripheral image PL2. Double the size.
  • baseline length is the distance of the optical axis to each other between the reference camera unit 21 1 for capturing a reference image PL1 is whereas the distance L, around a peripheral camera unit 21 5 for capturing an image PL5, the baseline length between the near camera unit 21 2 for taking the surrounding image PL2 is because that is a distance 2L.
  • the reference base line length which is the base line length between the peripheral camera unit 21 5 and the reference camera unit 21 1 .
  • the majority of the parallax vectors is converted to the reference base line length L. As described above, this is performed by adjusting the magnitude of the parallax vector.
  • a peripheral camera unit 21 5 for capturing a surrounding image PL5 baseline length L of the base camera unit 21 1 for capturing a reference image PL1 is equal to the reference base line length L, the peripheral image PL5 and the reference image PL1 The parallax vector obtained between the two is adjusted to 1 time.
  • a peripheral camera unit 21 5 for capturing a surrounding image PL5 baseline length 2L around the camera unit 21 2 for taking the surrounding image PL2 is equal to twice the reference base line length L, peripheral image PL5 and reference
  • the magnitude of the disparity vector obtained with the image PL1 is adjusted to 1/2 (the value multiplied by the ratio between the reference baseline length and the baseline length of the peripheral camera unit 21 5 and the peripheral camera unit 21 2 ). Is done.
  • the magnitude of the disparity vector obtained between the peripheral image PL5 and the other captured image PL # i is adjusted to a value multiplied by the ratio with the reference baseline length L.
  • the majority of the disparity vectors is determined using the disparity vector after the size adjustment.
  • the parallax of the reference image PL1 (each pixel thereof) can be obtained, for example, with the accuracy of the pixels of the captured image captured by the imaging device 11.
  • the parallax of the reference image PL1 is obtained with, for example, an accuracy finer than the pixel of the captured image captured by the imaging device 11 (hereinafter, also referred to as pixel accuracy), that is, an accuracy of 1/4 pixel, for example. it can.
  • the parallax with sub-pixel accuracy can be used as it is, and the decimal point of the sub-pixel accuracy is rounded down, rounded up, or rounded off. It can also be used as an integer.
  • the parallax is obtained with subpixel accuracy, and unless otherwise specified, the parallax with subpixel accuracy is used as an integer for ease of calculation.
  • FIG. 7 is a diagram illustrating an example of generating a parallax map of the peripheral image PL # i.
  • the disparity map of the peripheral image PL # i can be generated in the same manner as the disparity map (reference disparity map) of the reference image PL1, and can be simply generated using the reference disparity map.
  • the multilayer parallax map generating unit 42 (FIG. 5) can generate a parallax map of the peripheral image PL # i using the reference parallax map.
  • the parallax maps of the peripheral images PL2 and PL5 are generated using the reference parallax map.
  • FIG. 7 shows the reference image PL1, the peripheral images PL2 and PL5, and the parallax maps of the reference image PL1, the peripheral images PL2 and PL5, respectively.
  • the parallax map of the reference image PL1 includes a plan view of a parallax map in which the parallax of each pixel is expressed in shades, a parallax map in which the horizontal axis is the horizontal position of the pixel and the vertical axis is the parallax. Is shown.
  • Multilayer disparity map generation unit 42 uses the reference disparity map, when generating a disparity map of the surrounding image PL # i, the reference disparity map, a camera unit 21 1 for capturing a reference image, the peripheral image PL # i By moving the parallax registered at the position of each pixel in the direction corresponding to the positional relationship with the camera unit 21 i that captures the image (hereinafter also referred to as the camera positional relationship direction), the peripheral image PL Generate #i parallax map.
  • the left direction which is the direction in which the camera unit 21 1 that captures the reference image is viewed from the camera unit 21 2 that captures the peripheral image PL2, is the camera positional relationship direction.
  • the parallax map of the peripheral image PL2 is generated by moving the parallax registered at the position of each pixel in the reference parallax map to the left, which is the camera positional relationship direction, by the parallax.
  • the right direction is a direction viewed camera unit 21 1 for capturing a reference image
  • the disparity map of the peripheral image PL5 is generated by moving the disparity registered at the position of each pixel of the reference disparity map as the related direction to the right direction that is the camera position related direction by that disparity.
  • the parallax map of the peripheral image PL # i is generated using the reference parallax map
  • the parallax map of the peripheral image PL # i is reflected in the peripheral image PL # i.
  • An area for a pixel of a portion that is not shown in the reference image P1 is an unregistered area (a portion that is hatched in FIG. 7) where no parallax is registered.
  • the multilayer parallax map generation unit 42 interpolates the parallax in the unregistered area of the parallax map of the peripheral image PL # i generated using the reference parallax map, thereby obtaining the parallax map of the peripheral image PL # i. Finalize.
  • FIG. 8 is a diagram for explaining the interpolation of the parallax to the unregistered area of the parallax map of the peripheral image PL # i.
  • FIG. 8 also shows the reference image PL1, the peripheral images PL2 and PL5 and the parallax maps of the reference image PL1, the peripheral images PL2 and PL5, as in FIG.
  • the multi-layer parallax map generation unit 42 generates a camera positional relationship direction straight line that extends in a camera positional relationship direction from pixels in an unregistered area in the parallax map of the peripheral image PL # i in each of a direction opposite to one direction.
  • the parallax registered pixel which is the pixel where the parallax is registered, which is traced and arrives first, is detected.
  • the multilayer parallax map generation unit 42 corresponds to the smaller parallax (farther distance) of the parallax of the parallax registration pixel in one direction of the camera position relation direction straight line and the parallax of the parallax registration pixel in the opposite direction.
  • (Parallax) is selected as the interpolation parallax used for interpolation of pixels in the unregistered area.
  • the multilayer parallax map generation unit 42 interpolates the parallax of the pixels in the unregistered area with the interpolated parallax (registers the interpolated parallax as the parallax of the pixels in the unregistered area), and calculates the parallax map of the peripheral image PL # i. Finalize.
  • the parallax registered in the pixel (parallax registered pixel) adjacent to the right boundary of the unregistered area is selected as the interpolated parallax
  • the unregistered area Is interpolated into the interpolated parallax is propagated as the parallax of the pixels in the unregistered area.
  • the parallax registered in the pixel (parallax registered pixel) adjacent to the left boundary of the unregistered area (FIG. 7) is selected as the interpolated parallax.
  • the parallax of the pixels in the registration area is interpolated to the interpolated parallax.
  • FIG. 9 is a diagram for explaining an example of generation of a multilayer parallax map.
  • FIG. 9 also shows the reference image PL1, the peripheral images PL2 and PL5, and the parallax maps of the reference image PL1, the peripheral images PL2 and PL5, as in FIGS. 7 and 8.
  • the multilayer parallax map generation unit 42 generates a multilayer parallax map using the reference parallax map of the reference image PL1 and the parallax maps (one or more) of the peripheral images PL2 to PL7.
  • the multilayer parallax map generation unit 42 sequentially selects each pixel of the peripheral image PL # i as a target pixel, and detects a corresponding pixel of the reference image corresponding to the target pixel.
  • the position of the pixel of interest near image PL # i, only disparity that are registered to the target pixel of the disparity map of the surrounding image PL # i, the camera position relationship direction (in this case, the camera unit 22 from the camera unit 21 1 i
  • the pixel of the reference image PL1 at the position moved in the direction of viewing) is detected as the corresponding pixel of the reference image PL1 corresponding to the target pixel of the peripheral image PL # i.
  • the parallax of the target pixel of the peripheral image PL # i is registered with respect to the corresponding pixel of the reference image PL1.
  • the parallax has already been registered for the corresponding pixel of the reference image PL1 in the reference parallax map, but the parallax of the target pixel of the peripheral image PL # i has already been If it is different from the registered parallax, the parallax is registered in addition to the already registered parallax.
  • the parallax registered in the parallax map of the peripheral image PL # i is added to the reference parallax map, in other words, reflected, and the reflected parallax map becomes a multilayer parallax map.
  • the reference camera unit 21 1 viewpoint other parallax visible part hereinafter, the reference viewpoint also called
  • the moiety occlusion not hidden in the foreground has occurred
  • a multi-layer parallax map for example, the parallax corresponding to the distance to the foreground of a pixel in the foreground region and the parallax corresponding to the distance from the reference viewpoint to the background that is hidden behind the shadow of the foreground In other words, a multi-layer parallax (a plurality of parallaxes) is registered.
  • FIG. 10 is a flowchart for explaining an example of processing for generating the reference parallax map and the multilayer parallax map in the parallax information generating unit 31 in FIG.
  • the reference parallax map generation unit 41 selects an image of the peripheral images PL2 to PL7 from the imaging device 11 that has not yet been selected as the target image. One is selected as the image of interest, and the process proceeds to step S12.
  • step S12 the reference parallax map generation unit 41 detects the parallax vector v (FIG. 6) with the target image for each pixel of the reference image PL1 from the imaging device 11, and the process proceeds to step S13.
  • step S13 the reference parallax map generation unit 41 determines whether all of the peripheral images PL2 to PL7 have been selected as the target image.
  • step S13 If it is determined in step S13 that all of the surrounding images PL2 to PL7 have not yet been selected as the target image, the processing returns to step S11, and the same processing is repeated thereafter.
  • step S13 If it is determined in step S13 that all the peripheral images PL2 to PL7 have been selected as the target image, the process proceeds to step S14.
  • step S14 the reference parallax map generation unit 41 sets the magnitudes of the parallax vectors v2,1 to v7,1 with respect to the surrounding images PL2 to PL7 for each pixel of the reference image. A majority decision is performed, and the magnitude of the disparity vector v # i, 1 that wins the majority decision is determined as the disparity.
  • the reference parallax map generation unit 41 generates a reference parallax map in which parallax is registered for each pixel of the reference image, supplies the generated reference parallax map to the multilayer parallax map generation unit 42, and the reference parallax map generation processing ends. .
  • step S21 the multilayer parallax map generation unit 42 uses the reference parallax map from the reference parallax map generation unit 41 as described in FIG. A parallax map of PL2 to PL7 is generated, and the process proceeds to step S22.
  • step S22 as described with reference to FIG. 8, the multilayer parallax map generation unit 42 interpolates the parallax in the unregistered area of the parallax map of the peripheral image PL # i, thereby generating the parallax map of the peripheral image PL # i.
  • step S23 the multilayer parallax map generation unit 42 interpolates the parallax in the unregistered area of the parallax map of the peripheral image PL # i, thereby generating the parallax map of the peripheral image PL # i.
  • step S23 as described in FIG. 9, the multilayer parallax map generation unit 42 generates the multilayer parallax map by reflecting the parallax maps of the peripheral images PL2 to PL7 in the reference parallax map, and generates the multilayer parallax map. The process ends.
  • FIG. 11 is a diagram schematically showing an example of a live-action image obtained by photographing a predetermined subject using an actual optical lens.
  • FIG. 11A shows an example of a live-action image in which the focus is set to pan focus.
  • the light bulb located on the far side is relatively clear and clear.
  • FIG. 11B shows an example of a live-action image in which the focus (from the main point of the optical lens) is a relatively near position, for example, a distance of 1 m.
  • FIG. 11B In the live-action image shown in FIG. 11B, a subject at a distance of 1 m (can in FIG. 11) is clearly visible without blur, but subjects at other distances are blurred. Further, in the real image of B in FIG. 11, the light bulb located on the far side is blurred but is relatively vivid due to its high brightness.
  • FIG. 12 is a diagram showing an example of an emulation image obtained by the image processing apparatus 12 of FIG.
  • FIG. 12A shows an example of an emulation image obtained when the image processing apparatus 12 does not perform the saturated pixel restoration process.
  • the focus is set to the front position as in the case of B in FIG. 11, and therefore the light bulb located on the far side is blurred.
  • the light bulb located on the far side is blurred, but unlike the case of B of FIG. 11, it is not so vivid.
  • FIG. 12B shows an example of an emulation image obtained when the image processing device 12 performs a saturated pixel restoration process.
  • the focus is set to the front position as in the case of B in FIG. 11, and thus the light bulb located on the far side is blurred.
  • the blurring of the actual optical lens can be accurately reproduced in the lens emulation processing performed later.
  • FIG. 13 is a diagram for explaining the principle that vivid blur is not reproduced when saturation pixel restoration processing is not performed.
  • FIG. 13A shows an example of the light intensity of the subject.
  • the horizontal axis represents the horizontal position (horizontal coordinate) of an image sensor (not shown) constituting the camera unit 21 i
  • the vertical axis represents the light from the subject irradiated on the image sensor. Represents light intensity.
  • the camera unit 21 i (image sensor) is irradiated with light having a very large light intensity S 0 .
  • FIG. 13B shows an example of the brightness of a captured image output when the camera unit 21 i receives light of light intensity S 0 .
  • the horizontal axis represents the position of the pixel in the horizontal direction of the captured image output by the camera unit 21 i that has received light of the light intensity S 0
  • the vertical axis represents the luminance of the pixel of the captured image.
  • the luminance corresponding to the light with the light intensity S 0 exceeds the photographing limit luminance THL, which is the maximum value that the camera unit 21 i can output as a pixel value. Therefore, in the photographed image, the light with the light intensity S 0 The brightness of the subject that emits is cut (clamped) to the shooting limit brightness THL.
  • the light intensity corresponding to the photographing limit luminance THL is expressed as S 1 ( ⁇ S 0 ).
  • FIG. 13C shows an example of an emulation image generated by lens emulation processing using a photographed image in which the luminance corresponding to the light of the light intensity S 0 is cut to the photographing limit luminance THL corresponding to the light intensity S 1. Is shown.
  • the horizontal axis represents the pixel position in the horizontal direction of the emulation image
  • the vertical axis represents the luminance of the pixel of the emulation image
  • a subject for example, a light bulb or the like
  • a subject that emits light having a light intensity S 0 that is greater than the light intensity S 1 corresponding to the photographing limit luminance THL is detected in the light intensity S corresponding to the photographing limit luminance THL. It appears as a subject that emits the light of 1 .
  • FIG. 14 is a diagram for explaining the principle that vivid blur is reproduced by performing saturated pixel restoration processing.
  • FIG. 14A shows an example of the brightness of a captured image output when the camera unit 21 i receives light of light intensity S 0 .
  • Brightness of the photographed image A in FIG. 14 is similar to B in FIG. 13, the luminance of the object that emits light of the optical intensity S 0 is shooting limit corresponding to the small light intensity S 1 than the light intensity S 0 The brightness is cut to THL.
  • FIG. 14B shows an example of the brightness of the captured image after the saturated pixel restoration process.
  • the pixel value of the subject whose pixel value is cut to the shooting limit luminance THL corresponds to the light intensity S 2 that satisfies the formula S 1 + S 2 ⁇ S 0 to the shooting limit luminance THL.
  • the luminance with the added luminance is restored.
  • the pixel whose pixel value is cut to the photographing limit luminance THL has a luminance corresponding to the original light intensity S 0 ⁇ S 1 + S 2 as the pixel value.
  • FIG. 14C illustrates an example of an emulation image generated using the captured image after the saturated pixel restoration process.
  • the horizontal axis represents the horizontal pixel position of the emulation image
  • the vertical axis represents the luminance of the emulation image pixel.
  • the luminance of a subject for example, a light bulb or the like
  • the luminance of a subject that emits light having a large light intensity S 0 whose pixel value is cut to the photographing limit luminance THL is (almost) original.
  • the brightness corresponding to the large light intensity S 0 is restored.
  • the saturated pixel restoration unit 33 is a pixel of a saturated pixel whose pixel value is saturated among the pixels of the standard luminance photographed image PL # i supplied from the camera unit 21 i. Saturated pixel restoration processing is performed to restore the value using the low-luminance captured image PH # i supplied from the camera unit 21 i .
  • the pixel value of the pixel of the standard luminance photographed image PL # i is saturated, as described in FIGS. 13 and 14, the pixel value of the pixel of the standard luminance photographed image PL # i is cut to the photographing limit luminance THL. It means that the pixel value of the pixel of the standard luminance photographed image PL # i is close to the photographing limit luminance THL.
  • the standard luminance photographed image PL # i and the low luminance photographed image PH # i that show the same subject are required.
  • An arbitrary method can be adopted as a method of acquiring the standard luminance captured image PL # i and the low luminance captured image PH # i in which the same subject is reflected.
  • the first acquisition method, the second acquisition method, and the third acquisition are performed. A method will be described.
  • the photographed image to be subjected to the saturation pixel restoration process is a raw data image or a demosaic image before gamma correction in order to maintain linearity of luminance.
  • FIG. 15 is a diagram for explaining a first acquisition method for acquiring the standard luminance captured image PL # i and the low luminance captured image PH # i.
  • the exposure time (shutter speed) is changed in all the camera units 21 1 to 21 7 constituting the photographing apparatus 11, and a plurality of times of photographing such as twice are performed in a short time. .
  • the standard exposure time (expected that is appropriate at the time of photographing, for example, the exposure time set by the automatic exposure function, etc. ) And shooting with an exposure time shorter than the standard exposure time are continuously performed.
  • the photographed image taken with the standard exposure time becomes the standard brightness photographed image PL # i
  • the photographed image taken with the exposure time shorter than the standard exposure time becomes the low brightness photographed image PH # i.
  • the standard luminance captured image PL # i and the low luminance captured image PH # i obtained by the first acquisition method are images captured at different timings.
  • the standard exposure time is expressed as X [seconds]
  • X / 16 [seconds] is adopted as the exposure time of the low-brightness photographed image PH # i that is shorter than the standard exposure time X. be able to.
  • FIG. 15 shows an example of standard brightness photographed images PL1, PL2, and PL5 and low brightness photographed images PH1, PH2, and PH5 photographed by the camera units 21 1 , 21 2 , and 21 5, respectively. ing.
  • the exposure time of the low-brightness shot image PH # i is shorter than the standard exposure time of the standard-brightness shot image PL # i, the subject is darker than the standard-brightness shot image PL # i in the low-brightness shot image PH # i. Reflect.
  • FIG. 16 is a block diagram illustrating a first configuration example of the saturated pixel restoration unit 33 in FIG.
  • FIG. 16 illustrates a configuration example of the saturated pixel restoration unit 33 when the standard luminance captured image PL # i and the low luminance captured image PH # i are acquired by the first acquisition method.
  • the saturated pixel restoration unit 33 includes a saturation determination unit 51 and a restoration unit 52.
  • the saturation determination unit 51 is supplied with the standard luminance photographed image PL # i from the photographing apparatus 11 (FIG. 1).
  • the saturation determination unit 51 performs saturation determination to determine whether each pixel of the standard luminance captured image PL # i from the imaging device 11 is a saturated pixel, and supplies the determination result of the saturation determination to the restoration unit 52. To do.
  • the restoration unit 52 is supplied with the determination result of the saturation determination from the saturation determination unit 51, and is supplied with the standard luminance photographed image PL # i and the low luminance photographed image PH # i from the photographing device 11.
  • the restoration unit 52 specifies a saturated pixel among the pixels of the standard luminance captured image PL # i from the imaging device 11 according to the determination result (saturation determination result) of the saturation determination from the saturation determination unit 51.
  • the restoration unit 52 restores the pixel value of the saturated pixel using the low-brightness photographed image PL # i from the photographing device 11 as necessary, and the standard brightness photographed image PL # i obtained by the restoration.
  • the high dynamic range HDR photographed image HD # i is supplied to the incident light beam reproduction unit 36 (FIG. 3).
  • FIG. 17 is a flowchart illustrating an example of the saturated pixel restoration process performed by the saturated pixel restoration unit 33 in FIG.
  • step S31 the saturation determination unit 51 selects one of the viewpoints that have not yet been selected as the target viewpoint from the viewpoints (positions) of the seven camera units 21 1 to 21 7 , and The process proceeds to step S32.
  • step S32 the saturation determining unit 51 is still interested in the pixels of the standard luminance photographed image PL # i of the viewpoint of interest among the seven viewpoint standard luminance photographed images PL1 to PL7 supplied from the photographing apparatus 11. One of the pixels not selected as the pixel is selected as the target pixel, and the process proceeds to step S33.
  • step S33 the saturation determination unit 51 determines whether or not the standard pixel value, which is the pixel value of the target pixel of the standard luminance captured image PL # i at the target viewpoint, is equal to or greater than a predetermined threshold value TH1.
  • step S33 If it is determined in step S33 that the standard pixel value of the target pixel of the standard luminance photographed image PL # i of the viewpoint of interest is not equal to or greater than the threshold TH1, that is, the standard of the target pixel of the standard luminance photographed image PL # i of the target viewpoint If the pixel value is not saturated, the saturation determination unit 51 supplies a saturation determination result indicating that the standard pixel value is not saturated to the restoration unit 52, and the process proceeds to step S34.
  • step S34 the restoration unit 52 receives the attention of the standard luminance photographed image PL # i at the viewpoint of interest from the photographing device 11 according to the saturation judgment result from the saturation judgment unit 51 that the standard pixel value is not saturated.
  • the standard pixel value of the pixel is selected as the pixel value at the position of the target pixel (this pixel is also referred to as the target pixel hereinafter) in the HDR photographed image HD # i of the target viewpoint, and the process proceeds to step S37. .
  • step S33 if it is determined in step S33 that the standard pixel value of the target pixel of the standard luminance photographed image PL # i at the target viewpoint is greater than or equal to the threshold value TH1, that is, the attention of the standard luminance photographed image PL # i at the target viewpoint.
  • the saturation determination unit 51 supplies a saturation determination result indicating that the standard pixel value is saturated to the restoration unit 52. The process proceeds to step S35.
  • step S35 the restoration unit 52 determines the low-luminance photographed image PH # i of the viewpoint of interest from the photographing device 11 according to the saturation judgment result from the saturation judgment unit 51 that the standard pixel value is saturated. It is determined whether or not the low-luminance pixel value, which is the pixel value of the pixel at the position of the target pixel (this pixel is also referred to as the target pixel hereinafter), is greater than or equal to a predetermined threshold TH2.
  • step S35 If it is determined in step S35 that the low-brightness pixel value of the target pixel of the low-luminance photographed image PH # i at the viewpoint of interest is not greater than or equal to the threshold TH2, that is, the target pixel of the low-luminance photographed image PH # i of the viewpoint of interest. If the low luminance pixel value is small and the possibility of noise is high, the process proceeds to step S34.
  • step S34 as described above, the restoration unit 52 selects the standard pixel value of the target pixel of the standard luminance captured image PL # i of the target viewpoint as the pixel value of the target pixel of the HDR captured image HD # i of the target viewpoint. Then, the process proceeds to step S37.
  • step S35 if it is determined in step S35 that the low-brightness pixel value of the target pixel of the low-luminance shot image PH # i of the viewpoint of interest is equal to or greater than the threshold TH2, that is, the low-luminance shot image PH # i of the viewpoint of interest. If the low luminance pixel value of the target pixel is a value that can be considered not to be noise, the process proceeds to step S36.
  • step S36 the restoration unit 52 obtains a pixel value obtained by multiplying the low-brightness pixel value of the target pixel of the low-luminance captured image PH # i of the viewpoint of interest by a predetermined number as a restored pixel value obtained by restoring the saturated pixel. Further, the restoration unit 52 selects the restoration pixel value as the pixel value of the target pixel of the HDR photographed image HD # i of the viewpoint of interest, and the process proceeds from step S36 to step S37.
  • the exposure time (standard exposure time) of the standard brightness photographed image PL # i and the low brightness photographed image PH # i The value of the ratio with the exposure time is adopted.
  • step S37 the saturation determination unit 51 determines whether or not all the pixels of the standard luminance captured image PL # i at the target viewpoint have been selected as the target pixel.
  • step S37 If it is determined in step S37 that all the pixels of the standard luminance captured image PL # i at the viewpoint of interest have not been selected as the target pixel, the process returns to step S32, and the same process is repeated thereafter. It is.
  • step S37 If it is determined in step S37 that all the pixels of the standard luminance captured image PL # i at the viewpoint of interest have been selected as the target pixel, the process proceeds to step S38.
  • step S38 the saturation determination unit 51 determines whether or not all seven viewpoints have been selected as the viewpoints of interest.
  • step S38 If it is determined in step S38 that not all the seven viewpoints have been selected as the viewpoint of interest, the process returns to step S31, and the same process is repeated thereafter.
  • step S38 If it is determined in step S38 that all seven viewpoints have been selected as the viewpoint of interest, the restoration unit 52 converts the seven viewpoints of the HDR captured images HD1 to HD7 obtained by the above processing into the incident ray reproduction unit 36. (FIG. 3) is supplied, and the saturated pixel restoration process ends.
  • the low-luminance photographed image PH # i includes a first low-luminance photographed image having an exposure time shorter than the standard exposure time, and a second low-luminance photographed image having an exposure time shorter than the first low-luminance photographed image. Can be adopted.
  • the photographing apparatus 11 changes the exposure time and continuously performs three photographings, whereby the standard luminance photographed image PL # i, the first low-luminance photographed image, and the first 2 low-intensity photographed images can be acquired.
  • the saturated pixel whose pixel value is saturated It can be used for restoration.
  • FIG. 18 is a block diagram illustrating a second configuration example of the saturated pixel restoration unit 33.
  • FIG. 18 illustrates a configuration example of the saturated pixel restoration unit 33 when the standard luminance captured image PL # i and the low luminance captured image PH # i in which the same subject is captured are acquired by the second acquisition method. Is shown.
  • all the camera units 21 1 to 21 7 constituting the photographing apparatus 11 perform high-speed photographing in which a plurality of photographings are performed in a short time with a constant exposure time smaller than the standard exposure time.
  • the standard brightness photographed image PL # i and the low brightness photographed image PH # i are added by adding a different number of high-speed photographed images obtained by the high-speed photographing of the camera unit 21 i. Is generated (acquired).
  • the exposure time for high-speed shooting is 1/4000 seconds
  • the exposure time (standard exposure time) for the standard brightness photographed image PL # i is set to 1/60 seconds and the low brightness photographed image PH # i
  • the standard brightness photographed image PL # i and the low brightness photographed image PH # i can be generated as follows.
  • the standard luminance captured image PL # i can be generated by adding only 66 or 67 high-speed captured images. Further, the low brightness photographed image PH # i can be generated by adding only four high-speed photographed images.
  • the saturated pixel restoration unit 33 assumes that a high-speed photographed image is supplied from the photographing device 11, and obtains a standard luminance photographed image PL # i from the high-speed photographed image by the second acquisition method. The brightness photographed image PH # i is acquired (generated). Then, the saturated pixel restoration unit 33 performs saturation pixel restoration processing using the standard luminance photographed image PL # i and the low luminance photographed image PH # i.
  • the saturated pixel restoration unit 33 includes a saturation determination unit 51, a restoration unit 52, a standard luminance captured image generation unit 61, and a low luminance captured image generation unit 62.
  • the saturated pixel restoration unit 33 in FIG. 18 is common to the case in FIG. 16 in that it includes a saturation determination unit 51 and a restoration unit 52.
  • the saturated pixel restoration unit 33 of FIG. 18 is different from the case of FIG. 16 in that it includes a standard luminance captured image generation unit 61 and a low luminance captured image generation unit 62.
  • the high-speed photographed image of seven viewpoints obtained by the high-speed photographing is supplied from the photographing device 11 to the standard luminance photographed image generating unit 61 and the low-luminance photographed image generating unit 62.
  • the standard brightness photographed image generation unit 61 generates a standard brightness photographed image PL # i by adding a predetermined number of high-speed photographed images from the photographing device 11 for each of the seven viewpoints. And it supplies to the decompression
  • the low-intensity photographed image generation unit 62 generates a low-intensity photographed image PH # i by adding a smaller number of high-speed photographed images from the photographing device 11 than the standard luminance photographed image generation unit 61 for each of the seven viewpoints. And supplied to the saturation determination unit 51 and the restoration unit 52.
  • FIG. 19 is a flowchart illustrating an example of the saturated pixel restoration process performed by the saturated pixel restoration unit 33 in FIG.
  • step S41 the standard brightness photographed image generation unit 61 generates a standard brightness photographed image PL # i by adding the high-speed photographed image from the photographing device 11 for each of the seven viewpoints, the saturation determination unit 51, and To the restoration unit 52.
  • step S41 the low-intensity captured image generation unit 62 generates a low-intensity captured image PH # i by adding the high-speed captured image from the imaging device 11 for each of the seven viewpoints, and the saturation determination unit 51. And to the restoration unit 52.
  • steps S42 to S49 the same processes as steps S31 to S38 of FIG. 17 are performed.
  • FIG. 20 is a plan view showing another configuration example of the photographing apparatus 11.
  • FIG. 20 illustrates a configuration example of the imaging device 11 when the standard luminance captured image PL # i and the low luminance captured image PH # i in which the same subject is captured are acquired by the third acquisition method. ing.
  • the photographing apparatus 11 is composed of 19 camera units.
  • one camera unit is a reference camera unit, and five camera units are arranged in the horizontal direction around the reference camera unit.
  • three camera units arranged in the horizontal direction are arranged on the upper four camera units of the five camera units centered on the reference camera unit.
  • FIG. 20 of the 19 camera units constituting the photographing apparatus 11, four camera units adjacent to the upper left, lower left, upper right, and lower right of the reference camera unit are ND (Neutral Density ) It is a camera unit with ND filter equipped with a filter.
  • ND Neutral Density
  • a camera unit without an ND filter is also referred to as a normal camera unit.
  • U1 represents a normal camera unit
  • U2 represents a camera unit with an ND filter
  • the first acquisition method and the second acquisition method a plurality of times of image capturing are performed to acquire a standard luminance captured image PL # i and a low luminance captured image PH # i that show the same subject and have different exposure times.
  • the standard luminance captured image PL # i and the low luminance captured image PH # i are acquired by only one shooting (1 shot shooting).
  • normal camera unit U1 photographing with standard exposure time is performed, so that a standard luminance photographed image with standard exposure time can be acquired.
  • the brightness of light observed through the ND filter is, for example, 1/16, 1/256, 1/4096 when the ND filter is not used. , 1/65536. That is, it is assumed that the sensitivity of each of the four ND filter-equipped camera units U2 is 1/16, 1/256, 1/4096, and 1/65536 of the normal camera unit U1.
  • each of the four camera units U2 with an ND filter is equivalent to 1/16, 1/256, 1/4096 mm, and 1/65536 of the standard exposure time by photographing with the standard exposure time.
  • a first low-luminance photographed image, a second low-luminance photographed image, a third low-luminance photographed image, and a fourth low-luminance photographed image of the exposure time can be acquired.
  • the standard brightness photographed image and the first to fourth low brightness photographed images obtained by the third acquisition method are images of different viewpoints photographed with different sensitivities at the same timing.
  • FIG. 21 is a block diagram illustrating a third configuration example of the saturated pixel restoration unit 33.
  • FIG. 21 shows a configuration example of the saturated pixel restoration unit 33 in the case where a standard luminance captured image and a low luminance captured image showing the same subject are acquired by the third acquisition method.
  • the saturated pixel restoration unit 33 includes a parallax information acquisition unit 71, a standard luminance captured image generation unit 72, a low luminance captured image generation unit 73, a saturation determination unit 74, and a restoration unit 75.
  • the parallax information acquisition unit 71 is a photographic image (standard luminance photographic image, first to fourth low luminance photographic images) photographed by 19 viewpoints (19) camera units constituting the photographing apparatus 11 (FIG. 20). Are obtained and supplied to the standard luminance captured image generation unit 72 and the low luminance captured image generation unit 73.
  • the disparity map of each captured image captured by the 19-viewpoint camera unit in the disparity information acquisition unit 71 uses the captured image captured by the 19-viewpoint camera unit. Can be generated as well.
  • the parallax information acquisition unit 71 can acquire the parallax map of each captured image captured by the 19-viewpoint camera unit from the parallax information generation unit 31.
  • the standard luminance captured image generation unit 72 is supplied with the standard luminance captured image captured by the normal camera unit U1 with 15 viewpoints.
  • the standard brightness photographed image generation unit 72 generates standard brightness photographed images of four viewpoints (hereinafter also referred to as ND camera viewpoints) of the four camera units U2 with ND filters, from the 15 normal camera units U1 from the photographing device 11.
  • a standard luminance captured image of 15 viewpoints (hereinafter also referred to as a normal camera viewpoint) generated from a standard luminance captured image of 15 viewpoints and a parallax map from the parallax information acquisition unit 71.
  • it is supplied to the saturation determination unit 74 and the restoration unit 75.
  • the standard luminance captured image generation unit 72 sequentially selects pixels of the (first to fourth) low luminance captured images from the ND camera viewpoint as the target pixel, and refers to the parallax map from the parallax information acquisition unit 71. As a result, the corresponding pixel of the standard luminance photographed image at the normal camera viewpoint corresponding to the target pixel is detected. Then, the standard brightness photographed image generation unit 72 adopts the pixel value of the corresponding pixel of the standard brightness photographed image at the normal camera viewpoint as the pixel value of the target pixel of the standard brightness photographed image at the ND camera viewpoint. A standard brightness photographed image is generated.
  • the corresponding pixel corresponding to the target pixel of the low-intensity photographed image from the ND camera viewpoint can be detected from each of the 15 standard-luminance photographed images from the normal camera viewpoint.
  • the pixel value of the target pixel of the normal brightness photographed image at the ND camera viewpoint includes, for example, a reference camera unit (19 of 15 corresponding pixels detected from each of the 15 standard camera viewpoint standard brightness photographed images.
  • the pixel value of the corresponding pixel of the standard luminance photographed image of the camera unit at the center of the individual camera units can be employed.
  • the pixel value of the target pixel of the normal brightness photographed image at the ND camera viewpoint includes, for example, the pixel value of the 15 corresponding pixels detected from each of the 15 standard brightness photographed images at the normal camera viewpoint.
  • An average value of the pixel values of the corresponding pixels in the set having the largest number of corresponding pixels in the set of the corresponding corresponding pixels can be employed.
  • the low-brightness captured image generation unit 73 is also supplied with the first to first images captured by the camera unit U2 with four ND camera viewpoints from the imaging device 11. Four low-luminance photographed images are supplied.
  • the low-intensity photographed image generation unit 73 converts the first to fourth low-intensity photographed images from the 15 normal camera viewpoints into the first to fourth low-intensity photographed images from the four ND camera viewpoints from the photographing device 11. And the parallax map from the parallax information acquisition unit 71, and supplies it to the restoration unit 75 together with the first to fourth low-intensity captured images of the four ND camera viewpoints from the imaging device 11.
  • the low-brightness captured image generation unit 73 sequentially selects pixels of the standard brightness captured image at the normal camera viewpoint as the target pixel, and corresponds to the target pixel by referring to the parallax map from the parallax information acquisition unit 71. The corresponding pixels of each of the first to fourth low-intensity photographed images at the ND camera viewpoint are detected. Then, the low-brightness photographed image generation unit 73 calculates the pixel values of the corresponding pixels of the first to fourth low-brightness photographed images at the ND camera viewpoint, and calculates the pixel values of the first to fourth low-luminance photographed images at the normal camera viewpoint. By adopting it as the pixel value of the pixel of interest, the first to fourth low-intensity photographed images from the normal camera viewpoint are generated.
  • the standard luminance captured image generation unit 72 generates the standard luminance captured images of the four ND camera viewpoints
  • the low luminance captured image generation unit 73 generates the first to the first normal camera viewpoints of the 15 normal camera viewpoints.
  • the standard-luminance photographed images and the first to fourth low-intensity photographing images are obtained for all 19 viewpoints of the 19 camera units constituting the photographing apparatus 11 (FIG. 20). Images.
  • the standard brightness photographed images at the four ND camera viewpoints and the first to fourth low brightness photographed images at the 15 normal camera viewpoints are generated in advance.
  • the pixel values of the standard luminance captured images of the four ND camera viewpoints and the pixel values of the first to fourth low luminance captured images of the 15 normal camera viewpoints are as follows. Can be generated when needed.
  • the saturation determination unit 74 performs saturation determination to determine whether each pixel of the 19-point standard luminance captured image from the standard luminance captured image generation unit 72 is a saturated pixel, and the determination result of the saturation determination (saturation) Determination result) is supplied to the restoration unit 75.
  • the determination result of the saturation determination is supplied from the saturation determination unit 74 to the restoration unit 75.
  • the standard luminance captured image of 19 viewpoints is supplied from the standard luminance captured image generation unit 72 to the restoration unit 75, and the first to 19th viewpoints of the 19 viewpoints are supplied from the low luminance captured image generation unit 73.
  • a fourth low-brightness photographed image is supplied.
  • the restoration unit 75 is supplied with restoration gains for the first to fourth low-luminance photographed images from, for example, the photographing apparatus 11 of FIG.
  • the restoration gain for the first low-brightness photographed image is the restoration gain described with reference to FIG. 17 that is used when a saturated pixel is restored using the first low-brightness photographed image.
  • the restoration gain for the first low-luminance captured image is a value of the ratio between the exposure time of the standard luminance captured image (standard exposure time) and the exposure time of the first low-luminance captured image.
  • the restoration gain for the second to fourth low-luminance photographed images can also be obtained in the same manner as the restoration gain for the first low-luminance photographed image.
  • the restoration unit 75 specifies a saturated pixel for each of the 19 viewpoint standard luminance captured images from the standard luminance captured image generation unit 72 according to the saturation determination result from the saturation determination unit 74.
  • the restoration unit 75 sets the pixel value of the saturated pixel to the first to fourth low-luminance photographed images from the low-luminance photographed image generation unit 73 and the first to fourth from the photographing device 11 (FIG. 20).
  • the restoration gain for the low-luminance photographed image is restored as necessary, and the HDR photographed image having a higher dynamic range than the standard-luminance photographed image obtained by the restoration is converted into the incident light reproduction unit 36 (FIG. 3). To supply.
  • FIG. 22 is a diagram for describing an example of parallax correction of a parallax map.
  • the standard luminance captured image generation unit 72 refers to the parallax map acquired by the parallax information acquisition unit 71, so that the low luminance captured image of the ND camera viewpoint is displayed. Corresponding pixels of the standard luminance captured image at the normal camera viewpoint corresponding to the target pixel are detected.
  • the low-luminance captured image generation unit 73 refers to the parallax map acquired by the parallax information acquisition unit 71, so that the (first) ND camera viewpoint corresponding to the target pixel of the standard luminance captured image of the normal camera viewpoint is selected. The corresponding pixels of the low-luminance photographed image (fourth to fourth) are detected.
  • the standard luminance captured image generation unit 72 and the low luminance captured image generation unit 73 detect a corresponding pixel of another one viewpoint image corresponding to a target pixel of a certain one viewpoint image.
  • the parallax registered in the referenced parallax map is corrected as necessary.
  • the photographing apparatus 11 includes three camera units Ua, Ub, and Uc arranged in the horizontal direction as shown in FIG.
  • the leftmost camera unit Ua is set as a reference camera unit that captures a reference image of a target for which a multi-layer parallax map is generated.
  • the reference camera unit Ua and the rightmost camera unit Uc are normal camera units, and the central camera unit Ub is a camera unit with an ND filter.
  • the standard camera unit Ua and the normal camera unit Uc capture a standard brightness photographed image, and the camera unit Ub with an ND filter captures a low brightness photographed image.
  • the standard brightness photographed image photographed by the reference camera unit Ua is also referred to as a reference image Ua or a standard brightness photographed image Ua.
  • the low-luminance photographed image photographed by the camera unit Ub with the ND filter is also referred to as a low-luminance photographed image Ub.
  • the standard brightness photographed image captured by the normal camera unit Uc is also referred to as a standard brightness photographed image Uc.
  • parallax information acquisition unit 71 a standard luminance photographed image (reference) that is captured by the reference camera unit Ua with the base line length (distance between the optical axes) of the reference camera unit Ua and the normal camera unit Uc as the reference base line length.
  • a parallax map reference parallax map
  • the parallax map of the standard luminance captured image Uc captured by the normal camera unit Uc is the positional relationship between the reference camera unit Ua and the normal camera unit Uc in the reference parallax map as described with reference to FIG. Is generated by moving the parallax registered at the position of each pixel in the direction of the camera position according to the distance, and further interpolating the interpolated parallax into the unregistered area as described in FIG. can do.
  • the parallax registered in the parallax map of the standard luminance captured image Uc generated using the reference parallax map is separated by the reference baseline length which is the baseline length between the reference camera unit Ua and the normal camera unit Uc.
  • the parallax for two points is separated by the reference baseline length which is the baseline length between the reference camera unit Ua and the normal camera unit Uc.
  • the parallax registered in the parallax map of the standard-brightness captured image Uc captures the standard-brightness captured image Uc.
  • the parallax is corrected so that the normal camera unit Uc and the camera unit Ub with an ND filter that captures the low-brightness photographed image Ub have two base points apart from each other.
  • the reference baseline length which is the baseline length between the reference camera unit Ua and the normal camera unit Uc
  • the baseline length between the camera unit Ub with the ND filter and the normal camera unit Uc is expressed as bc.
  • the base line length ab between the reference camera unit Ua and the camera unit Ub with the ND filter and the base line length bc between the camera unit Ub with the ND filter and the normal camera unit Uc are both 5 mm.
  • the reference baseline length which is the baseline length ac between the reference camera unit Ua and the normal camera unit Uc, is 10 mm.
  • the parallax 10 has the baseline length bc
  • the pixel of the low-luminance photographed image Ub that is shifted by the parallax 5 from the position of the target pixel is detected.
  • FIG. 23 is a flowchart for explaining an example of the saturated pixel restoration process performed by the saturated pixel restoration unit 33 in FIG.
  • step S61 the parallax information acquisition unit 71 captures each of the captured images (standard brightness captured images, first to fourth low brightness captured images) captured by the 19-viewpoint camera unit that configures the image capturing apparatus 11 (FIG. 20). Are obtained and supplied to the standard luminance captured image generation unit 72 and the low luminance captured image generation unit 73.
  • the standard brightness photographed image generating unit 72 obtains 15 normal camera viewpoint standard brightness photographed images and parallax information out of the 19 viewpoint camera units constituting the photographing apparatus 11 (FIG. 20). Using the parallax map from the unit 71, four standard brightness photographed images at the ND camera viewpoint are generated, and together with the standard brightness photographed images at the 15 normal camera viewpoints, the saturation determination unit 74 and the restoration unit 75 Supply.
  • the low-luminance captured image generation unit 73 obtains the first to fourth low-intensity captured images from the four ND camera viewpoints from the imaging device 11 and the parallax map from the parallax information acquisition unit 71.
  • the first to fourth low-luminance photographed images at the 15 normal camera viewpoints are generated and supplied to the restoration unit 75 together with the first to fourth low-luminance photographed images at the four ND camera viewpoints.
  • step S61 the process proceeds from step S61 to step S62, and the saturation determination unit 74 has not yet selected the viewpoint of interest from the 19 viewpoints of the 19 camera units constituting the photographing apparatus 11 (FIG. 20).
  • the viewpoint of interest is selected as one of the viewpoints, and the process proceeds to step S63.
  • step S ⁇ b> 63 the saturation determination unit 74 still selects a pixel of interest from the pixels of the standard luminance captured image of the viewpoint of interest among the 19 viewpoints of the standard luminance captured image supplied from the standard luminance image generation unit 72. One of the pixels that has not been selected is selected as the pixel of interest, and the process proceeds to step S64.
  • step S64 a process of acquiring the pixel value of the target pixel of the target viewpoint HDR photographed image (the pixel at the same position as the target pixel of the standard luminance photograph image of the target viewpoint) is performed, and the process proceeds to step S65.
  • step S65 the saturation determination unit 74 determines whether or not all the pixels of the standard luminance captured image at the viewpoint of interest have been selected as the target pixel.
  • step S65 If it is determined in step S65 that all the pixels of the standard luminance captured image at the viewpoint of interest have not been selected as the target pixel, the process returns to step S63, and the same process is repeated thereafter.
  • step S65 If it is determined in step S65 that all the pixels of the standard luminance captured image at the target viewpoint have been selected as the target pixel, the process proceeds to step S66.
  • step S66 the saturation determination unit 74 determines whether all 19 viewpoints of the 19 camera units constituting the photographing apparatus 11 (FIG. 20) have been selected as the viewpoints of interest.
  • step S66 If it is determined in step S66 that not all 19 viewpoints have been selected as the viewpoint of interest, the process returns to step S62, and the same process is repeated thereafter.
  • step S66 When it is determined in step S66 that all 19 viewpoints have been selected as the viewpoints of interest, the restoration unit 52 converts the 19 viewpoints of the HDR image obtained by the above processing into the incident light reproduction unit 36 (FIG. 3). ), And the saturated pixel restoration process ends.
  • the saturated pixel restoration process is performed for all 19 viewpoints of the 19 camera units constituting the photographing apparatus 11, but the saturated pixel restoration process is performed in 15 of the 19 viewpoints. Only the normal camera viewpoint can be performed.
  • the HDR captured image obtained in the saturated pixel restoration process is not the HDR photographed image of 19 viewpoints but the HDR photographed image of 15 normal camera viewpoints.
  • the saturated pixel restoration unit 33 in FIG. It is possible to configure without providing the captured image generation unit 72.
  • FIG. 24 is a flowchart for explaining an example of processing for acquiring the pixel value of the target pixel of the HDR photographed image at the target viewpoint, which is performed in step S64 of FIG.
  • step S71 the saturated pixel determination unit 74 acquires the pixel value of the target pixel of the standard luminance captured image at the viewpoint of interest from the standard luminance captured image generation unit 72 as the standard pixel value of the target pixel. Proceed to
  • step S72 the saturation determination unit 74 determines whether or not the standard pixel value of the target pixel of the standard luminance photographed image at the target viewpoint is greater than or equal to the threshold value TH1.
  • step S72 If it is determined in step S72 that the standard pixel value of the target pixel of the standard luminance photographed image at the viewpoint of interest is not equal to or greater than the threshold TH1, that is, the standard pixel value of the target pixel of the standard luminance photographed image of the target viewpoint is saturated. If not, the saturation determination unit 74 supplies a saturation determination result indicating that the standard pixel value is not saturated to the restoration unit 75 (FIG. 21), and the process proceeds to step S73.
  • step S ⁇ b> 73 the restoration unit 75 determines the standard luminance captured image of the viewpoint of interest from the standard luminance captured image generation unit 72 according to the saturation determination result from the saturation determination unit 74 that the standard pixel value is not saturated.
  • the standard pixel value of the target pixel is selected as the pixel value of the target pixel of the target viewpoint HDR captured image (the pixel at the same position as the target pixel of the standard luminance captured image of the target viewpoint), and the process returns.
  • step S72 when it is determined in step S72 that the standard pixel value of the target pixel of the standard luminance photographed image of the viewpoint of interest is equal to or greater than the threshold TH1, that is, the standard pixel value of the target pixel of the standard luminance photographed image of the target viewpoint is
  • the saturation determination unit 74 supplies a saturation determination result indicating that the standard pixel value is saturated to the restoration unit 75, and the processing is performed in step S74. Proceed to
  • step S74 the restoration unit 75 determines the first to fourth points of interest from the low-brightness photographed image generation unit 73 according to the saturation determination result from the saturation determination unit 74 that the standard pixel value is saturated. Are obtained as first to fourth low-luminance pixel values v1 to v4 of the target pixel, respectively. To do.
  • the restoration unit 75 acquires the restoration gains g1 to g4 for the first to fourth low-brightness photographed images from the photographing apparatus 11, and the process proceeds from step S74 to step S75.
  • step S75 the restoration unit 75 uses the threshold value TH1 and the threshold value TH2 that is smaller than the threshold value TH1 for the first low-luminance pixel value v1 that is the pixel value of the target pixel of the first low-luminance captured image at the viewpoint of interest. It is determined whether the expression TH2 ⁇ v1 ⁇ TH1 is satisfied.
  • step S75 If it is determined in step S75 that the first low luminance pixel value v1 satisfies the expression TH2 ⁇ v1 ⁇ TH1, that is, the first low luminance pixel value v1 is not a small value like noise, and If not saturated, the process proceeds to step S76.
  • step S76 the restoration unit 75 uses the first low-luminance pixel value v1 that is the pixel value of the target pixel of the first low-luminance photographed image at the viewpoint of interest as the restoration gain g1 times for the first low-luminance photographed image.
  • the obtained pixel value is obtained as a restored pixel value obtained by restoring the saturated pixel.
  • the restoration unit 75 selects the restored pixel value as the pixel value of the target pixel of the HDR photographed image at the target viewpoint, and the process returns.
  • step S75 If it is determined in step S75 that the first low luminance pixel value v1 does not satisfy the expression TH2 ⁇ v1 ⁇ TH1, the process proceeds to step S77.
  • step S77 the restoration unit 75 determines whether or not the second low-brightness pixel value v2 that is the pixel value of the target pixel of the second low-brightness photographed image at the target viewpoint satisfies the expression TH2 ⁇ v2 ⁇ TH1. .
  • step S77 If it is determined in step S77 that the second low luminance pixel value v2 satisfies the expression TH2 ⁇ v2 ⁇ TH1, that is, the second low luminance pixel value v2 is not a small value like noise, and If not saturated, the process proceeds to step S78.
  • step S78 the restoration unit 75 uses the second low-luminance pixel value v2 that is the pixel value of the target pixel of the second low-luminance photographed image at the viewpoint of interest as the restoration gain g2 for the second low-luminance photographed image.
  • the obtained pixel value is obtained as a restored pixel value obtained by restoring the saturated pixel.
  • the restoration unit 75 selects the restored pixel value as the pixel value of the target pixel of the HDR photographed image at the target viewpoint, and the process returns.
  • step S77 If it is determined in step S77 that the second low luminance pixel value v2 does not satisfy the expression TH2 ⁇ v2 ⁇ TH1, the process proceeds to step S79.
  • step S79 the restoration unit 75 determines whether or not the third low-brightness pixel value v3 that is the pixel value of the target pixel of the third low-brightness captured image at the viewpoint of view satisfies the formula TH2 ⁇ v3 ⁇ TH1. .
  • step S79 If it is determined in step S79 that the third low luminance pixel value v3 satisfies the expression TH2 ⁇ v3 ⁇ TH1, that is, the third low luminance pixel value v3 is not a small value like noise, and If not saturated, the process proceeds to step S80.
  • step S80 the restoration unit 75 sets the third low-brightness pixel value v3, which is the pixel value of the target pixel of the third low-brightness photographed image at the viewpoint of interest, to a restoration gain g3 times for the third low-brightness photographed image.
  • the obtained pixel value is obtained as a restored pixel value obtained by restoring the saturated pixel.
  • the restoration unit 75 selects the restored pixel value as the pixel value of the target pixel of the HDR photographed image at the target viewpoint, and the process returns.
  • step S79 If it is determined in step S79 that the third low luminance pixel value v3 does not satisfy the expression TH2 ⁇ v3 ⁇ TH1, the process proceeds to step S81.
  • step S81 the restoration unit 75 uses the fourth low-brightness pixel value v4 that is the pixel value of the target pixel of the fourth low-brightness photographed image at the viewpoint of interest as the fourth low-brightness photographed image restoration gain g4.
  • the obtained pixel value is obtained as a restored pixel value obtained by restoring the saturated pixel.
  • the restoration unit 75 selects the restored pixel value as the pixel value of the target pixel of the HDR photographed image at the target viewpoint, and the process returns.
  • (HDR) captured images of a plurality of high dynamic range viewpoints obtained as a result of the saturation pixel restoration process are generated by generating disparity information in the disparity information generating unit 31 and generating an emulation image in the lens emulation unit 35.
  • any image processing that requires captured images from a plurality of viewpoints can be used.
  • the saturated pixel restoration process is performed on any image to which the light field technology can be applied, in addition to the captured images of a plurality of viewpoints captured by the imaging device 11 or the like having a plurality of camera units 21 i. By virtue of this, vivid blur can be reproduced.
  • FIG. 25 is a diagram for explaining the outline of the lens emulation processing of the lens emulation unit 35 of FIG.
  • the incident light reproduction unit 36 uses light rays (real space points themselves) emitted from real space points such as points on an object existing in the real space that is an object to be photographed by the photographing apparatus 11. Of light emitted from the real space point as well as the reflected light reflected by the real space point) is reproduced.
  • the virtual lens is a virtual lens having the camera units 21 1 to 21 7 constituting the photographing apparatus 11 (FIG. 2) as a synthetic aperture, and the substance is the camera units 21 1 to 21 7 .
  • the emulation lens information generation unit 37 (FIG. 3) generates lens information (emulation lens information) that defines light rays that pass through the emulation lens.
  • the emulation lens may be an actual optical lens or an optical lens that does not exist.
  • the lens information includes PSF (PointFSpread ⁇ Function) intensity distribution indicating the response of the emulation lens to the point light source.
  • PSF PointFSpread ⁇ Function
  • the light condensing processing unit 38 uses the lens information obtained by the emulation lens information generating unit 37 and transmits the light beam reproduced by the incident light beam reproducing unit 36 via the emulation lens to the virtual sensor. Digital signal processing is performed as a condensing process for condensing the light.
  • the substance of the virtual sensor is, for example, a memory (not shown).
  • a value corresponding to the luminance of the light beam is added to the memory (stored value) using the lens information, so that the emulation image is obtained. Is generated.
  • FIG. 26 is a diagram for explaining the condensing process by an actual optical lens and the condensing process of the lens emulation process.
  • FIG. 26A shows a condensing process using an actual optical lens.
  • An actual optical lens samples an infinite number of light rays emitted from an object in real space, and forms an image on the imaging surface according to the lens characteristics of the actual optical lens.
  • the angle of the light beam sampled by the optical lens changes depending on the diaphragm.
  • the aperture when the aperture is stopped, the light beam spreading from the object at a large angle w with respect to the optical axis is not sampled by the optical lens.
  • the aperture when the aperture is opened, the light beam spreading from the object at a large angle w with respect to the optical axis is sampled by the optical lens.
  • the image picA of A in FIG. 26 is an image taken with the aperture stopped down, and has a deep depth of field and an overall focus.
  • the picture picA there is a light bulb behind the child character in the upper right, but the light beam that spreads from the light bulb at a large angle with respect to the optical axis is not sampled by the optical lens, so the child There is no light bulb behind the character.
  • the image picB in A of FIG. 26 is an image taken with the aperture opened, and has a shallow depth of field, focusing on only one part, and blurring the other most.
  • the image picB there is a light bulb behind the child character in the upper right, and the light beam spreading from the light bulb at a large angle with respect to the optical axis is sampled by the optical lens. A part of the light bulb is reflected in the back.
  • FIG. 26B shows the condensing process of the lens emulation process.
  • a plurality of camera units 21 i are combined and apertured using light rays emitted from an object in real space, which is captured (recorded) by the plurality of camera units 21 i of the imaging device 11.
  • the light ray incident on the virtual lens is reproduced (generated).
  • FIG. 26B three light beams are photographed by a plurality of three camera units 21 1 , 21 2 , and 21 5 . Then, the light rays incident on the virtual lens are reproduced so as to interpolate between the three light rays.
  • the condensing process of the lens emulation process as described above, after the light ray incident on the virtual lens is reproduced, the light ray is condensed on the virtual sensor according to the lens information of the emulation lens. Thereby, in the emulation image obtained as a result of the light condensing, the same blur is reproduced as when the image was actually taken using the emulation lens.
  • FIG. 27 is a block diagram showing an example of the configuration of the incident light beam reproduction unit 36 shown in FIG.
  • the incident light beam reproduction unit 36 includes a real space point selection unit 101, a light beam generation unit 102, a collision determination unit 103, and a luminance assignment unit 104.
  • the parallax map is supplied from the parallax information generation unit 31 to the real space point selection unit 101.
  • the real space point selection unit 101 uses the multilayer parallax map of the parallax maps from the parallax information generation unit 31 to select a spatial point in the real space imaged by the imaging device 11 as a target real space point, This is supplied to the light beam generation unit 102.
  • the light ray generation unit 102 generates a light ray (as a straight line) incident on the virtual lens from the real space point of interest from the real space point selection unit 101 and supplies it to the collision determination unit 103.
  • the collision determination unit 103 is supplied with a light beam from the light beam generation unit 103 and a parallax map from the parallax information generation unit 31.
  • the collision determination unit 103 uses the multilayer parallax map of the parallax maps from the parallax information generation unit 31 to collide with an object in real space before the light rays from the light ray generation unit 103 enter the virtual lens. A collision determination is performed to determine whether or not.
  • the collision determination unit 103 supplies the light rays remaining as a result of the collision determination to the luminance allocation unit 104.
  • the luminance allocation unit 104 receives a seven-viewpoint (HDR) captured image from the saturated pixel restoration unit 33. HD # i is supplied.
  • the luminance allocation unit 104 uses the parallax map from the parallax information generation unit 31 and the captured image HD # i from the saturated pixel restoration unit 33 to use the light beam from the collision determination unit 103, that is, the light beam remaining as a result of the collision determination. Then, the luminance is assigned, and the light beam after the luminance is assigned is supplied to the condensing processing unit 38 (FIG. 3).
  • FIG. 28 is a diagram for explaining a real space point.
  • FIG. 28 is a schematic plan view of a real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens when viewed from above.
  • the principal point of the virtual lens or the emulation lens is set as the origin, and the photographing apparatus 11 (FIG. 2) is viewed from the front.
  • a three-dimensional coordinate system is used in which the horizontal and vertical directions are the x-axis and the y-axis, and the depth direction (subject direction) from the origin is the z-axis.
  • Real spatial point which is the position in the real space of the object (subject) appearing in the pixel p with a reference image (x, y, z), the position of the reference image of the pixel p (camera unit 21 1 of the not shown Image (Position on the sensor) and the parallax d of the pixel p.
  • the real space point selection unit 101 uses the real space point corresponding to the pixel p with the parallax d (the actual object that can be reflected in the pixel p) from the position of the pixel p registered in the multilayer parallax map and the parallax d. Find the position in space.
  • the real space point selection unit 101 determines a real space point constituting the parallax registration position as Sequentially, select the real space point of interest.
  • THETA represents the horizontal angle of view of the reference image (reference camera unit 21 1 ).
  • the parallax registration position exists in a range that is widened by the angle of view THETA around the optical axis of the virtual lens.
  • the optical axis of the virtual lens passes through the center of the reference image is a straight line perpendicular to the reference image (reference camera unit 21 1 of the optical axis).
  • FIG. 29 is a diagram for explaining how to obtain a real space point using a multilayer parallax map.
  • the horizontal and vertical positions of the reference image are set to the x-axis and the y-axis, and the parallax information obtained by the parallax information generation unit 31 (FIG. 3) is taken.
  • a three-dimensional space having the z axis as the value to be obtained is used.
  • the parallax d of the pixel at the position (x, y) can be registered by setting a parallax flag indicating that parallax is registered at the position (x, y, d).
  • the maximum value of parallax that can be registered in the multilayer parallax map is expressed as Dmax, and the minimum value is expressed as Dmin.
  • the size of the multilayer parallax map space in the z-axis direction is Dmax ⁇ Dmin + 1. For example, 0 (infinity) can be adopted as Dmin.
  • parallax D 1 and D 2 are registered for the target pixel p in the multilayer parallax map of FIG. .
  • the real space point selection unit 101 sequentially selects the parallax D 1 and D 2 with respect to the target pixel p as the target parallax of interest, and selects the real space point corresponding to the target pixel p having the target parallax as the target real space point.
  • parallax D 1 out of the parallaxes D 1 and D 2 is selected as the parallax of interest.
  • the number of pixels in the horizontal direction (x-axis direction) of the reference image is expressed as width, and the horizontal angle of view of the reference image is expressed as THEATA.
  • the real spatial point P1 corresponding to the pixel of interest p with attention parallax D 1 is represented as x1.
  • the distance x1 in the real space corresponds to the number of pixels Xpic-width / 2 in the multilayer parallax map space. Furthermore, a distance z1 ⁇ tan (THEATA / 2) representing 1/2 of the horizontal field angle in real space, and a number of pixels representing a horizontal field angle of 1/2 in the multilayer parallax map space width / 2 Corresponds.
  • Real space point selection unit 101 as described above, attention parallax D 1 real space points corresponding to a certain pixel of interest p P1, the x-axis direction position x1 from the optical axis determined.
  • the target parallax D 1 is the target pixel real space points corresponding to p P1
  • Real space point corresponding to the pixel p where there is disparity D 2 can also be obtained in a similar manner.
  • FIG. 30 is a diagram for explaining an example of light ray generation performed by the light ray generation unit 102 of FIG.
  • FIG. 30 is a front view of the virtual lens viewed from the front (subject side).
  • the light beam generation unit 102 sets an area including a virtual lens (a synthetic aperture thereof) as a lens area.
  • the smallest rectangular area surrounding the virtual lens is set as the lens area.
  • the light ray generation unit 102 divides a lens area (a virtual lens surrounded by) into lens area units that are small regions, regards a real space point as a point light source, and calculates each point from the real space point as the point light source. Generation of a light ray incident on the lens area unit (for example, the center thereof), that is, a straight line as a light ray incident on each lens area unit is calculated from a real space point.
  • the lens area is divided into Lx ⁇ Ly lens area units in total, with Lx in the horizontal direction and Ly in the vertical direction.
  • Lx ⁇ Ly straight lines connecting the real space point and each of the Lx ⁇ Ly lens area units are used as light rays incident on the virtual lens. It is generated densely.
  • the distance between the lens area units (centers) adjacent to each other in the horizontal direction or the vertical direction is referred to as an angular resolution capable of distinguishing the angles of two light rays emitted from a real space point.
  • the synthetic aperture (the diameter of the virtual lens) is 40 mm and the number of lens area units Lx and Ly in the horizontal and vertical directions of the lens area is 21, the angular resolution is 40/21 mm.
  • the distance between grid points LP # i and LP # j adjacent in the horizontal or vertical direction represents the angular resolution.
  • FIG. 31 is a diagram for explaining the collision determination performed by the collision determination unit 103 in FIG. 27 and the assignment of the luminance to the light beam performed by the luminance allocation unit 104.
  • FIG. 31 is a schematic plan view of a real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens when viewed from above.
  • the collision determination unit 103 is emitted from the real space point from the light ray generation unit 103, and the Lx ⁇ Ly light rays directed to the Lx ⁇ Ly lens area units of the virtual lens are incident on the virtual lens. Collision determination for determining whether to collide with an object in space is performed using a multilayer parallax map.
  • the collision determination unit 103 determines that a light beam collides when a light beam emitted from a real space point and directed to the lens area unit of the virtual lens collides (intersects) with the parallax registration position before entering the lens area unit. To do.
  • the collision determination unit 103 determines that the light beam does not collide when the light beam emitted from the real space point and directed to the lens area unit of the virtual lens does not collide with the parallax registration position before entering the lens area unit. .
  • the collision determination unit 103 supplies the light beams remaining as a result of the collision determination, that is, the light beams determined not to collide to the luminance assignment unit 104.
  • the parallax assigned to the light ray matches the parallax of the real space point (x, y, z) that emitted the light ray, the light ray enters the virtual lens without colliding with the object.
  • the parallax assigned to the ray does not match the parallax of the real space point (x, y, z) that emitted the ray, the ray is at a depth corresponding to the parallax assigned to the ray, It collides with an object and does not reach the virtual lens.
  • the luminance assigning unit 104 assigns luminance to the rays remaining as a result of the collision determination from the collision determining unit 103, using the multilayer parallax map and the captured image HD # i.
  • the luminance assigning unit 104 obtains a corresponding pixel corresponding to the real space point (x, y, z) that emits a ray remaining as a result of the collision determination for each of the seven viewpoints of the captured images HD1 to HD7.
  • a pixel in which the parallax to be registered is detected as a light beam luminance allocation pixel used for luminance allocation.
  • the luminance assigning unit 104 assigns the luminance to the light using the values of R (Red), G (Green), and B (Blue) as the pixel values of the light luminance assigning pixels.
  • the luminance assigning unit 104 assigns, for example, an average value of the pixel values (R, G, B values) of the light luminance assigning pixels to the light rays as the light luminance.
  • the light beam emitted from the real space point (x, y, z) collides with the object and does not enter the virtual lens
  • the parallax corresponding to the parallax registration position is assigned.
  • the collision determination unit 103 outputs the actual light beam to the light beam.
  • the parallax corresponding to the spatial point (x, y, z) is assigned.
  • the pixel values (R, G, and B values) as luminance are assigned by the luminance assignment unit 104 to light rays that enter the virtual lens without colliding with the object.
  • FIG. 32 is a diagram schematically showing the maximum number of data obtained by the incident ray reproduction process performed by the incident ray reproduction unit 36 of FIG.
  • the reference image HD1 is composed of N pixels pix1, pix2, ..., pix # N, and the parallax d that can be registered in the parallax map (multilayer parallax map) is from the minimum value Dmin to the maximum value Dmax.
  • DPN Dmax ⁇ Dmin + 1 integer values in increments of one pixel.
  • the lens area (FIG. 30).
  • the parallax D assigned to the light beam directed to the i-th lens area unit (i, j) from the left and to the j-th lens area unit (i, j) from the top is registered.
  • FIG. 33 is a flowchart for explaining an example of incident light beam reproduction processing performed by the incident light beam reproduction unit 36 of FIG.
  • step S101 the real space point selection unit 101, the collision determination unit 103, and the luminance assignment unit 104 of the incident ray reproduction unit 36 (FIG. 27) obtain a parallax map from the parallax information generation unit 31, and the processing is as follows. Proceed to step S102.
  • step S102 the real space point selection unit 101 selects one of the pixels of the reference image HD1 that has not yet been selected as the target pixel, as the target pixel, and the process proceeds to step S103.
  • step S103 the real space point selection unit 101 refers to the parallax map (multilayer parallax map) from the parallax information generation unit 31, and has still selected the parallax registered in the target pixel as the target parallax. One of the non-parallaxes is selected as the parallax of interest, and the process proceeds to step S104.
  • the parallax map multilayer parallax map
  • step S105 the light ray generation unit 102 selects one of the lens area units (FIG. 30) of the virtual lens that has not yet been selected as the target lens area unit, as the target lens area unit. The process proceeds to step S106.
  • step S106 the light ray generation unit 102 converts a light ray (representing a linear expression) from the real space point of interest (x0, y0, z0) toward the center point (lx, ly, 0) of the lens area unit of interest. And is supplied to the collision determination unit 103, and the process proceeds to step S107.
  • step S107 the collision determination unit 103 performs a collision determination on the target light beam from the light beam generation unit 102, and the process proceeds to step S108.
  • step S108 the luminance assignment unit 104 determines whether or not the target light beam collides based on the determination result (collision determination result) of the collision determination by the collision determination unit 103.
  • step S108 When it is determined in step S108 that the target light beam does not collide, that is, in the collision determination in step S107 by the collision determination unit 103, the target light beam has a parallax equal to the parallax corresponding to the target real space point (target parallax). If assigned, the process proceeds to step S109.
  • step S109 the luminance assignment unit 104 performs light ray luminance assignment for assigning luminance to the light beam of interest and supplies it to the condensing processing unit 38, and the process proceeds to step S110.
  • step S108 if it is determined in step S108 that the target light beam collides, that is, in the collision determination in step S107 by the collision determination unit 103, the target light beam is not equal to the parallax corresponding to the real space point of interest (target parallax).
  • target parallax the process skips step S109 and proceeds to step S110.
  • step S109 the light intensity allocation of step S109 is not performed for the target light beam.
  • step S110 the light beam generation unit 102 determines whether all the lens area units of the virtual lens have been selected as the target lens area unit.
  • step S110 If it is determined in step S110 that not all the lens area units of the virtual lens have been selected as the target lens area unit, the process returns to step S105, and the same process is repeated thereafter.
  • step S110 If it is determined in step S110 that all the lens area units of the virtual lens have been selected as the target lens area unit, the process proceeds to step S111.
  • step S111 the real space point selection unit 101 determines whether all of the parallax registered in the pixel of interest in the multi-layer parallax map has been selected as the parallax of interest.
  • step S111 If it is determined in step S111 that not all the parallax registered in the pixel of interest in the multi-layer parallax map has been selected as the parallax of interest, the process returns to step S103, and the same process is repeated thereafter. It is.
  • step S111 If it is determined in step S111 that all the parallax registered in the target pixel in the multi-layered parallax map have been selected as the target parallax, the process proceeds to step S112.
  • step S112 the real space point selection unit 101 determines whether all the pixels of the reference image HD1 have been selected as the target pixel.
  • step S112 If it is determined in step S112 that all the pixels of the reference image HD1 have not been selected as the target pixel, the process returns to step S102, and the same process is repeated thereafter.
  • step S112 If it is determined in step S112 that all the pixels of the reference image HD1 have been selected as the target pixel, the incident light beam reproduction process ends.
  • FIG. 34 is a flowchart illustrating an example of the collision determination process in step S107 of FIG.
  • step S121 the collision determination unit 103 sets the determination parallax d for collision determination to the maximum value Dmax as an initial value, and the process proceeds to step S122.
  • step S122 the collision determination unit 103 obtains a depth (distance) Z corresponding to the determination parallax d, and the process proceeds to step S123.
  • step S123 the collision determination unit 103 determines whether the depth Z corresponding to the determination parallax d is equal to the depth z0 of the real space point of interest (x0, y0, z0).
  • step S123 If it is determined in step S123 that the depth Z corresponding to the determination parallax d is not equal to the depth z0 of the real space point of interest (x0, y0, z0), the process proceeds to step S124.
  • step S124 and subsequent steps the target light beam traveling from the target real space point (x0, y0, z0) to the center point (lx, ly, 0) of the target lens area unit has a depth Z corresponding to the determination parallax d, and the object. It is confirmed whether it collides.
  • the process proceeds to step S125.
  • step S125 the collision determination unit 103 obtains the intersection (Px, Py, Z) between the light beam of interest and the determination layer, and the process proceeds to step S126.
  • the x-coordinate and y-coordinate of the attention beam on the upper side that is, the x-coordinate Px and the y-coordinate Py of the intersection (Px, Py, Z) between the attention beam and the determination layer can be obtained.
  • step S126 the collision determination unit 103 obtains a pixel of the reference image (hereinafter also referred to as an intersection pixel) corresponding to the intersection (Px, Py, Z) between the target light beam and the determination layer, and the process proceeds to step S127. .
  • a pixel of the reference image hereinafter also referred to as an intersection pixel
  • step S127 the collision determination unit 103 determines whether or not the determination parallax d is registered in (the position of) the intersection pixel in the multilayer parallax map (whether the parallax registered in the intersection pixel is equal to the determination parallax d). Determine).
  • step S127 If it is determined in step S127 that the determination parallax d is not registered in the intersection pixel, that is, there is no object at the intersection (Px, Py, Z) between the target light beam and the determination layer, and the target light beam is If there is no collision at the intersection (Px, Py, Z), the process proceeds to step S128.
  • step S128 the collision determination unit 103 decrements (decreases) the determination parallax d by 1, and the process returns to step S122. Thereafter, the same process is repeated.
  • step S128 the determination parallax d is decremented so that the determination layer starts from the position closest to the virtual lens corresponding to the parallax maximum value Dmax and the real space point of interest (x0, y0, z0) Move towards.
  • step S127 when it is determined that the determination parallax d is registered in the intersection pixel, that is, there is an object at the intersection (Px, Py, Z) between the target light beam and the determination layer, and the target light beam However, if there is a collision at the intersection (Px, Py, Z), the process proceeds to step S129.
  • step S129 the collision determination unit 103 assigns a determination parallax d to the target light beam to indicate a collision determination result indicating that the target light beam collides with the object before reaching the virtual lens, and the process returns. To do.
  • step S123 when it is determined in step S123 that the depth Z corresponding to the determination parallax d is equal to the depth z0 of the real space point of interest (x0, y0, z0), that is, corresponding to the parallax maximum value Dmax. If the target ray does not collide with the object from the position closest to the virtual lens to the target real space point (x0, y0, z0), the process proceeds to step S130.
  • step S ⁇ b> 130 the collision determination unit 103 indicates the target parallax (the determination parallax at this time) in order to represent a collision determination result indicating that the target light does not collide with the object until the target light reaches the virtual lens.
  • d the parallax d corresponding to the real space point of interest (x0, y0, z0) is assigned, and the process returns.
  • the parallax maximum value Dmax is set as an initial value
  • the parallax corresponding to the target real space point (x0, y0, z0) is set as the goal
  • the parallax for determination is changed from the initial value to the parallax as the goal.
  • the determination parallax may be changed in any way over the range from the parallax maximum value Dmax to the parallax corresponding to the real space point of interest (x0, y0, z0).
  • FIG. 35 is a flowchart for explaining an example of the light intensity assignment process in step S109 of FIG.
  • step S131 the luminance allocation unit 104 detects a corresponding pixel corresponding to the real space point of interest (x0, y0, z0) from each of the seven viewpoints of the captured images HD1 to HD7, and the process proceeds to step S132.
  • step S132 the luminance assigning unit 104 refers to the parallax map of each of the captured images HD1 to HD7, for example, so that the target real space point (x0, y0, z0) among the corresponding pixels of the captured images HD1 to HD7. Is detected as a light beam luminance allocation pixel used for luminance allocation, and the process proceeds to step S133.
  • step S133 the luminance assignment unit 104 assigns, for example, the average value of the pixel values (R, G, and B) of the light luminance assignment pixels to the target light ray as the light luminance, and the process returns.
  • the incident ray reproduction unit 36 (FIG. 27), in the ray generation unit 102, an actual space point where parallax is registered in the multilayer map, that is, an object existing in the real space where the imaging device 11 performs imaging. From the upper point, a straight line is generated as a light ray incident on a virtual lens having the seven viewpoint camera units 21 1 to 21 7 constituting the photographing apparatus 11 as a synthetic aperture. In other words, the incident ray reproduction unit 36 obtains a straight line that geometrically describes the ray as the ray incident on the virtual lens from the real space point.
  • the collision determination unit 103 performs a collision determination for determining whether the light beam collides with the object before entering the virtual lens.
  • the incident light reproduction unit 36, the luminance allocation unit 104, by using the camera unit 21 1 to HD7 from 7 to captured image HD1 viewpoints taken at 21 7, are assigned the luminance of the result remaining rays of the collision determination .
  • a so-called front lens which constitutes an emulation lens
  • a light beam incident on the virtual lens becomes a light beam incident on the emulation lens. Therefore, the light group incident on the emulation lens can be reproduced by reproducing the light beam group incident on the virtual lens.
  • FIG. 36 is a diagram for explaining lens information generated by the emulation lens information generation unit 37 of FIG.
  • Lens information includes PSF intensity distribution, image plane pitch, PSF angle component information, and image plane shift information.
  • ⁇ PSF intensity distribution represents the response of the emulation lens to light rays emitted from a point light source.
  • Image plane pitch represents the scale of PSF intensity distribution.
  • PSF angle component information represents the position of the PSF intensity distribution where the light emitted from the point light source reaches through the emulation lens.
  • the image plane shift information represents an image plane shift position that is a position on the virtual sensor where the chief ray arrives via the emulation lens among the rays emitted from the real space point.
  • FIG. 37 is a diagram for explaining a real space point and a focus position that are targets for generating lens information.
  • FIG. 37 is a schematic side view of the real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens when viewed from the right with respect to the front of the imaging device.
  • Lens information is information that defines light rays that pass through the emulation lens, and the light rays are emitted from real space points.
  • the light beam that passes through the emulation lens is condensed on the virtual sensor, but the method of condensing the light beam differs depending on the focus position (focal length) f of the emulation lens.
  • the maximum number of real space points is N ⁇ DPN.
  • Fmax positions f1, f2, ..., f # Fmax can be taken as the focus position f of the emulation lens.
  • the size (scale) of the virtual sensor is defined based on the emulation lens.
  • the size of the virtual sensor is set to 35 mm full size based on such an emulation lens. That is, the horizontal and vertical sizes of the virtual sensor are set to 36 mm and 24 mm, respectively, for example.
  • the pixel pitch of the virtual sensor is equal to the number of pixels of the reference image (or less than the number of pixels of the reference image) based on the number of pixels (resolution) of the reference image. Of the number of pixels).
  • the emulation lens is an optical lens for a 35 mm full-size image sensor and the number of pixels in the horizontal direction of the reference image is Nx pixels
  • the horizontal size of the virtual sensor is 36 mm as described above.
  • the pixel pitch of the virtual sensor is 36 mm / Nx.
  • the pixel pitch of the virtual sensor is defined based on the number of pixels (resolution) of the reference image
  • the pixel of the virtual sensor can correspond to the pixel of the reference image.
  • the reference image pixel corresponds to the virtual sensor pixel at the same position as the pixel.
  • the lens information for a certain real space point can be regarded as the lens information for the combination of the pixel (position) and parallax of the virtual sensor corresponding to the real space point.
  • FIG. 38 is a diagram showing an example of the PSF intensity distribution of a certain optical lens.
  • the horizontal direction represents the focus position f of the optical lens
  • the vertical direction represents the image height, which is the distance from the optical center, of the imaging position on the imaging surface where the light from the optical lens forms an image.
  • the image formation surface corresponds to the surface of the virtual sensor. 38
  • the left direction represents the focus position f close to the optical lens
  • the right direction represents the focus position f far from the optical lens.
  • the upper direction represents a small image height
  • the lower direction represents a large image height.
  • the PSF intensity distribution varies depending on the focus position f of the optical lens.
  • the PSF intensity distribution varies depending on the image height at the imaging position, that is, the position on the plane of the virtual sensor.
  • the PSF intensity distribution varies depending on the distance from the principal point of the optical lens to the subject (here, the point light source), that is, the parallax of the subject.
  • the PSF intensity distribution differs depending on, for example, the set of the focus position f, the pixel (position) of the virtual sensor, and the parallax of the subject.
  • FIG. 39 is a diagram for explaining an example of a method for generating a PSF intensity distribution.
  • FIG. 39 shows an outline when the real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens is viewed from the right of the front of the imaging device, as in FIG. .
  • the emulation lens information generation unit 37 generates a maximum number of real space points N ⁇ DPN, that is, the maximum number N of pixels constituting the virtual sensor, and a multilayer parallax map for each of Fmax focus positions f.
  • a PSF intensity distribution is generated for real space points corresponding to combinations of DPN parallaxes d that can be registered.
  • the maximum number N of pixels constituting the virtual sensor is equal to the number N of pixels pix1 to pix # N constituting the reference image HD1.
  • the virtual sensor is configured with N pixels pix1 to pix # N as in the case of the reference image HD1.
  • the emulation lens information generation unit 37 sets a point light source for a real space point, and performs ray tracing to trace the light emitted from the point light source set to the real space point using the lens design data of the emulation lens. As a result, a PSF intensity distribution is generated.
  • a ray emitted from a point light source is used as an incident vector, and the intersection point between the incident vector and the refracting surface closest to the subject of the emulation lens is calculated, and the incident vector as a ray incident from the intersection is the refracting surface.
  • the vector that is refracted and emitted at is calculated as the emission vector.
  • an exit vector is used as an incident vector to the next refracting surface, and an intersection point between the incident vector and the next refracting surface is calculated.
  • the emulation lens information generation unit 37 observes the emission vector emitted from the last refractive surface of the emulation lens on the virtual sensor, and records the light intensity of the light beam as the emission vector obtained as a result of the observation. Thus, a PSF intensity distribution is generated.
  • the emulation lens information generation unit 37 is a chief ray emitted from a real space point (a point light source thereof), that is, a chief ray that passes through the principal point O of the emulation lens among the rays emitted from the real space point.
  • a rectangular area whose center (center of gravity) is the position where the sensor reaches the virtual sensor is referred to as a distribution area.
  • the distribution area is, for example, a rectangular area centered on the principal ray emitted from the real space point, and the smallest area surrounding the point on the virtual sensor that the ray emitted from the real space point reaches via the emulation lens.
  • a rectangular area (or near the minimum) can be employed.
  • the distribution area is an area where information can be recorded with a resolution of PX ⁇ PY in width ⁇ length. As PX and PY, for example, 255 can be adopted.
  • the emulation lens information generation unit 37 generates the PSF intensity distribution by recording the light intensity that becomes the PSF intensity distribution in the distribution area with a resolution of horizontal ⁇ vertical PX ⁇ PY.
  • FIG. 40 is a diagram schematically showing the PSF intensity distribution generated by the emulation lens information generation unit 37.
  • the PSF intensity distribution has a maximum of Fmax focus positions f, N pixels pix1 to pix # N constituting the virtual sensor, and DPN elements that can be registered in the parallax map. Are generated for real space points corresponding to N ⁇ DPN combinations with each of the parallaxes d.
  • the emulation lens information generation unit 37 generates an intensity distribution table for each of Fmax focus positions f.
  • the PSF intensity distribution registered in the intensity distribution table is recorded in the distribution area with a resolution of PX ⁇ PY in the horizontal and vertical directions as described in FIG.
  • the maximum number of arrays in the PSF intensity distribution is Fmax ⁇ N ⁇ DPN ⁇ PX ⁇ PY.
  • a unit in which one light intensity of the PSF intensity distribution is recorded (PSF intensity distribution sampling unit) is referred to as a distribution area unit.
  • the distribution area unit can be considered as a square area, for example.
  • the distribution area is a minimum rectangular area surrounding a point on the virtual sensor to which a light ray emitted from a real space point arrives, and thus has a variable size.
  • the PSF intensity distribution includes the focus position f, the image height of the imaging position (distance between the real space point (point light source) and the optical axis), and the subject (real space point (point light source). )) Depending on the distance (parallax).
  • the size (scale) of the minimum distribution area surrounding such a PSF intensity distribution is also different for each PSF intensity distribution.
  • an emulation image is generated by adding the imaging values of the light rays that are imaged on the virtual sensor in accordance with the PSF intensity distributions recorded in the distribution areas having different sizes. .
  • the emulation lens information generation unit 37 obtains the image plane pitch, which is the size (pitch) of the distribution area unit constituting the distribution area in which the PSF intensity distribution is recorded, as information indicating the scale of the PSF intensity distribution.
  • the image plane pitch is IP and the pixel pitch of the virtual sensor is PP
  • the distribution of the image value of the light ray obtained from the PSF intensity distribution is reduced to IP / PP times (or Enlarged) and added on the virtual sensor.
  • the PSF intensity distribution can be recorded in a fixed size distribution area with a resolution of PX ⁇ PY, not a variable size.
  • the image plane pitch is only one of the fixed sizes.
  • FIG. 41 is a diagram schematically showing the image plane pitch generated by the emulation lens information generation unit 37. As shown in FIG.
  • the image plane pitch is generated for each PSF intensity distribution.
  • FIG. 41 there is a certain parallax d with the horizontal direction being DPN parallax d and the vertical direction being N pixels pix1 to pix # N constituting the virtual sensor.
  • a table in which the image plane pitch of the PSF intensity distribution for the real space point corresponding to the combination with the pixel pix # n is registered is referred to as an image plane pitch table at the focus position f.
  • the emulation lens information generation unit 37 generates an image plane pitch table for each of Fmax focus positions f.
  • the maximum number of the array of the image plane pitch is Fmax ⁇ N ⁇ DPN.
  • FIG. 42 is a diagram for explaining an example of a method for generating PSF angle component information.
  • FIG. 42 is a front view of the emulation lens viewed from the front (subject side).
  • the emulation lens information generation unit 37 performs the same processing for the emulation lens as the light generation unit 102 described with reference to FIG.
  • the emulation lens information generation unit 37 sets, for example, an area including the front lens of the emulation lens as a lens area.
  • the smallest rectangular area surrounding the front lens of the emulation lens is set as the lens area.
  • the emulation lens information generation unit 37 divides the lens area (the emulation lens surrounded by) into lens area units that are small areas. Then, the emulation lens information generation unit 37 regards a real space point as a point light source, and a PSF intensity distribution in which rays incident on each lens area unit from the real space point as the point light source reach via the emulation lens. PSF angle component information representing the position of is obtained.
  • the lens area is divided into Lx ⁇ Ly lens area units in total, with Lx in the horizontal direction and Ly in the vertical direction.
  • the diameters of the virtual lens (the synthetic aperture) and the front lens (the aperture) of the emulation lens are the same, the size of the lens area, and It is also assumed that the lens area division number Lx ⁇ Ly matches between the virtual lens and the emulation lens.
  • the virtual lens diameter may be larger than the diameter of the emulation lens.
  • the lens area unit of the virtual lens and the lens area unit of the emulation lens are made to coincide with each other in order to make the light beam incident on the virtual lens correspond to the light beam incident on the emulation lens.
  • FIG. 43 is a diagram illustrating an example of a method for generating PSF angle component information.
  • FIG. 43 shows an outline when the real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens is viewed from the right with respect to the front of the imaging device, as in FIG. .
  • the emulation lens information generation unit 37 generates a maximum number of real space points N ⁇ DPN, that is, the maximum number N of pixels constituting the virtual sensor, and a multilayer parallax map for each of Fmax focus positions f. PSF angle component information is generated for real space points corresponding to combinations of DPN parallaxes d that can be registered.
  • the emulation lens information generation unit 37 obtains a reaching point AP # i that is emitted from a real space point (a point light source thereof) and that enters the lattice point LP # i of the emulation lens and reaches the virtual sensor.
  • the emulation lens information generation unit 37 converts the arrival point AP # i of the virtual sensor into a point on the PSF intensity distribution (distribution area thereof), the distribution area arrival point AP # i (distribution area unit where the light rays reach) And the position of the lattice point LP # i is obtained as PSF angle component information.
  • FIG. 44 is a diagram for explaining the details of the PSF angle component information.
  • the emulation lens information generation unit 37 is emitted from the real space point for each of the four lattice points LP # i1, LP # i2, LP # i3, and LP # i4 that are the four vertices of the lens area unit of the emulation lens.
  • Distribution area arrival points AP # i1, AP # i2, AP # i3, AP that are arrival points on the PSF intensity distribution that reach through lattice points LP # i1, LP # i2, LP # i3, LP # i4, respectively Ask for # i4.
  • the emulation lens information generation unit 37 includes four lattice points LP # i1, LP # i2, LP # i3, LP # i4, which are four vertices of the lens area unit of the emulation lens, and a distribution area arrival point AP.
  • the PSF angle component information is the distribution area arrival point AP # i when the light ray incident on the lattice point LP # i of the emulation lens reaches the distribution area arrival point AP # i via the emulation lens. , And a set of lattice points LP # i.
  • the area of the PSF intensity distribution where the light rays passing through the lens area unit reach is also referred to as the corresponding area.
  • the corresponding area is a quadrangular area having the distribution area arrival points AP # i1, AP # i2, AP # i3, and AP # i4 as vertices.
  • the granularity (resolution) of the distribution area arrival point AP # i is the size of the distribution area unit (FIG. 40) of the distribution area in which the PSF intensity distribution is recorded. That is, the distribution area arrival point AP # i represents the position of a certain distribution area unit in the distribution area.
  • FIG. 45 is a diagram schematically showing PSF angle component information generated by the emulation lens information generation unit 37.
  • the emulation lens information generation unit 37 generates a PSF angle component information table for each of Fmax focus positions f.
  • the PSF angle component information registered in the PSF angle component information table is on the distribution area of the PSF intensity distribution that the lattice point LP # i of the emulation lens and the rays incident on the lattice point LP # i reach through the emulation lens. This is a set with the distribution area arrival point AP # i.
  • the lens area of the emulation lens is divided into PX ⁇ PY lens area units, so the number of lattice points LP # i is (Lx + 1) ( Ly + 1).
  • the maximum number of PSF angle component information arrays is Fmax ⁇ N ⁇ DPN ⁇ (PX + 1) ⁇ (PY + 1).
  • FIG. 46 is a diagram for explaining image plane shift information.
  • FIG. 46 shows an outline when the real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens is viewed from the right with respect to the front of the imaging device, as in FIG. .
  • the virtual lens and the front lens of the emulation lens are made to correspond to each other, and the incident light reproduction unit 36 reproduces the light incident on the virtual lens as the light incident on the emulation lens.
  • the emulation lens generally has a plurality of lenses, a shift occurs in the position of the entrance pupil (in the z direction) between the virtual lens and the emulation lens.
  • an image observed through the virtual lens may be different from an image observed through the emulation lens.
  • 46A is a diagram for explaining an example of an image observed through a virtual lens in the virtual sensor.
  • the image plane shift position of the object obj1 with respect to the virtual lens that is, the image plane shift position where the principal ray emitted from the object obj1 arrives through the virtual lens, and the virtual lens of the object obj2 This coincides with the image plane shift position for.
  • the object obj2 is observed in the virtual sensor, but the object obj1 located behind the object obj2 is hidden behind the object obj2 and is not observed.
  • 46B is a diagram illustrating an example of an image observed through the emulation lens in the virtual sensor.
  • the position of the entrance pupil and thus the main point is shifted from the virtual lens. Therefore, for the emulation lens, the line as the chief ray emitted from the object obj1 in real space and the line as the chief ray emitted from the object obj2 on the near side of the object obj2 do not overlap. Sneak away.
  • the image plane shift position of the real space point differs between the virtual lens and the emulation lens.
  • the emulation lens information generation unit 37 generates image plane shift information representing the image plane shift position with respect to the emulation lens as one piece of lens information in order to accurately reproduce the light collected by the emulation lens.
  • the image plane shift information is information for correcting a shift in the position of the entrance pupil between the virtual lens and the emulation lens. From this viewpoint, the image plane shift information is the entrance pupil correction information. It can be said.
  • FIG. 47 is a diagram illustrating an example of a method for generating image plane shift information.
  • FIG. 47 shows an outline when the real space photographed by the camera unit 21 i constituting the photographing apparatus 11 as a virtual lens is viewed from the right with respect to the front of the photographing apparatus, as in FIG. .
  • the emulation lens information generation unit 37 generates a maximum number of real space points N ⁇ DPN, that is, the maximum number N of pixels constituting the virtual sensor, and a multilayer parallax map for each of Fmax focus positions f. Image plane shift information is generated for real space points corresponding to combinations of DPN parallaxes d that can be registered.
  • the emulation lens information generation unit 37 uses the arrival point at which the principal ray, which is emitted from the real space point (the point light source) and passes through the principal point of the emulation lens, reaches the virtual sensor, as the image plane shift position. For example, coordinates (distances) in the x-axis and y-axis directions from the center of the virtual sensor representing the position are obtained as image plane shift information.
  • FIG. 48 is a diagram schematically showing image plane shift information generated by the emulation lens information generation unit 37.
  • the image plane shift information is a maximum of each of the N pixels pix1 to pix # N constituting the virtual sensor and each of the DPN parallaxes d that can be registered in the parallax map for each of Fmax focus positions f. Generated for real space points corresponding to N ⁇ DPN combinations.
  • FIG. 48 there is a certain parallax d with the horizontal direction being DPN parallax d and the vertical direction being N pixels pix1 to pix # N constituting the virtual sensor.
  • a table in which image plane shift information for a real space point corresponding to the combination with the pixel pix # n is registered is referred to as an image plane shift information table at the focus position f.
  • the emulation lens information generation unit 37 generates an image plane shift information table for each of Fmax focus positions f.
  • the maximum number of arrays of the image plane shift information is Fmax ⁇ N ⁇ DPN.
  • the lens information of the emulation lens (PSF intensity distribution, image plane pitch, PSF angle component information, and image plane shift information) is calculated by performing ray tracing and other calculations using the lens design data of the emulation lens.
  • the emulation lens is an actual optical lens, it can be obtained by actually measuring the light beam using the optical lens.
  • FIG. 49 is a block diagram illustrating a configuration example of the emulation lens information generation unit 37 (FIG. 3) that generates lens information.
  • the emulation lens information generation unit 37 includes a real space point selection unit 131, an information calculation unit 132, and a focus position selection unit 133.
  • the real space point selection unit 131 refers to the multilayer parallax map supplied from the parallax information generation unit 31 (FIG. 3) to the emulation lens information generation unit 37, and each of the N pixels pix1 to pix # N constituting the virtual sensor. Then, the real space point of interest is selected from the real space points of the maximum number of real space points N ⁇ DPN corresponding to the combination with each of the DPN parallaxes d that can be registered in the multilayer parallax map.
  • the information calculation unit 132 uses the lens design data supplied from the lens design data acquisition unit 34 (FIG. 3) to the emulation lens information generation unit 37, and the real space point selected by the real space point selection unit 131. Lens information for the focus position f selected by the focus position selection unit 133 is generated and supplied to the light collection processing unit 38.
  • the focus position selection unit 133 selects a focus position from the Fmax focus positions f.
  • FIG. 50 is a flowchart illustrating an example of emulation lens information generation processing performed by the emulation lens information generation unit 37 of FIG.
  • step S141 the focus position selection unit 133 selects the focus position of interest from the Fmax focus positions f, and the process proceeds to step S142.
  • lens information is generated only for the focus position of interest in order to reduce the amount of lens information.
  • the focus position can be selected according to, for example, a user operation.
  • a predetermined default focus position can be selected as the focus position of interest.
  • lens information can be generated not only for the focus position of interest but also for each of Fmax focus positions f.
  • step S142 the real space point selection unit 131 acquires the multilayer parallax map supplied from the parallax information generation unit 31, and the process proceeds to step S143.
  • step S143 the real space point selection unit 131 selects one of the pixels of the virtual sensor that has not yet been set as the target pixel as the target pixel, and the process proceeds to step S144.
  • step S144 the real space point selection unit 131 sets one of the parallaxes of the target pixel registered in the multi-layer parallax map from the parallax information generation unit 31 as parallax that has not yet been set as the target parallax. The selection proceeds to step S145.
  • step S145 the real space point selection unit 131 selects a real space point corresponding to the target pixel having the target parallax as the target real space point, and the process proceeds to step S146.
  • step S146 the information calculation unit 132 determines the real space point of interest, that is, the focus focus position, the pixel of interest, and the lens information for the set of the parallax of interest, PSF intensity distribution, image plane pitch, PSF angle component information, and Image plane shift information is obtained as described with reference to FIGS. 39 to 48, and the process proceeds to step S147.
  • step S147 the real space point selection unit 131 determines whether all the parallaxes of the target pixel registered in the multilayer parallax map have been selected as the target parallax.
  • step S147 If it is determined in step S147 that all the parallaxes of the target pixel registered in the multilayer parallax map have not been selected as the target parallax, the process returns to step S144, and the same process is repeated thereafter. It is.
  • step S147 If it is determined in step S147 that all the parallaxes of the target pixel registered in the multilayer parallax map have been selected as the target parallax, the process proceeds to step S148.
  • step S148 the real space point selection unit 131 determines whether all the pixels of the virtual sensor have been selected as the target pixel.
  • step S148 If it is determined in step S148 that not all the pixels of the virtual sensor have been selected as the target pixel, the process returns to step S143, and the same process is repeated thereafter.
  • step S148 If it is determined in step S148 that all of the pixels of the virtual sensor have been selected as the target pixel, the emulation lens information generation process ends.
  • FIG. 51 is a diagram for explaining the outline of the condensing process performed by the condensing processing unit 38 of FIG.
  • FIG. 51 shows an outline when the real space taken by the camera unit 21 i constituting the imaging device 11 as a virtual lens is viewed from the right with respect to the front of the imaging device, as in FIG. .
  • the condensing processing unit 38 uses the lens information from the emulation lens information generation unit 37 to cause a ray remaining as a result of the collision determination among the rays supplied from the incident ray reproduction unit 36 to pass through a virtual sensor via the emulation lens. A process of obtaining an imaging value at the time of imaging on the virtual sensor and adding it to the virtual sensor is performed as a condensing process.
  • FIG. 52 is a diagram for explaining an example of a process for obtaining an imaging value in the condensing process.
  • the lens area of the emulation lens is divided into 5 ⁇ 5 lens area units in order to avoid complication of the figure.
  • light rays emitted from a real space point and incident on the emulation lens do not necessarily reach the virtual sensor. That is, among the light rays that enter the emulation lens, there are light rays that reach the virtual sensor and light rays that do not reach the virtual sensor.
  • an effective light beam region the area of the lens area unit in which the light beam that is emitted from the real space point and enters the emulation lens reaches the virtual sensor.
  • 3 ⁇ 3 lens area units rp1 to rp9 at the center of 5 ⁇ 5 lens area units are effective for light rays emitted from a certain real space point (x, y, z). It is in the ray area.
  • the distribution area arrival point that is emitted from the real space point (x, y, z) and passes through the lens area lattice point p # i is the distribution area where the PSF intensity distribution is recorded.
  • the distribution area unit q # i which is the distribution area arrival point that is emitted from the real space point (x, y, z) and passes through the lattice point p # i of the lens area, is recognized from the PSF angle component information Can do.
  • the light beam BL emitted from the real space point (x, y, z) and passing through the lens area unit rp1 reaches the corresponding area rq1 of the PSF intensity distribution (distribution area where the PSF is recorded).
  • the lens area unit rp1 is a lens area unit having lattice points p1, p2, p5, and p6 as vertices.
  • rays emitted from the real space point (x, y, z) and passing through the lattice points p1, p2, p5, p6 are distribution area units q1, q2 of the distribution area in which the PSF intensity distribution is recorded. , Q5 and q6 are reached.
  • a region having the distribution area units q1, q2, q5, and q6 as vertices is a corresponding area rq1.
  • rays emitted from the real space point (x, y, z) and passing through the lattice points p1, p2, p5, p6 are distributed area unit q1 of the distribution area in which the PSF intensity distribution is recorded.
  • Q2, q5, and q6 are recognized.
  • the light beam BL passing through the lens area unit rp1 having the lattice points p1, p2, p5, and p6 as vertices reaches the corresponding area rq1 having the distribution area units q1, q2, q5, and q6 as vertices.
  • the corresponding area rq # j is a corresponding area of light rays emitted from the real space point (x, y, z) and passing through the lens area unit rp # j.
  • the condensing processing unit 38 uses the PSF angle component information to identify the corresponding area rq1 that is emitted from the real space point (x, y, z) and passes through the lens area unit rp1 and that the light beam BL reaches. To do.
  • the light condensing processing unit 38 records the luminance assigned to the light beam BL and the PSF intensity distribution in the corresponding area rq1, that is, the PSFs recorded in (positions) of the distribution area units constituting the corresponding area rq1.
  • the product of the intensity distribution is obtained as an imaging value when the light beam BL forms an image on the virtual sensor via the emulation lens.
  • the imaging value of the light beam BL is a product of the luminance assigned to the light beam BL and the PSF intensity distribution recorded in each of the distribution area units constituting the corresponding area rq1. Distribution with unit as the particle size.
  • the condensing processing unit 38 obtains an imaging value in the same manner for light rays emitted from a real space point (x, y, z) and passing through a lens area unit other than the lens area unit rp1.
  • the light rays emitted from the real space point (x, y, z) and respectively incident on the 5 ⁇ 5 lens area units are in the lens area unit that is not in the effective light ray region among those light rays.
  • Incident light (hereinafter also referred to as ineffective light) does not reach the virtual sensor. For this reason, there is no corresponding area where the ineffective light beam reaches the lens area unit on which the ineffective light beam enters. Therefore, the imaging value can be obtained only for the light rays that pass through the lens area units rp1 to rp9 that are in the effective light ray region.
  • FIG. 53 is a diagram for explaining another example of the process for obtaining the imaging value in the condensing process.
  • FIG. 53 portions corresponding to those in FIG. 52 are denoted by the same reference numerals.
  • the lens area units rp7 to rp9 are in real space. A ray emitted from the point (x, y, z) is not reached by being blocked by an object in front of the real space point (x, y, z).
  • the lens area unit rp1 to which the light ray emitted from the real space point (x, y, z) among the lens area units rp1 to rp9 that are substantially in the effective light region reaches.
  • the imaging value (distribution) is obtained only for the light rays passing through each of rp6.
  • FIG. 54 is a diagram for explaining an example of processing for adding the imaging value (distribution thereof) on the virtual sensor in the condensing processing.
  • the imaging values of the light rays emitted from the real space point (x, y, z) have a distribution with the distribution area unit as the particle size.
  • the distribution of the imaging values of the rays emitted from the real space point (x, y, z) and the PSF intensity distribution used to obtain the imaging values were recorded. It is assumed that it is recorded in the distribution area. That is, the imaging value of the light beam emitted from the real space point (x, y, z) is recorded in the distribution area unit unit in the distribution area in which the PSF intensity distribution used to obtain the imaging value is recorded. Suppose that it is done.
  • the light condensing processing unit 38 uses the image plane pitch for the real space point (x, y, z) to record the distribution of the imaging values of the light rays emitted from the real space point (x, y, z).
  • the scale of the distribution area is adjusted so that the scale of the area matches the scale of the virtual sensor.
  • the condensing processing unit 38 reduces the distribution area in which the distribution of the imaging value of the light ray is recorded to IP / PP times. (Or enlargement) is performed as adjustment of the scale of the distribution area.
  • the condensing processing unit 38 aligns the positions where the light rays emitted from the real space point (x, y, z) are condensed on the virtual sensor via the emulation lens, by adjusting the real space point (x, y , z) based on the image plane shift position represented by the image plane shift information.
  • the light collection processing unit 38 records the distribution of the imaging values of the light rays emitted from the real space point (x, y, z), and aligns the distribution area after the scale adjustment with the virtual sensor. This is performed so that the center point CP of the distribution area and the image plane shift position of the virtual sensor coincide.
  • the condensing processing unit 38 adjusts the scale of the distribution area in which the distribution of the imaging values is recorded, and aligns the distribution area after the scale adjustment with the virtual sensor. Then, the imaging values distributed in the distribution area are added on the virtual sensor in units of pixels of the virtual sensor.
  • FIG. 55 is a block diagram illustrating a configuration example of the condensing processing unit 38 of FIG.
  • the condensing processing unit 38 includes a real space point selection unit 141, an imaging value calculation unit 142, a scale adjustment unit 143, an imaging position recognition unit 144, and an addition unit 145.
  • the real space point selection unit 141 refers to the multi-layer parallax map supplied from the parallax information generation unit 31 (FIG. 3) to the condensing processing unit 38, and each of the N pixels pix1 to pix # N constituting the standard image HD1. Then, the real space point of interest is selected from the real space points of the maximum number of real space points N ⁇ DPN corresponding to the combination with each of the DPN parallaxes d that can be registered in the multilayer parallax map.
  • the imaging value calculation unit 142 collects light from the incident light reproduction unit 36 using the PSF intensity distribution and the PSF angle component information in the lens information supplied from the emulation lens information generation unit 34 to the condensing processing unit 38. Of the light rays supplied to the processing unit 38, a distribution area in which the distribution of the imaging values of the light rays emitted from the real space point of interest selected by the real space point selection unit 131 is obtained, and the scale adjustment unit 143 receives the distribution area. Supply.
  • the scale adjustment unit 143 uses the image plane pitch in the lens information supplied from the emulation lens information generation unit 34 to the condensing processing unit 38 to determine the distribution of the imaging values supplied from the imaging value calculation unit 142.
  • the scale of the recorded distribution area is adjusted and supplied to the imaging position recognition unit 144.
  • the imaging position recognizing unit 144 uses the image plane shift information of the lens information supplied from the emulation lens information generating unit 34 to the condensing processing unit 38 to form a connection on the virtual sensor on which the light beam passes through the emulation lens.
  • the image plane shift position which is the image position, is recognized and supplied to the adder 145 together with the distribution area after the scale adjustment from the scale adjuster 143.
  • the adding unit 145 includes a memory as a virtual sensor, and aligns the distribution area after the scale adjustment from the imaging position recognition unit 144 with the virtual sensor (recognition of the position on the virtual sensor to which the imaging value is added). ) Is performed according to the image plane shift position from the imaging position recognition unit 144.
  • the adding unit 145 adds (cumulatively) the image formation value recorded in the distribution area after alignment with the virtual sensor on the virtual sensor in units of pixels of the virtual sensor.
  • the adding unit 145 supplies a virtual sensor, that is, an image having a pixel value obtained by adding the imaging values obtained on the memory as an emulation image to the display device 13 (FIG. 1).
  • FIG. 56 is a flowchart for explaining an example of the condensing process performed by the condensing processing unit 38 of FIG.
  • lens information is generated only for the focus position of interest in order to reduce the amount of lens information. Therefore, the condensing process is performed on the assumption that the focus position is set to the focused focus position when the lens information is generated.
  • the lens information can be generated in advance for each of Fmax focus positions (FIG. 37).
  • the condensing processing unit 38 can set the focused focus position and perform the condensing process using the lens information for the focused focus position.
  • the emulation lens information generation unit 37 can set the focus position at the focus processing unit 38 and then generate lens information for the focus position.
  • step S151 the real space point selection unit 141 acquires the multilayer parallax map supplied from the parallax information generation unit 31, and the process proceeds to step S152.
  • step S152 the real space point selection unit 141 selects one of the pixels of the reference image HD1 that has not yet been set as the target pixel, and the process proceeds to step S153.
  • step S153 the real space point selection unit 141 sets one of the parallaxes of the target pixel registered in the multilayer parallax map from the parallax information generation unit 31 as parallax that has not yet been set as the target parallax. The selection proceeds to step S154.
  • step S154 the real space point selection unit 141 selects a real space point corresponding to the target pixel having the target parallax as the target real space point, and the process proceeds to step S155.
  • step S155 the imaging value calculation unit 142 selects one of the lens area units of the emulation lens that has not yet been set as the target lens area unit, as the target lens area unit. The process proceeds to S156.
  • step S156 the imaging value calculation unit 142 acquires, from among the light beams supplied from the incident light beam reproduction unit 36, a light beam traveling from the target real space point to the target lens area unit as a target light beam. The process proceeds to S157.
  • step S157 the imaging value calculation unit 142 determines whether or not the target light ray reaches the emulation lens from the target real space point.
  • step S157 If it is determined in step S157 that the target light beam reaches the emulation lens, that is, the parallax assigned to the target light beam (the parallax assigned in the incident light beam reproduction process described with reference to FIGS. 33 to 35) is the target parallax. If equal, the process proceeds to step S158.
  • step S158 the imaging value calculation unit 142, the scale adjustment unit 143, the imaging position recognition unit 144, and the addition unit 145 detect the attention light beam that reaches the emulation lens, that is, the attention light beam that remains as a result of the collision determination.
  • the attention light beam that remains as a result of the collision determination.
  • a light beam addition process to be described later is performed, and the process proceeds to step S159.
  • step S157 when it is determined in step S157 that the target light ray does not reach the emulation lens, that is, the parallax assigned to the target light ray (the parallax assigned in the incident light reproduction process described with reference to FIGS. 33 to 35). If it is not equal to the target parallax, the process skips step S158 and proceeds to step S159. Therefore, when the target light beam does not reach the emulation lens, the light beam addition process is not performed for the target light beam.
  • step S159 the imaging value calculation unit 142 determines whether all of the lens area units of the emulation lens have been selected as the target lens area unit.
  • step S159 If it is determined in step S159 that not all the lens area units of the emulation lens have been selected as the target lens area unit, the process returns to step S155, and the same process is repeated thereafter.
  • step S159 If it is determined in step S159 that all the lens area units of the emulation lens have been selected as the target lens area unit, the process proceeds to step S160.
  • step S160 the real space point selection unit 141 determines whether all the parallaxes of the target pixel registered in the multilayer parallax map have been selected as the target parallax.
  • step S160 If it is determined in step S160 that not all the parallaxes of the target pixel registered in the multilayer parallax map have been selected as the target parallax, the process returns to step S153, and the same process is repeated thereafter. It is.
  • step S160 If it is determined in step S160 that all the parallaxes of the target pixel registered in the multilayer parallax map are selected as the target parallax, the process proceeds to step S161.
  • step S161 the real space point selection unit 141 determines whether all of the pixels of the reference image HD1 have been selected as the target pixel.
  • step S161 If it is determined in step S161 that not all the pixels of the reference image HD1 have been selected as the target pixel, the process returns to step S152, and the same process is repeated thereafter.
  • step S161 If it is determined in step S161 that all the pixels of the reference image HD1 have been selected as the target pixel, the adding unit 145 obtains the addition result of the imaging values on the virtual sensor obtained by the processing so far.
  • the pixel value image is supplied as an emulation image to the display device 13 (FIG. 1), and the light condensing process ends.
  • FIG. 57 is a flowchart illustrating an example of the light beam addition process performed in step S158 of FIG.
  • the imaging value calculation unit 142 is the target pixel and target corresponding to the target real space point (at the target focus position f) from the emulation lens information generation unit 37.
  • a corresponding area that is a position on the distribution area in which the PSF intensity distribution to which the beam of interest arrives is recorded is obtained using the PSF intensity distribution for (parallax) (the distribution area in which the PSF intensity distribution is recorded) and the PSF angle component information.
  • the imaging value calculation unit 142 determines the PSF intensity distribution of the corresponding area and the luminance assigned to the target light (in the incident light reproduction process described with reference to FIGS. 33 to 35).
  • the product of (the assigned brightness) is obtained as the imaging value (distribution) of the light beam of interest.
  • the imaging value calculation unit 142 supplies the distribution area in which the imaging value of the light beam of interest is recorded to the scale adjustment unit 143, and the process proceeds from step S171 to step S172.
  • step S172 the scale adjustment unit 143 uses the image plane pitch from the emulation lens information generation unit 34 for the target real space point with respect to the target focus position f to form an image formation value calculation unit.
  • the scale of the distribution area is adjusted to a scale that matches the scale of the virtual sensor.
  • the scale adjustment unit 143 supplies the distribution area after the scale adjustment to the addition unit 145 via the imaging position recognition unit 144, and the process proceeds from step S172 to step S173.
  • step S173 the imaging position recognizing unit 144 forms a virtual image in which the target light beam is imaged via the emulation lens from the image plane shift information for the target real space point for the target focus position f from the emulation lens information generation unit 34.
  • the image plane shift position which is the image formation position on the sensor, is recognized and supplied to the adder 145, and the process proceeds to step S174.
  • step S174 the adding unit 145 aligns the distribution area after the scale adjustment obtained by the scale adjusting unit 143 with the virtual sensor based on the image plane shift position from the imaging position recognizing unit 144.
  • the adding unit 145 determines whether the distribution point after the scale adjustment and the virtual sensor have the same center point CP (FIG. 54) of the distribution area after the scale adjustment and the image plane shift position of the virtual sensor. Perform alignment.
  • the adding unit 145 adds the imaging value recorded in the distribution area after alignment with the virtual sensor on the virtual sensor in units of pixels of the virtual sensor. That is, the adder 145 adds the stored value of the memory as the virtual sensor and the imaging value, and rewrites the stored value of the memory with the added value obtained as a result. Note that the stored value of the memory as the virtual sensor is initialized to 0 at the start of the light collection process (FIG. 56).
  • the light beam addition processing ends and the processing returns.
  • the incident ray reproduction unit 46 reproduces the rays incident on the virtual lens that remain as a result of the collision determination.
  • the emulation lens information generation unit 37 generates lens information, that is, PSF intensity distribution, image plane pitch, PSF angle component information, and image plane shift information.
  • the PSF intensity distribution at the position of the PSF intensity distribution represented by the PSF angle component information is used as an imaging value when the light beam remaining as a result of the collision determination is imaged on the virtual sensor via the emulation lens. And the product of the light intensity.
  • the scale of the distribution of the image formation value of the light beam is matched with the scale of the virtual sensor based on the image plane pitch.
  • the condensing processing unit 38 performs position alignment on the virtual sensor to which the imaging value is added according to the image plane shift position, adds the imaging value on the virtual sensor, and obtains the addition.
  • An emulation image having the added value as a pixel value is generated.
  • the same light collection as that of the actual optical lens is reproduced by digital signal processing, and as a result, the blurring and other light collection characteristics of the actual optical lens are accurately determined.
  • An emulation image reproduced (reflected) can be generated.
  • the user can have a high-quality shooting experience (experience of shooting performed using a high-quality optical lens) as if shooting was performed using the optical lens. You can enjoy it.
  • FIG. 58 is a diagram for explaining an outline of reduction of the information amount of lens information.
  • 58A shows an example of the PSF intensity distribution in the lens information of the actual optical lens.
  • a in FIG. 58 shows the relationship between the imaging position on the actual image sensor where the light beam is imaged through the actual optical lens and the PSF intensity distribution applied to the light beam imaged at the imaging position. Is schematically shown.
  • the PSF intensity distribution differs depending on the focus position f, the image height of the imaging position (distance from the optical axis), and the distance (parallax) to the subject (real space point).
  • the image height of the image formation position on the actual image sensor (the distance from the optical axis of the real space point imaged at the image formation position) is different, the real space imaged at the image formation position
  • the PSF intensity distribution of the actual optical lens applied to the light emitted from the point is different.
  • the PSF intensity distribution of an actual optical lens becomes infinite information that differs if the image height at the imaging position is different.
  • the PSF intensity distribution is different, but conversely, for the same image height, that is, for a real space point at the same distance from the optical axis, As long as the focus position f and the parallax (distance to the real space point) do not change, the PSF intensity distribution is common.
  • the PSF intensity distribution for the real space point corresponding to the rotated position pos2 obtained by rotating the position pos1 having the image height r with the image sensor about the optical axis by the predetermined angle a is the real space point corresponding to the position pos1.
  • the PSF intensity distribution with respect to is coincident with the rotated PSF intensity distribution rotated by a predetermined angle a around the optical axis.
  • the PSF intensity distribution for the real space point corresponding to the position pos2 is the PSF intensity after rotation obtained by rotating the PSF intensity distribution for the real space point corresponding to the position pos1 by the predetermined angle a around the optical axis. Since it matches the distribution, the image plane pitch for the real space point corresponding to the position pos2 matches the image plane pitch for the real space point corresponding to the position pos1.
  • the PSF angle component information for the real space point corresponding to the position pos2 is the PSF angle component after rotation obtained by rotating the PSF angle component information for the real space point corresponding to the position pos1 by a predetermined angle a around the optical axis. Match information.
  • the image plane shift information (represented by the image plane shift position) for the real space point corresponding to the position pos2 is the image plane shift information corresponding to the real space point corresponding to the position pos1 by a predetermined angle a with the optical axis as the center. This coincides with the rotated image plane shift information.
  • the lens information for the real space point corresponding to the position where the image height of the image sensor is the same is common.
  • the emulation lens information generation unit 37 not real space points corresponding to all pixels of the virtual sensor but real space points corresponding to a plurality of information points that are a plurality of positions in a part of the plane of the virtual sensor. By generating lens information only, the amount of lens information can be reduced.
  • the emulation lens information generation unit 37 is a target for generating lens information from, for example, a predetermined one axis (corresponding to a real space point) extending in the plane of the virtual sensor from the center (optical axis) of the virtual sensor.
  • lens information generation axes a plurality of positions (corresponding to real space points) on the lens information generation axis are set as information points for generating lens information.
  • the emulation lens information generation unit 37 generates lens information for information points (corresponding to real space points) of the lens information generation axis.
  • FIG. 58B shows an example of a lens information generation axis.
  • one axis extending upward from the center of the virtual sensor is a lens information generation axis.
  • the lens information generated with respect to the information point of the lens information generation axis as described above rotates the lens information generation axis by the same rotation angle as the rotation by rotating around the center of the virtual sensor. It can be applied to the condensing process of light rays emitted from a real space point corresponding to the position of the virtual sensor that coincides with the lens generation axis after the rotation.
  • FIG. 59 is a diagram showing a specific example of the lens information generation axis.
  • an axis from the center of the virtual sensor toward one pixel on the diagonal of the virtual sensor is referred to as a diagonal axis.
  • a plurality of positions such as 15 are set at equal intervals on the diagonal axis as information points.
  • the diagonal axis on which the information point is set is rotated around the center of the virtual sensor so as to be directed upward, and the diagonal axis after the rotation becomes the lens information generation axis. Yes.
  • the lens information generation axis has a horizontal width of 0, and a vertical length of the virtual sensor whose vertical length is 1 ⁇ 2 of the diagonal length of the virtual sensor (distance between the diagonal pixels). This is a line segment extending in the vertical direction (upward) from the center.
  • the emulation lens information generation unit 37 can generate lens information only for real space points corresponding to the information points of the lens information generation axis as described above.
  • the lens information about 15 information points are sufficient for PSF intensity distribution, PSF angle component information, and image plane pitch, but about 15 information points for image plane shift information. Then, the reproducibility of the condensing characteristic of the emulation lens in the condensing process may be lowered.
  • a value (maximum value of the image height of the virtual sensor) from the center of the virtual sensor to the one pixel on the diagonal is divided by the pixel pitch of the virtual sensor (the virtual sensor's pixel height). (A value close to half the number of diagonal pixels) can be used as the number of information points provided on the lens information generation axis.
  • the lens information includes N pixels pix1 to pix # N constituting the virtual sensor for each of Fmax focus positions f.
  • DPN parallaxes d that can be registered in the parallax map, and generated for real space points corresponding to N ⁇ DPN combinations, the number of lens information arrays is as follows: It becomes a number.
  • the maximum number of PSF intensity distribution arrays is Fmax ⁇ N ⁇ DPN ⁇ PX ⁇ PY as described with reference to FIG.
  • the maximum number of image plane pitch arrangements is Fmax ⁇ N ⁇ DPN.
  • the maximum number of PSF angle component information arrays is Fmax ⁇ N ⁇ DPN ⁇ (PX + 1) ⁇ (PY + 1).
  • the maximum number of image plane shift information arrays is Fmax ⁇ N ⁇ DPN.
  • PX and PY represent the numbers of horizontal (horizontal direction) and vertical (vertical direction) of the lens area units constituting the lens area, respectively, as described in FIG.
  • the number of lens information arrays is as follows.
  • the maximum number of PSF intensity distribution arrays is Fmax ⁇ Ninfo ⁇ DPN ⁇ PX ⁇ PY.
  • the maximum number of image plane pitch arrays is Fmax ⁇ Ninfo ⁇ DPN.
  • the maximum number of PSF angle component information arrays is Fmax ⁇ Ninfo ⁇ DPN ⁇ (PX + 1) ⁇ (PY + 1).
  • the maximum number of image plane shift information arrays is Fmax ⁇ Ninfo ⁇ DPN.
  • the information amount of the lens information is expressed as Ninfo / N can be reduced.
  • the information amount of the lens information can be reduced to 15 / (1892 ⁇ 1052).
  • FIG. 60 is a block diagram showing a configuration example of the emulation lens information generation unit 37 of FIG. 3 when generating lens information only for information points on the lens information generation axis.
  • the emulation lens information generation unit 37 includes a real space point selection unit 231, an information calculation unit 132, and a focus position selection unit 133.
  • the emulation lens information generation unit 37 of FIG. 60 is common to the case of FIG. 49 in that it includes the information calculation unit 132 and the focus position selection unit 133.
  • the emulation lens information generation unit 37 of FIG. 60 is different from the case of FIG. 49 in that a real space point selection unit 231 is provided instead of the real space point selection unit 131.
  • the real space point selection unit 231 refers to the multilayer parallax map supplied from the parallax information generation unit 31 (FIG. 3), and registers each of the Ninfo information points on the lens information generation axis on the virtual sensor and the multilayer parallax map.
  • An attention real space point is selected from Ninfo ⁇ DPN real space points corresponding to combinations of DPN parallaxes that can be obtained.
  • FIG. 61 is a flowchart for explaining an example of emulation lens information generation processing performed by the emulation lens information generation unit 37 of FIG.
  • step S211 the focus position selection unit 133 selects the focus position from the Fmax focus positions f as in step S141 in FIG. 50, and the process proceeds to step S212.
  • step S212 the real space point selection unit 231 acquires the multi-layer parallax map supplied from the parallax information generation unit 31 as in step S142 of FIG. 50, and the process proceeds to step S213.
  • step S213 the real space point selection unit 231 sets the lens information generation axis used for generating the PSF intensity distribution, the PSF angle component information, and the image plane pitch among the lens information, and the process proceeds to step S214. move on.
  • the axial pain sensation point selection unit 231 divides the maximum image height of the virtual sensor (the distance from the center of the virtual sensor to one pixel on the diagonal) equally, for example, a predetermined number (for example, 15 etc.) ) Is set in the vertical direction (upward) starting from the center of the virtual lens.
  • step S214 the real space point selection unit 231 selects one of the information points on the lens information generation axis that has not yet been set as the attention information point, as the attention information point, and the process proceeds to step S215. move on.
  • the real space point selection unit 231 includes the disparity that can be registered in the pixel at the position of the attention information point (the pixel close to the attention information point) registered in the multilayer parallax map from the disparity information generation unit 31.
  • One of the parallaxes not yet set as the target parallax is selected as the target parallax, and the process proceeds to step S216.
  • step S216 the real space point selection unit 231 selects a real space point corresponding to the attention information point (position of the attention information point on the plane of the virtual sensor) having the attention parallax as the attention real space point, and the processing is performed. The process proceeds to step S217.
  • step S217 the information calculation unit 132 obtains the PSF intensity distribution, the image plane pitch, and the PSF angle component information for the target real space point, that is, the target focus position, target information point, and target parallax set. As in step S146, the process proceeds to step S218.
  • step S218 the real space point selection unit 231 determines whether or not all the parallaxes that can be registered in the multilayer parallax map have been selected as the parallax of interest.
  • step S218 If it is determined in step S218 that not all the parallaxes that can be registered in the multilayer parallax map have been selected as the target parallax, the process returns to step S215, and the same process is repeated thereafter.
  • step S218 If it is determined in step S218 that all of the parallaxes that can be registered in the multilayer parallax map have been selected as the target parallax, the process proceeds to step S219.
  • step S219 the real space point selection unit 231 determines whether all the information points of the lens information generation axis have been selected as the attention information points.
  • step S219 If it is determined in step S219 that all the information points of the lens information generation axis have not yet been selected as the target information point, the process returns to step S214, and the same process is repeated thereafter.
  • step S219 If it is determined in step S219 that all of the information points on the lens information generation axis have been selected as the target information points, the process proceeds to step S220, and image plane shift information is generated thereafter.
  • step S220 the real space point selection unit 231 sets a lens information generation axis used for generating image plane shift information in the lens information, and the process proceeds to step S221.
  • the real space point selection unit 231 uses, for example, a lens information generation axis in which information points equal to the number of values obtained by dividing the maximum image height of the virtual sensor by the pixel pitch of the virtual sensor are arranged at equal intervals. Set in the vertical direction starting from the center of.
  • step S221 the real space point selection unit 231 selects one of the information points of the lens information generation axis that has not yet been set as the attention information point, as the attention information point, and the process proceeds to step S222. move on.
  • step S222 the real space point selection unit 231 has a parallax that has not yet been set as the target parallax among the parallaxes that can be registered in the pixel at the position of the target information point registered in the multilayer parallax map from the parallax information generation unit 31. Is selected as the parallax of interest, and the process proceeds to step S223.
  • step S223 the real space point selection unit 231 selects a real space point corresponding to the attention information point having the attention parallax as the attention real space point, and the process proceeds to step S224.
  • step S224 the information calculation unit 132 obtains image plane shift information for the target real space point, that is, the target focus position, target information point, and target parallax set in the same manner as in step S146 in FIG. The process proceeds to step S225.
  • step S225 the real space point selection unit 231 determines whether or not all the parallaxes that can be registered in the multilayer parallax map have been selected as the parallax of interest.
  • step S225 If it is determined in step S225 that not all the parallaxes that can be registered in the multilayer parallax map have been selected as the target parallax, the process returns to step S222, and the same process is repeated thereafter.
  • step S225 If it is determined in step S225 that all of the parallaxes that can be registered in the multilayer parallax map have been selected as the target parallax, the process proceeds to step S226.
  • step S226 the real space point selection unit 231 determines whether all the information points of the lens information generation axis have been selected as the attention information points.
  • step S226 If it is determined in step S226 that not all the information points of the lens information generation axis have been selected as the target information point, the process returns to step S221, and the same process is repeated thereafter.
  • step S226 If it is determined in step S226 that all of the information points on the lens information generation axis have been selected as the attention information points, the emulation lens information generation process ends.
  • the lens information for the real space point corresponding to the set of each parallax that can be registered in the multilayer parallax map and each information point of the lens information generation axis is obtained. .
  • FIG. 62 is a diagram for explaining an example of the condensing process performed using the lens information generated for the information point (corresponding to the real space point) of the lens information generation axis as described above.
  • the lens information generated with respect to the information point of the lens information generation axis is used to perform the condensing process as a method of rotating lens information (hereinafter also referred to as a lens information rotating method), and a condensing process.
  • a method of rotating lens information hereinafter also referred to as a lens information rotating method
  • a condensing process There is a method of rotating a light beam used (hereinafter also referred to as a light beam rotation method).
  • the pixel (position) of the virtual sensor or the lens information generation axis is set so that the pixel (position) of the virtual sensor corresponding to a certain real space point rsp is positioned on the lens information generation axis.
  • the angle when rotating around the center is called the coincidence rotation angle ALPHA.
  • the pixel of the virtual sensor corresponding to the real space point rsp and the lens information generation axis form a coincidence rotation angle ALPHA around the center of the virtual sensor.
  • the virtual sensor (pixel) or the lens information generation axis is set so that the pixel of the virtual sensor corresponding to the real space point rsp is positioned on the lens information generation axis.
  • the information point closest to the pixel of the virtual sensor corresponding to the real space point rsp (hereinafter also referred to as the corresponding information point) is detected when the virtual sensor rotates about the center of the virtual sensor by the coincidence rotation angle ALPHA.
  • the clockwise direction is positive for the rotation angle when rotating around the center of the virtual sensor.
  • the lens information generation axis is rotated by the coincidence rotation angle + ALPHA around the center of the virtual sensor, or the virtual sensor is rotated by the coincidence rotation angle -ALPHA around the center of the virtual sensor.
  • the pixel of the virtual sensor corresponding to the real space point rsp is in a state located on the lens information generation axis.
  • the lens information generation axis and the lens information generation axis of the virtual sensor are rotated by the coincidence rotation angle + ALPHA.
  • the lens information rotation method and the ray rotation method as described above, when the lens information generation axis is rotated by the coincidence rotation angle + ALPHA around the center of the virtual sensor, the virtual information corresponding to the real space point rsp is obtained. The information point closest to the sensor pixel is detected as the corresponding information point.
  • the lens information for the corresponding information point (the real space point corresponding thereto) is applied to the light beam emitted from the real space point rsp, and the light collection process is performed.
  • the lens information (PSF intensity distribution, PSF angle component information, and image plane shift information) corresponding to the corresponding information point is rotated by the coincidence rotation angle + ALPHA to obtain the real space point rsp. Applies to rays emanating from.
  • the ray rotation method the ray emitted from the real space point rsp is rotated by the coincidence rotation angle -ALPHA, and the lens information for the corresponding information point is applied to the rotated ray.
  • FIG. 62 shows an example of condensing processing by the lens information rotation method.
  • FIG. 62A shows calculation of an imaging value in the light collection process when the target pixel of the virtual sensor corresponding to the target real space point is a pixel on the lens information generation axis (hereinafter also referred to as an on-axis pixel). An example is shown.
  • a in FIG. 62 shows an example of a PSF intensity distribution (a distribution area in which is recorded) for the corresponding information point for the target pixel of the virtual sensor corresponding to the target real space point.
  • the light ray incident on the lens area unit U1 reaches the corresponding area UC1 of the PSF intensity distribution.
  • the target pixel of the virtual sensor corresponding to the target real space point is an on-axis pixel
  • the PSF intensity distribution with respect to the corresponding information point for the target pixel for light rays emitted from the target real space point and entering the lens area unit U1 Is used as it is (without rotation), and the product of the luminance assigned to the light beam incident on the lens area unit U1 and the PSF intensity distribution of the corresponding area UC1 is obtained as the imaging value.
  • FIG. 62B shows a pixel on a straight line in which the target pixel of the virtual sensor corresponding to the target real space point is rotated by, for example, 90 degrees about the lens information generation axis about the center of the virtual sensor (hereinafter, 90 degrees). This is an example of calculation of an imaging value in the condensing process in the case of a rotation pixel).
  • the coincidence rotation angle + ALPHA of the 90-degree rotated pixel that is the target pixel is 90 degrees.
  • the PSF intensity distribution for the corresponding information point for the pixel of interest is, for example, centered on the center of the distribution area where the PSF intensity distribution is recorded.
  • the imaging value is obtained.
  • the lens area unit U1 after rotation when the lens area unit U1 is rotated by 90 degrees that is the coincident rotation angle + ALPHA around the optical axis The light ray incident on the lens area unit U2 at the position reaches the corresponding area UC1 of the PSF intensity distribution.
  • the lens information rotation method uses the light beam incident from the real space point of interest and incident on the lens area unit U2 as the imaging value of the light beam incident on the lens area unit U2.
  • the product of the assigned luminance and the PSF intensity distribution of the corresponding area UC1 is obtained.
  • FIG. 63 shows an example of the condensing process by the light beam rotation method.
  • the ray rotation method obtains the imaging value of the light beam emitted from the target real space point in the same manner as the lens information rotation method. .
  • 63A shows the rotation of light rays emitted from a real space point of interest.
  • the target pixel of the virtual sensor corresponding to the target real space point is a 90-degree rotation pixel
  • the light ray R1 is incident on the lens area unit U1 from the real space point of interest before the rotation of the light beam
  • the light ray R2 is incident on the lens area unit U2 from the real space point of interest.
  • FIG. 63B shows an example of a PSF intensity distribution (a distribution area in which is recorded) with respect to a corresponding information point for a 90-degree rotated pixel that is a target pixel.
  • the light ray incident on the lens area unit U1 reaches the corresponding area UC1 of the PSF intensity distribution.
  • the imaging value VF of the ray R2 is obtained as the product of the luminance of the ray R2 and the PSF intensity distribution of the corresponding area UC1 with respect to the lens area unit U1. It is done.
  • 63C shows an example of reverse rotation of the imaging value VF of the light ray R2.
  • the imaging value VF distributed area in which is recorded
  • the coincidence rotation angle + ALPHA + 90 degrees around the optical axis and then added to the virtual sensor.
  • the lens information rotation method may be adopted, or the light beam rotation method may be adopted.
  • the lens information rotation method it is possible to reduce the amount of calculation required for the condensing process compared to the light beam rotation method.
  • the reproducibility of the condensing characteristic of the emulation lens may be lowered.
  • lens information (excluding the image plane pitch) is rotated by the coincidence rotation angle + ALPHA.
  • the coordinate system of the distribution area arrival point AP # i (FIG. 44) represented by the PSF angle component information is a coordinate system inclined by the coincidence rotation angle + ALPHA. Therefore, unless the coincidence rotation angle + ALPHA is an integral multiple of 90 degrees, the position that can be the distribution area arrival point AP # i represented by the PSF angle component information before rotation and the PSF angle component information after rotation are There is a deviation from the position that can be the distribution area arrival point AP # i.
  • the distribution area arrival point AP # i represented by the PSF angle component information is the particle size of the distribution area unit (FIG. 40) of the distribution area and represents the position on the PSF intensity distribution where the light beam reaches.
  • the difference between the position that can be the distribution area arrival point AP # i represented by the PSF angle component information and the position that can be the distribution area arrival point AP # i represented by the rotated PSF angle component information is It may adversely affect the reproduction of the light collection characteristics.
  • the PSF intensity distribution partially overlaps with the PSF intensity distribution of other corresponding areas, or the PSF that should originally be included in a certain corresponding area. A portion of the intensity distribution may be missing from the corresponding area.
  • the light beam rotation method can be adopted for the condensing process.
  • the lens information rotation method can be employed in that case.
  • FIG. 64 is a block diagram illustrating a configuration example of a light collection processing unit 38 that performs light collection processing using lens information generated with respect to the lens information generation axis.
  • the light collection processing unit 38 includes a real space point selection unit 141, an imaging value calculation unit 242, a scale adjustment unit 143, an imaging position recognition unit 244, an addition unit 245, and a rotation processing unit 246.
  • the condensing processing unit 38 in FIG. 64 is common to the case in FIG. 55 in that it has a real space point selection unit 141 and a scale adjustment unit 143.
  • the condensing processing unit 38 in FIG. 64 replaces the imaging value calculation unit 142, the imaging position recognition unit 144, and the addition unit 145 with an imaging value calculation unit 242, and an imaging position recognition unit 244, respectively.
  • the point which is provided with the addition part 245 is different from the case of FIG.
  • the imaging value calculation unit 242 is a distribution in which the distribution of imaging values of rays emitted from the target real space point selected by the real space point selection unit 131 is recorded by the lens information rotation method or the light ray rotation method. The area is obtained and supplied to the scale adjustment unit 143.
  • the imaging value calculation unit 242 uses the PSF intensity distribution and the PSF angle component information supplied from the rotation processing unit 246 in accordance with the ray rotation method, and is also supplied from the rotation processing unit 246.
  • the distribution area in which the distribution of the imaging values of the light rays emitted from the real space point of interest selected by the real space point selection unit 131 among the light rays rotated by the distance is obtained and supplied to the scale adjustment unit 143. .
  • the imaging value calculation unit 242 uses the PSF intensity distribution and PSF angle component information rotated by the coincidence rotation angle + ALPHA supplied from the rotation processing unit 246 according to the lens information rotation method, and also uses the rotation processing unit.
  • a distribution area in which the distribution of imaging values of rays emitted from the real space point of interest selected by the real space point selection unit 131 supplied from H.246 is recorded and supplied to the scale adjustment unit 143.
  • the imaging position recognizing unit 244 is a virtual sensor that forms an image of a light beam via the emulation lens from the image plane shift information supplied from the rotation processing unit 246 or the image plane shift information rotated by the coincidence rotation angle + ALPHA.
  • the image plane shift position which is the upper imaging position, is recognized and supplied to the adding unit 245 together with the distribution area after the scale adjustment from the scale adjusting unit 143.
  • the addition unit 245 performs the same processing as the addition unit 145 in FIG.
  • the adding unit 245 has a built-in memory as a virtual sensor, and aligns the distribution area after the scale adjustment from the imaging position recognition unit 244 with the virtual sensor to obtain an image plane from the imaging position recognition unit 244. Depending on the shift position.
  • the adding unit 245 adds the imaging value recorded in the distribution area after alignment with the virtual sensor on the virtual sensor in units of pixels of the virtual sensor.
  • the adding unit 245 supplies a virtual sensor, that is, an image having the pixel value obtained by adding the imaging values obtained on the memory as an emulation image to the display device 13 (FIG. 1).
  • the adding unit 245 performs the same process as the adding unit 145 in FIG. 55 as described above.
  • the adding unit 245 matches the distribution area after the alignment (the imaged value recorded in the same) when the light is rotated by the rotation processing unit 246.
  • the imaging value recorded in the distribution area after the rotation is added on the virtual sensor.
  • the rotation processing unit 246 is supplied with light from the incident light reproduction unit 36 (FIG. 3) and lens information for the information point of the lens information generation axis from the emulation lens information generation unit 34 (FIG. 3).
  • the rotation processing unit 246 determines that the pixel of the virtual sensor corresponding to the real space point of interest selected by the real space point selection unit 141 is on the lens information generation axis. PSF intensity distribution and PSF angle component of the lens information for the information point of the lens information generation axis from the emulation lens information generation unit 34 by the coincidence rotation angle + ALPHA when rotating the lens information generation axis so as to become a pixel Information and image plane shift information are rotated.
  • the rotation processing unit 246 supplies the rotated PSF intensity distribution and PSF angle component information to the imaging value calculation unit 242, and supplies the rotated image plane shift information to the imaging position recognition unit 244. .
  • the rotation processing unit 246 supplies the light beam from the incident light beam reproduction unit 36 to the imaging value calculation unit 242 as it is without rotating.
  • the rotation processing unit 246 causes the pixel of the virtual sensor corresponding to the target real space point selected by the real space point selection unit 141 to be on the lens information generation axis.
  • the light beam from the incident light beam reproduction unit 36 is rotated by the coincidence rotation angle -ALPHA when the virtual sensor (the pixel pixel) is rotated so as to become the pixel.
  • the rotation processing unit 246 supplies the rotated light beam to the imaging value calculation unit 242.
  • the rotation processing unit 246 calculates the imaging value as it is without rotating the PSF intensity distribution and the PSF angle component information in the lens information with respect to the information point of the lens information generation axis from the emulation lens information generation unit 34.
  • the image plane shift information is supplied to the imaging position recognition unit 244 as it is without being rotated.
  • FIG. 65 is a flowchart for explaining an example of the condensing process performed by the condensing processing unit 38 of FIG.
  • lens information is generated only for the focus position of interest in order to reduce the amount of lens information. Therefore, the condensing process is performed on the assumption that the focus position is set to the focused focus position when the lens information is generated.
  • the lens information can be generated in advance for each of Fmax focus positions (FIG. 37).
  • the condensing processing unit 38 can set the focused focus position and perform the condensing process using the lens information for the focused focus position.
  • the emulation lens information generation unit 37 can set the focus position at the focus processing unit 38 and then generate lens information for the focus position.
  • steps S251 through S254 the same processing as in steps S151 through S154 in FIG. 56 is performed.
  • the real space point selection unit 141 acquires the multilayer parallax map supplied from the parallax information generation unit 31 in step S251, and in step S252, the pixel that has not yet been set as the target pixel among the pixels of the reference image HD1. Is selected as the target pixel.
  • step S253 the real space point selection unit 141 focuses on one of the parallaxes of the target pixel registered in the multilayer parallax map from the parallax information generation unit 31 and has not yet been set as the target parallax.
  • step S254 the real space point corresponding to the target pixel having the target parallax is selected as the target real space point.
  • step S254 the process proceeds from step S254 to step S255, and the rotation processing unit 246 determines that the pixel of the virtual sensor corresponding to the target real space point selected by the real space point selection unit 141 is the pixel on the lens information generation axis.
  • the coincidence rotation angle -ALPHA when rotating the virtual sensor is calculated, and the process proceeds to step S256.
  • step S256 the rotation processing unit 246 selects one of the lens area units of the emulation lens that has not yet been set as the target lens area unit as the target lens area unit, and the process proceeds to step S257. move on.
  • step S257 the rotation processing unit 246 obtains, from among the light beams supplied from the incident light beam reproduction unit 36, a light beam traveling from the target real space point to the target lens area unit as the target light beam, and the process proceeds to step S258. move on.
  • step S258 the rotation processing unit 246 rotates the attention beam about the optical axis by the coincidence rotation angle ⁇ ALPHA calculated in step S255, and supplies the rotated attention beam to the imaging value calculation unit 242. Then, the process proceeds to step S259.
  • step S259 the imaging value calculation unit 242 determines whether or not the attention beam after rotation from the rotation processing unit 246 reaches the emulation lens from a target real space point.
  • step S259 If it is determined in step S259 that the rotated attention beam reaches the emulation lens, that is, the parallax allocated to the rotated attention beam (assigned in the incident beam reproduction process described in FIGS. 33 to 35). If the (parallax) is equal to the parallax of interest, the process proceeds to step S260.
  • step S260 the focused light beam after rotation determined to reach the emulation lens in the imaging value calculation unit 242, the scale adjustment unit 143, the imaging position recognition unit 244, and the addition unit 245, that is, the result of the collision determination.
  • a light beam addition process which will be described later, is performed on the rotated attention beam after the remaining attention beam has been rotated, and the process proceeds to step S261.
  • step S259 if it is determined in step S259 that the rotated attention beam does not reach the emulation lens, that is, if the parallax assigned to the rotated attention beam is not equal to the attention parallax, the process proceeds to step S260. Is skipped and the process proceeds to step S261. Therefore, when the attention beam after rotation does not reach the emulation lens, the beam addition processing is not performed for the attention beam after the rotation.
  • steps S261 through S263 the same processing as in steps S159 through S161 in FIG. 56 is performed.
  • step S261 the rotation processing unit 246 determines whether all the lens area units of the emulation lens have been selected as the target lens area unit, and all the lens area units of the emulation lens are still in the target lens area. If it is determined that the unit is not selected, the process returns to step S256, and the same process is repeated thereafter.
  • step S261 If it is determined in step S261 that all the lens area units of the emulation lens have been selected as the target lens area unit, the process proceeds to step S262, and the real space point selection unit 141 registers in the multilayer parallax map. It is determined whether all the parallaxes of the target pixel that have been selected are selected as the target parallax.
  • step S262 If it is determined in step S262 that all the parallaxes of the target pixel registered in the multilayer parallax map have not been selected as the target parallax, the process returns to step S253, and the same process is repeated thereafter. It is.
  • step S262 If it is determined in step S262 that all the parallaxes of the target pixel registered in the multi-layer parallax map have been selected as the target parallax, the process proceeds to step S263, and the real space point selection unit 141 performs the reference It is determined whether all the pixels of the image HD1 have been selected as the target pixel.
  • step S263 If it is determined in step S263 that all the pixels of the reference image HD1 have not been selected as the target pixel, the process returns to step S252, and the same process is repeated thereafter.
  • step S263 If it is determined in step S263 that all the pixels of the reference image HD1 have been selected as the target pixel, the addition unit 245 displays the addition result of the imaging values on the virtual sensor obtained by the processing so far.
  • the pixel value image is supplied as an emulation image to the display device 13 (FIG. 1), and the light condensing process ends.
  • FIG. 66 is a flowchart for explaining an example of the light beam addition processing performed in step S260 of FIG.
  • step S271 the imaging value calculation unit 242 converts the pixel (position) of the virtual sensor corresponding to the real space point of interest to the rotated pixel that has been rotated by the coincidence rotation angle ⁇ ALPHA calculated in step S255 of FIG.
  • the corresponding information point which is the closest information point is detected from the information points on the lens information generation axis.
  • the imaging value calculation unit 242 acquires lens information for the real space point corresponding to the corresponding information point and the target parallax from the lens information for the information point of the lens information generation axis from the rotation processing unit 246.
  • the imaging value calculation unit 242 includes a PSF intensity distribution (a distribution area in which the focus focus position f is recorded) of the lens information for the real space point corresponding to the corresponding information point and the target parallax, and Using the PSF angle component information, a corresponding area that is a position on the distribution area where the PSF intensity distribution at which the attention beam after rotation from the rotation processing unit 246 arrives is recorded is obtained.
  • a PSF intensity distribution a distribution area in which the focus focus position f is recorded
  • the imaging value calculation unit 242 multiplies the PSF intensity distribution of the corresponding area by the luminance assigned to the attention beam after rotation (luminance assigned by the incident ray reproduction process described with reference to FIGS. 33 to 35). As the imaging value (distribution) of the focused light beam after rotation.
  • the imaging value calculation unit 242 supplies the distribution area in which the imaging value of the focused light beam after the rotation is recorded to the scale adjustment unit 143, and the process proceeds from step S271 to step S272.
  • step S272 the scale adjustment unit 143 acquires lens information for the real space point corresponding to the corresponding information point and the target parallax from the lens information for the information point of the lens information generation axis from the emulation lens information generation unit 34. To do.
  • the scale adjustment unit 143 uses the image plane pitch for the target focus position f in the lens information for the real space point corresponding to the corresponding information point and the target parallax, to generate a result from the imaging value calculation unit 242. By reducing or enlarging the distribution area in which the distribution of image values is recorded, the scale of the distribution area is adjusted to a scale that matches the scale of the virtual sensor.
  • the scale adjustment unit 143 supplies the distribution area after the scale adjustment to the addition unit 245 via the imaging position recognition unit 244, and the process proceeds from step S272 to step S273.
  • step S273 the imaging position recognition unit 244 acquires lens information for the real space point corresponding to the corresponding information point and the target parallax from the lens information for the information point of the lens information generation axis from the rotation processing unit 246. To do.
  • the imaging position recognition unit 244 determines the image plane shift information for the focus position f of the lens information for the real space point corresponding to the corresponding information point and the target parallax, and the rotation processing unit 246 receives the target light beam. From the rotated coincidence rotation angle -ALPHA, the image plane shift position which is the imaging position on the virtual sensor on which the focused light beam before rotation is imaged via the emulation lens is recognized and supplied to the adding unit 245. The process proceeds to step S274.
  • step S274 the adder 245 aligns the distribution area after the scale adjustment obtained by the scale adjuster 143 and the virtual sensor based on the image plane shift position from the imaging position recognizer 244.
  • the adding unit 245 determines whether the distribution area after adjustment of the scale and the virtual sensor have the same center point CP (FIG. 54) of the distribution area after adjustment of the scale and the image plane shift position of the virtual sensor. Perform alignment.
  • step S274 the adding unit 245 sets the distribution area after registration (the imaged value recorded in the optical axis) (or the coincidence rotation angle ⁇ ALPHA when the rotation processing unit 246 rotates the attention light beam) (or The rotation is reversed about the center point CP), that is, the rotation is rotated about the optical axis (or the center point CP) by the coincidence rotation angle + ALPHA, and the process proceeds to step S275.
  • step S275 the adding unit 245 adds the imaging values recorded in the rotated distribution area on the virtual sensor in units of pixels of the virtual sensor. That is, the adding unit 245 adds the stored value of the memory as the virtual sensor and the imaging value, and rewrites the stored value of the memory with the added value obtained as a result.
  • the light beam addition processing ends and the processing returns.
  • lens information is generated for real space points corresponding to a plurality of information points that are a plurality of positions on a part of the plane of the virtual sensor, and the light collection processing is performed using the lens information Can accurately reproduce the blurring and other light condensing characteristics of an emulation lens with a small amount of data.
  • the lens information generation axis is a line segment (FIG. 59) of the diagonal length of the virtual sensor that extends in the vertical direction from the center of the virtual sensor. Any one axis extending from the center of the virtual sensor can be adopted as the generation axis.
  • the lens information generation axis for example, a line segment connecting the center of the virtual sensor and one pixel on the diagonal of the virtual sensor can be employed.
  • the plurality of information points are not limited to the plurality of points that equally divide the lens information generation axis extending from the center of the virtual sensor.
  • the plurality of information points for example, a plurality of points arranged on a straight line or a plurality of points not arranged on a straight line with different image heights on the plane of the virtual sensor can be adopted.
  • the image heights of the plurality of information points are uniformly distributed in a range from 0 to the maximum image height of the virtual sensor.
  • FIG. 67 shows a method of obtaining an image plane shift position, which is an imaging position on a virtual sensor on which a light beam before rotation is imaged when performing a condensing process by the light beam rotation method (FIGS. 65 and 66). It is a figure explaining the method of recognizing an image formation position in step S273.
  • the image plane shift position is represented by coordinates (x, y) in a two-dimensional coordinate system in which the upper left pixel of the virtual sensor is the origin and the pixel pitch of the virtual sensor is 1.
  • the image plane shift information represents the distance (micrometer) in the x direction and the y direction from the optical axis (center of the virtual sensor) SO of the image plane shift position.
  • the imaging position recognition unit 244 matches the image plane shift information with respect to the real space point corresponding to the corresponding information point having the attention parallax and the rotation processing unit 246 that rotates the attention light beam. From the rotation angle -ALPHA, the image plane shift position (hereinafter also referred to as the pre-rotation image plane shift position), which is the image formation position on the virtual sensor on which the focused light beam before rotation forms an image, is recognized.
  • the pre-rotation image plane shift position which is the image formation position on the virtual sensor on which the focused light beam before rotation forms an image
  • the correspondence information point is a point on the sensor information generation axis extending upward from the center SO of the virtual sensor
  • image plane shift information img_height for a real space point corresponding to the correspondence information point and the target parallax Represents a distance from the center SO of the virtual sensor to a position A on a straight line passing through the center SO and extending in the vertical direction.
  • the position A is a position on the virtual sensor at which the principal ray emitted from the real space point corresponding to the corresponding information point and the target parallax reaches via the emulation lens.
  • the horizontal width of the virtual sensor (distance between the leftmost pixel and the rightmost pixel) is expressed as width, and the pixel pitch of the virtual sensor (distance between adjacent pixels) is expressed as Sensor_pitch.
  • the pre-rotation image plane shift position which is the imaging position on the virtual sensor on which the focused light beam before rotation is imaged, is the position where the position A is reversely rotated by the coincident rotation angle -ALPHA when the focused light beam is rotated, that is, The position is rotated by the coincidence rotation angle + ALPHA.
  • the y coordinate of the pre-rotation image plane shift position can be obtained in the same manner.
  • the imaging position recognition unit 244 obtains and recognizes the pre-rotation image plane shift position (the x coordinate and the y coordinate) as described above.
  • the adding unit 245 rotates the target light beam at the position (image plane shift position) A represented by the image plane shift information img_height with respect to the real space point corresponding to the corresponding information point and the target parallax.
  • the distribution area after the scale adjustment and the virtual sensor are aligned by the pre-rotation image plane shift position obtained by reversely rotating by the coincidence rotation angle -ALPHA (rotating by the coincidence rotation angle + ALPHA).
  • the pre-rotation image plane shift position is obtained by rotating the position (image plane shift position) represented by the image plane shift information img_height with respect to the real space point corresponding to the corresponding information point and the target parallax. Therefore, a rounding error due to the rotation occurs.
  • interpolation can be performed on the image plane shift information (the image plane shift position represented by).
  • Interpolation of image plane shift information includes interpolation in the direction of information points (direction perpendicular to the optical axis) (direction of image height) and interpolation in the parallax direction.
  • FIG. 68 is a diagram for explaining interpolation in the direction of the arrangement of information points of image plane shift information (image plane shift position represented by).
  • Condensation processing by the ray rotation method is the corresponding information point that is the closest information point to the rotated pixel (position) obtained by rotating the pixel (position) of the virtual sensor corresponding to the real space point of interest by the coincidence rotation angle -ALPHA.
  • lens information for a real space point corresponding to the target parallax hereinafter, also simply referred to as lens information for the corresponding information point).
  • the rotated pixel (position) pp ′ obtained by rotating the pixel (position) pp of the virtual sensor corresponding to the real space point of interest by the coincidence rotation angle ⁇ ALPHA is between the adjacent information points A and B.
  • the corresponding information point that is the information point closest to the rotated pixel pp ′ is the information point B.
  • the image plane shift position ih2 instead of the image plane shift position ih2 with respect to the information point B which is the corresponding information point, the image plane shift position ih as an interpolated value in the direction of the information point arrangement is used to combine light rays emitted from the real space point of interest. Image value alignment is performed.
  • FIG. 69 is a diagram for explaining interpolation in the parallax direction of image plane shift information (image plane shift position represented by).
  • the parallax is obtained with an accuracy of 1/4 pixel, and the parallax with the accuracy of 1/4 pixel is used as an integer.
  • DPN Dmax ⁇ Dmin + 1 integer values in increments of one pixel from the minimum value Dmin to the maximum value Dmax.
  • the interpolation in the parallax direction of the image plane shift information is equal to or less than the pixels registered in the parallax map.
  • the accuracy parallax can be used without being converted into an integer.
  • the image plane shift information (the image plane shift position represented) as the lens information for the target information space and the target real space point corresponding to the target parallax is the parallax that can be registered in the parallax map. This is obtained by selecting the parallax of interest.
  • DPN Dmax-Dmin + 1 integer values in increments of 1 pixel from the minimum value Dmin to the maximum value Dmax. Used.
  • the image plane shift position is obtained for an integer value of parallax.
  • the next largest parallax after a certain integer parallax D is an integer value D + 1.
  • the image plane shift position ih1 is obtained for the integer value parallax D
  • the image plane shift position ih2 is obtained for the next largest integer value parallax D + 1.
  • the target parallax is selected from the parallax registered in the parallax map as the parallax of the target pixel selected from the reference image (step S253).
  • the parallax registered in the parallax map is converted into an integer and selected as the parallax of interest.
  • a light beam adding process (FIG. 66) is performed using lens information for the corresponding information point and the real space point corresponding to the target parallax.
  • the parallax registered in the parallax map is used without being converted to an integer, and the parallax direction is interpolated. It can be carried out.
  • the disparity of the real space point corresponding to the corresponding information point and the target parallax (target parallax) is D + 0.75, which is a parallax with an accuracy of 1/4 pixel.
  • the parallax registered in the parallax map is a parallax with an accuracy of 1/4 pixel
  • 1/4 pixel between the integer value parallax D and the next integer value parallax D + 1.
  • D + 0.25, D + 0.5, and D + 0.75 are parallaxes of accuracy.
  • the target parallax is D, D + 0.25, D + 0.5, or D If it is +0.75, in any case, it is converted into an integer value D.
  • a light beam addition process (FIG. 66) is performed using the image plane shift position ih1 with respect to the parallax of interest converted to an integer value D.
  • the interpolation using the image plane shift positions ih1 and ih2 with respect to the parallax D and D + 1 of integer values sandwiching the parallax D + 0.75 not converted into an integer is an integer value from the parallax D + 0.75. Is performed according to the ratio of the distances 0.75 and 0.25 to the parallaxes D and D + 1, respectively.
  • the image plane shift position ih1 is used to add the light beam (of which the image of the light beam is formed) Value alignment).
  • FIG. 70 is a diagram showing an example of an emulation image obtained as a result of lens emulation processing by the lens emulation unit 35 (FIG. 3).
  • FIG. 70 shows an emulation image obtained from a photographed image obtained by photographing a real space where the rod-like object obj2 is arranged on the front side of the object obj1.
  • the emulation image it can be confirmed that the light beam emitted from the portion of the object obj1 that is hidden by the rod-shaped object obj2 collides with the object obj2 and becomes invisible.
  • FIG. 71 is a diagram showing another example of an emulation image obtained as a result of lens emulation processing by the lens emulation unit 35.
  • the emulation image in FIG. 71 is an emulation image obtained from a photographed image obtained by photographing a real space in which the rod-like object obj2 is arranged on the front side of the object obj1, as in FIG.
  • 71A shows a case where the position on the virtual sensor where the chief ray arrives via the virtual lens is adopted as the image plane shift position, not the position on the virtual sensor where the chief ray arrives via the emulation lens. An emulation image is shown.
  • FIG. 71B shows an emulation image when the image plane shift information is not interpolated.
  • the line segment extending in the vertical direction forming the contour of the rod-shaped object obj2 is uneven due to the influence of the rounding error caused by the rotation of the image plane shift information (the image plane shift position represented by). I can confirm that.
  • the symptom shown in FIG. 71 is generated in the emulation image by adopting the position on the virtual sensor where the chief ray arrives through the emulation lens or by interpolating the image plane shift information. This can be prevented.
  • FIG. 72 is a block diagram illustrating a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance on a hard disk 405 or a ROM 403 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 411.
  • a removable recording medium 411 can be provided as so-called package software.
  • examples of the removable recording medium 411 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be downloaded from the removable recording medium 411 as described above to the computer, downloaded to the computer via a communication network or a broadcast network, and installed in the built-in hard disk 405. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 402, and an input / output interface 410 is connected to the CPU 402 via the bus 401.
  • a CPU Central Processing Unit
  • an input / output interface 410 is connected to the CPU 402 via the bus 401.
  • the CPU 402 executes a program stored in a ROM (Read Only Memory) 403 according to the command. .
  • the CPU 402 loads a program stored in the hard disk 405 to a RAM (Random Access Memory) 404 and executes it.
  • the CPU 402 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 402 causes the processing result to be output from the output unit 406 or transmitted from the communication unit 408 via, for example, the input / output interface 410, and further recorded on the hard disk 405 as necessary.
  • the input unit 407 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 406 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • a light ray generation unit that generates light rays that are incident on a virtual lens having a plurality of photographing units that shoot images of a plurality of viewpoints as synthetic apertures from a real space point in the real space;
  • An image processing apparatus comprising: a luminance assignment unit that assigns luminance to a light beam remaining as a result of a collision determination that determines whether the light beam generated by the light beam generation unit collides with an object before entering the virtual lens.
  • the light beam generation unit The virtual lens is divided into lens area units that are small areas; The image processing device according to ⁇ 1>, wherein a light beam incident on the lens area unit is generated from the real space.
  • the image processing apparatus according to ⁇ 1> or ⁇ 2>, further including a collision determination unit that performs the collision determination.
  • the collision determination unit performs the collision determination using a parallax map in which a parallax with another image of a reference image that is one of the plurality of viewpoint images is registered.
  • Image processing apparatus Image processing apparatus.
  • the collision determination unit Finding the intersection of the light beam and a parallax plane perpendicular to the optical axis of the virtual lens located at a distance corresponding to the determination parallax for collision determination, The image processing device according to ⁇ 4>, wherein the collision determination is performed based on whether a parallax of an intersection pixel of the reference image corresponding to the intersection coincides with the determination parallax.
  • the collision determination unit A parallax value in a range from the parallax maximum value to the parallax corresponding to the depth of the real space point is set as the determination parallax;
  • the image processing device in which it is determined that the light rays do not collide when the parallax of the intersection pixel does not match the determination parallax.
  • the collision determination unit A value that decreases from the maximum value of the parallax is sequentially set in the parallax for determination, It is determined that the rays do not collide when the parallax of the intersection pixel does not match the determination parallax until the distance corresponding to the determination parallax matches the depth of the real space point.
  • the luminance allocation unit uses pixel values of pixels having the same parallax as the parallax corresponding to the depth of the real space point among the pixels corresponding to the real space point of the images of the plurality of viewpoints.
  • the image processing device according to any one of ⁇ 1> to ⁇ 7>, wherein luminance is assigned to the light beam.
  • ⁇ 9> Generating light rays incident on a virtual lens having a plurality of photographing units that shoot images of a plurality of viewpoints from a real space point in the real space as a synthetic aperture; An image processing method comprising: assigning brightness to a light beam remaining as a result of a collision determination for determining whether the light beam collides with an object before entering the virtual lens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本技術は、光学レンズのぼけ味を、正確に再現することができるようにする画像処理装置及び画像処理方法に関する。 光線生成部は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成し、輝度割り当て部は、光線が、仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる。本技術は、例えば、複数の視点の画像から、様々な光学レンズを用いて撮影を行った画像を再構成するライトフィールド技術に適用することができる。

Description

画像処理装置及び画像処理方法
　本技術は、画像処理装置及び画像処理方法に関し、特に、例えば、光学レンズのぼけ味を、正確に再現することができるようにする画像処理装置及び画像処理方法に関する。
　複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカス位置を変更して撮影を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、特許文献１を参照）。
特開2013-238927号公報
　ライトフィールド技術については、実際の光学レンズを用いて撮影を行った場合の画像に生じるぼけ味を正確に再現することが要請されている。
　本技術は、このような状況に鑑みてなされたものであり、光学レンズのぼけ味を、正確に再現することができるようにするものである。
　本技術の画像処理装置は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成する光線生成部と、前記光線生成部により生成された前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる輝度割り当て部とを備える画像処理装置である。
　本技術の画像処理方法は、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成することと、前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てることとを含む画像処理方法である。
　本技術の画像処理装置及び画像処理方法においては、実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線が生成され、前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度が割り当てられる。
　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができ、そのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、例えば、光学レンズのぼけ味を、正確に再現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 撮影装置１１の構成例を示す平面図である。 画像処理装置１２の構成例を示すブロック図である。 画像処理システムの処理の例を説明するフローチャートである。 視差情報生成部３１の構成例を示すブロック図である。 基準視差マップ生成部４１での基準視差マップの生成の例を説明する図である。 周辺画像PL#iの視差マップの生成の例を説明する図である。 周辺画像PL#iの視差マップの未登録エリアへの、視差の補間を説明する図である。 多層視差マップの生成の例を説明する図である。 視差情報生成部３１での基準視差マップ及び多層視差マップそれぞれの生成の処理の例を説明するフローチャートである。 実際の光学レンズを用いて、所定の被写体を撮影した実写画像の例を示す図である。 画像処理装置１２で得られるエミュレーション画像の例を示す図である。 飽和画素復元処理を行わない場合に、鮮やかなぼけが再現されない原理を説明する図である。 飽和画素復元処理を行うことで、鮮やかなぼけが再現される原理を説明する図である。 標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する第１の取得方法を説明する図である。 飽和画素復元部３３の第１の構成例を示すブロック図である。 飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。 飽和画素復元部３３の第２の構成例を示すブロック図である。 飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。 撮影装置１１の他の構成例を示す平面図である。 飽和画素復元部３３の第３の構成例を示すブロック図である。 視差マップの視差の補正の例を説明する図である。 飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。 注目視点のHDR撮影画像の注目画素の画素値を取得する処理の例を説明するフローチャートである。 レンズエミュレーション部３５のレンズエミュレーション処理の概要を説明する図である。 実際の光学レンズによる集光処理と、レンズエミュレーション処理の集光処理とを説明する図である。 入射光線再現部３６の構成例を示すブロック図である。 実空間点を説明する図である。 多層視差マップを用いて、実空間点を求める求め方を説明する図である。 光線生成部１０２で行われる光線の生成の例を説明する図である。 衝突判定部１０３で行われる衝突判定と、輝度割り当て部１０４で行われる光線への輝度の割り当てとを説明する図である。 入射光線再現部３６が行う入射光線再現処理で得られる最大数のデータを模式的に示す図である。 入射光線再現部３６が行う入射光線再現処理の例を説明するフローチャートである。 衝突判定の処理の例を説明するフローチャートである。 光線輝度割り当ての処理の例を説明するフローチャートである。 エミュレーションレンズ情報生成部３７で生成されるレンズ情報を説明する図である。 レンズ情報を生成する対象となる実空間点とフォーカス位置とを説明する図である。 光学レンズのPSF強度分布の例を示す図である。 PSF強度分布を生成する方法の例を説明する図である。 エミュレーションレンズ情報生成部３７で生成されるPSF強度分布を模式的に示す図である。 エミュレーションレンズ情報生成部３７で生成される像面ピッチを模式的に示す図である。 PSF角度成分情報を生成する方法の例を説明する図である。 PSF角度成分情報を生成する方法の例を説明する図である。 PSF角度成分情報の詳細を説明する図である。 エミュレーションレンズ情報生成部３７で生成されるPSF角度成分情報を模式的に示す図である。 像面シフト情報を説明する図である。 PSF角度成分情報を生成する方法の例を説明する図である。 エミュレーションレンズ情報生成部３７で生成される像面シフト情報を模式的に示す図である。 レンズ情報を生成するエミュレーションレンズ情報生成部３７の構成例を示すブロック図である。 エミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。 集光処理部３８で行われる集光処理の概要を説明する図である。 集光処理のうちの、結像値を求める処理の例を説明する図である。 集光処理のうちの、結像値を求める処理の他の例を説明する図である。 集光処理のうちの、結像値（の分布）を、仮想センサ上に加算する処理の例を説明する図である。 集光処理部３８の構成例を示すブロック図である。 集光処理部３８が行う集光処理の例を説明するフローチャートである。 光線加算処理の例を説明するフローチャートである。 レンズ情報の情報量の削減の概要を説明する図である。 レンズ情報生成軸の具体例を示す図である。 レンズ情報生成軸の情報点に対してだけレンズ情報を生成する場合の、エミュレーションレンズ情報生成部３７の構成例を示すブロック図である。 エミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。 レンズ情報生成軸の情報点（に対応する実空間点）に対して生成されたレンズ情報を用いて行われる集光処理の例を説明する図である。 光線回転法による集光処理の例を示している。 レンズ情報生成軸に対して生成されたレンズ情報を用いて集光処理を行う集光処理部３８の構成例を示すブロック図である。 集光処理部３８が行う集光処理の例を説明するフローチャートである。 光線加算処理の例を説明するフローチャートである。 光線回転法による集光処理を行う場合に、回転前の光線が結像する仮想センサ上の結像位置である像面シフト位置を求める方法を説明する図である。 像面シフト情報の、情報点の並びの方向の補間を説明する図である。 像面シフト情報の、視差方向の補間を説明する図である。 レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の例を示す図である。 レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の他の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した画像処理システムの一実施の形態＞
　図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図１において、画像処理システムは、撮影装置１１、画像処理装置１２、及び、表示装置１３を有する。
　撮影装置１１は、被写体を、複数の視点から撮影し、その結果得られる複数の視点の撮影画像を、画像処理装置１２に供給する。
　画像処理装置１２は、撮影装置１１からの複数の視点の撮影画像を用いた画像処理を行うことで、エミュレーション対象の光学レンズであるエミュレーションレンズを用いて被写体を撮影した場合と同様のエミュレーション画像を生成し、表示装置１３に供給する。
　表示装置１３は、画像処理装置１２からのエミュレーション画像を表示する。
　エミュレーション画像は、例えば、一眼レフカメラやミラーレスカメラに着脱可能な光学レンズを用いて被写体を撮影した画像に生じるぼけ味を忠実に再現した画像になっている。したがって、ユーザは、高価な光学レンズを購入しなくても、そのような高価な光学レンズのぼけ味を享受することができる。
　なお、図１において、画像処理システムを構成する撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのすべてを、例えば、ディジタル（スチル／ビデオ）カメラや、スマートフォン等の携帯端末等のような、独立した装置に内蔵させることができる。
　また、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それぞれを別個に、独立した装置に内蔵させることができる。
　さらに、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのうちの任意の２つと、残りの１つとを、それぞれ別個に、独立した装置に内蔵させることができる。
　例えば、撮影装置１１及び表示装置１３を、ユーザが所持する携帯端末に内蔵させ、画像処理装置１２を、クラウド上のサーバに内蔵させることができる。
　また、画像処理装置１２の一部のブロックを、クラウド上のサーバに内蔵させ、画像処理装置１２の残りのブロックと、撮影装置１１及び表示装置１３とを、携帯端末に内蔵させることができる。
　＜撮影装置１１の構成例＞
　図２は、撮影装置１１の構成例を示す平面図である。
　撮影装置１１は、複数のカメラユニット２１iを有し、その複数のカメラユニット２１iによって、複数の視点の撮影画像を撮影する。
　図２では、撮影装置１１は、複数としての、例えば、７個のカメラユニット２１1，２１2，２１3，２１4，２１5，２１6、及び、２１7を有し、それらの７個のカメラユニット２１1ないし２１7は、２次元平面上に配置されている。
　さらに、図２では、７個のカメラユニット２１1ないし２１7は、それらのうちの１つである、例えば、カメラユニット２１1を中心として、他の６個のカメラユニット２１2ないし２１7が、カメラユニット２１1の周辺に、正６角形を構成するように配置されている。
　したがって、図２では、７個のカメラユニット２１1ないし２１7のうちの、任意の１つのカメラユニット２１i(i=1,2,...,7)と、そのカメラユニット２１iに最も近い他の１つのカメラユニット２１j(i=1,2,...,7)との（光軸どうしの）距離は、同一の距離Lになっている。
　カメラユニット２１iと２１jとの距離Lとしては、例えば、20mm程度を採用することができる。この場合、撮影装置１１は、ICカード等のカードサイズ程度の大きさに構成することができる。
　なお、撮影装置１１を構成するカメラユニット２１iの数は、７個に限定されるものではなく、２個以上６個以下の数や、８個以上の数を採用することができる。
　また、撮影装置１１において、複数のカメラユニット２１iは、上述のような正６角形等の正多角形を構成するように配置する他、任意の位置に配置することができる。
　ここで、以下、カメラユニット２１1ないし２１7のうちの、中心に配置されたカメラユニット２１1を、基準カメラユニット２１1ともいい、その基準カメラユニット２１1の周辺に配置されたカメラユニット２１2ないし２１7を、周辺カメラユニット２１2ないし２１7ともいう。
　＜画像処理装置１２の構成例＞
　図３は、図１の画像処理装置１２の構成例を示すブロック図である。
　図３において、画像処理装置１２は、視差情報生成部３１、キャリブレーションデータ取得部３２、飽和画素復元部３３、レンズ設計データ取得部３４、及び、レンズエミュレーション部３５を有する。
　画像処理装置１２には、撮影装置１１から、カメラユニット２１1ないし２１7で撮影された７視点の撮影画像が供給される。
　ここで、撮影装置１１が画像処理装置１２に供給する７視点の撮影画像としては、標準輝度撮影画像PL1ないしPL7と、低輝度撮影画像PH1ないしPH7とがある。
　標準輝度撮影画像PL#iは、カメラユニット２１iにおいて、例えば、撮影時に適切と推定される所定の露光時間（シャッタスピード）（以下、標準露光時間ともいう）で撮影された画像である。標準露光時間としては、例えば、自動露出機能によって設定された露光時間等を採用することができる。
　低輝度撮影画像PH#iは、カメラユニット２１iにおいて、標準露光時間よりも短い露光時間（標準露光時間に対応するシャッタスピードよりも速いシャッタスピード）で撮影された画像である。
　したがって、低輝度撮影画像PH#iでは、大まかには、標準輝度撮影画像PL#iに映る被写体が、暗く映っている。
　画像処理装置１２において、標準輝度撮影画像PL#iは、視差情報生成部３１、及び、飽和画素復元部３３に供給され、低輝度撮影画像PH#iは、飽和画素復元部３３に供給される。
　視差情報生成部３１は、撮影装置１１から供給される標準輝度撮影画像PL#iを用いて、視差情報を求め、レンズエミュレーション部３５を構成する、後述する入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８に供給する。
　すなわち、視差情報生成部３１は、撮影装置１１から供給される標準輝度撮影画像PL#iそれぞれの、他の標準輝度撮影画像PL#jとの視差情報を求める処理を、複数の視点の標準輝度撮影画像PL#iの画像処理として行う。そして、視差情報生成部３１は、その視差情報が登録された視差マップを生成し、レンズエミュレーション部３５に供給する。
　さらに、視差情報生成部３１は、標準輝度撮影画像PL#iのうちの、基準カメラユニット２１1で撮影された標準輝度撮影画像PL1に対しては、後述する多層視差マップを生成し、レンズエミュレーション部３５に供給する。
　ここで、視差情報としては、視差(disparity)そのものの他、視差に対応する距離（奥行き）を採用することができる。本実施の形態では、視差情報として、視差及び距離のうちの、例えば、視差を採用することとする。
　キャリブレーションデータ取得部３２は、カメラユニット２１1ないし２１7の光学レンズの歪み値とシェーディング係数とを、キャリブレーションデータとして取得する。
　ここで、キャリブレーションデータは、例えば、図示せぬメモリに記憶されており、あるいは、インターネット上のサーバ等から提供されている。キャリブレーションデータ取得部３２は、メモリやインターネット上のサーバから、キャリブレーションデータを取得し、視差情報生成部３１、及び、入射光線再現部３６に供給する。
　視差情報生成部３１、及び、入射光線再現部３６は、キャリブレーションデータ取得部３２から供給されるキャリブレーションデータを用いて、周辺カメラユニット２１2ないし２１7で撮影された撮影画像（標準輝度撮影画像PL2ないしPL7、又は、後述するHDR撮影画像HD2ないしHD7）を、基準カメラユニット２１1で撮影された撮影画像（標準輝度撮影画像PL1、又は、後述するHDR撮影画像HD1）に合致させるキャリブレーション処理を行う。
　すなわち、視差情報生成部３１、及び、入射光線再現部３６は、周辺カメラユニット２１2ないし２１7それぞれに代えて、基準カメラユニット２１1を用いて撮影を行ったならば得られるであろう撮影画像に、周辺カメラユニット２１2ないし２１7で撮影された撮影画像を補正するキャリブレーション処理を、キャリブレーションデータを用いて行う。
　そして、視差情報生成部３１、及び、入射光線再現部３６は、周辺カメラユニット２１2ないし２１7で撮影された撮影画像については、キャリブレーション処理後の撮影画像を用いて、処理を行う。
　なお、以下では、説明を簡単にするため、キャリブレーション処理については、言及しない。
　飽和画素復元部３３は、カメラユニット２１iから供給される標準輝度撮影画像PL#iの画素のうちの、画素値が飽和している飽和画素の画素値を、カメラユニット２１iから供給される低輝度撮影画像PH#iを用いて復元する。
　飽和画素復元部３３は、飽和画素の画素値の復元によって、標準輝度撮影画像PL#iを、その標準輝度撮影画像PL#iよりも高ダイナミックレンジの（画素値に割り当てられるビット数が多い）撮影画像HD#iに変換し、入射光線再現部３６に供給する。
　なお、飽和画素復元部３３において、標準輝度撮影画像PL#iよりも高ダイナミックレンジの撮影画像HD#iは、入射光線再現部３６の他、視差情報生成部３１にも供給することができる。
　この場合、視差情報生成部３１では、標準輝度撮影画像PL#iに代えて、高ダイナミックレンジの撮影画像HD#iを用いて、視差情報を求める画像処理を行うことができる。高ダイナミックレンジの撮影画像HD#iを用いて、視差情報を求める場合には、視差情報を、より高精度に求めることができる。
　ここで、以下、飽和画素の画素値の復元によって得られる高ダイナミックレンジの撮影画像HD#iを、HDR(High Dynamic Range)撮影画像HD#iともいう。
　また、基準カメラユニット２１1で撮影された標準輝度撮影画像PL1及び低輝度撮影画像PH1、並びに、（それらの標準輝度撮影画像PL1及び低輝度撮影画像PH1から得られる）HDR撮影画像HD1を、以下、基準画像ともいう。
　さらに、周辺カメラユニット２１iで撮影された標準輝度撮影画像PL#i及び低輝度撮影画像PH#i、並びに、（それらの標準輝度撮影画像PL#i及び低輝度撮影画像PH#iから得られる）HDR撮影画像HD#iを、以下、周辺画像ともいう。
　レンズ設計データ取得部３４は、エミュレーション対象の光学レンズであるエミュレーションレンズのレンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
　ここで、レンズ設計データは、例えば、図示せぬメモリに記憶されており、あるいは、インターネット上のサーバ等から提供されている。レンズ設計データ取得部３４は、メモリやインターネット上のサーバから、レンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
　なお、エミュレーションレンズは、実在する光学レンズである必要はなく、実在しない光学レンズであっても良い。実在しない光学レンズは、理論的にあり得る光学レンズであっても良いし、理論的にあり得ない光学レンズであっても良い。
　エミュレーションレンズとして、実在しない光学レンズを採用する場合には、そのエミュレーションレンズのレンズ設計データは、例えば、ユーザが図示せぬ操作部を操作することにより入力する。レンズ設計データ取得部３４は、ユーザが入力するレンズ設計データを取得する。
　レンズエミュレーション部３５は、レンズエミュレーション処理を行い、そのレンズエミュレーション処理によって得られるエミュレーション画像を、表示装置１３（図１）に供給する。
　レンズエミュレーション処理では、レンズエミュレーション部３５は、視差情報生成部３１から供給される視差マップ（必要に応じて、後述する多層視差マップを含む）、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7、及び、レンズ設計データ取得部３４から供給されるレンズ設計データを用い、被写体をエミュレーションレンズを用いて撮影したならば得られるであろう画像であるエミュレーション画像を生成する。
　したがって、レンズエミュレーション部３５は、エミュレーションレンズを有する撮影装置（図示せず）のエミュレーションを行うエミュレータとして機能する。
　レンズエミュレーション部３５は、入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８を有する。
　入射光線再現部３６は、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7と、視差情報生成部３１から供給される視差マップとを用いて、実空間内の実空間点から、仮想的な光学レンズである仮想レンズに入射する光線（の情報）を再現する入射光線再現処理を、７視点の撮影画像HD1ないしHD7の画像処理として行う。
　ここで、入射光線再現部３６で再現される光線が入射する仮想レンズは、入射光線再現部３６に供給される７視点の撮影画像HD1ないしHD7（PL1なしいPL7)を撮影する複数の撮影部としてのカメラユニット２１1ないし２１7を合成開口とする仮想なレンズである。
　カメラユニット２１1ないし２１7が、例えば、図２に示したように、正６角形状に配置され、１のカメラユニット２１iと、そのカメラユニット２１iに最も近い他の１つのカメラユニット２１jとの距離がLになっている場合、仮想レンズの開口である合成開口は、周辺カメラユニット２１2ないし２１7の光軸を結ぶ、直径が2Lの略円形状になる。
　入射光線再現部３６は、仮想レンズに入射する光線を再現し、集光処理部３８に供給する。
　エミュレーションレンズ情報生成部３７は、視差情報生成部３１から供給される視差マップと、レンズ設計データ取得部３４から供給されるレンズ設計データとを用いて、エミュレーションレンズの特性、すなわち、エミュレーションレンズを通過する光線を規定するエミュレーションレンズ情報を生成し、集光処理部３８に供給する。
　ここで、以下、エミュレーションレンズ情報を、単に、レンズ情報ともいう。
　レンズ情報は、エミュレーションレンズと等価な価値を有するので、売買の対象とすることができる。レンズ情報は電子的なデータであり、複製が容易であるから、違法な複製を防止するため、レンズ情報の使用には、認証を義務づけることができる。
　集光処理部３８は、視差情報生成部３１から供給される視差マップ、入射光線再現部３６から供給される光線、及び、エミュレーションレンズ情報生成部３７から供給されるレンズ情報を用いて、光線をエミュレーションレンズを介して、仮想的なイメージセンサである仮想センサ上に集光する（ディジタル）集光処理を行う。
　そして、集光処理部３８は、集光処理の結果得られるエミュレーション画像を、表示装置１３（図１）に供給する。
　なお、画像処理装置１２は、サーバとして構成することもできるし、クライアントとして構成することもできる。さらに、画像処理装置１２は、サーバクライアントシステムとして構成することもできる。画像処理装置１２を、サーバクライアントシステムとして構成する場合には、画像処理装置１２の任意の一部のブロックをサーバで構成し、残りのブロックをクライアントで構成することができる。
　＜画像処理システムの処理＞
　図４は、図１の画像処理システムの処理の例を説明するフローチャートである。
　ステップＳ１において、撮影装置１１は、複数の視点としての７視点の撮影画像PL1ないしPL7及びPH1ないしPH7を撮影する。撮影画像PL#iは、画像処理装置１２（図３）の視差情報生成部３１、及び、飽和画素復元部３３に供給され、撮影画像PH#iは、飽和画素復元部３３に供給される。
　そして、処理は、ステップＳ１からステップＳ２に進み、視差情報生成部３１は、撮影装置１１から供給される撮影画像PL#iを用いて、視差情報を求め、その視差情報が登録された視差マップ（多層視差マップを含む）を生成する視差情報生成処理を行う。
　視差情報生成部３１は、視差情報生成処理により得られる視差マップを、レンズエミュレーション部３５を構成する入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８に供給し、処理は、ステップＳ２からステップＳ３に進む。
　ステップＳ３では、飽和画素復元部３３は、カメラユニット２１iから供給される撮影画像PL#iの画素のうちの飽和画素の画素値を、カメラユニット２１iから供給される撮影画像PH#iを用いて復元する飽和画素復元処理を行う。
　飽和画素復元部３３は、飽和画素復元処理によって得られる高ダイナミックレンジの撮影画像HD#iを、入射光線再現部３６に供給し、処理は、ステップＳ３からステップＳ４に進む。
　ステップＳ４では、レンズ設計データ取得部３４が、エミュレーションレンズのレンズ設計データを取得し、エミュレーションレンズ情報生成部３７に供給する。
　さらに、ステップＳ４では、エミュレーションレンズ情報生成部３７が、視差情報生成部３１から供給される視差マップと、レンズ設計データ取得部３４から供給されるレンズ設計データとを用いて、エミュレーションレンズのレンズ情報を生成するエミュレーションレンズ情報生成処理を行う。
　エミュレーションレンズ情報生成部３７は、エミュレーションレンズ情報生成処理によって得られるレンズ情報を、集光処理部３８に供給し、処理は、ステップＳ４からステップＳ５に進む。
　ステップＳ５では、入射光線再現部３６は、飽和画素復元部３３から供給される７視点の撮影画像HD1ないしHD7と、視差情報生成部３１から供給される視差マップとを用いて、実空間内の実空間点から、仮想レンズに入射する光線を再現する入射光線再現処理を行う。
　入射光線再現部３６は、入射光線再現処理によって得られる光線（の情報）を、集光処理部３８に供給し、処理は、ステップＳ５からステップＳ６に進む。
　ステップＳ６では、集光処理部３８は、視差情報生成部３１から供給される視差マップ、入射光線再現部３６から供給される光線、及び、エミュレーションレンズ情報生成部３７から供給されるレンズ情報を用いて、光線をエミュレーションレンズを介して、仮想センサ上に集光する集光処理を行う。
　集光処理部３８は、集光処理の結果得られるエミュレーション画像を、表示装置１３に供給し、処理は、ステップＳ６からステップＳ７に進む。
　ステップＳ７では、表示装置１３が、集光処理部３８からのエミュレーション画像を表示する。
　＜視差マップの生成＞
　図５は、図３の視差情報生成部３１の構成例を示すブロック図である。
　図５において、視差情報生成部３１は、基準視差マップ生成部４１、及び、多層視差マップ生成部４２を有する。
　基準視差マップ生成部４１には、撮影装置１１から撮影画像PL1ないしPL7が供給される。
　基準視差マップ生成部４１は、撮影装置１１からの撮影画像PL1ないしPL7のうちの、１の画像である基準画像PL1の、他の撮影画像（周辺画像）PL2ないしPL7との視差を登録した視差マップである基準視差マップを生成し、多層視差マップ生成部４２に供給する。
　多層視差マップ生成部４２は、例えば、基準視差マップ生成部４１からの基準視差マップを用いて、周辺画像PL2ないしPL7の視差マップを生成する。
　そして、多層視差マップ生成部４２は、基準画像PL1の基準視差マップ、及び、周辺画像PL2ないしPL7の視差マップを用いて、基準カメラユニット２１1の視点（位置）を基準とする視差が登録された多層視差マップを生成する。
　基準画像PL1の基準視差マップ、周辺画像PL2ないしPL7の視差マップ、及び、多層視差マップのうちの、必要な視差マップは、入射光線再現部３６、エミュレーションレンズ情報生成部３７、及び、集光処理部３８（図３）に供給される。
　図６は、図５の基準視差マップ生成部４１での基準視差マップの生成の例を説明する図である。
　すなわち、図６は、撮影画像PL1ないしPL7の例を示している。
　図６では、撮影画像PL1ないしPL7には、所定の背景の手前側に、前景としての所定の物体objが映っている。撮影画像PL1ないしPL7それぞれについては、視点が異なるため、例えば、周辺画像PL2ないしPL7それぞれに映る物体objの位置は、基準画像PL1に映る物体objの位置から、視点が異なる分だけずれている。
　基準視差マップ生成部４１は、基準画像PL1の画素を、順次、注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の撮影画像PL2ないしPL7、すなわち、周辺画像PL2ないしPL7のそれぞれから検出する。
　基準画像PL1の注目画素に対応する、周辺画像PL2ないしPL7それぞれの対応画素を検出する方法としては、例えば、ブロックマッチング等の任意の方法を採用することができる。
　ここで、基準画像PL1の注目画素から、周辺画像PL#iの対応画素に向かうベクトル、すなわち、注目画素と対応画素との位置ずれを表すベクトルを、視差ベクトルv#i,1ということとする。
　基準視差マップ生成部４１は、周辺画像PL2ないしPL7のそれぞれについて視差ベクトルv2,1ないしv7,1を求める。そして、基準視差マップ生成部４１は、視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、注目画素（の位置）の視差として求める。
　ここで、撮影装置１１において、図２で説明したように、基準画像PL1を撮影する基準カメラユニット２１1と、周辺画像PL#2ないしPL#7を撮影する周辺カメラユニット２１2ないし２１7それぞれとの距離が、同一の距離Lになっている場合に、基準画像PL1の注目画素に映る部分が、周辺画像PL#2ないしPL#7にも映っているときには、視差ベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
　すなわち、この場合、視差ベクトルv2,1ないしv7,1は、基準カメラユニット２１1に対する周辺画像PL#2ないしPL#7の位置（視点）に応じた向きの、大きさが等しいベクトルになる。
　但し、撮影画像PL1ないしPL7それぞれの視点は異なるため、周辺画像PL#2ないしPL#7の中には、オクルージョンが生じている画像、すなわち、基準画像PL1の注目画素に映る部分が、前景に隠れて映っていない画像があり得る。
　基準画像PL1の注目画素に映る部分が映っていない周辺画像（以下、オクルージョン画像ともいう）PL#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
　そのため、オクルージョン画像PL#iについては、基準画像PL1の注目画素に映る部分が映っている周辺画像PL#jの視差ベクトルv#j,1とは、大きさが異なる視差ベクトルv#i,1が求められる。
　周辺画像PL#2ないしPL#7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じてる画像よりも少ないと推定される。そこで、基準視差マップ生成部４１は、上述のように、視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、注目画素の視差として求める。
　図６では、視差ベクトルv2,1ないしv7,1の中で、３つの視差ベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、視差ベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しい視差ベクトルが存在しない。
　そのため、３つの視差ベクトルv2,1，v3,1，v7,1が大きさが、注目画素の視差として求められる。
　なお、基準画像PL1の注目画素の、任意の周辺画像PL#iとの視差の方向は、基準カメラユニット２１1と、周辺カメラユニット２１iとの位置関係から認識することができる。
　基準視差マップ生成部４１は、基準画像PL1の画素を、順次、注目画素に選択し、視差を求める。そして、基準視差マップ生成部４１は、基準画像PL1の各画素の位置（xy座標）に対して、その画素の視差を登録した視差マップを、基準視差マップとして生成する。したがって、視差マップは、画素の位置と、その画素の視差とを対応付けたマップ（テーブル）である。
　ここで、基準画像PL1の視差マップ（基準視差マップ）の他、周辺画像PL#iの視差マップも、同様に生成することができる。
　但し、周辺画像PL#iの視差マップの生成にあたって、視差ベクトルの多数決は、周辺画像PL#iと、他の撮影画像PL#jとの視点の関係（カメラユニット２１iと２１jとの位置関係）に基づき、視差ベクトルの大きさを調整して行われる。
　すなわち、例えば、周辺画像PL5の視差マップを生成する場合、例えば、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、周辺画像PL5と周辺画像PL2との間で得られる視差ベクトルの２倍の大きさになる。
　これは、周辺画像PL5を撮影する周辺カメラユニット２１5と、基準画像PL1を撮影する基準カメラユニット２１1との光軸どうしの距離である基線長が、距離Lであるのに対して、周辺画像PL5を撮影する周辺カメラユニット２１5と、周辺画像PL2を撮影する周辺カメラユニット２１2との基線長は、距離2Lになっているためである。
　そこで、いま、例えば、周辺カメラユニット２１5と基準カメラユニット２１1との基線長である距離Lを、基準基線長ということとすると、視差ベクトルの多数決は、基線長が基準基線長Lに換算されるように、視差ベクトルの大きさを調整して行われる。
　すなわち、例えば、周辺画像PL5を撮影する周辺カメラユニット２１5と、基準画像PL1を撮影する基準カメラユニット２１1の基線長Lは、基準基線長Lに等しいので、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、その大きさが1倍に調整される。
　また、例えば、周辺画像PL5を撮影する周辺カメラユニット２１5と、周辺画像PL2を撮影する周辺カメラユニット２１2の基線長2Lは、基準基線長Lの２倍に等しいので、周辺画像PL5と基準画像PL1との間で得られる視差ベクトルは、その大きさが1/2倍（基準基線長と、周辺カメラユニット２１5と周辺カメラユニット２１2との基線長との比の値倍）に調整される。
　周辺画像PL5と他の撮影画像PL#iとの間で得られる視差ベクトルについても、同様に、その大きさが、基準基線長Lとの比の値倍に調整される。
　そして、大きさの調整後の視差ベクトルを用いて、視差ベクトルの多数決が行われる。
　なお、基準視差マップ生成部４１において、基準画像PL1（の各画素）の視差は、例えば、撮影装置１１で撮影される撮影画像の画素の精度で求めることができる。また、基準画像PL1の視差は、例えば、撮影装置１１で撮影される撮影画像の画素より細かい精度（以下、画素以下精度ともいう）、すなわち、例えば、1/4画素等の精度で求めることができる。
　視差を画素以下精度で求める場合、視差を用いる処理では、その画素以下精度の視差を、そのまま用いることもできるし、画素以下精度の視差の小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
　本実施の形態では、視差を画素以下精度で求め、特に断らない限り、計算の容易化のために、画素以下精度の視差を整数化して用いることとする。
　図７は、周辺画像PL#iの視差マップの生成の例を説明する図である。
　周辺画像PL#iの視差マップは、基準画像PL1の視差マップ（基準視差マップ）と同様に生成することができる他、基準視差マップを利用して、いわば簡易的に生成することができる。
　多層視差マップ生成部４２（図５）は、周辺画像PL#iの視差マップを、基準視差マップを利用して生成することができる。
　図７では、基準視差マップを利用して、周辺画像PL2及びPL5それぞれの視差マップが生成されている。
　ここで、図７には、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
　基準画像PL1の視差マップ（基準視差マップ）としては、各画素の視差を、濃淡で表現した視差マップの平面図と、横軸を画素の水平位置とするとともに、縦軸を視差とする視差マップとが示されている。
　周辺画像PL2及びPL5の視差マップについても、同様である。
　多層視差マップ生成部４２は、基準視差マップを利用して、周辺画像PL#iの視差マップを生成する場合、基準視差マップにおいて、基準画像を撮影するカメラユニット２１1と、周辺画像PL#iを撮影するカメラユニット２１iとの位置関係に応じた方向（以下、カメラ位置関係方向ともいう）に、各画素の位置に登録されている視差を、その視差だけ移動することで、周辺画像PL#iの視差マップを生成する。
　例えば、周辺画像PL2の視差マップを生成する場合には、周辺画像PL2を撮影するカメラユニット２１2から、基準画像を撮影するカメラユニット２１1を見た方向である左方向を、カメラ位置関係方向として、基準視差マップの各画素の位置に登録されている視差が、その視差だけ、カメラ位置関係方向である左方向に移動されることで、周辺画像PL2の視差マップが生成される。
　また、例えば、周辺画像PL5の視差マップを生成する場合には、周辺画像PL5を撮影するカメラユニット２１5から、基準画像を撮影するカメラユニット２１1を見た方向である右方向を、カメラ位置関係方向として、基準視差マップの各画素の位置に登録されている視差が、その視差だけ、カメラ位置関係方向である右方向に移動されることで、周辺画像PL5の視差マップが生成される。
　以上のように、基準視差マップを利用して、周辺画像PL#iの視差マップが生成された場合、その周辺画像PL#iの視差マップでは、周辺画像PL#iには映っているが、基準画像P1には映っていない部分の画素に対するエリアが、視差が登録されていない未登録エリア（図７において、斜線を付してある部分）になる。
　そこで、多層視差マップ生成部４２は、基準視差マップを利用して生成された周辺画像PL#iの視差マップの未登録エリアに、視差を補間することで、周辺画像PL#iの視差マップを完成させる。
　図８は、周辺画像PL#iの視差マップの未登録エリアへの、視差の補間を説明する図である。
　ここで、図８でも、図７と同様に、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
　多層視差マップ生成部４２は、周辺画像PL#iの視差マップにおいて、未登録エリアの画素から、カメラ位置関係方向に延びる直線であるカメラ位置関係方向直線を、１方向と反対方向とのそれぞれに辿っていって、最初に到達する、視差が登録されている画素である視差登録画素を検出する。
　さらに、多層視差マップ生成部４２は、カメラ位置関係方向直線の１方向の視差登録画素の視差と、反対方向の視差登録画素の視差とのうちの、小さい方の視差（より遠い距離に対応する視差）を、未登録エリアの画素の補間に用いる補間視差に選択する。
　そして、多層視差マップ生成部４２は、未登録エリアの画素の視差を、補間視差で補間し（未登録エリアの画素の視差として、補間視差を登録し）、周辺画像PL#iの視差マップを完成させる。
　図８では、周辺画像PL2の視差マップについては、未登録エリア（図７）の右側の境界に隣接する画素（視差登録画素）に登録されている視差が、補間視差に選択され、未登録エリアの画素の視差が、補間視差に補間されている（補間視差が、未登録エリアの画素の視差として伝搬されている）。
　また、図８では、周辺画像PL5の視差マップについては、未登録エリア（図７）の左側の境界に隣接する画素（視差登録画素）に登録されている視差が、補間視差に選択され、未登録エリアの画素の視差が、補間視差に補間されている。
　図９は、多層視差マップの生成の例を説明する図である。
　ここで、図９でも、図７及び図８と同様に、基準画像PL1、周辺画像PL2及びPL5と、その基準画像PL1、周辺画像PL2及びPL5それぞれの視差マップとが示されている。
　多層視差マップ生成部４２は、基準画像PL1の基準視差マップ、及び、周辺画像PL2ないしPL7の視差マップ（の１以上）を用いて、多層視差マップを生成する。
　すなわち、多層視差マップ生成部４２は、周辺画像PL#iの各画素を、順次、注目画素に選択し、その注目画素に対応する、基準画像の対応画素を検出する。
　例えば、周辺画像PL#iの注目画素の位置から、周辺画像PL#iの視差マップの注目画素に登録されている視差だけ、カメラ位置関係方向（ここでは、カメラユニット２１1からカメラユニット２２iを見た方向）に移動した位置の基準画像PL1の画素が、周辺画像PL#iの注目画素に対応する、基準画像PL1の対応画素として検出される。
　そして、基準視差マップにおいて、基準画像PL1の対応画素に対して、周辺画像PL#iの注目画素の視差が登録される。
　多層視差マップの生成では、基準視差マップにおいて、基準画像PL1の対応画素に対して、視差が、既に登録されているが、周辺画像PL#iの注目画素の視差が、対応画素に対して既に登録されている視差と異なる場合には、その既に登録されている視差に追加する形で登録される。
　以上のように、基準視差マップに、周辺画像PL#iの視差マップに登録されている視差が、追加する形で、いわば反映され、その反映後の基準視差マップが、多層視差マップとなる。
　その結果、多層視差マップは、基準カメラユニット２１1の視点（以下、基準視点ともいう）から見える部分の視差の他、基準視点からでは、前景に隠れて見えない部分（オクルージョンが生じている部分）の少なくとも一部の視差が登録された視差マップとなる。
　多層視差マップでは、例えば、前景の領域の画素に、その前景までの距離に対応する視差と、基準視点からでは、その前景の影に隠れて見えない背景までの距離に対応する視差とのような、いわば多層の視差（複数の視差）が登録される。
　図１０は、図５の視差情報生成部３１での基準視差マップ及び多層視差マップそれぞれの生成の処理の例を説明するフローチャートである。
　基準視差マップを生成する基準視差マップ生成処理では、ステップＳ１１において、基準視差マップ生成部４１は、撮影装置１１からの周辺画像PL2ないしPL7のうちの、まだ、注目画像に選択していない画像の１つを、注目画像に選択し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、基準視差マップ生成部４１は、撮影装置１１からの基準画像PL1の各画素について、注目画像との視差ベクトルv（図６）を検出し、処理は、ステップＳ１３に進む。
　ステップＳ１３では、基準視差マップ生成部４１は、周辺画像PL2ないしPL7のすべてを、注目画像に選択したかどうかを判定する。
　ステップＳ１３において、まだ、周辺画像PL2ないしPL7のすべてを、注目画像に選択していないと判定された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１３において、周辺画像PL2ないしPL7のすべてを、注目画像に選択したと判定された場合、処理は、ステップＳ１４に進む。
　ステップＳ１４では、基準視差マップ生成部４１は、図６で説明したように、基準画像の各画素について、周辺画像PL2ないしPL7のそれぞれに対して視差ベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利した視差ベクトルv#i,1の大きさを、視差に決定する。
　そして、基準視差マップ生成部４１は、基準画像の各画素に対して、視差を登録した基準視差マップを生成し、多層視差マップ生成部４２に供給して、基準視差マップ生成処理は、終了する。
　多層視差マップを生成する多層視差マップ生成処理では、ステップＳ２１において、多層視差マップ生成部４２は、図７で説明したように、基準視差マップ生成部４１からの基準視差マップを用いて、周辺画像PL2ないしPL7の視差マップを生成し、処理は、ステップＳ２２に進む。
　ステップＳ２２では、多層視差マップ生成部４２は、図８で説明したように、周辺画像PL#iの視差マップの未登録エリアに、視差を補間することで、周辺画像PL#iの視差マップを完成させ、処理は、ステップＳ２３に進む。
　ステップＳ２３では、多層視差マップ生成部４２は、図９で説明したように、基準視差マップに、周辺画像PL2ないしPL7の視差マップを反映することで、多層視差マップを生成し、多層視差マップ生成処理は、終了する。
　＜飽和画素の復元＞
　図１１は、実際の光学レンズを用いて、所定の被写体を撮影した実写画像の例を模式的に示す図である。
　図１１のＡは、フォーカスをパンフォーカスに設定した実写画像の例を示している。
　図１１のＡの実写画像では、奥側に位置する電球が、比較的、ぼけずに鮮明に映っている。
　図１１のＢは、フォーカスを（光学レンズの主点から）、比較的手前の位置である、例えば、1mの距離に設定した実写画像の例を示している。
　図１１のＢの実写画像では、1mの距離にある被写体（図１１では、缶）は、ぼけずに鮮明に映っているが、その他の距離にある被写体は、ぼけて映っている。また、図１１のＢの実写画像では、奥側に位置する電球が、ぼけてはいるが、輝度が高いために、比較的鮮やかに映っている。
　図１２は、図３の画像処理装置１２で得られるエミュレーション画像の例を示す図である。
　図１２のＡは、画像処理装置１２において、飽和画素復元処理を行わない場合に得られるエミュレーション画像の例を示している。
　図１２のＡのエミュレーション画像では、図１１のＢの場合と同様に、フォーカスが手前の位置に設定されており、そのため、奥側に位置する電球が、ぼけている。
　但し、図１２のＡのエミュレーション画像では、奥側に位置する電球が、ぼけてはいるが、図１１のＢの場合とは異なり、あまり、鮮やかではない。
　図１２のＢは、画像処理装置１２において、飽和画素復元処理を行う場合に得られるエミュレーション画像の例を示している。
　図１２のＢのエミュレーション画像では、図１１のＢの場合と同様に、フォーカスが手前の位置に設定されており、そのため、奥側に位置する電球が、ぼけている。
　さらに、図１２のＢのエミュレーション画像では、奥側に位置する電球が、図１１のＢの場合と同様に、鮮やかにぼけている。
　したがって、飽和画素復元処理によれば、後で行われるレンズエミュレーション処理において、実際の光学レンズのぼけ味を、正確に再現することができる。
　すなわち、飽和画素復元処理によれば、実際の光学レンズを用いて撮影された実写画像と同様の鮮やかなぼけを再現することができる。
　図１３は、飽和画素復元処理を行わない場合に、鮮やかなぼけが再現されない原理を説明する図である。
　図１３のＡは、被写体の光強度の例を示している。
　図１３のＡにおいて、横軸は、カメラユニット２１iを構成する図示せぬイメージセンサの水平方向の位置（水平座標）を表し、縦軸は、そのイメージセンサに照射される被写体からの光の光強度を表す。
　図１３のＡでは、非常に大きな光強度S0の光が、カメラユニット２１i（のイメージセンサ）に照射されている。
　図１３のＢは、カメラユニット２１iにおいて、光強度S0の光を受光したときに出力される撮影画像の輝度の例を示している。
　図１３のＢにおいて、横軸は、光強度S0の光を受光したカメラユニット２１iが出力する撮影画像の水平方向の画素の位置を表し、縦軸は、その撮影画像の画素の輝度を表す。
　光強度S0の光に対応する輝度は、カメラユニット２１iが画素値として出力することができる最大値である撮影限界輝度THLを超えており、そのため、撮影画像では、光強度S0の光を発する被写体の輝度が、撮影限界輝度THLにカット（クランプ）されている。
　ここで、撮影限界輝度THLに対応する光強度をS1(<S0)と表すこととする。
　図１３のＣは、光強度S0の光に対応する輝度が、光強度S1に対応する撮影限界輝度THLにカットされた撮影画像を用いた、レンズエミュレーション処理で生成されるエミュレーション画像の例を示している。
　図１３のＣにおいて、横軸は、エミュレーション画像の水平方向の画素の位置を表し、縦軸は、そのエミュレーション画像の画素の輝度を表す。
　エミュレーション画像の生成において、光強度S1に対応する撮影限界輝度THLを画素値として有する画素に映る被写体がぼかされる場合、その被写体が映る画素の周辺に、光強度S1が分散する形になって、被写体の輝度は、撮影限界輝度THLから、さらに低下する。
　以上のように、撮影限界輝度THLに対応する光強度S1よりも大きな光強度S0の光を発する被写体（例えば、電球等）は、撮影画像において、撮影限界輝度THLに対応する光強度S1の光を発する被写体として映る。
　そして、そのような撮影限界輝度THLに対応する光強度S1の光を発する被写体が映る撮影画像を用いたエミュレーション画像の生成において、被写体がぼかされると、元の光強度S0よりも小さい光強度S1が分散し、被写体に、鮮やかさが現れない。
　図１４は、飽和画素復元処理を行うことで、鮮やかなぼけが再現される原理を説明する図である。
　図１４のＡは、カメラユニット２１iにおいて、光強度S0の光を受光したときに出力される撮影画像の輝度の例を示している。
　図１４のＡの撮影画像の輝度は、図１３のＢと同様であり、光強度S0の光を発する被写体の輝度が、その光強度S0よりも小さい光強度S1に対応する撮影限界輝度THLにカットされている。
　図１４のＢは、飽和画素復元処理後の撮影画像の輝度の例を示している。
　飽和画素復元処理では、撮影画像において、画素値が撮影限界輝度THLにカットされた被写体の画素値として、撮影限界輝度THLに、式S1+S2≒S0を満たす光強度S2に対応する輝度が加えられた輝度が復元される。
　その結果、飽和画素復元処理後の撮影画像では、画素値が撮影限界輝度THLにカットされた画素は、ほぼ、元の光強度S0≒S1+S2に対応する輝度を画素値として有する。
　図１４のＣは、飽和画素復元処理後の撮影画像を用いて生成されるエミュレーション画像の例を示している。
　図１４のＣにおいて、横軸は、エミュレーション画像の水平方向の画素の位置を表し、縦軸は、そのエミュレーション画像の画素の輝度を表す。
　エミュレーション画像の生成において、光強度S1+S2に対応する輝度を画素値として有する画素に映る被写体がぼかされる場合、その被写体が映る画素の周辺に、光強度S1+S2は分散するが、光強度S1+S2は、非常に大きいため、分散しても、被写体の輝度は、飽和画素復元処理を行わない場合よりも高い輝度になる。
　以上のように、飽和画素復元処理によれば、画素値が撮影限界輝度THLにカットされた、大きな光強度S0の光を発する被写体（例えば、電球等）の輝度が、（ほぼ）元の大きな光強度S0に対応する輝度に復元される。
　そして、そのような大きな光強度S0に対応する輝度の被写体が映る撮影画像を用いたエミュレーション画像の生成（レンズエミュレーション処理）において、被写体がぼかされた場合には、被写体に、鮮やかなぼけが現れる。
　したがって、実際の光学レンズを用いて撮影された実写画像と同様の鮮やかなぼけを再現することができる。
　ここで、飽和画素復元部３３は、図３で説明したように、カメラユニット２１iから供給される標準輝度撮影画像PL#iの画素のうちの、画素値が飽和している飽和画素の画素値を、カメラユニット２１iから供給される低輝度撮影画像PH#iを用いて復元する飽和画素復元処理を行う。
　標準輝度撮影画像PL#iの画素の画素値が飽和しているとは、図１３及び図１４で説明したように、標準輝度撮影画像PL#iの画素の画素値が撮影限界輝度THLにカットされているか、又は、標準輝度撮影画像PL#iの画素の画素値が、撮影限界輝度THLに近いことを意味する。
　また、飽和画素復元処理にあたっては、同一の被写体が映った標準輝度撮影画像PL#iと、低輝度撮影画像PH#iとが必要となる。同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する方法としては、任意の方法を採用することができる。
　以下では、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する方法として、第１の取得方法、第２の取得方法、及び、第３の取得方法について説明する。
　なお、飽和画素復元処理の対象とする撮影画像は、Rawデータの画像、又は、輝度の線形性を保つために、ガンマ補正前のデモザイク画像であることが望ましい。
　図１５は、標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを取得する第１の取得方法を説明する図である。
　第１の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、露光時間（シャッタスピード）を変更して、例えば、２回等の複数回の撮影を短時間で行う。
　すなわち、第１の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、標準露光時間（撮影時に適切と推定される、例えば、自動露出機能によって設定される露光時間等）での撮影と、その標準露光時間よりも短い露光時間での撮影とが、連続して行われる。
　標準露光時間で撮影された撮影画像が、標準輝度撮影画像PL#iとなり、標準露光時間よりも短い露光時間で撮影された撮影画像が、低輝度撮影画像PH#iとなる。
　したがって、第１の取得方法で得られる標準輝度撮影画像PL#iと低輝度撮影画像PH#iとは、異なるタイミングで撮影された画像である。
　いま、標準露光時間をX[秒]と表すこととすると、その標準露光時間Xよりも短い、低輝度撮影画像PH#iの露光時間としては、例えば、X/16[秒]等を採用することができる。
　図１５は、カメラユニット２１1，２１2、及び、２１5それぞれで撮影される標準輝度撮影画像PL1，PL2、及び、PL5と、低輝度撮影画像PH1，PH2、及び、PH5との例を示している。
　低輝度撮影画像PH#iの露光時間は、標準輝度撮影画像PL#iの標準露光時間よりも短いので、低輝度撮影画像PH#iでは、被写体が、標準輝度撮影画像PL#iよりも暗く映る。
　図１６は、図３の飽和画素復元部３３の第１の構成例を示すブロック図である。
　すなわち、図１６は、標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iが、第１の取得方法により取得される場合の、飽和画素復元部３３の構成例を示している。
　図１６において、飽和画素復元部３３は、飽和判定部５１、及び、復元部５２を有する。
　飽和判定部５１には、撮影装置１１（図１）から標準輝度撮影画像PL#iが供給される。
　飽和判定部５１は、撮影装置１１からの標準輝度撮影画像PL#iの各画素が、飽和画素であるかどうかを判定する飽和判定を行い、その飽和判定の判定結果を、復元部５２に供給する。
　復元部５２には、飽和判定部５１から飽和判定の判定結果が供給される他、撮影装置１１から標準輝度撮影画像PL#iと低輝度撮影画像PH#iとが供給される。
　復元部５２は、撮影装置１１からの標準輝度撮影画像PL#iの画素のうちの飽和画素を、飽和判定部５１からの飽和判定の判定結果（飽和判定結果）に応じて特定する。
　さらに、復元部５２は、飽和画素の画素値を、撮影装置１１からの低輝度撮影画像PL#iを必要に応じて用いて復元し、その復元によって得られる、標準輝度撮影画像PL#iよりも高ダイナミックレンジのHDR撮影画像HD#iを、入射光線再現部３６（図３）に供給する。
　図１７は、図１６の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
　ステップＳ３１において、飽和判定部５１は、７個のカメラユニット２１1ないし２１7の視点（位置）の中から、まだ、注目視点に選択していない視点の１つを、注目視点を選択し、処理は、ステップＳ３２に進む。
　ステップＳ３２では、飽和判定部５１は、撮影装置１１から供給される７視点の標準輝度撮影画像PL1ないしPL7のうちの、注目視点の標準輝度撮影画像PL#iの画素の中から、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ３３に進む。
　ステップＳ３３では、飽和判定部５１は、注目視点の標準輝度撮影画像PL#iの注目画素の画素値である標準画素値が、所定の閾値TH1以上であるかどうかの飽和判定を行う。
　ステップＳ３３において、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が、閾値TH1以上でないと判定された場合、すなわち、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が飽和していない場合、飽和判定部５１は、標準画素値が飽和していない旨の飽和判定結果を、復元部５２に供給し、処理は、ステップＳ３４に進む。
　ステップＳ３４では、復元部５２は、飽和判定部５１からの、標準画素値が飽和していない旨の飽和判定結果に応じて、撮影装置１１からの注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値を、注目視点のHDR撮影画像HD#iの、注目画素の位置の画素（この画素も、以下、注目画素ともいう）の画素値に選択し、処理は、ステップＳ３７に進む。
　一方、ステップＳ３３において、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が、閾値TH1以上であると判定された場合、すなわち、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値が飽和しているか、又は、飽和している可能性が高い場合、飽和判定部５１は、標準画素値が飽和している旨の飽和判定結果を、復元部５２に供給し、処理は、ステップＳ３５に進む。
　ステップＳ３５では、復元部５２は、飽和判定部５１からの、標準画素値が飽和している旨の飽和判定結果に応じて、撮影装置１１からの注目視点の低輝度撮影画像PH#iの、注目画素の位置の画素（この画素も、以下、注目画素ともいう）の画素値である低輝度画素値が、閾値TH1よりも小さい所定の閾値TH2以上であるかどうかを判定する。
　ステップＳ３５において、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が、閾値TH2以上でないと判定された場合、すなわち、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が小さく、ノイズである可能性が高い場合、処理は、ステップＳ３４に進む。
　ステップＳ３４では、上述したように、復元部５２が、注目視点の標準輝度撮影画像PL#iの注目画素の標準画素値を、注目視点のHDR撮影画像HD#iの注目画素の画素値に選択し、処理は、ステップＳ３７に進む。
　一方、ステップＳ３５において、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値が、閾値TH2以上であると判定された場合、すなわち、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値がノイズではないとみなすことができる、ある程度の値になっている場合、処理は、ステップＳ３６に進む。
　ステップＳ３６では、復元部５２は、注目視点の低輝度撮影画像PH#iの注目画素の低輝度画素値を所定数倍にした画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部５２は、復元画素値を、注目視点のHDR撮影画像HD#iの注目画素の画素値に選択し、処理は、ステップＳ３６からステップＳ３７に進む。
　ここで、復元画素値を求めるときに用いる所定数倍（以下、復元ゲインともいう）としては、標準輝度撮影画像PL#iの露光時間（標準露光時間）と、低輝度撮影画像PH#iの露光時間との比の値が採用される。
　したがって、例えば、図１５で説明したように、標準露光時間がX[秒]であり、低輝度撮影画像PH#iの露光時間がX/16[秒]である場合には、復元ゲインは、16=X/(X/16)倍になる。
　ステップＳ３７では、飽和判定部５１は、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ３７において、まだ、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ３７において、注目視点の標準輝度撮影画像PL#iの画素のすべてを、注目画素に選択したと判定された場合、処理は、ステップＳ３８に進む。
　ステップＳ３８では、飽和判定部５１は、７視点のすべてを、注目視点に選択したかどうかを判定する。
　ステップＳ３８において、まだ、７視点のすべてを、注目視点に選択していないと判定された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ３８において、７視点のすべてを、注目視点に選択したと判定された場合、復元部５２は、以上の処理により得られる７視点のHDR撮影画像HD1ないしHD7を、入射光線再現部３６（図３）に供給し、飽和画素復元処理は、終了する。
　なお、低輝度撮影画像PH#iとしては、露光時間が標準露光時間より短い第１の低輝度撮影画像と、露光時間が第１の低輝度撮影画像よりも短い第２の低輝度撮影画像とを採用することができる。
　第１の取得方法では、撮影装置１１において、露光時間を変更して、３回の撮影を連続して行うことにより、標準輝度撮影画像PL#i、第１の低輝度撮影画像、及び、第２の低輝度撮影画像を取得することができる。
　第２の低輝度撮影画像は、標準輝度撮影画像の画素値が飽和し、さらに、第１の低輝度撮影画像の画素値も飽和している場合に、その画素値が飽和している飽和画素の復元に用いることができる。
　図１８は、飽和画素復元部３３の第２の構成例を示すブロック図である。
　すなわち、図１８は、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを、第２の取得方法により取得する場合の、飽和画素復元部３３の構成例を示している。
　なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　第２の取得方法では、撮影装置１１を構成するすべてのカメラユニット２１1ないし２１7において、標準露光時間よりも小さい一定の露光時間で、複数回の撮影を短時間で行う高速撮影を行う。
　そして、第２の取得方法では、カメラユニット２１iの高速撮影により得られる複数の高速撮影画像を、異なる枚数だけ加算することにより、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとが生成（取得）される。
　例えば、高速撮影の露光時間が、1/4000秒である場合に、標準輝度撮影画像PL#iの露光時間（標準露光時間）を、1/60秒とするとともに、低輝度撮影画像PH#iの露光時間を、1/1000秒とするときには、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとは、以下のように生成することができる。
　すなわち、標準輝度撮影画像PL#iは、高速撮影画像を66枚又は67枚だけ加算することにより生成することができる。また、低輝度撮影画像PH#iは、高速撮影画像を4枚だけ加算することにより生成することができる。
　図１８では、飽和画素復元部３３は、撮影装置１１から、高速撮影画像が供給されることを前提として、その高速撮影画像から、第２の取得方法により、標準輝度撮影画像PL#iと低輝度撮影画像PH#iとを取得（生成）する。そして、飽和画素復元部３３は、その標準輝度撮影画像PL#iと低輝度撮影画像PH#iとを用いて、飽和画素復元処理を行う。
　すなわち、図１８において、飽和画素復元部３３は、飽和判定部５１、復元部５２、標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２を有する。
　したがって、図１８の飽和画素復元部３３は、飽和判定部５１、及び、復元部５２を有する点で、図１６の場合と共通する。
　但し、図１８の飽和画素復元部３３は、標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２を有する点で、図１６の場合と相違する。
　標準輝度撮影画像生成部６１、及び、低輝度撮影画像生成部６２には、撮影装置１１から、高速撮影によって得られた７視点の高速撮影画像が供給される。
　標準輝度撮影画像生成部６１は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を、所定の枚数だけ加算することにより、標準輝度撮影画像PL#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
　低輝度撮影画像生成部６２は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を、標準輝度撮影画像生成部６１より少ない枚数だけ加算することにより、低輝度撮影画像PH#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
　図１９は、図１８の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
　ステップＳ４１において、標準輝度撮影画像生成部６１は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を加算することにより、標準輝度撮影画像PL#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
　さらに、ステップＳ４１では、低輝度撮影画像生成部６２は、７視点のそれぞれについて、撮影装置１１からの高速撮影画像を加算することにより、低輝度撮影画像PH#iを生成し、飽和判定部５１、及び、復元部５２に供給する。
　そして、処理は、ステップＳ４１からステップＳ４２に進み、以下、ステップＳ４２ないしＳ４９において、図１７のステップＳ３１ないしＳ３８とそれぞれ同様の処理が行われる。
　図２０は、撮影装置１１の他の構成例を示す平面図である。
　すなわち、図２０は、同一の被写体が映った標準輝度撮影画像PL#i、及び、低輝度撮影画像PH#iを、第３の取得方法により取得する場合の、撮影装置１１の構成例を示している。
　図２０では、撮影装置１１は、19個のカメラユニットで構成される。
　すなわち、図２０では、1個のカメラユニットを、基準カメラユニットとし、基準カメラユニットを中心として、水平方向に5個のカメラユニットが配置されている。
　さらに、基準カメラユニットを中心とする5個のカメラユニットの上下のそれぞれに、水平方向に並ぶ4個のカメラユニットが配置されている。
　また、基準カメラユニットを中心とする5個のカメラユニットの上側の4個のカメラユニットの上には、水平方向に並ぶ3個のカメラユニットが配置されている。
　さらに、基準カメラユニットを中心とする5個のカメラユニットの下側の4個のカメラユニットの下には、水平方向に並ぶ3個のカメラユニットが配置されている。
　また、図２０では、撮影装置１１を構成する19個のカメラユニットのうちの、基準カメラユニットの左上、左下、右上、及び、右下にそれぞれ隣接する4個のカメラユニットは、ND(Neutral Density)フィルタが装着されたNDフィルタ付きカメラユニットになっている。
　ここで、以下、NDフィルタが装着されていないカメラユニットを、通常カメラユニットともいう。
　図２０において、U1は、通常カメラユニットを表し、U2は、NDフィルタ付きカメラユニットを表す。
　第１及び第２の取得方法では、複数回の撮影を行うことで、同一の被写体が映った、露光時間の異なる標準輝度撮影画像PL#iと低輝度撮影画像PH#iと取得したが、第３の取得方法では、１回の撮影（1shot撮影）だけで、標準輝度撮影画像PL#iと低輝度撮影画像PH#iと取得する。
　すなわち、第３の取得方法では、撮影装置１１の15=19-4個の通常カメラユニットU1と、4個のNDフィルタ付きカメラユニットU2とにおいて、例えば、標準露光時間の撮影が行われる。
　通常カメラユニットU1において、標準露光時間の撮影が行われることにより、標準露光時間の標準輝度撮影画像を取得することができる。
　一方、いま、4個のNDフィルタ付きカメラユニットU2それぞれにおいて、NDフィルタを介して観測される光の輝度が、NDフィルタを介さない場合の、例えば、1/16，1/256，1/4096 ，1/65536であるとする。すなわち、4個のNDフィルタ付きカメラユニットU2それぞれの光に対する感度が、通常カメラユニットU1の1/16，1/256，1/4096 ，1/65536であるとする。
　この場合、4個のNDフィルタ付きカメラユニットU2それぞれにおいて、標準露光時間の撮影が行われることにより、等価的に、標準露光時間の1/16，1/256，1/4096 ，1/65536の露光時間の第１の低輝度撮影画像、第２の低輝度撮影画像、第３の低輝度撮影画像、及び、第４の低輝度撮影画像を取得することができる。
　したがって、第３の取得方法で得られる標準輝度撮影画像、及び、第１ないし第４の低輝度撮影画像は、同一のタイミングで、異なる感度で撮影された、異なる視点の画像である。
　図２１は、飽和画素復元部３３の第３の構成例を示すブロック図である。
　すなわち、図２１は、同一の被写体が映った標準輝度撮影画像、及び、低輝度撮影画像を、第３の取得方法により取得する場合の、飽和画素復元部３３の構成例を示している。
　図２１において、飽和画素復元部３３は、視差情報取得部７１、標準輝度撮影画像生成部７２、低輝度撮影画像生成部７３、飽和判定部７４、及び、復元部７５を有する。
　視差情報取得部７１は、撮影装置１１（図２０）を構成する19視点（19個）のカメラユニットで撮影される撮影画像（標準輝度撮影画像、第１ないし第４の低輝度撮影画像）それぞれの視差マップを取得し、標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３に供給する。
　視差情報取得部７１において、19視点のカメラユニットで撮影される撮影画像それぞれの視差マップは、19視点のカメラユニットで撮影される撮影画像を用いて、視差情報生成部３１（図３）の場合と同様に生成することができる。また、視差情報取得部７１において、19視点のカメラユニットで撮影される撮影画像それぞれの視差マップは、視差情報生成部３１から取得することができる。
　標準輝度撮影画像生成部７２には、視差情報取得部７１から視差マップが供給される他、撮影装置１１から、15視点の通常カメラユニットU1で撮影された標準輝度撮影画像が供給される。
　標準輝度撮影画像生成部７２は、4個のNDフィルタ付きカメラユニットU2の4視点（以下、NDカメラ視点ともいう）の標準輝度撮影画像を、撮影装置１１からの15個の通常カメラユニットU1の15視点（以下、通常カメラ視点ともいう）の標準輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて生成し、撮影装置１１からの15個の通常カメラ視点の標準輝度撮影画像とともに、飽和判定部７４、及び、復元部７５に供給する。
　すなわち、標準輝度撮影画像生成部７２は、NDカメラ視点の（第１ないし第４の）低輝度撮影画像の画素を、順次、注目画素に選択し、視差情報取得部７１からの視差マップを参照することで、注目画素に対応する、通常カメラ視点の標準輝度撮影画像の対応画素を検出する。そして、標準輝度撮影画像生成部７２は、通常カメラ視点の標準輝度撮影画像の対応画素の画素値を、NDカメラ視点の標準輝度撮影画像の注目画素の画素値として採用することで、NDカメラ視点の標準輝度撮影画像を生成する。
　なお、NDカメラ視点の低輝度撮影画像の注目画素に対応する対応画素は、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出することができる。
　NDカメラ視点の通常輝度撮影画像の注目画素の画素値には、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出される15個の対応画素のうちの、例えば、基準カメラユニット（19個のカメラユニットの中心のカメラユニット）の標準輝度撮影画像の対応画素の画素値を採用することができる。
　また、NDカメラ視点の通常輝度撮影画像の注目画素の画素値には、15個の通常カメラ視点の標準輝度撮影画像のそれぞれから検出される15個の対応画素のうちの、例えば、画素値が近い対応画素の集合の中で、対応画素の数が最も多い集合の対応画素の画素値の平均値を採用することができる。
　低輝度撮影画像生成部７３には、視差情報取得部７１から視差マップが供給される他、撮影装置１１から、4個のNDカメラ視点のNDフィルタ付きカメラユニットU2で撮影された第１ないし第４の低輝度撮影画像が供給される。
　低輝度撮影画像生成部７３は、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて生成し、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像とともに、復元部７５に供給する。
　すなわち、低輝度撮影画像生成部７３は、通常カメラ視点の標準輝度撮影画像の画素を、順次、注目画素に選択し、視差情報取得部７１からの視差マップを参照することで、注目画素に対応する、NDカメラ視点の第１ないし第４の低輝度撮影画像それぞれの対応画素を検出する。そして、低輝度撮影画像生成部７３は、NDカメラ視点の第１ないし第４の低輝度撮影画像それぞれの対応画素の画素値を、通常カメラ視点の第１ないし第４の低輝度撮影画像それぞれの注目画素の画素値として採用することで、通常カメラ視点の第１ないし第４の低輝度撮影画像を生成する。
　以上のように、標準輝度撮影画像生成部７２において、4個のNDカメラ視点の標準輝度撮影画像を生成するとともに、低輝度撮影画像生成部７３において、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を生成することで、撮影装置１１（図２０）を構成する19個のカメラユニットの19の視点のすべてについて、標準輝度撮影画像と、第１ないし第４の低輝度撮影画像とを得ることができる。
　なお、本実施の形態では、説明を簡単にするため、4個のNDカメラ視点の標準輝度撮影画像と、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像とを、あらかじめ生成することとしたが、4個のNDカメラ視点の標準輝度撮影画像の画素値、及び、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像の画素値は、必要な画素について、必要なときに生成することができる。
　飽和判定部７４は、標準輝度撮影画像生成部７２からの19視点の標準輝度撮影画像それぞれの各画素が、飽和画素であるかどうかを判定する飽和判定を行い、その飽和判定の判定結果（飽和判定結果）を、復元部７５に供給する。
　復元部７５には、上述したように、飽和判定部７４から飽和判定の判定結果が供給される。さらに、復元部７５には、上述したように、標準輝度撮影画像生成部７２から、19視点の標準輝度撮影画像が供給されるとともに、低輝度撮影画像生成部７３から、19視点の第１ないし第４の低輝度撮影画像が供給される。
　また、復元部７５には、例えば、図２０の撮影装置１１から、第１ないし第４の低輝度撮影画像用の復元ゲインが供給される。
　ここで、第１の低輝度撮影画像用の復元ゲインとは、第１の低輝度撮影画像を用いて飽和画素の復元が行われるときに用いられる、図１７で説明した復元ゲインである。
　したがって、第１の低輝度撮影画像用の復元ゲインは、標準輝度撮影画像の露光時間（標準露光時間）と、第１の低輝度撮影画像の露光時間との比の値である。
　例えば、図２０で説明したように、第１の低輝度撮影画像の露光時間が、（等価的に）標準露光時間の1/16倍である場合には、第１の低輝度撮影画像用の復元ゲインは、16=1/(1/16)倍になる。
　第２ないし第４の低輝度撮影画像用の復元ゲインも、第１の低輝度撮影画像用の復元ゲインと同様に求めることができる。
　復元部７５は、標準輝度撮影画像生成部７２からの19視点の標準輝度撮影画像それぞれについて、飽和画素を、飽和判定部７４からの飽和判定結果に応じて特定する。
　さらに、復元部７５は、飽和画素の画素値を、低輝度撮影画像生成部７３からの第１ないし第４の低輝度撮影画像、及び、撮影装置１１（図２０）からの第１ないし第４の低輝度撮影画像用の復元ゲインを、必要に応じて用いて復元し、その復元によって得られる、標準輝度撮影画像よりも高ダイナミックレンジのHDR撮影画像を、入射光線再現部３６（図３）に供給する。
　図２２は、視差マップの視差の補正の例を説明する図である。
　図２１の飽和画素復元部３３では、上述したように、標準輝度撮影画像生成部７２において、視差情報取得部７１で取得された視差マップを参照することで、NDカメラ視点の低輝度撮影画像の注目画素に対応する、通常カメラ視点の標準輝度撮影画像の対応画素が検出される。また、低輝度撮影画像生成部７３において、視差情報取得部７１で取得された視差マップを参照することで、通常カメラ視点の標準輝度撮影画像の注目画素に対応する、NDカメラ視点の（第１ないし第４の）低輝度撮影画像の対応画素が検出される。
　標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３において、以上のように、ある１視点の画像の注目画素に対応する、他の１視点の画像の対応画素を検出する際に参照される視差マップに登録される視差は、必要に応じて補正される。
　ここで、説明を簡単にするため、撮影装置１１が、図２２に示すように、水平方向に並んだ３個のカメラユニットUa，Ub、及び、Ucで構成されることとする。
　また、３個のカメラユニットUa，Ub、及び、Ucのうちの、例えば、一番左側のカメラユニットUaを、多層視差マップが生成される対象の基準画像を撮影する基準カメラユニットとする。
　さらに、基準カメラユニットUaと、一番右側のカメラユニットUcとは、通常カメラユニットであり、中央のカメラユニットUbは、NDフィルタ付きカメラユニットであるとする。基準カメラユニットUaと、通常カメラユニットUcとでは、標準輝度撮影画像が撮影され、NDフィルタ付きカメラユニットUbでは、低輝度撮影画像が撮影される。
　ここで、基準カメラユニットUaで撮影される標準輝度撮影画像を、基準画像Ua、又は、標準輝度撮影画像Uaともいう。また、NDフィルタ付きカメラユニットUbで撮影される低輝度撮影画像を、低輝度撮影画像Ubともいう。さらに、通常カメラユニットUcで撮影される標準輝度撮影画像を、標準輝度撮影画像Ucともいう。
　いま、視差情報取得部７１において、基準カメラユニットUaと通常カメラユニットUcとの基線長（光軸どうしの距離）を、基準基線長として、基準カメラユニットUaで撮影された標準輝度撮影画像（基準画像）Uaの視差マップ（基準視差マップ）が生成されたとする。
　基準カメラユニットUaの視点（基準視点）以外の視点の視差マップ、すなわち、例えば、通常カメラユニットUcで撮影された標準輝度撮影画像Ucの視差マップは、図７及び図８で説明したように、基準視差マップを利用して、簡易的に生成することができる。
　具体的には、通常カメラユニットUcで撮影された標準輝度撮影画像Ucの視差マップは、基準視差マップにおいて、図７で説明したように、基準カメラユニットUaと、通常カメラユニットUcとの位置関係に応じたカメラ位置関係方向に、各画素の位置に登録されている視差を、その視差だけ移動し、さらに、図８で説明したように、未登録エリアに、補間視差を補間することで生成することができる。
　このように、基準視差マップを利用して生成された、標準輝度撮影画像Ucの視差マップに登録された視差は、基準カメラユニットUaと通常カメラユニットUcとの基線長である基準基線長だけ離れた２点に対する視差である。
　そのため、標準輝度撮影画像Ucの注目画素に対応する、低輝度撮影画像Ubの対応画素を検出するときには、標準輝度撮影画像Ucの視差マップに登録された視差が、標準輝度撮影画像Ucを撮影する通常カメラユニットUcと、低輝度撮影画像Ubを撮影するNDフィルタ付きカメラユニットUbとの基線長だけ離れた２点に対する視差となるように補正される。
　すなわち、いま、基準カメラユニットUaと通常カメラユニットUcとの基線長である基準基線長を、acと表すとともに、NDフィルタ付きカメラユニットUbと通常カメラユニットUcとの基線長をbcと表すこととすると、標準輝度撮影画像Ucの視差マップに登録された視差は、基線長bcと基準基線長との比の値bc/ac倍されるように補正される。
　例えば、基準カメラユニットUaとNDフィルタ付きカメラユニットUbとの基線長ab、及び、NDフィルタ付きカメラユニットUbと通常カメラユニットUcとの基線長bcが、いずれも、5mmであるとする。
　この場合、基準カメラユニットUaと通常カメラユニットUcとの基線長acである基準基線長は、10mmになる。
　いま、基準視差マップを利用して生成された、標準輝度撮影画像Ucの視差マップに登録された注目画素の視差が、例えば、10（画素）であるとすると、その視差10は、基線長bc=5mmと基準基線長ac=10mmとの比の値5/10倍され、視差5に補正される。
　そして、標準輝度撮影画像Ucの注目画素に対応する、低輝度撮影画像Ubの対応画素としては、注目画素の位置から、視差5だけずれた位置の低輝度撮影画像Ubの画素が検出される。
　図２３は、図２１の飽和画素復元部３３で行われる飽和画素復元処理の例を説明するフローチャートである。
　ステップＳ６１において、視差情報取得部７１は、撮影装置１１（図２０）を構成する19視点のカメラユニットで撮影される撮影画像（標準輝度撮影画像、第１ないし第４の低輝度撮影画像）それぞれの視差マップを取得し、標準輝度撮影画像生成部７２、及び、低輝度撮影画像生成部７３に供給する。
　さらに、ステップＳ６１では、標準輝度撮影画像生成部７２が、撮影装置１１（図２０）を構成する19視点のカメラユニットのうちの、15個の通常カメラ視点の標準輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて、4個のNDカメラ視点の標準輝度撮影画像を生成し、15個の通常カメラ視点の標準輝度撮影画像とともに、飽和判定部７４、及び、復元部７５に供給する。
　また、ステップＳ６１では、低輝度撮影画像生成部７３が、撮影装置１１からの4個のNDカメラ視点の第１ないし第４の低輝度撮影画像と、視差情報取得部７１からの視差マップとを用いて、15個の通常カメラ視点の第１ないし第４の低輝度撮影画像を生成し、4個のNDカメラ視点の第１ないし第４の低輝度撮影画像とともに、復元部７５に供給する。
　そして、処理は、ステップＳ６１からステップＳ６２に進み、飽和判定部７４は、撮影装置１１（図２０）を構成する19個のカメラユニットの19視点の中から、まだ、注目視点に選択していない視点の１つを、注目視点を選択し、処理は、ステップＳ６３に進む。
　ステップＳ６３では、飽和判定部７４は、標準輝度画像生成部７２から供給される19視点の標準輝度撮影画像のうちの、注目視点の標準輝度撮影画像の画素の中から、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ６４に進む。
　ステップＳ６４では、注目視点のHDR撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値を取得する処理が行われ、処理は、ステップＳ６５に進む。
　ステップＳ６５では、飽和判定部７４は、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ６５において、まだ、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ６３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ６５において、注目視点の標準輝度撮影画像の画素のすべてを、注目画素に選択したと判定された場合、処理は、ステップＳ６６に進む。
　ステップＳ６６では、飽和判定部７４は、撮影装置１１（図２０）を構成する19個のカメラユニットの19視点のすべてを、注目視点に選択したかどうかを判定する。
　ステップＳ６６において、まだ、19視点のすべてを、注目視点に選択していないと判定された場合、処理は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ６６において、19視点のすべてを、注目視点に選択したと判定された場合、復元部５２は、以上の処理により得られる19視点のHDR撮影画像を、入射光線再現部３６（図３）に供給し、飽和画素復元処理は、終了する。
　なお、図２３では、撮影装置１１を構成する19個のカメラユニットの19視点のすべてを対象に、飽和画素復元処理を行うこととしたが、飽和画素復元処理は、19視点のうちの、15個の通常カメラ視点だけを対象に行うことができる。
　この場合、飽和画素復元処理において得られるHDR撮影画像は、19視点のHDR撮影画像ではなく、15個の通常カメラ視点のHDR撮影画像となるが、図２１の飽和画素復元部３３は、標準輝度撮影画像生成部７２を設けずに構成することができる。
　図２４は、図２３のステップＳ６４で行われる、注目視点のHDR撮影画像の注目画素の画素値を取得する処理の例を説明するフローチャートである。
　ステップＳ７１において、飽和画素判定部７４は、標準輝度撮影画像生成部７２からの注目視点の標準輝度撮影画像の注目画素の画素値を、注目画素の標準画素値として取得し、処理は、ステップＳ７２に進む。
　ステップＳ７２では、飽和判定部７４は、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上であるかどうかの飽和判定を行う。
　ステップＳ７２において、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上でないと判定された場合、すなわち、注目視点の標準輝度撮影画像の注目画素の標準画素値が飽和していない場合、飽和判定部７４は、標準画素値が飽和していない旨の飽和判定結果を、復元部７５（図２１）に供給し、処理は、ステップＳ７３に進む。
　ステップＳ７３では、復元部７５は、飽和判定部７４からの、標準画素値が飽和していない旨の飽和判定結果に応じて、標準輝度撮影画像生成部７２からの注目視点の標準輝度撮影画像の注目画素の標準画素値を、注目視点のHDR撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値に選択し、処理はリターンする。
　一方、ステップＳ７２において、注目視点の標準輝度撮影画像の注目画素の標準画素値が、閾値TH1以上であると判定された場合、すなわち、注目視点の標準輝度撮影画像の注目画素の標準画素値が飽和しているか、又は、飽和している可能性が高い場合、飽和判定部７４は、標準画素値が飽和している旨の飽和判定結果を、復元部７５に供給し、処理は、ステップＳ７４に進む。
　ステップＳ７４では、復元部７５は、飽和判定部７４からの、標準画素値が飽和している旨の飽和判定結果に応じて、低輝度撮影画像生成部７３からの注目視点の第１ないし第４の低輝度撮影画像の注目画素（注目視点の標準輝度撮影画像の注目画素と同一位置の画素）の画素値を、それぞれ、注目画素の第１ないし第４の低輝度画素値v1ないしv4として取得する。
　さらに、復元部７５は、撮影装置１１から第１ないし第４の低輝度撮影画像用の復元ゲインg1ないしg4を取得し、処理は、ステップＳ７４からステップＳ７５に進む。
　ステップＳ７５では、復元部７５は、注目視点の第１の低輝度撮影画像の注目画素の画素値である第１の低輝度画素値v1が、閾値TH1と、閾値TH1より小さい閾値TH2とを用いた式TH2<v1<TH1を満たすかどうかを判定する。
　ステップＳ７５において、第１の低輝度画素値v1が、式TH2<v1<TH1を満たすと判定された場合、すなわち、第１の低輝度画素値v1が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ７６に進む。
　ステップＳ７６では、復元部７５は、注目視点の第１の低輝度撮影画像の注目画素の画素値である第１の低輝度画素値v1を、第１の低輝度撮影画像用の復元ゲインg1倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
　また、ステップＳ７５において、第１の低輝度画素値v1が、式TH2<v1<TH1を満たさないと判定された場合、処理は、ステップＳ７７に進む。
　ステップＳ７７では、復元部７５は、注目視点の第２の低輝度撮影画像の注目画素の画素値である第２の低輝度画素値v2が、式TH2<v2<TH1を満たすかどうかを判定する。
　ステップＳ７７において、第２の低輝度画素値v2が、式TH2<v2<TH1を満たすと判定された場合、すなわち、第２の低輝度画素値v2が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ７８に進む。
　ステップＳ７８では、復元部７５は、注目視点の第２の低輝度撮影画像の注目画素の画素値である第２の低輝度画素値v2を、第２の低輝度撮影画像用の復元ゲインg2倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
　また、ステップＳ７７において、第２の低輝度画素値v2が、式TH2<v2<TH1を満たさないと判定された場合、処理は、ステップＳ７９に進む。
　ステップＳ７９では、復元部７５は、注目視点の第３の低輝度撮影画像の注目画素の画素値である第３の低輝度画素値v3が、式TH2<v3<TH1を満たすかどうかを判定する。
　ステップＳ７９において、第３の低輝度画素値v3が、式TH2<v3<TH1を満たすと判定された場合、すなわち、第３の低輝度画素値v3が、ノイズのように小さい値ではなく、かつ、飽和もしていない場合、処理は、ステップＳ８０に進む。
　ステップＳ８０では、復元部７５は、注目視点の第３の低輝度撮影画像の注目画素の画素値である第３の低輝度画素値v3を、第３の低輝度撮影画像用の復元ゲインg3倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
　また、ステップＳ７９において、第３の低輝度画素値v3が、式TH2<v3<TH1を満たさないと判定された場合、処理は、ステップＳ８１に進む。
　ステップＳ８１では、復元部７５は、注目視点の第４の低輝度撮影画像の注目画素の画素値である第４の低輝度画素値v4を、第４の低輝度撮影画像用の復元ゲインg4倍した画素値を、飽和画素を復元した復元画素値として求める。さらに、復元部７５は、復元画素値を、注目視点のHDR撮影画像の注目画素の画素値に選択し、処理はリターンする。
　なお、飽和画素復元処理の結果得られる、高ダイナミックレンジの複数の視点の(HDR)撮影画像は、視差情報生成部３１での視差情報の生成や、レンズエミュレーション部３５でのエミュレーション画像の生成の他、複数の視点の撮影画像が必要な任意の画像処理の対象とすることができる。
　また、飽和画素復元処理は、複数のカメラユニット２１iを有する撮影装置１１等で撮影された、複数の視点の撮影画像の他、ライトフィールド技術を適用することができる任意の画像を対象として行うことにより、鮮やかなぼけを再現することができる。
　ライトフィールド技術を適用することができる画像を撮影する方法としては、複数のカメラユニット２１iを有する撮影装置１１を用いて複数の視点の撮影画像を撮影する方法の他、例えば、Ren.Ng、他７名，"Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02に記載されている、MLA(Micro Lens Array)を用いて撮影を行う方法がある。
　＜レンズエミュレーション部３５のレンズエミュレーション処理の概要＞
　図２５は、図３のレンズエミュレーション部３５のレンズエミュレーション処理の概要を説明する図である。
　レンズエミュレーション処理では、入射光線再現部３６（図３）において、撮影装置１１の撮影の被写体となった実空間内に存在する物体上の点等の実空間点から発せられる光線（実空間点自体が発光する場合の、その実空間点が発する光の他、実空間点で反射された反射光を含む）のうちの、仮想レンズに入射する光線が再現される。
　仮想レンズは、撮影装置１１（図２）を構成するカメラユニット２１1ないし２１7を合成開口とする仮想なレンズであり、その実体は、カメラユニット２１1ないし２１7である。
　また、レンズエミュレーション処理では、エミュレーションレンズ情報生成部３７（図３）において、エミュレーションレンズを通過する光線を規定するレンズ情報（エミュレーションレンズ情報）が生成される。
　図３で説明したように、エミュレーションレンズは、実在する光学レンズであっても良いし、実在しない光学レンズであっても良い。
　また、レンズ情報としては、エミュレーションレンズの、点光源に対する応答を表すPSF(Point Spread Function)強度分布等がある。
　レンズエミュレーション処理では、集光処理部３８（図３）において、エミュレーションレンズ情報生成部３７で得られるレンズ情報を用い、入射光線再現部３６で再現される光線を、エミュレーションレンズを介して、仮想センサ上に集光する集光処理としてのディジタル信号処理が行われる。
　仮想センサの実体は、例えば、図示せぬメモリであり、集光処理では、レンズ情報を用いて、光線の輝度に対応する値が、メモリ（の記憶値）に加算されることで、エミュレーション画像が生成される。
　図２６は、実際の光学レンズによる集光処理と、レンズエミュレーション処理の集光処理とを説明する図である。
　図２６のＡは、実際の光学レンズによる集光処理を示している。
　実際の光学レンズは、実空間内の物体から発せられる無数の光線をサンプリングし、実際の光学レンズのレンズ特性に従って、結像面に結像する。
　実際の光学レンズでは、例えば、絞りによって、光学レンズでサンプリングされる光線の角度が変化する。
　すなわち、絞りを絞った場合には、物体から、光軸に対して、大きな角度wで広がる光線は、光学レンズでサンプリングされない。一方、絞りを開いた場合には、物体から、光軸に対して、大きな角度wで広がる光線が、光学レンズでサンプリングされる。
　図２６のＡの画像picAは、絞りを絞って撮影された画像であり、被写界深度が深く、全体的にフォーカスが合っているような画像になっている。また、画像picAでは、右上の子供のキャラクタの後ろに電球が存在するが、その電球から、光軸に対して、大きな角度で広がる光線が、光学レンズでサンプリングされておらず、そのため、子供のキャラクタの後ろには、電球が映っていない。
　図２６のＡの画像picBは、絞りを開いて撮影された画像であり、被写界深度が浅く、一部分にのみフォーカスが合い、他の大部分がぼけた画像になっている。また、画像picBでは、右上の子供のキャラクタの後ろに電球が存在し、その電球から、光軸に対して、大きな角度で広がる光線が、光学レンズでサンプリングされており、そのため、子供のキャラクタの後ろに、電球の一部が映っている。
　図２６のＢは、レンズエミュレーション処理の集光処理を示している。
　レンズエミュレーション処理の集光処理では、撮影装置１１の複数のカメラユニット２１iにおいて撮影（記録）された、実空間内の物体から発せられる光線を用いて、その複数のカメラユニット２１iを合成開口とする仮想レンズに入射する光線が再現（生成）される。
　ここで、図２６のＢでは、複数としての３個のカメラユニット２１1，２１2、及び、２１5で、３本の光線が撮影されている。そして、その３本の光線の間を補間するように、仮想レンズに入射する光線が再現されている。
　レンズエミュレーション処理の集光処理では、以上のように、仮想レンズに入射する光線が再現された後、その光線が、エミュレーションレンズのレンズ情報に従って、仮想センサ上に集光される。これにより、その集光の結果得られるエミュレーション画像において、実際にエミュレーションレンズを用いて撮影した場合と同様のぼけ味が再現される。
　＜仮想レンズに入射する光線の再現＞
　図２７は、図３の入射光線再現部３６の構成例を示すブロック図である。
　図２７において、入射光線再現部３６は、実空間点選択部１０１、光線生成部１０２、衝突判定部１０３、及び、輝度割り当て部１０４を有する。
　実空間点選択部１０１には、視差情報生成部３１から視差マップが供給される。
　実空間点選択部１０１は、視差情報生成部３１からの視差マップのうちの多層視差マップを用いて、撮影装置１１で撮影された実空間内の空間点を、注目実空間点に選択し、光線生成部１０２に供給する。
　光線生成部１０２は、実空間点選択部１０１からの注目実空間点から、仮想レンズに入射する光線（としての直線）を生成し、衝突判定部１０３に供給する。
　衝突判定部１０３には、光線生成部１０３から光線が供給される他、視差情報生成部３１から視差マップが供給される。
　衝突判定部１０３は、視差情報生成部３１からの視差マップのうちの多層視差マップを用いて、光線生成部１０３からの光線が、仮想レンズに入射するまでに、実空間内の物体に衝突するかどうかを判定する衝突判定を行う。
　そして、衝突判定部１０３は、衝突判定の結果残った光線を、輝度割り当て部１０４に供給する。
　輝度割り当て部１０４には、衝突判定部１０３から光線が供給される他、視差情報生成部３１から視差マップが供給されるとともに、飽和画素復元部３３から複数としての７視点の(HDR)撮影画像HD#iが供給される。
　輝度割り当て部１０４は、視差情報生成部３１からの視差マップと、飽和画素復元部３３からの撮影画像HD#iとを用いて、衝突判定部１０３から光線、すなわち、衝突判定の結果残った光線に、輝度を割り当て、その輝度の割り当て後の光線を、集光処理部３８（図３）に供給する。
　図２８は、実空間点を説明する図である。
　すなわち、図２８は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、上から見た場合の概略の平面図である。
　ここで、実空間内の位置（実空間点）を規定する３次元座標系として、仮想レンズ又はエミュレーションレンズの主点を原点とするとともに、撮影装置１１（図２）を正面から見たときの水平方向及び垂直方向をx軸及びy軸と、原点から奥行き方向（被写体の方向）をz軸と、それぞれする３次元座標系を用いることとする。
　基準画像のある画素pに映る物体（被写体）の実空間内の位置である実空間点(x,y,z)は、画素pの基準画像上の位置（カメラユニット２１1の図示せぬイメージセンサ上の位置）と、その画素pの視差dとから求めることができる。
　そこで、実空間点選択部１０１は、多層視差マップに登録されている画素pの位置と視差dとから、その視差dがある画素pに対応する実空間点（画素pに映り得る物体の実空間内の位置）を求める。
　いま、多層視差マップに登録されている視差dがある実空間点（の集合）を、視差登録位置ということとすると、実空間点選択部１０１は、視差登録位置を構成する実空間点を、順次、注目実空間点に選択する。
　なお、図２８において、THETAは、基準画像（基準カメラユニット２１1）の水平方向の画角を表す。視差登録位置は、仮想レンズの光軸を中心として、画角THETAで広がる範囲に存在する。
　仮想レンズの光軸は、基準画像の中心を通る、基準画像に垂直な直線（基準カメラユニット２１1の光軸）である。
　図２９は、多層視差マップを用いて、実空間点を求める求め方を説明する図である。
　いま、多層視差マップを表現する多層視差マップ空間として、基準画像の水平方向及び垂直方向の位置を、x軸及びy軸とするとともに、視差情報生成部３１（図３）で得られる視差の取り得る値を、z軸をとする３次元空間を用いることとする。
　かかる多層視差マップ空間においては、位置(x,y)の画素の視差dは、位置(x,y,d)に、視差を登録する旨の視差フラグをたてることで登録することができる。
　ここで、本実施の形態では、多層視差マップに登録し得る視差の最大値を、Dmaxと表すとともに、最小値を、Dminと表すこととする。この場合、多層視差マップ空間のz軸方向のサイズは、Dmax-Dmin+1となる。なお、Dminとしては、例えば、0（無限遠）を採用することができる。
　また、多層視差マップに登録されている視差dは、例えば、式z=37.4/dに従って、仮想レンズの主点（基準カメラユニット２１1）からの奥行き方向の実空間内の距離zに変換することができる。
　なお、視差dを、距離zに変換する式は、式z=37.4/dに限定されるものではなく、基準カメラユニット２１1の解像度や、画角、焦点距離によって異なる。
　いま、基準画像の、x座標がXpicのある画素pを、注目画素pとして注目すると、図２９の多層視差マップでは、注目画素pに対して、視差D1とD2とが登録されている。
　実空間点選択部１０１は、注目画素pに対する視差D1及びD2を、順次、注目する注目視差に選択し、その注目視差がある注目画素pに対応する実空間点を、注目実空間点に選択する。
　いま、視差D1及びD2のうちの、視差D1が、注目視差に選択されたこととする。
　また、基準画像（視差マップ）の水平方向(x軸方向）の画素数を、widthと表すとともに、基準画像の水平方向の画角を、THEATAと表すこととする。さらに、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置（距離）を、x1と表すこととする。
　実空間点選択部１０１は、まず、注目視差D1を、実空間の距離z=z1に変換する。
　そして、実空間点選択部１０１は、注目視差D1に対応する距離z=z1を用いて、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置（距離）x1を求める。
　すなわち、実空間における距離x1と、多層視差マップ空間における画素数Xpic-width/2とは、対応する。さらに、実空間における、水平方向の画角の1/2を表す距離z1×tan(THEATA/2)と、多層視差マップ空間における、水平方向の画角の1/2を表す画素数width/2とは、対応する。
　x1とXpic-width/2との比と、z1×tan(THEATA/2)とwidth/2との比とは、一致するので、式x1:Xpic-width/2=z1×tan(THEATA/2):width/2が成り立つ。
　したがって、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置x1は、式x1=((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)に従って求めることができる。
　実空間点選択部１０１は、以上のようにして、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのx軸方向の位置x1を求める。
　実空間点選択部１０１は、同様にして、注目視差D1がある注目画素pに対応する実空間点P1の、光軸からのy軸方向の位置を求め、これにより、注目視差D1がある注目画素pに対応する実空間点P1（のxyz座標）を求める。
　視差D2がある画素pに対応する実空間点も、同様にして求めることができる。
　図３０は、図２７の光線生成部１０２で行われる光線の生成の例を説明する図である。
　すなわち、図３０は、仮想レンズを正面（被写体側）から見た正面図である。
　光線生成部１０２は、仮想レンズ（の合成開口）を含むエリアをレンズエリアとして設定する。
　図３０では、仮想レンズを囲む、例えば、最小の矩形のエリアが、レンズエリアに設定されている。
　光線生成部１０２は、レンズエリア（に囲まれた仮想レンズ）を、小領域であるレンズエリアユニットに分割し、実空間点を点光源とみなして、その点光源としての実空間点から、各レンズエリアユニット（の、例えば、中心）に入射する光線の生成、すなわち、実空間点から、各レンズエリアユニットに入射する光線としての直線の算出を行う。
　図３０では、レンズエリアは、水平方向がLx個で、垂直方向がLy個の、合計で、Lx×Ly個のレンズエリアユニットに分割されている。
　この場合、光線生成部１０２では、１つの実空間点について、その実空間点と、Lx×Ly個のレンズエリアユニットのそれぞれとを結ぶLx×Ly本の直線が、仮想レンズに入射する光線として、密に生成される。
　ここで、水平方向又は垂直方向に隣接するレンズエリアユニット（の中心）どうしの距離を、実空間点から発せられる２つの光線の角度を区別することができる角度分解能ということとする。
　例えば、合成開口（仮想レンズの直径）が40mmであり、レンズエリアの水平方向及び垂直方向のレンズエリアユニットの数Lx及びLyが21個であるとすると、角度分解能は、40/21mmである。
　また、レンズエリアを、レンズエリアユニットに分割する水平方向の直線と垂直方向の直線との交点である格子点を、格子点LP#i(i=1,2,...,(Lx+1)(Ly+1))とも記載することとする。
　水平方向又は垂直方向に隣接する格子点LP#iとLP#jとの距離は、角度分解能を表す。
　図３１は、図２７の衝突判定部１０３で行われる衝突判定と、輝度割り当て部１０４で行われる光線への輝度の割り当てとを説明する図である。
　すなわち、図３１は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、上から見た場合の概略の平面図である。
　衝突判定部１０３は、光線生成部１０３からの、実空間点から発せられ、仮想レンズのLx×Ly個のレンズエリアユニットに向かうLx×Ly本の光線が、仮想レンズに入射するまでに、実空間内の物体に衝突するかどうかを判定する衝突判定を、多層視差マップを用いて行う。
　すなわち、衝突判定部１０３は、実空間点から発せられ、仮想レンズのレンズエリアユニットに向かう光線が、そのレンズエリアユニットに入射するまでに視差登録位置と衝突（交わる）場合、光線が衝突すると判定する。
　一方、衝突判定部１０３は、実空間点から発せられ、仮想レンズのレンズエリアユニットに向かう光線が、そのレンズエリアユニットに入射するまでに視差登録位置と衝突しない場合、光線が衝突しないと判定する。
　そして、衝突判定部１０３は、衝突判定の結果残った光線、すなわち、衝突しないと判定された光線を、輝度割り当て部１０４に供給する。
　なお、衝突判定部１０３は、衝突判定の結果残った光線には、その光線を発した実空間点(x,y,z)に対応する視差d=Dを割り当て、衝突すると判定された光線には、その光線が衝突した視差登録位置に対応する視差d=D'を割り当てる。
　衝突判定の後、ある実空間点(x,y,z)から発せられた光線が、物体に衝突せずに、仮想レンズに入射するかどうかは、その光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致するかどうかで認識することができる。
　すなわち、光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致する場合、その光線は、物体に衝突せずに、仮想レンズに入射する。一方、光線に割り当てられた視差が、その光線を発した実空間点(x,y,z)の視差に一致しない場合、その光線は、光線に割り当てられた視差に対応する奥行きの位置で、物体に衝突し、仮想レンズには届かない。
　輝度割り当て部１０４は、多層視差マップと、撮影画像HD#iとを用いて、衝突判定部１０３からの、衝突判定の結果残った光線に、輝度を割り当てる。
　すなわち、輝度割り当て部１０４は、７視点の撮影画像HD1ないしHD7のそれぞれについて、衝突判定の結果残った光線を発する実空間点(x,y,z)に対応する対応画素を求める。
　さらに、輝度割り当て部１０４は、視差マップを参照することにより、撮影画像HD1ないしHD7の対応画素の中で、実空間点(x,y,z)の奥行きzに対応する視差d=Dと一致する視差が登録されている画素を、輝度の割り当てに用いる光線輝度割り当て用画素として検出する。
　そして、輝度割り当て部１０４は、光線輝度割り当て用画素の画素値としてのR(Red),G(Green),B(Blue)の値を用いて、光線に輝度を割り当てる。
　すなわち、輝度割り当て部１０４は、例えば、光線輝度割り当て用画素の画素値（R,G,Bの値）の平均値を、光線の輝度として、光線に割り当てる。
　以上のように、実空間点(x,y,z)から発せられた光線が、物体に衝突し、仮想レンズに入射しない場合、衝突判定部１０３において、その光線に対し、その光線が衝突した視差登録位置に対応する視差が割り当てられる。
　一方、実空間点(x,y,z)から発せられた光線が、物体に衝突せずに、仮想レンズに入射する場合、衝突判定部１０３において、その光線に対し、その光線を発した実空間点(x,y,z)に対応する視差が割り当てられる。
　さらに、物体に衝突せずに、仮想レンズに入射する光線に対しては、輝度割り当て部１０４において、輝度としての画素値（R,G,Bの値）が割り当てられる。
　図３２は、図２７の入射光線再現部３６が行う入射光線再現処理で得られる最大数のデータを模式的に示す図である。
　いま、基準画像HD1が、N個の画素pix1，pix2，...，pix#Nで構成され、視差マップ（多層視差マップ）に登録し得る視差dが、最小値Dminから最大値Dmaxまでの、1画素刻みの、DPN=Dmax-Dmin+1個の整数値であるとする。
　この場合、入射光線再現処理では、最大で、図３２に示すように、N個の画素pix1，pix2，...，pix#Nのうちの任意の画素pix#nと、DPN個の視差Dmin，Dmin+1，...，Dmaxのうちの任意の視差dとの組み合わせ（pix#n，d）に対応する実空間点に対して、画素値テーブルが登録される。
　組み合わせ（pix#n，d）に対応する実空間点に対する画素値テーブルには、図３２に示すように、組み合わせ（pix#n，d）に対応する実空間点から、レンズエリア（図３０）のLx×Ly個のレンズエリアユニットのうちの、左からi番目で、上からj番目のレンズエリアユニット(i,j)に向かう光線に割り当てられた視差Dが登録される。
　さらに、組み合わせ（pix#n，d）に対応する実空間点から、レンズエリアユニット(i,j)に向かう光線に、輝度としてのR,G,Bの値が割り当てられている場合には、組み合わせ（pix#n，d）に対応する実空間点に対する画素値テーブルには、その輝度としてのR,G,Bの値が登録される。
　図３３は、図２７の入射光線再現部３６が行う入射光線再現処理の例を説明するフローチャートである。
　ステップＳ１０１において、入射光線再現部３６（図２７）の実空間点選択部１０１、衝突判定部１０３、及び、輝度割り当て部１０４は、視差情報生成部３１から、視差マップを取得し、処理は、ステップＳ１０２に進む。
　ステップＳ１０２では、実空間点選択部１０１は、基準画像HD1の画素のうちの、まだ、注目画素に選択していない画素の１つを、注目画素に選択し、処理は、ステップＳ１０３に進む。
　ステップＳ１０３では、実空間点選択部１０１は、視差情報生成部３１からの視差マップ（多層視差マップ）を参照し、注目画素に登録されている視差のうちの、まだ、注目視差に選択していない視差の１つを、注目視差に選択し、処理は、ステップＳ１０４に進む。
　ステップＳ１０４では、実空間点選択部１０１は、注目視差の注目画素（注目視差がある注目画素）に対応する実空間点(x,y,z)=(x0,y0,z0)を、注目実空間点に選択し、光線生成部１０２に供給して、処理は、ステップＳ１０５に進む。
　ステップＳ１０５では、光線生成部１０２は、仮想レンズのレンズエリアユニット（図３０）のうちの、まだ、注目レンズエリアユニットに選択していないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ１０６に進む。
　ステップＳ１０６では、光線生成部１０２は、注目実空間点(x0,y0,z0)から、注目レンズエリアユニットの中心点(lx,ly,0)に向かう光線（を表す直線式）を、注目光線として生成し、衝突判定部１０３に供給して、処理は、ステップＳ１０７に進む。
　ここで、注目実空間点(x0,y0,z0)から、注目レンズエリアユニットの中心点(lx,ly,0)に向かう光線としての直線は、式(x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0で表される。
　ステップＳ１０７では、衝突判定部１０３は、光線生成部１０２からの注目光線を対象とした衝突判定を行い、処理は、ステップＳ１０８に進む。
　ステップＳ１０８では、輝度割り当て部１０４は、衝突判定部１０３での衝突判定の判定結果（衝突判定結果）に基づき、注目光線が衝突するかどうかを判定する。
　ステップＳ１０８において、注目光線が衝突しないと判定された場合、すなわち、衝突判定部１０３によるステップＳ１０７での衝突判定において、注目光線に、注目実空間点に対応する視差（注目視差）に等しい視差が割り当てられた場合、処理は、ステップＳ１０９に進む。
　ステップＳ１０９では、輝度割り当て部１０４は、注目光線に輝度を割り当てる光線輝度割り当てを行い、集光処理部３８に供給して、処理は、ステップＳ１１０に進む。
　一方、ステップＳ１０８において、注目光線が衝突すると判定された場合、すなわち、衝突判定部１０３によるステップＳ１０７での衝突判定において、注目光線に、注目実空間点に対応する視差（注目視差）に等しくない視差が割り当てられた場合、処理は、ステップＳ１０９をスキップして、ステップＳ１１０に進む。
　したがって、注目光線が衝突する場合、その注目光線については、ステップＳ１０９の光線輝度割り当ては行われない。
　ステップＳ１１０では、光線生成部１０２は、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定する。
　ステップＳ１１０において、まだ、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定された場合、処理は、ステップＳ１０５に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１１０において、仮想レンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ１１１に進む。
　ステップＳ１１１では、実空間点選択部１０１は、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ１１１において、まだ、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１１１において、多層視差マップにおいて注目画素に登録されている視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、実空間点選択部１０１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ１１２において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１０２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１１２において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、入射光線再現処理は終了する。
　図３４は、図３３のステップＳ１０７の衝突判定の処理の例を説明するフローチャートである。
　ステップＳ１２１において、衝突判定部１０３は、衝突判定用の判定用視差dを、初期値としての最大値Dmaxに設定し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２では、衝突判定部１０３は、判定用視差dに対応する奥行き（距離）Zを求め、処理は、ステップＳ１２３に進む。
　ステップＳ１２３では、衝突判定部１０３は、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しいかどうかを判定する。
　ステップＳ１２３において、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しくないと判定された場合、処理は、ステップＳ１２４に進む。
　ステップＳ１２４以降では、注目実空間点(x0,y0,z0)から注目レンズエリアユニットの中心点(lx,ly,0)に向かう注目光線が、判定用視差dに対応する奥行きZで、物体に衝突するかどうかが確認される。
　すなわち、ステップＳ１２４では、衝突判定部１０３は、式z=Zで表される平面、すなわち、奥行きZの位置にある光軸に垂直な平面を、衝突判定用の平面としての判定層に設定し、処理は、ステップＳ１２５に進む。
　ここで、視差dに対応する奥行き（距離）Zにある光軸に垂直な、式z=Zで表される平面を、以下、z=Zの視差平面ともいう。ステップＳ１２４では、z=Zの視差平面が、判定層に設定される。
　ステップＳ１２５では、衝突判定部１０３は、注目光線と判定層との交点(Px,Py,Z)を求め、処理は、ステップＳ１２６に進む。
　ここで、図３３で説明したように、注目光線としての直線は、(x-lx)/(x0-lx)=(y-ly)/(y0-ly)=z/z0で表される。
　したがって、注目光線のx座標とy座標とは、それぞれ、式x=z/z0(x0-lx)+lxと、式y=z/z0(y0-ly)+lyとで表される。
　式x=z/z0(x0-lx)+lx、及び、式y=z/z0(y0-ly)+lyのzに、Zを代入することで、式z=Zで表される判定層上の注目光線のx座標及びy座標、すなわち、注目光線と判定層との交点(Px,Py,Z)のx座標Px及びy座標Pyを求めることができる。
　したがって、x座標Px及びy座標Pyは、それぞれ、式x=Z/z0(x0-lx)+lx、及び、式y=Z/z0(y0-ly)+lyに従って求めることができる。
　ステップＳ１２６では、衝突判定部１０３は、注目光線と判定層との交点(Px,Py,Z)に対応する基準画像の画素（以下、交点画素ともいう）を求め、処理は、ステップＳ１２７に進む。
　ステップＳ１２７では、衝突判定部１０３は、多層視差マップにおいて、交点画素（の位置）に、判定用視差dが登録されているかどうか（交点画素に登録されている視差が判定用視差dに等しいかどうか）を判定する。
　ステップＳ１２７において、交点画素に、判定用視差dが登録されていないと判定された場合、すなわち、注目光線と判定層との交点(Px,Py,Z)に、物体がなく、注目光線が、交点(Px,Py,Z)で衝突しない場合、処理は、ステップＳ１２８に進む。
　ステップＳ１２８では、衝突判定部１０３は、判定用視差dを1だけデクリメントして（減少させて）、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
　ここで、ステップＳ１２８において、判定用視差dがデクリメントされることで、判定層は、視差の最大値Dmaxに対応する、仮想レンズに最も近い位置から、注目実空間点(x0,y0,z0)に向かって移動していく。
　また、ステップＳ１２７において、交点画素に、判定用視差dが登録されていると判定された場合、すなわち、注目光線と判定層との交点(Px,Py,Z)に、物体があり、注目光線が、交点(Px,Py,Z)で衝突する場合、処理は、ステップＳ１２９に進む。
　ステップＳ１２９では、衝突判定部１０３は、注目光線が、仮想レンズに到達する前に、物体に衝突する旨の衝突判定結果を表すために、注目光線に、判定用視差dを割り当て、処理はリターンする。
　一方、ステップＳ１２３において、判定用視差dに対応する奥行きZが、注目実空間点(x0,y0,z0)の奥行きz0に等しいと判定された場合、すなわち、視差の最大値Dmaxに対応する、仮想レンズに最も近い位置から、注目実空間点(x0,y0,z0)までの間、注目光線が、物体に衝突しなかった場合、処理は、ステップＳ１３０に進む。
　ステップＳ１３０では、衝突判定部１０３は、注目光線が、仮想レンズに到達するまでに、物体に衝突しない旨の衝突判定結果を表すために、注目光線に、注目視差（この時点での判定用視差dでもある）、すなわち、注目実空間点(x0,y0,z0)に対応する視差dを割り当て、処理はリターンする。
　なお、図３４では、視差の最大値Dmaxを初期値とするとともに、注目実空間点(x0,y0,z0)に対応する視差をゴールとして、判定用視差を、初期値からゴールとなる視差までデクリメントすることとしたが、判定用視差は、視差の最大値Dmaxから、注目実空間点(x0,y0,z0)に対応する視差までの範囲に亘り、どのように値を変えても良い。
　図３５は、図３３のステップＳ１０９の光線輝度割り当ての処理の例を説明するフローチャートである。
　ステップＳ１３１において、輝度割り当て部１０４は、７視点の撮影画像HD1ないしHD7のそれぞれから、注目実空間点(x0,y0,z0)に対応する対応画素を検出し、処理は、ステップＳ１３２に進む。
　ステップＳ１３２では、輝度割り当て部１０４は、例えば、撮影画像HD1ないしHD7それぞれの視差マップを参照することにより、撮影画像HD1ないしHD7の対応画素の中で、注目実空間点(x0,y0,z0)の奥行きz0に対応する視差d、すなわち、注目視差と一致する視差が登録されている画素を、輝度の割り当てに用いる光線輝度割り当て用画素として検出し、処理は、ステップＳ１３３に進む。
　ステップＳ１３３では、輝度割り当て部１０４は、例えば、光線輝度割り当て用画素の画素値（R,G,Bの値）の平均値を、光線の輝度として、注目光線に割り当て、処理はリターンする。
　以上のように、入射光線再現部３６（図２７）では、光線生成部１０２において、多層マップに視差が登録されている実空間点、つまり、撮影装置１１が撮影を行う実空間に存在する物体上の点から、その撮影装置１１を構成する７視点のカメラユニット２１1ないし２１7を合成開口とする仮想レンズに入射する光線としての直線が生成される。すなわち、入射光線再現部３６では、実空間点から仮想レンズに入射する光線として、その光線を幾何学的に記述する直線が求められる。
　さらに、入射光線再現部３６では、衝突判定部１０３において、光線が、仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定が行われる。
　そして、入射光線再現部３６では、輝度割り当て部１０４において、カメラユニット２１1ないし２１7で撮影された７視点の撮影画像HD1ないしHD7を用いて、衝突判定の結果残った光線に輝度が割り当てられる。
　したがって、７視点の撮影画像HD1ないしHD7を用いて、仮想レンズ、ひいては、エミュレーションレンズに入射する光線群を再現することができる。
　すなわち、エミュレーションレンズを構成する、例えば、いわゆる前玉のレンズを、仮想レンズに対応させることで、仮想レンズに入射する光線群は、エミュレーションレンズに入射する光線群ともなる。したがって、仮想レンズに入射する光線群を再現することにより、エミュレーションレンズに入射する光線群を再現することができる。
　その結果、エミュレーションレンズに入射する光線群が、そのエミュレーションレンズで集光されることで生じるぼけ味を、後述する集光処理で再現することが可能となる。
　＜レンズ情報の生成＞
　図３６は、図３のエミュレーションレンズ情報生成部３７で生成されるレンズ情報を説明する図である。
　レンズ情報（エミュレーションレンズ情報）としては、PSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報がある。
　PSF強度分布は、エミュレーションレンズの、点光源から発せられる光線に対する応答を表す。
　像面ピッチは、PSF強度分布のスケールを表す。
　PSF角度成分情報は、点光源から発せられる光線が、エミュレーションレンズを介して到達するPSF強度分布の位置を表す。
　像面シフト情報は、実空間点から発せられる光線のうちの、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置である像面シフト位置を表す。
　図３７は、レンズ情報を生成する対象となる実空間点とフォーカス位置とを説明する図である。
　すなわち、図３７は、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略の側面図である。
　レンズ情報は、エミュレーションレンズを通過する光線を規定する情報であり、その光線は、実空間点から発せられる。
　また、エミュレーションレンズを通過する光線は、仮想センサ上に集光されるが、光線の集光の仕方は、エミュレーションレンズのフォーカス位置（焦点距離）fによって異なる。
　したがって、レンズ情報は、エミュレーションレンズのフォーカス位置fごとに、最大で、画像処理装置１２（図３）で扱うべき実空間点の最大数（以下、最大実空間点数ともいう）に等しい数だけ生成することができる。
　いま、図３２で説明したように、基準画像HD1が、N個の画素pix1，pix2，...，pix#Nで構成され、視差マップ（多層視差マップ）に登録し得る視差dが、最小値Dminから最大値Dmaxまでの、1画素刻みの、DPN=Dmax-Dmin+1個の整数値であるとする。
　この場合、最大実空間点数は、N×DPN個になる。
　また、いま、エミュレーションレンズのフォーカス位置fとして、f1，f2，...，f#FmaxのFmax個の位置を取り得ることとする。
　この場合、レンズ情報は、最大で、Fmax×N×DPN個だけ生成することができる。
　ここで、本実施の形態では、仮想センサのサイズ（スケール）は、エミュレーションレンズに基づいて規定する。
　例えば、エミュレーションレンズが、35mmフルサイズのイメージセンサ用の光学レンズである場合、そのようなエミュレーションレンズに基づいて、仮想センサのサイズは、35mmフルサイズに設定される。すなわち、仮想センサの横及び縦のサイズは、例えば、それぞれ、36mm及び24mmに設定される。
　さらに、本実施の形態では、仮想センサのピクセルピッチは、基準画像の画素数（解像度）に基づいて、仮想センサが、基準画像の画素数と同一の画素数（又は、基準画像の画素数未満の画素数）を有するように規定する。
　例えば、エミュレーションレンズが、35mmフルサイズのイメージセンサ用の光学レンズであり、基準画像の水平方向の画素数が、Nx画素である場合、上述のように仮想センサの横のサイズは36mmであるので、仮想センサのピクセルピッチは、36mm/Nxとなる。
　なお、ある実空間点(X,Y,Z)は、奥行きz=Zに対応する視差d=Dがある、基準画像のある画素に対応する。
　また、仮想センサのピクセルピッチは、基準画像の画素数（解像度）に基づいて規定するので、仮想センサの画素は、基準画像の画素に対応させることができる。仮想センサが、基準画像の画素数と同一の画素数を有する場合には、基準画像の画素と、その画素と同一の位置にある仮想センサの画素とが対応する。
　さらに、基準画像のある画素の視差を、そのまま、その画素に対応する仮想センサの画素の視差として採用すると、実空間点(X,Y,Z)は、奥行きz=Zに対応する視差d=Dがある、仮想センサのある画素に対応する。
　この場合、ある実空間点に対するレンズ情報は、その実空間点に対応する仮想センサの画素（位置）と視差との組み合わせに対するレンズ情報であるとみなすことができる。
　図３８は、ある光学レンズのPSF強度分布の例を示す図である。
　図３８において、水平方向は、光学レンズのフォーカス位置fを表し、垂直方向は、光学レンズからの光が結像する結像面上の結像位置の、光学中心からの距離である像高を表す。
　ここで、結像面は、仮想センサの面に相当する。また、図３８の水平方向については、左方向は、光学レンズに対して近いフォーカス位置fを表し、右方向は、光学レンズに対して遠いフォーカス位置fを表す。さらに、図３８の垂直方向については、上方向は、小さい像高を表し、下方向は、大きい像高を表す。
　図３８に示すように、PSF強度分布は、光学レンズのフォーカス位置fによって異なる。
　また、PSF強度分布は、結像位置の像高、すなわち、仮想センサの平面上の位置によって、異なる。
　さらに、PSF強度分布は、光学レンズの主点から被写体（ここでは、点光源）までの距離、すなわち、被写体の視差によっても、異なる。
　したがって、PSF強度分布は、例えば、フォーカス位置fと、仮想センサの画素（の位置）と、被写体の視差との組によって異なる。
　図３９は、PSF強度分布を生成する方法の例を説明する図である。
　図３９は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
　エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、PSF強度分布を生成する。
　ここで、仮想センサを構成する画素の最大数Nは、基準画像HD1を構成する画素pix1ないしpix#Nの数Nに等しい。図３７で説明したように、本実施の形態では、説明を簡単にするため、仮想センサは、基準画像HD1と同様に、画素pix1ないしpix#NのN個で構成されることとする。
　エミュレーションレンズ情報生成部３７は、実空間点に対して、点光源を設定し、その実空間点に設定した点光源から発せられる光線を追跡する光線追跡を、エミュレーションレンズのレンズ設計データを用いて行うことにより、PSF強度分布を生成する。
　光線追跡では、点光源から発せられる光線を、入射ベクトルとして、その入射ベクトルと、エミュレーションレンズの最も被写体側の屈折面との交点が算出され、その交点から入射する光線としての入射ベクトルが屈折面で屈折されて射出されるベクトルが、射出ベクトルとして算出される。
　さらに、光線追跡では、射出ベクトルを、次の屈折面への入射ベクトルとして、その入射ベクトルと、次の屈折面との交点が算出される。
　光線追跡では、以上の処理が、エミュレーションレンズの最後の屈折面まで繰り返される。
　そして、エミュレーションレンズ情報生成部３７では、エミュレーションレンズの最後の屈折面から射出された射出ベクトルを、仮想センサ上で観測し、その観測の結果得られる射出ベクトルとしての光線の光強度を記録することで、PSF強度分布が生成される。
　いま、エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられる主光線、すなわち、実空間点から発せられる光線のうちの、エミュレーションレンズの主点Oを通る光線である主光線が仮想センサに到達する位置を中心（重心）とする矩形のエリアを、分布エリアということとする。
　分布エリアとしては、例えば、実空間点から発せられる主光線を中心とする矩形のエリアであって、実空間点から発せられる光線がエミュレーションレンズを介して到達する仮想センサ上の点を囲む最小の（又は最小に近い）矩形のエリアを採用することができる。さらに、分布エリアは、横×縦がPX×PYの解像度で、情報の記録が可能なエリアになっていることとする。PX及びPYとしては、例えば、255を採用することができる。
　エミュレーションレンズ情報生成部３７は、PSF強度分布となる光強度を、分布エリアに、横×縦がPX×PYの解像度で記録することで、PSF強度分布を生成する。
　図４０は、エミュレーションレンズ情報生成部３７で生成されるPSF強度分布を模式的に示す図である。
　図３９で説明したように、PSF強度分布は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
　いま、例えば、図４０に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF強度分布を登録したテーブルを、フォーカス位置fの強度分布テーブルということとする。
　エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの強度分布テーブルが生成される。
　強度分布テーブルに登録されるPSF強度分布は、図３９で説明したように、分布エリアに、横×縦がPX×PYの解像度で記録されている。
　したがって、PSF強度分布を配列に記録する場合、そのPSF強度分布の配列の数は、最大で、Fmax×N×DPN×PX×PYになる。
　ここで、分布エリアにおいて、PSF強度分布の１の光強度が記録される単位（PSF強度分布のサンプリングの単位）を、分布エリアユニットということとする。分布エリアユニットは、例えば、正方形のエリアとして観念することができる。
　分布エリアは、図３９で説明したように、実空間点から発せられる光線が到達する仮想センサ上の点を囲む最小の矩形のエリアであるため、可変のサイズになっている。
　また、図３８で説明したように、PSF強度分布は、フォーカス位置fや、結像位置の像高（実空間点（点光源）と光軸との距離）、被写体（実空間点（点光源））までの距離（視差）によって異なる。
　そして、そのようなPSF強度分布を囲む最小の分布エリアのサイズ（スケール）も、PSF強度分布ごとに異なる。
　集光処理では、後述するように、サイズの異なる分布エリアに記録されたPSF強度分布に応じた、仮想センサ上に結像する光線の結像値を加算することで、エミュレーション画像が生成される。
　PSF強度分布に応じた結像値を加算するにあたっては、サイズの異なる分布エリアに記録されたPSF強度分布に応じた結像値の分布のスケールを、仮想センサのスケールに一致させる必要がある。そして、そのためには、PSF強度分布のスケールを表す情報が必要となる。
　そこで、エミュレーションレンズ情報生成部３７は、PSF強度分布が記録された分布エリアを構成する分布エリアユニットのサイズ（ピッチ）である像面ピッチを、PSF強度分布のスケールを表す情報として求める。
　いま、像面ピッチがIPであり、仮想センサの画素ピッチがPPであるとすると、集光処理では、PSF強度分布から求められる光線の結像値の分布が、IP/PP倍に縮小（又は拡大）され、仮想センサ上で加算される。
　なお、PSF強度分布は、可変のサイズではなく、固定のサイズの分布エリアに、PX×PYの解像度で記録することができる。
　PSF強度分布を、可変のサイズではなく、固定のサイズの分布エリアとする場合には、像面ピッチは、その固定のサイズの１つだけで済む。
　但し、分布エリアの固定のサイズは、少なくとも、分布が、仮想センサ上の主光線の到達位置から最も広がるPSF強度分布に合わせる必要が生じるので、分布が狭いPSF強度分布の解像度が劣化する。
　図４１は、エミュレーションレンズ情報生成部３７で生成される像面ピッチを模式的に示す図である。
　像面ピッチは、１のPSF強度分布ごとに生成される。
　いま、例えば、図４１に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF強度分布の像面ピッチを登録したテーブルを、フォーカス位置fの像面ピッチテーブルということとする。
　エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの像面ピッチテーブルが生成される。
　したがって、像面ピッチを配列に記録する場合、その像面ピッチの配列の数は、最大で、Fmax×N×DPNになる。
　図４２は、PSF角度成分情報を生成する方法の例を説明する図である。
　すなわち、図４２は、エミュレーションレンズを正面（被写体側）から見た正面図である。
　エミュレーションレンズ情報生成部３７は、例えば、図３０で説明した光線生成部１０２が光線の生成の際に、仮想レンズに対して行うのと同様の処理を、エミュレーションレンズに対して行う。
　すなわち、エミュレーションレンズ情報生成部３７は、エミュレーションレンズの、例えば、前玉を含むエリアをレンズエリアとして設定する。
　図４２では、エミュレーションレンズの前玉を囲む、例えば、最小の矩形のエリアが、レンズエリアに設定されている。
　エミュレーションレンズ情報生成部３７は、レンズエリア（で囲まれるエミュレーションレンズ）を、小領域であるレンズエリアユニットに分割する。そして、エミュレーションレンズ情報生成部３７は、実空間点を点光源とみなして、その点光源としての実空間点から、各レンズエリアユニットに入射する光線が、エミュレーションレンズを介して到達するPSF強度分布の位置を表すPSF角度成分情報を求める。
　図４２では、図３０の仮想レンズの場合と同様に、レンズエリアは、水平方向がLx個で、垂直方向がLy個の、合計で、Lx×Ly個のレンズエリアユニットに分割されている。
　図４２でも、図３０の場合と同様に、エミュレーションレンズを囲むレンズエリアを、レンズエリアユニットに分割する水平方向の直線と垂直方向の直線との交点である格子点を、格子点LP#i(i=1,2,...,(Lx+1)(Ly+1))とも記載する。
　ここで、本実施の形態では、説明を簡単にするため、径が、仮想レンズ（の合成開口）とエミュレーションレンズの前玉（の開口）とで一致しており、レンズエリアのサイズ、及び、レンズエリアの分割数Lx×Lyも、仮想レンズとエミュレーションレンズとで一致していることとする。
　なお、集光処理は、エミュレーションレンズに入射する光線を用いて行われるため、仮想レンズの径が、エミュレーションレンズの径以上の径であれば良い。
　また、仮想レンズに入射する光線と、エミュレーションレンズに入射する光線とを対応させるため、仮想レンズのレンズエリアユニットと、エミュレーションレンズのレンズエリアユニットと（のサイズ）は、一致させることとする。
　図４３は、PSF角度成分情報を生成する方法の例を説明する図である。
　図４３は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
　エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、PSF角度成分情報を生成する。
　エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられ、エミュレーションレンズの格子点LP#iに入射する光線が、仮想センサに到達する到達点AP#iを求める。
　そして、エミュレーションレンズ情報生成部３７は、仮想センサの到達点AP#iを、PSF強度分布（の分布エリア）上の点に換算した分布エリア到達点AP#i（光線が到達する分布エリアユニット）と、格子点LP#iとの（位置の）セットを、PSF角度成分情報として求める。
　なお、実空間点から発せられ、エミュレーションレンズに入射する光線は、必ずしも、仮想センサに到達するとは限らない。すなわち、エミュレーションレンズに入射する光線の中には、図４３において点線の矢印で示すように、仮想センサに到達しない（仮想センサで受光されない）光線が存在する。
　図４４は、PSF角度成分情報の詳細を説明する図である。
　エミュレーションレンズ情報生成部３７は、エミュレーションレンズのレンズエリアユニットの4個の頂点である4個の格子点LP#i1，LP#i2，LP#i3，LP#i4それぞれについて、実空間点から発せられ、格子点LP#i1，LP#i2，LP#i3，LP#i4をそれぞれ通って到達するPSF強度分布上の到達点である分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4を求める。
　そして、エミュレーションレンズ情報生成部３７は、エミュレーションレンズのレンズエリアユニットの4個の頂点である4個の格子点LP#i1，LP#i2，LP#i3，LP#i4と、分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4とのセットを、4個の格子点LP#i1，LP#i2，LP#i3，LP#i4を頂点とするレンズエリアユニットを通る光線が到達するPSF強度分布のエリア（位置）を表すPSF角度成分情報として生成する。
　結局、PSF角度成分情報は、エミュレーションレンズの格子点LP#iに入射する光線が、エミュレーションレンズを介して、分布エリア到達点AP#iに到達する場合の、その分布エリア到達点AP#iと、格子点LP#iとのセットになる。
　ここで、レンズエリアユニットを通る光線が到達するPSF強度分布のエリアを、対応エリアともいう。
　図４４では、対応エリアは、分布エリア到達点AP#i1，AP#i2，AP#i3，AP#i4を頂点とする四角形の領域である。
　分布エリア到達点AP#iの粒度（解像度）は、PSF強度分布が記録された分布エリアの分布エリアユニット（図４０）の大きさとなる。すなわち、分布エリア到達点AP#iは、分布エリアの、ある分布エリアユニットの位置を表す。
　図４５は、エミュレーションレンズ情報生成部３７で生成されるPSF角度成分情報を模式的に示す図である。
　PSF角度成分情報は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
　いま、例えば、図４５に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対するPSF角度成分情報を登録したテーブルを、フォーカス位置fのPSF角度成分情報テーブルということとする。
　エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれのPSF角度成分情報テーブルが生成される。
　PSF角度成分情報テーブルに登録されるPSF角度成分情報は、エミュレーションレンズの格子点LP#iと、その格子点LP#iに入射する光線がエミュレーションレンズを介して到達するPSF強度分布の分布エリア上の分布エリア到達点AP#iとのセットである。
　本実施の形態では、図４２で説明したように、エミュレーションレンズのレンズエリアは、PX×PY個のレンズエリアユニットに分割されるので、格子点LP#iの数は、(Lx+1)(Ly+1)個になる。
　したがって、PSF角度成分情報を配列に記録する場合、そのPSF角度成分情報の配列の数は、最大で、Fmax×N×DPN×(PX+1)×(PY+1)になる。
　図４６は、像面シフト情報を説明する図である。
　図４６は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
　本実施の形態では、仮想レンズと、エミュレーションレンズの前玉とを対応させ、入射光線再現部３６において、仮想レンズに入射する光線を、エミュレーションレンズに入射する光線として再現する。
　しかしながら、エミュレーションレンズは、一般に、複数のレンズを有するため、仮想レンズと、エミュレーションレンズとでは、入射瞳の（z方向の）位置にずれが生じる。
　そのため、仮想センサにおいて、仮想レンズを介して観察される画像と、エミュレーションレンズを介して観察される画像とが異なることがある。
　図４６のＡは、仮想センサにおいて、仮想レンズを介して観察される画像の例を説明する図である。
　図４６のＡでは、仮想レンズに対して、実空間内の物体obj1から発せられる主光線としての直線と、その物体obj2よりも手前側にある物体obj2から発せられる主光線としての直線とが、重なっている。
　そのため、物体obj1の、仮想レンズに対する像面シフト位置、すなわち、物体obj1から発せられる主光線が仮想レンズを介して到達する仮想センサ上の位置である像面シフト位置と、物体obj2の、仮想レンズに対する像面シフト位置とは一致する。
　その結果、仮想センサにおいて、物体obj2は観察されるが、その物体obj2よりも奥側にある物体obj1は、物体obj2に隠れて観察されない。
　図４６のＢは、仮想センサにおいて、エミュレーションレンズを介して観察される画像の例を説明する図である。
　図４６のＢにおいて、物体obj1及びobj2は、図４６のＡの場合と同一の位置にある。
　エミュレーションレンズについては、入射瞳の位置、ひいては、主点が、仮想レンズとの間でずれている。そのため、エミュレーションレンズに対しては、実空間内の物体obj1から発せられる主光線としての直線と、その物体obj2よりも手前側にある物体obj2から発せられる主光線としての直線とが、重ならずにずれる。
　したがって、物体obj1の、エミュレーションレンズに対する像面シフト位置と、物体obj2の、エミュレーションレンズに対する像面シフト位置とが一致しないので、仮想センサにおいて、物体obj2と、その物体obj2よりも奥側にある物体obj1との両方が観察される。
　以上のように、仮想レンズとエミュレーションレンズとの入射瞳の位置のずれに起因して、実空間点の像面シフト位置が、仮想レンズとエミュレーションレンズとで異なる。
　そこで、エミュレーションレンズ情報生成部３７は、エミュレーションレンズの集光を正確に再現すべく、エミュレーションレンズに対する像面シフト位置を表す像面シフト情報を、レンズ情報の1つとして生成する。
　ここで、像面シフト情報は、仮想レンズとエミュレーションレンズとの入射瞳の位置のずれを補正する情報であるということができ、かかる観点からは、像面シフト情報は、入射瞳補正情報であるということができる。
　図４７は、像面シフト情報を生成する方法の例を説明する図である。
　図４７は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
　エミュレーションレンズ情報生成部３７は、最大で、Fmax個のフォーカス位置fそれぞれについて、最大実空間点数N×DPNの実空間点、すなわち、仮想センサを構成する画素の最大数Nと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する実空間点に対して、像面シフト情報を生成する。
　エミュレーションレンズ情報生成部３７は、実空間点（の点光源）から発せられ、エミュレーションレンズの主点を通る主光線が、仮想センサに到達する到達点を、像面シフト位置として、その像面シフト位置を表す、例えば、仮想センサの中心からのｘ軸及びy軸方向の座標（距離）を、像面シフト情報として求める。
　図４８は、エミュレーションレンズ情報生成部３７で生成される像面シフト情報を模式的に示す図である。
　像面シフト情報は、最大で、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される。
　いま、例えば、図４８に示すように、横方向を、DPN個の視差dとするとともに、縦方向を、仮想センサを構成するN個の画素pix1ないしpix#Nとして、ある視差dと、ある画素pix#nとの組み合わせに対応する実空間点に対する像面シフト情報を登録したテーブルを、フォーカス位置fの像面シフト情報テーブルということとする。
　エミュレーションレンズ情報生成部３７では、Fmax個のフォーカス位置fそれぞれの像面シフト情報テーブルが生成される。
　したがって、像面シフト情報を配列に記録する場合、その像面シフト情報の配列の数は、最大で、Fmax×N×DPNになる。
　なお、エミュレーションレンズのレンズ情報（PSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報）は、そのエミュレーションレンズのレンズ設計データを用いて、光線追跡等の演算を行うことにより求めることができる他、エミュレーションレンズが、実在する光学レンズである場合には、その光学レンズを用いて、光線を実測することにより求めることができる。
　図４９は、レンズ情報を生成するエミュレーションレンズ情報生成部３７（図３）の構成例を示すブロック図である。
　図４９において、エミュレーションレンズ情報生成部３７は、実空間点選択部１３１、情報算出部１３２、及び、フォーカス位置選択部１３３を有する。
　実空間点選択部１３１は、視差情報生成部３１（図３）からエミュレーションレンズ情報生成部３７に供給される多層視差マップを参照し、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する最大実空間点数N×DPNの実空間点の中から、注目実空間点を選択する。
　情報算出部１３２は、レンズ設計データ取得部３４（図３）からエミュレーションレンズ情報生成部３７に供給されるレンズ設計データを用いて、実空間点選択部１３１で選択された注目実空間点と、フォーカス位置選択部１３３で選択された注目フォーカス位置fとに対するレンズ情報を生成し、集光処理部３８に供給する。
　フォーカス位置選択部１３３は、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択する。
　図５０は、図４９のエミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
　ステップＳ１４１において、フォーカス位置選択部１３３は、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択し、処理は、ステップＳ１４２に進む。
　ここで、本実施の形態では、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報を生成する。注目フォーカス位置の選択は、例えば、ユーザの操作等に応じて行うことができる。また、注目フォーカス位置としては、例えば、あらかじめ決められたデフォルトのフォーカス位置を選択することができる。
　なお、レンズ情報は、注目フォーカス位置だけでなく、Fmax個のフォーカス位置fのそれぞれに対して生成することができる。
　ステップＳ１４２では、実空間点選択部１３１が、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ１４３に進む。
　ステップＳ１４３では、実空間点選択部１３１は、仮想センサの画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１４４に進む。
　ステップＳ１４４では、実空間点選択部１３１は、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ１４５に進む。
　ステップＳ１４５では、実空間点選択部１３１は、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ１４６に進む。
　ステップＳ１４６では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目画素、及び、注目視差のセットに対するレンズ情報であるPSF強度分布、像面ピッチ、PSF角度成分情報、及び、像面シフト情報を、図３９ないし図４８で説明したようにして求め、処理は、ステップＳ１４７に進む。
　ステップＳ１４７では、実空間点選択部１３１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ１４７において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１４４に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１４７において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１４８に進む。
　ステップＳ１４８では、実空間点選択部１３１は、仮想センサの画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ１４８において、まだ、仮想センサの画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１４３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１４８において、仮想センサの画素のすべてを、注目画素に選択したと判定された場合、エミュレーションレンズ情報生成処理は終了する。
　＜集光処理＞
　図５１は、図３の集光処理部３８で行われる集光処理の概要を説明する図である。
　図５１は、図３７と同様に、仮想レンズとしての撮影装置１１を構成するカメラユニット２１iで撮影される実空間を、撮影装置の正面に対して右から見た場合の概略を示している。
　集光処理部３８は、エミュレーションレンズ情報生成部３７からのレンズ情報を用いて、入射光線再現部３６から供給される光線のうちの衝突判定の結果残った光線が、エミュレーションレンズを介して仮想センサに結像する際の結像値を求め、仮想センサ上に加算する処理を、集光処理として行う。
　図５２は、集光処理のうちの、結像値を求める処理の例を説明する図である。
　なお、図５２では、図が煩雑になるのを避けるため、エミュレーションレンズのレンズエリアが、5×5個のレンズエリアユニットに分割されている。
　図４３で説明したように、実空間点から発せられ、エミュレーションレンズに入射する光線は、必ずしも、仮想センサに到達するとは限らない。すなわち、エミュレーションレンズに入射する光線の中には、仮想センサに到達する光線と、仮想センサに到達しない光線とが存在する。
　いま、実空間点から発せられ、エミュレーションレンズに入射する光線の中で、仮想センサに到達する光線が入射するレンズエリアユニットの領域を、有効光線領域ということとする。
　図５２では、ある実空間点(x,y,z)から発せられる光線について、5×5個のレンズエリアユニットのうちの、中央部分の3×3個のレンズエリアユニットrp1ないしrp9が、有効光線領域になっている。
　また、図５２では、実空間点(x,y,z)から発せられ、レンズエリアの格子点p#iを通る光線が到達する分布エリア到達点が、PSF強度分布が記録された分布エリアの分布エリアユニットq#iになっている。
　実空間点(x,y,z)から発せられ、レンズエリアの格子点p#iを通る光線が到達する分布エリア到達点となる分布エリアユニットq#iは、PSF角度成分情報から認識することができる。
　図５２では、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1を通る光線BLが、PSF強度分布（が記録された分布エリア）の対応エリアrq1に到達している。
　ここで、レンズエリアユニットrp1は、格子点p1，p2，p5，p6を頂点とするレンズエリアユニットである。
　また、図５２では、実空間点(x,y,z)から発せられ、格子点p1，p2，p5，p6を通る光線は、PSF強度分布が記録された分布エリアの分布エリアユニットq1，q2，q5，q6にそれぞれ到達する。この分布エリアユニットq1，q2，q5，q6を頂点とする領域が、対応エリアrq1である。
　PSF角度成分情報によれば、実空間点(x,y,z)から発せられ、格子点p1，p2，p5，p6を通る光線は、PSF強度分布が記録された分布エリアの分布エリアユニットq1，q2，q5，q6にそれぞれ到達することが認識される。その結果、格子点p1，p2，p5，p6を頂点とするレンズエリアユニットrp1を通る光線BLが、分布エリアユニットq1，q2，q5，q6を頂点とする対応エリアrq1に到達することが認識される。
　図５２では、対応エリアrq#jは、実空間点(x,y,z)から発せられ、レンズエリアユニットrp#jを通る光線の対応エリアになっている。
　集光処理部３８は、PSF角度成分情報を用いて、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1を通る光線BLについて、その光線BLが到達する対応エリアrq1を特定する。
　そして、集光処理部３８は、光線BLに割り当てられている輝度と、対応エリアrq1内のPSF強度分布、すなわち、対応エリアrq1を構成する分布エリアユニット（の位置）それぞれに記録されているPSF強度分布との積を、光線BLがエミュレーションレンズを介して仮想センサに結像する際の結像値として求める。
　以上のように、光線BLの結像値は、光線BLに割り当てられている輝度と、対応エリアrq1を構成する分布エリアユニットそれぞれに記録されているPSF強度分布との積であるので、分布エリアユニットを粒度とする分布となる。
　集光処理部３８は、実空間点(x,y,z)から発せられ、レンズエリアユニットrp1以外のレンズエリアユニットを通る光線についても、同様にして、結像値を求める。
　なお、実空間点(x,y,z)から発せられ、5×5個のレンズエリアユニットにそれぞれ入射する光線については、それらの光線のうちの、有効光線領域になっていないレンズエリアユニットに入射する光線（以下、非有効光線ともいう）は、仮想センサに到達しない。そのため、非有効光線が入射するレンズエリアユニットについては、その非有効光線が到達する対応エリアが存在しない。したがって、結像値は、有効光線領域になっているレンズエリアユニットrp1ないしrp9を通る光線についてだけ求めることができる。
　図５３は、集光処理のうちの、結像値を求める処理の他の例を説明する図である。
　なお、図５３において、図５２と対応する部分については、同一の符号を付してある。
　図５３では、5×5個のレンズエリアユニットの、有効光線領域になっている中央部分の3×3個のレンズエリアユニットrp1ないしrp9のうちの、レンズエリアユニットrp7ないしrp9には、実空間点(x,y,z)から発せられた光線が、その実空間点(x,y,z)よりも手前にある物体に遮られることによって到達しない。
　このため、図５３では、実質的に、有効光線領域になっているレンズエリアユニットrp1ないしrp9のうちの、実空間点(x,y,z)から発せられた光線が到達するレンズエリアユニットrp1ないしrp6それぞれを通る光線についてだけ、結像値（の分布）が求められる。
　図５４は、集光処理のうちの、結像値（の分布）を、仮想センサ上に加算する処理の例を説明する図である。
　図５２で説明したように、実空間点(x,y,z)から発せられる光線の結像値は、分布エリアユニットを粒度とする分布になる。いま、説明を分かりやすくするために、実空間点(x,y,z)から発せられる光線の結像値の分布が、その結像値を求めるのに用いられたPSF強度分布が記録された分布エリアに記録されていることとする。すなわち、実空間点(x,y,z)から発せられる光線の結像値が、その結像値を求めるのに用いられたPSF強度分布が記録された分布エリアに、分布エリアユニット単位で記録されていることとする。
　集光処理部３８は、実空間点(x,y,z)に対する像面ピッチを用いて、その実空間点(x,y,z)から発せられる光線の結像値の分布が記録された分布エリアのスケールを、仮想センサのスケールに一致させるように、分布エリアのスケールを調整する。
　すなわち、像面ピッチがIPであり、仮想センサの画素ピッチがPPであるとすると、集光処理部３８は、光線の結像値の分布が記録された分布エリアを、IP/PP倍に縮小（又は拡大）する処理を、分布エリアのスケールの調整として行う。
　また、集光処理部３８は、実空間点(x,y,z)から発せられる光線が、エミュレーションレンズを介して仮想センサ上に集光する位置の位置合わせを、その実空間点(x,y,z)に対する像面シフト情報が表す像面シフト位置によって行う。
　すなわち、集光処理部３８は、実空間点(x,y,z)から発せられる光線の結像値の分布が記録された、スケールの調整後の分布エリアと仮想センサとの位置合わせを、分布エリアの中心点CPと仮想センサの像面シフト位置とが一致するように行う。
　集光処理部３８は、以上のように、結像値の分布が記録された分布エリアのスケールの調整を行い、かつ、スケールの調整後の分布エリアと仮想センサとの位置合わせを行った上で、分布エリアに分布している結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。
　なお、結像値（が記録された分布エリア）のスケールの調整と、位置合わせとについては、どちらを先に行ってもよいし、同時に行ってもよい。
　図５５は、図３の集光処理部３８の構成例を示すブロック図である。
　図５５において、集光処理部３８は、実空間点選択部１４１、結像値算出部１４２、スケール調整部１４３、結像位置認識部１４４、及び、加算部１４５を有する。
　実空間点選択部１４１は、視差情報生成部３１（図３）から集光処理部３８に供給される多層視差マップを参照し、基準画像HD1を構成するN個の画素pix1ないしpix#Nそれぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応する最大実空間点数N×DPNの実空間点の中から、注目実空間点を選択する。
　結像値算出部１４２は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの、PSF強度分布及びPSF角度成分情報を用いて、入射光線再現部３６から集光処理部３８に供給される光線のうちの、実空間点選択部１３１で選択された注目実空間点から発せられる光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
　スケール調整部１４３は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの像面ピッチを用いて、結像値算出部１４２から供給される結像値の分布が記録された分布エリアのスケールを調整し、結像位置認識部１４４に供給する。
　結像位置認識部１４４は、エミュレーションレンズ情報生成部３４から集光処理部３８に供給されるレンズ情報のうちの像面シフト情報から、エミュレーションレンズを介した光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、スケール調整部１４３からのスケールの調整後の分布エリアとともに、加算部１４５に供給する。
　加算部１４５は、仮想センサとしてのメモリを内蔵し、結像位置認識部１４４からのスケールの調整後の分布エリアと仮想センサとの位置合わせ（結像値を加算する仮想センサ上の位置の認識）を、結像位置認識部１４４からの像面シフト位置によって行う。
　さらに、加算部１４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で（累積）加算する。
　そして、加算部１４５は、仮想センサ、すなわち、メモリ上に得られる結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給する。
　図５６は、図５５の集光処理部３８が行う集光処理の例を説明するフローチャートである。
　なお、本実施の形態では、図５０で説明したように、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報が生成される。そのため、集光処理は、フォーカス位置が、レンズ情報が生成されたときの注目フォーカス位置に設定されていることとして行われる。
　但し、レンズ情報は、Fmax個のフォーカス位置（図３７）のそれぞれに対して、あらかじめ生成しておくことができる。この場合、集光処理部３８では、注目フォーカス位置を設定し、その注目フォーカス位置に対するレンズ情報を用いて、集光処理を行うことができる。
　又は、エミュレーションレンズ情報生成部３７において、集光処理部３８で注目フォーカス位置を設定してから、その注目フォーカス位置に対して、レンズ情報を生成することができる。
　ステップＳ１５１において、実空間点選択部１４１が、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ１５２に進む。
　ステップＳ１５２では、実空間点選択部１４１は、基準画像HD1の画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１５３に進む。
　ステップＳ１５３では、実空間点選択部１４１は、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ１５４に進む。
　ステップＳ１５４では、実空間点選択部１４１は、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ１５５に進む。
　ステップＳ１５５では、結像値算出部１４２が、エミュレーションレンズのレンズエリアユニットのうちの、まだ、注目レンズエリアユニットとしていないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ１５６に進む。
　ステップＳ１５６では、結像値算出部１４２は、入射光線再現部３６から供給される光線の中から、注目実空間点から注目レンズエリアユニットに向かう光線を、注目光線として取得し、処理は、ステップＳ１５７に進む。
　ステップＳ１５７において、結像値算出部１４２は、注目光線が、注目実空間点からエミュレーションレンズに到達するかどうかを判定する。
　ステップＳ１５７において、注目光線がエミュレーションレンズに到達すると判定された場合、すなわち、注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しい場合、処理は、ステップＳ１５８に進む。
　ステップＳ１５８では、結像値算出部１４２、スケール調整部１４３、結像位置認識部１４４、及び、加算部１４５において、エミュレーションレンズに到達する注目光線、すなわち、衝突判定の結果残っている注目光線を対象として、後述する光線加算処理が行われ、処理は、ステップＳ１５９に進む。
　一方、ステップＳ１５７において、注目光線がエミュレーションレンズに到達しないと判定された場合、すなわち、注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しくない場合、処理は、ステップＳ１５８をスキップして、ステップＳ１５９に進む。したがって、注目光線がエミュレーションレンズに到達しない場合、注目光線については、光線加算処理は、行われない。
　ステップＳ１５９では、結像値算出部１４２が、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定する。
　ステップＳ１５９において、まだ、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定された場合、処理は、ステップＳ１５５に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１５９において、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ１６０に進む。
　ステップＳ１６０では、実空間点選択部１４１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ１６０において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ１５３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１６０において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ１６１に進む。
　ステップＳ１６１では、実空間点選択部１４１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ１６１において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ１５２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１６１において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、加算部１４５は、いままでの処理により得られる、仮想センサ上の結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給して、集光処理は、終了する。
　図５７は、図５６のステップＳ１５８で行われる光線加算処理の例を説明するフローチャートである。
　ステップＳ１７１において、結像値算出部１４２は、図５２及び図５３で説明したように、エミュレーションレンズ情報生成部３７からの、注目フォーカス位置fについての注目実空間点（に対応する注目画素及び注目視差）に対するPSF強度分布（が記録された分布エリア）、及び、PSF角度成分情報を用いて、注目光線が到達するPSF強度分布が記録された分布エリア上の位置である対応エリアを求める。
　さらに、結像値算出部１４２は、図５２及び図５３で説明したように、対応エリアのPSF強度分布と、注目光線に割り当てられた輝度（図３３ないし図３５で説明した入射光線再現処理で割り当てられた輝度）との積を、注目光線の結像値（の分布）として求める。
　そして、結像値算出部１４２は、注目光線の結像値が記録された分布エリアを、スケール調整部１４３に供給し、処理は、ステップＳ１７１からステップＳ１７２に進む。
　ステップＳ１７２では、スケール調整部１４３は、図５４で説明したように、エミュレーションレンズ情報生成部３４からの、注目フォーカス位置fについての注目実空間点に対する像面ピッチを用いて、結像値算出部１４２からの結像値の分布が記録された分布エリアを縮小又は拡大することで、その分布エリアのスケールを、仮想センサのスケールと一致するスケールに調整する。
　さらに、スケール調整部１４３は、スケールの調整後の分布エリアを、結像位置認識部１４４を介して、加算部１４５に供給し、処理は、ステップＳ１７２からステップＳ１７３に進む。
　ステップＳ１７３では、結像位置認識部１４４は、エミュレーションレンズ情報生成部３４からの、注目フォーカス位置fについての注目実空間点に対する像面シフト情報から、エミュレーションレンズを介した注目光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、加算部１４５に供給して、処理は、ステップＳ１７４に進む。
　ステップＳ１７４では、加算部１４５は、スケール調整部１４３で得られたスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部１４４からの像面シフト位置によって行う。
　すなわち、加算部１４５は、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせを行う。
　そして、加算部１４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。すなわち、加算部１４５は、仮想センサとしてのメモリの記憶値と、結像値とを加算し、その結果得られる加算値によって、メモリの記憶値を書き換える。なお、仮想センサとしてのメモリの記憶値は、集光処理（図５６）の開始時に、０に初期化される。
　以上により、光線加算処理は終了し、処理はリターンする。
　以上のように、レンズエミュレーション部３５（図３）では、入射光線再現部４６において、衝突判定の結果残る、仮想レンズに入射する光線を再現する。
　また、エミュレーションレンズ情報生成部３７において、レンズ情報、すなわち、PSF強度分布、像面ピッチ、PSF角度成分情報、像面シフト情報を生成する。
　さらに、集光処理部３８において、衝突判定の結果残る光線が、エミュレーションレンズを介して仮想センサに結像する際の結像値として、PSF角度成分情報が表すPSF強度分布の位置におけるPSF強度分布と光線の輝度との積を求める。
　また、集光処理部３８において、像面ピッチに基づいて、光線の結像値の分布のスケールを、仮想センサのスケールに一致させる。
　そして、集光処理部３８において、像面シフト位置によって、結像値を加算する仮想センサ上の位置の位置合わせを行い、仮想センサ上で結像値の加算を行って、その加算により得られる加算値を画素値とするエミュレーション画像を生成する。
　以上のようなレンズエミュレーション部３５の処理によれば、実際の光学レンズと同等の集光が、ディジタル信号処理で再現され、その結果、実際の光学レンズのぼけ味やその他の集光特性を正確に再現（反映）したエミュレーション画像を生成することができる。
　したがって、ユーザは、実際の光学レンズを購入しなくても、その光学レンズを用いて撮影をしたかのような高品位な撮影体験（高品位の光学レンズを用いて行われる撮影の体験）を享受することができる。
　＜レンズ情報の情報量の削減＞
　図５８は、レンズ情報の情報量の削減の概要を説明する図である。
　図５８のＡは、実際の光学レンズのレンズ情報のうちのPSF強度分布の例を示している。
　すなわち、図５８のＡは、光線が実際の光学レンズを介して結像する実際のイメージセンサ上の結像位置と、その結像位置に結像する光線に適用されるPSF強度分布との関係を、模式的に示している。
　図３８で説明したように、PSF強度分布は、フォーカス位置fや、結像位置の像高（光軸からの距離）、被写体（実空間点）までの距離（視差）によって異なる。
　すなわち、例えば、実際のイメージセンサ上の結像位置の像高（その結像位置に結像する実空間点の、光軸からの距離）が異なれば、その結像位置に結像する実空間点から発せられる光線に適用される実際の光学レンズのPSF強度分布は異なる。
　したがって、実際のイメージセンサにおいて、実際の光学レンズのPSF強度分布は、結像位置の像高が異なれば異なる無限の情報となる。
　以上のように、結像位置の像高が異なれば、PSF強度分布は異なるが、逆に言えば、同一の像高、すなわち、光軸から同一の距離にある実空間点に対しては、フォーカス位置f、及び、視差（実空間点までの距離）が変わらない限り、PSF強度分布は、共通になる。
　すなわち、いま、説明を簡単にするため、フォーカス位置f、及び、視差が一定であることとする。
　イメージセンサのある像高rのある位置pos1を、光軸を中心として所定の角度aだけ回転した回転後の位置pos2に対応する実空間点に対するPSF強度分布は、位置pos1に対応する実空間点に対するPSF強度分布を、光軸を中心として所定の角度aだけ回転した回転後のPSF強度分布に一致する。
　以上のように、位置pos2に対応する実空間点に対するPSF強度分布が、位置pos1に対応する実空間点に対するPSF強度分布を、光軸を中心として所定の角度aだけ回転した回転後のPSF強度分布に一致することから、位置pos2に対応する実空間点に対する像面ピッチは、位置pos1に対応する実空間点に対する像面ピッチに一致する。
　また、位置pos2に対応する実空間点に対するPSF角度成分情報は、位置pos1に対応する実空間点に対するPSF角度成分情報を、光軸を中心として所定の角度aだけ回転した回転後のPSF角度成分情報に一致する。
　さらに、位置pos2に対応する実空間点に対する像面シフト情報（が表す像面シフト位置）は、位置pos1に対応する実空間点に対する像面シフト情報を、光軸を中心として所定の角度aだけ回転した回転後の像面シフト情報に一致する。
　以上のように、フォーカス位置f、及び、視差が一定である場合、イメージセンサの像高が同一の位置に対応する実空間点に対するレンズ情報は、共通になる。
　そこで、エミュレーションレンズ情報生成部３７では、仮想センサのすべての画素に対応する実空間点ではなく、仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対してのみレンズ情報を生成することで、レンズ情報の情報量を削減することができる。
　すなわち、エミュレーションレンズ情報生成部３７は、例えば、仮想センサの中心（光軸）から、仮想センサの平面内に延びる所定の１軸（に対応する実空間点）を、レンズ情報を生成する対象のレンズ情報生成軸として、そのレンズ情報生成軸上の複数位置（に対応する実空間点）を、レンズ情報を生成する情報点に設定する。
　そして、エミュレーションレンズ情報生成部３７は、レンズ情報生成軸の情報点（に対応する実空間点）に対するレンズ情報を生成する。
　図５８のＢは、レンズ情報生成軸の例を示している。
　図５８のＢでは、仮想センサの中心から上方向に延びる１軸が、レンズ情報生成軸になっている。
　以上のようなレンズ情報生成軸の情報点に対して生成されたレンズ情報は、例えば、仮想センサの中心を中心として回転することにより、その回転と同じ回転角だけ、レンズ情報生成軸を回転したときの、その回転後のレンズ生成軸に一致する仮想センサの位置に対応する実空間点から発せられる光線の集光処理に適用することができる。
　図５９は、レンズ情報生成軸の具体例を示す図である。
　いま、図５９に示すように、仮想センサの中心から、その仮想センサの、対角にある1の画素に向かう軸を、対角軸ということとする。
　図５９では、対角軸に、15等の複数の位置が、情報点として、等間隔に設定されている。
　さらに、図５９では、情報点が設定された対角軸が、上方向に向くように、仮想センサの中心を中心として回転され、その回転後の対角軸が、レンズ情報生成軸になっている。
　したがって、図５９では、レンズ情報生成軸は、横幅が0で、縦の長さが、仮想センサの対角の長さ（対角にある画素どうしの距離）の1/2の、仮想センサの中心から垂直方向（上方向）に延びる線分である。
　エミュレーションレンズ情報生成部３７では、以上のようなレンズ情報生成軸の情報点に対応する実空間点に対してだけ、レンズ情報を生成することができる。レンズ情報生成軸の情報点に対応する実空間点は、x=0で表される平面内の点になる。
　なお、レンズ情報のうちの、PSF強度分布、PSF角度成分情報、及び、像面ピッチについては、15個程度の情報点で十分であるが、像面シフト情報については、15個程度の情報点では、集光処理でのエミュレーションレンズの集光特性の再現性が低下することがある。
　そこで、像面シフト情報については、仮想センサの中心から、対角にある1の画素までの距離（仮想センサの像高の最大値）を、仮想センサの画素ピッチで除算した値（仮想センサの対角の画素数の1/2に近い値）等を、レンズ情報生成軸に設ける情報点の数として採用することができる。
　ここで、図４０、図４１、図４５、及び、図４８で説明したように、レンズ情報が、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して生成される場合、レンズ情報の配列の数は、以下のような膨大な数になる。
　すなわち、PSF強度分布の配列の数は、図４０で説明したように、最大で、Fmax×N×DPN×PX×PYになる。像面ピッチの配列の数は、図４１で説明したように、最大で、Fmax×N×DPNになる。PSF角度成分情報の配列の数は、図４５で説明したように、最大で、Fmax×N×DPN×(PX+1)×(PY+1)になる。像面シフト情報の配列の数は、図４８で説明したように、最大で、Fmax×N×DPNになる。
　なお、PX及びPYは、図４２で説明したように、レンズエリアを構成するレンズエリアユニットの横（水平方向）及び縦（垂直方向）の数を、それぞれ表す。
　一方、レンズ情報生成軸に設ける情報点の数を、Ninfoと表すこととすると、レンズ情報の配列の数は、以下のようになる。
　すなわち、PSF強度分布の配列の数は、最大で、Fmax×Ninfo×DPN×PX×PYになる。像面ピッチの配列の数は、最大で、Fmax×Ninfo×DPNになる。PSF角度成分情報の配列の数は、最大で、Fmax×Ninfo×DPN×(PX+1)×(PY+1)になる。像面シフト情報の配列の数は、最大で、Fmax×Ninfo×DPNになる。
　したがって、レンズ情報生成軸の情報点に対してだけ、レンズ情報を生成する場合には、Fmax個のフォーカス位置fそれぞれについて、仮想センサを構成するN個の画素pix1ないしpix#Nそれぞれと、視差マップに登録し得るDPN個の視差dそれぞれとの、N×DPN個の組み合わせに対応する実空間点に対して、レンズ情報を生成する場合に比較して、レンズ情報の情報量を、Ninfo/Nに削減することができる。
　例えば、仮想センサの画素数Nが、1892×1052であり、情報点の数Ninfoが15である場合には、レンズ情報の情報量を、15/(1892×1052)に削減することができる。
　その結果、レンズ情報生成軸によれば、エミュレーションレンズのぼけ味やその他の集光特性を、少ないデータ量で再現することができる。
　図６０は、レンズ情報生成軸の情報点に対してだけレンズ情報を生成する場合の、図３のエミュレーションレンズ情報生成部３７の構成例を示すブロック図である。
　なお、図中、図４９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図６０において、エミュレーションレンズ情報生成部３７は、実空間点選択部２３１、情報算出部１３２、及び、フォーカス位置選択部１３３を有する。
　したがって、図６０のエミュレーションレンズ情報生成部３７は、情報算出部１３２、及び、フォーカス位置選択部１３３を有する点で、図４９の場合と共通する。
　但し、図６０のエミュレーションレンズ情報生成部３７は、実空間点選択部１３１に代えて、実空間点選択部２３１が設けられている点で、図４９の場合と相違する。
　実空間点選択部２３１は、視差情報生成部３１（図３）から供給される多層視差マップを参照し、仮想センサ上のレンズ情報生成軸のNinfo個の情報点それぞれと、多層視差マップに登録し得るDPN個の視差dそれぞれとの組み合わせに対応するNinfo×DPN個の実空間点の中から、注目実空間点を選択する。
　図６１は、図６０のエミュレーションレンズ情報生成部３７が行うエミュレーションレンズ情報生成処理の例を説明するフローチャートである。
　ステップＳ２１１において、フォーカス位置選択部１３３は、図５０のステップＳ１４１と同様に、Fmax個のフォーカス位置fの中から、注目フォーカス位置を選択し、処理は、ステップＳ２１２に進む。
　ステップＳ２１２では、実空間点選択部２３１は、図５０のステップＳ１４２と同様に、視差情報生成部３１から供給される多層視差マップを取得し、処理は、ステップＳ２１３に進む。
　ステップＳ２１３では、実空間点選択部２３１は、レンズ情報のうちの、PSF強度分布、PSF角度成分情報、及び、像面ピッチの生成に用いるレンズ情報生成軸を設定し、処理は、ステップＳ２１４に進む。
　すなわち、軸痛感点選択部２３１は、例えば、仮想センサの最大像高（仮想センサの中心から、対角の1画素までの距離）を等分する、あらかじめ決められた所定数（例えば、15等）の情報点を有するレンズ情報生成軸を、仮想レンズの中心を始点として、垂直方向（上方向）に設定する。
　ステップＳ２１４では、実空間点選択部２３１は、レンズ情報生成軸の情報点のうちの、まだ、注目情報点としていない情報点の１つを、注目情報点に選択し、処理は、ステップＳ２１５に進む。
　ステップＳ２１５では、実空間点選択部２３１は、視差情報生成部３１からの多層視差マップに登録されている、注目情報点の位置の画素（注目情報点に近い画素）に登録され得る視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ２１６に進む。
　ステップＳ２１６では、実空間点選択部２３１は、注目視差がある注目情報点（仮想センサの平面上の注目情報点の位置）に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ２１７に進む。
　ステップＳ２１７では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目情報点、及び、注目視差のセットに対するPSF強度分布、像面ピッチ、及び、PSF角度成分情報を、図５０のステップＳ１４６と同様に求め、処理は、ステップＳ２１８に進む。
　ステップＳ２１８では、実空間点選択部２３１は、多層視差マップに登録され得る視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ２１８において、まだ、多層視差マップに登録され得る視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２１５に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２１８において、多層視差マップに登録され得る視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２１９に進む。
　ステップＳ２１９では、実空間点選択部２３１は、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したかどうかを判定する。
　ステップＳ２１９において、まだ、レンズ情報生成軸の情報点のすべてを、注目情報点に選択していないと判定された場合、処理は、ステップＳ２１４に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２１９において、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したと判定された場合、処理は、ステップＳ２２０に進み、以下、像面シフト情報が生成される。
　ステップＳ２２０では、実空間点選択部２３１は、レンズ情報のうちの、像面シフト情報の生成に用いるレンズ情報生成軸を設定し、処理は、ステップＳ２２１に進む。
　すなわち、実空間点選択部２３１は、例えば、仮想センサの最大像高を、仮想センサの画素ピッチで除算した値の数だけの情報点が等間隔に配置されたレンズ情報生成軸を、仮想レンズの中心を始点として、垂直方向に設定する。
　ステップＳ２２１では、実空間点選択部２３１は、レンズ情報生成軸の情報点のうちの、まだ、注目情報点としていない情報点の１つを、注目情報点に選択し、処理は、ステップＳ２２２に進む。
　ステップＳ２２２では、実空間点選択部２３１は、視差情報生成部３１からの多層視差マップに登録されている注目情報点の位置の画素に登録され得る視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、処理は、ステップＳ２２３に進む。
　ステップＳ２２３では、実空間点選択部２３１は、注目視差がある注目情報点に対応する実空間点を、注目実空間点に選択し、処理は、ステップＳ２２４に進む。
　ステップＳ２２４では、情報算出部１３２が、注目実空間点、すなわち、注目フォーカス位置、注目情報点、及び、注目視差のセットに対する像面シフト情報を、図５０のステップＳ１４６と同様に求め、処理は、ステップＳ２２５に進む。
　ステップＳ２２５では、実空間点選択部２３１は、多層視差マップに登録され得る視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ２２５において、まだ、多層視差マップに登録され得る視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２２２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２２５において、多層視差マップに登録され得る視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２２６に進む。
　ステップＳ２２６では、実空間点選択部２３１は、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したかどうかを判定する。
　ステップＳ２２６において、まだ、レンズ情報生成軸の情報点のすべてを、注目情報点に選択していないと判定された場合、処理は、ステップＳ２２１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２２６において、レンズ情報生成軸の情報点のすべてを、注目情報点に選択したと判定された場合、エミュレーションレンズ情報生成処理は終了する。
　図６１のエミュレーションレンズ情報生成処理では、以上のようにして、多層視差マップに登録され得る視差それぞれと、レンズ情報生成軸の情報点それぞれとのセットに対応する実空間点に対するレンズ情報が求められる。
　図６２は、以上のように、レンズ情報生成軸の情報点（に対応する実空間点）に対して生成されたレンズ情報を用いて行われる集光処理の例を説明する図である。
　レンズ情報生成軸の情報点に対して生成されたレンズ情報を用いて、集光処理を行う方法としては、レンズ情報を回転する方法（以下、レンズ情報回転法ともいう）と、集光処理に用いる光線を回転する方法（以下、光線回転法ともいう）とがある。
　いま、例えば、ある実空間点rspに対応する仮想センサの画素（位置）が、レンズ情報生成軸上に位置するように、仮想センサ（の画素）、又は、レンズ情報生成軸を、仮想センサの中心を中心として回転するときの角度を、一致回転角度ALPHAということとする。
　実空間点rspに対応する仮想センサの画素と、レンズ情報生成軸とは、仮想センサの中心を中心として、一致回転角度ALPHAを形成する。
　レンズ情報回転法、及び、光線回転法では、実空間点rspに対応する仮想センサの画素が、レンズ情報生成軸上に位置するように、仮想センサ（の画素）、又は、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度ALPHAだけ回転したときに、実空間点rspに対応する仮想センサの画素に最も近い情報点（以下、対応情報点ともいう）が検出される。
　ここで、仮想センサの中心を中心として回転するときの回転角度について、時計回りの方向を正とする。この場合、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度+ALPHAだけ回転するか、又は、仮想センサを、仮想センサの中心を中心として、一致回転角度-ALPHAだけ回転することにより、実空間点rspに対応する仮想センサの画素は、レンズ情報生成軸上に位置する状態になる。
　以下、説明を簡単にするため、対応情報点の検出にあたっては、レンズ情報生成軸、及び、仮想センサのうちの、例えば、レンズ情報生成軸を、一致回転角度+ALPHAだけ回転することとする。
　レンズ情報回転法、及び、光線回転法では、上述のように、レンズ情報生成軸を、仮想センサの中心を中心として、一致回転角度+ALPHAだけ回転したときに、実空間点rspに対応する仮想センサの画素に最も近い情報点が、対応情報点として検出される。
　そして、対応情報点（に対応する実空間点）に対するレンズ情報を、実空間点rspから発せられる光線に適用して、集光処理が行われる。
　但し、レンズ情報回転法では、対応情報点に対するレンズ情報（のうちのPSF強度分布、PSF角度成分情報、及び、像面シフト情報）が、一致回転角度+ALPHAだけ回転されて、実空間点rspから発せられる光線に適用される。
　一方、光線回転法では、実空間点rspから発せられる光線が、一致回転角度-ALPHAだけ回転され、その回転後の光線に、対応情報点に対するレンズ情報が適用される。
　図６２は、レンズ情報回転法による集光処理の例を示している。
　図６２のＡは、注目実空間点に対応する仮想センサの注目画素が、レンズ情報生成軸上の画素（以下、軸上画素ともいう）である場合の、集光処理における結像値の算出の例を示している。
　すなわち、図６２のＡは、注目実空間点に対応する仮想センサの注目画素についての対応情報点に対するPSF強度分布（が記録された分布エリア）の例を示している。
　図６２のＡにおいて、レンズエリアユニットU1に入射する光線は、PSF強度分布の対応エリアUC1に到達する。
　注目実空間点に対応する仮想センサの注目画素が、軸上画素である場合、注目実空間点から発せられ、レンズエリアユニットU1に入射する光線については、注目画素に対する対応情報点に対するPSF強度分布を（回転せずに）そのまま用い、レンズエリアユニットU1に入射する光線に割り当てられた輝度と、対応エリアUC1のPSF強度分布との積が、結像値として求められる。
　図６２のＢは、注目実空間点に対応する仮想センサの注目画素が、レンズ情報生成軸を、仮想センサの中心を中心として、例えば、90度だけ回転した直線上の画素（以下、90度回転画素ともいう）である場合の、集光処理における結像値の算出の例を示している。
　図６２のＢにおいて、注目画素である90度回転画素の一致回転角度+ALPHAは、90度である。
　いま、注目画素である90度回転画素に対する対応情報点が、図６２のＡの場合の軸上画素に対する対応情報点に一致することとする。
　この場合、レンズ情報回転法では、注目実空間点から発せられた光線については、注目画素に対する対応情報点に対するPSF強度分布を、例えば、そのPSF強度分布が記録された分布エリアの中心を中心として、一致回転角度+ALPHAである90度だけ回転した回転後のPSF強度分布を用いて、結像値が求められる。
　回転後のPSF強度分布（が記録された分布エリア）については、レンズエリアユニットU1を、光軸を中心として、一致回転角度+ALPHAである90度だけ回転した場合の回転後のレンズエリアユニットU1の位置にあるレンズエリアユニットU2に入射する光線が、PSF強度分布の対応エリアUC1に到達する。
　したがって、注目画素が90度回転画素である場合、レンズ情報回転法では、注目実空間点から発せられ、レンズエリアユニットU2に入射する光線の結像値として、レンズエリアユニットU2に入射する光線に割り当てられた輝度と、対応エリアUC1のPSF強度分布との積が求められる。
　図６３は、光線回転法による集光処理の例を示している。
　注目実空間点に対応する仮想センサの注目画素が、軸上画素である場合、光線回転法では、注目実空間点から発せられた光線の結像値は、レンズ情報回転法と同様に求められる。
　一方、注目実空間点に対応する仮想センサの注目画素が、例えば、90度回転画素である場合、光線回転法では、注目実空間点から発せられた光線を、一致回転角度-ALPHA=-90度だけ回転した回転後の光線を用いて、その光線の結像値が求められる。
　図６３のＡは、注目実空間点から発せられた光線の回転を示している。
　注目実空間点に対応する仮想センサの注目画素が、90度回転画素である場合、エミュレーションレンズに入射する光線を、光軸を中心として、一致回転角度-ALPHA=-90度だけ回転する。
　図６３のＡでは、光線の回転前において、注目実空間点からレンズエリアユニットU1に、光線R1が入射しており、注目実空間点からレンズエリアユニットU2に、光線R2が入射している。
　レンズエリアユニットU2は、レンズエリアユニットU1を、光軸を中心として、一致回転角度+ALPHA=+90度だけ回転した位置にある。
　したがって、エミュレーションレンズに入射する光線を、光軸を中心として、一致回転角度-ALPHA=-90度だけ回転した場合、回転前にレンズエリアユニットU2に入射していた光線R2が、レンズエリアユニットU1に入射する。
　図６３のＢは、注目画素である90度回転画素についての対応情報点に対するPSF強度分布（が記録された分布エリア）の例を示している。
　図６３のＢでは、図６２のＡの場合と同様に、レンズエリアユニットU1に入射する光線が、PSF強度分布の対応エリアUC1に到達している。
　回転後の光線R2は、レンズエリアユニットU1に入射するので、その光線R2の結像値VFは、その光線R2の輝度と、レンズエリアユニットU1に対する対応エリアUC1のPSF強度分布との積として求められる。
　図６３のＣは、光線R2の結像値VFの逆回転の例を示している。
　光線回転法では、結像値VFを、仮想センサ上に加算するときに、その結像値VF（が記録された分布エリア）が、光軸を中心として、光線を回転した一致回転角度-ALPHA=-90度だけ逆回転される。
　すなわち、結像値VF（が記録された分布エリア）は、光軸を中心として、一致回転角度+ALPHA=+90度だけ回転されてから、仮想センサ上に加算される。
　レンズ情報生成軸に対して生成されたレンズ情報を用いて行う集光処理では、レンズ情報回転法を採用しても良いし、光線回転法を採用しても良い。
　レンズ情報回転法によれば、光線回転法よりも、集光処理に要する演算量を少なくすることができる。
　但し、レンズ情報回転法では、エミュレーションレンズの集光特性の再現性が低下することがあり得る。
　すなわち、レンズ情報回転法では、レンズ情報（像面ピッチを除く）が、一致回転角度+ALPHAだけ回転される。
　この場合、回転後のレンズ情報のうちの、例えば、PSF角度成分情報が表す分布エリア到達点AP#i（図４４）の座標系は、一致回転角度+ALPHAだけ傾いた座標系になる。そのため、一致回転角度+ALPHAが、90度の整数倍である場合を除き、回転前のPSF角度成分情報が表す分布エリア到達点AP#iになり得る位置と、回転後のPSF角度成分情報が表す分布エリア到達点AP#iとなり得る位置との間には、ずれが生じる。
　PSF角度成分情報が表す分布エリア到達点AP#iは、分布エリアの分布エリアユニット（図４０）の粒度で、光線が到達するPSF強度分布上の位置を表すので、その粒度によっては、回転前のPSF角度成分情報が表す分布エリア到達点AP#iになり得る位置と、回転後のPSF角度成分情報が表す分布エリア到達点AP#iとなり得る位置との間に生じるずれが、エミュレーションレンズの集光特性の再現に、悪影響を及ぼすことがある。
　すなわち、回転後のPSF角度成分情報が表す対応エリア（図４４）では、PSF強度分布が、他の対応エリアのPSF強度分布と一部重複することや、本来、ある対応エリアに含まれるべきPSF強度分布の部分が、その対応エリアから欠けることがある。
　この、PSF強度分布の重複や欠けの程度が大きい場合には、エミュレーションレンズの集光特性の再現性が低下する。
　そこで、集光処理には、光線回転法を採用することができる。
　但し、分布エリア到達点AP#iが表す、光線が到達するPSF強度分布上の位置の粒度が、十分細かければ、集光処理に、レンズ情報回転法を用いても、エミュレーションレンズの集光特性を、十分正確に再現することができるので、その場合には、レンズ情報回転法を採用することができる。
　図６４は、レンズ情報生成軸に対して生成されたレンズ情報を用いて集光処理を行う集光処理部３８の構成例を示すブロック図である。
　なお、図中、図５５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図６４において、集光処理部３８は、実空間点選択部１４１、結像値算出部２４２、スケール調整部１４３、結像位置認識部２４４、加算部２４５、及び、回転処理部２４６を有する。
　したがって、図６４の集光処理部３８は、実空間点選択部１４１、及び、スケール調整部１４３を有する点で、図５５の場合と共通する。
　但し、図６４の集光処理部３８は、結像値算出部１４２、結像位置認識部１４４、及び、加算部１４５に代えて、それぞれ、結像値算出部２４２、結像位置認識部２４４、及び、加算部２４５が設けられている点で、図５５の場合と相違する。
　さらに、図６４の集光処理部３８は、回転処理部２４６が新たに設けられている点で、図５５の場合と相違する。
　結像値算出部２４２は、レンズ情報回転法、又は、光線回転法により、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
　すなわち、結像値算出部２４２は、光線回転法に従い、回転処理部２４６から供給されるPSF強度分布及びPSF角度成分情報を用いて、同じく回転処理部２４６から供給される、一致回転角度-ALPHAだけ回転された光線のうちの、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
　又は、結像値算出部２４２は、レンズ情報回転法に従い、回転処理部２４６から供給される、一致回転角度+ALPHAだけ回転されたPSF強度分布及びPSF角度成分情報を用いて、同じく回転処理部２４６から供給される、実空間点選択部１３１で選択された注目実空間点から発せられた光線の結像値の分布が記録された分布エリアを求め、スケール調整部１４３に供給する。
　結像位置認識部２４４は、回転処理部２４６から供給される像面シフト情報、又は、一致回転角度+ALPHAだけ回転された像面シフト情報から、エミュレーションレンズを介した光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、スケール調整部１４３からのスケールの調整後の分布エリアとともに、加算部２４５に供給する。
　加算部２４５は、図５５の加算部１４５と同様の処理を行う。
　すなわち、加算部２４５は、仮想センサとしてのメモリを内蔵し、結像位置認識部２４４からのスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部２４４からの像面シフト位置によって行う。
　さらに、加算部２４５は、仮想センサとの位置合わせ後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。
　そして、加算部２４５は、仮想センサ、すなわち、メモリ上に得られる結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給する。
　なお、加算部２４５は、レンズ情報回転法による集光処理が行われる場合には、上述のように、図５５の加算部１４５と同様の処理を行う。
　一方、光線回転法による集光処理が行われる場合には、加算部２４５は、位置合わせ後の分布エリア（に記録された結像値）を、回転処理部２４６で光線を回転したときの一致回転角度-ALPHAだけ逆回転してから、すなわち、一致回転角度+ALPHAだけ回転してから、その回転後の分布エリアに記録された結像値を、仮想センサ上に加算する。
　回転処理部２４６には、入射光線再現部３６（図３）から光線が供給されるとともに、エミュレーションレンズ情報生成部３４（図３）からレンズ情報生成軸の情報点に対するレンズ情報が供給される。
　回転処理部２４６は、レンズ情報回転法による集光処理が行われる場合には、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、レンズ情報生成軸を回転するときの一致回転角度+ALPHAだけ、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報のうちのPSF強度分布、PSF角度成分情報、及び、像面シフト情報を回転する。
　そして、回転処理部２４６は、回転後のPSF強度分布及びPSF角度成分情報を、結像値算出部２４２に供給するとともに、回転後の像面シフト情報を、結像位置認識部２４４に供給する。
　さらに、回転処理部２４６は、入射光線再現部３６からの光線を、回転せずに、そのまま、結像値算出部２４２に供給する。
　一方、回転処理部２４６は、光線回転法による集光処理が行われる場合には、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、仮想センサ（の画素）を回転するときの一致回転角度-ALPHAだけ、入射光線再現部３６からの光線を回転する。
　そして、回転処理部２４６は、回転後の光線を、結像値算出部２４２に供給する。
　さらに、回転処理部２４６は、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報のうちのPSF強度分布及びPSF角度成分情報を、回転せずに、そのまま、結像値算出部２４２に供給するとともに、像面シフト情報を、回転せずに、そのまま、結像位置認識部２４４に供給する。
　図６５は、図６４の集光処理部３８が行う集光処理の例を説明するフローチャートである。
　なお、本実施の形態では、図６１で説明したように、レンズ情報の情報量を削減するため、注目フォーカス位置に対してだけレンズ情報が生成される。そのため、集光処理は、フォーカス位置が、レンズ情報が生成されたときの注目フォーカス位置に設定されていることとして行われる。
　但し、レンズ情報は、Fmax個のフォーカス位置（図３７）のそれぞれに対して、あらかじめ生成しておくことができる。この場合、集光処理部３８では、注目フォーカス位置を設定し、その注目フォーカス位置に対するレンズ情報を用いて、集光処理を行うことができる。
　又は、エミュレーションレンズ情報生成部３７において、集光処理部３８で注目フォーカス位置を設定してから、その注目フォーカス位置に対して、レンズ情報を生成することができる。
　ここで、図６５では、光線回転法による集光処理を行うこととする。
　ステップＳ２５１ないしＳ２５４において、図５６のステップＳ１５１ないしＳ１５４と、それぞれ同様の処理が行われる。
　すなわち、実空間点選択部１４１は、ステップＳ２５１において、視差情報生成部３１から供給される多層視差マップを取得し、ステップＳ２５２において、基準画像HD1の画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択する。
　さらに、実空間点選択部１４１は、ステップＳ２５３において、視差情報生成部３１からの多層視差マップに登録されている注目画素の視差のうちの、まだ、注目視差としていない視差の１つを、注目視差に選択し、ステップＳ２５４において、注目視差がある注目画素に対応する実空間点を、注目実空間点に選択する。
　そして、処理は、ステップＳ２５４からステップＳ２５５に進み、回転処理部２４６は、実空間点選択部１４１で選択された注目実空間点に対応する仮想センサの画素が、レンズ情報生成軸上の画素になるように、仮想センサを回転するときの一致回転角度-ALPHAを算出し、処理は、ステップＳ２５６に進む。
　ステップＳ２５６では、回転処理部２４６が、エミュレーションレンズのレンズエリアユニットのうちの、まだ、注目レンズエリアユニットとしていないレンズエリアユニットの１つを、注目レンズエリアユニットに選択し、処理は、ステップＳ２５７に進む。
　ステップＳ２５７では、回転処理部２４６は、入射光線再現部３６から供給される光線の中から、注目実空間点から注目レンズエリアユニットに向かう光線を、注目光線として取得し、処理は、ステップＳ２５８に進む。
　ステップＳ２５８では、回転処理部２４６は、注目光線を、ステップＳ２５５で算出された一致回転角度-ALPHAだけ、光軸を中心として回転し、回転後の注目光線を、結像値算出部２４２に供給して、処理は、ステップＳ２５９に進む。
　ステップＳ２５９では、結像値算出部２４２は、回転処理部２４６からの回転後の注目光線が、注目実空間点からエミュレーションレンズに到達するかどうかを判定する。
　ステップＳ２５９において、回転後の注目光線がエミュレーションレンズに到達すると判定された場合、すなわち、回転後の注目光線に割り当てられている視差（図３３ないし図３５で説明した入射光線再現処理で割り当てられた視差）が、注目視差と等しい場合、処理は、ステップＳ２６０に進む。
　ステップＳ２６０では、結像値算出部２４２、スケール調整部１４３、結像位置認識部２４４、及び、加算部２４５において、エミュレーションレンズに到達すると判定された回転後の注目光線、すなわち、衝突判定の結果残っている注目光線が回転された、回転後の注目光線を対象として、後述する光線加算処理が行われ、処理は、ステップＳ２６１に進む。
　一方、ステップＳ２５９において、回転後の注目光線がエミュレーションレンズに到達しないと判定された場合、すなわち、回転後の注目光線に割り当てられている視差が、注目視差と等しくない場合、処理は、ステップＳ２６０をスキップして、ステップＳ２６１に進む。したがって、回転後の注目光線がエミュレーションレンズに到達しない場合、その回転後の注目光線については、光線加算処理は、行われない。
　ステップＳ２６１ないしＳ２６３では、図５６のステップＳ１５９ないしＳ１６１と同様の処理が行われる。
　すなわち、ステップＳ２６１では、回転処理部２４６が、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したかどうかを判定し、まだ、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択していないと判定した場合、処理は、ステップＳ２５６に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２６１において、エミュレーションレンズのレンズエリアユニットのすべてを、注目レンズエリアユニットに選択したと判定された場合、処理は、ステップＳ２６２に進み、実空間点選択部１４１は、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したかどうかを判定する。
　ステップＳ２６２において、まだ、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択していないと判定された場合、処理は、ステップＳ２５３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２６２において、多層視差マップに登録されている注目画素の視差のすべてを、注目視差に選択したと判定された場合、処理は、ステップＳ２６３に進み、実空間点選択部１４１は、基準画像HD1の画素のすべてを、注目画素に選択したかどうかを判定する。
　ステップＳ２６３において、まだ、基準画像HD1の画素のすべてを、注目画素に選択していないと判定された場合、処理は、ステップＳ２５２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２６３において、基準画像HD1の画素のすべてを、注目画素に選択したと判定された場合、加算部２４５は、いままでの処理により得られる、仮想センサ上の結像値の加算結果を画素値とする画像を、エミュレーション画像として、表示装置１３（図１）に供給して、集光処理は、終了する。
　図６６は、図６５のステップＳ２６０で行われる光線加算処理の例を説明するフローチャートである。
　ステップＳ２７１において、結像値算出部２４２は、注目実空間点に対応する仮想センサの画素（位置）を、図６５のステップＳ２５５で算出された一致回転角度-ALPHAだけ回転した回転後の画素に最も近い情報点である対応情報点を、レンズ情報生成軸の情報点の中から検出する。
　さらに、結像値算出部２４２は、回転処理部２４６からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
　そして、結像値算出部２４２は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについてのPSF強度分布（が記録された分布エリア）、及び、PSF角度成分情報を用いて、回転処理部２４６からの回転後の注目光線が到達するPSF強度分布が記録された分布エリア上の位置である対応エリアを求める。
　さらに、結像値算出部２４２は、対応エリアのPSF強度分布と、回転後の注目光線に割り当てられた輝度（図３３ないし図３５で説明した入射光線再現処理で割り当てられた輝度）との積を、回転後の注目光線の結像値（の分布）として求める。
　そして、結像値算出部２４２は、回転後の注目光線の結像値が記録された分布エリアを、スケール調整部１４３に供給し、処理は、ステップＳ２７１からステップＳ２７２に進む。
　ステップＳ２７２では、スケール調整部１４３は、エミュレーションレンズ情報生成部３４からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
　そして、スケール調整部１４３は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについての像面ピッチを用いて、結像値算出部２４２からの結像値の分布が記録された分布エリアを縮小又は拡大することで、その分布エリアのスケールを、仮想センサのスケールと一致するスケールに調整する。
　さらに、スケール調整部１４３は、スケールの調整後の分布エリアを、結像位置認識部２４４を介して、加算部２４５に供給し、処理は、ステップＳ２７２からステップＳ２７３に進む。
　ステップＳ２７３では、結像位置認識部２４４は、回転処理部２４６からのレンズ情報生成軸の情報点に対するレンズ情報の中から、対応情報点と注目視差とに対応する実空間点に対するレンズ情報を取得する。
　そして、結像位置認識部２４４は、対応情報点と注目視差とに対応する実空間点に対するレンズ情報のうちの、注目フォーカス位置fについての像面シフト情報と、回転処理部２４６が注目光線を回転した一致回転角度-ALPHAとから、エミュレーションレンズを介した、回転前の注目光線が結像する仮想センサ上の結像位置である像面シフト位置を認識し、加算部２４５に供給して、処理は、ステップＳ２７４に進む。
　ステップＳ２７４では、加算部２４５は、スケール調整部１４３で得られたスケールの調整後の分布エリアと仮想センサとの位置合わせを、結像位置認識部２４４からの像面シフト位置によって行う。
　すなわち、加算部２４５は、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせを行う。
　さらに、ステップＳ２７４では、加算部２４５は、位置合わせ後の分布エリア（に記録された結像値）を、回転処理部２４６が注目光線を回転したときの一致回転角度-ALPHAだけ光軸（又は中心点CP）を中心として逆回転し、すなわち、一致回転角度+ALPHAだけ光軸（又は中心点CP）を中心として回転し、処理は、ステップＳ２７５に進む。
　ステップＳ２７５では、加算部２４５は、回転後の分布エリアに記録された結像値を、仮想センサ上に、その仮想センサの画素単位で加算する。すなわち、加算部２４５は、仮想センサとしてのメモリの記憶値と、結像値とを加算し、その結果得られる加算値によって、メモリの記憶値を書き換える。
　以上により、光線加算処理は終了し、処理はリターンする。
　以上のように、レンズ情報を、仮想センサの平面の一部の複数位置である複数の情報点に対応する実空間点に対して生成し、そのレンズ情報を用いて、集光処理を行う場合には、エミュレーションレンズのぼけ味やその他の集光特性を、少ないデータ量で、正確に再現することができる。
　なお、本実施の形態では、レンズ情報生成軸として、仮想センサの中心から垂直方向に延びる、仮想センサの対角の長さの1/2の線分（図５９）を採用したが、レンズ情報生成軸としては、仮想センサの中心から延びる任意の１軸を採用することができる。
　すなわち、レンズ情報生成軸としては、例えば、仮想センサの中心と、仮想センサの対角の１画素とを結ぶ線分を採用することができる。
　また、複数の情報点は、仮想センサの中心から延びるレンズ情報生成軸を等分する複数の点に限定されるものではない。
　すなわち、複数の情報点としては、例えば、仮想センサの平面の像高が異なる、直線上に並ぶ複数の点、又は、直線上に並んでいない複数の点を採用することができる。なお、複数の情報点の像高は、0から、仮想センサの像高の最大値までの範囲に、万遍なく散らばっていることが望ましい。
　図６７は、光線回転法による集光処理（図６５及び図６６）を行う場合に、回転前の光線が結像する仮想センサ上の結像位置である像面シフト位置を求める方法（図６６のステップＳ２７３で結像位置を認識する方法）を説明する図である。
　ここで、像面シフト位置が、例えば、仮想センサの左上の画素を原点とし、仮想センサの画素ピッチを1とする2次元座標系の座標(x,y)で表現されることとする。
　また、像面シフト情報は、像面シフト位置の、光軸（仮想センサの中心）SOからの、x方向及びy方向それぞれの距離（マイクロメートル）を表すこととする。
　結像位置認識部２４４は、図６６のステップＳ２７３で説明したように、注目視差がある対応情報点に対応する実空間点に対する像面シフト情報と、回転処理部２４６が注目光線を回転した一致回転角度-ALPHAとから、回転前の注目光線が結像する仮想センサ上の結像位置である像面シフト位置（以下、回転前像面シフト位置ともいう）を認識する。
　ここで、対応情報点は、仮想センサの中心SOから上方向に延びるセンサ情報生成軸上の点であり、そのような対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightは、仮想センサの中心SOから、その中心SOを通り、垂直方向に延びる直線上の位置Aまでの距離を表す。位置Aは、対応情報点と注目視差とに対応する実空間点から発せられる主光線が、エミュレーションレンズを介して到達する仮想センサ上の位置である。
　いま、仮想センサの横幅（左端の画素と右端の画素との間の距離）を、widthと表すとともに、仮想センサの画素ピッチ（隣接する画素どうしの距離）を、Sensor_pitchと表すこととする。
　回転前の注目光線が結像する仮想センサ上の結像位置である回転前像面シフト位置は、位置Aを、注目光線を回転したときの一致回転角度-ALPHAだけ逆回転した位置、すなわち、一致回転角度+ALPHAだけ回転した位置になる。
　したがって、回転前像面シフト位置のx座標Xは、式X=width/2+(img_height×cos(90°-ALPHA))/Sensor_pitchに従って求めることができる。
　回転前像面シフト位置のy座標も、同様に求めることができる。
　結像位置認識部２４４は、以上のようにして、回転前像面シフト位置（のx座標及びy座標）を求めて認識する。
　そして、加算部２４５では、以上のように、対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightが表す位置（像面シフト位置）Aを、注目光線を回転したときの一致回転角度-ALPHAだけ逆回転する（一致回転角度+ALPHAだけ回転する）ことにより得られる回転前像面シフト位置によって、スケールの調整後の分布エリアと仮想センサとの位置合わせが行われる。
　すなわち、加算部２４５では、スケールの調整後の分布エリアの中心点CP（図５４）と、仮想センサの回転前像面シフト位置とが一致するように、スケールの調整後の分布エリアと仮想センサとの位置合わせが行われる。
　なお、回転前像面シフト位置は、以上のように、対応情報点と注目視差とに対応する実空間点に対する像面シフト情報img_heightが表す位置（像面シフト位置）を回転することにより求められるため、その回転に起因する丸め誤差が生じる。
　この丸め誤差により、回転前像面シフト位置の精度が低下し、この回転前像面シフト位置の精度の低下に起因して、集光処理でのエミュレーションレンズの集光特性の再現性が低下することがある。
　そこで、回転前像面シフト位置の精度の低下を抑制するため、像面シフト情報（が表す像面シフト位置）については、補間を行うことができる。
　像面シフト情報（が表す像面シフト位置）の補間には、情報点の並びの方向（光軸と垂直な方向）（像高の方向）の補間と、視差方向の補間とがある。
　図６８は、像面シフト情報（が表す像面シフト位置）の、情報点の並びの方向の補間を説明する図である。
　光線回転法による集光処理は、注目実空間点に対応する仮想センサの画素（位置）を、一致回転角度-ALPHAだけ回転した回転後の画素（位置）に最も近い情報点である対応情報点と注目視差とに対応する実空間点に対するレンズ情報（以下、単に、対応情報点に対するレンズ情報ともいう）を用いて行われる。
　図６８では、注目実空間点に対応する仮想センサの画素（位置）ppを、一致回転角度-ALPHAだけ回転した回転後の画素（位置）pp'が、隣接する情報点AとBとの間にあり、その回転後の画素pp'に最も近い情報点である対応情報点が、情報点Bになっている。
　この場合、情報点の並びの方向の補間としては、回転後の画素pp'を挟む情報点A及びBそれぞれに対する像面シフト位置ih1及びih2を用いた補間が、例えば、回転後の画素pp'から情報点A及びBそれぞれまでの距離a及びbの比に従って行われる。
　すなわち、情報点の並びの方向の補間では、例えば式ih=(ih1×b+ih2×a)/(a+b)に従って、情報点の並びの方向の補間値としての像面シフト位置ihが求められる。
　そして、対応情報点である情報点Bに対する像面シフト位置ih2に代えて、情報点の並びの方向の補間値としての像面シフト位置ihを用いて、注目実空間点から発せられる光線の結像値の位置合わせが行われる。
　図６９は、像面シフト情報（が表す像面シフト位置）の、視差方向の補間を説明する図である。
　本実施の形態では、図６で説明したように、視差を、例えば、1/4画素の精度で求めて、その1/4画素の精度の視差を、整数化して用いることとしている。
　そのため、例えば、図３２等では、視差マップに登録し得る視差dを、最小値Dminから最大値Dmaxまでの、1画素刻みのDPN=Dmax-Dmin+1個の整数値としたが、視差マップには、1/4画素の精度の視差を登録しておき、視差マップに登録されている視差を用いるときに、その視差を、整数化することができる。
　以上のように、視差マップに、1/4画素の精度等の画素以下精度の視差が登録されている場合、像面シフト情報の、視差方向の補間は、視差マップに登録されている画素以下精度の視差を、整数化せずにそのまま用いて行うことができる。
　例えば、いま、視差マップに、1/4画素の精度の視差が登録されていることとする。
　図６１のエミュレーションレンズ情報生成処理では、注目情報点及び注目視差に対応する注目実空間点に対するレンズ情報としての像面シフト情報（が表す像面シフト位置）が、視差マップに登録され得る視差を、注目視差に選択して求められる。
　このエミュレーションレンズ情報生成処理で注目視差に選択される、視差マップに登録され得る視差としては、最小値Dminから最大値Dmaxまでの、1画素刻みのDPN=Dmax-Dmin+1個の整数値が用いられる。
　したがって、エミュレーションレンズ情報生成処理では、整数値の視差に対して、像面シフト位置が求められる。
　図６９では、ある整数値の視差Dの次に大きい視差が、整数値D+1になっている。そして、整数値の視差Dに対して、像面シフト位置ih1が求められ、次に大きい整数値の視差D+1に対して、像面シフト位置ih2が求められている。
　一方、図６５の集光処理では、基準画像から選択された注目画素の視差として、視差マップに登録されている視差の中から、注目視差が選択される（ステップＳ２５３）。
　この場合、視差マップに登録されている視差は、整数化され、注目視差に選択される。
　そして、集光処理では、対応情報点及び注目視差に対応する実空間点に対するレンズ情報を用いて、光線加算処理（図６６）が行われる。
　この光線加算処理で用いられるレンズ情報のうちの、像面シフト情報（が表す像面シフト位置）については、視差マップに登録されている視差を整数化せずに用いて、視差方向の補間を行うことができる。
　すなわち、図６９では、対応情報点及び注目視差に対応する実空間点の視差（注目視差）が、1/4画素の精度の視差であるD+0.75になっている。
　ここで、視差マップに登録されている視差が、1/4画素の精度の視差である場合、整数値の視差Dから、次の整数値の視差D+1までの間の、1/4画素の精度の視差としては、D+0.25，D+0.5，D+0.75がある。
　視差マップに登録されている視差を整数化して用いる場合に、その整数化を、例えば、小数点以下の切り捨てによって行うこととすると、注目視差が、D，D+0.25，D+0.5、又は、D+0.75である場合には、いずれの場合にも、整数値Dに整数化される。
　そして、整数値Dに整数化された注目視差に対する像面シフト位置ih1を用いて、光線加算処理（図６６）が行われる。
　視差方向の補間としては、整数化していない注目視差D+0.75を挟む整数値の視差D及びD+1それぞれに対する像面シフト位置ih1及びih2を用いた補間が、注目視差D+0.75から整数値の視差D及びD+1それぞれまでの距離0.75及び0.25の比に従って行われる。
　すなわち、視差方向の補間では、式ih=ih1×0.25+ih2×0.75に従って、視差方向の補間値としての像面シフト位置ihが求められる。
　そして、整数値Dに整数化された注目視差に対する像面シフト位置ih1に代えて、視差方向の補間値としての像面シフト位置ihを用いて、光線加算処理（のうちの、光線の結像値の位置合わせ）が行われる。
　以上のような、像面シフト情報（が表す像面シフト位置）の補間を行う場合には、集光処理でのエミュレーションレンズの集光特性の再現性を向上させることができる。
　なお、像面シフト情報については、情報点の並びの方向の補間、及び、視差方向の補間のうちの一方だけを行うこともできるし、両方を行うこともできる。
　＜エミュレーション結果＞
　図７０は、レンズエミュレーション部３５（図３）によるレンズエミュレーション処理の結果得られるエミュレーション画像の例を示す図である。
　図７０は、物体obj1の手前側に、棒状の物体obj2が配置されている実空間を撮影した撮影画像から得られたエミュレーション画像を示している。
　エミュレーション画像によれば、物体obj1の、棒状の物体obj2によって隠れている部分が発する光線が、物体obj2に衝突して見えなくなっていることを確認することができる。
　図７１は、レンズエミュレーション部３５によるレンズエミュレーション処理の結果得られるエミュレーション画像の他の例を示す図である。
　なお、図７１のエミュレーション画像は、図７０と同様に、物体obj1の手前側に、棒状の物体obj2が配置されている実空間を撮影した撮影画像から得られたエミュレーション画像である。
　図７１のＡは、像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置ではなく、主光線が仮想レンズを介して到達する仮想センサ上の位置を採用した場合のエミュレーション画像を示している。
　集光処理において、像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置ではなく、主光線が仮想レンズを介して到達する仮想センサ上の位置を採用した場合、光線の結像値を加算する仮想センサの位置に、仮想レンズとエミュレーションレンズとの入力瞳の位置のずれに起因する誤差が生じる。そのため、図７１のＡでは、エミュレーション画像において、奥側の物体obj1のうちの、棒状の物体obj2によって隠れて見えないはずの部分が、見えてしまっている。
　図７１のＢは、像面シフト情報の補間を行わなかった場合のエミュレーション画像を示している。
　図７１のＢでは、像面シフト情報（が表す像面シフト位置）の回転に起因する丸め誤差の影響により、棒状の物体obj2の輪郭を形成する垂直方向に延びる線分が、でこぼこになっていることを確認することができる。
　像面シフト位置として、主光線がエミュレーションレンズを介して到達する仮想センサ上の位置を採用することや、像面シフト情報の補間を行うことで、エミュレーション画像において、図７１に示した症状が生じることを防止することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図７２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
　CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
　これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
　なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成する光線生成部と、
　前記光線生成部により生成された前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる輝度割り当て部と
　を備える画像処理装置。
　＜２＞
　前記光線生成部は、
　　前記仮想レンズを、小領域であるレンズエリアユニットに分割し、
　　前記実空間から、前記レンズエリアユニットに入射する光線を生成する
　＜１＞に記載の画像処理装置。
　＜３＞
　前記衝突判定を行う衝突判定部をさらに備える
　＜１＞又は＜２＞に記載の画像処理装置。
　＜４＞
　前記衝突判定部は、前記複数の視点の画像のうちの１の画像である基準画像の、他の画像との視差が登録された視差マップを用いて、前記衝突判定を行う
　＜３＞に記載の画像処理装置。
　＜５＞
　前記衝突判定部は、
　　前記光線と、衝突判定用の判定用視差に対応する距離に位置する、前記仮想レンズの光軸に直交する視差平面との交点を求め、
　　前記交点に対応する前記基準画像の交点画素の視差が、前記判定用視差に一致するかによって、前記衝突判定を行う
　＜４＞に記載の画像処理装置。
　＜６＞
　前記衝突判定部は、
　　前記視差の最大値から前記実空間点の奥行きに対応する視差までの範囲の視差の値を、前記判定用視差に設定し、
　　前記交点画素の視差が、前記判定用視差に一致しない場合、前記光線が衝突しないと判定する
　＜５＞に記載の画像処理装置。
　＜７＞
　前記衝突判定部は、
　　前記視差の最大値から減少する値を、前記判定用視差に、順次設定し、
　　前記判定用視差に対応する距離が、前記実空間点の奥行きに一致するまで、前記交点画素の視差が、前記判定用視差に一致しない場合、前記光線が衝突しないと判定する
　＜６＞に記載の画像処理装置。
　＜８＞
　前記輝度割り当て部は、前記複数の視点の画像の、前記実空間点に対応する画素のうちの、前記実空間点の奥行きに対応する視差と同一の視差の画素の画素値を用いて、前記光線に輝度を割り当てる
　＜１＞ないし＜７＞のいずれかに記載の画像処理装置。
　＜９＞
　実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成することと、
　前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てることと
　を含む画像処理方法。
　１１　撮影装置，　１２　画像処理装置，　１３　表示装置，　２１1ないし２１7　カメラユニット，　３１　視差情報生成部，　３２　キャリブレーションデータ取得部，　３３　飽和画素復元部，　３４　レンズ設計データ取得部，　３５　レンズエミュレーション部，　３６　入射光線再現部，　３７　エミュレーションレンズ情報生成部，　３８　集光処理部，　４１　基準視差マップ生成部，　４２　多層視差マップ生成部，　５１　飽和判定部，　５２　復元部，　６１　標準輝度撮影画像性支部，　６２　低輝度撮影画像生成部，　７１　視差情報取得部，　７２　標準輝度撮影画像生成部，　７３　低輝度撮影画像生成部，　７４　飽和判定部，　７５　復元部，　１０１　実空間点選択部，　１０２　光線生成部，　１０３　衝突判定部，　１０４　輝度割り当て部，　１３１　実空間点選択部，　１３２　情報算出部，　１３３　フォーカス位置選択部，　１４１　実空間点選択部，　１４２　結像値算出部，　１４３　スケール調整部，　１４４　結像位置認識部，　１４５　加算部，　２３１　実空間点選択部，　２４２　結像値算出部，　２４４　結像位置認識部，　２４５　加算部，　２４６　回転処理部，　４０１　バス，　４０２　CPU，　４０３　ROM，　４０４　RAM，　４０５　ハードディスク，　４０６　出力部，　４０７　入力部，　４０８　通信部，　４０９　ドライブ，　４１０　入出力インタフェース，　４１１　リムーバブル記録媒体

Claims (9)

  1. 　実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成する光線生成部と、
    　前記光線生成部により生成された前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てる輝度割り当て部と
    　を備える画像処理装置。
  2. 　前記光線生成部は、
    　　前記仮想レンズを、小領域であるレンズエリアユニットに分割し、
    　　前記実空間から、前記レンズエリアユニットに入射する光線を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記衝突判定を行う衝突判定部をさらに備える
    　請求項１に記載の画像処理装置。
  4. 　前記衝突判定部は、前記複数の視点の画像のうちの１の画像である基準画像の、他の画像との視差が登録された視差マップを用いて、前記衝突判定を行う
    　請求項３に記載の画像処理装置。
  5. 　前記衝突判定部は、
    　　前記光線と、衝突判定用の判定用視差に対応する距離に位置する、前記仮想レンズの光軸に直交する視差平面との交点を求め、
    　　前記交点に対応する前記基準画像の交点画素の視差が、前記判定用視差に一致するかによって、前記衝突判定を行う
    　請求項４に記載の画像処理装置。
  6. 　前記衝突判定部は、
    　　前記視差の最大値から前記実空間点の奥行きに対応する視差までの範囲の視差の値を、前記判定用視差に設定し、
    　　前記交点画素の視差が、前記判定用視差に一致しない場合、前記光線が衝突しないと判定する
    　請求項５に記載の画像処理装置。
  7. 　前記衝突判定部は、
    　　前記視差の最大値から減少する値を、前記判定用視差に、順次設定し、
    　　前記判定用視差に対応する距離が、前記実空間点の奥行きに一致するまで、前記交点画素の視差が、前記判定用視差に一致しない場合、前記光線が衝突しないと判定する
    　請求項６に記載の画像処理装置。
  8. 　前記輝度割り当て部は、前記複数の視点の画像の、前記実空間点に対応する画素のうちの、前記実空間点の奥行きに対応する視差と同一の視差の画素の画素値を用いて、前記光線に輝度を割り当てる
    　請求項１に記載の画像処理装置。
  9. 　実空間内の実空間点から、複数の視点の画像を撮影する複数の撮影部を合成開口とする仮想レンズに入射する光線を生成することと、
    　前記光線が、前記仮想レンズに入射するまでに物体に衝突するかを判定する衝突判定の結果残った光線に輝度を割り当てることと
    　を含む画像処理方法。
PCT/JP2016/062065 2015-04-28 2016-04-15 画像処理装置及び画像処理方法 WO2016175045A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680023027.XA CN107534730B (zh) 2015-04-28 2016-04-15 图像处理装置及图像处理方法
US15/565,547 US10306146B2 (en) 2015-04-28 2016-04-15 Image processing apparatus and image processing method
JP2017515477A JP6674644B2 (ja) 2015-04-28 2016-04-15 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-091112 2015-04-28
JP2015091112 2015-04-28

Publications (1)

Publication Number Publication Date
WO2016175045A1 true WO2016175045A1 (ja) 2016-11-03

Family

ID=57199135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062065 WO2016175045A1 (ja) 2015-04-28 2016-04-15 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10306146B2 (ja)
JP (1) JP6674644B2 (ja)
CN (1) CN107534730B (ja)
WO (1) WO2016175045A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259132B2 (ja) * 2015-01-20 2018-01-10 日立オートモティブシステムズ株式会社 車載用カメラ装置
KR20210046465A (ko) * 2019-10-18 2021-04-28 삼성전자주식회사 수차 보정 방법 및 장치
DE102021200965A1 (de) * 2021-02-03 2022-08-04 Carl Zeiss Ag Verfahren zur Simulation einer optischen Abbildung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238927A (ja) * 2012-05-11 2013-11-28 Sony Corp 画像処理装置、情報処理装置及び画像処理方法
JP2014010631A (ja) * 2012-06-29 2014-01-20 Hitachi Ltd エネルギーネットワークの最適運転制御装置および方法
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
WO2015037472A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4488023B2 (ja) * 2007-04-02 2010-06-23 ソニー株式会社 撮像装置
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP2013025298A (ja) * 2011-07-26 2013-02-04 Sony Corp 立体画像撮像装置
CN103135889B (zh) * 2011-12-05 2017-06-23 Lg电子株式会社 移动终端及其3d图像控制方法
CN103728820B (zh) * 2012-10-11 2016-09-07 扬明光学股份有限公司 影像显示装置及方法
JP6003578B2 (ja) * 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
CN108174184A (zh) * 2013-09-04 2018-06-15 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统
EP3291532B1 (en) * 2015-04-28 2020-07-22 Sony Corporation Image processing device and image processing method
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238927A (ja) * 2012-05-11 2013-11-28 Sony Corp 画像処理装置、情報処理装置及び画像処理方法
JP2014010631A (ja) * 2012-06-29 2014-01-20 Hitachi Ltd エネルギーネットワークの最適運転制御装置および方法
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
WO2015037472A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
US20180124321A1 (en) 2018-05-03
US10306146B2 (en) 2019-05-28
CN107534730B (zh) 2020-06-23
JP6674644B2 (ja) 2020-04-01
CN107534730A (zh) 2018-01-02
JPWO2016175045A1 (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6674643B2 (ja) 画像処理装置及び画像処理方法
US9843787B2 (en) Generation and use of a 3D radon image
RU2453922C2 (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
US20150177062A1 (en) Information processing apparatus, information processing method, and storage medium
WO2016175043A1 (ja) 画像処理装置及び画像処理方法
US11282176B2 (en) Image refocusing
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP6674644B2 (ja) 画像処理装置及び画像処理方法
Kuciš et al. Simulation of camera features
US20180061016A1 (en) Method and apparatus for generating data representative of a bokeh associated to light-field data
JP6684454B2 (ja) 画像処理装置及び画像処理方法
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
KR20190026014A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
Matsuyama et al. Multi-camera systems for 3d video production
CN115209044A (zh) 形成对象的图像的方法、计算机程序产品和图像形成系统
Godber The development of novel stereoscopic imaging sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786322

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017515477

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15565547

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786322

Country of ref document: EP

Kind code of ref document: A1