WO2018088211A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2018088211A1
WO2018088211A1 PCT/JP2017/038469 JP2017038469W WO2018088211A1 WO 2018088211 A1 WO2018088211 A1 WO 2018088211A1 JP 2017038469 W JP2017038469 W JP 2017038469W WO 2018088211 A1 WO2018088211 A1 WO 2018088211A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
image
images
pixel
viewpoints
Prior art date
Application number
PCT/JP2017/038469
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
功久 井藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/344,217 priority Critical patent/US11012605B2/en
Priority to DE112017005616.0T priority patent/DE112017005616T5/de
Priority to CN201780067885.9A priority patent/CN109923853B/zh
Priority to JP2018550127A priority patent/JP7107224B2/ja
Publication of WO2018088211A1 publication Critical patent/WO2018088211A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and in particular, an image processing device, an image processing method, and an image processing device that can realize refocus with a desired optical effect, for example.
  • a program for example.
  • Non-Patent Document 1 describes a refocusing method using a camera array composed of 100 cameras.
  • the present technology has been made in view of such a situation, and makes it possible to realize refocusing with a desired optical effect.
  • An image processing apparatus or a program performs an acquisition unit that acquires images of a plurality of viewpoints, and a condensing process that generates a processing result image focused on a predetermined distance using the images of the plurality of viewpoints.
  • the image processing method of the present technology includes acquiring images of a plurality of viewpoints, and performing a condensing process for generating a processing result image focused on a predetermined distance using the images of the plurality of viewpoints.
  • the condensing process is performed using the images of the plurality of viewpoints whose pixel values are adjusted by the adjustment coefficient for each viewpoint.
  • a plurality of viewpoint images are acquired, and a condensing unit that generates a processing result image focused on a predetermined distance using the plurality of viewpoint images. Processing is performed. This condensing process is performed using the images of the plurality of viewpoints whose pixel values are adjusted by the adjustment coefficient for each viewpoint.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • FIG. 2 is a rear view illustrating a configuration example of the imaging device 11.
  • FIG. 6 is a rear view illustrating another configuration example of the imaging device 11.
  • 2 is a block diagram illustrating a configuration example of an image processing device 12.
  • FIG. It is a flowchart explaining the example of a process of an image processing system. It is a figure explaining the example of the production
  • FIG. 10 is a block diagram illustrating another configuration example of the image processing apparatus 12. It is a flowchart explaining the example of the condensing process which the condensing process part 51 performs.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system includes a photographing device 11, an image processing device 12, and a display device 13.
  • the photographing apparatus 11 photographs the subject from a plurality of viewpoints, and supplies the image processing apparatus 12 with, for example, (almost) pan-focus photographed images obtained from the plurality of viewpoints.
  • the image processing device 12 performs image processing such as refocusing that generates (reconstructs) an image in which an arbitrary subject is focused using the captured images from a plurality of viewpoints from the imaging device 11, and the result of the image processing The obtained processing result image is supplied to the display device 13.
  • the display device 13 displays the processing result image from the image processing device 12.
  • the photographing device 11, the image processing device 12, and the display device 13 constituting the image processing system are all such as a digital (still / video) camera or a mobile terminal such as a smartphone. Can be built into a separate device.
  • the photographing device 11, the image processing device 12, and the display device 13 can be individually incorporated in independent devices.
  • the photographing device 11, the image processing device 12, and the display device 13 can be arbitrarily incorporated into any two of them and the remaining one separately.
  • the photographing device 11 and the display device 13 can be built in a portable terminal owned by the user, and the image processing device 12 can be built in a server on the cloud.
  • a part of the blocks of the image processing device 12 can be built in a server on the cloud, and the remaining blocks of the image processing device 12, the photographing device 11 and the display device 13 can be built in a portable terminal.
  • FIG. 2 is a rear view showing a configuration example of the photographing apparatus 11 of FIG.
  • the imaging device 11 includes, for example, a plurality of camera units (hereinafter also referred to as cameras) 21 i that capture an image having RGB values as pixel values, and the plurality of cameras 21 i can capture captured images from a plurality of viewpoints. Take a picture.
  • a plurality of camera units hereinafter also referred to as cameras
  • the photographing apparatus 11 includes, for example, seven cameras 21 1 , 21 2 , 21 3 , 21 4 , 21 5 , 21 6 and 21 7 as a plurality, and these seven cameras. 21 1 to 21 7 are arranged on a two-dimensional plane.
  • seven cameras 21 1 to 21 7 are one of them, for example, with the camera 21 1 as the center, the other six cameras 21 2 to 21 7 are connected to the camera 21 1. Are arranged so as to form a regular hexagon.
  • the imaging device 11 can be configured to be approximately the size of a card such as an IC card.
  • the number of cameras 21 i constituting the photographing apparatus 11 is not limited to seven, and a number of 2 to 6 or 8 or more can be employed.
  • the plurality of cameras 21 i can be arranged at arbitrary positions in addition to the regular polygon such as the regular hexagon as described above.
  • the peripheral of the cameras 21 1 to 21 7, the camera 21 1 disposed at the center is also referred to as the reference camera 21 1, a camera 21 2 to 21 7, which is arranged around the base camera 21 1 Also referred to as cameras 21 2 to 21 7 .
  • FIG. 3 is a rear view showing another configuration example of the photographing apparatus 11 of FIG.
  • the photographing apparatus 11 includes nine cameras 21 11 to 21 19 , and the nine cameras 21 11 to 21 19 are arranged in 3 ⁇ 3 in the horizontal and vertical directions.
  • the photographing apparatus 11 is configured by seven cameras 21 1 to 21 7 as shown in FIG. 2, for example.
  • the reference camera 21 1 viewpoint with reference viewpoint also referred to as a reference image PL1 photographed images PL1 taken by the reference camera 21 1.
  • the captured image PL # i taken around the camera 21 i also called peripheral image PL # i.
  • the photographing apparatus 11 is composed of a plurality of cameras 21 i , for example, Ren.Ng and seven others, “Light Field Photography with a Hand-Held Plenoptic Camera”, As described in Stanford Tech Report CTSR 2005-02, it can be configured using an MLA (Micro Lens Array). Even when the imaging apparatus 11 is configured using MLA, it is possible to substantially obtain captured images taken from a plurality of viewpoints.
  • MLA Micro Lens Array
  • the method of capturing the captured images from a plurality of viewpoints is not limited to the method of configuring the image capturing apparatus 11 with the plurality of cameras 21 i or the method of configuring using the MLA.
  • FIG. 4 is a block diagram illustrating a configuration example of the image processing apparatus 12 of FIG.
  • the image processing apparatus 12 includes a parallax information generation unit 31, an interpolation unit 32, an adjustment unit 33, a condensing processing unit 34, and a parameter setting unit 35.
  • the image processing device 12 is supplied from the photographing device 11 with seven viewpoint photographed images PL1 to PL7 photographed by the cameras 21 1 to 21 7 .
  • the captured image PL # i is supplied to the parallax information generation unit 31 and the interpolation unit 323.
  • the parallax information generation unit 31 obtains parallax information using the captured image PL # i supplied from the imaging device 11 and supplies the parallax information to the interpolation unit 32 and the light collection processing unit 34.
  • the parallax information generation unit 31 performs processing for obtaining parallax information of each captured image PL # i supplied from the imaging device 11, for example, with the other captured images PL # j. Perform as image processing. For example, the parallax information generation unit 31 generates a map in which the parallax information is registered for each pixel (position) of the captured image, and supplies the map to the interpolation unit 32 and the light collection processing unit 34.
  • the parallax information any information that can be converted into a parallax such as a disparity in which the parallax is represented by the number of pixels or a distance in the depth direction corresponding to the parallax can be adopted.
  • disparity is adopted as disparity information
  • the disparity information generation unit 31 generates a disparity map in which the disparity is registered as a map in which disparity information is registered.
  • Interpolation unit 32 from the imaging device 11, the camera 21 1-7 viewpoint of the camera 21 1 to 21 7 by using the disparity map from PL7 and parallax information generating unit 31 to free the captured image PL1 of 21 7 of 7 viewpoints If shooting is performed from a viewpoint other than the above, an image obtained by interpolation is generated.
  • the imaging device 11 including the plurality of cameras 21 1 to 21 7 functions as a virtual lens having the cameras 21 1 to 21 7 as a synthetic aperture by a focusing process performed by a focusing process unit 34 described later.
  • the synthetic aperture of the virtual lens has a substantially circular shape with a diameter of approximately 2B that connects the optical axes of the peripheral cameras 21 2 to 21 7 .
  • the interpolation unit 32 has, for example, a plurality of points at almost equal intervals in a square (or a square inscribed in the synthetic aperture of the virtual lens) having a diameter 2B of the virtual lens as one side, for example, 21 ⁇ 21 horizontal ⁇ vertical. From the 21 ⁇ 21 viewpoints, 21 ⁇ 21 ⁇ 7 viewpoint images other than the seven viewpoints of the cameras 21 1 to 21 7 are generated by interpolation.
  • the interpolation unit 32 supplies to the adjustment unit 33 the seven viewpoint photographed images PL1 to PL7 of the cameras 21 1 to 21 7 and the 21 ⁇ 21 ⁇ 7 viewpoint image generated by the interpolation using the photographed images.
  • the image generated by the interpolation using the captured image in the interpolation unit 32 is also referred to as an interpolation image.
  • a total of 21 ⁇ 21 perspectives An image is also called a viewpoint image.
  • Interpolation in the interpolation unit 32 is considered to be processing for generating viewpoint images of a larger number of viewpoints (here, 21 ⁇ 21 viewpoints) from the seven viewpoints of the captured images PL1 to PL7 of the cameras 21 1 to 21 7. be able to.
  • Processing for generating viewpoint image of the plurality of viewpoints can be regarded as the real spatial point in the real space, to the camera 21 1 is a process to reproduce the light rays incident on the virtual lens to synthetic aperture 21 7 .
  • the adjustment unit 33 is supplied with viewpoint images of a plurality of viewpoints from the interpolation unit 32 and is also supplied with adjustment parameters from the parameter setting unit 35.
  • the adjustment parameter is an adjustment coefficient for adjusting the pixel value set for each viewpoint, for example.
  • the adjustment unit 33 adjusts the pixel value of the pixel of the viewpoint image of each viewpoint from the interpolation unit 32 by the adjustment coefficient for each viewpoint as the adjustment parameter from the parameter setting unit 35, and a plurality of viewpoints after the adjustment of the pixel value Are supplied to the condensing processing unit 34.
  • the condensing processing unit 34 uses the viewpoint images of the plurality of viewpoints from the adjusting unit 33 to condense light from the subject that has passed through an optical system such as a lens on an image sensor or film in an actual camera. Then, a condensing process, which is an image process corresponding to forming an image of a subject, is performed.
  • refocusing is performed to generate (reconstruct) an image focused on an arbitrary subject. Refocusing is performed using the disparity map from the parallax information generation unit 31 and the light collection parameter from the parameter setting unit 35.
  • the image obtained by the condensing process of the condensing processing unit 34 is output to the (display device 13) as a processing result image.
  • the parameter setting unit 35 focuses the pixel of the photographed image PL # i (for example, the reference image PL1) at the position designated by the operation of the operation unit (not shown) by the user or a predetermined application or the like (the subject is the subject). It is set to the focusing target pixel and is supplied to the condensing processing unit 34 as a (part of) condensing parameter.
  • the parameter setting unit 35 sets an adjustment coefficient for adjusting a pixel value for each of a plurality of viewpoints according to a user operation or a command from a predetermined application, and uses the adjustment coefficient for each viewpoint as an adjustment parameter. This is supplied to the adjustment unit 33.
  • the adjustment parameter is a parameter for controlling the adjustment of the pixel value in the adjustment unit 33, and is the viewpoint of the viewpoint image used for the condensing process in the condensing processing unit 34, that is, the viewpoint of the viewpoint image obtained in the interpolation unit 32. It consists of adjustment factors for each.
  • Adjustment parameters include, for example, a lens aperture parameter that realizes an optical image effect that can be actually or theoretically achieved by an optical system such as an optical lens and an aperture, and a lens filter that is actually or theoretically achieved. There are filter parameters that realize optical image effects that can be applied.
  • the image processing apparatus 12 can be configured as a server or a client. Furthermore, the image processing apparatus 12 can also be configured as a server client system. When the image processing apparatus 12 is configured as a server client system, any part of the blocks of the image processing apparatus 12 can be configured by a server, and the remaining blocks can be configured by a client.
  • FIG. 5 is a flowchart for explaining an example of processing of the image processing system of FIG.
  • step S11 the photographing apparatus 11 photographs seven viewpoints of captured images PL1 to PL7 as a plurality of viewpoints.
  • the captured image PL # i is supplied to the parallax information generation unit 31 and the interpolation unit 32 of the image processing device 12 (FIG. 4).
  • step S11 the process proceeds from step S11 to step S12, and the image processing apparatus 12 acquires the captured image PL # i from the imaging apparatus 11. Further, in the image processing device 12, the parallax information generation unit 31 obtains parallax information using the captured image PL # i from the imaging device 11, and generates a disparity map in which the parallax information is registered. I do.
  • the disparity information generation unit 31 supplies the disparity map obtained by the disparity information generation processing to the interpolation unit 32 and the condensing processing unit 34, and the processing proceeds from step S12 to step S13.
  • the image processing apparatus 12 acquires the captured image PL # i from the imaging apparatus 11, but the image processing apparatus 12 directly acquires the captured image PL # i from the imaging apparatus 11, for example, A captured image PL # i captured by the imaging device 11 or other imaging device (not shown) and stored in advance in the cloud can be acquired from the cloud.
  • step S13 the interpolation section 32, to no camera 21 1 by using the disparity map from the camera 21 1 to 21 7 of 7 to no captured image PL1 perspective PL7 and disparity information generating unit 31 from the imaging device 11 21 7 Interpolation processing for generating interpolated images of a plurality of viewpoints other than the seven viewpoints is performed.
  • step S14 the interpolation unit 32, a camera 21 1 to 21 7 of 7 viewpoint photographed image PL1 to a plurality of viewpoints of the interpolation image and the plurality of viewpoints of viewpoint images obtained by PL7 and interpolation processing from the imaging device 11, Then, the process proceeds to step S14 from step S13.
  • step S14 the parameter setting unit 35 sets a light collection parameter and an adjustment parameter.
  • the parameter setting unit 35 sets an adjustment coefficient for each viewpoint of the viewpoint image in accordance with a user operation or the like.
  • the parameter setting unit 35 sets the focus target pixel to focus the pixel of the reference image PL1 at the position designated by the user operation or the like.
  • the parameter setting unit 35 causes the display device 13 to display a message that prompts the user to specify a subject to be focused on, for example, the reference image PL1 among the seven viewpoints of the captured images PL1 to PL7. Then, the parameter setting unit 35 waits for the user to specify the position on the reference image PL1 (subject to appear in) displayed on the display device 13, and then determines the pixel of the reference image PL1 at the position specified by the user. Set to the focus target pixel.
  • the in-focus target pixel can be set according to designation by the user, for example, according to designation from an application, designation by a predetermined rule, or the like.
  • a pixel in which a subject that moves more than a predetermined speed or a subject that moves continuously for a predetermined time can be set as a focusing target pixel.
  • the parameter setting unit 35 supplies the adjustment coefficient for each viewpoint of the viewpoint image to the adjustment unit 33 as an adjustment parameter, and supplies the focusing target pixel to the light collection processing unit 34 as a light collection parameter. To step S15.
  • step S15 the adjustment unit 33 performs adjustment processing for adjusting the pixel value of the pixel of each viewpoint image from the interpolation unit 32 using the adjustment coefficient for each viewpoint as the adjustment parameter from the parameter setting unit 35.
  • the adjustment unit 33 supplies the viewpoint images of the plurality of viewpoints after the pixel value adjustment to the light collection processing unit 34, and the process proceeds from step S15 to step S16.
  • step S ⁇ b> 16 the light collection processing unit 34 receives the viewpoint images of the plurality of viewpoints after the adjustment of the pixel values from the adjustment unit 33, the disparity map from the parallax information generation unit 31, and the collection from the parameter setting unit 35.
  • the substance of the virtual sensor that collects the light beam that has passed through the virtual lens is, for example, a memory (not shown).
  • the pixel values of the viewpoint images of a plurality of viewpoints pass through the virtual lens by being accumulated in the memory (the stored value) as the virtual sensor as the luminance of the light beam condensed on the virtual sensor.
  • a pixel value of an image obtained by condensing light rays is obtained.
  • a reference shift amount BV to be described later which is a pixel shift amount for pixel shifting the pixels of the viewpoint images of a plurality of viewpoints, is set, and a plurality of viewpoints are set according to the reference shift amount BV.
  • the condensing process (accumulation of the pixels (pixel values thereof)) is performed on the viewpoint images of a plurality of viewpoints after the adjustment of the pixel values.
  • the adjustment coefficient for each viewpoint as the adjustment parameter to be adjusted, refocusing with various optical effects can be performed.
  • the in-focus point is a real space point in the real space that is in focus.
  • the in-focus surface that is a surface as a set of in-focus points is a parameter setting unit. This is set using the focusing target pixel from 35 as the light collection parameter.
  • the condensing processing unit 34 supplies a processing result image obtained as a result of the condensing process to the display device 13, and the process proceeds from step S16 to step S17.
  • step S ⁇ b> 17 the display device 13 displays the processing result image from the light collection processing unit 34.
  • the adjustment parameter and the light collection parameter are set in step S14.
  • the adjustment parameter can be set at an arbitrary timing until immediately before the adjustment process in step S15 is performed.
  • the focusing parameter can be set at an arbitrary timing from immediately after shooting of the seven viewpoint shot images PL1 to PL7 in step S11 to immediately before the focusing process in step S15.
  • the image processing apparatus 12 (FIG. 4) can be configured by only the light collection processing unit 34.
  • the image processing device 12 is configured without providing the interpolation unit 32. be able to.
  • the condensing process is performed using an interpolated image as well as the captured image, it is possible to suppress the occurrence of ringing in a subject that is not in focus in the processing result image.
  • disparity information of captured images of a plurality of viewpoints captured by the image capturing device 11 can be generated by an external device using a distance sensor or the like, and the disparity information can be acquired from the external device.
  • the image processing apparatus 12 can be configured without providing the parallax information generation unit 31.
  • the parameter setting unit 35 is not provided.
  • the image processing device 12 can be configured.
  • FIG. 6 is a diagram illustrating an example of generation of an interpolation image by the interpolation unit 32 in FIG.
  • the interpolation unit 32 When generating an interpolation image of a certain viewpoint, the interpolation unit 32 sequentially selects pixels of the interpolation image as interpolation target pixels to be interpolated. Further, the interpolation unit 32 uses all of the seven viewpoints of the captured images PL1 to PL7 or a part of the viewpoints of the captured image PL # i close to the viewpoint of the interpolation image for calculating the pixel value of the interpolation target pixel. Select a value calculation image. The interpolation unit 32 uses the disparity map from the disparity information generation unit 31 and the viewpoint of the interpolated image, and corresponds to the interpolation target pixel from each of the captured images PL # i of the plurality of viewpoints selected as the pixel value calculation image. The corresponding pixel (a pixel in which the same spatial point as the spatial point reflected in the interpolation target pixel if captured from the viewpoint of the interpolated image) is obtained.
  • the interpolation unit 32 performs weighted addition of the pixel values of the corresponding pixels, and obtains the weighted addition value obtained as a result as the pixel value of the interpolation target pixel.
  • the weight used for the weighted addition of the pixel value of the corresponding pixel is inversely proportional to the distance between the viewpoint of the captured image PL # i as the pixel value calculation image having the corresponding pixel and the viewpoint of the interpolation image having the interpolation target pixel. Any value can be adopted.
  • the viewpoint of the interpolation image is selected rather than selecting all of the seven viewpoints of the captured images PL1 to PL7 as pixel value calculation images. Selecting the captured image PL # i from some viewpoints such as the nearest three viewpoints or four viewpoints as the pixel value calculation image actually obtains an interpolation image that is closer to the image obtained from the viewpoint of the interpolation image. be able to.
  • FIG. 7 is a diagram for explaining an example of disparity map generation by the disparity information generation unit 31 in FIG.
  • FIG. 7 to no captured image PL1 taken by the camera 21 1 to 21 7 of the imaging device 11 shows an example of PL7.
  • the photographed images PL1 to PL7 show a predetermined object obj as a foreground on the near side of the predetermined background. Since each of the captured images PL1 to PL7 has a different viewpoint, for example, the position of the object obj reflected in each of the captured images PL2 to PL7 (position on the captured image) differs from the position of the object obj reflected in the captured image PL1. It is off by the minute.
  • the parallax information generating unit 31 when generating a disparity map of the viewpoint vp1 of the photographed image PL1, the parallax information generating unit 31 sets the photographed image PL1 as a target image PL1 to which attention is paid. Further, the parallax information generation unit 31 sequentially selects each pixel of the target image PL1 as the target pixel of interest, and detects a corresponding pixel (corresponding point) corresponding to the target pixel from each of the other captured images PL2 to PL7. To do.
  • a method of detecting the corresponding pixel corresponding to the target pixel of the target image PL1 from each of the captured images PL2 to PL7 for example, there is a method using the principle of triangulation such as stereo matching or multi-baseline stereo.
  • a vector representing a positional shift of the corresponding pixel of the captured image PL # i with respect to the target pixel of the target image PL1 is referred to as a disparity vector v # i, 1.
  • the disparity information generation unit 31 obtains disparity vectors v2,1 to v7,1 for each of the captured images PL2 to PL7. Then, the disparity information generation unit 31 performs, for example, a majority decision on the size of the disparity vectors v2,1 to v7,1, and determines the size of the disparity vector v # i, 1 that has won the majority decision as the target pixel. It is obtained as the magnitude of the disparity at (position).
  • the imaging device 11 as described with reference to FIG. 2, the distance between each surrounding camera 21 2 to 21 7 to shoot a reference camera 21 1 and the photographed image PL2 to PL7 for capturing the attention image PL1 is the same
  • the real space point shown in the target pixel of the target image PL1 is also displayed in the captured images PL2 to PL7 when the distance is B
  • the disparity vectors v2,1 to v7,1 are different in direction.
  • Vectors of equal magnitude are obtained.
  • the disparity vectors v2,1 to v7,1 are vectors having the same magnitude in the opposite direction to the viewpoints vp2 to vp7 of the other captured images PL2 to PL7 with respect to the viewpoint vp1 of the target image PL1. .
  • an image in which occlusion occurs that is, an image in which the real space point reflected in the target pixel of the target image PL1 is hidden behind the foreground.
  • a captured image (hereinafter also referred to as an occlusion image) PL # i in which a real space point reflected in the target pixel of the target image PL1 is not reflected, it is difficult to detect a correct pixel as a corresponding pixel corresponding to the target pixel. .
  • the disparity vector v # j, 1 having a different size from the disparity vector v # j, 1 of the captured image PL # j in which the real space point reflected in the target pixel of the target image PL1 is shown. # i, 1 is required.
  • the disparity information generation unit 31 performs a majority decision on the size of the disparity vectors v2,1 to v7,1 and the magnitude of the disparity vector v # i, 1 that has won the majority decision. Is obtained as the magnitude of disparity of the pixel of interest.
  • disparity vectors v2,1 to v7,1 are vectors having the same size. Further, there is no disparity vector having the same magnitude for each of the disparity vectors v4,1, v5,1, v6,1.
  • the size of the three disparity vectors v2,1, v3,1, v7,1 is obtained as the disparity size of the pixel of interest.
  • viewpoint vp1 camera 21 1 position
  • viewpoint vp # viewpoint vp # It can be recognized from the positional relationship with i (the position of the camera 21 i ) (the direction from the viewpoint vp1 to the viewpoint vp # i, etc.).
  • the parallax information generation unit 31 sequentially selects each pixel of the target image PL1 as the target pixel, and obtains the size of the disparity. Then, the disparity information generation unit 31 generates, as a disparity map, a map in which the disparity magnitude of each pixel is registered for the position (xy coordinate) of each pixel of the target image PL1. Therefore, the disparity map is a map (table) in which the position of the pixel is associated with the disparity magnitude of the pixel.
  • the disparity map of the viewpoint vp # i of other captured images PL # i can be generated in the same manner as the disparity map of the viewpoint vp # 1.
  • the majority of the disparity vectors is determined based on the viewpoint vp # i of the captured image PL # i and the captured image PL # i other than the captured image PL # i.
  • the size of the disparity vector is adjusted. Is called.
  • the disparity vector obtained between the target image PL5 and the captured image PL2 is the target image PL5.
  • the disparity vector obtained between the captured image PL1 is twice as large.
  • the base line length that is the distance between the optical axes of the camera 21 5 that captures the captured image PL5 and the camera 21 1 that captures the captured image PL1 is the distance B, but the captured image PL5 is captured. This is because the base line length between the camera 21 5 and the camera 21 2 that captures the captured image PL2 is the distance 2B.
  • the distance B which is the base line length between the reference camera 21 1 and the other camera 21 i , is assumed to be the reference base line length serving as a reference for obtaining the disparity.
  • the majority decision of the disparity vector is performed by adjusting the size of the disparity vector so that the base line length is converted into the reference base line length B.
  • the base length B of the cameras 21 5 for capturing a target image PL5 the reference camera 21 1 for capturing a photographic image PL1 is equal to the reference base length B, obtained between the target image PL5 and the photographed image PL1
  • the disparity vector to be generated is adjusted to a size of 1.
  • base length 2B of the camera 21 2 for photographing the camera 21 5 and the photographed image PL2 for capturing an image of interest PL5 example is equal to twice the reference base length B, between the target image PL5 and the photographed image PL2
  • the disparity vector obtained in (1) is adjusted to 1/2 in magnitude (the value multiplied by the ratio of the reference baseline length B to the baseline length 2B of the cameras 21 5 and 21 2 ).
  • the disparity vector obtained between the target image PL5 and another captured image PL # i is adjusted to a value multiplied by the ratio with the reference baseline length B.
  • the majority of the disparity vector is determined using the disparity vector after the size adjustment.
  • the disparity of the captured image PL # i (each pixel thereof) can be obtained, for example, with the accuracy of the pixel of the captured image captured by the capturing apparatus 11. Further, the disparity of the captured image PL # i can be obtained with, for example, subpixel accuracy (for example, subpixel accuracy such as 1/4 pixel), which is finer than the pixel of the captured image PL # i.
  • the disparity with sub-pixel accuracy can be used as it is, and the decimal point of sub-pixel accuracy is rounded down, rounded up, or rounded off. It can also be used as an integer.
  • the size of the disparity registered in the disparity map is hereinafter also referred to as registered disparity.
  • the registered disparity is X of the disparity between the pixel and the captured image PL5 at the viewpoint adjacent to the left of the reference image PL1 (a vector representing a pixel shift from the pixel of the reference image PL1 to the corresponding pixel of the captured image PL5 corresponding to the pixel) Equal to the component.
  • FIG. 8 is a diagram for explaining an outline of refocusing by the light condensing process performed by the light condensing processing unit 34 in FIG.
  • the viewpoint images of a plurality of viewpoints used for the condensing process the reference image PL1, the photographed image PL2 of the viewpoint right next to the reference image PL1, and the left of the reference image PL1 are used.
  • Three images of the captured image PL5 of the adjacent viewpoint are used.
  • two objects obj1 and obj2 are shown in the captured images PL1, PL2, and PL5.
  • the object obj1 is located on the near side
  • the object obj2 is located on the far side.
  • refocusing focusing
  • an image viewed from the reference viewpoint of the reference image PL1 is obtained as a processing result image after the refocusing.
  • the disparity of the viewpoint of the processing result image between the pixel on which the object obj1 of the captured image PL1 is reflected is represented as DP1.
  • the disparity of the viewpoint of the processing result image between the pixel in which the object obj1 of the captured image PL2 is reflected is represented as DP2, and the viewpoint of the processing result image between the pixel in which the object obj1 of the captured image PL5 is reflected is shown.
  • the disparity is represented as DP5.
  • the disparity DP1 of the viewpoint of the processing result image between the pixel in which the object obj1 of the captured image PL1 appears is (0 , 0).
  • the captured images PL1, PL2, and PL5 are pixel-shifted according to the disparities DP1, DP2, and DP5, respectively, and the captured images PL1, PL2 after the pixel shift are performed. And by integrating PL5, a processing result image focused on the object obj1 can be obtained.
  • the positions of the pixels in which the object obj2 at a position in the depth direction different from the object obj1 are not matched. Therefore, the object obj2 reflected in the processing result image is blurred.
  • the viewpoint of the processing result image is the reference viewpoint and the disparity DP1 is (0, 0), it is necessary to substantially perform pixel shift for the captured image PL1. There is no.
  • the viewpoint image pixels in this case, between the viewpoint image pixels of a plurality of viewpoints and the in-focus target pixels in which the in-focus target is reflected
  • the viewpoint image pixels By shifting and integrating the pixels so as to cancel the disparity of the reference viewpoint, an image in which refocusing is performed on the focus target is obtained as a processing result image.
  • FIG. 9 is a diagram for explaining an example of disparity conversion.
  • the registered disparity registered in the disparity map is the disparity x of the pixel of the reference image PL1 between each pixel of the captured image PL5 at the viewpoint adjacent to the left of the reference image PL1. Equal to the component.
  • the disparity of the focusing target pixel of the processing result image with the viewpoint image of the attention viewpoint that is,
  • the disparity of the focusing target pixel of the reference image PL1 of the reference viewpoint is required.
  • the disparity of the focus target pixel of the reference image PL1 between the viewpoint image of the viewpoint of interest is the focus target pixel of the reference image PL1 (corresponding pixel of the reference image PL corresponding to the focus target pixel of the processing result image) From the registered disparity, the direction of the viewpoint of interest can be determined from the reference viewpoint (the viewpoint of the pixel to be processed).
  • the camera 21 2 is at a position separated in the + x direction by the reference baseline length B, and the direction of the viewpoint of the camera 21 2 from the reference viewpoint is 0 [radian].
  • the disparity DP2 (as a vector) of the focusing target pixel of the reference image PL1 between the viewpoint image (captured image PL2) of the viewpoint of the camera 21 2 is the registered disparity RD of the focusing target pixel.
  • the camera 21 3 is at a position separated by ⁇ / 3 by the reference baseline length B, and the direction of the viewpoint of the camera 21 2 from the reference viewpoint is ⁇ / 3 [radian].
  • the camera 21 3 viewpoint of the viewpoint image (captured image PL3) disparity DP3 of the target pixel focusing reference image PL1 from registration disparity RD of the focusing target pixel
  • the interpolation image obtained by the interpolation unit 32 can be regarded as an image taken by a virtual camera located at the viewpoint vp of the interpolation image. It is assumed that the viewpoint vp of this virtual camera is a position away from the reference viewpoint by the distance L in the direction of the angle ⁇ [radian].
  • the disparity DP of the focus target pixel of the reference image PL1 between the viewpoint vp viewpoint image (image captured by a virtual camera) is calculated from the registered disparity RD of the focus target pixel.
  • the angle ⁇ which is the direction of the viewpoint vp, it can be obtained as ( ⁇ (L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ).
  • the disparity of the focus target pixel of the reference image PL1 between the viewpoint image of each viewpoint is obtained from the registered disparity RD of the focus target pixel by disparity conversion, and the focus target pixel
  • the viewpoint image of each viewpoint is pixel-shifted so as to cancel the disparity.
  • the viewpoint image is pixel-shifted so as to cancel the disparity of the focus target pixel between the viewpoint image and the shift amount of the pixel shift is also referred to as a focus shift amount.
  • viewpoint vp # i the viewpoint of the i-th viewpoint image among the viewpoint images of the plurality of viewpoints obtained by the interpolation unit 32 is also referred to as viewpoint vp # i.
  • the focus shift amount of the viewpoint image at the viewpoint vp # i is also described as the focus shift amount DP # i.
  • the focus shift amount DP # i of the viewpoint image of the viewpoint vp # i can be uniquely determined from the registered disparity RD of the focus target pixel by disparity conversion that considers the direction of the viewpoint vp # i from the reference viewpoint. it can.
  • the disparity (vector as) (-(L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ) is obtained from the registered disparity RD. Desired.
  • the disparity conversion is performed by, for example, multiplying the registered disparity RD by ⁇ (L / B) ⁇ cos ⁇ and ⁇ (L / B) ⁇ sin ⁇ , or ⁇ 1 times the registered disparity RD.
  • it can be understood as an operation of multiplying (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ .
  • the disparity conversion is regarded as an operation of multiplying (-1) the registered disparity RD by (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ .
  • the value to be subjected to disparity conversion that is, here, ⁇ 1 times the registered disparity RD is a value that serves as a reference for obtaining the focus shift amount of the viewpoint image of each viewpoint. Also called quantity BV.
  • the focus shift amount is uniquely determined by the disparity conversion of the reference shift amount BV, according to the setting of the reference shift amount BV, the pixel of the viewpoint image of each viewpoint is substantially changed by the setting.
  • a pixel shift amount for pixel shift is set.
  • the reference shift amount BV when the focus target pixel is focused that is, the focus target pixel ⁇ 1 times the registered disparity RD is equal to the x component of the disparity of the focus target pixel between the captured image PL2.
  • FIG. 10 is a diagram for explaining refocusing by the condensing process.
  • an in-focus surface a surface composed of a collection of in-focus points (real space points in real space that are in focus) is referred to as an in-focus surface.
  • Refocusing is performed by generating an image using viewpoint images of a plurality of viewpoints.
  • FIG. 10 one person is shown in each of the front and middle of the viewpoint images of a plurality of viewpoints. Then, focusing on a subject on the focal plane, for example, a middle person, from the viewpoint images of a plurality of viewpoints, with a plane having a constant distance in the depth direction passing through the position of the middle person as a focal plane. A processed result image is obtained.
  • a subject on the focal plane for example, a middle person
  • the focusing surface for example, a plane or a curved surface in which the distance in the depth direction in the real space changes can be adopted.
  • the focusing surface it is possible to employ a plurality of planes having different distances in the depth direction.
  • FIG. 11 is a flowchart for explaining an example of the light collection process performed by the light collection processing unit 34.
  • step S31 the condensing processing unit 34 obtains (information about) the focusing target pixel as the condensing parameter from the parameter setting unit 35, and the process proceeds to step S32.
  • the reference image PL1 or the like is displayed on the display device 13, and the user designates one position on the reference image PL1.
  • the parameter setting unit 35 sets a pixel at a position designated by the user as a focusing target pixel, and supplies the focusing target pixel (information indicating the focusing target pixel) to the condensing processing unit 34 as a condensing parameter.
  • step S31 the light collection processing unit 34 acquires the focusing target pixel supplied from the parameter setting unit 35 as described above.
  • step S32 the light collection processing unit 34 acquires the registered disparity RD of the focusing target pixel registered in the disparity map from the parallax information generating unit 31. Then, the condensing processing unit 34 sets the reference shift amount BV according to the registered disparity RD of the focus target pixel, that is, for example, ⁇ 1 times the registered disparity RD of the focus target pixel. BV is set, and the process proceeds from step S32 to step S33.
  • the light collection processing unit 34 is one of the viewpoint images of the plurality of viewpoints after adjustment of the pixel value from the adjustment unit 33, for example, an image corresponding to the reference image, that is, the reference image An image having the same size as the reference image viewed from the above viewpoint and having a pixel value of 0 as an initial value is set as the processing result image. Furthermore, the light collection processing unit 34 determines one pixel from among the pixels of the processing result image that has not yet been determined as the target pixel, as the target pixel, and the processing proceeds from step S33 to step S34. .
  • step S34 the condensing processing unit 34 selects one viewpoint vp # i that has not yet been determined as the target viewpoint (for the target pixel) among the viewpoints of the viewpoint image from the adjustment unit 33. i is determined, and the process proceeds to step S35.
  • step S35 the condensing processing unit 34 uses the reference shift amount BV to focus on the focus target pixel (focus on the subject reflected in the focus target pixel) and the viewpoint of the viewpoint of interest vp # i.
  • the focus shift amount DP # i of each pixel of the image is obtained.
  • the condensing processing unit 34 performs disparity conversion on the reference shift amount BV in consideration of the direction of the reference viewpoint vp # i from the reference viewpoint, and uses the value (vector) obtained as a result of the disparity conversion as the attention viewpoint. Obtained as the focus shift amount DP # i of each pixel of the viewpoint image of vp # i.
  • step S35 the condensing processing unit 34 pixel-shifts each pixel of the viewpoint image of the viewpoint of interest vp # i according to the focus shift amount DP # i, and the viewpoint after the pixel shift
  • the pixel value of the pixel at the position of the target pixel in the image is added to the pixel value of the target pixel.
  • the condensing processing unit 34 selects a vector (here, for example, the focus shift amount DP #) corresponding to the focus shift amount DP # i from the position of the target pixel among the pixels of the viewpoint image of the target viewpoint vp # i.
  • the pixel values of pixels separated by (-1 times i) are added to the pixel value of the target pixel.
  • step S36 the process proceeds from step S36 to step S37, and the condensing processing unit 34 determines whether or not all viewpoints of the viewpoint image from the adjustment unit 33 are the viewpoints of interest.
  • step S37 If it is determined in step S37 that all viewpoints of the viewpoint image from the adjustment unit 33 have not been used as the viewpoint of interest, the process returns to step S34, and the same process is repeated thereafter.
  • step S37 If it is determined in step S37 that all viewpoints of the viewpoint image from the adjustment unit 33 are the viewpoints of interest, the process proceeds to step S38.
  • step S38 the light collection processing unit 34 determines whether or not all the pixels of the processing result image are the target pixels.
  • step S38 If it is determined in step S38 that not all the pixels of the processing result image have been set as the target pixel, the process returns to step S33, and the condensing processing unit 34, among the pixels of the processing result image, as described above. Therefore, one of the pixels that have not yet been determined as the target pixel is newly determined as the target pixel, and the same processing is repeated thereafter.
  • Step S38 when it is determined that all the pixels of the processing result image are the target pixels, the condensing processing unit 34 outputs the processing result image and ends the condensing processing.
  • the reference shift amount BV is set according to the registered disparity RD of the focus target pixel, and does not change depending on the target pixel or the target viewpoint vp # i. Therefore, the reference shift amount BV is set regardless of the target pixel and the target viewpoint vp # i.
  • the focus shift amount DP # i varies depending on the target viewpoint vp # i and the reference shift amount BV.
  • the reference shift amount BV is determined by the target pixel and the target viewpoint. It does not change depending on vp # i. Therefore, the focus shift amount DP # i varies depending on the target viewpoint vp # i, but does not vary depending on the target pixel. That is, the focus shift amount DP # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the target pixel.
  • step S35 for obtaining the focus shift amount DP # i is a loop for repeatedly calculating the focus shift amount DP # i for the same viewpoint vp # i for different pixels of interest (from step S33 to step S38).
  • the focus shift amount DP # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the target pixel.
  • step S35 for obtaining the focus shift amount DP # i may be performed only once for one viewpoint.
  • the reference shift amount of the viewpoint image necessary for focusing the focusing target pixel BV cancels the disparity of the focus target pixel in which the spatial point on the focus plane with a constant distance in the depth direction is reflected, that is, the disparity of the focus target pixel having a value corresponding to the distance to the focus plane. It becomes one such value.
  • the reference shift amount BV does not depend on the pixel of the processing result image (the target pixel) or the viewpoint of the viewpoint image to which the pixel values are integrated (the target viewpoint). (Even if the reference shift amount BV is set for each pixel of the processing result image or for each viewpoint of the viewpoint image, the reference shift amount BV is set to the same value. It is not set for each pixel of the processing result image or for each viewpoint of the viewpoint image).
  • pixel shift and integration of the viewpoint image pixels are performed for each pixel of the processing result image.
  • pixel shift and integration of the viewpoint image pixels are performed in the processing result image.
  • it can be performed for each sub-pixel obtained by finely dividing the pixel of the processing result image.
  • the target pixel loop (step S33 to step S38) is on the outside, and the target viewpoint loop (step S34 to step S37) is on the inner side.
  • the viewpoint loop can be the outer loop, and the pixel-of-interest loop can be the inner loop.
  • FIG. 12 is a flowchart illustrating an example of adjustment processing performed by the adjustment unit 33 in FIG.
  • step S51 the adjustment unit 33 acquires the adjustment coefficient for each viewpoint as the adjustment parameter supplied from the parameter setting unit 35, and the process proceeds to step S52.
  • step S52 the adjustment unit 33 determines one viewpoint vp # i that has not yet been determined as the attention viewpoint among viewpoints of the viewpoint image from the interpolation unit 32, and the processing is performed in step S52. Proceed to S53.
  • step S53 the adjustment unit 33 acquires the adjustment coefficient for the viewpoint of interest vp # i from the adjustment coefficient for each viewpoint as the adjustment parameter from the parameter setting unit 35, and the process proceeds to step S54.
  • step S54 the adjustment unit 33 determines, from among the pixels of the viewpoint image of the target viewpoint vp # i from the interpolation unit 32, one pixel that has not yet been determined as the target pixel, as the target pixel. The process proceeds to step S55.
  • step S55 the adjustment unit 33 adjusts the pixel value of the target pixel according to the adjustment coefficient of the target viewpoint vp # i, that is, for example, a multiplication value obtained by multiplying the pixel value of the target pixel by the adjustment coefficient of the target viewpoint vp # i. Is obtained as the pixel value of the pixel of interest after adjustment, and the process proceeds to step S56.
  • step S56 the adjustment unit 33 determines whether all the pixels of the viewpoint image of the viewpoint of interest vp # i are the target pixels.
  • step S56 If it is determined in step S56 that all the pixels of the viewpoint image of the viewpoint of interest vp # i have not been used as the target pixel, the process returns to step S54, and the adjustment unit 33, as described above, the attention viewpoint vp #. Among the pixels of the i viewpoint image, one of the pixels that have not yet been determined as the target pixel is newly determined as the target pixel, and the same processing is repeated thereafter.
  • step S56 If it is determined in step S56 that all the pixels of the viewpoint image of the viewpoint of interest vp # i are the pixels of interest, the process proceeds to step S57.
  • step S57 the adjustment unit 33 determines whether all viewpoints of the viewpoint image from the interpolation unit 32 have been set as the attention viewpoints.
  • step S57 when it is determined that not all viewpoints of the viewpoint image from the interpolation unit 32 are the attention viewpoints, the process returns to step S52, and the same processes are repeated thereafter.
  • step S57 when it is determined in step S57 that all viewpoints of the viewpoint image from the interpolation unit 32 are the viewpoint of interest, that is, when adjustment of the pixel values of all the viewpoint images from the interpolation unit 32 is completed,
  • the adjustment unit 33 supplies the viewpoint images of all the viewpoints after the pixel value adjustment to the light collection processing unit 34, and ends the adjustment process.
  • the condensing process of FIG. 11 (accumulation of the pixel values of the pixels of the viewpoint images of the plurality of viewpoints in step S36) is obtained by the adjustment process as described above, and the viewpoints of the plurality of viewpoints after the adjustment of the pixel values. This is done for images.
  • the adjustment coefficient for each viewpoint as an adjustment parameter is actually realized by a lens aperture parameter and a lens filter that realize an optical image effect that can be actually or theoretically realized by an optical system such as an optical lens and an aperture.
  • a filter parameter that realizes an optical image effect that can be theoretically performed will be described as an example.
  • FIG. 13 is a diagram showing a first example of lens aperture parameters.
  • the total number of viewpoints of the viewpoint image obtained by the interpolating unit 32 is M 2 with M ⁇ M viewpoints in the horizontal ⁇ vertical direction.
  • the transmittance set for each M ⁇ M viewpoint can be used as the adjustment coefficient for each M ⁇ M viewpoint as the lens aperture parameter.
  • the transmittance setting for each viewpoint is divided into the same number of M ⁇ M blocks as the M ⁇ M viewpoint and the transmittance distribution that produces the desired lens and aperture effect.
  • the representative value of the x-th block from the left and the y-th block (hereinafter also referred to as (x, y) -th) (for example, the average value or median of the transmittance in the block) is (x, y) This can be done by setting the transmittance of the second viewpoint.
  • planar shape of the transmittance distribution causing the effect of the STF lens (the shape appearing in the plan view) is substantially circular, but the line segment LO passes through the center of the circle and is in the x direction (horizontal direction). It is a line segment parallel to.
  • light and dark represents transmittance, and the darker the transmittance is lower.
  • the adjustment factor as the transmittance for each viewpoint set according to the transmittance distribution that produces the effect of the STF lens, as it moves from the center of the blurred part to the periphery, such as the blur realized by the STF lens
  • FIG. 14 is a diagram showing a second example of lens aperture parameters.
  • ring blur or double-line blur such as blur realized by the mirror lens. Refocusing can be realized.
  • FIG. 15 is a diagram showing a third example of the lens aperture parameter.
  • FIG. 15 a distribution obtained by modifying the transmittance distribution causing the effect of the STF lens so as to reduce the circle which is the planar shape of the transmittance distribution causing the effect of the STF lens of FIG.
  • a plan view of the transmittance for each viewpoint set according to the distribution) and a cross-sectional view of the transmittance for each viewpoint on the line segment LO are shown.
  • the transmittance distribution is not particularly operated.
  • the STF deformation distribution The transmittance of the viewpoint that is outside the circle that is slightly larger than the circle that is the planar shape of the above-described plane, that is, the viewpoint that blocks the light beam by the aperture stop in the narrowed state, is set (operated) to 0%.
  • an image with a deep depth of field can be obtained as a processing result image after refocusing.
  • the STF lens corresponding to a portion other than the central portion of the circle as the planar shape of the transmittance distribution causing the effect of the STF lens shown in FIG.
  • the light beam that attempts to pass through this area is blocked by the diaphragm in the narrowed state, so it has a blur equivalent to the natural blur imparted by the STF lens without the diaphragm. It will be difficult to put out.
  • FIG. 16 is a diagram showing a fourth example of lens aperture parameters.
  • the distribution of transmittance that causes the effect of the mirror lens is modified so as to reduce the planar shape of the distribution of transmittance that causes the effect of the mirror lens of FIG.
  • the plan view of the transmittance for each viewpoint set according to the above and the sectional view of the transmittance for each viewpoint on the line segment LO are shown.
  • the transmittance of the viewpoint that is outside the circle that is slightly larger than the circle that is the planar shape of the STF deformation distribution, that is, the viewpoint in which the light beam is blocked by the diaphragm in the narrowed state is set to 0%.
  • an image with a deep depth of field can be obtained as a processing result image after refocusing.
  • the adjustment coefficient as the lens aperture parameter is expressed as ⁇
  • the pixel value of the pixel of the viewpoint image obtained by the interpolation unit 32 is expressed as I.
  • requires pixel value (alpha) xI as a pixel value after adjustment of the pixel value I is performed as an adjustment process which adjusts the pixel value I, for example.
  • the focusing process is performed on the viewpoint image after such adjustment processing in the focusing processing unit 34, thereby performing refocusing reflecting the blurring of an arbitrary lens and the state of an arbitrary aperture. It can be carried out.
  • the adjustment coefficient for each viewpoint is set according to the transmittance distribution that produces the effect of the STF lens and the mirror lens.
  • the adjustment coefficient for each viewpoint is different from that of other lenses. It can be set according to the distribution of transmittance that produces the effect.
  • the transmittance distribution is manipulated so as to produce the diaphragm effect in the narrowed state.
  • the transmittance distribution may cause the diaphragm effect in any other state. Can be operated.
  • the distribution of transmittance having a substantially circular plane shape is adopted for setting the adjustment coefficient for each viewpoint.
  • a plane is used for setting the adjustment coefficient for each viewpoint. It is possible to employ a transmittance distribution whose shape is deformed into a desired shape such as a heart or a star. In this case, a processing result image in which a desired shape appears blurry can be obtained.
  • FIG. 17 is a diagram showing examples of filter parameters.
  • gradation filters such as a color effect filter having a gradation and a peripheral effect filter as lens filters used by being mounted in front of the lens.
  • FIG. 17 shows an example of a gradation filter and an example of an adjustment coefficient for each viewpoint as a filter parameter set in accordance with a gain distribution that causes the filter effect of the gradation filter.
  • a luminance or a gain for a predetermined color set for each viewpoint of the M ⁇ M viewpoint can be adopted.
  • the gain setting for each viewpoint is, for example, by dividing the gain distribution that produces the desired filter effect into M ⁇ M blocks of the same number as M ⁇ M, and obtaining the representative value of the gain of each block (x, y This can be done by setting the representative value of the) th block to the gain of the (x, y) th viewpoint.
  • the gradation filter in FIG. 17 is a filter having a higher gain for blue toward the upper side.
  • the adjustment coefficient as the filter parameter is represented by G, and RGB (Red, Red) as the pixel value of the pixel of the viewpoint image obtained by the interpolation unit 32
  • the adjustment unit 33 converts the pixel value (Ir, Ig, Ib ⁇ G), for example, after adjusting the pixel value (Ir, Ig, Ib).
  • the process for obtaining the pixel value is performed as an adjustment process for adjusting the pixel values (Ir, Ig, Ib).
  • the adjustment coefficient for each viewpoint is set as a filter parameter in accordance with the distribution of the gain of the gradation filter having a higher gain for blue toward the upper side.
  • the adjustment coefficient for each viewpoint is shown in FIG. It can be set according to the distribution of the gain of luminance or an arbitrary color (for example, red or green other than blue) that causes a filter effect other than the filter effect of the gradation filter.
  • FIG. 18 is a block diagram showing another configuration example of the image processing apparatus 12 of FIG.
  • the image processing apparatus 12 of FIG. 18 is common to the case of FIG. 4 in that it includes the parallax information generation unit 31, the interpolation unit 32, and the parameter setting unit 35.
  • the image processing apparatus 12 of FIG. 18 is different from the case of FIG. 4 in that the adjustment unit 33 is not provided and the light collection processing unit 51 is provided instead of the light collection processing unit 34. Is different.
  • the adjustment of the pixel value of the pixel of the viewpoint image is performed by the adjustment unit 33, and the focusing process is performed on the viewpoint image after the adjustment of the pixel value.
  • the image processing apparatus 12 of FIG. In the condensing process, immediately before the pixel values of the pixels of the viewpoint image are integrated, the pixel values to be integrated are adjusted, and the pixel values are integrated using the pixel values after the adjustment.
  • the condensing processing unit 51 performs the same condensing processing as the condensing processing unit 34 in FIG. 4, but further adjusts the pixel value of the pixel of the viewpoint image in the condensing processing. Therefore, in addition to the condensing parameter used for the condensing process, the adjustment parameter used for adjusting the pixel value is supplied from the parameter setting unit 35 to the condensing processing unit 51.
  • the condensing processing unit 51 adjusts the pixel value of the pixel of the viewpoint image immediately before performing the integration of the pixel value of the pixel of the viewpoint image in the condensing process, and sets the pixel value for the pixel value after the adjustment. Accumulate.
  • FIG. 19 is a flowchart for explaining an example of the light collection process performed by the light collection processing unit 51.
  • step S71 the condensing processing unit 51 acquires the focusing target pixel as the condensing parameter from the parameter setting unit 35, similarly to step S31 of FIG.
  • step S71 the light collection processing unit 51 acquires the adjustment coefficient for each viewpoint as the adjustment parameter from the parameter setting unit 35, and the process proceeds to step S72.
  • steps S72 to S75 the condensing processing unit 51 performs the same processing as that in steps S32 to S35 of FIG. 11 to obtain the in-focus shift amount DP # i of the viewpoint of interest vp # i.
  • step S75 the process proceeds from step S75 to step S76, and the condensing processing unit 51 obtains the adjustment coefficient for the viewpoint of interest vp # i from the adjustment coefficient for each viewpoint as the adjustment parameter from the parameter setting unit 35, and performs processing. Advances to step S77.
  • step S77 the condensing processing unit 51 selects a vector (here, for example, the focus shift amount) corresponding to the focus shift amount DP # i from the position of the target pixel among the pixels of the viewpoint image of the target viewpoint vp # i. Pixels that are separated by -1 times DP # i are set as adjustment target pixels. Then, the condensing processing unit 51 adjusts the pixel value of the adjustment target pixel according to the adjustment coefficient of the target viewpoint vp # i, that is, for example, multiplication by multiplying the pixel value of the adjustment target pixel by the adjustment coefficient of the target viewpoint vp # i. The value is obtained as the pixel value of the adjustment target pixel after adjustment, and the process proceeds from step S77 to step S78.
  • a vector here, for example, the focus shift amount
  • step S78 as in step S36 of FIG. 11, the condensing processing unit 51 pixel-shifts each pixel of the viewpoint image of the viewpoint of interest vp # i in accordance with the focus shift amount DP # i, and after the pixel shift
  • the pixel value of the pixel at the position of the target pixel in the viewpoint image (the pixel value of the adjustment target pixel after adjustment) is added to the pixel value of the target pixel.
  • the condensing processing unit 51 is a vector corresponding to the focus shift amount DP # i from the position of the target pixel among the pixels of the viewpoint image of the target viewpoint vp # i (here, for example, the focus shift amount DP #).
  • the pixel values of pixels separated by ⁇ 1 times i) are added to the pixel value of the pixel of interest.
  • steps S79 and S80 the same processes as steps S37 and S38 of FIG. 11 are performed, respectively.
  • the reference viewpoint is adopted as the viewpoint of the processing result image.
  • a point other than the reference viewpoint that is, for example, an arbitrary point in the synthetic aperture of the virtual lens is used. These points can be adopted.
  • the series of processes of the image processing apparatus 12 described above can be performed by hardware or software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 20 is a block diagram illustrating a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 105 or a ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed on the built-in hard disk 105. That is, the program can be transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite or to a computer via a network such as a LAN (Local Area Network) or the Internet. Can do.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer includes a CPU (Central Processing Unit) 102, and an input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 accordingly. .
  • the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • the CPU 102 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 102 outputs the processing result from the output unit 106 or transmits from the communication unit 108 via the input / output interface 110, for example, and further records the processing result on the hard disk 105 as necessary.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • the said condensing process part is an image processing apparatus which performs the said condensing process using the image of the said several viewpoint by which the pixel value was adjusted with the adjustment coefficient for every said viewpoint.
  • the condensing processing unit is A shift amount for shifting pixels of the plurality of viewpoint images is set, and a process of shifting the pixels of the plurality of viewpoint images according to the shift amount and integrating the pixel values is performed as the condensing process.
  • the image processing device according to ⁇ 1>, wherein the light collection processing is performed using pixel values of pixels of the images of the plurality of viewpoints adjusted by the adjustment unit.
  • the adjustment coefficient is set for each of the viewpoints according to a distribution of transmittance that causes a predetermined lens and aperture effect.
  • ⁇ 4> The image processing device according to ⁇ 1> or ⁇ 2>, wherein the adjustment coefficient is set for each of the viewpoints in accordance with a gain distribution that causes a predetermined filter effect.
  • ⁇ 5> The image processing device according to any one of ⁇ 1> to ⁇ 4>, wherein the images of the plurality of viewpoints include a plurality of captured images captured by a plurality of cameras.
  • ⁇ 6> The image processing apparatus according to ⁇ 5>, wherein the images of the plurality of viewpoints include the plurality of captured images and a plurality of interpolation images generated by interpolation using the captured images.
  • a disparity information generating unit that generates disparity information of the plurality of captured images;
  • the image processing apparatus further comprising: an interpolation unit that generates the plurality of interpolation images of different viewpoints using the captured image and the parallax information.
  • ⁇ 8> Acquiring images from multiple viewpoints; Performing a condensing process to generate a processing result image focused on a predetermined distance using the images of the plurality of viewpoints, An image processing method in which the condensing process is performed using images of the plurality of viewpoints whose pixel values are adjusted by an adjustment coefficient for each viewpoint.
  • the said condensing process part is a program which performs the said condensing process using the image of the said several viewpoint with which the pixel value was adjusted with the adjustment coefficient for every said viewpoint.
  • ⁇ A1> Set the shift amount to shift the pixels of multiple viewpoint images, According to the shift amount, the pixels of the plurality of viewpoint images are shifted and integrated to generate a processing result image focused on a predetermined distance.
  • An image processing unit that performs integration of pixel values on a pixel value after adjustment of pixels of the image of the viewpoint adjusted by an adjustment coefficient that adjusts the pixel value that is set according to the viewpoint apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、所望の光学的効果が付与されたリフォーカスを実現することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。 集光処理部は、複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う。集光処理は、視点ごとの調整係数によって画素値が調整された複数の視点の画像を用いて行われる。本技術は、例えば複数の視点の画像から、リフォーカスを行った画像を得る場合等に適用することができる。

Description

画像処理装置、画像処理方法、及び、プログラム
　本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば所望の光学的効果が付与されたリフォーカスを実現することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
　複数の視点の画像から、例えばリフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮影を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば非特許文献１を参照）。
　例えば非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
　今後、リフォーカスについては、ユーザ等が所望する光学的効果が付与されたリフォーカスを実現することのニーズが高まることが予想される。
　本技術は、このような状況に鑑みてなされたものであり、所望の光学的効果が付与されたリフォーカスを実現することができるようにするものである。
　本技術の画像処理装置、又は、プログラムは、複数の視点の画像を取得する取得部と、前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部とを備え、前記集光処理部は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて前記集光処理を行う画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の画像処理方法は、複数の視点の画像を取得することと、前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行うこととを含み、前記集光処理を、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて行う画像処理方法である。
　本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点の画像が取得され、前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理が行われる。この集光処理は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて行われる。
　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、所望の光学的効果が付与されたリフォーカスを実現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 撮影装置１１の構成例を示す背面図である。 撮影装置１１の他の構成例を示す背面図である。 画像処理装置１２の構成例を示すブロック図である。 画像処理システムの処理の例を説明するフローチャートである。 補間部３２での補間画像の生成の例を説明する図である。 視差情報生成部３１でのディスパリティマップの生成の例を説明する図である。 集光処理部３４で行われる集光処理によるリフォーカスの概要を説明する図である。 ディスパリティ変換の例を説明する図である。 リフォーカスの概要を説明する図である。 集光処理部３４が行う集光処理の例を説明するフローチャートである。 調整部３３が行う調整処理の例を説明するフローチャートである。 レンズ絞りパラメータの第１の例を示す図である。 レンズ絞りパラメータの第２の例を示す図である。 レンズ絞りパラメータの第３の例を示す図である。 レンズ絞りパラメータの第４の例を示す図である。 フィルタパラメータの例を示す図である。 画像処理装置１２の他の構成例を示すブロック図である。 集光処理部５１が行う集光処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した画像処理システムの一実施の形態＞
　図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図１において、画像処理システムは、撮影装置１１、画像処理装置１２、及び、表示装置１３を有する。
　撮影装置１１は、被写体を複数の視点から撮影し、その結果得られる複数の視点の、例えば（ほぼ）パンフォーカスの撮影画像を画像処理装置１２に供給する。
　画像処理装置１２は、撮影装置１１からの複数の視点の撮影画像を用いて任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を表示装置１３に供給する。
　表示装置１３は、画像処理装置１２からの処理結果画像を表示する。
　なお、図１において、画像処理システムを構成する撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのすべてを例えばディジタル（スチル／ビデオ）カメラや、スマートフォン等の携帯端末等のような独立した装置に内蔵させることができる。
　また、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それぞれを別個に独立した装置に内蔵させることができる。
　さらに、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのうちの任意の２つと残りの１つとをそれぞれ別個に独立した装置に内蔵させることができる。
　例えば撮影装置１１及び表示装置１３をユーザが所持する携帯端末に内蔵させ、画像処理装置１２をクラウド上のサーバに内蔵させることができる。
　また、画像処理装置１２の一部のブロックをクラウド上のサーバに内蔵させ、画像処理装置１２の残りのブロックと撮影装置１１及び表示装置１３とを携帯端末に内蔵させることができる。
　＜撮影装置１１の構成例＞
　図２は、図１の撮影装置１１の構成例を示す背面図である。
　撮影装置１１は、例えばRGBの値を画素値として有する画像を撮影する複数のカメラユニット（以下、カメラともいう）２１iを有し、その複数のカメラ２１iによって、複数の視点の撮影画像を撮影する。
　図２では、撮影装置１１は、複数としての、例えば７個のカメラ２１1，２１2，２１3，２１4，２１5，２１6、及び、２１7を有し、それらの７個のカメラ２１1ないし２１7は、２次元平面上に配置されている。
　さらに、図２では、７個のカメラ２１1ないし２１7は、それらのうちの１つである、例えばカメラ２１1を中心として、他の６個のカメラ２１2ないし２１7が、カメラ２１1の周辺に正６角形を構成するように配置されている。
　したがって、図２では、７個のカメラ２１1ないし２１7のうちの、任意の１つのカメラ２１i(i=1,2,...,7)とそのカメラ２１iに最も近い他の１つのカメラ２１j(j=1,2,...,7)との（光軸どうしの）距離は、同一の距離Bになっている。
　カメラ２１iと２１jとの距離Bとしては、例えば20mm程度を採用することができる。この場合、撮影装置１１は、ICカード等のカードサイズ程度の大きさに構成することができる。
　なお、撮影装置１１を構成するカメラ２１iの数は、７個に限定されるものではなく、２個以上６個以下の数や、８個以上の数を採用することができる。
　また、撮影装置１１において、複数のカメラ２１iは、上述のような正６角形等の正多角形を構成するように配置する他、任意の位置に配置することができる。
　ここで、以下、カメラ２１1ないし２１7のうちの、中心に配置されたカメラ２１1を基準カメラ２１1ともいい、その基準カメラ２１1の周辺に配置されたカメラ２１2ないし２１7を周辺カメラ２１2ないし２１7ともいう。
　図３は、図１の撮影装置１１の他の構成例を示す背面図である。
　図３では、撮影装置１１は、９個のカメラ２１11ないし２１19で構成され、その９個のカメラ２１11ないし２１19は、横×縦が３×３に配置されている。３×３のカメラ２１i(i=11,12,...,19)は、上、下、左、又は、右に隣接するカメラ２１j(j=11,12,...,19)と距離Bだけ離れて配置されている。
　ここで、以下では、特に断らない限り、撮影装置１１は、例えば図２に示したように、７個のカメラ２１1ないし２１7で構成されることとする。
　また、基準カメラ２１1の視点を基準視点ともいい、基準カメラ２１1で撮影された撮影画像PL1を基準画像PL1ともいう。さらに、周辺カメラ２１iで撮影された撮影画像PL#iを周辺画像PL#iともいう。
　なお、撮影装置１１は、図２や図３に示したように、複数のカメラ２１iで構成する他、例えばRen.Ng、他７名，"Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02に記載されているように、MLA(Micro Lens Array)を用いて構成することができる。MLAを用いて撮影装置１１を構成した場合であっても、実質的に、複数の視点から撮影した撮影画像を得ることができる。
　また、複数の視点の撮影画像を撮影する方法は、撮影装置１１を複数のカメラ２１iで構成する方法や、MLAを用いて構成する方法に限定されるものではない。
　＜画像処理装置１２の構成例＞
　図４は、図１の画像処理装置１２の構成例を示すブロック図である。
　図４において、画像処理装置１２は、視差情報生成部３１、補間部３２、調整部３３、集光処理部３４、及び、パラメータ設定部３５を有する。
　画像処理装置１２には、撮影装置１１から、カメラ２１1ないし２１7で撮影された７視点の撮影画像PL1ないしPL7が供給される。
　画像処理装置１２において、撮影画像PL#iは、視差情報生成部３１、及び、補間部３２３に供給される。
　視差情報生成部３１は、撮影装置１１から供給される撮影画像PL#iを用いて視差情報を求め、補間部３２、及び、集光処理部３４に供給する。
　すなわち、視差情報生成部３１は、例えば撮影装置１１から供給される撮影画像PL#iそれぞれの、他の撮影画像PL#jとの視差情報を求める処理を複数の視点の撮影画像PL#iの画像処理として行う。そして、視差情報生成部３１は、例えば撮影画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部３２、及び、集光処理部３４に供給する。
　ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えばディスパリティを採用することとし、視差情報生成部３１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
　補間部３２は、撮影装置１１からの、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と視差情報生成部３１からのディスパリティマップとを用いてカメラ２１1ないし２１7の７視点以外の視点から撮影を行ったならば得られる画像を補間により生成する。
　ここで、後述する集光処理部３４が行う集光処理によって、複数のカメラ２１1ないし２１7で構成される撮影装置１１は、カメラ２１1ないし２１7を合成開口とする仮想レンズとして機能させることができる。図２の撮影装置１１については、仮想レンズの合成開口は、周辺カメラ２１2ないし２１7の光軸を結ぶ、直径が略2Bの略円形状になる。
　補間部３２は、例えば仮想レンズの直径2Bを一辺とする正方形（又は、仮想レンズの合成開口に内接する正方形）内のほぼ等間隔の複数の点、すなわち、例えば横×縦が２１×２１個の点を視点として、その２１×２１視点のうちの、カメラ２１1ないし２１7の７視点以外の、２１×２１－７視点の画像を補間により生成する。
　そして、補間部３２は、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と撮影画像を用いた補間により生成された２１×２１－７視点の画像とを調整部３３に供給する。
　ここで、補間部３２において、撮影画像を用いた補間により生成された画像を補間画像ともいう。
　また、補間部３２から調整部３３に供給される、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と２１×２１－７視点の補間画像との、合計で、２１×２１視点の画像を視点画像ともいう。
　補間部３２での補間は、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7から、より多く数の視点（ここでは、２１×２１視点）の視点画像を生成する処理であると考えることができる。この多数の視点の視点画像を生成する処理は、実空間内の実空間点から、カメラ２１1ないし２１7を合成開口とする仮想レンズに入射する光線を再現する処理であると捉えることができる。
　調整部３３には、補間部３２から、複数の視点の視点画像が供給される他、パラメータ設定部３５から、調整パラメータが供給される。調整パラメータは、例えば視点ごとに設定された、画素値を調整する調整係数である。
　調整部３３は、パラメータ設定部３５からの調整パラメータとしての視点ごとの調整係数によって、補間部３２からの各視点の視点画像の画素の画素値を調整し、画素値の調整後の複数の視点の視点画像を集光処理部３４に供給する。
　集光処理部３４は、調整部３３からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線をイメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
　集光処理部３４の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスが行われる。リフォーカスは、視差情報生成部３１からのディスパリティマップや、パラメータ設定部３５からの集光パラメータを用いて行われる。
　集光処理部３４の集光処理によって得られる画像は、処理結果画像として（表示装置１３）に出力される。
　パラメータ設定部３５は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、撮影画像PL#i（例えば基準画像PL1）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータ（の一部）として、集光処理部３４に供給する。
　さらに、パラメータ設定部３５は、ユーザの操作や、所定のアプリケーションからの指令に従って、画素値を調整する調整係数を複数の視点のそれぞれごとに設定し、その視点ごとの調整係数を調整パラメータとして、調整部３３に供給する。
　調整パラメータは、調整部３３での画素値の調整を制御するパラメータであり、集光処理部３４での集光処理に用いられる視点画像の視点、すなわち、補間部３２で得られる視点画像の視点ごとの調整係数で構成される。
　調整パラメータとしては、例えば光学レンズ及び絞り等の光学系によって現実に又は理論的に奏することが可能な光学的な画像効果を実現するレンズ絞りパラメータや、レンズフィルタによって現実に又は理論的に奏することが可能な光学的な画像効果を実現するフィルタパラメータ等がある。
　なお、画像処理装置１２は、サーバとして構成することもできるし、クライアントとして構成することもできる。さらに、画像処理装置１２は、サーバクライアントシステムとして構成することもできる。画像処理装置１２をサーバクライアントシステムとして構成する場合には、画像処理装置１２の任意の一部のブロックをサーバで構成し、残りのブロックをクライアントで構成することができる。
　＜画像処理システムの処理＞
　図５は、図１の画像処理システムの処理の例を説明するフローチャートである。
　ステップＳ１１において、撮影装置１１は、複数の視点としての７視点の撮影画像PL1ないしPL7を撮影する。撮影画像PL#iは、画像処理装置１２（図４）の視差情報生成部３１、及び、補間部３２に供給される。
　そして、処理はステップＳ１１からステップＳ１２に進み、画像処理装置１２は、撮影装置１１からの撮影画像PL#iを取得する。さらに、画像処理装置１２では、視差情報生成部３１は、撮影装置１１からの撮影画像PL#iを用いて視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
　視差情報生成部３１は、視差情報生成処理により得られるディスパリティマップを補間部３２、及び、集光処理部３４に供給し、処理はステップＳ１２からステップＳ１３に進む。なお、ここでは、画像処理装置１２は、撮影装置１１から撮影画像PL#iを取得することとしたが、画像処理装置１２では、撮影装置１１から撮影画像PL#iを直接取得する他、例えば撮影装置１１やその他の図示せぬ撮影装置で撮影され、クラウドに予め保存された撮影画像PL#iを、クラウドから取得すること等ができる。
　ステップＳ１３では、補間部３２は、撮影装置１１からのカメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と視差情報生成部３１からのディスパリティマップとを用いてカメラ２１1ないし２１7の７視点以外の複数の視点の補間画像を生成する補間処理を行う。
　さらに、補間部３２は、撮影装置１１からのカメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と補間処理により得られた複数の視点の補間画像とを複数の視点の視点画像として、調整部３３に供給し、処理はステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、パラメータ設定部３５は、集光パラメータや調整パラメータを設定する。
　すなわち、パラメータ設定部３５は、ユーザの操作等に従って、視点画像の視点ごとに調整係数を設定する。
　また、パラメータ設定部３５は、ユーザの操作等によって指定された位置にある、基準画像PL1の画素を合焦させる合焦対象画素に設定する。
　ここで、パラメータ設定部３５は、例えば撮影装置１１からの７視点の撮影画像PL1ないしPL7のうちの、例えば基準画像PL1を合焦させる被写体の指定を促すメッセージとともに、表示装置１３に表示させる。そして、パラメータ設定部３５は、ユーザが、表示装置１３に表示された基準画像PL1（に映る被写体）上の位置を指定するのを待って、ユーザが指定した位置にある基準画像PL1の画素を合焦対象画素に設定する。
　合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えばアプリケーションからの指定や、予め決められたルールによる指定等に従って設定することができる。
　例えば所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を合焦対象画素に設定することができる。
　パラメータ設定部３５は、視点画像の視点ごとの調整係数を調整パラメータとして、調整部３３に供給するとともに、合焦対象画素を集光パラメータとして、集光処理部３４に供給し、処理はステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、調整部３３は、パラメータ設定部３５からの調整パラメータとしての視点ごとの調整係数によって、補間部３２からの各視点の画像の画素の画素値を調整する調整処理を行う。調整部３３は、画素値の調整後の複数の視点の視点画像を集光処理部３４に供給し、処理はステップＳ１５からステップＳ１６に進む。
　ステップＳ１６では、集光処理部３４は、調整部３３からの、画素値の調整後の複数の視点の視点画像、視差情報生成部３１からのディスパリティマップ、及び、パラメータ設定部３５からの集光パラメータとしての合焦対象画素を用いてカメラ２１1ないし２１7を合成開口とする仮想レンズを通過した被写体からの光線を図示せぬ仮想センサ上に集光させることに相当する集光処理を行う。
　仮想レンズを通過した光線が集光される仮想センサの実体は、例えば図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、仮想レンズを通過した光線の集光により得られる画像の画素値が求められる。
　集光処理部３４の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素を画素シフトして積算することにより、リフォーカス、すなわち、所定の距離の合焦点に合焦した処理結果画像の各画素値を求める処理結果画像の生成が行われる。
　以上のように、集光処理部３４において、集光処理（の画素（の画素値）の積算）が、画素値の調整後の複数の視点の視点画像を対象として行われるので、画素値を調整する調整パラメータとしての視点ごとの調整係数によって、種々の光学的効果が付与されたリフォーカスを行うことができる。
　ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部３４の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部３５からの集光パラメータとしての合焦対象画素を用いて設定される。
　なお、集光処理部３４の集光処理において、基準シフト量BVを処理結果画像の画素ごとに設定することにより、処理結果画像としては、１の距離の合焦点に合焦した画像の他、複数の距離の複数の合焦点それぞれに合焦した画像を得ることができる。
　集光処理部３４は、集光処理の結果得られる処理結果画像を表示装置１３に供給し、処理はステップＳ１６からステップＳ１７に進む。
　ステップＳ１７では、表示装置１３が、集光処理部３４からの処理結果画像を表示する。
　なお、図５では、ステップＳ１４において、調整パラメータ及び集光パラメータの設定を行うこととしたが、調整パラメータの設定は、ステップＳ１５の調整処理が行われる直前までの任意のタイミングで行うことができ、集光パラメータの設定は、ステップＳ１１の７視点の撮影画像PL1ないしPL7の撮影の直後から、ステップＳ１５の集光処理の直前までの間の任意のタイミングで行うことができる。
　また、画像処理装置１２（図４）は、集光処理部３４だけで構成することができる。
　例えば集光処理部３４の集光処理を補間画像を用いずに、撮影装置１１で撮影された撮影画像を用いて行う場合には、補間部３２を設けずに、画像処理装置１２を構成することができる。但し、集光処理を、撮影画像の他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
　また、例えば撮影装置１１で撮影された複数の視点の撮影画像の視差情報を、距離センサ等を用いて外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部３１を設けずに、画像処理装置１２を構成することができる。
　さらに、例えば予め決められたルール等に従って、調整部３３において調整パラメータを設定するとともに、集光処理部３４において集光パラメータを設定することができる場合には、パラメータ設定部３５を設けずに、画像処理装置１２を構成することができる。
　＜補間画像の生成＞
　図６は、図４の補間部３２での補間画像の生成の例を説明する図である。
　ある視点の補間画像を生成する場合、補間部３２は、補間画像の画素を順次、補間の対象の補間対象画素に選択する。さらに、補間部３２は、７視点の撮影画像PL1ないしPL7のうちの全部、又は、補間画像の視点に近い一部の視点の撮影画像PL#iを補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部３２は、視差情報生成部３１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の撮影画像PL#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮影を行ったならば、補間対象画素に映る空間点と同一の空間点が映っている画素）を求める。
　そして、補間部３２は、対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を補間対象画素の画素値として求める。
　対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての撮影画像PL#iの視点と補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
　なお、撮影画像PL#iに指向性がある強い光が映っている場合には、７視点の撮影画像PL1ないしPL7のうちの全部を画素値算出画像に選択するよりも、補間画像の視点に近い３視点や４視点等の一部の視点の撮影画像PL#iを画素値算出画像に選択する方が、実際に、補間画像の視点から撮影したならば得られる画像に近い補間画像を得ることができる。
　＜ディスパリティマップの生成＞
　図７は、図４の視差情報生成部３１でのディスパリティマップの生成の例を説明する図である。
　すなわち、図７は、撮影装置１１のカメラ２１1ないし２１7で撮影された撮影画像PL1ないしPL7の例を示している。
　図７では、撮影画像PL1ないしPL7には、所定の背景の手前側に、前景としての所定の物体objが映っている。撮影画像PL1ないしPL7それぞれについては、視点が異なるため、例えば撮影画像PL2ないしPL7それぞれに映る物体objの位置（撮影画像上の位置）は、撮影画像PL1に映る物体objの位置から、視点が異なる分だけずれている。
　いま、カメラ２１iの視点（位置）、すなわち、カメラ２１iで撮影された撮影画像PL#iの視点をvp#iと表すこととする。
　例えば撮影画像PL1の視点vp1のディスパリティマップを生成する場合には、視差情報生成部３１は、撮影画像PL1を注目する注目画像PL1とする。さらに、視差情報生成部３１は、注目画像PL1の各画素を順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を他の撮影画像PL2ないしPL7のそれぞれから検出する。
　撮影画像PL2ないしPL7それぞれから、注目画像PL1の注目画素に対応する対応画素を検出する方法としては、例えばステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
　ここで、注目画像PL1の注目画素に対する、撮影画像PL#iの対応画素の位置ずれを表すベクトルをディスパリティベクトルv#i,1ということとする。
　視差情報生成部３１は、撮影画像PL2ないしPL7のそれぞれについてディスパリティベクトルv2,1ないしv7,1を求める。そして、視差情報生成部３１は、例えばディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを注目画素（の位置）のディスパリティの大きさとして求める。
　ここで、撮影装置１１において、図２で説明したように、注目画像PL1を撮影する基準カメラ２１1と撮影画像PL2ないしPL7を撮影する周辺カメラ２１2ないし２１7それぞれとの距離が、同一の距離Bになっている場合に、注目画像PL1の注目画素に映る実空間点が、撮影画像PL2ないしPL7にも映っているときには、ディスパリティベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
　すなわち、この場合、ディスパリティベクトルv2,1ないしv7,1は、注目画像PL1の視点vp1に対する他の撮影画像PL2ないしPL7の視点vp2ないしvp7の方向と逆方向の、大きさが等しいベクトルになる。
　但し、撮影画像PL2ないしPL7の中には、オクルージョンが生じている画像、すなわち、注目画像PL1の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
　注目画像PL1の注目画素に映る実空間点が映っていない撮影画像（以下、オクルージョン画像ともいう）PL#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
　そのため、オクルージョン画像PL#iについては、注目画像PL1の注目画素に映る実空間点が映っている撮影画像PL#jのディスパリティベクトルv#j,1とは、大きさが異なるディスパリティベクトルv#i,1が求められる。
　撮影画像PL2ないしPL7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部３１は、上述のように、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを注目画素のディスパリティの大きさとして求める。
　図７では、ディスパリティベクトルv2,1ないしv7,1の中で、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、ディスパリティベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
　そのため、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが、注目画素のディスパリティの大きさとして求められる。
　なお、注目画像PL1の注目画素の、任意の撮影画像PL#iとの間のディスパリティの方向は、注目画像PL1の視点vp1（カメラ２１1の位置）と撮影画像PL#iの視点vp#i（カメラ２１iの位置）との位置関係（視点vp1から視点vp#iへの方向等）から認識することができる。
　視差情報生成部３１は、注目画像PL1の各画素を順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部３１は、注目画像PL1の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップをディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置とその画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
　他の撮影画像PL#iの視点vp#iのディスパリティマップも、視点vp#1のディスパリティマップと同様に生成することができる。
　但し、視点vp#1以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、撮影画像PL#iの視点vp#iとその撮影画像PL#i以外の撮影画像PL#jの視点vp#jとの位置関係（カメラ２１iと２１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば図２の撮影装置１１について、撮影画像PL5を注目画像PL5として、ディスパリティマップを生成する場合、注目画像PL5と撮影画像PL2との間で得られるディスパリティベクトルは、注目画像PL5と撮影画像PL1との間で得られるディスパリティベクトルの２倍の大きさになる。
　これは、注目画像PL5を撮影するカメラ２１5と撮影画像PL1を撮影するカメラ２１1との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像PL5を撮影するカメラ２１5と撮影画像PL2を撮影するカメラ２１2との基線長が、距離2Bになっているためである。
　そこで、いま、例えば基準カメラ２１1と他のカメラ２１iとの基線長である距離Bをディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば注目画像PL5を撮影するカメラ２１5と撮影画像PL1を撮影する基準カメラ２１1との基線長Bは、基準基線長Bに等しいので、注目画像PL5と撮影画像PL1との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
　また、例えば注目画像PL5を撮影するカメラ２１5と撮影画像PL2を撮影するカメラ２１2との基線長2Bは、基準基線長Bの２倍に等しいので、注目画像PL5と撮影画像PL2との間で得られるディスパリティベクトルは、その大きさが1/2倍（基準基線長Bと、カメラ２１5とカメラ２１2との基線長2Bとの比の値倍）に調整される。
　注目画像PL5と他の撮影画像PL#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
　そして、大きさの調整後のディスパリティベクトルを用いてディスパリティベクトルの多数決が行われる。
　なお、視差情報生成部３１において、撮影画像PL#i（の各画素）のディスパリティは、例えば撮影装置１１で撮影される撮影画像の画素の精度で求めることができる。また、撮影画像PL#iのディスパリティは、例えばその撮影画像PL#iの画素より細かい精度である画素以下精度（例えば1/4画素等のサブピクセルの精度）で求めることができる。
　ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティをそのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
　ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、基準画像PL1の各画素の、基準画像PL1の左隣の視点の撮影画像PL5との間のディスパリティ（基準画像PL1の画素から、その画素に対応する撮影画像PL5の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
　＜集光処理によるリフォーカス＞
　図８は、図４の集光処理部３４で行われる集光処理によるリフォーカスの概要を説明する図である。
　なお、図８では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、基準画像PL1、基準画像PL1の右隣の視点の撮影画像PL2、及び、基準画像PL1の左隣の視点の撮影画像PL5の３枚の画像を用いることとする。
　図８において、撮影画像PL1，PL2、及び、PL5には、２つの物体obj1及びobj2が映っている。例えば物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
　いま、例えば物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、基準画像PL1の基準視点から見た画像を得ることとする。
　ここで、撮影画像PL1の物体obj1が映る画素との間の、処理結果画像の視点、すなわち、ここでは、基準視点（の基準画像PL1の対応画素）のディスパリティをDP1と表す。また、撮影画像PL2の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティをDP2と表すとともに、撮影画像PL5の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティをDP5と表すこととする。
　なお、図８では、処理結果画像の視点は、撮影画像PL1の基準視点に等しいので、撮影画像PL1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP1は、(0,0)になる。
　撮影画像PL1，PL2、及び、PL5については、撮影画像PL1，PL2、及び、PL5をディスパリティDP1，DP2、及び、DP5に応じて、それぞれ画素シフトし、その画素シフト後の撮影画像PL1，PL2、及び、PL5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　すなわち、撮影画像PL1，PL2、及び、PL5を、ディスパリティDP1，DP2、及び、DP5をキャンセルするように（ディスパリティDP1，DP2、及び、DP5の逆方向に）、それぞれ画素シフトすることで、画素シフト後の撮影画像PL1，PL2、及び、PL5では、obj1が映る画素の位置が一致する。
　したがって、画素シフト後の撮影画像PL1，PL2、及び、PL5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　なお、画素シフト後の撮影画像PL1，PL2、及び、PL5においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
　また、ここでは、上述したように、処理結果画像の視点は、基準視点であり、ディスパリティDP1は(0,0)であるため、撮影画像PL1については、実質的に、画素シフトを行う必要はない。
　集光処理部３４の集光処理では、例えば以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理対象画像の視点（ここでは、基準視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像を処理結果画像として求める。
　＜ディスパリティ変換＞
　図９は、ディスパリティ変換の例を説明する図である。
　図７で説明したように、ディスパリティマップに登録される登録ディスパリティは、基準画像PL1の左隣の視点の撮影画像PL5の各画素との間の、基準画像PL1の画素のディスパリティのx成分に等しい。
　リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
　いま、ある視点を注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば基準視点の基準画像PL1の合焦対象画素のディスパリティが必要となる。
　注目視点の視点画像との間の、基準画像PL1の合焦対象画素のディスパリティは、基準画像PL1の合焦対象画素（処理結果画像の合焦対象画素に対応する基準画像PLの対応画素）の登録ディスパリティから、基準視点（処理対象画素の視点）から注目視点の方向を加味して求めることができる。
　いま、基準視点から注目視点の方向をx軸を0[radian]とする反時計回りの角度で表すこととする。
　例えばカメラ２１2は、基準基線長Bだけ+x方向に離れた位置にあり、基準視点からカメラ２１2の視点の方向は、0[radian]である。この場合、カメラ２１2の視点の視点画像（撮影画像PL2）との間の、基準画像PL1の合焦対象画素のディスパリティDP2（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、カメラ２１2の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
　また、例えばカメラ２１3は、基準基線長Bだけπ/3の方向に離れた位置にあり、基準視点からカメラ２１2の視点の方向は、π/3[radian]である。この場合、カメラ２１3の視点の視点画像（撮影画像PL3）との間の、基準画像PL1の合焦対象画素のディスパリティDP3は、その合焦対象画素の登録ディスパリティRDから、カメラ２１3の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
　ここで、補間部３２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なカメラで撮影された画像であるとみなすことができる。この仮想的なカメラの視点vpが、基準視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なカメラで撮影された画像）との間の、基準画像PL1の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
　以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、基準画像PL1の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、基準画像PL1（処理結果画像）の画素のディスパリティに変換することをディスパリティ変換ともいう。
　リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、基準画像PL1の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
　リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を合焦シフト量ともいう。
　ここで、以下、補間部３２で得られる複数の視点の視点画像のうちの、ｉ番目の視点画像の視点を視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を合焦シフト量DP#iとも記載する。
　視点vp#iの視点画像の合焦シフト量DP#iは、合焦対象画素の登録ディスパリティRDから、基準視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
　ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
　したがって、ディスパリティ変換は、例えば登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
　ここでは、例えばディスパリティ変換を登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
　この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
　合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
　なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、撮影画像PL2との間の、合焦対象画素のディスパリティのx成分に等しい。
　＜集光処理＞
　図１０は、集光処理によるリフォーカスを説明する図である。
　いま、合焦点（フォーカスが合う、実空間内の実空間点）の集まりで構成される面を合焦面ということとする。
　集光処理では、例えば実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成されることで、リフォーカスが行われる。
　図１０では、複数の視点の視点画像の手前と中程のそれぞれに、１人の人が映っている。そして、中程の人の位置を通る、奥行き方向の距離が一定の平面を合焦面として、複数の視点の視点画像から、合焦面上の被写体、すなわち、例えば中程の人に合焦した処理結果画像が得られている。
　なお、合焦面としては、例えば実空間内の奥行き方向の距離が変化する平面や曲面を採用することができる。また、合焦面としては、奥行き方向の距離が異なる複数の平面等を採用することができる。
　図１１は、集光処理部３４が行う集光処理の例を説明するフローチャートである。
　ステップＳ３１において、集光処理部３４は、パラメータ設定部３５から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理はステップＳ３２に進む。
　すなわち、例えばカメラ２１1ないし２１7で撮影された撮影画像PL1ないしPL7のうちの、基準画像PL1等が、表示装置１３に表示され、ユーザが、その基準画像PL1上の１つの位置を指定すると、パラメータ設定部３５は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を集光パラメータとして、集光処理部３４に供給する。
　ステップＳ３１では、集光処理部３４は、以上のようにして、パラメータ設定部３５から供給される合焦対象画素を取得する。
　ステップＳ３２では、集光処理部３４は、視差情報生成部３１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部３４は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば合焦対象画素の登録ディスパリティRDの-1倍を基準シフト量BVに設定し、処理はステップＳ３２からステップＳ３３に進む。
　ステップＳ３３では、集光処理部３４は、調整部３３からの、画素値の調整後の複数の視点の視点画像のうちの１つの画像である、例えば基準画像に対応する画像、すなわち、基準画像の視点から見た、基準画像と同一サイズの画像であって、画素値が初期値としての0の画像を処理結果画像に設定する。さらに、集光処理部３４は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に決定し、処理はステップＳ３３からステップＳ３４に進む。
　ステップＳ３４では、集光処理部３４は、調整部３３からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理はステップＳ３５に進む。
　ステップＳ３５では、集光処理部３４は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量DP#iを求める。
　すなわち、集光処理部３４は、基準シフト量BVを、基準視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を注目視点vp#iの視点画像の各画素の合焦シフト量DP#iとして取得する。
　その後、処理はステップＳ３５からステップＳ３６に進み、集光処理部３４は、注目視点vp#iの視点画像の各画素を合焦シフト量DP#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を注目画素の画素値に積算する。
　すなわち、集光処理部３４は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量DP#iに対応するベクトル（ここでは、例えば合焦シフト量DP#iの-1倍）だけ離れた画素の画素値を注目画素の画素値に積算する。
　そして、処理はステップＳ３６からステップＳ３７に進み、集光処理部３４は、調整部３３からの視点画像のすべての視点を注目視点としたかどうかを判定する。
　ステップＳ３７において、まだ、調整部３３からの視点画像のすべての視点を注目視点としていないと判定された場合、処理はステップＳ３４に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ３７において、調整部３３からの視点画像のすべての視点を注目視点としたと判定された場合、処理はステップＳ３８に進む。
　ステップＳ３８では、集光処理部３４は、処理結果画像の画素のすべてを注目画素としたかどうかを判定する。
　ステップＳ３８において、まだ、処理結果画像の画素のすべてを注目画素としていないと判定された場合、処理はステップＳ３３に戻り、集光処理部３４は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に新たに決定し、以下、同様の処理を繰り返す。
　また、ステップＳ３８において、処理結果画像の画素のすべてを注目画素としたと判定された場合、集光処理部３４は、処理結果画像を出力して、集光処理を終了する。
　なお、図１１の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
　また、合焦シフト量DP#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図１１の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量DP#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量DP#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　図１１において、合焦シフト量DP#iを求めるステップＳ３５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量DP#iを繰り返し算出するループ（ステップＳ３３ないしステップＳ３８のループ）を構成しているが、上述のように、合焦シフト量DP#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　したがって、図１１において、合焦シフト量DP#iを求めるステップＳ３５の処理は、１視点に対して１回だけ行えば良い。
　図１１の集光処理では、図１０で説明したように、奥行き方向の距離が一定の平面を合焦面とするため、合焦対象画素を合焦させるのに必要な視点画像の基準シフト量BVは、奥行き方向の距離が一定の合焦面上の空間点が映る合焦対象画素、すなわち、ディスパリティが合焦面までの距離に対応する値の合焦対象画素のディスパリティをキャンセルするような１つの値になる。
　したがって、基準シフト量BVは、処理結果画像の画素（注目画素）や、画素値を積算する視点画像の視点（注目視点）に依存しないので、処理結果画像の画素ごとや、視点画像の視点ごとに設定する必要はない（基準シフト量BVを処理結果画像の画素ごとや、視点画像の視点ごとに設定しても、基準シフト量BVは、同一の値に設定されるので、実質的に、処理結果画像の画素ごとや、視点画像の視点ごとに設定することにはならない）。
　なお、図１１では、処理結果画像の画素ごとに、視点画像の画素の画素シフト及び積算を行うこととしたが、集光処理において、視点画像の画素の画素シフト及び積算は、処理結果画像の画素ごとの他、処理結果画像の画素を細かく分割したサブピクセルごとに行うことができる。
　また、図１１の集光処理では、注目画素のループ（ステップＳ３３ないしステップＳ３８のループ）が、外側にあり、注目視点のループ（ステップＳ３４ないしステップＳ３７のループ）が、内側にあるが、注目視点のループを外側のループにするとともに、注目画素のループを内側のループにすることができる。
　＜調整処理＞
　図１２は、図４の調整部３３が行う調整処理の例を説明するフローチャートである。
　ステップＳ５１において、調整部３３は、パラメータ設定部３５から供給される調整パラメータとしての視点ごとの調整係数を取得し、処理はステップＳ５２に進む。
　ステップＳ５２では、調整部３３は、補間部３２からの視点画像の視点のうちの、まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理はステップＳ５３に進む。
　ステップＳ５３では、調整部３３は、パラメータ設定部３５からの調整パラメータとしての視点ごとの調整係数から、注目視点vp#iの調整係数を取得し、処理はステップＳ５４に進む。
　ステップＳ５４では、調整部３３は、補間部３２からの注目視点vp#iの視点画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に決定し、処理はステップＳ５５に進む。
　ステップＳ５５では、調整部３３は、注目画素の画素値を注目視点vp#iの調整係数に従って調整し、すなわち、例えば注目画素の画素値に、注目視点vp#iの調整係数を乗算した乗算値を調整後の注目画素の画素値として求め、処理はステップＳ５６に進む。
　ステップＳ５６では、調整部３３は、注目視点vp#iの視点画像の画素のすべてを注目画素としたかどうかを判定する。
　ステップＳ５６において、まだ、注目視点vp#iの視点画像の画素のすべてを注目画素としていないと判定された場合、処理はステップＳ５４に戻り、調整部３３は、上述したように、注目視点vp#iの視点画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に新たに決定し、以下、同様の処理を繰り返す。
　また、ステップＳ５６において、注目視点vp#iの視点画像の画素のすべてを注目画素としたと判定された場合、処理はステップＳ５７に進む。
　ステップＳ５７に進み、調整部３３は、補間部３２からの視点画像のすべての視点を注目視点としたかどうかを判定する。
　ステップＳ５７において、まだ、補間部３２からの視点画像のすべての視点を注目視点としていないと判定された場合、処理はステップＳ５２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ５７において、補間部３２からの視点画像のすべての視点を注目視点としたと判定された場合、すなわち、補間部３２からの複数の視点画像すべての画素値の調整が終了した場合、調整部３３は、画素値の調整後のすべての視点の視点画像を集光処理部３４に供給し、調整処理を終了する。
　図１１の集光処理（のステップＳ３６での、複数の視点の視点画像の画素の画素値の積算）は、以上のような調整処理によって得られる、画素値の調整後の複数の視点の視点画像を対象として行われる。
　したがって、調整パラメータとしての視点ごとの調整係数として、光学的効果に対応する係数を採用することにより、種々の光学的効果が付与されたリフォーカスを行うことができる。
　以下、調整パラメータとしての視点ごとの調整係数について、光学レンズ及び絞り等の光学系によって現実に又は理論的に奏することが可能な光学的な画像効果を実現するレンズ絞りパラメータとレンズフィルタによって現実に又は理論的に奏することが可能な光学的な画像効果を実現するフィルタパラメータとを例に説明を行う。
　＜レンズ絞りパラメータ＞
　図１３は、レンズ絞りパラメータの第１の例を示す図である。
　いま、補間部３２で得られる視点画像の視点の総数が、横×縦がM×M視点のM2個であることとする。
　レンズ絞りパラメータとしてのM×M視点の視点ごとの調整係数としては、M×M視点の視点ごとに設定された透過率を採用することができる。
　各視点の透過率の設定は、例えば所望のレンズ及び絞りの効果を生じさせる透過率の分布をM×M視点と同一の数の、M×Mブロックに区切り、各ブロックの透過率の代表値を求め、左からx番目で下からy番目（以下、(x,y)番目ともいう）のブロックの代表値（例えばブロック内の透過率の平均値や中央値等）を(x,y)番目の視点の透過率に設定することで行うことができる。
　図１３では、STF(Smooth Transfer focus)レンズの効果を生じさせる透過率の分布、すなわち、中心部で最も大で、周辺部にいくほど小になる透過率の分布に応じて設定された視点ごとの透過率の平面図とその視点ごとの透過率の線分LO上の断面図とが示されている。
　ここで、STFレンズの効果を生じさせる透過率の分布の平面形状（平面図に現れる形状）は、略円形であるが、線分LOは、その円の中心を通り、x方向（水平方向）に平行な線分である。
　また、図１３の平面図において、明暗（濃淡）は、透過率を表し、暗いほど、透過率が低いことを表す。
　以上の点、後述する図１４、図１５、及び、図１６の平面図でも同様である。
　STFレンズの効果を生じさせる透過率の分布に応じて設定された視点ごとの透過率としての調整係数によれば、STFレンズで実現されるぼけのような、ぼけ部分の中央から周辺に向かうにつれ、ぼけの程度がソフトに変化する自然なぼけが付与されたリフォーカスを実現することができる。
　図１４は、レンズ絞りパラメータの第２の例を示す図である。
　図１４では、ミラーレンズの効果を生じさせる透過率の分布、すなわち、周辺部のやや中心部よりの部分で最も大になり、中心部又は周辺部にいくほど小になる透過率の分布に応じて設定された視点ごとの透過率の平面図とその視点ごとの透過率の線分LO上の断面図とが示されている。
　ミラーレンズの効果を生じさせる透過率の分布に応じて設定された視点ごとの透過率としての調整係数によれば、ミラーレンズで実現されるぼけのような、リングぼけや二線ぼけが付与されたリフォーカスを実現することができる。
　図１５は、レンズ絞りパラメータの第３の例を示す図である。
　図１５では、図１３のSTFレンズの効果を生じさせる透過率の分布の平面形状である円を縮小するように、STFレンズの効果を生じさせる透過率の分布を変形した分布（以下、STF変形分布ともいう）に応じて設定された視点ごとの透過率の平面図とその視点ごとの透過率の線分LO上の断面図とが示されている。
　なお、図１３では、開放状態の絞りの効果を生じさせるため、特に、透過率の分布の操作を行っていないが、図１５では、絞った状態の絞りの効果を生じさせるため、STF変形分布の平面形状である円よりやや大きい円よりも外側の視点、すなわち、絞った状態の絞りにより光線が遮断される視点の透過率は、0%に設定（操作）されている。
　以上のような視点ごとの透過率としての調整係数によれば、STFレンズで実現されるぼけのような、ぼけ部分の中央から周辺に向かうにつれ、ぼけの程度がソフトに変化する自然なぼけが付与されたリフォーカスを実現することができる。
　さらに、リフォーカス後の処理結果画像として、被写界深度が深い画像を得ることができる。
　すなわち、リフォーカス後の処理結果画像として、被写界深度が深く、かつ、STFレンズで実現されるぼけが付与された画像を得ることができる。
　なお、実際のSTFレンズを用いて絞りを絞って撮影を行っても、被写界深度が深く、かつ、STFレンズで実現される自然なぼけが付与された画像を得ることは、困難である。
　すなわち、実際のSTFレンズを用いて絞りを絞って撮影を行った場合に得られる撮影画像では、絞った状態の絞りによって、被写界深度は深くなる。
　しかしながら、実際のSTFレンズを用いて絞りを絞って撮影を行った場合、図１３に示したSTFレンズの効果を生じさせる透過率の分布の平面形状としての円の中心部分以外に対応するSTFレンズの領域（透過率が小さい領域）を通過しようとする光線が、絞った状態の絞りによって遮断されるため、絞りを絞っていない状態のSTFレンズで付与される自然なぼけと同等のぼけ味をだすことは、困難になる。
　図１６は、レンズ絞りパラメータの第４の例を示す図である。
　図１６では、図１４のミラーレンズの効果を生じさせる透過率の分布の平面形状を縮小するように、ミラーレンズの効果を生じさせる透過率の分布を変形した分布（以下、ミラーレンズ変形分布ともいう）に応じて設定された視点ごとの透過率の平面図とその視点ごとの透過率の線分LO上の断面図とが示されている。
　なお、図１４では、開放状態の絞りの効果を生じさせるため、特に、透過率の分布の操作を行っていないが、図１６では、図１５と同様に、絞った状態の絞りの効果を生じさせるため、STF変形分布の平面形状である円よりやや大きい円よりも外側の視点、すなわち、絞った状態の絞りにより光線が遮断される視点の透過率は、0%に設定されている。
　以上のような視点ごとの透過率としての調整係数によれば、ミラーレンズで実現されるリングぼけや二線ぼけが付与されたリフォーカスを実現することができる。
　さらに、リフォーカス後の処理結果画像として、被写界深度が深い画像を得ることができる。
　すなわち、リフォーカス後の処理結果画像として、被写界深度が深く、かつ、ミラーレンズで実現されるぼけが付与された画像を得ることができる。
　なお、実際のミラーレンズを用いて絞りを絞って撮影を行っても、被写界深度が深く、かつ、ミラーレンズで実現されるリングぼけや二線ぼけが付与された画像を得ることは、困難である。
　すなわち、実際のミラーレンズを用いて絞りを絞って撮影を行った場合に得られる撮影画像では、絞った状態の絞りによって、被写界深度は深くなる。
　しかしながら、実際のミラーレンズを用いて絞りを絞って撮影を行った場合、図１４に示したミラーレンズの効果を生じさせる透過率の分布の平面形状としての円の中心部分以外に対応するミラーレンズの領域（透過率が最大の領域とその近傍領域）を通過しようとする光線が、絞った状態の絞りによって遮断されるため、絞りを絞っていない状態のミラーレンズで付与されるリングぼけや二線ぼけと同等のぼけ味をだすことは、困難になる。
　視点ごとの調整係数として、以上のようなレンズ絞りパラメータを採用する場合、そのレンズ絞りパラメータとしての調整係数をαと表すとともに、補間部３２で得られる視点画像の画素の画素値をIと表すこととすると、調整部３３では、例えば画素値α×Iを画素値Iの調整後の画素値として求める処理が、画素値Iを調整する調整処理として行われる。
　そして、集光処理部３４において、そのような調整処理後の視点画像を対象として、集光処理が行われることにより、任意のレンズのぼけ味や任意の絞りの状態が反映されたリフォーカスを行うことができる。
　なお、図１３ないし図１６では、視点ごとの調整係数をSTFレンズやミラーレンズの効果を生じさせる透過率の分布に応じて設定することとしたが、視点ごとの調整係数は、その他のレンズの効果を生じさせる透過率の分布に応じて設定することができる。
　さらに、図１５及び図１６では、絞った状態の絞りの効果を生じさせるように、透過率の分布を操作したが、透過率の分布は、その他、任意の状態の絞りの効果を生じさせるように操作することができる。
　また、図１３ないし図１６では、視点ごとの調整係数の設定に、平面形状が略円形の透過率の分布を採用することとしたが、視点ごとの調整係数の設定には、その他、例えば平面形状をハートや星等の所望の形状に変形した透過率の分布を採用することができる。この場合、ぼけに、所望の形状が現れた処理結果画像を得ることができる。
　＜フィルタパラメータ＞
　図１７は、フィルタパラメータの例を示す図である。
　実際の一眼カメラ等で撮影する場合に、レンズの前に装着して使用されるレンズフィルタとして、グラデーションを有する色彩効果用フィルタや周辺効果フィルタ等のグラデーションフィルタがある。
　図１７は、グラデーションフィルタの例とそのグラデーションフィルタのフィルタ効果を生じさせるゲインの分布に応じて設定されたフィルタパラメータとしての視点ごとの調整係数の例とを示している。
　図１７では、補間部３２で得られる視点画像の視点の総数が、横×縦がM×M＝５×５視点の５2個になっている。
　フィルタパラメータとしてのM×M視点の視点ごとの調整係数としては、M×M視点の視点ごとに設定された、輝度又は所定の色に対するゲインを採用することができる。
　各視点のゲインの設定は、例えば所望のフィルタ効果を生じさせるゲインの分布をM×Mと同一の数の、M×Mブロックに区切り、各ブロックのゲインの代表値を求め、(x,y)番目のブロックの代表値を(x,y)番目の視点のゲインに設定することで行うことができる。
　図１７では、青色のグラデーションフィルタのフィルタ効果を生じさせるゲインの分布に応じて、M×M＝５×５視点の視点ごとの調整係数としてのゲインが設定されている。
　ここで、図１７のグラデーションフィルタにおいて、明暗は、青色に対するゲインを表し、暗いほど、ゲインが高いことを表す。
　図１７のグラデーションフィルタは、上側ほど青色に対するゲインが高いフィルタになっている。
　視点ごとの調整係数として、以上のようなフィルタパラメータを採用する場合、そのフィルタパラメータとしての調整係数をGと表すとともに、補間部３２で得られる視点画像の画素の画素値としてのRGB(Red, Green, Blue)成分を(Ir, Ig ,Ib)と表すこととすると、調整部３３では、例えば画素値(Ir, Ig ,Ib×G)を画素値(Ir, Ig ,Ib)の調整後の画素値として求める処理が、画素値(Ir, Ig ,Ib)を調整する調整処理として行われる。
　以上のようなグラデーションフィルタのフィルタ効果を生じさせるゲインの分布に応じて設定された視点ごとのゲインとしての調整係数によれば、上側ほど青みがかった処理結果画像を得ることができるリフォーカスを実現することができる。
　なお、図１７では、上側ほど青色に対するゲインが高いグラデーションフィルタのゲインの分布に応じて、フィルタパラメータとしての視点ごとの調整係数を設定することとしたが、視点ごとの調整係数は、図１７のグラデーションフィルタのフィルタ効果以外のフィルタ効果を生じさせる、輝度や任意の色（例えば青色以外の赤色や緑色等）のゲインの分布に応じて設定することができる。
　＜画像処理装置１２の他の構成例＞
　図１８は、図１の画像処理装置１２の他の構成例を示すブロック図である。
　なお、図中、図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１８の画像処理装置１２は、視差情報生成部３１、補間部３２、パラメータ設定部３５、及び、集光処理部５１を有する。
　したがって、図１８の画像処理装置１２は、視差情報生成部３１、補間部３２、及び、パラメータ設定部３５を有する点で、図４の場合と共通する。
　但し、図１８の画像処理装置１２は、調整部３３が設けられていない点、及び、集光処理部３４に代えて、集光処理部５１が設けられている点で、図４の場合と相違する。
　図４では、視点画像の画素の画素値の調整を調整部３３で行い、画素値の調整後の視点画像を対象として、集光処理を行うこととしたが、図１８の画像処理装置１２では、集光処理において、視点画像の画素の画素値の積算を行う直前に、その積算の対象の画素値の調整を行い、その調整後の画素値を対象に画素値の積算が行われる。
　図１８において、集光処理部５１は、図４の集光処理部３４と同様の集光処理を行うが、さらに、集光処理において、視点画像の画素の画素値の調整を行う。そのため、集光処理に用いられる集光パラメータの他、画素値の調整に用いる調整パラメータが、パラメータ設定部３５から集光処理部５１に供給される。
　集光処理部５１は、集光処理において、視点画像の画素の画素値の積算を行う直前に、視点画像の画素の画素値の調整を行い、その調整後の画素値を対象に画素値の積算を行う。
　図１９は、集光処理部５１が行う集光処理の例を説明するフローチャートである。
　ステップＳ７１において、集光処理部５１は、図１１のステップＳ３１と同様に、パラメータ設定部３５から、集光パラメータとしての合焦対象画素を取得する。
　さらに、ステップＳ７１では、集光処理部５１は、パラメータ設定部３５から、調整パラメータとしての、視点ごとの調整係数を取得し、処理はステップＳ７２に進む。
　ステップＳ７２ないしＳ７５において、集光処理部５１は、図１１のステップＳ３２ないしＳ３５とそれぞれ同様の処理を行い、注目視点vp#iの合焦シフト量DP#iを求める。
　そして、処理はステップＳ７５からステップＳ７６に進み、集光処理部５１は、パラメータ設定部３５からの調整パラメータとしての視点ごとの調整係数から、注目視点vp#iの調整係数を取得して、処理はステップＳ７７に進む。
　ステップＳ７７では、集光処理部５１は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量DP#iに対応するベクトル（ここでは、例えば合焦シフト量DP#iの-1倍）だけ離れた画素を調整対象画素とする。そして、集光処理部５１は、調整対象画素の画素値を注目視点vp#iの調整係数に従って調整し、すなわち、例えば調整対象画素の画素値に注目視点vp#iの調整係数を乗算した乗算値を調整後の調整対象画素の画素値として求め、処理はステップＳ７７からステップＳ７８に進む。
　ステップＳ７８では、図１１のステップＳ３６と同様に、集光処理部５１は、注目視点vp#iの視点画像の各画素を合焦シフト量DP#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値（調整後の調整対象画素の画素値）を注目画素の画素値に積算する。
　すなわち、集光処理部５１は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量DP#iに対応するベクトル（ここでは、例えば合焦シフト量DP#iの-1倍）だけ離れた画素の画素値（注目視点vp#iの調整係数による調整後の画素値）を注目画素の画素値に積算する。
　そして、処理はステップＳ７８からステップＳ７９に進み、以下、ステップＳ７９及びＳ８０において、図１１のステップＳ３７及びＳ３８とそれぞれ同様の処理が行われる。
　なお、本実施の形態では、処理結果画像の視点として、基準視点を採用することとしたが、処理結果画像の視点としては、基準視点以外の点、すなわち、例えば仮想レンズの合成開口内の任意の点等を採用することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した画像処理装置１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えばフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えばダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムをRAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　複数の視点の画像を取得する取得部と、
　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
　を備え、
　前記集光処理部は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて前記集光処理を行う
　画像処理装置。
　＜２＞
　前記視点に応じた前記調整係数により前記視点の画像の画素の画素値を調整する調整部をさらに備え、
　前記集光処理部は、
　前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算する処理を前記集光処理として行い、
　前記調整部により調整された前記複数の視点の画像の画素の画素値を用いて前記集光処理を行う
　＜１＞に記載の画像処理装置。
　＜３＞
　前記調整係数は、所定のレンズ及び絞りの効果を生じさせる透過率の分布に応じて前記視点ごとに設定される
　＜１＞又は＜２＞に記載の画像処理装置。
　＜４＞
　前記調整係数は、所定のフィルタ効果を生じさせるゲインの分布に応じて前記視点ごとに設定される
　＜１＞又は＜２＞に記載の画像処理装置。
　＜５＞
　前記複数の視点の画像は、複数のカメラで撮影された複数の撮影画像を含む
　＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
　＜６＞
　前記複数の視点の画像は、前記複数の撮影画像と前記撮影画像を用いた補間により生成される複数の補間画像とを含む
　＜５＞に記載の画像処理装置。
　＜７＞
　前記複数の撮影画像の視差情報を生成する視差情報生成部と、
　前記撮影画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
　をさらに備える
　＜６＞に記載の画像処理装置。
　＜８＞
　複数の視点の画像を取得することと、
　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行うことと
　を含み、
　前記集光処理を、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて行う
　画像処理方法。
　＜９＞
　複数の視点の画像を取得する取得部と、
　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
　して、コンピュータを機能させるためのプログラムであり、
　前記集光処理部は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて前記集光処理を行う
　プログラム。
　＜Ａ１＞
　　複数の視点の画像の画素をシフトするシフト量を設定し、
　　前記シフト量に応じて、前記複数の視点の画像の画素をシフトして積算する
　ことにより、所定の距離に合焦した処理結果画像を生成する集光処理での、前記複数の視点の画像の画素値の積算を、前記視点に応じて設定された、画素値を調整する調整係数によって調整された前記視点の画像の画素の調整後の画素値を対象として行う集光処理部を備える
　画像処理装置。
　１１　撮影装置，　１２　画像処理装置，　１３　表示装置，　２１1ないし２１7，２１11ないし２１19　カメラユニット，　３１　視差情報生成部，　３２　補間部，　３３　調整部，　３４　集光処理部，　３５　パラメータ設定部，　５１　集光処理部，　１０１　バス，　１０２　CPU，　１０３　ROM，　１０４　RAM，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，　１１０　入出力インタフェース，　１１１　リムーバブル記録媒体

Claims (9)

  1. 　複数の視点の画像を取得する取得部と、
    　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
    　を備え、
    　前記集光処理部は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて前記集光処理を行う
    　画像処理装置。
  2. 　前記視点に応じた前記調整係数により前記視点の画像の画素の画素値を調整する調整部をさらに備え、
    　前記集光処理部は、
    　前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算する処理を前記集光処理として行い、
    　前記調整部により調整された前記複数の視点の画像の画素の画素値を用いて前記集光処理を行う
    　請求項１に記載の画像処理装置。
  3. 　前記調整係数は、所定のレンズ及び絞りの効果を生じさせる透過率の分布に応じて前記視点ごとに設定される
    　請求項１に記載の画像処理装置。
  4. 　前記調整係数は、所定のフィルタ効果を生じさせるゲインの分布に応じて前記視点ごとに設定される
    　請求項１に記載の画像処理装置。
  5. 　前記複数の視点の画像は、複数のカメラで撮影された複数の撮影画像を含む
    　請求項１に記載の画像処理装置。
  6. 　前記複数の視点の画像は、前記複数の撮影画像と前記撮影画像を用いた補間により生成される複数の補間画像とを含む
    　請求項５に記載の画像処理装置。
  7. 　前記複数の撮影画像の視差情報を生成する視差情報生成部と、
    　前記撮影画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
    　をさらに備える
    　請求項６に記載の画像処理装置。
  8. 　複数の視点の画像を取得することと、
    　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行うことと
    　を含み、
    　前記集光処理を、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて行う
    　画像処理方法。
  9. 　複数の視点の画像を取得する取得部と、
    　前記複数の視点の画像を用いて所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
    　して、コンピュータを機能させるためのプログラムであり、
    　前記集光処理部は、前記視点ごとの調整係数によって画素値が調整された前記複数の視点の画像を用いて前記集光処理を行う
    　プログラム。
PCT/JP2017/038469 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム WO2018088211A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/344,217 US11012605B2 (en) 2016-11-08 2017-10-25 Image processing device, image processing method, and program for generating a focused image
DE112017005616.0T DE112017005616T5 (de) 2016-11-08 2017-10-25 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
CN201780067885.9A CN109923853B (zh) 2016-11-08 2017-10-25 图像处理装置、图像处理方法以及程序
JP2018550127A JP7107224B2 (ja) 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016217763 2016-11-08
JP2016-217763 2016-11-08

Publications (1)

Publication Number Publication Date
WO2018088211A1 true WO2018088211A1 (ja) 2018-05-17

Family

ID=62110254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038469 WO2018088211A1 (ja) 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11012605B2 (ja)
JP (1) JP7107224B2 (ja)
CN (1) CN109923853B (ja)
DE (1) DE112017005616T5 (ja)
WO (1) WO2018088211A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442029B2 (ja) * 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
JP2015201722A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
WO2016132950A1 (ja) * 2015-02-20 2016-08-25 ソニー株式会社 撮像装置および撮像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659323A (en) * 1994-12-21 1997-08-19 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures and other media
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2013218487A (ja) * 2012-04-06 2013-10-24 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5943785B2 (ja) * 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
US10257506B2 (en) * 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
WO2014156202A1 (ja) * 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN108234890B (zh) * 2014-09-30 2020-05-08 富士胶片株式会社 滤波器获取装置、滤波器获取方法、及记录介质
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
JP2015201722A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
WO2016132950A1 (ja) * 2015-02-20 2016-08-25 ソニー株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
US11012605B2 (en) 2021-05-18
CN109923853A (zh) 2019-06-21
CN109923853B (zh) 2021-03-26
JP7107224B2 (ja) 2022-07-27
US20190260925A1 (en) 2019-08-22
DE112017005616T5 (de) 2019-09-12
JPWO2018088211A1 (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
Perwass et al. Single lens 3D-camera with extended depth-of-field
US8749694B2 (en) Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
JP5968107B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP6168794B2 (ja) 情報処理方法および装置、プログラム。
US20130128087A1 (en) Methods and Apparatus for Super-Resolution in Integral Photography
JP6003578B2 (ja) 画像生成方法及び装置
JP2014057181A (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP2013042443A (ja) 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2017184217A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US20190355101A1 (en) Image refocusing
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2018088211A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
Popovic et al. Design and implementation of real-time multi-sensor vision systems
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP5721891B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869052

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018550127

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17869052

Country of ref document: EP

Kind code of ref document: A1