WO2019155981A1 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2019155981A1
WO2019155981A1 PCT/JP2019/003403 JP2019003403W WO2019155981A1 WO 2019155981 A1 WO2019155981 A1 WO 2019155981A1 JP 2019003403 W JP2019003403 W JP 2019003403W WO 2019155981 A1 WO2019155981 A1 WO 2019155981A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
unit
image processing
area
Prior art date
Application number
PCT/JP2019/003403
Other languages
English (en)
French (fr)
Inventor
昌彦 奥沢
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019155981A1 publication Critical patent/WO2019155981A1/ja
Priority to US16/984,343 priority Critical patent/US11323689B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Definitions

  • the present invention relates to an image processing technique for generating an image whose viewpoint is changed from a plurality of images having parallax.
  • an imaging device that can acquire viewpoint image data from different viewpoints by phase difference detection using an imaging device in which a pixel unit is configured by a plurality of microlenses and a photoelectric conversion unit corresponding to each microlens.
  • the imaging apparatus disclosed in Patent Document 1 detects a focus from two viewpoint images using an imaging device in which one pixel is configured by one microlens and two subpixels. By adding the pixel values of the sub-pixels sharing one microlens, it can be handled as one pixel value and an image output can be obtained.
  • a parallax image is a plurality of images with different viewpoints.
  • the viewpoint position can be set to a different position after shooting, and the image can be regenerated.
  • Patent Document 2 discloses a technique for changing the viewpoint position based on a parallax image. If the user unintentionally blurs in front of the target when shooting, the viewpoint can be moved to a position where the blur does not cover the subject using the above technique. Images can be acquired.
  • Patent Document 2 as a method of changing the viewpoint based on the parallax image, a UI (user interface) in which the user specifies the moving direction of the viewpoint is realized.
  • this UI for example, in a front blurred photo in which the blur area is covered on the front side of the subject, the direction of movement of the viewpoint and the direction in which the previous blur moves are opposite to each other.
  • the front blur is a phenomenon in which the main subject is hidden in the blur area when the blur of the second subject (foreground) located in front of the first subject as the main subject is large.
  • An object of the present invention is to provide an image processing apparatus capable of changing a viewpoint with an easy-to-understand operation when generating an image from a plurality of images having different viewpoints.
  • An image processing apparatus is an image processing apparatus that generates image data based on data of a plurality of viewpoint images with different viewpoints, and an acquisition unit that acquires the data of the plurality of viewpoint images;
  • the designation means for designating the position in the image displayed by the display means, the detection means for detecting the movement direction and the movement amount of the position designated by the designation means, and the movement direction detected by the detection means are opposite to each other.
  • the image processing apparatus of the present invention it is possible to provide an image processing apparatus capable of changing the viewpoint with an easy-to-understand operation when generating an image from a plurality of images having different viewpoints.
  • FIG. 1 is a configuration diagram of an image processing apparatus according to an embodiment of the present invention. It is a mimetic diagram showing an example of pixel arrangement of an image sensor. It is a schematic diagram which shows the pixel structure in an image sensor. It is a figure explaining the correspondence of a pixel structure and pupil division. It is a figure which shows the relationship between pupil division and defocus amount, and image shift amount. It is a figure which shows the example of a viewpoint image and a synthesized image. It is a block diagram which shows the structural example of an image process part. It is a flowchart explaining the control in 1st Embodiment. It is a flowchart which shows the process following FIG. It is explanatory drawing of the example of a display of 1st Embodiment.
  • viewpoint images images with different viewpoints acquired by the imaging unit in the imaging apparatus to which the image processing apparatus according to the present invention is applied are referred to as viewpoint images. It is assumed that the parallax image is composed of a plurality of viewpoint images.
  • FIG. 1 is a configuration diagram of an image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 has an imaging function and can record images having parallax, that is, data of a plurality of viewpoint images. Further, the image processing apparatus 100 performs image processing on a plurality of viewpoint images to generate one image, and performs screen display and recording processing.
  • the image pickup unit 101 includes a lens, a shutter, a diaphragm, and an image sensor, and picks up an image of a subject through a lens constituting the image pickup optical system.
  • the imaging device includes a photoelectric conversion unit in which each pixel unit is divided in the left-right direction, and can acquire a pair of image signals. Details of the pixel structure will be described later with reference to FIG.
  • a bus 102 connects each unit in the image processing apparatus 100 and transmits and receives data and control signals.
  • the system control unit 103 controls the entire image processing apparatus 100.
  • the system control unit 103 includes a CPU (Central Processing Unit), and implements each process of this embodiment by executing a program stored in a non-illustrated nonvolatile memory or the like.
  • the memory 104 stores viewpoint image data obtained from the imaging unit 101, intermediate data for image processing, and the like.
  • the memory 104 has a storage capacity sufficient to store a predetermined number of captured image data.
  • the image processing unit 105 generates data of one composite image from a plurality of viewpoint images stored in the memory 104 and stores the data in the memory 104.
  • the image processing unit 105 performs various image processing such as gamma correction, noise reduction, and color space conversion.
  • the image processing unit 105 performs format conversion such as JPEG (Joint Photographic Experts Group) on the image processed data, generates recording output data and display image data, and stores them in the memory 104.
  • JPEG Joint Photographic Experts Group
  • the display unit 106 includes a liquid crystal display panel and the like, and displays display image data stored in the memory 104, a GUI (Graphical User Interface) screen, and the like.
  • the operation unit 107 receives a user operation on the image processing apparatus 100 and an instruction for performing image processing on a captured image.
  • the operation unit 107 includes operation buttons provided on the apparatus main body of the image processing apparatus 100, a touch panel that can be operated on the display screen of the display unit 106, and notifies the system control unit 103 of user operation instructions.
  • the distance information acquisition unit 108 obtains an image shift amount and a defocus amount from a pair of viewpoint image data stored in the memory 104 and acquires subject distance information.
  • the distance information is depth information in the depth direction of the captured image, and it can be determined using the distance information whether or not the subject at the specified location is in front of the imaging position.
  • the image shift amount is obtained from the pair of viewpoint image data, and the subject at the designated position is in front of the image formation position by the sign of the defocus amount calculated from the image shift amount using the defocus coefficient. It can be determined whether or not.
  • the position where the defocus amount is zero corresponds to the image forming position, and the front-rear relationship on the optical axis of the imaging optical system is determined by the sign of the defocus amount.
  • the recording medium I / F unit 110 is an interface unit that transmits / receives data to / from a recording medium 111 such as a memory card.
  • the recording medium 111 is composed of a semiconductor memory or the like, and records captured image data and information related to the data. Data is recorded on the recording medium 111 via the recording medium I / F unit 110, and data is read from the recording medium 111.
  • FIG. 2 is a schematic diagram illustrating a pixel arrangement example in the image sensor in the imaging unit 101, and representatively illustrates an area in which 4 horizontal pixels ⁇ 4 vertical pixels are arranged.
  • the imaging element can divide the pupil region of the imaging optical system and generate a plurality of image signals based on the light fluxes that have passed through different pupil partial regions. Specifically, the photoelectric conversion unit constituting each pixel unit is divided into two in the horizontal direction (pupil division direction).
  • the 2 ⁇ 2 pixel group 200 at the upper left in FIG. 2 corresponds to a repeating unit of a primary color Bayer array color filter provided in the image sensor.
  • a pixel 200R having a spectral sensitivity of R (red) is arranged at the upper left
  • a pixel 200G having a spectral sensitivity of G (green) is arranged at the upper right and the lower left.
  • a pixel 200B having a spectral sensitivity of B (blue) is arranged at the lower right.
  • the left half is the photoelectric conversion unit 201 and the right half photoelectric conversion unit 202 is.
  • the first image data obtained from the output of the photoelectric conversion unit 201 and the second image data obtained from the output of the photoelectric conversion unit 202 constitute parallax image data (a pair of viewpoint image data). That is, a parallax image can be generated by one imaging. Moreover, captured image data can be acquired by adding and reading the outputs of the photoelectric conversion units 201 and 202. The parallax image data and the captured image data are stored in the memory 104.
  • FIG. 3A shows a plan view of one pixel 200G in the image sensor when viewed from the light receiving surface side (+ z direction).
  • the direction perpendicular to the paper surface is defined as the z direction
  • the horizontal direction is defined as the x direction
  • the vertical direction is defined as the y direction.
  • the near side is defined as + z direction
  • the right direction is defined as + x direction
  • the upward direction is defined as + y direction.
  • FIG. 3B shows a cross-sectional view of the aa cross section of FIG. 3A viewed from the ⁇ y direction.
  • the direction perpendicular to the paper surface is the y direction
  • the horizontal direction is the x direction
  • the vertical direction is the z direction.
  • a microlens 305 for condensing incident light is formed on the light receiving surface side.
  • the photoelectric conversion unit 300 N H divided in the x-direction, is N V divided in the y direction.
  • the photoelectric conversion units 301 and 302 have a configuration of a pin structure photodiode in which an intrinsic layer is sandwiched between a p-type layer and an n-type layer, or a pn junction photodiode in which the intrinsic layer is omitted.
  • a color filter 306 is formed between the microlens 305 and the photoelectric conversion units 301 and 302. If necessary, the spectral transmittance of the color filter is changed for each photoelectric conversion unit, or the color filter is omitted.
  • the light that has entered the pixel 200G is collected by the microlens 305, and the light is received by the photoelectric conversion units 301 and 302 after being separated by the color filter 306, respectively.
  • a pair of electrons and holes are generated according to the amount of received light, separated by a depletion layer, and then negatively charged electrons are accumulated in an n-type layer (not shown).
  • the holes are discharged to the outside of the image sensor through a p-type layer connected to a constant voltage source (not shown).
  • the electrons accumulated in the n-type layers of the photoelectric conversion units 301 and 302 are transferred to the capacitance unit (FD) via the transfer gate, converted into a voltage signal, and output as a pixel signal.
  • FIG. 4 is a diagram for explaining the correspondence between the pixel structure shown in FIG. 3 and pupil division.
  • the lower side of FIG. 4 shows a cross-sectional view of the pixel structure taken along the line aa when viewed from the + y direction, and the upper side shows the exit pupil plane of the imaging optical system (see the exit pupil 410).
  • the figure when seen from the -Z direction is shown.
  • the x axis and the y axis are shown reversed from the state shown in FIG. 3 in the sectional view of the pixel structure.
  • the first pupil partial region 401 is generally conjugated by the microlens 305 with respect to the light receiving surface of the photoelectric conversion unit 301 whose center of gravity is deviated in the ⁇ x direction. That is, the first pupil partial region 401 represents a pupil region that can be received by the photoelectric conversion unit 301, and the center of gravity is biased in the + X direction on the exit pupil plane.
  • the second pupil partial region 402 is substantially conjugated by the microlens 305 with respect to the light receiving surface of the photoelectric conversion unit 302 whose center of gravity is decentered in the + x direction.
  • the second pupil partial region 402 represents a pupil region that can be received by the photoelectric conversion unit 202, and the center of gravity is deviated in the ⁇ X direction on the exit pupil plane.
  • a region 400 shown in FIG. 4 is a pupil region that can receive light in the entire pixel 200G when the photoelectric conversion unit 301 and the photoelectric conversion unit 302 are combined.
  • the correspondence between the image sensor and pupil division is shown in the schematic diagram of FIG.
  • the light beams that have passed through the first pupil partial region 401 and the second pupil partial region 402 are incident on the pixels of the image sensor at different angles.
  • Incident light on the imaging surface 500 is received by the photoelectric conversion units 301 and 302 divided into two, and each photoelectric conversion unit converts the light into an electrical signal.
  • the image data picked up by the image pickup unit 101 is stored in the memory 104.
  • An example of viewpoint image data will be described with reference to FIG.
  • a first viewpoint image 701 shown in FIG. 6A is an image acquired through the imaging optical system, and shows regions of the subjects O1 to O3.
  • the subjects O1 to O3 exist at distances d1 to d3 from the imaging unit 101, respectively.
  • a second viewpoint image 702 shown in FIG. 6B is an image acquired through the imaging optical system.
  • the viewpoint image 702 has a different viewpoint from the viewpoint image 701, and the area of the subject O1 and the area of the subject O2 overlap. This means that the subject O1 is closer to the imaging unit 101 than the subject O2.
  • the image processing unit 105 reads the viewpoint image data from the memory 104, performs predetermined image processing, and combines the parallax images into one image.
  • FIG. 6C shows a composite image 703 when the first viewpoint image 701 and the second viewpoint image 702 are combined at a ratio of 1: 1.
  • the position of the subject O2 in the viewpoint images 701 and 702 is the same, and no image shift occurs in the composite image 703.
  • the regions of the subjects O1 and O3 in the viewpoint images 701 and 702 have different horizontal positions. Therefore, in the composite image 703, an image shift occurs in the areas of the subjects O1 and O3.
  • the subject O1 overlaps the subject O2. This is because the subject O1 overlaps the subject O2 in the viewpoint image 702 in FIG.
  • FIG. 6D shows a composite image 704 when the composition ratio of the viewpoint image 701 and the viewpoint image 702 is changed to 2: 0 for the subject O1 and the subject O2. It is assumed that the subject O3 is synthesized at a synthesis ratio of the viewpoint images 701 and 702 of 1: 1. In the composite image 704, the areas of the subject O1 and the subject O2 do not overlap. When the subject O2 existing at the distance d2 and the subject O1 existing on the near side (imaging unit side) from the subject O2 overlap due to the influence of parallax generated between the two images to be combined, the combining ratio is changed. Thus, it is possible to reduce the overlap of the subject areas in the composite image. In other words, in the composite image, a blur that reduces or eliminates the front blur caused by combining the image of the subject area positioned in front of it with the image of the subject area positioned near the predetermined reference distance. Correction processing is possible.
  • the image processing unit 105 performs predetermined image processing on the composite image, stores the image data in the memory 104, and further records the image data on the recording medium 111 via the recording medium I / F unit 110. At this time, the parallax image data before synthesis can be recorded on the recording medium 111 as RAW data. A series of these processes is controlled by the system control unit 103.
  • FIG. 7 schematically illustrates functional elements related to processing for generating a composite image from a parallax image as a configuration example of the image processing unit 105.
  • the image processing unit 105 includes a blur region detection unit 105a, an image composition unit 105b, and a composition ratio calculation unit 105c.
  • the blur region detection unit 105a detects a blur region among the peripheral regions of the focus region in the plurality of viewpoint images based on the distance information from the distance information acquisition unit 108 and the plurality of viewpoint images. That is, an area where blur is generated in the second subject in front of the first subject in focus is detected.
  • the composition ratio calculation unit 105c determines the composition ratio for each pixel position of the plurality of viewpoint images based on the detection result of the blur region detection unit 105a.
  • the image synthesis unit 105b acquires a plurality of viewpoint image data, and synthesizes the plurality of viewpoint images using the synthesis ratio calculated by the synthesis ratio calculation unit 105c, thereby generating synthesized image data. Image synthesis is performed by weighted addition.
  • the first viewpoint image is generated by collecting the light reception signals of the first photoelectric conversion unit 301 of each pixel unit of the image sensor, and the second light reception signal of the second photoelectric conversion unit 302 is collected by collecting the light reception signals.
  • a viewpoint image is generated.
  • the image processing unit 105 generates image signals having a predetermined resolution by performing addition reading of the first photoelectric conversion unit 301 and the second photoelectric conversion unit 302 for each pixel unit of the image sensor, and outputs image data captured. Output.
  • FIG. 5B the relationship between the image shift amount and the defocus amount between the first viewpoint image and the second viewpoint image will be described.
  • an image sensor (not shown) is arranged on the imaging surface 500.
  • the exit pupil 410 of the imaging optical system is divided into a first pupil partial region 401 and a second pupil partial region 402 in two.
  • of the defocus amount d represents the distance from the imaging position of the subject image to the imaging surface 500.
  • the front pin state (d ⁇ 0) and the rear pin state (d> 0) are collectively referred to as a defocus state (
  • the luminous flux that has passed through the first pupil partial area 401 (or the second pupil partial area 402) out of the luminous flux from the subject 602 is once condensed and then the center of gravity of the luminous flux.
  • the width G1 (or ⁇ 2) extends around the position G1 (or G2).
  • the image is blurred on the imaging surface 500.
  • the blurred image is received by the photoelectric conversion unit 301 (or the photoelectric conversion unit 302) constituting each pixel arranged in the image sensor, and a first viewpoint image (or a second viewpoint image) is generated.
  • the first viewpoint image (or the second viewpoint image) is detected as a subject image (blurred image) having the width ⁇ 1 (or ⁇ 2) at the gravity center position G1 (or G2) on the imaging surface 500.
  • the width ⁇ 1 (or ⁇ 2) of the subject image increases approximately proportionally as the magnitude
  • is the magnitude of the defocus amount d
  • the image shift amount p is defined as a difference “G1 ⁇ G2” in the center of gravity position of the light beam, and its magnitude
  • the image shift direction of the subject image between the first viewpoint image and the second viewpoint image is opposite to that in the front pin state, but there is a similar tendency.
  • the defocus amount of the imaging signal obtained by adding the first viewpoint image and the second viewpoint image or the first viewpoint image and the second viewpoint image increases, The amount of image shift between the viewpoint image and the second viewpoint image increases.
  • the focus lens is driven according to the magnitude and sign of the defocus amount, and the focus lens is moved to the in-focus position where a predetermined subject is in focus.
  • the image processing unit 105 generates a defocus map representing the distribution of the defocus amount.
  • the user can use the operation unit 107 to instruct the image processing apparatus 100 to shift to the image editing mode.
  • the image processing apparatus 100 reads image data recorded on the recording medium 111.
  • the blur shift function is a function of changing the position of the blur area by blur correction processing. With this function, the relative position of the blurred area with respect to a predetermined subject area in the image can be changed.
  • the image processing apparatus 100 extracts RAW data including parallax images and displays a list of thumbnail images on the screen of the display unit 106. When the user selects a desired thumbnail image, a parallax image corresponding to the selected thumbnail image is displayed on the screen, and the mode shifts to the blur shift edit mode.
  • FIGS. 8 to 10 the blur shift process in the image editing function will be described.
  • FIG. 8 and FIG. 9 are flowcharts for explaining viewpoint change in the blur shift editing function, and the following processing is realized by the CPU of the system control unit 103 executing a program.
  • FIG. 10 is a diagram illustrating a display example of the display unit 106.
  • FIG. 10A shows a state before editing, and shows a state in which a front blur is generated in a region 1002 indicated by a dotted frame before a subject region 1001 corresponding to an imaging target.
  • the user uses the operation unit 107 to specify a target to be moved from the image displayed on the display unit 106.
  • the system control unit 103 stores the coordinate data on the image designated by the user operation in the memory 104 (S2001).
  • the image processing unit 105 detects the previous blurred region for the image being edited (S2002). The detection of the front blur area is performed by detecting a blur area in the image and extracting only the blur on the near side (imaging device side) from the imaging position. Details of the blur region detection processing will be described later with reference to FIG.
  • the image processing unit 105 uses the distance information obtained by the distance information acquisition unit 108 to set the area determined to be a blur area in front of the imaging position as the previous blur area.
  • the system control unit 103 determines whether the position designated by the user is within the previous blur area from the coordinate data stored in the memory 104 in S2001 and the previous blur area detected in S2002 (S2003). ). As a result of the determination, if the position designated by the user is within the previous blur area, the process proceeds to S2004. If the position designated by the user is not within the previous blur area, the process proceeds to S2005.
  • step S2004 the system control unit 103 executes a process of highlighting the previous blur area detected in S2002 and updating the display content of the display unit 106.
  • step S2005 the system control unit 103 executes a process of updating the display content of the display unit 106 by highlighting an area other than the previous blur area detected in step S2002.
  • S2006 in order to clearly indicate the operable range of the user after selection, the possible range of slide operation is displayed on the screen of the display unit 106 around the point selected by the user. A specific example will be described with reference to FIG.
  • FIG. 10B is a diagram illustrating a state in which the position specified by the user in the blur shift editing function is determined to be within the previous blur area in the process of S2003.
  • An area 1003 indicates that the position designated by the user is within the previous blur area by emphasizing that it is the previous blur area.
  • a possible slide operation range 1004 represents a range in which the user can perform a slide operation in S2006.
  • the possible range 1004 has a predetermined width centered on the position designated by the user, and FIG. 10 shows an example of scale display.
  • the possible range 1004 of the slide operation to be displayed it is not necessary to display the distance that the previous blur area moves on the screen.
  • a possible slide operation range 1004 on the screen is displayed so that the user can finely adjust the movement of the previous blur area due to the viewpoint change, and the scale adjustment can be performed by the user operation. Further, not only the slide operation but also a similar operation may be performed by a drag operation, a flick operation, or the like.
  • the above operation is an operation in which the user directly operates by touching the touch panel of the screen unit of the display unit 106 with a finger.
  • the method is not limited to this, and a method may be used in which the cursor is displayed on the screen of the display unit 106 and the user moves the cursor with a button or a pointing device arranged on the image processing apparatus 100 to select a predetermined location. In this case, the operable range may be displayed in another place.
  • FIG. 10C shows an example when it is determined in S2003 of FIG. 8 that an external area other than the previous blurred area is designated.
  • the area 1005 is highlighted so that it can be seen that the external area of the previous blurred area has been selected.
  • the highlighting method shown in FIG. 10C is an example.
  • the image processing apparatus 100 may perform a subject area recognition process and display only the subject area 1001 or only its outline area.
  • the system control unit 103 determines whether or not the user's slide operation has been performed (S2007). When the slide operation is performed within the range indicated by the possible range 1004 from the position designated by the user, the process proceeds to S2008. While the slide operation is not performed, the determination process in S2007 is repeated.
  • step S2008 the system control unit 103 calculates the direction in which the user performed the slide operation and the slide distance from the coordinate data after the slide operation and the coordinate data stored in step S2001.
  • the system control unit 103 determines the viewpoint movement amount from the slide distance calculated in S2008 (S2009).
  • the system control unit 103 determines whether or not the area detected in S2002 is the previous blurred area (FIG. 9: S2010). If it is determined that the previous blur area is designated, the process proceeds to S2011. If it is determined that an area other than the previous blur area is designated, the process proceeds to S2012.
  • the system control unit 103 determines the viewpoint movement direction in the direction opposite to the slide operation direction calculated in S2008 (for example, the left direction in FIG. 10B). In step S2012, the system control unit 103 determines the viewpoint movement direction in the same direction as the slide operation direction calculated in step S2008 (for example, the right direction in FIG. 10C). After S2011 or S2012, in S2013, the system control unit 103 determines the viewpoint position based on the determined viewpoint movement amount and viewpoint movement direction.
  • the image processing unit 105 performs a parallax image synthesis process according to the viewpoint position determined in S2013, generates data for a recording image and a display image, and stores the data in the memory 104 (S2014). A specific example will be described with reference to FIG.
  • FIG. 10D shows an example of displaying a composite image after moving the viewpoint.
  • a viewpoint moving operation is performed by a user operation, and a viewpoint changing process is executed.
  • the front blur region 1002 that covers the subject region 1001 has moved to a region 1006 that does not cover the subject region 1001, and an image intended by the user can be obtained.
  • the display unit 106 reads the display image data stored in the memory 104 and updates the display content. At this time, a GUI display for designating whether or not to save the result displayed on the screen of the display unit 106 is performed, and a process of receiving an instruction from the user is executed.
  • the system control unit 103 determines whether to accept the user operation and save the display data. When it is determined that the user has instructed to save data, the process proceeds to S2017. In S2017, the system control unit 103 and the image processing unit 105 synthesize image data for storage based on the viewpoint position determined in S2013, and record the image data on the recording medium 111 after performing various image processing. Quit the edit mode. If the user does not instruct data saving in S2016, the editing mode is terminated without saving the data.
  • FIG. 11 is a flowchart showing a composite image generation process.
  • the image A is a first viewpoint image and the image B is a second viewpoint image.
  • the image processing unit 105 acquires the parallax images A and B from the memory 104, the recording medium 111, an external device, or the like, and supplies the acquired data to the image composition unit 105b.
  • the image composition unit 105b synthesizes the data of the parallax images A and B acquired in S401 at the reference composition ratio 1: 1 to generate data of the composite image C.
  • the blur region detection unit 105a detects a blur region included in the subject region located near the in-focus distance from the parallax images A and B and the synthesized image C based on the distance information related to the parallax image.
  • This blur area is a front blur area caused by a subject located on the near side (imaging device side) of the subject at the in-focus distance.
  • the image processing unit 105 determines whether or not a blur region is detected by the blur region detection unit 105a. If it is determined that a blurred area has been detected, the process proceeds to S406. If it is determined that no blur area has been detected, the process proceeds to S405. In step S405, the image processing unit 105 outputs the composite image C data generated in step S402, and ends the composite image generation process.
  • the composition ratio calculation unit 105c determines the composition ratio for each pixel of the parallax images A and B according to the viewpoint movement direction and the movement amount.
  • a combination ratio of the parallax images A and B with respect to the blurred area is calculated.
  • the synthesis ratio between the parallax images A and B is set to the reference synthesis ratio “1: 1” for pixels that are a predetermined distance or longer from the blur area.
  • the combined ratio is calculated by linear interpolation according to the combined ratio of the blurred area, the reference combined ratio, the distance, and the like.
  • the distance from the blur region for the target pixel can be the shortest distance between the pixel and the pixel forming the outer edge of the blur region.
  • the composition ratio calculation unit 105c determines the composition ratio for each pixel, the process proceeds to S407.
  • the image composition unit 105b combines the parallax images A and B using the composition ratio determined for each pixel by the composition ratio calculation unit 105c, and generates and outputs data of the composite image D.
  • the front blurring in which the image quality of the image of the first subject is deteriorated by synthesizing the blurred image of the second subject existing in front of the first subject at the in-focus position is the parallax images A and B. It can be suppressed by changing the composition ratio and correcting.
  • step S501 the image processing unit 105 generates a defocus map from the data of the parallax images A and B.
  • the defocus map is information representing the defocus amount for each area of the image or for each pixel.
  • the defocus amount corresponds to the distance from the imaging device to the subject, and corresponds to subject distance information representing depth information in the depth direction of the captured image.
  • a method for generating a defocus map is known. For example, the parallax images A and B are each divided into a plurality of regions, and processing for detecting the relative movement amount that maximizes the correlation amount of the pixel values in the corresponding divided regions is performed.
  • the relative movement amount corresponds to a shift amount or an image shift amount, and is detected as a phase difference with respect to the region of interest.
  • the defocus amount is calculated by multiplying the image shift amount by a predetermined conversion coefficient, and a defocus map indicating the distribution of the defocus amount is generated.
  • the conversion coefficient is determined based on the aperture of the imaging optical system, the center of gravity interval of the sensitivity distribution of the parallax images A and B, and the like.
  • the subject distance information is not limited to the defocus map, but may be an image displacement amount map indicating the distribution of the image displacement amount, or a distance map in which the defocus amount is converted into subject distance information.
  • the blurred area detection unit 105a selects an area where the defocus amount is equal to or less than a predetermined threshold and its peripheral area from the defocus map generated in S501.
  • the area of the subject at the focal distance and the surrounding area are detected. For example, it is assumed that an area within the focal depth is selected based on the defocus map.
  • the aperture value (F value) of the imaging optical system is denoted by F and the allowable confusion circle diameter is denoted by ⁇
  • the absolute value of the defocus amount is 2F ⁇ or less.
  • a region is selected.
  • one pixel unit has a configuration of vertical N ⁇ horizontal N photoelectric conversion units, a region where the absolute value of the defocus amount is NF ⁇ or less is selected.
  • the blur area detection unit 105a detects whether or not a blur area is included in each of the areas selected in S502. Specifically, the image composition unit 105b sets the composition ratio of the parallax images A and B to ⁇ : (2.0 ⁇ ), and changes the value of ⁇ within a range of 0 ⁇ ⁇ ⁇ 2.0. A composite image K ( ⁇ ) is generated. The composite image K ( ⁇ ) may be generated only for the region selected in S502, but may be generated for all regions. The blurred area detection unit 105a calculates an evaluation value for each composite image K ( ⁇ ) for each small area obtained by further dividing each area selected in S502.
  • the evaluation value is calculated and integrated as a sum of absolute differences of pixel values of the composite image K ( ⁇ ) and the composite image C generated in S402.
  • the blur area detection unit 105a stores the ⁇ value that maximizes the evaluation value in the memory for each small area.
  • the ⁇ value is determined based on the processing capability of the image processing unit 105, the image quality required for the composite image, and the like.
  • the blurred region detection unit 105a integrates the evaluation values in each small region with respect to a predetermined number of synthesized images K ( ⁇ ), and detects a small region whose integrated value is equal to or greater than a predetermined threshold.
  • the detected small area is an area in which the evaluation value is significantly changed by changing the synthesis ratio from the reference synthesis ratio 1: 1, and corresponds to an area where blur correction by changing the synthesis ratio is effective.
  • the blurred area detection unit 105a associates and stores in the memory the ⁇ value that maximizes the evaluation value (the sum of absolute differences of pixel values) for each small area detected in S504.
  • the composition ratio that provides the best blur correction effect for a small region is ⁇ : (2.0 ⁇ ).
  • an area focused by the user is specified, and a viewpoint changing process is performed by determining a viewpoint moving direction and a moving amount according to the specified area, a slide operation direction, and an operation amount.
  • the user can specify an area to be moved in the image and can perform an operation for specifying a moving direction and a moving amount of the specified area. Therefore, the viewpoint change process can be performed with an intuitive operation for the user.
  • the area to be synthesized by changing the viewpoint is not particularly specified, but the viewpoint changing process may be applied only to a predetermined area designated by the user.
  • the viewpoint changing process may be applied only to a predetermined area designated by the user.
  • the difference from the first embodiment is that the direction specified by the user is the direction in which the front blur moves.
  • differences from the first embodiment will be mainly described, and the same configurations as those in the first embodiment will be omitted by using the reference numerals already used.
  • the system control unit 103 stores the slide start position in the memory 104 (S4001).
  • the system control unit 103 performs control to display a possible slide operation range (see FIG. 10B) near the slide start position on the image (S4002).
  • the system control unit 103 uses the coordinate data stored in S4001 and the coordinate data after the slide operation, and the direction and slide in which the user performed the slide operation. The distance is calculated (S4003).
  • the system control unit 103 determines the viewpoint movement amount from the slide distance calculated in S4003, and determines the viewpoint movement direction in the direction opposite to the slide operation direction calculated in S4003 so that the front blur area moves in the slide operation direction. (S4004).
  • the system control unit 103 determines the viewpoint position based on the determined viewpoint movement amount and viewpoint movement direction (S4005).
  • the image processing unit 105 combines the parallax image data, generates recording image data and display image data, and stores them in the memory 104 (S4006).
  • the display unit 106 reads the display image data stored in the memory 104 and updates the display content (S4007). At this time, a GUI display for designating whether to save the display result on the screen of the display unit 106 is performed, and a process of receiving an instruction from the user is executed.
  • step S4008 the system control unit 103 determines whether to save display data. If it is determined that the user has instructed to save data, the process proceeds to S4009. In step S4009, the system control unit 103 and the image processing unit 105 generate image data for storage, perform various image processing, record the image data on the recording medium 111, and end the editing mode. If the user does not instruct to save the display data in S4008, the editing mode is terminated without saving the data. Here, when the slide operation is performed again by the user, the edit mode is started again, and the process proceeds to S4001.
  • the blurred area detection unit 105a starts a process of generating a composite image K ( ⁇ ) in which the composite ratio of the parallax images A and B is changed.
  • the blurred area detection unit 105a calculates an evaluation value for each of the areas selected in S502 for each composite image K ( ⁇ ).
  • This evaluation value is a contrast evaluation value representing the degree of focus.
  • the contrast evaluation value can be calculated by a known method. For example, the blur region detection unit 105a extracts a component of a predetermined frequency band by applying a band pass filter to an image region for which a contrast evaluation value is obtained, and applies a differential filter to the extracted component to thereby calculate a difference between adjacent pixels. Calculate the value.
  • the blur area detection unit 105a detects the maximum value of the calculated difference value for each line of the image area to be processed, and uses the integrated value as the contrast evaluation value of the image area.
  • the blurred area detection unit 105a determines whether or not the contrast evaluation values of the image areas to be processed have been calculated for all the composite images K ( ⁇ ). If it is determined that all the contrast evaluation values have been calculated, the process proceeds to S604. If it is determined that the calculation has not been completed, the process returns to S602 and the process is continued.
  • step S604 the blurred area detection unit 105a calculates the difference between the maximum value and the minimum value as the amount of change in the contrast evaluation value calculated for each image area.
  • step S ⁇ b> 605 the blurred region detection unit 105 a selects an image region in which the amount of change in the contrast evaluation value and the tendency of the change satisfy the following conditions (1) and (2).
  • the amount of change in contrast evaluation value is greater than or equal to a threshold value.
  • Contrast evaluation value monotonously increases for a composite image K ( ⁇ ) in which the composition ratio of one viewpoint image (for example, A) is gradually increased and the composition ratio of the other viewpoint image (for example, B) is gradually decreased. Or monotonously decreasing.
  • the region where the contrast evaluation value has a certain difference or more due to the change of the composition ratio is the region where the degree of focus is changed by changing the composition ratio. That is, this area is an area where blur correction is effective.
  • the contrast evaluation value of the region where no blur is caused by the image composition is constant regardless of the composition ratio of the parallax image B.
  • the contrast evaluation value of a region where blur is generated by image synthesis monotonously decreases in accordance with, for example, monotonic increase in the synthesis ratio of parallax image B.
  • the threshold used for the determination of the condition (1) is a fixed value or a variable value set in advance. In the case of a variable value, the threshold value changes according to a combination of shooting sensitivity, subject brightness, and the like.
  • step S606 the blurred area detection unit 105a stores the combined ratio of the combined image K ( ⁇ ) having the maximum contrast evaluation value in the memory 104 for each image area to be processed.
  • This composition ratio indicates a composition ratio at which the blur correction effect is most obtained in each image area.
  • the viewpoint changing process can be performed with a more intuitive operation.
  • the example in which the parallax image data is acquired by the imaging element having the photoelectric conversion unit that is pupil-divided in the left-right direction has been described, but the present invention is not limited to this.
  • a multi-lens camera that can acquire parallax images in the left and right and up and down directions may be used.
  • the slide operation performed by the user can be specified in the two-dimensional direction (up / down / left / right direction) in the image, and the moving direction of the viewpoint can be similarly determined in the two-dimensional direction.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program
  • This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

視点の異なる複数の画像から画像を生成する際、分かり易い操作で視点変更を行える画像処理装置を提供する。　画像処理装置１００は、被写体を撮像する撮像部１０１を備え、視点の異なる複数の視点画像から画像を生成して表示部１０６に表示する。システム制御部１０３は、表示された画像上でユーザが操作部１０７によって指定した位置を取得し、指定された位置からのスライド操作の方向と移動量を検出する。画像処理部１０５は、撮像部１０１から複数の視点画像データを取得し、距離情報取得部１０８から視点画像に関連する距離情報を取得する。画像処理部１０５は、ユーザによるスライド操作の方向とは逆方向に視点を移動させた場合の視点画像を、複数の視点画像に基づいて生成する。

Description

画像処理装置、撮像装置、画像処理方法、およびプログラム
　本発明は、視差のある複数の画像から視点を変更した画像を生成する画像処理技術に関する。
　複数のマイクロレンズと、各マイクロレンズに対応する光電変換部により画素部が構成された撮像素子を用いて、視点の異なる視点画像のデータを位相差検出により取得可能な撮像装置がある。特許文献１に開示の撮像装置は、１つのマイクロレンズと２つの副画素から１画素が構成された撮像素子を用いて、２つの視点画像により焦点を検出する。１つのマイクロレンズを共有している副画素同士の画素値を加算することで１つの画素値として扱い、画像出力を得ることができる。
　視差画像は視点の異なる複数の画像であるが、これらの画像のデータを記録媒体に保存しておくことで、撮影後に視点位置を別の位置に設定して画像の再生成が可能である。特許文献２では、視差画像に基づいて視点位置を変更する技術が開示されている。ユーザが撮影を行った時に狙った被写体の前に意図せずにボケがかぶってしまった場合、上記の技術を用いてボケが被写体にかぶらない位置に視点を移動することにより、撮影後に好適な画像を取得できる。
特許第３７７４５９７号公報 特開２０１７－１８４２１７号公報
　特許文献２では、視差画像に基づいて視点を変更する方法として、視点の移動方向をユーザが指定するＵＩ（ユーザ・インタフェース）を用いて実現している。しかし、このＵＩでは、例えば被写体の前側にボケ領域が被った前ボケ被り写真において、視点の移動方向と前ボケが移動する方向とが逆向きになるため、ボケ領域がどちらに移動するかについてユーザが直感的に分かりにくいという課題がある。前ボケ被りとは、主被写体である第１被写体の手前に位置する第２被写体（前景）のボケが大きい場合にボケ領域に主被写体が隠れてしまう現象である。
　本発明は、視点の異なる複数の画像から画像を生成する際、分かり易い操作で視点変更を行える画像処理装置を提供することを目的とする。
　本発明の一実施形態の画像処理装置は、視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置であって、前記複数の視点画像のデータを取得する取得手段と、表示手段により表示された画像にて位置を指定する指定手段と、前記指定手段によって指定される位置の移動方向と移動量を検出する検出手段と、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成手段と、を備える。
　本発明の画像処理装置によれば、視点の異なる複数の画像から画像を生成する際、分かり易い操作で視点変更を行える画像処理装置を提供することができる。
本発明の実施形態の画像処理装置の構成図である。 撮像素子の画素配置例を示す模式図である。 撮像素子における画素構造を示す模式図である。 画素構造と瞳分割との対応関係を説明する図である。 瞳分割、およびデフォーカス量と像ずれ量の関係を示す図である。 視点画像および合成画像の例を示す図である。 画像処理部の構成例を示すブロック図である。 第１実施形態における制御を説明するフローチャートである。 図８に続く処理を示すフローチャートである。 第１実施形態の表示例の説明図である。 合成画像の生成処理を示すフローチャートである。 第１実施形態のボケ領域検出処理を説明するフローチャートである。 第２実施形態における制御を説明するフローチャートである。 第２実施形態のボケ領域検出処理を説明するフローチャートである。
　本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。以下では、本発明に係る画像処理装置を適用した撮像装置にて、撮像部により取得される、視点の異なる画像を視点画像という。視差画像は、複数の視点画像により構成されるものとする。
第１実施形態
　図１は、本実施形態に係る画像処理装置１００の構成図である。画像処理装置１００は撮像機能を有しており、視差を有する画像、つまり複数の視点画像のデータを記録することができる。さらに画像処理装置１００は、複数の視点画像に対して画像処理を行って１枚の画像を生成し、画面表示および記録処理を行う。
　撮像部１０１は、レンズ、シャッタ、絞り、撮像素子を備え、撮像光学系を構成するレンズを通して被写体を撮像する。撮像素子は、例えば各画素部が左右方向に分割された光電変換部を備え、一対の像信号を取得することができる。画素構造の詳細については図２を用いて後述する。バス１０２は、画像処理装置１００内の各部を接続し、データや制御信号の送受を行う。
　システム制御部１０３は画像処理装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、図示しない不揮発性メモリ等に記憶されたプログラムを実行することで、本実施形態の各処理を実現する。メモリ１０４は、撮像部１０１から得られた視点画像データや画像処理の中間データ等を記憶する。メモリ１０４は、所定枚数の撮像画像データを格納するのに十分な記憶容量を有する。
　画像処理部１０５は、メモリ１０４に記憶された複数の視点画像から１枚の合成画像のデータを生成し、メモリ１０４へ記憶する。また画像処理部１０５は、ガンマ補正やノイズ低減、色空間変換等の各種画像処理を行う。画像処理部１０５は画像処理されたデータに対してＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）等のフォーマット変換を行って、記録用出力データや表示用画像データを生成し、メモリ１０４へ記憶する。
　表示部１０６は液晶表示パネル等を備え、メモリ１０４に記憶された表示用画像データやＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面等を表示する。操作部１０７は、画像処理装置１００に対するユーザ操作や、撮像画像に対して画像処理を行うための指示を受け付ける。操作部１０７は、画像処理装置１００の装置本体部に設けられた操作ボタンや、表示部１０６の表示画面上で操作可能なタッチパネル等を備え、ユーザの操作指示をシステム制御部１０３に通知する。
　距離情報取得部１０８は、メモリ１０４に記憶された一対の視点画像データから像ずれ量やデフォーカス量を求め、被写体の距離情報を取得する。距離情報は撮像画像の奥行き方向の深度情報であり、指定個所の被写体が結像位置より手前にあるか否かを、距離情報を用いて判定することができる。具体的には、一対の視点画像データから像ずれ量が得られ、像ずれ量からデフォーカス係数を用いて算出されるデフォーカス量の符号によって、指定個所の被写体が結像位置より手前にあるか否かを判定することができる。デフォーカス量がゼロの位置は結像位置に相当し、デフォーカス量の符号によって撮像光学系の光軸上での前後関係が判明する。
　記録媒体Ｉ／Ｆ部１１０は、メモリカード等の記録媒体１１１との間でデータを送受するインタフェース部である。記録媒体１１１は半導体メモリ等から構成され、撮像画像データおよび当該データに関連した情報を記録する。記録媒体Ｉ／Ｆ部１１０を介して記録媒体１１１にデータが記録され、また記録媒体１１１からデータの読み出しが行われる。
　次に、画像処理装置１００の撮像機能について説明する。ユーザは操作部１０７を用いて画像処理装置１００に撮像を指示する。図２は、撮像部１０１内の撮像素子における画素配置例を示す模式図であり、横４画素×縦４画素が配列された領域を代表的に示す。撮像素子は撮像光学系の瞳領域を分割して、異なる瞳部分領域を通過した光束に基づく複数の画像信号を生成可能である。具体的には、各画素部を構成する光電変換部が水平方向（瞳分割方向）に２分割されている。
　本実施形態において、図２の左上の２×２の画素群２００は、撮像素子に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。Ｒ（赤）の分光感度を有する画素２００Ｒが左上に配置され、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に配置されている。Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。図２の右上の画素部にて代表的に示すように、横方向に２分割された光電変換部のうち、左半分を光電変換部２０１とし、右半分の光電変換部２０２とする。光電変換部２０１の出力から得られる第１の画像データと、光電変換部２０２の出力から得られる第２の画像データは、視差画像データ（一対の視点画像データ）を構成する。つまり１回の撮像によって視差画像を生成することができる。また、光電変換部２０１および２０２の出力を加算して読み出すことで、撮像画像データを取得することができる。視差画像データおよび撮像画像データはメモリ１０４へ記憶される。
　撮像素子にて、図２に示す４行４列の撮像画素（４行８列の光電変換部）を撮像面上に多数配置することで、撮像画像信号および視点画像信号を取得可能である。すなわち撮像画像を取得しつつ、撮像面位相差検出方式の焦点検出を行うことができる。
　撮像素子における１つの画素２００Ｇを、その受光面側（＋ｚ方向）から見た平面図を図３（Ａ）に示す。図３（Ａ）にて紙面に垂直な方向をｚ方向とし、左右方向をｘ方向、上下方向をｙ方向と定義する。手前側を＋ｚ方向とし、右方向を＋ｘ方向、上方向を＋ｙ方向と定義する。図３（Ａ）のａ－ａ断面を、－ｙ方向から見た場合の断面図を図３（Ｂ）に示す。図３（Ｂ）にて紙面に垂直な方向がｙ方向であり、左右方向がｘ方向、上下方向がｚ方向である。
　画素２００Ｇには、受光面側に入射光を集光するためのマイクロレンズ３０５が形成されている。光電変換部３００は、ｘ方向にＮＨ分割、ｙ方向にＮＶ分割される。図３の例では、ＮＨ＝２、ＮＶ＝１であり、２つの光電変換部３０１，３０２が形成されているが、分割数は任意に設定可能である。例えば、ＮＨ＝２、ＮＶ＝２として水平方向および垂直方向にそれぞれ２分割された、第１乃至第４の光電変換部が１つのマイクロレンズに対応する構造でもよい。
　光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオード、またはイントリンシック層を省略したｐｎ接合フォトダイオードの構成をもつ。各画素部には、マイクロレンズ３０５と、光電変換部３０１，３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、光電変換部ごとにカラーフィルタの分光透過率が変更されるか、あるいはカラーフィルタが省略される。画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６での分光後に、光電変換部３０１，３０２がそれぞれ受光する。光電変換部３０１，３０２では受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて画素信号として出力される。
　図４は、図３に示す画素構造と瞳分割との対応関係を説明する図である。図４の下側には、画素構造のａ－ａ線での切断面を、＋ｙ方向から見た場合の断面図を示し、上側には撮像光学系の射出瞳面（射出瞳４１０参照）を、－Ｚ方向から見た場合の図を示す。図４では、射出瞳面の座標軸と対応を取るために、画素構造の断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
　第１の瞳部分領域４０１は、－ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１の瞳部分領域４０１は光電変換部３０１が受光可能な瞳領域を表し、射出瞳面上で＋Ｘ方向に重心が偏倚している。また、第２の瞳部分領域４０２は、＋ｘ方向に重心が偏心している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２の瞳部分領域４０２は光電変換部２０２で受光可能な瞳領域を表し、射出瞳面上で、－Ｘ方向に重心が偏倚している。
　図４に示す領域４００は、光電変換部３０１と光電変換部３０２とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図５（Ａ）の概略図に示す。第１の瞳部分領域４０１と第２の瞳部分領域４０２をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面５００への入射光は、２分割された光電変換部３０１，３０２でそれぞれ受光され、各光電変換部は光を電気信号に変換する。
　撮像部１０１により撮像された画像のデータ、つまり、対をなす視点画像データはメモリ１０４に記憶される。図６を参照して、視点画像データの例を説明する。図６（Ａ）に示す第１の視点画像７０１は撮像光学系を通して取得された画像であり、被写体Ｏ１～Ｏ３の領域を示す。被写体Ｏ１～Ｏ３は、撮像部１０１から距離ｄ１～ｄ３にそれぞれ存在する。図６（Ｂ）に示す第２の視点画像７０２は撮像光学系を通して取得された画像である。視点画像７０２は視点画像７０１と視点が異なり、被写体Ｏ１の領域と被写体Ｏ２の領域とが重なっている。これは被写体Ｏ１の方が被写体Ｏ２よりも撮像部１０１に近いことを意味する。
　画像処理部１０５はメモリ１０４から視点画像データを読み出して所定の画像処理を行い、視差画像を１つの画像に合成する。図６（Ｃ）は、第１の視点画像７０１と第２の視点画像７０２を、１：１の比率で合成した場合の合成画像７０３を示す。視点画像７０１，７０２における被写体Ｏ２の位置は同一であり、合成画像７０３においても画像ずれは生じない。一方、視差の影響により、視点画像７０１，７０２における被写体Ｏ１およびＯ３の領域は水平方向の位置が異なる。そのため、合成画像７０３では被写体Ｏ１およびＯ３の領域に画像ずれが発生する。合成画像７０３では被写体Ｏ２に被写体Ｏ１が重なっている。これは、図６（Ｂ）の視点画像７０２において被写体Ｏ２に被写体Ｏ１が重なっているからである。
　図６（Ｄ）は、被写体Ｏ１および被写体Ｏ２について視点画像７０１と視点画像７０２との合成比率を２：０に変更した場合の合成画像７０４を示す。被写体Ｏ３については視点画像７０１と７０２の合成比率が１：１で合成されるものとする。合成画像７０４において被写体Ｏ１および被写体Ｏ２の各領域は重なり合っていない。合成対象とする２つの画像間に生じる視差の影響により、距離ｄ２に存在する被写体Ｏ２と、被写体Ｏ２より手前側（撮像部側）に存在する被写体Ｏ１とが重なる場合、合成比率を変更することで、合成画像にて被写体領域の重なりを低減できる。つまり合成画像において、所定の基準距離およびその近傍に位置する被写体領域の像に、それよりも手前側に位置する被写体領域の像が合成されて発生する前ボケ被りを低減し、または除去するボケ補正処理が可能である。
　画像処理部１０５は合成画像に対して所定の画像処理を行った後に画像データをメモリ１０４へ記憶し、さらに記録媒体Ｉ／Ｆ部１１０を介して記録媒体１１１に画像データを記録する。このとき、合成前の視差画像データをＲＡＷデータとして記録媒体１１１に記録することもできる。これらの一連の処理はシステム制御部１０３によって制御される。
　図７は、画像処理部１０５の構成例として、視差画像から合成画像を生成する処理に関する機能要素を模式的に示す。画像処理部１０５はボケ領域検出部１０５ａ、画像合成部１０５ｂ、合成比率算出部１０５ｃを備える。
　ボケ領域検出部１０５ａは、距離情報取得部１０８からの距離情報と複数の視点画像に基づき、複数の視点画像において合焦領域の周辺領域のうちでボケ領域を検出する。つまり、焦点が合っている第１被写体よりも手前側の第２被写体にてボケが生じている領域が検出される。合成比率算出部１０５ｃは、ボケ領域検出部１０５ａの検出結果に基づき、複数の視点画像の画素位置ごとの合成比率を決定する。画像合成部１０５ｂは複数の視点画像データを取得し、合成比率算出部１０５ｃが算出した合成比率を用いて複数の視点画像を合成し、合成画像データを生成する。画像の合成は重み付け加算によって行われる。
　本実施形態では、撮像素子の各画素部の第１の光電変換部３０１の受光信号を集めて第１の視点画像が生成され、第２の光電変換部３０２の受光信号を集めて第２の視点画像が生成される。画像処理部１０５は、撮像素子の画素部ごとに、第１の光電変換部３０１と第２の光電変換部３０２の加算読出しによって、所定の解像度の撮像信号を生成して撮像された画像データを出力する。図５（Ｂ）を参照して、第１の視点画像と第２の視点画像の像ずれ量とデフォーカス量との関係について説明する。
　図５（Ｂ）にて、撮像面５００上に撮像素子（不図示）が配置されている。撮像光学系の射出瞳４１０は、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面５００までの距離を表す。被写体像の結像位置が撮像面５００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図５（Ｂ）に示す被写体６０１の位置は、合焦状態（ｄ＝０）に対応する位置を例示し、被写体６０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
　前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１（または第２の瞳部分領域４０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面５００上でボケた像となる。ボケ像は、撮像素子に配列された各画素を構成する光電変換部３０１（または光電変換部３０２）により受光され、第１の視点画像（または第２の視点画像）が生成される。よって、第１の視点画像（または第２の視点画像）は、撮像面５００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）として検出される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の視点画像と第２の視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１－Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１の視点画像と第２の視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。本実施形態では第１の視点画像と第２の視点画像、または第１の視点画像と第２の視点画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の視点画像と第２の視点画像との間の像ずれ量の大きさが増加する。
　撮像光学系の焦点調節制御では、デフォーカス量の大きさおよび符号に応じてフォーカスレンズが駆動され、所定の被写体に焦点が合った合焦位置へフォーカスレンズが移動される。画像処理部１０５はデフォーカス量の分布を表すデフォーカスマップを生成する。
　次に画像処理装置１００の画像編集機能について説明する。ユーザは操作部１０７を用いて画像編集モードへの移行を画像処理装置１００に指示することができる。ユーザが画像編集モードのメニュー表示画面でボケシフト機能を選択すると、画像処理装置１００は記録媒体１１１に記録された画像データを読み出す。ボケシフト機能とは、ボケ補正処理によってボケ領域の位置を変更する機能である。この機能により、画像内の所定の被写体領域に対するボケ領域の相対的な位置を変更することができる。画像処理装置１００は視差画像を含むＲＡＷデータを抽出し、表示部１０６の画面上にサムネイル画像の一覧表示を行う。ユーザが所望のサムネイル画像を選択すると、選択されたサムネイル画像に対応する視差画像が画面上に表示され、ボケシフト編集モードに移行する。
　図８から図１０を参照して、画像編集機能におけるボケシフト処理に関して説明する。図８および図９は、ボケシフト編集機能における視点変更を説明するフローチャートであり、以下の処理はシステム制御部１０３のＣＰＵがプログラムを実行することにより実現される。図１０は表示部１０６の表示例を示す図である。図１０（Ａ）は、編集前の状態を表示した図であり、撮像対象に対応する被写体領域１００１の前に、点線枠で示す領域１００２で前ボケ被りが発生している様子を示す。
　先ず、ユーザは操作部１０７を用いて、表示部１０６に表示された画像の中から移動させたい対象を指定する。システム制御部１０３は、ユーザ操作により指定された画像上の座標データをメモリ１０４に記憶する（Ｓ２００１）。画像処理部１０５は、編集中の画像について、前ボケ領域の検出を行う（Ｓ２００２）。前ボケ領域の検出は、画像中のボケ領域を検出し、その領域中から結像位置よりも手前側（撮像装置側）にあるボケのみを抽出することによって行われる。ボケ領域検出処理の詳細については、図１２を用いて後述する。ボケ領域の検出後に画像処理部１０５は、距離情報取得部１０８による距離情報を用いて、結像位置よりも手前にあるボケ領域と判定された領域を前ボケ領域とする。
　システム制御部１０３は、Ｓ２００１でメモリ１０４に記憶しておいた座標データと、Ｓ２００２で検出された前ボケ領域から、ユーザの指定した位置が前ボケ領域内であるか否かを判定する（Ｓ２００３）。判定の結果、ユーザの指定した位置が前ボケ領域内である場合、Ｓ２００４の処理に進み、ユーザの指定した位置が前ボケ領域内でない場合にはＳ２００５の処理に進む。
　Ｓ２００４でシステム制御部１０３は、Ｓ２００２で検出された前ボケ領域を強調表示して表示部１０６の表示内容を更新する処理を実行する。また、Ｓ２００５でシステム制御部１０３は、Ｓ２００２で検出された前ボケ領域以外の領域を強調表示して表示部１０６の表示内容を更新する処理を実行する。Ｓ２００４またはＳ２００５の後、Ｓ２００６に処理を進める。Ｓ２００６では、選択後のユーザの操作可能範囲を明示するために、ユーザの選択した点を中心としてスライド操作の可能範囲が表示部１０６の画面に表示される。図１０（Ｂ）を用いて、具体例を説明する。
　図１０（Ｂ）は、ボケシフト編集機能においてユーザの指定した位置が、Ｓ２００３の処理で前ボケ領域内にあると判定された状態を表す図である。領域１００３は、前ボケ領域であることを強調することによって、ユーザの指定した位置が前ボケ領域内であることを示している。スライド操作の可能範囲１００４は、Ｓ２００６にてユーザのスライド操作が可能な範囲を表す。可能範囲１００４はユーザが指定した位置を中心として所定の幅を有し、図１０ではスケール表示の例を示している。なお、表示されるスライド操作の可能範囲１００４については、前ボケ領域が画面上で移動する距離を表示させる必要はない。視点変更による前ボケ領域の移動をユーザが微調整できるように、画面上のスライド操作の可能範囲１００４が表示され、ユーザ操作によりスケール調整を行うことができる。また、スライド操作に限らず、ドラッグ操作、フリック操作などで同等の操作を実施可能にしてもよい。
　上記動作は、ユーザが表示部１０６の画面部のタッチパネルに手指を接触させることで直接操作を行う動作である。これに限らず、カーソルを表示部１０６の画面に表示し、ユーザが画像処理装置１００に配置されたボタンやポインティングデバイス等でカーソルを動かして所定の場所を選択する方法でもよい。この場合、他の場所に操作可能範囲を表示してもよい。
　図１０（Ｃ）は、図８のＳ２００３で前ボケ領域以外の外部領域が指定されたことが判定された場合の例を示す。領域１００５は、前ボケ領域の外部領域が選択されたことがわかるように強調表示される。図１０（Ｃ）に示す強調表示方法は一例である。例えば、被写体領域１００１上をユーザが指定した場合、画像処理装置１００は被写体領域の認識処理を行い、被写体領域１００１のみ、またはその外形領域のみを強調するように表示してもよい。
　図８のＳ２００６の次にシステム制御部１０３は、ユーザのスライド操作が行われたか否かを判定する（Ｓ２００７）。ユーザが指定した位置から、可能範囲１００４で示す範囲内でスライド操作が行われた場合、Ｓ２００８の処理に進む。スライド操作が行われない間、Ｓ２００７の判定処理が繰り返される。Ｓ２００８でシステム制御部１０３は、スライド操作後の座標データと、Ｓ２００１で記憶された座標データから、ユーザがスライド操作を行った方向とスライド距離を算出する。次にシステム制御部１０３は、Ｓ２００８で算出したスライド距離から視点移動量を決定する（Ｓ２００９）。システム制御部１０３は、Ｓ２００２で検出された領域が前ボケ領域であるか否かを判定する（図９：Ｓ２０１０）。前ボケ領域が指定されていると判定された場合、Ｓ２０１１の処理に進み、前ボケ領域以外の領域が指定されていると判定された場合、Ｓ２０１２の処理に進む。
　Ｓ２０１１でシステム制御部１０３は、Ｓ２００８で算出したスライド操作方向（例えば、図１０（Ｂ）の左方向）と逆方向に視点移動方向を決定する。またＳ２０１２でシステム制御部１０３は、Ｓ２００８で算出したスライド操作方向（例えば、図１０（Ｃ）の右方向）と同じ方向に視点移動方向を決定する。Ｓ２０１１またはＳ２０１２の後、Ｓ２０１３でシステム制御部１０３は、決定した視点移動量と視点移動方向に基づいて視点位置を決定する。
　画像処理部１０５は、Ｓ２０１３で決定された視点位置にしたがって、視差画像の合成処理を行い、記録用画像と表示用画像の各データを生成してメモリ１０４に記憶する（Ｓ２０１４）。図１０（Ｄ）を参照して具体例を説明する。
　図１０（Ｄ）は、視点移動後の合成画像を表示した例を示す。ユーザ操作によって視点移動操作が行われ、視点変更処理が実行される。その結果、図１０（Ａ）では被写体領域１００１にかぶっていた前ボケ領域１００２は、被写体領域１００１にかぶらない位置の領域１００６に移動しており、ユーザの意図する画像が得られる。
　図９のＳ２０１５で表示部１０６はメモリ１０４に記憶された表示用画像データを読み出して表示内容を更新する。このとき、表示部１０６の画面に表示される結果を保存するか否かを指定するためのＧＵＩ表示が行われ、ユーザからの指示を受け付ける処理が実行される。
　Ｓ２０１６でシステム制御部１０３は、ユーザ操作を受け付けて表示データを保存するか否かを判断する。ユーザがデータの保存を指示したことが判断された場合、Ｓ２０１７の処理に進む。Ｓ２０１７にてシステム制御部１０３および画像処理部１０５は、Ｓ２０１３で決定した視点位置に基づいて保存用の画像データを合成し、各種の画像処理を行った後に記録媒体１１１に画像データを記録して、編集モードを終了する。Ｓ２０１６でユーザがデータの保存を指示しなかった場合には、データを保存せずに編集モードを終了する。
　図９のＳ２０１４およびＳ２０１７の処理に関し、図１１を参照して、視差画像から視点を変更して合成画像を生成する処理について説明する。図１１は、合成画像の生成処理を示すフローチャートである。以下、合成前の視差画像ＡおよびＢに関して、画像Ａを第１の視点画像とし、画像Ｂを第２の視点画像とする。
　図１１のＳ４０１で画像処理部１０５は、視差画像ＡおよびＢのデータをメモリ１０４、記録媒体１１１、または外部装置等から取得して画像合成部１０５ｂに供給する。Ｓ４０２で画像合成部１０５ｂは、Ｓ４０１で取得した視差画像ＡおよびＢのデータを基準合成比率１：１で合成し、合成画像Ｃのデータを生成する。Ｓ４０３でボケ領域検出部１０５ａは視差画像に関連する距離情報に基づき、視差画像ＡおよびＢ、および合成画像Ｃから、合焦距離の近傍に位置する被写体の領域に含まれるボケ領域を検出する。このボケ領域は、合焦距離の被写体よりも手前側（撮像装置側）に位置する被写体に起因する前ボケ被りの領域である。
　Ｓ４０４で画像処理部１０５は、ボケ領域検出部１０５ａによりボケ領域が検出されたか否かを判定する。ボケ領域が検出されたと判定された場合、Ｓ４０６の処理へ進み、検出されないことが判定された場合、Ｓ４０５へ処理を進める。Ｓ４０５で画像処理部１０５は、Ｓ４０２で生成された合成画像Ｃのデータを出力し、合成画像の生成処理を終了する。
　Ｓ４０６で合成比率算出部１０５ｃは、視点移動方向および移動量に応じて視差画像ＡおよびＢの、画素ごとの合成比率を決定する。Ｓ４０４にてボケ領域が検出されている場合、ボケ領域に対する視差画像ＡとＢとの合成比率が算出される。ボケ領域以外については、ボケ領域から所定距離以上の画素に関し、視差画像ＡとＢとの合成比率が基準合成比率「１：１」に設定される。ボケ領域から所定距離未満の画素については、ボケ領域の合成比率と基準合成比率と距離等に応じて線形補間により合成比率が算出される。対象画素についてのボケ領域からの距離は、当該画素とボケ領域の外縁を形成する画素との最短距離とすることができる。合成比率算出部１０５ｃが画素ごとの合成比率を決定すると、Ｓ４０７の処理に進む。Ｓ４０７で画像合成部１０５ｂは、合成比率算出部１０５ｃで画素ごとに決定された合成比率を用いて、視差画像ＡとＢとを合成し、合成画像Ｄのデータを生成して出力する。合焦位置にある第１被写体に対して、その手前に存在する第２被写体のボケ像が合成されることにより第１被写体の像の画質が低下する前ボケ被りは、視差画像ＡとＢの合成比率を変更して補正することで抑制できる。
　図１２のフローチャートを参照して、Ｓ４０３のボケ領域検出処理について説明する。Ｓ５０１で、画像処理部１０５は、視差画像ＡおよびＢのデータからデフォーカスマップを生成する。デフォーカスマップは、画像の領域ごと、または画素ごとのデフォーカス量を表す情報である。デフォーカス量は、撮像装置から被写体までの距離に対応しており、撮像画像の奥行き方向の深度情報を表した被写体距離情報に相当する。デフォーカスマップの生成方法は公知である。例えば、視差画像ＡおよびＢをそれぞれ複数の領域に分割し、対応する分割領域内の画素値の相関量が最大となる相対移動量を検出する処理が行われる。相対移動量はシフト量、あるいは像ずれ量に相当し、着目領域に対する位相差として検出される。デフォーカス量は像ずれ量に所定の変換係数を乗算することで算出され、デフォーカス量の分布を示すデフォーカスマップが生成される。変換係数は、撮像光学系の口径、視差画像ＡおよびＢの感度分布の重心間隔等に基づいて決定される。なお、被写体距離情報としては、デフォーカスマップに限らず、像ずれ量の分布を示す像ずれ量マップや、デフォーカス量を被写体の距離情報に換算した距離マップを用いてもよい。
　Ｓ５０２でボケ領域検出部１０５ａは、Ｓ５０１で生成したデフォーカスマップから、デフォーカス量が予め定められた閾値以下の領域と、その周辺領域を選択する。合焦距離にある被写体の領域とその周辺領域が検出される。例えば、デフォーカスマップに基づいて、焦点深度内の領域を選択する場合を想定する。１つの画素部が２つの光電変換部を有する構成の場合、撮像光学系の絞り値（Ｆ値）をＦ、許容錯乱円径をδと記すと、デフォーカス量の絶対値が２Ｆδ以下である領域が選択される。１つの画素部が縦Ｎ個×横Ｎ個の光電変換部を有する構成の場合には、デフォーカス量の絶対値がＮＦδ以下である領域が選択される。
　Ｓ５０３でボケ領域検出部１０５ａは、Ｓ５０２で選択された領域のそれぞれについて、ボケ領域が含まれているか否かを検出する。具体的には、画像合成部１０５ｂは、視差画像ＡとＢの合成比率をα：（２．０－α）として、０≦α≦２．０の範囲でαの値を変化させて複数の合成画像Ｋ（α）を生成する。合成画像Ｋ（α）は、Ｓ５０２で選択された領域についてのみ生成すればよいが、全領域について生成してもよい。ボケ領域検出部１０５ａは、Ｓ５０２で選択された各領域をさらに分割した小領域ごとに、個々の合成画像Ｋ（α）について評価値を算出する。評価値は、合成画像Ｋ（α）と、Ｓ４０２で生成された合成画像Ｃとの画素値の差分絶対値和として算出され、積分される。また、ボケ領域検出部１０５ａは、評価値が最大となるα値を小領域ごとにメモリに記憶する。α値は、画像処理部１０５の処理能力や、合成画像に要求される画質等に基づいて決定される。
　Ｓ５０４でボケ領域検出部１０５ａは、予め定められた数の合成画像Ｋ（α）について、各小領域における評価値を積分し、積分値が所定の閾値以上である小領域を検出する。検出される小領域は、合成比率を基準合成比率１：１から変化させたことによって評価値が有意に変化した領域であり、合成比率を変化させることによるボケ補正が有効な領域に相当する。
　Ｓ５０５でボケ領域検出部１０５ａは、Ｓ５０４で検出した小領域ごとに、評価値（画素値の差分絶対値和）が最大となるα値を対応付けてメモリに記憶する。小領域に対するボケ補正効果が最も得られる合成比率はα：（２．０－α）である。
　本実施形態では、ユーザが着目した領域を指定し、指定領域とスライド操作方向および操作量に応じて視点移動方向および移動量を決定して視点変更処理を行う。ユーザが画像中の移動させたい領域を指定するとともに、指定した領域の移動方向および移動量を指定する操作を行うことができる。よって、ユーザにとって直感的な操作で視点変更処理を行える。なお、上記の説明では、視点を変更して合成処理する領域は特に指定されていないが、ユーザが指定した所定の領域のみに視点変更処理を適用してもよい。本実施形態によれば、視点の異なる複数の画像から合成画像を生成する際、視点位置の変更によって出力画像がどのように変化するかを直感的に把握することができる。視点の移動方向を指定する方法に比べて、ユーザは分かり易い操作で視点変更を行える。
第２実施形態
　続いて本発明の第２実施形態を説明する。本実施形態では、ユーザにより指定される方向が前ボケの移動する方向であることが第１実施形態との相違点である。本実施形態では主に第１実施形態との相違点を説明し、第１実施形態と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略する。
　図１３のフローチャートを参照して、本実施形態のシステム制御部１０３が行う制御について説明する。ボケシフト編集機能のモードに入り、ユーザがスライド操作を開始すると、システム制御部１０３はスライド開始位置をメモリ１０４に記憶する（Ｓ４００１）。システム制御部１０３は、画像上のスライド開始位置付近にスライド操作の可能範囲（図１０（Ｂ）参照）を表示させる制御を行う（Ｓ４００２）。
　ユーザがＳ４００２にて図示された可能範囲内でスライド操作を行うと、システム制御部１０３は、Ｓ４００１で記憶しておいた座標データとスライド操作後の座標データから、ユーザがスライド操作した方向とスライド距離を算出する（Ｓ４００３）。システム制御部１０３は、Ｓ４００３で算出したスライド距離から視点移動量を決定し、スライド操作方向に前ボケ領域が移動するように、Ｓ４００３にて算出したスライド操作方向と逆方向に視点移動方向を決定する（Ｓ４００４）。
　システム制御部１０３は、決定した視点移動量と視点移動方向に基づいて視点位置を決定する（Ｓ４００５）。画像処理部１０５は視差画像データを合成し、記録用画像データと表示用画像データを生成してメモリ１０４に記憶する（Ｓ４００６）。表示部１０６は、メモリ１０４に記憶された表示用画像データを読み出して表示内容を更新する（Ｓ４００７）。このとき、表示部１０６の画面上の表示結果を保存するか否かを指定するためのＧＵＩ表示が行われ、ユーザからの指示を受け付ける処理が実行される。
　Ｓ４００８でシステム制御部１０３は、表示データを保存するか否かを判断する。ユーザがデータの保存を指示したことが判断された場合、Ｓ４００９の処理に進む。Ｓ４００９にて、システム制御部１０３および画像処理部１０５は、保存用の画像データを生成し、各種の画像処理を行った後に記録媒体１１１に画像データを記録して、編集モードを終了する。Ｓ４００８でユーザが表示データの保存を指示しなかった場合、当該データを保存せずに編集モードを終了する。ここで、ユーザから再度スライド操作が行われた場合は、再度編集モードが開始され、Ｓ４００１へ進むことになる。
　図１４のフローチャートを参照して、本実施形態におけるボケ領域検出処理について説明する。Ｓ５０１およびＳ５０２の処理は、図１２と同じであるので説明を省略し、Ｓ６０１からＳ６０６の処理を説明する。
　Ｓ５０２の次に、Ｓ６０１でボケ領域検出部１０５ａは、視差画像ＡとＢの合成比率を変更した合成画像Ｋ（α）の生成処理を開始する。Ｓ６０２でボケ領域検出部１０５ａは個々の合成画像Ｋ（α）に対し、Ｓ５０２で選択された領域それぞれについて評価値を算出する。この評価値は、合焦度合いを表すコントラスト評価値である。コントラスト評価値は公知の方法で算出できる。例えば、ボケ領域検出部１０５ａは、コントラスト評価値を求める画像領域にバンドパスフィルタを適用して所定の周波数帯域の成分を抽出し、抽出された成分に微分フィルタを適用して隣接画素同士の差分値を算出する。ボケ領域検出部１０５ａは、算出した差分値の最大値を、処理対象の画像領域の各ラインについて検出し、その積算値を当該画像領域のコントラスト評価値とする。
　Ｓ６０３でボケ領域検出部１０５ａは、全ての合成画像Ｋ（α）について、処理対象の画像領域のコントラスト評価値を算出したか否かを判定する。コントラスト評価値がすべて算出されたと判定された場合、Ｓ６０４へ処理を進め、算出がまだ終了していないと判定された場合には、Ｓ６０２に戻って処理を続行する。
　Ｓ６０４でボケ領域検出部１０５ａは、各画像領域について算出したコントラスト評価値の変化量として、最大値と最小値との差分を算出する。Ｓ６０５でボケ領域検出部１０５ａは、コントラスト評価値の変化量および変化の傾向が以下の条件（１）および（２）を満たす画像領域を選択する。
（１）コントラスト評価値の変化量が閾値以上であること。
（２）一方の視点画像（例えばＡ）の合成比率を徐々に高くし、他方の視点画像（例えばＢ）の合成比率を徐々に低くした合成画像Ｋ（α）について、コントラスト評価値が単調増加または単調減少していること。
　条件（１）に関して、合成比率を変化させたことでコントラスト評価値に一定以上の差が生じた領域は、合成比率を変えることによって合焦度合いが変化している領域である。つまり、この領域はボケ補正が有効な領域である。また、条件（２）に関しては、画像合成によるボケが生じていない領域のコントラスト評価値が視差画像Ｂの合成比率にかかわらず一定である。これに対し、画像合成によるボケが生じている領域のコントラスト評価値は、例えば視差画像Ｂの合成比率の単調増加に応じて単調減少する。
　２つの条件のうちの条件（１）を課すだけでも、ある程度の精度で補正対象とするボケ領域は検出できるが、条件（２）をさらに課すことで、合成によってボケが生じている領域を精度良く検出できる。なお、条件（１）の判定に用いる閾値は、あらかじめ設定された固定値または可変値である。可変値の場合には、撮影感度や被写体輝度等の組み合わせに応じて閾値が変化する。
　Ｓ６０６でボケ領域検出部１０５ａは、処理対象となる画像領域ごとに、コントラスト評価値が最大となる合成画像Ｋ（α）の合成比率を対応付けてメモリ１０４に記憶する。この合成比率は個々の画像領域でボケ補正効果が最も得られる合成比率を示す。
　本実施形態によれば、ユーザは前ボケの移動方向のみに着目して操作できるので、より直感的な操作で視点変更処理を行うことができる。
　前記実施形態では、左右方向において瞳分割された光電変換部を有する撮像素子によって視差画像データを取得する例を説明したが、これに限ったことではない。例えば、左右および上下方向の視差画像を取得可能な多眼カメラを用いてもよい。この場合、ユーザが行うスライド操作については、画像内の２次元方向（上下左右方向）で指定することができ、視点の移動方向についても同様に２次元方向で決定することができる。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　１００　画像処理装置
　１０１　撮像部
　１０３　システム制御部
　１０５　画像処理部
　１０６　表示部
　１０７　操作部
　１０８　距離情報取得部

Claims (13)

  1. 　視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置であって、
    　前記複数の視点画像のデータを取得する取得手段と、
    　表示手段により表示された画像にて位置を指定する指定手段と、
    　前記指定手段によって指定される位置の移動方向と移動量を検出する検出手段と、
    　前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成手段と、を備える
    　ことを特徴とする画像処理装置。
  2. 　被写体を撮像する撮像手段と、
    　前記視点画像に関連する距離情報を取得する距離情報取得手段を備え、
    　前記生成手段は、前記距離情報と前記複数の視点画像のデータを用いて、複数の被写体のうちで焦点が合っている第１被写体よりも前記撮像手段の側に位置する第２被写体にてボケが生じているボケ領域を検出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生成手段は、
    　前記ボケ領域を検出するボケ領域検出手段と、
    　前記ボケ領域検出手段が検出した前記ボケ領域に対応する前記複数の視点画像の合成比率を算出する算出手段と、
    　前記算出手段が算出した前記合成比率を用いて、前記複数の視点画像を合成して前記移動量にしたがって視点を移動させた場合の視点画像を生成する画像合成手段と、を備える
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記指定手段によって前記ボケ領域内の位置が指定された場合、前記画像合成手段は、前記検出手段によって検出された移動方向とは逆方向に視点を移動させて前記複数の視点画像を合成する
    　ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記指定手段によって前記ボケ領域の外部の領域内の位置が指定された場合、前記画像合成手段は、前記検出手段によって検出された移動方向と同じ方向に視点を移動させて前記複数の視点画像を合成する
    　ことを特徴とする請求項３または請求項４に記載の画像処理装置。
  6. 　前記表示手段は、前記指定手段によって指定された位置を含む領域を強調表示する
    　ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記指定手段によって指定した位置を中心とするスライド操作の範囲を、前記表示手段に表示させる制御を行う制御手段を備える
    　ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記距離情報は、前記複数の視点画像に係る像ずれ量またはデフォーカス量の分布を表す情報である
    　ことを特徴とする請求項２に記載の画像処理装置。
  9. 　前記取得手段は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を、複数の光電変換部により光電変換して得られた画素信号から生成される前記複数の視点画像のデータを取得する
    　ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　請求項１乃至９のいずれか１項に記載の画像処理装置と、
    　被写体を撮像する撮像素子を備える
    　ことを特徴とする撮像装置。
  11. 　前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
    　前記各マイクロレンズに対応する前記複数の光電変換部の出力から前記複数の視点画像のデータが生成される
    　ことを特徴とする請求項１０に記載の撮像装置。
  12. 　視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置にて実行される画像処理方法であって、
    　前記複数の視点画像のデータを取得する工程と、
    　表示手段により表示された画像にて指定手段によって位置を指定する工程と、
    　前記指定手段によって指定される位置の移動方向と移動量を検出手段が検出する工程と、
    　前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する工程と、を有する
    　ことを特徴とする画像処理方法。
  13. 　請求項１２に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
     

     
PCT/JP2019/003403 2018-02-06 2019-01-31 画像処理装置、撮像装置、画像処理方法、およびプログラム WO2019155981A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/984,343 US11323689B2 (en) 2018-02-06 2020-08-04 Image processing device, imaging device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-019449 2018-02-06
JP2018019449A JP7098342B2 (ja) 2018-02-06 2018-02-06 画像処理装置、撮像装置、画像処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/984,343 Continuation US11323689B2 (en) 2018-02-06 2020-08-04 Image processing device, imaging device, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2019155981A1 true WO2019155981A1 (ja) 2019-08-15

Family

ID=67549614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003403 WO2019155981A1 (ja) 2018-02-06 2019-01-31 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11323689B2 (ja)
JP (1) JP7098342B2 (ja)
WO (1) WO2019155981A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011507B (zh) * 2023-09-04 2024-01-26 南京诺源医疗器械有限公司 一种2cmos图像识别数据分析方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526096A (ja) * 2011-07-21 2014-10-02 クォルコム・メムズ・テクノロジーズ・インコーポレーテッド タッチ感知ディスプレイデバイス及びそれに関連した方法
JP2015193280A (ja) * 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法
JP2017098929A (ja) * 2015-11-17 2017-06-01 キヤノン株式会社 画像処理装置および画像処理方法
JP2017184217A (ja) * 2016-03-24 2017-10-05 キヤノン株式会社 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
US7710461B2 (en) * 2004-12-21 2010-05-04 Sony Corporation Image processing device, image processing method, and image processing program
JP5230684B2 (ja) * 2010-05-13 2013-07-10 パナソニック株式会社 電子機器、表示方法、及びプログラム
JP2012114816A (ja) * 2010-11-26 2012-06-14 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013116138A (ja) * 2011-12-01 2013-06-13 Sony Corp 画像処理装置及び方法
WO2014050681A1 (ja) * 2012-09-26 2014-04-03 富士フイルム株式会社 画像処理装置、方法及びプログラム、プリンタ、表示装置
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN104049898A (zh) * 2014-06-26 2014-09-17 苏宁云商集团股份有限公司 触摸屏操作方法和装置以及触摸终端
WO2016038970A1 (ja) * 2014-09-08 2016-03-17 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
CN105898460A (zh) * 2015-12-10 2016-08-24 乐视网信息技术（北京）股份有限公司 调整智能电视的全景视频播放视角的方法和装置
US10524018B2 (en) * 2016-08-30 2019-12-31 Samsung Electronics Co., Ltd. Apparatus and method for displaying image
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
JP7154789B2 (ja) * 2018-03-27 2022-10-18 キヤノン株式会社 表示制御装置、その制御方法、プログラム及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526096A (ja) * 2011-07-21 2014-10-02 クォルコム・メムズ・テクノロジーズ・インコーポレーテッド タッチ感知ディスプレイデバイス及びそれに関連した方法
JP2015193280A (ja) * 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法
JP2017098929A (ja) * 2015-11-17 2017-06-01 キヤノン株式会社 画像処理装置および画像処理方法
JP2017184217A (ja) * 2016-03-24 2017-10-05 キヤノン株式会社 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Also Published As

Publication number Publication date
JP7098342B2 (ja) 2022-07-11
JP2019140439A (ja) 2019-08-22
US20200366882A1 (en) 2020-11-19
US11323689B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
EP2760209B1 (en) Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
JP6608148B2 (ja) 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
JP5421829B2 (ja) 撮像装置
WO2012133106A1 (ja) 撮像装置、撮像素子、画像処理方法、絞り制御方法、およびプログラム
US9535193B2 (en) Image processing apparatus, image processing method, and storage medium
JP5451894B2 (ja) 立体撮像装置およびシェーディング補正方法
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP6808333B2 (ja) 表示制御装置及び方法、及び撮像装置
WO2021054140A1 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
JP2013044806A (ja) 撮像装置
JP2016197177A (ja) 表示制御装置及びその制御方法、及び撮像装置
JP2017220724A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
WO2019155981A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2015215571A (ja) 撮像装置およびその制御方法
JP5786355B2 (ja) デフォーカス量検出装置および電子カメラ
JP6728020B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6648916B2 (ja) 撮像装置
JP6652294B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2017098929A (ja) 画像処理装置および画像処理方法
JP6467823B2 (ja) 撮像装置
JP6467824B2 (ja) 撮像装置
JP2018050245A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19750873

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19750873

Country of ref document: EP

Kind code of ref document: A1