WO2017170725A1 - 撮像装置、被写体検出装置、および電子機器 - Google Patents

撮像装置、被写体検出装置、および電子機器 Download PDF

Info

Publication number
WO2017170725A1
WO2017170725A1 PCT/JP2017/012982 JP2017012982W WO2017170725A1 WO 2017170725 A1 WO2017170725 A1 WO 2017170725A1 JP 2017012982 W JP2017012982 W JP 2017012982W WO 2017170725 A1 WO2017170725 A1 WO 2017170725A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image data
subject
area
unit
Prior art date
Application number
PCT/JP2017/012982
Other languages
English (en)
French (fr)
Inventor
敏之 神原
孝 塩野谷
直樹 關口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2018509358A priority Critical patent/JPWO2017170725A1/ja
Publication of WO2017170725A1 publication Critical patent/WO2017170725A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Definitions

  • the present invention relates to an imaging device, a subject detection device, and an electronic apparatus.
  • Patent Document 1 An imaging device equipped with a technique for detecting a subject using a signal from an imaging element is known (see Patent Document 1). Conventionally, it has been required to improve the accuracy of subject detection.
  • the imaging apparatus includes: an imaging unit having a first imaging area that is imaged under a first imaging condition; and a second imaging area that is imaged under a second imaging condition different from the first imaging condition; A detection unit configured to detect a subject imaged in the first imaging region based on image data of the subject imaged in the second imaging region.
  • the imaging device includes an imaging unit having a first imaging area that is imaged under a first imaging condition and a second imaging area that is imaged under a second imaging condition different from the first imaging condition; And a generation unit that generates a signal for detecting the subject imaged in the first imaging area based on the image data of the subject imaged in the second imaging area.
  • the subject detection device includes a first imaging area that is imaged under the first imaging condition, and a second imaging area that is imaged under a second imaging condition different from the first imaging condition.
  • An input unit that inputs image data of a subject, and a detection unit that detects a subject imaged in the first imaging region based on the image data of the subject imaged in the second imaging region.
  • the subject detection device includes a first imaging area that is imaged under the first imaging condition and an imaging unit that includes a second imaging area that is imaged under a second imaging condition different from the first imaging condition.
  • the electronic device includes: an imaging element having a plurality of imaging areas; a setting unit that sets different imaging conditions for the plurality of imaging areas; and the first imaging condition among the plurality of imaging areas.
  • a detection unit configured to detect a subject based on a signal obtained by correcting a part of the image signal of the subject in the imaging region as if it was captured according to the second imaging condition.
  • the electronic device includes: an imaging element having a plurality of imaging regions; and a setting unit that sets the first imaging region to an imaging condition different from the second imaging region among the plurality of imaging regions; A detection unit configured to detect the subject based on a signal obtained by correcting the image signal of the subject imaged in the first imaging area so as to be imaged according to the first imaging condition and the second imaging condition.
  • the electronic apparatus includes a first imaging region in which a plurality of first pixels are arranged and images the subject, and a second imaging region in which the plurality of second pixels are arranged and images the subject.
  • the imaging device Using the imaging device, a setting unit for setting the first imaging region to an imaging condition different from the imaging condition of the second imaging region, and a signal from the first pixel, the first pixel and the second pixel And a detection unit that detects a subject imaged in the first imaging region based on a signal from a pixel selected from the pixels.
  • the electronic device includes an imaging element having a first imaging region in which the first pixel and the second pixel are arranged, and a second imaging region in which the third pixel is arranged, and the first device.
  • a setting unit that sets the imaging region to an imaging condition different from the imaging condition of the second imaging region, and a correction unit that performs correction to smooth the signal from the second pixel with respect to the signal of the third pixel;
  • a detection unit that detects a subject imaged in the first imaging region using the signal of the first pixel and the signal of the second pixel corrected by the correction unit.
  • FIG. 7A is a diagram illustrating a predetermined range in the live view image
  • FIG. 7B is an enlarged view of the predetermined range.
  • FIG. 8 is a diagram illustrating image data corresponding to FIG. FIG.
  • FIG. 9A is a diagram illustrating a region of interest in the live view image
  • FIG. 9B is an enlarged view of the pixel of interest and the reference pixel Pr.
  • 10A is a diagram illustrating the arrangement of photoelectric conversion signals output from the pixels
  • FIG. 10B is a diagram illustrating interpolation of G color component image data
  • FIG. 10C is a diagram illustrating G after interpolation. It is a figure which illustrates the image data of a color component.
  • 11A is a diagram obtained by extracting R color component image data from FIG. 10A
  • FIG. 11B is a diagram illustrating interpolation of the color difference component Cr
  • FIG. 11C is an image of the color difference component Cr. It is a figure explaining the interpolation of data.
  • FIG. 12A is a diagram obtained by extracting B color component image data from FIG. 10A
  • FIG. 12B is a diagram illustrating interpolation of the color difference component Cb
  • FIG. 12C is an image of the color difference component Cb. It is a figure explaining the interpolation of data. It is a figure which illustrates the position of the pixel for focus detection in an imaging surface. It is the figure which expanded the one part area
  • FIG. 16A is a diagram illustrating a template image representing an object to be detected
  • FIG. 16B is a diagram illustrating a live view image and a search range. It is a flowchart explaining the flow of the process which sets an imaging condition for every area and images.
  • FIGS. 18A to 18C are diagrams illustrating the arrangement of the first imaging region and the second imaging region on the imaging surface of the imaging device.
  • FIG. 20 is a block diagram illustrating a configuration of an imaging system according to Modification 11. It is a figure explaining supply of the program to a mobile device. It is a block diagram which illustrates the composition of the camera by a 2nd embodiment. It is the figure which showed typically the correspondence of each block in 2nd Embodiment, and several correction
  • FIG. 29A is a diagram illustrating a predetermined range in the live view image
  • FIG. 29B is an enlarged view of the predetermined range
  • FIG. 30 is a diagram illustrating image data corresponding to FIG. It is an enlarged view of a boundary block.
  • a digital camera will be described as an example of an electronic device equipped with the image processing apparatus according to the first embodiment.
  • the camera 1 (FIG. 1) is configured to be able to capture images under different conditions for each region of the imaging surface of the image sensor 32a.
  • the image processing unit 33 performs appropriate processing in areas with different imaging conditions. Details of the camera 1 will be described with reference to the drawings.
  • FIG. 1 is a block diagram illustrating the configuration of the camera 1 according to the first embodiment.
  • the camera 1 includes an imaging optical system 31, an imaging unit 32, an image processing unit 33, a control unit 34, a display unit 35, an operation member 36, and a recording unit 37.
  • the imaging optical system 31 guides the light flux from the object scene to the imaging unit 32.
  • the imaging unit 32 includes an imaging element 32a and a driving unit 32b, and photoelectrically converts an object image formed by the imaging optical system 31.
  • the imaging unit 32 can capture images under the same conditions over the entire imaging surface of the imaging device 32a, or can perform imaging under different conditions for each region of the imaging surface of the imaging device 32a. Details of the imaging unit 32 will be described later.
  • the drive unit 32b generates a drive signal necessary for causing the image sensor 32a to perform accumulation control.
  • An imaging instruction such as a charge accumulation time for the imaging unit 32 is transmitted from the control unit 34 to the driving unit 32b.
  • the image processing unit 33 includes an input unit 33a, a correction unit 33b, and a generation unit 33c.
  • Image data acquired by the imaging unit 32 is input to the input unit 33a.
  • the correction unit 33b performs preprocessing for correcting the input image data. Details of the preprocessing will be described later.
  • the generation unit 33c performs image processing on the input image data and the preprocessed image data to generate an image.
  • Image processing includes, for example, color interpolation processing, pixel defect correction processing, edge enhancement processing, noise reduction processing, white balance adjustment processing, gamma correction processing, display luminance adjustment processing, saturation adjustment processing, and the like.
  • the generation unit 33 c generates an image to be displayed by the display unit 35.
  • the control unit 34 is constituted by a CPU, for example, and controls the overall operation of the camera 1. For example, the control unit 34 performs a predetermined exposure calculation based on the photoelectric conversion signal acquired by the imaging unit 32, the charge accumulation time (exposure time) of the imaging element 32a necessary for proper exposure, and the aperture of the imaging optical system 31.
  • the exposure conditions such as the value and ISO sensitivity are determined and instructed to the drive unit 32b.
  • image processing conditions for adjusting saturation, contrast, sharpness, and the like are determined and instructed to the image processing unit 33 according to the imaging scene mode set in the camera 1 and the type of the detected subject element. The detection of the subject element will be described later.
  • the control unit 34 includes an object detection unit 34a, a setting unit 34b, an imaging control unit 34c, and a lens movement control unit 34d. These are realized as software by the control unit 34 executing a program stored in a nonvolatile memory (not shown). However, these may be configured by an ASIC or the like.
  • the object detection unit 34a performs a known object recognition process, and from the image data acquired by the imaging unit 32, a person (person's face), an animal such as a dog or a cat (animal face), a plant, a bicycle, A subject element such as a vehicle, a vehicle such as a train, a building, a stationary object, a landscape such as a mountain or a cloud, or a predetermined specific object is detected.
  • the setting unit 34b divides the image data acquired by the imaging unit 32 into a plurality of regions including the subject element detected as described above.
  • the setting unit 34b further sets imaging conditions for a plurality of areas.
  • Imaging conditions include the exposure conditions (charge accumulation time, gain, ISO sensitivity, frame rate, etc.) and the image processing conditions (for example, white balance adjustment parameters, gamma correction curves, display brightness adjustment parameters, saturation adjustment parameters, etc.) ).
  • the same imaging conditions can be set for all of the plurality of areas, or different imaging conditions can be set for the plurality of areas.
  • the imaging control unit 34c controls the imaging unit 32 (imaging element 32a) and the image processing unit 33 by applying imaging conditions set for each region by the setting unit 34b. Thereby, it is possible to cause the imaging unit 32 to perform imaging under different exposure conditions for each of the plurality of regions, and for the image processing unit 33, images with different image processing conditions for each of the plurality of regions. Processing can be performed. Any number of pixels may be included in the region, for example, 1000 pixels or 1 pixel. Further, the number of pixels may be different between regions.
  • the lens movement control unit 34d controls an automatic focus adjustment (autofocus: AF) operation for focusing on a corresponding subject at a predetermined position (called a focus point) on the imaging screen.
  • autofocus AF
  • the lens movement control unit 34d is a drive signal for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result, for example, a signal for adjusting the subject image with the focus lens of the imaging optical system 31.
  • the lens movement control unit 34d functions as a moving unit that moves the focus lens of the imaging optical system 31 in the optical axis direction based on the calculation result.
  • the process performed by the lens movement control unit 34d for the AF operation is also referred to as a focus detection process. Details of the focus detection process will be described later.
  • the display unit 35 reproduces and displays the image generated by the image processing unit 33, the image processed image, the image read by the recording unit 37, and the like.
  • the display unit 35 also displays an operation menu screen, a setting screen for setting imaging conditions, and the like.
  • the operation member 36 is composed of various operation members such as a release button and a menu button.
  • the operation member 36 sends an operation signal corresponding to each operation to the control unit 34.
  • the operation member 36 includes a touch operation member provided on the display surface of the display unit 35.
  • the recording unit 37 records image data or the like on a recording medium including a memory card (not shown) in response to an instruction from the control unit 34.
  • the recording unit 37 reads image data recorded on the recording medium in response to an instruction from the control unit 34.
  • FIG. 2 is a cross-sectional view of the image sensor 100.
  • the imaging element 100 includes an imaging chip 111, a signal processing chip 112, and a memory chip 113.
  • the imaging chip 111 is stacked on the signal processing chip 112.
  • the signal processing chip 112 is stacked on the memory chip 113.
  • the imaging chip 111, the signal processing chip 112, the signal processing chip 112, and the memory chip 113 are electrically connected by a connection unit 109.
  • the connection unit 109 is, for example, a bump or an electrode.
  • the imaging chip 111 captures a light image from a subject and generates image data.
  • the imaging chip 111 outputs image data from the imaging chip 111 to the signal processing chip 112.
  • the signal processing chip 112 performs signal processing on the image data output from the imaging chip 111.
  • the memory chip 113 has a plurality of memories and stores image data.
  • the image sensor 100 may include an image pickup chip and a signal processing chip.
  • a storage unit for storing image data may be provided in the signal processing chip or may be provided separately from the imaging device 100. .
  • the incident light is incident mainly in the positive direction of the Z axis indicated by the white arrow.
  • the left direction of the paper orthogonal to the Z axis is the X axis plus direction
  • the front side of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.
  • the imaging chip 111 is, for example, a CMOS image sensor. Specifically, the imaging chip 111 is a backside illumination type CMOS image sensor.
  • the imaging chip 111 includes a microlens layer 101, a color filter layer 102, a passivation layer 103, a semiconductor layer 106, and a wiring layer 108.
  • the imaging chip 111 is arranged in the order of the microlens layer 101, the color filter layer 102, the passivation layer 103, the semiconductor layer 106, and the wiring layer 108 in the positive Z-axis direction.
  • the microlens layer 101 has a plurality of microlenses L.
  • the microlens L condenses incident light on the photoelectric conversion unit 104 described later.
  • the color filter layer 102 includes a plurality of color filters F.
  • the color filter layer 102 has a plurality of types of color filters F having different spectral characteristics.
  • the color filter layer 102 includes a first filter (R) having a spectral characteristic that mainly transmits red component light and a second filter (Gb, Gr) that has a spectral characteristic that mainly transmits green component light. ) And a third filter (B) having a spectral characteristic that mainly transmits blue component light.
  • the passivation layer 103 is made of a nitride film or an oxide film, and protects the semiconductor layer 106.
  • the semiconductor layer 106 includes a photoelectric conversion unit 104 and a readout circuit 105.
  • the semiconductor layer 106 includes a plurality of photoelectric conversion units 104 between a first surface 106a that is a light incident surface and a second surface 106b opposite to the first surface 106a.
  • the semiconductor layer 106 includes a plurality of photoelectric conversion units 104 arranged in the X-axis direction and the Y-axis direction.
  • the photoelectric conversion unit 104 has a photoelectric conversion function of converting light into electric charge. In addition, the photoelectric conversion unit 104 accumulates charges based on the photoelectric conversion signal.
  • the photoelectric conversion unit 104 is, for example, a photodiode.
  • the semiconductor layer 106 includes a readout circuit 105 on the second surface 106b side of the photoelectric conversion unit 104.
  • a plurality of readout circuits 105 are arranged in the X-axis direction and the Y-axis direction.
  • the readout circuit 105 includes a plurality of transistors, reads out image data generated by the electric charges photoelectrically converted by the photoelectric conversion unit 104, and outputs the image data to the wiring layer 108.
  • the wiring layer 108 has a plurality of metal layers.
  • the metal layer is, for example, an Al wiring, a Cu wiring, or the like.
  • the wiring layer 108 outputs the image data read by the reading circuit 105.
  • the image data is output from the wiring layer 108 to the signal processing chip 112 via the connection unit 109.
  • connection unit 109 may be provided for each photoelectric conversion unit 104. Further, the connection unit 109 may be provided for each of the plurality of photoelectric conversion units 104. When the connection unit 109 is provided for each of the plurality of photoelectric conversion units 104, the pitch of the connection units 109 may be larger than the pitch of the photoelectric conversion units 104. In addition, the connection unit 109 may be provided in a peripheral region of the region where the photoelectric conversion unit 104 is disposed.
  • the signal processing chip 112 has a plurality of signal processing circuits.
  • the signal processing circuit performs signal processing on the image data output from the imaging chip 111.
  • the signal processing circuit includes, for example, an amplifier circuit that amplifies the signal value of the image data, a correlated double sampling circuit that performs noise reduction processing of the image data, and analog / digital (A / D) conversion that converts the analog signal into a digital signal. Circuit etc.
  • a signal processing circuit may be provided for each photoelectric conversion unit 104.
  • a signal processing circuit may be provided for each of the plurality of photoelectric conversion units 104.
  • the signal processing chip 112 has a plurality of through electrodes 110.
  • the through electrode 110 is, for example, a silicon through electrode.
  • the through electrode 110 connects circuits (not shown) provided in the signal processing chip 112 to each other.
  • the through electrode 110 may also be provided in the peripheral region of the imaging chip 111 and the memory chip 113.
  • some elements constituting the signal processing circuit may be provided in the imaging chip 111.
  • a comparator that compares an input voltage with a reference voltage may be provided in the imaging chip 111, and circuits such as a counter circuit and a latch circuit may be provided in the signal processing chip 112.
  • the memory chip 113 has a plurality of storage units.
  • the storage unit stores image data that has been subjected to signal processing by the signal processing chip 112.
  • the storage unit is a volatile memory such as a DRAM, for example.
  • a storage unit may be provided for each photoelectric conversion unit 104.
  • the storage unit may be provided for each of the plurality of photoelectric conversion units 104.
  • the image data stored in the storage unit is output to the subsequent image processing unit.
  • FIG. 3 is a diagram for explaining the pixel array and the unit area 131 of the imaging chip 111.
  • a state where the imaging chip 111 is observed from the back surface (imaging surface) side is shown.
  • 20 million or more pixels are arranged in a matrix in the pixel region.
  • four adjacent pixels of 2 pixels ⁇ 2 pixels form one unit region 131.
  • the grid lines in the figure indicate the concept that adjacent pixels are grouped to form a unit region 131.
  • the number of pixels forming the unit region 131 is not limited to this, and may be about 1000, for example, 32 pixels ⁇ 32 pixels, more or less, or one pixel.
  • the unit area 131 in FIG. 3 includes a so-called Bayer array composed of four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R.
  • the green pixels Gb and Gr are pixels having a green filter as the color filter F, and receive light in the green wavelength band of incident light.
  • the blue pixel B is a pixel having a blue filter as the color filter F and receives light in the blue wavelength band
  • the red pixel R is a pixel having a red filter as the color filter F and having a red wavelength band. Receives light.
  • a plurality of blocks are defined so as to include at least one unit region 131 per block. That is, the minimum unit of one block is one unit area 131. As described above, of the possible values for the number of pixels forming one unit region 131, the smallest number of pixels is one pixel. Therefore, when one block is defined in units of pixels, the minimum number of pixels among the number of pixels that can define one block is one pixel.
  • Each block can control pixels included in each block with different control parameters. In each block, all the unit areas 131 in the block, that is, all the pixels in the block are controlled under the same imaging condition. That is, photoelectric conversion signals having different imaging conditions can be acquired between a pixel group included in a certain block and a pixel group included in another block.
  • control parameters examples include a frame rate, a gain, a thinning rate, the number of addition rows or addition columns to which photoelectric conversion signals are added, a charge accumulation time or accumulation count, a digitization bit number (word length), and the like.
  • the imaging device 100 can freely perform not only thinning in the row direction (X-axis direction of the imaging chip 111) but also thinning in the column direction (Y-axis direction of the imaging chip 111).
  • the control parameter may be a parameter in image processing.
  • FIG. 4 is a diagram for explaining a circuit in the unit region 131.
  • one unit region 131 is formed by four adjacent pixels of 2 pixels ⁇ 2 pixels.
  • the number of pixels included in the unit region 131 is not limited to this, and may be 1000 pixels or more, or may be a minimum of 1 pixel.
  • the two-dimensional position of the unit area 131 is indicated by reference signs A to D.
  • the reset transistor (RST) of the pixel included in the unit region 131 is configured to be turned on and off individually for each pixel.
  • a reset wiring 300 for turning on / off the reset transistor of the pixel A is provided, and a reset wiring 310 for turning on / off the reset transistor of the pixel B is provided separately from the reset wiring 300.
  • a reset line 320 for turning on and off the reset transistor of the pixel C is provided separately from the reset lines 300 and 310.
  • a dedicated reset wiring 330 for turning on and off the reset transistor is also provided for the other pixels D.
  • the pixel transfer transistor (TX) included in the unit region 131 is also configured to be turned on and off individually for each pixel.
  • a transfer wiring 302 for turning on / off the transfer transistor of the pixel A, a transfer wiring 312 for turning on / off the transfer transistor of the pixel B, and a transfer wiring 322 for turning on / off the transfer transistor of the pixel C are separately provided.
  • a dedicated transfer wiring 332 for turning on / off the transfer transistor is provided for the other pixels D.
  • the pixel selection transistor (SEL) included in the unit region 131 is also configured to be turned on and off individually for each pixel.
  • a selection wiring 306 for turning on / off the selection transistor of the pixel A, a selection wiring 316 for turning on / off the selection transistor of the pixel B, and a selection wiring 326 for turning on / off the selection transistor of the pixel C are separately provided.
  • a dedicated selection wiring 336 for turning on and off the selection transistor is provided for the other pixels D.
  • the power supply wiring 304 is commonly connected from the pixel A to the pixel D included in the unit region 131.
  • the output wiring 308 is commonly connected to the pixel D from the pixel A included in the unit region 131.
  • the power supply wiring 304 is commonly connected between a plurality of unit regions, but the output wiring 308 is provided for each unit region 131 individually.
  • the load current source 309 supplies current to the output wiring 308.
  • the load current source 309 may be provided on the imaging chip 111 side or may be provided on the signal processing chip 112 side.
  • the charge accumulation including the charge accumulation start time, the accumulation end time, and the transfer timing is controlled from the pixel A to the pixel D included in the unit region 131. can do.
  • the photoelectric conversion signals of the pixels A to D can be output via the common output wiring 308.
  • a so-called rolling shutter system in which charge accumulation is controlled in a regular order with respect to rows and columns for the pixels A to D included in the unit region 131.
  • photoelectric conversion signals are output in the order of “ABCD” in the example of FIG.
  • the charge accumulation time can be controlled for each unit region 131.
  • the unit area 131 included in another block is rested while the unit area 131 included in a part of the block is charged (imaged), so that a predetermined block of the imaging chip 111 can be used. Only the imaging can be performed, and the photoelectric conversion signal can be output.
  • a block accumulation control target block
  • charge accumulation imaging
  • the output wiring 308 is provided corresponding to each of the unit areas 131. Since the image pickup device 100 includes the image pickup chip 111, the signal processing chip 112, and the memory chip 113, each chip is arranged in the surface direction by using the electrical connection between the chips using the connection portion 109 for the output wiring 308. The wiring can be routed without increasing the size.
  • an imaging condition can be set for each of a plurality of blocks in the imaging device 32a.
  • the imaging control unit 34c of the control unit 34 causes the plurality of areas to correspond to the block and performs imaging under imaging conditions set for each area.
  • FIG. 5 is a diagram schematically showing an image of a subject formed on the image sensor 32a of the camera 1.
  • the camera 1 photoelectrically converts the subject image to obtain a live view image before an imaging instruction is given.
  • the live view image refers to a monitor image that is repeatedly imaged at a predetermined frame rate (for example, 60 fps).
  • the control unit 34 sets the same imaging condition over the entire area of the imaging chip 111 (that is, the entire imaging screen) before the setting unit 34b divides the area.
  • the same imaging condition refers to setting a common imaging condition for the entire imaging screen. For example, even if there is a variation in apex value of less than about 0.3, it is regarded as the same.
  • the imaging conditions set to be the same throughout the imaging chip 111 are determined based on the exposure conditions corresponding to the photometric value of the subject luminance or the exposure conditions manually set by the user.
  • an image including a person 61a, an automobile 62a, a bag 63a, a mountain 64a, and clouds 65a and 66a is formed on the imaging surface of the imaging chip 111.
  • the person 61a holds the bag 63a with both hands.
  • the automobile 62a stops at the right rear of the person 61a.
  • the control unit 34 divides the screen of the live view image into a plurality of regions as follows. First, a subject element is detected from the live view image by the object detection unit 34a. The subject element is detected using a known subject recognition technique. In the example of FIG. 5, the object detection unit 34a detects a person 61a, a car 62a, a bag 63a, a mountain 64a, a cloud 65a, and a cloud 66a as subject elements.
  • the setting unit 34b divides the live view image screen into regions including the subject elements.
  • the region including the person 61a is defined as the first region 61
  • the region including the automobile 62a is defined as the second region 62
  • the region including the bag 63a is defined as the third region 63
  • the region including the mountain 64a is defined as the fourth region.
  • the region 64, the region including the cloud 65a is referred to as a fifth region 65
  • the region including the cloud 66a is described as a sixth region 66.
  • the control unit 34 causes the display unit 35 to display a setting screen as illustrated in FIG. In FIG. 6, a live view image 60a is displayed, and an imaging condition setting screen 70 is displayed on the right side of the live view image 60a.
  • the setting screen 70 lists frame rate, shutter speed (TV), and gain (ISO) in order from the top as an example of setting items for imaging conditions.
  • the frame rate is the number of frames of a live view image acquired per second or a moving image recorded by the camera 1.
  • Gain is ISO sensitivity.
  • the setting items for the imaging conditions may be added as appropriate in addition to those illustrated in FIG. When all the setting items do not fit in the setting screen 70, other setting items may be displayed by scrolling the setting items up and down.
  • the control unit 34 sets the region selected by the user among the regions divided by the setting unit 34b as a target for setting (changing) the imaging condition. For example, in the camera 1 capable of touch operation, the user taps the display position of the main subject for which the imaging condition is to be set (changed) on the display surface of the display unit 35 on which the live view image 60a is displayed. For example, when the display position of the person 61a is tapped, the control unit 34 sets the first area 61 including the person 61a in the live view image 60a as an imaging condition setting (changing) target area and the first area 61. The outline is highlighted.
  • a first area 61 that displays an outline with emphasis is an area for setting (changing) imaging conditions.
  • the first area 61 is a target for setting (changing) the imaging condition.
  • the control unit 34 controls the shutter speed for the highlighted area (first area 61). Is displayed on the screen (reference numeral 68).
  • the camera 1 is described on the premise of a touch operation.
  • the imaging condition may be set (changed) by operating a button or the like constituting the operation member 36.
  • the setting unit 34b increases or decreases the shutter speed display 68 from the current setting value according to the tap operation.
  • the imaging unit 32 (FIG. 1) is instructed to change the imaging condition of the unit area 131 (FIG. 3) of the imaging element 32a corresponding to the displayed area (first area 61) according to the tap operation. send.
  • the decision icon 72 is an operation icon for confirming the set imaging condition.
  • the setting unit 34b performs the setting (change) of the frame rate and gain (ISO) in the same manner as the setting (change) of the shutter speed (TV).
  • the setting unit 34b has been described as setting the imaging condition based on the user's operation, the setting unit 34b is not limited to this.
  • the setting unit 34b may set the imaging condition based on the determination of the control unit 34 without being based on a user operation. For the area that is not highlighted (the area other than the first area 61), the set imaging conditions are maintained.
  • the control unit 34 displays the entire target area brightly, increases the contrast of the entire target area, or displays the entire target area. May be displayed blinking.
  • the target area may be surrounded by a frame.
  • the display of the frame surrounding the target area may be a double frame or a single frame, and the display mode such as the line type, color, and brightness of the surrounding frame may be appropriately changed.
  • the control unit 34 may display an indication of an area for which an imaging condition is set, such as an arrow, in the vicinity of the target area.
  • the control unit 34 may darkly display a region other than the target region for which the imaging condition is set (changed), or may display a low contrast other than the target region.
  • the control unit 34 is operated.
  • imaging is performed under the imaging conditions set for each of the divided areas.
  • the image processing unit 33 performs image processing on the image data acquired by the imaging unit 32. As described above, the image processing can be performed under different image processing conditions for each region.
  • the recording unit 37 that receives an instruction from the control unit 34 records the image data after the image processing on a recording medium including a memory card (not shown). Thereby, a series of imaging processes is completed.
  • the correction unit 33b of the image processing unit 33 performs the first correction process as one of the preprocessing performed before the image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions. Do as needed.
  • the imaging condition is set for the region selected by the user or the region determined by the control unit 34 ( Change).
  • the divided areas are first to sixth areas 61 to 66 (see FIG. 7A), and different first imaging conditions to sixth imaging for the first area 61 to the sixth area 66, respectively.
  • a condition shall be set.
  • the block is a minimum unit in which imaging conditions can be individually set in the imaging device 32a.
  • FIG. 7A is a diagram illustrating a predetermined range 80 including the boundary between the first region 61 and the fourth region 64 in the live view image 60a.
  • FIG. 7B is an enlarged view of the predetermined range 80 in FIG.
  • the predetermined range 80 includes a plurality of blocks 81 to 89.
  • blocks 81 and 84 for capturing a person are included in the first area 61
  • blocks 82, 85, and 87 for capturing a person and a mountain are also included in the first area 61.
  • the first imaging condition is set for the blocks 81, 82, 84, 85, and 87.
  • blocks 83, 86, 88, and 89 that image mountains are included in the fourth region 64.
  • the fourth imaging condition is set for the blocks 83, 86, 88 and 89.
  • the white background part in FIG. 7 (b) shows the part corresponding to the person. Also, the hatched portion in FIG. 7B shows a portion corresponding to a mountain.
  • the block 82, the block 85, and the block 87 include a boundary B1 between the first area 61 and the fourth area 64.
  • the shaded portion in FIG. 7 (b) indicates a portion corresponding to a mountain.
  • the block is the minimum unit for setting the imaging condition
  • the same imaging condition is set for one block.
  • the first imaging condition is set for the blocks 82, 85, and 87 including the boundary B1 between the first area 61 and the fourth area 64
  • the blocks 82, 85, and 87 The first imaging condition is also set in the hatched portion, that is, the portion corresponding to the mountain. That is, imaging conditions different from the fourth imaging conditions set in the blocks 83, 86, 88, and 89 for imaging mountains are set in the hatched portions in the blocks 82, 85, and 87.
  • the shaded portions of the block 82, the block 85, and the block 87 and the shaded portions of the blocks 83, 86, 88, and 89 may differ in image brightness, contrast, hue, and the like.
  • the image data corresponding to the hatched portion is whiteout or blackout.
  • the first imaging condition suitable for the person is not suitable for the shaded portion (that is, the mountain portion) of the block 85, and the image data corresponding to the shaded portion may be overexposed or blackout.
  • Overexposure means that the gradation of data in a high-luminance portion of an image is lost due to overexposure.
  • blackout means that the gradation of data in the low-luminance portion of the image is lost due to underexposure.
  • FIG. 8 is a diagram illustrating image data corresponding to FIG. 7B.
  • the blocks 81 to 89 are each composed of 4 pixels of 2 pixels ⁇ 2 pixels. Among these, it is assumed that black crushing occurs in the pixel 85b and the pixel 85d in the block 85 located in the center of FIG.
  • the correction unit 33b according to the present embodiment corrects an image by performing replacement processing that replaces image data in which whiteout or blackout has occurred in a block with image data of another block in the same imaging screen. This correction is referred to as a first correction process.
  • the correction unit 33b includes a boundary between regions based on a plurality of subject elements as in the block 85, and when there is a whiteout or blackout in the image data of this block 85, the whiteout or blackout
  • the first correction process is performed on all blocks in which crushing exists. Note that the first correction process is not required when no whiteout or blackout occurs.
  • the correction unit 33b performs a first correction process on the block of interest using a block including image data in which whiteout or blackout has occurred as a block of interest.
  • the target block is an area including image data in which overexposure or blackout occurs, but it may not be completely overexposed or blackout.
  • an area where the signal value is greater than or equal to the first threshold or an area where the signal value is less than or equal to the second threshold may be used as the block of interest.
  • eight blocks around the target block 85 included in a predetermined range 80 (for example, 3 ⁇ 3 blocks) centered on the predetermined target block 85 are set as reference blocks. That is, the blocks 81 to 84 and the blocks 86 to 89 around the predetermined target block 85 are reference blocks. Note that the number of blocks constituting the predetermined range 80 is not limited to the 3 ⁇ 3 block, and may be changed as appropriate.
  • the correction unit 33b corrects a partial area in the block of interest using image data acquired by one reference block. Specifically, the correction unit 33b corrects all of the image data in which whiteout or blackout has occurred using the image data acquired in one reference block. At this time, the area of the reference block is the same as that of the target block.
  • the embodiment of the treatment (1-1) for example, any one of the following (i) to (iv) is used.
  • the correcting unit 33b uses the image data acquired in one reference block closest to the whiteout or blacked out area of the reference blocks located around the target block to perform whiteout in the target block. Alternatively, image data in which black crushing has occurred is replaced. Even when there are a plurality of whiteout or blackout pixels in the target block, the same image data obtained by using the one reference block closest to the above-mentioned image data of the whiteout or blackout pixels Replace with. For example, among the reference blocks 81 to 84 and 86 to 89 around the block of interest 85, the image data corresponding to the pixels 86a to 86d included in the reference block 86 located closest to the black block pixel (pixels 85b and 85d). Based on this, the image data corresponding to the blackout pixel 85b and the image data corresponding to the blackout pixel 85d are replaced with the same data (for example, image data corresponding to the pixel 86c).
  • the correcting unit 33b sets the most image pickup for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among reference blocks located around the block of interest. Using the image data acquired in one reference block selected from the reference blocks of the condition (in this example, the fourth imaging condition), the image data in which the whiteout or blackout in the block of interest has occurred is the same data. Replace.
  • one reference block selected from the reference blocks 83, 86, 88 and 89 in which the fourth imaging condition is set for the mountain For example, based on the image data corresponding to the pixels 88a to 88d included in the reference block 88, the image data corresponding to the blackout pixel 85b and the image data corresponding to the blackout pixel 85d are the same data (for example, corresponding to the pixel 88b). Image data). As described above, the correcting unit 33b may replace the blackout pixel 85d with a part of pixels of the reference block.
  • the correction unit 33b includes, among the image data corresponding to the four pixels acquired by the one reference block selected in (i) or (ii) above, a whiteout or blackout pixel in the target block. A pixel with a short interval may be selected. Specifically, the correcting unit 33b determines whether the blackened pixel 85b is a pixel 86a having a short interval between the blacked-out pixel 85b and the blacked-out pixel 85b among the intervals between the blacked-out pixel 85b and the pixel 86a. Is replaced.
  • the interval is an interval between the centers of the blackout pixel 85b and the pixel 86a when the blackout pixel 85b and the pixel 86a are taken as an example. Further, the interval may be the interval between the centers of gravity of the blackout pixel 85b and the pixel 86a. Further, in the case where black crushing pixels are continuous (black crushing pixel 85b and black crushing pixel 86a), the center or the center of gravity of two black crushing pixels may be used. The same applies to 86a in the reference block.
  • the correcting unit 33b may replace image data in which whiteout or blackout has occurred using image data corresponding to adjacent pixels.
  • the correction unit 33b uses the same data (the pixel 86a of the reference block 86, or the image data corresponding to the blackout pixel 85d as the image data corresponding to the blackout pixel 85b).
  • the correction unit 33b uses the image data generated based on the image data corresponding to the four pixels acquired by one reference block selected in (i) or (ii) above, Image data in which whiteout or blackout has occurred may be replaced.
  • Image data in which whiteout or blackout has occurred may be replaced.
  • the correction unit 33b uses image data corresponding to the blackout pixel 85b and image data corresponding to the blackout pixel 85d based on a plurality of pixels in the reference block 88. Replacement is performed by data (for example, an average value of image data corresponding to the pixels 88a to 88d included in the reference block 88).
  • the average value of the image data when calculating the average value of the image data, it may be replaced with a weighted average value weighted according to the distance from the pixel where whiteout or blackout occurs instead of the simple average. For example, since the pixel 88b is closer to the blackout pixel 85d than the pixel 88d, the pixel 88b is weighted such that the contribution ratio of the image data corresponding to the pixel 88b is higher than the contribution ratio of the image data corresponding to the pixel 88d.
  • an intermediate value of the image data corresponding to the pixels 88a to 88d is calculated, and the blacked-out pixel 85b is calculated based on the intermediate value.
  • the image data corresponding to the pixel 85d may be replaced.
  • the correction unit 33b replaces all of the image data in which whiteout or blackout has occurred in the block of interest using image data acquired by a plurality of reference blocks.
  • a plurality of reference block candidates for replacing the blackout pixels (85b, 85d) are extracted.
  • the pixels in one block are used for replacement.
  • any one of the following (i) to (iv) is used.
  • the correction unit 33b uses the image data acquired from a plurality of reference blocks around a whiteout or blacked-out area among the reference blocks located around the target block, and performs whiteout in the target block.
  • the image data in which blackout has occurred is replaced with the same data.
  • the pixels 86a to 86d and 88a to 88d included in the two reference blocks 86 and 88 adjacent to the black block are replaced as follows based on the image data corresponding to.
  • the image data corresponding to the blackout pixel 85b and the image data corresponding to the blackout pixel 85d are replaced with the same data (for example, image data corresponding to the pixel 88b).
  • the areas of the blackout pixel 85b and the blackout pixel 85d that are replaced by the pixel 88b are smaller than the area of the reference block 88.
  • the correcting unit 33b sets the most image pickup for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among reference blocks located around the block of interest.
  • the image data acquired by a plurality of reference blocks selected from the reference block of the condition in this example, the fourth imaging condition
  • the image data in which the whiteout or blackout in the block of interest has occurred is the same data. Replace.
  • the reference blocks 81 to 84 and 86 to 89 around the block of interest 85 two reference blocks selected from the reference blocks 83, 86, 88 and 89 in which the fourth imaging condition is set for the mountain, For example, based on the image data corresponding to the pixels 86a to 86d and 88a to 88d included in the reference blocks 86 and 88, the image data corresponding to the black collapse pixel 85b and the image data corresponding to the black collapse pixel 85d are the same. Replacement is performed with data (for example, image data corresponding to the pixel 86c).
  • the correction unit 33b applies whiteout or blackout pixels in the target block among the image data corresponding to the plurality of pixels acquired by the plurality of reference blocks selected in (i) or (ii) above.
  • Image data in which whiteout or blackout has occurred may be replaced using image data corresponding to adjacent pixels.
  • the correction unit 33b uses the same data (the pixel 86a of the reference block 86) as the image data corresponding to the blackout pixel 85b and the image data corresponding to the blackout pixel 85d.
  • the pixel 86c or the image data corresponding to the pixel 86c or the pixel 88a of the reference block 88 is replaced.
  • the correction unit 33b uses the image data generated based on the image data corresponding to the plurality of pixels acquired by the plurality of reference blocks selected in (i) or (ii) above, Image data in which whiteout or blackout has occurred may be replaced.
  • the correction unit 33b includes the same data (the reference block 86 includes the image data corresponding to the blackout pixel 85b and the image data corresponding to the blackout pixel 85d).
  • the image data corresponding to the pixels 86a to 86d and the average value of the image data corresponding to the pixels 88a to 88d included in the reference block 88 are replaced.
  • the area of the pixels used for replacement is larger than the areas of the black-out pixels 85b and 85d.
  • the average value of the image data when calculating the average value of the image data, it may be replaced with a weighted average value weighted according to the distance from the pixel where whiteout or blackout occurs instead of the simple average. For example, since the pixel 86a is closer to the blackout pixel 85b than the pixel 86b, the pixel 86a is weighted so that the contribution ratio of the image data corresponding to the pixel 86a is higher than the contribution ratio of the image data corresponding to the pixel 86b.
  • an intermediate value of the image data corresponding to the pixels 86a to 86d and the pixels 88a to 88d. May be calculated, and the image data corresponding to the blackout pixel 85b and the pixel 85d may be replaced by this intermediate value.
  • the correction unit 33b replaces all of the image data in which whiteout or blackout has occurred in the target block, using the image data acquired in one reference block.
  • the embodiment of the treatment (2-1) for example, any one of the following (i) to (iii) is used.
  • the correcting unit 33b uses the image data corresponding to the pixels adjacent to the overexposure or underexposure pixel among the reference blocks located around the obstruction block, so that the overexposure or underexposure in the attention block is performed.
  • the generated plurality of image data is replaced with different data. For example, based on the image data corresponding to the pixels 86a to 86d included in the reference block 86 at a position adjacent to the black block (pixels 85b and 85d) among the reference blocks 81 to 84 and 86 to 89 around the target block 85.
  • the image data corresponding to the blackout pixel 85b is replaced with the image data of the pixel 86a of the adjacent reference block 86
  • the image data corresponding to the blackout pixel 85d is replaced with the image data of the pixel 86c of the adjacent reference block 86.
  • the correcting unit 33b sets the most image pickup for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among reference blocks located around the block of interest.
  • the image data acquired by one reference block selected from the reference blocks of the condition in this example, the fourth imaging condition
  • a plurality of image data in which the whiteout or blackout in the block of interest has occurred are different from each other. Replace with data.
  • the image data corresponding to the pixels 86a to 86d included in the reference block 86 is used for replacement as follows.
  • the image data corresponding to the black block pixel 85b is replaced with the image data of the pixel 86b of the reference block 86
  • the image data corresponding to the black block pixel 85d is replaced with the image data of the pixel 86d of the reference block 86.
  • the correcting unit 33b may perform replacement using image data generated based on image data corresponding to four pixels acquired by one reference block selected in (i) or (ii) above. .
  • the correction unit 33b determines the image data corresponding to the blackened pixel 85b in the target block by the average value of the image data corresponding to the pixels 86a and 86b included in the reference block 86.
  • the image data corresponding to the blackened pixel 85d in the target block is replaced with the average value of the image data corresponding to the pixels 86c and 86d included in the reference block 86.
  • the average value of the image data it may be replaced with a weighted average value weighted according to the distance from the pixel where whiteout or blackout occurs instead of the simple average. For example, since the image data corresponding to the pixel 86a is closer to the image data corresponding to the blackened pixel 85b than the image data corresponding to the pixel 86b, the contribution ratio of the image data corresponding to the pixel 86a is the image corresponding to the pixel 86b. Give a higher weight than the data contribution rate.
  • the correction unit 33b uses the image data acquired by the plurality of reference blocks to replace all of the image data in which the whiteout or blackout has occurred in the target block.
  • the mode of the treatment (2-2) for example, any of the following modes (i) to (iii) is used.
  • the correction unit 33b uses the image data acquired from a plurality of reference blocks around a whiteout or blacked-out area among the reference blocks located around the target block, and performs whiteout in the target block.
  • the plurality of pieces of image data in which black crushing has occurred is replaced with different data.
  • the pixels 86a to 86d and 88a to 88d included in the two reference blocks 86 and 88 adjacent to the black block are replaced as follows based on the image data corresponding to.
  • the image data corresponding to the blackout pixel 85b is replaced with the image data of the pixel 86a of the adjacent reference block 86, and the image data corresponding to the blackout pixel 85d is replaced with the image data of the pixel 88b of the adjacent reference block 88. To do.
  • the correcting unit 33b sets the most image pickup for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among reference blocks located around the block of interest.
  • the image data acquired by a plurality of reference blocks selected from the reference block of the condition (the fourth imaging condition in this example)
  • the plurality of image data in which the whiteout or blackout in the block of interest has occurred are different from each other. Replace with data.
  • the following replacement is performed based on the image data corresponding to the pixels 86a to 86d and 88a to 88d included in the reference blocks 86 and 88.
  • the image data corresponding to the blackout pixel 85b is replaced with the image data of the pixel 86a of the reference block 86
  • the image data corresponding to the blackout pixel 85d is replaced with the image data of the pixel 88b of the reference block 88.
  • the correction unit 33b may perform replacement using image data generated based on image data corresponding to a plurality of pixels acquired by a plurality of reference blocks selected in (i) or (ii) above. .
  • the correction unit 33b replaces the image data corresponding to the blacked out pixels 85b and the blacked out pixels 85d in the block of interest as follows. That is, the image data corresponding to the blackout pixel 85b is replaced with the average value of the image data corresponding to the pixels 86a to 86d included in the reference block 86. In addition, the image data corresponding to the blackout pixel 85d is replaced with the average value of the image data corresponding to the pixels 88a to 88d included in the reference block 88.
  • the average value of the image data it may be replaced with a weighted average value weighted according to the distance from the pixel where whiteout or blackout occurs instead of the simple average. For example, since the image data corresponding to the pixel 86a is closer to the image data corresponding to the blackened pixel 85b than the image data corresponding to the pixel 86b, the contribution ratio of the image data corresponding to the pixel 86a is the image corresponding to the pixel 86b. Give a higher weight than the data contribution rate.
  • an intermediate value of the image data corresponding to the pixels 86a to 86d and the pixels 88a to 88d. May be calculated, and the image data corresponding to the blackout pixel 85b and the pixel 85d may be replaced by this intermediate value.
  • control unit 34 may determine which mode of the first correction processing is to be performed based on, for example, a setting state (including an operation menu setting) by the operation member 36. Note that the control unit 34 may determine which aspect of the first correction processing is performed depending on the imaging scene mode set in the camera 1 and the type of the detected subject element.
  • the correction unit 33b of the image processing unit 33 further performs the following second correction processing as necessary before image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions, as necessary. Do. Note that the correction unit 33b performs the second correction process after replacing the overexposed or blackened pixels as described above. Note that the image data at the position of the blackout pixel 85b (or 85d) replaced by another pixel is assumed to have been imaged under the imaging conditions for imaging the replaced pixel (for example, 86a), and the following second correction processing is performed. Can be done.
  • the imaging conditions of the values (average value, intermediate value) between the imaging conditions of each block may be handled.
  • the image was captured with ISO sensitivity 800 between ISO sensitivity 100 and ISO sensitivity 1600. It may be handled as data. 1.
  • the correction unit 33b of the image processing unit 33 uses a predetermined image processing for image data acquired by applying different imaging conditions between the divided regions. A second correction process is performed on the positioned image data as a preprocess of the image process.
  • the predetermined image processing is processing for calculating image data of a target position to be processed in an image with reference to image data at a plurality of reference positions around the target position. For example, pixel defect correction processing, color interpolation Processing, contour enhancement processing, noise reduction processing, and the like are applicable.
  • the second correction process is performed to alleviate the discontinuity that occurs in the image after image processing due to the difference in imaging conditions between the divided areas.
  • image data in which the same imaging condition as the image data of the target position is applied to the plurality of reference positions around the target position, and the image of the target position Data and image data to which different imaging conditions are applied may be mixed.
  • the second is to suppress the difference between the image data due to the difference in the imaging conditions. Based on the idea that it is preferable to calculate the image data of the target position with reference to the image data of the reference position subjected to the correction process, the second correction process is performed as follows.
  • FIG. 9A is an enlarged view of a region of interest 90 at the boundary between the first region 61 and the fourth region 64 in the live view image 60a of FIG.
  • the image data from the pixels on the image sensor 32a corresponding to the first area 61 for which the first image capturing condition is set is shown in white, and the image data on the image sensor 32a corresponding to the fourth area 64 for which the fourth image capturing condition is set.
  • the image data from the pixel is shaded.
  • the image data from the target pixel P is located on the first region 61 and in the vicinity of the boundary 91 between the first region 61 and the fourth region 64, that is, the boundary portion.
  • FIG. 9B is an enlarged view of the target pixel P and the reference pixels Pr1 to Pr8.
  • the position of the target pixel P is the target position, and the positions of the reference pixels Pr1 to Pr8 surrounding the target pixel P are reference positions.
  • the first imaging condition is set for the reference pixels Pr1 to Pr6 and the target pixel P corresponding to the first area 61, and the fourth imaging condition is set for the reference pixels Pr7 and Pr8 corresponding to the fourth area 64.
  • the reference symbol Pr is given when the reference pixels Pr1 to Pr8 are collectively referred to.
  • the generation unit 33c of the image processing unit 33 normally performs image processing by directly referring to the image data of the reference pixel Pr without performing the second correction processing.
  • the imaging condition applied to the target pixel P (referred to as the first imaging condition) is different from the imaging condition applied to the reference pixels Pr around the target pixel P (referred to as the fourth imaging condition).
  • the correction unit 33b performs the second correction process on the image data of the fourth imaging condition in the image data of the reference pixel Pr as in the following (Example 1) to (Example 3). Then, the generation unit 33c performs image processing for calculating image data of the target pixel P with reference to the image data of the reference pixel Pr after the second correction processing.
  • the correction unit 33b of the image processing unit 33 differs only in ISO sensitivity between the first imaging condition and the fourth imaging condition, the ISO sensitivity of the first imaging condition is 100, and the ISO sensitivity of the fourth imaging condition is In the case of 800, 100/800 is applied as the second correction processing to the image data of the reference pixels Pr7 and Pr8 of the fourth imaging condition in the image data of the reference pixel Pr.
  • 100/800 is applied as the second correction processing to the image data of the reference pixels Pr7 and Pr8 of the fourth imaging condition in the image data of the reference pixel Pr.
  • the difference between the image data due to the difference in the imaging conditions is reduced.
  • the amount of incident light on the target pixel P and the amount of incident light on the reference pixel Pr are the same, the difference in image data is reduced, but the amount of incident light on the target pixel P and the amount of incident light on the reference pixel Pr are originally different. If they are different, the difference in the image data may not be reduced. The same applies to the examples described later.
  • the correction unit 33b of the image processing unit 33 differs only in the shutter speed between the first imaging condition and the fourth imaging condition, and the shutter speed of the first imaging condition is 1/1000 second.
  • the correction unit 33b of the image processing unit 33 differs only in the frame rate between the first imaging condition and the fourth imaging condition (the charge accumulation time is the same), and the first imaging condition has a frame rate of 30 fps.
  • the frame rate of the four imaging conditions is 60 fps
  • Employing image data of a close frame image is a second correction process. Thereby, the difference between the image data due to the difference in the imaging conditions is reduced.
  • interpolation calculation is performed on the frame image acquired under the first imaging condition (30 fps) and the frame image whose acquisition start timing is close. This may be the second correction process.
  • the correction unit 33b of the image processing unit 33 captures the imaging condition (first imaging condition) applied to the pixel of interest P and the imaging condition (first imaging condition) applied to all the reference pixels Pr around the pixel of interest P. 4 imaging conditions) is the same, the second correction process is not performed on the image data of the reference pixel Pr. That is, the generation unit 33c performs image processing for calculating the image data of the target pixel P by referring to the image data of the reference pixel Pr as it is. As described above, even if there are some differences in the imaging conditions, the imaging conditions are regarded as the same.
  • the pixel defect correction process is one of image processes performed during imaging.
  • the image pickup element 32a which is a solid-state image pickup element, may produce pixel defects in the manufacturing process or after manufacturing, and output abnormal level image data. Therefore, the generation unit 33c of the image processing unit 33 corrects the image data output from the pixel in which the pixel defect has occurred, thereby making the image data in the pixel position in which the pixel defect has occurred inconspicuous.
  • the generation unit 33c of the image processing unit 33 uses, for example, a pixel at the position of a pixel defect recorded in advance in a non-illustrated nonvolatile memory in an image of one frame as a target pixel P (processing target pixel), Pixels around the pixel of interest P (eight pixels in this example) included in the central region of interest 90 (for example, 3 ⁇ 3 pixels) are set as reference pixels Pr.
  • the generation unit 33c of the image processing unit 33 calculates the maximum value and the minimum value of the image data in the reference pixel Pr. When the image data output from the target pixel P exceeds the maximum value or the minimum value, the generation unit 33c starts from the target pixel P. Max and Min filter processing is performed to replace the output image data with the maximum value or the minimum value. Such a process is performed for all pixel defects whose position information is recorded in a non-volatile memory (not shown).
  • the correction unit 33b of the image processing unit 33 includes the reference pixel Pr when the pixel to which the fourth imaging condition different from the first imaging condition applied to the target pixel P is included is included in the reference pixel Pr.
  • the second correction process is performed on the image data to which the four imaging conditions are applied.
  • the generation unit 33c of the image processing unit 33 performs the Max and Min filter processing described above.
  • color interpolation processing is one of image processing performed at the time of imaging. As illustrated in FIG. 3, in the imaging chip 111 of the imaging device 100, green pixels Gb and Gr, a blue pixel B, and a red pixel R are arranged in a Bayer array. Since the generation unit 33c of the image processing unit 33 lacks image data having a color component different from the color component of the color filter F arranged at each pixel position, the insufficient color component with reference to the image data at the surrounding pixel positions. The color interpolation processing for generating the image data is performed.
  • FIG. 10A is a diagram illustrating the arrangement of image data output from the image sensor 32a. Corresponding to each pixel position, it has one of R, G, and B color components according to the rules of the Bayer array.
  • G color interpolation> First, general G color interpolation will be described.
  • the generation unit 33c of the image processing unit 33 that performs the G color interpolation refers to the image data of the four G color components at the reference positions around the target position, with the positions of the R color component and the B color component in turn as the target position.
  • the G color component image data at the target position is generated. For example, the G color component at the target position indicated by the thick frame in FIG.
  • the generation unit 33c of the image processing unit 33 uses, for example, (aG1 + bG2 + cG3 + dG4) / 4 as the G color component image data at the target position (second row, second column).
  • a to d are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the fourth imaging condition is applied to the right and lower regions with respect to the thick line. It shall be.
  • the first imaging condition and the fourth imaging condition are different.
  • the G color component image data G1 to G4 in FIG. 10B are reference positions for image processing of the pixel at the target position (second row and second column).
  • the first imaging condition is applied to the target position (second row, second column).
  • the first imaging condition is applied to the image data G1 to G3.
  • the fourth imaging condition is applied to the image data G4. Therefore, the correction unit 33b of the image processing unit 33 performs the second correction process on the image data G4.
  • the generation unit 33c of the image processing unit 33 calculates the image data of the G color component at the target position (second row and second column).
  • the generation unit 33c of the image processing unit 33 generates image data of the G color component at the position of the B color component and the position of the R color component in FIG. 10A, as shown in FIG. 10C.
  • the image data of the G color component can be obtained at each pixel position.
  • FIG. 11A is a diagram obtained by extracting R color component image data from FIG.
  • the generation unit 33c of the image processing unit 33 uses the color difference component shown in FIG. 11B based on the G color component image data shown in FIG. 10C and the R color component image data shown in FIG. Cr image data is calculated.
  • the generation unit 33c of the image processing unit 33 generates the image data of the color difference component Cr at the target position indicated by the thick frame (second row and second column) in FIG. 11B, for example. Reference is made to the image data Cr1 to Cr4 of the four color difference components located in the vicinity of the (column).
  • the generation unit 33c of the image processing unit 33 sets, for example, (eCr1 + fCr2 + gCr3 + hCr4) / 4 as image data of the color difference component Cr at the target position (second row and second column). Note that e to h are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the generation unit 33c of the image processing unit 33 generates the image data of the color difference component Cr at the target position indicated by the thick frame (second row and third column) in FIG. Reference is made to the image data Cr2, Cr4 to Cr6 of the four color difference components located in the vicinity of the third row).
  • the generation unit 33c of the image processing unit 33 sets, for example, (qCr2 + rCr4 + sCr5 + tCr6) / 4 as image data of the color difference component Cr at the target position (second row, third column).
  • q to t are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • image data of the color difference component Cr is generated for each pixel position.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the fourth imaging condition is applied to the right and lower regions with respect to the thick line. It shall be applied.
  • the first imaging condition and the fourth imaging condition are different.
  • the position indicated by the thick frame (second row, second column) is the target position of the color difference component Cr.
  • the color difference component image data Cr1 to Cr4 in FIG. 11B are reference positions for image processing of the pixel at the target position (second row and second column).
  • the first imaging condition is applied to the target position (second row, second column).
  • the first imaging condition is applied to the image data Cr1, Cr3, and Cr4.
  • the fourth imaging condition is applied to the image data Cr2. Therefore, the correction unit 33b of the image processing unit 33 performs the second correction process on the image data Cr2. Thereafter, the generation unit 33c of the image processing unit 33 calculates the image data of the color difference component Cr at the position of interest (second row and second column).
  • the position indicated by the thick frame (second row, third column) is the target position of the color difference component Cr.
  • 11C are reference positions for image processing of the pixel at the target position (second row and third column).
  • the fourth imaging condition is applied to the target position (second row, third column).
  • the first imaging condition is applied to the image data Cr4 and Cr5.
  • the fourth imaging condition is applied to the image data Cr2 and Cr6. Therefore, the correction unit 33b of the image processing unit 33 performs the second correction process on the image data Cr4 and Cr5, respectively.
  • the generation unit 33c of the image processing unit 33 calculates the image data of the color difference component Cr at the position of interest (second row and third column).
  • the generation unit 33c of the image processing unit 33 obtains the image data of the color difference component Cr at each pixel position, and then adds the image data of the G color component shown in FIG. 10 (c) corresponding to each pixel position.
  • the image data of the R color component can be obtained at each pixel position.
  • FIG. 12A is a diagram in which image data of the B color component is extracted from FIG.
  • the generation unit 33c of the image processing unit 33 uses the color difference component shown in FIG. 12B based on the G color component image data shown in FIG. 10C and the B color component image data shown in FIG. Cb image data is calculated.
  • the generation unit 33c of the image processing unit 33 uses, for example, (uCb1 + vCb2 + wCb3 + xCb4) / 4 as the image data of the color difference component Cb at the target position (third row, third column).
  • u to x are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the generation unit 33c of the image processing unit 33 generates the image data of the color difference component Cb at the target position indicated by the thick frame (third row and fourth column) in FIG. Reference is made to the image data Cb2, Cb4 to Cb6 of the four color difference components located in the vicinity of the fourth row).
  • the generation unit 33c of the image processing unit 33 uses, for example, (yCb2 + zCb4 + ⁇ Cb5 + ⁇ Cb6) / 4 as the image data of the color difference component Cb at the target position (third row, fourth column).
  • y, z, ⁇ , and ⁇ are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • image data of the color difference component Cb is generated for each pixel position.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the fourth imaging condition is applied to the right and lower regions with respect to the thick line. It shall be applied.
  • the first imaging condition and the fourth imaging condition are different.
  • the position indicated by the thick frame is the target position of the color difference component Cb.
  • the color difference component image data Cb1 to Cb4 in FIG. 12B is a reference position for image processing of the pixel at the target position (third row, third column).
  • the fourth imaging condition is applied to the position of interest (third row, third column).
  • the first imaging condition is applied to the image data Cb1 and Cb3.
  • the fourth imaging condition is applied to the image data Cb2 and Cb4. Therefore, the correction unit 33b of the image processing unit 33 performs the second correction process on the data Cb1 and Cb3, respectively.
  • the generation unit 33c of the image processing unit 33 calculates the image data of the color difference component Cb at the target position (third row, third column).
  • the position indicated by the thick frame (third row, fourth column) is the target position of the color difference component Cb.
  • the fourth imaging condition is applied to the target position (third row, fourth column). Further, the fourth imaging condition is applied to the image data Cb2, Cb4 to Cb6 at all reference positions. Therefore, the generation unit 33c of the image processing unit 33 refers to the image data Cb2 and Cb4 to Cb6 at the reference position that has not been subjected to the second correction process by the correction unit 33b of the image processing unit 33, and the target position (three rows). The image data of the color difference component Cb in the (fourth column) is calculated.
  • the generation unit 33c of the image processing unit 33 obtains the image data of the color difference component Cb at each pixel position, and then adds the image data of the G color component shown in FIG. 10C corresponding to each pixel position.
  • the image data of the B color component can be obtained at each pixel position.
  • G color interpolation for example, when generating G color component image data at the target position indicated by the thick frame (second row, second column) in FIG.
  • the four G color component image data G1 to G4 are referred to, but the number of G color component image data to be referred to may be changed depending on the image structure.
  • the correction unit 33b performs the first correction process, the second correction process, and the interpolation process, thereby generating an image by correcting the black collapse even when the black collapse pixels 85b and 85d are generated. can do.
  • the generation unit 33c of the image processing unit 33 performs, for example, a known linear filter calculation using a kernel of a predetermined size centered on the pixel of interest P (processing target pixel) in an image of one frame.
  • the kernel size of the sharpening filter which is an example of the linear filter is N ⁇ N pixels
  • the position of the target pixel P is the target position
  • the positions of (N 2 ⁇ 1) reference pixels Pr surrounding the target pixel P are Reference position.
  • the kernel size may be N ⁇ M pixels.
  • the generation unit 33c of the image processing unit 33 performs a filter process for replacing the image data in the target pixel P with a linear filter calculation result on each horizontal line, for example, from the upper horizontal line to the lower horizontal line of the frame image. This is done while shifting the pixels from left to right.
  • the correction unit 33b of the image processing unit 33 includes the reference pixel Pr when the pixel to which the fourth imaging condition different from the first imaging condition applied to the target pixel P is included is included in the reference pixel Pr.
  • the second correction process is performed on the image data to which the four imaging conditions are applied.
  • the generation unit 33c of the image processing unit 33 performs the linear filter processing described above.
  • the generation unit 33c of the image processing unit 33 performs, for example, a known linear filter calculation using a kernel of a predetermined size centered on the pixel of interest P (processing target pixel) in an image of one frame.
  • the kernel size of the smoothing filter which is an example of the linear filter is N ⁇ N pixels
  • the position of the target pixel P is the target position
  • the positions of the (N 2 ⁇ 1) reference pixels Pr surrounding the target pixel P are Reference position.
  • the kernel size may be N ⁇ M pixels.
  • the generation unit 33c of the image processing unit 33 performs a filter process for replacing the image data in the target pixel P with a linear filter calculation result on each horizontal line, for example, from the upper horizontal line to the lower horizontal line of the frame image. This is done while shifting the pixels from left to right.
  • the correction unit 33b of the image processing unit 33 includes the reference pixel Pr when the pixel to which the fourth imaging condition different from the first imaging condition applied to the target pixel P is included is included in the reference pixel Pr.
  • the second correction process is performed on the image data to which the four imaging conditions are applied.
  • the generation unit 33c of the image processing unit 33 performs the linear filter processing described above.
  • the first correction processing pixels in which whiteout or blackout has occurred are replaced with image data of pixels of other blocks, but only for focus adjustment In this case, a signal from the focus detection pixel in which whiteout or blackout has occurred may be replaced with a signal from another focus detection pixel.
  • the method of replacing with other focus detection signals is the same as the method of replacing image data of pixels in which whiteout or blackout has occurred, and therefore details are omitted.
  • the image data replaced by the first correction process may be used.
  • the lens movement control unit 34d of the control unit 34 performs focus detection processing using signal data (image data) corresponding to a predetermined position (focus point) on the imaging screen.
  • the lens movement control unit 34d of the control unit 34 sets focus detection of at least one region when different imaging conditions are set for the divided regions and the focus point of the AF operation is located at the boundary portion of the divided regions.
  • the second correction process is performed as a pre-process for the focus detection process on the signal data.
  • the second correction process is performed in order to suppress a decrease in the accuracy of the focus detection process due to a difference in imaging conditions between areas of the imaging screen divided by the setting unit 34b.
  • the focus point focus detection signal data for detecting the image shift amount (phase difference) in the image is located at the boundary of the divided area, different imaging conditions are applied to the focus detection signal data.
  • Signal data may be mixed.
  • the second correction is performed so as to suppress the difference between the signal data due to the difference in the imaging conditions, rather than detecting the image shift amount (phase difference) using the signal data to which the different imaging conditions are applied as it is. Based on the idea that it is preferable to detect the amount of image shift (phase difference) using the processed signal data, the second correction process is performed as follows.
  • the lens movement control unit 34 d (generation unit) of the control unit 34 detects image shift amounts (phase differences) of a plurality of subject images due to light beams that have passed through different pupil regions of the imaging optical system 31, whereby the imaging optical system 31.
  • the defocus amount of is calculated.
  • the lens movement control unit 34d of the control unit 34 adjusts the focus of the imaging optical system 31 by moving the focus lens of the imaging optical system 31 to a position where the defocus amount is zero (allowable value or less), that is, a focus position. To do.
  • FIG. 13 is a diagram illustrating the position of the focus detection pixel on the imaging surface of the imaging device 32a.
  • focus detection pixels are discretely arranged along the X-axis direction (horizontal direction) of the imaging chip 111.
  • fifteen focus detection pixel lines 160 are provided at predetermined intervals.
  • the focus detection pixels constituting the focus detection pixel line 160 output a photoelectric conversion signal for focus detection.
  • normal imaging pixels are provided at pixel positions other than the focus detection pixel line 160.
  • the imaging pixel outputs a live view image or a photoelectric conversion signal for recording.
  • FIG. 14 is an enlarged view of a part of the focus detection pixel line 160 corresponding to the focus point 80A shown in FIG.
  • a red pixel R, a green pixel G (Gb, Gr), and a blue pixel B, a focus detection pixel S1, and a focus detection pixel S2 are illustrated.
  • the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B are arranged according to the rules of the Bayer arrangement described above.
  • the square area illustrated for the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B indicates the light receiving area of the imaging pixel.
  • Each imaging pixel receives a light beam passing through the exit pupil of the imaging optical system 31 (FIG. 1). That is, the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B each have a square-shaped mask opening, and light passing through these mask openings reaches the light-receiving portion of the imaging pixel. .
  • the shapes of the light receiving regions (mask openings) of the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B are not limited to a quadrangle, and may be, for example, a circle.
  • the semicircular region exemplified for the focus detection pixel S1 and the focus detection pixel S2 indicates a light receiving region of the focus detection pixel. That is, the focus detection pixel S1 has a semicircular mask opening on the left side of the pixel position in FIG. 14, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S1. On the other hand, the focus detection pixel S2 has a semicircular mask opening on the right side of the pixel position in FIG. 14, and light passing through the mask opening reaches the light receiving portion of the focus detection pixel S2. As described above, the focus detection pixel S1 and the focus detection pixel S2 respectively receive a pair of light beams passing through different areas of the exit pupil of the imaging optical system 31 (FIG. 1).
  • the position of the focus detection pixel line 160 in the imaging chip 111 is not limited to the position illustrated in FIG. Further, the number of focus detection pixel lines 160 is not limited to the example of FIG. Further, the shape of the mask opening in the focus detection pixel S1 and the focus detection pixel S2 is not limited to a semicircular shape. For example, a rectangular light receiving region (mask opening) in the imaging pixel R, the imaging pixel G, and the imaging pixel B is used. Part) may be a rectangular shape divided in the horizontal direction.
  • the focus detection pixel line 160 in the imaging chip 111 may be a line in which focus detection pixels are arranged along the Y-axis direction (vertical direction) of the imaging chip 111.
  • An imaging device in which imaging pixels and focus detection pixels are two-dimensionally arranged as shown in FIG. 14 is known, and detailed illustration and description of these pixels are omitted.
  • the focus detection pixels S ⁇ b> 1 and S ⁇ b> 2 each receive one of a pair of focus detection light beams, the so-called 1PD structure.
  • the focus detection pixels may be configured to receive both of a pair of light beams for focus detection, that is, a so-called 2PD structure.
  • the photoelectric conversion signal obtained by the focus detection pixel can be used as a recording photoelectric conversion signal.
  • the lens movement control unit 34d of the control unit 34 passes through different regions of the imaging optical system 31 (FIG. 1) based on the focus detection photoelectric conversion signals output from the focus detection pixel S1 and the focus detection pixel S2. An image shift amount (phase difference) between the pair of images by the pair of light beams is detected. Then, the defocus amount is calculated based on the image shift amount (phase difference).
  • Such defocus amount calculation by the pupil division phase difference method is well known in the field of cameras, and thus detailed description thereof is omitted.
  • the focus point 80A (FIG. 13) is selected by the user at a position corresponding to the attention area 90 at the boundary between the first area 61 and the fourth area 64 in the live view image 60a illustrated in FIG. It shall be.
  • FIG. 15 is an enlarged view of the focus point 80A.
  • a white background pixel indicates that the first imaging condition is set, and a shaded pixel indicates that the fourth imaging condition is set.
  • the position surrounded by the frame 170 corresponds to the focus detection pixel line 160 (FIG. 13).
  • the lens movement control unit 34d of the control unit 34 normally performs the focus detection process using the signal data from the focus detection pixels indicated by the frame 170 without performing the second correction process.
  • the lens movement control unit 34d of the control unit 34 The second correction process is performed on the signal data of the fourth imaging condition among the signal data surrounded by 170 as in the following (Example 1) to (Example 3).
  • the lens movement control unit 34d of the control unit 34 performs focus detection processing using the signal data after the second correction processing.
  • the lens movement control unit 34d of the control unit 34 differs only in ISO sensitivity between the first imaging condition and the fourth imaging condition, the ISO sensitivity of the first imaging condition is 100, and the ISO sensitivity of the fourth imaging condition. Is 800/100, the signal data of the fourth imaging condition is multiplied by 100/800 as the second correction process. Thereby, the difference between the signal data due to the difference in the imaging conditions is reduced.
  • the difference in the signal data is reduced, but the first imaging condition is originally When the amount of incident light on the applied pixel and the amount of incident light on the pixel to which the fourth imaging condition is applied are different, the difference in signal data may not be reduced. The same applies to the examples described later.
  • the lens movement control unit 34d of the control unit 34 differs only in the shutter speed between the first imaging condition and the fourth imaging condition, and the shutter speed of the first imaging condition is 1/1000 second.
  • the shutter speed is 1/100 second
  • the lens movement control unit 34d of the control unit 34 differs only in the frame rate (the charge accumulation time is the same) between the first imaging condition and the fourth imaging condition, and the frame rate of the first imaging condition is 30 fps.
  • the frame rate of the fourth imaging condition is 60 fps
  • the signal data of the frame image acquired at the first imaging condition (30 fps) and the frame image whose acquisition start timing is close are used for the signal data of the fourth imaging condition (60 fps).
  • This is the second correction process. Thereby, the difference between the signal data due to the difference in the imaging conditions is reduced.
  • interpolation calculation is performed on the signal data of the frame image acquired under the first imaging condition (30 fps) and the acquisition start timing is similar. This may be the second correction process.
  • the lens movement control unit 34d of the control unit 34 does not perform the second correction process when the imaging conditions applied in the signal data surrounded by the frame 170 are the same. That is, the lens movement control unit 34d of the control unit 34 performs focus detection processing using the signal data from the focus detection pixels indicated by the frame 170 as they are.
  • the imaging conditions are regarded as the same.
  • the example in which the second correction process is performed on the signal data of the fourth imaging condition in the signal data according to the first imaging condition is described.
  • the signal of the first imaging condition in the signal data is described.
  • the second correction process may be performed on the data according to the fourth imaging condition.
  • the determination may be made based on the ISO sensitivity.
  • the signal data obtained under the imaging condition with the higher ISO sensitivity is obtained under the imaging condition with the lower ISO sensitivity unless the signal data is saturated. It is desirable to perform the second correction process on the signal data. That is, when the ISO sensitivity differs between the first imaging condition and the fourth imaging condition, it is desirable to perform the second correction process on the darker signal data so as to reduce the difference from the brighter signal data.
  • the difference between both signal data after the second correction process is obtained. It may be made smaller.
  • the focus detection process using the pupil division phase difference method is exemplified.
  • the contrast detection method in which the focus lens of the imaging optical system 31 is moved to the in-focus position based on the contrast of the subject image. Can be done in the same way.
  • the control unit 34 moves the focus lens of the imaging optical system 31 and outputs signal data output from the imaging pixels of the imaging element 32a corresponding to the focus point at each position of the focus lens. Based on this, a known focus evaluation value calculation is performed. Then, the position of the focus lens that maximizes the focus evaluation value is obtained as the focus position.
  • the control unit 34 normally performs the focus evaluation value calculation using the signal data output from the imaging pixel corresponding to the focus point without performing the second correction process. However, when the signal data corresponding to the focus point is mixed with the signal data to which the first imaging condition is applied and the signal data to which the fourth imaging condition is applied, the control unit 34 determines the signal corresponding to the focus point. The second correction process as described above is performed on the signal data of the fourth imaging condition in the data. Then, the control unit 34 performs a focus evaluation value calculation using the signal data after the second correction process. As described above, the correction unit 33b performs the first correction process, the second correction process, and the interpolation process, so that even when the black crushing pixels 85b and 85d are generated, the black crushing is corrected and the focus adjustment is performed.
  • the focus can be adjusted by moving the lens even if there is a blackened pixel 85b or 85d.
  • the focus adjustment process is performed after the second correction process.
  • the second correction process may not be performed, and the focus adjustment may be performed using the image data obtained by the first correction process.
  • FIG. 16A illustrates a template image representing an object to be detected
  • FIG. 16B illustrates a live view image 60a and a search range 190. is there.
  • the object detection unit 34a of the control unit 34 detects an object (for example, a bag 63a which is one of the subject elements in FIG. 5) from the live view image.
  • the object detection unit 34a of the control unit 34 may set the range in which the object is detected as the entire range of the live view image 60a. However, in order to reduce the detection process, a part of the live view image 60a may be used as the search range 190. Good.
  • the object detection unit 34a of the control unit 34 when different imaging conditions are set for the divided areas and the search range 190 includes the boundaries of the divided areas, the image data of at least one area in the search range 190 On the other hand, a second correction process is performed as a pre-process of the subject detection process.
  • the second correction process is performed in order to suppress a decrease in accuracy of the subject element detection process due to a difference in imaging conditions between areas of the imaging screen divided by the setting unit 34b.
  • image data to which different imaging conditions are applied may be mixed in the image data of the search range 190.
  • the image subjected to the second correction processing so as to suppress the difference between the image data due to the difference in the imaging conditions, rather than performing detection of the subject element using the image data to which the different imaging conditions are applied as it is.
  • the second correction processing is performed as follows.
  • the object detection unit 34a of the control unit 34 sets the search range 190 in the vicinity of the region including the person 61a. In addition, you may set the area
  • the object detection unit 34a of the control unit 34 uses the image data constituting the search range 190 as it is without performing the second correction process. Subject detection processing is performed. However, if the image data to which the first imaging condition is applied and the image data to which the fourth imaging condition is applied are mixed in the image data in the search range 190, the object detection unit 34a of the control unit 34 As the case where the focus detection process is performed on the image data of the fourth imaging condition in the image data in the search range 190, the second correction process is performed as in (Example 1) to (Example 3) described above. Then, the object detection unit 34a of the control unit 34 performs subject detection processing using the image data after the second correction processing.
  • the imaging conditions are regarded as the same.
  • the example in which the second correction process is performed based on the first imaging condition on the image data on the fourth imaging condition in the image data has been described.
  • the image on the first imaging condition in the image data is described.
  • the second correction process may be performed on the data according to the fourth imaging condition.
  • the second correction processing for the image data in the search range 190 described above may be applied to a search range used for detecting a specific subject such as a human face or a region used for determination of an imaging scene.
  • the second correction processing for the image data in the search range 190 described above is not limited to the search range used for the pattern matching method using the template image, but the search range when detecting the feature amount based on the color or edge of the image. Similarly, the above may be applied.
  • the control unit 34 when the image data to which the first imaging condition is applied and the image data to which the fourth imaging condition is applied are mixed in the search range set for the frame image acquired later, the control unit 34. Then, the second correction process is performed on the image data of the fourth imaging condition in the search range image data as in (Example 1) to (Example 3) described above. Then, the control unit 34 performs a tracking process using the image data after the second correction process.
  • the control unit 34 detects the motion vector.
  • the second correction process is performed on the image data of the fourth imaging condition in the image data of the region as in (Example 1) to (Example 3) described above. Then, the control unit 34 detects a motion vector using the image data after the second correction process.
  • the correction unit 33b performs the first correction process, the second correction process, and the interpolation process, so that the black subject is corrected and the above-described subject is corrected even when the black-crushed pixels 85b and 85d are generated. Detection or the like can be performed. Therefore, even if there is a blackened pixel 85b or 85d, the subject matter can be detected.
  • the subject detection processing is performed after the second correction processing is performed. However, subject detection may be performed based on the image data obtained by the first correction processing without performing the second correction processing.
  • the exposure condition is determined by newly performing photometry, A second correction process is performed as a pre-process for setting an exposure condition for image data of at least one region.
  • the second correction process is performed in order to suppress a decrease in accuracy of the process for determining the exposure condition due to a difference in imaging conditions between areas of the imaging screen divided by the setting unit 34b.
  • image data to which different imaging conditions are applied may be mixed in the photometric range image data.
  • the image data subjected to the second correction process so as to suppress the difference between the image data due to the difference in the imaging conditions, rather than performing the exposure calculation process using the image data to which the different imaging conditions are applied as it is.
  • the second correction process is performed as follows.
  • the setting unit 34b of the control unit 34 uses the image data constituting the photometry range as it is without performing the second correction process, and performs an exposure calculation process. I do. However, if the image data to which the first imaging condition is applied and the image data to which the fourth imaging condition is applied are mixed in the image data in the photometric range, the setting unit 34b of the control unit 34 determines the photometric range. In the case where the focus detection process and the subject detection process are performed on the image data of the fourth imaging condition among the image data, the second correction process is performed as in (Example 1) to (Example 3) described above.
  • the setting unit 34b of the control unit 34 performs an exposure calculation process using the image data after the second correction process.
  • the imaging conditions are regarded as the same.
  • the example in which the second correction process is performed based on the first imaging condition on the image data on the fourth imaging condition in the image data has been described.
  • the image on the first imaging condition in the image data is described.
  • the second correction process may be performed on the data according to the fourth imaging condition.
  • the photometric range when performing the exposure calculation process described above but also the photometric (colorimetric) range used when determining the white balance adjustment value and the necessity of emission of the auxiliary photographing light by the light source that emits the auxiliary photographing light are determined. The same applies to the photometric range performed at the time, and further to the photometric range performed at the time of determining the light emission amount of the photographing auxiliary light by the light source.
  • the correction unit 33b performs the first correction process, the second correction process, and the interpolation process, so that even if the blackout pixels 85b and 85d are generated, the blackout is corrected and the shooting condition is satisfied. Settings can be made. For this reason, the photographing condition can be set even if there is a blackened pixel 85b or 85d.
  • the shooting conditions are set after performing the second correction process. However, the shooting conditions may be set based on the image data obtained by the first correction process without performing the second correction process. .
  • FIG. 17 is a flowchart for explaining the flow of processing for setting an imaging condition for each area and imaging.
  • the control unit 34 activates a program that executes the process shown in FIG.
  • step S10 the control unit 34 causes the display unit 35 to start live view display, and proceeds to step S20.
  • the control unit 34 instructs the imaging unit 32 to start acquiring a live view image, and causes the display unit 35 to sequentially display the acquired live view image.
  • the same imaging condition is set for the entire imaging chip 111, that is, the entire screen.
  • the lens movement control unit 34d of the control unit 34 performs focus detection processing to focus on the subject element corresponding to the predetermined focus point. Control the AF operation.
  • the lens movement control unit 34d performs the focus detection process after the first correction process and the second correction process, or the first correction process or the second correction process, as necessary. If the setting for performing the AF operation is not performed during live view display, the lens movement control unit 34d of the control unit 34 performs the AF operation when the AF operation is instructed later.
  • step S20 the object detection unit 34a of the control unit 34 detects the subject element from the live view image and proceeds to step S30.
  • the object detection unit 34a performs the subject detection process after the first correction process and the second correction process, or the first correction process or the second correction process, as necessary.
  • step S30 the setting unit 34b of the control unit 34 divides the screen of the live view image into regions including subject elements, and proceeds to step S40.
  • step S ⁇ b> 40 the control unit 34 displays an area on the display unit 35. As illustrated in FIG. 6, the control unit 34 highlights an area that is a target for setting (changing) the imaging condition among the divided areas. In addition, the control unit 34 displays the imaging condition setting screen 70 on the display unit 35 and proceeds to step S50. Note that, when the display position of another main subject on the display screen is tapped with the user's finger, the control unit 34 sets the region including the main subject as a region for setting (changing) the imaging condition. Change and highlight.
  • step S50 the control unit 34 determines whether an AF operation is necessary.
  • the control unit 34 for example, when the focus adjustment state changes due to the movement of the subject, when the position of the focus point is changed by a user operation, or when execution of an AF operation is instructed by a user operation, An affirmative decision is made in step S50 and the process proceeds to step S70. If the focus adjustment state does not change, the position of the focus point is not changed by the user operation, and the execution of the AF operation is not instructed by the user operation, the control unit 34 makes a negative determination in step S50 and proceeds to step 60. .
  • step S70 the control unit 34 performs the AF operation and returns to step S40.
  • the lens movement control unit 34d performs a focus detection process that is an AF operation after the first correction process and the second correction process, or the first correction process or the second correction process, as necessary. Do.
  • the control unit 34 that has returned to step S40 repeats the same processing as described above based on the live view image acquired after the AF operation.
  • step S60 the setting unit 34b of the control unit 34 sets an imaging condition for the highlighted area in accordance with a user operation, and proceeds to step S80. Note that the display transition of the display unit 35 and the setting of the imaging conditions according to the user operation in step S60 are as described above.
  • the setting unit 34b of the control unit 34 performs the exposure calculation process after the first correction process and the second correction process, or the first correction process or the second correction process, as necessary.
  • step S80 the control unit 34 determines whether there is an imaging instruction.
  • a release button (not shown) constituting the operation member 36 or a display icon for instructing imaging is operated, the control unit 34 makes a positive determination in step S80 and proceeds to step S90.
  • the control unit 34 makes a negative determination in step S80 and returns to step S60.
  • step S90 the control unit 34 performs predetermined imaging processing. That is, the imaging control unit 34c controls the imaging element 32a so as to perform imaging under the imaging conditions set for each region, and the process proceeds to step S100.
  • step S100 the imaging control unit 34c of the control unit 34 sends an instruction to the image processing unit 33, performs predetermined image processing on the image data obtained by the imaging, and proceeds to step S110.
  • Image processing includes the pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing.
  • the correction unit 33b of the image processing unit 33 performs the first correction processing and the second correction processing, or the first correction processing or the first correction processing on the image data located at the boundary portion of the region as necessary. Image processing is performed after performing the second correction processing.
  • step S110 the control unit 34 sends an instruction to the recording unit 37, records the image data after the image processing on a recording medium (not shown), and proceeds to step S120.
  • step S120 the control unit 34 determines whether an end operation has been performed. When the end operation is performed, the control unit 34 makes a positive determination in step S120 and ends the process illustrated in FIG. When the end operation is not performed, the control unit 34 makes a negative determination in step S120 and returns to step S20. When returning to step S20, the control unit 34 repeats the above-described processing.
  • the multilayer image sensor 100 is illustrated as the image sensor 32a.
  • the imaging condition can be set for each of a plurality of blocks in the image sensor (imaging chip 111)
  • the image sensor 32a is not necessarily configured as a multilayer image sensor. do not have to.
  • the camera 1 including the image processing apparatus includes an imaging unit 32 having a first area 61 that is imaged under the first imaging condition and a fourth area 64 that is imaged under a fourth imaging condition different from the first imaging condition; An image processing unit 33 that generates an image of the subject imaged in the first area 61 based on the image data of the subject imaged in the fourth area 64.
  • An image processing unit 33 that generates an image of the subject imaged in the first area 61 based on the image data of the subject imaged in the fourth area 64.
  • the camera 1 including the image processing device includes an imaging unit 32 having a first area 61 that is imaged under the first imaging condition and a fourth area 64 that is imaged under a fourth imaging condition different from the first imaging condition; An image processing unit 33 that generates image data of the subject imaged in the first area 61 from the image data of the object imaged in the fourth area 64.
  • An image processing unit 33 that generates image data of the subject imaged in the first area 61 from the image data of the object imaged in the fourth area 64.
  • the image processing unit 33 generates image data of the subject image captured in the first area 61 from the subject image data captured in the fourth area 64. Thereby, for example, when inappropriate image data resulting from the imaging condition set in the first area 61 is generated in the image of the subject image captured in the first area 61, imaging different from the first area 61 is performed. Image data can be appropriately generated using the image of the subject image captured in the fourth region 64 depending on the conditions.
  • the image processing unit 33 generates part of the image data of the subject imaged in the first area 61 from the image data of the subject imaged in the fourth area 64.
  • Image data can be appropriately generated using image data of an image (reference block).
  • the image processing unit 33 generates part of the image data of the subject imaged in the first area 61 based on the image data of the subject imaged in the fourth area 64.
  • a part of the subject imaged in the first area 61 and at least a part of the object imaged in the fourth area 64 are detected as the same subject.
  • the image data about the mountain obtained by imaging in the first area 61 is converted into the fourth area.
  • 64 can be replaced with image data of a mountain imaged at 64. Therefore, image data can be generated appropriately.
  • the area of the fourth region 64 is larger than the area of the first region 61.
  • the image data of the subject imaged in the first area 61 is generated based on the image data of the object imaged in the fourth area 64 that is larger than the area of the first area 61. Therefore, the image data is appropriately generated. can do.
  • the area of the fourth region 64 is less than or equal to the area of the first region 61. That is, when replacing the image data acquired in the block of interest with the image data acquired in the reference block, for example, the same number of image data corresponding to a plurality of pixels included in the block of interest is equal to or less than By performing the replacement using the image data, it is possible to suppress the calculation load in the replacement process.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 from the image data of the object imaged in a part of the fourth area 64.
  • image data can be appropriately generated using a part of an image (reference block).
  • the fourth region 64 includes a pixel 86a including a photoelectric conversion unit that converts light into charges, and a pixel 86b that is different from the pixel 86a including a photoelectric conversion unit that converts light into charges.
  • the image processing unit 33 generates the image data of the subject imaged in the first area 61 from the image data of the subject imaged by any one of the pixels 86a and 86b. Thereby, for example, when inappropriate image data resulting from the imaging condition set in the first area 61 is generated in the image of the subject image captured in the first area 61, imaging different from the first area 61 is performed. Image data can be appropriately generated using the image of the subject image captured in the fourth region 64 depending on the conditions.
  • the image processing unit 33 uses the image data of the subject imaged by the pixel 86a as the first region.
  • Image data of the subject imaged at 61 is generated. That is, when replacing the image data acquired in the target block with the image data acquired in the reference block, out of the pixels included in the reference block, the pixels closer to the pixel to be replaced included in the target block Replace with image data. Thereby, image data can be appropriately generated.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 based on data calculated from the image data of the object imaged in the fourth area 64. Thereby, for example, when inappropriate image data resulting from the imaging condition set in the first area 61 is generated in the image of the subject image captured in the first area 61, imaging different from the first area 61 is performed. Image data can be appropriately generated using the image of the subject image captured in the fourth region 64 depending on the conditions.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 based on data calculated by averaging the image data of the subject imaged in the fourth area 64. Thereby, for example, when inappropriate image data resulting from the imaging condition set in the first area 61 is generated in the image of the subject image captured in the first area 61, imaging different from the first area 61 is performed. Image data can be appropriately generated using the image of the subject image captured in the fourth region 64 depending on the conditions.
  • the imaging device 100 is connected to the imaging chip 111 including the first area 61 and the fourth area 64, and is connected to the imaging chip 111, and analog / digital (converts image data output from the imaging chip 111 into digital data).
  • a / D a signal processing chip 112 having a conversion circuit.
  • the imaging device 100 includes a memory chip 113 that is connected to the signal processing chip 112 and includes a storage unit that stores image data converted into digital data by the signal processing chip 112.
  • the signal processing chip 112 is disposed between the imaging chip 111 and the memory chip 113. Thereby, since each chip is laminated
  • the camera 1 including the lens adjustment device is configured to capture the light from the imaging optical system 31 under the first imaging condition and the fourth imaging of the light from the imaging optical system 31 that is different from the first imaging condition.
  • the imaging optical system 31 is moved so as to adjust the image of the light incident on the first area 61 by a signal based on the subject imaged in the fourth area 64 and the imaging section 32 having the fourth area 64 imaged under the condition.
  • An image processing unit 33 and a control unit 34 Thereby, for example, in the case where inappropriate signal data resulting from the imaging condition occurs in the signal data of the image captured in the first area 61, the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the discontinuity of the image such as the difference in brightness and contrast of the image between the shaded portion of the block 82, the block 85, and the block 87 and the shaded portion of the blocks 83, 86, 88, and 89.
  • Signal data with suppressed characteristics can be generated.
  • the camera 1 including the lens adjustment device includes a first imaging region 61 that images the light of the imaging optical system 31 under the first imaging condition, and a fourth imaging condition that is different from the first imaging condition. And a signal for adjusting the image of the light incident on the first area 61 by the imaging optical system 31 by a signal based on the subject imaged in the fourth area 64.
  • An image processing unit 33 and a control unit 34 to be generated are provided. Thereby, for example, in the case where inappropriate signal data resulting from the imaging condition occurs in the signal data of the image captured in the first area 61, the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the discontinuity of the image such as the difference in brightness and contrast of the image between the shaded portion of the block 82, the block 85, and the block 87 and the shaded portion of the blocks 83, 86, 88, and 89.
  • Signal data with suppressed characteristics can be generated.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the image processing unit 33 generates a signal based on a part of the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • the image is captured in the fourth area 64 under an imaging condition different from that of the first area 61.
  • the signal data can be appropriately generated using the image signal data.
  • a part of the subject can be appropriately focused while avoiding the influence of the difference in the imaging conditions for each block.
  • the image processing unit 33 generates a signal based on a part of the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • a part of the subject imaged in the first area 61 and at least a part of the object imaged in the fourth area 64 are detected as the same subject.
  • the signal data of the image about the mountain obtained in the first area 61 is obtained.
  • the signal data can be appropriately generated. Therefore, appropriate focusing can be performed.
  • the area of the fourth region 64 is larger than the area of the first region 61. Therefore, the signal data can be appropriately generated based on the signal data of the image captured in the fourth region 64 larger than the area of the first region 61. Therefore, appropriate focusing can be performed.
  • the area of the fourth region 64 is less than or equal to the area of the first region 61. That is, when generating appropriate signal data, for example, by replacing the signal data of a plurality of images corresponding to a plurality of pixels included in the block of interest with the signal data of the same or less number of images, Calculation load in processing can be suppressed.
  • the image processing unit 33 generates a signal based on the subject imaged in the first area 61 by a signal based on the subject imaged in a part of the fourth area 64.
  • the image is captured in the fourth area 64 under an imaging condition different from that of the first area 61.
  • the signal data can be appropriately generated by using the signal data of the image captured by a part of the image (reference block). As a result, appropriate focusing can be performed without being affected by the difference in the imaging conditions for each block.
  • the fourth region 64 includes a pixel 86a including a photoelectric conversion unit that converts light into charges, and a pixel 86b that is different from the pixel 86a including a photoelectric conversion unit that converts light into charges.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 by a signal based on the subject imaged in any one of the pixels 86a and 86b. Thereby, for example, in the case where inappropriate signal data resulting from the imaging condition occurs in the signal data of the image captured in the first area 61, the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the image processing unit 33 uses the signal based on the subject imaged by the pixel 86a to generate the first region 61.
  • a signal based on the subject imaged in is generated. That is, when replacing the signal data of the image acquired in the target block with the signal data of the image acquired in the reference block, among the pixels included in the reference block, the pixel to be replaced included in the target block Replacement is performed using image signal data from a nearby pixel. Thereby, signal data can be appropriately generated.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 based on data calculated from the signal data based on the subject imaged in the fourth region 64.
  • the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 based on the data calculated by averaging the signal data based on the subject imaged in the fourth region 64.
  • the fourth area 64 may be subjected to an imaging condition different from the first area 61.
  • the signal data can be appropriately generated using the signal data of the captured image.
  • the lens movement control unit 34d of the camera 1 generates a signal for driving the imaging optical system 31 based on the image shift amounts of a plurality of optical images that have passed through different pupils of the imaging optical system 31.
  • the lens movement control unit 34 d of the camera 1 generates a signal for driving the imaging optical system 31 based on the contrast of the image by the light incident on the imaging unit 32.
  • the camera 1 including the subject detection device includes an imaging unit 32 including a first area 61 that is imaged under the first imaging condition and a fourth area 64 that is imaged under a fourth imaging condition different from the first imaging condition; An image processing unit 33 and a control unit 34 that detect the subject imaged in the first region 61 based on the image data of the subject imaged in the fourth region 64 are provided.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image.
  • the difference between the shaded portions of the block 82, the block 85, and the block 87 and the shaded portions of the blocks 83, 86, 88, and 89 such as differences in light and darkness, contrast, and hue of the image.
  • Image data in which discontinuities are suppressed can be generated. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the camera 1 including the subject detection device includes an imaging unit 32 having a first area 61 that is imaged under the first imaging condition and a fourth area 64 that is imaged under a fourth imaging condition different from the first imaging condition;
  • the image processing unit 33 and the control unit 34 generate a signal for detecting the subject imaged in the first region 61 from the image data of the subject imaged in the fourth region 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image.
  • the difference between the shaded portions of the block 82, the block 85, and the block 87 and the shaded portions of the blocks 83, 86, 88, and 89 such as differences in light and darkness, contrast, and hue of the image.
  • Image data in which discontinuities are suppressed can be generated. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 from the image data of the object imaged in the fourth area 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the image processing unit 33 generates image data of a part of the subject imaged in the first region 61 from the image data of the subject imaged in the fourth region 64.
  • image data can be appropriately generated using image data of an image. As a result, it is possible to detect the subject element appropriately for a part of the subject while avoiding the influence of the difference in the imaging conditions for each block.
  • the image processing unit 33 generates part of the image data of the subject imaged in the first region 61 from the image data of the subject imaged in the fourth region 64.
  • a part of the subject imaged in the first area 61 and at least a part of the object imaged in the fourth area 64 are detected as the same subject.
  • the image data about the mountain obtained by imaging in the first area 61 is converted into the fourth area.
  • 64 can be replaced with image data of a mountain imaged at 64. Therefore, image data can be generated appropriately. As a result, it is possible to appropriately detect the subject element without being affected by the difference in the imaging conditions for each block.
  • the area of the fourth region 64 is larger than the area of the first region 61.
  • the image data of the subject imaged in the first area 61 is generated based on the image data of the object imaged in the fourth area 64 that is larger than the area of the first area 61. Therefore, the image data is appropriately generated. can do. As a result, it is possible to appropriately detect the subject element without being affected by the difference in the imaging conditions for each block.
  • the area of the fourth region 64 is less than or equal to the area of the first region 61. That is, when replacing the image data acquired in the block of interest with the image data acquired in the reference block, for example, the same number of image data corresponding to a plurality of pixels included in the block of interest is equal to or less than
  • By performing the replacement using the image data it is possible to suppress the calculation load in the replacement process. Therefore, it is possible to suppress the calculation load related to the detection of the subject element.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 from the image data of the object imaged in a part of the fourth area 64.
  • image data can be appropriately generated using a part of an image (reference block). As a result, it is possible to appropriately detect the subject element without being affected by the difference in the imaging conditions for each block.
  • the fourth region 64 includes a pixel 86a including a photoelectric conversion unit that converts light into charges, and a pixel 86b that is different from the pixel 86a including a photoelectric conversion unit that converts light into charges.
  • the image processing unit 33 generates the image data of the subject imaged in the first region 61 from the image data of the subject imaged in any one of the pixels 86a and 86b. Thereby, for example, in the case where inappropriate image data resulting from the imaging condition occurs in the image data of the image captured in the first area 61, the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the image processing unit 33 uses the image data of the subject captured by the pixel 86a to determine the first region 61.
  • the image data of the subject imaged in is generated. That is, when replacing the image data acquired in the target block with the image data acquired in the reference block, out of the pixels included in the reference block, the pixels closer to the pixel to be replaced included in the target block Replace with image data. Thereby, image data can be appropriately generated. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 based on data calculated from the image data of the object imaged in the fourth area 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the image processing unit 33 generates image data of the subject imaged in the first area 61 from data calculated by averaging the image data of the subject imaged in the fourth area 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it can suppress that the detection accuracy of a subject element falls by the difference in the imaging conditions for every block.
  • the object detection unit 34a of the camera 1 detects a subject element as a focus adjustment target of the imaging optical system 31, the object detection unit 34a can appropriately detect the subject of the imaging optical system 31 without being affected by the difference in imaging conditions for each block. The object of focus adjustment can be detected.
  • the camera 1 includes the control unit 34 that detects the brightness of the subject, and the object detection unit 34a detects the subject element as a target of photometry by the control unit 34, the influence of the difference in the imaging conditions for each block The target of photometry can be detected appropriately without receiving the light.
  • the camera 1 includes an imaging unit 32 having a first area 61 imaged under the first imaging condition and a fourth area 64 imaged under a fourth imaging condition different from the first imaging condition.
  • An image processing unit 33 and a control unit 34 that set the imaging condition of the first region 61 by a signal based on the imaged subject.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image.
  • the difference between the shaded portions of the block 82, the block 85, and the block 87 and the shaded portions of the blocks 83, 86, 88, and 89 such as differences in light and darkness, contrast, and hue of the image.
  • Image data in which discontinuities are suppressed can be generated. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the camera 1 includes an imaging unit 32 having a first area 61 imaged under the first imaging condition and a fourth area 64 imaged under a fourth imaging condition different from the first imaging condition.
  • the image processing unit 33 and the control unit 34 generate a signal for setting the imaging condition of the first region 61 based on a signal based on the imaged subject.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image.
  • the difference between the shaded portions of the block 82, the block 85, and the block 87 and the shaded portions of the blocks 83, 86, 88, and 89 such as differences in light and darkness, contrast, and hue of the image.
  • Image data in which discontinuities are suppressed can be generated. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the image processing unit 33 generates a signal based on a part of the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • the image is captured in the fourth area 64 having different imaging conditions from the first area 61.
  • Image data can be appropriately generated using image data of an image. As a result, it is possible to appropriately set the exposure condition without being affected by the difference in the imaging condition for each block.
  • the image processing unit 33 generates a signal based on a part of the subject imaged in the first region 61 by a signal based on the subject imaged in the fourth region 64.
  • a part of the subject imaged in the first area 61 and at least a part of the object imaged in the fourth area 64 are detected as the same subject.
  • the image data about the mountain obtained by imaging in the first area 61 is converted into the fourth area.
  • 64 can be replaced with image data of a mountain imaged at 64. Therefore, image data can be generated appropriately. As a result, it is possible to appropriately set the exposure condition without being affected by the difference in the imaging condition for each block.
  • the area of the fourth region 64 is larger than the area of the first region 61.
  • the image data of the subject imaged in the first area 61 is generated based on the image data of the object imaged in the fourth area 64 that is larger than the area of the first area 61. Therefore, the image data is appropriately generated. can do. As a result, it is possible to appropriately set the exposure condition without being affected by the difference in the imaging condition for each block.
  • the area of the fourth region 64 is less than or equal to the area of the first region 61. That is, when replacing the image data acquired in the block of interest with the image data acquired in the reference block, for example, the same number of image data corresponding to a plurality of pixels included in the block of interest is equal to or less than
  • By performing the replacement using the image data it is possible to suppress the calculation load in the replacement process. Therefore, it is possible to suppress the calculation load related to the setting of the exposure condition.
  • the image processing unit 33 generates a signal based on the subject imaged in the first area 61 by a signal based on the subject imaged in a part of the fourth area 64.
  • the image is captured in the fourth area 64 having different imaging conditions from the first area 61.
  • Image data can be appropriately generated using a part of an image (reference block). As a result, it is possible to appropriately set the exposure condition without being affected by the difference in the imaging condition for each block.
  • the fourth region 64 includes a pixel 86a including a photoelectric conversion unit that converts light into charges, and a pixel 86b that is different from the pixel 86a including a photoelectric conversion unit that converts light into charges.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 by a signal based on the subject imaged in any one of the pixels 86a and 86b.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the image processing unit 33 uses the signal based on the subject imaged by the pixel 86a to generate the first region 61.
  • a signal based on the subject imaged in is generated. That is, when replacing the image data acquired in the target block with the image data acquired in the reference block, out of the pixels included in the reference block, the pixels closer to the pixel to be replaced included in the target block Replace with image data. Thereby, image data can be appropriately generated. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the image processing unit 33 generates a signal based on the subject imaged in the first area 61 from data calculated from the signal data based on the subject imaged in the fourth area 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the image processing unit 33 generates a signal based on the subject imaged in the first region 61 based on data calculated by averaging the signal data based on the subject imaged in the fourth region 64.
  • the fourth area 64 is captured under an imaging condition different from the first area 61.
  • Image data can be appropriately generated using image data of a captured image. As a result, it is possible to suppress a decrease in exposure condition setting accuracy due to a difference in imaging conditions for each block.
  • the setting unit 34b of the camera 1 sets the exposure condition as the shooting condition, the exposure condition can be appropriately set even when there is a difference in the imaging condition for each block.
  • the camera 1 includes a control unit 34 that controls the light source that emits the photographing auxiliary light, and the setting unit 34b sets the presence or absence of light emission or the light emission amount of the light source controlled by the control unit 34 as the photographing condition. Thereby, even when there is a difference in imaging conditions for each block, the setting process can be appropriately performed.
  • mode 1 the control unit 34 performs processing such as image processing after performing the above-described preprocessing.
  • mode 2 the control unit 34 performs processing such as image processing without performing the above-described preprocessing. For example, when a part of the face detected as the subject element is shaded, the shadowed part of the face is set so that the brightness of the shaded part of the face is comparable to the brightness of the part other than the shadow of the face.
  • the setting is performed.
  • unintentional color interpolation is performed on the shadow portion due to a difference in imaging conditions. It is possible to avoid unintended color interpolation by configuring the mode 1 and the mode 2 so that the color interpolation process can be performed using the image data as it is without performing the second correction process. Become.
  • FIGS. 18A to 18C are diagrams illustrating the arrangement of the first imaging region and the second imaging region on the imaging surface of the imaging device 32a.
  • the first imaging region is configured by even columns
  • the second imaging region is configured by odd columns. That is, the imaging surface is divided into even columns and odd columns.
  • the first imaging area is configured by odd rows
  • the second imaging area is configured by even rows. That is, the imaging surface is divided into odd rows and even rows.
  • the first imaging area is configured by even-numbered blocks in odd columns and odd-numbered blocks in even columns.
  • the second imaging region is configured by blocks of even rows in even columns and blocks of odd rows in odd columns. That is, the imaging surface is divided into a checkered pattern.
  • a second image based on the photoelectric conversion signal read from the second imaging region is generated.
  • the first image and the second image are captured at the same angle of view and include a common subject image.
  • the control unit 34 uses the first image for display and the second image for detection. Specifically, the control unit 34 causes the display unit 35 to display the first image as a live view image. In addition, the control unit 34 causes the object detection unit 34a to perform subject detection processing using the second image, the lens movement control unit 34d to perform focus detection processing using the second image, and the setting unit 34b to perform second detection. Exposure calculation processing is performed using an image.
  • the imaging condition set in the first imaging area for capturing the first image is called the first imaging condition
  • the imaging condition set in the second imaging area for capturing the second image is the second imaging condition. I will call it.
  • the control unit 34 may make the first imaging condition different from the second imaging condition.
  • the control unit 34 sets the first imaging condition to a condition suitable for display by the display unit 35.
  • the first imaging condition set for the first imaging area is the same for the entire first imaging area of the imaging screen.
  • the control unit 34 sets the second imaging condition set in the second imaging region to a condition suitable for the focus detection process, the subject detection process, and the exposure calculation process.
  • the second imaging condition is the same for the entire second imaging area of the imaging screen.
  • the second imaging condition of the first frame is a condition suitable for the focus detection process
  • the second imaging condition of the second frame is a condition suitable for the subject detection process
  • the second imaging condition of the third frame is the exposure calculation process.
  • the second imaging condition in each frame is the same in the entire second imaging area of the imaging screen.
  • control unit 34 may vary the first imaging condition set in the first imaging area depending on the area.
  • the setting unit 34b of the control unit 34 sets different first imaging conditions for each region including the subject element divided by the setting unit 34b.
  • the control unit 34 makes the second imaging condition set in the second imaging area the same for the entire second imaging area of the imaging screen.
  • the control unit 34 sets the second imaging condition to a condition suitable for the focus detection process, the subject detection process, and the exposure calculation process. However, the conditions suitable for the focus detection process, the subject detection process, and the exposure calculation process are set. If they are different, the imaging conditions set in the second imaging area may be different for each frame.
  • control unit 34 sets the first imaging condition set in the first imaging area to be the same in the entire first imaging area of the imaging screen, while setting the second imaging area.
  • the two imaging conditions may be different on the imaging screen.
  • a different second imaging condition is set for each region including the subject element divided by the setting unit 34b. Even in this case, if the conditions suitable for the focus detection process, the subject detection process, and the exposure calculation process are different, the imaging conditions set in the second imaging area may be different for each frame.
  • control unit 34 changes the first imaging condition set in the first imaging area on the imaging screen, and changes the second imaging condition set on the second imaging area on the imaging screen. Make it.
  • the setting unit 34b sets different first imaging conditions for each region including the subject element divided, and the setting unit 34b sets different second imaging conditions for each region including the subject element divided.
  • the area ratio between the first imaging region and the second imaging region may be different.
  • the control unit 34 sets the ratio of the first imaging region to be higher than that of the second imaging region based on the operation by the user or the determination of the control unit 34, or displays the ratio between the first imaging region and the second imaging region. As illustrated in FIGS. 18 (a) to 18 (c), they are set equal, or the ratio of the first imaging area is set lower than that of the second imaging area.
  • the first image can be made to have a higher definition than the second image, the resolution of the first image and the second image can be made equal, The image can be made higher in definition than the first image.
  • the second correction processing when performing image processing includes the imaging condition applied at the position of interest (referred to as the first imaging condition) and the imaging condition applied at the reference position around the position of interest.
  • the correction unit 33b of the image processing unit 33 converts the image data of the fourth imaging condition (the image data of the fourth imaging condition among the image data of the reference position) to the first. Correction was performed based on one imaging condition. That is, the second correction process is performed on the image data of the fourth imaging condition at the reference position, thereby reducing the discontinuity of the image based on the difference between the first imaging condition and the fourth imaging condition.
  • the correction unit 33b of the image processing unit 33 receives the image data of the first imaging condition (the image data of the first imaging condition among the image data of the target position and the image data of the reference position). You may correct
  • the correction unit 33b of the image processing unit 33 may correct both the image data of the first imaging condition and the image data of the fourth imaging condition. That is, the first imaging condition image data of the first imaging condition, the first imaging condition image data of the reference position image data, and the fourth imaging condition image data of the reference position image data respectively.
  • the discontinuity of the image based on the difference between the first imaging condition and the fourth imaging condition may be alleviated.
  • 400/100 is applied as the second correction process to the image data of the reference pixel Pr, which is the first imaging condition (ISO sensitivity is 100), and the fourth imaging condition (ISO sensitivity is 800).
  • the image data of the reference pixel Pr 400/800 is applied to the image data of the reference pixel Pr as the second correction process.
  • the difference between the image data due to the difference in the imaging conditions is reduced.
  • the pixel data of the pixel of interest undergoes a second correction process that is multiplied by 100/400 after the color interpolation process.
  • the pixel data of the pixel of interest after the color interpolation process can be changed to the same value as when the image is captured under the first imaging condition.
  • the degree of the second correction process may be changed depending on the distance from the boundary between the first area and the fourth area.
  • the corrected image data is obtained by performing a calculation based on the difference between the first imaging condition and the fourth imaging condition. did.
  • corrected image data may be obtained by referring to a correction table. For example, by inputting the first imaging condition and the fourth imaging condition as arguments, the corrected image data is read out.
  • the correction coefficient may be read out by inputting the first imaging condition and the fourth imaging condition as arguments.
  • the upper limit and the lower limit of the corrected image data may be set.
  • the upper limit value and the lower limit value may be determined in advance, or may be determined based on an output signal from the photometric sensor when a photometric sensor is provided separately from the image sensor 32a.
  • the setting unit 34b of the control unit 34 detects the subject element based on the live view image, and divides the screen of the live view image into regions including the subject element.
  • the control unit 34 may divide the region based on an output signal from the photometric sensor.
  • the control unit 34 divides the foreground and the background based on the output signal from the photometric sensor.
  • the live view image acquired by the image sensor 32a is a foreground area corresponding to an area determined as a foreground from an output signal from a photometric sensor, and an area determined as a background from an output signal from the photometric sensor. Is divided into background areas corresponding to.
  • the control unit 34 further sets the first imaging region and the second imaging region with respect to the position corresponding to the foreground region on the imaging surface of the imaging device 32a as illustrated in FIGS. 18 (a) to 18 (c). Deploy. On the other hand, the control unit 34 arranges only the first imaging region on the imaging surface of the imaging device 32a with respect to the position corresponding to the background region of the imaging surface of the imaging device 32a. The control unit 34 uses the first image for display and the second image for detection.
  • the live view image acquired by the image sensor 32a can be divided by using the output signal from the photometric sensor.
  • a first image for display and a second image for detection can be obtained for the foreground area, and only a first image for display can be obtained for the background area.
  • Modification 6 the generation unit 33c of the image processing unit 33 performs a contrast adjustment process as an example of the second correction process. That is, the generation unit 33c reduces the discontinuity of the image based on the difference between the first imaging condition and the fourth imaging condition by changing the gradation curve (gamma curve).
  • the generation unit 33c compresses the value of the image data of the fourth imaging condition in the image data at the reference position to 1/8 by laying down the gradation curve.
  • the generation unit 33c may expand the value of the image data of the first imaging condition among the image data of the target position and the image data of the reference position by increasing the gradation curve by 8 times.
  • the modified example 6 as in the above-described embodiment, it is possible to appropriately perform image processing on image data respectively generated in regions with different imaging conditions. For example, discontinuity and discomfort appearing in an image after image processing can be suppressed due to a difference in imaging conditions at the boundary between regions.
  • the image processing unit 33 does not impair the contour of the subject element in the above-described image processing (for example, noise reduction processing).
  • image processing for example, noise reduction processing
  • smoothing filter processing is employed when noise reduction is performed.
  • the boundary of the subject element may be blurred while the noise reduction effect.
  • the generation unit 33c of the image processing unit 33 compensates for blurring of the boundary of the subject element by performing contrast adjustment processing in addition to or together with noise reduction processing, for example.
  • the generation unit 33c of the image processing unit 33 sets a curve that draws an S shape as a density conversion (gradation conversion) curve (so-called S-shaped conversion).
  • the generation unit 33c of the image processing unit 33 increases the number of gradations of bright data (and dark data) by extending the gradation portions of bright data and dark data by performing contrast adjustment using S-shaped conversion.
  • the number of gradations is reduced by compressing the intermediate gradation image data.
  • the number of image data having a medium brightness is reduced, and data classified as either bright / dark is increased.
  • blurring of the boundary of the subject element can be compensated.
  • blurring of the boundary of the subject element can be compensated by clearing the contrast of the image.
  • Modification 8 In the modification 8, the generation unit 33c of the image processing unit 33 changes the white balance adjustment gain so as to alleviate the discontinuity of the image based on the difference between the first imaging condition and the fourth imaging condition.
  • the generation unit 33c of the image processing unit 33 makes the white balance of the image data of the fourth imaging condition out of the image data at the reference position close to the white balance of the image data acquired under the first imaging condition. Change the balance adjustment gain.
  • the generation unit 33c of the image processing unit 33 sets the white balance between the image data of the first imaging condition and the image data of the target position in the image data of the reference position, and the white of the image data acquired under the fourth imaging condition.
  • the white balance adjustment gain may be changed so as to approach the balance.
  • the first imaging condition and the fourth imaging condition are set.
  • the discontinuity of the image based on the difference from the imaging condition can be reduced.
  • a plurality of image processing units 33 may be provided, and image processing may be performed in parallel. For example, image processing is performed on the image data captured in the region B of the imaging unit 32 while performing image processing on the image data captured in the region A of the imaging unit 32.
  • the plurality of image processing units 33 may perform the same image processing or different image processing. That is, the same parameters are applied to the image data of the region A and the region B, and the same image processing is performed, or the different parameters are applied to the image data of the region A and the region B to perform different image processing. You can do it.
  • image processing is performed by one image processing unit on image data to which the first imaging condition is applied, and other is performed on image data to which the fourth imaging condition is applied.
  • the image processing unit may perform image processing.
  • the number of image processing units is not limited to the above two, and for example, the same number as the number of imaging conditions that can be set may be provided. That is, each image processing unit takes charge of image processing for each region to which different imaging conditions are applied. According to the modification 9, it is possible to proceed in parallel with imaging under different imaging conditions for each area and image processing for image data of the image obtained for each area.
  • the camera 1 has been described as an example, but it may be configured by a high function mobile phone 250 (FIG. 20) having a camera function like a smartphone or a mobile device such as a tablet terminal.
  • the camera 1 in which the imaging unit 32 and the control unit 34 are configured as a single electronic device has been described as an example.
  • the imaging unit 1 and the control unit 34 may be provided separately, and the imaging system 1B that controls the imaging unit 32 from the control unit 34 via communication may be configured.
  • the imaging device 1001 including the imaging unit 32 is controlled from the display device 1002 including the control unit 34 will be described with reference to FIG.
  • FIG. 19 is a block diagram illustrating the configuration of an imaging system 1B according to the modification 11.
  • the imaging system 1 ⁇ / b> B includes an imaging device 1001 and a display device 1002.
  • the imaging device 1001 includes a first communication unit 1003 in addition to the imaging optical system 31 and the imaging unit 32 described in the above embodiment.
  • the display device 1002 includes a second communication unit 1004 in addition to the image processing unit 33, the control unit 34, the display unit 35, the operation member 36, and the recording unit 37 described in the above embodiment.
  • the first communication unit 1003 and the second communication unit 1004 can perform bidirectional image data communication using, for example, a well-known wireless communication technology or optical communication technology. Note that the imaging device 1001 and the display device 1002 may be connected by a wired cable, and the first communication unit 1003 and the second communication unit 1004 may perform bidirectional image data communication.
  • the control unit 34 controls the imaging unit 32 by performing data communication via the second communication unit 1004 and the first communication unit 1003. For example, by transmitting and receiving predetermined control data between the imaging device 1001 and the display device 1002, the display device 1002 divides the screen into a plurality of regions based on the images as described above, or the divided regions. A different imaging condition is set for each area, or a photoelectric conversion signal photoelectrically converted in each area is read out.
  • the user since the live view image acquired on the imaging device 1001 side and transmitted to the display device 1002 is displayed on the display unit 35 of the display device 1002, the user is at a position away from the imaging device 1001. Remote control can be performed from a certain display device 1002.
  • the display device 1002 can be configured by a high-function mobile phone 250 such as a smartphone, for example.
  • the imaging device 1001 can be configured by an electronic device including the above-described stacked imaging element 100.
  • the object detection part 34a, the setting part 34b, the imaging control part 34c, and the lens movement control part 34d in the control part 34 of the display apparatus 1002 was demonstrated, the object detection part 34a, the setting part 34b, A part of the imaging control unit 34c and the lens movement control unit 34d may be provided in the imaging device 1001.
  • the program is supplied to the above-described mobile device such as the camera 1, the high-function mobile phone 250, or the tablet terminal by infrared communication or short-range wireless communication from the personal computer 205 storing the program as illustrated in FIG. 20, for example. Can be sent to mobile devices.
  • the program may be supplied to the personal computer 205 by setting a recording medium 204 such as a CD-ROM storing the program in the personal computer 205 or by a method via the communication line 201 such as a network. You may load. When passing through the communication line 201, the program is stored in the storage device 203 of the server 202 connected to the communication line.
  • the program can be directly transmitted to the mobile device via a wireless LAN access point (not shown) connected to the communication line 201.
  • a recording medium 204B such as a memory card storing the program may be set in the mobile device.
  • the program can be supplied as various forms of computer program products, such as provision via a recording medium or a communication line.
  • the image processing unit 32A instead of providing the image processing unit 33 of the first embodiment, the image processing unit 32A has an image processing unit 32c having the same function as the image processing unit 33 of the first embodiment. Is different from the first embodiment in that
  • FIG. 21 is a block diagram illustrating the configuration of the camera 1C according to the second embodiment.
  • the camera 1 ⁇ / b> C includes an imaging optical system 31, an imaging unit 32 ⁇ / b> A, a control unit 34, a display unit 35, an operation member 36, and a recording unit 37.
  • the imaging unit 32A further includes an image processing unit 32c having the same function as the image processing unit 33 of the first embodiment.
  • the image processing unit 32 c includes an input unit 321, a correction unit 322, and a generation unit 323.
  • Image data from the image sensor 32 a is input to the input unit 321.
  • the correction unit 322 performs preprocessing for correcting the input image data.
  • the preprocessing performed by the correction unit 322 is the same as the preprocessing performed by the correction unit 33b in the first embodiment.
  • the generation unit 323 performs image processing on the input image data and the pre-processed image data to generate an image.
  • the image processing performed by the generation unit 323 is the same as the image processing performed by the generation unit 33c in the first embodiment.
  • FIG. 22 is a diagram schematically showing the correspondence between each block and a plurality of correction units 322 in the present embodiment.
  • one square of the imaging chip 111 represented by a rectangle represents one block 111a.
  • one square of an image processing chip 114 described later represented by a rectangle represents one correction unit 322.
  • the correction unit 322 is provided for each block 111a.
  • the correction unit 322 is provided for each block which is the minimum unit of the area where the imaging condition can be changed on the imaging surface.
  • the hatched block 111a and the hatched correction unit 322 have a correspondence relationship.
  • the correction unit 322 that has been hatched performs preprocessing on the image data from the pixels included in the hatched block 111 a.
  • Each correction unit 322 performs preprocessing on image data from pixels included in the corresponding block 111a.
  • the preprocessing of the image data can be processed in parallel by the plurality of correction units 322, so that the processing burden on the correction unit 322 can be reduced, and an appropriate image can be quickly generated from the image data generated in each of the areas with different imaging conditions. Can be generated.
  • the block 111a may be referred to as a block 111a to which the pixel belongs.
  • the block 111a may be referred to as a unit section, and a plurality of blocks 111a, that is, a plurality of unit sections may be referred to as a composite section.
  • FIG. 23 is a cross-sectional view of the multilayer imaging element 100A.
  • the multilayer imaging element 100A further includes an image processing chip 114 that performs the above-described preprocessing and image processing in addition to the backside illumination imaging chip 111, the signal processing chip 112, and the memory chip 113. That is, the above-described image processing unit 32c is provided in the image processing chip 114.
  • the imaging chip 111, the signal processing chip 112, the memory chip 113, and the image processing chip 114 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.
  • a plurality of bumps 109 are arranged on the mutually facing surfaces of the memory chip 113 and the image processing chip 114.
  • the bumps 109 are aligned with each other, and the memory chip 113 and the image processing chip 114 are pressurized, so that the aligned bumps 109 are joined and electrically connected.
  • the imaging conditions can be set (changed).
  • the control unit 34 causes the correction unit 322 of the image processing unit 32c to perform preprocessing as necessary.
  • control unit 34 includes a boundary of a region based on a plurality of subject elements in a block that is a minimum unit for setting an imaging condition, and when there is whiteout or blackout in the image data of this block.
  • the correction unit 322 causes the following first correction process to be performed as one of the pre-processes performed before the image process, the focus detection process, the subject detection process, and the process for setting the imaging conditions.
  • the correction unit 322 performs image data in which overexposure or blackout occurs in any one of the following modes (i) to (iv) as the first correction processing. Is replaced with the image data acquired in one block in the same imaging screen.
  • the correction unit 322 uses the image data acquired in one reference block closest to the whiteout or blackout area among the reference blocks located around the block of interest, Image data in which whiteout or blackout has occurred is replaced with the same data.
  • the correction unit 322 is most frequently set for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among the reference blocks located around the target block.
  • the image data acquired by one reference block selected from the reference blocks of the condition for example, the fourth imaging condition
  • the image data in which the whiteout or blackout in the block of interest has occurred is replaced with the same data. .
  • the correction unit 322 includes a pixel in the target block among image data corresponding to a plurality of pixels (four pixels in the example of FIG. 8) acquired by one reference block selected in (i) or (ii) above. Using the image data corresponding to the pixel adjacent to the whiteout or blackout pixel, the image data in which the whiteout or blackout has occurred is replaced.
  • the correction unit 322 generates an image based on image data corresponding to a plurality of pixels (four pixels in the example of FIG. 8) acquired by one reference block selected in (i) or (ii) above. Using the data, the image data in which whiteout or blackout occurs in the target block is replaced.
  • the weighted average value weighted according to the distance from the pixel where whiteout or blackout has occurred may be replaced. This is the same as the first embodiment.
  • the intermediate value of the image data corresponding to the plurality of pixels is calculated, and this intermediate value causes overexposure or blackout. Similar to the first embodiment, the image data corresponding to each pixel may be replaced.
  • the correction unit 322 performs image data in which overexposure or blackout occurs according to any one of the following (i) to (iv) as the first correction processing. Are replaced with image data acquired by a plurality of blocks in the same imaging screen.
  • the correction unit 322 uses the image data acquired from a plurality of reference blocks around a region that is whiteout or blacked out of reference blocks that are located around the block of interest, and performs whiteout in the target block. Alternatively, the image data in which blackout has occurred is replaced with the same data.
  • the correction unit 322 is most frequently set for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among the reference blocks located around the target block.
  • the image data acquired in a plurality of reference blocks selected from the reference block of the condition for example, the fourth imaging condition
  • the image data in which the whiteout or blackout in the block of interest has occurred is replaced with the same data. .
  • the correcting unit 322 applies whiteout or blackout pixels in the target block among the image data corresponding to the plurality of pixels acquired by the plurality of reference blocks selected in (i) or (ii) above. Using the image data corresponding to the adjacent pixels, the image data in which whiteout or blackout has occurred is replaced.
  • the correction unit 322 uses the image data generated based on the image data corresponding to the plurality of pixels acquired by the plurality of reference blocks selected in (i) or (ii) above, Replace image data in which whiteout or blackout occurs.
  • the weighted average value weighted according to the distance from the pixel where whiteout or blackout has occurred may be replaced. This is the same as the first embodiment.
  • the intermediate value of the image data corresponding to the plurality of pixels is calculated, and whiteout or blackout occurs depending on the intermediate value. Similar to the first embodiment, the image data corresponding to the pixel in which the occurrence has occurred may be replaced.
  • the correction unit 322 performs image data in which overexposure or blackout occurs according to any one of the following (i) to (iii) as the first correction processing. Is replaced with the image data acquired in one block in the same imaging screen.
  • the correction unit 322 uses the image data corresponding to the pixels adjacent to the overexposure or underexposure pixel among the reference blocks located around the attention block, so that overexposure or underexposure in the attention block is performed.
  • the generated plurality of image data is replaced with different data.
  • the correction unit 322 is most frequently set for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among the reference blocks located around the target block.
  • the image data acquired by one reference block selected from the reference blocks of the condition for example, the fourth imaging condition
  • a plurality of image data in which the overexposure or blackout in the block of interest has occurred are different from each other. Replace.
  • the correction unit 33b generates an image based on image data corresponding to a plurality of pixels (four pixels in the example of FIG. 8) acquired in one reference block selected in (i) or (ii) above. Using the data, a plurality of image data in which whiteout or blackout occurs in the block of interest is replaced with different data.
  • the weighted average value weighted according to the distance from the pixel where whiteout or blackout has occurred may be replaced. This is the same as the first embodiment.
  • the correction unit 322 performs image data in which whiteout or blackout has occurred in any one of the following modes (i) to (iv) as the first correction processing. Are replaced with image data acquired by a plurality of blocks in the same imaging screen.
  • the correction unit 322 uses the image data acquired from a plurality of reference blocks around a region that is whiteout or blacked out of reference blocks that are located around the block of interest, and performs whiteout in the target block. Alternatively, the plurality of pieces of image data in which black crushing has occurred is replaced with different data.
  • the correction unit 322 is most frequently set for the same subject element (mountain) as the subject element (for example, a mountain) that is blown out or blacked out among the reference blocks located around the target block.
  • image data acquired in a plurality of reference blocks selected from a reference block in a condition for example, the fourth imaging condition
  • a plurality of image data in which a whiteout or a blackout in a block of interest has occurred is different by different data. Replace.
  • the correction unit 322 uses the image data generated based on the image data corresponding to the plurality of pixels acquired by the plurality of reference blocks selected in (i) or (ii) above, Replace image data in which whiteout or blackout occurs.
  • the weighted average value weighted according to the distance from the pixel where whiteout or blackout has occurred may be replaced. This is the same as the first embodiment.
  • the intermediate value of the image data corresponding to the plurality of pixels is calculated.
  • the point that the image data corresponding to the pixel may be replaced is the same as in the first embodiment.
  • control unit 34 determines which mode is to be corrected based on, for example, the settings (including the operation menu settings) by the operation member 36. Note that, depending on the imaging scene mode set in the camera 1 and the type of the detected subject element, the control unit 34 may determine which mode of correction is performed.
  • the control unit 34 further performs the following second correction processing on the correction unit 322 as necessary before image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions. Make it.
  • the correction unit 322 does not perform the second correction process, and the generation unit 323 performs image processing using image data of a plurality of reference pixels Pr that are not subjected to the second correction processing.
  • the imaging condition applied in the target pixel P is set as the first imaging condition.
  • the imaging conditions applied to some of the plurality of reference pixels Pr are the first imaging conditions, and the imaging conditions applied to the remaining reference pixels Pr are the second imaging conditions.
  • the correction unit 322 corresponding to the block 111a to which the reference pixel Pr to which the second imaging condition is applied belongs to the following (example) for the image data of the reference pixel Pr to which the second imaging condition is applied.
  • the second correction process is performed as in 1) to (Example 3).
  • the generation unit 323 calculates the image data of the target pixel P with reference to the image data of the reference pixel Pr to which the first imaging condition is applied and the image data of the reference pixel Pr after the second correction process. Process.
  • the correction unit 322 corresponding to the block 111a to which the reference pixel Pr to which the second imaging condition is applied belongs only to the ISO sensitivity between the first imaging condition and the second imaging condition, and the ISO of the first imaging condition is different.
  • the sensitivity is 100
  • the ISO sensitivity of the second imaging condition is 800
  • 100/800 is applied to the image data of the reference pixel Pr as the second correction process.
  • the correction unit 322 corresponding to the block 111a to which the reference pixel Pr to which the second imaging condition is applied belongs, for example, only the shutter speed is different between the first imaging condition and the second imaging condition, and the shutter of the first imaging condition
  • the correction unit 322 corresponding to the block 111a to which the reference pixel Pr to which the second imaging condition is applied is different only in the frame rate between the first imaging condition and the second imaging condition (the charge accumulation time is the same).
  • the first imaging condition the image data of the reference imaging Pr, that is, the image data of the second imaging condition (60 fps)
  • the second correction process is to adopt image data of a frame image acquired at a timing similar to that of the frame image acquired at 30 fps. Thereby, the difference between the image data due to the difference in the imaging conditions is reduced.
  • interpolation calculation is performed on the frame image acquired under the first imaging condition (30 fps) and the frame image whose acquisition start timing is close. This may be the second correction process.
  • the correction unit 322 corresponding to the block 111a to which the reference pixel Pr to which the first imaging condition is applied belongs to the above-described (Example 1) to (Example 3) for the image data of the reference pixel Pr.
  • the second correction process is performed as shown in FIG.
  • the generation unit 323 Based on the image data of the reference pixel Pr to which the same imaging condition as the imaging condition of the target pixel P is applied and the image data of the reference pixel Pr that has been subjected to the second correction processing by the correction unit 322, the generation unit 323 performs the first processing. Similarly to the generation unit 33c of the image processing unit 33 in the embodiment, image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing is performed.
  • FIG. 24 illustrates image data (hereinafter referred to as first image data) from each pixel included in a partial region (hereinafter referred to as first imaging region 141) of the imaging surface to which the first imaging condition is applied.
  • a model for processing with image data (hereinafter referred to as second image data) from each pixel included in a partial region (hereinafter referred to as second imaging region 142) of the imaging surface to which the second imaging condition is applied.
  • Each pixel included in the first imaging area 141 outputs first image data captured under the first imaging condition, and each pixel included in the second imaging area 142 captures an image under the second imaging condition.
  • the second image data is output.
  • the first image data is output to the correction unit 322 corresponding to the block 111a to which the pixel that generated the first image data belongs among the correction units 322 provided in the image processing chip 114.
  • the plurality of correction units 322 respectively corresponding to the plurality of blocks 111a to which the pixels that generate the respective first image data belong are referred to as first processing units 151.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second image data is output to the correction unit 322 corresponding to the block 111a to which the pixel that generated the second image data belongs, among the correction units 322 provided in the image processing chip 114.
  • the plurality of correction units 322 respectively corresponding to the plurality of blocks 111a to which the respective pixels that generate the respective second image data belong are referred to as second processing units 152.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first correction process for example, when the block of interest is included in the first imaging area 141, the first correction process, that is, the replacement process is performed by the first processing unit 151 as shown in FIG. As a result, the image data in which whiteout or blackout occurs in the block of interest is replaced with the second image data from the reference block included in the second imaging region 142.
  • the first processing unit 151 receives the second image data from the reference block as information 182 from the second processing unit 152, for example.
  • the second image data from the reference pixel Pr included in the second imaging region 142 is the second as shown in FIG.
  • the second correction process described above is performed by the second processing unit 152.
  • the second processing unit 152 receives, from the first processing unit 151, for example, information 181 about the first imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition.
  • the first image data from the reference pixel Pr included in the first imaging region 141 is the second correction process described above in the first processing unit 151. Is done.
  • the first processing unit 151 receives information on the second imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition from the second processing unit 152.
  • the first processing unit 151 does not perform the second correction process on the first image data from the reference pixel Pr.
  • the second processing unit 152 does not perform the second correction process on the second image data from the reference pixel Pr.
  • both the image data of the first imaging condition and the image data of the second imaging condition may be corrected by the first processing unit 151 and the second processing unit 152, respectively. That is, the first imaging condition image data of the first imaging condition, the first imaging condition image data of the reference position image data, and the second imaging condition image data of the reference position image data respectively.
  • the discontinuity of the image based on the difference between the first imaging condition and the second imaging condition may be alleviated.
  • 400/100 is applied as the second correction process to the image data of the reference pixel Pr, which is the first imaging condition (ISO sensitivity is 100), and the second imaging condition (ISO sensitivity is 800).
  • 400/800 is applied to the image data of the reference pixel Pr as the second correction process.
  • the difference between the image data due to the difference in the imaging conditions is reduced.
  • the pixel data of the pixel of interest undergoes a second correction process that is multiplied by 100/400 after the color interpolation process.
  • the pixel data of the pixel of interest after the color interpolation process can be changed to the same value as when the image is captured under the first imaging condition. Furthermore, in the above (Example 1), the degree of the second correction process may be changed depending on the distance from the boundary between the first area and the second area. Compared to the case of (Example 1), the rate at which the image data increases or decreases by the second correction process can be reduced, and the noise generated by the second correction process can be reduced. Although the above (Example 1) has been described above, the above (Example 2) can be similarly applied.
  • the generation unit 323 performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on the image data from the first processing unit 151 and the second processing unit 152, and performs image processing.
  • image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on the image data from the first processing unit 151 and the second processing unit 152, and performs image processing.
  • the later image data is output.
  • the first processing unit 151 may perform the second correction process on the first image data from all the pixels included in the first imaging region 141 when the target pixel P is located in the second imaging region 142. Of the pixels included in the first imaging region 141, only the first image data from pixels that may be used for interpolation of the pixel of interest P in the second imaging region 142 may be subjected to the second correction process. Similarly, the second processing unit 152 performs the second correction process on the second image data from all the pixels included in the second imaging region 142 when the target pixel P is located in the first imaging region 141. Of course, only the second image data from pixels that may be used for interpolation of the pixel of interest P in the first imaging region 141 among the pixels included in the second imaging region 142 may be subjected to the second correction process.
  • the lens movement control unit 34d of the control unit 34 performs focus detection using signal data (image data) corresponding to a predetermined position (focus point) on the imaging screen. Process. Note that when different imaging conditions are set for the divided areas and the focus point of the AF operation is located at the boundary portion of the divided areas, that is, the focus point is divided into two in the first area and the second area. In this embodiment, the following 2-2. As will be described below, the lens movement control unit 34d of the control unit 34 causes the correction unit 322 to perform the second correction process on the signal data for focus detection in at least one region.
  • the correction unit 322 performs the second correction process.
  • the lens movement control unit 34d of the control unit 34 performs focus detection processing using the signal data from the focus detection pixels indicated by the frame 170 as they are.
  • the lens movement of the control unit 34 performs the first operation on the correction unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs among the pixels in the frame 170 as in the following (Example 1) to (Example 3). 2 Correction processing is performed. Then, the lens movement control unit 34d of the control unit 34 performs focus detection processing using the pixel signal data to which the first imaging condition is applied and the signal data after the second correction processing.
  • the ISO sensitivity of the second imaging condition is 800 at 100
  • 100/800 is applied to the signal data of the second imaging condition as the second correction process. Thereby, the difference between the signal data due to the difference in the imaging conditions is reduced.
  • the correction unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs differs only in the frame rate (the charge accumulation time is the same) between the first imaging condition and the second imaging condition.
  • the frame rate of the first imaging condition is 30 fps and the frame rate of the second imaging condition is 60 fps
  • acquisition of the frame image acquired under the first imaging condition (30 fps) and acquisition of the signal data of the second imaging condition (60 fps) is started.
  • the second correction process is to adopt signal data of frame images that are close in timing. Thereby, the difference between the signal data due to the difference in the imaging conditions is reduced.
  • interpolation calculation is performed on the signal data of the frame image acquired under the first imaging condition (30 fps) and the acquisition start timing is similar. This may be the second correction process.
  • the imaging conditions are regarded as the same.
  • the second correction process is performed on the signal data of the second imaging condition in the signal data.
  • the second correction process is performed on the signal data of the first imaging condition in the signal data. Two correction processes may be performed.
  • the difference between both signal data after the second correction process is reduced. You may make it do.
  • FIG. 25 is a diagram schematically showing processing of the first signal data and the second signal data related to the focus detection processing.
  • the first signal data imaged under the first imaging condition is output from each pixel included in the first imaging area 141, and the image data is captured under the second imaging condition from each pixel included in the second imaging area 142.
  • Second signal data is output.
  • the first signal data from the first imaging area 141 is output to the first processing unit 151.
  • the second signal data from the second imaging region 142 is output to the second processing unit 152.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first correction process described above for example, when the block of interest is included in the first imaging area 141, the first correction process described above, that is, the replacement process is performed by the first processing unit 151 as shown in FIG.
  • the first signal data in which the whiteout or blackout occurs in the block of interest is replaced with the second signal data from the reference block included in the second imaging region 142.
  • the first processing unit 151 receives the second signal data from the reference block, for example, as information 182 from the second processing unit 152.
  • the second processing unit 152 performs processing.
  • the second processing unit 152 performs the second correction process described above on the second signal data from the pixels included in the second imaging region 142.
  • the second processing unit 152 receives, from the first processing unit 151, for example, information 181 about the first imaging condition necessary for reducing the difference between the signal data due to the difference in the imaging condition.
  • the first processing unit 151 does not perform the second correction process on the first signal data.
  • the first processing unit 151 performs processing.
  • the first processing unit 151 performs the second correction process described above on the first signal data from the pixels included in the first imaging region 141. Note that the first processing unit 151 receives information about the second imaging condition necessary for reducing the difference between the signal data due to the difference in the imaging condition from the second processing unit 152.
  • the second processing unit 152 does not perform the second correction process on the second signal data.
  • the first processing unit 151 and the second processing unit 152 perform processing.
  • the first processing unit 151 performs the above-described second correction processing on the first signal data from the pixels included in the first imaging region 141
  • the second processing unit 152 receives the signals from the pixels included in the second imaging region 142.
  • the second correction process described above is performed on the second signal data.
  • the lens movement control unit 34d performs focus detection processing based on the signal data from the first processing unit 151 and the second processing unit 152, and moves the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result.
  • a drive signal for moving is output.
  • the object detection unit 34a of the control unit 34 causes the correction unit 322 to perform the second correction process on the image data of at least one region within the search range 190.
  • the correction unit 322 does not perform the second correction process.
  • the object detection unit 34a of the control unit 34 performs subject detection processing using image data constituting the search range 190 as it is.
  • the object detection unit 34a of the control unit 34 As described above (Example 1) to (Example 3), the focus detection process is performed on the correction unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs among the images in the range 190. To perform the second correction process. Then, the object detection unit 34a of the control unit 34 performs subject detection processing using the image data of the pixels to which the first condition is applied and the image data after the second correction processing.
  • FIG. 26 is a diagram schematically showing processing of the first image data and the second image data related to the subject detection processing.
  • the first correction process described above for example, when the target block is included in the first imaging region 141, the first correction process described above, that is, the replacement process is performed by the first processing unit 151 as shown in FIG.
  • the first image data in which the whiteout or blackout in the block of interest has occurred is replaced with the second image data from the reference block included in the second imaging region 142.
  • the first processing unit 151 receives the second image data from the reference block as information 182 from the second processing unit 152, for example.
  • the second correction process performed by the first processing unit 151 and / or the second processing unit 152 is the same as the second correction process for FIG. 25 described above as the case of performing the focus detection process.
  • the object detection unit 34a performs processing for detecting a subject element based on the image data from the first processing unit 151 and the second processing unit 152, and outputs a detection result.
  • the setting unit 34b of the control unit 34 Among them, the second correction process as described above (Example 1) to (Example 3) is performed as the case where the focus detection process is performed on the correction unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs. To do. Then, the setting unit 34b of the control unit 34 performs an exposure calculation process using the image data after the second correction process.
  • FIG. 27 is a diagram schematically illustrating processing of the first image data and the second image data according to setting of imaging conditions such as exposure calculation processing.
  • the first correction process described above for example, when the block of interest is included in the first imaging region 141, the first correction process described above, that is, the replacement process is performed by the first processing unit 151 as shown in FIG.
  • the first image data in which the whiteout or blackout in the block of interest has occurred is replaced with the second image data from the reference block included in the second imaging region 142.
  • the first processing unit 151 receives the second image data from the reference block as information 182 from the second processing unit 152, for example.
  • the second correction process performed by the first processing unit 151 and / or the second processing unit 152 is the same as the second correction process for FIG. 25 described above as the case of performing the focus detection process.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on the image data from the first processing unit 151 and the second processing unit 152, and the imaging screen by the imaging unit 32 is displayed based on the calculation result. Then, the image is divided into a plurality of areas including the detected subject element, and the imaging conditions are reset for the plurality of areas.
  • the image processing unit 32c generates the first processing unit 151 that generates the image data of the subject imaged in the first imaging area 141, and the image data of the subject that is imaged in the second imaging area 142. And a second processing unit 152.
  • the first processing unit 151 generates image data of the subject imaged in the first imaging area 141 from the image data of the object imaged in the second imaging area 142. Accordingly, preprocessing (first correction processing and second correction processing) for image data can be performed in parallel by the plurality of correction units 322, so that the processing burden on the correction unit 322 can be reduced.
  • the image processing unit 32c generates a signal based on the subject incident on the first imaging region 141, and a first processing unit 151 that generates a signal based on the subject incident on the second imaging region 142. And a processing unit 152.
  • the first processing unit 151 generates a signal based on the subject imaged in the first imaging region 141 based on the signal based on the subject incident on the second imaging region 142.
  • the image processing unit 32c generates a first processing unit 151 that generates image data of a subject that has entered the first imaging region 141, and a second unit that generates image data of the subject that has entered the second imaging region 142. And a processing unit 152.
  • the first processing unit 151 generates image data of the subject imaged in the first imaging area 141 from the image data of the object incident on the second imaging area 142.
  • the image processing unit 32c generates a signal based on a subject incident on the first imaging region 141, and a second processing unit generates a signal based on the subject incident on the second imaging region 142. And a processing unit 152.
  • the first processing unit 151 generates a signal based on the subject imaged in the first imaging region 141 based on the signal based on the subject incident on the second imaging region 142.
  • a first image based on the image signal read from the area and a second image based on the image signal read from the second imaging area are respectively generated.
  • the control unit 34 uses the first image for display and the second image for detection.
  • An imaging condition set in the first imaging area for capturing the first image is referred to as a first imaging condition
  • an imaging condition set in the second imaging area for capturing the second image is referred to as a second imaging condition.
  • the control unit 34 may make the first imaging condition different from the second imaging condition.
  • the first imaging condition set in the first imaging area is the same throughout the first imaging area of the imaging screen
  • the second imaging condition set in the second imaging area is the second imaging area of the imaging screen.
  • FIG. 28 is a diagram schematically showing processing of the first image data and the second image data.
  • the first image data captured under the first imaging condition is output from each pixel included in the first imaging area 141
  • the first image data captured under the second imaging condition is output from each pixel included in the second imaging area 142.
  • Second image data is output.
  • the first image data from the first imaging area 141 is output to the first processing unit 151.
  • the second image data from the second imaging region 142 is output to the second processing unit 152.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first processing unit 151 adds the second image data to the first image data from the reference pixel Pr included in the first imaging area. Does not perform correction processing.
  • the second processing unit 152 sets the second image data used for the focus detection process, the subject detection process, and the exposure calculation process. 2 Correction processing is not performed. However, the second processing unit 152 performs the second correction process for reducing the difference between the image data due to the difference between the first imaging condition and the second imaging condition for the second image data used for the interpolation of the first image data. Do.
  • the second processing unit 152 outputs the second image data after the second correction processing to the first processing unit 151 as indicated by an arrow 182. Note that the second processing unit 152 may output the second image data after the second correction processing to the generation unit 323 as indicated by a dashed arrow 183.
  • the second processing unit 152 receives, from the first processing unit 151, for example, information 181 about the first imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition.
  • the generation unit 323 performs pixel defect correction processing, color interpolation processing, and contour enhancement processing based on the first image data from the first processing unit 151 and the second image data that has been second corrected by the second processing unit 152. And image processing such as noise reduction processing, and output image data after image processing.
  • the object detection unit 34a performs processing for detecting a subject element based on the second image data from the second processing unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on the second image data from the second processing unit 152, and based on the calculation result, the imaging screen by the imaging unit 32 is detected. While dividing into a plurality of regions including elements, imaging conditions are reset for the plurality of regions.
  • the lens movement control unit 34d performs focus detection processing based on the second signal data from the second processing unit 152, and moves the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result. A drive signal is output.
  • the first imaging condition set in the first imaging area differs depending on the area of the imaging screen, and the second imaging condition set in the second imaging area is the same throughout the second imaging area of the imaging screen. A case will be described with reference to FIG.
  • first image data captured under a first imaging condition that varies depending on the region of the imaging screen is output, and from each pixel included in the second imaging region 142, the imaging screen
  • the second image data captured under the same second imaging condition is output in the entire second imaging region.
  • the first image data from the first imaging area 141 is output to the first processing unit 151.
  • the second image data from the second imaging region 142 is output to the second processing unit 152.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first imaging condition set in the first imaging area 141 differs depending on the area of the imaging screen. That is, the first imaging condition differs depending on the partial area in the first imaging area 141.
  • the first processing unit 151 applies the first image data from the reference pixel Pr to the first image data.
  • 1-2 The second correction process similar to the second correction process described in (1) is performed.
  • the first processing unit 151 does not perform the second correction process on the first image data from the reference pixel Pr. .
  • the second processing unit 152 performs focus detection processing, subject detection processing, and exposure.
  • the second correction process is not performed for the second image data used for the calculation process.
  • the second processing unit 152 determines whether there is a difference between the image data due to the difference between the imaging condition for the target pixel P included in the first imaging area 141 and the second imaging condition. A second correction process is performed to reduce the difference.
  • the second processing unit 152 outputs the second image data after the second correction processing to the first processing unit 151 (arrow 182).
  • the second processing unit 152 may output the second image data after the second correction processing to the generation unit 323 (arrow 183).
  • the second processing unit 152 uses the information 181 about the imaging condition for the target pixel P included in the first imaging area 141 necessary for reducing the difference between the image data due to the difference in the imaging condition, for example, the first process. Received from the unit 151.
  • the generation unit 323 performs pixel defect correction processing, color interpolation processing, and contour enhancement processing based on the first image data from the first processing unit 151 and the second image data that has been second corrected by the second processing unit 152. And image processing such as noise reduction processing, and output image data after image processing.
  • the object detection unit 34a performs processing for detecting a subject element based on the second image data from the second processing unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on the second image data from the second processing unit 152, and based on the calculation result, the imaging screen by the imaging unit 32 is detected. While dividing into a plurality of regions including elements, imaging conditions are reset for the plurality of regions.
  • the lens movement control unit 34d performs focus detection processing based on the second signal data from the second processing unit 152, and moves the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result. A drive signal is output.
  • the first imaging condition set in the first imaging area 141 is the same throughout the first imaging area 141 of the imaging screen, and the second imaging condition set in the second imaging area 142 is the same. A case where it varies depending on the area of the imaging screen will be described with reference to FIG.
  • first image data captured under the same first imaging condition is output in the entire first imaging area 141 of the imaging screen, and is included in the second imaging area 142.
  • second image data captured under a fourth imaging condition that varies depending on the area of the imaging screen is output.
  • the first image data from the first imaging area 141 is output to the first processing unit 151.
  • the second image data from the second imaging region 142 is output to the second processing unit 152.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first processing unit 151 since the first imaging condition set in the first imaging area 141 is the same for the entire first imaging area 141 of the imaging screen, the first processing unit 151 includes the reference included in the first imaging area 141. The second correction process is not performed on the first image data from the pixel Pr.
  • the second processing unit 152 performs the second correction process on the second image data as follows. I do. For example, the second processing unit 152 performs the second correction process on the second image data imaged under a certain imaging condition in the second image data, thereby obtaining the second image data after the second correction process and The difference from the second image data imaged under another imaging condition different from the certain imaging condition described above is reduced.
  • the second processing unit 152 depends on the difference between the imaging condition for the target pixel P included in the first imaging region 141 and the second imaging condition.
  • a second correction process is performed to reduce the difference between the image data.
  • the second processing unit 152 outputs the second image data after the second correction processing to the first processing unit 151 (arrow 182).
  • the second processing unit 152 may output the second image data after the second correction processing to the generation unit 323 (arrow 183).
  • the second processing unit 152 uses, for example, the first processing unit 151 as the information 181 about the imaging condition for the pixel of interest P included in the first region necessary for reducing the difference between the image data due to the difference in the imaging condition. Receive from.
  • the generation unit 323 performs pixel defect correction processing, color interpolation processing, and contour enhancement processing based on the first image data from the first processing unit 151 and the second image data that has been second corrected by the second processing unit 152. And image processing such as noise reduction processing, and output image data after image processing.
  • the object detection unit 34a performs subject correction on the basis of the second image data imaged under a certain imaging condition and the second image data imaged under another imaging condition, which has been subjected to the second correction process by the second processing unit 152. Is detected, and the detection result is output.
  • the setting unit 34b performs an exposure calculation process based on the second image data captured under a certain imaging condition and the second image data captured under another imaging condition, which has been subjected to the second correction process by the second processing unit 152.
  • the imaging condition calculation process is performed. Based on the calculation result, the setting unit 34b divides the imaging screen by the imaging unit 32 into a plurality of areas including the detected subject element, and resets the imaging conditions for the plurality of areas.
  • the lens movement control unit 34d focuses based on the second signal data imaged under a certain imaging condition and the second signal data imaged under another imaging condition, which has been subjected to the second correction process by the second processing unit 152.
  • the lens movement control unit 34d that performs the detection process outputs a drive signal for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result.
  • the first imaging condition set in the first imaging area 141 varies depending on the area of the imaging screen
  • the second imaging condition set in the second imaging area 142 varies depending on the area of the imaging screen. Will be described with reference to FIG.
  • first image data captured under a first imaging condition that varies depending on the region of the imaging screen is output, and from each pixel included in the second imaging region 142, the imaging screen
  • the second image data imaged under different second imaging conditions depending on the area is output.
  • the first image data from the first imaging area 141 is output to the first processing unit 151.
  • the second image data from the second imaging region 142 is output to the second processing unit 152.
  • the first processing unit 151 performs the first correction process and the second correction process, or the first correction process or the second correction process on the first image data as necessary.
  • the second processing unit 152 performs the first correction process and the second correction process, or the first correction process or the second correction process on the second image data as necessary.
  • the first imaging condition set in the first imaging area 141 differs depending on the area of the imaging screen. That is, the first imaging condition differs depending on the partial area in the first imaging area 141.
  • the first processing unit 151 applies the first image data from the reference pixel Pr to the first image data.
  • 1-2 The second correction process similar to the second correction process described in (1) is performed.
  • the first processing unit 151 does not perform the second correction process on the first image data from the reference pixel Pr. .
  • the second processing unit 152 since the second imaging condition set in the second imaging area 142 differs depending on the area of the imaging screen, the second processing unit 152 performs the above-described 3. processing on the second image data.
  • the second correction process is performed as in the example.
  • the generation unit 323 performs pixel defect correction processing, color interpolation processing, and contour enhancement processing based on the first image data from the first processing unit 151 and the second image data that has been second corrected by the second processing unit 152. And image processing such as noise reduction processing, and output image data after image processing.
  • the object detection unit 34a performs subject correction based on the second image data imaged under a certain imaging condition and the second image data imaged under another imaging condition, which has been subjected to the second correction process by the second processing unit 152. Is detected, and the detection result is output.
  • the setting unit 34b performs an exposure calculation process based on the second image data captured under a certain imaging condition and the second image data captured under another imaging condition, which has been subjected to the second correction process by the second processing unit 152.
  • the imaging condition calculation process is performed. Based on the calculation result, the setting unit 34b divides the imaging screen by the imaging unit 32 into a plurality of areas including the detected subject element, and resets the imaging conditions for the plurality of areas.
  • the lens movement control unit 34d focuses based on the second signal data imaged under a certain imaging condition and the second signal data imaged under another imaging condition, which has been subjected to the second correction process by the second processing unit 152.
  • the lens movement control unit 34d that performs the detection process outputs a drive signal for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result.
  • one of the correction units 322 corresponds to one of the blocks 111a (unit division).
  • one of the correction units 322 may correspond to one of the composite blocks (composite sections) having a plurality of blocks 111a (unit sections).
  • the correction unit 322 sequentially corrects image data from pixels belonging to the plurality of blocks 111a included in the composite block. Even if a plurality of correction units 322 are provided corresponding to each composite block having a plurality of blocks 111a, the second correction processing of image data can be performed in parallel by the plurality of correction units 322. The burden can be reduced, and an appropriate image can be generated in a short time from the image data generated in each of the regions with different imaging conditions.
  • the generation unit 323 is provided inside the imaging unit 32A.
  • the generation unit 323 may be provided outside the imaging unit 32A. Even if the generation unit 323 is provided outside the imaging unit 32A, the same operational effects as the above-described operational effects can be obtained.
  • the multilayer imaging element 100A includes image processing that performs the above-described preprocessing and image processing in addition to the backside illumination imaging chip 111, the signal processing chip 112, and the memory chip 113.
  • a chip 114 is further provided.
  • the image processing chip 114 may be provided in the signal processing chip 112 without providing the image processing chip 114 in the multilayer imaging device 100A.
  • the second processing unit 152 receives, from the first processing unit 151, information on the first imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition. did.
  • the first processing unit 151 receives information about the second imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition from the second processing unit 152.
  • the second processing unit 152 may receive information about the first imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition from the driving unit 32b or the control unit 34.
  • the first processing unit 151 may receive information about the second imaging condition necessary for reducing the difference between the image data due to the difference in the imaging condition from the driving unit 32b or the control unit 34.
  • the imaging optical system 31 described above may include a zoom lens or tilt lens.
  • the lens movement control unit 34d adjusts the angle of view by the imaging optical system 31 by moving the zoom lens in the optical axis direction. That is, the image by the imaging optical system 31 can be adjusted by moving the zoom lens, such as obtaining an image of a wide range of subjects or obtaining a large image of a far subject. Further, the lens movement control unit 34d can adjust the distortion of the image by the imaging optical system 31 by moving the tilt lens in a direction orthogonal to the optical axis. Based on the idea that it is preferable to use the preprocessed image data as described above in order to adjust the state of the image by the imaging optical system 31 (for example, the state of the angle of view or the state of distortion of the image). The pre-processing described above may be performed.
  • FIGS. 29 and 30 With reference to FIGS. 29 and 30, a digital camera will be described as an example of an electronic apparatus on which the image processing apparatus according to the third embodiment is mounted.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment. In the present embodiment, a case will be described in which the boundaries of the divided areas exist in the block.
  • the correction unit 33b of the image processing unit 33 is one of preprocessing performed before image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions.
  • the first correction process is performed as necessary.
  • the imaging condition can be set (changed).
  • the divided areas 61 to 66 are defined as a first area 61 to a sixth area 66 (see FIG. 29A), respectively, and the first imaging conditions different from the first area 61 to the sixth area 66 are It is assumed that the sixth imaging condition is set.
  • the block is a minimum unit in which imaging conditions can be individually set in the imaging device 32a.
  • FIG. 29A is a diagram illustrating a predetermined range 280 including a boundary between the first region 61 corresponding to the person and the fourth region 64 corresponding to the mountain in the live view image 60a.
  • FIG. 20B is an enlarged view of the predetermined range 280 in FIG.
  • the predetermined range 280 includes a plurality of blocks 281 to 289.
  • the white background part in FIG. 29B shows a part corresponding to a person.
  • the hatched portion and the shaded portion in FIG. 29 (b) indicate portions corresponding to mountains.
  • the block 282, the block 285, and the block 287 include a boundary B1 between the first area 61 and the fourth area 64. In other words, in FIG.
  • a block including a boundary with an adjacent region is referred to as a boundary block
  • a block including no boundary is referred to as a main block. That is, in the example of FIG. 29B, the blocks 282, 285, and 287 are boundary blocks, and the remaining blocks 281, 283, 284, 286, 288, and 289 are main blocks.
  • the first area 61 corresponding to the person is set as the first imaging condition
  • the fourth area 64 corresponding to the mountain is set as the fourth imaging condition.
  • the setting unit 34b sets the imaging conditions of the main blocks 281 and 284 that capture the person as the first imaging condition, and the imaging conditions of the boundary blocks 282, 285, and 287 that capture the person and the mountain are also the first imaging conditions. Set to.
  • the setting unit 34b sets the imaging conditions of the main blocks 283, 286, 288, and 289 for imaging the mountain to the fourth imaging condition.
  • the first imaging conditions are set for the boundary blocks 282, 285, and 287 including the boundary B1 between the first region 61 and the fourth region 64, these boundary block 282, block 285, and block 287 are set.
  • the first imaging condition is also set in the hatched portion, that is, the portion corresponding to the mountain.
  • the imaging conditions different from the fourth imaging conditions set in the main blocks 283, 286, 288, and 289 for imaging mountains are set in the hatched portions in the boundary block 282, boundary block 285, and boundary block 287. Is done.
  • the hatched portions of the boundary blocks 282, 285, and 287 are set as the first imaging condition
  • the shaded main blocks 283, 286, 288, and 289 are set as the fourth imaging condition.
  • a correction signal described below is performed on the signals from the pixels belonging to the boundary block, thereby obtaining a signal similar to that obtained when imaging is performed under the same imaging condition as that in the main block.
  • This correction process is called a first correction process.
  • the first correction processing is performed to alleviate discontinuity that occurs in the image after image processing due to the presence of portions with different imaging conditions in the same region.
  • FIG. 30 is a diagram illustrating image data corresponding to FIG.
  • blocks 281 to 289 are each composed of 4 pixels of 2 pixels ⁇ 2 pixels.
  • the boundary B1 is indicated by a thick broken line.
  • the light from the subject 61a (see FIG. 5) is incident on the whitened pixels 281a to 281d, 282a to 282c, 284a to 284d, 285a, and 287a and shaded. It is assumed that subject light from the mountain 64a (see FIG. 5) enters the pixels 282d, 283a to 283d, 285b to 285d, 286a to 286d, 287b to 287d, 288a to 288d, and 289a to 289d.
  • the correction unit 33b determines which subject element receives light from each pixel belonging to the boundary block. Specifically, the correction unit 33b calculates the position of the boundary on the imaging surface of the imaging element 32a from the detection result of the subject element by the object detection unit 34a. Then, the correction unit 33b extracts a boundary block based on the calculated boundary position, and calculates which subject element from which subject light is incident on each pixel belonging to the extracted boundary block.
  • the correction unit 33b calculates the position of the boundary B1 between the first region 61 and the fourth region 64 from the detection result of the subject element by the object detection unit 34a. Then, the correction unit 33b extracts the blocks 282, 285, and 287 as boundary blocks based on the calculated position of the boundary B1. Based on the calculated position of the boundary B1, the correction unit 33b applies subject light from the person 61a to the pixels 282a, 282b and 282c of the boundary block 282, the pixel 285a of the boundary block 285, and the pixel 287a of the boundary block 287. Is incident.
  • the correction unit 33b performs a peak for the pixel 282d of the boundary block 282, the pixels 285b, 285c and 285d of the boundary block 285, and the pixels 287b, 287c and 287d of the boundary block 287 based on the calculated position of the boundary B1. It is calculated that the subject light from 64a is incident.
  • the main blocks 283, 286, 288, and 289 for the fourth region 64 image the subject light from the mountain 64a according to the fourth imaging condition.
  • the boundary blocks 282, 285, and 287 are set to the first imaging condition
  • the pixel 282d of the boundary block 282, the pixels 285b to 285d of the boundary block 285, and the pixels 287b to 287d of the boundary block 287 are Subject light from the mountain 64a is imaged under one imaging condition. Therefore, the correction unit 33b performs fourth imaging of the subject light from the mountain 64a for each signal from the pixel 282d of the boundary block 282, the pixels 285b to 285d of the boundary block 285, and the pixels 287b to 287d of the boundary block 287.
  • the first correction process is performed so that a signal similar to that obtained when imaging is performed under conditions.
  • correction processing is performed under the same conditions for a plurality of pixels that are targets of correction processing within the boundary block.
  • the boundary block 285 is described as an example, but correction processing similar to the following description is performed as necessary for other boundary blocks.
  • Example of first correction process 1. Performing the first correction process based on the imaging condition
  • two areas related to the boundary block are set as described below. Correction processing is performed based on the difference in the imaging conditions.
  • the correction coefficient ⁇ multiplied by the pixel value of the signal from each of the pixels 285b to 285d is 8 calculated as described above based on the difference between the imaging conditions set in the two adjacent areas.
  • the signals of the pixels 285b to 285d of the boundary block 285 corrected by the first correction process are the same as the signals when the light incident on the pixels 285b to 285d is imaged under the fourth imaging condition (ISO sensitivity 800). become.
  • Example 2 For example, when only the shutter speed is different between the fourth imaging condition and the first imaging condition, the shutter speed of the fourth imaging condition is 1/100 second, and the shutter speed of the first imaging condition is 1/1000 second
  • the correction coefficient ⁇ multiplied by the pixel value of the signal from each of the pixels 285b to 285d is 10 calculated as described above based on the difference in the imaging conditions respectively set in the two adjacent regions.
  • the signals of the pixels 285b to 285d of the boundary block 285 corrected by the first correction process are obtained when light incident on the pixels 285b to 285d is imaged under the fourth imaging condition (shutter speed is 1/100 second). It becomes the same signal.
  • the correction unit 33b For a plurality of frame image signals with a frame rate of 30 fps from the respective pixels 285b to 285d of the boundary block 285, a frame image signal having an acquisition start timing close to the frame image acquired under the fourth imaging condition (60 fps) is adopted.
  • the frame rate is converted from 30 fps to a frame rate of 60 fps.
  • This frame rate conversion is achieved, for example, by storing a signal from each of the pixels 285b to 285d of the boundary block 285 in a memory and reading the same signal twice from the memory.
  • the conversion from the frame rate of 30 fps to the frame rate of 60 fps by the first correction processing is performed by adding and synthesizing signals of a plurality of frame images acquired at a frame rate of 30 fps to generate a synthesized signal, and the synthesized signal is converted into the frame rate. It is also achieved by supplementing the signal of a frame image of 30 fps.
  • the correction unit 33b performs the first correction process on the signals from the respective pixels of all the boundary blocks as necessary. That is, for the signal from a certain pixel belonging to the boundary block, the correction unit 33b determines that the imaging condition applied to the main block for the same subject element as the pixel is different from the imaging condition applied to the boundary block. A first correction process is performed. However, if the imaging condition applied to the main block for the same subject element as the pixel is the same as the imaging condition applied to the boundary block, it is not necessary to perform the first correction process. The first correction process is not performed. As described above, even if there are some differences in imaging conditions, they are regarded as the same imaging conditions. In addition, if discontinuity that occurs in the image can be alleviated by performing image processing that lowers the sharpness and contrast on the image data obtained by imaging with the boundary block and the main block adjacent to the boundary block The first correction process may not be performed.
  • the pixel value of the signal output from the pixel of the boundary block and the signal output from the pixel of the main block The correction processing is performed based on the pixel value.
  • the correction unit 33b obtains the average value of the pixel values of the signals from the pixels of the boundary block obtained by imaging the subject light from the mountain 64a under the first imaging condition and the subject light from the mountain 64a in the fourth imaging condition.
  • the correction coefficient ⁇ is calculated based on the average value of the pixel values of the signals from the respective pixels of the main block imaged in step 1 adjacent to the boundary block. Then, the correction unit 33b multiplies each pixel value of the signal from each pixel of the boundary block that images the subject light from the mountain 64a by the correction coefficient ⁇ .
  • the average value of the pixel values of the signals from the pixels 285b to 285d of the boundary block 285 that captures the subject light from the mountain 64a is Vave1, and from the pixels 286a to 286d of the main block 286 adjacent to the boundary block 285. It is assumed that the average value of the pixel values of the signal is Vave2.
  • the correction unit 33b sets a value obtained by multiplying the pixel value of the signal from the pixel 285b of the boundary block 285 by the correction coefficient ⁇ as the pixel value after the first correction processing of the signal from the pixel 285b.
  • the correction unit 33b sets a value obtained by multiplying the pixel value of the signal from the pixel 285c of the boundary block 285 by the correction coefficient ⁇ as the pixel value after the first correction processing of the signal from the pixel 285c, and outputs the pixel value from the pixel 285d.
  • a value obtained by multiplying the pixel value of the signal by the correction coefficient ⁇ is set as a pixel value after the first correction processing of the signal from the pixel 285d.
  • the difference between the pixel value of the signal from the pixels 285b to 285d of the boundary block 285 and the pixel value of the signal from each pixel of the main block adjacent to the boundary block is mainly the first and fourth imaging. This is based on the difference in conditions. Therefore, by determining the correction coefficient ⁇ based on the difference in pixel values and correcting the signals of the pixels 285b to 285d with the correction coefficient ⁇ , the signals incident on the pixels 285b to 285d are the fourth light signals from the pixels 285b to 285d.
  • the signal is substantially the same as when the image is captured under the image capturing condition.
  • the correction unit 33b performs the first correction process on the signals from the respective pixels of all the boundary blocks as necessary.
  • the control unit 34 may determine which mode of the first correction processing is to be performed based on, for example, a setting state (including an operation menu setting) by the operation member 36. Note that the control unit 34 may determine which aspect of the first correction processing is performed depending on the imaging scene mode set in the camera 1 and the type of the detected subject element.
  • the correction unit 33b of the image processing unit 33 is further the same as the correction processing in the first embodiment before image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions. Correction processing is performed as necessary.
  • the same correction process as the correction process in the first embodiment is also referred to as a second correction process.
  • the correction unit 33b performs the second correction process after the first correction process performed as necessary as described above.
  • the signal from the pixel of the boundary block corrected by the first correction process is imaged by applying the imaging condition set in the main block, not the imaging condition set in the boundary block. It is processed as a signal obtained.
  • the signal from the pixel 282d of the boundary block 282 corrected by the first correction process is obtained by being imaged by applying the fourth imaging condition instead of the first imaging condition. This signal is processed by the correction unit 33b.
  • Processing can be appropriately performed in areas with different imaging conditions. That is, it is possible to appropriately generate an image based on the image data generated in each region. For example, discontinuity and discomfort appearing in the generated image can be suppressed due to differences in imaging conditions for each region. Moreover, since the signal from the pixel of the boundary block can be corrected appropriately, the image data can be generated appropriately. Further, the defocus amount can be appropriately detected based on the focus detection signal data generated in each region. For example, it is possible to suppress a decrease in focus detection accuracy due to a difference in imaging conditions for each region. In addition, the subject element can be appropriately detected based on the image data generated in each region.
  • the image data can be generated appropriately. Further, the defocus amount can be appropriately detected based on the focus detection signal data generated in each region. In addition, the subject element can be appropriately detected based on the image data generated in each region. Further, it is possible to appropriately set the imaging conditions based on the image data generated in each region.
  • a part of the image data for the first area 61 is obtained by imaging light incident on a part of the first area 61 adjacent to the fourth area 64. Since the correction unit 33b of the image processing unit 33 corrects part of the image data for the first region 61 according to the fourth imaging condition, the signal from the pixel of the boundary block can be corrected appropriately, and the image data is generated appropriately. can do. Further, the defocus amount can be appropriately detected based on the focus detection signal data generated in each region. In addition, the subject element can be appropriately detected based on the image data generated in each region. Further, it is possible to appropriately set the imaging conditions based on the image data generated in each region.
  • the correction unit 33b of the image processing unit 33 corrects part of the image data for the first region 61 according to the fourth imaging condition, the signal from the pixel of the boundary block can be corrected appropriately, and the image can be appropriately displayed. Data can be generated. Further, the defocus amount can be appropriately detected based on the focus detection signal data generated in each region. In addition, the subject element can be appropriately detected based on the image data generated in each region. Further, it is possible to appropriately set the imaging conditions based on the image data generated in each region.
  • signals from the pixels on which light from the mountain 64a is incident can be appropriately corrected, and image data can be generated appropriately.
  • the defocus amount can be appropriately detected based on the focus detection signal data generated in each region.
  • the subject element can be appropriately detected based on the image data generated in each region. Further, it is possible to appropriately set the imaging conditions based on the image data generated in each region.
  • the corrected signal value and the signal value of the pixel of the block for which the fourth imaging condition is set The difference only needs to be smaller (smoothed) than the difference between the signal value before correction and the signal value of the pixel of the block in which the fourth imaging condition is set.
  • the correction coefficient ⁇ is calculated as in this modification. May be. For example, if the region where the pixel to be corrected exists is small, or if the difference between the first imaging condition and the fourth imaging condition is small, the first correction process may be performed as in this modification.
  • a digital camera will be described as an example of an electronic apparatus on which the image processing apparatus according to the fourth embodiment is mounted.
  • points that are not particularly described are the same as those in the third embodiment.
  • pixel values of signals from a plurality of pixels to be corrected in the boundary block are multiplied by the same correction coefficient ⁇ .
  • the pixel values of signals from a plurality of pixels to be corrected in one boundary block are multiplied by correction coefficients having different values depending on their positions.
  • First correction process (Example of first correction process) 1. Performing the first correction process based on the imaging condition
  • two areas related to the boundary block (the first area 61 and the fourth area 64) will be described below.
  • the correction processing is performed based on the difference in the imaging conditions set in (). Specifically, even in the case of pixels in the same region, if the imaging conditions applied to the pixels in the boundary block are different from the imaging conditions applied to the main block, depending on the position of the pixels in the boundary block, The correction coefficient ⁇ in the third embodiment is weighted.
  • the correction unit 33b calculates the correction coefficient ⁇ based on the imaging conditions, similarly to (Example 1) and (Example 2) of the third embodiment.
  • the correction unit 33b changes the calculated correction coefficient ⁇ to a different value according to the distance from the boundary of the region. For example, the correction unit 33b changes the value of the correction coefficient ⁇ so that the value approaches 1 as the distance from the boundary of the region decreases. That is, the correction unit 33b changes the value of the correction coefficient ⁇ so that the correction effect is reduced as the position of the pixel to be corrected in the boundary block is closer to the boundary of the region.
  • the correction coefficient ⁇ thus changed is referred to as a correction coefficient ⁇ .
  • the correction unit 33b multiplies the pixel value of the signal from the pixel to be corrected by the correction coefficient ⁇ .
  • FIG. 31 is an enlarged view of the boundary block 285, and the center of gravity Gb of the pixel 285b, the center of gravity Gc of the pixel 285c, and the center of gravity Gd of the pixel 285d are indicated by black circles.
  • the distances Lb and Lc between the centroid positions Gb and Gc of the pixels 285b and 285c and the boundary B1 are smaller than the distance Ld between the centroid position Gd of the pixel 285d and the boundary B1.
  • the correction unit 33b sets the value of the correction coefficient ⁇ for the pixel 285d to, for example, 8 that is the same value as the correction coefficient ⁇ or 6 that is closer to 1 than the correction coefficient ⁇ , and further sets the value of the correction coefficient ⁇ for the pixels 285b and 285c to 1 For example, it is 4 near.
  • the value of the correction coefficient ⁇ given here is merely an example value, and is not limited to this value.
  • the signals of the pixels 285b to 285d of the boundary block 285 corrected by the first correction processing become closer to signals when imaged under the fourth imaging condition (ISO sensitivity 800) as the distance from the boundary B1 increases.
  • the correction unit 33b sets the value of the correction coefficient ⁇ for the pixel 285d to, for example, 10 that is the same value as the correction coefficient ⁇ or 7 that is closer to 1 than the correction coefficient ⁇ , and further sets the value of the correction coefficient ⁇ for the pixels 285b and 285c to 1. For example, 5 is the closest. Note that the value of the correction coefficient ⁇ given here is merely an example value, and is not limited to this value.
  • the signal of each pixel 285b to 285d of the boundary block 285 corrected by the first correction processing becomes closer to the signal when the image is captured under the fourth imaging condition (shutter speed is 1/100 second) as the distance from the boundary B1 increases.
  • the correction unit 33b performs the first correction process on the signals from the respective pixels of all the boundary blocks as necessary.
  • the signal value (pixel value) output from the pixel of the boundary block and the main Correction processing is performed based on the value (pixel value) of the signal output from the pixel of the block.
  • the correction coefficient ⁇ in the third embodiment is weighted.
  • the correction unit 33b calculates the correction coefficient ⁇ based on the imaging conditions, as in (Example 1) of the third embodiment.
  • the correction unit 33b changes the calculated correction coefficient ⁇ to a different value according to the distance from the boundary of the region. For example, the correction unit 33b changes the value of the correction coefficient ⁇ so that the value approaches 1 as the distance from the boundary of the region decreases. That is, the correction unit 33b changes the value of the correction coefficient ⁇ so that the correction effect is reduced as the position of the pixel to be corrected in the boundary block is closer to the boundary of the region.
  • the correction coefficient ⁇ after the change is called a correction coefficient ⁇ as in the above case.
  • the correction unit 33b multiplies the pixel value of the signal from the pixel to be corrected by the correction coefficient ⁇ .
  • Example 1 For example, the average value of the pixel values of the signals from the pixels 285b to 285d of the boundary block 285 that captured the subject light from the mountain 64a is Vave1, and each pixel of the main block 286 adjacent to the boundary block 285 It is assumed that the average value of the pixel values of the signals from 286a to 286d is Vave2.
  • the correction unit 33b sets the correction coefficient ⁇ for the signals from the pixels 285b to 285d of the boundary block 285 as follows. As described above, the distances Lb and Lc between the gravity center positions Gb and Gc of the pixel 285b and the pixel 285c and the boundary B1 are smaller than the distance Ld between the gravity center position Gd of the pixel 285d and the boundary B1.
  • the correction unit 33b performs the first correction process on the signals from the respective pixels of all the boundary blocks as necessary.
  • the control unit 34 may determine which mode of the first correction processing is to be performed based on, for example, a setting state (including an operation menu setting) by the operation member 36. Note that the control unit 34 may determine which aspect of the first correction processing is performed depending on the imaging scene mode set in the camera 1 and the type of the detected subject element.
  • the correction unit 33b of the image processing unit 33 is further the same as the correction processing in the first embodiment before image processing, focus detection processing, subject detection (subject element detection) processing, and processing for setting imaging conditions. Correction processing is performed as necessary.
  • the same correction process as the correction process in the first embodiment is also referred to as a second correction process.
  • the correction unit 33b performs the second correction process after the first correction process performed as necessary as described above.
  • the control unit 34 sets the image data of the block 85 in the block 85 based on the image data of the block 85 (pixel signal value). It is determined whether or not to use a pixel value of a block imaged under an imaging condition different from the captured imaging condition. That is, the control unit 34 selects and selects a pixel of a block imaged under an imaging condition different from the imaging condition set in the block 85 when whiteout or blackout occurs in the image data of the block 85. The image data in which whiteout or blackout has occurred is replaced with the image data (pixel signal value) of the selected pixel.
  • the image data (pixel signal value) of the block 85 is not less than the first threshold value or not more than the second threshold value. It is good. Further, the control unit 34 uses the image data (pixel value of the pixel) of the block 85 when the image data of the block 85 has no whiteout or blackout. In this case, the first correction process of the third embodiment or the fourth embodiment described above is performed. Further, the control unit 34 selects and selects a pixel of a block imaged under an imaging condition different from the imaging condition set in the block 85 even when there is no whiteout or blackout in the image data of the block 85.
  • Image data in which whiteout or blackout has occurred may be replaced with pixel image data (pixel signal value).
  • the control unit 34 may perform subject recognition and perform the first correction process based on the recognition result. For example, before the actual shooting, the setting unit 34b sets an imaging condition different from the first imaging condition, and the object detection unit 34a performs subject recognition. Then, a signal value of a pixel obtained by imaging under the first imaging condition and imaging the same subject as an area to be corrected (for example, the pixels 85b and 85d) may be used. In this way, as described in the first to fourth embodiments, the fourth imaging condition is set by the first correction processing for the subject imaged with the first imaging condition set. The image is corrected as if it were captured.
  • subject elements are detected using a known subject recognition technique.
  • Known subject recognition techniques include various methods such as labeling and template matching.
  • the control unit 34 detects the subject element and divides the region using the live view image obtained by imaging with the imaging element 32a.
  • the control unit 34 detects subject elements using a live view image obtained by imaging with the photometric sensor. Further, the area may be divided. In addition, you may combine each embodiment and modification which were mentioned above, respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。

Description

撮像装置、被写体検出装置、および電子機器
　本発明は、撮像装置、被写体検出装置、および電子機器に関する。
　撮像素子からの信号により被写体検出を行う技術を搭載した撮像装置が知られている（特許文献１参照）。
　従来から被写体検出の精度向上が要求されていた。
日本国特開２００６－１９７１９２号公報
　第１の態様によると、撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　第２の態様によると、撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体を検出するための信号を生成する生成部と、を備える。
　第３の態様によると、被写体検出装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの被写体の画像データを入力する入力部と、前記第２撮像領域で撮像された被写体の画像データにより、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　第４の態様によると、被写体検出装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの被写体の画像データを入力する入力部と、前記第２撮像領域で撮像された被写体の画像データにより、前記第１撮像領域で撮像された被写体を検出するための信号を生成する生成部と、を備える。
　第５の態様によると、電子機器は、複数の撮像領域を有する撮像素子と、複数の前記撮像領域に異なる撮像条件を設定する設定部と、前記複数の撮像領域のうち、第１撮像条件で撮像された撮像領域の被写体の画像信号の一部を、第２撮像条件により撮像されたように補正した信号により被写体を検出する検出部と、を備える。
　第６の態様によると、電子機器は、複数の撮像領域を有する撮像素子と、複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、前記第１撮像領域で撮像された被写体の画像信号を、第１撮像条件と第２撮像条件とにより撮像されたように補正した信号により被写体を検出する検出部と、を備える。
　第７の態様によると、電子機器は、複数の第１画素が配置され、被写体を撮像する第１撮像領域と、複数の第２画素が配置され、被写体を撮像する第２撮像領域とを有する撮像素子と、前記第１撮像領域を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第１画素からの信号を用いて、前記第１画素と前記第２画素とのうちから選択された画素からの信号により、前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　第８の態様によると、電子機器は、第１画素と第２画素とが配置された第１撮像領域と、第３画素が配置された第２撮像領域とを有する撮像素子と、前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定する設定部と、前記第２画素からの信号を、前記第３画素の信号に対して平滑化する補正を行う補正部と、前記第１画素の信号と前記補正部により補正された前記第２画素の信号とを用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
第１の実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 カメラの撮像素子に結像される被写体の像を模式的に示す図である。 撮像条件の設定画面を例示する図である。 図７(a)はライブビュー画像における所定範囲を例示する図、図７(b)は所定範囲の拡大図である。 図８は図７(b)に対応する画像データを例示する図である。 図９(a)はライブビュー画像における注目領域を例示する図、図９(b)は注目画素および参照画素Ｐｒの拡大図である。 図１０(a)は画素から出力された光電変換信号の並びを例示する図、図１０(b)はＧ色成分の画像データの補間を説明する図、図１０(c)は補間後のＧ色成分の画像データを例示する図である。 図１１(a)は図１０(a)からＲ色成分の画像データを抽出した図、図１１(b)は色差成分Ｃｒの補間を説明する図、図１１(c)は色差成分Ｃｒの画像データの補間を説明する図である。 図１２(a)は図１０(a)からＢ色成分の画像データを抽出した図、図１２(b)は色差成分Ｃｂの補間を説明する図、図１２(c)は色差成分Ｃｂの画像データの補間を説明する図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部の領域を拡大した図である。 フォーカスポイントを拡大した図である。 図１６(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１６(b)は、ライブビュー画像および探索範囲を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 図１８(a)～図１８(c)は、撮像素子の撮像面における第１撮像領域および第２撮像領域の配置を例示する図である。 変形例１１による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。 第２の実施の形態によるカメラの構成を例示するブロック図である。 第２の実施の形態における各ブロックと、複数の補正部との対応関係を模式的に示した図である。 積層型撮像素子の断面図である。 画像処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 焦点検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。 図２９(a)はライブビュー画像における所定範囲を例示する図、図２９(b)は所定範囲の拡大図である。 は図２９(b)に対応する画像データを例示する図である。 境界ブロックの拡大図である。
－－－第１の実施の形態－－－
　第１の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ１（図１）は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。
＜カメラの説明＞
　図１は、第１の実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。
　撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部３２に対する電荷蓄積時間などの撮像指示は、制御部３４から駆動部３２ｂへ送信される。
　画像処理部３３は、入力部３３ａと、補正部３３ｂと、生成部３３ｃとを含む。入力部３３ａには、撮像部３２によって取得された画像データが入力される。補正部３３ｂは、上記入力された画像データに対して補正を行う前処理を行う。前処理の詳細については後述する。生成部３３ｃは、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部３３ｃは、表示部３５により表示する画像を生成する。
　制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（露光時間）、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。
　制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄ とが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。
　物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像データから、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの被写体要素を検出する。設定部３４ｂは、撮像部３２により取得した画像データを、上述のように検出した被写体要素を含む複数の領域に分割する。
　設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
　撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。
　レンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイントと呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。フォーカスを合わせると、被写体の像の尖鋭度が高まる。すなわち、撮像光学系３１のフォーカスレンズを光軸方向に移動させることによって、撮像光学系３１による像を調節する。レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号、例えば被写体の像を撮像光学系３１のフォーカスレンズで調節するための信号を、撮像光学系３１のレンズ移動機構３１ｍに送る。このように、レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを光軸方向に移動させる移動部として機能する。レンズ移動制御部３４ｄがＡＦ動作のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
　表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
　操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。
　記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。
＜積層型の撮像素子の説明＞
　上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。
　図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。
　マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。
　半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。
　配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。
　なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。
　信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。
　また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた不図示の回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。
　メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
　図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が１つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。
　画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
　本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
　図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により１つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ～Ｄにより示す。
　単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。
　単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。
　さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。
　なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。
　単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。
　ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。
　このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
　上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
＜撮像素子のブロック制御＞
　本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４の撮像制御部３４ｃは、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。
　図５は、カメラ１の撮像素子３２ａに結像される被写体の像を模式的に示す図である。カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。
　制御部３４は、設定部３４ｂにより領域を分割する前は、撮像チップ１１１の全域（すなわち撮像画面の全体）に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で０．３段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ１１１の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。
　図５において、撮像チップ１１１の撮像面に、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａ、６６ａとを含む像が結像されている。人物６１ａは、バッグ６３ａを両手で抱えている。人物６１ａの右後方に、自動車６２ａが止まっている。
＜領域の分割＞
　制御部３４は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部３４ａによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図５の例では、物体検出部３４ａが、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａと、雲６６ａとを被写体要素として検出する。
　次に、設定部３４ｂによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物６１ａを含む領域を第１領域６１とし、自動車６２ａを含む領域を第２領域６２とし、バッグ６３ａを含む領域を第３領域６３とし、山６４ａを含む領域を第４領域６４とし、雲６５ａを含む領域を第５領域６５とし、雲６６ａを含む領域を第６領域６６として説明する。
＜ブロックごとの撮像条件の設定＞
　制御部３４は、設定部３４ｂによって画面を複数の領域に分割すると、図６に例示するような設定画面を表示部３５に表示させる。図６において、ライブビュー画像６０ａが表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。
　設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。ゲインは、ＩＳＯ感度である。撮像条件の設定項目は、図６に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
　本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定（変更）の対象にする。例えば、タッチ操作が可能なカメラ１において、ユーザーは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい主要被写体の表示位置をタップ操作する。制御部３４は、例えば人物６１ａの表示位置がタップ操作された場合に、ライブビュー画像６０ａにおいて人物６１ａを含む第１領域６１を撮像条件の設定（変更）対象領域にするとともに、第１領域６１の輪郭を強調して表示させる。
　図６において、輪郭を強調して表示（太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等）する第１領域６１は、撮像条件の設定（変更）の対象となる領域を示す。図６の例では、第１領域６１の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、第１領域６１が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザーによってシャッタースピード（ＴＶ）の表示７１がタップ操作されると、制御部３４は、強調して表示されている領域（第１領域６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
　以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。
　シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザーによってタップ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域（第１領域６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タップ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。
　なお、設定部３４ｂは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザーの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。
　強調表示されていない領域（第１領域６１以外の他の領域）については、設定されている撮像条件が維持される。
　制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
　以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成する不図示のレリーズボタン、または撮像開始を指示する表示（レリーズアイコン）が操作されると、制御部３４が撮像部３２を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像を行わせる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。画像処理は、上述したように、領域ごとに異なる画像処理条件で行うことができる。
　上記画像処理部３３による画像処理の後、制御部３４から指示を受けた記録部３７が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
＜第１補正処理＞
　画像処理部３３の補正部３３ｂは、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に行う前処理の１つとして、第１補正処理を必要に応じて行う。
　上述したように、本実施の形態では、設定部３４ｂにより撮像画面の領域が分割された後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。
　例えば、分割後の領域をそれぞれ第１領域６１～第６領域６６（図７(a)参照）とし、第１領域６１～第６領域６６に対して、それぞれ異なる第１撮像条件～第６撮像条件が設定されるものとする。このような場合において、第１領域６１～第６領域６６の境界を含むブロックが存在する。ブロックとは、上述したように、撮像素子３２ａにおいて撮像条件を個々に設定可能な最小単位である。
　図７(a)は、ライブビュー画像６０ａにおける第１領域６１と第４領域６４との境界を含む所定範囲８０を例示する図である。図７(b)は、図７(a)の所定範囲８０を拡大した図である。図７(b)において、所定範囲８０に複数のブロック８１～８９が含まれている。本例では、人物を撮像するブロック８１および８４を第１領域６１に含めるとともに、人物および山を撮像するブロック８２、８５、および８７についても第１領域６１に含めるものとする。このため、ブロック８１、８２、８４、８５、および８７に対して第１撮像条件が設定される。一方、山を撮像するブロック８３、８６、８８、および８９を第４領域６４に含めるものとする。このため、ブロック８３、８６、８８および８９に対して第４撮像条件が設定される。
　図７(b)の白地部は、人物に対応する部分を示す。また、図７(b)の斜線部は、山に対応する部分を示す。ブロック８２、ブロック８５、およびブロック８７には、第１領域６１と第４領域６４との境界Ｂ１が含まれている。図７(b)の網掛け部は、山に対応する部分を示す。
　本実施の形態では、ブロックが撮像条件の設定の最小単位であるため、１つのブロックには同じ撮像条件が設定される。上述したように、第１領域６１と第４領域６４との境界Ｂ１を含むブロック８２、８５および８７には第１撮像条件が設定されるので、これらのブロック８２、ブロック８５、およびブロック８７の斜線部、すなわち山に対応する部分にも第１撮像条件が設定される。つまり、ブロック８２、ブロック８５、およびブロック８７内の斜線部には、山を撮像するブロック８３、８６、８８、および８９に設定される第４撮像条件とは異なる撮像条件が設定される。
　この場合、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間で、画像の明暗、コントラスト、色合い等が相違する場合がある。極端な例では、上記斜線部に相当する画像データに白飛びまたは黒潰れが生じてしまうことも想定される。例えばブロック８５では、人物に対して好適な第１撮像条件がブロック８５の斜線部（すなわち山部分）に適さず、斜線部に相当する画像データに白飛びまたは黒潰れが生じることがある。白飛びは、オーバー露光によって画像の高輝度部分のデータの階調が失われるこという。また、黒潰れは、アンダー露光によって画像の低輝度部分のデータの階調が失われることをいう。
　図８は図７(b)に対応する画像データを例示する図である。図８において、ブロック８１～８９は、それぞれ２画素×２画素の４画素によって構成されているものとする。このうち図８の中央に位置するブロック８５における画素８５ｂおよび画素８５ｄにおいて黒潰れが生じているものとする。本実施の形態による補正部３３ｂは、ブロックにおいて白飛びや黒潰れが生じた画像データを、同じ撮像画面内の他のブロックの画像データと置き換える置換処理を行うことによって画像を補正する。この補正を第１補正処理と呼ぶことにする。
　補正部３３ｂは、上記ブロック８５のように、複数の被写体要素に基づく領域の境界を含んでおり、かつ、このブロック８５による画像データに白飛びまたは黒潰れが存在する場合に、白飛びまたは黒潰れが存在する全てのブロックに対して第１補正処理を行う。
　なお、白飛びや黒潰れが生じていない場合の第１補正処理は不要である。
（第１補正処理の例示）
　補正部３３ｂは、白飛びまたは黒潰れが生じた画像データを含むブロックを注目ブロックとして、注目ブロックに対して第１補正処理を行う。ここでは、注目ブロックを白とびまたは黒潰れが生じた画像データを含む領域としたが、完全に白飛びまたは黒潰れしていなくてもよい。たとえば、信号値が第１閾値以上の領域または第２閾値以下の領域を注目ブロックとしてもよい。図７(b)および図８の例では、所定の注目ブロック８５を中心とする所定範囲８０（例えば３×３ブロック）に含まれる、注目ブロック８５の周囲の８ブロックを参照ブロックとする。すなわち、所定の注目ブロック８５の周囲のブロック８１～８４およびブロック８６～８９が参照ブロックである。
　なお、所定範囲８０を構成するブロック数は、上記３×３ブロックに限らず、適宜変更してよい。
１．白飛びまたは黒潰れが生じた領域の全体に同じ補正を行う。
（１－１）補正部３３ｂは、第１補正処理として、１つの参照ブロックで取得された画像データを用いて、注目ブロック内の一部の領域を補正する。具体的には、補正部３３ｂは、１つの参照ブロックで取得された画像データを用いて、白飛びまたは黒潰れが生じた画像データの全てを補正する。この時、参照ブロックの面積は、注目ブロックと同じである。処理（１－１）の態様は、例えば下記(i)～(iv)のいずれかの態様を用いる。
（i）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域に最も近い位置の１つの参照ブロックで取得された画像データによって、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換する。注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の画像データを上述の最も近い位置の一つの参照ブロックで取得された同一の画像データによって、置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、黒潰れ画素（画素８５ｂ、８５ｄ）に最も近い位置の参照ブロック８６に含まれる画素８６ａ～８６ｄに対応する画像データに基づき、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（例えば画素８６ｃに対応する画像データ）によって置換する。
（ii）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、山に対して第４撮像条件が設定されている参照ブロック８３、８６、８８および８９から選んだ１つの参照ブロック、例えば参照ブロック８８に含まれる画素８８ａ～８８ｄに対応する画像データに基づき、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（例えば画素８８ｂに対応する画像データ）よって置換する。このように、補正部３３ｂは、黒潰れ画素８５ｄを、参照ブロックの一部の画素で置換することとしてもよい。
（iii）補正部３３ｂは、上記（i）または（ii）により選んだ１つの参照ブロックで取得された４つの画素に対応する画像データのうち、注目ブロック内の白飛びまたは黒潰れした画素と間隔が短い画素を選択してもよい。具体的には、補正部３３ｂは、黒潰れ画素８５ｂと画素８６ａの間隔と、黒潰れ画素８５ｂと画素８６ｂとの間隔のうち、黒潰れ画素８５ｂとの間隔が短い画素８６ａによって黒潰れ画素８５ｂを置換する。ここで、間隔とは、黒潰れ画素８５ｂと画素８６ａとを例とする場合、黒潰れ画素８５ｂと画素８６ａとの中心間の間隔である。また、間隔は、黒潰れ画素８５ｂと画素８６ａとの重心間の間隔でもよい。さらに、黒潰れ画素が連続しているような場合（黒潰れ画素８５ｂと黒潰れ画素８６ａ）は、２つの黒潰れ画素の塊の中心、あるいは重心であってもよい。参照ブロック内の８６ａ等についても同様である。また、補正部３３ｂは、隣接する画素に対応する画像データを用いて、白飛びまたは黒潰れが生じた画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６を選んだ場合には、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（参照ブロック８６の画素８６ａ、または参照ブロック８６の画素８６ｃに対応する画像データ）によって置換する。
（iv）補正部３３ｂは、上記（i）または（ii）により選んだ１つの参照ブロックで取得された４つの画素に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８８を選んだ場合には、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、参照ブロック８８内の複数の画素に基づく画像データ（例えば参照ブロック８８に含まれる画素８８ａ～８８ｄに対応する画像データの平均値）によって置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８８ｂは、画素８８ｄよりも黒潰れ画素８５ｄに近いので、画素８８ｂに対応する画像データの寄与率を画素８８ｄに対応する画像データの寄与率よりも高くする重みを付ける。
　また、参照ブロック８８に含まれる画素８８ａ～８８ｄに対応する画像データの平均値を算出する代わりに、画素８８ａ～８８ｄに対応する画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する画像データを置換してもよい。
（１－２）補正部３３ｂは、第１補正処理として、複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データの全てを置換する。ここでは、黒潰れ画素（８５ｂ、８５ｄ）を置換するための参照ブロックの候補を複数抽出する。最終的に置換に用いるのは一つのブロック内の画素となる。処理（１－２）の態様は、例えば下記(i)～(iv)のいずれかの態様を用いる。
（i）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域の周辺の複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、黒潰れ（画素８５ｂ、８５ｄ）と隣接する二つの参照ブロック８６および８８に含まれる画素８６ａ～８６ｄ、および８８ａ～８８ｄに対応する画像データに基づき、次のように置換する。例えば、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（例えば画素８８ｂに対応する画像データ）によって置換する。この時、画素８８ｂで置換される、黒潰れ画素８５ｂと黒潰れ画素８５ｄの面積は、参照ブロック８８の面積よりも小さくなっている。
（ii）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、山に対して第４撮像条件が設定されている参照ブロック８３、８６、８８および８９から選んだ二つの参照ブロック、例えば参照ブロック８６および８８に含まれる画素８６ａ～８６ｄ、および８８ａ～８８ｄに対応する画像データに基づき、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（例えば画素８６ｃに対応する画像データ）よって置換する。
（iii）補正部３３ｂは、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データのうち、注目ブロック内の白飛びまたは黒潰れした画素に隣接する画素に対応する画像データを用いて、白飛びまたは黒潰れが生じた画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（参照ブロック８６の画素８６ａもしくは画素８６ｃ、または参照ブロック８８の画素８６ｃもしくは画素８８ａに対応する画像データ）によって置換する。
（iv）補正部３３ｂは、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、黒潰れ画素８５ｂに対応する画像データと、黒潰れ画素８５ｄに対応する画像データとを、同じデータ（参照ブロック８６に含まれる画素８６ａ～８６ｄに対応する画像データ、および参照ブロック８８に含まれる画素８８ａ～８８ｄに対応する画像データの平均値）によって置換する。このとき、置換に用いる画素の面積は、黒潰れ画素８５ｂと８５ｄとの面積よりも大きい。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａは、画素８６ｂよりも黒潰れ画素８５ｂに近いので、画素８６ａに対応する画像データの寄与率を画素８６ｂに対応する画像データの寄与率よりも高くする重みを付ける。
　また、参照ブロック８６および８８に含まれる画素８６ａ～８６ｄおよび画素８８ａ～８８ｄに対応する画像データの平均値を算出する代わりに、画素８６ａ～８６ｄおよび画素８８ａ～８８ｄに対応する画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する画像データを置換してもよい。
２．白飛びまたは黒潰れが生じた領域の全体に複数の補正を行う。
（２－１）補正部３３ｂは、第１補正処理として、１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データの全てを置換する。処理（２－１）の態様は、例えば下記(i)～(iii)のいずれかの態様を用いる。
（i）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした画素に隣接する画素に対応する画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、黒潰れ（画素８５ｂ、８５ｄ）に隣接する位置の参照ブロック８６に含まれる画素８６ａ～８６ｄに対応する画像データに基づき、次のように置換する。例えば、黒潰れ画素８５ｂに対応する画像データを隣接する参照ブロック８６の画素８６ａの画像データによって置換し、黒潰れ画素８５ｄに対応する画像データを隣接する参照ブロック８６の画素８６ｃの画像データによって置換する。
（ii）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、山に対して第４撮像条件が設定されている参照ブロック８３、８６、８８および８９から選んだ１つの参照ブロック、例えば参照ブロック８６に含まれる画素８６ａ～８６ｄに対応する画像データを用いて、次のように置換する。例えば、黒潰れ画素８５ｂに対応する画像データを参照ブロック８６の画素８６ｂの画像データによって置換し、黒潰れ画素８５ｄに対応する画像データを参照ブロック８６の画素８６ｄの画像データによって置換する。
（iii）補正部３３ｂは、上記（i）または（ii）により選んだ１つの参照ブロックで取得された４つの画素に対応する画像データに基づいて生成した画像データを用いて置換してもよい。補正部３３ｂは、例えば参照ブロック８６を選んだ場合には、注目ブロック内の黒潰れ画素８５ｂに対応する画像データを、参照ブロック８６に含まれる画素８６ａおよび８６ｂに対応する画像データの平均値によって置換する。また、注目ブロック内の黒潰れ画素８５ｄに対応する画像データを、参照ブロック８６に含まれる画素８６ｃおよび８６ｄに対応する画像データの平均値によって置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａに対応する画像データは、画素８６ｂに対応する画像データよりも黒潰れ画素８５ｂに対応する画像データに近いので、画素８６ａに対応する画像データの寄与率を画素８６ｂに対応する画像データの寄与率よりも高くする重みを付ける。
（２－２）補正部３３ｂは、第１補正処理として、複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データの全てを置換する。処理（２－２）の態様は、例えば下記(i)～(iii)のいずれかの態様を用いる。
（i）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域の周辺の複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、黒潰れ（画素８５ｂ、８５ｄ）と隣接する二つの参照ブロック８６および８８に含まれる画素８６ａ～８６ｄ、および８８ａ～８８ｄに対応する画像データに基づき、次のように置換する。例えば、黒潰れ画素８５ｂに対応する画像データを隣接する参照ブロック８６の画素８６ａの画像データによって置換し、黒潰れ画素８５ｄに対応する画像データを隣接する参照ブロック８８の画素８８ｂの画像データによって置換する。
（ii）補正部３３ｂは、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。例えば、注目ブロック８５の周囲の参照ブロック８１～８４、８６～８９のうち、山に対して第４撮像条件が設定されている参照ブロック８３、８６、８８および８９から選んだ二つの参照ブロック、例えば参照ブロック８６および８８に含まれる画素８６ａ～８６ｄ、および８８ａ～８８ｄに対応する画像データに基づき、次のように置換する。例えば、黒潰れ画素８５ｂに対応する画像データを参照ブロック８６の画素８６ａの画像データによって置換し、黒潰れ画素８５ｄに対応する画像データを参照ブロック８８の画素８８ｂの画像データによって置換する。
（iii）補正部３３ｂは、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データに基づいて生成した画像データを用いて置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、注目ブロック内の黒潰れ画素８５ｂおよび黒潰れ画素８５ｄに対応する画像データを、以下のように置換する。すなわち、黒潰れ画素８５ｂに対応する画像データを、参照ブロック８６に含まれる画素８６ａ～８６ｄに対応する画像データの平均値によって置換する。また、黒潰れ画素８５ｄに対応する画像データを、参照ブロック８８に含まれる画素８８ａ～８８ｄに対応する画像データの平均値によって置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａに対応する画像データは、画素８６ｂに対応する画像データよりも黒潰れ画素８５ｂに対応する画像データに近いので、画素８６ａに対応する画像データの寄与率を画素８６ｂに対応する画像データの寄与率よりも高くする重みを付ける。
　また、参照ブロック８６および８８に含まれる画素８６ａ～８６ｄおよび画素８８ａ～８８ｄに対応する画像データの平均値を算出する代わりに、画素８６ａ～８６ｄおよび画素８８ａ～８８ｄに対応する画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する画像データを置換してもよい。
　以上の説明では、種々の態様による第１補正処理を説明した。これらの態様のうち、いずれの態様の第１補正処理を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定してよい。
　なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の第１補正処理を行うかを決定するようにしてもよい。
＜第２補正処理＞
　画像処理部３３の補正部３３ｂはさらに、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に、以下の第２補正処理を必要に応じて行う。なお、補正部３３ｂは、上述したように白飛びまたは黒潰れした画素を置換した後に第２の補正処理を行う。
　なお、他の画素により置換された黒潰れ画素８５ｂ（または８５ｄ）の位置の画像データについては、置換された画素（たとえば８６ａ）を撮像した撮像条件で撮影されたものとして下記の第２補正処理を行えばよい。また、撮像条件が異なる複数ブロックの画素を用いて黒潰れ画素８５ｂを置換した場合には、各ブロックの撮像条件の間の値（平均値、中間値）の撮影条件として取り扱ってもよい。たとえば、黒潰れ画素８５ｄをＩＳＯ感度１００で撮影された画素８６ｃとＩＳＯ感度１６００で撮影された画素８８ｂで補正する場合には、ＩＳＯ感度１００とＩＳＯ感度１６００の間のＩＳＯ感度８００で撮影されたデータとして取り扱ってもよい。
１．画像処理を行う場合
　画像処理部３３の補正部３３ｂは、分割した領域間で異なる撮像条件を適用して取得された画像データに対する画像処理が所定の画像処理である場合において、領域の境界部に位置する画像データに対し、画像処理の前処理として第２補正処理を行う。所定の画像処理は、画像において処理対象とする注目位置の画像データを、注目位置の周囲の複数の参照位置の画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。
　第２補正処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に生じる不連続性を緩和するために行う。一般に、注目位置が、分割した領域の境界部に位置する場合、注目位置の周囲の複数の参照位置には、注目位置の画像データと同じ撮像条件が適用された画像データと、注目位置の画像データと異なる撮像条件が適用された画像データとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置の画像データをそのまま参照して注目位置の画像データを算出するよりも、撮像条件の相違による画像データ間の差異を抑えるように第２補正処理を施した参照位置の画像データを参照して注目位置の画像データを算出する方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
　図９(a)は、図７(a)のライブビュー画像６０ａにおける第１領域６１と第４領域６４との境界部の注目領域９０を拡大した図である。第１撮像条件が設定された第１領域６１に対応する撮像素子３２ａ上の画素からの画像データを白地で示し、第４撮像条件が設定された第４領域６４に対応する撮像素子３２ａ上の画素からの画像データを網掛けで示す。図９(a)では、第１領域６１上であって、第１領域６１と第４領域６４との境界９１の近傍部分、すなわち境界部に注目画素Ｐからの画像データが位置する。注目画素Ｐを中心とする注目領域９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。図９(b)は、注目画素Ｐおよび参照画素Ｐｒ１～Ｐｒ８の拡大図である。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素Ｐｒ１～Ｐｒ８の位置が参照位置である。第１領域６１に対応する参照画素Ｐｒ１～Ｐｒ６および注目画素Ｐに対して第１撮像条件が設定されており、第４領域６４に対応する参照画素Ｐｒ７およびＰｒ８に対して第４撮像条件が設定されている。
　なお、以下の説明では、参照画素Ｐｒ１～Ｐｒ８を総称する場合に符号Ｐｒを付与する。
　画像処理部３３の生成部３３ｃは、通常、第２補正処理を行わずに参照画素Ｐｒの画像データをそのまま参照して画像処理を行う。しかしながら、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の参照画素Ｐｒにおいて適用された撮像条件（第４撮像条件とする）とが異なる場合には、補正部３３ｂが、参照画素Ｐｒの画像データのうちの第４撮像条件の画像データに対して以下の（例１）～（例３）のように第２補正処理を行う。そして、生成部３３ｃは、第２補正処理後の参照画素Ｐｒの画像データを参照して注目画素Ｐの画像データを算出する画像処理を行う。
（例１）
　画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合、参照画素Ｐｒの画像データのうちの第４撮像条件の参照画素Ｐｒ７、Ｐｒ８の画像データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。
　なお、注目画素Ｐへの入射光量と参照画素Ｐｒへの入射光量とが同じ場合には画像データの差異が小さくなるが、もともと注目画素Ｐへの入射光量と参照画素Ｐｒへの入射光量とが異なっている場合などには、画像データの差異が小さくならない場合もある。後述する例も同様である。
（例２）
　画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合、参照画素Ｐｒの画像データのうちの第４撮像条件の参照画素Ｐｒ７、Ｐｒ８の画像データに対し、第２補正処理として(１／１０００)／(１／１００)＝１／１０をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。
（例３）
　画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合、参照画素Ｐｒの画像データのうちの第４撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを採用することを第２補正処理とする。これにより、撮像条件の相違による画像データ間の差異を小さくする。
　なお、第４撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを補間算出することを第２補正処理としてもよい。
　一方、画像処理部３３の補正部３３ｂは、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の全ての参照画素Ｐｒにおいて適用された撮像条件（第４撮像条件とする）とが同一である場合には、参照画素Ｐｒの画像データに対する第２補正処理を行わない。つまり、生成部３３ｃは、参照画素Ｐｒの画像データをそのまま参照して注目画素Ｐの画像データを算出する画像処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
＜画像処理の例示＞
　第２補正処理を伴う画像処理について例示する。
（１）画素欠陥補正処理
　本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の１つである。一般に、固体撮像素子である撮像素子３２ａは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部３３の生成部３３ｃは、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。
　画素欠陥補正処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする注目領域９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。
　画像処理部３３の生成部３３ｃは、参照画素Ｐｒにおける画像データの最大値、最小値を算出し、注目画素Ｐから出力された画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
　本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述したMax,Minフィルタ処理を行う。
（２）色補間処理
　本実施の形態において、色補間処理は、撮像時に行う画像処理の１つである。図３に例示したように、撮像素子１００の撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３の生成部３３ｃは、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。
　色補間処理の一例を説明する。図１０(a)は、撮像素子３２ａから出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。
＜Ｇ色補間＞
　まず、一般的なＧ色補間について説明する。Ｇ色補間を行う画像処理部３３の生成部３３ｃは、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の４つのＧ色成分の画像データを参照して注目位置におけるＧ色成分の画像データを生成する。例えば、図１０(b)の太枠（左上位置から数えて２行目２列目。以降も同様に、左上位置から数えて注目位置を表すものとする）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つのＧ色成分の画像データＧ１～Ｇ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置（２行目２列目）におけるＧ色成分の画像データとする。なお、ａ～ｄは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　次に、本実施の形態のＧ色補間について説明する。図１０(a)～図１０(c)において、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１０(a)～図１０(c)において、第１撮像条件と第４撮像条件は異なる。また、図１０(b)中のＧ色成分の画像データＧ１～Ｇ４が、注目位置（２行目２列目）の画素を画像処理するための参照位置である。図１０(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＧ１～Ｇ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＧ４には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、画像データＧ４に対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目２列目）におけるＧ色成分の画像データを算出する。
　画像処理部３３の生成部３３ｃは、図１０(a)におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の画像データを生成することにより、図１０(c)に示すように、各画素位置においてＧ色成分の画像データを得ることができる。
＜Ｒ色補間＞
　図１１(a)は、図１０(a)からＲ色成分の画像データを抽出した図である。画像処理部３３の生成部３３ｃは、図１０(c)に示すＧ色成分の画像データと図１１(a)に示すＲ色成分の画像データとに基づいて図１１(b)に示す色差成分Ｃｒの画像データを算出する。
　まず、一般的な色差成分Ｃｒの補間について説明する。画像処理部３３の生成部３３ｃは、例えば図１１(b)の太枠（２行目２列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つの色差成分の画像データＣｒ１～Ｃｒ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置（２行目２列目）における色差成分Ｃｒの画像データとする。なお、ｅ～ｈは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　同様に、画像処理部３３の生成部３３ｃは、例えば図１１(c)の太枠（２行目３列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目３列目）の近傍に位置する４つの色差成分の画像データＣｒ２、Ｃｒ４～Ｃｒ６を参照する。画像処理部３３の生成部３３ｃは、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置（２行目３列目）における色差成分Ｃｒの画像データとする。なお、ｑ～ｔは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｒの画像データが生成される。
　次に、本実施の形態の色差成分Ｃｒの補間について説明する。図１１(a)～図１１(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１１(a)～図１１(c)において、第１撮像条件と第４撮像条件は異なる。図１１(b)において、太枠（２行目２列目）で示す位置が色差成分Ｃｒの注目位置である。また、図１１(b)中の色差成分の画像データＣｒ１～Ｃｒ４が注目位置（２行目２列目）の画素を画像処理するための参照位置である。図１１(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＣｒ1、Ｃｒ３、Ｃｒ４には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、画像データＣｒ２に対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目２列目）における色差成分Ｃｒの画像データを算出する。
　また、図１１(c)において、太枠（２行目３列目）で示す位置が色差成分Ｃｒの注目位置である。また、図１１(c)中の色差成分の画像データＣｒ２、Ｃｒ４、Ｃｒ５、Ｃｒ６が注目位置（２行目３列目）の画素を画像処理するための参照位置である。図１１(c)において、注目位置（２行目３列目）には第４撮像条件が適用されている。参照位置のうち、画像データＣｒ４、Ｃｒ５には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２、Ｃｒ６には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、画像データＣｒ４およびＣｒ５に対してそれぞれ第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目３列目）における色差成分Ｃｒの画像データを算出する。
　画像処理部３３の生成部３３ｃは、各画素位置において色差成分Ｃｒの画像データを得たのち、各画素位置に対応させて図１０(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＲ色成分の画像データを得ることができる。
＜Ｂ色補間＞
　図１２(a)は、図１０(a)からＢ色成分の画像データを抽出した図である。画像処理部３３の生成部３３ｃは、図１０(c)に示すＧ色成分の画像データと図１２(a)に示すＢ色成分の画像データとに基づいて図１２(b)に示す色差成分Ｃｂの画像データを算出する。
　まず、一般的な色差成分Ｃｂの補間について説明する。画像処理部３３の生成部３３ｃは、例えば図１２(b)の太枠（３行目３列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目３列目）の近傍に位置する４つの色差成分の画像データＣｂ１～Ｃｂ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置（３行目３列目）における色差成分Ｃｂの画像データとする。なお、ｕ～ｘは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　同様に、画像処理部３３の生成部３３ｃは、例えば図１２(c)の太枠（３行目４列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目４列目）の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６を参照する。画像処理部３３の生成部３３ｃは、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置（３行目４列目）における色差成分Ｃｂの画像データとする。なお、ｙ、ｚ、α、βは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｂの画像データが生成される。
　次に、本実施の形態の色差成分Ｃｂの補間について説明する。図１２(a)～図１２(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１２(a)～図１２(c)において、第１撮像条件と第４撮像条件は異なる。図１２(b)において、太枠（３行目３列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１２(b)中の色差成分の画像データＣｂ１～Ｃｂ４が注目位置（３行目３列目）の画素を画像処理するための参照位置である。図１２(b)において、注目位置（３行目３列目）には第４撮像条件が適用されている。参照位置のうち、画像データＣｂ1、Ｃｂ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｂ２、Ｃｂ４には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、データＣｂ１およびＣｂ３に対してそれぞれ第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（３行目３列目）における色差成分Ｃｂの画像データを算出する。
　また、図１２(c)において、太枠（３行目４列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１２(c)中の色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６が注目位置（３行目４列目）の画素を画像処理するための参照位置である。図１２(c)において、注目位置（３行目４列目）には第４撮像条件が適用されている。また、全ての参照位置の画像データＣｂ２、Ｃｂ４～Ｃｂ６に第４撮像条件が適用されている。そのため、画像処理部３３の生成部３３ｃは、画像処理部３３の補正部３３ｂによって第２補正処理が行われていない参照位置の画像データＣｂ２、Ｃｂ４～Ｃｂ６を参照して、注目位置（３行目４列目）における色差成分Ｃｂの画像データを算出する。
　画像処理部３３の生成部３３ｃは、各画素位置において色差成分Ｃｂの画像データを得たのち、各画素位置に対応させて図１０(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＢ色成分の画像データを得ることができる。
　なお、上記「Ｇ色補間」では、例えば、図１０(b)の太枠（２行目２列目）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置の近傍に位置する４つのＧ色成分の画像データＧ１～Ｇ４を参照するとしているが、画像構造によって参照するＧ色成分の画像データの数を変更してもよい。例えば、注目位置付近の画像が縦方向に類似性を有している（例えば、縦縞のパターン）場合は、注目位置の上下の画像データ（図１０(b)のＧ１とＧ２）だけを用いて補間処理を行う。また、例えば、注目位置付近の画像が横方向に類似性を有している（例えば、横縞のパターン）場合は、注目位置の左右の画像データ（図１０(b)のＧ３とＧ４）だけを用いて補間処理を行う。これらの場合、補正部３３ｂにより補正を行う画像データＧ４を用いる場合と用いない場合がある。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して画像を生成することができる。
（３）輪郭強調処理
　輪郭強調処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２－１)個の参照画素Ｐｒの位置が参照位置である。
　なお、カーネルサイズはＮ×Ｍ画素であってもよい。
　画像処理部３３の生成部３３ｃは、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
　本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述した線型フィルタ処理を行う。
（４）ノイズ低減処理
　ノイズ低減処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２－１)個の参照画素Ｐｒの位置が参照位置である。
　なお、カーネルサイズはＮ×Ｍ画素であってもよい。
　画像処理部３３の生成部３３ｃは、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
　本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述した線型フィルタ処理を行う。
２．焦点検出処理を行う場合
　上記の例では、第１補正処理として、白飛びや黒潰れ等が生じた画素を、他のブロックの画素の画像データで置換したが、焦点調節のみを目的とする場合には、白飛びまたは黒潰れが生じた焦点検出用の画素による信号を他の焦点検出用の画素による信号で置換すればよい。他の焦点検出用の信号で置き換える方法については、白飛びまたは黒潰れが生じた画素の画像データを置換する方法と同様であるため、詳細は省略する。画像のコントラストに基づく焦点調節の場合は、上記第１補正処理により置換した画像データを用いればよい。
　制御部３４のレンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイント）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。制御部３４のレンズ移動制御部３４ｄは、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作のフォーカスポイントが分割された領域の境界部分に位置する場合、少なくとも１つの領域の焦点検出用の信号データに対し、焦点検出処理の前処理として第２補正処理を行う。
　第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、焦点検出処理の精度が低下することを抑制するために行う。例えば、画像において像ズレ量（位相差）を検出するフォーカスポイントの焦点検出用の信号データが、分割した領域の境界部に位置する場合、焦点検出用の信号データの中に異なる撮像条件が適用された信号データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された信号データをそのまま用いて像ズレ量（位相差）の検出を行うよりも、撮像条件の相違による信号データ間の差異を抑えるように第２補正処理を施した信号データを用いて像ズレ量（位相差）の検出を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
＜焦点検出処理の例示＞
　第２補正処理を伴う焦点検出処理について例示する。本実施の形態のＡＦ動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザーが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部３４のレンズ移動制御部３４ｄ（生成部）は、撮像光学系３１の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４のレンズ移動制御部３４ｄは、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ、撮像光学系３１のフォーカスレンズを移動させ、撮像光学系３１の焦点を調節する。
　図１３は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１３の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。
　図１４は、図１３に示すフォーカスポイント８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１４において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。
　赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
　なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。
　焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図１４において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図１４において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図１）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
　なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１３に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１３の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。
　また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１４のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
　なお、図１４の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。２ＰＤ構造にすることにより、焦点検出用画素で得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。
　制御部３４のレンズ移動制御部３４ｄは、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される焦点検出用の光電変換信号に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
　フォーカスポイント８０Ａ（図１３）は、図７(a)に例示したライブビュー画像６０ａにおいて、例えば第１領域６１および第４領域６４の境界部の注目領域９０に対応する位置に、ユーザーによって選ばれているものとする。図１５は、フォーカスポイント８０Ａを拡大した図である。白地の画素は第１撮像条件が設定されていることを示し、網掛けの画素は第４撮像条件が設定されていることを示す。図１５において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１３）に対応する。
　制御部３４のレンズ移動制御部３４ｄは、通常、第２補正処理を行わずに枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。しかしながら、枠１７０で囲む信号データに、第１撮像条件が適用された信号データと第４撮像条件が適用された信号データが混在する場合には、制御部３４のレンズ移動制御部３４ｄが、枠１７０で囲む信号データのうちの第４撮像条件の信号データに対して、以下の（例１）～（例３）のように第２補正処理を行う。そして、制御部３４のレンズ移動制御部３４ｄは、第２補正処理後の信号データを用いて焦点検出処理を行う。
（例１）
　制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合、第４撮像条件の信号データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
　なお、第１撮像条件が適用された画素への入射光量と第４撮像条件が適用された画素への入射光量とが同じ場合には信号データの差異が小さくなるが、もともと第１撮像条件が適用された画素への入射光量と第４撮像条件が適用された画素への入射光量とが異なっている場合などには、信号データの差異が小さくならない場合もある。後述する例も同様である。
（例２）
　制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合、第４撮像条件の信号データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例３）
　制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合、第４撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを第２補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
　なお、第４撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを第２補正処理としてもよい。
　一方、制御部３４のレンズ移動制御部３４ｄは、枠１７０で囲む信号データにおいて適用された撮像条件が同一である場合には上記第２補正処理を行わない。つまり、制御部３４のレンズ移動制御部３４ｄは、枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の例では、信号データのうちの第４撮像条件の信号データに対して第１撮像条件により第２補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して第４撮像条件により第２補正処理を行ってもよい。
　制御部３４のレンズ移動制御部３４ｄが、第１撮像条件の信号データに対して第２補正処理を行うか、第４撮像条件の信号データに対して第２補正処理を行うかを、例えば、ＩＳＯ感度に基づいて決定するようにしてもよい。第１撮像条件と第４撮像条件とでＩＳＯ感度が異なる場合、ＩＳＯ感度が高い方の撮像条件で得られた信号データが飽和していなければ、ＩＳＯ感度が低い方の撮像条件で得られた信号データに対して第２補正処理を行うことが望ましい。すなわち、第１撮像条件と第４撮像条件とでＩＳＯ感度が異なる場合、明るい方の信号データとの差を小さくするように暗い方の信号データを第２補正処理することが望ましい。
　さらにまた、信号データのうちの第１撮像条件の信号データおよび第４撮像条件の信号データに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくするようにしてもよい。
　以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。
　コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子３２ａの撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
　制御部３４は、通常、第２補正処理を行わずにフォーカスポイントに対応する撮像用画素から出力された信号データをそのまま用いて焦点評価値演算を行う。しかしながら、フォーカスポイントに対応する信号データに、第１撮像条件が適用された信号データと第４撮像条件が適用された信号データが混在する場合には、制御部３４が、フォーカスポイントに対応する信号データのうちの第４撮像条件の信号データに対して、上述したような第２補正処理を行う。そして、制御部３４は、第２補正処理後の信号データを用いて焦点評価値演算を行う。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して焦点調節を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、レンズの移動により焦点を調節することができる。
　上記の例では、焦点調節処理を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより焦点調節を行ってもよい。
３．被写体検出処理を行う場合
　図１６(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１６(b)は、ライブビュー画像６０ａおよび探索範囲１９０を例示する図である。制御部３４の物体検出部３４ａは、ライブビュー画像から対象物（例えば、図５の被写体要素の１つであるバッグ６３ａ）を検出する。制御部３４の物体検出部３４ａは、対象物を検出する範囲をライブビュー画像６０ａの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像６０ａの一部を探索範囲１９０としてもよい。
　制御部３４の物体検出部３４ａは、分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、探索範囲１９０内の少なくとも１つの領域の画像データに対し、被写体検出処理の前処理として第２補正処理を行う。
　第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、被写体要素の検出処理の精度低下を抑制するために行う。一般に、被写体要素の検出に用いる探索範囲１９０に、分割された領域の境界を含む場合、探索範囲１９０の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、撮像条件の相違による画像データ間の差異を抑えるように第２補正処理を施した画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
　図５に例示した被写体の像において、人物６１ａの持ち物であるバッグ６３ａを検出する場合を説明する。制御部３４の物体検出部３４ａは、人物６１ａを含む領域の近傍に探索範囲１９０を設定する。なお、人物６１ａを含む領域６１を探索範囲に設定してもよい。
　制御部３４の物体検出部３４ａは、探索範囲１９０が撮像条件の異なる２つの領域によって分断されていない場合には、第２補正処理を行わずに探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合には、制御部３４の物体検出部３４ａは、探索範囲１９０の画像データのうちの第４撮像条件の画像データに対して、焦点検出処理を行う場合として上述した（例１）～（例３）のように第２補正処理を行う。そして、制御部３４の物体検出部３４ａは、第２補正処理後の画像データを用いて被写体検出処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の例では、画像データのうちの第４撮像条件の画像データに対して第１撮像条件により第２補正処理を行う例を説明したが、画像データのうちの第１撮像条件の画像データに対して第４撮像条件により第２補正処理を行ってもよい。
　上述した探索範囲１９０の画像データに対する第２補正処理は、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。
　また、上述した探索範囲１９０の画像データに対する第２補正処理は、テンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。
　また、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部３４は、後から取得されたフレーム画像に設定する探索範囲において、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合には、探索範囲の画像データのうちの第４撮像条件の画像データに対して、上述した（例１）～（例３）のように第２補正処理を行う。そして、制御部３４は、第２補正処理後の画像データを用いて追尾処理を行う。
　さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部３４は、動きベクトルの検出に用いる検出領域において、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合には、動きベクトルの検出に用いる検出領域の画像データのうちの第４撮像条件の画像データに対して、上述した（例１）～（例３）のように第２補正処理を行う。そして、制御部３４は、第２補正処理後の画像データを用いて動きベクトルを検出する。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して上記の被写体検出等を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、被写体件検出を行うことができる。
　上記の例では、被写体検出処理を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより被写体検出を行ってもよい。
４．撮像条件を設定する場合
　制御部３４の設定部３４ｂは、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、少なくとも１つの領域の画像データに対し、露出条件を設定する前処理として第２補正処理を行う。
　第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、露出条件を決定する処理の精度低下を抑制するために行う。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、撮像条件の相違による画像データ間の差異を抑えるように第２補正処理を施した画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
　制御部３４の設定部３４ｂは、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、第２補正処理を行わずに測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合には、制御部３４の設定部３４ｂは、測光範囲の画像データのうちの第４撮像条件の画像データに対して、焦点検出処理や被写体検出処理を行う場合として上述した（例１）～（例３）のように第２補正処理を行う。そして、制御部３４の設定部３４ｂは、第２補正処理後の画像データを用いて露出演算処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の例では、画像データのうちの第４撮像条件の画像データに対して第１撮像条件により第２補正処理を行う例を説明したが、画像データのうちの第１撮像条件の画像データに対して第４撮像条件により第２補正処理を行ってもよい。
　上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。
　また、撮像画面を分割した領域間で、光電変換信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して撮影条件の設定を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、撮影条件を設定することができる。
　上記の例では、撮影条件の設定を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより撮影条件の設定を行ってもよい。
＜フローチャートの説明＞
　図１７は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１７に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、表示部３５にライブビュー表示を開始させて、ステップＳ２０へ進む。
　具体的には、制御部３４が撮像部３２へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次表示部３５に表示させる。上述したように、この時点では撮像チップ１１１の全域、すなわち画面の全体に同一の撮像条件が設定されている。
　なお、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４のレンズ移動制御部３４ｄは、焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。レンズ移動制御部３４ｄは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから焦点検出処理を行う。
　また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４のレンズ移動制御部３４ｄは、後にＡＦ動作が指示された時点でＡＦ動作を行う。
　ステップＳ２０において、制御部３４の物体検出部３４ａは、ライブビュー画像から被写体要素を検出してステップＳ３０へ進む。物体検出部３４ａは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから被写体検出処理を行う。ステップＳ３０において、制御部３４の設定部３４ｂは、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップＳ４０へ進む。
　ステップＳ４０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図６に例示したように、分割された領域のうちの撮像条件の設定（変更）の対象となる領域を強調表示させる。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ５０へ進む。
　なお、制御部３４は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。
　ステップＳ５０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によってフォーカスポイントの位置が変更された場合、またはユーザー操作によってＡＦ動作の実行が指示された場合に、ステップＳ５０を肯定判定してステップＳ７０へ進む。制御部３４は、焦点調節状態が変化せず、ユーザー操作によりフォーカスポイントの位置が変更されず、ユーザー操作によってＡＦ動作の実行も指示されない場合には、ステップＳ５０を否定判定してステップ６０へ進む。
　ステップＳ７０において、制御部３４は、ＡＦ動作を行わせてステップＳ４０へ戻る。レンズ移動制御部３４ｄは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてからＡＦ動作である焦点検出処理を行う。ステップＳ４０へ戻った制御部３４は、ＡＦ動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。
　ステップＳ６０において、制御部３４の設定部３４ｂは、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ８０へ進む。なお、ステップＳ６０におけるユーザー操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。制御部３４の設定部３４ｂは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから露出演算処理を行う。
　ステップＳ８０において、制御部３４は、撮像指示の有無を判定する。制御部３４は、操作部材３６を構成する不図示のレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップＳ８０を肯定判定してステップＳ９０へ進む。制御部３４は、撮像指示が行われない場合には、ステップＳ８０を否定判定してステップＳ６０へ戻る。
　ステップＳ９０において、制御部３４は、所定の撮像処理を行う。すなわち、撮像制御部３４ｃが上記領域ごとに設定された撮像条件で撮像するように撮像素子３２ａを制御してステップＳ１００へ進む。
　ステップＳ１００において、制御部３４の撮像制御部３４ｃは画像処理部３３へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップＳ１１０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
　なお、画像処理部３３の補正部３３ｂは、必要に応じて、領域の境界部に位置する画像データに対して、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行ってから画像処理を行う。
　ステップＳ１１０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ１２０へ進む。
　ステップＳ１２０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ１２０を肯定判定して図１７による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１２０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部３４は、上述した処理を繰り返す。
　以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。
　以上説明した第１の実施の形態によれば、次の作用効果が得られる。
　（１）画像処理装置を備えるカメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像を生成する画像処理部３３と、を備える。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの画像の不連続性や違和感を抑制する画像データを生成することができる。
（２）画像処理装置を備えるカメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する画像処理部３３と、を備える。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの画像の不連続性や違和感を抑制する画像データを生成することができる。
（３）画像処理部３３は、第１領域６１で撮像された被写体の画像の画像データを、第４領域６４で撮像された被写体の画像データにより生成する。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。
（４）画像処理部３３は、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の一部の画像データを生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像（参照ブロック）の画像データを用いて、適切に画像データを生成することができる。
（５）画像処理部３３は、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の一部の画像データを生成する。第１領域６１で撮像された被写体の一部と、第４領域６４で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される。これにより、同一の被写体、たとえば図７における山が第１領域６１と第４領域６４とで撮像された場合に、第１領域６１で撮像されて得られた山についての画像データを第４領域６４で撮像された山についての画像データで置き換えることができる。したがって、適切に画像データを生成することができる。
（６）第４領域６４の面積は、第１領域６１の面積よりも大きい。これにより、第１領域６１の面積よりも大きい第４領域６４で撮像された被写体の画像データに基づいて第１領域６１で撮像された被写体の画像データを生成するので、適切に画像データを生成することができる。
（７）第４領域６４の面積は、第１領域６１の面積以下である。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、たとえば注目ブロックに含まれる複数の画素に対応する複数の画像データを同数またはそれ以下の数の画像データを用いて置換することで、置換処理における演算負荷を抑制できる。
（８）画像処理部３３は、第４領域６４の一部の領域で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像の一部（参照ブロック）を用いて、適切に画像データを生成することができる。
（９）第４領域６４は、光を電荷に変換する光電変換部を含む画素８６ａと、光を電荷に変換する光電変換部を含む画素８６ａとは異なる画素８６ｂとを有する。画像処理部３３は、画素８６ａ及び画素８６ｂのうち、いずれかの画素で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。
（１０）画像処理部３３は、第１領域６１と画素８６ａとの間隔が、第１領域６１と前記画素８６ｂとの間隔より短い場合、画素８６ａで撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、参照ブロックに含まれる画素のうち、注目ブロックに含まれる置換対象となる画素により近い画素からの画像データを用いて置換する。これにより、適切に画像データを生成することができる。
（１１）画像処理部３３は、第４領域６４で撮像された被写体の画像データから算出されたデータにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。
（１２）画像処理部３３は、第４領域６４で撮像された被写体の画像データを平均して算出されたデータにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された被写体像の画像に、第１領域６１に設定した撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された被写体像の画像を用いて、適切に画像データを生成することができる。
（１３）撮像素子１００は、第１領域６１及び第４領域６４を含む撮像チップ１１１と、撮像チップ１１１に接続され、撮像チップ１１１から出力された画像データをデジタルデータに変換するアナログ／デジタル（Ａ／Ｄ）変換回路を有する信号処理チップ１１２と、を有する。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データによる画像を適切に生成することができる。
（１４）撮像素子１００は、信号処理チップ１１２に接続され、信号処理チップ１１２によりデジタルデータに変換された画像データを記憶する記憶部を有するメモリチップ１１３を有する。信号処理チップ１１２は、撮像チップ１１１及びメモリチップ１１３の間に配置されている。これにより、撮像素子１００におけるデータの流れに対応して各チップが積層されるので、効率的にチップ同士を電気的に接続できる。
（１５）レンズ調節装置を備えるカメラ１は、撮像光学系３１からの光を第１撮像条件で撮像する第１領域６１と撮像光学系３１からの光を第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体に基づく信号により第１領域６１に入射した光の像を調節するように撮像光学系３１を移動させる画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における像の明暗、コントラスト等の相違などの像の不連続性を抑制した信号データを生成することができる。この結果、ブロックごとの撮像条件の違いによって焦点検出精度が低下することを抑制できるから、適切なフォーカス合わせが可能になる。
（１６）レンズ調節装置を備えるカメラ１は、撮像光学系３１の光を第１撮像条件で撮像する第１領域６１と撮像光学系３１からの光を第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体に基づく信号により第１領域６１に入射した光の像を撮像光学系３１で調節するための信号を生成する画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における像の明暗、コントラスト等の相違などの像の不連続性を抑制した信号データを生成することができる。この結果、ブロックごとの撮像条件の違いによって焦点検出精度が低下することを抑制できるから、適切なフォーカス合わせが可能になる。
（１７）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。
（１８）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体の一部に基づく信号を生成する。これにより、第１領域６１で撮像された像の一部（注目ブロック）で不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。この結果、被写体の一部についてもブロックごとの撮像条件の違いの影響を避けて、適切なフォーカス合わせが可能になる。
（１９）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体の一部に基づく信号を生成する。第１領域６１で撮像された被写体の一部と、第４領域６４で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される。これにより、同一の被写体、たとえば図７における山が第１領域６１と第４領域６４とで撮像された場合に、第１領域６１で撮像されて得られた山についての像の信号データを第４領域６４で撮像された山についての像の信号データを用いて、適切に信号データを生成することができる。したがって、適切なフォーカス合わせが可能になる。
（２０）第４領域６４の面積は、第１領域６１の面積よりも大きい。これにより、第１領域６１の面積よりも大きい第４領域６４で撮像された像の信号データに基づいて、適切に信号データを生成することができる。したがって、適切なフォーカス合わせが可能になる。
（２１）第４領域６４の面積は、第１領域６１の面積以下である。すなわち、適切な信号データを生成するにあたって、たとえば注目ブロックに含まれる複数の画素に対応する複数の像の信号データを同数またはそれ以下の数の像の信号データを用いて置換することで、置換処理における演算負荷を抑制できる。
（２２）画像処理部３３は、第４領域６４の一部の領域で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、第１領域６１で撮像された像の一部（注目ブロック）で不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の一部（参照ブロック）で撮像された像の信号データを用いて、適切に信号データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切なフォーカス合わせが可能になる。
（２３）第４領域６４は、光を電荷に変換する光電変換部を含む画素８６aと、光を電荷に変換する光電変換部を含む画素８６aとは異なる画素８６ｂとを有する。画像処理部３３は、画素８６a及び画素８６ｂのうち、いずれかの領域で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。
（２４）画像処理部３３は、第１領域６１と画素８６aとの間隔が、第１領域６１と画素８６ｂとの間隔より短い場合、画素８６aで撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。すなわち、注目ブロックで取得された像の信号データを参照ブロックで取得された像の信号データを用いて置換するにあたって、参照ブロックに含まれる画素のうち、注目ブロックに含まれる置換対象となる画素により近い画素からの像の信号データを用いて置換する。これにより、適切に信号データを生成することができる。
（２５）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号データから算出されたデータにより第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。
（２６）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号データを平均して算出されたデータにより第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された像の信号データに、撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された像の信号データを用いて、適切に信号データを生成することができる。
（２７）カメラ１のレンズ移動制御部３４ｄは、撮像光学系３１の異なる瞳を通過した複数の光像の像ズレ量に基づいて撮像光学系３１を駆動するための信号を生成する。これにより、瞳分割位相差検出方式の焦点検出処理を行う場合に、ブロックごとの撮像条件の違いの影響を受けずに、適切なフォーカス合わせが可能になる。
（２８）カメラ１のレンズ移動制御部３４ｄは、撮像部３２に入射した光による像のコントラストに基づいて撮像光学系３１を駆動するための信号を生成する。これにより、コントラスト検出方式の焦点検出処理を行う場合に、ブロックごとの撮像条件の違いの影響を受けずに、適切なフォーカス合わせが可能になる。
（２９）被写体検出装置を備えるカメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、　第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体を検出する画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３０）被写体検出装置を備えるカメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、　第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体を検出するための信号を生成する画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３１）画像処理部３３は、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３２）画像処理部３３は、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の一部の画像データを生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、被写体の一部についてもブロックごとの撮像条件の違いの影響を避けて、適切に被写体要素を検出することが可能になる。
（３３）画像処理部３３は、第４領域６４で撮像された被写体の画像データにより第１領域６１で撮像された被写体の一部の画像データを生成する。第１領域６１で撮像された被写体の一部と、第４領域６４で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される。これにより、同一の被写体、たとえば図７における山が第１領域６１と第４領域６４とで撮像された場合に、第１領域６１で撮像されて得られた山についての画像データを第４領域６４で撮像された山についての画像データで置き換えることができる。したがって、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に被写体要素を検出することが可能になる。
（３４）第４領域６４の面積は、第１領域６１の面積よりも大きい。これにより、第１領域６１の面積よりも大きい第４領域６４で撮像された被写体の画像データに基づいて第１領域６１で撮像された被写体の画像データを生成するので、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に被写体要素を検出することが可能になる。
（３５）第４領域６４の面積は、第１領域６１の面積以下である。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、たとえば注目ブロックに含まれる複数の画素に対応する複数の画像データを同数またはそれ以下の数の画像データを用いて置換することで、置換処理における演算負荷を抑制できる。したがって、被写体要素の検出に係る演算負荷を抑制できる。
（３６）画像処理部３３は、第４領域６４の一部の領域で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像の一部（参照ブロック）を用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に被写体要素を検出することが可能になる。
（３７）第４領域６４は、光を電荷に変換する光電変換部を含む画素８６ａと、光を電荷に変換する光電変換部を含む画素８６ａとは異なる画素８６ｂとを有する。画像処理部３３は、画素８６ａ及び画素８６ｂのうち、いずれかの領域で撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３８）画像処理部３３は、第１領域６１と画素８６ａとの間隔が、第１領域６１と画素８６ｂとの間隔より短い場合、画素８６ａで撮像された被写体の画像データにより第１領域６１で撮像された被写体の画像データを生成する。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、参照ブロックに含まれる画素のうち、注目ブロックに含まれる置換対象となる画素により近い画素からの画像データを用いて置換する。これにより、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３９）画像処理部３３は、第４領域６４で撮像された被写体の画像データから算出されたデータにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（４０）画像処理部３３は、第４領域６４で撮像された被写体の画像データを平均して算出されたデータにより第１領域６１で撮像された被写体の画像データを生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（４１）カメラ１の物体検出部３４ａは、撮像光学系３１の焦点調節の対象として被写体要素を検出するので、ブロックごとの撮像条件の違いの影響を受けずに、適切に撮像光学系３１の焦点調節の対象を検出することができる。
（４２）カメラ１は、被写体の明るさを検出する制御部３４を備え、物体検出部３４ａは、制御部３４による測光の対象として被写体要素を検出するので、ブロックごとの撮像条件の違いの影響を受けずに、適切に測光の対象を検出することができる。
（４３）カメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体に基づく信号により第１領域６１の撮像条件を設定する画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（４４）カメラ１は、第１撮像条件で撮像する第１領域６１と第１撮像条件とは異なる第４撮像条件で撮像する第４領域６４とを有する撮像部３２と、第４領域６４で撮像された被写体に基づく信号により第１領域６１の撮像条件を設定するための信号を生成する画像処理部３３および制御部３４と、を備える。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。具体的には、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（４５）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（４６）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体の一部に基づく信号を生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に露出条件を設定することが可能になる。
（４７）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号により第１領域６１で撮像された被写体の一部に基づく信号を生成する。第１領域６１で撮像された被写体の一部と、第４領域６４で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される。これにより、同一の被写体、たとえば図７における山が第１領域６１と第４領域６４とで撮像された場合に、第１領域６１で撮像されて得られた山についての画像データを第４領域６４で撮像された山についての画像データで置き換えることができる。したがって、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に露出条件を設定することが可能になる。
（４８）第４領域６４の面積は、第１領域６１の面積よりも大きい。これにより、第１領域６１の面積よりも大きい第４領域６４で撮像された被写体の画像データに基づいて第１領域６１で撮像された被写体の画像データを生成するので、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に露出条件を設定することが可能になる。
（４９）第４領域６４の面積は、第１領域６１の面積以下である。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、たとえば注目ブロックに含まれる複数の画素に対応する複数の画像データを同数またはそれ以下の数の画像データを用いて置換することで、置換処理における演算負荷を抑制できる。したがって、露出条件の設定に係る演算負荷を抑制できる。
（５０）画像処理部３３は、第４領域６４の一部の領域で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、第１領域６１で撮像された画像の一部（注目ブロック）に不適切な画像データが生じた場合には、第１領域６１とは撮像条件が異なる第４領域６４で撮像された画像の一部（参照ブロック）を用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いの影響を受けずに、適切に露出条件を設定することが可能になる。
（５１）第４領域６４は、光を電荷に変換する光電変換部を含む画素８６ａと、光を電荷に変換する光電変換部を含む画素８６ａとは異なる画素８６ｂとを有する。画像処理部３３は、画素８６ａ及び画素８６ｂのうち、いずれかの領域で撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（５２）画像処理部３３は、第１領域６１と画素８６ａとの間隔が、第１領域６１と画素８６ｂとの間隔より短い場合、画素８６ａで撮像された被写体に基づく信号により第１領域６１で撮像された被写体に基づく信号を生成する。すなわち、注目ブロックで取得された画像データを参照ブロックで取得された画像データを用いて置換するにあたって、参照ブロックに含まれる画素のうち、注目ブロックに含まれる置換対象となる画素により近い画素からの画像データを用いて置換する。これにより、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（５３）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号データから算出されたデータにより第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（５４）画像処理部３３は、第４領域６４で撮像された被写体に基づく信号データを平均して算出されたデータにより第１領域６１で撮像された被写体に基づく信号を生成する。これにより、例えば第１領域６１で撮像された画像の画像データに、撮像条件に起因する不適切な画像データが生じた場合には、第１領域６１とは異なる撮像条件によって第４領域６４で撮像された画像の画像データを用いて、適切に画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（５５）カメラ１の設定部３４ｂは、撮影条件として露出条件を設定するので、ブロックごとの撮像条件の違いがある場合でも、それぞれ適切に露出条件を設定することができる。
（５６）カメラ１は、撮影補助光を発する光源に対する制御を行う制御部３４を備え、設定部３４ｂは、撮影条件として、制御部３４が制御する光源の発光有無または発光量を設定する。これにより、ブロックごとの撮像条件の違いがある場合でも、適切に設定処理を行うことができる。
　上述した第２補正処理を前処理として行うモード１と、第２補正処理を前処理として行わないモード２とを切り替え可能に構成してもよい。モード１が選択された場合、制御部３４は、上述した前処理を行った上で画像処理などの処理を行う。一方、モード２が選択された場合、制御部３４は、上述した前処理を行わずに画像処理などの処理を行う。例えば、被写体要素として検出されている顔の一部に陰がある場合において、顔の陰の部分の明るさが顔の陰以外の部分の明るさと同程度となるように、顔の陰の部分を含む領域の撮像条件と顔の陰以外の部分を含む領域の撮像条件とを異なる設定で撮像して生成された画像に対して、第２補正処理を行ってから色補間処理をすると、設定されている撮像条件の違いにより陰の部分に対して意図しない色補間が行われる場合がある。第２補正処理をすることなく画像データをそのまま用いて色補間処理を行い得るように、モード１とモード２とを切り替え可能に構成しておくことにより、意図しない色補間を避けることが可能になる。
－－－第１の実施の形態の変形例－－－
　次のような変形も本発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
　図１８(a)～図１８(c)は、撮像素子３２ａの撮像面における第１撮像領域および第２撮像領域の配置を例示する図である。図１８(a)の例によれば、第１撮像領域は偶数列によって構成され、第２撮像領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。
　図１８(b)の例によれば、第１撮像領域は奇数行によって構成され、第２撮像領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
　図１８(c)の例によれば、第１撮像領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２撮像領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。
　図１８(a)～図１８(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１撮像領域から読み出した光電変換信号に基づく第１画像および第２撮像領域から読み出した光電変換信号に基づく第２画像がそれぞれ生成される。変形例１によれば、第１画像および第２画像は同じ画角で撮像され、共通の被写体像を含む。
　変形例１において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。具体的には、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、物体検出部３４ａによって第２画像を用いて被写体検出処理を行わせ、レンズ移動制御部３４ｄによって第２画像を用いて焦点検出処理を行わせ、設定部３４ｂによって第２画像を用いて露出演算処理を行わせる。
　変形例１においては、第１画像を撮像する第１撮像領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２撮像領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。
１．一例として、制御部３４は、第１撮像条件を、表示部３５による表示に適した条件に設定する。例えば、第１撮像領域に設定される第１撮像条件を撮像画面の第１撮像領域の全体で同一にする。一方、制御部３４は、第２撮像領域に設定される第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第２撮像条件は、撮像画面の第２撮像領域の全体で同一にする。
　なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２撮像領域に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を焦点検出処理に適した条件とし、２フレーム目の第２撮像条件を被写体検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件を撮像画面の第２撮像領域の全体で同一にする。
２．他の一例として、制御部３４は、第１撮像領域に設定される第１撮像条件を領域により異ならせてもよい。制御部３４の設定部３４ｂは、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定する。一方、制御部３４は、第２撮像領域に設定される第２撮像条件を撮像画面の第２撮像領域の全体で同一にする。制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２撮像領域に設定する撮像条件をフレームごとに異ならせてもよい。
３．また、他の一例として、制御部３４は、第１撮像領域に設定される第１撮像条件を撮像画面の第１撮像領域の全体で同一とする一方で、第２撮像領域に設定される第２撮像条件を撮像画面において異ならせてもよい。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２撮像領域に設定する撮像条件をフレームごとに異ならせてもよい。
４．さらにまた、他の一例として、制御部３４は、第１撮像領域に設定される第１撮像条件を撮像画面において異ならせるとともに、第２撮像領域に設定される第２撮像条件を撮像画面において異ならせる。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定しつつ、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。
　図１８(a)～図１８(c)において、第１撮像領域と第２撮像領域との面積比を異ならせてもよい。制御部３４は、例えば、ユーザーによる操作または制御部３４の判断に基づき、第１撮像領域の比率を第２撮像領域よりも高く設定したり、第１撮像領域と第２撮像領域の比率を図１８(a)～図１８(c)に例示したように同等に設定したり、第１撮像領域の比率を第２撮像領域よりも低く設定したりする。第１撮像領域と第２撮像領域とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。
（変形例２）
　上述した実施の形態では、画像処理を行う場合の第２補正処理は、注目位置において適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において適用された撮像条件（第４撮像条件とする）とが異なる場合において、画像処理部３３の補正部３３ｂが、第４撮像条件の画像データ（参照位置の画像データのうちの第４撮像条件の画像データ）を第１撮像条件に基づいて補正した。すなわち、参照位置の第４撮像条件の画像データを第２補正処理することによって、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するようにした。
　この代わりに、変形例２では、画像処理部３３の補正部３３ｂが、第１撮像条件の画像データ（注目位置の画像データと参照位置の画像データのうちの第１撮像条件の画像データ）を第４撮像条件に基づいて補正してもよい。この場合にも、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和できる。
　あるいは、画像処理部３３の補正部３３ｂが、第１撮像条件の画像データおよび第４撮像条件の画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の画像データ、参照位置の画像データのうちの第１撮像条件の画像データ、および参照位置の画像データのうちの第４撮像条件の画像データに対してそれぞれ第２補正処理を施すことにより、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
　例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素Ｐｒの画像データに、第２補正処理として４００／１００をかけ、第４撮像条件（ＩＳＯ感度が８００）である参照画素Ｐｒの画像データに、第２補正処理として４００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。なお、注目画素の画素データは、色補間処理後に１００／４００をかける第２補正処理を行う。この第２補正処理により色補間処理後の注目画素の画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第４領域との境界からの距離によって第２補正処理の程度を変えても良い。そして上記（例１）の場合に比べて第２補正処理により画像データが増加や減少する割合を少なくすることができ、第２補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。
　変形例２によれば、上述した実施の形態と同様に、撮像条件が異なる領域のそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。
（変形例３）
　上述した実施の形態では、画像データに対して第２補正処理を行う際に、第１撮像条件と第４撮像条件との差違に基づく演算を行うことにより、補正後の画像データを求めるようにした。演算の代わりに、補正用テーブルを参照することによって補正後の画像データを求めてもよい。例えば、引数として第１撮像条件および第４撮像条件を入力することにより、補正後の画像データを読み出す。あるいは、引数として第１撮像条件および第４撮像条件を入力することにより、補正係数を読み出す構成にしてもよい。
（変形例４）
　上述した実施の形態の第２補正処理において、補正後の画像データの上限や下限を定めておいてもよい。上限値、下限値を設けることにより、必要以上の補正をしないように制限することができる。上限値、下限値は、あらかじめ決めておいてもよいし、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき決定してもよい。
（変形例５）
　上記実施形態では、制御部３４の設定部３４ｂがライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例５において、制御部３４は、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。
　制御部３４は、測光用センサからの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子３２ａによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。
　制御部３４はさらに、撮像素子３２ａの撮像面の前景領域に対応する位置に対して、図１８(a)～図１８(c)に例示したように、第１撮像領域および第２撮像領域を配置する。一方、制御部３４は、撮像素子３２ａの撮像面の背景領域に対応する位置に対して、撮像素子３２ａの撮像面に第１撮像領域のみを配置する。制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
　変形例５によれば、測光用センサからの出力信号を用いることにより、撮像素子３２ａによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第１画像と検出用の第２画像とを得ることができ、背景領域に対しては、表示用の第１画像のみを得ることができる。
（変形例６）
　変形例６では、画像処理部３３の生成部３３ｃが、第２補正処理の一例としてコントラスト調整処理を行う。すなわち、生成部３３ｃは、階調カーブ（ガンマカーブ）を異ならせることにより、第１撮像条件と第４撮像条件との間の差異に基づく画像の不連続性を緩和する。
　例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合を想定する。生成部３３ｃは、階調カーブを寝かせることにより、参照位置の画像データのうちの第４撮像条件の画像データの値を１／８に圧縮する。
　あるいは、生成部３３ｃが、階調カーブを立たせることにより、注目位置の画像データ、および参照位置の画像データのうちの第１撮像条件の画像データの値を８倍に伸張させてもよい。
　変形例６によれば、上述した実施の形態と同様に、撮像条件が異なる領域でそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。
（変形例７）
　変形例７においては、画像処理部３３が、上述した画像処理（例えば、ノイズ低減処理）において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。
　そこで、画像処理部３３の生成部３３ｃは、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例７において、画像処理部３３の生成部３３ｃは、濃度変換（階調変換）曲線として、Ｓの字を描くようなカーブを設定する（いわゆるＳ字変換）。画像処理部３３の生成部３３ｃは、Ｓ字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい／暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。
　変形例７によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。
（変形例８）
　変形例８においては、画像処理部３３の生成部３３ｃが、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。
　例えば、注目位置において撮像時に適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において撮像時に適用された撮像条件（第４撮像条件とする）とが異なる場合において、画像処理部３３の生成部３３ｃが、参照位置の画像データのうちの第４撮像条件の画像データのホワイトバランスを、第１撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更する。
　なお、画像処理部３３の生成部３３ｃが、参照位置の画像データのうちの第１撮像条件の画像データと注目位置の画像データのホワイトバランスを、第４撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更してもよい。
　変形例８によれば、撮像条件が異なる領域でそれぞれ生成された画像データに対し、ホワイトバランス調整ゲインを撮像条件が異なる領域のどちらかの調整ゲインに揃えることによって、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和することができる。
（変形例９）
　画像処理部３３を複数備え、画像処理を並列処理してもよい。例えば、撮像部３２の領域Ａで撮像された画像データに対して画像処理をしながら、撮像部３２の領域Ｂで撮像された画像データに対して画像処理を行う。複数の画像処理部３３は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Ａおよび領域Ｂの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Ａおよび領域Ｂの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。
　画像処理部３３の数を複数備える場合において、第１撮像条件が適用された画像データに対して１つの画像処理部によって画像処理を行い、第４撮像条件が適用された画像データに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記２つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例９によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。
（変形例１０）
　上述した説明では、カメラ１を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機２５０（図２０）や、タブレット端末などのモバイル機器によって構成してもよい。
（変形例１１）
　上述した実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ｂを構成してもよい。
　以下、図１９を参照して撮像部３２を備えた撮像装置１００１を、制御部３４を備えた表示装置１００２から制御する例を説明する。
　図１９は、変形例１１に係る撮像システム１Ｂの構成を例示するブロック図である。図１９において、撮像システム１Ｂは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１と撮像部３２とに加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６、および記録部３７に加えて、第２通信部１００４を備える。
　第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
　なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。
　撮像システム１Ｂは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。
　変形例１１によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたライブビュー画像が表示装置１００２の表示部３５に表示されるので、ユーザーは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
　表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
　なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびレンズ移動制御部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。
（変形例１２）
　上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図２０に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
　パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ－ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。
　また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
－－－第２の実施の形態－－－
　図２１～２７を参照して、第２の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、第１の実施の形態の画像処理部３３を設ける代わりに、撮像部３２Ａが第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む点で、第１の実施の形態と異なる。
　図２１は、第２の実施の形態によるカメラ１Ｃの構成を例示するブロック図である。図２１において、カメラ１Ｃは、撮像光学系３１と、撮像部３２Ａと、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。撮像部３２Ａは、第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む。
　画像処理部３２ｃは、入力部３２１と、補正部３２２と、生成部３２３とを含む。入力部３２１には、撮像素子３２ａからの画像データが入力される。補正部３２２は、上記入力された画像データに対して補正を行う前処理を行う。補正部３２２が行う前処理は、第１の実施の形態における補正部３３ｂが行う前処理と同じである。生成部３２３は、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。生成部３２３が行う画像処理は、第１の実施の形態における生成部３３ｃが行う画像処理と同じである。
　図２２は、本実施の形態における各ブロックと、複数の補正部３２２との対応関係を模式的に示した図である。図２２において、矩形で表した撮像チップ１１１の１つのマスが１つのブロック１１１ａを表している。同様に、矩形で表した後述する画像処理チップ１１４の１つのマスが１つの補正部３２２を表している。
　本実施の形態では、補正部３２２は、ブロック１１１ａ毎に対応して設けられている。換言すると、補正部３２２は、撮像面における撮像条件の変更可能な領域の最小単位であるブロック毎にそれぞれ設けられている。例えば、図２２においてハッチングを施したブロック１１１ａと、ハッチングを施した補正部３２２とは対応関係にある。図２２においてハッチングを施した補正部３２２は、ハッチングを施したブロック１１１ａに含まれる画素からの画像データに前処理を行う。各補正部３２２は、それぞれ対応するブロック１１１ａに含まれる画素からの画像データに前処理を行う。
　これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
　なお、以下の説明では、あるブロック１１１ａと、当該ブロック１１１ａに含まれる画素との関係について説明する際に、当該ブロック１１１ａのことを、当該画素が属するブロック１１１ａと呼ぶことがある。また、ブロック１１１ａを単位区分と呼ぶことがあり、ブロック１１１ａが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。
　図２３は、積層型撮像素子１００Ａの断面図である。積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。すなわち、上述した画像処理部３２ｃは、画像処理チップ１１４に設けられている。
　これら撮像チップ１１１、信号処理チップ１１２、メモリチップ１１３および画像処理チップ１１４は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
　メモリチップ１１３および画像処理チップ１１４の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、メモリチップ１１３と画像処理チップ１１４とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
＜第１補正処理＞
　第１の実施の形態と同様に、第２の実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。制御部３４は、分割した領域において異なる撮像条件を設定した場合、必要に応じて画像処理部３２ｃの補正部３２２に前処理を行わせる。
　すなわち、制御部３４は、撮像条件の設定の最小単位であるブロックに複数の被写体要素に基づく領域の境界を含んでおり、かつ、このブロックによる画像データに白飛びまたは黒潰れが存在する場合に、補正部３２２に対して、画像処理、焦点検出処理、被写体検出処理、および撮像条件を設定する処理の前に行う前処理の１つとして、以下の第１補正処理を行わせる。
１．白飛びまたは黒潰れが生じた領域の全体に同じ補正を行う。
（１－１）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)～(iv)のいずれかの態様により、白飛びまたは黒潰れが生じた画像データを、同じ撮像画面内の１つのブロックで取得された画像データと置換する。
（i）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域に最も近い位置の１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。
（ii）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（例えば第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。
（iii）補正部３２２は、上記（i）または（ii）により選んだ１つの参照ブロックで取得された複数の画素（図８の例では４画素）に対応する画像データのうち、注目ブロック内の白飛びまたは黒潰れした画素に隣接する画素に対応する画像データを用いて、白飛びまたは黒潰れが生じた画像データを置換する。
（iv）補正部３２２は、上記（i）または（ii）により選んだ１つの参照ブロックで取得された複数の画素（図８の例では４画素）に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
　また、参照ブロックに含まれる複数の画素に対応する画像データの平均値を算出する代わりに、複数の画素に対応する画像データの中間値を算出し、この中間値によって白飛びまたは黒潰れが生じた画素に対応する画像データを置換してもよい点も、第１の実施の形態と同様である。
（１－２）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)～(iv)のいずれかの態様により、白飛びまたは黒潰れが生じた画像データを、同じ撮像画面内の複数のブロックで取得された画像データと置換する。
（i）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域の周辺の複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。
（ii）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（例えば第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを、それぞれ同じデータによって置換する。
（iii）補正部３２２は、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データのうち、注目ブロック内の白飛びまたは黒潰れした画素に隣接する画素に対応する画像データを用いて、白飛びまたは黒潰れが生じた画像データを置換する。
（iv）補正部３２２は、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
　また、複数の参照ブロックに含まれる複数の画素に対応する画像データの平均値を算出する代わりに、複数の画素に対応する画像データの中間値を算出し、この中間値によって白飛びまたは黒潰れが生じた画素に対応する画像データを置換してもよい点も、第１の実施の形態と同様である。
２．白飛びまたは黒潰れが生じた領域の全体に複数の補正を行う。
（２－１）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)～(iii)のいずれかの態様により、白飛びまたは黒潰れが生じた画像データを、同じ撮像画面内の１つのブロックで取得された画像データと置換する。
（i）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした画素に隣接する画素に対応する画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。
（ii）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（例えば第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。
（iii）補正部３３ｂは、上記（i）または（ii）により選んだ１つの参照ブロックで取得された複数の画素（図８の例では４画素）に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
（２－２）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)～(iv)のいずれかの態様により、白飛びまたは黒潰れが生じた画像データを、同じ撮像画面内の複数のブロックで取得された画像データと置換する。
（i）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした領域の周辺の複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。
（ii）補正部３２２は、注目ブロックの周囲に位置する参照ブロックのうち、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（例えば第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた複数の画像データを、それぞれ異なるデータによって置換する。
（iii）補正部３２２は、上記（i）または（ii）により選んだ複数の参照ブロックで取得された複数の画素に対応する画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた画像データを置換する。
　なお、画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れが生じた画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
　また、複数の参照ブロックに含まれる複数の画素に対応する画像データの平均値を算出する代わりに、複数の画素に対応する画像データの中間値を算出し、この中間値によって黒潰れが生じた画素に対応する画像データを置換してもよい点も、第１の実施の形態と同様である。
　以上説明した第１補正処理の種々の態様による補正うち、いずれの態様の補正を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定する。
　なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の補正を行うかを決定するようにしてもよい。
＜第２補正処理＞
　制御部３４はさらに、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に、補正部３２２に以下の第２補正処理を必要に応じて行わせる。
１．画像処理を行う場合
１－１．注目画素Ｐの撮像条件と注目画素Ｐの周囲の複数の参照画素Ｐｒの撮像条件とが同一である場合
　この場合、画像処理部３２ｃでは、補正部３２２が第２補正処理を行わず、生成部３２３が第２補正処理されていない複数の参照画素Ｐｒの画像データを利用して画像処理を行う。
１－２．注目画素Ｐの撮像条件と、注目画素Ｐの周囲の複数の参照画素Ｐｒのうちの少なくとも１つの参照画素Ｐｒの撮像条件とが異なる場合
　注目画素Ｐにおいて適用された撮像条件を第１撮像条件とし、複数の参照画素Ｐｒの一部に適用された撮像条件が第１撮像条件であり、残りの参照画素Ｐｒに適用された撮像条件が第２撮像条件であるとする。
　この場合には、第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、当該第２撮像条件が適用された参照画素Ｐｒの画像データに対して以下の（例１）～（例３）のように第２補正処理を行う。そして、生成部３２３は、第１撮像条件が適用された参照画素Ｐｒの画像データと、第２補正処理後の参照画素Ｐｒの画像データとを参照して注目画素Ｐの画像データを算出する画像処理を行う。
（例１）
　第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、当該参照画素Ｐｒの画像データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。
（例２）
　第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、当該参照画素Ｐｒの画像データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。
（例３）
　第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、当該参照画素Ｐｒの画像データ、すなわち第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを採用することを第２補正処理とする。これにより、撮像条件の相違による画像データ間の差異を小さくする。
　なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の画像データを補間算出することを第２補正処理としてもよい。
　なお、注目画素Ｐにおいて適用された撮像条件を第２撮像条件とし、注目画素Ｐの周囲の参照画素Ｐｒにおいて適用された撮像条件を第１撮像条件とした場合も同様である。すなわち、この場合には、第１撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、当該参照画素Ｐｒの画像データに対して上述した（例１）～（例３）のように第２補正処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件ととみなす。
　生成部３２３は、注目画素Ｐの撮像条件と同一の撮像条件が適用された参照画素Ｐｒの画像データと補正部３２２で第２補正処理された参照画素Ｐｒの画像データとに基づいて、第１の実施の形態における画像処理部３３の生成部３３ｃと同様に、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行う。
　図２４は、第１撮像条件が適用された撮像面の一部領域（以下、第１撮像領域１４１と呼ぶ）に含まれる各画素からの画像データ（以下、第１画像データと呼ぶ）と、第２撮像条件が適用された撮像面の一部領域（以下、第２撮像領域１４２と呼ぶ）に含まれる各画素からの画像データ（以下、第２画像データと呼ぶ）との処理について、模式的に表した図である。
　第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データがそれぞれ出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データがそれぞれ出力される。第１画像データは、画像処理チップ１１４に設けられた補正部３２２のうち、第１画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第１画像データを生成した画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第１処理部１５１と呼ぶ。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　同様に、第２画像データは、画像処理チップ１１４に設けられた補正部３２２のうち、第２画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第２画像データを生成した各画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第２処理部１５２と呼ぶ。
　第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　上述した第１補正処理において、例えば、注目ブロックが第１撮像領域１４１に含まれる場合、図２４に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、注目ブロック内の白飛びまたは黒潰れが生じた画像データは、第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、参照ブロックからの第２画像データを受信する。
　上述した第２補正処理において、例えば、注目画素Ｐが第１撮像領域１４１に含まれる場合、第２撮像領域１４２に含まれる参照画素Ｐｒからの第２画像データは、図２４に示すように第２処理部１５２によって上述した第２補正処理が行われる。なお、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
　同様に、例えば、注目画素Ｐが第２撮像領域１４２に含まれる場合、第１撮像領域１４１に含まれる参照画素Ｐｒからの第１画像データは、第１処理部１５１で上述した第２補正処理が行われる。なお、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信する。
　なお、注目画素Ｐと参照画素Ｐｒとが第１撮像領域１４１に含まれる場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに第２補正処理を行わない。同様に、注目画素Ｐと参照画素Ｐｒとが第２撮像領域１４２に含まれる場合、第２処理部１５２は、当該参照画素Ｐｒからの第２画像データに第２補正処理を行わない。
　あるいは、第１処理部１５１と第２処理部１５２により、それぞれ第１撮像条件の画像データおよび第２撮像条件の画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の画像データ、参照位置の画像データのうちの第１撮像条件の画像データ、および参照位置の画像データのうちの第２撮像条件の画像データに対してそれぞれ第２補正処理を施すことにより、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
　例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素Ｐｒの画像データに、第２補正処理として４００／１００をかけ、第２撮像条件（ＩＳＯ感度が８００）である参照画素Ｐｒの画像データに、第２補正処理として４００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。なお、注目画素の画素データは、色補間処理後に１００／４００をかける第２補正処理を行う。この第２補正処理により色補間処理後の注目画素の画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第２領域との境界からの距離によって第２補正処理の程度を変えても良い。そして上記（例１）の場合に比べて第２補正処理により画像データが増加や減少する割合を少なくすることができ、第２補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。
　生成部３２３は、第１処理部１５１および第２処理部１５２からの画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　なお、第１処理部１５１は、注目画素Ｐが第２撮像領域１４２に位置する場合に、第１撮像領域１４１に含まれるすべての画素からの第１画像データを第２補正処理してもよく、第１撮像領域１４１に含まれる画素のうち、第２撮像領域１４２の注目画素Ｐの補間に用いられる可能性がある画素からの第１画像データだけを第２補正処理してもよい。同様に、第２処理部１５２は、注目画素Ｐが第１撮像領域１４１に位置する場合に、第２撮像領域１４２に含まれるすべての画素からの第２画像データを第２補正処理してもよく、第２撮像領域１４２に含まれる画素のうち、第１撮像領域１４１の注目画素Ｐの補間に用いられる可能性がある画素からの第２画像データだけを第２補正処理してもよい。
２．焦点検出処理を行う場合
　第１の実施形態と同様に、制御部３４のレンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイント）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作のフォーカスポイントが分割された領域の境界部分に位置する場合、すなわちフォーカスポイントが第１領域と第２領域とで２分されている場合、本実施の形態では、以下の２－２．で説明するように、制御部３４のレンズ移動制御部３４ｄは、補正部３２２に対して少なくとも１つの領域の焦点検出用の信号データに対する第２補正処理を行わせる。
２－１．図１５における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在しない場合
　この場合、補正部３２２は第２補正処理を行わず、制御部３４のレンズ移動制御部３４ｄは枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。
２－２．図１５における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在する場合
　この場合には、制御部３４のレンズ移動制御部３４ｄは、枠１７０内の画素のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して以下の（例１）～（例３）のように第２補正処理を行わせる。そして、制御部３４のレンズ移動制御部３４ｄは、第１撮像条件が適用された画素の信号データと、第２補正処理後の信号データとを用いて焦点検出処理を行う。
（例１）
　第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、第２撮像条件の信号データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例２）
　第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、第２撮像条件の信号データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例３）
　第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、第２撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを第２補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
　なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを第２補正処理としてもよい。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の例では、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行ってもよい。
　さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくするようにしてもよい。
　図２５は、焦点検出処理に係る、第１信号データと第２信号データとの処理について模式的に表した図である。
　第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１信号データが出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２信号データが出力される。第１撮像領域１４１からの第１信号データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２信号データは、第２処理部１５２に出力される。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　上述した第１補正処理において、例えば、注目ブロックが第１撮像領域１４１に含まれる場合、図２５に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、注目ブロック内の白飛びまたは黒潰れが生じた第１信号データは、第２撮像領域１４２に含まれる参照ブロックからの第２信号データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、参照ブロックからの第２信号データを受信する。
　上述した第２補正処理において、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２が処理を行う。第２撮像領域１４２に含まれる画素からの第２信号データに、第２処理部１５２は上述した第２補正処理を行う。なお、第２処理部１５２は、撮像条件の相違による信号データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
　なお、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１は、第１信号データに第２補正処理を行わない。
　また、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１が処理を行う。第１撮像領域１４１に含まれる画素からの第１信号データに、第１処理部１５１は上述した第２補正処理を行う。なお、第１処理部１５１は、撮像条件の相違による信号データ間の差異を小さくするために必要な第２撮像条件についての情報を第２処理部１５２から受信する。
　なお、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２は、第２信号データに第２補正処理を行わない。
　さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくする場合、第１処理部１５１と第２処理部１５２とが処理を行う。第１処理部１５１は、第１撮像領域１４１に含まれる画素からの第１信号データに上述した第２補正処理を行い、第２処理部１５２は、第２撮像領域１４２に含まれる画素からの第２信号データに上述した第２補正処理を行う。
　レンズ移動制御部３４ｄは、第１処理部１５１および第２処理部１５２からの信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
３．被写体検出処理を行う場合
　分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、本実施の形態では、以下の３－２．で説明するように、制御部３４の物体検出部３４ａは、補正部３２２に対して探索範囲１９０内の少なくとも１つの領域の画像データに対する第２補正処理を行わせる。
３－１．図１６における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
　この場合、補正部３２２は第２補正処理を行わず、制御部３４の物体検出部３４ａは探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。
３－２．図１６における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
　この場合、制御部３４の物体検出部３４ａは、探索範囲１９０の画像のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）～（例３）のように第２補正処理を行わせる。そして、制御部３４の物体検出部３４ａは、第１条件が適用された画素の画像データと、第２補正処理後の画像データとを用いて被写体検出処理を行う。
　図２６は、被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
　上述した第１補正処理において、例えば、注目ブロックが第１撮像領域１４１に含まれる場合、図２６に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、注目ブロック内の白飛びまたは黒潰れが生じた第１画像データは、第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、参照ブロックからの第２画像データを受信する。
　第２補正処理において、第１処理部１５１または／および第２処理部１５２で行われる第２補正処理は、焦点検出処理を行う場合として上述した図２５についての第２補正処理と同じである。
　物体検出部３４ａは、第１処理部１５１および第２処理部１５２からの画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
４．撮像条件を設定する場合
　撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合について説明する。
４－１．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
　この場合、補正部３２２は第２補正処理を行わず、制御部３４の設定部３４ｂは測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。
４－２．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
　この場合、制御部３４の設定部３４ｂは、測光範囲の画像データのうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）～（例３）のように第２補正処理を行わせる。そして、制御部３４の設定部３４ｂは、第２補正処理後の画像データを用いて露出演算処理を行う。
　図２７は、露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
　上述した第１補正処理において、例えば、注目ブロックが第１撮像領域１４１に含まれる場合、図２７に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、注目ブロック内の白飛びまたは黒潰れが生じた第１画像データは、第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、参照ブロックからの第２画像データを受信する。
　第２補正処理において、第１処理部１５１または／および第２処理部１５２で行われる第２補正処理は、焦点検出処理を行う場合として上述した図２５についての第２補正処理と同じである。
　設定部３４ｂは、第１処理部１５１および第２処理部１５２からの画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）画像処理部３２ｃは、第１撮像領域１４１で撮像された被写体の画像データの生成を行う第１処理部１５１と、第２撮像領域１４２で撮像された被写体の画像データの生成を行う第２処理部１５２とを有する。第１処理部１５１は、第２撮像領域１４２で撮像された被写体の画像データにより第１撮像領域１４１で撮像された被写体の画像データを生成する。これにより、画像データに対する前処理（第１補正処理、第２補正処理）を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できる。
（２）画像処理部３２ｃは、第１撮像領域１４１に入射した被写体に基づく信号の生成を行う第１処理部１５１と、第２撮像領域１４２に入射した被写体に基づく信号の生成を行う第２処理部１５２とを有する。第１処理部１５１は、第２撮像領域１４２に入射した被写体に基づく信号により第１撮像領域１４１で撮像された被写体に基づく信号を生成する。これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、レンズ移動制御部３４ｄでの焦点検出処理の開始までの時間を短縮化でき、焦点検出処理の高速化に資する。
（３）画像処理部３２ｃは、第１撮像領域１４１に入射した被写体の画像データの生成を行う第１処理部１５１と、第２撮像領域１４２に入射した被写体の画像データの生成を行う第２処理部１５２とを有する。第１処理部１５１は、第２撮像領域１４２に入射した被写体の画像データにより第１撮像領域１４１で撮像された被写体の画像データを生成する。これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、物体検出部３４ａでの被写体検出処理の開始までの時間を短縮化でき、被写体検出処理の高速化に資する。
（４）画像処理部３２ｃは、第１撮像領域１４１に入射した被写体に基づく信号の生成を行う第１処理部１５１と、第２撮像領域１４２に入射した被写体に基づく信号の生成を行う第２処理部１５２とを有する。第１処理部１５１は、第２撮像領域１４２に入射した被写体に基づく信号により第１撮像領域１４１で撮像された被写体に基づく信号を生成する。これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、設定部３４ｂでの撮像条件の設定処理の開始までの時間を短縮化でき、撮像条件の設定処理の高速化に資する。
－－－第２の実施の形態の変形例－－－
　次のような変形も本発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１３）
　第１の実施の形態の変形例１における図１８(a)～図１８(c)に示すように、撮像素子３２ａの撮像面において第１撮像領域および第２撮像領域を配置した場合の第１画像データと第２画像データとの処理について説明する。
　本変形例においても、変形例１と同様に、図１８(a)～図１８(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した画素信号によって、第１撮像領域から読み出した画像信号に基づく第１画像および第２撮像領域から読み出した画像信号に基づく第２画像がそれぞれ生成される。本変形例においても、変形例１と同様に、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
　第１画像を撮像する第１撮像領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２撮像領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。
１．一例として、第１撮像領域に設定される第１撮像条件が撮像画面の第１撮像領域の全体で同一であり、第２撮像領域に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一である場合について、図２８を参照して説明する。図２８は、第１画像データと第２画像データとの処理について模式的に表した図である。
　第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　本例では、第１撮像条件が撮像画面の第１撮像領域の全体で同一であるので、第１処理部１５１は、第１撮像領域に含まれる参照画素Ｐｒからの第１画像データに第２補正処理を行わない。また、第２撮像条件が撮像画面の第２撮像領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては第２補正処理を行わない。しかし、第２処理部１５２は、第１画像データの補間に用いる第２画像データについては、第１撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを矢印１８２で示すように第１処理部１５１に出力する。なお、第２処理部１５２は、第２補正処理後の第２画像データを破線の矢印１８３で示すように生成部３２３に出力してもよい。
　第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
　生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２処理部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２処理部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　レンズ移動制御部３４ｄは、第２処理部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
２．他の一例として、第１撮像領域に設定される第１撮像条件が撮像画面の領域によって異なり、第２撮像領域に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一である場合について、図２８を参照して説明する。
　第１撮像領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の第２撮像領域の全体で同一の第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　上述したように本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１撮像領域１４１内の部分領域によって異なる。第１撮像領域１４１内にともに位置する注目画素Ｐと参照画素Ｐｒとで異なる第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して、上述した１－２．で述べた第２補正処理と同様の第２補正処理を行う。なお、注目画素Ｐと参照画素Ｐｒとで同じ第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して第２補正処理を行わない。
　本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては第２補正処理を行わない。第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを第１処理部１５１に出力する（矢印１８２）。なお、第２処理部１５２は、第２補正処理後の第２画像データを生成部３２３に出力してもよい（矢印１８３）。
　第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
　生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２処理部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２処理部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　レンズ移動制御部３４ｄは、第２処理部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
３．また、他の一例として、第１撮像領域１４１に設定される第１撮像条件が撮像画面の第１撮像領域１４１の全体で同一であり、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２８を参照して説明する。
　第１撮像領域１４１に含まれる各画素からは、撮像画面の第１撮像領域１４１の全体で同一の第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第４撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の第１撮像領域１４１の全体で同一であるので、第１処理部１５１は、第１撮像領域１４１に含まれる参照画素Ｐｒからの第１画像データに第２補正処理を行わない。
　また、本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して次のように第２補正処理を行う。第２処理部１５２は、例えば、第２画像データのうちのある撮像条件で撮像された第２画像データに対して第２補正処理を行うことにより、第２補正処理後の第２画像データと、上述したある撮像条件とは異なる他の撮像条件で撮像された第２画像データとの差を小さくする。
　本例では、第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを第１処理部１５１に出力する（矢印１８２）。なお、第２処理部１５２は、第２補正処理後の第２画像データを生成部３２３に出力してもよい（矢印１８３）。
　第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１領域に含まれる注目画素Ｐについての撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
　生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて露出演算処理等の撮像条件の算出処理を行う。設定部３４ｂは、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　レンズ移動制御部３４ｄは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２信号データと、他の撮像条件で撮像された第２信号データとに基づいて焦点検出処理を行う、レンズ移動制御部３４ｄは、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
４．さらにまた、他の一例として、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なり、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２８を参照して説明する。
　第１撮像領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
　第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
　上述したように本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１撮像領域１４１内の部分領域によって異なる。第１撮像領域１４１内にともに位置する注目画素Ｐと参照画素Ｐｒとで異なる第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して、上述した１－２．で述べた第２補正処理と同様の第２補正処理を行う。なお、注目画素Ｐと参照画素Ｐｒとで同じ第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して第２補正処理を行わない。
　また、本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して上述した３．の一例のように第２補正処理を行う。
　生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて露出演算処理等の撮像条件の算出処理を行う。設定部３４ｂは、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　レンズ移動制御部３４ｄは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２信号データと、他の撮像条件で撮像された第２信号データとに基づいて焦点検出処理を行う、レンズ移動制御部３４ｄは、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
（変形例１４）
　上述した第２の実施の形態では、補正部３２２の１つとブロック１１１ａ（単位区分）の１つとが対応している。しかし、補正部３２２の１つと、複数のブロック１１１ａ（単位区分）を有する複合ブロック（複合区分）の１つとが対応するようにしてもよい。この場合、補正部３２２は、当該複合ブロックに含まれる複数のブロック１１１ａに属する画素からの画像データを順次補正する。複数の補正部３２２が、複数のブロック１１１ａを有する複合ブロック毎に対応して設けられていても、画像データの第２補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
（変形例１５）
　上述した第２の実施の形態では、生成部３２３は撮像部３２Ａの内部に設けられている。しかし、生成部３２３を撮像部３２Ａの外部に設けてもよい。生成部３２３を撮像部３２Ａの外部に設けても上述した作用効果と同様の作用効果を奏する。
（変形例１６）
　上述した第２の実施の形態では、積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。しかし、積層型撮像素子１００Ａに画像処理チップ１１４を設けず、信号処理チップ１１２に画像処理部３２ｃが設けられていてもよい。
（変形例１７）
　上述した第２の実施の形態では、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、第１処理部１５１から受信した。また、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信した。しかし、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。同様に、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。
　以上説明した撮像光学系３１は、ズームレンズやアオリレンズを含んでいてもよい。レンズ移動制御部３４ｄは、ズームレンズを光軸方向に移動させることによって、撮像光学系３１による画角を調節する。すなわち、ズームレンズの移動によって、広い範囲の被写体の像を得たり、遠くの被写体について大きな像を得たりするなど、撮像光学系３１による像を調節することができる。
　また、レンズ移動制御部３４ｄは、アオリレンズを光軸に直交する方向に移動させることによって、撮像光学系３１による像の歪みを調節することができる。
　そして、撮像光学系３１による像の状態（例えば画角の状態、または像の歪みの状態）を調節するために、上述したような前処理後の画像データを用いる方が好ましいという考え方に基づき、上述した前処理を行うとよい。
－－－第３の実施の形態－－－
　図２９、３０を参照して、第３の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、分割した領域の境界がブロック内に存在する場合について説明する。
＜第１補正処理＞
　第３の実施の形態では、画像処理部３３の補正部３３ｂは、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に行う前処理の１つとして、第１補正処理を必要に応じて行う。
　第１の実施の形態と同様に、第３の実施の形態では、設定部３４ｂにより撮像画面の領域が分割された後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。
　たとえば、分割後の領域６１～６６をそれぞれ第１領域６１～第６領域６６（図２９(a)参照）とし、第１領域６１～第６領域６６に対して、それぞれ異なる第１撮像条件～第６撮像条件が設定されるものとする。このような場合において、第１領域６１～第６領域６６の境界を含むブロックが存在する。ブロックとは、上述したように、撮像素子３２ａにおいて撮像条件を個々に設定可能な最小単位である。
　図２９（ａ）は、ライブビュー画像６０ａにおける人物に対応する第１領域６１と山に対応する第４領域６４との境界を含む所定範囲２８０を例示する図である。図２０（ｂ）は、図２９（ａ）の所定範囲２８０を拡大した図である。図２９（ｂ）において、所定範囲２８０に複数のブロック２８１～２８９が含まれている。
　図２９（ｂ）の白地部は、人物に対応する部分を示す。また、図２９（ｂ）の斜線部および網掛け部は、山に対応する部分を示す。ブロック２８２、ブロック２８５、およびブロック２８７には、第１領域６１と第４領域６４との境界Ｂ１が含まれている。すなわち、図２９（ｂ）では、山に対応する部分のうち、境界Ｂ１が存在するブロック８２、８５、８７内の山に対応する部分に斜線が施されている。
　以下の説明では、同一の被写体要素（同一の領域）内のブロックのうち、隣接する領域との境界を含むブロックを境界ブロックと呼び、境界を含まないブロックを主ブロックと呼ぶ。すなわち、図２９（ｂ）の例では、ブロック２８２、２８５、２８７が境界ブロックであり、残りのブロック２８１、２８３、２８４、２８６、２８８、２８９が主ブロックである。
　本実施の形態では、人物に対応する第１領域６１を第１撮像条件に設定し、山に対応する第４領域６４を第４撮像条件に設定する。本実施の形態では、ブロックが撮像条件の設定の最小単位であるため、１つのブロックには同じ撮像条件が設定される。そこで設定部３４ｂは、人物を撮像する主ブロック２８１および２８４の撮像条件を第１撮像条件に設定するとともに、人物および山を撮像する境界ブロック２８２、２８５、および２８７の撮像条件も第１撮像条件に設定する。一方、設定部３４ｂは、山を撮像する主ブロック２８３、２８６、２８８、および２８９の撮像条件を第４撮像条件に設定する。
　このように、第１領域６１と第４領域６４との境界Ｂ１を含む境界ブロック２８２、２８５および２８７には第１撮像条件が設定されるので、これらの境界ブロック２８２、ブロック２８５、およびブロック２８７の斜線部、すなわち山に対応する部分にも第１撮像条件が設定される。つまり、境界ブロック２８２、境界ブロック２８５、および境界ブロック２８７内の斜線部には、山を撮像する主ブロック２８３、２８６、２８８、および２８９に設定される第４撮像条件とは異なる撮像条件が設定される。
　以上のように第４領域６４のうち、境界ブロック２８２、２８５、および２８７の斜線部を第１撮像条件に設定し、網掛けした主ブロック２８３、２８６、２８８、および２８９を第４撮像条件に設定すると、斜線部分と網掛け部分との間で、画像の明暗、コントラスト、色合い等が相違する場合がある。すなわち、同じ第４領域６４であっても境界ブロックと主ブロックとでは撮像条件が相違するため、画像処理後の画像に不連続性が生じるおそれがある。
　そこで、本実施の形態では、境界ブロックに属する画素からの信号に対して以下に述べる補正処理を行うことで、主ブロックにおける撮像条件と同じ撮像条件で撮像した場合と同様の信号を得る。この補正処理を第１補正処理と呼ぶ。第１補正処理は、同じ領域内で撮像条件が異なる部分が存在することに起因して、画像処理後の画像に生じる不連続性を緩和するために行う。
　図３０は図２９（ｂ）に対応する画像データを例示する図である。図３０において、ブロック２８１～２８９は、それぞれ２画素×２画素の４画素によって構成されているものとする。図３０において、境界Ｂ１を太線の破線で示す。図３０に示した各画素のうち、白抜きした画素２８１ａ～２８１ｄ、２８２ａ～２８２ｃ、２８４ａ～２８４ｄ、２８５ａ、２８７ａには人物６１ａ（図５参照）からの被写体光が入射し、網掛けを施した画素２８２ｄ、２８３ａ～２８３ｄ、２８５ｂ～２８５ｄ、２８６ａ～２８６ｄ、２８７ｂ～２８７ｄ、２８８ａ～２８８ｄ、２８９ａ～２８９ｄには山６４ａ（図５参照）からの被写体光が入射するものとする。
　補正部３３ｂは、境界ブロックに属する各画素に対して、どの被写体要素からの光が入射しているのかを判断する。具体的には、補正部３３ｂは、物体検出部３４ａによる被写体要素の検出結果から撮像素子３２ａの撮像面における境界の位置を算出する。そして、補正部３３ｂは、算出した境界の位置に基づいて境界ブロックを抽出するとともに、抽出した境界ブロックに属する各画素に対してどの被写体要素からの被写体光が入射しているかを算出する。
　たとえば、図２９，３０を例に挙げて説明すると、補正部３３ｂは、物体検出部３４ａによる被写体要素の検出結果から第１領域６１と第４領域６４との境界Ｂ１の位置を算出する。そして補正部３３ｂは、算出した境界Ｂ１の位置に基づいてブロック２８２、２８５および２８７を境界ブロックとして抽出する。そして補正部３３ｂは、算出した境界Ｂ１の位置に基づいて、境界ブロック２８２の画素２８２ａ、２８２ｂおよび２８２ｃ、境界ブロック２８５の画素２８５ａ、ならびに境界ブロック２８７の画素２８７ａに対して人物６１ａからの被写体光が入射していることを算出する。また、補正部３３ｂは、算出した境界Ｂ１の位置に基づいて、境界ブロック２８２の画素２８２ｄ、境界ブロック２８５の画素２８５ｂ、２８５ｃおよび２８５ｄ、ならびに境界ブロック２８７の画素２８７ｂ、２８７ｃおよび２８７ｄに対して山６４ａからの被写体光が入射していることを算出する。
　上述したように、第４領域６４についての主ブロック２８３、２８６、２８８および２８９は、第４撮像条件によって山６４ａからの被写体光を撮像している。ところが、境界ブロック２８２、２８５、２８７は、第１撮像条件に設定されているので、境界ブロック２８２の画素２８２ｄ、境界ブロック２８５の画素２８５ｂ～２８５ｄ、および境界ブロック２８７の画素２８７ｂ～２８７ｄは、第１撮像条件によって山６４ａからの被写体光を撮像している。
　そこで、補正部３３ｂは、境界ブロック２８２の画素２８２ｄ、境界ブロック２８５の画素２８５ｂ～２８５ｄ、および境界ブロック２８７の画素２８７ｂ～２８７ｄからの各信号に対して、山６４ａからの被写体光を第４撮像条件で撮像した場合と同様の信号を得られるように第１補正処理を行う。なお、本実施の形態では、境界ブロック内で補正処理の対象となる複数の画素に対して、同一の条件で補正処理を行う。以下の説明では、境界ブロック２８５を例に挙げて説明するが、他の境界ブロックについても以下の説明と同様の補正処理が必要に応じて行われる。
（第１補正処理の例示）
１．撮像条件に基づいて第１補正処理を行う
　第１補正処理の態様の１つとして、以下に説明するように、境界ブロックに関する２つの領域（第１領域６１および第４領域６４）にそれぞれ設定された撮像条件の違いに基づいて、補正処理を行う。
（例１）
　たとえば、第４撮像条件と第１撮像条件との間でＩＳＯ感度のみが異なり、第４撮像条件のＩＳＯ感度が８００で、第１撮像条件のＩＳＯ感度が１００である場合、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号に対して、第１補正処理として８００／１００＝８をかける。　この場合、各画素２８５ｂ～２８５ｄからの信号の画素値に対して乗じる補正係数αは、隣接する２つの領域にそれぞれ設定された撮像条件の相違に基づいて上述のように算出した８となる。
　この第１補正処理によって補正された境界ブロック２８５の各画素２８５ｂ～２８５ｄの信号は、各画素２８５ｂ～２８５ｄに入射する光が第４撮像条件（ＩＳＯ感度８００）で撮像された場合の信号と同一になる。
（例２）
　たとえば、第４撮像条件と第１撮像条件との間でシャッター速度のみが異なり、第４撮像条件のシャッター速度が１／１００秒で、第１撮像条件のシャッター速度が１／１０００秒である場合、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号に対して、第１補正処理として(１／１００)／(１／１０００)＝１０をかける。　この場合、各画素２８５ｂ～２８５ｄからの信号の画素値に対して乗じる補正係数αは、隣接する２つの領域にそれぞれ設定された撮像条件の相違に基づいて上述のように算出した１０となる。
　この第１補正処理によって補正された境界ブロック２８５の各画素２８５ｂ～２８５ｄの信号は、各画素２８５ｂ～２８５ｄに入射する光が第４撮像条件（シャッター速度が１／１００秒）で撮像された場合の信号と同一になる。
（例３）
　たとえば、第４撮像条件と第１撮像条件との間でフレームレートのみが異なり、第４撮像条件のフレームレートが６０ｆｐｓで、第１撮像条件のフレームレートが３０ｆｐｓである場合、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからのフレームレート３０ｆｐｓの複数のフレーム画像の信号について、第４撮像条件（６０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号を採用して、フレームレート３０ｆｐｓからフレームレート６０ｆｐｓに変換する。このフレームレートの変換は、たとえば、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号をメモリに記憶し、そのメモリから同一信号を２回読み出すことによって達成される。
　なお、第１補正処理によるフレームレート３０ｆｐｓからフレームレート６０ｆｐｓへの変換は、フレームレート３０ｆｐｓで取得した前後する複数のフレーム画像の信号を加算合成して合成信号を生成し、この合成信号をフレームレート３０ｆｐｓのフレーム画像の信号に補充することによっても達成される。
　このようにして、補正部３３ｂは、すべての境界ブロックの各画素からの信号に対して必要に応じて第１補正処理を行う。すなわち、補正部３３ｂは、境界ブロックに属するある画素からの信号に対して、当該画素と同じ被写体要素についての主ブロックに適用された撮像条件と当該境界ブロックに適用された撮像条件とが異なれば第１補正処理を行う。しかし、当該画素と同じ被写体要素についての主ブロックに適用された撮像条件と当該境界ブロックに適用された撮像条件とが同一であれば第１補正処理を行う必要がないので、補正部３３ｂは、第１補正処理を行わない。
　上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　なお、境界ブロックや境界ブロックの近隣の主ブロックで撮像して得られた画像データに対してシャープネスやコントラストを下げるような画像処理を行うことで、画像に生じる不連続性を緩和できるのであれば、第１補正処理を行わなくてもよい。
２．画素値に基づいて第１補正処理を行う
　第１補正処理の別の態様として、以下に説明するように、境界ブロックの画素から出力される信号の画素値と主ブロックの画素から出力される信号の画素値とに基づいて、補正処理を行う。
（例１）補正部３３ｂは、山６４ａからの被写体光を第１撮像条件で撮像した境界ブロックの各画素からの信号の画素値の平均値と、山６４ａからの被写体光を第４撮像条件で撮像した主ブロックであって、当該境界ブロックに隣接するブロックの各画素からの信号の画素値の平均値と基づいて、補正係数αを算出する。そして補正部３３ｂは、山６４ａからの被写体光を撮像した境界ブロックの各画素から信号の画素値のそれぞれに対し、補正係数αを乗じる。
　たとえば、山６４ａからの被写体光を撮像した境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号の画素値の平均値がＶａｖｅ１であり、境界ブロック２８５に隣接する主ブロック２８６の各画素２８６ａ～２８６ｄからの信号の画素値の平均値をＶａｖｅ２であるとする。この場合、補正部３３ｂは、境界ブロック２８５の画素２８５ｂ～２８５ｄからの信号の画素値に対する補正係数αとして、α＝Ｖａｖｅ２／Ｖａｖｅ１を算出する。
　そして、補正部３３ｂは、境界ブロック２８５の画素２８５ｂからの信号の画素値に補正係数αを乗じた値を、画素２８５ｂからの信号の第１補正処理後の画素値とする。同様に、補正部３３ｂは、境界ブロック２８５の画素２８５ｃからの信号の画素値に補正係数αを乗じた値を、画素２８５ｃからの信号の第１補正処理後の画素値とし、画素２８５ｄからの信号の画素値に補正係数αを乗じた値を、画素２８５ｄからの信号の第１補正処理後の画素値とする。
　以上のように、境界ブロック２８５の画素２８５ｂ～２８５ｄからの信号の画素値と当該境界ブロックに隣接する主ブロックの各画素からの信号の画素値との差異は、主に第１および第４撮像条件の相違に基づくものである。従って、画素値の差異に基づき補正係数αを定め、画素２８５ｂ～２８５ｄの信号を補正係数αで補正することによって、画素２８５ｂ～２８５ｄの信号は、各画素２８５ｂ～２８５ｄに入射する光が第４撮像条件で撮像された場合の信号と実質的に同一になる。
　　このようにして、補正部３３ｂは、すべての境界ブロックの各画素からの信号に対して必要に応じて第１補正処理を行う。　　
　以上の説明では、異なる２つの態様による第１補正処理を説明した。これらの態様のうち、いずれの態様の第１補正処理を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定してよい。
　なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の第１補正処理を行うかを決定するようにしてもよい。
＜第２補正処理＞
　画像処理部３３の補正部３３ｂはさらに、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に、第１の実施の形態における補正処理と同じ補正処理を必要に応じて行う。以下の説明では、第１の実施の形態における補正処理と同じ補正処理を第２補正処理とも呼ぶ。補正部３３ｂは、上述したように必要に応じて行われた第１補正処理の後に第２の補正処理を行う。
　なお、第２補正処理では、第１補正処理によって補正された境界ブロックの画素からの信号は、境界ブロックに設定された撮像条件ではなく、主ブロックに設定された撮像条件が適用されて撮像されて得られた信号として処理される。たとえば、第２補正処理を行う際には、第１補正処理によって補正された境界ブロック２８２の画素２８２ｄからの信号は、第１撮像条件ではなく第４撮像条件が適用されて撮像されて得られた信号として補正部３３ｂで処理される。
　以上説明した第３の実施の形態によれば、第１および第２の実施の形態の作用効果に加えて、次の作用効果が得られる。
（１）　撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データによる画像を適切に生成することができる。たとえば、領域ごとの撮像条件の違いによって、生成される画像に現れる不連続性や違和感を抑制できる。
　また、境界ブロックの画素からの信号を適切に補正できるので、適切に画像データを生成することができる。
　また、各領域でそれぞれ生成された焦点検出用の信号データに基づいて、デフォーカス量を適切に検出することができる。たとえば、領域ごとの撮像条件の違いによって、焦点検出精度が低下することを抑制できる。
　また、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。たとえば、領域ごとの撮像条件の違いによって、検出精度が低下することを抑制できる。
　また、各領域でそれぞれ生成された画像データに基づいて、適切に撮像条件の設定を行うことができる。たとえば、領域ごとの撮像条件の違いによって、露出条件の設定精度が低下することを抑制できる。
（２）境界ブロックの画素からの信号を適切に補正できるので、適切に画像データを生成することができる。
　また、各領域でそれぞれ生成された焦点検出用の信号データに基づいて、デフォーカス量を適切に検出することができる。
　また、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。
また、各領域でそれぞれ生成された画像データに基づいて、適切に撮像条件の設定を行うことができる。
（３）第１領域６１についての画像データの一部は、第４領域６４と隣接する、第１領域６１の一部に入射した光を撮像して得られる。画像処理部３３の補正部３３ｂは、第４撮像条件により第１領域６１についての画像データの一部を補正するので、境界ブロックの画素からの信号を適切に補正でき、適切に画像データを生成することができる。
　また、各領域でそれぞれ生成された焦点検出用の信号データに基づいて、デフォーカス量を適切に検出することができる。
　また、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。
また、各領域でそれぞれ生成された画像データに基づいて、適切に撮像条件の設定を行うことができる。
（４）画像処理部３３の補正部３３ｂは、第４撮像条件により第１領域６１についての画像データの一部を補正するので、境界ブロックの画素からの信号を適切に補正でき、適切に画像データを生成することができる。
　また、各領域でそれぞれ生成された焦点検出用の信号データに基づいて、デフォーカス量を適切に検出することができる。
　また、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。
また、各領域でそれぞれ生成された画像データに基づいて、適切に撮像条件の設定を行うことができる。
（５）境界ブロックの画素のうち、山６４ａからの光が入射する画素からの信号を適切に補正でき、適切に画像データを生成することができる。
　また、各領域でそれぞれ生成された焦点検出用の信号データに基づいて、デフォーカス量を適切に検出することができる。
　また、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。
また、各領域でそれぞれ生成された画像データに基づいて、適切に撮像条件の設定を行うことができる。
－－－第３の実施の形態の変形例－－－
　上述した第３の実施の形態では、第１領域６１および第４領域６４に関する境界ブロックに対して撮像条件に基づいて第１補正処理を行う場合、第１撮像条件と第４撮像条件との比を補正係数αとした。しかし、本変形例では、第１領域６１および第４領域６４に関する境界ブロックに対して撮像条件に基づいて第１補正処理を行う場合であっても、第１撮像条件と第４撮像条件との比よりも１に近い値を補正係数αとする。
（例１）
　たとえば、第４撮像条件と第１撮像条件との間でＩＳＯ感度のみが異なり、第４撮像条件のＩＳＯ感度が８００で、第１撮像条件のＩＳＯ感度が１００である場合、補正部３３ｂは、補正係数αの値として、第１撮像条件と第４撮像条件との比である８００／１００＝８よりも１に近い値、たとえば７や６．５等の値を採用する。なお、ここで挙げた補正係数αの値は、あくまでも例示のための値であり、補正係数αはこの値に限定されるものではない。
（例２）
　たとえば、第４撮像条件と第１撮像条件との間でシャッター速度のみが異なり、第４撮像条件のシャッター速度が１／１００秒で、第１撮像条件のシャッター速度が１／１０００秒である場合、補正部３３ｂは、補正係数αの値として、第１撮像条件と第４撮像条件との比である(１／１００)／(１／１０００)＝１０よりも１に近い値、たとえば８．５や７等の値を採用する。なお、ここで挙げた補正係数αの値は、あくまでも例示のための値であり、補正係数αはこの値に限定されるものではない。
　すなわち、第１撮像条件が設定された境界ブロック２８５の各画素２８５ｂ～２８５ｄの信号値を補正することにより、補正後の信号値と第４撮像条件が設定されたブロックの画素の信号値との差が、補正前の信号値と第４撮像条件が設定されたブロックの画素の信号値との差よりも小さくなって（平滑化）いればよい。このように、同じ領域内で撮像条件が異なる部分が存在することに起因して、画像処理後の画像に生じる不連続性を緩和できるのであれば、補正係数αを本変形例のように算出してもよい。
　たとえば、補正対象となる画素が存在する領域が小さい場合や、第１撮像条件と第４撮像条件との差が小さければ、本変形例のようにして第１補正処理を行ってもよい。
－－－第４の実施の形態－－－
　図２９、３１を参照して、第４の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、特に説明しない点については、第３の実施の形態と同じである。第３の実施の形態では、境界ブロック内で補正処理の対象となる複数の画素からの信号の画素値に対して、それぞれ同一の補正係数αを乗じた。これに対して本実施の形態では、１つの境界ブロック内で補正処理の対象となる複数の画素からの信号の画素値に対し、その位置に応じて異なる値の補正係数を乗じる。
＜第１補正処理＞
（第１補正処理の例示）
１．撮像条件に基づいて第１補正処理を行う
　本実施の形態の第１補正処理の態様の１つとして、以下に説明するように、境界ブロックに関する２つの領域（第１領域６１および第４領域６４）にそれぞれ設定された撮像条件の違いに基づいて、補正処理を行う。
　具体的には、同一の領域内の画素であっても、境界ブロック内の画素に適用された撮像条件が主ブロックに適用された撮像条件と異なる場合、境界ブロックにおける画素の位置に応じて、第３の実施の形態における補正係数αに重み付けを行う。
　補正部３３ｂは、第３の実施の形態の（例１）や（例２）と同様に、撮像条件に基づいて補正係数αを算出する。そして、補正部３３ｂは、算出した補正係数αを領域の境界からの距離に応じた異なる値に変更する。たとえば、補正部３３ｂは、領域の境界からの距離が小さくなるほど値が１に近づくように補正係数αの値を変更する。すなわち、補正部３３ｂは、境界ブロック内の補正対象となる画素の位置が領域の境界に近いほど補正の効果を減ずるように、補正係数αの値を変更する。このようにして変更した後の補正係数αを補正係数βと呼ぶ。補正部３３ｂは、補正係数βを補正対象となる画素からの信号の画素値に乗じる。
（例１）
　たとえば、第４撮像条件と第１撮像条件との間でＩＳＯ感度のみが異なり、第４撮像条件のＩＳＯ感度が８００で、第１撮像条件のＩＳＯ感度が１００である場合、補正部３３ｂは、第３の実施の形態と同様に、補正係数α＝８００／１００＝８を算出する。そして、補正部３３ｂは、領域の境界からの距離が小さくなるほど値が１に近づくように補正係数αの値を変更する。
　たとえば、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号に対する補正係数βを次のように設定する。図３１は、境界ブロック２８５の拡大図であり、画素２８５ｂの重心Ｇｂ、画素２８５ｃの重心Ｇｃおよび画素２８５ｄの重心Ｇｄを黒丸で示している。図３１に示すように、画素２８５ｂおよび画素２８５ｃの重心位置Ｇｂ、Ｇｃと境界Ｂ１との距離Ｌｂ、Ｌｃは、画素２８５ｄの重心位置Ｇｄと境界Ｂ１との距離Ｌｄよりも小さい。したがって、補正部３３ｂは、画素２８５ｄに対する補正係数βの値をたとえば補正係数αと同値の８や補正係数αより１に近いたとえば６とし、画素２８５ｂおよび画素２８５ｃに対する補正係数βの値をさらに１に近いたとえば４とする。なお、ここで挙げた補正係数βの値は、あくまでも例示のための値であり、この値に限定されるものではない。
　補正部３３ｂは、境界ブロック２８５の画素２８５ｂからの信号の画素値に補正係数β＝４を乗じた値を、画素２８５ｂからの信号の第１補正処理後の画素値とする。同様に、補正部３３ｂは、境界ブロック２８５の画素２８５ｃからの信号の画素値に補正係数β＝４を乗じた値を、画素２８５ｃからの信号の第１補正処理後の画素値とし、画素２８５ｄからの信号の画素値に補正係数β＝６または８を乗じた値を、画素２８５ｄからの信号の第１補正処理後の画素値とする。
　この第１補正処理によって補正された境界ブロック２８５の各画素２８５ｂ～２８５ｄの信号は、境界Ｂ１から離れるほど第４撮像条件（ＩＳＯ感度８００）で撮像された場合の信号に近づく。
（例２）
　たとえば、第４撮像条件と第１撮像条件との間でシャッター速度のみが異なり、第４撮像条件のシャッター速度が１／１００秒で、第１撮像条件のシャッター速度が１／１０００秒である場合、第３の実施の形態と同様に、補正係数α＝(１／１００)／(１／１０００)＝１０を算出する。そして、補正部３３ｂは、領域の境界からの距離が小さくなるほど値が１に近づくように補正係数αの値を変更する。
　たとえば、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号に対する補正係数βを次のように設定する。上述したように、画素２８５ｂおよび画素２８５ｃの重心位置Ｇｂ、Ｇｃと境界Ｂ１との距離Ｌｂ、Ｌｃは、画素２８５ｄの重心位置Ｇｄと境界Ｂ１との距離Ｌｄよりも小さい。したがって、補正部３３ｂは、画素２８５ｄに対する補正係数βの値をたとえば補正係数αと同値の１０や補正係数αより１に近い７とし、画素２８５ｂおよび画素２８５ｃに対する補正係数βの値をさらに１に近いたとえば５とする。なお、ここで挙げた補正係数βの値は、あくまでも例示のための値であり、この値に限定されるものではない。
　補正部３３ｂは、境界ブロック２８５の画素２８５ｂからの信号の画素値に補正係数β＝５を乗じた値を、画素２８５ｂからの信号の第１補正処理後の画素値とする。同様に、補正部３３ｂは、境界ブロック２８５の画素２８５ｃからの信号の画素値に補正係数β＝５を乗じた値を、画素２８５ｃからの信号の第１補正処理後の画素値とし、画素２８５ｄからの信号の画素値に補正係数β＝７または１０を乗じた値を、画素２８５ｄからの信号の第１補正処理後の画素値とする。
　この第１補正処理によって補正された境界ブロック２８５の各画素２８５ｂ～２８５ｄの信号は、境界Ｂ１から離れるほど第４撮像条件（シャッター速度が１／１００秒）で撮像された場合の信号に近づく。
　このようにして、補正部３３ｂは、すべての境界ブロックの各画素からの信号に対して必要に応じて第１補正処理を行う。
２．画素値に基づいて第１補正処理を行う
　本実施の形態の第１補正処理の別の態様として、以下に説明するように、境界ブロックの画素から出力される信号の値（画素値）と主ブロックの画素から出力される信号の値（画素値）とに基づいて、補正処理を行う。
　具体的には、同一の領域内の画素であっても、境界ブロック内の画素に適用された撮像条件が主ブロックに適用された撮像条件と異なる場合、境界ブロックにおける画素の位置に応じて、第３の実施の形態における補正係数αに重み付けを行う。　
　補正部３３ｂは、第３の実施の形態の（例１）と同様に、撮像条件に基づいて補正係数αを算出する。そして、補正部３３ｂは、算出した補正係数αを領域の境界からの距離に応じた異なる値に変更する。たとえば、補正部３３ｂは、補正部３３ｂは、領域の境界からの距離が小さくなるほど値が１に近づくように補正係数αの値を変更する。すなわち、補正部３３ｂは、境界ブロック内の補正対象となる画素の位置が領域の境界に近いほど補正の効果を減ずるように、補正係数αの値を変更する。このようにして変更した後の補正係数αを上記の場合と同様に補正係数βと呼ぶ。補正部３３ｂは、補正係数βを補正対象となる画素からの信号の画素値に乗じる。
（例１）たとえば、山６４ａからの被写体光を撮像した境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号の画素値の平均値がＶａｖｅ１であり、境界ブロック２８５に隣接する主ブロック２８６の各画素２８６ａ～２８６ｄからの信号の画素値の平均値をＶａｖｅ２であるとする。この場合、補正部３３ｂは、境界ブロック２８５の画素２８５ｂ～２８５ｄからの信号の画素値に対する補正係数αとして、α＝Ｖａｖｅ２／Ｖａｖｅ１を算出する。そして、補正部３３ｂは、領域の境界からの距離が小さくなるほど値が１に近づくように補正係数αの値を変更する。
　たとえば、補正部３３ｂは、境界ブロック２８５の各画素２８５ｂ～２８５ｄからの信号に対する補正係数βを次のように設定する。上述したように、画素２８５ｂおよび画素２８５ｃの重心位置Ｇｂ、Ｇｃと境界Ｂ１との距離Ｌｂ、Ｌｃは、画素２８５ｄの重心位置Ｇｄと境界Ｂ１との距離Ｌｄよりも小さい。したがって、補正部３３ｂは、画素２８５ｄに対する補正係数βの値をたとえば補正係数αと同値（すなわちＶａｖｅ２／Ｖａｖｅ１）や補正係数αより１に近いたとえばβ＝β１とし、画素２８５ｂおよび画素２８５ｃに対する補正係数βの値をβ１よりもさらに１に近いたとえばβ＝β２とする。
　なお、α（＝Ｖａｖｅ２／Ｖａｖｅ１）が１より大きい場合には、１≦β２＜β１＜αとなり、αが１より小さい場合には、α＜β１＜β２≦１となる。
　補正部３３ｂは、境界ブロック２８５の画素２８５ｂからの信号の画素値に補正係数β＝β２を乗じた値を、画素２８５ｂからの信号の第１補正処理後の画素値とする。同様に、補正部３３ｂは、境界ブロック２８５の画素２８５ｃからの信号の画素値に補正係数β＝β２を乗じた値を、画素２８５ｃからの信号の第１補正処理後の画素値とし、画素２８５ｄからの信号の画素値に補正係数β＝β１またはＶａｖｅ２／Ｖａｖｅ１を乗じた値を、画素２８５ｄからの信号の第１補正処理後の画素値とする。
　このようにして、補正部３３ｂは、すべての境界ブロックの各画素からの信号に対して必要に応じて第１補正処理を行う。
　以上の説明では、異なる２つの態様による第１補正処理を説明した。これらの態様のうち、いずれの態様の第１補正処理を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定してよい。
　なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の第１補正処理を行うかを決定するようにしてもよい。
＜第２補正処理＞
　画像処理部３３の補正部３３ｂはさらに、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に、第１の実施の形態における補正処理と同じ補正処理を必要に応じて行う。以下の説明では、第１の実施の形態における補正処理と同じ補正処理を第２補正処理とも呼ぶ。補正部３３ｂは、上述したように必要に応じて行われた第１補正処理の後に第２の補正処理を行う。
　上述した第１の実施の形態から第４の実施の形態で説明したように、制御部３４は、ブロック８５の画像データ（画素の信号値）により、ブロック８５の画像データを、ブロック８５に設定された撮像条件と異なる撮像条件で撮像されたブロックの画素の値を使用するか否かを判断する。すなわち、制御部３４は、ブロック８５の画像データに白飛びまたは黒潰れが生じている場合には、ブロック８５に設定された撮像条件と異なる撮像条件で撮像されたブロックの画素を選択し、選択した画素の画像データ（画素の信号値）で白飛びまたは黒潰れが生じた画像データを置換する。なお、ブロック８５に設定された撮像条件と異なる撮像条件で撮像されたブロックの画素の値を使用する条件として、ブロック８５の画像データ（画素の信号値）が第１閾値以上または第２閾値以下としてもよい。また、制御部３４は、ブロック８５の画像データに白飛びまたは黒潰れが生じていない場合には、ブロック８５の画像データ（画素の画素値）を用いる。この場合、上述した第３の実施の形態または第４の実施の形態の第１補正処理を行う。また、制御部３４は、ブロック８５の画像データに白飛びまたは黒潰れが生じていない場合でも、ブロック８５に設定された撮像条件と異なる撮像条件で撮像されたブロックの画素を選択し、選択した画素の画像データ（画素の信号値）で白飛びまたは黒潰れが生じた画像データを置換こととしてもよい。また、制御部３４は、被写体認識を行い、認識結果に基づいて、第１の補正処理を行ってもよい。例えば、本撮影前に、設定部３４ｂが第１撮像条件と異なる撮像条件を設定して、物体検出部３４aが被写体認識を行う。そして、第１撮像条件で撮像し、補正を行う領域（例えば、画素８５ｂ、８５ｄ）と同じ被写体を撮像した画素の信号値を用いてもよい。このように、第１の実施の形態から第４の実施の形態で説明したように、第１撮像条件が設定されて撮像された被写体は、第１の補正処理により第４撮像条件が設定されて撮像されたように補正される。
　なお、上述の説明では、公知の被写体認識技術を用いて被写体要素の検出を行った。公知の被写体認識技術としては、たとえばラベリング処理やテンプレートマッチングなど、様々な手法が挙げられる。
　また、上述の説明では、制御部３４は、撮像素子３２ａで撮像して得られたライブビュー画像を用いて被写体要素の検出および領域の分割を行った。しかし、たとえば一眼レフカメラのように、被写体像を撮像可能な測光センサを備えたカメラであれば、制御部３４は、測光センサで撮像して得られたライブビュー画像を用いて被写体要素の検出および領域の分割を行ってもよい。
　なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第７１９７２号（２０１６年３月３１日出願）
１，１Ｃ…カメラ
１Ｂ…撮像システム
３１…撮像光学系
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ，３２１…入力部
３３ｂ，３２２…補正部
３３ｃ，３２３…生成部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…レンズ移動制御部
３５…表示部
８０…所定範囲
９０…注目領域
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素

Claims (46)

  1. 　第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、
    　前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える撮像装置。
  2. 　第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、
    　前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体を検出するための信号を生成する生成部と、
    　を備える撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記検出部は、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部を含む、撮像装置。
  4. 　請求項２または３に記載の撮像装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の一部の画像データを生成する撮像装置。
  5. 　請求項４に記載の撮像装置において、
    　前記第１撮像領域で撮像された被写体の一部と、前記第２撮像領域で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される撮像装置。
  6. 　請求項４に記載の撮像装置において、
    　前記第１撮像領域で撮像された被写体の一部と、前記第２撮像領域で撮像された被写体の少なくとも一部と、は、互いに接している撮像装置。
  7. 　請求項２から請求項６のいずれか一項に記載の撮像装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積よりも大きい撮像装置。
  8. 　請求項２から請求項６のいずれか一項に記載の撮像装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積以下である撮像装置。
  9. 　請求項８に記載の撮像装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積よりも小さい撮像装置。
  10. 　請求項２から請求項９のいずれか一項に記載の撮像装置において、
    　前記生成部は、前記第２撮像領域の一部の領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  11. 　請求項２から請求項１０のいずれか一項に記載の撮像装置において、
    　前記第２撮像領域は、光を電荷に変換する光電変換部を含む第１領域と、光を電荷に変換する光電変換部を含む前記第１領域とは異なる第２領域とを有し、
    　前記生成部は、前記第１領域及び前記第２領域のうち、いずれかの領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  12. 　請求項１１に記載の撮像装置において、
    　前記生成部は、前記第１撮像領域と前記第１領域との間隔が、前記第１撮像領域と前記第２領域との間隔より短い場合、前記第１領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  13. 　請求項２から請求項１２のいずれか一項に記載の撮像装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データから算出されたデータにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  14. 　請求項１３に記載の撮像装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データを平均して算出されたデータにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  15. 　請求項２から請求項１４のいずれか一項に記載の撮像装置において、
    　前記生成部は、前記第１撮像領域で撮像された被写体の画像データの生成を行う第１の生成部と、前記第２撮像領域で撮像された被写体の画像データの生成を行う第２の生成部とを有し、
    　前記第１の生成部は、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する撮像装置。
  16. 　請求項１から請求項１５のいずれか一項に記載の撮像装置において、
    　前記撮像部は、前記第１撮像領域及び前記第２撮像領域を含む撮像チップと、前記撮像チップに接続され、前記撮像チップから出力された画像データをデジタルデータに変換する変換部を有する処理チップと、を有する撮像装置。
  17. 　請求項１６に記載の撮像装置において、
    　前記撮像部は、前記処理チップに接続され、前記処理チップによりデジタルデータに変換された画像データを記憶する記憶部を有するメモリチップを有し、
    　前記処理チップは、前記撮像チップ及び前記メモリチップの間に配置されている撮像装置。
  18. 　第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの被写体の画像データを入力する入力部と、
    　前記第２撮像領域で撮像された被写体の画像データにより、前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える被写体検出装置。
  19. 　第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの被写体の画像データを入力する入力部と、
    　前記第２撮像領域で撮像された被写体の画像データにより、前記第１撮像領域で撮像された被写体を検出するための信号を生成する生成部と、
    　を備える被写体検出装置。
  20. 　請求項１８に記載の被写体検出装置において、
    　前記検出部は、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部を含む、被写体検出装置。
  21. 　請求項１９または２０に記載の被写体検出装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の一部の画像データを生成する被写体検出装置。
  22. 　請求項２１に記載の被写体検出装置において、
    　前記第１撮像領域で撮像された被写体の一部と、前記第２撮像領域で撮像された被写体の少なくとも一部と、は、同一の被写体として検出される被写体検出装置。
  23. 　請求項２１に記載の被写体検出装置において、
    　前記第１撮像領域で撮像された被写体の一部と、前記第２撮像領域で撮像された被写体の少なくとも一部と、は、互いに接している被写体検出装置。
  24. 　請求項１９から請求項２３のいずれか一項に記載の被写体検出装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積よりも大きい被写体検出装置。
  25. 　請求項１９から請求項２３のいずれか一項に記載の被写体検出装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積以下である被写体検出装置。
  26. 　請求項２５に記載の被写体検出装置において、
    　前記第２撮像領域の面積は、前記第１撮像領域の面積よりも小さい被写体検出装置。
  27. 　請求項１９から請求項２６のいずれか一項に記載の被写体検出装置において、
    　前記生成部は、前記第２撮像領域の一部の領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  28. 　請求項１９から請求項２７のいずれか一項に記載の被写体検出装置において、
    　前記第２撮像領域は、光を電荷に変換する光電変換部を含む第１領域と、光を電荷に変換する光電変換部を含む前記第１領域とは異なる第２領域とを有し、
    　前記生成部は、前記第１領域及び前記第２領域のうち、いずれかの領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  29. 　請求項２８に記載の被写体検出装置において、
    　前記生成部は、前記第１撮像領域と前記第１領域との間隔が、前記第１撮像領域と前記第２領域との間隔より短い場合、前記第１領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  30. 　請求項１９から請求項２９のいずれか一項に記載の被写体検出装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データから算出されたデータにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  31. 　請求項３０に記載の被写体検出装置において、
    　前記生成部は、前記第２撮像領域で撮像された被写体の画像データを平均して算出されたデータにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  32. 　請求項１９から請求項３１のいずれか一項に記載の被写体検出装置において、
    　前記生成部は、前記第１撮像領域における被写体の画像データの生成を行う第１の生成部と、前記第２撮像領域における被写体の画像データの生成を行う第２の生成部とを有し、
    　前記第１の生成部は、前記第２撮像領域における被写体の画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する被写体検出装置。
  33. 　複数の撮像領域を有する撮像素子と、
    　複数の前記撮像領域に異なる撮像条件を設定する設定部と、
    　前記複数の撮像領域のうち、第１撮像条件で撮像された撮像領域の被写体の画像信号の一部を、第２撮像条件により撮像されたように補正した信号により被写体を検出する検出部と、
    　を備える電子機器。
  34. 　複数の撮像領域を有する撮像素子と、
    　複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、
    　前記第１撮像領域で撮像された被写体の画像信号を、第１撮像条件と第２撮像条件とにより撮像されたように補正した信号により被写体を検出する検出部と、
    　を備える電子機器。
  35. 　複数の第１画素が配置され、被写体を撮像する第１撮像領域と、複数の第２画素が配置され、被写体を撮像する第２撮像領域とを有する撮像素子と、
    　前記第１撮像領域を、前記第２撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
    　前記第１画素からの信号を用いて、前記第１画素と前記第２画素とのうちから選択された画素からの信号により、前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える電子機器。
  36. 　請求項３５に記載の電子機器において、
    　前記検出部は、前記第１画素の信号に基づいて前記第１画素と前記第２画素との少なくともいずれか一方の画素からの信号により、前記第１撮像領域で撮像された被写体を検出する電子機器。
  37. 　請求項３６に記載の電子機器において、
    　前記検出部は、前記第１画素と複数の前記第２画素との距離に基づいて、前記複数の第２画素の中から前記第１撮像領域の被写体を検出するための第２画素を選択する電子機器。
  38. 　請求項３７に記載の電子機器において、
    　前記検出部は、前記第１画素との距離が短い第２画素を用いて前記第１撮像領域の被写体を検出する電子機器。
  39. 　請求項３６に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値と複数の前記第２画素から出力された信号値とに基づいて前記複数の第２画素の中から、前記第１撮像領域の被写体を検出する第２画素を選択する電子機器。
  40. 　請求項３９に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値と前記第２画素から出力された信号値との差が小さい第２画素を用いて前記第１撮像領域の被写体を検出する電子機器。
  41. 　請求項３６に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値を、複数の前記第２画素から選択された第２画素から出力された信号値により補正して前記第１撮像領域の被写体を検出する電子機器。
  42. 　請求項３６に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値を、前記第１撮像領域に設定された撮像条件と前記第２撮像領域に設定された撮像条件により補正して前記第１撮像領域の被写体を検出する電子機器。
  43. 　請求項３６に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値を、前記第１撮像領域に設定された撮像条件と前記第２撮像領域に設定された撮像条件により補正して前記第１撮像領域の被写体を検出する電子機器。
  44. 　請求項４３に記載の電子機器において、
    　前記検出部は、前記第１画素から出力された信号値を、前記第１撮像領域に設定された撮像条件により設定される設定値と前記第２撮像領域に設定された撮像条件により設定される設定値とにより補正して前記第１撮像領域の被写体を検出する電子機器。
  45. 　請求項３６に記載の電子機器において、
    　被写体を認識する被写体認識部を備え、
    　前記検出部は、前記被写体認識部の認識結果に基づいて、前記複数の第２画素の中から前記第１撮像領域の被写体を検出する第２画素を選択する電子機器。
  46. 　第１画素と第２画素とが配置された第１撮像領域と、第３画素が配置された第２撮像領域とを有する撮像素子と、
    　前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定する設定部と、
    　前記第２画素からの信号を、前記第３画素の信号に対して平滑化する補正を行う補正部と、
    　前記第１画素の信号と前記補正部により補正された前記第２画素の信号とを用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える電子機器。
PCT/JP2017/012982 2016-03-31 2017-03-29 撮像装置、被写体検出装置、および電子機器 WO2017170725A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018509358A JPWO2017170725A1 (ja) 2016-03-31 2017-03-29 撮像装置、被写体検出装置、および電子機器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016071972 2016-03-31
JP2016-071972 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017170725A1 true WO2017170725A1 (ja) 2017-10-05

Family

ID=59965827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/012982 WO2017170725A1 (ja) 2016-03-31 2017-03-29 撮像装置、被写体検出装置、および電子機器

Country Status (2)

Country Link
JP (1) JPWO2017170725A1 (ja)
WO (1) WO2017170725A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205714A (ja) * 2009-06-29 2011-10-13 Canon Inc 画像処理装置及びその制御方法
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205714A (ja) * 2009-06-29 2011-10-13 Canon Inc 画像処理装置及びその制御方法
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JPWO2017170725A1 (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
WO2017170723A1 (ja) 撮像装置、画像処理装置、および電子機器
JP6604384B2 (ja) 撮像装置
CN108141531B (zh) 摄像装置
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
JP7439856B2 (ja) 撮像装置
WO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
WO2017170726A1 (ja) 撮像装置および電子機器
WO2017170725A1 (ja) 撮像装置、被写体検出装置、および電子機器
WO2017170724A1 (ja) 撮像装置、レンズ調節装置、および電子機器
JP6589989B2 (ja) 撮像装置
JP6604385B2 (ja) 撮像装置
JP6589988B2 (ja) 撮像装置
WO2017170719A1 (ja) 撮像装置、および電子機器
WO2017170718A1 (ja) 撮像装置、被写体検出装置、および電子機器
JPWO2017057494A1 (ja) 撮像装置および画像処理装置
WO2017057267A1 (ja) 撮像装置、および焦点検出装置
WO2017057280A1 (ja) 撮像装置、および被写体検出装置
WO2017057268A1 (ja) 撮像装置、および制御装置
WO2017057493A1 (ja) 撮像装置および画像処理装置
JPWO2017057495A1 (ja) 撮像装置および画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018509358

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17775259

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17775259

Country of ref document: EP

Kind code of ref document: A1