WO2017057293A1 - 被写体検出装置および撮像装置 - Google Patents

被写体検出装置および撮像装置 Download PDF

Info

Publication number
WO2017057293A1
WO2017057293A1 PCT/JP2016/078314 JP2016078314W WO2017057293A1 WO 2017057293 A1 WO2017057293 A1 WO 2017057293A1 JP 2016078314 W JP2016078314 W JP 2016078314W WO 2017057293 A1 WO2017057293 A1 WO 2017057293A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
pixel
region
imaging condition
Prior art date
Application number
PCT/JP2016/078314
Other languages
English (en)
French (fr)
Inventor
孝 塩野谷
敏之 神原
直樹 關口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2017543271A priority Critical patent/JP6604385B2/ja
Publication of WO2017057293A1 publication Critical patent/WO2017057293A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/099—Arrangement of photoelectric elements in or on the camera
    • G03B7/0993—Arrangement of photoelectric elements in or on the camera in the camera
    • G03B7/0997—Through the lens [TTL] measuring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • the present invention relates to a subject detection device and an imaging device.
  • Patent Document 1 An imaging apparatus equipped with an imaging element capable of setting different imaging conditions for each screen area is known (see Patent Document 1).
  • Patent Document 1 An imaging apparatus equipped with an imaging element capable of setting different imaging conditions for each screen area.
  • the imaging device includes an imaging device having an imaging area for imaging a subject, a setting unit for setting imaging conditions for the imaging area, and pixels for use in interpolation in the imaging area.
  • a selection unit that selects from pixels, and a detection unit that detects a subject imaged in the imaging region using a signal interpolated by a signal output from a pixel selected by the selection unit, the selection unit
  • the at least some of the pixels to be selected differ depending on the imaging conditions set by the setting unit.
  • the imaging device according to the fifteenth aspect of the present invention images a subject under a first imaging region set to image the subject under the first imaging condition and a second imaging condition different from the first imaging condition.
  • An imaging element having a second imaging region set and a third imaging region set to image a subject under a third imaging condition different from the second imaging condition; and included in the second imaging region
  • a selection unit that selects a pixel to be used for interpolation of the pixels included in the first imaging region from among the pixels and the pixels included in the third imaging region, and is output from the pixel selected by the selection unit
  • a generation unit that detects a subject imaged in the first imaging region using a signal interpolated by the received signal.
  • the imaging device images a subject under a first imaging region set to image the subject under the first imaging condition and a second imaging condition different from the first imaging condition.
  • a selection unit that selects a pixel to be used for the detection
  • a generation unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from the pixel selected by the selection unit, Is provided.
  • An imaging device is an imaging device having a first imaging area for imaging a subject, a second imaging area for imaging the subject, and a third imaging area for imaging the subject,
  • the imaging condition of one imaging area is set to the first imaging condition
  • the imaging condition of the second imaging area is set to a second imaging condition different from the first imaging condition
  • the imaging condition of the third imaging area is set to the A setting unit configured to set a third imaging condition in which a difference between the first imaging condition and the first imaging condition is smaller than a difference between the first imaging condition and the second imaging condition; a pixel included in the first imaging area
  • a selection unit that selects a pixel to be used for interpolation of a pixel included in the first imaging region from among a pixel included in the imaging region and a pixel included in the third imaging region; and the selection unit Interpolated by the signal output from the pixel selected by And a detection unit that detects a subject imaged in the first imaging area using the signal thus obtained.
  • an imaging apparatus in which the first imaging area for imaging a subject, the second imaging area for imaging a subject, and the first imaging area and the distance between the first imaging area and the second imaging area.
  • An imaging device having a third imaging area that captures a subject with a long distance to the one imaging area, and an imaging condition for the second imaging area is set to an imaging condition different from the imaging condition for the first imaging area Of the pixels included in the first imaging area, the setting unit, the pixels included in the first imaging area, the pixels included in the second imaging area, and the pixels included in the third imaging area.
  • An imaging apparatus includes an imaging device having an imaging area for imaging a subject, a setting unit for setting imaging conditions for the imaging area, and the imaging area selected as a pixel used for interpolation.
  • a detection unit that detects a subject imaged in the imaging region using a signal interpolated by a signal output from an included pixel, and according to an imaging condition set by the setting unit, At least some of the pixels are different.
  • the imaging apparatus images a subject under a first imaging region set to image the subject under the first imaging condition and a second imaging condition different from the first imaging condition.
  • a detection unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from a pixel selected as a pixel for use in the first imaging region.
  • An imaging device includes an imaging element having an imaging area for imaging a subject, a setting unit for setting imaging conditions for the imaging area, and a noise selected from pixels included in the imaging area
  • a detection unit that detects a subject imaged in the imaging region using a signal in which noise is reduced by a signal output from a pixel that outputs a signal for reducing the signal, and is set by the setting unit Depending on imaging conditions, at least some of the selected pixels are different.
  • An imaging apparatus images a subject under a first imaging region set to image the subject under a first imaging condition and a second imaging condition different from the first imaging condition.
  • An imaging element having a second imaging region set and a third imaging region set to image a subject under a third imaging condition different from the second imaging condition; and included in the second imaging region
  • a selection unit that selects a pixel included in the first imaging region for use in noise reduction from among pixels and pixels included in the third imaging region, and a signal of the pixel included in the first imaging region As a pixel that outputs a signal to be used for noise reduction, noise is generated by a signal output from a pixel selected from a pixel included in the second imaging region and a pixel included in the third imaging region.
  • Reduced confidence And a detection unit that detects a subject captured by the first imaging region using.
  • An imaging apparatus images a subject under a first imaging region set to image the subject under a first imaging condition and a second imaging condition different from the first imaging condition.
  • a pixel included in the first imaging region as a pixel that outputs a signal used to reduce noise of the pixel included in the first imaging region;
  • a detection unit configured to detect a subject imaged in the first imaging area using a signal interpolated by a signal output from a pixel selected from the pixels included in the second imaging area.
  • An image pickup apparatus is an image pickup device having an image pickup region for picking up a subject, a setting unit for setting an image pickup condition for the image pickup region, and a pixel selected as a pixel for image processing
  • a detection unit that detects a subject imaged in the imaging region using a signal that has been subjected to image processing using a signal output from the at least one of the pixels to be selected according to an imaging condition set by the setting unit.
  • the pixels of the part are different.
  • a subject detection device includes a selection unit that selects a signal to be used for interpolation from signals output from pixels included in an imaging region of an imaging element, and a signal selected by the selection unit.
  • a subject detection device is a selection unit that selects a signal for reducing noise from signals output from pixels included in an imaging region of an imaging element, and a signal selected by the selection unit.
  • a detection unit that detects a subject imaged in the imaging region using a signal in which noise is reduced, and the selection unit selects at least one of the pixels to be selected according to an imaging condition set in the imaging region. The pixels of the part are different.
  • FIG. 7A is a diagram illustrating the vicinity of the boundary of the first region in the live view image
  • FIG. 7B is an enlarged view of the vicinity of the boundary
  • FIG. 7C is an enlarged view of the target pixel and the reference pixel. .
  • FIG. 7D is an enlarged view of the target pixel and the reference pixel in the second embodiment.
  • 8A is a diagram illustrating the arrangement of photoelectric conversion signals output from the pixels
  • FIG. 8B is a diagram illustrating interpolation of image data of the G color component
  • FIG. 8C is a diagram illustrating G after interpolation. It is a figure which illustrates the image data of a color component.
  • 9A is a diagram obtained by extracting image data of the R color component from FIG. 8A
  • FIG. 9B is a diagram illustrating interpolation of the color difference component Cr
  • FIG. 9C is an image of the color difference component Cr. It is a figure explaining the interpolation of data.
  • 10A is a diagram obtained by extracting B color component image data from FIG. 8A, FIG.
  • FIG. 10B is a diagram illustrating interpolation of the color difference component Cb
  • FIG. 10C is an image of the color difference component Cb. It is a figure explaining the interpolation of data. It is a figure which illustrates the position of the pixel for focus detection in an imaging surface. It is the figure which expanded the one part area
  • FIG. 14A is a diagram illustrating a template image representing an object to be detected
  • FIG. 14B is a diagram illustrating a live view image and a search range. It is a flowchart explaining the flow of the process which sets an imaging condition for every area and images.
  • FIG. 16A to 16C are diagrams illustrating the arrangement of the first region and the second region on the imaging surface of the imaging device.
  • FIG. 20 is a block diagram illustrating a configuration of an imaging system according to Modification 8. It is a figure explaining supply of the program to a mobile device. It is a block diagram which illustrates the composition of the camera by a 3rd embodiment. It is the figure which showed typically the correspondence of each block in 3rd Embodiment, and a some selection part. It is sectional drawing of a laminated type image pick-up element. It is the figure which represented typically about the process with 1st image data and 2nd image data concerning an image process. It is the figure which represented typically about the process of 1st image data and 2nd image data which concerns on a focus detection process.
  • a digital camera will be described as an example of an electronic device equipped with the image processing apparatus according to this embodiment.
  • the camera 1 (FIG. 1) is configured to be able to capture images under different conditions for each region of the imaging surface of the image sensor 32a.
  • the image processing unit 33 performs appropriate processing in areas with different imaging conditions. Details of the camera 1 will be described with reference to the drawings.
  • FIG. 1 is a block diagram illustrating the configuration of the camera 1 according to the first embodiment.
  • the camera 1 includes an imaging optical system 31, an imaging unit 32, an image processing unit 33, a control unit 34, a display unit 35, an operation member 36, and a recording unit 37.
  • the imaging optical system 31 guides the light flux from the object scene to the imaging unit 32.
  • the imaging unit 32 includes an imaging element 32a and a driving unit 32b, and photoelectrically converts an object image formed by the imaging optical system 31.
  • the imaging unit 32 can capture images under the same conditions over the entire imaging surface of the imaging device 32a, or can perform imaging under different conditions for each region of the imaging surface of the imaging device 32a. Details of the imaging unit 32 will be described later.
  • the drive unit 32b generates a drive signal necessary for causing the image sensor 32a to perform accumulation control.
  • An imaging instruction such as a charge accumulation time for the imaging unit 32 is transmitted from the control unit 34 to the driving unit 32b.
  • the image processing unit 33 includes an input unit 33a, a selection unit 33b, and a generation unit 33c.
  • Image data acquired by the imaging unit 32 is input to the input unit 33a.
  • the selection unit 33b performs preprocessing on the input image data. Details of the preprocessing will be described later.
  • the generation unit 33c generates an image based on the input image data and the preprocessed image data.
  • the generation unit 33c performs image processing on the image data.
  • Image processing includes, for example, color interpolation processing, pixel defect correction processing, edge enhancement processing, noise reduction processing, white balance adjustment processing, gamma correction processing, display luminance adjustment processing, saturation adjustment processing, and the like.
  • the generation unit 33 c generates an image to be displayed by the display unit 35.
  • the control unit 34 is constituted by a CPU, for example, and controls the overall operation of the camera 1. For example, the control unit 34 performs a predetermined exposure calculation based on the photoelectric conversion signal acquired by the imaging unit 32, the charge accumulation time (exposure time) of the imaging element 32a necessary for proper exposure, and the aperture of the imaging optical system 31.
  • the exposure conditions such as the value and ISO sensitivity are determined and instructed to the drive unit 32b.
  • image processing conditions for adjusting saturation, contrast, sharpness, and the like are determined and instructed to the image processing unit 33 according to the imaging scene mode set in the camera 1 and the type of the detected subject element. The detection of the subject element will be described later.
  • the control unit 34 includes an object detection unit 34a, a setting unit 34b, an imaging control unit 34c, and an AF calculation unit 34d. These are realized as software by the control unit 34 executing a program stored in a nonvolatile memory (not shown). However, these may be configured by an ASIC or the like.
  • the object detection unit 34a performs a known object recognition process, and from the image acquired by the imaging unit 32, a person (person's face), an animal such as a dog or a cat (animal face), a plant, a bicycle, an automobile , Detecting a subject element such as a vehicle such as a train, a building, a stationary object, a landscape such as a mountain or a cloud, or a predetermined specific object.
  • the setting unit 34b divides the imaging screen by the imaging unit 32 into a plurality of regions including the subject element detected as described above.
  • the setting unit 34b further sets imaging conditions for a plurality of areas.
  • Imaging conditions include the exposure conditions (charge accumulation time, gain, ISO sensitivity, frame rate, etc.) and the image processing conditions (for example, white balance adjustment parameters, gamma correction curves, display brightness adjustment parameters, saturation adjustment parameters, etc.) ).
  • the same imaging conditions can be set for all of the plurality of areas, or different imaging conditions can be set for the plurality of areas.
  • the imaging control unit 34c controls the imaging unit 32 (imaging element 32a) and the image processing unit 33 by applying imaging conditions set for each region by the setting unit 34b. Thereby, it is possible to cause the imaging unit 32 to perform imaging under different exposure conditions for each of the plurality of regions, and for the image processing unit 33, images with different image processing conditions for each of the plurality of regions. Processing can be performed. Any number of pixels may be included in the region, for example, 1000 pixels or 1 pixel. Further, the number of pixels may be different between regions.
  • the AF calculation unit 34d controls an automatic focus adjustment (auto focus: AF) operation for focusing on a corresponding subject at a predetermined position (referred to as a focus detection position) on the imaging screen.
  • the AF calculation unit 34d sends a drive signal for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result to the drive unit 32b.
  • the process performed by the AF calculation unit 34d for automatic focus adjustment is also referred to as a focus detection process. Details of the focus detection process will be described later.
  • the display unit 35 reproduces and displays the image generated by the image processing unit 33, the image processed image, the image read by the recording unit 37, and the like.
  • the display unit 35 also displays an operation menu screen, a setting screen for setting imaging conditions, and the like.
  • the operation member 36 is composed of various operation members such as a release button and a menu button.
  • the operation member 36 sends an operation signal corresponding to each operation to the control unit 34.
  • the operation member 36 includes a touch operation member provided on the display surface of the display unit 35.
  • the recording unit 37 records image data or the like on a recording medium including a memory card (not shown) in response to an instruction from the control unit 34.
  • the recording unit 37 reads image data recorded on the recording medium in response to an instruction from the control unit 34.
  • FIG. 2 is a cross-sectional view of the image sensor 100.
  • the imaging element 100 includes an imaging chip 111, a signal processing chip 112, and a memory chip 113.
  • the imaging chip 111 is stacked on the signal processing chip 112.
  • the signal processing chip 112 is stacked on the memory chip 113.
  • the imaging chip 111, the signal processing chip 112, the signal processing chip 112, and the memory chip 113 are electrically connected by a connection unit 109.
  • the connection unit 109 is, for example, a bump or an electrode.
  • the imaging chip 111 captures a light image from a subject and generates image data.
  • the imaging chip 111 outputs image data from the imaging chip 111 to the signal processing chip 112.
  • the signal processing chip 112 performs signal processing on the image data output from the imaging chip 111.
  • the memory chip 113 has a plurality of memories and stores image data.
  • the image sensor 100 may include an image pickup chip and a signal processing chip.
  • a storage unit for storing image data may be provided in the signal processing chip or may be provided separately from the imaging device 100. .
  • the incident light is incident mainly in the positive direction of the Z axis indicated by the white arrow.
  • the left direction of the paper orthogonal to the Z axis is the X axis plus direction
  • the front side of the paper orthogonal to the Z axis and X axis is the Y axis plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.
  • the imaging chip 111 is, for example, a CMOS image sensor. Specifically, the imaging chip 111 is a backside illumination type CMOS image sensor.
  • the imaging chip 111 includes a microlens layer 101, a color filter layer 102, a passivation layer 103, a semiconductor layer 106, and a wiring layer 108.
  • the imaging chip 111 is arranged in the order of the microlens layer 101, the color filter layer 102, the passivation layer 103, the semiconductor layer 106, and the wiring layer 108 in the positive Z-axis direction.
  • the microlens layer 101 has a plurality of microlenses L.
  • the microlens L condenses incident light on the photoelectric conversion unit 104 described later.
  • the color filter layer 102 includes a plurality of color filters F.
  • the color filter layer 102 has a plurality of types of color filters F having different spectral characteristics.
  • the color filter layer 102 includes a first filter (R) having a spectral characteristic that mainly transmits red component light and a second filter (Gb, Gr) that has a spectral characteristic that mainly transmits green component light. ) And a third filter (B) having a spectral characteristic that mainly transmits blue component light.
  • the passivation layer 103 is made of a nitride film or an oxide film, and protects the semiconductor layer 106.
  • the semiconductor layer 106 includes a photoelectric conversion unit 104 and a readout circuit 105.
  • the semiconductor layer 106 includes a plurality of photoelectric conversion units 104 between a first surface 106a that is a light incident surface and a second surface 106b opposite to the first surface 106a.
  • the semiconductor layer 106 includes a plurality of photoelectric conversion units 104 arranged in the X-axis direction and the Y-axis direction.
  • the photoelectric conversion unit 104 has a photoelectric conversion function of converting light into electric charge. In addition, the photoelectric conversion unit 104 accumulates charges based on the photoelectric conversion signal.
  • the photoelectric conversion unit 104 is, for example, a photodiode.
  • the semiconductor layer 106 includes a readout circuit 105 on the second surface 106b side of the photoelectric conversion unit 104.
  • a plurality of readout circuits 105 are arranged in the X-axis direction and the Y-axis direction.
  • the readout circuit 105 includes a plurality of transistors, reads out image data generated by the electric charges photoelectrically converted by the photoelectric conversion unit 104, and outputs the image data to the wiring layer 108.
  • the wiring layer 108 has a plurality of metal layers.
  • the metal layer is, for example, an Al wiring, a Cu wiring, or the like.
  • the wiring layer 108 outputs the image data read by the reading circuit 105.
  • the image data is output from the wiring layer 108 to the signal processing chip 112 via the connection unit 109.
  • connection unit 109 may be provided for each photoelectric conversion unit 104. Further, the connection unit 109 may be provided for each of the plurality of photoelectric conversion units 104. When the connection unit 109 is provided for each of the plurality of photoelectric conversion units 104, the pitch of the connection units 109 may be larger than the pitch of the photoelectric conversion units 104. In addition, the connection unit 109 may be provided in a peripheral region of the region where the photoelectric conversion unit 104 is disposed.
  • the signal processing chip 112 has a plurality of signal processing circuits.
  • the signal processing circuit performs signal processing on the image data output from the imaging chip 111.
  • the signal processing circuit includes, for example, an amplifier circuit that amplifies the signal value of the image data, a correlated double sampling circuit that performs noise reduction processing of the image data, and analog / digital (A / D) conversion that converts the analog signal into a digital signal. Circuit etc.
  • a signal processing circuit may be provided for each photoelectric conversion unit 104.
  • a signal processing circuit may be provided for each of the plurality of photoelectric conversion units 104.
  • the signal processing chip 112 has a plurality of through electrodes 110.
  • the through electrode 110 is, for example, a silicon through electrode.
  • the through electrode 110 connects circuits provided in the signal processing chip 112 to each other.
  • the through electrode 110 may also be provided in the peripheral region of the imaging chip 111 and the memory chip 113.
  • some elements constituting the signal processing circuit may be provided in the imaging chip 111.
  • a comparator that compares an input voltage with a reference voltage may be provided in the imaging chip 111, and circuits such as a counter circuit and a latch circuit may be provided in the signal processing chip 112.
  • the memory chip 113 has a plurality of storage units.
  • the storage unit stores image data that has been subjected to signal processing by the signal processing chip 112.
  • the storage unit is a volatile memory such as a DRAM, for example.
  • a storage unit may be provided for each photoelectric conversion unit 104.
  • the storage unit may be provided for each of the plurality of photoelectric conversion units 104.
  • the image data stored in the storage unit is output to the subsequent image processing unit.
  • FIG. 3 is a diagram for explaining the pixel array and the unit area 131 of the imaging chip 111.
  • a state where the imaging chip 111 is observed from the back surface (imaging surface) side is shown.
  • 20 million or more pixels are arranged in a matrix in the pixel region.
  • four adjacent pixels of 2 pixels ⁇ 2 pixels form one unit region 131.
  • the grid lines in the figure indicate the concept that adjacent pixels are grouped to form a unit region 131.
  • the number of pixels forming the unit region 131 is not limited to this, and may be about 1000, for example, 32 pixels ⁇ 32 pixels, more or less, or one pixel.
  • the unit area 131 in FIG. 3 includes a so-called Bayer array composed of four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R.
  • the green pixels Gb and Gr are pixels having a green filter as the color filter F, and receive light in the green wavelength band of incident light.
  • the blue pixel B is a pixel having a blue filter as the color filter F and receives light in the blue wavelength band
  • the red pixel R is a pixel having a red filter as the color filter F and having a red wavelength band. Receives light.
  • a plurality of blocks are defined so as to include at least one unit region 131 per block. That is, the minimum unit of one block is one unit area 131. As described above, of the possible values for the number of pixels forming one unit region 131, the smallest number of pixels is one pixel. Therefore, when one block is defined in units of pixels, the minimum number of pixels among the number of pixels that can define one block is one pixel.
  • Each block can control pixels included in each block with different control parameters. In each block, all the unit areas 131 in the block, that is, all the pixels in the block are controlled under the same imaging condition. That is, photoelectric conversion signals having different imaging conditions can be acquired between a pixel group included in a certain block and a pixel group included in another block.
  • control parameters examples include a frame rate, a gain, a thinning rate, the number of addition rows or addition columns to which photoelectric conversion signals are added, a charge accumulation time or accumulation count, a digitization bit number (word length), and the like.
  • the imaging device 100 can freely perform not only thinning in the row direction (X-axis direction of the imaging chip 111) but also thinning in the column direction (Y-axis direction of the imaging chip 111).
  • the control parameter may be a parameter in image processing.
  • FIG. 4 is a diagram for explaining a circuit in the unit region 131.
  • one unit region 131 is formed by four adjacent pixels of 2 pixels ⁇ 2 pixels.
  • the number of pixels included in the unit region 131 is not limited to this, and may be 1000 pixels or more, or may be a minimum of 1 pixel.
  • the two-dimensional position of the unit area 131 is indicated by reference signs A to D.
  • the reset transistor (RST) of the pixel included in the unit region 131 is configured to be turned on and off individually for each pixel.
  • a reset wiring 300 for turning on / off the reset transistor of the pixel A is provided, and a reset wiring 310 for turning on / off the reset transistor of the pixel B is provided separately from the reset wiring 300.
  • a reset line 320 for turning on and off the reset transistor of the pixel C is provided separately from the reset lines 300 and 310.
  • a dedicated reset wiring 330 for turning on and off the reset transistor is also provided for the other pixels D.
  • the pixel selection transistor (SEL) included in the unit region 131 is also configured to be turned on and off individually for each pixel.
  • a selection wiring 306 for turning on / off the selection transistor of the pixel A, a selection wiring 316 for turning on / off the selection transistor of the pixel B, and a selection wiring 326 for turning on / off the selection transistor of the pixel C are separately provided.
  • a dedicated selection wiring 336 for turning on and off the selection transistor is provided for the other pixels D.
  • the power supply wiring 304 is commonly connected from the pixel A to the pixel D included in the unit region 131.
  • the output wiring 308 is commonly connected to the pixel D from the pixel A included in the unit region 131.
  • the power supply wiring 304 is commonly connected between a plurality of unit regions, but the output wiring 308 is provided for each unit region 131 individually.
  • the load current source 309 supplies current to the output wiring 308.
  • the load current source 309 may be provided on the imaging chip 111 side or may be provided on the signal processing chip 112 side.
  • the charge accumulation including the charge accumulation start time, the accumulation end time, and the transfer timing is controlled from the pixel A to the pixel D included in the unit region 131. can do.
  • the photoelectric conversion signals of the pixels A to D can be output via the common output wiring 308.
  • a so-called rolling shutter system in which charge accumulation is controlled in a regular order with respect to rows and columns for the pixels A to D included in the unit region 131.
  • photoelectric conversion signals are output in the order of “ABCD” in the example of FIG.
  • the charge accumulation time can be controlled for each unit region 131.
  • the unit area 131 included in another block is rested while the unit area 131 included in a part of the block is charged (imaged), so that a predetermined block of the imaging chip 111 can be used. Only the imaging can be performed, and the photoelectric conversion signal can be output.
  • a block accumulation control target block
  • charge accumulation imaging
  • the output wiring 308 is provided corresponding to each of the unit areas 131. Since the image pickup device 100 includes the image pickup chip 111, the signal processing chip 112, and the memory chip 113, each chip is arranged in the surface direction by using the electrical connection between the chips using the connection portion 109 for the output wiring 308. The wiring can be routed without increasing the size.
  • an imaging condition can be set for each of a plurality of blocks in the imaging device 32a.
  • the control unit 34 associates the plurality of regions with the block and causes the imaging to be performed under an imaging condition set for each region.
  • FIG. 5 is a diagram schematically showing an image of a subject formed on the image sensor 32a of the camera 1.
  • the camera 1 photoelectrically converts the subject image to obtain a live view image before an imaging instruction is given.
  • the live view image refers to a monitor image that is repeatedly imaged at a predetermined frame rate (for example, 60 fps).
  • the control unit 34 sets the same imaging condition over the entire area of the imaging chip 111 (that is, the entire imaging screen) before the setting unit 34b divides the area.
  • the same imaging condition refers to setting a common imaging condition for the entire imaging screen. For example, even if there is a variation in apex value of less than about 0.3, it is regarded as the same.
  • the imaging conditions set to be the same throughout the imaging chip 111 are determined based on the exposure conditions corresponding to the photometric value of the subject luminance or the exposure conditions manually set by the user.
  • an image including a person 61a, an automobile 62a, a bag 63a, a mountain 64a, and clouds 65a and 66a is formed on the imaging surface of the imaging chip 111.
  • the person 61a holds the bag 63a with both hands.
  • the automobile 62a stops at the right rear of the person 61a.
  • the control unit 34 divides the screen of the live view image into a plurality of regions as follows. First, a subject element is detected from the live view image by the object detection unit 34a. The subject element is detected using a known subject recognition technique. In the example of FIG. 5, the object detection unit 34a detects a person 61a, a car 62a, a bag 63a, a mountain 64a, a cloud 65a, and a cloud 66a as subject elements.
  • the setting unit 34b divides the live view image screen into regions including the subject elements.
  • the region including the person 61a is the region 61
  • the region including the car 62a is the region 62
  • the region including the bag 63a is the region 63
  • the region including the mountain 64a is the region 64
  • the cloud 65a is included.
  • the region is described as a region 65
  • the region including the cloud 66a is described as a region 66.
  • the control unit 34 causes the display unit 35 to display a setting screen as illustrated in FIG. In FIG. 6, a live view image 60a is displayed, and an imaging condition setting screen 70 is displayed on the right side of the live view image 60a.
  • the setting screen 70 lists frame rate, shutter speed (TV), and gain (ISO) in order from the top as an example of setting items for imaging conditions.
  • the frame rate is the number of frames of a live view image acquired per second or a moving image recorded by the camera 1.
  • Gain is ISO sensitivity.
  • the setting items for the imaging conditions may be added as appropriate in addition to those illustrated in FIG. When all the setting items do not fit in the setting screen 70, other setting items may be displayed by scrolling the setting items up and down.
  • the control unit 34 sets the region selected by the user among the regions divided by the setting unit 34b as a target for setting (changing) the imaging condition. For example, in the camera 1 capable of touch operation, the user taps the display position of the main subject for which the imaging condition is to be set (changed) on the display surface of the display unit 35 on which the live view image 60a is displayed. For example, when the display position of the person 61 a is tapped, the control unit 34 sets the area 61 including the person 61 a in the live view image 60 a as an imaging condition setting (change) target area and emphasizes the outline of the area 61. To display.
  • an area 61 in which the outline is emphasized and displayed indicates an area for which the imaging condition is to be set (changed).
  • a live view image 60a in which the outline of the region 61 is emphasized is displayed.
  • the region 61 is a target for setting (changing) the imaging condition.
  • the control unit 34 displays the current shutter speed for the highlighted area (area 61).
  • the set value is displayed on the screen (reference numeral 68).
  • the imaging condition may be set (changed) by operating a button or the like constituting the operation member 36.
  • the setting unit 34b increases or decreases the shutter speed display 68 from the current setting value according to the tap operation.
  • An instruction is sent to the imaging unit 32 (FIG. 1) so as to change the imaging condition of the unit area 131 (FIG. 3) of the imaging element 32a corresponding to the displayed area (area 61) in accordance with the tap operation.
  • the decision icon 72 is an operation icon for confirming the set imaging condition.
  • the setting unit 34b performs the setting (change) of the frame rate and gain (ISO) in the same manner as the setting (change) of the shutter speed (TV).
  • the setting unit 34b may set the imaging condition based on the determination of the control unit 34 without being based on a user operation. For example, when the overexposure or underexposure occurs in the area including the subject element having the maximum luminance or the minimum luminance in the image, the setting unit 34b cancels the overexposure or underexposure based on the determination of the control unit 34.
  • the imaging conditions may be set in. For the area that is not highlighted (the area other than the area 61), the set imaging conditions are maintained.
  • the control unit 34 displays the entire target area brightly, increases the contrast of the entire target area, or displays the entire target area. May be displayed blinking.
  • the target area may be surrounded by a frame.
  • the display of the frame surrounding the target area may be a double frame or a single frame, and the display mode such as the line type, color, and brightness of the surrounding frame may be appropriately changed.
  • the control unit 34 may display an indication of an area for which an imaging condition is set, such as an arrow, in the vicinity of the target area.
  • the control unit 34 may darkly display a region other than the target region for which the imaging condition is set (changed), or may display a low contrast other than the target region.
  • the control unit 34 is operated.
  • imaging is performed under the imaging conditions set for each of the divided areas.
  • the image processing unit 33 performs image processing on the image data acquired by the imaging unit 32. As described above, the image processing can be performed under different image processing conditions for each region.
  • the recording unit 37 that receives an instruction from the control unit 34 records the image data after the image processing on a recording medium including a memory card (not shown). Thereby, a series of imaging processes is completed.
  • the imaging condition is set (changed) for the area selected by the user or the area determined by the control unit 34. ) Is configured to be possible.
  • the control unit 34 performs the following data selection process as necessary.
  • the image processing unit 33 (selection unit 33b) is in the vicinity of a boundary between regions when the image processing for image data obtained by applying different imaging conditions between the divided regions is predetermined image processing.
  • a data selection process is performed on the image data located in the position as a pre-process of the image process.
  • the predetermined image processing is processing for calculating image data of a target position to be processed in an image with reference to image data at a plurality of reference positions around the target position. For example, pixel defect correction processing, color interpolation Processing, contour enhancement processing, noise reduction processing, and the like are applicable.
  • the data selection process is performed to alleviate the uncomfortable feeling that appears in the image after image processing due to the difference in imaging conditions between the divided areas.
  • image data in which the same imaging condition as the image data of the target position is applied to the plurality of reference positions around the target position, and the image data of the target position
  • image data to which different imaging conditions are applied coexists.
  • the image data at the reference position to which the same imaging condition as the target position is applied is calculated rather than the image data at the target position is calculated by directly referring to the image data at the reference position to which the different imaging conditions are applied.
  • data used for image processing is selected as follows.
  • FIG. 7A is a diagram illustrating a region 80 near the boundary between the region 61 and the region 64 in the live view image 60a.
  • the first imaging condition is set in an area 61 including at least a person and the second imaging condition is set in an area 64 including a mountain.
  • FIG. 7B is an enlarged view of a region 80 near the boundary of FIG.
  • the image data from the pixels on the image sensor 32a corresponding to the area 61 for which the first imaging condition is set is shown in white, and the image from the pixels on the image sensor 32a corresponding to the area 64 for which the second imaging condition is set. Data is shaded.
  • FIG. 7A is a diagram illustrating a region 80 near the boundary between the region 61 and the region 64 in the live view image 60a.
  • the first imaging condition is set in an area 61 including at least a person
  • the second imaging condition is set in an area 64 including a mountain.
  • FIG. 7B is an enlarged view of a region 80 near the boundary of FIG.
  • the image data from the target pixel P is located on the boundary portion that is on the region 61 and in the vicinity of the boundary 81 between the region 61 and the region 64.
  • Pixels around the target pixel P (eight pixels in this example) included in a predetermined range 90 (for example, 3 ⁇ 3 pixels) centered on the target pixel P are set as reference pixels.
  • FIG. 7C is an enlarged view of the target pixel P and the reference pixel.
  • the position of the target pixel P is the target position
  • the position of the reference pixel surrounding the target pixel P is the reference position.
  • the image processing unit 33 (generation unit 33c) can also perform image processing by referring to the image data of the reference pixel as it is without performing the data selection processing.
  • the selection unit 33b selects the image data of the first imaging condition used for image processing from the image data of the reference pixel as in the following (Example 1) to (Example 3).
  • the generation unit 33c performs image processing for calculating the image data of the target pixel P with reference to the image data of the reference pixel after selecting the image data.
  • the data output from the pixels indicated by the white background is image data under the first imaging condition
  • the data output from the pixels indicated by the oblique lines is image data under the second imaging condition.
  • the image data output from the pixels indicated by the oblique lines is not used for the image processing.
  • the image processing unit 33 differs only in ISO sensitivity between the first imaging condition and the second imaging condition, and the ISO sensitivity in the first imaging condition is 100, and the ISO sensitivity in the second imaging condition.
  • the image data of the first imaging condition used for image processing is selected from the image data of the reference pixel. That is, the image data of the second imaging condition different from the first imaging condition in the image data of the reference pixel is not used for the image processing.
  • the image processing unit 33 differs only in the shutter speed between the first imaging condition and the second imaging condition, and the shutter speed of the first imaging condition is 1/1000 second.
  • the image data of the first imaging condition used for image processing is selected from the image data of the reference pixel. That is, the image data of the second imaging condition different from the first imaging condition in the image data of the reference pixel is not used for the image processing.
  • the image processing unit 33 differs only in the frame rate between the first imaging condition and the second imaging condition (the charge accumulation time is the same), and the frame rate of the first imaging condition is 30 fps.
  • the frame rate of the second imaging condition is 60 fps
  • the acquisition timing of the image data of the second imaging condition (60 fps) of the reference pixel image data is close to the frame image acquired under the first imaging condition (30 fps).
  • Select the image data of the frame image that is, image data of a frame image having a different acquisition timing from the frame image of the first imaging condition (30 fps) in the image data of the reference pixel is not used for image processing.
  • the image processing unit 33 determines that the imaging conditions applied to the target pixel P and the imaging conditions applied to all the reference pixels around the target pixel P are all the same. Select the image data. For example, if it is determined that the same imaging condition as that applied to the target pixel P is applied to all the reference pixels, the image data of all the reference pixels are referred to as they are and Image processing for calculating image data is performed. Note that, as described above, even if there is a slight difference in the imaging conditions (for example, apex value is 0.3 or less), the imaging conditions may be regarded as the same.
  • the pixel defect correction process is one of image processes performed during imaging.
  • the image sensor 100 which is a solid-state image sensor, may produce pixel defects in the manufacturing process or after manufacturing, and output abnormal level image data. Therefore, the image processing unit 33 (the generation unit 33c) corrects the image data output from the pixel in which the pixel defect has occurred, thereby making the image data in the pixel position in which the pixel defect has occurred inconspicuous.
  • the image processing unit 33 sets a pixel at a pixel defect position recorded in advance in a non-illustrated non-volatile memory in an image of one frame as a target pixel P (processing target pixel), and the target pixel P Pixels around the pixel of interest P (eight pixels in this example) included in a predetermined range 90 (for example, 3 ⁇ 3 pixels) (FIG. 7C) centering on the pixel are used as reference pixels.
  • the image processing unit 33 calculates the maximum value and the minimum value of the image data in the reference pixel. When the image data output from the target pixel P exceeds these maximum value or minimum value, the image processing unit 33 (the generation unit 33c) starts from the target pixel P. Max and Min filter processing is performed to replace the output image data with the maximum value or the minimum value. Such a process is performed for all pixel defects whose position information is recorded in the nonvolatile memory.
  • the image processing unit 33 (selection unit 33b) performs reference when the reference pixel includes a pixel to which a second imaging condition different from the first imaging condition applied to the target pixel P is applied. Image data to which the first imaging condition is applied is selected from image data at the pixel. Thereafter, the image processing unit 33 (generation unit 33c) performs the above-described Max and Min filter processing with reference to the selected image data. Note that pixel defect correction processing may be performed by taking the average of selected image data.
  • color interpolation processing is one of image processing performed at the time of imaging. As illustrated in FIG. 3, in the imaging chip 111 of the imaging device 100, green pixels Gb and Gr, a blue pixel B, and a red pixel R are arranged in a Bayer array.
  • the image processing unit 33 (the generation unit 33c) lacks image data having a color component different from the color component of the color filter F arranged at each pixel position. Color interpolation processing for generating component image data is performed.
  • FIG. 8A is a diagram illustrating the arrangement of image data output from the image sensor 100. Corresponding to each pixel position, it has one of R, G, and B color components according to the rules of the Bayer array.
  • the image processing unit 33 generation unit 33c
  • the image processing unit 33 that performs the G color interpolation refers to the image data of the four G color components at the reference positions around the target position, with the positions of the R color component and the B color component as the target position in order.
  • image data of the G color component at the position of interest is generated. For example, the G color component at the target position indicated by the thick frame in FIG.
  • the image processing unit 33 sets, for example, (aG1 + bG2 + cG3 + dG4) / 4 as G color component image data at the target position (second row, second column).
  • a to d are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the second imaging condition is applied to the right and lower regions with respect to the thick line. It shall be.
  • the first imaging condition and the second imaging condition are different.
  • the G color component image data G1 to G4 in FIG. 8B are reference positions for image processing of the pixel at the target position (second row and second column).
  • the first imaging condition is applied to the target position (second row, second column).
  • the first imaging condition is applied to the image data G1 to G3.
  • the second imaging condition is applied to the image data G4.
  • the image processing unit 33 selects the image data G1 to G3 to which the first imaging condition is applied from the G color component image data G1 to G4. In this way, the image processing unit 33 (generation unit 33c) calculates the G color component image data at the position of interest (second row and second column) with reference to the selected image data.
  • the image processing unit 33 (generation unit 33c) sets, for example, (a1G1 + b1G2 + c1G3) / 3 as image data of the G color component at the target position (second row, second column).
  • a1 to c1 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (the generation unit 33c) generates image data of the G color component at the position of the B color component and the position of the R color component in FIG. In addition, the image data of the G color component can be obtained at each pixel position.
  • FIG. 9A is a diagram obtained by extracting R color component image data from FIG.
  • the image processing unit 33 (generating unit 33c) performs color difference shown in FIG. 9B based on the G color component image data shown in FIG. 8C and the R color component image data shown in FIG. Image data of the component Cr is calculated.
  • the image processing unit 33 (the generation unit 33c) generates image data of the color difference component Cr at the target position indicated by the thick frame (second row and second column) in FIG. 9B, the target position (second row) Reference is made to the image data Cr1 to Cr4 of the four color difference components located in the vicinity of the second column).
  • the image processing unit 33 (generation unit 33c) sets, for example, (eCr1 + fCr2 + gCr3 + hCr4) / 4 as image data of the color difference component Cr at the target position (second row and second column).
  • e to h are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (the generation unit 33c) generates image data of the color difference component Cr at the position of interest indicated by the thick frame (second row and third column) of FIG. Reference is made to the image data Cr2, Cr4 to Cr6 of the four color difference components located in the vicinity of the second row and the third column).
  • the image processing unit 33 sets, for example, (qCr2 + rCr4 + sCr5 + tCr6) / 4 as image data of the color difference component Cr at the target position (second row, third column).
  • q to t are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • image data of the color difference component Cr is generated for each pixel position.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the second imaging condition is applied to the right and lower regions with respect to the thick line. It shall be applied.
  • the first imaging condition and the second imaging condition are different.
  • the position indicated by the thick frame is the target position of the color difference component Cr.
  • the color difference component image data Cr1 to Cr4 in FIG. 9B are reference positions for image processing of the pixel at the target position (second row and second column).
  • the first imaging condition is applied to the target position (second row, second column).
  • the first imaging condition is applied to the image data Cr1, Cr3, and Cr4.
  • the second imaging condition is applied to the image data Cr2. Therefore, the image processing unit 33 (selection unit 33b) selects image data Cr1, Cr3, and Cr4 to which the first imaging condition is applied from the image data Cr1 to Cr4 of the color difference component Cr. Thereafter, the image processing unit 33 (generation unit 33c) calculates the color difference component image data Cr at the target position (second row and second column) with reference to the selected image data.
  • the image processing unit 33 (generation unit 33c) sets, for example, (e1Cr1 + g1Cr3 + h1Cr4) / 3 as image data of the color difference component Cr at the target position (second row and second column). Note that e1, g1, and h1 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the position indicated by the thick frame is the target position of the color difference component Cr.
  • the color difference component image data Cr2, Cr4, Cr5, and Cr6 in FIG. 9C are reference positions for image processing of the pixel at the target position (second row and third column).
  • the second imaging condition is applied to the target position (second row, third column).
  • the first imaging condition is applied to the image data Cr4 and Cr5.
  • the second imaging condition is applied to the image data Cr2 and Cr6.
  • the image processing unit 33 selection unit 33b
  • the image processing unit 33 uses the image data Cr2 to which the second imaging condition is applied from the image data Cr2, Cr4 to Cr6 of the color difference component Cr, and Select Cr6. Thereafter, the image processing unit 33 (generation unit 33c) calculates the color difference component image data Cr at the position of interest (second row and third column) with reference to the selected image data.
  • the image processing unit 33 (generation unit 33c) sets, for example, (g2Cr2 + h2Cr6) / 2 as image data of the color difference component Cr at the target position (second row and third column).
  • G2 and h2 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (generation unit 33c) obtains the image data of the color difference component Cr at each pixel position, and then adds the image data of the G color component shown in FIG. 8C in correspondence with each pixel position. Thus, R color component image data can be obtained at each pixel position.
  • FIG. 10A is a diagram in which image data of the B color component is extracted from FIG.
  • the image processing unit 33 (generation unit 33c) performs the color difference shown in FIG. 10B based on the G color component image data shown in FIG. 8C and the B color component image data shown in FIG. Image data of the component Cb is calculated.
  • the image processing unit 33 (the generation unit 33c) generates image data of the color difference component Cb at the target position indicated by the thick frame (third row, third column) in FIG. Reference is made to the image data Cb1 to Cb4 of the four color difference components located in the vicinity of the third column).
  • the image processing unit 33 (generation unit 33c) sets, for example, (uCb1 + vCb2 + wCb3 + xCb4) / 4 as the image data of the color difference component Cb at the target position (third row, third column).
  • u to x are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (the generation unit 33c) generates image data of the color difference component Cb at the target position indicated by the thick frame (third row and fourth column) in FIG. 10C, for example, Reference is made to the image data Cb2, Cb4 to Cb6 of the four color difference components located in the vicinity of (third row, fourth column).
  • the image processing unit 33 (generation unit 33c) sets, for example, (yCb2 + zCb4 + ⁇ Cb5 + ⁇ Cb6) / 4 as image data of the color difference component Cb at the target position (third row, fourth column).
  • y, z, ⁇ , and ⁇ are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • image data of the color difference component Cb is generated for each pixel position.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line
  • the second imaging condition is applied to the right and lower regions with respect to the thick line. It shall be applied.
  • FIGS. 10A to 10C the first imaging condition and the second imaging condition are different.
  • the position indicated by the thick frame is the target position of the color difference component Cb.
  • the color difference component image data Cb1 to Cb4 in FIG. 10B is a reference position for image processing of the pixel at the target position (third row, third column).
  • the second imaging condition is applied to the target position (third row, third column).
  • the first imaging condition is applied to the image data Cb1 and Cb3.
  • the second imaging condition is applied to the image data Cb2 and Cb4. Therefore, the image processing unit 33 (selection unit 33b) selects image data Cb2 and Cb4 to which the second imaging condition is applied from the image data Cb1 to Cb4 of the color difference component Cb. Thereafter, the image processing unit 33 (generation unit 33c) calculates the color difference component image data Cb at the target position (third row, third column) with reference to the selected image data.
  • the image processing unit 33 sets, for example, (v1Cb2 + x1Cb4) / 2 as image data of the color difference component Cb at the target position (third row, third column).
  • v1 and x1 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the position indicated by the thick frame (third row, fourth column) is the target position of the color difference component Cb.
  • the color difference component image data Cb2 and Cb4 to Cb6 in FIG. 10C are reference positions for image processing of the pixel at the target position (third row, fourth column).
  • the second imaging condition is applied to the position of interest (third row, fourth column). Further, the second imaging condition is applied to the image data Cb2 and Cb4 to Cb6 at all reference positions.
  • the image processing unit 33 (generation unit 33c) refers to the image data Cb2 and Cb4 to Cb6 of the four color difference components located in the vicinity of the target position (third row, fourth column). Image data of the color difference component Cb in the fourth column) is calculated.
  • the image processing unit 33 (the generation unit 33c) obtains the image data of the color difference component Cb at each pixel position, and then adds the image data of the G color component shown in FIG. 8C in correspondence with each pixel position. Thus, image data of the B color component can be obtained at each pixel position.
  • the image processing unit 33 (generation unit 33c) performs, for example, a known linear filter calculation using a kernel of a predetermined size centered on the pixel of interest P (processing target pixel) in one frame image.
  • the kernel size of a sharpening filter that is an example of a linear filter is N ⁇ N pixels
  • the position of the target pixel P is the target position
  • the positions of (N 2 ⁇ 1) reference pixels surrounding the target pixel P are referred to.
  • Position may be N ⁇ M pixels.
  • the image processing unit 33 (generation unit 33c) performs a filter process for replacing the image data in the target pixel P with a linear filter calculation result on each horizontal line, for example, from the upper horizontal line to the lower horizontal line of the frame image. This is done while shifting the pixel of interest from left to right.
  • the image processing unit 33 (selection unit 33b) performs reference when the reference pixel includes a pixel to which a second imaging condition different from the first imaging condition applied to the target pixel P is applied. Image data to which the first imaging condition is applied is selected from image data at the pixel. Thereafter, the image processing unit 33 (generation unit 33c) performs the above-described linear filter processing with reference to the selected image data.
  • the image processing unit 33 (generation unit 33c) performs, for example, a known linear filter calculation using a kernel of a predetermined size centered on the pixel of interest P (processing target pixel) in one frame image.
  • the kernel size of the smoothing filter which is an example of the linear filter is N ⁇ N pixels
  • the position of the target pixel P is the target position
  • the positions of the (N 2 ⁇ 1) reference pixels surrounding the target pixel P are referred to.
  • Position may be N ⁇ M pixels.
  • the image processing unit 33 (generation unit 33c) performs a filter process for replacing the image data in the target pixel P with a linear filter calculation result on each horizontal line, for example, from the upper horizontal line to the lower horizontal line of the frame image. This is done while shifting the pixel of interest from left to right.
  • the image processing unit 33 performs reference when the reference pixel includes a pixel to which a second imaging condition different from the first imaging condition applied to the target pixel P is applied. Image data to which the first imaging condition is applied is selected from image data at the pixel. Thereafter, the image processing unit 33 (generation unit 33c) performs the above-described linear filter processing with reference to the selected image data. As described above, the image processing unit 33 (selection unit 33b) determines whether the reference pixel includes a pixel to which a second imaging condition different from the first imaging condition applied to the target pixel P is included. Image data to which the first imaging condition is applied is selected from the image data.
  • the image processing unit 33 (generation unit 33c) refers to the selected image data and performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing.
  • the image processing unit 33 (selection unit 33b) performs the same processing on image data (including image data to which the second imaging condition is applied) from other pixels output from the image sensor, and outputs an image. Generate.
  • the generated image is displayed on a display unit such as a display device.
  • the control unit 34 (AF calculation unit 34d) performs focus detection processing using image data corresponding to a predetermined position (focus detection position) on the imaging screen.
  • the control unit 34 (AF calculation unit 34d) is set near the boundary of the region when different imaging conditions are set between the divided regions and the focus detection position of the AF operation is located at the boundary portion of the divided region.
  • Data selection processing is performed as preprocessing for focus detection processing on image data for focus detection.
  • the data selection process is performed in order to suppress a decrease in the accuracy of the focus detection process due to the difference in imaging conditions between areas of the imaging screen divided by the setting unit 34b.
  • image data for focus detection at a focus detection position for detecting an image shift amount (phase difference) in an image is located near the boundary of the divided areas
  • different imaging conditions are included in the image data for focus detection.
  • the applied image data may be mixed.
  • the amount of image displacement (position) is determined using image data to which the same imaging conditions are applied, rather than detecting image displacement amount (phase difference) using image data to which different imaging conditions are applied as it is. Based on the idea that it is preferable to detect (phase difference), data selection processing is performed as follows.
  • AF calculation unit 34d detects the image shift amounts (phase differences) of a plurality of subject images due to light beams that have passed through different pupil regions of the imaging optical system 31, thereby defocusing the imaging optical system 31. Is calculated.
  • the control unit 34 (AF calculation unit 34d) moves the focus lens of the imaging optical system 31 to a position where the defocus amount is zero (allowable value or less), that is, a focus position.
  • FIG. 11 is a diagram illustrating the position of the focus detection pixel on the imaging surface of the imaging device 32a.
  • focus detection pixels are discretely arranged along the X-axis direction (horizontal direction) of the imaging chip 111.
  • 15 focus detection pixel lines 160 are provided at a predetermined interval.
  • the focus detection pixels constituting the focus detection pixel line 160 output a photoelectric conversion signal for focus detection.
  • normal imaging pixels are provided at pixel positions other than the focus detection pixel line 160.
  • the imaging pixel outputs a live view image or a photoelectric conversion signal for recording.
  • FIG. 12 is an enlarged view of a part of the focus detection pixel line 160 corresponding to the focus detection position 80A shown in FIG.
  • a red pixel R, a green pixel G (Gb, Gr), and a blue pixel B, a focus detection pixel S1, and a focus detection pixel S2 are illustrated.
  • the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B are arranged according to the rules of the Bayer arrangement described above.
  • the square area illustrated for the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B indicates the light receiving area of the imaging pixel.
  • Each imaging pixel receives a light beam passing through the exit pupil of the imaging optical system 31 (FIG. 1). That is, the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B each have a square-shaped mask opening, and light passing through these mask openings reaches the light-receiving portion of the imaging pixel. .
  • the shapes of the light receiving regions (mask openings) of the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B are not limited to a quadrangle, and may be, for example, a circle.
  • the semicircular region exemplified for the focus detection pixel S1 and the focus detection pixel S2 indicates a light receiving region of the focus detection pixel. That is, the focus detection pixel S1 has a semicircular mask opening on the left side of the pixel position in FIG. 12, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S1. On the other hand, the focus detection pixel S2 has a semicircular mask opening on the right side of the pixel position in FIG. 12, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S2. As described above, the focus detection pixel S1 and the focus detection pixel S2 respectively receive a pair of light beams passing through different areas of the exit pupil of the imaging optical system 31 (FIG. 1).
  • the position of the focus detection pixel line 160 in the imaging chip 111 is not limited to the position illustrated in FIG. Further, the number of focus detection pixel lines 160 is not limited to the example of FIG. Further, the shape of the mask opening in the focus detection pixel S1 and the focus detection pixel S2 is not limited to a semicircular shape. For example, a rectangular light receiving region (mask opening) in the imaging pixel R, the imaging pixel G, and the imaging pixel B is used. Part) may be a rectangular shape divided in the horizontal direction.
  • the focus detection pixel line 160 in the imaging chip 111 may be a line in which focus detection pixels are arranged along the Y-axis direction (vertical direction) of the imaging chip 111.
  • An imaging element in which imaging pixels and focus detection pixels are two-dimensionally arranged as shown in FIG. 12 is known, and detailed illustration and description of these pixels are omitted.
  • the focus detection pixels S1 and S2 each receive one of a pair of focus detection light beams.
  • the focus detection pixels may receive both the pair of focus detection light beams.
  • the control unit 34 (AF calculation unit 34d) is configured to control the imaging optical system 31 (FIG. 1) based on photoelectric conversion signals (signal data) for focus detection output from the focus detection pixel S1 and the focus detection pixel S2.
  • An image shift amount (phase difference) between a pair of images caused by a pair of light beams passing through different areas is detected. Then, the defocus amount is calculated based on the image shift amount (phase difference).
  • Such defocus amount calculation by the pupil division phase difference method is well known in the field of cameras, and thus detailed description thereof is omitted.
  • FIG. 13 is an enlarged view of the focus detection position 80A.
  • White pixels indicate that the first imaging condition is set, and shaded pixels indicate that the second imaging condition is set.
  • the position surrounded by the frame 170 corresponds to the focus detection pixel line 160 (FIG. 11).
  • the control unit 34 (AF calculation unit 34d) normally performs focus detection processing using the focus detection signal data of the focus detection pixels indicated by the frame 170 without performing data selection processing. However, when the focus detection signal data to which the first imaging condition is applied and the focus detection signal data to which the second imaging condition is applied are mixed in the focus detection signal data surrounded by the frame 170, As in the following (Example 1) to (Example 3), the control unit 34 (AF calculation unit 34d) uses the focus detection signal data enclosed by the frame 170 to detect the focus of the first imaging condition used for the focus detection processing. Select the signal data. Then, the control unit 34 (AF calculation unit 34d) performs a focus detection process using the signal data for focus detection after the data selection process. In FIG.
  • the data output from the pixels indicated by the white background is signal data for focus detection under the first imaging condition
  • the data output from the pixels indicated by the diagonal lines is signal data for focus detection under the second imaging condition. is there.
  • the focus detection signal data output from the hatched pixels is not used for the focus detection process.
  • the control unit 34 differs only in ISO sensitivity between the first imaging condition and the second imaging condition, the ISO sensitivity of the first imaging condition is 100, and the ISO sensitivity of the second imaging condition.
  • the signal data for focus detection of the first imaging condition used for the focus detection process is selected from the image data surrounded by the frame 170. That is, out of the focus detection signal data surrounded by the frame 170, the focus detection signal data under the second imaging condition different from the first imaging condition is not used for the focus detection process.
  • control unit 34 differs only in shutter speed between the first imaging condition and the second imaging condition, and the shutter speed of the first imaging condition is 1/1000 second, and the second imaging condition
  • the focus detection signal data of the first imaging condition used for the focus detection process is selected from the focus detection signal data surrounded by the frame 170. That is, out of the focus detection signal data surrounded by the frame 170, the focus detection signal data under the second imaging condition different from the first imaging condition is not used for the focus detection process.
  • the control unit 34 differs only in the frame rate between the first imaging condition and the second imaging condition (the charge accumulation time is the same), and the frame rate of the first imaging condition is 30 fps.
  • the frame rate of the second imaging condition is 60 fps
  • the focus detection signal data of the first imaging condition used for the focus detection process is selected from the focus detection signal data surrounded by the frame 170. That is, out of the focus detection signal data enclosed by the frame 170, the focus detection signal data of the second imaging condition acquired at a timing different from the image data of the first imaging condition is not used for the focus detection process.
  • control unit 34 does not perform the data selection process when the imaging conditions applied in the focus detection signal data surrounded by the frame 170 are the same. That is, the control unit 34 (AF calculation unit 34d) performs focus detection processing using the focus detection signal data of the focus detection pixels indicated by the frame 170 as they are.
  • the imaging conditions are regarded as the same.
  • the example of selecting the focus detection signal data of the first imaging condition from the focus detection signal data surrounded by the frame 170 has been described.
  • the signal data for focus detection under the second imaging condition may be selected.
  • the focus detection is performed by designating the area where the first imaging condition is set, the example in which the photoelectric conversion signal for focus detection under the first imaging condition is selected has been described.
  • An example in which the subject to be focused is located across an area where the first imaging condition is set and an area where the second imaging condition is set will be described.
  • the control unit 34 calculates a first defocus amount from the selected photoelectric conversion signal for focus detection. Further, the control unit 34 (AF calculation unit 34d) selects the focus detection photoelectric conversion signal of the second imaging condition used for the focus detection process from the focus detection photoelectric conversion signal surrounded by the frame 170. Then, the control unit 34 (AF calculation unit 34d) calculates a second defocus amount from the selected focus detection photoelectric conversion signal.
  • the control unit 34 performs a focus detection process using the first defocus amount and the second defocus amount. Specifically, for example, the control unit 34 (AF calculation unit 34d) calculates an average value of the first defocus amount and the second defocus amount, and calculates the moving distance of the lens. Further, the control unit 34 (AF calculation unit 34d) may select a value having a smaller lens moving distance from the first defocus amount and the second defocus amount. The control unit 34 (AF calculation unit 34d) may select a value indicating that the subject is closer to the near side from the first defocus amount and the second defocus amount.
  • the control unit 34 (AF calculation unit 34d) A region having a larger area may be selected and a photoelectric conversion signal for focus detection may be selected. For example, when the area of the face of the subject to be focused is 70% in the region where the first imaging condition is set and 30% in the second region, the control unit 34 (AF calculation unit 34d) A photoelectric conversion signal for focus detection under imaging conditions is selected.
  • the ratio (percentage) to the area described above is an example, and the present invention is not limited to this.
  • the focus detection process using the pupil division phase difference method is exemplified.
  • the contrast detection method in which the focus lens of the imaging optical system 31 is moved to the in-focus position based on the contrast of the subject image. Can be done in the same way.
  • the control unit 34 moves the focus lens of the imaging optical system 31 and outputs the image output from the imaging pixel of the imaging element 32a corresponding to the focus detection position at each position of the focus lens. A known focus evaluation value calculation is performed based on the data. Then, the position of the focus lens that maximizes the focus evaluation value is obtained as the focus position.
  • the control unit 34 normally performs the focus evaluation value calculation using the image data output from the imaging pixel corresponding to the focus detection position without performing the data selection process. However, when the image data corresponding to the focus detection position includes image data to which the first imaging condition is applied and image data to which the second imaging condition is applied, the control unit 34 corresponds to the focus detection position. The image data of the first imaging condition or the image data of the second imaging condition is selected from the image data to be processed. And the control part 34 performs focus evaluation value calculation using the image data after a data selection process. As described above, when the subject to be focused is located across the area in which the first imaging condition is set and the area in which the second imaging condition is set, the control unit 34 (AF calculation unit 34d). May select a region having a larger area of the subject region and select signal data for focus detection.
  • FIG. 14A is a diagram illustrating a template image 180 that represents an object to be detected
  • FIG. 14B shows a live view image 60 (a) and a search range 190. It is a figure illustrated.
  • the control unit 34 object detection unit 34a detects an object (for example, a bag 63a which is one of the subject elements in FIG. 5) from the live view image.
  • the control unit 34 may set the range in which the object is detected as the entire range of the live view image 60a. However, in order to reduce the detection process, a part of the live view image 60a is set as the search range 190. Also good.
  • the control unit 34 sets different imaging conditions between the divided regions, and when the search range 190 includes the boundary of the divided region, the control unit 34 (object detection unit 34a) Data selection processing is performed as preprocessing of subject detection processing.
  • the data selection process is performed in order to suppress a decrease in accuracy of the subject element detection process due to the difference in imaging conditions between the areas of the imaging screen divided by the setting unit 34b.
  • image data to which different imaging conditions are applied may be mixed in the image data of the search range 190.
  • the control unit 34 sets the search range 190 in the vicinity of the region including the person 61a. In addition, you may set the area
  • the control unit 34 uses the image data constituting the search range 190 as it is without performing the data selection process. Subject detection processing is performed. However, if image data in the search range 190 includes image data to which the first imaging condition is applied and image data to which the second imaging condition is applied, the control unit 34 (object detection unit 34a) Similarly to (Example 1) to (Example 3) in the case of performing the focus detection process described above, the image data of the first imaging condition used for the subject detection process is selected from the image data in the search range 190.
  • the control unit 34 performs subject detection processing on the area where the first imaging condition is set, using the image data after the data selection processing.
  • the subject detection process is, for example, a process (so-called template matching) in which detection is performed by obtaining the similarity between the template image 180 and the image data of the selected first imaging condition.
  • the control unit 34 selects image data of the second imaging condition used for subject detection processing from the image data in the search range 190. Then, the control unit 34 (the object detection unit 34a) performs subject detection processing similar to the above on the region where the second imaging condition is set, using the image data after the data selection processing.
  • the control unit 34 performs subject detection within the search range 190. Then, subject detection within the search range 190 is detected by matching the boundary between the subject region detected using the image data of the first imaging condition and the subject region detected using the image data of the second imaging condition. be able to.
  • the control unit 34 object detection unit 34a
  • the subject may be detected using only the image data of the first imaging condition.
  • the fact that the area where the first imaging condition is set occupies a large area means, for example, that the area of the area where the first imaging condition is set is 70% or more. Further, the area of the region where the first imaging condition is set is not limited to 70% or more, and may be 80% or more, or 90% or more. Naturally, the ratio of the area of the region in which the first imaging condition is set is not limited to these and can be changed as appropriate.
  • the data selection process for the image data in the search range 190 described above may be applied to a search range used for detecting a specific subject such as a human face or an area used for determination of an imaging scene.
  • the control unit 34 when detecting the face of a person from the search range 190, the control unit 34 (the object detection unit 34a) selects image data of the first imaging condition used for subject detection processing from the image data of the search range 190. . Then, the control unit 34 (object detection unit 34a) performs a known face detection process on the region where the first imaging condition is set. Further, the control unit 34 (object detection unit 34a) selects image data of the second imaging condition used for subject detection processing from the image data in the search range 190.
  • control unit 34 (the object detection unit 34a) performs a known face detection process on the region where the second imaging condition is set. Then, the control unit 34 (the object detection unit 34a) determines the boundary between the face area detected in the area where the first imaging condition is set and the face area detected in the area where the second imaging condition is set. Are combined to perform face detection from the image data in the search range 190.
  • the data selection processing for the image data in the search range 190 described above is not limited to the search range used in the pattern matching method using the template image, but in the search range when detecting the feature amount based on the color or edge of the image. May be applied similarly.
  • the control unit 34 when the image data to which the first imaging condition is applied and the image data to which the second imaging condition is applied coexist in the search range set in the frame image acquired later.
  • the image data of the first imaging condition used for the tracking process is selected from the image data of the search range.
  • the control part 34 performs a tracking process with respect to the area
  • the image data of the second imaging condition used for the tracking process is selected from the image data of the search range in the same manner as described above, and the control unit 34 performs the data after the data selection process for the area where the second imaging condition is set. Tracking processing may be performed using image data.
  • the control unit 34 detects the motion vector.
  • Image data of the first imaging condition used for detection processing is selected from the image data of the area.
  • the control part 34 detects a motion vector using the image data after a data selection process with respect to the area
  • the image data of the second imaging condition used for the motion vector detection process is selected from the image data of the search range, and the control unit 34 selects the data for the area where the second imaging condition is set.
  • Motion vector detection processing may be performed using the processed image data.
  • the control unit 34 may obtain the motion vector of the entire image from the motion vector detected from the area set with the first imaging condition and the motion vector detected from the area set with the second imaging condition. Alternatively, it may be a motion vector for each region.
  • control unit 34 (setting unit 34b) divides the area of the imaging screen and sets different imaging conditions between the divided areas, the control unit 34 (setting unit 34b) newly sets the exposure condition to determine the exposure condition
  • Data selection processing is performed as preprocessing for setting exposure conditions for image data located near the boundary of the region.
  • the data selection process is performed in order to suppress a decrease in accuracy of the process for determining the exposure condition due to the imaging condition being different between the areas of the imaging screen divided by the setting unit 34b.
  • image data to which different imaging conditions are applied may be mixed in the photometric range image data.
  • the control unit 34 When the photometry range is not divided by a plurality of regions having different imaging conditions, the control unit 34 (setting unit 34b) performs exposure calculation processing using the image data constituting the photometry range as it is without performing data selection processing. I do. However, if the image data to which the first imaging condition is applied and the image data to which the second imaging condition is applied are mixed in the image data in the photometry range, the control unit 34 (setting unit 34b) Similarly to (Example 1) to (Example 3) when performing the focus detection process and the subject detection process, the image data of the first imaging condition used for the exposure calculation process is selected from the image data in the photometric range.
  • control unit 34 uses the image data after the data selection process to perform an exposure calculation process on the area where the first imaging condition is set. Then, the control unit 34 (setting unit 34b) selects the image data of the second imaging condition used for the exposure calculation process from the image data in the photometric range. Then, the control unit 34 (setting unit 34b) uses the image data after the data selection process to perform an exposure calculation process on the area where the second imaging condition is set. As described above, when there are a plurality of regions having different imaging conditions in the photometric range, the control unit 34 (setting unit 34b) performs the data selection processing for measuring each region, and performs the data selection processing. Exposure calculation processing is performed using image data.
  • control unit 34 when the photometric range is located across the area where the first imaging condition is set and the area where the second imaging condition is set, the control unit 34 (setting unit 34b) performs the above-described focus detection and subject detection. As in the case of, a region having a larger area may be selected.
  • the photometric range when performing the exposure calculation process described above but also the photometric (colorimetric) range used when determining the white balance adjustment value and the necessity of emission of the auxiliary photographing light by the light source that emits the auxiliary photographing light are determined. The same applies to the photometric range performed at the time, and further to the photometric range performed at the time of determining the light emission amount of the photographing auxiliary light by the light source.
  • the readout resolution of the photoelectric conversion signal is made different between areas obtained by dividing the imaging screen, the same applies to the area used for determination of the imaging scene performed when determining the readout resolution for each area. it can.
  • FIG. 15 is a flowchart for explaining the flow of processing for setting an imaging condition for each area and imaging.
  • the control unit 34 activates a program that executes the process shown in FIG.
  • step S10 the control unit 34 causes the display unit 35 to start live view display, and proceeds to step S20.
  • the control unit 34 causes the display unit 35 to sequentially display an image obtained by performing predetermined image processing on the image data sequentially output from the imaging unit 32 as a live view image.
  • the same imaging condition is set for the entire imaging chip 111, that is, the entire screen.
  • the control unit 34 (AF calculation unit 34d) performs focus detection processing to focus the subject element corresponding to the predetermined focus detection position.
  • the AF operation to be adjusted is controlled.
  • the AF calculation unit 34d performs the focus detection process after performing the data selection process as necessary. If the setting for performing the AF operation is not performed during live view display, the control unit 34 (AF calculation unit 34d) performs the AF operation when the AF operation is instructed later.
  • step S20 the control unit 34 (object detection unit 34a) detects the subject element from the live view image, and proceeds to step S30.
  • the object detection unit 34a performs the subject detection process after performing the data selection process as necessary.
  • step S30 the control unit 34 (setting unit 34b) divides the screen of the live view image into regions including subject elements, and proceeds to step S40.
  • step S ⁇ b> 40 the control unit 34 displays an area on the display unit 35. As illustrated in FIG. 6, the control unit 34 highlights an area that is a target for setting (changing) the imaging condition among the divided areas. In addition, the control unit 34 displays the imaging condition setting screen 70 on the display unit 35 and proceeds to step S50. When the display position of another main subject on the display screen is tapped with the user's finger, the control unit 34 sets an area including the main subject as an area for setting (changing) the imaging condition. Change and highlight.
  • step S50 the control unit 34 determines whether an AF operation is necessary.
  • the control unit 34 for example, when the focus adjustment state changes due to the movement of the subject, when the position of the focus detection position is changed by a user operation, or when execution of an AF operation is instructed by a user operation Then, affirmative determination is made in step S50, and the process proceeds to step S70.
  • the control unit 34 makes a negative determination in step S50 and proceeds to step 60. move on.
  • step S70 the control unit 34 performs the AF operation and returns to step S40.
  • the AF calculation unit 34d performs a focus detection process that is an AF operation after performing the data selection process as necessary.
  • the control unit 34 that has returned to step S40 repeats the same processing as described above based on the live view image acquired after the AF operation.
  • step S60 the control unit 34 (setting unit 34b) sets an imaging condition for the highlighted area in accordance with a user operation, and proceeds to step S80. Note that the display transition of the display unit 35 and the setting of the imaging conditions according to the user operation in step S60 are as described above.
  • the control unit 34 (setting unit 34b) performs exposure calculation processing after performing the data selection processing as necessary.
  • step S80 the control unit 34 determines whether there is an imaging instruction.
  • a release button (not shown) constituting the operation member 36 or a display icon for instructing imaging is operated, the control unit 34 makes a positive determination in step S80 and proceeds to step S90.
  • the control unit 34 makes a negative determination in step S80 and returns to step S60.
  • step S90 the control unit 34 performs predetermined imaging processing. That is, the imaging control unit 34c controls the imaging element 32a so as to perform imaging under the imaging conditions set for each region, and the process proceeds to step S100.
  • step S100 the control unit 34 (imaging control unit 34c) sends an instruction to the image processing unit 33, performs predetermined image processing on the image data obtained by the imaging, and proceeds to step S110.
  • Image processing includes the pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing.
  • the image processing unit 33 selection unit 33b) performs image processing after performing data selection processing on image data located near the boundary of the region, as necessary.
  • step S110 the control unit 34 sends an instruction to the recording unit 37, records the image data after the image processing on a recording medium (not shown), and proceeds to step S120.
  • step S120 the control unit 34 determines whether an end operation has been performed. When the end operation is performed, the control unit 34 makes a positive determination in step S120 and ends the process illustrated in FIG. When the end operation is not performed, the control unit 34 makes a negative determination in step S120 and returns to step S20. When returning to step S20, the control unit 34 repeats the above-described processing.
  • the multilayer image sensor 100 is illustrated as the image sensor 32a.
  • the imaging condition can be set for each of a plurality of blocks in the image sensor (imaging chip 111)
  • the image sensor 32a is not necessarily configured as a multilayer image sensor. do not have to.
  • the camera 1 including the subject detection device includes the first image data generated by capturing the subject image incident on the first region of the imaging unit 32 under the first imaging condition, and the second image of the imaging unit 32.
  • a selection unit 33b that selects one of the second image data generated by imaging the subject image incident on the region under a second imaging condition different from the first imaging condition, and the selected selection image
  • a control unit (object detection unit 34a) that detects an object (for example, a subject element such as a person) from the subject image based on the data.
  • the object detection unit 34 a of the camera 1 detects subject elements for a part of the search range 190 of the imaging unit 32, and the first region and the second region are included in the search range 190. Thereby, it is possible to appropriately perform the detection process in regions where the imaging conditions are different.
  • the selection unit 33b of the camera 1 selects the image data having the larger number of image data out of the first image data and the second image data corresponding to a part of the search range 190, the imaging conditions are different. Thus, the detection process can be performed appropriately.
  • the selection unit 33b of the camera 1 selects all image data when all the image data is the first image data, and selects all images when all the image data is the second image data. When data is selected and the image data includes the first image data and the second image data, the first image data or the second image data is selected. Thereby, it is possible to appropriately perform the detection process in regions where the imaging conditions are different.
  • the object detection unit 34a of the camera 1 detects a subject element as a focus adjustment target of the imaging optical system 31, it is possible to appropriately perform detection processing in regions where imaging conditions are different.
  • the camera 1 includes a control unit 34 that detects the brightness of the subject, and the object detection unit 34a detects a subject element as a target for photometry by the control unit 34. Detection processing can be performed.
  • the image data selection process in the case of performing image processing in the first embodiment is applied to the imaging condition applied to the target pixel P (referred to as the first imaging condition) and the reference pixels around the target pixel P.
  • the image processing unit 33 selecting unit 33b) uses the first imaging condition common to the target pixel from the image data of the pixels located inside the predetermined range 90. Is selected, and the image processing unit 33 (generation unit 33c) refers to the selected image data.
  • the image processing unit 33 uses the image data of the pixels located outside the predetermined range 90 as the image data to which the first imaging condition common to the target pixel is applied. And the number of data referred to by the image processing unit 33 (generation unit 33c) is increased. That is, the image processing unit 33 (selection unit 33b) changes the position to be selected and selects image data to which the first imaging condition is applied.
  • FIG. 7D is an enlarged view of the target pixel P and the reference pixel in the second embodiment.
  • the data output from the pixels indicated by the white background in the predetermined range 90 centered on the target pixel P is the image data of the first imaging condition
  • the data output from the pixels indicated by the oblique lines is It is image data of 2nd imaging conditions.
  • the image processing unit 33 selection unit 33b
  • the image processing unit 33 does not select image data of pixels (hatched lines) to which the second imaging condition is applied. This is the same as in the first embodiment.
  • the image processing unit 33 (selection unit 33b) is located on the inner side of the predetermined range 90 and white background to which the first imaging condition is applied, as illustrated in FIG. 7D. Along with the pixel image data, image data of a white background pixel that is located outside the predetermined range 90 and to which the first imaging condition is applied is further selected.
  • the image processing unit 33 (generation unit 33c) refers to the image data selected in this way and performs image processing.
  • the distance from the position of the target pixel P to the position of the image data of the second imaging condition inside the predetermined range 90 is the first position located outside the predetermined range 90 from the position of the target pixel P.
  • the image processing unit 33 does not select the image data of the second imaging condition that is short from the position of the target pixel P, and the first imaging that is long from the position of the target pixel P.
  • Conditional image data can also be selected.
  • the image processing unit 33 preferentially selects image data of a pixel at a position closer to the predetermined range 90 than image data of a pixel at a position away from the predetermined range 90.
  • the reason for this is based on the idea that a pixel closer to the predetermined range 90 is more likely to have image information common to the target pixel P than a pixel farther from the predetermined range 90.
  • the image processing unit 33 selection unit 33b is a white background pixel (that is, the first pixel) whose distance from the pixel indicated by the diagonal line is L or less. Image data to which imaging conditions are applied) is selected. The reason for this is based on the idea that it is preferable not to include the image data in common with the target pixel P if it is too far from the predetermined range 90.
  • Pixel defect correction processing When the same imaging condition is applied to the pixel of interest P and all of the pixels included in the predetermined range 90 centered on the pixel of interest P, the image processing unit 33 (selection unit 33b) All the image data of the pixels located inside the predetermined range 90 are selected. Thereafter, the image processing unit 33 (generation unit 33c) performs Max and Min filter processing with reference to the selected image data. Note that pixel defect correction processing may be performed by taking the average of selected image data.
  • the image processing unit 33 determines that the pixel to which the second imaging condition different from the first imaging condition applied to the target pixel P at the time of imaging is applied is the target pixel. If it is included in the predetermined range 90 centered on P, image data of a pixel that is located inside the predetermined range 90 and to which the first imaging condition is applied is selected. Furthermore, image data of a white background pixel that is located outside the predetermined range 90 and to which the first imaging condition is applied is selected. The image processing unit 33 (generation unit 33c) performs the Max and Min filter processing described above with reference to the image data selected in this way. Note that pixel defect correction processing may be performed by taking the average of selected image data.
  • the image processing unit 33 performs such processing for all pixel defects whose position information is recorded in the nonvolatile memory.
  • the second imaging different from the first imaging condition applied to the target position (second row and second column) at the reference position corresponding to the G color component image data G4 indicated by the oblique lines. Conditions are applied.
  • the image processing unit 33 selects image data G1 to G3 to which the first imaging condition is applied, from the G color component image data G1 to G4. Further, the image processing unit 33 (selection unit 33b) selects the G color component image data G6 that is located near the reference position corresponding to the data G4 and to which the first imaging condition is applied.
  • the image processing unit 33 changes the position where the image data is selected with respect to the first embodiment, and selects the image data to which the first imaging condition is applied.
  • the second imaging condition is applied also at the position of the data G6, data to which the first imaging condition is applied may be selected from image data at a position near the data G6.
  • the image processing unit 33 calculates the G color component image data at the position of interest (second row and second column) with reference to the image data selected in this way.
  • the image processing unit 33 (generation unit 33c) sets, for example, (a2G1 + b2G2 + c2G3 + d2G6) / 4 as the G color component image data at the target position (second row, second column).
  • a2, b2, c2, and d2 are weighting coefficients provided in accordance with the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (the generation unit 33c) generates image data of the G color component at the position of the B color component and the position of the R color component in FIG. Further, image data of the G color component is obtained at each pixel position.
  • R color interpolation The R color interpolation of the second embodiment will be described.
  • the first imaging condition is applied to the left and upper regions with respect to the thick line.
  • the second imaging condition is applied to the right and lower regions.
  • the image processing unit 33 (selection unit 33b) is indicated by a thick frame (second row and second column) at the reference position corresponding to the image data Cr2 of the color difference component Cr indicated by diagonal lines.
  • a second imaging condition different from the first imaging condition applied to the position of interest is applied. Therefore, the image processing unit 33 (selection unit 33b) selects the image data Cr1, Cr3 to Cr4 to which the first imaging condition is applied, from the color difference component image data Cr1 to Cr4. Further, the image processing unit 33 (selection unit 33b) selects the image data Cr15 (or Cr16) of the color difference component Cr that is located in the vicinity of the reference position corresponding to the data Cr2 and to which the first imaging condition is applied.
  • the image processing unit 33 changes the position where the image data is selected with respect to the first embodiment, and selects the image data to which the first imaging condition is applied. If the second imaging condition is also applied at the position of the data Cr15 or Cr16, data to which the first imaging condition is applied may be selected from image data at positions near the data Cr15 or Cr16. .
  • the image processing unit 33 calculates the color difference component image data at the position of interest (second row and second column) with reference to the image data thus selected.
  • the image processing unit 33 (generating unit 33c) sets, for example, (e3Cr1 + f3Cr15 + g3Cr3 + h3Cr4) / 4 as image data of the color difference component Cr at the target position (second row and second column).
  • e3, f3, g3, and h3 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 selects the image data Cr2 and Cr6 to which the second imaging condition is applied, from the color difference component image data Cr2, Cr4 to Cr6.
  • the image processing unit 33 selects the image data Cr8 and Cr7 of the color difference component Cr that is located near the reference position corresponding to the data Cr4 and Cr5 and to which the second imaging condition is applied. That is, the image processing unit 33 (selecting unit 33b) changes the position where the image data is selected with respect to the first embodiment, and selects image data to which the second imaging condition is applied. If the first imaging condition is also applied at the positions of the data Cr8 and Cr7, the data to which the second imaging condition is applied is selected from the image data at positions near the data Cr8 and Cr7. May be.
  • the image processing unit 33 calculates the image data of the color difference component Cr at the position of interest (second row and third column) with reference to the image data thus selected.
  • the image processing unit 33 (generation unit 33c) uses, for example, (q3Cr2 + r3Cr8 + s3Cr7 + t3r6) / 4 as image data of the color difference component Cr at the target position.
  • q3, r3, s3, and t3 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the image processing unit 33 (generation unit 33c) obtains the image data of the color difference component Cr at each pixel position, and then adds the image data of the G color component shown in FIG. 8C in correspondence with each pixel position. Thus, image data of the R color component is obtained at each pixel position.
  • a first imaging condition different from the condition is applied. Therefore, the image processing unit 33 (selection unit 33b) selects the image data Cb2 and Cb4 to which the second imaging condition is applied from the color difference component image data Cb1 to Cb4. Furthermore, the image processing unit 33 (selection unit 33b) selects the image data Cb16 and Cb17 of the color difference component Cb that is located near the reference position corresponding to the data Cb1 and Cb3 and to which the second imaging condition is applied. That is, the image processing unit 33 (selecting unit 33b) changes the position where the image data is selected with respect to the first embodiment, and selects image data to which the second imaging condition is applied.
  • the image processing unit 33 calculates the color difference component image data Cb at the target position (third row, third column) with reference to the image data selected in this way.
  • the image processing unit 33 (generation unit 33c) sets, for example, (u3Cb16 + v3Cb2 + w3Cb4 + x3Cb17) / 4 as the image data of the color difference component Cb at the target position (third row, third column).
  • u3, v3, w3, and x3 are weighting coefficients provided according to the distance between the reference position and the target position and the image structure.
  • the reference position corresponding to the image data Cb2, Cb4 to Cb6 of the four color difference components located in the vicinity of the target position (third row, fourth column) is the target position (3
  • the same second imaging condition as that in the fourth row) is applied.
  • the image processing unit 33 (generation unit 33c) calculates the image data of the color difference component Cb at the target position with reference to the image data Cb2 and Cb4 to Cb6 of the four color difference components located in the vicinity of the target position.
  • the image processing unit 33 (the generation unit 33c) obtains the image data of the color difference component Cb at each pixel position, and then adds the image data of the G color component shown in FIG. 8C in correspondence with each pixel position. Thus, image data of the B color component is obtained at each pixel position.
  • the selection unit 33b selects image data of pixels other than the reference pixel and in an area in which an imaging condition common to the pixel position (position of the target pixel) is set. Thereby, for example, it is possible to increase the data referred to for generating the third image data by the generating unit 33c and appropriately perform image processing.
  • FIGS. 16A to 16C are diagrams illustrating the arrangement of the first area and the second area on the imaging surface of the imaging element 32a.
  • the first region is composed of even columns
  • the second region is composed of odd columns. That is, the imaging surface is divided into even columns and odd columns.
  • the first area is composed of odd rows
  • the second area is composed of even rows. That is, the imaging surface is divided into odd rows and even rows.
  • the first area is composed of blocks of even rows in odd columns and blocks of odd rows in even columns.
  • the second region is configured by even-numbered blocks in even columns and odd-numbered blocks in odd columns. That is, the imaging surface is divided into a checkered pattern.
  • the first image based on the photoelectric conversion signal read from the first region and the photoelectric conversion signal read from the image sensor 32a that has picked up an image of one frame, and Second images based on the photoelectric conversion signals read from the second region are respectively generated.
  • the first image and the second image are captured at the same angle of view and include a common subject image.
  • the control unit 34 uses the first image for display and the second image for detection. Specifically, the control unit 34 causes the display unit 35 to display the first image as a live view image. Further, the control unit 34 causes the object detection unit 34a to perform subject detection processing using the second image, causes the AF calculation unit 34 to perform focus detection processing using the second image, and sets the second image using the setting unit 34b. Is used to perform exposure calculation processing.
  • the imaging condition set in the first area for capturing the first image is referred to as the first imaging condition
  • the imaging condition set in the second area for capturing the second image is referred to as the second imaging condition.
  • the control unit 34 may make the first imaging condition different from the second imaging condition.
  • the control unit 34 sets the first imaging condition to a condition suitable for display by the display unit 35.
  • the first imaging condition is the same for the entire first area of the imaging screen.
  • the control unit 34 sets the second imaging condition to a condition suitable for the focus detection process, the subject detection process, and the exposure calculation process.
  • the second imaging condition is also made the same for the entire second area of the imaging screen.
  • the control unit 34 may change the second imaging condition set in the second area for each frame.
  • the second imaging condition of the first frame is a condition suitable for the focus detection process
  • the second imaging condition of the second frame is a condition suitable for the subject detection process
  • the second imaging condition of the third frame is the exposure calculation process.
  • the second imaging condition in each frame is the same in the entire second area of the imaging screen.
  • control unit 34 may change the first imaging condition set in the first region.
  • the control unit 34 (setting unit 34b) sets different first imaging conditions for each region including the subject element divided by the setting unit 34b.
  • the control unit 34 makes the second imaging condition the same for the entire second area of the imaging screen.
  • the control unit 34 sets the second imaging condition to a condition suitable for the focus detection process, the subject detection process, and the exposure calculation process. However, the conditions suitable for the focus detection process, the subject detection process, and the exposure calculation process are set. If they are different, the imaging conditions set in the second area may be different for each frame.
  • control unit 34 makes the first imaging condition the same for the entire first area of the imaging screen, while making the second imaging condition set for the second area different on the imaging screen. Also good. For example, a different second imaging condition is set for each region including the subject element divided by the setting unit 34b. Even in this case, if the conditions suitable for the focus detection process, the subject detection process, and the exposure calculation process are different, the imaging conditions set in the second region may be different for each frame.
  • control unit 34 varies the first imaging condition set in the first area on the imaging screen, and varies the second imaging condition set on the second area on the imaging screen.
  • the setting unit 34b sets different first imaging conditions for each region including the subject element divided, and the setting unit 34b sets different second imaging conditions for each region including the subject element divided.
  • the area ratio between the first region and the second region may be different.
  • the control unit 34 sets the ratio of the first region to be higher than that of the second region based on the operation by the user or the determination of the control unit 34, or sets the ratio of the first region to the second region as shown in FIG. As shown in FIG. 16 (c), they are set equally, or the ratio of the first area is set lower than that of the second area.
  • the first image is made to have a higher definition than the second image, the resolutions of the first image and the second image are made equal, or the second image is Compared to the first image, it can be made higher definition.
  • Modification 2 In the above embodiment, an example has been described in which the control unit 34 (setting unit 34b) detects a subject element based on a live view image and divides the screen of the live view image into regions including the subject element.
  • the control unit 34 may divide the region based on the output signal from the photometric sensor when the photometric sensor is provided separately from the image sensor 32a.
  • the control unit 34 divides the foreground and the background based on the output signal from the photometric sensor.
  • the live view image acquired by the image sensor 32b is a foreground area corresponding to an area determined as a foreground from an output signal from a photometric sensor, and an area determined as a background from an output signal from the photometric sensor. Is divided into background areas corresponding to.
  • the control unit 34 further arranges the first area and the second area as illustrated in FIGS. 16A to 16C with respect to the position corresponding to the foreground area of the imaging surface of the imaging element 32a. . On the other hand, the control unit 34 arranges only the first area on the imaging surface of the imaging element 32a with respect to the position corresponding to the background area of the imaging surface of the imaging element 32a. The control unit 34 uses the first image for display and the second image for detection.
  • the region of the live view image acquired by the image pickup device 32b can be divided by using the output signal from the photometric sensor.
  • a first image for display and a second image for detection can be obtained for the foreground area, and only a first image for display can be obtained for the background area.
  • the image processing unit 33 performs contrast adjustment processing so as to alleviate the discontinuity of the image based on the difference between the first imaging condition and the second imaging condition. That is, the generation unit 33c relaxes the discontinuity of the image based on the difference between the first imaging condition and the second imaging condition by changing the gradation curve (gamma curve).
  • the generation unit 33c compresses the value of the image data of the second imaging condition in the image data at the reference position to 1/8 by laying down the gradation curve.
  • the generation unit 33c may expand the value of the image data of the first imaging condition among the image data of the target position and the image data of the reference position by increasing the gradation curve by 8 times.
  • the modified example 3 as in the above-described embodiment, it is possible to appropriately perform image processing on image data respectively generated in regions with different imaging conditions. For example, discontinuity and discomfort appearing in an image after image processing can be suppressed due to a difference in imaging conditions at the boundary between regions.
  • the image processing unit 33 prevents the outline of the subject element from being damaged in the above-described image processing (for example, noise reduction processing).
  • image processing for example, noise reduction processing
  • smoothing filter processing is employed when noise reduction is performed.
  • the boundary of the subject element may be blurred while the noise reduction effect.
  • the image processing unit 33 compensates for the blur of the boundary of the subject element by performing a contrast adjustment process in addition to or in addition to the noise reduction process.
  • the image processing unit 33 sets a curve that draws an S shape as a density conversion (gradation conversion) curve (so-called S-shaped conversion).
  • the image processing unit 33 (generation unit 33c) performs contrast adjustment using S-shaped conversion, thereby extending the gradation portions of the bright data and the dark data to respectively increase the number of gradations of the bright data (and dark data).
  • the number of gradations is reduced by compressing intermediate gradation image data.
  • the number of image data having a medium brightness is reduced, and data classified as either bright / dark is increased.
  • blurring of the boundary of the subject element can be compensated.
  • blurring of the boundary of the subject element can be compensated for by sharpening the contrast of the image.
  • the image processing unit 33 changes the white balance adjustment gain so as to alleviate the discontinuity of the image based on the difference between the first imaging condition and the second imaging condition.
  • the imaging condition applied at the time of imaging at the target position (referred to as the first imaging condition) is different from the imaging condition applied at the time of imaging at the reference position around the target position (referred to as the second imaging condition).
  • the image processing unit 33 (generating unit 33c) brings the white balance of the image data of the second imaging condition out of the image data at the reference position closer to the white balance of the image data acquired under the first imaging condition. Change the white balance adjustment gain.
  • the image processing unit 33 determines the white balance between the image data of the first imaging condition and the image data of the target position in the image data at the reference position, and the white balance of the image data acquired under the second imaging condition.
  • the white balance adjustment gain may be changed so as to approach the white balance.
  • the white balance adjustment gain is adjusted to one of the adjustment gains in the areas with different imaging conditions for the image data generated in the areas with different imaging conditions, so that the first imaging condition and the second imaging condition are adjusted.
  • the discontinuity of the image based on the difference from the imaging condition can be reduced.
  • a plurality of image processing units 33 may be provided, and image processing may be performed in parallel. For example, image processing is performed on the image data captured in the region B of the imaging unit 32 while performing image processing on the image data captured in the region A of the imaging unit 32.
  • the plurality of image processing units 33 may perform the same image processing or different image processing. That is, the same parameters are applied to the image data of the region A and the region B, and the same image processing is performed, or the different parameters are applied to the image data of the region A and the region B to perform different image processing. You can do it.
  • image processing is performed by one image processing unit on image data to which the first imaging condition is applied, and other is performed on image data to which the second imaging condition is applied.
  • the image processing unit may perform image processing.
  • the number of image processing units is not limited to the above two, and for example, the same number as the number of imaging conditions that can be set may be provided. That is, each image processing unit takes charge of image processing for each region to which different imaging conditions are applied. According to the modified example 6, it is possible to proceed in parallel with imaging under different imaging conditions for each area and image processing for image data of an image obtained for each area.
  • the camera 1 in which the imaging unit 32 and the control unit 34 are configured as a single electronic device has been described as an example.
  • the imaging unit 1 and the control unit 34 may be provided separately, and the imaging system 1B that controls the imaging unit 32 from the control unit 34 via communication may be configured.
  • the imaging device 1001 including the imaging unit 32 is controlled from the control device 1002 including the control unit 34 will be described with reference to FIG.
  • FIG. 17 is a block diagram illustrating the configuration of an imaging system 1B according to Modification 8.
  • the imaging system 1 ⁇ / b> B includes an imaging device 1001 and a display device 1002.
  • the imaging device 1001 includes a first communication unit 1003 in addition to the imaging optical system 31 and the imaging unit 32 described in the above embodiment.
  • the display device 1002 includes a second communication unit 1004 in addition to the image processing unit 33, the control unit 34, the display unit 35, the operation member 36, and the recording unit 37 described in the above embodiment.
  • the first communication unit 1003 and the second communication unit 1004 can perform bidirectional image data communication using, for example, a well-known wireless communication technology or optical communication technology. Note that the imaging device 1001 and the display device 1002 may be connected by a wired cable, and the first communication unit 1003 and the second communication unit 1004 may perform bidirectional image data communication.
  • the control unit 34 controls the imaging unit 32 by performing data communication via the second communication unit 1004 and the first communication unit 1003. For example, by transmitting and receiving predetermined control data between the imaging device 1001 and the display device 1002, the display device 1002 divides the screen into a plurality of regions based on the images as described above, or the divided regions. A different imaging condition is set for each area, or a photoelectric conversion signal photoelectrically converted in each area is read out.
  • the user since the live view image acquired on the imaging device 1001 side and transmitted to the display device 1002 is displayed on the display unit 35 of the display device 1002, the user is positioned away from the imaging device 1001. Remote control can be performed from a certain display device 1002.
  • the display device 1002 can be configured by a high-function mobile phone 250 such as a smartphone, for example.
  • the imaging device 1001 can be configured by an electronic device including the above-described stacked imaging element 100.
  • the object detection part 34a, the setting part 34b, and imaging A part of the control unit 34c and the AF calculation unit 34d may be provided in the imaging apparatus 1001.
  • the program is supplied to the mobile device such as the camera 1, the high-function mobile phone 250, or the tablet terminal as described above by, for example, infrared communication or short-range wireless communication from the personal computer 205 storing the program as illustrated in FIG. 18. Can be sent to mobile devices.
  • the program may be supplied to the personal computer 205 by setting a recording medium 204 such as a CD-ROM storing the program in the personal computer 205 or by a method via the communication line 201 such as a network. You may load. When passing through the communication line 201, the program is stored in the storage device 203 of the server 202 connected to the communication line.
  • the program can be directly transmitted to the mobile device via a wireless LAN access point (not shown) connected to the communication line 201.
  • a recording medium 204B such as a memory card storing the program may be set in the mobile device.
  • the program can be supplied as various forms of computer program products, such as provision via a recording medium or a communication line.
  • the image processing unit 32A instead of providing the image processing unit 33 of the first embodiment, the image processing unit 32A has an image processing unit 32c having the same function as the image processing unit 33 of the first embodiment. Is different from the first embodiment in that
  • FIG. 19 is a block diagram illustrating the configuration of a camera 1C according to the third embodiment.
  • the camera 1 ⁇ / b> C includes an imaging optical system 31, an imaging unit 32 ⁇ / b> A, a control unit 34, a display unit 35, an operation member 36, and a recording unit 37.
  • the imaging unit 32A further includes an image processing unit 32c having the same function as the image processing unit 33 of the first embodiment.
  • the image processing unit 32 c includes an input unit 321, a selection unit 322, and a generation unit 323.
  • Image data from the image sensor 32 a is input to the input unit 321.
  • the selection unit 322 performs preprocessing on the input image data.
  • the preprocessing performed by the selection unit 322 is the same as the preprocessing performed by the selection unit 33b in the first embodiment.
  • the generation unit 323 performs image processing on the input image data and the pre-processed image data to generate an image.
  • the image processing performed by the generation unit 323 is the same as the image processing performed by the generation unit 33c in the first embodiment.
  • FIG. 20 is a diagram schematically showing the correspondence between each block and a plurality of selection units 322 in the present embodiment.
  • one square of the imaging chip 111 represented by a rectangle represents one block 111a.
  • one square of an image processing chip 114 described later represented by a rectangle represents one selection unit 322.
  • the selection unit 322 is provided corresponding to each block 111a.
  • the selection unit 322 is provided for each block, which is the minimum unit of the area where the imaging condition can be changed on the imaging surface.
  • the hatched block 111a and the hatched selection unit 322 have a correspondence relationship.
  • the hatched selection unit 322 performs preprocessing on the image data from the pixels included in the hatched block 111a.
  • Each selection unit 322 performs preprocessing on image data from pixels included in the corresponding block 111a.
  • the preprocessing of the image data can be processed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 can be reduced, and an appropriate image can be quickly generated from the image data generated in each region with different imaging conditions. Can be generated.
  • the block 111a may be referred to as a block 111a to which the pixel belongs.
  • the block 111a may be referred to as a unit section, and a plurality of blocks 111a, that is, a plurality of unit sections may be referred to as a composite section.
  • FIG. 21 is a cross-sectional view of the multilayer imaging element 100A.
  • the multilayer imaging element 100A further includes an image processing chip 114 that performs the above-described preprocessing and image processing in addition to the backside illumination imaging chip 111, the signal processing chip 112, and the memory chip 113. That is, the above-described image processing unit 32c is provided in the image processing chip 114.
  • the imaging chip 111, the signal processing chip 112, the memory chip 113, and the image processing chip 114 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.
  • a plurality of bumps 109 are arranged on the mutually facing surfaces of the memory chip 113 and the image processing chip 114.
  • the bumps 109 are aligned with each other, and the memory chip 113 and the image processing chip 114 are pressurized, so that the aligned bumps 109 are joined and electrically connected.
  • ⁇ Data selection process> Similar to the first embodiment, in the second embodiment, after the region of the imaging screen is divided by the setting unit 34b, the region selected by the user or the region determined by the control unit 34 is determined.
  • the imaging conditions can be set (changed).
  • the control unit 34 causes the selection unit 322 to perform the following data selection processing as necessary.
  • the selection unit 322 selects all the image data of the plurality of reference pixels and sends them to the generation unit 323. Output.
  • the generation unit 323 performs image processing using image data of a plurality of reference pixels.
  • the imaging condition applied in the target pixel P is set as the first imaging condition
  • the imaging conditions applied to a part of the reference pixels are the first imaging conditions
  • the imaging conditions applied to the remaining reference pixels are the second imaging conditions.
  • the selection unit 322 corresponding to the block 111a to which the reference pixel to which the first imaging condition is applied and the selection unit 322 corresponding to the block 111a to which the reference pixel to which the second imaging condition is applied are referred to.
  • Data selection processing is performed on pixel image data as in (Example 1) to (Example 3) below.
  • the generation unit 323 performs image processing for calculating the image data of the target pixel P with reference to the image data of the reference pixel after the data selection processing.
  • Example 1 For example, it is assumed that only the ISO sensitivity differs between the first imaging condition and the second imaging condition, the ISO sensitivity of the first imaging condition is 100, and the ISO sensitivity of the second imaging condition is 800.
  • the selection unit 322 corresponding to the block 111a to which the reference pixel to which the first imaging condition is applied belongs selects image data of the first imaging condition.
  • the selection unit 322 corresponding to the block 111a to which the reference pixel to which the second imaging condition is applied belongs does not select the image data of the second imaging condition. That is, image data with a second imaging condition different from the first imaging condition is not used for image processing.
  • Example 2 For example, only the shutter speed is different between the first imaging condition and the second imaging condition, the shutter speed of the first imaging condition is 1/1000 second, and the shutter speed of the second imaging condition is 1/100 second. And in this case, the selection unit 322 corresponding to the block 111a to which the reference pixel to which the first imaging condition is applied belongs selects image data of the first imaging condition. However, the selection unit 322 corresponding to the block 111a to which the reference pixel to which the second imaging condition is applied belongs does not select the image data of the second imaging condition. That is, image data with a second imaging condition different from the first imaging condition is not used for image processing.
  • the frame rate of the first imaging condition is 30 fps
  • the frame rate of the second imaging condition is 60 fps.
  • the selection unit 322 corresponding to the block 111a to which the reference pixel to which the first imaging condition is applied belongs selects the image data of the pixel of the first imaging condition.
  • the selection unit 322 corresponding to the block 111a to which the reference pixel to which the second imaging condition is applied belongs to the first imaging condition (30 fps) for the image data of the second imaging condition (60 fps) in the image data of the reference pixel.
  • the image data of the frame image acquired at the same timing as the frame image acquired in (1) is selected. That is, of the image data of the reference pixels, the image data of the frame image having the acquisition timing close to that of the frame image of the first imaging condition (30 fps) is used for image processing, and the frame image of the first imaging condition (30 fps) and the acquisition timing are used.
  • the image data of frame images having different values are not used for image processing.
  • the imaging condition applied at the target pixel P is the second imaging condition and the imaging condition applied at the reference pixels around the target pixel P is the first imaging condition. That is, in this case, the selection unit 322 corresponding to the block 111a to which the reference pixel to which the first imaging condition is applied belongs, and the selection unit 322 to which the reference pixel to which the reference pixel to which the second imaging condition is applied belong. Then, the data selection process is performed on the image data of the reference pixel as in (Example 1) to (Example 3) described above.
  • FIG. 22 illustrates image data (hereinafter referred to as first image data) from each pixel included in a partial area (hereinafter referred to as first area 141) of the imaging surface to which the first imaging condition is applied,
  • the processing with image data (hereinafter referred to as second image data) from each pixel included in a partial area (hereinafter referred to as second area 142) of the imaging surface to which the two imaging conditions are applied is schematically illustrated.
  • FIG. FIG. 22 is a diagram illustrating a case where the imaging condition applied to the pixel of interest P is the first imaging condition in the above (Example 1) and (Example 2).
  • the first image data captured under the first imaging condition is output from each pixel included in the first region 141, and the first image data captured under the second imaging condition is output from each pixel included in the second region 142.
  • Two image data are respectively output.
  • the first image data is output to the selection unit 322 corresponding to the block 111a to which the pixel that generated the first image data belongs among the plurality of selection units 322 provided in the processing chip 114.
  • the plurality of selection units 322 respectively corresponding to the plurality of blocks 111a to which the pixels that generate the respective first image data belong are referred to as first selection units 151.
  • the second image data is output to the selection unit 322 corresponding to the block 111a to which each pixel that generated the second image data belongs among the plurality of selection units 322 provided in the processing chip 114.
  • the plurality of selection units 322 respectively corresponding to the plurality of blocks 111a to which the pixels that generate the respective second image data belong are referred to as second selection units 152.
  • the first selection unit 151 selects the image data of the target pixel P and the image data of the reference pixel imaged under the first imaging condition, and then goes to the generation unit 323. Output.
  • the selection unit 322 selects image data from the same block, but may use image data of another block imaged under the first imaging condition. At this time, if the selection unit 322 to which the target pixel P is input and the selection unit 322 of another block imaged under the first imaging condition transmit and receive information 181 about the first imaging condition necessary for the data selection process. Good.
  • the second selection unit 152 does not select the image data of the reference pixel imaged under the second imaging condition, and does not output the image data of the reference pixel imaged under the second imaging condition to the generation unit 323.
  • the second selection unit 152 receives information 181 about the first imaging condition necessary for the data selection process from the first selection unit 151, for example.
  • the second selection unit 152 selects the image data of the target pixel P and the image data of the reference pixel captured under the second imaging condition, and generates the unit. To H.323.
  • the first selection unit 151 does not select the image data of the reference pixel imaged under the first imaging condition, and does not output the image data of the reference pixel imaged under the first imaging condition to the generation unit 323.
  • the first selection unit 151 receives information about the second imaging condition necessary for the data selection process from the second selection unit 152, for example.
  • the generation unit 323 performs pixel defect correction processing, color interpolation processing, edge enhancement processing, noise reduction processing, and the like based on the image data from the first selection unit 151 and the second selection unit 152. Image processing is performed, and image data after image processing is output.
  • the control unit 34 (AF calculation unit 34d) performs focus detection processing using image data corresponding to a predetermined position (focus detection position) on the imaging screen. . Note that when different imaging conditions are set for the divided areas and the focus detection position of the AF operation is located at the boundary portion of the divided areas, that is, the focus detection positions are 2 in the first area and the second area. In the present embodiment, the following 2-2. As will be described, the control unit 34 (AF calculation unit 34d) causes the selection unit 322 to perform data selection processing.
  • the unit 322 selects all focus detection signal data from the pixels in the frame 170 and outputs the selected signal data to the generation unit 323.
  • the control unit 34 (AF calculation unit 34d) performs focus detection processing using signal data for focus detection by the focus detection pixels indicated by a frame 170.
  • the focus detection signal data to which the first imaging condition is applied and the focus detection signal data to which the second imaging condition is applied are mixed in the focus detection signal data from the pixels in the frame 170 in FIG.
  • the control unit 34 (AF calculation unit 34d) performs data as shown in the following (Example 1) to (Example 3) for the selection unit 322 corresponding to the block 111a to which the pixel in the frame 170 belongs. Let the selection process be performed. Then, the control unit 34 (AF calculation unit 34d) performs a focus detection process using the signal data for focus detection after the data selection process.
  • Example 1 For example, it is assumed that only the ISO sensitivity differs between the first imaging condition and the second imaging condition, the ISO sensitivity of the first imaging condition is 100, and the ISO sensitivity of the second imaging condition is 800.
  • the selection unit 322 corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs selects signal data for focus detection under the first imaging condition. Then, the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs does not select the focus detection signal data of the second imaging condition. That is, out of the focus detection signal data from the pixels in the frame 170, the focus detection signal data of the first imaging condition is used for focus detection processing, and the image data of the second imaging condition different from the first imaging condition is used. Not used for focus detection processing.
  • Example 2 For example, only the shutter speed is different between the first imaging condition and the second imaging condition, the shutter speed of the first imaging condition is 1/1000 second, and the shutter speed of the second imaging condition is 1/100 second.
  • the selection unit 322 corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs selects signal data for focus detection under the first imaging condition. Then, the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs does not select the focus detection signal data of the second imaging condition. That is, out of the focus detection signal data from the pixels in the frame 170, the focus detection signal data of the first imaging condition is used for focus detection processing, and the focus detection of the second imaging condition different from the first imaging condition is used. Are not used for focus detection processing.
  • the frame rate of the first imaging condition is 30 fps
  • the frame rate of the second imaging condition is 60 fps.
  • the selection unit 322 corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs selects signal data for focus detection of the pixel under the first imaging condition.
  • the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs acquires the frame image acquired under the first imaging condition (30 fps) and the image data of the second imaging condition (60 fps).
  • Signal data for focus detection of a frame image with close timing is selected. That is, out of the focus detection signal data under the second imaging condition (60 fps), the focus detection signal data of the frame image with the acquisition timing close to the frame image under the first imaging condition (30 fps) is used for the focus detection process. The signal data for focus detection of a frame image having a different acquisition timing from the frame image of the first imaging condition (30 fps) is not used for the focus detection process.
  • the imaging conditions are regarded as the same.
  • Example 1 the example in which the focus detection signal data of the first imaging condition is selected from the focus detection signal data surrounded by the frame 170 has been described. You may make it select the signal data for focus detection of the 2nd imaging condition among the signal data for focus detection.
  • the focus detection position is divided into the first and second regions and the area of the first region is larger than the area of the second region, the image data of the first imaging condition is selected, and conversely, When the area of the two regions is larger than the area of the first region, it is desirable to select image data under the second imaging condition.
  • FIG. 23 is a diagram schematically illustrating processing of the first signal data and the second signal data according to the focus detection processing.
  • the focus detection signal data under the first imaging condition is selected from the signal data generated from the region surrounded by the frame 170, and the focus detection signal under the second imaging condition. It is a figure explaining the case where data is selected. From each pixel included in the first region 141, first signal data for focus detection imaged under the first imaging condition is output, and from each pixel included in the second region 142, imaging is performed under the second imaging condition. The focused second signal data for focus detection is output. The first signal data from the first region 141 is output to the first selection unit 151.
  • the second signal data from the second region 142 is output to the second selection unit 152.
  • the first processing unit 151 selects the first signal data of the first imaging condition and outputs it to the AF calculation unit 34d.
  • the second processing unit 152 selects the second signal data of the second imaging condition and outputs it to the AF calculation unit 34d.
  • the AF calculation unit 34d calculates a first defocus amount from the first signal data from the first processing unit 151. Further, the AF calculation unit 34d calculates a second defocus amount from the second signal data from the first processing unit 151. Then, the AF calculation unit 34d outputs a drive signal for moving the focus lens of the imaging optical system 31 to the in-focus position using the first defocus amount and the second defocus amount.
  • the focus detection signal data under the first imaging condition is selected from the signal data in the region surrounded by the frame 170, and the focus detection signal under the second imaging condition.
  • the first signal data and the second signal data are processed as follows.
  • the first processing unit 151 selects the first signal data of the first imaging condition and outputs the first signal data to the generation unit 323.
  • the second processing unit 152 does not select the second signal data of the second imaging condition, and does not output the second signal data of the reference pixel imaged under the second imaging condition to the generation unit 323.
  • the second processing unit 152 receives, for example, information 181 about the first imaging condition necessary for the data selection process from the first processing unit 151.
  • the AF calculation unit 34d performs focus detection processing based on the first signal data from the first processing unit 151, and focuses the focus lens of the imaging optical system 31 based on the calculation result.
  • a drive signal for moving to a position is output.
  • the subject to be focused is located across the area where the first imaging condition is set and the area where the second imaging condition is set.
  • this corresponds to the block 111a to which the pixel to which the first imaging condition is applied belongs.
  • the selection unit 322 selects first signal data for focus detection under the first imaging condition. Further, the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs selects the second signal data for focus detection under the second imaging condition. Then, the control unit 34 (AF calculation unit 34d) calculates a first defocus amount from the selected first signal data for focus detection.
  • control unit 34 calculates a second defocus amount from the selected second signal data for focus detection. Then, the control unit 34 (AF calculation unit 34d) performs a focus detection process using the first defocus amount and the second defocus amount. Specifically, for example, the control unit 34 (AF calculation unit 34d) calculates the average of the first defocus amount and the second defocus amount, and calculates the moving distance of the lens. Further, the control unit 34 (AF calculation unit 34d) may select a value having a smaller lens moving distance from the first defocus amount and the second defocus amount. The control unit 34 (AF calculation unit 34d) may select a value indicating that the subject is closer to the near side from the first defocus amount and the second defocus amount.
  • the control unit 34 (AF calculation unit 34d) A region having a larger area may be selected and a photoelectric conversion signal for focus detection may be selected. For example, when the area of the face of the subject to be focused is 70% in the region where the first imaging condition is set and 30% in the second region, the control unit 34 (AF calculation unit 34d) A photoelectric conversion signal for focus detection under imaging conditions is selected.
  • the ratio (percentage) to the area described above is an example, and the present invention is not limited to this.
  • the control unit 34 (AF calculation unit 34d) performs subject detection processing using image data from pixels in the search range 190.
  • FIG. 24 is a diagram schematically illustrating processing of the first image data and the second image data related to the subject detection processing.
  • the control unit 34 performs subject detection processing using the image data after the data selection processing.
  • the control unit 34 sends the image data in the search range 190 to the selection unit 322 (second selection unit 152) corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs.
  • the image data of the second imaging condition used for the subject detection process is selected.
  • control unit 34 performs subject detection processing using the image data after the data selection processing. Then, the control unit 34 (the object detection unit 34a) searches by matching the boundary between the subject area detected from the image data of the first imaging condition and the subject area detected from the image data of the second imaging condition. Subject detection within the range 190 can be detected.
  • the control unit 34 (object detection unit 34a) The image of the first imaging condition used for subject detection processing from the image data in the search range 190 to the selection unit 322 (first selection unit 151) corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs. Let the data be selected. Then, the control unit 34 (object detection unit 34a) performs subject detection processing using the image data after the data selection processing.
  • control unit 34 sends the image data in the search range 190 to the selection unit 322 (second selection unit 152) corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs. Then, only the image data of the frame image acquired at the first imaging condition (30 fps) and the frame image close to the acquisition timing is selected as the image data of the second imaging condition (60 fps) used for the subject detection process. Then, the control unit 34 (object detection unit 34a) performs subject detection processing using the image data after the data selection processing. Then, the control unit 34 detects the subject within the search range 190 by matching the boundary between the subject area detected from the image data of the first imaging condition and the subject area detected from the image data of the second imaging condition. Can be detected.
  • the image data of the first imaging condition is selected and the second imaging condition is selected.
  • the image data may not be selected.
  • the image data of the second imaging condition may be selected and the image data of the first imaging condition may not be selected.
  • the selection unit 322 selects all the image data from the pixels in the photometric range. Select and output to the generation unit 323.
  • the control unit 34 (setting unit 34b) performs exposure calculation processing using image data from the pixels constituting the photometric range.
  • image data to which the first imaging condition is applied and image data to which the second imaging condition is applied are mixed in the image data in the photometric range
  • the control unit 34 object detection unit 34a selects a block corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs, similarly to (a) in the case of performing the subject detection process described above.
  • the unit 322 causes the image data of the first imaging condition used for the exposure calculation processing to be selected from the image data of the photometric range.
  • control unit 34 performs, for the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied, the second imaging used for exposure calculation processing from image data in the photometric range. Select the image data for the condition.
  • FIG. 25 is a diagram schematically illustrating processing of the first image data and the second image data related to setting of imaging conditions such as exposure calculation processing. Then, the control unit 34 (setting unit 34b) performs an exposure calculation process for each of the area where the first imaging condition is set and the area where the second imaging condition is set using the image data after the data selection process. . As described above, when there are a plurality of regions having different imaging conditions in the photometric range, the control unit 34 (setting unit 34b) performs the data selection processing for measuring each region, and performs the data selection processing. Exposure calculation processing is performed using image data.
  • control unit 34 In the case where only the frame rate is different between the first imaging condition and the second imaging condition as in the case of performing the focus detection process described above (Example 3).
  • the control unit 34 Is used for exposure calculation processing from image data in the photometric range to the selection unit 322 corresponding to the block 111a to which the pixel to which the first imaging condition is applied belongs, as in (b) in the case of subject detection processing.
  • the image data of the first imaging condition is selected.
  • the control unit 34 performs the selection unit 322 corresponding to the block 111a to which the pixel to which the second imaging condition is applied belongs as in the case of performing the focus detection process described above (Example 3).
  • control part 34 (setting part 34b) performs an exposure calculation process using the image data after a data selection process similarly to the case of (a) mentioned above.
  • the image data of the first imaging condition is selected and the second imaging condition The image data may not be selected. Further, when the area of the second region is larger than the area of the first region, the image data of the second imaging condition may be selected and the image data of the first imaging condition may not be selected.
  • the camera 1C is capable of imaging by changing the imaging condition for each unit section of the imaging surface, and the first image data from the first region composed of at least one unit section captured under the first imaging condition;
  • An image sensor 32a is provided that generates second image data from a second region composed of at least one unit segment imaged under a second imaging condition different from the first imaging condition.
  • the camera 1C is provided corresponding to each unit section or each composite section having a plurality of unit sections, and a plurality of selections that select or do not select image data from the corresponding unit section or the unit section in the corresponding composite section Part 322.
  • the imaging element 32a is provided in the backside illumination type imaging chip 111.
  • the plurality of selection units 322 are provided in the image processing chip 114. As a result, the data selection processing of the image data can be performed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 can be reduced.
  • the camera 1 ⁇ / b> C includes a generation unit 323 that generates an image based on the selected image data selected by the selection unit 322.
  • the camera 1C is capable of imaging by changing the imaging conditions for each unit section of the imaging surface, and includes at least one unit section that captures an optical image incident through the imaging optical system under the first imaging condition. Generating first image data from the first region and second image data from the second region composed of at least one unit section obtained by imaging an incident light image under a second imaging condition different from the first imaging condition; An image sensor 32a is provided.
  • the camera 1C is provided corresponding to each unit section or each composite section having a plurality of unit sections, and a plurality of selections that select or do not select image data from the corresponding unit section or the unit section in the corresponding composite section Part 322.
  • the camera 1C includes an AF calculation unit 34d that detects information for moving the imaging optical system based on the selected image data selected.
  • the imaging element 32a is provided in the backside illumination type imaging chip 111.
  • the plurality of correction units 322 are provided in the image processing chip 114.
  • the data selection processing of the image data can be performed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 can be reduced and the preprocessing by the plurality of selection units 322 can be performed in a short time by parallel processing.
  • the time until the start of the focus detection process in the AF calculation unit 34d can be shortened, which contributes to speeding up of the focus detection process.
  • the camera 1C is capable of imaging by changing the imaging condition for each unit section of the imaging surface, and includes at least one unit section that captures the subject image incident through the imaging optical system under the first imaging condition. Generating first image data from the first region and second image data from the second region composed of at least one unit section obtained by capturing an incident subject image under a second image capturing condition different from the first image capturing condition; An image sensor 32a is provided.
  • the camera 1C is provided corresponding to each unit section or each composite section having a plurality of unit sections, and a plurality of selections that select or do not select image data from the corresponding unit section or the unit section in the corresponding composite section Part 322.
  • the camera 1 ⁇ / b> C includes an object detection unit 34 a that detects a target object from a subject image based on selected selected image data.
  • the imaging element 32a is provided in the backside illumination type imaging chip 111.
  • the plurality of correction units 322 are provided in the image processing chip 114.
  • the data selection processing of the image data can be performed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 can be reduced and the preprocessing by the plurality of selection units 322 can be performed in a short time by parallel processing.
  • the time until the start of the subject detection process in the object detection unit 34a can be shortened, which contributes to the speedup of the subject detection process.
  • the camera 1 ⁇ / b> C is capable of imaging by changing the imaging condition for each unit section of the imaging surface, and includes at least one unit section that captures an optical image incident through the imaging optical system under the first imaging condition. Generating first image data from the first region and second image data from the second region composed of at least one unit section obtained by imaging an incident light image under a second imaging condition different from the first imaging condition; An image sensor 32a is provided.
  • the camera 1C is provided corresponding to each unit section or each composite section having a plurality of unit sections, and a plurality of selections that select or do not select image data from the corresponding unit section or the unit section in the corresponding composite section Part 322.
  • the camera 1C includes a setting unit 34b that sets shooting conditions based on the selected image data selected.
  • the imaging element 32a is provided in the backside illumination type imaging chip 111.
  • the plurality of correction units 322 are provided in the image processing chip 114.
  • the data selection processing of the image data can be performed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 can be reduced and the preprocessing by the plurality of selection units 322 can be performed in a short time by parallel processing.
  • Modification of the third embodiment The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
  • Modification 10 As shown in FIGS. 16 (a) to 16 (c) in Modification 1 of the first and second embodiments, the first region and the second region are arranged on the imaging surface of the imaging device 32a. Processing of the 1 image data and the 2nd image data will be described. Also in this modified example, as in the modified example 1, in any of the cases shown in FIGS. 16A to 16C, the first region is determined by the pixel signal read from the imaging element 32a that has captured one frame.
  • a first image based on the image signal read from the second image and a second image based on the image signal read from the second region are generated.
  • the control unit 34 uses the first image for display and the second image for detection. It is assumed that a first imaging condition is set for the first area for capturing the first image, and a second imaging condition different from the first imaging condition is set for the second area for capturing the second image.
  • FIG. 26 is a diagram schematically illustrating processing of the first image data and the second image data.
  • the first image data captured under the first imaging condition is output from each pixel included in the first area 141
  • the second image captured under the second imaging condition is output from each pixel included in the second area 142.
  • Image data and second signal data are output.
  • the first image data from the first area 141 is output to the first selection unit 151.
  • the second image data and the second signal data from the second region 142 are output to the second selection unit 152.
  • the first selection unit 151 selects all the first image data from each pixel in the first area.
  • the second imaging condition is the same for the entire second area of the imaging screen, the second selection unit 152 selects all the second image data from each pixel in the second area. Since the first imaging condition and the second imaging condition are different, the second selection unit 152 does not select the second image data as data for image processing of the image data in the first area. In addition, the second selection unit 152 receives information 181 about the first imaging condition from the first selection unit 151, for example.
  • the generation unit 323 performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on the first image data from the first selection unit 151, and the image data after the image processing Is output.
  • the object detection unit 34a performs a process of detecting a subject element based on the second image data from the second selection unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on the second image data from the second selection unit 152, and based on the calculation result, the imaging screen by the imaging unit 32 is detected. While dividing into a plurality of regions including elements, imaging conditions are reset for the plurality of regions.
  • the AF calculation unit 34d performs focus detection processing based on the second signal data from the second selection unit 152, and drives for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result. Output a signal.
  • the first imaging condition varies depending on the area of the imaging screen, that is, the first imaging condition varies depending on the partial area in the first area, and the second imaging condition is the same throughout the second area of the imaging screen.
  • FIG. 27 is a diagram schematically illustrating processing of the first image data, the second image data, and the second signal data.
  • the first image data captured under the first imaging condition is output from each pixel included in the first area 141
  • the second image captured under the second imaging condition is output from each pixel included in the second area 142.
  • Image data and second signal data are output.
  • the first image data from the first area 141 is output to the first selection unit 151.
  • the second image data from the second region 142 is output to the second selection unit 152.
  • the first imaging condition varies depending on the area of the imaging screen. That is, the first imaging condition varies depending on the partial area in the first area.
  • the first selection unit 151 selects only the first image data of a certain imaging condition from the first image data from each pixel of the first region, and does not select the first image data of another imaging condition.
  • the second selection unit 152 selects all the second image data from each pixel in the second area. Since the first imaging condition and the second imaging condition are different, the second selection unit 152 does not select the second image data as data for image processing of the image data in the first area.
  • the second selection unit 152 receives information 181 about the first imaging condition from the first selection unit 151, for example.
  • the generation unit 323 performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on a part of the first image data selected by the first selection unit 151, and the image Output the processed image data.
  • the object detection unit 34a performs a process of detecting a subject element based on the second image data from the second selection unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on the second image data from the second selection unit 152, and based on the calculation result, the imaging screen by the imaging unit 32 is detected. While dividing into a plurality of regions including elements, imaging conditions are reset for the plurality of regions.
  • the AF calculation unit 34d performs focus detection processing based on the second signal data from the second selection unit 152, and drives for moving the focus lens of the imaging optical system 31 to the in-focus position based on the calculation result. Output a signal.
  • FIG. 28 is a diagram schematically showing processing of the first image data and the second image data.
  • first image data captured under the same first imaging condition is output in the entire first area of the imaging screen, and from each pixel included in the second area 142.
  • Second image data captured under different second imaging conditions depending on the area of the imaging screen is output.
  • the first image data from the first area 141 is output to the first selection unit 151.
  • the second image data and the second signal data from the second region 142 are output to the second selection unit 152.
  • the first selection unit 151 selects all the first image data from each pixel in the first area.
  • the second imaging condition varies depending on the area of the imaging screen. That is, the second imaging condition varies depending on the partial area in the second area.
  • the second selection unit 152 selects only the second image data under a certain imaging condition from the second image data from each pixel in the second region, and does not select the second image data under other imaging conditions. Since the first imaging condition and the second imaging condition are different, the second selection unit 152 does not select the second image data as data for image processing of the image data in the first area.
  • the second selection unit 152 receives information 181 about the first imaging condition from the first selection unit 151, for example.
  • the generation unit 323 performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on the first image data from the first selection unit 151, and the image data after the image processing Is output.
  • the object detection unit 34a performs processing for detecting a subject element based on part of the second image data selected by the second selection unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on a part of the second image data selected by the second selection unit 152, and an imaging screen by the imaging unit 32 based on the calculation result. Are divided into a plurality of regions including the detected subject element, and the imaging conditions are reset for the plurality of regions.
  • the AF calculation unit 34d performs focus detection processing based on a part of the second signal data selected by the second selection unit 152, and based on the calculation result, the focus lens of the imaging optical system 31 is moved to the in-focus position. A drive signal for moving is output.
  • FIG. 29 is a diagram schematically illustrating processing of the first image data, the second image data, and the second signal data.
  • first image data captured under a first imaging condition that varies depending on the area of the imaging screen is output.
  • second image data captured under different second imaging conditions are output.
  • the first image data from the first area 141 is output to the first selection unit 151.
  • the second image data and the second signal data from the second region 142 are output to the second selection unit 152.
  • the first imaging condition varies depending on the area of the imaging screen. That is, the first imaging condition varies depending on the partial area in the first area.
  • the first selection unit 151 selects only the first image data of a certain imaging condition from the first image data from each pixel of the first region, and does not select the first image data of another imaging condition.
  • the second imaging condition varies depending on the area of the imaging screen. That is, the second imaging condition varies depending on the partial area in the second area.
  • the second selection unit 152 selects only the second image data under a certain imaging condition from the second image data from each pixel in the second region, and does not select the second image data under other imaging conditions.
  • the second selection unit 152 Since the first imaging condition and the second imaging condition are different, the second selection unit 152 does not select the second image data as data for image processing of the image data in the first area. In addition, the second selection unit 152 receives information 181 about the first imaging condition from the first selection unit 151, for example.
  • the generation unit 323 performs image processing such as pixel defect correction processing, color interpolation processing, contour enhancement processing, and noise reduction processing based on a part of the first image data selected by the first selection unit 151, and the image Output the processed image data.
  • the object detection unit 34a performs processing for detecting a subject element based on part of the second image data selected by the second selection unit 152, and outputs a detection result.
  • the setting unit 34b performs an imaging condition calculation process such as an exposure calculation process based on a part of the second image data selected by the second selection unit 152, and an imaging screen by the imaging unit 32 based on the calculation result. Are divided into a plurality of regions including the detected subject element, and the imaging conditions are reset for the plurality of regions.
  • the AF calculation unit 34d performs focus detection processing based on a part of the second signal data selected by the second selection unit 152, and based on the calculation result, the focus lens of the imaging optical system 31 is moved to the in-focus position. A drive signal for moving is output.
  • one of the selection units 322 corresponds to one of the blocks 111a (unit division).
  • one of the selection units 322 may correspond to one of the composite blocks (composite sections) having a plurality of blocks 111a (unit sections).
  • the selection unit 322 sequentially performs data selection processing on image data from pixels belonging to the plurality of blocks 111a included in the composite block. Even if a plurality of selection units 322 are provided corresponding to each composite block having a plurality of blocks 111a, data selection processing of image data can be performed in parallel by the plurality of selection units 322, so that the processing burden on the selection unit 322 is increased. Can be reduced, and an appropriate image can be generated in a short time from image data generated in different areas with different imaging conditions.
  • the generation unit 323 is provided inside the imaging unit 32A.
  • the generation unit 323 may be provided outside the imaging unit 32A. Even if the generation unit 323 is provided outside the imaging unit 32A, the same operational effects as the above-described operational effects can be obtained.
  • the multilayer imaging element 100A includes image processing that performs the above-described preprocessing and image processing in addition to the backside illumination imaging chip 111, the signal processing chip 112, and the memory chip 113.
  • a chip 114 is further provided.
  • the image processing chip 114 may be provided in the signal processing chip 112 without providing the image processing chip 114 in the multilayer imaging device 100A.
  • an imaging device having an imaging area for imaging a subject, a setting unit for setting imaging conditions of the imaging area, and for use in interpolation
  • a selection unit that selects a pixel from pixels included in the imaging region, and a detection unit that detects a subject imaged in the imaging region using a signal interpolated by a signal output from the pixel selected by the selection unit
  • the selection unit differs in at least some of the pixels to be selected according to the imaging condition set by the setting unit.
  • the imaging element includes a first imaging area for imaging a subject and a second imaging area for imaging the subject
  • the setting unit includes the first imaging area.
  • An imaging condition for the imaging area and an imaging condition for the second imaging area are set, and the selection unit includes the pixels included in the first imaging area and the pixels included in the second imaging area.
  • the detection unit A subject imaged in the first imaging region is detected using a signal interpolated by a signal output from the pixel selected by the selection unit.
  • the selection unit selects a pixel to be used for the interpolation from at least one of the first imaging region and the second imaging region.
  • the selection unit selects pixels in the second imaging region as pixels to be used for the interpolation according to the imaging conditions of the second imaging region set by the setting unit. select.
  • the selection unit sets the first imaging condition when the setting unit sets the first imaging condition in the first imaging region and the second imaging region. 2 Select a pixel included in the imaging area.
  • the selection unit is configured to use the first pixel as a pixel used for the interpolation based on a value related to exposure according to an imaging condition of the second imaging region set by the setting unit. 2. Select pixels in the imaging area.
  • the selection unit includes a value related to exposure according to the imaging condition of the first imaging region set by the setting unit and a value related to exposure based on the imaging condition of the second imaging region. Based on the above, the pixel of the second imaging region is selected as the pixel used for the interpolation.
  • the selection unit includes the number of exposure stages according to the imaging condition of the first imaging region set by the setting unit and the number of exposure stages according to the imaging condition of the second imaging region. When the difference between the two is 0.3 or less, the pixel in the second imaging region is selected as the pixel used for the interpolation.
  • the selection unit sets a first imaging condition in the first imaging region by the setting unit, and a second imaging condition in the second imaging region. Is set, the pixels included in the first imaging area are selected.
  • the setting unit sets a first imaging condition in the first imaging region, and sets a second imaging condition in the second imaging region.
  • the selection unit is configured to interpolate the first pixel in the first imaging region, and to select the first pixel and the second imaging region. A third pixel in the first imaging region having a distance from the first pixel that is longer than a distance from the second pixel is selected.
  • the selection unit has different numbers of pixels to be selected depending on the imaging conditions set in the second imaging region by the setting unit.
  • the selection unit sets a first imaging condition in the first imaging region and a second imaging condition in the second imaging region by the setting unit.
  • a first imaging area set to image a subject under a first imaging condition a second imaging area set to image a subject under a second imaging condition different from the first imaging condition
  • a first imaging area set to image a subject under the first imaging condition a second imaging area set to image a subject under a second imaging condition different from the first imaging condition
  • a generation unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from a pixel selected by the selection unit.
  • An imaging device having a first imaging area for imaging a subject, a second imaging area for imaging the subject, and a third imaging area for imaging the subject, and imaging conditions of the first imaging area are set to the first The imaging condition is set, the imaging condition of the second imaging area is set to a second imaging condition different from the first imaging condition, and the imaging condition of the third imaging area is set to the first imaging condition and the second imaging
  • An imaging device comprising: a detection unit that detects a subject imaged in the region.
  • the distance between the first imaging area for imaging the subject, the second imaging area for imaging the subject, and the distance between the first imaging area and the second imaging area is longer than the distance between the first imaging area and the second imaging area.
  • An imaging device having a third imaging area for imaging a subject, a setting unit for setting imaging conditions for the second imaging area to imaging conditions different from the imaging conditions for the first imaging area, and the first imaging area A pixel to be used for interpolation of a pixel included in the first imaging region from among a pixel included in the pixel, a pixel included in the second imaging region, and a pixel included in the third imaging region
  • An imaging apparatus comprising: a selection unit that selects; and a detection unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from a pixel selected by the selection unit.
  • an image sensor having an imaging area for imaging a subject, a setting unit for setting imaging conditions for the imaging area, and a signal output from a pixel included in the imaging area selected as a pixel used for interpolation
  • a detection unit that detects a subject imaged in the imaging region using the interpolated signal, and an imaging device in which at least some of the pixels to be selected differ depending on the imaging condition set by the setting unit .
  • An imaging device comprising: a detection unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from a pixel.
  • An image pickup device having an image pickup area for picking up an object, a setting unit for setting image pickup conditions for the image pickup area, and a signal for reducing noise selected from pixels included in the image pickup area are output.
  • a detection unit that detects a subject imaged in the imaging region using a signal in which noise is reduced by a signal output from the pixel, and according to an imaging condition set by the setting unit, An imaging device in which at least some of the pixels are different.
  • An imaging device in which at least some of the pixels are different.
  • (22) a first imaging region set to image a subject under the first imaging condition, a second imaging region set to image a subject under a second imaging condition different from the first imaging condition, An image sensor having a third imaging area set to image a subject under a third imaging condition different from the second imaging condition, a pixel included in the second imaging area, and included in the third imaging area
  • a selection unit that selects a pixel included in the first imaging region from among the pixels to be used for noise reduction, and a signal to be used for noise reduction of a signal of the pixel included in the first imaging region.
  • the first pixel is output using a signal in which noise is reduced by a signal output from a pixel selected from the pixel included in the second imaging region and the pixel included in the third imaging region. Captured in the imaging area An imaging device and a detector for detecting the object was. (23) a first imaging area set to image a subject under the first imaging condition, a second imaging area set to image a subject under a second imaging condition different from the first imaging condition; And a pixel included in the first imaging region and a pixel included in the second imaging region as pixels that output a signal used to reduce noise of the pixel included in the first imaging region.
  • An imaging device comprising: a detection unit that detects a subject imaged in the first imaging region using a signal interpolated by a signal output from a pixel selected from among the pixels.
  • Image processing is performed by an image sensor having an imaging area for imaging a subject, a setting unit for setting imaging conditions for the imaging area, and a signal output from a pixel selected as a pixel for image processing.
  • a detection unit that detects a subject imaged in the imaging region using the acquired signal, and an imaging device in which at least some of the pixels to be selected differ according to the imaging condition set by the setting unit.
  • a selection unit that selects a signal to be used for interpolation from signals output from pixels included in the imaging region of the imaging element, and the imaging region using a signal interpolated by the signal selected by the selection unit
  • a detection unit that detects the subject imaged in (1), and the selection unit is a subject detection device in which at least some of the pixels to be selected are different depending on the imaging condition set in the imaging region.
  • a detection unit that detects a subject imaged in the imaging region, and the selection unit is a subject detection device in which at least some of the pixels to be selected are different depending on an imaging condition set in the imaging region.
  • the above-described embodiments and modifications also include the following devices.
  • (1) The first image data generated by imaging light incident on the first region of the imaging unit under the first imaging condition, and the light incident on the second region of the imaging unit are the first imaging condition.
  • a selection unit that selects at least one of the second image data generated by imaging under a second imaging condition different from the detection unit, and a detection unit that detects a subject based on the selected image data
  • a subject detection device comprising: (2) In the subject detection apparatus as in (1), the detection unit detects the subject from a part of the imaging unit including the first region and the second region. (3) In the subject detection apparatus as in (2), the selection unit selects image data output from a region having a large area among the first region and the second region in the partial region. To do.
  • the selection unit selects the first image data and the second image data, and a detection result based on the first image data, The subject is detected based on the detection result based on the second image data.
  • the detection unit detects the subject as a focus adjustment target of the optical system.
  • the subject detection apparatus as in (1) to (4) includes a photometry unit that detects the brightness of the subject, and the detection unit detects the object as a target of photometry by the photometry unit.
  • a first region in which light incident through the imaging optical system is imaged under a first imaging condition to generate first image data, and a second imaging condition in which the incident light is different from the first imaging condition A second region that captures an image and generates second image data, and selects at least one of the first image data and the second image data generated by the image sensor
  • An imaging device comprising: a selection unit that performs detection, and a detection unit that detects a subject based on the selected image data.
  • the detection unit detects the subject in a partial area of the imaging element including the first area and the second area.
  • the selection unit selects image data output from a region having a large area among the first region and the second region in the partial region. .
  • the selection unit selects the first image data and the second image data, and detects a detection result based on the first image data, and the first image data. The subject is detected based on the detection result based on the two image data.
  • the detection unit detects the subject as a focus adjustment target of the optical system.
  • the imaging device as in (7) to (10) includes a photometry unit that detects the brightness of the subject, and the detection unit detects the subject as a target of photometry by the photometry unit.
  • the imaging element can capture an image by changing imaging conditions for each unit region of the imaging surface, and the light incident through the optical system From first image data from a first area composed of at least one unit area imaged under one imaging condition, and from at least one unit area obtained by imaging the incident light under a second imaging condition different from the first imaging condition The second image data from the second region is generated, and the selection unit is provided for each unit region or each composite region having a plurality of unit regions, and the corresponding unit region or the corresponding unit Image data from the unit area in the composite area is selected.
  • the imaging element is provided on a first semiconductor substrate, and the plurality of data selection units are provided on a second semiconductor substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域の撮像条件を設定する設定部と、補間に用いるための画素を前記撮像領域に含まれる画素から選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記選択部は、前記設定部により設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる。

Description

被写体検出装置および撮像装置
　本発明は、被写体検出装置および撮像装置に関する。
　画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを用いる場合において、撮像条件が同じ領域で生成された画像データを用いる場合と同様にすることができないという問題があった。
日本国特開２００６－１９７１９２号公報
　本発明の第１の態様による撮像装置は、被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域の撮像条件を設定する設定部と、補間に用いるための画素を前記撮像領域に含まれる画素から選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記選択部は、前記設定部により設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる。
　本発明の第１５の態様による撮像装置は、第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、前記第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する生成部と、を備える。
　本発明の第１６の態様による撮像装置は、第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する生成部と、を備える。
　本発明の第１７の態様による撮像装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、被写体を撮像する第３撮像領域と、を有する撮像素子と、前記第１撮像領域の撮像条件を第１撮像条件に設定し、前記第２撮像領域の撮像条件を前記第１撮像条件と異なる第２撮像条件に設定し、前記第３撮像領域の撮像条件を、前記第１撮像条件と前記第２撮像条件との差よりも前記第1撮像条件との差が小さい第３撮像条件に設定する設定部と、前記第１撮像領域に含まれる画素と、前記第２撮像領域に含まれる画素と、前記第３撮像領域に含まれる画素と、のうちから前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　本発明の第１８の態様による撮像装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、前記第１撮像領域と前記第２撮像領域との距離よりも前記第１撮像領域との距離が長い、被写体を撮像する第３撮像領域と、を有する撮像素子と、前記第２撮像領域の撮像条件を前記第１撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、前記第１撮像領域に含まれる画素と、前記第２撮像領域に含まれる画素と、前記第３撮像領域に含まれる画素と、のうちから前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体検出する検出部と、を備える。
　本発明の第１９の態様による撮像装置は、被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域の撮像条件を設定する設定部と、補間に用いる画素として選択された、前記撮像領域に含まれる画素から出力された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる。
　本発明の第２０の態様による撮像装置は、第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素として選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　本発明の第２１の態様による撮像装置は、被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域の撮像条件を設定する設定部と、前記撮像領域に含まれる画素から選択された、ノイズを低減するための信号を出力する画素から出力された信号によりノイズが低減された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる。
　本発明の第２２の態様による撮像装置は、第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、前記第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素をノイズの低減に用いるために選択する選択部と、前記第１撮像領域に含まれる画素の信号のノイズの低減に用いるための信号を出力する画素として、前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから選択された画素から出力された信号によりノイズが低減された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　本発明の第２３の態様による撮像装置は、第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、前記第１撮像領域に含まれる画素のノイズを低減するために用いる信号を出力する画素として、前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、を備える。
　本発明の第２４の態様による撮像装置は、被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域の撮像条件を設定する設定部と、画像処理をするための画素をとして選択された画素から出力された信号により画像処理された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる。
　本発明の第２５の態様による被写体検出装置は、撮像素子の撮像領域に含まれる画素から出力された信号から補間に用いるための信号を選択する選択部と、前記選択部により選択された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記選択部は、前記撮像領域に設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる。
　本発明の第２６の態様による被写体検出装置は、撮像素子の撮像領域に含まれる画素から出力された信号からノイズを低減するための信号を選択する選択部と、前記選択部により選択された信号によりノイズが低減された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、前記選択部は、前記撮像領域に設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる。
第１の実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 カメラの撮像素子に結像される被写体の像を模式的に示す図である。 撮像条件の設定画面を例示する図である。 図７(a)はライブビュー画像における第１領域の境界付近を例示する図、図７(b)は境界付近を拡大した図、図７(c)は注目画素および参照画素の拡大図である。図７(d)は第２の実施の形態における注目画素および参照画素の拡大図である。 図８(a)は画素から出力された光電変換信号の並びを例示する図、図８(b)はＧ色成分の画像データの補間を説明する図、図８(c)は補間後のＧ色成分の画像データを例示する図である。 図９(a)は図８(a)からＲ色成分の画像データを抽出した図、図９(b)は色差成分Ｃｒの補間を説明する図、図９(c)は色差成分Ｃｒの画像データの補間を説明する図である。 図１０(a)は図８(a)からＢ色成分の画像データを抽出した図、図１０(b)は色差成分Ｃｂの補間を説明する図、図１０(c)は色差成分Ｃｂの画像データの補間を説明する図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部の領域を拡大した図である。 焦点検出位置を拡大した図である。 図１４(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１４(b)は、ライブビュー画像および探索範囲を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 図１６(a)～図１６(c)は、撮像素子の撮像面における第１領域および第２領域の配置を例示する図である。 変形例８による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。 第３の実施の形態によるカメラの構成を例示するブロック図である。 第３の実施の形態における各ブロックと、複数の選択部との対応関係を模式的に示した図である。 積層型の撮像素子の断面図である。 画像処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 焦点検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１０による第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１０による第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１０による第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１０による第１画像データと第２画像データとの処理について模式的に表した図である。
　本実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ１（図１）は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。
＜カメラの説明＞
（第１の実施の形態）
　図１は、第１の実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。
　撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部３２に対する電荷蓄積時間などの撮像指示は、制御部３４から駆動部３２ｂへ送信される。
　画像処理部３３は、入力部３３ａと、選択部３３ｂと、生成部３３ｃとを含む。入力部３３ａには、撮像部３２によって取得された画像データが入力される。選択部３３ｂは、上記入力された画像データに対して前処理を行う。前処理の詳細については後述する。生成部３３ｃは、上記入力された画像データと前処理後の画像データとに基づく画像を生成する。また、生成部３３ｃは、画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部３３ｃは、表示部３５により表示する画像を生成する。
　制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（露光時間）、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。
　制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。
　物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像から、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部３４ｂは、撮像部３２による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。
　設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
　撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。
　ＡＦ演算部３４ｄは、撮像画面の所定の位置（焦点検出位置焦点検出位置と呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。ＡＦ演算部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を駆動部３２ｂに送る。ＡＦ演算部３４ｄが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
　表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
　操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。
　記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。
＜積層型の撮像素子の説明＞
　　上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。
　図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。
　マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。
　半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。
　配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。
　なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。
　信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。
　また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。
　メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
　図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。
　画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
　本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
　図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ～Ｄにより示す。
　単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。
　単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。
　さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。
　なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。
　単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。
　ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。
　このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
　上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
＜撮像素子のブロック制御＞
　本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４（撮像制御部３４ｃ）は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。
　図５は、カメラ１の撮像素子３２ａに結像される被写体の像を模式的に示す図である。カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。
　制御部３４は、設定部３４ｂにより領域を分割する前は、撮像チップ１１１の全域（すなわち撮像画面の全体）に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で０．３段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ１１１の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。
　図５において、撮像チップ１１１の撮像面に、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａ、６６ａとを含む像が結像されている。人物６１ａは、バッグ６３ａを両手で抱えている。人物６１ａの右後方に、自動車６２ａが止まっている。
＜領域の分割＞
　制御部３４は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部３４ａによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図５の例では、物体検出部３４ａが、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａと、雲６６ａとを被写体要素として検出する。
　次に、設定部３４ｂによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物６１ａを含む領域を領域６１とし、自動車６２ａを含む領域を領域６２とし、バッグ６３ａを含む領域を領域６３とし、山６４ａを含む領域を領域６４とし、雲６５ａを含む領域を領域６５とし、雲６６ａを含む領域を領域６６として説明する。
＜ブロックごとの撮像条件の設定＞
　制御部３４は、設定部３４ｂによって画面を複数の領域に分割すると、図６に例示するような設定画面を表示部３５に表示させる。図６において、ライブビュー画像６０ａが表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。
　設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。ゲインは、ＩＳＯ感度である。撮像条件の設定項目は、図６に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
　本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定（変更）の対象にする。例えば、タッチ操作が可能なカメラ１において、ユーザーは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい主要被写体の表示位置をタップ操作する。制御部３４は、例えば人物６１ａの表示位置がタップ操作された場合に、ライブビュー画像６０ａにおいて人物６１ａを含む領域６１を撮像条件の設定（変更）対象領域にするとともに、領域６１の輪郭を強調して表示させる。
　図６において、輪郭を強調して表示（太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等）する領域６１は、撮像条件の設定（変更）の対象となる領域を示す。図６の例では、領域６１の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、領域６１が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザーによってシャッタースピード（ＴＶ）の表示７１がタップ操作されると、制御部３４は、強調して表示されている領域（領域６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
　以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。
　シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザーによってタップ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域（領域６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タップ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。
　なお、設定部３４ｂは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザーの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体要素を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、制御部３４の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
　強調表示されていない領域（領域６１以外の他の領域）については、設定されている撮像条件が維持される。
　制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
　以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成する不図示のレリーズボタン、または撮像開始を指示する表示（レリーズアイコン）が操作されると、制御部３４が撮像部３２を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像を行わせる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。画像処理は、上述したように、領域ごとに異なる画像処理条件で行うことができる。
　上記画像処理部３３による画像処理の後、制御部３４から指示を受けた記録部３７が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
＜データ選択処理＞
　上述したように、本実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部３４は、必要に応じて以下のデータ選択処理を行わせる。
１．画像処理を行う場合
　画像処理部３３（選択部３３ｂ）は、分割した領域間で異なる撮像条件を適用して取得された画像データに対する画像処理が所定の画像処理である場合において、領域の境界付近に位置する画像データに対し、画像処理の前処理としてデータ選択処理を行う。所定の画像処理は、画像において処理対象とする注目位置の画像データを、注目位置の周囲の複数の参照位置の画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。
　データ選択処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に現れる違和感を緩和するために行う。注目位置が、分割した領域の境界付近に位置する場合、注目位置の周囲の複数の参照位置には、注目位置の画像データと同じ撮像条件が適用された画像データと、注目位置の画像データと異なる撮像条件が適用された画像データとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置の画像データをそのまま参照して注目位置の画像データを算出するよりも、注目位置と同じ撮像条件が適用された参照位置の画像データを参照して注目位置の画像データを算出する方が好ましいという考え方に基づき、以下のように画像処理に用いるデータを選択する。
　図７(a)は、ライブビュー画像６０ａにおける領域６１と領域６４との境界付近の領域８０を例示する図である。本例では、少なくとも人物を含む領域６１に第１撮像条件が設定され、山を含む領域６４に第２撮像条件が設定されているものとする。図７(b)は、図７(a)の境界付近の領域８０を拡大した図である。第１撮像条件が設定された領域６１に対応する撮像素子３２ａ上の画素からの画像データを白地で示し、第２撮像条件が設定された領域６４に対応する撮像素子３２ａ上の画素からの画像データを網掛けで示す。図７（ｂ）では、領域６１上であって、領域６１と領域６４との境界８１の近傍部分である境界部に注目画素Ｐからの画像データが位置する。注目画素Ｐを中心とする所定範囲９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素とする。図７(c)は、注目画素Ｐおよび参照画素の拡大図である。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素の位置が参照位置である。
　画像処理部３３（生成部３３ｃ）は、データ選択処理を行わずに参照画素の画像データをそのまま参照して画像処理を行うこともできる。しかしながら、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の参照画素において適用された撮像条件（第２撮像条件とする）とが異なる場合には、選択部３３ｂが、以下の（例１）～（例３）のように、参照画素の画像データから画像処理に用いる第１撮像条件の画像データを選択する。そして、生成部３３ｃは、画像データ選択後の参照画素の画像データを参照して注目画素Ｐの画像データを算出する画像処理を行う。図７(c)において、白地で示す画素から出力されるデータは第１撮像条件の画像データであり、斜線で示す画素から出力されるデータは第２撮像条件の画像データである。本実施の形態では、第２撮像条件の画像データを選択しないことにより、斜線で示す画素から出力された画像データを画像処理に用いない。
（例１）
　画像処理部３３（選択部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、参照画素の画像データから画像処理に用いる第１撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第１撮像条件と異なる第２撮像条件の画像データを画像処理に用いない。
（例２）
　画像処理部３３（選択部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、参照画素の画像データから画像処理に用いる第１撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第１撮像条件と異なる第２撮像条件の画像データを画像処理に用いない。
（例３）
　画像処理部３３（選択部３３ｂ）は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、参照画素の画像データのうちの第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第１撮像条件（３０ｆｐｓ）のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。
　一方、画像処理部３３（選択部３３ｂ）は、注目画素Ｐにおいて適用された撮像条件と、注目画素Ｐの周囲の全ての参照画素において適用された撮像条件とが同一である場合には、全ての画像データを選択する。例えば、全ての参照画素において、注目画素Ｐに適用された撮像条件と同一の撮像条件が適用されていると判断した場合には、全ての参照画素の画像データをそのまま参照して注目画素Ｐの画像データを算出する画像処理を行う。
　なお、上述したように、撮像条件に多少の差違（例えばアペックス値で０．３段以下）があっても同一の撮像条件とみなすこととしてもよい。
＜画像処理の例示＞
　データ選択処理を伴う画像処理について例示する。
（１）画素欠陥補正処理
　本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の１つである。一般に、固体撮像素子である撮像素子１００は、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部３３（生成部３３ｃ）は、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。
　画素欠陥補正処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする所定範囲９０（例えば３×３画素）（図７(c)）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素とする。
　画像処理部３３（生成部３３ｃ）は、参照画素における画像データの最大値、最小値を算出し、注目画素Ｐから出力された画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
　本実施の形態において、画像処理部３３（選択部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第１撮像条件が適用された画像データを選択する。その後、選択された画像データを参照して画像処理部３３（生成部３３ｃ）が上述したMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。
（２）色補間処理
　本実施の形態において、色補間処理は、撮像時に行う画像処理の１つである。図３に例示したように、撮像素子１００の撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３（生成部３３ｃ）は、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。
　色補間処理の一例を説明する。図８(a)は、撮像素子１００から出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。
＜Ｇ色補間＞
　まず、一般的なＧ色補間について説明する。Ｇ色補間を行う画像処理部３３（生成部３３ｃ）は、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の４つのＧ色成分の画像データを参照して注目位置におけるＧ色成分の画像データを生成する。例えば、図８(b)の太枠（左上位置から数えて２行目２列目。以降も同様に、左上位置から数えて注目位置を表すものとする）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つのＧ色成分の画像データＧ１～Ｇ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置（２行目２列目）におけるＧ色成分の画像データとする。なお、ａ～ｄは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　次に、本実施の形態のＧ色補間について説明する。図８(a)～図８(c)において、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図８(a)～図８(c)において、第１撮像条件と第２撮像条件は異なる。また、図８(b)中のＧ色成分の画像データＧ１～Ｇ４が、注目位置（２行目２列目）の画素を画像処理するための参照位置である。図８(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＧ１～Ｇ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＧ４には第２撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、Ｇ色成分の画像データＧ１～Ｇ４から第１撮像条件が適用された画像データＧ１～Ｇ３を選択する。こうして、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して注目位置（２行目２列目）におけるＧ色成分の画像データを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ａ1Ｇ１＋ｂ1Ｇ２＋ｃ1Ｇ３）／３を、注目位置（２行目２列目）におけるＧ色成分の画像データとする。なお、ａ1～ｃ1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　画像処理部３３（生成部３３ｃ）は、図８(a)におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の画像データを生成することにより、図８(c)に示すように、各画素位置においてＧ色成分の画像データを得ることができる。
＜Ｒ色補間＞
　図９(a)は、図８(a)からＲ色成分の画像データを抽出した図である。画像処理部３３（生成部３３ｃ）は、図８(c)に示すＧ色成分の画像データと図９(a)に示すＲ色成分の画像データとに基づいて図９(b)に示す色差成分Ｃｒの画像データを算出する。
　まず、一般的な色差成分Ｃｒの補間について説明する。画像処理部３３（生成部３３ｃ）は、例えば図９(b)の太枠（２行目２列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つの色差成分の画像データＣｒ１～Ｃｒ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置（２行目２列目）における色差成分Ｃｒの画像データとする。なお、ｅ～ｈは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　同様に、画像処理部３３（生成部３３ｃ）は、例えば図９(c)の太枠（２行目３列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置（２行目３列目）の近傍に位置する４つの色差成分の画像データＣｒ２、Ｃｒ４～Ｃｒ６を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置（２行目３列目）における色差成分Ｃｒの画像データとする。なお、ｑ～ｔは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｒの画像データが生成される。
　次に、本実施の形態の色差成分Ｃｒの補間について説明する。図９(a)～図９(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図９(a)～図９(c)において、第１撮像条件と第２撮像条件は異なる。図９(b)において、太枠（２行目２列目）で示す位置が色差成分Ｃｒの注目位置である。また、図９(b)中の色差成分の画像データＣｒ１～Ｃｒ４が注目位置（２行目２列目）の画素を画像処理するための参照位置である。図９(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、画像データＣｒ1、Ｃｒ３、Ｃｒ４には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２には第２撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、色差成分Ｃｒの画像データＣｒ１～Ｃｒ４から第１撮像条件が適用された画像データＣｒ１、Ｃｒ３およびＣｒ４を選択する。その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して注目位置（２行目２列目）における色差成分の画像データＣｒを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｅ1Ｃｒ１＋ｇ1Ｃｒ３＋ｈ1Ｃｒ４）／３を、注目位置（２行目２列目）における色差成分Ｃｒの画像データとする。なお、ｅ1、ｇ1、ｈ1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　また、図９(c)において、太枠（２行目３列目）で示す位置が色差成分Ｃｒの注目位置である。また、図９(c)中の色差成分の画像データＣｒ２、Ｃｒ４、Ｃｒ５、Ｃｒ６が注目位置（２行目３列目）の画素を画像処理するための参照位置である。図９(c)において、注目位置（２行目３列目）には第２撮像条件が適用されている。参照位置のうち、画像データＣｒ４、Ｃｒ５には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｒ２、Ｃｒ６には第２撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、上述した図９(b)の例と同様に、色差成分Ｃｒの画像データＣｒ２、Ｃｒ４～Ｃｒ６から第２撮像条件が適用された画像データＣｒ２およびＣｒ６を選択する。その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して注目位置（２行目３列目）における色差成分の画像データＣｒを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｇ2Ｃｒ２＋ｈ2Ｃｒ６）／２を、注目位置（２行目３列目）における色差成分Ｃｒの画像データとする。なお、ｇ2、ｈ2は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｒの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＲ色成分の画像データを得ることができる。
＜Ｂ色補間＞
　図１０(a)は、図８(a)からＢ色成分の画像データを抽出した図である。画像処理部３３（生成部３３ｃ）は、図８(c)に示すＧ色成分の画像データと図１０(a)に示すＢ色成分の画像データとに基づいて図１０(b)に示す色差成分Ｃｂの画像データを算出する。
　まず、一般的な色差成分Ｃｂの補間について説明する。画像処理部３３（生成部３３ｃ）は、例えば図１０(b)の太枠（３行目３列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目３列目）の近傍に位置する４つの色差成分の画像データＣｂ１～Ｃｂ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置（３行目３列目）における色差成分Ｃｂの画像データとする。なお、ｕ～ｘは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　同様に、画像処理部３３（生成部３３ｃ）は、例えば、図１０(c)の太枠（３行目４列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置（３行目４列目）の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置（３行目４列目）における色差成分Ｃｂの画像データとする。なお、ｙ、ｚ、α、βは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｂの画像データが生成される。
　次に、本実施の形態の色差成分Ｃｂの補間について説明する。図１０(a)～図１０(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。なお、図１０(a)～図１０(c)において、第１撮像条件と第２撮像条件は異なる。図１０(b)において、太枠（３行目３列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１０(b)中の色差成分の画像データＣｂ１～Ｃｂ４が注目位置（３行目３列目）の画素を画像処理するための参照位置である。図１０(b)において、注目位置（３行目３列目）には第２撮像条件が適用されている。参照位置のうち、画像データＣｂ1、Ｃｂ３には第１撮像条件が適用されている。また、参照位置のうち、画像データＣｂ２、Ｃｂ４には第２撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、色差成分Ｃｂの画像データＣｂ１～Ｃｂ４から第２撮像条件が適用された画像データＣｂ２およびＣｂ４を選択する。その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して注目位置（３行目３列目）における色差成分の画像データＣｂを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｖ1Ｃｂ２＋ｘ1Ｃｂ４）／２を、注目位置（３行目３列目）における色差成分Ｃｂの画像データとする。なお、ｖ1、ｘ1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　図１０(c)において太枠で示す注目位置（３行目４列目）について、色差成分の画像データＣｂを生成する場合も同様である。
　図１０(c)において、太枠（３行目４列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１０(c)中の色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６が注目位置（３行目４列目）の画素を画像処理するための参照位置である。図１０(c)において、注目位置（３行目４列目）には第２撮像条件が適用されている。また、全ての参照位置の画像データＣｂ２、Ｃｂ４～Ｃｂ６に第２撮像条件が適用されている。そのため、画像処理部３３（生成部３３ｃ）は、注目位置（３行目４列目）の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６を参照して注目位置（３行目４列目）における色差成分Ｃｂの画像データを算出する。
　画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｂの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＢ色成分の画像データを得ることができる。
（３）輪郭強調処理
　輪郭強調処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２－１)個の参照画素の位置が参照位置である。
　なお、カーネルサイズはＮ×Ｍ画素であってもよい。
　画像処理部３３（生成部３３ｃ）は、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
　本実施の形態において、画像処理部３３（選択部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第１撮像条件が適用された画像データを選択する。その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して上述した線型フィルタ処理を行う。
（４）ノイズ低減処理
　ノイズ低減処理の一例を説明する。画像処理部３３（生成部３３ｃ）は、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２－１)個の参照画素の位置が参照位置である。
　なお、カーネルサイズはＮ×Ｍ画素であってもよい。
　画像処理部３３（生成部３３ｃ）は、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
　本実施の形態において、画像処理部３３（選択部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第１撮像条件が適用された画像データを選択する。その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して上述した線型フィルタ処理を行う。
　上記のように画像処理部３３（選択部３３ｂ）は、注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第１撮像条件が適用された画像データを選択する。そして、その後、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照して画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等の画像処理を行う。画像処理部３３（選択部３３ｂ）は、撮像素子から出力された他の画素からの画像データ（第２撮像条件が適用された画像データも含む）に対しても同様の処理をして画像を生成する。生成された画像は、表示装置などの表示部に表示される。
２．焦点検出処理を行う場合
　制御部３４（ＡＦ演算部３４ｄ）は、撮像画面の所定の位置（焦点検出位置）に対応する画像データを用いて焦点検出処理を行う。制御部３４（ＡＦ演算部３４ｄ）は、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作の焦点検出位置が分割された領域の境界部分に位置する場合、領域の境界付近に位置する焦点検出用の画像データに対し、焦点検出処理の前処理としてデータ選択処理を行う。
　データ選択処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、焦点検出処理の精度が低下することを抑制するために行う。例えば、画像において像ズレ量（位相差）を検出する焦点検出位置の焦点検出用の画像データが、分割した領域の境界付近に位置する場合、焦点検出用の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて像ズレ量（位相差）の検出を行うよりも、同じ撮像条件が適用された画像データを用いて像ズレ量（位相差）の検出を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。
＜焦点検出処理の例示＞
　データ選択処理を伴う焦点検出処理について例示する。本実施の形態のＡＦ動作は、例えば、複数の焦点検出位置の中からユーザーが選んだ焦点検出位置に対応する被写体にフォーカスを合わせる。制御部３４（ＡＦ演算部３４ｄ）は、撮像光学系３１の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４（ＡＦ演算部３４ｄ）は、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ、撮像光学系３１のフォーカスレンズを移動させる。
　図１１は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１１の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。
　図１２は、図１１に示す焦点検出位置８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１２において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。
　赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
　なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。
　焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図１２において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図１２において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図１）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
　なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１１に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１１の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。
　また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１２のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
　なお、図１２の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成にしてもよい。焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成にすることにより、焦点検出用画素で得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。
　制御部３４（ＡＦ演算部３４ｄ）は、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される焦点検出用の光電変換信号（信号データ）に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
　焦点検出位置８０Ａ（図１１）は、図７(a)に例示したライブビュー画像６０ａにおいて、領域６１の境界付近の領域８０に対応する位置に、ユーザーによって選ばれているものとする。図１３は、焦点検出位置８０Ａを拡大した図である。白地の画素は第１撮像条件が設定されていることを示し、網掛けの画素は第２撮像条件が設定されていることを示す。図１３において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１１）に対応する。
　制御部３４（ＡＦ演算部３４ｄ）は、通常、データ選択処理を行わずに枠１７０で示す焦点検出用画素の焦点検出用の信号データをそのまま用いて焦点検出処理を行う。しかしながら、枠１７０で囲む焦点検出用の信号データに、第１撮像条件が適用された焦点検出用の信号データと第２撮像条件が適用された焦点検出用の信号データが混在する場合には、制御部３４（ＡＦ演算部３４ｄ）が、以下の（例１）～（例３）のように、枠１７０で囲む焦点検出用の信号データから焦点検出処理に用いる第１撮像条件の焦点検出用の信号データを選択する。そして、制御部３４（ＡＦ演算部３４ｄ）は、データ選択処理後の焦点検出用の信号データを用いて焦点検出処理を行う。図１３において、白地で示す画素から出力されるデータは第１撮像条件の焦点検出用の信号データであり、斜線で示す画素から出力されるデータは第２撮像条件の焦点検出用の信号データである。本実施の形態では、第２撮像条件の焦点検出用の信号データを選択しないことにより、斜線で示す画素から出力された焦点検出用の信号データを焦点検出処理に用いない。
（例１）
　制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、枠１７０で囲む画像データから焦点検出処理に用いる第１撮像条件の焦点検出用の信号データを選択する。つまり、枠１７０で囲む焦点検出用の信号データのうちの、第１撮像条件と異なる第２撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
（例２）
　制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、枠１７０で囲む焦点検出用の信号データから焦点検出処理に用いる第１撮像条件の焦点検出用の信号データを選択する。つまり、枠１７０で囲む焦点検出用の信号データのうちの、第１撮像条件と異なる第２撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
（例３）
　制御部３４（ＡＦ演算部３４ｄ）は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、枠１７０で囲む焦点検出用の信号データから焦点検出処理に用いる第１撮像条件の焦点検出用の信号データを選択する。つまり、枠１７０で囲む焦点検出用の信号データのうちの、第１撮像条件の画像データと異なるタイミングで取得された第２撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
　一方、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で囲む焦点検出用の信号データにおいて適用された撮像条件が同一である場合には上記データ選択処理を行わない。つまり、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で示す焦点検出用画素の焦点検出用の信号データをそのまま用いて焦点検出処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の例では、枠１７０で囲む焦点検出用の信号データから第１撮像条件の焦点検出用の信号データを選択する例を説明したが、枠１７０で囲む焦点検出用の信号データのうちの第２撮像条件の焦点検出用の信号データを選択するようにしてもよい。
　上記の例では、第１撮像条件が設定されたエリアを指定して焦点検出を行う例のため、第１撮像条件の焦点検出用の光電変換信号を選択する例を説明した。焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合の一例を説明する。焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第１撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部３４（ＡＦ演算部３４ｄ）は、選択した焦点検出用の光電変換信号から第１デフォーカス量を算出する。さらに、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第２撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部３４（ＡＦ演算部３４ｄ）は、選択した焦点検出用の光電変換信号から第２デフォーカス量を算出する。そして、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量を用いて、焦点検出処理を行う。具体的には、例えば、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と、第２のデフォーカス量の平均値を算出し、レンズの移動距離を算出する。また、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量のうち、よりレンズの移動距離が小さい方の値を選択することとしてもよい。また、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量から、被写体がより至近側であることを示す値を選択することとしてもよい。
　また、焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、制御部３４（ＡＦ演算部３４ｄ）は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第１撮像条件が設定された領域に７０％あり、第２領域に３０パーセントの場合には、制御部３４（ＡＦ演算部３４ｄ）は、第１撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率（パーセント）に関しては例示であり、これに限定されない。
　以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。
　コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、焦点検出位置に対応する撮像素子３２ａの撮像用画素から出力された画像データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
　制御部３４は、通常、データ選択処理を行わずに焦点検出位置に対応する撮像用画素から出力された画像データをそのまま用いて焦点評価値演算を行う。しかしながら、焦点検出位置に対応する画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、制御部３４が、焦点検出位置に対応する画像データのうちの第１撮像条件の画像データ、または第２撮像条件の画像データを選択する。そして、制御部３４は、データ選択処理後の画像データを用いて焦点評価値演算を行う。なお、上記のように、焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、制御部３４（ＡＦ演算部３４ｄ）は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の信号データを選択することとしてもよい。
３．被写体検出処理を行う場合
　図１４(a)は、検出しようとする対象物を表すテンプレート画像１８０を例示する図であり、図１４(b)は、ライブビュー画像６０(a)および探索範囲１９０を例示する図である。制御部３４（物体検出部３４ａ）は、ライブビュー画像から対象物（例えば、図５の被写体要素の一つであるバッグ６３ａ）を検出する。制御部３４（物体検出部３４ａ）は、対象物を検出する範囲をライブビュー画像６０ａの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像６０ａの一部を探索範囲１９０としてもよい。
　制御部３４（物体検出部３４ａ）は、分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、領域の境界付近に位置する画像データに対し、被写体検出処理の前処理としてデータ選択処理を行う。
　データ選択処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、被写体要素の検出処理の精度低下を抑制するために行う。一般に、被写体要素の検出に用いる探索範囲１９０に、分割された領域の境界を含む場合、探索範囲１９０の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、同じ撮像条件が適用された画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。
　図５に例示したライブビュー画像６０ａにおいて、人物６１ａの持ち物であるバッグ６３ａを検出する場合を説明する。制御部３４（物体検出部３４ａ）は、人物６１ａを含む領域の近傍に探索範囲１９０を設定する。なお、人物６１ａを含む領域６１を探索範囲に設定してもよい。
　制御部３４（物体検出部３４ａ）は、探索範囲１９０が撮像条件の異なる２つの領域によって分断されていない場合には、データ選択処理を行わずに探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、制御部３４（物体検出部３４ａ）は、上述した焦点検出処理を行う場合の（例１）～（例３）と同様に、探索範囲１９０の画像データから被写体検出処理に用いる第１撮像条件の画像データを選択する。そして、制御部３４（物体検出部３４ａ）は、第１撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて被写体検出処理を行う。ここで被写体検出処理とは、例えば、テンプレート画像１８０と選択された第１撮像条件の画像データとの類似度を求めて検出を行う処理（いわゆるテンプレートマッチング）である。さらに、制御部３４（物体検出部３４ａ）は、探索範囲１９０の画像データから被写体検出処理に用いる第２撮像条件の画像データを選択する。そして、制御部３４（物体検出部３４ａ）は、第２撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて、上記と同様の被写体検出処理を行う。このようにして、制御部３４（物体検出部３４ａ）は、探索範囲１９０内の被写体検出を行う。そして、第１撮像条件の画像データを用いて検出した被写体領域と、第２撮像条件の画像データを用いて検出した被写体領域との境界を合わせることにより、探索範囲１９０内の被写体検出を検出することができる。なお、上記の例では、制御部３４（物体検出部３４ａ）は、第１撮像条件の画像データ及び第２撮像条件の画像データを用いる場合について説明をしたが、いずれか一方のみの画像データを用いて被写体の検出を行うこととしてもよい。たとえば、探索範囲１９０内に第１撮像条件が設定された領域と、第２撮像条件が設定された領域とが設定されているが、第１撮像条件が設定された領域が多くを占める場合などには第１撮像条件の画像データのみを用いて被写体の検出を行うこととしてもよい。ここで第１撮像条件が設定された領域が多くを占めるとは、例えば、第１撮像条件が設定された領域の面積が７割以上である。また、７割以上に限らず、第１撮像条件が設定された領域の面積が８割以上、あるいは９割以上であってもよい。当然、第１撮像条件が設定された領域の面積の割合についてはこれらに限定されず適宜変更可能である。
　上述した探索範囲１９０の画像データに対するデータ選択処理は、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。たとえば、制御部３４（物体検出部３４ａ）は、探索範囲１９０内から人物の顔を検出する場合には、探索範囲１９０の画像データから被写体検出処理に用いる第１撮像条件の画像データを選択する。そして、制御部３４（物体検出部３４ａ）は、第１撮像条件の設定された領域に対して、公知の顔検出処理を行う。さらに、制御部３４（物体検出部３４ａ）は、探索範囲１９０の画像データから被写体検出処理に用いる第２撮像条件の画像データを選択する。そして、制御部３４（物体検出部３４ａ）は、第２撮像条件の設定された領域に対して、公知の顔検出処理を行う。そして、制御部３４（物体検出部３４ａ）は、第１撮像条件の設定された領域内で検出された顔領域と、第２撮像条件の設定された領域内で検出された顔領域との境界を合わせることにより、探索範囲１９０の画像データから顔検出を行う。
　また、上述した探索範囲１９０の画像データに対するデータ選択処理は、テンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。
　また、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部３４は、後から取得されたフレーム画像に設定する探索範囲において、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、探索範囲の画像データから追尾処理に用いる第１撮像条件の画像データを選択する。そして、第１撮像条件の設定された領域に対して、制御部３４は、データ選択処理後の画像データを用いて追尾処理を行う。その後、上記と同様に探索範囲の画像データから追尾処理に用いる第２撮像条件の画像データを選択し、第２撮像条件の設定された領域に対して、制御部３４は、データ選択処理後の画像データを用いて追尾処理を行うこととしてもよい。
　さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部３４は、動きベクトルの検出に用いる検出領域において、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、動きベクトルの検出に用いる検出領域の画像データから検出処理に用いる第１撮像条件の画像データを選択する。そして、制御部３４は、第１撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて動きベクトルを検出する。その後、上記と同様に、探索範囲の画像データから動きベクトル検出処理に用いる第２撮像条件の画像データを選択し、第２撮像条件の設定された領域に対して、制御部３４は、データ選択処理後の画像データを用いて動きベクトル検出処理を行うこととしてもよい。制御部３４は、第１撮像条件の設定された領域から検出された動きベクトルと、第２撮像条件の設定された領域から検出された動きベクトルとから、画像全体の動きベクトルを求めることとしてもよいし、領域ごとの動きベクトルとしてもよい。
４．撮像条件を設定する場合
　制御部３４（設定部３４ｂ）は、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、領域の境界付近に位置する画像データに対し、露出条件を設定する前処理としてデータ選択処理を行う。
　データ選択処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、露出条件を決定する処理の精度低下を抑制するために行う。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、同じ撮像条件が適用された画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。
　制御部３４（設定部３４ｂ）は、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、データ選択処理を行わずに測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合には、制御部３４（設定部３４ｂ）は、上述した焦点検出処理や被写体検出処理を行う場合の（例１）～（例３）と同様に、測光範囲の画像データから露出演算処理に用いる第１撮像条件の画像データを選択する。そして、制御部３４（設定部３４ｂ）は、データ選択処理後の画像データを用いて、第１撮像条件の設定された領域に対する露出演算処理を行う。そして、制御部３４（設定部３４ｂ）は、測光範囲の画像データから露出演算処理に用いる第２撮像条件の画像データを選択する。そして、制御部３４（設定部３４ｂ）は、データ選択処理後の画像データを用いて、第２撮像条件の設定された領域に対する露出演算処理を行う。このように、制御部３４（設定部３４ｂ）は、測光範囲に撮像条件の異なる複数の領域が存在する場合には、それぞれの領域を測光するためのデータ選択処理を行って、データ選択処理の画像データを用いて露出演算処理を行う。
　また、測光範囲が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、制御部３４（設定部３４ｂ）は、上述した焦点検出や被写体検出の場合と同様に、面積が大きい方の領域を選択するようにしてもよい。
　上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。
　また、撮像画面を分割した領域間で、光電変換信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。
＜フローチャートの説明＞
　図１５は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１５に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、表示部３５にライブビュー表示を開始させて、ステップＳ２０へ進む。
　具体的には、制御部３４は、撮像部３２から逐次出力される画像データに所定の画像処理を施した画像をライブビュー画像として逐次表示部３５に表示させる。上述したように、この時点では撮像チップ１１１の全域、すなわち画面の全体に同一の撮像条件が設定されている。
　なお、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４（ＡＦ演算部３４ｄ）は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。ＡＦ演算部３４ｄは、必要に応じて、上記データ選択処理を行ってから焦点検出処理を行う。
　また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４（ＡＦ演算部３４ｄ）は、後にＡＦ動作が指示された時点でＡＦ動作を行う。
　ステップＳ２０において、制御部３４（物体検出部３４ａ）は、ライブビュー画像から被写体要素を検出してステップＳ３０へ進む。物体検出部３４ａは、必要に応じて、上記データ選択処理を行ってから被写体検出処理を行う。ステップＳ３０において、制御部３４（設定部３４ｂ）は、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップＳ４０へ進む。
　ステップＳ４０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図６に例示したように、分割された領域のうちの撮像条件の設定（変更）の対象となる領域を強調表示させる。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ５０へ進む。
　なお、制御部３４は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。
　ステップＳ５０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によって焦点検出位置の位置が変更された場合、またはユーザー操作によってＡＦ動作の実行が指示された場合に、ステップＳ５０を肯定判定してステップＳ７０へ進む。制御部３４は、焦点調節状態が変化せず、ユーザー操作により焦点検出位置の位置が変更されず、ユーザー操作によってＡＦ動作の実行も指示されない場合には、ステップＳ５０を否定判定してステップ６０へ進む。
　ステップＳ７０において、制御部３４は、ＡＦ動作を行わせてステップＳ４０へ戻る。ＡＦ演算部３４ｄは、必要に応じて、上記データ選択処理を行ってからＡＦ動作である焦点検出処理を行う。ステップＳ４０へ戻った制御部３４は、ＡＦ動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。
　ステップＳ６０において、制御部３４（設定部３４ｂ）は、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ８０へ進む。なお、ステップＳ６０におけるユーザー操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。制御部３４（設定部３４ｂ）は、必要に応じて、上記データ選択処理を行ってから露出演算処理を行う。
　ステップＳ８０において、制御部３４は、撮像指示の有無を判定する。制御部３４は、操作部材３６を構成する不図示のレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップＳ８０を肯定判定してステップＳ９０へ進む。制御部３４は、撮像指示が行われない場合には、ステップＳ８０を否定判定してステップＳ６０へ戻る。
　ステップＳ９０において、制御部３４は、所定の撮像処理を行う。すなわち、撮像制御部３４ｃが上記領域ごとに設定された撮像条件で撮像するように撮像素子３２ａを制御してステップＳ１００へ進む。
　ステップＳ１００において、制御部３４（撮像制御部３４ｃ）は画像処理部３３へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップＳ１１０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
　なお、画像処理部３３（選択部３３ｂ）は、必要に応じて、領域の境界付近に位置する画像データに対してデータ選択処理を行ってから画像処理を行う。
　ステップＳ１１０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ１２０へ進む。
　ステップＳ１２０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ１２０を肯定判定して図１５による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１２０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部３４は、上述した処理を繰り返す。
　以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）被写体検出装置を備えるカメラ１は、撮像部３２の第１領域に入射した被写体像を第１撮像条件で撮像することにより生成された第１画像データ、および、撮像部３２の第２領域に入射した被写体像を第１撮像条件とは異なる第２撮像条件で撮像することにより生成された第２画像データのうちの一方の画像データを選択する選択部３３ｂと、選択された選択画像データに基づいて、被写体像から対象物（例えば人物などの被写体要素）を検出する制御部（物体検出部３４ａ）と、を備える。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データに基づいて、被写体要素を適切に検出することができる。例えば、領域ごとの撮像条件の違いによって、検出精度が低下することを抑制できる。
（２）カメラ１の物体検出部３４ａは、撮像部３２の一部の探索範囲１９０について被写体要素を検出し、第１領域および第２領域は、探索範囲１９０に含まれている。これにより、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。
（３）カメラ１の選択部３３ｂは、一部の探索範囲１９０に対応する第１画像データおよび第２画像データのうち画像データ数が多い方の画像データを選択するので、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。
（４）カメラ１の選択部３３ｂは、画像データの全てが第１画像データである場合は、全ての画像データを選択し、画像データの全てが第２画像データである場合は、全ての画像データを選択し、画像データが第１画像データと第２画像データとを含む場合は、第１画像データまたは第２画像データを選択する。これにより、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。
（５）カメラ１の物体検出部３４ａは、撮像光学系３１の焦点調節の対象として被写体要素を検出するので、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。
（６）カメラ１は、被写体の明るさを検出する制御部３４を備え、物体検出部３４ａは、制御部３４による測光の対象として被写体要素を検出するので、撮像条件が異なる領域で、それぞれ適切に検出処理を行うことができる。
（第２の実施の形態）
　第１の実施の形態における画像処理を行う場合の画像データ選択処理は、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の参照画素において適用された撮像条件（第２撮像条件とする）とが異なる場合に、画像処理部３３（選択部３３ｂ）が、所定範囲９０の内側に位置する画素の画像データから、注目画素と共通する第１撮像条件が適用された画像データを選択し、画像処理部３３（生成部３３ｃ）が、選択された画像データを参照するようにした。
　第２の実施の形態では、画像処理部３３（選択部３３ｂ）が、所定範囲９０の外側に位置する画素の画像データからも、注目画素と共通する第１撮像条件が適用された画像データを選択し、画像処理部３３（生成部３３ｃ）によって参照されるデータ数を増やす。つまり、画像処理部３３（選択部３３ｂ）は、選択する位置を変更して、第１撮像条件が適用された画像データを選択する。
　図７(d)は、第２の実施の形態における注目画素Ｐおよび参照画素の拡大図である。図７(d)において、注目画素Ｐを中心とする所定範囲９０のうち、白地で示す画素から出力されるデータは第１撮像条件の画像データであり、斜線で示す画素から出力されるデータは第２撮像条件の画像データである。所定範囲９０の内側に位置する画素の画像データであっても、第２撮像条件が適用されている画素（斜線）の画像データを、画像処理部３３（選択部３３ｂ）が選択しない点は、第１の実施の形態と同様である。
　第２の実施の形態において、画像処理部３３（選択部３３ｂ）は、図７(d)に例示するように、所定範囲９０の内側に位置して第１撮像条件が適用されている白地の画素の画像データとともに、所定範囲９０の外側に位置して第１撮像条件が適用されている白地の画素の画像データをさらに選択する。画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照し、画像処理を行う。上記の例では、注目画素Ｐの位置から、所定範囲９０の内側の第２撮像条件の画像データの位置までの距離は、注目画素Ｐの位置から、所定範囲９０の外側に位置して第１撮像条件が適用されている白地の画素の画像データの位置のよりも長くなっている。このように、画像処理部３３（生成部３３ｃ）は、注目画素Ｐの位置からの距離が短い第２撮像条件の画像データを選択せず、注目画素Ｐの位置からの距離が長い第１撮像条件の画像データを選択することもできる。
　なお、画像処理部３３（選択部３３ｂ）は、所定範囲９０から離れた位置の画素の画像データよりも、所定範囲９０により近い位置の画素の画像データを優先して選択する。この理由は、所定範囲９０に近い位置の画素の方が、所定範囲９０から遠い位置の画素よりも、注目画素Ｐと共通の画像情報を有している可能性が高いという考え方に基づく。
　また、画像処理部３３（選択部３３ｂ）は、例えば、所定範囲９０の一辺の長さをＬとする場合、上記斜線で示す画素からの距離がＬ以下である白地の画素（すなわち、第１撮像条件が適用されている）の画像データを選択する。この理由は、所定範囲９０から離れすぎると注目画素Ｐと共通の画像情報を有している可能性が低くなるので、参照データに含めない方が好ましいという考え方に基づく。
＜画像処理の例示＞
　第２の実施の形態における画像処理について例示する。
（１）画素欠陥補正処理
　画像処理部３３（選択部３３ｂ）は、注目画素Ｐと、注目画素Ｐを中心とする所定範囲９０に含まれる画素の全てに同じ撮像条件が適用されている場合、所定範囲９０の内側に位置する画素の画像データを全て選択する。その後、選択された画像データを参照して画像処理部３３（生成部３３ｃ）がMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。
　図７(d)に示したように、画像処理部３３（選択部３３ｂ）は、撮像時に注目画素Ｐに適用された第１撮像条件と異なる第２撮像条件が適用された画素が、注目画素Ｐを中心とする所定範囲９０に含まれる場合には、所定範囲９０の内側に位置して第１撮像条件が適用された画素の画像データを選択する。さらに、所定範囲９０の外側に位置して第１撮像条件が適用されている白地の画素の画像データを選択する。画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照して上述したMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。
　画像処理部３３は、このような処理を、不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
（２）色補間処理
＜Ｇ色補間＞
　第２の実施の形態のＧ色補間について説明する。第１の実施の形態の場合と同様に、図８(a)～図８(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。
　図８(b)の例において、斜線で示したＧ色成分の画像データＧ４に対応する参照位置に、注目位置（２行目２列目）に適用された第１撮像条件と異なる第２撮像条件が適用されている。画像処理部３３（選択部３３ｂ）は、Ｇ色成分の画像データＧ１～Ｇ４から第１撮像条件が適用された画像データＧ１～Ｇ３を選択する。さらに、画像処理部３３（選択部３３ｂ）は、データＧ４に対応する参照位置の近隣に位置して第１撮像条件が適用されているＧ色成分の画像データＧ６を選択する。すなわち、画像処理部３３（選択部３３ｂ）は、第１の実施の形態に対し、画像データを選択する位置を変更して、第１撮像条件が適用された画像データを選択する。
　なお、データＧ６の位置においても第２撮像条件が適用されていた場合には、データＧ６の近隣の位置の画像データから第１撮像条件が適用されているデータを選択してもよい。
　画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照して注目位置（２行目２列目）におけるＧ色成分の画像データを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ａ2Ｇ１＋ｂ2Ｇ２＋ｃ2Ｇ３＋ｄ2Ｇ６）／４を、注目位置（２行目２列目）におけるＧ色成分の画像データとする。なお、ａ2、ｂ2、ｃ2、およびｄ2は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　画像処理部３３（生成部３３ｃ）は、図８(a)におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の画像データを生成することにより、図８(c)に示すように、各画素位置においてＧ色成分の画像データを得る。
＜Ｒ色補間＞
　第２の実施の形態のＲ色補間について説明する。第１の実施の形態の場合と同様に、図９(a)～図９(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。
　画像処理部３３（選択部３３ｂ）は、図９(b)の例において、斜線で示した色差成分Ｃｒの画像データＣｒ２に対応する参照位置に、太枠（２行目２列目）で示す注目位置に適用された第１撮像条件と異なる第２撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、色差成分の画像データＣｒ１～Ｃｒ４から第１撮像条件が適用された画像データＣｒ１、Ｃｒ３～Ｃｒ４を選択する。さらに、画像処理部３３（選択部３３ｂ）は、データＣｒ２に対応する参照位置の近隣に位置して第１撮像条件が適用されている色差成分Ｃｒの画像データＣｒ１５（またはＣｒ１６）を選択する。すなわち、画像処理部３３（選択部３３ｂ）は、第１の実施の形態に対し、画像データを選択する位置を変更して、第１撮像条件が適用された画像データを選択する。
　なお、データＣｒ１５またはＣｒ１６の位置においても第２撮像条件が適用されていた場合は、データＣｒ１５またはＣｒ１６の近隣の位置の画像データから第１撮像条件が適用されているデータを選択してもよい。
　画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照して注目位置（２行目２列目）における色差成分の画像データを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｅ3Ｃｒ１＋ｆ3Ｃｒ１５＋ｇ3Ｃｒ３＋ｈ3Ｃｒ４）／４を、注目位置（２行目２列目）における色差成分Ｃｒの画像データとする。なお、ｅ3、ｆ3、ｇ3およびｈ3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　図９(c)において太枠（２行目３列目）で示す注目位置について色差成分Ｃｒの画像データを生成する場合も同様である。図９(c)の例において、斜線で示した色差成分Ｃｒの画像データＣｒ４およびＣｒ５に対応する参照位置に、注目位置（２行目３列目）に適用された第２撮像条件と異なる第１撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、色差成分の画像データＣｒ２、Ｃｒ４～Ｃｒ６から第２撮像条件が適用された画像データＣｒ２およびＣｒ６を選択する。さらに、画像処理部３３（選択部３３ｂ）は、データＣｒ４およびＣｒ５に対応する参照位置の近隣に位置して第２撮像条件が適用されている色差成分Ｃｒの画像データＣｒ８およびＣｒ７を選択する。すなわち、画像処理部３３（選択部３３ｂ）は、第１の実施の形態に対し、画像データを選択する位置を変更して、第２撮像条件が適用された画像データを選択する。
　なお、仮に、データＣｒ８、Ｃｒ７の位置においても第１撮像条件が適用されていた場合には、データＣｒ８およびＣｒ７の近隣の位置の画像データから第２撮像条件が適用されているデータを選択してもよい。
　画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照して注目位置（２行目３列目）における色差成分Ｃｒの画像データを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｑ3Ｃｒ２＋ｒ3Ｃｒ８＋ｓ3Ｃｒ７＋ｔ3ｒ６）／４を、注目位置における色差成分Ｃｒの画像データとする。なお、ｑ3、ｒ3、ｓ3およびｔ3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｒの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＲ色成分の画像データを得る。
＜Ｂ色補間＞
　第２の実施の形態のＢ色補間について説明する。第１の実施の形態の場合と同様に、図１０(a)～図１０(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第２撮像条件が適用されているものとする。
　図１０(b)の例において、斜線で示した色差成分Ｃｂの画像データＣｂ１およびＣｂ３に対応する参照位置に、太枠（３行目３列目）で示す注目位置に適用された第２撮像条件と異なる第１撮像条件が適用されている。そのため、画像処理部３３（選択部３３ｂ）は、色差成分の画像データＣｂ１～Ｃｂ４から第２撮像条件が適用された画像データＣｂ２およびＣｂ４を選択する。さらに、画像処理部３３（選択部３３ｂ）は、データＣｂ１およびＣｂ３に対応する参照位置の近隣に位置して第２撮像条件が適用されている色差成分Ｃｂの画像データＣｂ１６およびＣｂ１７を選択する。すなわち、画像処理部３３（選択部３３ｂ）は、第１の実施の形態に対し、画像データを選択する位置を変更して、第２撮像条件が適用された画像データを選択する。
　画像処理部３３（生成部３３ｃ）は、このように選択された画像データを参照して注目位置（３行目３列目）における色差成分の画像データＣｂを算出する。画像処理部３３（生成部３３ｃ）は、例えば（ｕ3Ｃｂ１６＋ｖ3Ｃｂ２＋ｗ3Ｃｂ４＋ｘ3Ｃｂ１７）／４を、注目位置（３行目３列目）における色差成分Ｃｂの画像データとする。なお、ｕ3、ｖ3、ｗ3、ｘ3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
　図１０(c)において太枠で示す注目位置（３行目４列目）について、色差成分の画像データＣｂを生成する場合も同様である。
　なお、図１０(c)の例では、注目位置（３行目４列目）の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６に対応する参照位置には、注目位置（３行目４列目）と同じ第２撮像条件が適用されている。画像処理部３３（生成部３３ｃ）は、注目位置の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４～Ｃｂ６を参照して注目位置における色差成分Ｃｂの画像データを算出する。
　画像処理部３３（生成部３３ｃ）は、各画素位置において色差成分Ｃｂの画像データを得たのち、各画素位置に対応させて図８(c)に示すＧ色成分の画像データを加算することにより、各画素位置においてＢ色成分の画像データを得る。
　以上説明した第２の実施の形態によれば、第１の実施の形態と同様の作用効果に加えて、以下の作用効果が得られる。すなわち、選択部３３ｂは、参照画素以外の画素であって、画素位置（注目画素の位置）と共通する撮像条件が設定された領域の画素の画像データを選択するようにした。これにより、例えば、生成部３３ｃによる第３画像データの生成のために参照されるデータを増やして、適切に画像処理を行うことができる。
（第１および第２の実施の形態の変形例）
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
　図１６(a)～図１６(c)は、撮像素子３２ａの撮像面における第１領域および第２領域の配置を例示する図である。図１６(a)の例によれば、第１領域は偶数列によって構成され、第２領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。
　図１６(b)の例によれば、第１領域は奇数行によって構成され、第２領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
　図１６(c)の例によれば、第１領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。
　図１６(a)～図１６(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１領域から読み出した光電変換信号に基づく第１画像および第２領域から読み出した光電変換信号に基づく第２画像がそれぞれ生成される。変形例１によれば、第１画像および第２画像は同じ画角で撮像され、共通の被写体像を含む。
　変形例１において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。具体的には、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、物体検出部３４ａによって第２画像を用いて被写体検出処理を行わせ、ＡＦ演算部３４によって第２画像を用いて焦点検出処理を行わせ、設定部３４ｂによって第２画像を用いて露出演算処理を行わせる。
　変形例１においては、第１画像を撮像する第１領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。
１．一例として、制御部３４は、第１撮像条件を、表示部３５による表示に適した条件に設定する。第１撮像条件は、撮像画面の第１領域の全体で同一にする。一方、制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第２撮像条件も、撮像画面の第２領域の全体で同一にする。
　なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２領域に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を焦点検出処理に適した条件とし、２フレーム目の第２撮像条件を被写体検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件は撮像画面の第２領域の全体で同一にする。
２．他の一例として、制御部３４は、第１領域に設定される第１撮像条件を異ならせてもよい。制御部３４（設定部３４ｂ）は、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定する。一方、制御部３４は、第２撮像条件を撮像画面の第２領域の全体で同一にする。制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。
３．また、他の一例として、制御部３４は、第１撮像条件を撮像画面の第１領域の全体で同一とする一方で、第２領域に設定される第２撮像条件を撮像画面において異ならせてもよい。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。
４．さらにまた、他の一例として、制御部３４は、第１領域に設定される第１撮像条件を撮像画面において異ならせるとともに、第２領域に設定される第２撮像条件を撮像画面において異ならせる。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定しつつ、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。
　図１６(a)～図１６(c)において、第１領域と第２領域との面積比を異ならせてもよい。制御部３４は、例えば、ユーザーによる操作または制御部３４の判断に基づき、第１領域の比率を第２領域よりも高く設定したり、第１領域と第２領域の比率を図１６(a)～図１６(c)に例示したように同等に設定したり、第１領域の比率を第２領域よりも低く設定したりする。第１領域と第２領域とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。
（変形例２）
　上記実施の形態では、制御部３４（設定部３４ｂ）がライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例２において、制御部３４は、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。
　制御部３４は、測光用センサからの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子３２ｂによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。
　制御部３４はさらに、撮像素子３２ａの撮像面の前景領域に対応する位置に対して、図１６(a)～図１６(c)に例示したように、第１領域および第２領域を配置する。一方、制御部３４は、撮像素子３２ａの撮像面の背景領域に対応する位置に対して、撮像素子３２ａの撮像面に第１領域のみを配置する。制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
　変形例２によれば、測光用センサからの出力信号を用いることにより、撮像素子３２ｂによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第１画像と検出用の第２画像とを得ることができ、背景領域に対しては、表示用の第１画像のみを得ることができる。
（変形例３）
　変形例３では、画像処理部３３（生成部３３ｃ）が、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するように、コントラスト調整処理を行う。すなわち、生成部３３ｃは、階調カーブ（ガンマカーブ）を異ならせることにより、第１撮像条件と第２撮像条件との間の差異に基づく画像の不連続性を緩和する。
　例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合を想定する。生成部３３ｃは、階調カーブを寝かせることにより、参照位置の画像データのうちの第２撮像条件の画像データの値を１／８に圧縮する。
　あるいは、生成部３３ｃが、階調カーブを立たせることにより、注目位置の画像データ、および参照位置の画像データのうちの第１撮像条件の画像データの値を８倍に伸張させてもよい。
　変形例３によれば、上述した実施の形態と同様に、撮像条件が異なる領域でそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。
（変形例４）
　変形例４においては、画像処理部３３（生成部３３ｃ）が、上述した画像処理（例えば、ノイズ低減処理）において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。
　そこで、画像処理部３３（生成部３３ｃ）は、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例４において、画像処理部３３（生成部３３ｃ）は、濃度変換（階調変換）曲線として、Ｓの字を描くようなカーブを設定する（いわゆるＳ字変換）。画像処理部３３（生成部３３ｃ）は、Ｓ字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい／暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。
　変形例４によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。
（変形例５）
　変形例５においては、画像処理部３３（生成部３３ｃ）が、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。
　例えば、注目位置において撮像時に適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において撮像時に適用された撮像条件（第２撮像条件とする）とが異なる場合において、画像処理部３３（生成部３３ｃ）が、参照位置の画像データのうちの第２撮像条件の画像データのホワイトバランスを、第１撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更する。
　なお、画像処理部３３（生成部３３ｃ）が、参照位置の画像データのうちの第１撮像条件の画像データと注目位置の画像データのホワイトバランスを、第２撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更してもよい。
　変形例５によれば、撮像条件が異なる領域でそれぞれ生成された画像データに対し、ホワイトバランス調整ゲインを撮像条件が異なる領域のどちらかの調整ゲインに揃えることによって、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和することができる。
（変形例６）
　画像処理部３３を複数備え、画像処理を並列処理してもよい。例えば、撮像部３２の領域Ａで撮像された画像データに対して画像処理をしながら、撮像部３２の領域Ｂで撮像された画像データに対して画像処理を行う。複数の画像処理部３３は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Ａおよび領域Ｂの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Ａおよび領域Ｂの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。
　画像処理部３３の数を複数備える場合において、第１撮像条件が適用された画像データに対して一つの画像処理部によって画像処理を行い、第２撮像条件が適用された画像データに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記２つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例６によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。
（変形例７）
　上述した説明では、カメラ１を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機２５０（図１４）や、タブレット端末などのモバイル機器によって構成してもよい。
（変形例８）
　上述した実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ｂを構成してもよい。
　以下、図１７を参照して撮像部３２を備えた撮像装置１００１を、制御部３４を備えた制御装置１００２から制御する例を説明する。
　図１７は、変形例８に係る撮像システム１Ｂの構成を例示するブロック図である。図１７において、撮像システム１Ｂは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１と撮像部３２とに加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６、および記録部３７に加えて、第２通信部１００４を備える。
　第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
　なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。
　撮像システム１Ｂは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。
　変形例８によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたライブビュー画像が表示装置１００２の表示部３５に表示されるので、ユーザーは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
　表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
　なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびＡＦ演算部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。
（変形例９）
　上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図１８に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
　パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ－ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。
　また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
（第３の実施の形態）
　図１９～２５を参照して、第３の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第１または第２の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１または第２の実施の形態と同じである。本実施の形態では、主に、第１の実施の形態の画像処理部３３を設ける代わりに、撮像部３２Ａが第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む点で、第１の実施の形態と異なる。
　図１９は、第３の実施の形態によるカメラ１Ｃの構成を例示するブロック図である。図１９において、カメラ１Ｃは、撮像光学系３１と、撮像部３２Ａと、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。撮像部３２Ａは、第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む。
　画像処理部３２ｃは、入力部３２１と、選択部３２２と、生成部３２３とを含む。入力部３２１には、撮像素子３２ａからの画像データが入力される。選択部３２２は、上記入力された画像データに対して前処理を行う。選択部３２２が行う前処理は、第１の実施の形態における選択部３３ｂが行う前処理と同じである。生成部３２３は、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。生成部３２３が行う画像処理は、第１の実施の形態における生成部３３ｃが行う画像処理と同じである。
　図２０は、本実施の形態における各ブロックと、複数の選択部３２２との対応関係を模式的に示した図である。図２０において、矩形で表した撮像チップ１１１の１つのマスが１つのブロック１１１ａを表している。同様に、矩形で表した後述する画像処理チップ１１４の１つのマスが１つの選択部３２２を表している。
　本実施の形態では、選択部３２２は、ブロック１１１ａ毎に対応して設けられている。換言すると、選択部３２２は、撮像面における撮像条件の変更可能な領域の最小単位であるブロック毎にそれぞれ設けられている。たとえば、図２０においてハッチングを施したブロック１１１ａと、ハッチングを施した選択部３２２とは対応関係にある。図２０においてハッチングを施した選択部３２２は、ハッチングを施したブロック１１１ａに含まれる画素からの画像データに前処理を行う。各選択部３２２は、それぞれ対応するブロック１１１ａに含まれる画素からの画像データに前処理を行う。
　これにより、画像データの前処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
　なお、以下の説明では、あるブロック１１１ａと、当該ブロック１１１ａに含まれる画素との関係について説明する際に、当該ブロック１１１ａのことを、当該画素が属するブロック１１１ａと呼ぶことがある。また、ブロック１１１ａを単位区分と呼ぶことがあり、ブロック１１１ａが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。
　図２１は、積層型撮像素子１００Ａの断面図である。積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。すなわち、上述した画像処理部３２ｃは、画像処理チップ１１４に設けられている。
　これら撮像チップ１１１、信号処理チップ１１２、メモリチップ１１３および画像処理チップ１１４は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
　メモリチップ１１３および画像処理チップ１１４の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、メモリチップ１１３と画像処理チップ１１４とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
＜データ選択処理＞
　第１の実施の形態と同様に、第２の実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部３４は、必要に応じて選択部３２２に以下のデータ選択処理を行わせる。
１．画像処理を行う場合
１－１．注目画素Ｐの撮像条件と注目画素Ｐの周囲の複数の参照画素の撮像条件とが同一である場合
　この場合、選択部３２２は、複数の参照画素の画像データをすべて選択して生成部３２３へ出力する。生成部３２３は、複数の参照画素の画像データを利用して画像処理を行う。
１－２．注目画素Ｐの撮像条件と、注目画素Ｐの周囲の複数の参照画素のうちの少なくとも１つの参照画素の撮像条件とが異なる場合
　注目画素Ｐにおいて適用された撮像条件を第１撮像条件とし、複数の参照画素の一部に適用された撮像条件が第１撮像条件であり、残りの参照画素に適用された撮像条件が第２撮像条件であるとする。
　この場合には、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２、および第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、参照画素の画像データに対して以下の（例１）～（例３）のようにデータ選択処理を行う。そして、生成部３２３は、データ選択処理後の参照画素の画像データを参照して注目画素Ｐの画像データを算出する画像処理を行う。
（例１）
　例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００であり、第２撮像条件のＩＳＯ感度が８００であるとする。この場合、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の画像データを選択する。しかし、第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件の画像データを選択しない。つまり、第１撮像条件と異なる第２撮像条件の画像データを画像処理に用いない。
（例２）
　例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒であり、第２撮像条件のシャッター速度が１／１００秒であるとする。この場合、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の画像データを選択する。しかし、第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件の画像データを選択しない。つまり、第１撮像条件と異なる第２撮像条件の画像データを画像処理に用いない。
（例３）
　例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓであり、第２撮像条件のフレームレートが６０ｆｐｓであるとする。この場合、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の画素の画像データを選択する。また、第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、参照画素の画像データのうちの第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第１撮像条件（３０ｆｐｓ）のフレーム画像と取得タイミングが近いフレーム画像の画像データを画像処理に用い、第１撮像条件（３０ｆｐｓ）のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。
　なお、注目画素Ｐにおいて適用された撮像条件を第２撮像条件とし、注目画素Ｐの周囲の参照画素において適用された撮像条件を第１撮像条件とした場合も同様である。すなわち、この場合には、第１撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２、および第２撮像条件が適用された参照画素が属するブロック１１１ａに対応する選択部３２２は、参照画素の画像データに対して上述した（例１）～（例３）のようにデータ選択処理を行う。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件ととみなす。
　生成部３２３は、選択部３２２で選択された参照画素の画像データに基づいて、第１の実施の形態における画像処理部３３（生成部３３ｃ）と同様に、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行う。
　図２２は、第１撮像条件が適用された撮像面の一部領域（以下、第１領域１４１と呼ぶ）に含まれる各画素からの画像データ（以下、第１画像データと呼ぶ）と、第２撮像条件が適用された撮像面の一部領域（以下、第２領域１４２と呼ぶ）に含まれる各画素からの画像データ（以下、第２画像データと呼ぶ）との処理について、模式的に表した図である。なお、図２２は、上記（例１）および（例２）において、注目画素Ｐにおいて適用された撮像条件が第１撮像条件である場合について説明する図である。
　第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データがそれぞれ出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データがそれぞれ出力される。第１画像データは、処理チップ１１４に設けられた複数の選択部３２２のうち、第１画像データを生成した画素が属するブロック１１１ａに対応する選択部３２２に出力される。以下の説明では、それぞれの第１画像データを生成した画素が属する複数のブロック１１１ａにそれぞれ対応する複数の選択部３２２を第１選択部１５１と呼ぶ。
　同様に、第２画像データは、処理チップ１１４に設けられた複数の選択部３２２のうち、第２画像データを生成した各画素が属するブロック１１１ａに対応する選択部３２２に出力される。以下の説明では、それぞれの第２画像データを生成した画素が属する複数のブロック１１１ａにそれぞれ対応する複数の選択部３２２を第２選択部１５２と呼ぶ。
　たとえば、注目画素Ｐが第１領域１４１に含まれる場合、第１選択部１５１は、注目画素Ｐの画像データおよび第１撮像条件で撮像された参照画素の画像データを選択して生成部３２３へ出力する。ここで、選択部３２２は、同じブロックから画像データを選択したが、第１撮像条件で撮像された別のブロックの画像データを用いてもよい。この時、注目画素Ｐが入力された選択部３２２と、第１撮像条件で撮像された他のブロックの選択部３２２とでデータ選択処理に必要な第１撮像条件についての情報１８１を送受信すればよい。一方、第２選択部１５２は、第２撮像条件で撮像された参照画素の画像データを選択せず、第２撮像条件で撮像された参照画素の画像データを生成部３２３へ出力しない。なお、第２選択部１５２は、データ選択処理に必要な第１撮像条件についての情報１８１を、たとえば、第１選択部１５１から受信する。
　同様に、たとえば、注目画素Ｐが第２領域に含まれる場合、第２選択部１５２は、注目画素Ｐの画像データおよび第２撮像条件で撮像された参照画素の画像データを選択して生成部３２３へ出力する。一方、第１選択部１５１は、第１撮像条件で撮像された参照画素の画像データを選択せず、第１撮像条件で撮像された参照画素の画像データを生成部３２３へ出力しない。なお、第１選択部１５１は、データ選択処理に必要な第２撮像条件についての情報を、たとえば、第２選択部１５２から受信する。
　上述した前処理の後、生成部３２３は、第１選択部１５１および第２選択部１５２からの画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
２．焦点検出処理を行う場合
　第１の実施形態と同様に、制御部３４（ＡＦ演算部３４ｄ）は、撮像画面の所定の位置（焦点検出位置）に対応する画像データを用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作の焦点検出位置が分割された領域の境界部分に位置する場合、すなわち焦点検出位置が第１領域と第２領域とで２分されている場合、本実施の形態では、以下の２－２．で説明するように、制御部３４（ＡＦ演算部３４ｄ）は、選択部３２２に対してデータ選択処理を行わせる。
２－１．図１３における枠１７０内の画素からの画像データに、第１撮像条件が適用された焦点検出用の信号データと第２撮像条件が適用され焦点検出用の信号データが混在しない場合
　この場合、選択部３２２は、枠１７０内の画素からの焦点検出用の信号データをすべて選択して生成部３２３へ出力する。制御部３４（ＡＦ演算部３４ｄ）は、枠１７０で示す焦点検出用画素による焦点検出用の信号データを利用して焦点検出処理を行う。
２－２．図１３における枠１７０内の画素からの焦点検出用の信号データに、第１撮像条件が適用された焦点検出用の信号データと第２撮像条件が適用された焦点検出用の信号データが混在する場合
　この場合には、制御部３４（ＡＦ演算部３４ｄ）は、枠１７０内の画素が属するブロック１１１ａに対応する選択部３２２に対して以下の（例１）～（例３）のようにデータ選択処理を行わせる。そして、制御部３４（ＡＦ演算部３４ｄ）は、データ選択処理後の焦点検出用の信号データを用いて焦点検出処理を行う。
（例１）
　例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００であり、第２撮像条件のＩＳＯ感度が８００であるとする。この場合、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の焦点検出用の信号データを選択する。そして、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件の焦点検出用の信号データを選択しない。つまり、枠１７０内の画素からの焦点検出用の信号データのうち、第１撮像条件の焦点検出用の信号データを焦点検出処理に用い、第１撮像条件と異なる第２撮像条件の画像データを焦点検出処理に用いない。
（例２）
　例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒であり、第２撮像条件のシャッター速度が１／１００秒であるとする。この場合、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の焦点検出用の信号データを選択する。そして、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件の焦点検出用の信号データを選択しない。つまり、枠１７０内の画素からの焦点検出用の信号データのうち、第１撮像条件の焦点検出用の信号データを焦点検出処理に用い、第１撮像条件と異なる第２撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
（例３）
　例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓであり、第２撮像条件のフレームレートが６０ｆｐｓであるとする。この場合、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の画素の焦点検出用の信号データを選択する。また、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件（６０ｆｐｓ）の画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを選択する。つまり、第２撮像条件（６０ｆｐｓ）の焦点検出用の信号データのうちの、第１撮像条件（３０ｆｐｓ）のフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを焦点検出処理に用い、第１撮像条件（３０ｆｐｓ）のフレーム画像と取得タイミングが異なるフレーム画像の焦点検出用の信号データを焦点検出処理に用いない。
　なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
　また、上記の（例１）および（例２）では、枠１７０で囲む焦点検出用の信号データから第１撮像条件の焦点検出用の信号データを選択する例を説明したが、枠１７０で囲む焦点検出用の信号データのうちの第２撮像条件の焦点検出用の信号データを選択するようにしてもよい。
　なお、焦点検出位置が第１および第２領域に２分され、第1領域の面積が第２領域の面積よりも大きい場合には、第１撮像条件の画像データを選択し、逆に、第２領域の面積が第１領域の面積よりも大きい場合には、第２撮像条件の画像データを選択することが望ましい。
　図２３は、焦点検出処理に係る、第１信号データと第２信号データとの処理について模式的に表した図である。なお、図２３は、上記（例３）において、枠１７０で囲む領域から生成された信号データから第１撮像条件の焦点検出用の信号データを選択し、第２撮像条件の焦点検出用の信号データを選択する場合について説明する図である。
　第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された焦点検出用の第１信号データが出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された焦点検出用の第２信号データが出力される。第１領域１４１からの第１信号データは、第１選択部１５１に出力される。同様に、第２領域１４２からの第２信号データは、第２選択部１５２に出力される。
　第１処理部１５１は、第１撮像条件の第１信号データを選択してＡＦ演算部３４ｄへ出力する。第２処理部１５２は、第２撮像条件の第２信号データを選択してＡＦ演算部３４ｄへ出力する。
　上述した前処理の後、ＡＦ演算部３４ｄは、第１処理部１５１からの第１信号データから第１デフォーカス量を算出する。さらに、ＡＦ演算部３４ｄは、第１処理部１５１からの第２信号データから第２デフォーカス量を算出する。そして、ＡＦ演算部３４ｄは、第１のデフォーカス量と第２のデフォーカス量を用いて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
　なお、上記（例１）および（例２）のように、枠１７０で囲む領域の信号データから第１撮像条件の焦点検出用の信号データを選択し、第２撮像条件の焦点検出用の信号データを選択しない場合には、第１信号データと第２信号データとについて、次のように処理が行われる。
　例えば、第１撮像条件の第１信号データで焦点検出処理を行う場合、第１処理部１５１は、第１撮像条件の第１信号データを選択して生成部３２３へ出力する。第２処理部１５２は、第２撮像条件の第２信号データを選択せず、第２撮像条件で撮像された参照画素の第２信号データを生成部３２３へ出力しない。なお、第２処理部１５２は、データ選択処理に必要な第１撮像条件についての情報１８１を、たとえば、第１処理部１５１から受信する。
　上述した前処理の後、ＡＦ演算部３４ｄは、第１処理部１５１からの第１信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
　ここで、焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合の一例を説明する。焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第１撮像条件の焦点検出用の第１信号データを選択する。さらに、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２は、第２撮像条件の焦点検出用の第２信号データを選択する。そして、制御部３４（ＡＦ演算部３４ｄ）は、選択した焦点検出用の第１信号データから第１デフォーカス量を算出する。さらに、制御部３４（ＡＦ演算部３４ｄ）は、選択した焦点検出用の第２信号データから第２デフォーカス量を算出する。そして、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量を用いて、焦点検出処理を行う。具体的には、例えば、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と、第２のデフォーカス量の平均算出し、レンズの移動距離を算出する。また、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量のうち、よりレンズの移動距離が小さい方の値を選択することとしてもよい。また、制御部３４（ＡＦ演算部３４ｄ）は、第１のデフォーカス量と第２のデフォーカス量から、被写体がより至近側であることを示す値を選択することとしてもよい。
　また、焦点を合わせるべき被写体が、第１撮像条件が設定された領域と第２撮像条件が設定された領域にまたがって位置する場合は、制御部３４（ＡＦ演算部３４ｄ）は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第１撮像条件が設定された領域に７０％あり、第２領域に３０パーセントの場合には、制御部３４（ＡＦ演算部３４ｄ）は、第１撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率（パーセント）に関しては例示であり、これに限定されない。
３．被写体検出処理を行う場合
　分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合について説明する。
３－１．図１４における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
　この場合、選択部３２２は、探索範囲１９０の画素からの画像データをすべて選択して生成部３２３へ出力する。制御部３４（ＡＦ演算部３４ｄ）は、探索範囲１９０の画素からの画像データを利用して被写体検出処理を行う。
３－２．図１４における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
（ａ）上述した焦点検出処理を行う場合の（例１），（例２）と同様に第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なる場合や、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なる場合
　この場合、図２４に示すように、制御部３４（物体検出部３４ａ）は、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２（第１選択部１５１）に対して、探索範囲１９０の画像データから被写体検出処理に用いる第１撮像条件の画像データを選択させる。なお、図２４は、被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
　そして、制御部３４（物体検出部３４ａ）は、データ選択処理後の画像データを用いて被写体検出処理を行う。
　また、制御部３４（物体検出部３４ａ）は、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２（第２選択部１５２）に対して、探索範囲１９０の画像データから被写体検出処理に用いる第２撮像条件の画像データを選択させる。そして、制御部３４（物体検出部３４ａ）は、データ選択処理後の画像データを用いて被写体検出処理を行う。そして、制御部３４（物体検出部３４ａ）は、第１撮像条件の画像データから検出された被写体領域と、第２撮像条件の画像データから検出された被写体領域との境界を合わせることにより、探索範囲１９０内の被写体検出を検出することができる。
（ｂ）上述した焦点検出処理を行う場合の（例３）と同様に第１撮像条件と第２撮像条件との間でフレームレートのみが異なる場合
　この場合、制御部３４（物体検出部３４ａ）は、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２（第１選択部１５１）に対して、探索範囲１９０の画像データから被写体検出処理に用いる第１撮像条件の画像データを選択させる。そして、制御部３４（物体検出部３４ａ）は、データ選択処理後の画像データを用いて被写体検出処理を行う。また、制御部３４（物体検出部３４ａ）は、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２（第２選択部１５２）に対して、探索範囲１９０の画像データから、被写体検出処理に用いる第２撮像条件（６０ｆｐｓ）の画像データとして第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データだけを選択させる。そして、制御部３４（物体検出部３４ａ）は、データ選択処理後の画像データを用いて被写体検出処理を行う。そして、制御部３４は、第１撮像条件の画像データから検出された被写体領域と、第２撮像条件の画像データから検出された被写体領域との境界を合わせることにより、探索範囲１９０内の被写体検出を検出することができる。
　なお、探索範囲１９０が第１および第２領域に２分され、第1領域の面積が第２領域の面積よりも大きい場合には、第１撮像条件の画像データを選択し、第２撮像条件の画像データを選択しないようにしてもよい。また、第２領域の面積が第１領域の面積よりも大きい場合には、第２撮像条件の画像データを選択し、第１撮像条件の画像データを選択しないようにしてもよい。
４．撮像条件を設定する場合
　撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合について説明する。
４－１．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
　この場合、選択部３２２は、測光範囲の画素からの画像データをすべて選択して生成部３２３へ出力する。制御部３４（設定部３４ｂ）は、測光範囲を構成する画素からの画像データを利用して露出演算処理を行う。
４－２．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
（ａ）上述した焦点検出処理を行う場合の（例１），（例２）と同様に第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なる場合や、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なる場合
　この場合、図２５に示すように、制御部３４（物体検出部３４ａ）は、上述した被写体検出処理を行う場合の（ａ）と同様に、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２に対して、測光範囲の画像データから露出演算処理に用いる第１撮像条件の画像データを選択させる。また、制御部３４（物体検出部３４ａ）は、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２に対して、測光範囲の画像データから露出演算処理に用いる第２撮像条件の画像データを選択させる。なお、図２５は、露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
　そして、制御部３４（設定部３４ｂ）は、データ選択処理後の画像データを用いて第１撮像条件が設定された領域および第２撮像条件が設定された領域のそれぞれについて、露出演算処理を行う。このように、制御部３４（設定部３４ｂ）は、測光範囲に撮像条件の異なる複数の領域が存在する場合には、それぞれの領域を測光するためのデータ選択処理を行って、データ選択処理の画像データを用いて露出演算処理を行う。
（ｂ）上述した焦点検出処理を行う場合の（例３）と同様に第１撮像条件と第２撮像条件との間でフレームレートのみが異なる場合
　この場合、制御部３４（物体検出部３４ａ）は、被写体検出処理を行う場合の（ｂ）と同様に、第１撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２に対して、測光範囲の画像データから露出演算処理に用いる第１撮像条件の画像データを選択させる。また、制御部３４（物体検出部３４ａ）は、上述した焦点検出処理を行う場合の（例３）と同様に、第２撮像条件が適用された画素が属するブロック１１１ａに対応する選択部３２２に対して、測光範囲の画像データから、露出演算処理に用いる第２撮像条件（６０ｆｐｓ）の画像データとして第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データだけを選択させる。
　そして、制御部３４（設定部３４ｂ）は、上述した（ａ）の場合と同様に、データ選択処理後の画像データを用いて露出演算処理を行う。
　なお、測光範囲が第１および第２領域に２分され、第1領域の面積が第２領域の面積よりも大きい場合には、第１撮像条件の画像データを選択し、第２撮像条件の画像データを選択しないようにしてもよい。また、第２領域の面積が第１領域の面積よりも大きい場合には、第２撮像条件の画像データを選択し、第１撮像条件の画像データを選択しないようにしてもよい。
　以上説明した第３の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを選択するかまたは選択しない複数の選択部３２２を備える。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の選択部３２２は、画像処理チップ１１４に設けられている。
　これにより、画像データのデータ選択処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減できる。
（２）裏面照射型撮像チップ１１１と画像処理チップ１１４とは積層されている。これにより、撮像素子３２ａと画像処理部３２ｃとを容易に接続できる。
（３）カメラ１Ｃは、選択部３２２で選択された選択画像データにより画像を生成する生成部３２３を備える。これにより、複数の選択部３２２による前処理が並列処理によって短時間に行われるので、画像を生成するまでの時間を短縮化できる。
（４）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、撮像光学系を介して入射した光像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した光像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを選択するかまたは選択しない複数の選択部３２２を備える。カメラ１Ｃは、選択された選択画像データに基づいて撮像光学系を動かすための情報を検出するＡＦ演算部３４ｄを備える。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
　これにより、画像データのデータ選択処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減できるとともに、複数の選択部３２２による前処理が並列処理によって短時間に行われるので、ＡＦ演算部３４ｄでの焦点検出処理の開始までの時間を短縮化でき、焦点検出処理の高速化に資する。
（５）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、撮像光学系を介して入射した被写体像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した被写体像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを選択するかまたは選択しない複数の選択部３２２を備える。カメラ１Ｃは、選択された選択画像データに基づいて、被写体像から対象物を検出する物体検出部３４ａを備える。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
　これにより、画像データのデータ選択処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減できるとともに、複数の選択部３２２による前処理が並列処理によって短時間に行われるので、物体検出部３４ａでの被写体検出処理の開始までの時間を短縮化でき、被写体検出処理の高速化に資する。
（６）カメラ１Ｃは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、撮像光学系を介して入射した光像を第１撮像条件で撮像した少なくとも一つの単位区分からなる第１領域からの第１画像データと、入射した光像を第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位区分からなる第２領域からの第２画像データとを生成する撮像素子３２ａを備える。カメラ１Ｃは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを選択するかまたは選択しない複数の選択部３２２を備える。カメラ１Ｃは、選択された選択画像データに基づいて撮影条件を設定する設定部３４ｂを備える。撮像素子３２ａは、裏面照射型撮像チップ１１１に設けられている。複数の補正部３２２は、画像処理チップ１１４に設けられている。
　これにより、画像データのデータ選択処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減できるとともに、複数の選択部３２２による前処理が並列処理によって短時間に行われるので、設定部３４ｂでの撮像条件の設定処理の開始までの時間を短縮化でき、撮像条件の設定処理の高速化に資する。
（第３の実施の形態の変形例）
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１０）
　第１および第２の実施の形態の変形例１における図１６(a)～図１６(c)に示すように、撮像素子３２ａの撮像面において第１領域および第２領域を配置した場合の第１画像データと第２画像データとの処理について説明する。
　本変形例においても、変形例１と同様に、図１６(a)～図１６(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した画素信号によって、第１領域から読み出した画像信号に基づく第１画像および第２領域から読み出した画像信号に基づく第２画像がそれぞれ生成される。本変形例においても、変形例１と同様に、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
　第１画像を撮像する第１領域には第１撮像条件が設定され、第２画像を撮像する第２領域には第１撮像条件とは異なる第２撮像条件が設定されているものとする。
１．一例として、第１撮像条件が撮像画面の第１領域の全体で同一であり、第２撮像条件も撮像画面の第２領域の全体で同一である場合について、図２６を参照して説明する。図２６は、第１画像データと第２画像データとの処理について模式的に表した図である。
　第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データ及び第２信号データが出力される。第１領域１４１からの第１画像データは、第１選択部１５１に出力される。同様に、第２領域１４２からの第２画像データ及び第２信号データは、第２選択部１５２に出力される。
　本例では、第１撮像条件が撮像画面の第１領域の全体で同一であるので、第１選択部１５１は、第１領域の各画素からのすべての第１画像データを選択する。また、第２撮像条件が撮像画面の第２領域の全体で同一であるので、第２選択部１５２は、第２領域の各画素からのすべての第２画像データを選択する。なお、第１撮像条件と第２撮像条件とが異なるため、第２選択部１５２は、第１領域の画像データの画像処理のためのデータとして第２画像データを選択しない。
　また、第２選択部１５２は、第１撮像条件についての情報１８１を、たとえば、第１選択部１５１から受信する。
　生成部３２３は、第１選択部１５１からの第１画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２選択部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２選択部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　ＡＦ演算部３４ｄは、第２選択部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
２．他の一例として、第１撮像条件が撮像画面の領域によって異なり、すなわち、第１撮像条件が第１領域内の部分領域によって異なり、第２撮像条件が撮像画面の第２領域の全体で同一である場合について、図２７を参照して説明する。図２７は、第１画像データと、第２画像データ及び第２信号データとの処理について模式的に表した図である。
　第１領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データ及び第２信号データが出力される。第１領域１４１からの第１画像データは、第１選択部１５１に出力される。同様に、第２領域１４２からの第２画像データは、第２選択部１５２に出力される。
　上述したように本例では、第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１領域内の部分領域によって異なる。第１選択部１５１は、第１領域の各画素からの第１画像データのうち、ある撮像条件の第１画像データだけを選択し、他の撮像条件の第１画像データを選択しない。また、第２撮像条件が撮像画面の第２領域の全体で同一であるので、第２選択部１５２は、第２領域の各画素からのすべての第２画像データを選択する。なお、第１撮像条件と第２撮像条件とが異なるため、第２選択部１５２は、第１領域の画像データの画像処理のためのデータとして第２画像データを選択しない。
　また、第２選択部１５２は、第１撮像条件についての情報１８１を、たとえば、第１選択部１５１から受信する。
　生成部３２３は、第１選択部１５１で選択された一部の第１画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２選択部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２選択部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　ＡＦ演算部３４ｄは、第２選択部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
３．また、他の一例として、第１撮像条件が撮像画面の第１領域の全体で同一であり、第２撮像条件が撮像画面の領域によって異なる場合について、図２８を参照して説明する。図２８は、第１画像データと第２画像データとの処理について模式的に表した図である。
　第１領域１４１に含まれる各画素からは、撮像画面の第１領域の全体で同一の第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データが出力される。第１領域１４１からの第１画像データは、第１選択部１５１に出力される。同様に、第２領域１４２からの第２画像データ及び第２信号データは、第２選択部１５２に出力される。
　本例では、第１撮像条件が撮像画面の第１領域の全体で同一であるので、第１選択部１５１は、第１領域の各画素からのすべての第１画像データを選択する。また、第２撮像条件が撮像画面の領域によって異なる。すなわち、第２撮像条件が第２領域内の部分領域によって異なる。第２選択部１５２は、第２領域の各画素からの第２画像データのうち、ある撮像条件の第２画像データだけを選択し、他の撮像条件の第２画像データを選択しない。なお、第１撮像条件と第２撮像条件とが異なるため、第２選択部１５２は、第１領域の画像データの画像処理のためのデータとして第２画像データを選択しない。
　また、第２選択部１５２は、第１撮像条件についての情報１８１を、たとえば、第１選択部１５１から受信する。
　生成部３２３は、第１選択部１５１からの第１画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２選択部１５２で選択された一部の第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２選択部１５２で選択された一部の第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　ＡＦ演算部３４ｄは、第２選択部１５２で選択された一部の第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
４．さらにまた、他の一例として、第１撮像条件が撮像画面の領域によって異なり、第２撮像条件が撮像画面の領域によって異なる場合について、図２９を参照して説明する。図２９は、第１画像データと第２画像データ及び第２信号データとの処理について模式的に表した図である。
　第１領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データ及び第２信号データが出力される。第１領域１４１からの第１画像データは、第１選択部１５１に出力される。同様に、第２領域１４２からの第２画像データ及び第２信号データは、第２選択部１５２に出力される。
　上述したように本例では、第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１領域内の部分領域によって異なる。第１選択部１５１は、第１領域の各画素からの第１画像データのうち、ある撮像条件の第１画像データだけを選択し、他の撮像条件の第１画像データを選択しない。また、第２撮像条件が撮像画面の領域によって異なる。すなわち、第２撮像条件が第２領域内の部分領域によって異なる。第２選択部１５２は、第２領域の各画素からの第２画像データのうち、ある撮像条件の第２画像データだけを選択し、他の撮像条件の第２画像データを選択しない。なお、第１撮像条件と第２撮像条件とが異なるため、第２選択部１５２は、第１領域の画像データの画像処理のためのデータとして第２画像データを選択しない。
　また、第２選択部１５２は、第１撮像条件についての情報１８１を、たとえば、第１選択部１５１から受信する。
　生成部３２３は、第１選択部１５１で選択された一部の第１画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
　物体検出部３４ａは、第２選択部１５２で選択された一部の第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
　設定部３４ｂは、第２選択部１５２で選択された一部の第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
　ＡＦ演算部３４ｄは、第２選択部１５２で選択された一部の第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
（変形例１１）
　上述した第３の実施の形態では、選択部３２２の１つとブロック１１１ａ（単位区分）の１つとが対応している。しかし、選択部３２２の１つと、複数のブロック１１１ａ（単位区分）を有する複合ブロック（複合区分）の１つとが対応するようにしてもよい。この場合、選択部３２２は、当該複合ブロックに含まれる複数のブロック１１１ａに属する画素からの画像データに対して順次データ選択処理を行う。複数の選択部３２２が、複数のブロック１１１ａを有する複合ブロック毎に対応して設けられていても、画像データのデータ選択処理を複数の選択部３２２で並列処理できるので、選択部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
（変形例１２）
　上述した第３の実施の形態では、生成部３２３は撮像部３２Ａの内部に設けられている。しかし、生成部３２３を撮像部３２Ａの外部に設けてもよい。生成部３２３を撮像部３２Ａの外部に設けても上述した作用効果と同様の作用効果を奏する。
（変形例１３）
　上述した第３の実施の形態では、積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。しかし、積層型撮像素子１００Ａに画像処理チップ１１４を設けず、信号処理チップ１１２に画像処理部３２ｃが設けられていてもよい。
　なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　上述した実施の形態および変形例は、以下のような装置も含む
（１）被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、補間に用いるための画素を上記撮像領域に含まれる画素から選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記選択部は、上記設定部により設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる撮像装置。
（２）（１）のような撮像装置において、上記撮像素子は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、上記設定部は、上記第１撮像領域の撮像条件と、上記第２撮像領域の撮像条件と、を設定し、上記選択部は、上記第１撮像領域に含まれる画素と上記第２撮像領域に含まれる画素とのうちから、上記設定部により設定された上記第２撮像領域の撮像条件により、上記第１撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせ、上記検出部は、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体を検出する。　
（３）（２）のような撮像装置において、上記選択部は、上記設定部により設定された上記第１撮像領域の撮像条件と上記第２撮像領域の撮像条件とにより、上記第１撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせる。
（４）（２）または（３）のような撮像装置において、上記選択部は、上記第１撮像領域と上記第２撮像領域との少なくとも一方の撮像領域から上記補間に用いる画素を選択する。
（５）（４）のような撮像装置において、上記選択部は、上記設定部により設定された上記第２撮像領域の撮像条件により、上記補間に用いる画素として、上記第２撮像領域の画素を選択する。
（６）（２）～（５）のような撮像装置において、上記選択部は、上記設定部により上記第１撮像領域と上記第２撮像領域に第１撮像条件が設定されると、上記第２撮像領域に含まれる画素を選択する。
（７）（６）のような撮像装置において、上記選択部は、上記設定部により設定された上記第２撮像領域の撮像条件による露出に関する値に基づいて、上記補間に用いる画素として、上記第２撮像領域の画素を選択する。
（８）（７）のような撮像装置において、上記選択部は、上記設定部により設定された第１撮像領域の撮像条件による露出に関する値と、上記第２撮像領域の撮像条件による露出に関する値に基づいて、上記補間に用いる画素として、上記第２撮像領域の画素を選択する。
（９）（８）のような撮像装置において、上記選択部は、上記設定部により設定された第１撮像領域の撮像条件による露出の段数と、上記第２撮像領域の撮像条件による露出の段数との差が0.3段以下の場合に上記補間に用いる画素として、上記第２撮像領域の画素を選択する。
（１０）（２）～（９）のような撮像装置において、上記選択部は、上記設定部により上記第１撮像領域に第1撮像条件が設定され、上記第２撮像領域に第２撮像条件が設定されると、上記第１撮像領域に含まれる画素を選択する。
（１１）（１０）のような撮像装置において、上記選択部は、上記設定部により上記第１撮像領域に第1撮像条件が設定され、上記第２撮像領域に第２撮像条件が設定されると、上記第２撮像領域の画素を選択せずに、上記第１撮像領域に含まれる画素を選択する。
（１２）（２）～（１１）のような撮像装置において、上記選択部は、上記第１撮像領域の第１画素を補間するための画素として、上記第１画素と上記第2撮像領域の第２画素との距離よりも上記第１画素との距離が長い上記第１撮像領域の第3画素を選択する。
（１３）（２）～（１２）のような撮像装置において、上記選択部は、上記設定部によって上記第２撮像領域に設定された撮像条件により、選択する画素の数が異なる。
（１４）（１３）のような撮像装置において、上記選択部は、上記設定部によって上記第１撮像領域に第１撮像条件が設定されるとともに上記第２撮像領域に第2撮像条件が設定されると、上記第１撮像領域と上記第2撮像領域とに上記第１撮像条件が設定されたときよりも少ない画素を選択する。
（１５）第１撮像条件で被写体を撮像するように設定された第１撮像領域と、上記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、上記第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、上記第２撮像領域に含まれる画素と上記第３撮像領域に含まれる画素とのうちから、上記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体を検出する生成部と、を備える撮像装置。
（１６）第１撮像条件で被写体を撮像するように設定された第１撮像領域と、上記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、上記第１撮像領域に含まれる画素と上記第２撮像領域に含まれる画素とのうちから、上記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体を検出する生成部と、を備える撮像装置。
（１７）被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、被写体を撮像する第３撮像領域と、を有する撮像素子と、上記第１撮像領域の撮像条件を第１撮像条件に設定し、上記第２撮像領域の撮像条件を上記第１撮像条件と異なる第２撮像条件に設定し、上記第３撮像領域の撮像条件を、上記第１撮像条件と上記第２撮像条件との差よりも上記第1撮像条件との差が小さい第３撮像条件に設定する設定部と、上記第１撮像領域に含まれる画素と、上記第２撮像領域に含まれる画素と、上記第３撮像領域に含まれる画素と、のうちから上記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（１８）　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、上記第１撮像領域と上記第２撮像領域との距離よりも上記第１撮像領域との距離が長い、被写体を撮像する第３撮像領域と、を有する撮像素子と、上記第２撮像領域の撮像条件を上記第１撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第１撮像領域に含まれる画素と、上記第２撮像領域に含まれる画素と、上記第３撮像領域に含まれる画素と、のうちから上記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体検出する検出部と、を備える撮像装置。
（１９）被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、補間に用いる画素として選択された、上記撮像領域に含まれる画素から出力された信号により補間された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
（２０）第１撮像条件で被写体を撮像するように設定された第１撮像領域と、上記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、上記第１撮像領域に含まれる画素と上記第２撮像領域に含まれる画素とのうちから、上記第１撮像領域に含まれる画素の補間に用いるための画素として選択された画素から出力された信号により補間された信号を用いて上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（２１）被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、上記撮像領域に含まれる画素から選択された、ノイズを低減するための信号を出力する画素から出力された信号によりノイズが低減された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
（２２）第１撮像条件で被写体を撮像するように設定された第１撮像領域と、上記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、上記第２撮像領域に含まれる画素と上記第３撮像領域に含まれる画素とのうちから、上記第１撮像領域に含まれる画素をノイズの低減に用いるために選択する選択部と、上記第１撮像領域に含まれる画素の信号のノイズの低減に用いるための信号を出力する画素として、上記第２撮像領域に含まれる画素と上記第３撮像領域に含まれる画素とのうちから選択された画素から出力された信号によりノイズが低減された信号を用いて上記第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（２３）第１撮像条件で被写体を撮像するように設定された第１撮像領域と、上記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、上記第１撮像領域に含まれる画素のノイズを低減するために用いる信号を出力する画素として、上記第１撮像領域に含まれる画素と上記第２撮像領域に含まれる画素とのうちから選択された画素から出力された信号により補間された信号を用いて第１撮像領域で撮像された被写体を検出する検出部と、を備える撮像装置。
（２４）被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、画像処理をするための画素をとして選択された画素から出力された信号により画像処理された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
（２５）撮像素子の撮像領域に含まれる画素から出力された信号から補間に用いるための信号を選択する選択部と、上記選択部により選択された信号により補間された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる被写体検出装置。
（２６）撮像素子の撮像領域に含まれる画素から出力された信号からノイズを低減するための信号を選択する選択部と、上記選択部により選択された信号によりノイズが低減された信号を用いて上記撮像領域で撮像された被写体を検出する検出部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる被写体検出装置。
　また、上述した実施の形態および変形例は、以下のような装置も含む。
（１）撮像部の第１領域に入射した光を第１撮像条件で撮像することにより生成された第１画像データ、および、上記撮像部の第２領域に入射した光を上記第１撮像条件とは異なる第２撮像条件で撮像することにより生成された第２画像データのうちの少なくとも一方の画像データを選択する選択部と、上記選択された画像データに基づいて、被写体を検出する検出部と、を備える被写体検出装置。
（２）（１）のような被写体検出装置において、上記検出部は、上記第１領域および上記第２領域を含む、上記撮像部の一部の領域についてから前記被写体を検出する。
（３）（２）のような被写体検出装置において、上記選択部は、上記一部の領域内の上記第１領域および上記第２領域のうちの面積の大きい領域から出力された画像データを選択する。
（４）（１）または（２）のような被写体検出装置において、上記選択部は、上記第１画像データ及び上記第２画像データを選択し、上記第１画像データに基づく検出結果と、上記第２画像データに基づく検出結果とに基づいて、上記被写体を検出する。
（５）（１）～（４）のような被写体検出装置において、上記検出部は、光学系の焦点調節の対象として上記被写体を検出する。
（６）（１）～（４）のような被写体検出装置において、被写体の明るさを検出する測光部を備え、上記検出部は、上記測光部による測光の対象として上記対象物を検出する。
（７）撮像光学系を介して入射した光を第１撮像条件で撮像して第１画像データを生成する第１領域と、上記入射した光を上記第１撮像条件とは異なる第２撮像条件で撮像して第２画像データを生成する第２領域と、を有する撮像素子と、上記撮像素子で生成された上記第１画像データおよび上記第２画像データのうちの少なくとも一方の画像データを選択する選択部と、上記選択された画像データに基づいて、被写体を検出する検出部と、を備える撮像装置。
（８）（７）のような撮像装置において、上記検出部は、上記第１領域および上記第２領域を含む、上記撮像素子の一部の領域について上記被写体を検出する。
（９）（８）のような撮像装置において、上記選択部は、上記一部の領域内の上記第１領域および上記第２領域のうちの面積の大きい領域から出力された画像データを選択する。
（１０）（７）または（８）のような撮像装置において、上記選択部は、上記第１画像データ及び上記第２画像データを選択し、上記第１画像データに基づく検出結果と、上記第２画像データに基づく検出結果とに基づいて、上記被写体を検出する。
（１１）（７）～（１０）のような撮像装置において、上記検出部は、光学系の焦点調節の対象として上記被写体を検出する。
（１２）（７）～（１０）のような撮像装置において、被写体の明るさを検出する測光部を備え、上記検出部は、上記測光部による測光の対象として上記被写体を検出する。
（１３）（７）～（１２）のような撮像装置において、上記撮像素子は、撮像面の単位領域毎に撮像条件を変更して撮像可能であり、光学系を介して入射した光を第１撮像条件で撮像した少なくとも一つの単位領域からなる第１領域からの第１画像データと、上記入射した光を上記第１撮像条件とは異なる第２撮像条件で撮像した少なくとも一つの単位領域からなる第２領域からの第２画像データとを生成し、上記選択部は、上記単位領域毎または上記単位領域を複数有する複合領域毎に対応して設けられ、対応する上記単位領域または対応する上記複合領域内の上記単位領域からの画像データを選択する。
（１４）（１３）のような撮像装置において、上記撮像素子は、第１半導体基板に設けられ、上記複数のデータ選定部は、第２半導体基板に設けられている。
（１５）（１４）のような撮像装置において、上記第１半導体基板と上記第２半導体基板とは積層されている撮像装置。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第１９５２８７号（２０１５年９月３０日出願）
１，１Ｃ　…カメラ
１Ｂ…撮像システム
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ，３２１…入力部
３３ｂ，３２２…選択部
３３ｃ，３２３…生成部
３４…制御部
３４ａ…物体検出部
３４ｂ…領域分割部
３４ｄ…撮像制御部
３５…表示部
９０…所定範囲
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素

Claims (26)

  1. 　被写体を撮像する撮像領域を有する撮像素子と、　
    　前記撮像領域の撮像条件を設定する設定部と、
    　補間に用いるための画素を前記撮像領域に含まれる画素から選択する選択部と、
    　前記選択部により選択された画素から出力された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記選択部は、前記設定部により設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記撮像素子は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し
    　前記設定部は、前記第１撮像領域の撮像条件と、前記第２撮像領域の撮像条件と、を設定し、
    　前記選択部は、前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから、前記設定部により設定された前記第２撮像領域の撮像条件により、前記第１撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせ、
    　前記検出部は、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する撮像装置。　
  3. 　請求項２に記載の撮像装置において、
    　前記選択部は、前記設定部により設定された前記第１撮像領域の撮像条件と前記第２撮像領域の撮像条件とにより、前記第１撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせる撮像装置。
  4. 　請求項２または３に記載の撮像装置において、
    　前記選択部は、前記第１撮像領域と前記第２撮像領域との少なくとも一方の撮像領域から前記補間に用いる画素を選択する撮像装置。
  5. 　請求項４に記載の撮像装置において、
    前記選択部は、前記設定部により設定された前記第２撮像領域の撮像条件により、前記補間に用いる画素として、前記第２撮像領域の画素を選択する撮像装置。
  6. 　請求項２～５のいずれか一項に記載の撮像装置において、
    　前記選択部は、前記設定部により前記第１撮像領域と前記第２撮像領域に第１撮像条件が設定されると、前記第２撮像領域に含まれる画素を選択する撮像装置。
  7. 　請求項６に記載の撮像装置において、
    　前記選択部は、前記設定部により設定された前記第２撮像領域の撮像条件による露出に関する値に基づいて、前記補間に用いる画素として、前記第２撮像領域の画素を選択する撮像装置。
  8. 　請求項７に記載の撮像装置において、
    　前記選択部は、前記設定部により設定された第１撮像領域の撮像条件による露出に関する値と、前記第２撮像領域の撮像条件による露出に関する値に基づいて、前記補間に用いる画素として、前記第２撮像領域の画素を選択する撮像装置。
  9. 　請求項８に記載の撮像装置において、
    　前記選択部は、前記設定部により設定された第１撮像領域の撮像条件による露出の段数と、前記第２撮像領域の撮像条件による露出の段数との差が0.3段以下の場合に前記補間に用いる画素として、前記第２撮像領域の画素を選択する撮像装置。
  10. 　請求項２～９のいずれか一項に記載の撮像装置において、
    　前記選択部は、前記設定部により前記第１撮像領域に第1撮像条件が設定され、前記第２撮像領域に第２撮像条件が設定されると、前記第１撮像領域に含まれる画素を選択する撮像装置。
  11. 　請求項１０に記載の撮像装置において、
    　前記選択部は、前記設定部により前記第１撮像領域に第1撮像条件が設定され、前記第２撮像領域に第２撮像条件が設定されると、前記第２撮像領域の画素を選択せずに、前記第１撮像領域に含まれる画素を選択する撮像装置。
  12. 　請求項２～１１のいずれか一項に記載の撮像装置において、
    　前記選択部は、前記第１撮像領域の第１画素を補間するための画素として、前記第１画素と前記第2撮像領域の第２画素との距離よりも前記第１画素との距離が長い前記第１撮像領域の第3画素を選択する撮像装置。
  13. 　請求項２～１２のいずれか一項に記載の撮像装置において、
    　前記選択部は、前記設定部によって前記第２撮像領域に設定された撮像条件により、選択する画素の数が異なる撮像装置。
  14. 　請求項１３に記載の撮像装置において、
    　前記選択部は、前記設定部によって前記第１撮像領域に第１撮像条件が設定されるとともに前記第２撮像領域に第2撮像条件が設定されると、前記第１撮像領域と前記第2撮像領域とに前記第１撮像条件が設定されたときよりも少ない画素を選択する撮像装置。
     
  15. 　第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、前記第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、
    　前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、
    　前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する生成部と、
    　を備える撮像装置。
  16. 　第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、
    　前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、
    　前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する生成部と、
    　を備える撮像装置。
  17. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、被写体を撮像する第３撮像領域と、を有する撮像素子と、
    　前記第１撮像領域の撮像条件を第１撮像条件に設定し、前記第２撮像領域の撮像条件を前記第１撮像条件と異なる第２撮像条件に設定し、前記第３撮像領域の撮像条件を、前記第１撮像条件と前記第２撮像条件との差よりも前記第1撮像条件との差が小さい第３撮像条件に設定する設定部と、
    　前記第１撮像領域に含まれる画素と、前記第２撮像領域に含まれる画素と、前記第３撮像領域に含まれる画素と、のうちから前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、
    　前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える撮像装置。
  18. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、前記第１撮像領域と前記第２撮像領域との距離よりも前記第１撮像領域との距離が長い、被写体を撮像する第３撮像領域と、を有する撮像素子と、
    　前記第２撮像領域の撮像条件を前記第１撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、
    　前記第１撮像領域に含まれる画素と、前記第２撮像領域に含まれる画素と、前記第３撮像領域に含まれる画素と、のうちから前記第１撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、
    　前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体検出する検出部と、
    　を備える撮像装置。
  19. 　被写体を撮像する撮像領域を有する撮像素子と、　
    　前記撮像領域の撮像条件を設定する設定部と、
    　補間に用いる画素として選択された、前記撮像領域に含まれる画素から出力された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる撮像装置。
  20. 　第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、
    　前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素の補間に用いるための画素として選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える撮像装置。
  21. 　被写体を撮像する撮像領域を有する撮像素子と、　
    　前記撮像領域の撮像条件を設定する設定部と、
    　前記撮像領域に含まれる画素から選択された、ノイズを低減するための信号を出力する画素から出力された信号によりノイズが低減された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる撮像装置。
  22. 　第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、前記第２撮像条件と異なる第３撮像条件で被写体を撮像するように設定された第３撮像領域と、を有する撮像素子と、
    　前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから、前記第１撮像領域に含まれる画素をノイズの低減に用いるために選択する選択部と、
    　前記第１撮像領域に含まれる画素の信号のノイズの低減に用いるための信号を出力する画素として、前記第２撮像領域に含まれる画素と前記第３撮像領域に含まれる画素とのうちから選択された画素から出力された信号によりノイズが低減された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える撮像装置。
  23. 　第１撮像条件で被写体を撮像するように設定された第１撮像領域と、前記第１撮像条件と異なる第２撮像条件で被写体を撮像するように設定された第２撮像領域と、を有する撮像素子と、
    　前記第１撮像領域に含まれる画素のノイズを低減するために用いる信号を出力する画素として、前記第１撮像領域に含まれる画素と前記第２撮像領域に含まれる画素とのうちから選択された画素から出力された信号により補間された信号を用いて前記第１撮像領域で撮像された被写体を検出する検出部と、
    　を備える撮像装置。
  24. 　被写体を撮像する撮像領域を有する撮像素子と、　
    　前記撮像領域の撮像条件を設定する設定部と、
    　画像処理をするための画素をとして選択された画素から出力された信号により画像処理された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記設定部により設定された撮像条件により、前記選択する画素の少なくとも一部の画素が異なる撮像装置。
  25. 　撮像素子の撮像領域に含まれる画素から出力された信号から補間に用いるための信号を選択する選択部と、
    　前記選択部により選択された信号により補間された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記選択部は、前記撮像領域に設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる被写体検出装置。
  26. 　撮像素子の撮像領域に含まれる画素から出力された信号からノイズを低減するための信号を選択する選択部と、
    　前記選択部により選択された信号によりノイズが低減された信号を用いて前記撮像領域で撮像された被写体を検出する検出部と、を備え、
    　前記選択部は、前記撮像領域に設定された撮像条件により前記選択する画素の少なくとも一部の画素が異なる被写体検出装置。
     
     
     
PCT/JP2016/078314 2015-09-30 2016-09-26 被写体検出装置および撮像装置 WO2017057293A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017543271A JP6604385B2 (ja) 2015-09-30 2016-09-26 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-195287 2015-09-30
JP2015195287 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057293A1 true WO2017057293A1 (ja) 2017-04-06

Family

ID=58427447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078314 WO2017057293A1 (ja) 2015-09-30 2016-09-26 被写体検出装置および撮像装置

Country Status (2)

Country Link
JP (1) JP6604385B2 (ja)
WO (1) WO2017057293A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008156049A1 (ja) * 2007-06-16 2008-12-24 Nikon Corporation 固体撮像素子及びこれを用いた撮像装置
JP2012249195A (ja) * 2011-05-30 2012-12-13 Canon Inc 撮像装置
JP2012256964A (ja) * 2011-06-07 2012-12-27 Nikon Corp 撮像装置
JP2014179911A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
JP2015041971A (ja) * 2013-08-23 2015-03-02 株式会社ニコン 撮像素子および撮像装置
JP2015056710A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 撮像装置、およびその制御方法、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008156049A1 (ja) * 2007-06-16 2008-12-24 Nikon Corporation 固体撮像素子及びこれを用いた撮像装置
JP2012249195A (ja) * 2011-05-30 2012-12-13 Canon Inc 撮像装置
JP2012256964A (ja) * 2011-06-07 2012-12-27 Nikon Corp 撮像装置
JP2014179911A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
JP2015041971A (ja) * 2013-08-23 2015-03-02 株式会社ニコン 撮像素子および撮像装置
JP2015056710A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 撮像装置、およびその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP6604385B2 (ja) 2019-11-13
JPWO2017057293A1 (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
JP7052850B2 (ja) 撮像装置
WO2017057279A1 (ja) 撮像装置、画像処理装置、および表示装置
WO2017170723A1 (ja) 撮像装置、画像処理装置、および電子機器
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
WO2017057492A1 (ja) 撮像装置および画像処理装置
JP2024045553A (ja) 撮像装置
JPWO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
JP6604385B2 (ja) 撮像装置
JP6589988B2 (ja) 撮像装置
JP6589989B2 (ja) 撮像装置
WO2017170726A1 (ja) 撮像装置および電子機器
WO2017057494A1 (ja) 撮像装置および画像処理装置
JP6521085B2 (ja) 撮像装置、および制御装置
WO2017057267A1 (ja) 撮像装置、および焦点検出装置
WO2017057280A1 (ja) 撮像装置、および被写体検出装置
WO2017057493A1 (ja) 撮像装置および画像処理装置
WO2017057495A1 (ja) 撮像装置および画像処理装置
JPWO2017170719A1 (ja) 撮像装置、および電子機器
JPWO2017170718A1 (ja) 撮像装置、被写体検出装置、および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851464

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543271

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851464

Country of ref document: EP

Kind code of ref document: A1