WO2019111659A1 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2019111659A1
WO2019111659A1 PCT/JP2018/042073 JP2018042073W WO2019111659A1 WO 2019111659 A1 WO2019111659 A1 WO 2019111659A1 JP 2018042073 W JP2018042073 W JP 2018042073W WO 2019111659 A1 WO2019111659 A1 WO 2019111659A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
luminance
area
representative
calculation
Prior art date
Application number
PCT/JP2018/042073
Other languages
English (en)
French (fr)
Inventor
和也 沖山
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880078098.9A priority Critical patent/CN111434104B/zh
Priority to JP2019558099A priority patent/JP6741881B2/ja
Publication of WO2019111659A1 publication Critical patent/WO2019111659A1/ja
Priority to US16/894,174 priority patent/US11838648B2/en

Links

Images

Classifications

    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program, and more particularly to an image processing apparatus that performs high dynamic range processing, an imaging apparatus, an image processing method, and a program.
  • High dynamic range processing is one of methods for expressing the dynamic range of a subject more broadly as a captured image.
  • Patent Document 1 describes a technique aimed at acquiring a photographed image in which the occurrence of overexposure or blackout is suppressed even in backlit lighting. Specifically, Patent Document 1 aims to obtain an image in which overexposure and underexposure are suppressed by combining a high exposure image, an intermediate exposure image, and a low exposure image to obtain a composite image. Technologies are described.
  • tone mapping is performed on a captured image to make the image displayable contrast.
  • a method of tone mapping for example, there are a case where the image can be displayed by lowering the contrast as a whole and a case where the image can be displayed by adjusting the local contrast.
  • representative brightness reference brightness
  • tone mapping is performed based on the representative brightness.
  • the representative luminance is, for example, the average luminance of the entire image as the representative luminance.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus, an imaging apparatus, an image processing method, and a program capable of performing high dynamic range processing reflecting the photographing intention of the photographer. To provide.
  • an image processing apparatus includes a photometric mode information acquisition unit that acquires photometric mode information indicating a photometric mode set from a plurality of photometric modes, and photometric mode information. Based on the target area setting unit that sets the target area used to calculate the representative luminance used for high dynamic range processing, and based on the luminance information in the target area set by the target area setting unit, the representative luminance is calculated And a first condition determination unit that determines a first condition of the high dynamic range processing based on the representative luminance calculated by the first luminance calculation unit.
  • the first condition determining unit determines the first condition of the high dynamic range processing in which gradations of nearby luminance including the representative luminance are allocated more than gradations of other luminances. In this manner, according to this aspect, it is possible to realize the determination of the condition of the high dynamic range process in which the photographing intention of the photographer is reflected by the rich gradation being expressed in the vicinity of the representative luminance.
  • the metering area in the metering mode information is set to the focusing area by the focusing area setting unit. Therefore, the representative brightness based on the brightness information of the same area as the metering area in the metering mode selected by the photographer. Is calculated.
  • the attention area setting unit sets weighting to luminance information in the peripheral area which is an area other than the attention area according to the distance from the attention area, and the first luminance calculation unit calculates the weighted surroundings The representative luminance is calculated based on the luminance information of the area and the luminance information of the attention area.
  • the contribution ratio of the luminance information of the person area is increased by the first luminance calculation unit to calculate the representative luminance, and therefore, based on the luminance information of the photographing area of the person who is the photographer's photographing intention. Also, high dynamic range processing is realized.
  • the condition of tone mapping is set based on the representative luminance, so the high dynamic range processing is performed. It is possible to reflect the photographing intention of the photographer even in high dynamic range processing by image synthesis which is one aspect of the present invention.
  • the condition of the tone curve selected based on the representative luminance is set by the first condition determination unit. Also, in the high dynamic range processing of changing the tone curve of a single photographed image, which is one aspect of the high dynamic range processing, it is possible to reflect the photographing intention of the photographer.
  • the image processing apparatus includes a tone mapping unit that performs contrast correction based on the first condition of high dynamic range processing determined by the first condition determination unit, and the tone mapping unit measures the distance from the area of interest Make contrast correction according to
  • the image processing apparatus acquires an imaging mode information acquisition unit that acquires imaging mode information that is information related to an imaging mode for imaging a subject, and imaging mode information acquired by the imaging mode information acquisition unit. And an upper limit / lower limit determination unit that determines an upper limit or lower limit of the brightness information in the area of interest used for calculation, and the first brightness calculation unit calculates the representative brightness based on the brightness information provided with the upper limit or lower limit. Do.
  • the imaging mode information acquisition unit acquires imaging mode information that is information related to the imaging mode for imaging the subject, and based on the acquired imaging mode information, the area within the area of interest used to calculate the representative brightness.
  • An upper limit or a lower limit is determined for the luminance information.
  • the image processing apparatus acquires a focus information acquisition unit that acquires information on a focused position of a captured image, and a distance measurement information acquisition unit that acquires first distance information that is distance information of a plurality of areas in the captured image.
  • a distance information calculation unit that calculates second distance information that is information of a distance from the in-focus position for each of the plurality of areas based on the information on the in-focus position and the first distance information on the plurality of areas
  • an area determination unit that determines a representative luminance calculation area for obtaining luminance information used for calculation of representative luminance used for high dynamic range processing for each of the plurality of areas based on the second distance information; High dynamic range processing based on the second luminance calculation unit that calculates representative luminance based on luminance information in the calculation area, and the representative luminance calculated by the second luminance calculation unit
  • a second condition determination unit that determines a second condition; and a condition selection unit that determines whether high dynamic range processing is to be performed according to the first condition or the second condition based on photo
  • the representative luminance used in the high dynamic range processing is calculated based on the luminance information in the area of interest set based on the photometry mode information indicating the set photometry mode, and the in-focus state.
  • the calculation is performed based on the luminance information in the representative luminance calculation area determined using the distance information from the position.
  • the high dynamic range processing is performed based on the representative luminance calculated using the photometry mode information, and the photographer's imaging is performed.
  • the high dynamic range processing is performed based on the representative luminance in which the photographing intention of the photographer at the in-focus position is reflected.
  • the representative luminance used for the high dynamic range processing is calculated based on the luminance information in the representative luminance calculation area determined using the distance information from the in-focus position. And in this aspect, the conditions of high dynamic range processing are determined based on the representative luminance. The photographer determines the main subject with the shooting intention and focuses on the main subject. Therefore, this aspect can realize high dynamic range processing in line with the photographer's shooting intention.
  • the area determination unit determines a representative luminance calculation area based on the second distance information and the depth of field.
  • the area determination unit determines the representative luminance calculation area according to the depth of field reflecting the photographing intention of the photographer, so high dynamic range processing in which the photographing intention of the photographer is reflected Can be realized.
  • representative brightness used to calculate the representative brightness based on a shooting mode information acquisition unit that acquires shooting mode information that is information related to a shooting mode for shooting a subject, and the shooting mode information acquired by the shooting mode information acquisition unit
  • An upper limit / lower limit determination unit that determines an upper limit or a lower limit for the brightness information in the calculation area, and the second brightness calculation unit calculates the representative brightness based on the brightness information provided with the upper limit or the lower limit.
  • the imaging mode information acquisition unit acquires imaging mode information that is information related to the imaging mode for imaging the subject, and based on the acquired imaging mode information, the representative luminance calculation area used to calculate the representative luminance The upper limit or the lower limit is determined for the luminance information in Thereby, this aspect can enlarge the expansion range of the dynamic range in a specific imaging
  • photography scene for example, evening scene imaging
  • An imaging apparatus includes the above-described image processing apparatus.
  • An image processing method acquires a focus information acquisition step of acquiring information on a focus position of a captured image, and first distance information which is distance information of a plurality of areas in the captured image.
  • Second distance information which is information on the distance from the in-focus position, is calculated for each of the plurality of areas based on the distance measurement information acquisition step, the information on the in-focus position, and the first distance information of the plurality of areas Determining a representative luminance calculation area for obtaining luminance information to be used for calculation of representative luminance used for high dynamic range processing for each of a plurality of areas based on the distance information calculation step to be performed and the second distance information
  • the second brightness calculation step of calculating the representative brightness based on the step and the brightness information obtained in the representative brightness calculation area, and the second brightness calculation step
  • the Based on the representative luminance including a second condition determination step for determining a second condition of high dynamic range processing, a.
  • a program includes a focusing information acquiring step of acquiring information on a focusing position of a photographed image, and distance measurement of acquiring first distance information which is distance information of a plurality of areas in the photographed image.
  • a distance for calculating second distance information which is information on a distance from the in-focus position for each of the plurality of areas based on the information acquiring step, the information on the in-focus position and the first distance information on the plurality of areas
  • the second brightness calculation step of calculating the representative brightness based on the brightness information obtained in the representative brightness calculation area, and the second brightness calculation step. It was based on the representative luminance, to execute a second condition determination step for determining a second condition of high dynamic range processing, an image processing step comprising a computer.
  • the representative luminance reflecting the photographing intention of the photographer is calculated, and the condition of the high dynamic range processing is determined based on the representative luminance, so high dynamic according to the photographing intention of the photographer Range processing can be realized.
  • FIG. 10 is a flowchart showing an example of the image processing method.
  • FIG. 11 is a block diagram showing an example of the functional configuration of the image processing unit.
  • FIG. 12 is a diagram showing distance information of each object in a captured image.
  • FIG. 13 is a flowchart showing an example of the image processing method.
  • FIG. 14 is a block diagram showing an example of the functional configuration of the image processing unit.
  • FIG. 15 is a flowchart showing an example of the image processing method.
  • FIG. 16 is a view showing a focused area and a peripheral area other than the focused area in the photographed image.
  • FIG. 17 is a block diagram showing an example of a functional configuration.
  • the image processing apparatus of the present invention can be installed in a computer.
  • FIG. 1 is a front perspective view of a digital camera 2 which is an imaging device equipped with the image processing apparatus of the present invention.
  • FIG. 2 is a rear perspective view of the digital camera 2.
  • a display unit 8 constituted by a liquid crystal panel or the like, and an operation unit 9 directly operated by the user are provided.
  • the display unit 8 displays a live view image (through image) in the imaging standby state to function as an electronic view finder, and functions as a reproduction image display unit when reproducing a photographed image or a memory stored image.
  • the operation unit 9 is configured of an arbitrary operation device such as a mode change switch, an arrow key, and an execution key.
  • the mode changeover switch is operated by the user when switching the operation mode of the digital camera 2.
  • the operation mode of the digital camera 2 includes a shooting mode (auto shooting mode, manual shooting mode, continuous shooting mode, etc.) for shooting a subject and obtaining a shot image, and a playback mode for playing and displaying an image.
  • FIG. 3 is a block diagram showing a control processing system of the digital camera 2.
  • the main memory 24 is an area for temporarily storing image data, and is configured by a DRAM (Dynamic Random Access Memory) or the like.
  • the image data sent from the AD conversion unit 23 and stored in the main memory 24 is read by the image processing unit 31 controlled by the system control unit 25.
  • the image processing unit 31 uses the image data generated by the imaging device 21 as input image data, performs various image processing such as white balance correction, gamma correction processing, demosaicing processing, etc. It is stored in the memory 24.
  • the image data subjected to the image processing in the image processing unit 31 and stored in the main memory 24 is read out by the display control unit 35 and the compression / decompression unit 32.
  • the display control unit 35 controls the display unit 8 to display the image data read out from the main memory 24 on the display unit 8.
  • the image data output from the imaging device 21 and subjected to the image processing in the image processing unit 31 is displayed on the display unit 8 as an imaging confirmation image (post view image).
  • the compression / decompression unit 32 compresses the image data read from the main memory 24 and creates image data of an arbitrary compression format such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format). .
  • the image data after compression processing is stored in the external memory 10 by the storage control unit 33 that controls data storage processing to the external memory 10 and data readout processing from the external memory 10.
  • the imaging information is added to the image data in an arbitrary format, and for example, an Exif (Exchangeable image file format) format can be adopted.
  • the image data stored in the external memory 10 is read by the storage control unit 33 controlled by the system control unit 25, and the compression / decompression unit 32 After the decompression processing is performed by the above-mentioned process, it is stored in the main memory 24. Then, the image data is read from the main memory 24 by the display control unit 35 in the same procedure as the confirmation display of the photographed image, and the image data is reproduced and displayed on the display unit 8.
  • the AF processing function of the digital camera 2 integrates the absolute value of the high frequency component of the image data corresponding to the AF area captured when the shutter button 6 is half-pressed when the shutter button 6 is pressed at the first stage (half press).
  • the calculated value (AF evaluation value) is output to the system control unit 25.
  • the AE detection function integrates digital signals corresponding to the entire screen when there is a first-stage depression (half depression) of the shutter button 6, or image data with different weights at the center and periphery of the screen. It integrates and outputs the integrated value to the system control unit 25.
  • the system control unit 25 controls the main memory 24, the image processing unit 31, and the storage control unit 33 as described above, but also controls other units (an AF processing function and an AE detection function) in the digital camera 2.
  • the system control unit 25 When the shutter button 6 is half-depressed in the auto shooting mode, the system control unit 25 operates the AE detection function, calculates object brightness (image pickup Ev value) from the integrated value input from the AE detection function, and this image pickup Ev Based on the values, the aperture value of the aperture and the shutter speed (the charge accumulation time of the mechanical shutter 20 and / or the imaging device 21) are determined according to the program diagram, and when the shutter button 6 is fully pressed The diaphragm is controlled based on the above, the mechanical shutter 20 is controlled via the shutter drive unit 26 based on the determined shutter speed, and the charge accumulation time in the imaging device 21 is controlled via the imaging device drive unit not shown. Do.
  • the digital camera 2 is provided in advance with a plurality of photometric modes for measuring subject brightness.
  • photometry modes of “multi”, “spot”, “average”, and “center-weighted” are set in advance.
  • the imaging apparatus determines information such as the luminance distribution and color of the subject, the background, and the composition, and selects the photometry method.
  • the “spot” photometry mode is a method of photometry in which the exposure at the center of the screen is optimum.
  • the “spot” photometry mode is used when the brightness of the subject and the background is largely different, such as when the subject is backlit.
  • the “average” photometry mode is a photometry mode in which the entire screen (entire imaging range) is averaged to perform photometry.
  • the exposure does not easily change depending on the composition and subject, and is used for photographing a person and a landscape wearing a black and white clothes.
  • the “center-weighted” metering mode the exposure value is determined by metering the center of the photographic screen with emphasis.
  • the photographer selects and sets the photometric mode so as to obtain a photographed image that can be expressed according to his / her photographing intention. For example, the photographer selects and sets the photometry mode via the operation unit 9.
  • the system control unit 25 moves the focus lens of the lens unit 12 from close to infinity through the lens drive unit 27 and operates the AF processing function.
  • the AF evaluation value at each lens position is acquired from the AF processing function.
  • the in-focus position at which the AF evaluation value is maximized is searched, and the focus lens is moved to the in-focus position to perform focus adjustment on the subject (main subject).
  • the system control unit 25 acquires information on the in-focus position based on the movement position of the focus lens.
  • the system control unit 25 also has a function of performing distance measurement on an object within a shooting angle of view.
  • the system control unit 25 arranges phase difference pixels in the entire area of the imaging element 21 to acquire the subject distance of each subject existing in the imaging angle of view.
  • the system control unit 25 can obtain each subject distance obtained by a distance measuring device (not shown) configured by a laser or the like provided in the digital camera 2.
  • system control unit 25 controls the power supply control unit 28 to detect the presence or absence of a battery attached to the power supply 29, the type of battery, the remaining amount of battery, and the like.
  • the system control unit 25 also controls various processing units that constitute the image processing unit 31.
  • the system control unit 25 also acquires an operation signal from the user interface 36 including the shutter button 6, the power switch 7 and the operation unit 9, and performs various processing and device control according to the operation signal.
  • the system control unit 25 controls the power control unit 28 in response to the power on / off signal received from the power switch 7 to control on / off of the power supply 29.
  • Programs and data required for various processes and device control performed by the system control unit 25 are stored in the main memory 24.
  • the system control unit 25 can read out programs and data stored in the control memory 30 as necessary, and can store new programs and data in the control memory 30.
  • the photometric mode information acquisition unit 101 acquires photometric mode information indicating a photometric mode set from a plurality of photometric modes. That is, the photometric mode information acquisition unit 101 acquires information on the photometric mode selected and set by the photographer at the time of shooting. For example, the digital camera 2 is provided in advance with multi-spot, average-average, and center-weighted photometry modes, and the photographer can use the prepared photometry modes to express an expression according to his / her shooting intention at the time of AE. Select the metering mode so that you can.
  • the information acquired by the photometry mode information acquisition unit 101 includes information on how to calculate the photometry area or photometry value in the photometry mode.
  • FIG. 5 is a view showing a photographed image obtained by the digital camera 2.
  • a person A, a sun B, a mountain C, a ground D, and other (e.g., sky) E exist as objects.
  • the sun B is the maximum luminance object
  • the ground D is the minimum luminance object.
  • the photometry area 202 When the photometry area 202 is selected in the spot photometry mode, the luminance information of the area of the sun B or the area of the ground D becomes non-referenced (or the contribution rate is reduced and referred to). In this manner, by setting the photometric area 202 as the area of interest, the tone mapping process is performed so that the object in the photometric area 202 is photographed with the proper exposure in the selected photometric mode and the contrast in the photometric area 202 does not decrease. An image with high dynamic range processing can be generated.
  • the first luminance calculation unit 105 calculates representative luminance based on the luminance information in the area of interest set by the area of interest setting unit 103. For example, the first luminance calculation unit 105 calculates the average luminance in the area of interest, and obtains the representative luminance using the average luminance as luminance information. In addition, the first luminance calculation unit 105 may calculate the luminance in the area of interest as luminance information by another calculation method.
  • the representative luminance is the luminance serving as a reference when performing tone mapping. For example, when tone mapping is performed, in the predetermined range of luminance including the representative luminance, the gradation of the luminance in the vicinity including more representative luminance is allocated more than the gradation of the other luminance. That is, in the tone mapping, adjustment is performed so that the tone curve has the most inclination in the range near the representative luminance.
  • the first condition determination unit 107 determines the first condition of the high dynamic range processing based on the representative luminance calculated by the first luminance calculation unit 105. For example, the first condition determining unit 107 determines a first condition of high dynamic range processing in which gradations of nearby luminance including representative luminance are allocated more than gradations of other luminances. That is, the first condition determination unit 107 is configured such that the slope of the tone curve is most inclined in the luminance range of 3 to 10%, preferably 5 to 7%, of the entire luminance range including the representative luminance Ya. Perform tone mapping. The first condition of the high dynamic range processing determined by the first condition determination unit 107 is determined based on the representative luminance, and is, for example, a tone curve used in tone mapping.
  • FIG. 7 shows a case where the first condition is determined based on the representative luminance Ya calculated by the first luminance calculation unit 105.
  • the representative brightness Ya is the average brightness of the area of interest (photometry area 202) set by the area of interest setting unit 103.
  • the tone curve 207 corresponding to the representative luminance Ya is a tone curve in which the photographer's intention is reflected. That is, for the representative luminance Ya, the attention area is set based on the photometric mode selected by the photographer according to the photographing intention, and the average luminance of the attention area is set as the representative luminance. Therefore, the photographed image subjected to the high dynamic range processing in which the tone mapping is performed by the tone curve 207 is a reflection of the photographing intention of the photographer.
  • the high dynamic range processing unit 109 performs high dynamic range processing on the captured image.
  • the high dynamic range processing unit 109 may perform high dynamic range processing by combining a plurality of captured images, or may perform high dynamic range processing by applying a tone curve of a single captured image.
  • high dynamic range processing is performed by combining a plurality of captured images
  • high dynamic range processing is performed by generating one composite image from a plurality of captured images having different exposure conditions.
  • the dynamic range expansion processing is performed by correcting the output value of the signal of a single captured image, the signal is applied with a tone curve that suppresses blackout of dark areas and overexposure of light areas. Make corrections.
  • the captured image is imaged with a smaller exposure amount than the normal image, and a corrected image rich in gradation can be generated by correcting the output value of the signal of the captured image.
  • the high dynamic range processing unit 109 has a tone mapping unit 125.
  • the tone mapping unit 125 performs contrast correction based on the first condition of the high dynamic range processing determined by the first condition determination unit 107.
  • the tone mapping unit 125 performs tone mapping after the dynamic range is expanded or at the same time as the dynamic range is expanded. For example, the tone mapping unit 125 performs contrast correction according to the distance from the area of interest.
  • FIG. 8 and 9 are diagrams showing examples of tone curves determined based on the representative luminance of the present invention.
  • FIG. 8 shows a tone curve 209 that gives gradation to the shadow side. That is, the photographer's shooting intention is to express the picture on the shadow side in more detail, and the tone curve 209 is designed so that the gradations of the input values on the shadow side (input brightness) C1 to C2 become rich. There is. That is, the tone curve 209 is designed to have a portion where the slope of the tone curve 209 is maximum at the input values C1 to C2.
  • FIG. 9 shows a tone curve 211 for giving a gradation on the highlight side. That is, the shooting intention of the photographer is to express the picture on the highlight side in more detail, and the tone curve 211 is designed such that the input values (input brightness) D1 to D2 on the highlight side become rich. It is done. That is, the tone curve 211 is designed to have a portion where the slope of the tone curve 211 is maximum in the input values D1 to D2.
  • FIG. 10 is a flowchart showing an example of the image processing method of the present invention.
  • the photometric mode information acquisition unit 101 acquires information on the photometric mode set by the photographer (step S100: photometric mode information acquisition step). For example, the photometric mode information acquisition unit 101 acquires information on the photometric area of the photometric mode set in the digital camera 2.
  • the attention area setting unit 103 sets the attention area (attention area setting step). Specifically, the attention area setting unit 103 first determines whether the set photometric mode is a spot (step S101). When the photometry mode is set to the spot, the target area setting unit 103 sets the spot photometric area as the target area, and the first luminance calculator 105 calculates the average luminance of the spot photometric area (step S104). : First luminance calculation step). Then, the first luminance calculation unit 105 calculates the average luminance of the spot photometry area as the representative luminance.
  • the attention area setting unit 103 determines whether the photometry mode is set to the central area (step S102).
  • the attention area setting unit 103 sets the center-weighted metering area as the attention area
  • the first luminance calculation unit 105 sets the luminance of the center-weighted metering area. calculate.
  • the first brightness calculation unit 105 calculates the average brightness of the central weighted photometric area as the representative brightness (step S105: first brightness calculation step).
  • the attention area setting unit 103 determines whether the photometry mode is set to multi (step S103).
  • the attention area setting unit 103 sets an area corresponding to the shooting scene as the attention area.
  • the first luminance calculation unit 105 calculates the luminance of the set attention area.
  • the attention area setting unit 103 may set an area in which a person is detected as an attention area, or may set a detected backlight area as an attention area. That is, the attention area setting unit 103 sets an area to be subjected to photometry in the multi-metering mode as an attention area.
  • the first luminance calculation unit 105 calculates the average luminance of the area set as the attention area as the representative luminance (step S106: first luminance calculation step).
  • the attention area setting unit 103 sets, for example, the average luminance of the central area photometric area as the representative luminance (step S107: first luminance calculation step).
  • the main subject often comes to the central portion, and tone mapping can be performed in consideration of the luminance of the main subject by setting the average luminance of the central area photometry area.
  • the photometric mode described above is a specific example, and is not limited to this.
  • the photometry mode information acquisition unit 101 may acquire photometry mode information indicating a photometry mode in which a person area in which a person is detected is set as a photometry area.
  • the first luminance calculation unit 105 calculates representative luminance based on luminance information (average luminance) of the person area.
  • the first luminance calculation unit 105 may calculate the representative luminance by increasing the contribution ratio of the luminance of the person area.
  • the first condition determination unit 107 sets the calculated representative luminance as the representative luminance in the case of tone mapping, and determines the condition of high dynamic range processing (step S108: first condition determination step).
  • step S109 high dynamic range processing is performed on the captured image by the high dynamic range processing unit 109 (step S109), and in the tone mapping in this case, the tone curve calculated or selected based on the calculated representative luminance is It is set.
  • the hardware-like structure of a processing unit (processing unit) that executes various processes is various processors as described below.
  • the circuit configuration can be changed after manufacturing a central processing unit (CPU), an FPGA (field programmable gate array) that is a general-purpose processor that functions as various processing units by executing software (programs) for various processors.
  • Logic circuits Programmable Logic Devices: PLDs
  • ASICs Application Specific Integrated Circuits
  • dedicated electric circuits that are processors with a circuit configuration specifically designed to execute specific processing.
  • SoC system on chip
  • IC integrated circuit
  • circuitry circuitry
  • the focal length information (object distance information) in each distance measuring point area in the photographed image is used to estimate the area to be regarded as the main subject in the photographing intention of the photographer, and the luminance information of that area is estimated. Calculate the representative brightness.
  • FIG. 11 is a block diagram showing an example of a functional configuration of the image processing unit 31 of the present embodiment.
  • the image processing unit 31 includes a focusing information acquisition unit 113, a distance measurement information acquisition unit 115, a distance information calculation unit 117, an area determination unit 119, a second luminance calculation unit 121, and a second condition determination unit 123. And a high dynamic range processing unit 109.
  • symbol is attached
  • the focusing information acquisition unit 113 acquires information on the focusing position of the captured image.
  • the focusing information acquisition unit 113 acquires information on the focusing position of the captured image by a known technique.
  • the in-focus information acquisition unit 113 detects blurring of a captured image, and acquires information on the position of a portion without blurring.
  • phase difference pixels are disposed in the entire area of the imaging device 21, and the focusing information acquisition unit 113 acquires information on the focusing position based on the information from the phase difference pixels.
  • information on the focusing position may be acquired based on the AF frame.
  • the focusing information acquisition unit 113 acquires information on the focusing position in the shooting angle of view.
  • the distance measurement information acquisition unit 115 acquires first distance information which is distance information of a plurality of areas in the photographed image.
  • the distance measurement information acquisition unit 115 acquires first distance information of a photographed image using a known technique.
  • the distance information calculation unit 117 acquires first distance information in each area of the photographed image based on the distance information acquired by the phase difference pixels disposed in the entire area of the imaging device 21.
  • the distance measurement information acquisition unit 115 acquires first distance information by a distance measurement device (not shown) provided in the digital camera 2 and uses it as distance information (first distance information) of a plurality of areas in the photographed image. It is also good.
  • the distance information calculation unit 117 calculates second distance information which is information on the distance from the in-focus position for each of the plurality of areas based on the information on the in-focus position and the first distance information of the plurality of areas. Do.
  • the distance information calculation unit 117 acquires second distance information by a known technique.
  • the second distance information is the distance from the in-focus position to the optical axis direction.
  • the area determination unit 119 determines, based on the second distance information, for each of the plurality of areas, a representative brightness calculation area for obtaining the brightness used for calculation of the representative brightness used for the high dynamic range processing. For example, the area determination unit 119 determines a representative luminance calculation area based on the threshold value and the second distance information. Also, for example, the area determination unit 119 determines a representative luminance calculation area based on the second distance information and the depth of field at the in-focus position.
  • the second luminance calculation unit 121 calculates representative luminance based on the luminance obtained in the representative luminance calculation area. For example, the second luminance calculation unit 121 calculates the average luminance of the representative luminance calculation area as the representative luminance.
  • the second condition determination unit 123 determines the second condition of the high dynamic range processing based on the representative luminance calculated by the second luminance calculation unit 121.
  • FIG. 12 is a diagram showing the first distance information of each object in the photographed image.
  • the focal length (subject distance) is divided into A, B, C, D, and E in the order from the closest distance to the closest focal length (subject distance).
  • the focusing information acquisition unit 113 acquires position information of the area A.
  • the distance measurement information acquisition unit 115 may use, for example, phase difference pixels arranged in the imaging device 21 for focal distances (first distance information) regarding A, B, C, D, and E before acquisition of a captured image, for example. get.
  • the distance information calculation unit 117 calculates each distance (second distance information) of B, C, D, and E from the in-focus position.
  • the average luminance of the areas A to D is calculated by the second luminance calculator 121, and the representative luminance is calculated.
  • FIG. 13 is a flowchart showing an example of the image processing method of the present invention.
  • the in-focus information acquisition unit 113 acquires information on the in-focus position aimed by the photographer (step S200: in-focus information acquisition step). For example, the in-focus information acquisition unit 113 acquires XY coordinates that are information on the in-focus position in the captured image. Thereafter, the distance measurement information acquisition unit 115 acquires first distance information which is distance information of a plurality of areas in the photographed image (step S201: distance measurement information acquisition step). For example, the first distance information acquisition unit acquires first distance information on the relative distance from the in-focus position of each area in the imaging angle of view by the phase difference pixels arranged in the imaging device 21.
  • the distance information calculation unit 117 calculates second distance information which is distance information of each area from the first distance information and the information of the in-focus position (step S202: distance information calculation step).
  • the area determination unit 119 determines whether the distance from the in-focus position of each area is within the range of the depth of field (step S203: area determination step). Then, an area whose distance from the in-focus position is within the range of the depth of field is determined (counted) as a representative luminance calculation area (step S204), and the distance from the in-focus position is outside the range of the depth of field. It is determined that the area which is is not the representative brightness calculation area (step S205).
  • the second luminance calculation unit 121 calculates the luminance of the area determined as the representative luminance calculation area as the representative luminance (step S206: second luminance calculation step). For example, the second luminance calculation unit 121 calculates the average luminance of the area determined as the luminance calculation area as the representative luminance.
  • the second condition determining unit 123 sets the conditions for tone mapping of high dynamic range processing based on the representative luminance (step S207: second condition determining step). Specifically, the tone curve in the case of tone mapping is set based on the representative luminance.
  • high dynamic range processing is executed by the high dynamic range processing unit 109 (step S208).
  • the attention area is determined based on the information of the photometric mode, and as in the second embodiment, according to the information of the focal distance (subject distance information) of each area. This embodiment is combined with the case of determining the attention area.
  • FIG. 14 is a block diagram showing an example of a functional configuration of the image processing unit 31 of the present embodiment. The portions already described in FIG. 4 and FIG.
  • the image processing unit 31 includes a photometric mode information acquisition unit 101, an attention area setting unit 103, a first luminance calculation unit 105, a first condition determination unit 107 (so far referred to as the A group), Focusing information acquisition unit 113, ranging information acquisition unit 115, distance information calculation unit 117, area determination unit 119, second luminance calculation unit 121, second condition determination unit 123 (so far referred to as group B), A condition selection unit 127 and a high dynamic range processing unit 109 are provided.
  • the functional blocks described in the first embodiment are mainly described as a group A
  • the functional blocks described in the second embodiment are described as a group B.
  • the condition selection unit 127 determines whether high dynamic range processing is to be performed according to the first condition or the second condition based on the photometry mode information. That is, the condition selecting unit 127 uses the first condition determined by the functional block described in the A group or the second condition determined by the functional block described in the B group as the photometric mode information. Decide accordingly. That is, the condition selecting unit 127 performs high dynamic range processing on a first condition in which the attention area is determined by the photometry mode information and a second condition in which the attention area is determined by the focal length information of each area. Choose what to use. For example, when the spot or center-weighted metering mode is set, the condition selection unit 127 uses the first condition and is high because the photographer's intention is well reflected in the metering mode. It is decided to perform dynamic range processing, and if the other photometric mode is set, it is decided to use the second condition for high dynamic range processing.
  • the photometric mode information acquisition unit 101 acquires information on the photometric mode set by the photographer (step S300). Thereafter, the in-focus information acquisition unit 113 acquires information on the in-focus position aimed by the photographer (step S301). Then, the distance measurement information acquisition unit 115 acquires first distance information which is distance information of a plurality of areas in the photographed image (step S302). Thereafter, the distance information calculation unit 117 acquires distance information of each area from the first distance information and the information of the in-focus position (step S303).
  • the attention area setting unit 103 determines whether the photometry mode is set to the central area (step S306).
  • the attention area setting unit 103 sets the center-weighted metering area as the attention area
  • the first luminance calculation unit 105 sets the luminance of the center-weighted metering area. calculate.
  • the first brightness calculation unit 105 calculates the average brightness of the central weighted photometry area as the representative brightness (step S307).
  • the attention area setting unit 103 causes the area determination unit 119 to determine a representative luminance calculation area. That is, the area determination unit 119 determines whether the distance from the in-focus position of each area is within the range of the depth of field (step S308). Then, an area in which the distance from the in-focus position is within the range of the depth of field is determined as a representative luminance calculation area (step S309), and the area in which the distance from the in-focus position is outside the range of the depth of field Is determined not to be a representative luminance calculation area (step S310).
  • step S313 high dynamic range processing is performed on the captured image by the high dynamic range processing unit 109 (step S313), and in the tone mapping in this case, the tone curve calculated or selected based on the calculated representative luminance is It is set.
  • the brightness of the area around the area other than the area of interest or the brightness calculation area is also used to calculate the representative brightness.
  • the attention area setting unit 103 sets weighting to the luminance of the peripheral area which is an area other than the attention area according to the distance from the attention area, and the first luminance calculation unit 105 performs weighting.
  • the representative luminance is calculated based on the luminance of the surrounding area and the luminance of the attention area.
  • FIG. 16 is a view showing a focused area and a peripheral area other than the focused area in the photographed image.
  • a peripheral area (I) 213, a peripheral area (II) 215, and a peripheral area (III) 217 are set around the attention area 203.
  • the attention area setting unit 103 sets weights for the peripheral area (I) 213, the peripheral area (II) 215, and the peripheral area (III) 217.
  • the attention area setting unit 103 increases the proportion contributing to the representative luminance as the area is closer to the attention area with respect to the peripheral area (I) 213, the peripheral area (II) 215, and the peripheral area (III) 217. So, set the weighting.
  • the first luminance calculation unit 105 is representative based on the weighted peripheral area (I) 213, the peripheral area (II) 215, and the luminance information of the peripheral area (III) 217 and the luminance information of the area of interest. Calculate the brightness. For example, after the first luminance calculation unit 105 calculates the average luminance of each of the peripheral area (I) 213, the peripheral area (II) 215, and the peripheral area (III) 217 and applies the set weighting, The representative luminance is calculated by calculating the average luminance of the area of interest and adding the respective average luminances. Note that although the above description has been given with respect to the first embodiment (the attention area setting unit 103, the first luminance calculation unit 105), the second embodiment (the area determination unit 119, the second luminance calculation unit 121) This example also applies to.
  • ⁇ Modification 2> A second modification of the present invention will be described.
  • the upper limit or the lower limit is provided to the brightness information to calculate the representative brightness.
  • the upper limit / lower limit determination unit 129 determines the upper limit or the lower limit of the luminance information in the area of interest used for calculation of the representative luminance based on the imaging mode information acquired by the imaging mode information acquisition unit 111. That is, the upper limit / lower limit determination unit 129 determines the upper limit or the lower limit for the luminance information in the area of interest according to the photographing mode, and calculates the representative luminance using the luminance information in the range of the upper limit or the lower limit.
  • the first luminance calculation unit 105 calculates representative luminance based on the luminance provided with the upper limit or the lower limit. This makes it possible to make the dynamic range that can be expressed in high dynamic range processing more in line with the design intention.
  • the upper limit / lower limit determination unit 129 determines the upper limit or the lower limit for the luminance information in the representative luminance calculation area used to calculate the representative luminance. Then, the second luminance calculation unit 121 calculates the representative luminance based on the luminance provided with the upper limit or the lower limit.

Abstract

撮影者の撮影意図が反映されたハイダイナミックレンジ処理を行うことができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。画像処理装置（３１）は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部（１０１）と、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部（１０３）と、注目エリア設定部で設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出部（１０５）と、第１の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部（１０７）と、を備える。

Description

画像処理装置、撮像装置、画像処理方法、およびプログラム
　本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関し、特にハイダイナミックレンジ処理を行う画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。
　デジタルカメラなどでダイナミックレンジの広い被写体についての撮影画像を取得すると、ハイライト部分の白飛びやシャドウ部分の黒つぶれが発生することがある。被写体の持つダイナミックレンジをより広く撮影画像で表現させる方法の１つとして、ハイダイナミックレンジ処理（ダイナミックレンジ拡大処理）がある。
　例えば特許文献１では、逆光時の撮影であっても白飛びや黒つぶれの発生が抑制された撮影画像を取得することを目的とした技術が記載されている。具体的には、特許文献１では、高露出画像、中間露出画像、および低露出画像を合成して、合成画像を得ることにより、白飛びや黒つぶれが抑制された画像を得ることを目的とした技術が記載されている。
特開２０１３－２１４８７８号公報
　ハイダイナミックレンジ処理を行う場合に、トーンマッピングという処理がある。撮影画像に対してトーンマッピングを行うことにより、画像を表示可能なコントラストにする。ここでトーンマッピングの手法として例えば、全体的にコントラストを下げることにより表示可能な画像にする場合と、局所的なコントラストを調整することにより表示可能な画像にする場合とがある。
　局所的にコントラストの調整を行う場合には、代表輝度（基準輝度）を決定し、その代表輝度に基づいて、トーンマッピングが行われる。ここで代表輝度は例えば、画像全体の平均輝度を代表輝度とすることが知られている。
　しかしながら、画像にはユーザが主被写体として捉えていない被写体も存在することがあり、ハイダイナミックレンジ処理における画像合成時に非主被写体の明エリア、または暗エリアの輝度についても、代表輝度の算出に使用されてしまう。このように算出された代表輝度に基づいてトーンマッピングが行われると、ハイダイナミックレンジ処理後の画像の全体のコントラストが低下したり、撮影者の意図したハイダイナミックレンジ処理後の画像が得られない場合がある。
　さらに逆光シーンのようなシャドウ部とハイライト部の明暗差が大きい場合には、シャドウ部に豊かな階調を持たせるか、ハイライト部に豊かな階調を持たせるかで、得られる画像の印象は大きく変わってくる。したがって、階調を豊かにしたい輝度に応じてトーンカーブを決定する必要がある。よって、撮影者の撮影意図が反映された代表輝度に応じてトーンカーブが決定されることにより、撮影者の撮影意図に沿った画像を得ることができる。
　ここで、撮影者は撮影時に自分の撮影意図を反映させるためにカメラの設定を行う場合がある。撮影者が撮影意図を反映させる場合として、例えば、撮影者は撮影時の測光モードを選択することにより、撮影画像の明るさにおいて、撮影者の撮影意図を反映させる。また、撮影者が撮影意図を反映させる他の場合として、撮影者は撮影意図をもって主被写体を決定し、その主被写体に対して合焦をさせる。このように、撮影者は自分の撮影意図に沿った画像を取得するために、カメラに設定を施す。
　このような撮影者の撮影意図が反映された設定をトーンマッピングにおける代表輝度に反映させることにより、ハイダイナミックレンジ処理を行った画像において、撮影者の意図が反映された画像を得ることができる。上述の特許文献１には、撮影者の撮影意図を反映させたハイダイナミックレンジ処理に関して言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、撮影者の撮影意図が反映されたハイダイナミックレンジ処理を行うことができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することである。
　上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部と、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部と、注目エリア設定部で設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出部と、第１の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部と、を備える。
　本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、設定された測光モードを示す測光モード情報に基づいて設定された注目エリア内の輝度情報に基づいて、算出される。そして本態様では、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定される。したがって、本態様は、撮影者の撮影意図に沿ったハイダイナミックレンジ処理の条件の決定を実現することができる。
　好ましくは、第１の条件決定部は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件を決定する。
　本態様によれば、第１の条件決定部により、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件が決定される。これにより、本態様は、代表輝度の近傍において階調が豊かに表現されることにより、撮影者の撮影意図が反映されたハイダイナミックレンジ処理の条件の決定を実現することができる。
　好ましくは、注目エリア設定部は、測光モード情報における測光エリアを注目エリアに設定する。
　本態様によれば、注目エリア設定部により、測光モード情報における測光エリアが注目エリアに設定されるので、撮影者が選択した測光モードでの測光エリアと同様のエリアの輝度情報に基づいて代表輝度が算出される。
　好ましくは、注目エリア設定部は、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けを設定し、第１の輝度算出部は、重み付けがされた周辺エリアの輝度情報、および注目エリアの輝度情報に基づいて、代表輝度を算出する。
　本態様によれば、注目エリア設定部により、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けが設定され、第１の輝度算出部により、重み付けがされた周辺エリアの輝度情報、および注目エリア内の輝度情報に基づいて、代表輝度が算出される。これにより、本態様は、注目エリア内の輝度情報だけでなく注目エリアの周辺の周辺エリアの輝度情報に基づいて、代表輝度が算出されるので、撮影者の撮影意図を反映させつつ、撮影画像の全体の輝度が反映されたハイダイナミックレンジ処理の条件の決定を実現することができる。
　好ましくは、測光モード情報取得部は、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報を取得し、第１の輝度算出部は、人物エリアの輝度情報に基づいて、代表輝度を算出する。
　本態様によれば、測光モード情報取得部により、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報が取得され、第１の輝度算出部により、人物エリアの輝度情報に基づいて、代表輝度が算出される。これにより、本態様は、撮影者の撮影意図である人物の撮影に合ったハイダイナミックレンジ処理が行われる。
　好ましくは、第１の輝度算出部は、人物エリアの輝度情報の寄与率を高めて、代表輝度を算出する。
　本態様によれば、第１の輝度算出部により、人物エリアの輝度情報の寄与率を高めて、代表輝度が算出されるので、撮影者の撮影意図である人物の撮影エリアの輝度情報に基づいた、ハイダイナミックレンジ処理が実現される。
　好ましくは、第１の条件決定部は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件を設定する。
　本態様によれば、第１の条件決定部により、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件が設定されるので、ハイダイナミックレンジ処理の一つの態様である画像合成によるハイダイナミックレンジ処理においても撮影者の撮影意図を反映させることが可能となる。
　好ましくは、第１の条件決定部は、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件を設定する。
　本態様によれば、第１の条件決定部により、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件が設定されるので、ハイダイナミックレンジ処理の一つの態様である単数の撮影画像のトーンカーブを変えるハイダイナミックレンジ処理においても撮影者の撮影意図を反映させることが可能となる。
　好ましくは、画像処理装置は、第１の条件決定部で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正を行うトーンマッピング部を備え、トーンマッピング部は、注目エリアからの距離に応じて、コントラスト補正を行う。
　本態様によれば、トーンマッピング部により、第１の条件決定部で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正が行われる。また、トーンマッピング部により、注目エリアから距離に応じてコントラスト補正が行われる。これにより、本態様は、撮影者の撮影意図を反映したトーンマッピングを実現することができる。
　好ましくは、画像処理装置は、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、撮影モード情報取得部で取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報の上限または下限を決定する上限下限決定部と、を備え、第１の輝度算出部は、上限または下限が設けられた輝度情報に基づいて、代表輝度を算出する。
　本態様によれば、撮影モード情報取得部により、被写体の撮影の撮影モードに関する情報である撮影モード情報が取得され、取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報に上限または下限が決定される。これにより、本態様は、特定の撮影シーンにおいて（例えば夕景撮影、夜景撮影、および花火撮影）、ダイナミックレンジの拡大範囲を大きくすることができる。
　好ましくは、画像処理装置は、撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、代表輝度算出エリア内の輝度情報に基づいて、代表輝度を算出する第２の輝度算出部と、第２の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、測光モード情報に基づいて、第１の条件または第２の条件により、ハイダイナミックレンジ処理を行うかを決定する条件選択部と、を備える。
　本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、設定された測光モードを示す測光モード情報に基づいて設定された注目エリア内の輝度情報に基づいて算出される場合と、合焦位置からの距離情報を用いて決定される代表輝度算出エリア内の輝度情報に基づいて算出される場合とを有する。そして、測光モード情報を用いて算出された代表輝度に基づいて決定された第１の条件、または、合焦位置からの距離情報を用いて算出された代表輝度に基づいて決定された第２の条件、を使用してハイダイナミックレンジ処理を行うかが、測光モード情報により決定される。これにより、本態様は、撮影者の撮影意図が良く反映された測光モードである場合には、測光モード情報を用いて算出された代表輝度に基づいてハイダイナミックレンジ処理を行い、撮影者の撮影意図があまり反映されないような測光モードである場合には、合焦位置による撮影者の撮影意図が反映された代表輝度に基づいてハイダイナミックレンジ処理を行う。
　本発明の他の態様である画像処理装置は、撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、代表輝度算出エリア内の輝度情報に基づいて、代表輝度を算出する第２の輝度算出部と、第２の輝度算出部で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、を備える。
　本態様によれば、ハイダイナミックレンジ処理に用いられる代表輝度は、合焦位置からの距離情報を用いて決定される代表輝度算出エリア内の輝度情報に基づいて算出される。そして本態様では、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定される。撮影者は、撮影意図をもって主被写体を決定し、その主被写体に対して合焦させる。したがって、本態様は、撮影者の撮影意図に沿ったハイダイナミックレンジ処理を実現することができる。
　好ましくは、第２の条件決定部は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第２の条件を決定する。
　好ましくは、エリア決定部は、第２の距離情報と被写界深度とに基づいて、代表輝度算出エリアを決定する。
　本態様によれば、エリア決定部により、撮影者の撮影意図が反映された被写界深度に応じた代表輝度算出エリアが決定されるので、撮影者の撮影意図が反映されたハイダイナミックレンジ処理を実現することができる。
　好ましくは、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、撮影モード情報取得部で取得された撮影モード情報に基づいて、代表輝度を算出に用いる代表輝度算出エリア内の輝度情報に上限または下限を決定する上限下限決定部と、を備え、第２の輝度算出部は、上限または下限が設けられた輝度情報に基づいて、代表輝度を算出する。
　本態様によれば、撮影モード情報取得部により、被写体の撮影の撮影モードに関する情報である撮影モード情報が取得され、取得された撮影モード情報に基づいて、代表輝度の算出に用いる代表輝度算出エリア内の輝度情報に上限または下限が決定される。これにより、本態様は、特定の撮影シーンにおいて（例えば夕景撮影、夜景撮影、および花火撮影）、ダイナミックレンジの拡大範囲を大きくすることができる。
　本発明の他の態様である撮像装置は、上述の画像処理装置を備える。
　本発明の他の態様である画像処理方法は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る注目エリアを設定する注目エリア設定ステップと、注目エリア設定ステップで設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出ステップと、第１の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の条件を決定する第１の条件決定ステップと、を含む。
　本発明の他の態様である画像処理方法は、撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、代表輝度算出エリアで得られる輝度情報に基づいて、代表輝度を算出する第２の輝度算出ステップと、第２の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、を含む。
　本発明の他の態様であるプログラムは、複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る注目エリアを設定する注目エリア設定ステップと、注目エリア設定ステップで設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する第１の輝度算出ステップと、第１の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の条件を決定する第１の条件決定ステップと、を含む画像処理工程をコンピュータに実行させる。
　本発明の他の態様であるプログラムは、撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、代表輝度算出エリアで得られる輝度情報に基づいて、代表輝度を算出する第２の輝度算出ステップと、第２の輝度算出ステップで算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、を含む画像処理工程をコンピュータに実行させる。
　本発明によれば、撮影者の撮影意図が反映された代表輝度を算出し、その代表輝度に基づいて、ハイダイナミックレンジ処理の条件が決定されるので、撮影者の撮影意図に沿ったハイダイナミックレンジ処理を実現することができる。
図１は、デジタルカメラの正面斜視図である。 図２は、デジタルカメラの背面斜視図である。 図３は、デジタルカメラの制御処理系を示すブロック図である。 図４は、画像処理部の機能構成例を示すブロック図である。 図５は、撮影画像を示す図である。 図６は、代表輝度に応じたトーンカーブを示す図である。 図７は、代表輝度に応じたトーンカーブを示す図である。 図８は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。 図９は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。 図１０は、画像処理方法の例を示すフローチャートである。 図１１は、画像処理部の機能構成例を示すブロック図である。 図１２は、撮影画像にある各オブジェクトの距離情報に関して示す図である。 図１３は、画像処理方法の例を示すフローチャートである。 図１４は、画像処理部の機能構成例を示すブロック図である。 図１５は、画像処理方法の例を示すフローチャートである。 図１６は、撮影画像において注目エリアと注目エリア以外の周辺エリアを示した図である。 図１７は、機能構成例を示すブロック図である。
　添付図面に従って本発明にかかる画像処理装置、撮像装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。
　以下の説明では主に、撮像装置に搭載される画像処理装置に関して説明するが、本発明の適用範囲はそれに限定されるものではない。例えば、本発明の画像処理装置は、コンピュータに搭載することも可能である。
　図１は、本発明の画像処理装置が搭載された撮像装置であるデジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。
　デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４およびカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。
　カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６および電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮像指示を受け付ける撮像指示部であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。電源スイッチ７は、デジタルカメラ２の電源のオンおよびオフの切り換え指示をユーザから受け付ける電源切換部である。
　カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮像待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。
　操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード（オート撮影モード、マニュアル撮影モードおよび連写モード等）、画像を再生表示する再生モード等がある。
　オート撮影モードは、焦点調節を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能、絞り値およびシャッタ速度を自動的に設定する自動露出（ＡＥ：Auto Exposure）機能等が使用されるモードであり、マニュアル撮影モードは、焦点調節、絞り値およびシャッタ速度等を、ユーザが操作部９を使用して適宜設定可能にするモードである。
　一方、十字キーおよび実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。
　カメラ本体３の底部（図示省略）には、外部メモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。外部メモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。外部メモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体を外部メモリ１０として用いることが可能である。
　図３は、デジタルカメラ２の制御処理系を示すブロック図である。
　被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。レンズ部１２は、撮像レンズおよび絞りを含む撮像光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。
　メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。
　画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。
　一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。
　外部メモリ１０に保存されている画像データを再生する再生モードにおいて、外部メモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にメインメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってメインメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。
　デジタルカメラ２のＡＦ処理機能は、シャッタボタン６の第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。
　ＡＥ検出機能は、シャッタボタン６の第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。
　システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。
　システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、ＡＥ検出機能を動作させ、ＡＥ検出機能から入力する積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞りの絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定し、シャッタボタン６が全押しされると、決定した絞り値に基づいて絞りを制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２６を介してメカニカルシャッタ２０を制御し、また、図示しない撮像素子駆動部を介して撮像素子２１での電荷蓄積時間を制御する。
　デジタルカメラ２には、被写体輝度の測定を行う複数の測光モードが予め備えられている。例えば、デジタルカメラ２には、「マルチ」、「スポット」、「アベレージ」、および「中央部重点」の測光モードが予め設定されている。例えば、「マルチ」の測光モードは、被写体の輝度分布や色、背景や構図などの情報を撮像装置が判断し、測光方式を選択する。また例えば「スポット」の測光モードは、画面中央部の露出が最適になるような測光する方法である。なお「スポット」の測光モードは、逆光時など、被写体と背景の明るさが大きく異なるときなどに使用される。また例えば「アベレージ」の測光モードは、画面全体（撮影範囲全体）を平均して測光する測光モードである。なお「アベレージ」の測光モードでは、構図や被写体により露出が変化しにくく、白や黒の服を着た人物や風景の撮影などに使用される。また例えば「中央部重点」の測光モードでは、撮影画面の中央部を重点的に測光して露出値を決定する。
　このように予め設定された複数の測光モードより、撮影者は、自分の撮影意図に沿った表現が可能な撮影画像を取得できるように、測光モードを選択し設定する。例えば、撮影者は、操作部９を介して測光モードを選択して設定する。
　システム制御部２５は、オート撮影モード時にシャッタボタン６が半押しされると、レンズ駆動部２７を介してレンズ部１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主被写体）への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。
　また、システム制御部２５は、撮影画角内の被写体に関して測距を行う機能を有する。例えばシステム制御部２５は、撮像素子２１の全域に位相差画素を配することによって、撮影画角内に存在する各被写体の被写体距離を取得する。また例えば、システム制御部２５は、デジタルカメラ２に備えられたレーザ等で構成される測距装置（不図示）により得られる各被写体距離を得ることも可能である。
　またシステム制御部２５は、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。
　またシステム制御部２５は、シャッタボタン６、電源スイッチ７および操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオンおよびオフをコントロールする。
　システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。
　［第１の実施形態］
　次に、本発明の第１の実施形態の画像処理部（画像処理装置）３１に関して説明する。図４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。本実施形態の画像処理部３１は、測光モード情報取得部１０１、注目エリア設定部１０３、第１の輝度算出部１０５、第１の条件決定部１０７、およびハイダイナミックレンジ処理部１０９で構成される。
　測光モード情報取得部１０１は、複数の測光モードから設定された測光モードを示す測光モード情報を取得する。すなわち、測光モード情報取得部１０１は、撮影者が撮影時に選択して設定した測光モードに関する情報を取得する。例えばデジタルカメラ２には、予めマルチ、スポット、アベレージ、および中央部重点の測光モードが用意されており、撮影者はＡＥ時に、用意された測光モードの中から自分の撮影意図に沿った表現ができるように、測光モードを選択する。測光モード情報取得部１０１が取得する情報は、測光モードにおける測光エリアまたは測光値の計算の仕方に関する情報を含む。後で説明をするが、代表輝度の算出に用いるための注目エリアを決定するのに必要な情報が含まれていれば、測光モード情報取得部１０１が取得する情報として十分である。例えば、測光モード情報取得部１０１が取得する情報としては、設定された測光モードにおける測光エリアに関する情報である。
　注目エリア設定部１０３は、測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する。すなわち、注目エリア設定部１０３は、撮影者が選択した測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出エリアを設定することにより、ハイダイナミックレンジ処理に撮影者の撮影意図を反映させることができる。例えば、注目エリア設定部１０３は、測光モード情報における測光エリアを注目エリアに設定する。
　図５は、デジタルカメラ２で取得された撮影画像を示す図である。
　撮影画像２０１にはオブジェクトとして人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅが存在している。なお、撮影画像２０１の場合では、太陽Ｂが最大輝度オブジェクトであり、地面Ｄが最低輝度オブジェクトであるものとする。
　撮影画像２０１のシーンでは、従来のハイダイナミックレンジ処理では、人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅの輝度を用いてハイダイナミックレンジ処理を行うために、画像全体のコントラストが低下し、撮影者の意図した画像とならないことがあった。
　スポットの測光モードの場合で測光エリア２０２が選択されていると、太陽Ｂのエリアや地面Ｄのエリアの輝度情報が非参照（または寄与率を下げて参照）となる。このように、測光エリア２０２を注目エリアと設定することにより、選択された測光モードにより測光エリア２０２のオブジェクトが適正露出で撮影され、かつ測光エリア２０２内のコントラストが低下しないようなトーンマッピング処理でハイダイナミックレンジ処理が行われた画像を生成することができる。
　第１の輝度算出部１０５は、注目エリア設定部１０３で設定された注目エリア内の輝度情報に基づいて、代表輝度を算出する。例えば第１の輝度算出部１０５は、注目エリア内の平均輝度を算出し、その平均輝度を輝度情報として代表輝度を得る。また、第１の輝度算出部１０５は、その他の計算方法により注目エリア内の輝度を輝度情報として算出してもよい。ここで、代表輝度とは、トーンマッピングを行う場合に基準となる輝度である。例えば、トーンマッピングを行う場合には、代表輝度を含む所定の範囲の輝度において、より多くの代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる。すなわち、トーンマッピングにおいて、代表輝度の近傍の範囲においてはトーンカーブが最も傾きを有するように調整が行われる。
　第１の条件決定部１０７は、第１の輝度算出部１０５で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第１の条件を決定する。例えば第１の条件決定部１０７は、代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てるハイダイナミックレンジ処理の第１の条件を決定する。すなわち、第１の条件決定部１０７は、代表輝度Ｙａを含む全体の輝度の範囲の３から１０％、好ましくは５から７％の範囲の輝度範囲において、最もトーンカーブの傾きが傾くように、トーンマッピングを行う。なお、第１の条件決定部１０７で決定されるハイダイナミックレンジ処理の第１の条件は、代表輝度に基づいて決定されるものであり、例えばトーンマッピングで用いられるトーンカーブである。
　第１の条件決定部１０７は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理において、代表輝度に基づいてトーンマッピングの条件を設定する。また第１の条件決定部１０７は、単数の撮影画像のトーンカーブを変えることにより行われるハイダイナミックレンジ処理において、代表輝度に基づいて選択されるトーンカーブの条件を設定する。すなわち、第１の条件決定部１０７は、複数の撮影画像を合成することにより行われるハイダイナミックレンジ処理と、単数の撮影画像をコントラスト補正することにより行われるハイダイナミックレンジ処理とに関するハイダイナミックレンジ処理の条件を設定する。
　図６および図７は、代表輝度に応じたトーンカーブを示す図である。
　図６は、従来より行われている方法で代表輝度が算出され、決定された代表輝度により、トーンマッピングをする場合を示している。すなわち、撮影画像の全体の平均輝度を算出して、その平均輝度ＹＣｅｎｔｅｒを代表輝度としてトーンカーブ２０５の作成が行われている。トーンカーブ２０５でコントラスト補正がされる画像は、撮影画像の全域の平均輝度ＹＣｅｎｔｅｒを代表輝度としているので、必ずしも撮影者の撮影意図が反映されたトーンカーブとならない場合がある。なお、図中のＹａ、Ｙｂ、Ｙｃ、Ｙｄ、Ｙｅはそれぞれ、人物Ａ、太陽Ｂ、山Ｃ、地面Ｄ、およびその他（空など）Ｅの平均輝度を示す。
　図７は、第１の輝度算出部１０５で算出された代表輝度Ｙａに基づいて、第１の条件が決定された場合を示している。例えば代表輝度Ｙａは、注目エリア設定部１０３により設定された注目エリア（測光エリア２０２）の平均輝度である。
　代表輝度Ｙａに応じたトーンカーブ２０７は、代表輝度ＹＣｅｎｔｅｒに応じたトーンカーブ２０５とは異なり、撮影者の意図が反映されたトーンカーブとなっている。すなわち、代表輝度Ｙａは、撮影者が撮影意図に応じて選択した測光モードに基づいて注目エリアが設定され、その注目エリアの平均輝度が代表輝度として設定されている。したがって、トーンカーブ２０７でトーンマッピングが行われたハイダイナミックレンジ処理が行われた撮影画像は、撮影者の撮影意図が反映されたものとなる。
　ハイダイナミックレンジ処理部１０９は、撮影画像に対して、ハイダイナミックレンジ処理を行う。
　ハイダイナミックレンジ処理部１０９は、複数の撮影画像を合成することにより、ハイダイナミックレンジ処理を行っても良いし、単数の撮影画像のトーンカーブを適用させてハイダイナミックレンジ処理を行ってもよい。ここで、複数の撮影画像を合成することにより、ハイダイナミックレンジ処理を行う場合は、露光条件が異なる複数の撮影画像から１枚の合成画像を生成することにより、ハイダイナミックレンジ処理が行われる。また、１枚の撮影画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う場合は、暗部の黒つぶれと明部の白飛びとが抑制されるようなトーンカーブを信号にかける補正を行う。なおこの場合には、撮影画像は、通常画像よりも露光量を少なく撮像し、その撮影画像の信号の出力値を補正する方が、階調が豊かな補正画像を生成することができる。
　ハイダイナミックレンジ処理部１０９は、トーンマッピング部１２５を有する。トーンマッピング部１２５は、第１の条件決定部１０７で決定されたハイダイナミックレンジ処理の第１の条件に基づいてコントラスト補正を行う。なお、トーンマッピング部１２５は、ダイナミックレンジが拡大された後に、またはダイナミックレンジを拡大するのと同時に、トーンマッピングを行う。例えばトーンマッピング部１２５は、注目エリアからの距離に応じて、コントラスト補正を行う。
　次に、本発明の代表輝度に基づいて、決定されたトーンカーブの例について説明する。
　図８および図９は、本発明の代表輝度に基づいて決定されたトーンカーブの例を示す図である。図８では、シャドウ側に階調を持たせるトーンカーブ２０９が示されている。すなわち撮影者の撮影意図は、シャドウ側の絵をより詳細に表現したい場合であり、シャドウ側の入力値（入力輝度）Ｃ１からＣ２の階調が豊かになるようにトーンカーブ２０９が設計されている。すなわち、入力値Ｃ１からＣ２においてトーンカーブ２０９の傾きが最大となる箇所を有するようにトーンカーブ２０９が設計されている。
　また図９では、ハイライト側に階調を持たせるトーンカーブ２１１が示されている。すなわち撮影者の撮影意図は、ハイライト側の絵をより詳細に表現したい場合であり、ハイライト側の入力値（入力輝度）Ｄ１からＤ２の階調が豊かになるようにトーンカーブ２１１が設計されている。すなわち、入力値Ｄ１からＤ２においてトーンカーブ２１１の傾きが最大となる箇所を有するようにトーンカーブ２１１が設計されている。
　図１０は、本発明の画像処理方法の例を示すフローチャートである。
　先ず、測光モード情報取得部１０１は、撮影者が設定した測光モードの情報を取得する（ステップＳ１００：測光モード情報取得ステップ）。例えば、測光モード情報取得部１０１は、デジタルカメラ２に設定されている測光モードの測光エリアに関する情報を取得する。
　その後、注目エリア設定部１０３により、注目エリアが設定される（注目エリア設定ステップ）。具体的には、注目エリア設定部１０３は、先ず設定された測光モードがスポットであるか判定する（ステップＳ１０１）。測光モードがスポットに設定されている場合には、注目エリア設定部１０３はスポット測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を算出する（ステップＳ１０４：第１の輝度算出ステップ）。そして、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を代表輝度として算出する。
　また、注目エリア設定部１０３は、測光モードがスポットに設定されていない場合には、測光モードが中央部重点に設定されているか判定する（ステップＳ１０２）。測光モードが中央部重点に設定されている場合には、注目エリア設定部１０３は中央部重点測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、中央部重点測光エリアの輝度を算出する。例えば、第１の輝度算出部１０５は、中央部重点測光エリアの平均輝度を代表輝度として算出する（ステップＳ１０５：第１の輝度算出ステップ）。
　また、注目エリア設定部１０３は、測光モードが中央部重点に設定されていない場合には、測光モードがマルチに設定されているか判定する（ステップＳ１０３）。測光モードがマルチに設定されている場合には、注目エリア設定部１０３は、撮影シーンに応じたエリアを注目エリアに設定する。そして、第１の輝度算出部１０５は、設定された注目エリアの輝度を算出する。例えば、注目エリア設定部１０３は、人物が検出されたエリアを注目エリアとして設定してもよいし、検出された逆光エリアを注目エリアとして設定してもよい。すなわち、注目エリア設定部１０３は、測光モードのマルチで測光されるエリアを注目エリアとして設定する。そして、第１の輝度算出部１０５は、注目エリアに設定されたエリアの平均輝度を代表輝度として算出する（ステップＳ１０６：第１の輝度算出ステップ）。
　また、注目エリア設定部１０３は、測光モードがマルチに設定されていない場合には、例えば、中央部測光エリアの平均輝度を代表輝度とする（ステップＳ１０７：第１の輝度算出ステップ）。これは、中央部に主被写体が来ることが多く、中央部測光エリアの平均輝度にすることにより、主被写体の輝度を考慮したトーンマッピングを行うことができる。
　なお、上述する測光モードは具体例であり、これに限定されるものではない。例えば、測光モード情報取得部１０１は、人物が検出された人物エリアを測光エリアとする測光モードを示す測光モード情報を取得してもよい。この場合、第１の輝度算出部１０５は、人物エリアの輝度情報（平均輝度）に基づいて、代表輝度を算出する。また、第１の輝度算出部１０５は、人物エリアの輝度の寄与率を高めて、代表輝度を算出させてもよい。
　その後、第１の条件決定部１０７は、算出された代表輝度をトーンマッピングを行う場合の代表輝度に設定し、ハイダイナミックレンジ処理の条件を決定する（ステップＳ１０８：第１の条件決定ステップ）。
　そして、ハイダイナミックレンジ処理部１０９により、撮影画像に対して、ハイダイナミックレンジ処理が行われ（ステップＳ１０９）、この場合のトーンマッピングでは算出された代表輝度に基づいて算出または選択されたトーンカーブが設定される。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　［第２の実施形態］
　次に、本発明の第２の実施形態に関して説明する。本実施形態においては、撮影画像内の各測距点エリアにおける焦点距離情報（被写体距離情報）を用いて、撮影者の撮影意図における主被写体として捉えるエリアを推定し、そのエリアの輝度情報に基づいて、代表輝度を算出する。
　図１１は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。
　本実施形態の画像処理部３１は、合焦情報取得部１１３、測距情報取得部１１５、距離情報算出部１１７、エリア決定部１１９、第２の輝度算出部１２１、第２の条件決定部１２３、およびハイダイナミックレンジ処理部１０９で構成される。なお、図４で既に説明を行った箇所は、同じ符号を付し説明は省略する。
　合焦情報取得部１１３は、撮影画像の合焦位置に関する情報を取得する。合焦情報取得部１１３は、公知の技術により、撮影画像の合焦位置に関する情報を取得する。例えば、合焦情報取得部１１３は、撮影画像のボケを検出し、ボケが無い箇所の位置に関する情報を取得する。また例えば、撮像素子２１の全域には、位相差画素が配されており、合焦情報取得部１１３は、その位相差画素からの情報に基づいて合焦位置に関する情報を取得する。また、ＡＦ機能を用いている場合にはＡＦ枠において合焦されることから、ＡＦ枠を基準に合焦位置に関する情報を取得してもよい。合焦情報取得部１１３は、撮影画角における合焦位置に関する情報を取得する。
　測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する。測距情報取得部１１５は、公知の技術を用いて撮影画像の第１の距離情報を取得する。例えば、距離情報算出部１１７は、撮像素子２１の全域に配された位相差画素で取得される距離情報に基づいて、撮影画像の各エリアにおける第１の距離情報を取得する。また、測距情報取得部１１５は、デジタルカメラ２に備えた距離計測装置（不図示）によって第１の距離情報を取得して撮影画像における複数のエリアの距離情報（第１の距離情報）としてもよい。
　距離情報算出部１１７は、合焦位置に関する情報と複数のエリアの第１の距離情報とに基づいて、複数のエリアの各々について合焦位置からの距離の情報である第２の距離情報を算出する。距離情報算出部１１７は、公知の技術により第２の距離情報を取得する。ここで、第２の距離情報とは、合焦位置から光軸方向への距離のことである。
　エリア決定部１１９は、第２の距離情報に基づいて、複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度を得る代表輝度算出エリアを決定する。例えばエリア決定部１１９は、閾値と第２の距離情報とに基づいて、代表輝度算出エリアを決定する。また例えばエリア決定部１１９は、第２の距離情報と合焦位置における被写界深度とに基づいて、代表輝度算出エリアを決定する。
　第２の輝度算出部１２１は、代表輝度算出エリアで得られる輝度に基づいて、代表輝度を算出する。例えば、第２の輝度算出部１２１は、代表輝度算出エリアの平均輝度を算出することにより、代表輝度とする。
　第２の条件決定部１２３は、第２の輝度算出部１２１で算出された代表輝度に基づいて、ハイダイナミックレンジ処理の第２の条件を決定する。
　図１２は、撮影画像にある各オブジェクトの第１の距離情報に関して示す図である。図１２に示した場合では、至近距離から焦点距離（被写体距離）が近い順にＡ、Ｂ、Ｃ、Ｄ、Ｅと分割した際の例で、それぞれのエリア内の焦点距離は全て均一であるとする。
　合焦情報取得部１１３は、エリアＡが合焦しているので、エリアＡの位置情報を取得する。また、測距情報取得部１１５は、例えば撮影画像の取得前のＡ、Ｂ、Ｃ、Ｄ、Ｅに関する焦点距離（第１の距離情報）を、例えば撮像素子２１に配された位相差画素により取得する。そして、合焦位置からのＢ、Ｃ、Ｄ、およびＥの各距離（第２の距離情報）を、距離情報算出部１１７により算出される。
　ＡからＥそれぞれの焦点距離をｄｉｓ（Ａ）からｄｉｓ（Ｅ）とし、ｄｉｓ（Ａ）が合焦位置、ｄｉｓ（Ａ）からｄｉｓ（Ｄ）が被写界深度範囲内であるとした際に、ＡからＤのエリアの平均輝度が第２の輝度算出部１２１により算出され、代表輝度が算出される。
　図１３は、本発明の画像処理方法の例を示すフローチャートである。
　先ず、合焦情報取得部１１３により、撮影者が狙った合焦位置に関する情報を取得する（ステップＳ２００：合焦情報取得ステップ）。例えば、合焦情報取得部１１３は、撮影画像において合焦している位置の情報であるＸＹ座標を取得する。その後、測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する（ステップＳ２０１：測距情報取得ステップ）。例えば第１の距離情報取得部は、撮像素子２１に配された位相差画素により、撮影画角内の各エリアの合焦位置からの相対的な距離を第１の距離情報を取得する。
　そして、距離情報算出部１１７は、第１の距離情報と合焦位置の情報から各エリアの距離情報である第２の距離情報を算出する（ステップＳ２０２：距離情報算出ステップ）。
　次に、エリア決定部１１９は、各エリアの合焦位置からの距離が被写界深度の範囲内であるか否かの判定を行う（ステップＳ２０３：エリア決定ステップ）。そして、合焦位置からの距離が被写界深度の範囲以内であるエリアは、代表輝度算出エリアとして決定（カウント）され（ステップＳ２０４）、合焦位置からの距離が被写界深度の範囲外であるエリアは、代表輝度算出エリアとしないと決定される（ステップＳ２０５）。
　その後、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの輝度を代表輝度として算出する（ステップＳ２０６：第２の輝度算出ステップ）。例えば、第２の輝度算出部１２１は、輝度算出エリアとして決定されたエリアの平均輝度を代表輝度として算出する。その後、第２の条件決定部１２３は、代表輝度に基づいてハイダイナミックレンジ処理のトーンマッピングの条件を設定する（ステップＳ２０７：第２の条件決定ステップ）。具体的にはトーンマッピングを行う場合のトーンカーブを代表輝度に基づいて設定する。その後、ハイダイナミックレンジ処理部１０９により、ハイダイナミックレンジ処理の実行が行われる（ステップＳ２０８）。
　［第３の実施形態］
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、第１の実施形態のように、測光モードの情報により注目エリアを決定する場合と、第２の実施形態のように各エリアの焦点距離（被写体距離情報）の情報に応じて注目エリアを決定する場合とを合わせもつ実施形態である。
　図１４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。なお、図４および図１１で既に説明を行った箇所は、同じ符号を付し説明は省略する。
　本実施形態の画像処理部３１は、測光モード情報取得部１０１、注目エリア設定部１０３、第１の輝度算出部１０５、第１の条件決定部１０７（ここまでをＡ群と記載する）、合焦情報取得部１１３、測距情報取得部１１５、距離情報算出部１１７、エリア決定部１１９、第２の輝度算出部１２１、第２の条件決定部１２３（ここまでをＢ群と記載する）、条件選択部１２７、およびハイダイナミックレンジ処理部１０９で構成される。なお、図中では、主に第一の実施形態で説明をした機能ブロックをＡ群と記載し、第二の実施形態で説明をした機能ブロックをＢ群と記載する。
　条件選択部１２７は、測光モード情報に基づいて、第１の条件または第２の条件により、ハイダイナミックレンジ処理を行うかを決定する。すなわち、条件選択部１２７は、Ａ群に記載された機能ブロックにより決定された第１の条件、または、Ｂ群に記載された機能ブロックにより決定された第２の条件を用いるか測光モード情報に応じて決定する。すなわち、条件選択部１２７は、測光モード情報により注目エリアが決定された第１の条件と、各エリアの焦点距離の情報により注目エリアが決定された第２の条件とを、ハイダイナミックレンジ処理において使用するかを選択する。例えば、条件選択部１２７は、スポット、または中央部重点の測光モードが設定されている場合には、撮影者の意図が測光モードに良く反映されているので、第１の条件を使用してハイダイナミックレンジ処理を行うことを決定し、その他の測光モードが設定されている場合には、第２の条件をハイダイナミックレンジ処理に使用することを決定する。
　図１５は、本実施形態の画像処理方法の例を示すフローチャートである。
　先ず、測光モード情報取得部１０１は、撮影者が設定した測光モードの情報を取得する（ステップＳ３００）。その後、合焦情報取得部１１３により、撮影者が狙った合焦位置に関する情報を取得する（ステップＳ３０１）。そして、測距情報取得部１１５は、撮影画像における複数のエリアの距離情報である第１の距離情報を取得する（ステップＳ３０２）。その後、距離情報算出部１１７は、第１の距離情報と合焦位置の情報から各エリアの距離情報を取得する（ステップＳ３０３）。
　その後、注目エリア設定部１０３により、注目エリアが設定される。具体的には、注目エリア設定部１０３は、先ず設定された測光モードがスポットであるか判定する（ステップＳ３０４）。測光モードがスポットに設定されている場合には、注目エリア設定部１０３はスポット測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を算出する（ステップＳ３０５）。そして、第１の輝度算出部１０５は、スポット測光エリアの平均輝度を代表輝度として算出する。
　また、注目エリア設定部１０３は、測光モードがスポットに設定されていない場合には、測光モードが中央部重点に設定されているか判定する（ステップＳ３０６）。測光モードが中央部重点に設定されている場合には、注目エリア設定部１０３は中央部重点測光エリアを注目エリアと設定し、第１の輝度算出部１０５は、中央部重点測光エリアの輝度を算出する。例えば、第１の輝度算出部１０５は、中央部重点測光エリアの平均輝度を代表輝度として算出する（ステップＳ３０７）。
　また、注目エリア設定部１０３は、測光モードが中央部重点に設定されていない場合には、エリア決定部１１９により、代表輝度算出エリアを決定させる。すなわち、エリア決定部１１９は、各エリアの合焦位置からの距離が被写界深度の範囲内であるか否かの判定を行う（ステップＳ３０８）。そして、合焦位置からの距離が被写界深度の範囲以内であるエリアは、代表輝度算出エリアとして決定され（ステップＳ３０９）、合焦位置からの距離が被写界深度の範囲外であるエリアは、代表輝度算出エリアとしないと決定される（ステップＳ３１０）。
　その後、第２の輝度算出部１２１は、代表輝度算出エリアとして決定されたエリアの輝度を代表輝度として算出する（ステップＳ３１１）。例えば、第２の輝度算出部１２１は、輝度算出エリアとして決定されたエリアの平均輝度を代表輝度として算出する。
　その後、算出された代表輝度を、ハイダイナミックレンジ処理の条件を決定する（ステップＳ３１２）。
　そして、ハイダイナミックレンジ処理部１０９により、撮影画像に対して、ハイダイナミックレンジ処理が行われ（ステップＳ３１３）、この場合のトーンマッピングでは算出された代表輝度に基づいて算出または選択されたトーンカーブが設定される。
　次に本発明の変形例に関して説明する。なお、以下で説明する変形例は上述した実施形態１から３のいずれにも適用することができる。
　＜変形例１＞
　本発明の変形例１に関して説明する。本例では、注目エリアまたは輝度算出エリア以外の周辺エリアの輝度も代表輝度の算出に用いる。具体的には、注目エリア設定部１０３は、注目エリアからの距離に応じて、注目エリア以外のエリアである周辺エリアの輝度に重み付けを設定し、第１の輝度算出部１０５は、重み付けがされた周辺エリアの輝度、および注目エリアの輝度に基づいて、代表輝度を算出する。
　図１６は、撮影画像において注目エリアと注目エリア以外の周辺エリアを示した図である。注目エリア２０３の周辺には、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、周辺エリア（ＩＩＩ）２１７が設定されている。そして、注目エリア設定部１０３は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７に対して、重み付けを設定する。例えば、注目エリア設定部１０３は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７に対して、注目エリアから近いエリアほど、代表輝度に寄与する割合が大きくなるように、重み付けを設定する。
　そして、第１の輝度算出部１０５は、重み付けがされた周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７の輝度情報および注目エリアの輝度情報に基づいて、代表輝度を算出する。例えば、第１の輝度算出部１０５は、周辺エリア（Ｉ）２１３、周辺エリア（ＩＩ）２１５、および周辺エリア（ＩＩＩ）２１７のそれぞれの平均輝度を算出し設定された重み付けを適用したのちに、注目エリアの平均輝度を算出し、それぞれの平均輝度を加算することにより、代表輝度を算出する。なお、上述の説明は第１の実施形態（注目エリア設定部１０３、第１の輝度算出部１０５）に関して説明をしたが、第２の実施形態（エリア決定部１１９、第２の輝度算出部１２１）に関しても本例は適用される。
　＜変形例２＞
　本発明の変形例２に関して説明する。本例では、代表輝度を算出する場合に、輝度情報に上限または下限を設けて代表輝度が算出される。
　図１７は、本例の画像処理部３１の機能構成例を示すブロック図である。なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。
　撮影モード情報取得部１１１は、被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する。例えば、撮影モード情報取得部１１１は、デジタルカメラ２に設定される日中の屋外や夕景、夜景、花火撮影モードに関する情報を取得する。これらの撮影モードは、撮影者により操作部９を使用して、システム制御部２５において設定される。撮影モードが設定されることにより、その被写体に沿った撮影条件がデジタルカメラ２に自動的に設定される。
　上限下限決定部１２９は、撮影モード情報取得部１１１で取得された撮影モード情報に基づいて、代表輝度の算出に用いる注目エリア内の輝度情報の上限または下限を決定する。すなわち上限下限決定部１２９は、撮影モードに応じて、注目エリア内の輝度情報に対する上限または下限を決定し、その上限または下限の範囲内の輝度情報を用いて代表輝度を算出する。第１の輝度算出部１０５は、上限または下限が設けられた輝度に基づいて、代表輝度を算出する。これにより、ハイダイナミックレンジ処理において表現できるダイナミックレンジをより設計意図に沿った広さにすることが可能となる。なお、図１７では第１の実施形態の適用に関して説明を行ったが、本例は、他の実施形態においても適用可能である。例えば、上限下限決定部１２９は、撮影モード情報取得部１１１で取得された撮影モード情報に基づいて、代表輝度を算出に用いる代表輝度算出エリア内の輝度情報に上限または下限を決定する。そして、第２の輝度算出部１２１は、上限または下限が設けられた輝度に基づいて、代表輝度を算出する。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２　　　　：デジタルカメラ
３　　　　：カメラ本体
４　　　　：レンズ鏡筒
５　　　　：フラッシュ発光部
６　　　　：シャッタボタン
７　　　　：電源スイッチ
８　　　　：表示部
９　　　　：操作部
１０　　　：外部メモリ
１２　　　：レンズ部
２０　　　：メカニカルシャッタ
２１　　　：撮像素子
２２　　　：プロセス処理部
２３　　　：ＡＤ変換部
２４　　　：メインメモリ
２５　　　：システム制御部
２６　　　：シャッタ駆動部
２７　　　：レンズ駆動部
２８　　　：電源制御部
２９　　　：電源
３０　　　：制御メモリ
３１　　　：画像処理部
３２　　　：圧縮伸張部
３３　　　：記憶制御部
３５　　　：表示制御部
３６　　　：ユーザインタフェース
１０１　　：測光モード情報取得部
１０３　　：注目エリア設定部
１０５　　：第１の輝度算出部
１０７　　：第１の条件決定部
１０９　　：ハイダイナミックレンジ処理部
１１１　　：撮影モード情報取得部
１１３　　：合焦情報取得部
１１５　　：測距情報取得部
１１７　　：距離情報算出部
１１９　　：エリア決定部
１２１　　：第２の輝度算出部
１２３　　：第２の条件決定部
１２５　　：トーンマッピング部
１２７　　：条件選択部
１２９　　：上限下限決定部
ステップＳ１００からステップＳ１０９：第１の画像処理工程
ステップＳ２００からステップＳ２０８：第２の画像処理工程
ステップＳ３００からステップＳ３１３：第３の画像処理工程

Claims (22)

  1. 　複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得部と、
    　前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定部と、
    　前記注目エリア設定部で設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出部と、
    　前記第１の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第１の条件を決定する第１の条件決定部と、
    　を備える画像処理装置。
  2. 　前記第１の条件決定部は、前記代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる前記ハイダイナミックレンジ処理の前記第１の条件を決定する請求項１に記載の画像処理装置。
  3. 　前記注目エリア設定部は、前記測光モード情報における測光エリアを前記注目エリアに設定する請求項１または２に記載の画像処理装置。
  4. 　前記注目エリア設定部は、前記注目エリアからの距離に応じて、前記注目エリア以外のエリアである周辺エリア内の輝度情報に重み付けを設定し、
    　前記第１の輝度算出部は、前記重み付けがされた前記周辺エリアの前記輝度情報、および前記注目エリアの前記輝度情報に基づいて、前記代表輝度を算出する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記測光モード情報取得部は、人物が検出された人物エリアを測光エリアとする測光モードを示す前記測光モード情報を取得し、
    　前記第１の輝度算出部は、前記人物エリアの輝度情報に基づいて、前記代表輝度を算出する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記第１の輝度算出部は、前記人物エリアの前記輝度情報の寄与率を高めて、前記代表輝度を算出する請求項５に記載の画像処理装置。
  7. 　前記第１の条件決定部は、複数の撮影画像を合成することにより行われる前記ハイダイナミックレンジ処理において、前記代表輝度に基づいてトーンマッピングの条件を設定する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記第１の条件決定部は、単数の撮影画像のトーンカーブを変えることにより行われる前記ハイダイナミックレンジ処理において、前記代表輝度に基づいて選択されるトーンカーブの条件を設定する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記第１の条件決定部で決定された前記ハイダイナミックレンジ処理の前記第１の条件に基づいてコントラスト補正を行うトーンマッピング部を備え、
    　前記トーンマッピング部は、前記注目エリアからの距離に応じて、前記コントラスト補正を行う請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、
    　前記撮影モード情報取得部で取得された撮影モード情報に基づいて、前記代表輝度の算出に用いる前記注目エリア内の前記輝度情報の上限または下限を決定する上限下限決定部と、を備え、
    　前記第１の輝度算出部は、前記上限または前記下限が設けられた前記輝度情報に基づいて、前記代表輝度を算出する請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、
    　前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、
    　前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、
    　前記第２の距離情報に基づいて、前記複数のエリアの各々について、前記ハイダイナミックレンジ処理に用いられる前記代表輝度の算出に用いられる前記輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、
    　前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出部と、
    　前記第２の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、
    　前記測光モード情報に基づいて、前記第１の条件または前記第２の条件により、前記ハイダイナミックレンジ処理を行うかを決定する条件選択部と、
    を備える請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 　撮影画像の合焦位置に関する情報を取得する合焦情報取得部と、
    　前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得部と、
    　前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出部と、
    　前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定部と、
    　前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出部と、
    　前記第２の輝度算出部で算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定部と、
    　を備える画像処理装置。
  13. 　前記第２の条件決定部は、前記代表輝度を含む近傍の輝度の階調を他の輝度の階調よりも多く割り当てる前記ハイダイナミックレンジ処理の前記第２の条件を決定する請求項１２に記載の画像処理装置。
  14. 　前記エリア決定部は、前記第２の距離情報と被写界深度とに基づいて、前記代表輝度算出エリアを決定する請求項１２または１３に記載の画像処理装置。
  15. 　被写体の撮影の撮影モードに関する情報である撮影モード情報を取得する撮影モード情報取得部と、
    　前記撮影モード情報取得部で取得された撮影モード情報に基づいて、前記代表輝度を算出に用いる前記代表輝度算出エリア内の前記輝度情報に上限または下限を決定する上限下限決定部と、を備え、
    　前記第２の輝度算出部は、前記上限または前記下限が設けられた前記輝度情報に基づいて、前記代表輝度を算出する請求項１２から１４のいずれか１項に記載の画像処理装置。
  16. 　請求項１から１５のいずれか１項に記載の画像処理装置を備える撮像装置。
  17. 　複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、
    　前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定ステップと、
    　前記注目エリア設定ステップで設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出ステップと、
    　前記第１の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の条件を決定する第１の条件決定ステップと、
    　を含む画像処理方法。
  18. 　撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    　前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    　前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    　前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    　前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    　前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    　を含む画像処理方法。
  19. 　複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、
    　前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定ステップと、
    　前記注目エリア設定ステップで設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出ステップと、
    　前記第１の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の条件を決定する第１の条件決定ステップと、
    　を含む画像処理工程をコンピュータに実行させるプログラム。
  20. 　撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    　前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    　前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    　前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    　前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    　前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    　を含む画像処理工程をコンピュータに実行させるプログラム。
  21. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　複数の測光モードから設定された測光モードを示す測光モード情報を取得する測光モード情報取得ステップと、
    　前記測光モード情報に基づいて、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる注目エリアを設定する注目エリア設定ステップと、
    　前記注目エリア設定ステップで設定された前記注目エリア内の輝度情報に基づいて、前記代表輝度を算出する第１の輝度算出ステップと、
    　前記第１の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の条件を決定する第１の条件決定ステップと、
    　を含む画像処理工程をコンピュータに実行させる記録媒体。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　撮影画像の合焦位置に関する情報を取得する合焦情報取得ステップと、
    　前記撮影画像における複数のエリアの距離情報である第１の距離情報を取得する測距情報取得ステップと、
    　前記合焦位置に関する情報と前記複数のエリアの前記第１の距離情報とに基づいて、前記複数のエリアの各々について前記合焦位置からの距離の情報である第２の距離情報を算出する距離情報算出ステップと、
    　前記第２の距離情報に基づいて、前記複数のエリアの各々について、ハイダイナミックレンジ処理に用いられる代表輝度の算出に用いられる輝度情報を得る代表輝度算出エリアを決定するエリア決定ステップと、
    　前記代表輝度算出エリア内の輝度情報に基づいて、前記代表輝度を算出する第２の輝度算出ステップと、
    　前記第２の輝度算出ステップで算出された前記代表輝度に基づいて、前記ハイダイナミックレンジ処理の第２の条件を決定する第２の条件決定ステップと、
    　を含む画像処理工程をコンピュータに実行させる記録媒体。
     
PCT/JP2018/042073 2017-12-07 2018-11-14 画像処理装置、撮像装置、画像処理方法、およびプログラム WO2019111659A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880078098.9A CN111434104B (zh) 2017-12-07 2018-11-14 图像处理装置、摄像装置、图像处理方法及记录介质
JP2019558099A JP6741881B2 (ja) 2017-12-07 2018-11-14 画像処理装置、撮像装置、画像処理方法、およびプログラム
US16/894,174 US11838648B2 (en) 2017-12-07 2020-06-05 Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-235173 2017-12-07
JP2017235173 2017-12-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/894,174 Continuation US11838648B2 (en) 2017-12-07 2020-06-05 Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing

Publications (1)

Publication Number Publication Date
WO2019111659A1 true WO2019111659A1 (ja) 2019-06-13

Family

ID=66750558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042073 WO2019111659A1 (ja) 2017-12-07 2018-11-14 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11838648B2 (ja)
JP (1) JP6741881B2 (ja)
CN (1) CN111434104B (ja)
WO (1) WO2019111659A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021152961A1 (ja) * 2020-01-30 2021-08-05
US20220351701A1 (en) * 2019-06-27 2022-11-03 Shenzhen Tcl Digital Technology Ltd. Method and device for adjusting image quality, and readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116546316B (zh) * 2022-01-25 2023-12-08 荣耀终端有限公司 切换摄像头的方法与电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305683A (ja) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
JP2003046848A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像システムおよび撮像プログラム
JP2005159693A (ja) * 2003-11-26 2005-06-16 Olympus Corp 画像処理装置
JP2006080942A (ja) * 2004-09-10 2006-03-23 Seiko Epson Corp 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2008052566A (ja) * 2006-08-25 2008-03-06 Canon Inc 画像処理装置及び画像処理方法
JP2012010048A (ja) * 2010-06-24 2012-01-12 Hitachi Ltd 画像信号処理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161013A (ja) * 1996-12-05 1998-06-19 Canon Inc 環境認識装置及び環境認識装置を備えたカメラ
US6088539A (en) * 1997-12-24 2000-07-11 Canon Kabushiki Kaisha Optical apparatus with focus adjusting function and focus adjustment control circuit
US7245325B2 (en) * 2000-03-17 2007-07-17 Fujifilm Corporation Photographing device with light quantity adjustment
JP4516236B2 (ja) * 2001-04-19 2010-08-04 株式会社リコー 撮像装置
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
US6853806B2 (en) * 2002-09-13 2005-02-08 Olympus Optical Co., Ltd. Camera with an exposure control function
KR101058011B1 (ko) * 2004-10-01 2011-08-19 삼성전자주식회사 터치 스크린을 이용한 디지털 카메라 조작 방법
JP2008059197A (ja) * 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
KR101427660B1 (ko) * 2008-05-19 2014-08-07 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
KR20100091846A (ko) 2009-02-11 2010-08-19 삼성전자주식회사 촬상 장치 및 촬상 방법
JP5397068B2 (ja) 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP5646968B2 (ja) 2010-11-22 2014-12-24 キヤノン株式会社 撮像装置及び測光値演算方法
WO2013001709A1 (ja) * 2011-06-27 2013-01-03 パナソニック株式会社 撮像装置
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP6046905B2 (ja) 2012-04-02 2016-12-21 キヤノン株式会社 撮像装置、露出制御方法、及びプログラム
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition
US8866928B2 (en) * 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
JP6512810B2 (ja) * 2014-12-11 2019-05-15 キヤノン株式会社 撮像装置および制御方法とプログラム
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
JP6643109B2 (ja) * 2016-01-26 2020-02-12 キヤノン株式会社 撮像装置、その制御方法とプログラム
EP3439283A4 (en) 2016-03-31 2020-03-25 Nikon Corporation IMAGE RECORDING DEVICE, IMAGE PROCESSING DEVICE AND ELECTRONIC DEVICE
CN107295269A (zh) * 2017-07-31 2017-10-24 努比亚技术有限公司 一种测光方法及终端、计算机存储介质
TWI684165B (zh) * 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305683A (ja) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
JP2003046848A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像システムおよび撮像プログラム
JP2005159693A (ja) * 2003-11-26 2005-06-16 Olympus Corp 画像処理装置
JP2006080942A (ja) * 2004-09-10 2006-03-23 Seiko Epson Corp 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2008052566A (ja) * 2006-08-25 2008-03-06 Canon Inc 画像処理装置及び画像処理方法
JP2012010048A (ja) * 2010-06-24 2012-01-12 Hitachi Ltd 画像信号処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220351701A1 (en) * 2019-06-27 2022-11-03 Shenzhen Tcl Digital Technology Ltd. Method and device for adjusting image quality, and readable storage medium
US11756506B2 (en) * 2019-06-27 2023-09-12 Shenzhen Tcl Digital Technology Ltd. Method and device for adjusting image quality, and readable storage medium
JPWO2021152961A1 (ja) * 2020-01-30 2021-08-05
WO2021152961A1 (ja) * 2020-01-30 2021-08-05 富士フイルム株式会社 表示方法
JP7394151B2 (ja) 2020-01-30 2023-12-07 富士フイルム株式会社 表示方法

Also Published As

Publication number Publication date
JP6741881B2 (ja) 2020-08-19
CN111434104B (zh) 2021-11-19
JPWO2019111659A1 (ja) 2020-09-24
CN111434104A (zh) 2020-07-17
US11838648B2 (en) 2023-12-05
US20200304723A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
US8823829B2 (en) Image capture with adjustment of imaging properties at transitions between regions
JP2002064745A (ja) カメラの絞り制御方法及び装置、レンズ制御方法及び装置、輪郭強調制御方法及び装置並びにカメラ
JP4843009B2 (ja) カメラのレンズ制御方法及び装置、並びにカメラ
JP2009044221A (ja) 撮像装置
JP2007259237A (ja) 撮像装置および撮像方法
JP2001211362A (ja) デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ
JP6077853B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
JP2009017229A (ja) 撮像装置及び撮像制御方法
JP5822508B2 (ja) 撮像装置及びその制御方法
JP6148497B2 (ja) 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
US11343438B1 (en) Instant auto exposure control with multiple cameras
JP2003309854A (ja) デジタルカメラ
JP4422353B2 (ja) 電子カメラ
JP2017092604A (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP6353585B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20190182414A1 (en) Image processing apparatus and method, and image capturing apparatus
JP2009211001A (ja) 撮像装置
JP6670110B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2010172013A (ja) 電子カメラおよび画像処理プログラム
WO2019216072A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885797

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558099

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885797

Country of ref document: EP

Kind code of ref document: A1