WO2019124289A1 - 装置、制御方法および記憶媒体 - Google Patents

装置、制御方法および記憶媒体 Download PDF

Info

Publication number
WO2019124289A1
WO2019124289A1 PCT/JP2018/046254 JP2018046254W WO2019124289A1 WO 2019124289 A1 WO2019124289 A1 WO 2019124289A1 JP 2018046254 W JP2018046254 W JP 2018046254W WO 2019124289 A1 WO2019124289 A1 WO 2019124289A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
exposure condition
area
shutter speed
iso sensitivity
Prior art date
Application number
PCT/JP2018/046254
Other languages
English (en)
French (fr)
Inventor
良隆 佐々木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019124289A1 publication Critical patent/WO2019124289A1/ja
Priority to US16/898,476 priority Critical patent/US11336834B2/en
Priority to US17/722,663 priority patent/US11831991B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Definitions

  • the present invention relates to an apparatus capable of acquiring a high dynamic range image, a control method, and a storage medium.
  • Patent Document 1 describes a method of acquiring an HDR image in one shooting by shooting a subject using an image sensor capable of controlling different exposure conditions for each pixel. Then, according to the method described in Patent Document 1, by using a low-pass filter to an image binarized using luminance to form a multivalued image as an exposure time map, the boundary between pixels having different exposure times is obtained. No pseudo contour is generated in the part.
  • pixels corresponding to dark subjects are set to have a long exposure time.
  • the exposure time may be set to be long, which may cause blurring.
  • the present invention has been made in view of the above problems, and it is an object of the present invention to generate a high quality HDR image in the case of setting and photographing different exposure conditions for each area.
  • An apparatus is an apparatus for controlling an imaging device capable of controlling an exposure condition for each area, and an acquiring unit for acquiring an exposure degree map obtained by performing preliminary exposure using the imaging device, and the exposure And setting means for setting an exposure condition including a shutter speed and an ISO sensitivity for each of the areas based on a degree map.
  • the device of the present invention it is possible to generate a high-quality HDR image in the case of setting and photographing different exposure conditions for each area.
  • FIG. 2 is a schematic view showing an example of the appearance of the imaging device in Embodiment 1.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an imaging device according to Embodiment 1.
  • FIG. 2 is a block diagram showing an example of a functional configuration of an image processing unit in Embodiment 1.
  • 5 is a flowchart illustrating an example of a main processing procedure according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a UI of the imaging device according to the first embodiment.
  • 5 is a schematic view showing an example of a shooting scene in Embodiment 1.
  • FIG. It is an example of the exposure degree map produced
  • FIG. 7 is a flowchart illustrating an example of a correction procedure of exposure conditions according to the first embodiment. It is a figure which shows the specific example of the exposure conditions in a correction
  • FIG. 6 is a view showing an example of a UI for adjusting the correction amount in the first embodiment.
  • FIG. 13 is a block diagram showing an example of a functional configuration of an image processing unit in Embodiment 2. 7 is a flowchart illustrating an example of a correction procedure of exposure conditions in the second embodiment. It is a figure which shows the example of an exposure degree map before setting a correction
  • Embodiment 1 In the first embodiment, a method of generating an HDR image by controlling the exposure condition for each area will be described. In particular, by controlling both the exposure time (shutter speed) and the ISO sensitivity (analog gain) for each area, imaging according to the brightness of the area is performed.
  • FIG. 1 is a schematic view showing an example of the appearance of an imaging device according to the present embodiment.
  • the imaging apparatus 100 includes an optical unit 101, a shooting button 102, a display unit 103, and an operation button 104.
  • the optical unit 101 includes a zoom lens, a focus lens, a shake correction lens, an aperture, a shutter, and the like, and collects light information of an object.
  • the shooting button 102 is a button for receiving a shooting instruction from the user.
  • the display unit 103 is configured by a liquid crystal display or the like, and displays the image data and various data processed by the imaging device 100.
  • the operation button 104 functions as an operation unit for receiving various instructions from the user. For example, the user can input an exposure condition to the imaging apparatus 100 via the operation button 104.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the imaging device 100 in the present embodiment.
  • the imaging device unit 201 is an imaging device group that converts light collected by the optical unit 101 into a current value, and the imaging device 100 uses the imaging device unit 201 in combination with a color filter or the like to obtain color information.
  • an HDR sensor capable of setting an exposure condition for each pixel or each region is applied to the imaging element unit 201.
  • the exposure condition is a generic term of parameters related to the brightness of the image.
  • the image sensor unit 201 acquires an HDR image by adaptively controlling exposure conditions (exposure time, analog gain, and the like) for each pixel or each region. In the case where exposure is controlled in area units, the exposure conditions are generally controlled in a 2 ⁇ 2 pixel area or a 3 ⁇ 2 pixel area, but the embodiment is not limited to this.
  • the CPU 202 generally controls each component of the imaging device 100, and sequentially reads instructions stored in a storage area such as a ROM (Read Only Memory) 203 into a RAM (Rondom Access Memory) 204. Then, the CPU 202 interprets the read instruction and executes each process according to the result.
  • the imaging system control unit 205 performs control such as focusing on the optical unit 101, opening the shutter, adjusting the aperture, and the like according to an instruction from the CPU 202.
  • the apparatus control unit 206 performs control such as causing the imaging apparatus 100 to start and end the imaging operation in accordance with a user instruction that has received an input via the imaging button 102.
  • the apparatus control unit 206 performs control such as displaying a predetermined operation screen on the display unit 103 in accordance with a user instruction that has received an input from the operation button 104.
  • the graphic generation unit 207 functions as a display control unit of the imaging device 100, and generates an image signal indicating characters, graphics, an image, and the like to be displayed on the display unit 103.
  • the A / D conversion unit 208 converts the light amount of the subject detected by the imaging device unit 201 into a digital signal.
  • the image processing unit 209 processes the digital signal converted by the A / D conversion unit 208 to process image data corresponding to the digital signal.
  • the encoder unit 210 converts the image data processed by the image processing unit 209 into a file format such as jpeg.
  • I / F An input / output interface (hereinafter referred to as “I / F”) 211 transmits and receives image data to and from an external device such as a PC and various recording media (eg, hard disk, memory card, CF card, SD card, etc.) I / F used to
  • I / F used to transmit image data to and from an external device
  • various recording media eg, hard disk, memory card, CF card, SD card, etc.
  • FIG. 3 is a block diagram showing a functional configuration of the image processing unit 209 in the present embodiment.
  • the function of each block shown in FIG. 3 is realized by the CPU 202 reading out the program code stored in the ROM 203 to the RAM 204 and executing it.
  • some or all of the functions of the blocks in FIG. 3 may be implemented by hardware such as an ASIC or an electronic circuit. The same applies to the block diagrams of FIG. 3 and later.
  • the image processing unit 209 includes an exposure degree map generation unit 301, an exposure condition acquisition unit 302, a reference determination unit 303, an area selection unit 304, and an exposure condition correction unit 305.
  • the exposure degree map generation unit 301 generates an exposure degree map in which the exposure degree is stored for each pixel according to the image data sent from the A / D conversion unit 208 in the preliminary exposure.
  • the degree of exposure is a parameter for controlling the brightness recorded by the ISO sensitivity and the exposure time.
  • the exposure condition acquisition unit 302 reads the exposure condition corresponding to the exposure degree, and acquires the exposure condition for each area.
  • the reference determination unit 303 determines a reference exposure condition based on a plurality of exposure conditions.
  • the region selection unit 304 selects a correction target region for which the exposure condition is to be corrected, out of the regions divided by the pre-exposure.
  • the exposure condition correction unit 305 corrects the exposure condition of the correction target area based on the reference exposure condition.
  • FIG. 4 is a flowchart showing the main processing procedure of the imaging device 100 in the present embodiment.
  • the processing of the flowchart shown in FIG. 4 is performed by the CPU 202 reading out the program code stored in the ROM 203 to the RAM 204 and executing it.
  • Each symbol S below means that it is a step in the flowchart. The same applies to the flowcharts of FIG. 4 and thereafter.
  • step S ⁇ b> 401 the apparatus control unit 206 sets exposure conditions such as the aperture value of the lens, the shutter speed, and the ISO sensitivity according to a user instruction that has received an input via the operation button 104.
  • the shutter speed and the ISO sensitivity which are also camera parameters, correspond to the exposure time and the analog gain, respectively, in the present embodiment.
  • exposure conditions may be set according to the shooting mode.
  • FIG. 5 is a view showing an example of a user interface (hereinafter, the user interface is described as “UI”) of the imaging apparatus 100 in the present embodiment.
  • FIG. 5 shows a UI for setting the HDR shooting mode, and this UI is displayed on the display unit 103.
  • the user can select a desired shooting mode by inputting an instruction via the operation button 104.
  • the type of shooting mode set in S401 is not limited to the HDR shooting mode, and other than the HDR shooting mode, the shooting mode according to the type of subject such as a person or landscape, or the type of weather such as sunny or cloudy A shooting mode or the like according to may be set.
  • step S402 the device control unit 206 determines whether the shooting button 102 has been pressed. If the shooting button 102 is pressed (S402: YES), the process proceeds to S403. When the imaging button 102 is not pressed (S402: NO), S402 is repeated.
  • exposure conditions for each area of the image sensor unit 201 are set.
  • the exposure degree map generation unit 301 generates an exposure degree map in which the exposure degree is stored for each pixel according to the image data sent from the A / D conversion unit 208 in the pre-exposure.
  • the image processing unit 209 exposure condition acquisition unit 302 according to the present embodiment can read the exposure conditions (FIGS. 8A to 8C) corresponding to the exposure degree and acquire the exposure conditions for each area.
  • FIGS. 6A to 6C an aspect of setting the exposure condition for each area of the imaging device unit 201 will be described.
  • FIG. 6A is a schematic view showing an example of a shooting scene in the present embodiment.
  • a situation in which a person indoors is shot by the imaging device 100 is shown.
  • FIG. 6B shows an example of an exposure degree map generated when shooting is performed in a low dynamic range (LDR) shooting mode in the present embodiment.
  • the LDR shooting mode is a mode for obtaining a shot image having a narrower dynamic range than the HDR shooting mode, and is applied, for example, when “tone priority” is selected in the UI of FIG. 5.
  • the person is set to have a proper exposure.
  • overexposure occurs in the window region brighter than the indoor where a person is present.
  • FIG. 6C shows an example of an exposure degree map generated when shooting in the HDR shooting mode in the present embodiment.
  • the HDR shooting mode is a mode for obtaining a shot image having a wider dynamic range than the LDR shooting mode, and is applied, for example, when “D range priority” is selected in the UI of FIG. 5.
  • the exposure shown in the exposure map of FIG. 6B is set for the indoor area including the person, whereas the exposure for the window area is set lower than the exposure for the indoor area. Thus, overexposure in the window area can be suppressed.
  • the area for which the exposure degree is to be set is not limited to this.
  • the degree of exposure may be set for each pixel, or the degree of exposure may be set for a relatively large area such as the area corresponding to the window.
  • the exposure conditions set in the preliminary exposure in S403 are corrected so that the difference in the exposure conditions for each area is reduced.
  • FIG. 7 is a flowchart showing an example of the procedure for correcting the exposure condition in step S404 in the present embodiment. The details of the exposure condition correction processing will be described below with reference to the flowchart of FIG.
  • step S701 the exposure condition acquisition unit 302 acquires an exposure condition for each area from the exposure condition set in step S401 and the exposure degree map generated in step S403.
  • the reference determining unit 303 determines an exposure condition (hereinafter referred to as "reference exposure condition") as a reference based on the plurality of exposure conditions acquired in step S701.
  • the reference exposure conditions determined in S702 are the shutter speed and the ISO speed.
  • the reference exposure condition may be, for example, an exposure condition corresponding to the area of the main subject in the photographed image obtained by photographing the photographed scene in FIG. 6A as the reference exposure condition.
  • the method of determining the reference exposure condition is not limited to only the exposure condition corresponding to the area of the main subject, as long as the reference exposure condition is appropriately selected according to the shooting scene.
  • the exposure condition corresponding to that region can be automatically determined as the reference exposure condition.
  • an exposure condition corresponding to the desired area can be determined as a reference exposure condition.
  • the reference determination unit 303 can also determine, as the reference exposure condition, an exposure condition corresponding to an arbitrary area based on the plurality of exposure conditions acquired in S701.
  • the region selection unit 304 selects a correction target region for which the exposure condition is to be corrected, among the regions divided in the preliminary exposure in step S403.
  • the area selecting unit 304 can select correction target areas in an arbitrary order each time the loop processing of S703 to S705 is performed.
  • the correction target area may be selected while scanning the focus area in the order from the upper left to the lower right of the photographed image. At this time, when the difference between the reference exposure condition and the exposure condition of the correction target area is small, the effect obtained by correcting the exposure condition also becomes small. Therefore, when the difference between the reference exposure condition and the exposure condition of the focus area is larger than a predetermined threshold, the focus area may be selected as the correction target area.
  • step S704 the exposure condition correction unit 305 corrects the exposure condition of the correction target area selected in step S703 based on the reference exposure condition determined in step S702.
  • the details of the exposure condition correction processing will be described below with reference to FIGS. 8A to 8C.
  • FIGS. 8A and 8B are tables showing specific examples of the exposure conditions set in S401 for a certain correction target area.
  • FIG. 8C is a table showing a specific example of the exposure condition corrected in S704 for a certain correction target area.
  • the exposure condition acquisition unit 302 can acquire the exposure condition corresponding to the exposure degree for each area (pixel) stored in the exposure degree map by referring to the tables in FIG. 8A and FIG. 8A.
  • the shutter speed “1/100 second” and the ISO sensitivity “400” associated with the exposure degree “0” will be described as an example.
  • FIG. 8A shows an example in which the exposure condition is adjusted by changing only the shutter speed.
  • the exposure conditions set for the person area are “1/100 sec” for the shutter speed and “400” for the ISO sensitivity.
  • the exposure conditions set for the window area are “1/400” for the shutter speed and “400” for the ISO sensitivity.
  • the shutter speed differs 4 times between the person area and the window area
  • the movement amount for each area also differs 4 times.
  • the output aspect such as blur or multiple image may differ greatly for each local region.
  • FIG. 8B shows an example in which the exposure condition is adjusted by changing only the ISO sensitivity.
  • the exposure conditions set for the person area are “1/100 sec” for the shutter speed and “400” for the ISO sensitivity.
  • the exposure conditions set for the window area are "1/100 sec” for the shutter speed and "100” for the ISO sensitivity.
  • the ISO sensitivity is 4 times different between the person area and the window area, when a moving subject is included in the shooting scene of FIG. 6A, the noise amount for each area is also 4 times different.
  • the output mode of the noise may greatly differ depending on the local region. That is, the noise level difference is observed for each local region.
  • FIG. 8C An example of the exposure condition corrected by the exposure condition correction unit 305 is shown in FIG. 8C.
  • the exposure conditions set for the person area are “1/100 sec” for the shutter speed and “400” for the ISO sensitivity.
  • the exposure conditions set for the window area are "1/200 sec” for the shutter speed and "200” for the ISO sensitivity.
  • the difference between the reference shutter speed “1/100” and the corrected shutter speed “1/200” set in the person area is doubled.
  • the difference between the standard ISO sensitivity "400” and the corrected ISO sensitivity "200” set in the window area is also doubled.
  • the exposure condition correction unit 305 can suppress an adverse effect caused when only one of the shutter speed and the ISO sensitivity is controlled by controlling both of the shutter speed and the ISO sensitivity. Further, by correcting the shutter speed or the ISO sensitivity at the same or substantially the same ratio, it is possible to reduce the difference in appearance modes such as blur and noise for each local region. In addition, since not only the exposure condition corresponding to the boundary between the correction target area and the adjacent area but also the exposure condition corresponding to the entire correction target area is corrected, it is possible to suppress the pseudo contour in the HDR image. As a result, according to the control method of the imaging apparatus of the present embodiment, it is possible to generate a high-quality HDR image in the case of setting and photographing different exposure conditions for each area.
  • the above correction may be performed by any desired method as long as the difference between the reference exposure condition and the exposure condition for each area can be reduced.
  • the exposure in the standard exposure condition is E
  • the shutter speed is T
  • the ISO speed is G
  • the exposure of the correction target area is E '
  • the shutter speed after correction is T'
  • the ISO speed after correction is G ''AndG'
  • ⁇ is a coefficient of a real number such that 0.0 ⁇ ⁇ ⁇ 1.0
  • ⁇ is a coefficient of a real number such that 0.0 ⁇ ⁇ ⁇ 1.0
  • FIG. 9 is a view showing an example of a UI for adjusting the correction amount in the present embodiment.
  • the user can adjust the coefficient ⁇ by moving the knob 901 of the slide bar included in the UI in either the left or right direction.
  • the knob is moved to the right (sensitivity priority) to reduce ⁇
  • the difference between the reference shutter speed and the shutter speed in the correction target area is reduced, and therefore blurring or multiple image generation caused by a moving subject Can be further suppressed.
  • the knob is moved to the left (Tv priority) to increase ⁇ , the difference between the ISO sensitivity as the reference and the ISO sensitivity in the correction target area is reduced, so the occurrence of the noise step can be further suppressed.
  • the exposure condition correction unit 305 can reduce the difference in appearance modes such as blur and noise for each local region by correcting the shutter speed and the ISO sensitivity at a weighted ratio.
  • the exposure condition correction unit 305 determines in step S705 whether the processing has been completed for all the regions. If the process is completed for all the areas (S 705: YES), the process returns to the flowchart of FIG. 4 again. If the correction process has not been completed for all the areas (S 705: NO), the process returns to S 703 again to perform the loop process of S 703 to S 705.
  • the imaging system control unit 205 causes the imaging system to execute a shooting operation based on the exposure condition corrected in step S404.
  • the imaging system control unit 205 drives the optical unit 101 to acquire the light amount of the subject, and the image pickup device unit 201 detects the acquired light amounts.
  • the A / D conversion unit 208 converts the light amount detected by the imaging device unit 201 into an electrical signal to acquire RAW image data.
  • RAW image data is image data in which any one color component of R, G, and B is stored in each pixel in a predetermined arrangement such as a Bayer arrangement.
  • step S406 the image processing unit 209 performs development processing on the RAW image data.
  • RGB image data three-channel image data having all R, G, and B color components in each pixel
  • sub-processing such as white balance processing, demosaicing processing, gamma processing and the like is performed, but since these are not the gist of the present embodiment, the description thereof is omitted.
  • step S407 the image processing unit 209 outputs the RGB image data generated in step S406.
  • the output RGB image data is sent to the encoder unit 210 and converted into a file format such as jpeg.
  • the RGB image data is output to an external device or a recording medium via the input / output I / F 211.
  • control method of the imaging apparatus of the present embodiment when shooting is performed while setting different exposure conditions for each area, only one of them is controlled by controlling the shutter speed and the ISO sensitivity. It is possible to suppress adverse effects that occur in the case of Therefore, according to the control method of the imaging device of the present embodiment, it is possible to generate a high-quality HDR image by suppressing a difference in appearance of blur or noise for each local region or a false contour.
  • the exposure condition of the correction target area is corrected based on the reference exposure condition.
  • the difference between the reference exposure condition and the exposure condition of the correction target area is small, the effect obtained by correcting the exposure condition also becomes small. Therefore, in the present embodiment, an embodiment will be described in which the exposure condition of the focused region is corrected in the case where the difference is large in consideration of the difference in the exposure condition between the adjacent regions.
  • the description of the portions common to the first embodiment will be simplified or omitted, and in the following, points unique to the present embodiment will be mainly described.
  • FIG. 10 is a block diagram showing a functional configuration of the imaging device 100 in the present embodiment.
  • the image processing unit 209 of this embodiment has an exposure degree determination unit 1001 in place of the reference determination unit 303 of the first embodiment.
  • the exposure degree determination unit 1001 determines whether or not the target area among the areas divided by the preliminary exposure is a correction target area to be corrected.
  • FIG. 11 is a flowchart showing an example of the procedure for correcting the exposure condition in S404 in the present embodiment. The details of the exposure condition correction processing will be described below with reference to the flowchart of FIG.
  • a correction target area to be subjected to the correction of the exposure condition is determined.
  • the exposure degree determination unit 1001 selects a region of interest from among the regions of the image sensor unit 201 divided by the preliminary exposure.
  • the regions of interest can be selected in an arbitrary order each time the loop processing of S1101 to S1104 is performed. For example, the regions may be selected in the order from the upper left to the lower right of the captured image.
  • step S1102 the exposure degree determination unit 1001 compares the difference in exposure degree between the focus area selected in step S1101 and the adjacent area adjacent to the focus area. If the difference in exposure is equal to or greater than the predetermined threshold (S1102: YES), the process proceeds to S1103. If the exposure difference is smaller than the predetermined threshold (S1102: NO), S1103 is skipped and the process proceeds to S1104.
  • step S1103 the exposure degree determination unit 1001 determines the focus area as a correction target area.
  • FIG. 12A shows an example of an exposure degree map input to the exposure degree determination unit 1001
  • FIG. 12B shows an example of an exposure degree map output from the exposure degree determination unit 1001. That is, in the exposure degree map of FIG. 12B, it is shown that the shaded area shaded is determined as the correction target area.
  • an area adjacent to eight directions (upper left, upper, upper right, left, right, lower left, lower right, lower right) of the focused area is searched, and the difference in exposure between the focused area and the adjacent area is 2
  • the region to be corrected is determined.
  • the area having a large difference in the exposure degree with the adjacent area is determined as the correction target area.
  • the method of determining the correction target area is not limited to the above method, and the difference in the degree of exposure serving as the determination condition may be other than “2”.
  • a correction target area for which the exposure condition is to be corrected is selected from the areas divided by the preliminary exposure in S403.
  • the correction target area can be selected in an arbitrary order each time the loop processing of S1105 to S1107 is performed.
  • the regions may be selected in the order from the upper left to the lower right of the captured image.
  • step S1106 the exposure condition correction unit 305 corrects the exposure condition of the correction target area selected in step S1105.
  • the method of correcting the exposure condition is the same as that of the first embodiment, and thus the description thereof is omitted.
  • step S1107 the exposure condition correction unit 305 determines whether the processing has been completed for all the regions. If the process is completed for all the areas (S1107: YES), the process returns to the flowchart of FIG. 4 again. If the correction process has not been completed for all the areas (S1107: NO), the process returns to S1105 again to perform the loop process of S1105 to S1107.
  • control method of the imaging apparatus of the present embodiment when different exposure conditions are set for each area and shooting is performed, when the difference in the exposure conditions between the adjacent areas is large, It corrects so that the difference of exposure conditions becomes small. Therefore, according to the control method of the imaging device of the present embodiment, it is possible to generate a high quality HDR image while reducing the processing load involved in the correction of the exposure condition, in addition to the effect of the first embodiment.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC
  • Exposure condition correction unit 100 100 ... imaging device 205 ... imaging system control unit 209 ... image processing unit 301 ... exposure degree map generation unit 302 ... exposure condition acquisition unit 303 ... reference determination unit 304 ... area Selection unit 305 ⁇ Exposure condition correction unit 1001 ⁇ ⁇ ⁇ Exposure degree judgment unit

Abstract

高画質なＨＤＲ画像を生成する制御手法を提供する。本発明の制御装置は、領域ごとに露出条件を制御可能な撮像素子を制御する制御装置であって、前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得手段と、前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびＩＳＯ感度を含む露出条件を前記領域ごとに設定する設定手段と、を有することを特徴とする。

Description

装置、制御方法および記憶媒体
　本発明は、ハイダイナミックレンジ画像を取得可能な装置、制御方法および記憶媒体に関する。
　従来、デジタルカメラ、デジタルビデオカメラなどにおいて、ダイナミックレンジの広いハイダイナミックレンジ画像（以下「ＨＤＲ画像」と記す）を生成する技術が知られている。特許文献１には、画素ごとに異なる露出条件を制御可能な撮像素子を用いて被写体を撮影することにより、一回の撮影でＨＤＲ画像を取得する方法が記載されている。そして、特許文献１に記載された方法では、輝度を用いて２値化した画像に対してローパスフィルタをかけて多値化した画像を露光時間マップとすることで、露光時間の異なる画素の境界部において疑似輪郭が発生しないようにしている。
特開２０１１－００４０８８号公報
　画素ごとに異なる露光時間を設定して撮影する場合において、暗い被写体に対応する画素は露光時間が長く設定される。しかしながら露出条件によってＨＤＲ画像を取得すると、露光時間が長く設定されることで、ボケが生じてしまうという場合があった。
　本発明は上記課題に鑑みなされたものであり、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することを目的とする。
　本発明の装置は、領域ごとに露出条件を制御可能な撮像素子を制御する装置であって、前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得手段と、前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびＩＳＯ感度を含む露出条件を前記領域ごとに設定する設定手段と、を有することを特徴とする。
　本発明の装置によれば、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することができる。
　本発明の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。
実施形態１における撮像装置の外観例を示す模式図である。 実施形態１における撮像装置のハードウェア構成例を示す図である。 実施形態１における画像処理部の機能構成例を示すブロック図である。 実施形態１におけるメイン処理手順例を示すフローチャートである。 実施形態１における撮像装置のＵＩ例を示す図である。 実施形態１における撮影シーンの一例を示す模式図である。 ＬＤＲ撮影モードで生成される露出度マップの一例である。 ＨＤＲ撮影モードで生成される露出度マップの一例である。 実施形態１における露出条件の補正手順例を示すフローチャートである。 補正対象領域における露出条件の具体例を示す図である。 補正対象領域における露出条件の具体例を示す図である。 補正対象領域における補正後の露出条件の具体例を示す図である。 実施形態１における補正量を調整するためのＵＩ例を示す図である。 実施形態２における画像処理部の機能構成例を示すブロック図である。 実施形態２における露出条件の補正手順例を示すフローチャートである。 補正対象領域を設定する前の露出度マップ例を示す図である。 補正対象領域を設定した後の露出度マップ例を示す図である。
　［実施形態１］
　実施形態１では、領域ごとに露出条件を制御することで、ＨＤＲ画像を生成する方法について説明する。特に、領域ごとに露光時間（シャッタースピード）とＩＳＯ感度（アナログゲイン）との両方を制御することで、領域の明るさに応じた撮像を行う。
　（撮像装置の構成）
　図１は本実施形態における撮像装置の外観例を示す模式図である。撮像装置１００は、光学部１０１と、撮影ボタン１０２と、表示部１０３と、操作ボタン１０４とを備える。光学部１０１は、ズームレンズと、フォーカスレンズと、ブレ補正レンズと、絞りと、シャッターなどとを含み、被写体の光情報を集光する。撮影ボタン１０２は、ユーザから撮影指示を受け付けるためのボタンである。表示部１０３は、液晶ディスプレイなどによって構成され、撮像装置１００で処理された画像データおよび各種データを表示する。操作ボタン１０４は、ユーザからの各種指示を受け付けるための操作部として機能し、例えば、ユーザは、操作ボタン１０４を介して露出条件を撮像装置１００に入力することができる。
　（撮像装置のハードウェア構成）
　図２は本実施形態における撮像装置１００のハードウェア構成例を示すブロック図である。撮像素子部２０１は、光学部１０１にて集光された光を電流値に変換する撮像素子群であり、撮像装置１００は、この撮像素子部２０１をカラーフィルタなどと組み合わせて用いることにより色情報を取得することができる。なお、本実施形態において、撮像素子部２０１には、画素ごとあるいは領域ごとに露出条件を設定可能なＨＤＲセンサが適用される。本実施形態において、露出条件とは、画像の明るさに関連するパラメータの総称である。撮像素子部２０１は、画素ごとあるいは領域ごとの露出条件（露光時間やアナログゲインなど）を適応的に制御することによりＨＤＲ画像を取得する。なお、領域単位で露出を制御する場合、一般的に２×２画素領域や３×２画素領域に露出条件が制御されるが、実施形態はこれに限られるものではない。
　ＣＰＵ２０２は、撮像装置１００の各構成を統括的に制御し、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０３などの記憶領域に格納された命令をＲＡＭ（Ｒｏｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０４に順次読み込む。そして、ＣＰＵ２０２は、読み込んだ命令を解釈し、その結果に従って各処理を実行する。撮像系制御部２０５は、ＣＰＵ２０２からの指示に従って、光学部１０１にフォーカスを合わせさせる、シャッターを開かせる、絞りを調整させるなどの制御を行う。装置制御部２０６は、撮影ボタン１０２を介して入力を受け付けたユーザ指示に応じて、撮像装置１００に撮影動作を開始および終了させるなどの制御を行う。また、装置制御部２０６は、操作ボタン１０４から入力を受け付けたユーザ指示に応じて、表示部１０３に所定の操作画面を表示させるなどの制御を行う。グラフィック生成部２０７は、撮像装置１００の表示制御部として機能し、表示部１０３に表示させるための文字、図形、画像などを示す画像信号を生成する。Ａ／Ｄ変換部２０８は、撮像素子部２０１が検知した被写体の光量をデジタル信号に変換する。画像処理部２０９は、Ａ／Ｄ変換部２０８が変換したデジタル信号を処理することにより、そのデジタル信号に対応する画像データを処理する。エンコーダ部２１０は、画像処理部２０９が処理した画像データをｊｐｅｇなどのファイルフォーマットに変換する。入出力インターフェース（以下インターフェースは「Ｉ／Ｆ」と記す）２１１は、ＰＣなどの外部装置や各種記録媒体（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）との間で画像データを送受信するために用いられるＩ／Ｆである。以上説明した撮像装置１００の各構成は、システムバス２１２を介して相互に通信可能に接続されている。
　（撮像装置の機能構成）
　図３は本実施形態における画像処理部２０９の機能構成を示すブロック図である。図３に示される各ブロックの機能は、ＣＰＵ２０２がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０４に読み出して実行することにより実現される。あるいはまた、図３におけるブロックの一部または全部の機能がＡＳＩＣや電子回路などのハードウェアによって実装されてもよい。これらは図３以降のブロック図についても同様である。
　本実施形態の撮像装置１００において、画像処理部２０９は、露出度マップ生成部３０１と、露出条件取得部３０２と、基準決定部３０３と、領域選択部３０４と、露出条件補正部３０５と、を有する。露出度マップ生成部３０１は、予備露光でＡ／Ｄ変換部２０８から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。露出度とは、ＩＳＯ感度と露光時間によって記録される明るさを制御するためのパラメータである。露出条件取得部３０２は、露出度に対応する露出条件を読み出して領域ごとの露出条件を取得する。基準決定部３０３は、複数の露出条件に基づいて基準露出条件を決定する。領域選択部３０４は、予備露光で区画された領域のうち、露出条件が補正される対象となる補正対象領域を選択する。露出条件補正部３０５は、基準露出条件に基づいて補正対象領域の露出条件を補正する。
　（メイン処理手順）
　図４は本実施形態における撮像装置１００のメイン処理手順を示すフローチャートである。図４に示されるフローチャートの処理は、ＣＰＵ２０２がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０４に読み出して実行することにより行われる。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図４以降のフローチャートについても同様である。
　Ｓ４０１において、装置制御部２０６は、操作ボタン１０４を介して入力を受け付けたユーザ指示に応じて、レンズの絞り値、シャッタースピード、ＩＳＯ感度などの露出条件を設定する。カメラパラメータでもあるシャッタースピードとＩＳＯ感度とは、本実施形態において、それぞれ露光時間とアナログゲインとに対応する。これらカメラパラメータの他、撮影モードに応じた露出条件が設定されてもよい。図５は本実施形態における撮像装置１００のユーザインターフェース（以下ユーザインターフェースは「ＵＩ」と記す）例を示す図である。図５では、ＨＤＲ撮影モードを設定するためのＵＩが示されており、このＵＩは表示部１０３に表示される。ユーザは、操作ボタン１０４を介して指示を入力することにより所望の撮影モードを選択することができる。Ｓ４０１において設定される撮影モードの種類はＨＤＲ撮影モードに限られるものではなく、ＨＤＲ撮影モード以外にも、人物や風景などの被写体の種類に応じた撮影モードや、晴れや曇りなどの天候の種類に応じた撮影モードなどが設定されてもよい。
　Ｓ４０２において、装置制御部２０６は、撮影ボタン１０２が押下されたか否かを判定する。撮影ボタン１０２が押下された場合（Ｓ４０２：ＹＥＳ）はＳ４０３に移行する。撮影ボタン１０２が押下されていない場合（Ｓ４０２：ＮＯ）はＳ４０２が繰り返される。
　Ｓ４０３の予備露光において、撮像素子部２０１の領域ごとの露出条件が設定される。具体的には、露出度マップ生成部３０１が、予備露光でＡ／Ｄ変換部２０８から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。本実施形態の画像処理部２０９（露出条件取得部３０２）は、露出度に対応する露出条件（図８Ａ～図８Ｃ）を読み出して領域ごとの露出条件を取得することができる。ここで、図６Ａ～図６Ｃを参照して、撮像素子部２０１の領域ごとの露出条件を設定する様子について説明する。
　図６Ａは本実施形態における撮影シーンの一例を示す模式図である。図６Ａの撮影シーンでは、屋内に居る人物が撮像装置１００によって撮影される様子が示されている。人物が居る部屋には窓が有り、この窓を介して屋外から明かりが差し込んでいるものとする。
　図６Ｂは本実施形態においてＬＤＲ（Ｌｏｗ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、ＬＤＲ撮影モードは、ＨＤＲ撮影モードよりもダイナミックレンジが狭い撮影画像を取得するためのモードであり、例えば、図５のＵＩにおいて「階調優先」が選択された場合に適用される。このＬＤＲ撮影モードでは、人物が適正露出になるように設定される。このとき、図６Ａに示される撮影シーン全体に対して図６Ｂの露出度マップに示される露出度が設定されるため、人物が居る屋内よりも明るい窓領域には白飛びが発生してしまう。
　図６Ｃは本実施形態においてＨＤＲ撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、ＨＤＲ撮影モードは、ＬＤＲ撮影モードよりもダイナミックレンジが広い撮影画像を取得するためのモードであり、例えば、図５のＵＩにおいて「Ｄレンジ優先」が選択された場合に適用される。このとき、人物を含む屋内領域に対して図６Ｂの露出度マップに示される露出度が設定されるのに対して、窓領域に対しては屋内領域に対する露出度よりも低い露出度が設定されるため、窓領域における白飛びを抑制することができる。
　なお、露出度を設定する対象となる領域はこれに限られるものではない。例えば、図６Ｃで示した通り、画素ごとに露出度を設定してもよいし、窓に対応する領域のように比較的大きな領域に露出度を設定してもよい。
　再び図４のフローチャートに戻り、Ｓ４０４において、領域ごとの露出条件の差が小さくなるように、Ｓ４０３の予備露光で設定された露出条件が補正される。
　（露出条件の補正手順）
　図７は本実施形態において、Ｓ４０４における露出条件の補正手順例を示すフローチャートである。以下、図７のフローチャートを参照して露出条件補正処理の詳細について説明する。
　Ｓ７０１において、露出条件取得部３０２は、Ｓ４０１で設定された露出条件と、Ｓ４０３で生成された露出度マップとから、領域ごとの露出条件を取得する。
　Ｓ７０２において、基準決定部３０３は、Ｓ７０１で取得された複数の露出条件に基づいて基準となる露出条件（以下「基準露出条件」と記す）を決定する。本実施形態において、Ｓ７０２で決定される基準露出条件は、シャッタースピードおよびＩＳＯ感度である。基準露出条件は、図６Ａの撮影シーンを撮影して得られた撮影画像において、例えば主被写体の領域に対応する露出条件を基準露出条件として選択すればよい。なお、基準露出条件の決定手法は、撮影シーンに応じて基準露出条件が適切に選択されれば、主被写体の領域に対応する露出条件のみに限られるものではない。例えば、フォーカスが合った領域を基準とすれば、その領域に対応する露出条件を基準露出条件として自動的に決定することができる。また、操作ボタン１０４を介して所望の領域の選択を受け付ける場合、所望の領域に対応する露出条件を基準露出条件として決定することもできる。さらには、基準決定部３０３は、Ｓ７０１で取得された複数の露出条件に基づいて、任意の領域に対応する露出条件を基準露出条件として決定することもできる。
　Ｓ７０３において、領域選択部３０４は、Ｓ４０３の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。領域選択部３０４は、Ｓ７０３～Ｓ７０５のループ処理が実行されるごとに、補正対象領域を任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で着目領域を走査しつつ、補正対象領域を選択すればよい。このとき、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、基準露出条件と着目領域の露出条件との差が所定の閾値よりも大きい場合に、当該着目領域を補正対象領域として選択してもよい。
　Ｓ７０４において、露出条件補正部３０５は、Ｓ７０２で決定した基準露出条件に基づいて、Ｓ７０３で選択した補正対象領域の露出条件を補正する。以下、図８Ａ～図８Ｃを参照して露出条件補正処理の詳細について説明する。
　図８Ａおよび図８Ｂは、ある補正対象領域について、Ｓ４０１で設定された露出条件の具体例を示すテーブルである。一方、図８Ｃは、ある補正対象領域について、Ｓ７０４で補正された露出条件の具体例を示すテーブルである。露出条件取得部３０２は、図８Ａおよび図８Ａのテーブルを参照することにより、露出度マップに記憶されている領域（画素）ごとの露出度に対応する露出条件を取得することができる。以下、露出度「０」に対応付けられた、シャッタースピード「１／１００秒」とＩＳＯ感度「４００」とが基準露出条件として設定された場合を例に説明する。
　図８Ａにはシャッタースピードのみを変更することにより露出条件が調整される例が示されている。ここで、図６Ａの撮影シーンにおいて、人物領域の露出度は「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度は「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／４００」、ＩＳＯ感度が「４００」になる。このとき、人物領域と窓領域との間でシャッタースピードが４倍異なるため、図６Ａの撮影シーンに動被写体が含まれるような場合、領域ごとの動き量も４倍異なることになる。この結果、シャッタースピードのみで露出度を調整すると、局所領域によってボケが生じてしまう。さらにはＨＤＲ画像において、局所領域ごとにボケや多重像などの出力態様が大きく異なってしまう場合がある。
　図８ＢにはＩＳＯ感度のみを変更することにより露出条件が調整される例が示されている。ここで、図６Ａの撮影シーンにおいて、人物領域の露出度は「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度が「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「１００」になる。このとき、人物領域と窓領域との間でＩＳＯ感度が４倍異なるため、図６Ａの撮影シーンに動被写体が含まれるような場合、領域ごとのノイズ量も４倍異なることになる。この結果、ＩＳＯ感度のみで露出度を調整すると、一部の局所領域においてノイズ量が増大してしまう。さらには、ＨＤＲ画像において、局所領域ごとにノイズの出力態様が大きく異なってしまう場合がある。つまり、局所領域ごとにノイズ段差が観察されるようになってしまう。
　図８Ｃには、露出条件補正部３０５によって補正された露出条件の一例が示されている。ここで、図６Ａの撮影シーンにおいて、人物領域の露出度が「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度が「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／２００秒」、ＩＳＯ感度が「２００」になる。このとき、基準となるシャッタースピード「１／１００」と、人物領域に設定される補正後のシャッタースピード「１／２００」との差は２倍に抑制される。同様に、基準となるＩＳＯ感度「４００」と、窓領域に設定される補正後のＩＳＯ感度「２００」との差も２倍に抑制される。このように、露出条件補正部３０５は、シャッタースピードまたはＩＳＯ感度のいずれか一方だけでなく、これら双方を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。また、シャッタースピードまたはＩＳＯ感度それぞれを同一または略同一の割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。加えて、補正対象領域と隣接領域との境界に対応する露出条件だけではなく、補正対象領域全体に対応する露出条件を補正するので、ＨＤＲ画像において疑似輪郭も抑制することができる。この結果、本実施形態の撮像装置の制御手法では、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することができる。
　なお、上記補正は、基準露出条件と領域ごとの露出条件との差がそれぞれ小さくなるように補正することができれば所望の方法で構わない。例えば、基準露出条件における露出度をＥ、シャッタースピードをＴ、ＩＳＯ感度をＧ、補正対象領域の露出度をＥ’、補正後シャッタースピードをＴ’、補正後ＩＳＯ感度をＧ’とすると、Ｔ’とＧ’とはそれぞれ以下の数式で求めることができる。

Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、αは、０．０≦α≦１．０となる実数の係数であり、図８Ａはα＝１．０、図８Ｂはα＝０．０、図８Ｃはα＝０．５である場合にそれぞれ対応する。なお、上記数式を用いる手法に限られず、任意に調整された係数αを適用してもよい。
　図９は本実施形態において補正量を調整するためのＵＩ例を示す図である。図９のＵＩ例に示される通り、ユーザは、ＵＩに含まれるスライドバーのつまみ９０１を左右いずれかの方向に移動させることで係数αを調整することができる。例えば、つまみを右（感度優先）方向に移動させてαを小さくすると、基準となるシャッタースピードと補正対象領域におけるシャッタースピードとの差が小さくなるため、動被写体に起因するボケや多重像の発生をより抑制することができる。一方、つまみを左（Ｔｖ優先）方向に移動させてαを大きくすると、基準となるＩＳＯ感度と補正対象領域におけるＩＳＯ感度との差が小さくなるため、ノイズ段差の発生をより抑制することができる。このように、露出条件補正部３０５は、シャッタースピードおよびＩＳＯ感度を重み付けされた割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。
　再び図７のフローチャートに戻り、Ｓ７０５において、露出条件補正部３０５は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合（Ｓ７０５：ＹＥＳ）は、再び図４のフローチャートに戻る。全ての領域について補正処理が完了していない場合（Ｓ７０５：ＮＯ）は、再びＳ７０３に戻りＳ７０３～Ｓ７０５のループ処理を行う。
　再び図４のフローチャートに戻り、Ｓ４０５において、撮像系制御部２０５は、Ｓ４０４で補正された露出条件に基づいて撮像系に撮影動作を実行させる。Ｓ４０５の撮影では、撮像系制御部２０５が光学部１０１を駆動させて被写体の光量を取得し、これら取得した光量を撮像素子部２０１で検出する。さらに、Ａ／Ｄ変換部２０８は、撮像素子部２０１で検出された光量を電気信号に変換してＲＡＷ画像データを取得する。なお、画像処理の技術分野では公知であるが、ＲＡＷ画像データは、ベイヤ配列などの所定の配列で各画素にＲ，Ｇ，Ｂのいずれか１つの色成分が記憶された画像データである。
　Ｓ４０６において、画像処理部２０９は、ＲＡＷ画像データに対して現像処理を行う。ＲＡＷ画像データに現像処理が施されることにより、ＲＧＢ画像データ（各画素にＲ，Ｇ，Ｂ全ての色成分を有する３チャンネルの画像データ）が生成される。一般に、現像処理においてホワイトバランス処理、デモザイク処理、ガンマ処理などのサブ処理が行われるが、これらは本実施形態の主眼ではないために説明を省略する。
　Ｓ４０７において、画像処理部２０９は、Ｓ４０６で生成されたＲＧＢ画像データを出力する。出力されたＲＧＢ画像データは、エンコーダ部２１０に送出されてｊｐｅｇなどのファイルフォーマットに変換される。次いで、ＲＧＢ画像データは、入出力Ｉ／Ｆ２１１を介して外部装置や記録媒体に出力される。Ｓ４０７を終了すると本フローチャートを終了する。
　以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、シャッタースピードおよびＩＳＯ感度を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。そのため、本実施形態の撮像装置の制御手法によれば、局所領域ごとのボケやノイズの出現態様の差や、疑似輪郭を抑制して、高画質なＨＤＲ画像を生成することができる。
　［実施形態２］
　実施形態１における露出条件の補正処理（Ｓ４０４）では、基準露出条件に基づいて補正対象領域の露出条件を補正していた。しかしながら、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、本実施形態では、隣接領域間の露出条件の差を考慮して、この差が大きい場合に着目領域の露出条件を補正する実施形態について説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。
　（撮像装置の機能構成）
　図１０は本実施形態における撮像装置１００の機能構成を示すブロック図である。本実施形態の画像処理部２０９は、実施形態１における基準決定部３０３に代えて、露出度判定部１００１を有する。露出度判定部１００１は、予備露光で区画される各領域のうち着目領域が、補正対象となる補正対象領域であるか否かを判定する。
　（露出条件の補正手順）
　図１１は本実施形態において、Ｓ４０４における露出条件の補正手順例を示すフローチャートである。以下、図１１のフローチャートを参照して露出条件補正処理の詳細について説明する。
　まず、Ｓ１１０１～Ｓ１１０４のループ処理において、露出条件の補正対象となる補正対象領域が決定される。
　Ｓ１１０１において、露出度判定部１００１は、予備露光で区画される撮像素子部２０１の各領域のなかから着目領域を選択する。着目領域は、Ｓ１１０１～Ｓ１１０４のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。
　Ｓ１１０２において、露出度判定部１００１は、Ｓ１１０１で選択された着目領域と、当該着目領域に隣接する隣接領域との露出度の差を比較する。露出度の差が所定の閾値以上の場合（Ｓ１１０２：ＹＥＳ）は、Ｓ１１０３に移行する。露出度の差が所定の閾値よりも小さい場合（Ｓ１１０２：ＮＯ）は、Ｓ１１０３をスキップしてＳ１１０４に移行する。
　Ｓ１１０３において、露出度判定部１００１は、着目領域を補正対象領域に決定する。
　ここで、本実施形態における補正対象領域の決定手法について、図１２Ａ、図１２Ｂを参照して説明する。
　図１２Ａは、露出度判定部１００１に入力される露出度マップ例を、図１２Ｂは露出度判定部１００１から出力される露出度マップ例をそれぞれ示している。すなわち、図１２Ｂの露出度マップにおいて、網掛けされている網掛領域が補正対象領域として決定されていることを示している。図１２Ｂの例では、着目領域の８方向（左上、上、右上、左、右、左下、下、右下）に隣接する領域が探索され、着目領域と隣接領域との露出度の差が２以上の場合に補正対象領域として決定される。このように、予備露光によって生成された露出度マップに基づいて、隣接領域との露出度の差が大きい領域が補正対象領域として決定される。なお、補正対象領域の決定手法は上記手法に限られるものではなく、判定条件となる露出度の差は「２」以外であってもよい。
　次に、Ｓ１１０５～Ｓ１１０７のループ処理において、補正対象領域の露出条件が補正される。
　再び図１１のフローチャートに戻り、Ｓ１１０５において、Ｓ４０３の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。補正対象領域は、Ｓ１１０５～Ｓ１１０７のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。
　Ｓ１１０６において、露出条件補正部３０５は、Ｓ１１０５で選択された補正対象領域の露出条件を補正する。露出条件を補正する手法は実施形態１と同じため説明を省略する。
　Ｓ１１０７において、露出条件補正部３０５は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合（Ｓ１１０７：ＹＥＳ）は、再び図４のフローチャートに戻る。全ての領域について補正処理が完了していない場合（Ｓ１１０７：ＮＯ）は、再びＳ１１０５に戻りＳ１１０５～Ｓ１１０７のループ処理を行う。
　以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、隣接領域間で露出条件の差が大きい場合に、隣接領域間の露出条件の差が小さくなるように補正する。そのため、本実施形態の撮像装置の制御手法によれば、実施形態１の効果に加えて、露出条件の補正に伴う処理負荷を軽減しつつ高画質なＨＤＲ画像を生成することができる。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年１２月１８日提出の日本国特許出願２０１７－２４１９８３を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
　１００・・・撮像装置
　２０５・・・撮像系制御部
　２０９・・・画像処理部
　３０１・・・露出度マップ生成部
　３０２・・・露出条件取得部
　３０３・・・基準決定部
　３０４・・・領域選択部
　３０５・・・露出条件補正部
　１００１・・露出度判定部

Claims (18)

  1. 　領域ごとに露出条件を制御可能な撮像素子を制御する装置であって、
    　前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得手段と、
    　前記露出度マップに基づいて、シャッタースピードおよびＩＳＯ感度を含む露出条件を前記領域ごとに設定する設定手段と、を有する
    　ことを特徴とする装置。
  2. 　前記設定手段は、相対的に暗い領域に対する前記露出条件の値より、相対的に明るい領域に対する前記露出条件の値を低くすることを特徴とする請求項１に記載の装置。
  3. 　前記撮像素子を用いて撮像することで得られる画像における少なくとも一部の領域において、前記領域ごとの露出条件の差が小さくなるように、前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度を補正する補正手段をさらに有することを特徴とする請求項１に記載の装置。
  4. 　前記補正手段は、前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度それぞれを露出度の補正量が同一または略同一となるよう補正することを特徴とする請求項３に記載の装置。
  5. 　前記領域ごとに設定された露出条件のなかから基準露出条件を決定する決定手段をさらに有し、
    　前記補正手段は、前記基準露出条件との差が小さくなるように、前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項３に記載の装置。
  6. 　前記決定手段は、フォーカスが合った領域の露出条件を前記基準露出条件とすることを特徴とする請求項５に記載の装置。
  7. 　前記決定手段は、前記基準露出条件とする露出条件の領域を選択するためのＵＩを表示部に表示させる表示制御手段をさらに有することを特徴とする請求項５に記載の装置。
  8. 　前記補正手段は、前記基準露出条件と着目領域で設定された露出条件との差が所定の閾値以上である場合、前記基準露出条件と前記着目領域で設定された露出条件との差が小さくなるように、前記着目領域で設定された露出条件のシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項５に記載の装置。
  9. 　前記基準露出条件は、前記画像に含まれる主被写体の領域で設定されたシャッタースピードおよびＩＳＯ感度、前記画像を撮像する際にフォーカスが合った領域で設定されたシャッタースピードおよびＩＳＯ感度および操作部を介して選択された領域で設定されたシャッタースピードおよびＩＳＯ感度の少なくともいずれか１つであることを特徴とする請求項５に記載の装置。
  10. 　前記補正手段は、隣接する前記領域ごとに設定された露出条件の差が所定の閾値以上である場合、隣接する前記領域の露出条件の差が小さくなるように、前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項３に記載の装置。
  11. 　前記補正手段は、前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度それぞれを、露出度の補正量が所定の重み付けされた割合となるよう補正することを特徴とする請求項３に記載の装置。
  12. 　前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度の補正量を調整するためのＵＩを表示部に表示させる表示制御手段をさらに有することを特徴とする請求項３に記載の装置。
  13. 　前記領域ごとに設定された露出条件のシャッタースピードおよびＩＳＯ感度に応じて撮像する撮像手段をさらに有する請求項１に記載の装置。
  14. 　前記撮像手段による撮影により取得される画像データに対する現像処理を行う現像手段をさらに有し、
    　前記現像処理は、ホワイトバランス処理と、デモザイク処理と、ガンマ処理と、を含むことを特徴とする請求項１３に記載の装置。
  15. 　前記露出条件を決定するための予備露光を行う予備露光手段を更に有することを特徴とする請求項１に記載の装置。
  16. 　前記設定手段は、露出度と、シャッタースピードと、ＩＳＯ感度との各値を保持するテーブルを有し、前記露出度マップに記憶されている領域ごとの露出度に対応する露出条件を取得することを特徴とする請求項１に記載の装置。
  17. 　領域ごとに露出条件を制御可能な撮像素子を制御する制御方法であって、
    　前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得ステップと、
    　前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびＩＳＯ感度を設定する設定ステップと、を有する
    　ことを特徴とする制御方法。
  18. 　コンピュータに、領域ごとに露出条件を制御可能な撮像素子を制御する制御方法であって、
    　前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得ステップと、
    　前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびＩＳＯ感度を設定する設定ステップと、を有する方法における各ステップを実行させるためのプログラムを格納したことを特徴とする記憶媒体。
PCT/JP2018/046254 2017-12-18 2018-12-17 装置、制御方法および記憶媒体 WO2019124289A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/898,476 US11336834B2 (en) 2017-12-18 2020-06-11 Device, control method, and storage medium, with setting exposure condition for each area based on exposure value map
US17/722,663 US11831991B2 (en) 2017-12-18 2022-04-18 Device, control method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017241983A JP7297406B2 (ja) 2017-12-18 2017-12-18 制御装置、撮像装置、制御方法およびプログラム
JP2017-241983 2017-12-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/898,476 Continuation US11336834B2 (en) 2017-12-18 2020-06-11 Device, control method, and storage medium, with setting exposure condition for each area based on exposure value map

Publications (1)

Publication Number Publication Date
WO2019124289A1 true WO2019124289A1 (ja) 2019-06-27

Family

ID=66994617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046254 WO2019124289A1 (ja) 2017-12-18 2018-12-17 装置、制御方法および記憶媒体

Country Status (3)

Country Link
US (2) US11336834B2 (ja)
JP (2) JP7297406B2 (ja)
WO (1) WO2019124289A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023286314A1 (ja) * 2021-07-16 2023-01-19
JP2023014831A (ja) * 2021-07-19 2023-01-31 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN114125314A (zh) * 2021-11-23 2022-03-01 展讯通信（上海）有限公司 亮度同步方法、装置、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038479A (ja) * 2007-07-31 2009-02-19 Nikon Corp 露出制御装置および撮像装置
JP2016192606A (ja) * 2015-03-30 2016-11-10 株式会社ニコン 電子機器、およびプログラム
WO2017170716A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、画像処理装置、および電子機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0695089B1 (en) 1994-07-19 2001-10-10 Canon Kabushiki Kaisha Digital signal processing apparatus
JP3109387B2 (ja) 1994-09-26 2000-11-13 キヤノン株式会社 磁気ヘッド駆動回路
JP2005197952A (ja) 2004-01-06 2005-07-21 Sony Corp 撮像装置及び撮像方法
KR101438480B1 (ko) 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
JP4900343B2 (ja) * 2008-08-21 2012-03-21 株式会社Ｊｖｃケンウッド ビデオ撮像装置および露光ガイド表示方法
JP5219933B2 (ja) 2009-06-17 2013-06-26 キヤノン株式会社 撮像装置およびその制御方法
CN103945130B (zh) 2010-02-19 2018-05-15 株式会社尼康 电子设备及电子设备的图像取得方法
US9215433B2 (en) * 2014-02-11 2015-12-15 Duelight Llc Systems and methods for digital photography
CN110086980B (zh) * 2013-05-31 2022-06-24 株式会社尼康 电子设备
CN110365899B (zh) * 2013-09-30 2022-03-22 株式会社尼康 电子设备
JP6316043B2 (ja) * 2014-03-19 2018-04-25 キヤノン株式会社 装置、方法、及びプログラム
US9615009B1 (en) * 2015-02-26 2017-04-04 Brian K. Buchheit Dynamically adjusting a light source within a real world scene via a light map visualization manipulation
CN106791380B (zh) * 2016-12-06 2020-04-21 周民 一种动感照片的拍摄方法和装置
GB201708572D0 (en) * 2017-05-30 2017-07-12 Expodo Ltd Image capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038479A (ja) * 2007-07-31 2009-02-19 Nikon Corp 露出制御装置および撮像装置
JP2016192606A (ja) * 2015-03-30 2016-11-10 株式会社ニコン 電子機器、およびプログラム
WO2017170716A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、画像処理装置、および電子機器

Also Published As

Publication number Publication date
US20200304697A1 (en) 2020-09-24
US11336834B2 (en) 2022-05-17
US11831991B2 (en) 2023-11-28
US20220239819A1 (en) 2022-07-28
JP2019110430A (ja) 2019-07-04
JP2022179514A (ja) 2022-12-02
JP7297406B2 (ja) 2023-06-26

Similar Documents

Publication Publication Date Title
KR102642993B1 (ko) 야경 촬영 방법, 장치, 전자설비, 및 저장 매체
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
WO2020057199A1 (zh) 成像方法、装置和电子设备
KR102266649B1 (ko) 이미지 처리 방법 및 장치
JP6935272B2 (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP2013106149A (ja) 撮像装置、その制御方法、及びプログラム
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2008301371A (ja) 撮像装置および画像処理プログラム
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5284183B2 (ja) 画像処理装置およびその方法
JP2019016893A (ja) 画像処理装置およびその制御方法及びプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP5561389B2 (ja) 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2016208118A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018181070A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890332

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890332

Country of ref document: EP

Kind code of ref document: A1