WO2019187901A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
WO2019187901A1
WO2019187901A1 PCT/JP2019/007290 JP2019007290W WO2019187901A1 WO 2019187901 A1 WO2019187901 A1 WO 2019187901A1 JP 2019007290 W JP2019007290 W JP 2019007290W WO 2019187901 A1 WO2019187901 A1 WO 2019187901A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure time
image data
frame
exposure
gain
Prior art date
Application number
PCT/JP2019/007290
Other languages
English (en)
French (fr)
Inventor
慎也 藤原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020510462A priority Critical patent/JP6831493B2/ja
Publication of WO2019187901A1 publication Critical patent/WO2019187901A1/ja
Priority to US17/006,901 priority patent/US11258956B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, and a program, and more particularly to a technique for acquiring a moving image that has been subjected to dynamic range expansion processing.
  • the highlight portion When a captured image is acquired for a subject (or scene) with a wide dynamic range with a digital camera or the like, the highlight portion may be over-exposed or the shadow portion may be under-exposed.
  • One method for suppressing the whiteout and blackout and expressing the dynamic range of the subject more widely is dynamic range expansion processing (HDR processing: High-dynamic-range).
  • Patent Document 1 describes a technique for obtaining a moving image having a wide dynamic range (enlarged dynamic range) by synthesizing a long-time exposure image and a short-time exposure image.
  • a blank period (exposure interval) until short-time exposure starts after long-time exposure ends and a blank period until long-time exposure starts after short-time exposure ends.
  • a technique for equalizing the above two blank periods is described.
  • an image with a high exposure amount has a high sensitivity
  • an image with a low exposure amount has a low sensitivity.
  • the exposure time for the large exposure amount and the small exposure amount are equal, and the movement amounts of the shadow portion and the highlight portion are equal.
  • low-sensitivity shooting for obtaining an image with a small exposure amount may not be performed in a bright scene.
  • an image with a large exposure amount is captured with an ISO sensitivity of 100 and an image with a small exposure amount is captured with an ISO sensitivity of 50 to obtain an image with a different exposure amount
  • the ISO sensitivity cannot be lowered to 50 or less. If is used, an image with a small exposure amount cannot be obtained.
  • the exposure time in order to obtain an image with a small exposure amount, the exposure time may be shortened, and an image with a small exposure amount can be obtained even in a bright scene.
  • the exposure time differs between an image with a large exposure amount and an image with a small exposure amount, the amount of motion of the moving body in the shadow portion and the highlight portion is different and unnatural.
  • the exposure difference with a small exposure amount is 1 Ev with respect to the large exposure amount
  • the exposure time is 1 ⁇ 2 with respect to the large exposure amount.
  • the amount of motion with a small exposure amount (highlight portion) is halved with respect to the amount of motion with a large amount of exposure (shadow portion).
  • the amount of motion of the moving body in the shadow portion and the highlight portion is different and unnatural.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to obtain a wide dynamic range when a moving image has a wide dynamic range by combining images with different exposure amounts by controlling the exposure time.
  • An imaging apparatus, an imaging method, and a program capable of obtaining a dynamic range moving image are provided.
  • An imaging apparatus for achieving the above object includes an imaging unit, and an exposure time setting unit that sets a first exposure time and a second exposure time shorter than the first exposure time.
  • the second exposure time is an exposure time obtained by dividing the first exposure time by the integer m, and the exposure for setting the first exposure time and the second exposure time.
  • a time setting unit, and an exposure control unit that controls exposure of each frame imaged continuously by the imaging unit, wherein at least one frame exposure of the first exposure time and m frames of the second exposure time An exposure control unit that repeatedly controls exposure as one set, an image data acquisition unit that acquires image data of each frame from an imaging unit whose exposure is controlled, and m frames of the second exposure time in one set
  • the average frame that is the average of the image data of minutes
  • An image data generation unit for generating image data of a frame, and a composition for moving image recording or moving image display in which a dynamic range is expanded using one frame of image data of the first exposure time and image data of an average frame A composite frame generation unit for generating a frame.
  • the image data generation unit generates image data of an average frame that is an average of image data for m frames of the second exposure time in one set
  • the composite frame generation unit generates the first data Using the image data of one frame of exposure time and the image data of the average frame, a combined frame for moving image recording or moving image display with an expanded dynamic range is generated.
  • the first exposure time and the exposure time are the same, but the composite frame is generated using an average frame having an exposure amount smaller than one frame of the first exposure time. It is possible to generate a composite frame in which the amount of motion of the moving object is the same as that of the highlight portion and the motion of the moving object is natural.
  • the imaging apparatus includes a whiteout ratio calculating unit that calculates a whiteout pixel ratio in at least one of the image data of one frame of the first exposure time and the image data of one frame of the second exposure time.
  • the exposure time setting unit performs an increase change or a decrease change with respect to the integer m in the next set based on the ratio of the whiteout pixels.
  • the whiteout ratio calculation unit calculates the whiteout pixel ratio in at least one of the image data of one frame of the first exposure time and the image data of one frame of the second exposure time. Then, the exposure time setting unit increases or decreases the integer m in the next set based on the ratio of the whiteout pixels.
  • the second exposure time based on the brightness of the scene to be captured is determined and captured. An average frame suitable for the scene can be generated.
  • the exposure time setting unit performs an increase change to the integer m in the next set when the ratio of the whiteout pixels is equal to or greater than a predetermined threshold, and the ratio of the whiteout pixels is equal to or less than the predetermined threshold. To the integer m in the next set.
  • the exposure time setting unit when the ratio of the whiteout pixels is equal to or greater than the predetermined threshold, the exposure time setting unit performs an increase change to the integer m in the next set, and the ratio of the whiteout pixels is a predetermined value. If it is less than or equal to the threshold value, a decrease change is made to the integer m in the next set.
  • this aspect can change the integer m appropriately, and can produce
  • the exposure time setting unit performs an increase change when the ratio of whiteout pixels is equal to or greater than the first threshold, and the second exposure time in the next set is obtained by dividing the first exposure time by the integer m + 1.
  • the second exposure time is the exposure time obtained by dividing the first exposure time by the integer m ⁇ 1. To do.
  • the exposure time setting unit performs an increase change when the ratio of the whiteout pixels is equal to or greater than the first threshold, and in the next set, the second exposure time is set to the integer m + 1 as the first exposure time.
  • the exposure time is divided by, and if the ratio of overexposed pixels is less than or equal to the second threshold, the decrease is changed.
  • the second exposure time is obtained by dividing the first exposure time by the integer m-1. Exposure time.
  • this aspect is changed to an integer m so that the second exposure time is shortened in the next set, and the proportion of whiteout pixels is small.
  • the integer m is changed so as to increase the second exposure time.
  • the imaging device when the reduction change is performed, the imaging device generates the overexposure confirmation image data by multiplying the image data of one frame of the second exposure time before the reduction change by the digital gain for the confirmation image
  • a check-out image data generation unit that calculates a ratio of over-exposed pixels in the over-exposure check image data, and an exposure time setting unit sets the ratio of over-exposed pixels in the over-exposure check image data. If it is less than or equal to the threshold of 3, the change is reduced.
  • the confirmation image digital gain is applied to the image data of one frame of the second exposure time before the reduction change is performed, and the white data
  • the change is reduced.
  • the confirmation image data generation unit generates the overexposure confirmation image data by multiplying the image data of one frame of the second exposure time by the digital gain for confirmation image m / (m ⁇ 1) times, and the exposure time
  • the setting unit sets the second exposure time of the next set as an exposure obtained by dividing the first exposure time by the integer m ⁇ 1. Time.
  • the confirmation image data generation unit generates the overexposure confirmation image data by multiplying the image data of one frame of the second exposure time by m / (m ⁇ 1) times the confirmation image digital gain.
  • the second exposure time of the next set is set to the integer m ⁇ 1 as the first exposure time.
  • the exposure time is divided.
  • the first gain-up image data is generated by performing a first gain-up process on the average frame image data after the increase and change.
  • a first gain-up image data generation unit wherein the first digital gain of the first gain-up process is decreased stepwise along the frame rate for moving image recording or moving image display
  • a first gain-up image data generation unit that generates up-image data is provided, and the composite frame generation unit generates a composite frame using the first gain-up image data as image data of an average frame.
  • the first gain-up image data generation unit has decreased the first digital gain of the first gain-up process stepwise along the frame rate for moving image recording or moving image display.
  • First gain-up image data is generated, and a composite frame is generated by the composite frame generation unit using the first gain-up image data as the average frame image data.
  • the first gain-up image data generation unit decreases the first digital gain stepwise from m_b / m_a times to 1 times when increasing and changing from integer m_a to integer m_b.
  • the first gain-up image data generation unit changes the integer m_a from the integer m_a to the integer m_b
  • the first digital gain is gradually reduced from m_b / m_a times to 1 time.
  • the imaging apparatus performs second gain-up processing on the image data of the average frame before the decrement is changed to generate second gain-up image data.
  • a second gain-up image data generation unit wherein the second gain of the second gain-up process is increased stepwise along the frame rate for moving image recording or moving image display
  • a second gain-up image data generation unit that generates up-image data is provided, and the composite frame generation unit generates a composite frame using the second gain-up image data as average frame image data.
  • the second gain-up image data generation unit increases the first digital gain of the second gain-up process stepwise along the frame rate for moving image recording or moving image display. 2 gain-up image data is generated, and the composite frame generation unit generates a composite frame using the second gain-up image data as the average frame image data.
  • the second digital gain increases the second digital gain stepwise from 1 to m_c / m_d times. Enlarge.
  • the second gain-up image data generation unit reduces the integer m_c to the integer m_d
  • the second digital gain is gradually increased from 1 to m_c / m_d times.
  • Digital gain is increased.
  • the second digital gain is increased stepwise to generate the second gain-up image data, so that the dynamic range can be changed more smoothly.
  • An imaging method is an exposure time setting step for setting a first exposure time and a second exposure time shorter than the first exposure time, wherein m is an integer of 2 or more. Then, the second exposure time is an exposure time obtained by dividing the first exposure time by an integer m.
  • the exposure time setting step for setting the first exposure time and the second exposure time and the imaging unit continuously.
  • An exposure control step for controlling the exposure of each frame to be imaged, wherein at least one frame exposure of the first exposure time and m frames exposure of the second exposure time are set as one set and repeated exposure control is performed.
  • An exposure control step an image data acquisition step of acquiring image data of each frame from an imaging unit whose exposure is controlled, and an average frame that is an average of image data for m frames of the second exposure time in one set
  • a composite frame for recording a moving image or displaying a moving image with an expanded dynamic range using the image data generating step for generating the image data, and the image data of one frame of the first exposure time and the image data of the average frame.
  • a program according to another aspect of the present invention is an exposure time setting step for setting a first exposure time and a second exposure time shorter than the first exposure time, where m is an integer of 2 or more.
  • the second exposure time is an exposure time obtained by dividing the first exposure time by the integer m.
  • the exposure time setting step for setting the first exposure time and the second exposure time, and the imaging unit continuously capture images.
  • a control step an image data acquisition step of acquiring image data of each frame from an imaging unit whose exposure is controlled, and an average frame that is an average of image data for m frames of the second exposure time in one set.
  • a synthesized frame generating step for generating the image.
  • the image data generation unit generates image data of an average frame that is an average of image data for m frames of the second exposure time in one set, and the composite frame generation unit generates the first frame. Since a composite frame for moving image recording or moving image display with an expanded dynamic range is generated using image data of one frame of exposure time and image data of an average frame, the first exposure time and the exposure time are the same. However, a composite frame is generated using an average frame having a smaller exposure amount than one frame of the first exposure time, and the motion amount of the moving object is equal between the shadow part and the highlight part, and the motion of the moving object is natural. A composite frame can be generated.
  • FIG. 1 is a block diagram illustrating a control processing system of the imaging apparatus.
  • FIG. 2 is a block diagram showing an example of a functional configuration related to setting of exposure time and exposure control.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 4 is a diagram illustrating a conventional exposure time setting method.
  • FIG. 5 is a diagram for explaining exposure of a frame to be combined that constitutes a combined frame of the present embodiment.
  • FIG. 6 is a flowchart illustrating a process in which the imaging described in FIG. 5 is performed by the imaging apparatus.
  • FIG. 7 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 8 is a flowchart showing the operation steps of the imaging apparatus.
  • FIG. 1 is a block diagram illustrating a control processing system of the imaging apparatus.
  • FIG. 2 is a block diagram showing an example of a functional configuration related to setting of exposure time and exposure control.
  • FIG. 3 is a
  • FIG. 9 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 10 is a flowchart showing the operation steps of the imaging apparatus.
  • FIG. 11 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 12 is a diagram illustrating the first gain-up image data and the dynamic range variation.
  • FIG. 13 is a diagram summarizing changes in the dynamic range.
  • FIG. 14 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 15 is a diagram illustrating the second gain-up image data and dynamic range fluctuations.
  • FIG. 16 is a diagram summarizing fluctuations in the dynamic range.
  • FIG. 1 is a block diagram showing a control processing system of the imaging apparatus 1.
  • the subject light passes through the lens 12, the diaphragm 14, and the mechanical shutter 20, and is received by the imaging element (imaging unit) 21.
  • the lens 12 is configured by an imaging optical system including an imaging lens and a diaphragm 14.
  • the image sensor 21 is an element that receives a subject image and generates an image signal (image data), such as a color filter such as RGB (red green blue), a CCD (Charge Coupled Device) that converts an optical image into an electrical signal, And an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor).
  • image data such as a color filter such as RGB (red green blue), a CCD (Charge Coupled Device) that converts an optical image into an electrical signal
  • an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor).
  • the image data output from the image sensor 21 is processed by an AGC (Automatic Gain Control) circuit or the like in a process processing unit 22, and then the analog image data is converted into a digital format by an AD (Analog Digital) conversion unit 23. Converted to image data.
  • the digitized image data is stored in the main memory 24.
  • the main memory 24 is an area for temporarily storing image data, and is constituted by a DRAM (Dynamic Random Access Memory) or the like. Image data sent from the AD conversion unit 23 and stored in the main memory 24 is read out by the image processing unit 31 controlled by the system control unit 25.
  • DRAM Dynamic Random Access Memory
  • the image processing unit 31 uses the image data generated by the image sensor 21 as input image data, performs various image processing such as white balance correction, gamma correction processing, and demosaic processing, and the image data after the image processing is again main. Save in the memory 24.
  • the image processing unit 31 generates a composite frame with an expanded dynamic range.
  • the detailed configuration of the image processing unit 31 will be described in detail later.
  • composite frame that has been subjected to dynamic range expansion processing
  • composite frame a frame constituting a wide dynamic range composite frame
  • composited frame a frame constituting a wide dynamic range composite frame
  • Image data that has been subjected to image processing in the image processing unit 31 and stored in the main memory 24 is read by the display control unit 35 and the compression / decompression unit 32.
  • the display control unit 35 controls the display unit 8 to display the image data read from the main memory 24 on the display unit 8. In this way, the image data output from the image sensor 21 and subjected to image processing in the image processing unit 31 is displayed on the display unit 8 as an imaging confirmation image (postview image).
  • the compression / decompression unit 32 compresses the image data read from the main memory 24, and creates image data in an arbitrary compression format such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format). .
  • the compressed image data is stored in the external memory 10 by the storage control unit 33 that controls data storage processing to the external memory 10 and data reading processing from the external memory 10.
  • the imaging information is added to the image data in an arbitrary format, and, for example, an Exif (Exchangeable image file format) format can be adopted.
  • the AF processing function of the imaging apparatus 1 integrates the absolute value of the high-frequency component of the image data corresponding to the AF area that is captured when the shutter button is pressed (half-pressed) in the first stage and performs this integration.
  • the value (AF evaluation value) is output to the system control unit 25.
  • the AE detection function integrates digital signals corresponding to the entire screen when the shutter button is pressed (half-pressed) in the first stage, or integrates image data with different weights at the center and peripheral portions of the screen. Then, the integrated value is output to the system control unit 25.
  • the system control unit 25 controls the main memory 24, the image processing unit 31, and the storage control unit 33 as described above, but also controls other units (AF processing function, AE detection function) in the imaging apparatus 1.
  • the system control unit 25 operates the AE detection function when the shutter button is half-pressed in the auto shooting mode.
  • the subject luminance (imaging Ev value) is calculated from the integrated value input by the AE detection function, and the aperture value and shutter speed (mechanical shutter 20 and / or mechanical shutter 20 and / or shutter speed) via the aperture drive unit 28 based on this imaging Ev value.
  • the charge accumulation time of the image sensor 21) is determined according to the program diagram.
  • the aperture 14 is controlled based on the determined aperture value, and the mechanical shutter 20 is controlled via the shutter drive unit 27 based on the determined shutter speed. Note that the charge accumulation time of the image sensor 21 is controlled by the sensor driving unit 26.
  • the system control unit 25 moves the focus lens of the lens 12 from the closest distance to the infinity side via the lens driving unit 29 and operates the AF processing function to The AF evaluation value at the lens position is acquired from the AF processing function. Then, a focus position where the AF evaluation value is maximized is searched, and the focus lens is moved to the focus position, thereby adjusting the focus on the subject.
  • the system control unit 25 acquires information regarding the in-focus position based on the movement position of the focus lens.
  • the system control unit 25 acquires an operation signal from the user interface 36 including a shutter button, a power switch, and an operation unit, and performs various processes and device control according to the operation signal.
  • system control unit 25 Various programs performed by the system control unit 25 and programs and data necessary for device control are stored in the main memory 24.
  • the system control unit 25 can read out programs and data stored in the control memory 30 as necessary, and can store new programs and data in the control memory 30.
  • FIG. 2 is a block diagram showing an example of a functional configuration related to setting of exposure time and exposure control.
  • the system control unit 25 includes an exposure time setting unit 101.
  • the exposure time setting unit 101 is an exposure time setting unit 101 that sets a first exposure time and a second exposure time that is shorter than the first exposure time.
  • the first exposure time and the second exposure time which are exposure times obtained by dividing the first exposure time by the integer m, are set as the exposure time. Note that the second exposure time does not need to exactly match the exposure time obtained by dividing the first exposure time by the integer m, and the second exposure time is an exposure obtained by dividing the first exposure time by the integer m. An exposure time close to the time is sufficient.
  • the shutter drive unit 27 includes an exposure control unit 103 in the image sensor 21.
  • the exposure control unit 103 controls the exposure of each frame that is continuously captured by the image sensor 21. Specifically, the exposure control unit 103 repeatedly performs exposure control by setting at least one frame exposure of the first exposure time and m frames exposure of the second exposure time as one set.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the image processing unit 31 according to the first embodiment.
  • the image processing unit 31 includes an image data acquisition unit 105, an image data generation unit 107, and a composite frame generation unit 109.
  • the image data acquisition unit 105 acquires image data of each frame from the imaging unit whose exposure is controlled. Specifically, the image data acquisition unit 105 sequentially acquires image data of one frame of the first exposure time and a frame of the second exposure time output from the image sensor 21 from the main memory 24.
  • the image data generation unit 107 generates an average frame that is one of the frames to be combined.
  • the image data generation unit 107 generates image data of an average frame that is an average of image data for m frames of the second exposure time in one set.
  • m represents an integer of 2 or more. A detailed description of the average frame will be given later.
  • the combined frame generation unit 109 generates a combined frame for moving image recording or moving image display with an expanded dynamic range using the image data of one frame of the first exposure time and the image data of the average frame.
  • FIG. 4 is a diagram for explaining a conventional exposure time setting method.
  • the vertical axis indicates the exposure amount per time unit, and the horizontal axis indicates time.
  • the composite frame is composed of a frame with a large exposure amount (frame A) and a frame with a low exposure amount (frame B), which are frames to be combined. Further, each of the frame A and the frame B is imaged at 30 fps (frame per second), and is acquired every 1/30 seconds. Note that the frames A and B are acquired with the same ISO sensitivity and the same aperture value (F value), and are changed to different frames by changing the exposure time.
  • the exposure time for frame A is set to a seconds
  • the exposure time for frame B is set to b seconds, which is shorter than a seconds.
  • Each synthesized frame (synthesized frames 1, 2, 3, 4) is composed of adjacent frames A and B.
  • the image data of frame A is used in the shadow portion
  • the image data of frame B is used in the highlight portion. Therefore, if the exposure times of the frame A and the frame B are different, the amount of motion of the moving object is different in the synthesized frame, resulting in an unnatural synthesized frame.
  • FIG. 5 is a diagram for explaining exposure of a frame to be combined that constitutes a combined frame of the present embodiment.
  • FIG. 5 shows the same vertical axis and horizontal axis as FIG.
  • Frame A has an exposure time of a second (corresponding to a first exposure time)
  • frames B1 and B2 both have an exposure time of b seconds (a / 2 seconds) (corresponding to a second exposure time).
  • m 2 because the average frame is composed of two frames B1 and B2. Since the average frame is generated by averaging the image data of the frames B1 and B2, the exposure time is equal to that of the frame A, and the exposure amount has half the information of the frame A.
  • One set refers to the timing at which exposure for m frames A and B is performed. In the figure, set 1 and set 2 are shown, and the set is repeated as imaging continues.
  • synthesized frames 1, 2, 3, and 4 are generated by the adjacent frame A and the average frame.
  • an average frame is generated from each set of frames B1 and B2, and a combined frame is generated from each average frame and frame A.
  • the exposure time a of frame A is 1/45 seconds
  • the exposure time b of frames B1 and B2 is 1/90 seconds.
  • FIG. 6 is a flowchart illustrating a process in which the imaging described in FIG.
  • Exposure time setting unit 101 sets exposure times for frames A, B1, and B2 (step S10: exposure time setting step).
  • the exposure time for frames A, B1, and B2 is set to a second for frame A, and b seconds (a / 2 seconds) for frames B1 and B2.
  • step S11 exposure control step
  • the exposure of frame A, frame B1, and frame B2 is set as one set, and exposure is performed so that this one set is repeated.
  • the image data acquisition unit 105 acquires image data of the frame A, the frame B1, and the frame B2 (step S12: image data acquisition step).
  • the image data generation unit 107 generates an average frame by averaging the image data of the frames B1 and B2 in one set (step S13: image data generation step).
  • step S13 image data generation step
  • the composite frame generation unit 109 generates a composite frame from the image data of the frame A and the average frame (step S14: composite frame generation step).
  • the first exposure time and the exposure time are the same, but the composite frame is generated with the average frame having a smaller exposure amount than one frame of the first exposure time as the composite frame, It is possible to generate a composite frame in which the motion amount of the moving object is the same between the shadow part and the highlight part, and the motion of the moving object is natural.
  • the hardware structure of a processing unit (processing unit) that executes various processes is the following various processors.
  • the circuit configuration can be changed after manufacturing a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array) that is a general-purpose processor that functions as various processing units by executing software (programs).
  • a CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • dedicated logic circuits such as programmable logic devices (Programmable Logic Devices: PLDs) and ASICs (Application Specific Specific Integrated Circuits) that have specially designed circuit configurations to execute specific processing. It is.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • each of the above-described configurations and functions can be appropriately realized by arbitrary hardware, software, or a combination of both.
  • a computer-readable recording medium non-transitory recording medium
  • the present invention can be applied.
  • the integer m for determining the second exposure time is changed according to the ratio of the whiteout pixels in the acquired image data.
  • FIG. 7 is a block diagram illustrating a functional configuration example of the image processing unit 31 according to the present embodiment.
  • the image processing unit 31 includes an image data acquisition unit 105, an image data generation unit 107, a composite frame generation unit 109, and a whiteout ratio calculation unit 111.
  • the part already demonstrated in FIG. 3 attaches
  • the whiteout ratio calculation unit 111 performs whiteout in at least one of the image data of frame A (one frame of the first exposure time) and the image data of frame B1 or frame B2 (one frame of the second exposure time). Calculate the pixel ratio. That is, the whiteout ratio calculation unit 111 performs the ratio of whiteout pixels in the image data of frame A, the ratio of whiteout pixels in the image data of frame B1 or frame B2, frame A, frame B1, and frame in the same set. The ratio of overexposed pixels in the B2 image data is calculated.
  • a whiteout pixel is a pixel in a state where accumulated charges have reached saturation. Then, the exposure time setting unit 101 performs an increase change or a decrease change with respect to the integer m in the next set based on the calculated whiteout pixel ratio.
  • the exposure time setting unit 101 performs an increase change when the ratio of overexposed pixels is equal to or greater than the first threshold, and sets the second exposure time as the first exposure time as an integer m + 1 in the next set.
  • the exposure time divided by As a result, in the next set, the second exposure time is shortened, and a composite frame in which the proportion of whiteout pixels is suppressed can be generated.
  • the exposure time setting unit 101 performs a reduction change when the ratio of the whiteout pixel is equal to or less than the second threshold value, and divides the second exposure time by dividing the first exposure time by the integer m ⁇ 1 in the next set. Exposure time. As a result, the second exposure time is lengthened and the amount of digital gain increase is reduced, so that a composite frame in which noise is suppressed can be generated.
  • m ⁇ 1 is an integer of 2 or more.
  • FIG. 8 is a flowchart showing the operation steps of the imaging apparatus 1 of the present embodiment.
  • the whiteout ratio calculation unit 111 calculates the ratio of whiteout pixels in at least one of the image data of frame A, frame B1, and frame B2 (step S20). After that, the exposure time setting unit 101 determines whether or not the proportion of whiteout pixels is greater than or equal to the first threshold value (TH1) (step S21).
  • the exposure time setting unit 101 increases and changes the number m of frames of the second exposure time constituting the average frame in the next set. A composite frame is generated based on the frame. (Step S22).
  • the exposure time setting unit 101 determines whether the ratio of the whiteout pixel is equal to or less than TH2 (second threshold) when the ratio of the whiteout pixel is less than TH1 (step S24). If the ratio of whiteout pixels is equal to or less than TH2, in the next set, the number m of frames of the second exposure time constituting the average frame is reduced and changed, and the composite frame is determined based on the average frame. Generate (step S25). In addition, when the ratio of overexposed pixels is greater than TH2, the exposure time setting unit 101 does not change the number m of frames of the second exposure time constituting the average frame in the next set. A frame is generated (step S26). In this case, there is no change in the dynamic range of the composite frame.
  • the exposure time setting unit 101 determines whether or not the shooting is finished (step S23), and when the shooting is continued, the whiteout ratio calculating unit 111 again sets the frame A, the frame B1, and the frame B2. In at least one of them, the ratio of whiteout pixels is calculated (step S20).
  • the whiteout ratio calculation unit 111 performs whiteout in at least one of the image data of one frame of the first exposure time and the image data of one frame of the second exposure time. The pixel ratio is calculated. Then, the exposure time setting unit 101 increases or decreases the integer m in the next set based on the ratio of the whiteout pixels. Thereby, in this embodiment, since the integer m is changed according to the ratio of the whiteout pixels in the image to be captured, the second exposure time is determined according to the brightness of the scene to be captured and captured. An average frame suitable for a scene to be generated can be generated.
  • FIG. 9 is a block diagram illustrating a functional configuration example of the image processing unit 31 of the present embodiment.
  • the image processing unit 31 includes an image data acquisition unit 105, an image data generation unit 107, a composite frame generation unit 109, a whiteout ratio calculation unit 111, and a confirmation image data generation unit 113.
  • the part already demonstrated in FIG.3 and FIG.7 attaches
  • the confirmation image data generation unit 113 multiplies the image data of one frame of the second exposure time before the reduction change is multiplied by the digital gain for the confirmation image to obtain the overexposure confirmation image data. Generate. Specifically, for example, when the integer m is changed to be decreased to the integer m ⁇ 1, the confirmation image data generation unit 113 adds m / (m ⁇ 1) times to the image data of one frame of the second exposure time. The confirmation image digital gain is applied to generate overexposed confirmation image data.
  • the whiteout ratio calculation unit 111 calculates the ratio of whiteout pixels in at least one of the image data of frame A and the image data of frame B, and in addition, The ratio of skipped pixels is calculated.
  • the exposure time setting unit 101 performs a reduction change when the ratio of whiteout pixels in the whiteout confirmation image data is equal to or smaller than the third threshold value.
  • FIG. 10 is a flowchart showing the operation steps of the imaging apparatus 1 of the present embodiment.
  • the whiteout ratio calculation unit 111 calculates the ratio of whiteout pixels in at least one of the image data of frame A, frame B1, and frame B2 (step S30). After that, the exposure time setting unit 101 determines whether or not the proportion of whiteout pixels is greater than or equal to the first threshold (TH1) (step S31).
  • the exposure time setting unit 101 increases and changes the number m of frames of the second exposure time constituting the average frame in the next set. A composite frame is generated based on the frame. (Step S32).
  • the exposure time setting unit 101 determines whether the ratio of the whiteout pixel is equal to or less than TH2 (second threshold) when the ratio of the whiteout pixel is less than TH1 (step S34).
  • the confirmation image data generation unit 113 generates the whiteout confirmation image data by applying a digital gain of m / (m ⁇ 1) times to the image data of frame B. (Step S35).
  • the whiteout ratio calculation unit 111 calculates the ratio of whiteout pixels in the whiteout confirmation image data (step S36). Thereafter, the exposure time setting unit 101 determines whether or not the ratio of the whiteout pixels in the whiteout confirmation image data is equal to or less than TH3 (step S37).
  • step S34 when the proportion of whiteout pixels in at least one of frame A, frame B1, and frame B2 is greater than TH2 (No in step S34), or the proportion of whiteout pixels in the whiteout confirmation image data is greater than TH3. If it is larger (No in step S37), in the next set, a composite frame is generated without changing the number m of frames of the second exposure time constituting the average frame (step S39). In this case, there is no change in the dynamic range of the composite frame.
  • the exposure time setting unit 101 determines whether or not the shooting is finished (step S33), and when the shooting is continued, the whiteout ratio calculating unit 111 sets the frame A, the frame B1, and the frame B2. In at least one of them, the ratio of whiteout pixels is calculated (step S30).
  • the reduction change is performed after the ratio of the whiteout pixels after the reduction change of the integer m is confirmed by the whiteout check image data. Therefore, fluctuations in dynamic range fluctuations in which the decrease change and the increase change are repeatedly performed such that the increase change is performed immediately after the decrease change of the integer m are suppressed.
  • the composite frame generation unit 109 generates first gain-up image data whose gain has been changed in stages, and the composite frame is generated using the first gain-up image data as image data of the average frame. Generated. Therefore, when the dynamic range of the composite frame varies, the dynamic range varies smoothly.
  • FIG. 11 is a block diagram illustrating a functional configuration example of the image processing unit 31 of the present embodiment.
  • the image processing unit 31 includes an image data acquisition unit 105, an image data generation unit 107, a composite frame generation unit 109, a whiteout ratio calculation unit 111, and a first gain-up image data generation unit 115.
  • the part already demonstrated in FIG.3 and FIG.7 attaches
  • the first gain-up image data generation unit 115 performs a first gain-up process on the image data of the average frame after the increase change when the exposure time setting unit 101 increases the change and performs the first gain increase process. Generate up-image data.
  • the first digital gain is decreased stepwise along the frame rate for moving image recording or moving image display, and the first gain increase approaches the average frame after m is increased and changed.
  • Generate image data Specifically, the first gain-up image data generation unit 115 gradually decreases the first digital gain from m_b / m_a times to 1 times when increasing and changing from the integer m_a to the integer m_b.
  • the gain is increased by digital gain process, and the signal value above a predetermined value is set to a constant value by the upper limit process.
  • the first gain-up image data generation unit 115 generates the first gain-up image data so that the dynamic range of the composite frame is changed preferably over 1 second or more. Also, the first gain-up image data generation unit 115 generates the first gain-up image data so that the dynamic range of the composite frame is changed, preferably in 12 steps or more. This is because the first gain-up image data for two frames is generated in each of the twelve stages, the fluctuation is performed over 24 frames, and the fluctuation is performed in stages in one second with a 24 fps moving image. .
  • FIG. 12 is a diagram for explaining the first gain-up image data and dynamic range fluctuations.
  • the vertical axis represents the signal value
  • the horizontal axis represents the dynamic range of the average frame.
  • Reference numerals 152 and 153 indicate first gain-up image data G1 in the first stage and first gain-up image data G2 in the second stage, respectively.
  • the first gain-up image data G1 in the first stage has a dynamic range D2.
  • the first gain-up image data G2 in the second stage has
  • FIG. 13 is a diagram summarizing changes in the dynamic range described in FIG.
  • the graphs of reference numerals 151, 152, 153, and 154 indicate that the dynamic range varies with D1, D2, D3, and D4.
  • the dynamic range of the average frame varies from D1 to D4.
  • the dynamic range of the average frame can be smoothly varied by varying in stages from D1, D2, D3, and D4.
  • the synthesized frame is generated by the synthesized frame generation unit 109 using the second gain-up image data as the average frame image data, so that the dynamic range can be changed smoothly.
  • FIG. 14 is a block diagram illustrating a functional configuration example of the image processing unit 31 of the present embodiment.
  • the image processing unit 31 includes an image data acquisition unit 105, an image data generation unit 107, a composite frame generation unit 109, a whiteout ratio calculation unit 111, and a second gain-up image data generation unit 117.
  • the part already demonstrated in FIG.3 and FIG.7 attaches
  • the second gain-up image data generation unit 117 performs a second gain-up process on the image data of the average frame before the reduction change when the exposure time setting unit 101 reduces the second gain. Generate up-image data.
  • the second digital gain is increased stepwise along the frame rate for moving image recording or moving image display, and second gain-up image data that approaches the average frame after m is decreased and changed is generated.
  • the second gain-up image data generation unit 117 reduces the integer m_c to the integer m_d
  • the second digital gain is gradually increased from 1 to m_c / m_d times.
  • Increase In the second gain-up process the gain is increased by digital gain process, and the signal value above a predetermined value is set to a constant value by the upper limit process.
  • the second gain-up image data generation unit 117 generates the second gain-up image data so that the dynamic range of the composite frame is changed preferably over 1 second or more. Further, the second gain-up image data generation unit 117 generates the second gain-up image data so that the dynamic range of the composite frame is changed, preferably in 12 steps or more. This is because the second gain-up image data for two frames is generated in each of the twelve stages, and the fluctuation is performed over 24 frames, and the fluctuation is performed in stages in one second with a 24 fps moving image. .
  • FIG. 15 is a diagram for explaining the second gain-up image data and the dynamic range fluctuation.
  • the vertical axis represents the signal value
  • the horizontal axis represents the dynamic range of the average frame.
  • Reference numerals 156 and 157 indicate first-stage second gain-up image data G3 and second-stage second gain-up image data G4, respectively.
  • the dynamic range is D6.
  • the dynamic range is D7.
  • FIG. 16 is a diagram summarizing changes in the dynamic range described in FIG.
  • the graphs of reference numerals 155, 156, 157, and 158 indicate that the dynamic range varies with D5, D6, D7, and D8.
  • the dynamic range of the average frame varies from D5 to D8, but the dynamic range of D5, D6, D7, and D8 varies stepwise, so that the average frame dynamic range can be smoothly varied.
  • Imaging device 8 Display unit 10: External memory 12: Lens 14: Aperture 20: Mechanical shutter 21: Image sensor 22: Process processing unit 23: AD conversion unit 24: Main memory 25: System control unit 26: Sensor drive unit 27: Shutter drive unit 28: Aperture drive unit 29: Lens drive unit 30: Control memory 31: Image processing unit 32: Compression / decompression unit 33: Storage control unit 35: Display control unit 36: User interface 101: Exposure time setting unit 103 : Exposure control unit 105: image data acquisition unit 107: image data generation unit 109: composite frame generation unit 111: whiteout ratio calculation unit 113: confirmation image data generation unit 115: first gain-up image data generation unit 117: first 2 gain-up image data generation unit step S 0-S14: imaging method steps of the first embodiment S20-S26: imaging method of the second embodiment the step S30-S39: imaging method of the third embodiment

Abstract

露光時間の制御により異なる露光量の画像を合成して広ダイナミックレンジの画像を得る場合に、動体の動きが自然な広ダイナミックレンジの動画を得ることができる撮像装置、撮像方法、及びプログラムを提供する。撮像装置（１）は、撮像部と、第１の露光時間および第２の露光時間を設定する露光時間設定部と、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、各フレームの画像データを取得する画像データ取得部（１０５）と、平均フレームの画像データを生成する画像データ生成部（１０７）と、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した合成フレームを生成する合成フレーム生成部（１０９）と、を備える。

Description

撮像装置、撮像方法、およびプログラム
　本発明は、撮像装置、撮像方法、およびプログラムに関し、特にダイナミックレンジの拡大処理が行われた動画を取得する技術に関する。
　デジタルカメラなどでダイナミックレンジの広い被写体（またはシーン）について撮像画像を取得すると、ハイライト部分の白飛びやシャドウ部分の黒つぶれが発生することがある。この白飛びや黒つぶれを抑制し、被写体の持つダイナミックレンジをより広く表現させる方法の１つとして、ダイナミックレンジ拡大処理（ＨＤＲ処理：High-dynamic-range）がある。
　例えば特許文献１には、長時間露光画像および短時間露光画像を合成して、広ダイナミックレンジ（拡大されたダイナミックレンジ）の動画を得る技術が記載されている。特許文献１に記載された技術では、長時間露光が終了した後に短時間露光が開始するまでのブランク期間（露光間隔）と、短時間露光が終了した後に長時間露光が開始するまでのブランク期間とが異なることによる動画における動体の動きの不自然さを解消することを目的とし、上述の２つのブランク期間を等しくする技術が記載されている。
特開２０１１－２５９３７５号公報
　ここで、広ダイナミックレンジの合成画像を得るには、露光量の異なる複数の画像を得る必要がある。異なる露光量の画像を得る方法としては、例えば感度を異ならせる手法と露光時間を異ならせる手法とがある。
　感度を異ならせる手法においては、露光量多（露光量が多い）の画像は高感度で、露光量少（露光量が少ない）の画像は低感度で画像を取得することにより、異なる露光量の画像データを得る。この手法では、露光量多と露光量少との露光時間が等しく、シャドウ部とハイライト部の動き量が等しくなる。しかしながら、カメラで実現可能な感度には限界があるため、明るいシーンでは露光量少の画像を得るための低感度撮影が実行不可能な場合がある。例えば、露光量多の画像をＩＳＯ感度１００で撮像し、露光量少の画像をＩＳＯ感度５０で撮像して、異なる露光量の画像を得る場合に、ＩＳＯ感度を５０以下に下げることができないカメラを使用していると、露光量少の画像を得ることができない。
　一方で、露光時間を異ならせる手法では、露光量少の画像を得るためには露光時間を短くすればよく、露光量少の画像を明るいシーンであっても取得することができる。しかしながら、露光量多の画像と露光量少の画像とでは露光時間が異なるため、シャドウ部とハイライト部の動体の動き量が異なり不自然になる。例えば、露光量多に対して露光量少の露光差が１Ｅｖである場合には、露光量多に対して露光量少は露光時間が１／２である。動体を撮影した場合には、露光量多（シャドウ部）の動き量に対して、露光量少（ハイライト部）の動き量が１／２になる。これにより、露光量多の画像と露光量少の画像とを合成した広ダイナミックレンジの画像では、シャドウ部とハイライト部の動体の動き量が異なり不自然となってしまう。
　本発明はこのような事情に鑑みてなされたもので、その目的は、露光時間の制御により異なる露光量の画像を合成して広ダイナミックレンジの画像を得る場合に、動体の動きが自然な広ダイナミックレンジの動画を得ることができる撮像装置、撮像方法、およびプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である撮像装置は、撮像部と、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部であって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定部と、撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得部と、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成部と、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、を備える。
　本態様によれば、画像データ生成部により、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データが生成され、合成フレーム生成部により、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームが生成される。これにより、本態様では、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを使用して合成フレームを生成するので、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。
　好ましくは、撮像装置は、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合を算出する白飛び割合算出部を備え、露光時間設定部は、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更を行う。
　本態様によれば、白飛び割合算出部により、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合が算出され、露光時間設定部により、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更される。これにより、本態様は、撮像される画像における白飛び画素の割合に応じて整数ｍが変更されるので、撮像されるシーンの明るさに基づいた第２の露光時間が決定され、撮像されるシーンに適切な平均フレームを生成することができる。
　好ましくは、露光時間設定部は、白飛び画素の割合が所定の閾値以上の場合には、次のセットにおいて整数ｍに対して増加変更を行い、白飛び画素の割合が所定の閾値以下の場合には、次のセットにおいて整数ｍに対して減少変更を行う。
　本態様によれば、露光時間設定部により、白飛び画素の割合が所定の閾値以上の場合には、次のセットにおいて整数ｍに対して増加変更が行われ、白飛び画素の割合が所定の閾値以下の場合には、次のセットにおいて整数ｍに対して減少変更が行われる。これにより、本態様は、整数ｍを適切に変更することができ、撮像されるシーンに適切な平均フレームを生成することができる。
　好ましくは、露光時間設定部は、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ＋１で除算した露光時間とし、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ－１で除算した露光時間とする。
　本態様によれば、露光時間設定部により、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ＋１で除算した露光時間とし、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ－１で除算した露光時間とされる。これにより、本態様は、白飛び画素の割合が多い場合には、次のセットにおいては第２の露光時間が短くなるように整数ｍに増加変更が行われ、白飛び画素の割合が少ない場合には、次のセットにおいては第２の露光時間が長くなるように整数ｍに減少変更が行われる。
　好ましくは、撮像装置は、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する確認画像データ生成部を備え、白飛び割合算出部は、白飛び確認画像データの白飛び画素の割合を算出し、露光時間設定部は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更を行う。
　本態様によれば、確認画像データ生成部により、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データが生成され、露光時間設定部により、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更が行われる。これにより、本態様は、整数ｍの減少変更後の白飛び画素の割合が白飛び確認画像データにより確認されてから、減少変更が行われるので、減少変更と増加変更とが繰り返し行われることによるダイナミックレンジの変動のふらつきが抑制される。
　好ましくは、確認画像データ生成部は、第２の露光時間の１フレームの画像データにｍ／（ｍ－１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データを生成し、露光時間設定部は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、次のセットの第２の露光時間は第１の露光時間を整数ｍ－１で除算した露光時間とする。
　本態様によれば、確認画像データ生成部により、第２の露光時間の１フレームの画像データにｍ／（ｍ－１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データが生成され、露光時間設定部により、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、次のセットの第２の露光時間は第１の露光時間を整数ｍ－１で除算した露光時間とされる。これにより、本態様は、整数ｍを整数ｍ－１とする場合に、より正確な白飛び確認画像データが生成されるので、ダイナミックレンジの変動のふらつきを適切に抑制することができる。
　好ましくは、撮像装置は、露光時間設定部により増加変更された場合に、増加変更された後の平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部であって、動画記録用または動画表示用のフレームレートに沿って第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部を備え、合成フレーム生成部は、第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームを生成する。
　本態様によれば、第１のゲインアップ画像データ生成部により、動画記録用または動画表示用のフレームレートに沿って第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、第１のゲインアップ画像データが生成され、合成フレーム生成部により、第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。これにより、本態様は、滑らかにダイナミックレンジを変更させることができる。
　好ましくは、第１のゲインアップ画像データ生成部は、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする。
　本態様によれば、第１のゲインアップ画像データ生成部により、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくされる。これにより、本態様は、第１のデジタルゲインが段階的に小さくされて第１のゲインアップ画像データが生成されるので、より滑らかなダイナミックレンジの変更を行うことができる。
　好ましくは、撮像装置は、露光時間設定部により減少変更された場合に、減少変更される前の平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部であって、動画記録用または動画表示用のフレームレートに沿って、第２のゲインアップ処理の第２のデジタルゲインが段階的に大きくなった第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部を備え、合成フレーム生成部は、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームを生成する。
　本態様によれば、第２のゲインアップ画像データ生成部により、動画記録用または動画表示用のフレームレートに沿って第２のゲインアップ処理の第１のデジタルゲインが段階的に大きくなった第２のゲインアップ画像データが生成され、合成フレーム生成部により、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。これにより、本態様は、滑らかにダイナミックレンジを変更させることができる。
　好ましくは、第２のゲインアップ画像データ生成部は、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインを大きくする。
　本態様によれば、第２のゲインアップ画像データ生成部により、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインが大きくされる。これにより、本態様は、第２のデジタルゲインが段階的に大きくされて第２のゲインアップ画像データが生成されるので、より滑らかなダイナミックレンジの変動を行うことができる。
　本発明の他の態様である撮像方法は、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得ステップと、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含む。
　本発明の他の態様であるプログラムは、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得ステップと、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含む撮像方法をコンピュータに実行させる。
　本発明によれば、画像データ生成部により、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データが生成され、合成フレーム生成部により、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームが生成されるので、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを使用して合成フレームを生成し、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。
図１は、撮像装置の制御処理系を示すブロック図である。 図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。 図３は、画像処理部の機能構成例を示すブロック図である。 図４は、従来の露光時間の設定手法に関して説明する図である。 図５は、本実施形態の合成フレームを構成する被合成フレームの露光に関して説明する図である。 図６は、図５で説明した撮像が撮像装置で行われる工程を示すフロー図である。 図７は、画像処理部の機能構成例を示すブロック図である。 図８は、撮像装置の動作の工程を示すフロー図である。 図９は、画像処理部の機能構成例を示すブロック図である。 図１０は、撮像装置の動作の工程を示すフロー図である。 図１１は、画像処理部の機能構成例を示すブロック図である。 図１２は、第１のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。 図１３は、ダイナミックレンジの変動をまとめた図である。 図１４は、画像処理部の機能構成例を示すブロック図である。 図１５は、第２のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。 図１６は、ダイナミックレンジの変動をまとめた図である。
　以下、添付図面に従って本発明にかかる撮像装置、撮像方法、およびプログラムの好ましい実施の形態について説明する。
　図１は、撮像装置１の制御処理系を示すブロック図である。
　被写体光は、レンズ１２、絞り１４、メカニカルシャッタ２０を通過し、撮像素子（撮像部）２１によって受光される。レンズ１２は、撮像レンズおよび絞り１４を含む撮像光学系によって構成される。
　撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。
　メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。
　画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。
　また、画像処理部３１は、ダイナミックレンジを拡大した合成フレームを生成する。画像処理部３１の詳しい構成に関しては後で詳述する。
　なお、ダイナミックレンジの拡大処理を行った合成フレームを以下では「合成フレーム」と記載する。また、広ダイナミックレンジの合成フレームを構成するフレームを「被合成フレーム」と記載する。
　画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。
　一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。
　撮像装置１のＡＦ処理機能は、シャッタボタンの第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。
　ＡＥ検出機能は、シャッタボタンの第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。
　システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、撮像装置１における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。
　システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、ＡＥ検出機能を動作させる。ＡＥ検出機能により入力される積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り駆動部２８を介して絞り１４の絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定する。
　シャッタボタンが全押しされると、決定した絞り値に基づいて絞り１４を制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２７を介してメカニカルシャッタ２０を制御する。なお、撮像素子２１の電荷蓄積時間は、センサ駆動部２６により制御される。
　システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、レンズ駆動部２９を介してレンズ１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。
　またシステム制御部２５は、シャッタボタン、電源スイッチおよび操作部を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。
　システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。
　次に、本発明の露光時間の設定および露光制御に関して説明する。図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。
　システム制御部２５は露光時間設定部１０１を含む。露光時間設定部１０１は、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部１０１であって、ｍを２以上の整数とすると、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間である第１の露光時間および第２の露光時間を設定する。なお、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間に厳密に一致する必要はなく、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間に近い露光時間であれば足りる。
　シャッタ駆動部２７は、撮像素子２１における露光制御部１０３を有する。露光制御部１０３は、撮像素子２１により連続して撮像される各フレームの露光を制御する。具体的には、露光制御部１０３は、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する。
　＜第１の実施形態＞
　図３は、第１の実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、および合成フレーム生成部１０９を備える。
　画像データ取得部１０５は、露光が制御された撮像部から各フレームの画像データを取得する。具体的には、画像データ取得部１０５は、撮像素子２１で出力された、第１の露光時間の１フレームおよび第２の露光時間のフレームの画像データをメインメモリ２４から逐次取得する。
　画像データ生成部１０７は、被合成フレームの一つである平均フレームを生成する。画像データ生成部１０７は、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する。ここでｍは２以上の整数を示す。平均フレームの詳しい説明は後で行う。
　合成フレーム生成部１０９は、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する。
　次に、被合成フレームを得る場合の従来の露光時間の設定に関して説明する。
　図４は、従来の露光時間の設定手法に関して説明する図である。図４では、縦軸は時間単位あたりの露光量を示し、横軸は時間を示している。
　合成フレームは、被合成フレームである露光量の多いフレーム（フレームＡ）と露光量の少ないフレーム（フレームＢ）とで構成される。また、フレームＡおよびフレームＢの各々は、３０ｆｐｓ（frame per second）で撮像されており、１／３０秒毎に取得されている。なお、フレームＡおよびフレームＢは同じＩＳＯ感度、同じ絞り値（Ｆ値）により取得されており、露光時間を変えることにより、露光量の異なるフレームとされる。
　フレームＡの露光時間はａ秒に設定されており、フレームＢの露光時間はａ秒よりも短いｂ秒に設定されている。そして、各合成フレーム（合成フレーム１、２、３、４）は、隣合うフレームＡとフレームＢとで構成される。合成フレームにおいては、シャドウ部ではフレームＡの画像データが使用され、ハイライト部ではフレームＢの画像データが使用される。したがって、フレームＡとフレームＢとの露光時間が異なってしまうと、合成フレームにおいて動体の動き量が異なり、不自然な合成フレームとなる。
　次に、被合成フレームを得る場合の本発明の露光時間の設定に関して説明する。
　図５は、本実施形態の合成フレームを構成する被合成フレームの露光に関して説明する図である。なお図５は、図４と同じ縦軸および横軸を示す。
　図５に示した場合では、１セットにおいて、フレームＡ、フレームＢ１、フレームＢ２の露光が行われ、それぞれ画像データが取得される。フレームＡは露光時間ａ秒（第１の露光時間に相当）であり、フレームＢ１およびＢ２は共に露光時間ｂ秒（ａ／２秒）（第２の露光時間に相当）である。露光時間ｂ秒は、フレームＡの露光時間ａ秒を、ｍ＝２として除算したものである。ここで、ｍは平均フレームがフレームＢ１およびフレームＢ２の２枚で構成されるのでｍ＝２とされる。平均フレームは、フレームＢ１およびＢ２の画像データが平均されて生成されているので、露光時間はフレームＡに等しく、露光量はフレームＡの１／２の情報を有することになる。なお、１セットはフレームＡとフレームＢのｍフレーム分の露光が行われるタイミングをいい、図中にはセット１、セット２が示されており、撮像の継続とともにセットが繰り返される。
　そして、隣り合うフレームＡと平均フレームとにより合成フレーム１、２、３、および４が生成される。このようにして、各セットのフレームＢ１およびＢ２により平均フレームが生成され、各平均フレームとフレームＡとにより合成フレームが生成される。具体例として、露光時間割合が１：１／２（１Ｅｖ違い）の被合成フレームは、フレームＡの露光時間ａは１／４５秒となり、フレームＢ１およびＢ２の露光時間ｂは１／９０秒となる。
　次に、撮像装置１の動作工程（本発明の撮像方法に相当）を説明する。図６は、図５で説明した撮像が撮像装置１で行われる工程を示すフロー図である。
　露光時間設定部１０１は、フレームＡ、Ｂ１、およびＢ２の露光時間を設定する（ステップＳ１０：露光時間設定ステップ）。フレームＡ、Ｂ１、Ｂ２の露光時間は、フレームＡはａ秒であり、フレームＢ１およびＢ２はｂ秒（ａ／２秒）と設定される。
　その後、露光制御部１０３により、露光時間設定部１０１で設定された露光時間に基づいて露光が制御される（ステップＳ１１：露光制御ステップ）。具体的には、フレームＡ、フレームＢ１、およびフレームＢ２の露光を１セットとし、この１セットが繰り返されるように露光が行われる。次に、画像データ取得部１０５は、フレームＡ、フレームＢ１、フレームＢ２の画像データを取得する（ステップＳ１２：画像データ取得ステップ）。そして、画像データ生成部１０７により、１セット内のフレームＢ１およびフレームＢ２の画像データを平均することにより平均フレームを生成する（ステップＳ１３：画像データ生成ステップ）。その後、合成フレーム生成部１０９は、フレームＡおよび平均フレームの画像データにより、合成フレームを生成する（ステップＳ１４：合成フレーム生成ステップ）。
　以上、本実施形態によれば、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを被合成フレームとして、合成フレームを生成し、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態について説明する。本実施形態では、取得される画像データの白飛び画素の割合に応じて、第２の露光時間を決める際の整数ｍが変更される。
　図７は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１を備える。なお、図３で既に説明を行った箇所は同じ符号を付し説明は省略する。
　白飛び割合算出部１１１は、フレームＡ（第１の露光時間の１フレーム）の画像データおよびフレームＢ１またはフレームＢ２（第２の露光時間の１フレーム）の画像データのうち少なくとも一方において、白飛び画素の割合を算出する。すなわち、白飛び割合算出部１１１は、同じセット内の、フレームＡの画像データにおける白飛び画素の割合、フレームＢ１またはフレームＢ２の画像データにおける白飛び画素の割合、フレームＡ、フレームＢ１、およびフレームＢ２の画像データにおける白飛び画素の割合を算出する。ここで白飛び画素とは、蓄積された電荷が飽和に達した状態の画素である。そして、露光時間設定部１０１は、算出された白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更を行う。
　具体的には、露光時間設定部１０１は、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間を第１の露光時間を整数ｍ＋１で除算した露光時間とする。これにより、次のセットにおいて第２の露光時間が短くなり白飛び画素の割合が抑制された合成フレームを生成することができる。また露光時間設定部１０１は、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間を第１の露光時間を整数ｍ－１で除算した露光時間とする。これにより、第２の露光時間が長くなり、デジタルゲインアップ量が減少するのでノイズが抑制された合成フレームを生成することができる。なお、ｍ－１は２以上の整数である。
　図８は、本実施形態の撮像装置１の動作の工程を示すフロー図である。
　先ず、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２の画像データのうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ２０）。その後、露光時間設定部１０１は、白飛び画素の割合が第１の閾値（ＴＨ１）以上であるか否かを判定する（ステップＳ２１）。
　露光時間設定部１０１は、白飛び画素の割合がＴＨ１以上である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを増加変更させて、その平均フレームに基づいて合成フレームを生成する。（ステップＳ２２）。
　露光時間設定部１０１は、白飛び画素の割合がＴＨ１未満である場合には、白飛び画素の割合がＴＨ２（第２の閾値）以下であるか判定する（ステップＳ２４）。白飛び画素の割合がＴＨ２以下である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを減少変更させて、その平均フレームに基づいて合成フレームを生成する（ステップＳ２５）。また、露光時間設定部１０１は、白飛び画素の割合がＴＨ２より大きい場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを変更せずに、合成フレームを生成する（ステップＳ２６）。この場合には、合成フレームのダイナミックレンジの変更はない。
　その後、露光時間設定部１０１は、撮影が終了か否かを判定して（ステップＳ２３）、撮影が継続される場合には、再び白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２のうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ２０）。
　以上説明したように、本実施形態では、白飛び割合算出部１１１により、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合が算出される。そして、露光時間設定部１０１により、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更される。これにより、本実施形態では、撮像される画像における白飛び画素の割合に応じて整数ｍが変更されるので、撮像されるシーンの明るさに応じて第２の露光時間が決定され、撮像されるシーンに適切な平均フレームを生成することができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態について説明する。本実施形態では、白飛び画素の割合に応じて整数ｍが減少変更される場合に、白飛び確認画像データの白飛び画素の割合が確認された後に、整数ｍの減少変更が行われる。
　図９は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および確認画像データ生成部１１３を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。
　確認画像データ生成部１１３は、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する。具体的には、例えば整数ｍが整数ｍ－１に減少変更される場合には、確認画像データ生成部１１３は、第２の露光時間の１フレームの画像データにｍ／（ｍ－１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データを生成する。
　本実施形態では、白飛び割合算出部１１１は、フレームＡの画像データおよびフレームＢの画像データのうち少なくとも一方において、白飛び画素の割合を算出するのに加えて、白飛び確認画像データの白飛び画素の割合を算出する。
　露光時間設定部１０１は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更を行う。
　図１０は、本実施形態の撮像装置１の動作の工程を示すフロー図である。
　先ず、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２の画像データのうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ３０）。その後、露光時間設定部１０１は、白飛び画素の割合が第１の閾値（ＴＨ１）以上であるか否かを判定する（ステップＳ３１）。
　露光時間設定部１０１は、白飛び画素の割合がＴＨ１以上である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを増加変更させて、その平均フレームに基づいて合成フレームを生成する。（ステップＳ３２）。
　露光時間設定部１０１は、白飛び画素の割合がＴＨ１未満である場合には、白飛び画素の割合がＴＨ２（第２の閾値）以下であるか判定する（ステップＳ３４）。白飛び画素の割合がＴＨ２以下である場合には、確認画像データ生成部１１３は、フレームＢの画像データにｍ／（ｍ－１）倍のデジタルゲインをかけて白飛び確認画像データを生成する（ステップＳ３５）。次に白飛び割合算出部１１１は、白飛び確認画像データの白飛び画素の割合を算出する（ステップＳ３６）。その後、露光時間設定部１０１は、白飛び確認画像データの白飛び画素の割合がＴＨ３以下であるか否かを判定する（ステップＳ３７）。白飛び確認画像データの白飛び画素の割合がＴＨ３以下である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを減少変更させて、その平均フレームに基づいて合成フレームを生成する（ステップＳ３８）。
　一方、フレームＡ、フレームＢ１、およびフレームＢ２のうち少なくとも一方における白飛び画素の割合がＴＨ２より大きい場合（ステップＳ３４のＮｏの場合）、または白飛び確認画像データの白飛び画素の割合がＴＨ３より大きい場合（ステップＳ３７のＮｏの場合）には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを変更せずに、合成フレームを生成する（ステップＳ３９）。この場合には、合成フレームのダイナミックレンジの変更はない。
　その後露光時間設定部１０１は、撮影が終了か否かを判定して（ステップＳ３３）、撮影が継続される場合には、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、およびフレームＢ２のうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ３０）。
　以上、本実施形態では、整数ｍの減少変更後の白飛び画素の割合が白飛び確認画像データにより確認された後に、減少変更が行われる。したがって、整数ｍの減少変更後直ぐに増加変更が行われるような、減少変更と増加変更とが繰り返し行われるようなダイナミックレンジの変動のふらつきが抑制される。
　＜第４の実施形態＞
　次に、本発明の第４の実施形態について説明する。本実施形態では、合成フレーム生成部１０９により、段階的にゲインが変更された第１のゲインアップ画像データが生成され、その第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。したがって、合成フレームのダイナミックレンジが変動する場合に、滑らかにダイナミックレンジが変動される。
　図１１は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および第１のゲインアップ画像データ生成部１１５を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第１のゲインアップ画像データ生成部１１５は、露光時間設定部１０１により増加変更された場合に、増加変更された後の平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する。第１のゲインアップ処理では、第１のデジタルゲインを動画記録用または動画表示用のフレームレートに沿って段階的に小さくし、ｍが増加変更された後の平均フレームに近づく第１のゲインアップ画像データを生成する。具体的には、第１のゲインアップ画像データ生成部１１５は、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする。なお、第１のゲインアップ処理は、デジタルゲイン処理によりゲインアップを行い、上限リミット処理で所定値以上の信号値は一定値とする処理を行う。また、第１のゲインアップ画像データ生成部１１５は、好ましくは１秒以上かけて合成フレームのダイナミックレンジの変動が行われるように、第１のゲインアップ画像データを生成する。また、第１のゲインアップ画像データ生成部１１５は、好ましくは１２段階以上により、合成フレームのダイナミックレンジの変動が行われるように、第１のゲインアップ画像データを生成する。これは、１２段階の各段階で２フレーム分の第１のゲインアップ画像データを生成し、２４フレームかけて変動が行われて２４ｆｐｓの動画で１秒で変動が段階的に行われることになる。
　図１２は、第１のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。なお、各グラフの縦軸は信号値を示し、横軸は平均フレームのダイナミックレンジについて示している。
　符号１５１では変動前のｍ＝ａの平均フレームの信号値Ｌａ（ダイナミックレンジＤ１）が示されている。符号１５４ではダイナミックレンジの変動後のｍ＝ｂの平均フレームの信号値Ｌｂ（ダイナミックレンジＤ４）が示されている。なお、ａおよびｂは２≦ａ＜ｂの関係がある。符号１５２および符号１５３では、それぞれ、第１段階の第１のゲインアップ画像データＧ１、第２段階の第１のゲインアップ画像データＧ２、が示されている。第１段階の第１のゲインアップ画像データＧ１は、変動後のｍ＝ｂの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第１段階の第１のゲインアップ画像データＧ１ではダイナミックレンジＤ２となる。第２段階の第１のゲインアップ画像データＧ２は、変動後のｍ＝ｂの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第２段階の第１のゲインアップ画像データＧ２ではダイナミックレンジＤ３となる。
　図１３は、図１２で説明したダイナミックレンジの変動をまとめた図である。符号１５１、符号１５２、符号１５３、符号１５４のグラフにおいて、Ｄ１、Ｄ２、Ｄ３、およびＤ４とダイナミックレンジが変動することを示している。
　平均フレームのダイナミックレンジはＤ１からＤ４に変動するが、ダイナミックレンジがＤ１、Ｄ２、Ｄ３、Ｄ４と段階的に変動することにより、平均フレームのダイナミックレンジを滑らかに変動させることができる。
　＜第５の実施形態＞
　次に、本発明の第５の実施形態について説明する。本実施形態では、合成フレーム生成部１０９により、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成されるので、滑らかにダイナミックレンジを変更させることができる。
　図１４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および第２のゲインアップ画像データ生成部１１７を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第２のゲインアップ画像データ生成部１１７は、露光時間設定部１０１により減少変更された場合に、減少変更される前の平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する。第２のデジタルゲインを動画記録用または動画表示用のフレームレートに沿って段階的に大きくし、ｍが減少変更された後の平均フレームに近づく第２のゲインアップ画像データを生成する。具体的に第２のゲインアップ画像データ生成部１１７は、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインを大きくする。なお、第２のゲインアップ処理は、デジタルゲイン処理によりゲインアップを行い、上限リミット処理で所定値以上の信号値は一定値とする処理を行う。また、第２のゲインアップ画像データ生成部１１７は、好ましくは１秒以上かけて合成フレームのダイナミックレンジの変動が行われるように、第２のゲインアップ画像データを生成する。また、第２のゲインアップ画像データ生成部１１７は、好ましくは１２段階以上により、合成フレームのダイナミックレンジの変動が行われるように、第２のゲインアップ画像データを生成する。これは、１２段階の各段階で２フレーム分の第２のゲインアップ画像データを生成し、２４フレームかけて変動が行われて２４ｆｐｓの動画で１秒で変動が段階的に行われることになる。
　図１５は、第２のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。なお、各グラフの縦軸は信号値を示し、横軸は平均フレームのダイナミックレンジについて示している。
　符号１５５では変動前のｍ＝ｃの平均フレームの信号値Ｌｃ（ダイナミックレンジＤ５）が示されている。符号１５８ではダイナミックレンジの変動後のｍ＝ｄの平均フレームの信号値Ｌｄ（ダイナミックレンジＤ８）が示されている。なお、ｃおよびｄはｃ＞ｄ≧２の関係がある。符号１５６および符号１５７では、それぞれ、第１段階の第２のゲインアップ画像データＧ３、第２段階の第２のゲインアップ画像データＧ４、が示されている。第１段階の第２のゲインアップ画像データＧ３は、変動前のｍ＝ｃの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第１段階の第２のゲインアップ画像データＧ３ではダイナミックレンジＤ６となる。第２段階の第２のゲインアップ画像データＧ４は、変動前のｍ＝ｃの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第２段階の第２のゲインアップ画像データＧ２ではダイナミックレンジＤ７となる。
　図１６は、図１５で説明したダイナミックレンジの変動をまとめた図である。符号１５５、符号１５６、符号１５７、符号１５８のグラフにおいて、Ｄ５、Ｄ６、Ｄ７、およびＤ８とダイナミックレンジが変動することを示している。
　平均フレームのダイナミックレンジはＤ５からＤ８に変動するが、ダイナミックレンジがＤ５、Ｄ６、Ｄ７、Ｄ８と段階的に変動することにより、平均フレームのダイナミックレンジを滑らかに変動させることができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　　　　：撮像装置
８　　　　：表示部
１０　　　：外部メモリ
１２　　　：レンズ
１４　　　：絞り
２０　　　：メカニカルシャッタ
２１　　　：撮像素子
２２　　　：プロセス処理部
２３　　　：ＡＤ変換部
２４　　　：メインメモリ
２５　　　：システム制御部
２６　　　：センサ駆動部
２７　　　：シャッタ駆動部
２８　　　：絞り駆動部
２９　　　：レンズ駆動部
３０　　　：制御メモリ
３１　　　：画像処理部
３２　　　：圧縮伸張部
３３　　　：記憶制御部
３５　　　：表示制御部
３６　　　：ユーザインタフェース
１０１　　：露光時間設定部
１０３　　：露光制御部
１０５　　：画像データ取得部
１０７　　：画像データ生成部
１０９　　：合成フレーム生成部
１１１　　：白飛び割合算出部
１１３　　：確認画像データ生成部
１１５　　：第１のゲインアップ画像データ生成部
１１７　　：第２のゲインアップ画像データ生成部ステップＳ１０－Ｓ１４：第１の実施形態の撮像方法ステップＳ２０－Ｓ２６：第２の実施形態の撮像方法ステップＳ３０－Ｓ３９：第３の実施形態の撮像方法

Claims (12)

  1. 　撮像部と、
    　第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部であって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定部と、
    　前記撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、
    　前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得部と、
    　前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成部と、
    　前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、
    　を備えた撮像装置。
  2. 　前記第１の露光時間の１フレームの画像データおよび前記第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合を算出する白飛び割合算出部を備え、
    　前記露光時間設定部は、前記白飛び画素の割合に基づいて、次の前記セットにおいて前記整数ｍに対して増加変更または減少変更を行う請求項１に記載の撮像装置。
  3. 　前記露光時間設定部は、前記白飛び画素の割合が所定の閾値以上の場合には、次の前記セットにおいて前記整数ｍに対して増加変更を行い、前記白飛び画素の割合が所定の閾値以下の場合には、次の前記セットにおいて前記整数ｍに対して減少変更を行う請求項２に記載の撮像装置。
  4. 　前記露光時間設定部は、前記白飛び画素の割合が第１の閾値以上の場合には前記増加変更を行い、次の前記セットにおいて前記第２の露光時間は前記第１の露光時間を整数ｍ＋１で除算した露光時間とし、前記白飛び画素の割合が第２の閾値以下の場合には前記減少変更を行い、次の前記セットにおいて前記第２の露光時間は前記第１の露光時間を整数ｍ－１で除算した露光時間とする請求項２または３に記載の撮像装置。
  5. 　前記減少変更が行われる場合に、前記減少変更が行われる前の前記第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する確認画像データ生成部を備え、
    　前記白飛び割合算出部は、前記白飛び確認画像データの白飛び画素の割合を算出し、
    　前記露光時間設定部は、前記白飛び確認画像データの前記白飛び画素の割合が第３の閾値以下の場合には、前記減少変更を行う請求項２から４のいずれか１項に記載の撮像装置。
  6. 　前記確認画像データ生成部は、前記第２の露光時間の１フレームの画像データにｍ／（ｍ－１）倍の前記確認画像用デジタルゲインをかけて前記白飛び確認画像データを生成し、
    　前記露光時間設定部は、前記白飛び確認画像データの前記白飛び画素の割合が第３の閾値以下の場合には、次の前記セットの前記第２の露光時間は前記第１の露光時間を整数ｍ－１で除算した露光時間とする請求項５に記載の撮像装置。
  7. 　前記露光時間設定部により前記増加変更された場合に、前記増加変更された後の前記平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部であって、前記動画記録用または前記動画表示用のフレームレートに沿って前記第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、前記第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部を備え、
    　前記合成フレーム生成部は、前記第１のゲインアップ画像データを前記平均フレームの画像データとして、前記合成フレームを生成する請求項２から６のいずれか１項に記載の撮像装置。
  8. 　前記第１のゲインアップ画像データ生成部は、整数ｍ＿ａから整数ｍ＿ｂに前記増加変更する場合には、前記第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする請求項７に記載の撮像装置。
  9. 　前記露光時間設定部により前記減少変更された場合に、前記減少変更される前の前記平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部であって、前記動画記録用または前記動画表示用のフレームレートに沿って、前記第２のゲインアップ処理の第２のデジタルゲインが段階的に大きくなった前記第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部を備え、
    　前記合成フレーム生成部は、前記第２のゲインアップ画像データを前記平均フレームの画像データとして、前記合成フレームを生成する請求項２から８のいずれか１項に記載の撮像装置。
  10. 　前記第２のゲインアップ画像データ生成部は、整数ｍ＿ｃから整数ｍ＿ｄに前記減少変更する場合には、前記第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に前記第２のデジタルゲインを大きくする請求項９に記載の撮像装置。
  11. 　第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定ステップと、
    　撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、
    　前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得ステップと、
    　前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、
    　前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
    　を含む撮像方法。
  12. 　第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定ステップと、
    　撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、
    　前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得ステップと、
    　前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、
    　前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
    　を含む撮像方法をコンピュータに実行させるプログラム。
PCT/JP2019/007290 2018-03-29 2019-02-26 撮像装置、撮像方法、およびプログラム WO2019187901A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020510462A JP6831493B2 (ja) 2018-03-29 2019-02-26 撮像装置、撮像方法、およびプログラム
US17/006,901 US11258956B2 (en) 2018-03-29 2020-08-31 Image capturing apparatus, image capturing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018065045 2018-03-29
JP2018-065045 2018-03-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/006,901 Continuation US11258956B2 (en) 2018-03-29 2020-08-31 Image capturing apparatus, image capturing method, and program

Publications (1)

Publication Number Publication Date
WO2019187901A1 true WO2019187901A1 (ja) 2019-10-03

Family

ID=68061189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007290 WO2019187901A1 (ja) 2018-03-29 2019-02-26 撮像装置、撮像方法、およびプログラム

Country Status (3)

Country Link
US (1) US11258956B2 (ja)
JP (1) JP6831493B2 (ja)
WO (1) WO2019187901A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7232014B2 (ja) * 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
CN116744120B (zh) * 2022-09-15 2024-04-12 荣耀终端有限公司 图像处理方法和电子设备
CN117615257B (zh) * 2024-01-18 2024-04-05 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049227A (ja) * 2005-08-05 2007-02-22 Canon Inc 画像処理装置及び方法
JP2010062785A (ja) * 2008-09-03 2010-03-18 Sony Corp 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2012042967A1 (ja) * 2010-09-27 2012-04-05 富士フイルム株式会社 撮像装置及び撮像方法
JP2014171207A (ja) * 2013-02-06 2014-09-18 Canon Inc 撮像装置及びその制御方法
US20160323524A1 (en) * 2013-12-04 2016-11-03 Rambus Inc. High dynamic-range image sensor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5480025B2 (ja) 2010-06-11 2014-04-23 オリンパス株式会社 撮像装置、撮像システム、撮像方法
US8803990B2 (en) * 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
JP6124538B2 (ja) * 2012-09-06 2017-05-10 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9113097B2 (en) 2013-02-06 2015-08-18 Canon Kabushiki Kaisha Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof
JP6278713B2 (ja) * 2014-01-20 2018-02-14 オリンパス株式会社 撮像装置および撮像方法
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
US10205894B2 (en) * 2015-09-11 2019-02-12 Canon Kabushiki Kaisha Imaging device and imaging system
JP2018074417A (ja) * 2016-10-31 2018-05-10 オリンパス株式会社 撮像装置
US10924693B2 (en) * 2018-06-19 2021-02-16 Canon Kabushiki Kaisha Image sensor and image capturing apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049227A (ja) * 2005-08-05 2007-02-22 Canon Inc 画像処理装置及び方法
JP2010062785A (ja) * 2008-09-03 2010-03-18 Sony Corp 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2012042967A1 (ja) * 2010-09-27 2012-04-05 富士フイルム株式会社 撮像装置及び撮像方法
JP2014171207A (ja) * 2013-02-06 2014-09-18 Canon Inc 撮像装置及びその制御方法
US20160323524A1 (en) * 2013-12-04 2016-11-03 Rambus Inc. High dynamic-range image sensor

Also Published As

Publication number Publication date
US11258956B2 (en) 2022-02-22
JPWO2019187901A1 (ja) 2021-02-18
JP6831493B2 (ja) 2021-02-17
US20200396369A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US8224176B1 (en) Combined ambient and flash exposure for improved image quality
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
KR20110052507A (ko) 촬상장치 및 촬상방법
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US11258956B2 (en) Image capturing apparatus, image capturing method, and program
JP2017022610A (ja) 画像処理装置、画像処理方法
US20140267815A1 (en) Image capturing apparatus and method of controlling the same
US20170318208A1 (en) Imaging device, imaging method, and image display device
US7382402B2 (en) Imaging system
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
JP2008053931A (ja) 撮像装置
JP2006345388A (ja) 撮像装置
JPWO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11095815B2 (en) Image processing apparatus and method
JP4736792B2 (ja) 撮像装置及びそれに用いる画像処理方法
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP5268823B2 (ja) 撮像装置及び撮像方法
JP6779408B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6900577B2 (ja) 画像処理装置及びプログラム
US20240048822A1 (en) Image capture apparatus and control method for same
JP2008306326A (ja) 画像処理装置および画像処理方法
JP2011175608A (ja) 画像処理装置及び画像処理方法
JP4635076B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774576

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510462

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19774576

Country of ref document: EP

Kind code of ref document: A1