WO2007129533A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007129533A1
WO2007129533A1 PCT/JP2007/058298 JP2007058298W WO2007129533A1 WO 2007129533 A1 WO2007129533 A1 WO 2007129533A1 JP 2007058298 W JP2007058298 W JP 2007058298W WO 2007129533 A1 WO2007129533 A1 WO 2007129533A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
imaging
images
control
Prior art date
Application number
PCT/JP2007/058298
Other languages
English (en)
French (fr)
Inventor
Mitsuhiko Takeda
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to JP2008514418A priority Critical patent/JP5019543B2/ja
Priority to US12/300,107 priority patent/US20100231748A1/en
Priority to CN2007800169709A priority patent/CN101444084B/zh
Priority to EP07741734A priority patent/EP2018048A4/en
Publication of WO2007129533A1 publication Critical patent/WO2007129533A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to an imaging device that captures a still image, and more particularly to a camera shake correction technique.
  • Patent Document 1 a small-size image (hereinafter referred to as a “first image”) such as a preview image used for preview display, and a user of the imaging apparatus or the like should release the shutter.
  • first image a small-size image
  • second image an imaging apparatus capable of correcting camera shake using an image intended to be obtained
  • Patent Document 1 also describes a method of acquiring a small-sized image such as a preview image by using pixel addition.
  • Pixel addition is, for example, a method of converting four pixels into one pixel as shown in FIG. 23. When converting, the sum of the pixel values of the four pixels is used as one pixel value. . For example, if pixel addition is performed on an image of 400 X 400 pixels, an image of 200 X 200 pixels is obtained. The advantage of this pixel addition is that even if the original image is an image with insufficient brightness, the pixel values of the four pixels are added to form a pixel value of one pixel. The image generated by the addition is an image with ensured brightness.
  • each pixel decreases as the overall size of the CCD increases.
  • the amount of light that hits these pixels will decrease. That is, the sensitivity becomes lower.
  • the noise will also increase.
  • pixel addition reduces the image size but ensures brightness without amplifying the signal, resulting in low illuminance. Even under conditions where the amount of light is insufficient such as in an environment, it is possible to obtain a good image with little noise.
  • FIG. 24 shows an example in which the first image (2401) and the second image (2402) are different in size. Further, (a) illustrates the case where there is no displacement between the first image and the second image, and (b) illustrates the case where there is a displacement between the first image and the second image. Assume that the height of the first image (2401) is represented by Ph and the width by Pw, and the height of the second image (2402) is represented by Sh and the width by Sw.
  • FIG. 25 shows a specific example of the method of “correcting brightness by comparing luminance information of corresponding pixels”.
  • the amount of displacement movement is (Mx, My)
  • a Pw / S
  • w and ⁇ PhZSh
  • the brightness of a pixel changes in proportion to the length of the exposure time (for example, if the exposure time is doubled, the pixel brightness is also doubled), so the exposure of the first and second images
  • the pixel value (RGB value, etc.) of each pixel indicated by the image information of the second image is increased according to the time ratio, the brightness of the second image becomes the same as that of the first image.
  • the noise is also amplified, the case where the pixel value is corrected by a method of reducing the noise component by taking an average with the pixel value of the first image by linear interpolation is illustrated here. . Since linear interpolation is generally well known, it will not be detailed here.
  • the correction amount for correcting the luminance information of the second image is calculated as follows.
  • the exposure time (first image exposure time) controlled to an appropriate exposure in the exposure control for obtaining the first image is To, and the exposure control for obtaining the second image is controlled to prevent camera shake.
  • the luminance information of the second image is converted into the pixel value Pp (x ′, y ′) that is the luminance information of the first image and the pixel value Ps (x, y) that is the luminance information of the second image. It can be corrected with Pa (x, y).
  • Patent Document 2 normal shooting is performed in a bright and high-illuminance environment with a sufficient amount of light, the luminance of the subject image is determined as a low-luminance subject, and the adjacent field of the color imaging element is detected. As a result of comparing the output images, if it is determined that there is little difference between the output images and there is little movement of the subject, the same color pixels in each field are added, so even in the subject under low illumination An invention of an imaging apparatus capable of taking a good SZN photograph without worrying about the like is disclosed.
  • Patent Document 1 Japanese Patent Application No. 2005-209249
  • Patent Document 2 JP-A-2004-235901
  • the method of Patent Document 1 reduces the noise component when synthesizing using the first image and the second image, so that the high frequency component is reduced by reducing the size. Since the average is always averaged with the blurred first image, the imaging conditions for the second image are sufficiently short in a high-light environment with sufficient light, and the exposure time does not cause camera shake. Since the correction was performed, the high-frequency component of the second image was reduced by the correction, and despite the correction for suppressing the camera shake, the edge was blurred and the image quality was deteriorated. By the way, the above-mentioned ⁇ under high illumination environment with sufficient light intensity '' is necessary for the imaging control unit to acquire the target image when the exposure time when camera shake does not occur is shorter than 1Z60 seconds. The exposure time is controlled with an exposure time shorter than 1Z60 seconds.
  • the method of Patent Document 1 uses the first image with proper exposure and the second image with underexposure but reduced camera shake, thereby obtaining luminance information of the second image.
  • the ratio of the exposure time of the first image to the exposure time of the second image is applied to the second image, and then the first image is corrected.
  • An example of a technique that uses an average with the image to optimize the exposure is disclosed.
  • the actual imaging unit is subjected to gamma correction in the image processing process, and the linear characteristics of the luminance information are impaired. Therefore, when synthesized simply, the luminance information deviated from the actual luminance information is synthesized, which is unnatural.
  • the second image compensates for underexposure due to a shortened exposure time.
  • the composition ratio using the first image is increased and the noise is suppressed, there is a drawback that the noise component becomes conspicuous in the dark part where the subject is not sufficiently exposed to light.
  • the second image compensates for the underexposure caused by shortening the exposure time. Even in the illuminance environment, even if the composition ratio to use the first image was increased and the noise was suppressed, the noise could not be suppressed depending on the temperature rise state of the image pickup unit, and the image quality was difficult to withstand normal use.
  • the image information of a plurality of images is partially used in an illuminance environment in which camera shake is likely to occur due to imaging control that can control imaging conditions that differ depending on the illuminance conditions.
  • imaging control that can control imaging conditions that differ depending on the illuminance conditions.
  • the image information of a plurality of images is partially used to synthesize image information of one image, thereby correcting camera shake.
  • a high-quality image with many high-frequency components when it is bright, and a dark Becomes a low-quality image with a sudden reduction in high-frequency components, and the image quality changes greatly with a slight change in the illuminance environment, so that it does not become unnatural.
  • the second image compensates for underexposure due to shortened exposure time.
  • the dark area where the light is not sufficiently irradiated it is possible to obtain a good image quality with suppressed noise by further increasing the weight for using the first image with less noise in the composition ratio.
  • the second image in a low-light environment with a certain degree of darkness, is composed in a state where gain amplification is strong in order to compensate for insufficient exposure due to shortened exposure time.
  • the weight of using the first image with less noise is increased for the composite ratio, so that even when the image pickup unit temperature is high, good image quality with reduced noise is obtained. be able to.
  • the second image compensates for underexposure due to shortened exposure time.
  • Image power Edge information is acquired, and in areas that are not edge information, it is possible to synthesize an image with less noise, so that the weight can be increased, so noise is suppressed in areas that are not edge information. It is possible to obtain images with good image quality.
  • a plurality of image forces also acquire motion region information, and in the motion region, synthesis using an image with less noise is possible. It is possible to obtain a good quality image with reduced noise.
  • the second image in a low-light environment with a certain degree of darkness, is combined with gain amplification strong in order to compensate for underexposure due to shortened exposure time. Since it is possible to synthesize luminance information and color information separately, it is possible to obtain a camera shake correction image in which the generated noise is suppressed according to the state of occurrence of luminance noise and color noise.
  • a composition for correcting camera shake according to the illuminance condition The composition ratio between multiple images when correcting camera shake can be varied according to the illuminance conditions. It is possible to obtain an image with the desired image blur suppressed while maintaining the best image quality with reduced noise.
  • noise tends to increase due to gain amplification as the illuminance conditions become darker and the temperature conditions become higher, but the state of the subject ( It is possible to synthesize noise by appropriately suppressing noise according to whether it is a bright part or a dark part, whether an edge part is not an edge part, whether or not the moving subject has power, etc., and high-quality photography is possible even at low illumination.
  • Embodiment 1 Overview
  • the present invention relates to an imaging device for synthesizing an image free from camera shake using the above image.
  • FIG. 1 and FIG. 2 illustrate functional blocks of an imaging apparatus according to the present embodiment.
  • the imaging device (0100) illustrated in FIG. 1 includes an “imaging unit” (0101), a “control unit” (0102), an “image information holding unit” (0103), a “compositing unit” (0104), have.
  • the imaging device (0200) includes an “imaging unit” (0201), a “control unit” (0202), an “image information holding unit” (0203), and “
  • the control unit (0202) further includes a “first control unit” (0206) and a “second control unit” (0207). You may have.
  • each unit that is a component of the present invention is configured by hardware, software, or both hardware and software.
  • hardware composed of a CPU, a bus, a memory, an interface, peripheral devices and the like, and software that can be executed on the hardware.
  • software the functions of each unit are realized by processing, storing, and outputting data on the memory and data input via the interface by sequentially executing the program expanded on the memory. More specifically, FIG. 7 is a diagram showing a more specific configuration of the imaging device.
  • the image output unit (0705), the monitor (0706) and the like are shown.
  • the imaging unit (0701) includes an internal “lens” (070 7), “CCD (Charge Coupled Device)” (0708), “CDSZAGC (Correlate! Double Sampling / Auto Gain Control)” (0709), “A / D conversion” (0710), “image processor” (0711), and the like.
  • the image processor (0711) may have a “gamma correction processing mechanism” (0712) internally. (The same applies throughout the specification.)
  • the “imaging unit” (0101) has a function of imaging a subject.
  • imaging means that light from a subject is received by an image sensor such as a CCD (0708) through an optical system such as a lens (0707), and noise contained in the CCD (0708).
  • CDS which reduces the exposure, and increases the sensitivity to compensate for the decrease in exposure by amplifying the signal.
  • AZD modification (0710)
  • luminance color signal processing
  • the imaging unit may include a program for executing such processing.
  • the imaging unit executes imaging based on imaging conditions.
  • the “imaging condition” is the exposure time (synonymous with “shutter speed”), the imaging interval between multiple images, the gain condition for increasing sensitivity (synonymous with “gain” of AGC), In the imaging unit This includes the reduction control conditions for whether or not to perform size reduction, image conditions for whether or not the image is a composite image for performing camera shake correction, size conditions (definable by “reduction ratio”, etc.), etc. .
  • a "control unit” (0102) controls imaging according to imaging conditions configured by exposure time conditions and gain conditions that vary depending on the illuminance conditions. “Controlling imaging according to imaging conditions” means reading out the set imaging conditions and controlling the imaging unit (0101) to perform imaging under the read imaging conditions. It may also have a function of determining the imaging conditions. Determining imaging conditions specifically means determining whether or not to perform size reduction control by exposure time, imaging interval, addition averaging, or pixel addition. For example, when the exposure time for proper exposure is calculated based on the brightness of the surroundings and set as the exposure time at the time of shooting, as with a conventional camera, or the exposure amount decreases even if the exposure time is lengthened For example, the gain control that amplifies the signal level by AGC is applicable.
  • the imaging unit may include control for performing size reduction by addition averaging or pixel addition.
  • control for performing size reduction control by averaging or pixel addition set the gain higher in advance, and set the setting to reduce camera shake by shortening the exposure time accordingly. If there is a high possibility that camera shake will occur due to the length of the appropriate exposure time, it is possible to set the exposure time to a short value and set the proper exposure by gaining that amount.
  • values such as exposure time and imaging interval are stored in predetermined storage areas such as the temporary storage memory (0703) and the storage device (0704) in FIG. A predetermined storage area force setting value is read out, and imaging in the imaging unit is controlled according to the read setting value.
  • the control unit includes a program for causing the CPU (0702) to execute such processing! /!
  • control unit (0202) may include a “first control unit” (0206) and a “second control unit” (0207). .
  • the "first control means" (0206) is an image of a first image that is one image of a plurality of images to be captured, an image size that is smaller than the other images of the plurality of images to be captured, and that is appropriately exposed. It has a function to control so that “An image smaller than another image” is, for example, And the size of lZn.
  • the first control means sets the first image, which is one image of the plurality of images to be captured, to an image size smaller than the other images of the plurality of images to be captured by pixel averaging or pixel addition.
  • the exposure time may be controlled to be shorter according to the pixel averaging or SZN improved by pixel addition.
  • the "second control means” (0207) is configured so that the second image, which is another image of the plurality of images to be captured, has a short exposure time so as not to cause camera shake and the exposure is appropriate. It has a function to control to take an image with gain. “Short exposure time that does not cause camera shake” means, for example, that the flow of edges due to camera shake is identified if the exposure time is about 1Z60 seconds (about 16 milliseconds) or less, as is generally said. If it becomes impossible, it means an exposure time of 1Z60 seconds.
  • the imaging size of the second image is the size of the image intended to be obtained by shooting.
  • the “image information holding unit” (0103) has a function of holding image information of one or a plurality of images captured under different imaging conditions by the control unit (0102).
  • “One or more images captured under different imaging conditions” means, for example, the first image captured by the first control means (0206) and the second control means (0207). This corresponds to the second image taken under control.
  • the synthesizing unit (0104) needs to synthesize a plurality of images by matching the positions.
  • image information is information for realizing an image, and specifically includes information represented by numerical values such as RGB values and YUV values of each pixel.
  • the image information holding unit is realized mainly by the temporary storage memory (0703) and the storage device (0704) exemplified in FIG. Furthermore, the image information holding unit includes a program for causing the CPU (0702) to execute processing for holding image information!
  • the "synthesizer" (0104) synthesizes image information for a synthesized image by partially using image information of a plurality of held images according to the illumination conditions, or captures images according to the imaging conditions. It has a function to output the processed image as it is. For example, it is determined whether or not to perform composition according to the illuminance condition, and when performing composition, the image information holding unit (0103) image information 1 relating to the first image sent from the camera and the imaging condition 1 From the image information 2 and the imaging condition 2, it is assumed that the image information of one image is synthesized by partially using the image information.
  • Partially using the image information of the plurality of images means that it is not necessary to use all of the image information when combining. For example, it is assumed that only a part of the image is corrected, and the RGB value or YUV value of only a part of the image is corrected and combined.
  • a “composite image” is an image that is intended to be finally obtained, and is an image with reduced blurring.
  • the synthesis unit has multiple images, each image is an image for synthesis, and the first image is lZn in size with respect to the second image.
  • the image information for the composite image is synthesized by partially using the image information.
  • the synthesis unit includes a program for causing the CPU (0 702) to execute such processing! /!
  • the first control means controls to generate a smaller haze image than the other images, it can be expected that the SZN will be improved by using the averaging method when generating a smaller! / Haze image. .
  • the noise level improved by the averaging process is as follows.
  • the first control means serves to control the imaging conditions so as to obtain an image with appropriate exposure and with reduced hand shake.
  • the first control means performs control so as to generate an image smaller than the second image
  • pixel addition control when pixel addition control is performed, averaging processing is not performed, so that an image with appropriate exposure is obtained. Therefore, it is necessary to increase the exposure time by lZn times without applying gain.
  • the exposure time can be increased by lZn times, and an image with reduced camera shake can be obtained.
  • the exposure time is "exposure time for reducing camera shake”
  • the imaging interval for imaging between multiple images is “exposure time for reducing camera shake”.
  • the gain condition for sensitivity improvement is "from normal control, ⁇ n times (n times when adding pixels) high, value '', and the presence or absence of size reduction due to addition averaging or pixel addition performed by the imaging unit is ⁇ with size reduction control '', and it is a composite image for performing camera shake correction
  • the image condition for determining whether or not there is “the image for composition 1”, the size condition is “reduction ratio of lZn with respect to other images”, and these image capturing conditions are held as, for example, image capturing condition 1.
  • the “short exposure time that does not cause camera shake” is 1Z60 seconds.
  • the second control means maintains an exposure time of 1Z60 seconds (Graph 4A), and gains the appropriate exposure by applying a gain that is not sufficient for proper exposure (Graph 4B). Therefore, in a low-light environment, the image obtained by the second control means has a poor S / N and a considerable gain, so it becomes a powerful and noisy image.
  • the second control means plays the role of controlling the imaging conditions so that an image is obtained in which the exposure is appropriate and the camera shake is extremely small as in the case of the first control means, but depending on the illumination conditions, the noise is considerably high. .
  • the exposure time is "very little camera shake! / ⁇ exposure time”
  • the imaging interval for imaging between multiple images is “very little camera shake !, exposure time” “Minimum imaging interval that can be realized”
  • gain condition for increasing sensitivity is “very high !, value”
  • whether there is size reduction by addition averaging or pixel addition performed in the imaging unit is “no size reduction control”
  • the image condition for determining whether or not the image is a composite image for camera shake correction is “composition image 2”
  • the size condition is “the size of the image intended to be obtained by shooting”. This imaging condition is held as imaging condition 2, for example.
  • FIG. 5 an outline of the case where the composition unit performs composition using the first image and the second image will be described.
  • the case where the first image (0501) and the second image (0502) are different in size is shown as an example. Also, there may be misalignment between the first image and the second image. Specific examples are described in the background art and will not be described here.
  • the height of the first image (0501) is represented by Ph and the width is represented by Pw
  • the height of the second image (0502) is represented by Sh and the width is represented by Sw.
  • the first image obtained by the first control means is an image in which camera shake is reduced by reduction processing or pixel addition
  • the second image obtained by the second control means has very little camera shake. Is a very noisy image with gain applied to obtain proper exposure.
  • the pixel value at the pixel ( ⁇ ', y') of the first image is ⁇ ( ⁇ ', y')
  • the pixel value at the pixel (x, y) of the second image is Ps (x, y)
  • the pixel value in the pixel (X, y) of the composite image for correction is P (X, y)
  • P (X, y) ( ⁇ ( ⁇ ', y,) + Ps (x , y)) Z2.
  • the second luminance information is converted into the pixel value P (x, y) from the pixel value Pp (x ′, y ′) as the first luminance information and the pixel value Ps (x, y) as the second luminance information. It can be corrected.
  • the information such as the exposure time calculated as the appropriate exposure time based on the brightness of the surroundings is “exposure time at which camera shake can occur” or “exposure time at which camera shake does not occur”.
  • a value such as an exposure time obtained by the imaging unit is stored in a predetermined storage area such as the temporary storage memory (0705) or the storage device (0706) in FIG. 0702) reads the set value into this predetermined storage area.
  • the temporary storage memory (0703) and storage device (0704) have information on “exposure time when camera shake can occur” and “exposure time when camera shake does not occur”. By comparing with the read setting value, the processing to determine whether the exposure time obtained by the imaging unit is ⁇ exposure time that camera shake can occur '' or ⁇ camera shake does not occur !, exposure time '' is realized become.
  • the exposure time indicates that “camera shake does not occur. ”Exposure time” or less, that is, for example, approximately 1Z60 seconds (approximately 16 milliseconds) or less in the above example.
  • the first control means controls the first image to be an image with appropriate exposure, assuming that the number of images to be captured is one. Size reduction control is not performed, and there is sufficient light quantity. It seems that it is not necessary to perform force gain control. That is, the first control means serves to control the imaging conditions so as to obtain an image with appropriate exposure, little noise, and very little camera shake.
  • the exposure time is “exposure with very little camera shake and exposure time”
  • the imaging interval for imaging between multiple images is “with very little camera shake and exposure time.
  • gain condition for increasing sensitivity is “0”
  • whether there is size reduction by addition averaging or pixel addition performed in the imaging unit is “no size reduction control”
  • camera shake correction is performed
  • the image condition for determining whether or not the image is a composition image to be performed is “not for composition! / ⁇ ⁇ ⁇ ”
  • the size condition is “the size of the image intended to be obtained by shooting”. For example, it is held as imaging condition 1.
  • the image information holding unit holds the image information of one image taken and controlled by the first control means of the control unit (0102).
  • the composition unit can determine that the composition is not performed according to the illuminance condition, the image information 1 is output as it is as the target image.
  • FIG. 6 illustrates a flowchart showing a process flow in the imaging apparatus according to the present embodiment.
  • the imaging device performs processing as shown in FIG. 6 every time a subject is imaged, for example, when the user releases the shutter.
  • the imaging condition is controlled. This process is executed by the control unit (control step S0601). Next, based on the imaging conditions controlled in the control step (S0601), it is determined whether or not the exposure time power necessary for obtaining the desired image is extremely small in camera shake. This process is executed by the control unit (determination step S0603).
  • the first image is Control with gain so that the exposure time is reduced and the image is properly exposed
  • Control is performed to generate an image smaller than the second image.
  • This process is executed by the first control means (first control step S0604).
  • imaging is performed under the imaging conditions controlled in the first control step (S0604).
  • This process is executed by the imaging unit (first image imaging step S0605).
  • the image information of the first image captured in the first image capturing step (S0605) is held. This process is executed by the image information holding unit (first image information holding step S0606).
  • the second image is controlled to be imaged with a gain so that camera shake does not occur, exposure time, and appropriate exposure, and the image is captured with the same image size as the target image.
  • This process is executed by the second control means (second control step S0607).
  • imaging is performed under the imaging conditions controlled in the second control step (S0607).
  • This process is executed by the imaging unit (second image imaging step S0608).
  • the image information of the second image captured in the second image capturing step (S0608) is held.
  • This process is executed by the image information holding unit (second image information holding step S0609).
  • the first image and the second image are combined to generate a target image.
  • This process is executed by the synthesis unit (synthesis step S0610).
  • the first image is Control is performed so that an image with adequate exposure is obtained with an extremely short exposure time, and control is performed so that an image is captured with the same image size as the target image.
  • This process is executed by the first control means (first control step S0611).
  • imaging is performed under the imaging conditions controlled in the first control step (S0611).
  • This process is executed by the imaging unit (first image'imaging step S0612).
  • the first image and image information of the first image captured in the imaging step (S0612) are held.
  • This process is executed by the image information holding unit (first image ′ information holding step S0613).
  • the first image is output as it is, and the target image is generated.
  • This process is executed by the synthesis unit (output step S0614).
  • the compositing process is simplified, and the processing time is difficult to obtain until the desired image is obtained.
  • gain is amplified by the AGC before gamma correction is applied by the gamma correction means of the imaging unit, so the linear characteristics of the image information of the first image and the second image are maintained, and natural image synthesis is performed. Processing is possible.
  • Embodiment 2 Overview
  • the present invention relates to an image pickup apparatus capable of obtaining a camera shake correction image in which noise that does not greatly change image quality due to a slight change in illuminance environment is suppressed.
  • FIG. 8 illustrates functional blocks of the imaging apparatus according to the present embodiment.
  • the configuration of the imaging apparatus according to the present embodiment is the same as the configuration of the imaging apparatus according to FIG. 1 and FIG. FIG. 8 illustrates a configuration in which the first combining ratio variable combining means (0808) is added to the configuration of the imaging apparatus described in FIG.
  • the imaging device (0800) includes an “imaging unit” (0801), a “control unit” (0802), an “image information holding unit” (0803), and a “compositing unit” (0804).
  • the control unit (0802) includes a “first control unit” (0806) and a “second control unit” (0807).
  • the synthesizing unit (0804) includes “first synthesis ratio variable synthesizing means” (0808). Description of the same configuration requirements as those described in FIG. 1 and FIG. 2 used in Embodiment 1 is omitted.
  • the “first composition ratio variable composition means” (0808) has a function of varying the composition ratio according to any one or two or more of the imaging conditions of a plurality of images. Specifically, for example, Input each multiplication coefficient obtained by converting the imaging condition into a multiplication coefficient (0809), multiply the image information by the multiplication coefficient in the multiplier (08 10, 0811), and then adder (0812) The images are synthesized by adding the image information multiplied by. When multiplying the multiplication coefficient, the multiplication coefficient to be multiplied may be determined for each pixel and the multiplication may be performed.
  • control under illuminance conditions with very little camera shake is the same as in Embodiment 1, and FIG. A specific example of control only under an illuminance condition that may cause camera shake will be described.
  • the description of the constituent elements that are subjected to the same control is omitted.
  • the combining unit for example, when the imaging condition is converted into a multiplication coefficient (0809), depending on the exposure condition and the gain condition of the imaging condition 1 related to the first image and the imaging condition 2 related to the second image, The multiplication coefficient 1 (not shown) for multiplying the image information 1 for one image and the multiplication coefficient 2 (not shown) for multiplying the image information 2 for the second image change, and the adder (0812) performs multiplication. These image information is combined to be combined.
  • FIG. 9 shows that the “second control means” (0807) in the control unit (0802) does not cause camera shake in the second image which is another image of the plurality of images to be captured with respect to the illumination condition!
  • the “second control means” (0807) in the control unit (0802) does not cause camera shake in the second image which is another image of the plurality of images to be captured with respect to the illumination condition!
  • it indicates a state in which the exposure time is controlled so as to take an image with gain so that the exposure is appropriate. It also points to control for conversion to a multiplication coefficient based on the acquired imaging conditions.
  • the exposure in the first control means (0806) is controlled to about 1Z60 seconds or more, which corresponds to “control under illuminance conditions in which camera shake can occur” described in the first embodiment.
  • the control of the first control means (0806) is the same as that described in the first embodiment, and hereinafter, the control of the second control means (0807) will be described.
  • the second control means for example, the "exposure time without camera shake", that is, the exposure time is controlled by maintaining the exposure time at about 1Z60 seconds (Fig. 9: 9 2). .
  • the second control means (0807) applies a gain to obtain an appropriate exposure for the underexposure due to the exposure time being maintained at about 1Z60 seconds.
  • the gain reaches a gain value at which image quality degradation due to noise that increases due to gain amplification is observed at a certain gain value that has the power to achieve proper exposure by applying gain ( Figure 9: Gain value A).
  • the exposure time is controlled to about 1Z60 seconds or more, and then the image quality deteriorates due to noise that increases due to gain amplification.
  • the gain value is controlled (in the exposure control state at medium illuminance shown in Fig. 9: 92)
  • the multiplication factor 1 for the first image
  • multiplier 1 for the first image
  • the multiplication coefficient 2 for the second image related to the multiplier 2 (0811) is controlled to 0.
  • the composition unit (0808) performs composition processing using only the image information 2, and the characteristic of the image information 2 is that "image quality deterioration due to noise with very little camera shake is recognized. If not, control is performed to obtain an image mainly consisting of “image”.
  • the second control means (0807) continues to maintain an "exposure time without camera shake", that is, an exposure time of about 1Z60 seconds. Then, the exposure time is controlled while suppressing blurring (9-3). At this time, the second control means (0807) controls the gain value in which the image quality deterioration due to noise increased by gain amplification is recognized against the underexposure due to the exposure time being maintained at about 1Z60 seconds (94). Apply more gain to achieve proper exposure.
  • the multiplier 1 (0810) and the multiplier 2 (0811) based on the multiplying coefficient obtained by converting the imaging condition into the multiplying coefficient (08 09). Then, multiplication is performed on the image information, and an adder (0812) synthesizes the image.
  • the composition unit performs composition such that the information of image information 1 is mainly used rather than the information of image information 2 as the illuminance becomes darker.
  • the image quality degradation due to noise is recognized, and the ratio of using images that increase noise due to gain amplification and increase image quality degradation is weakened. Small! /, But noise is small, and control is performed to obtain an image mainly composed of an image.
  • the multiplier 1 (0810) and the multiplier 2 (0811) of the first combining ratio variable combining means (0808) have image quality degradation due to noise increased by gain amplification.
  • Control power of gain value Up to the control state where exposure control is maximized (in the exposure control state at low illumination shown in Fig. 9: 9-3), the multiplication factor 1 in multiplier 1 (0810) is changed from 0 to 0.
  • the multiplication factor 2 in the multiplier 2 (0811) is controlled so as to gradually change from 1 to 0.5.
  • the multiplier 1 The coefficient 1 relating to (0810) may be controlled to gradually change from 0 to 1, and the multiplication coefficient 2 in the multiplier 2 (0811) may be gradually changed from 1 to 0.
  • the degree of change of the multiplication coefficient that can be taken should be changed as appropriate according to the state of the image information 1 and the image information 2, and may be controlled by a value other than the value of this embodiment.
  • the multiplication coefficient applied to the multiplication coefficient 1 related to the multiplier 1 (0810) and the multiplication coefficient 2 related to the multiplier 2 (0811) have been described separately.
  • the multiplication coefficient 2 related to 0810) may be defined as a value obtained by subtracting the multiplication coefficient 1 related to multiplier 1 (0810) from 1.
  • the process flow in the imaging apparatus according to the present embodiment is the same as the process flow of the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the composition of the first image and the second image in the composition step (S0610) is characterized in that the composition ratio between the plurality of images is variable according to the imaging conditions.
  • the second image in a low-light environment with some degree of darkness, is synthesized in a state where gain amplification is strong in order to compensate for insufficient exposure caused by shortening the exposure time.
  • gain amplification strong in order to compensate for insufficient exposure caused by shortening the exposure time.
  • the dark area where the subject is not sufficiently exposed to light, it is possible to combine the images with less noise in order to increase the weight of the image, so that the subject is sufficiently exposed to light and the dark area is
  • the present invention also relates to an imaging device capable of obtaining an image with good image quality with reduced noise.
  • FIG. 10 illustrates functional blocks of an imaging apparatus according to the present embodiment.
  • the configuration of the imaging apparatus according to the present embodiment is the same as the configuration of the imaging apparatus described in Embodiment 1 or 2, except that “luminance information acquisition means” (1008) and “second synthesis ratio variable synthesis means” 009) is added.
  • FIG. 10 illustrates a configuration in which the luminance information acquisition unit (1008) and the second synthesis ratio variable synthesis unit (1009) are added to the configuration of the imaging apparatus described in FIG. 2 of the first embodiment.
  • the imaging apparatus (1000) includes an “imaging unit” (1001), a “control unit” (1002), an “image information holding unit” (1003), and a “compositing unit” (1004).
  • the control unit (1002) includes a “first control unit” (1006) and a “second control unit” (1007).
  • the synthesizing unit (1004) includes “luminance information acquisition means” (1008) and “second synthesis ratio variable synthesis means” (1009). Description of the same configuration requirements as those described in Embodiment 1 or 2 is omitted.
  • Luminance information acquisition means has a function of acquiring luminance information from one or a plurality of images held by the image information holding unit (1003). For example, the first luminance information of the first image is acquired.
  • Luminance information may be luminance information for all the pixels constituting the image, or may be luminance information for only some pixels. Since luminance information is expressed using RGB values as shown in Equation 2, the luminance information is a combination of RGB values instead of Y values. [0079] Further, in the imaging apparatus, it is possible to determine whether the luminance information acquired by the luminance information acquisition unit (1008) is high luminance, medium luminance, low luminance, or the like. It is assumed that there is.
  • the “second composition ratio variable composition means” (1009) has a function of making the composition ratio variable according to the luminance information. Specifically, for example, each multiplication coefficient obtained by converting luminance information into a multiplication coefficient (1 010) is input, and each multiplication coefficient is multiplied by image information by a multiplier (1011, 1012). After that, they are added and synthesized by an adder (1013).
  • control under illuminance conditions in which camera shake may occur In this example, control under illuminance conditions with very little camera shake is the same as in Embodiment 1, and FIG. Only a specific example of gain control in which image quality deterioration due to noise is recognized under illuminance conditions in which camera shake may occur will be described. Regarding the same configuration requirements as those in FIG. 1 or FIG. 2 used in the first embodiment, description of the configuration requirements for which similar control is performed will be omitted.
  • the synthesizing unit obtains the first luminance information of the first image simultaneously with the synthesis, converts the first luminance information into a multiplication coefficient (1010), and then converts the multiplication coefficient to the second synthesis ratio variable synthesis.
  • the second synthesis ratio variable synthesis means (1009) multiplies each multiplication coefficient by image information and adds it by an adder (1013).
  • FIG. 11 shows control for conversion to a multiplication coefficient based on luminance information in each pixel acquired from the first image or the second image.
  • the multiplication coefficient 3 (for the first image: FIG. (Not shown) is set to 0, and multiplication coefficient 4 (for the second image: not shown in FIG. 10) related to multiplier 2 (1012) is controlled to 1.
  • the multiplier 1 (1011) and the multiplier 2 (1012) perform multiplication on the image information based on the multiplication coefficient that also provides the luminance information power.
  • the adder (1013) combines the images.
  • the composition unit (1004) performs composition processing using only the image information 2 (actually, image generation processing using only the image information 2 alone), and the characteristics of the image information 2 ⁇ It is a gain control state in which image quality deterioration due to noise is recognized, but the high luminance part is the signal level Therefore, it is difficult to see noise, and synthesis control is performed mainly for pixels. (11— 1)
  • the multiplication coefficient 3 (for the first image) related to the multiplier 1 (1011) is set from 0.
  • the multiplier 2 (1012) is controlled so that the multiplication coefficient 4 (for the second image) gradually changes from 1 to 0.5.
  • the second synthesis ratio variable synthesis means (1009) of the synthesis unit (1004) multiplies the image information by the multiplier 1 (1011) and the multiplier 2 (1012) based on the multiplication coefficient that also provides luminance information power. And the image is synthesized by the adder (1013).
  • the synthesizing unit (1004) performs the synthesis process according to the luminance information, and the lower the luminance information is, the higher the luminance information is, the characteristic of the image information 2 is “gain control state in which image quality deterioration due to noise is recognized”. Therefore, the low-brightness area does not use many pixels with low signal level and noise is more visible, and the characteristic of image information 1 is ⁇ camera shake is reduced, noise is small, but the size is small, so there are few high-frequency components, Compositing control is mainly performed on “pixels”. (11-2)
  • the multiplication coefficient 3 associated with the multiplier 1 (1011) is combined in the synthesis of the pixel whose luminance information has a medium luminance power and low luminance.
  • the multiplication coefficient 4 related to the multiplier 2 (1012) is controlled so as to gradually change from 1 to 0.5 from 0 to 0.5, but when the noise component of the image information 2 is large, Multiplication coefficient 3 related to multiplier 1 (1011) is controlled to gradually change from 0 to 1, and multiplication coefficient 4 related to multiplier 2 (1012) is controlled to gradually change from 1 to 0. May be.
  • the degree of change of the multiplication coefficient that can be taken is to be changed as appropriate according to the state of the image information 1, the image information 2, etc., and may be controlled by a value other than the value of this embodiment.
  • the multiplication coefficient 3 applied to the multiplier 1 (1011) and the multiplication coefficient 4 applied to the multiplier 2 (1012) are described separately, but the multiplier 2 ( The multiplication coefficient 4 related to 1012) may be defined as 1 minus the multiplication coefficient 3 related to multiplier 1 (1011).
  • the multiplication coefficient 2 in the multiplier 2 (0810) of the second embodiment is applied.
  • the square root of the value obtained by multiplying the multiplication coefficient 4 related to the multiplier 2 (1012) of the present embodiment by the multiplication coefficient 'to be applied to the multiplier 2 (1012), and the multiplication coefficient to be applied to the multiplier 1 (1011) is Subtract the multiplication coefficient 'to be applied to the multiplier 2 (1012) from 1! (Embodiment 3: Process Flow)
  • the process flow in the imaging apparatus according to the present embodiment is the same as the process flow of the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the composition of the first image and the second image in the composition step (S0610) is characterized in that the composition ratio between the plurality of images is variable according to the luminance information.
  • the second image compensates for the underexposure due to the shortened exposure time in a dark environment to some extent!
  • the pixel is determined to be a dark part.
  • the second image in a low-light environment with some degree of darkness, the second image is synthesized in a state where gain amplification is strong in order to compensate for underexposure due to shortened exposure time.
  • the image with less noise is used according to the temperature rise state of the image pickup unit.Since it is possible to synthesize with a higher weight, it is possible to reduce noise even when the image pickup unit temperature is high.
  • the present invention relates to an imaging device capable of obtaining an image of an image quality. That is, it is assumed that noise is generated by gain amplification, but that noise may not be suppressed depending on the temperature rise state of the imaging unit.
  • FIG. 12 illustrates functional blocks of an imaging apparatus according to this embodiment.
  • the configuration of the imaging device according to the present embodiment is the same as the configuration of the imaging device described in any one of Embodiments 1 to 3, but with a “temperature acquisition unit” (1213), a “temperature information holding unit” (1214), and “ The third synthesis ratio variable synthesis means ”(1209) is added.
  • the temperature acquisition unit (1213), the temperature information holding unit (1214), and the third synthesis ratio variable synthesis unit (1209) are added to the configuration of the imaging apparatus described in FIG.
  • the configuration is exemplified.
  • the imaging device (1200) includes an “imaging unit” (1201), a “control unit” (1202), an “image information holding unit” (1203), a “compositing unit” (1204), and a “temperature acquisition unit”. (1213) and a “temperature information holding unit” (1214).
  • the control unit (1202) includes a “first control unit” (1206) and a “second control unit” (1207).
  • the synthesis unit (1204) is “third synthesis ratio variable combination”.
  • the “temperature acquisition unit” (1213) has a function of acquiring the temperature of the imaging unit (1201).
  • a method for acquiring the temperature of the imaging unit for example, a method of measuring the temperature with a temperature sensor adjacent to the imaging unit can be considered.
  • the type of temperature sensor is not limited to a specific type.
  • the “temperature information holding unit” (1214) has a function of holding the temperature information obtained by the temperature acquisition unit (1213).
  • “Third synthesis ratio variable synthesis means” (1209) has a function of making the synthesis ratio variable according to the temperature information. Specifically, for example, according to the temperature information obtained from the temperature information holding unit (1214), image information is multiplied by a multiplier (1210, 1211) for each of a plurality of pieces of image information, and the adder (1212) is multiplied. The images are synthesized by adding each piece of image information multiplied in this way.
  • the combining unit multiplies the image information 1 related to the first image by a multiplication coefficient 5 (not shown) according to the temperature information obtained from the temperature information holding unit (1214), and the image information related to the second image.
  • a multiplication coefficient 6 (not shown) for multiplying 2 is changed, and each image information multiplied by the adder (1212) is added to be combined.
  • FIG. 13 shows the control for converting to a multiplication coefficient based on the temperature information obtained by the temperature information holding unit (1214) that holds the temperature information acquired by the temperature acquisition unit (1213).
  • the synthesizing unit (1204) performs the synthesizing process using only the image information 2, and the temperature information is a characteristic of the image information 2 from the low temperature to the medium temperature. Quantum noise is boosted tl, but thermal noise noise is small. Total control is performed mainly on images with reduced total noise. (13-1)
  • the temperature of the imaging unit (1201) indicated by the temperature information is from a medium temperature (about 25 to 35 degrees Celsius) to a high temperature (about 35 degrees Celsius or more), for example, as shown in FIG.
  • the multiplication coefficient 5 (for the first image) related to the multiplier 1 (1210) is changed from 0 to 0.5
  • the multiplication coefficient 6 (for the second image) related to the multiplier 2 (1211) is changed from 1 to 0. Control the coefficient to gradually change to 5.
  • the multiplier 1 (1210) and the multiplier 2 (1211) multiply the image information based on the coefficient obtained from the temperature information.
  • the image is synthesized by the adder (1212).
  • the synthesizing unit (1204) performs the synthesis process according to the temperature information, and the higher the temperature information is, the higher the temperature information is, the characteristic of the image information 2 at the high temperature is “quantity noise and extremely low camera shake.
  • the characteristic of image information 2 at the high temperature is “quantity noise and extremely low camera shake.
  • the multiplication coefficient when the multiplication coefficient is obtained from the temperature information (1208), the temperature information In the synthesis of images from medium to high temperatures, the multiplication factor 5 for multiplier 1 (1210) is gradually changed from 0 to 0.5, and the multiplication factor 6 for multiplier 2 (1211) is gradually changed from 1 to 0.5.
  • the multiplier coefficient 5 associated with multiplier 1 (1210) is controlled so as to gradually change from 0 to 1.
  • the multiplication coefficient 6 in the multiplier 2 (1 211) may be controlled so as to gradually change from 1 to 0.
  • the degree of change of the multiplication coefficient that can be taken should be changed as appropriate according to the state of the image information 1 and the image information 2, and may be controlled by a value other than the value of this embodiment.
  • the multiplication coefficient 5 applied to the multiplication coefficient 5 in the multiplier 1 (1210) and the multiplication coefficient 6 in the multiplier 2 (1211) have been described separately.
  • the multiplication factor 6 in 1211) may be defined as 1 minus the multiplication factor 5 in multiplier 1 (1210).
  • Multiplication that applies the square root of the value obtained by multiplying each multiplication coefficient for which the multiplication coefficient is calculated in multiplier 2 by multiplication coefficient 6 according to multiplier 2 (1212) of the present embodiment to multiplier 2 (1212).
  • the multiplication coefficient to be applied to the multiplier 1 (1211) may be defined as a value obtained by subtracting the multiplication coefficient 'from 1!
  • control step (S1401) is the same as the process flow of the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the temperature acquisition unit acquires temperature information of the imaging unit. This process is executed by the temperature acquisition unit (temperature information acquisition step S1415).
  • the temperature information acquired in the temperature information acquisition step (S1415) is held. This process is executed by the temperature information holding unit (temperature information holding step S1416).
  • the second image is synthesized in a state where gain amplification is strong in order to compensate for underexposure due to shortened exposure time.
  • edge information is acquired from an image with less noise, and in an area that is not an edge, it is possible to synthesize with a larger weight using an image with less noise.
  • the present invention relates to an imaging apparatus capable of obtaining an image with good image quality with reduced noise.
  • FIG. 15 illustrates functional blocks of an imaging apparatus according to this embodiment.
  • the configuration of the imaging apparatus according to the present embodiment is the same as the configuration of the imaging apparatus described in any one of Embodiments 1 to 4, with “edge information acquisition unit” (1508) and “fourth synthesis ratio variable synthesis unit” ( 1510) is added.
  • FIG. 15 illustrates a configuration in which the edge information acquisition unit (1508) and the fourth synthesis ratio variable synthesis unit (1510) are added to the configuration of the imaging apparatus described in FIG. 2 of the first embodiment.
  • the imaging device (1500) includes an “imaging unit” (1501), a “control unit” (1502), an “image information holding unit” (1503), and a “compositing unit” (1504).
  • the control unit (1502) includes a “first control unit” (1506) and a “second control unit” (15 07).
  • the synthesizing unit (1504) includes an “edge information obtaining unit” (1508) and a “fourth synthesis ratio variable synthesizing unit” (1510). The description of the same configuration requirements as those described in any one of Embodiments 1 to 4 is omitted.
  • Edge information acquisition means has a function of acquiring one or more pieces of image force edge information held by the image information holding unit (1503).
  • the edge information is acquired from the image information 1 of the first image.
  • a typical method for acquiring edge information is For example, as shown in Fig. 16, the numerical value at the center is the weight of the pixel of interest (1601), and the numerical values around it are the weights of the surrounding pixels. This can be realized by applying a Luther (Laplacian filter).
  • the actual edge information corresponds to the absolute value after filtering.
  • the “fourth synthesis ratio variable synthesis means” has a function of varying the synthesis ratio in accordance with the edge information. Specifically, for example, each multiplication coefficient obtained by converting the edge information into a multiplication coefficient (1509) is input, and image information is input to each multiplication coefficient by multiplier 1 (1511) and multiplier 2 ( After being multiplied by 1512), they are added and synthesized by an adder (1513).
  • the synthesizing unit acquires edge information of the first image simultaneously with synthesis, converts the edge information into the edge information force multiplication coefficient, and then sends the multiplication coefficient to the fourth synthesis ratio variable synthesis means (1510).
  • the four synthesis ratio variable synthesis means (1510) multiplies each multiplication coefficient by image information, and then adds them by an adder (1513).
  • FIG. 17 shows control for conversion to a multiplication coefficient based on the edge information obtained from the edge information acquisition means (1508).
  • the multiplication coefficient 7 ( The first image (not shown in FIG. 15) is controlled to 0, and the multiplication coefficient 8 (second image: not shown in FIG. 15) related to multiplier 2 (1512) is controlled to 1.
  • the multiplier 1 (1511) and the multiplier 2 (1512) multiply the image information based on the multiplication coefficient that also obtains edge information power.
  • the image is synthesized by the adder (1513). As a result, the synthesizer (1504) detects the edge information in the image information 1.
  • image information 2 corresponding to the pixel portion from high frequency to medium frequency is used as it is, and the edge area is a characteristic of image information 2 ⁇
  • the image quality deterioration due to noise is Appropriate control is performed mainly on “images with increased noise and increased image quality due to gain amplification”.
  • the composition unit (1504) gradually reduces the use of the information of the image information 2 and uses the information of the image information 1 more as the edge information in the image information 1 has a lower medium frequency force.
  • An area that is not an edge is composed mainly of the image information 1, which is a characteristic of "image with reduced image quality due to reduced handshaking and less noise due to averaging and pixel addition, but smaller size! / Control is performed.
  • the edge information power also obtains the multiplication coefficient (1509)
  • the multiplication coefficient 7 related to the multiplier 1 (1511) is set in the synthesis of the pixels whose edge information is from the medium frequency to the low frequency.
  • the explanation has been made so that the multiplication coefficient 8 related to the multiplier 2 (1512) is controlled to gradually change from 1 to 0.5 from 0 to 0.5.
  • Multiplier coefficient 7 related to multiplier 1 (1511) is controlled to gradually change from 0 to 1
  • multiplier coefficient 8 related to multiplier 2 (1512) is controlled to gradually change from 1 to 0. Also good.
  • the degree of change of the multiplication coefficient that can be taken should be changed as appropriate according to the state of the image information 1 and the image information 2, and may be controlled by a value other than the value of this embodiment.
  • the multiplication coefficient 7 applied to the multiplier 1 (1511) and the multiplication coefficient 8 applied to the multiplier 2 (1512) have been described separately.
  • the multiplication coefficient 7 according to 1512) may be defined as 1 minus the multiplication coefficient 1 according to multiplier 1 (1511).
  • Multiplier 1 (1511) is obtained by multiplying each multiplied coefficient by the multiplication coefficient 8 according to multiplier 2 (1512) of the present embodiment and multiplying the square root of the numerical value applied to multiplier 2 (1512).
  • the multiplication coefficient applied to may be defined as a value obtained by subtracting the multiplication coefficient ′ from 1.
  • Embodiment 5 Process Flow
  • the process flow in the imaging apparatus according to this embodiment is the same as the process flow of the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the composition of the first image and the second image in the composition step (S0610) is characterized in that the composition ratio between the plurality of images is variable according to the edge information.
  • the second image in a low-light environment with some degree of darkness, the second image is synthesized with gain amplification strong to compensate for underexposure caused by shortening the exposure time.
  • motion area information is acquired from multiple images, and in the motion area, it is possible to combine images using images with less noise. It is related with the imaging device which can obtain.
  • FIG. 18 illustrates functional blocks of an imaging apparatus according to this embodiment.
  • the configuration of the imaging apparatus according to the present embodiment is the same as the configuration of the imaging apparatus according to FIG. 2 described in Embodiment 1, except that “movement area information acquisition means” (1808) and “fifth synthesis ratio variable synthesis means” (181 0) is added.
  • FIG. 18 illustrates a configuration in which the moving region information acquisition unit (1808) and the fifth synthesis ratio variable synthesis unit (1810) are added to the configuration of the imaging apparatus described in FIG.
  • the imaging device (1800) includes an “imaging unit” (1801) and a “control unit” (1802). And an “image information holding unit” (1803) and a “compositing unit” (1804).
  • the control unit (1802) includes a “first control unit” (1806) and a “second control unit” (1807).
  • the synthesizing unit (1804) includes a “motion region information obtaining unit” (1808) and a “fifth synthesis ratio variable synthesizing unit” (1810). The description of the same components as those in FIG. 2 used in Embodiment 1 is omitted.
  • Motion region information acquisition means (1808) has a function of acquiring motion region information from a plurality of images held by the image information holding unit (1803). Specifically, the motion region information acquisition unit acquires the motion region information from, for example, the image information 1 of the first image and the image information 2 of the second image.
  • FIG. 19 shows an example where the size of the first image (1901) and the second image (1902) are different. Also, there may be a misalignment between the first image and the second image. Force Specific examples are described in the background art and are not described here.
  • the height of the first image (1901) is represented by Ph and the width is represented by Pw
  • the height of the second image (1902) is represented by Sh and the width is represented by Sw.
  • the motion region information acquisition means reduces the image to the second image (1902) with the horizontal reduction ratio ⁇ and the vertical reduction ratio j8. To generate a reduced second image (1903).
  • the second image (1902) has the characteristics of “an image with very little camera shake but with image quality degradation caused by noise and increased noise due to gain amplification, resulting in significant image quality degradation”.
  • LPF Low Pass Filter
  • processing is applied to the frequency characteristics of the first image (1901) obtained by averaging and pixel addition, and the frequency characteristics of the first image (1901) are reduced as much as possible ( It is better to generate the reduced second image (1903) by performing the thinning process.
  • the motion region information acquisition means includes the reduced second image (1904) and the first image.
  • the difference between the image information of (1901) is calculated by the subtracter (1905).
  • the difference-calculated image information is converted into an absolute value by the absolute value converting means (1906).
  • the binarized means (1907) binarizes the absolute image information to obtain motion area information (1908).
  • "Binarization means" (1907) If it has a certain threshold value and the absolute value of the image information is greater than or equal to the threshold value, 1 information is generated by determining it as a motion region (black region in the motion region information 1908). If the absolute value of the image information is equal to or less than the threshold value, 0 information is generated by determining that the image information is not a motion region (white region in the motion region information 1908).
  • the motion region information generated in the “motion region information acquisition means” (1808) is converted into a multiplication coefficient.
  • "Fifth composition ratio variable composition means” uses the first image in the motion area of the second image determined as the motion area from the motion area information, and uses the motion area information
  • the non-motion area of the second image determined to be other than the motion area has a function of controlling to use the second image. For example, each obtained multiplication coefficient is input, and each multiplication coefficient is multiplied by image information by multiplier 1 (1811) and multiplier 2 (1812), and then added and synthesized by adder (1813). .
  • the synthesizing unit acquires the image information 1 of the first image and the image information 2 of the second image simultaneously with the composition, and acquires the motion region information, converts the information into the motion region information power multiplication coefficient, and then multiplies the multiplication coefficient. Is sent to the fifth composition ratio variable composition means (1810), and the fifth composition ratio variable composition means (1810) multiplies each multiplication coefficient by the image information and then adds them by the adder (1813).
  • FIG. 20 shows control for conversion to a multiplication coefficient based on the motion region information obtained from the motion region information acquisition means (1808).
  • the multiplication coefficient 9 (for the first image: for the first image:
  • the multiplication coefficient 10 (for the second image: not shown in FIG. 18 !,;) related to the multiplier 2 (1812) is controlled to 0 (not shown in FIG. 18).
  • the fifth synthesis ratio variable synthesis means (181 of the synthesis unit (1804) 0) multiplication is performed on the image information by multiplier 1 (1811) and multiplier 2 (1812) based on the multiplication coefficient that also provides motion region information power, and the image is synthesized by adder (1813). It is.
  • the composition unit (1804) performs composition using only the image information 2 for the area determined to be a non-motion area, and the characteristic of the image information 2 is “there is very little camera shake, but image quality degradation due to noise” Is recognized, and synthesis control is performed mainly on “images with increased noise due to gain amplification and a greater deterioration in image quality”.
  • the multiplication coefficient 9 (for the first image) related to the multiplier 1 (1811) is set to 1.
  • the multiplication coefficient 10 (for the second image) related to the multiplier 2 (1812) is controlled to zero.
  • the multiplier 1 (1811) and the multiplier 2 (1812) multiply the image information based on the multiplication coefficient obtained from the motion region information.
  • the image is synthesized by the adder (1813).
  • the compositing unit (1804) connects to the area determined as the motion area!
  • composition using only image information 1 is performed, and the characteristic of image information 1 is ⁇ camera shake is reduced, noise is reduced by addition averaging processing and pixel addition, but the size is small!
  • the composition control is mainly performed with a small number of images.
  • the composition ratio can be varied according to the imaging conditions, or an image synthesized based on edge information can be used to obtain an image with further improved noise components in the motion area. Can do.
  • Embodiment 6 Process Flow
  • the process flow in the imaging apparatus according to this embodiment is the same as the process flow in the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the composition of the first image and the second image in the composition step (S0610) is characterized in that the composition ratio between the plurality of images is variable according to the motion information.
  • the second image in a low-light environment with a certain degree of darkness, the second image is synthesized in a state where gain amplification is strong in order to compensate for underexposure due to shortened exposure time. Since it is possible to synthesize luminance information and color information separately, it is possible to obtain an image stabilization image with reduced noise depending on the occurrence of color noise. Relates to the device.
  • FIG. 21 illustrates functional blocks of an imaging apparatus according to this embodiment.
  • the configuration of the imaging apparatus according to the present embodiment is the same as the configuration of the imaging apparatus described in any one of Embodiments 1 to 6, except that a “sixth synthesis ratio variable combining unit” (2122) is added.
  • FIG. 21 illustrates a configuration in which the sixth synthesis ratio variable combining means (2122) is added to the configuration of the imaging apparatus described in FIG. 2 of the first embodiment.
  • the imaging device (2100) includes an “imaging unit” (2101), a “control unit” (2102), an “image information holding unit” (2103), and a “compositing unit” (2104).
  • the control unit (2102) includes a “first control unit” (2106) and a “second control unit” (2107).
  • the synthesizing unit (2104) includes “sixth synthesis ratio variable synthesizing means” (2122). Description of the same configuration requirements as those described in any one of Embodiments 1 to 6 is omitted.
  • "Sixth synthesis ratio variable synthesis means" (2122) has a function of synthesizing the luminance component and the color component at the same synthesis ratio or at different synthesis ratios. For example, each multiplication coefficient (2112) obtained from the imaging condition is input, and the first luminance information (2108) obtained from the image information 1 and the second luminance information obtained from the image information 2 with the respective multiplication coefficients. After multiplying (2109), the luminance information is synthesized by adding the luminance information multiplied by the luminance adder (2116).
  • each multiplication coefficient obtained from the imaging condition is input, and the first color information (2110) obtained from the image information 1 force by each multiplication coefficient and the second color information (2111) obtained from the image information 2 After the multiplication, the color information multiplied by the color adder (2120) is added to synthesize the color information. Further, the synthesized luminance information and the synthesized color information are further synthesized (2121).
  • the synthesizing unit partially extracts the image information from the image information 1 and the imaging condition 1 and the image information 2 and the imaging condition 2 regarding the first image sent from the image information holding unit (2103).
  • luminance information and color information can be combined separately.
  • FIGS. 22 and 26 are also used to explain the outline of the case where the composition unit performs composition using the first image and the second image.
  • FIGS. 22 and 26 show “second control means” (2107) force of the control unit (2102).
  • the second image which is another one of the plurality of images to be captured, is exposed to the camera without causing camera shake. It indicates a state in which it is controlled to take an image with gain so that exposure is appropriate over time.
  • the control to convert to a multiplication coefficient is indicated.
  • the exposure time in the first control means (2106) should be about 1Z60 seconds or more in a medium illuminance environment slightly darker than a high illuminance environment (22-1, 26-1). This is controlled (22-2, 26-2), which corresponds to “control under illuminance conditions in which camera shake may occur” described in the first embodiment.
  • the control of the first control means (2106) is the same as that described in the first embodiment, and hereinafter, the control of the second control means (2107) will be described.
  • the second control means controls the exposure time with reduced camera shake by maintaining "exposure time without camera shake", that is, the exposure time is about 1Z60 seconds (22-2, 26 — 2). Further, the second control means (2107) applies a gain to obtain an appropriate exposure for an underexposure due to the exposure time being maintained at about 1Z60 seconds. Furthermore, when the imaging environment changes in the direction of a low-light environment, the gain reaches a gain value at which image quality degradation due to noise that increases due to gain amplification is observed at a certain gain value that has the power to achieve appropriate exposure by applying gain (22-). 4, 26-4).
  • the exposure time is increased to about 1Z60 seconds or more and then increased by gain amplification.
  • the gain control state where image quality degradation due to noise is observed in the exposure control state at medium illuminance indicated by 22-2 and 26-2
  • the brightness multiplication factor 1 (2114) for the brightness multiplier 1 (2114) 1 for the first image not shown in FIG. 21
  • 1 for the color multiplier 1 211
  • Color multiplication coefficient 1 (for the first image: not shown in FIG. 21) is set to 0, and color multiplier 2 (211
  • the color multiplication coefficient 2 related to (for the second image: not shown in FIG. 21) is controlled to 1.
  • the synthesis unit converts the imaging condition into a multiplication coefficient (2112) based on the obtained coefficient.
  • the luminance multiplier 1 (2114) and the luminance multiplier 2 (2115) multiply the luminance information.
  • the luminance information is synthesized by the luminance adder (2116).
  • the color information is multiplied by the color multiplier 1 (2118) and the color multiplier 2 (2119) based on the coefficient obtained by converting the imaging condition into the multiplication coefficient (2112), and the color adder Color information is synthesized at (2120). Further, the synthesized luminance information and the synthesized color information are synthesized.
  • the composition unit (210 4) performs composition processing using only the image information 2, and the characteristic of the image information 2 is “fewer camera shake and no degradation in image quality due to noise. Control is performed to obtain an image mainly consisting of “image”.
  • the second control means (2107) continues to maintain an "exposure time without camera shake", that is, an exposure time of about 1Z60 seconds.
  • the exposure time is controlled while suppressing blurring (22-3, 26-3).
  • the second control means (2107) controls the gain value (gain) in which the image quality deterioration due to noise increased by gain amplification is recognized against the underexposure due to the exposure time being maintained at about 1Z60 seconds. Apply more gain than value B) for proper exposure.
  • the imaging condition is converted into the multiplication coefficient (2112), for example, as shown in the upper part of FIGS. 22 and 26, the control state power of the gain value in which the image quality deterioration due to the noise increased by the gain amplification is recognized.
  • the luminance multiplication coefficient 1 first 1 of the luminance multiplier 1 (2114)
  • the luminance multiplication coefficient is controlled so that the luminance multiplication coefficient 2 (for the second image) related to the luminance multiplier 2 (2115) gradually changes from 0 to 0.5.
  • the color multiplier 1 (for the first image) related to the color multiplier 1 (2118) is changed from 0 to 1
  • the color multiplier 2 (2119) Controls the color multiplication coefficient so that this color multiplication coefficient 2 (for the second image) gradually changes from 1 to 0.
  • the synthesizer multiplies the color information by the color multiplier 1 (2118) and the color multiplier 2 (2119) based on the coefficient obtained by converting the imaging condition into a multiplication coefficient (2112).
  • the color information is synthesized by the color calorie calculator (2120). Furthermore, the luminance information after synthesis and the color information after synthesis are synthesized.
  • the composition unit (2104) performs composition such that the information of image information 1 is mainly used rather than the information of image information 2 as the illuminance becomes darker. Although the image quality degradation due to noise is recognized, the ratio of using images that increase noise and increase image quality due to gain amplification is weakened. ! / Is controlled to obtain an image mainly consisting of an image with little noise.
  • the change in the weight using the color information of the image information 2 is such that the change in the weight using the luminance information of the image information 2 becomes larger as the illuminance becomes darker.
  • color information is synthesized using image information 1 with less noise than luminance information. As a result, when there is a lot of color noise in the color information of the image information 2, it is possible to obtain a camera shake correction image in which the color noise is further suppressed.
  • control of the multiplication coefficient for the luminance information and the control of the multiplication coefficient for the color information are set to the same illuminance condition. If there is a difference between luminance information and color information in the amount of noise that increases due to gain amplification, control of the multiplication coefficient for luminance information and control of the multiplication coefficient for color information may be controlled under different illuminance conditions.
  • the degree of change in the multiplication coefficient that can be taken is to be changed as appropriate according to the state of image information 1 and image information 2, and may be controlled other than the values in the present embodiment. .
  • the luminance multiplication coefficient 1 and the luminance multiplier according to the luminance multiplier 1 (2114) 2 The luminance multiplication coefficient applied to the luminance multiplication coefficient 2 related to (2115) is described separately, and the color multiplication related to the color multiplier 1 (2118) and the color multiplication coefficient 1 related to the color multiplier 2 (2119) The color multiplication coefficient applied to the coefficient 2 has been described separately, but the luminance multiplication coefficient 2 related to the luminance multiplier 2 (2115) is changed from 1 to the luminance multiplier 1 (2114).
  • Color multiplier 2 (2119) can be defined by subtracting 1 from color multiplier 1 (2118) and subtracting 1 from color multiplier 1 (2118). ,.
  • Embodiment 7 Process Flow
  • the process flow in the imaging apparatus according to the present embodiment is the same as the process flow of the imaging apparatus according to FIG. 6 described in the first embodiment.
  • the synthesis of the first image and the second image in the synthesis step (S0610) is characterized in that the luminance information and the color information can be synthesized separately according to the imaging conditions.
  • FIG. 1 is a functional block diagram of an imaging apparatus according to Embodiment 1.
  • FIG. 2 is a functional block diagram of the imaging apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing an example of exposure control controlled by the first control means.
  • FIG. 4 is a diagram showing an example of exposure control controlled by the second control means.
  • FIG. 5 is an example showing an outline of the case where the composition unit performs composition using the first image and the second image.
  • FIG. 6 is a flowchart showing a process flow of the imaging apparatus according to the first embodiment.
  • FIG. 7 is a diagram illustrating a specific configuration of the imaging apparatus
  • FIG. 8 is a functional block diagram of the imaging apparatus according to the second embodiment.
  • FIG. 9 is an example diagram showing exposure control and multiplication coefficient control controlled by the second control means according to the second embodiment.
  • FIG. 10 is a functional block diagram of the imaging apparatus according to the third embodiment.
  • ⁇ An example diagram showing multiplication coefficient control controlled in 11th embodiment
  • FIG. 12 Functional Block Diagram of Imaging Device According to Embodiment 4
  • FIG. 13 An example diagram showing multiplication coefficient control controlled in the fourth embodiment.
  • FIG. 14 Flow diagram showing the processing flow of the imaging apparatus according to the fourth embodiment
  • FIG. 17 An example diagram showing multiplication coefficient control controlled in the fifth embodiment.
  • FIG. 18 Functional Block Diagram of Imaging Device According to Embodiment 6
  • Figure 19 is a diagram for explaining how to generate motion area information.
  • FIG. 22 is an example diagram showing exposure control and multiplication coefficient control controlled by the second control means according to the seventh embodiment.
  • FIG. 24 An example diagram showing an outline of the composition in the composition part using the first image and the second image.
  • FIG. 26 An example diagram showing exposure control and multiplication coefficient control controlled by the second control means according to Embodiment 7.

Abstract

　複数画像間を合成して手ぶれを抑えた画像を生成する際、手ぶれが発生し得ない照度条件においても合成処理を行なうことによって画質劣化を招いたり、複数画像のいずれかが適正露出でない画像間を合成する際、輝度情報の線形特性が損なわれたりしていた。 　課題を解決する手段として、画素の加算平均や画素加算で得られる目的画像より小さいサイズの第一画像と、手ぶれは極めて少ないが、適正露出を得るためにゲイン増幅されノイズが多い第二画像を合成することで目的画像を生成し、さらに照度条件に応じて、第一画像と第二画像の合成比率を温度条件等に応じて可変とすることで、いかなる照度条件でも手ぶれやボケがなく、ノイズが抑えられた画像を得ることが可能である撮像装置を提案する。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手ぶれ補正技術に 関する。
背景技術
[0002] 特許文献 1にお 、て、プレビュー表示に用いられるプレビュー画像などのサイズの 小さい画像 (以下、「第一画像」と呼ぶ）と、撮像装置のユーザー等がシャッターを切 ること〖こよって得ることを目的とする画像 (以下、「第二画像」と呼ぶ）とを利用して手ぶ れ補正が可能である撮像装置の発明が開示されている。
[0003] 通常の撮像装置においては、撮像時の周辺の明るさなど力も露出制御が行なわれ 、適正な露出にて撮像が行なわれるようになつている。しかしながら、露出制御により 露光時間が長くなると手ぶれが発生する可能性が高くなる。それに対し、特許文献 1 においては、プレビュー画像などのサイズの小さい第一画像は、露出は適切である が手ぶれが発生することを想定しており、一方、第二画像は手ぶれが軽減されるよう に露光時間を短くする。これにより、第二画像は、手ぶれはしていないものの露出不 足の画像となるため、プレビュー画像などの適正露出の画像の輝度情報を利用して 第二画像の輝度情報を補正する。
[0004] さらに、特許文献 1にお ヽては、プレビュー画像などのサイズの小さ!/ヽ画像を画素 加算により取得する方法も述べられている。画素加算とは、例えば、図 23に示すよう に 4つの画素を 1画素に変換する方法であり、変換する際には 4つの画素の画素値を 足し合わせた値を 1画素の画素値にする。例えば、 400 X 400画素の画像において 画素加算を行なうと 200 X 200画素の画像となる。この画素加算のメリットは、元の画 像は明るさが不足している画像であっても 4つの画素の画素値を足し合わせて 1画素 の画素値とするため、シャッター時間が短くても画素加算により生成された画像は明 るさが確保された画像となる。また、例えば、高画素化 CCDの場合、 CCD全体の大 きさが大きくなるにつれて一つ一つの画素の大きさは小さくなつていくため一つ一つ の画素に当たる光は少なくなつていく。すなわち、感度が低くなつていく。また、これを 補正するために信号を増幅するとノイズも大きくなつてしまうが、画素加算によれば、 画像のサイズは小さくなるが信号を増幅することなく明るさを確保することができ、低 照度環境下の様な光量不足な条件にぉ 、ても、ノイズが少ない良好な画像を得るこ とがでさる。
[0005] 画素加算を用いな 、プレビュー画像などのサイズの小さ!/、画像にお!、ても、サイズ を小さくする際、隣接画素を加算平均処理した画像を用いる場合が多いため、手ぶ れが発生することがあるが、画素加算と同様にノイズが少ない良好な画像を得ること ができる。
[0006] 特許文献 1における第一画像と第二画像を用いて合成を行う場合の概略を図 24、 及び図 25を用いて説明する。
[0007] 図 24では、第一画像（2401)と第二画像（2402)の大きさが異なる場合を一例として 示す。また、（a)は第一画像と第二画像との間で位置ずれが無い場合、（b)は第一画 像と第二画像との間で位置ずれがある場合を例示する。第一画像 (2401)の高さを P h、幅を Pwで表し、第二画像（2402)の高さを Sh、幅を Swで表すとする。まず、（a) において、第一画像（2401)の画素 (χ' , y' )に対応する点が第二画像（2402)の画 素（X, y)であるとすると、（a)においては位置ずれがないので、 x， = a x, y， = j8 yと 表すことができる。ここで、 なと βは第一画像と第二画像の水平方向、垂直方向の縮 小率であり、 a =PwZSw、 β =PhZShである。また、（b)においては、位置ずれの 動き量を (Mx、 My)とし、第一画像（2401)の画素 (χ' ' , y' ' )に対応する点が第二 画像（2402)の画素（X, y)であるとすると、 x，， = a x + Mx, y，， = j8 y+Myと表す ことができる。このようにして、第一画像と第二画像における各画素同士の対応関係 を求めることができる。よって、この対応関係を利用することにより、例えば、対応する 各画素の輝度情報を比較して明るさを補正するなどして合成を行なうことができる。 なお、位置ずれの動き量（Mx、 My)は、ブロックマッチングやエッジ検出などによつ て検出することができる。
[0008] 図 25は、前記「対応する各画素の輝度情報を比較して明るさを補正する」方法の具 体例を示す。図 25にて説明のように、位置ずれの動き量を（Mx、 My)、 a =Pw/S w、 β =PhZShとすると、第一画像の画素 (x，， y，）と第二画像の画素 (x, y)との関 係は、 x' = a x + Mx, y' = jS y+My (以下、「数式 1」と呼ぶ）と表すことができる。 通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が 2倍 になれば、画素の明るさも 2倍になる）ので、第一画像と第二画像の露光時間の比に 応じて、第二画像の画像情報にて示される各画素における画素値 (RGB値など）を 増加させれば、第二画像の明るさは第一画像と同じになる。し力しながら、ノイズも増 幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノィ ズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。線形補間に関 しては一般的によく知られて 、るのでここでは詳述しな 、。数式 1にて算出される x' の整数部を k、小数部を u、 y'の整数部を 1、小数部を Vとし、第一画像の画素 (χ ' , y' )にぉける画素値を1¾ ，， y，）とすると、 Pp (x，， y' ) =Pp (k+u, l+v) =Pp (k, 1) (1-u) (1— v) +Pp (k+ l, l) u(l-v) +Pp (k, 1+ 1) (l—u) l+Pp (k+ 1, l+ l) kl、 という式にて画素値 Pp (x'， y' )が求められる。また、第二画像の輝度情報を補正す る際の補正量は以下のように算出する。第一画像を得る際の露出制御にてほぼ適正 露出に制御された露光時間 (第一画像の露光時間）を To、第二画像を得る際の露出 制御にて手ぶれが発生しにくく制御された露光時間（第二画像の露光時間）を Τχと し、 Tr=TxZToとする。第二画像の画素 (X, y)における画素値を Ps (x, y)とすると 、補正される第二画像の輝度情報の画素値 Pa (x, y)は、 Pa (x, y) = (Pp (x， , y， ) + Ps (x, y) 'Tr) /2、という式で表される。これにより、第一画像の輝度情報である 画素値 Pp (x'， y' )と第二画像の輝度情報である画素値 Ps (x, y)によって、第二画 像の輝度情報を画素値 Pa (x, y)で補正することができる。
また、特許文献 2においては、十分に光量がある明るい高照度環境下の場合は通 常の撮影を行い、被写体像の輝度が低輝度被写体と判定され、且つカラー撮像素 子の隣接するフィールドの出力画像同士を比較した結果、前記出力画像同士に差 が少なく動きがなぐ被写体の動きが少ないと判断された場合、前記各フィールドの 同色の画素を加算することで、低照度下の被写体でも手ぶれ等を気にすることなぐ SZNの良好な写真が撮影できる撮像装置の発明が開示されている。
特許文献 1：特願 2005— 209249号 特許文献 2 :特開 2004— 235901号公報
発明の開示
発明が解決しょうとする課題
[0010] し力しながら、特許文献 1の方法は、第一画像と第二画像を用いて合成を行う際、ノ ィズ成分を減少させるため、サイズを小さくすることで高周波成分が少なくなりボケ気 味の第一画像と常に加算平均する為、十分に光量がある高照度環境下により第二 画像の撮像条件が十分短 、露光時間になり手ぶれが発生しな 、画像であっても補 正を行うこととなり、補正により第二画像の高周波成分が少なくなり、手ぶれを抑える 補正にも拘らず、エッジがボケ気味になり、画質劣化を招いていた。ちなみに上述の 「十分に光量がある高照度環境下」とは、手ぶれが発生しない露光時間が 1Z60秒 より短い露光時間であるとした場合、撮像制御部が目的の画像を取得する際に必要 となる露光時間が 1Z60秒より短い露光時間で制御される状態を指す。
[0011] また、特許文献 1の方法は、適正露出である第一画像と、露出不足であるが手ぶれ が軽減された第二画像とを利用することにより、第二画像の輝度情報を第一画像の 輝度情報を利用して補正することのみによって手ぶれの軽減された画像を得る際、 第一画像の露光時間と第二画像の露光時間の比率を第二画像に力けてから、第一 画像との平均をとつて、露出を適正にする技術の例が開示されている力 この方法だ と、実際の撮像部は画像処理プロセスでガンマ補正がかかり、輝度情報の線形特性 が損なわれているので、単純にかけて合成すると、実際の輝度情報からずれた輝度 情報が合成され、不自然になっていた。例え、ガンマ補正が力かっている分に対し逆 特性のガンマ補正を施し、上記露光時間の比率の演算、平均を行い、その後ガンマ 補正をかける方法も考えられるが、ハード'ソフトでの実現を考慮すると、著しく負荷の かかるものとなってしまう。
[0012] また、特許文献 1の方法を用いな 、で特許文献 2の方法を適用した場合は、十分に 光量がある高照度環境下での手ぶれ補正によりボケることは無くなるが、通常撮影で 手ぶれが発生するある一定の照度環境より暗くなると判断され (特許文献 2では被写 体像の輝度が低輝度被写体と判定されることを指す)、且つ被写体の動きが少ないと 判断されるとすぐ 3フィールドの加算を行うことにより、目的の画像のサイズが小さくな つたり、加算により急に 3倍の明るさになったり、加算により高周波成分が無くなり、使 V、勝手 ·画質の面で非常に悪 、ものになって!/、た。
[0013] 特許文献 1の方法において、十分に光量がある明るい高照度環境下の場合は通常 の撮影を行い、通常撮影で手ぶれが発生するある一定の照度環境より暗い場合は 手ぶれ補正を行うような制御を適用したとしても、手ぶれが発生するある一定の照度 環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時は高周波成分が 急に少なくなつた低画質な画像となり、少しの照度環境変化で大きく画質が変わり、 不自然になっていた。
[0014] さらに、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたこと による露出不足を補う為、ゲイン増幅がカゝかった状態で合成を行う場合、ある程度暗 い低照度環境下において、第一画像を使用する合成比率を高め、ノイズを抑えたと しても、被写体に十分光が当っていない暗部においてはノイズ成分が目立ってしまう 欠点があった。
[0015] さらにまた、ある程度暗い低照度環境下において、第二画像は露光時間を短くした ことによる露出不足を補う為、ゲイン増幅がカゝかった状態で合成を行う場合、ある程 度暗い低照度環境下において、第一画像を使用する合成比率を高め、ノイズを抑え たとしても、撮像部の温度上昇状態によってはノイズを抑えきれず、通常使用に耐え がたい画質になっていた。
課題を解決するための手段
[0016] そこで、本発明においては、照度条件によって異なる撮像条件の制御が可能な撮 像制御により、手ぶれが発生しそうな照度環境下においては、複数の画像の画像情 報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正し、十分 に光量がある高照度環境下においては、通常の撮像条件で撮像された画像をその まま目的の画像とすることが可能である撮像装置を提案する。
[0017] また、本発明においては、手ぶれが発生しそうな照度環境下において、複数の画 像の画像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを 補正する際、複数画像間の合成比率を前記撮像条件に合わせて可変とすることで、 ある一定の照度環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時 は高周波成分が急に少なくなつた低画質な画像となり、少しの照度環境変化で大き く画質が変わり、不自然になってしまうことがない。
[0018] さらに、本発明においては、ある程度暗い低照度環境下において、第二画像は露 光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で合成を 行う場合、被写体に十分光が当っていない暗部においては、前記合成比率におい てノイズが少ない第一画像を使用する重みをさらに大きくすることで、ノイズを抑えた 良好な画質を得ることができる。
[0019] さらにまた、本発明においては、ある程度暗い低照度環境下において、第二画像 は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で合 成を行う場合、撮像部の温度上昇状態によって、前記合成比率をノイズが少ない第 一画像を使用する重みをさらに大きくすることで、撮像部の温度が上がっていても、ノ ィズを抑えた良好な画質を得ることができる。
[0020] 力！]えて、本発明においては、ある程度暗い低照度環境下において、第二画像は露 光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で合成を 行う場合、ノイズが少な 、画像力 エッジ情報を取得し、エッジ情報ではな 、領域に おいては、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能である ため、エッジ情報ではない領域において、ノイズを抑えた良好な画質の画像を得るこ とがでさる。
[0021] さらに加えて、本発明においては、複数の画像力も動き領域情報を取得し、動き領 域においては、ノイズが少ない画像を使用した合成が可能であるため、動き領域に ぉ 、て、ノイズを抑えた良好な画質の画像を得ることができる。
[0022] さらに加えてまた、本発明においては、ある程度暗い低照度環境下において、第二 画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態 で合成を行う場合、輝度情報と色情報を別々に合成することが可能であるため、輝度 ノイズや色ノイズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得るこ とがでさる。
発明の効果
[0023] 本発明の撮像装置においては、照度条件に応じて手ぶれを補正するための合成 を行ったり、行なわな力つたりすることが可能で、且つ、手ぶれを補正する際の複数 の画像間における合成比率を照度条件に応じて可変することが可能であるため、状 況に応じてノイズを抑えた最良の画質を保持しつつ、所望の手ぶれを抑えた画像を 得ることができる。
[0024] また、照度条件により合成による手ぶれ補正を行なう場合は、照度条件が暗くなれ ばなるほど、また温度条件が高温になればなるほど、ゲイン増幅によりノイズが増える 傾向にあるが、被写体の状態（明部か暗部か、エッジ部かエッジ部でないか、動いて いる被写体力否か等）に合わせて適宜ノイズを抑える合成が可能となり、低照度でも 高品位な撮影が可能となる。
発明を実施するための最良の形態
[0025] 本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお 、本発明はこれら実施の形態に何ら限定されるものではなぐその要旨を逸脱しない 範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係 は次の通りである。実施形態 1は、主に請求項 1、 2、 3、 10などについて説明する。 実施形態 2は、主に請求項 4などについて説明する。実施形態 3は、主に請求項 5な どについて説明する。実施形態 4は、主に請求項 6などについて説明する。実施形態 5は、主に請求項 7などについて説明する。実施形態 6は、主に請求項 8などについ て説明する。実施形態 7は、主に請求項 9などについて説明する。
(実施形態 1)
[0026] (実施形態 1：概要)本実施形態は、照度条件に応じて手ぶれ補正の合成を行なう か否かを決定し、手ぶれ補正の合成を行う際は異なる撮像条件にて撮像された複数 の画像を利用して手ぶれのない画像を合成するための撮像装置に関する。
[0027] (実施形態 1：構成)本実施形態に係る撮像装置の機能ブロックを図 1、図 2に例示 する。図 1に例示する撮像装置 (0100)は、「撮像部」（0101)と、「制御部」 (0102) と、「画像情報保持部」（0103)と、「合成部」（0104)と、を有している。
[0028] また、図 2に例示するように、撮像装置 (0200)は、「撮像部」 (0201)と、「制御部」 ( 0202)と、「画像情報保持部」（0203)と、「合成部」（0204)と、を有しており、さらに 、前記制御部 (0202)は、「第一制御手段」（0206)、「第二制御手段」（0207)と、を 有していてもよい。
[0029] なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェア とソフトウェアの両方のいずれかによつて構成される。例えば、これらを実現する一例 として、コンピュータを利用する場合には、 CPU、バス、メモリ、インタフェース、周辺 装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトゥェ ァがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行すること で、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出 力などにより各部の機能が実現される。さらに具体的には、図 7は撮像装置のより具 体的な構成を示す図であり、一例として、撮像部（0701)、 CPU (0702)、一時記憶 メモリ（0703)、記憶装置 (0704)、画像出力ユニット (0705)、モニタ（0706)等から 構成されることを示している。また、前記撮像部（0701)は、内部的に「レンズ」（070 7)、 「CCD (Charge Coupled Device :電荷結合素子）」（0708)、「CDSZAGC (Correlate! Double Sampling /Auto Gain Control)」（0709)、「A/D変 翻」（0710)、「画像処理プロセッサ」（0711)等カゝら構成されることを示している。ま た、前記画像処理プロセッサ (0711)は、内部的に「ガンマ補正処理機構」（0712) を有していてもよい。（明細書の全体を通じて同様である。 )
[0030] 以下に、各構成要件の説明をする。
[0031] 「撮像部」 (0101)は、被写体を撮像する機能を有する。「撮像」とは、具体的には 図 7を例として、被写体からの光をレンズ（0707)などの光学系を通して CCD (0708 )等の撮像素子で受光し、 CCD (0708)に含まれる雑音を低減する CDSや、信号を 増幅することで露光量低下を補う為の感度アップを行う AGCを含む CDSZAGC (0 709)を経て、 AZD変 (0710)などにより電気信号に変換して、さらに画像処理 プロセッサ（0711)で露出制御やホワイトバランス制御やガンマ補正処理機構 (0712 )を経て、輝度 '色信号処理が行なわれることで画像情報とすることを意味する。また 、撮像部は、このような処理を実行するためのプログラムを含んでいてもよい。また、 撮像部は撮像条件に基づいて撮像を実行する。「撮像条件」とは、具体的には、露 光時間（「シャッタースピード」と同義)、複数画像間を撮像する撮像間隔、感度アップ のためのゲイン条件 (AGCの「ゲイン」と同義)、撮像部で加算平均や画素加算によ るサイズ縮小を行なうか否カゝの縮小制御条件、手ぶれ補正を行なう為の合成用画像 であるか否かの画像条件、サイズ条件（「縮小率」等により定義可能）、などが該当す る。
[0032] 「制御部」 (0102)は、照度条件によって異なる露光時間条件やゲイン条件で構成 される撮像条件により撮像の制御をする。「撮像条件により撮像の制御をする」とは、 設定されている撮像条件を読み出し、読み出した撮像条件にて撮像部 (0101)での 撮像が行なわれるように制御することである。また、撮像条件を決定する機能をも有し ていてもよい。撮像条件を決定するとは、具体的には、露光時間や撮像間隔、加算 平均や画素加算によるサイズ縮小制御の実行可否を決定すること等を意味する。例 えば、従来のカメラのように周辺の明るさ等により適正露出の露光時間を算出して撮 像時の露光時間として設定することや、露光時間を長くしても露光量低下が発生する 場合に AGCにより信号レベルを増幅させるゲイン制御を行うこと等が該当する。また 、手ぶれ補正時は補正用の画像における正確な位置合わせや SZN、感度の改善 のため、撮像部で加算平均や画素加算によるサイズ縮小を行なう制御等が含まれて いてもよい。露光時間や撮像間隔、ゲイン制御は、加算平均や画素加算によるサイ ズ縮小制御を行う際は、あらかじめゲインを高めに制御し、その分露光時間を短くす ることで手ぶれを軽減する設定を行ったり、適正露光時間の長さによって手ぶれを起 こす可能性が高いと思われる場合、露光時間を短く設定し、その分ゲインをかけて適 正露出に設定すること等が想定される。制御部の具体的な処理としては、例えば、図 7における一時記憶メモリ（0703)や記憶装置 (0704)などの所定の記憶領域に露 光時間、撮像間隔などの値が格納されており、この所定の記憶領域力 設定値を読 み出し、読み出した設定値に応じて撮像部での撮像を制御する。また、制御部は、こ のような処理を CPU (0702)に実行させるためのプログラムを含んで!/、てもよ!/、。
[0033] また、図 2に例示するように、制御部（0202)は、「第一制御手段」 (0206)と、「第二 制御手段」（0207)と、を有していても構わない。
[0034] 「第一制御手段」 (0206)は、撮像する複数画像の一の画像である第一画像を、撮 像する複数画像の他の画像より小さい画像サイズで、且つ、適正露出の画像となるよ うに制御する機能を有する。「他の画像より小さい画像」とは、例えば、他の画像に対 し、 lZnのサイズであるとする。また、第一制御手段は、撮像する複数画像の一の画 像である第一画像を、画素の加算平均や画素加算によって、撮像する複数画像の 他の画像より小さい画像サイズとするようになつていてもよぐ制御を行なう際、画素の 加算平均や画素加算で改善される SZNに応じて、露光時間を短く制御するようにな つていてもよい。
[0035] 「第二制御手段」 (0207)は、撮像する複数画像の他の一の画像である第二画像を 、手ぶれが発生しないような短い露光時間で、且つ露出が適切になるようにゲインを かけて撮像するように制御する機能を有する。「手ぶれが発生しな 、ような短 、露光 時間」とは、例えば、一般的に言われるように、露光時間が約 1Z60秒 (約 16ミリ秒） 以下であれば手ぶれによるエッジの流れは識別不可能になるとした場合、 1Z60秒 の露光時間を指す。第二画像の撮像サイズは、撮影により得ることを目的とする画像 のサイズである。
[0036] 「画像情報保持部」 (0103)は、制御部（0102)によって異なる撮像条件に制御さ れて撮像された一或いは複数の画像の画像情報を保持する機能を有する。「異なる 撮像条件に制御されて撮像された一或いは複数の画像」とは、例えば、第一制御手 段 (0206)にて制御されて撮像された第一画像と第二制御手段 (0207)にて制御さ れて撮像された第二画像、等が該当する。また、合成部 (0104)では、複数画像の 撮像位置がずれた場合には位置を合わせてカゝら複数画像の合成を行う必要がある 力 具体的な実施例は背景技術で述べられているので、ここでは割愛する。また、「 画像情報」とは、画像を実現するための情報であって、具体的には、各画素の RGB 値や YUV値などの数値で表される情報が挙げられる。ところで、輝度情報 (Y)、色 情報 (UV)は RGBの値により表されることが一般的に知られており、おおよそ「Y=0 . 299R+0. 587G + 0. 114Β」（以下、「数式 2」と呼ぶ）、「U=— 0. 169R— 0. 3 31G + 0. 500B」、「V=0. 500R— 0. 419G— 0. 081B」、と ヽぅ式により求められ る。よって、輝度情報、色情報も画像情報に含まれると言うことができる。画像情報保 持部は、具体的には、主に図 7に例示した一時記憶メモリ（0703)や記憶装置 (070 4)などによって実現される。さら〖こ、画像情報保持部は、画像情報を保持する処理を CPU (0702)に実行させるためのプログラムを含んで!/、てもよ!/、。 [0037] 「合成部」 (0104)は、照度条件により、保持されている複数の画像の画像情報を部 分的に利用して合成画像用の画像情報を合成し、又はその撮像条件により撮像され た画像をそのまま出力する機能を有する。例えば、照度条件に応じて合成を行なうか 否かを決定し、合成を行なう場合には、画像情報保持部 (0103)カゝら送られて来た第 一画像に関する画像情報 1と撮像条件 1、及び画像情報 2と撮像条件 2から、画像情 報を部分的に利用して一の画像の画像情報を合成する場合等が想定される。「前記 複数の画像の画像情報を部分的に利用して」とは、合成する場合に画像情報のすべ てを利用しなくともよい、という意味である。例えば、画像の一部のみを補正する場合 であって、画像中のある一部分のみの RGB値や YUV値を補正して合成する場合な どが想定される。また、「合成画像」とは、最終的に得ることを目的としている画像であ り、ぶれの軽減された画像のことである。合成部は、例えば、撮像条件 1、及び撮像 条件2から、画像が複数枚あること、それぞれの画像が合成用の画像であること、第 一画像が第二画像に対し lZnのサイズであること等を知り、画像情報を部分的に利 用して合成画像用の画像情報を合成する。また、合成部はこのような処理を CPU (0 702)に実行させるためのプログラムを含んで!/、てもよ!/、。
[0038] (手ぶれが発生しうる照度条件下における制御の具体例）以下に、手ぶれが発生し うる照度条件下における制御の具体例を説明する。まず、図 3を用いて第一制御手 段が第一画像を適正露出にする制御について説明する。一般的に撮像環境の照度 に応じて露出が適正露出となるように制御した場合には、手ぶれ等によってぶれが 発生する可能性が高い。なぜならば、低照度環境における露出制御状態（3— 3)は 高照度環境における露出制御状態（3— 1)に比べ、露光時間が長くなるため（グラフ 3A)、手ぶれが発生する可能性が高くなるからである。第一制御手段は前述の通り、 他の画像より小さ ヽ画像を生成するように制御するため、小さ!/ヽ画像を生成する際、 加算平均処理を用いれば SZNが改善されることが期待できる。加算平均処理にて 改善されるノイズレベルは、加算する画素の数を nとした場合、
Figure imgf000013_0001
倍になる為、 SZNの改善を期待しない場合は、 n
倍のゲインをかけてもゲインをかけた後の SZNは加算平均前の SZNと変わらない ということになる。よって、第一画像においても手ぶれが軽減されることを優先する場
n
倍のゲインをかけ (グラフ 3B)、その分露光時間を、
Figure imgf000014_0001
倍にしてもよい (グラフ 3C)。すなわち、第一制御手段は、露出が適正で、且つなるベ く手ぶれが軽減した画像を得るように撮像条件を制御する役目を果たす。
[0039] なお、第一制御手段が第二画像より小さい画像を生成するように制御する際、画素 加算の制御を行う場合、平均処理は行なわれないので、適正露出の画像となるよう にするため、ゲインをかけなくても、露光時間を lZn倍にする必要がある。つまり画 素加算の場合は、撮像環境の照度に応じて適正露出とした場合の SZNと同等でよ ければ、露光時間を lZn倍にでき、さらに手ぶれが軽減した画像を得ることが可能と なる。
[0040] また、画素加算を用いずに加算平均処理によって小さい画像を生成する場合や、 画素加算を用いて小さい画像を生成する場合、手ぶれが発生したエッジの幅が小さ いとき、手ぶれが発生したエッジ画素を含めて加算平均や加算処理を行なうため、若 干ではあるが、手ぶれが発生したエッジを無くし、手ぶれが軽減される効果が期待で きる。
[0041] 第一制御手段では、撮像条件として、例えば、露光時間は「手ぶれが軽減される露 光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが軽減される露光時間が実 現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「通常制御より、 n 倍 (画素加算時は n倍)高 、値」で、撮像部で行なわれる加算平均や画素加算による サイズ縮小の有無は「サイズ縮小制御あり」で、手ぶれ補正を行なう為の合成用画像 であるか否かの画像条件は「合成用画像 1である」で、サイズ条件は「他の画像に対 し lZnの縮小率」であり、これらの撮像条件が例えば撮像条件 1として保持される。
[0042] 次に、図 4を用いて第二制御手段が適正露出にする制御について説明する。図 4 において「手ぶれが発生しないような短い露光時間」を 1Z60秒とする。例えば、低 照度環境下でも第二制御手段は 1Z60秒の露光時間を維持し (グラフ 4A)、適正露 出に足らない分ゲインをかけて適正露出にする（グラフ 4B)。よって低照度環境下に おいては、第二制御手段によって得られる画像は S/Nの悪い上にかなりゲインがか けられる為、力なりノイズが多い画像になる。すなわち、第二制御手段は、第一制御 手段と同様に露出は適正で、且つ手ぶれが極めて少ないが、照度条件によってはか なりノイズが多い画像が得られるように撮像条件を制御する役目を果たす。
[0043] 第二制御手段では、撮像条件として、例えば、露光時間は「手ぶれが極めて少な!/ヽ 露光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが極めて少な!、露光時間 が実現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「かなり高!、値」 で、撮像部で行なわれる加算平均や画素加算によるサイズ縮小の有無は「サイズ縮 小制御なし」で、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件は「 合成用画像 2である」で、サイズ条件は「撮影により得ることを目的とする画像のサイ ズ」であり、これらの撮像条件が例えば撮像条件 2として保持される。
[0044] 次に、図 5を用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の 概略を説明する。図 5では、第一画像 (0501)と第二画像 (0502)の大きさが異なる 場合を一例として示す。また、第一画像と第二画像との間で位置ずれがある場合もあ る力 具体的な実施例は背景技術で述べられているので、ここでは記述しない。第一 画像（0501)の高さを Ph、幅を Pwで表し、第二画像（0502)の高さを Sh、幅を Sw で表すとする。まず、第一画像 (0501)の画素 (χ' , y' )に対応する点が第二画像 (0 502)の画素（X, y)であるとすると、 x' = a x, y， = j8 yと表すことができる。ここで、 α と j8は第一画像と第二画像の水平方向、垂直方向の縮小率であり、 a =PwZSw、 β =PhZShである。本実施例では、第一制御手段で得られる第一画像の露出レべ ル（=輝度情報のレベル）と、第二制御手段で得られる第二画像の露出レベルは、 第一制御手段、及び第二制御手段で適宜ゲイン制御等されることにより、同一の露 出レベルであり、合成する際、輝度情報を補正する必要は無い。また、前述の通り、 第一制御手段で得られる第一画像は、縮小処理や画素加算により手ぶれが軽減さ れた画像であり、第二制御手段で得られる第二画像は、手ぶれは極めて少ないが適 正露出を得るためゲインがかけられ非常にノイズの多い画像である。この二つの画像 を合成するが、本例では単純な加算平均により合成するものとする。
[0045] 第一画像の画素（χ' , y' )における画素値を Ρρ (χ' , y' )、第二画像の画素（x, y) における画素値を Ps (x, y)、手ぶれ補正を目的とする合成画像の画素 (X, y)にお ける画素値を P (X, y)、とすると、 P (X, y) = (Ρρ (χ' , y，） +Ps (x, y) ) Z2で表され る。これにより、第一輝度情報である画素値 Pp (x'， y' )と第二輝度情報である画素 値 Ps (x, y)によって、第二輝度情報を画素値 P (x, y)で補正することができる。
[0046] (手ぶれが極めて少ない照度条件下における制御の具体例）次に、手ぶれが極め て少ない照度条件下における制御の具体例を説明する。なお、上述の手ぶれが発 生しうる照度条件下における制御の具体例で説明した内容と同一の部分については 、説明を割愛し、異なる部分のみを説明する。
[0047] まず、制御部では、周辺の明るさ等により適正露出の露光時間として算出した露光 時間等の情報が、「手ぶれが発生しうる露光時間」か「手ぶれが発生しない露光時間
」かを判断する。具体的な例としては、例えば、図 7における一時記憶メモリ（0705) や記憶装置 (0706)などの所定の記憶領域に撮像部で得られた露光時間などの値 が格納されており、 CPU (0702)は、この所定の記憶領域に設定値を読み込む。ま た、一時記憶メモリ（0703)や記憶装置 (0704)には、「手ぶれが発生しうる露光時 間」や「手ぶれが発生しない露光時間」の情報を持ち合わせており、 CPU (0702)は 、読み込んだ設定値と照らし合わせることで、撮像部で得られた露光時間が「手ぶれ が発生しうる露光時間」か「手ぶれが発生しな!、露光時間」かを判断する処理が実現 されることになる。このような制御部での判断の結果、露光時間が「手ぶれが発生しな い露光時間」以下、すなわち、例えば前述の例で約 1Z60秒 (約 16ミリ秒)以下であ つたとする。
[0048] この場合、第一制御手段は、撮像する画像の数を一とし、第一画像を適正露出の 画像となるように制御することとなる。サイズ縮小制御は行わず、十分光量もあること 力 ゲイン制御も行なう必要はないと思われる。すなわち、第一制御手段は、露出が 適正で、ノイズが少なぐ且つ手ぶれが極めて少ない画像を得るように撮像条件を制 御する役目を果たす。
[0049] また、第一制御手段では、撮像条件として、例えば、露光時間は「手ぶれが極めて 少な 、露光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが極めて少な 、露 光時間が実現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「0」で、 撮像部で行なわれる加算平均や画素加算によるサイズ縮小の有無は「サイズ縮小制 御なし」で、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件は「合成 用ではな!/ヽ」で、サイズ条件は「撮影により得ることを目的とする画像のサイズ」であり 、これらの撮像条件が例えば撮像条件 1として保持される。
[0050] また、画像情報保持部は、この場合、制御部 (0102)の第一制御手段によって制 御されて撮像された一の画像の画像情報を保持することとなる。
[0051] さらに、合成部では、照度条件により合成は行わないことが判断できるため、画像 情報 1をそのまま目的の画像として出力する。
[0052] (実施形態 1：処理の流れ）図 6は、本実施形態に係る撮像装置における処理の流 れを示すフロー図を例示する。撮像装置は、例えばユーザによりシャッターが切られ る等して被写体を撮像する度に、図 6のような処理を行う。
[0053] 最初に、撮像条件を制御する。この処理は、制御部によって実行される（制御ステツ プ S0601)。次に、前記制御ステップ (S0601)にて制御された撮像条件から、目 的の画像を得るために必要な露光時間が手ぶれが極めて少ない露光時間力否かを 判断する。この処理は、制御部によって実行される (判断ステップ S0603)。
[0054] 前記判断ステップ（S0603)に判断された結果にぉ 、て、手ぶれが極めて少な ヽ露 光時間では無い場合（図 6における NOの矢印の方向に遷移）、第一画像を、手ぶれ が軽減される露光時間で、且つ適正露出の画像となるようにゲインをかけて制御し、 第二画像より小さい画像を生成するように制御する。この処理は、第一制御手段によ つて実行される（第一制御ステップ S0604)。次に、前記第一制御ステップ (S0604 )にて制御された撮像条件にて撮像を行う。この処理は、撮像部によって実行される（ 第一画像撮像ステップ S0605)。次に、前記第一画像撮像ステップ (S0605)にて 撮像された第一画像の画像情報を保持する。この処理は、画像情報保持部によって 実行される (第一画像情報保持ステップ S0606)。次に、第二画像を、手ぶれが発 生しな 、露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように制 御し、目的の画像と同じ撮像サイズで撮像するように制御する。この処理は、第二制 御手段によって実行される（第二制御ステップ S0607)。次に、前記第二制御ステ ップ (S0607)にて制御された撮像条件にて撮像を行う。この処理は、撮像部によつ て実行される（第二画像撮像ステップ S0608)。次に、前記第二画像撮像ステップ（ S0608)にて撮像された第二画像の画像情報を保持する。この処理は、画像情報保 持部によって実行される (第二画像情報保持ステップ S0609)。次に、第一画像と 第二画像を合成し、目的の画像を生成する。この処理は、合成部によって実行される (合成ステップ S0610)。
[0055] 前記判断ステップ（S0603)に判断された結果にぉ 、て、手ぶれが極めて少な ヽ露 光時間である場合（図 6における YESの矢印の方向に遷移）、第一画像を、手ぶれ が極めて少ない露光時間で、且つ適正露出の画像となるように制御し、目的の画像 と同じ撮像サイズで撮像するように制御する。この処理は、第一制御手段によって実 行される（第一制御'ステップ S0611)。次に、前記第一制御'ステップ (S0611)に て制御された撮像条件にて撮像を行う。この処理は、撮像部によって実行される（第 一画像'撮像ステップ S0612)。次に、前記第一画像，撮像ステップ (S0612)にて 撮像された第一画像の画像情報を保持する。この処理は、画像情報保持部によって 実行される (第一画像'情報保持ステップ S0613)。次に、第一画像をそのまま出力 し、目的の画像を生成する。この処理は、合成部によって実行される（出力ステップ S0614)。
[0056] (実施形態 1：効果)本実施形態に係る撮像装置にお！ヽては、通常撮影で手ぶれが 極めて少ない露光時間では撮影できる場合は、手ぶれが極めて少なぐ且つゲイン 増幅のな!ゾィズを抑えた画像を得ることができ、通常撮影で手ぶれが極めて少な ヽ 露光時間では撮影できな ヽ場合は、異なる撮像条件にて撮像された複数の画像を 利用して手ぶれの軽減された画像を得ることができるため、どのような照度条件でもノ ィズを抑えた画像を得ることができる。特に、手ぶれが軽減され、ノイズも少ない画像 である第一画像と、ノイズは多 、が手ぶれは極めて少な ヽ第二画像とを合成すること により、ノイズが抑えられ、且つ手ぶれが軽減された画像を得ることができる。また、合 成の際、第一画像も第二画像も適正露出であることから合成処理が簡素化され、目 的の画像を得るまでに処理時間が力かりにくい。さらに、適正露出を得るために撮像 部のガンマ補正手段でガンマ補正がかかる前の AGCでゲイン増幅されるので、第一 画像と第二画像の画像情報の線形特性が維持され、自然な画像合成処理が可能と なる。
(実施形態 2)
[0057] (実施形態 2：概要)本実施形態は、異なる撮像条件にて撮像された複数の画像を 利用して手ぶれのない画像を合成する際、手ぶれが発生するある一定の照度環境 付近において、少しの照度環境変化で大きく画質が変わることなぐノイズを抑えた 手ぶれ補正画像を得ることが可能な撮像装置に関する。
[0058] (実施形態 2 :構成)本実施形態に係る撮像装置の機能ブロックを図 8に例示する。
本実施形態に係る撮像装置の構成は、実施形態 1にて説明の図 1、図 2に係る撮像 装置の構成に「第一合成比率可変合成手段」（0808)を加えた構成となる。図 8にお いては、図 2にて説明の撮像装置の構成に前記第一合成比率可変合成手段 (0808 )を加えた構成を例示している。撮像装置 (0800)は、「撮像部」（0801)と、「制御部 」（0802)と、「画像情報保持部」（0803)と、「合成部」（0804)と、を有する。また、前 記制御部 (0802)は、「第一制御手段」（0806)と、「第二制御手段」（0807)と、を有 する。また、前記合成部 (0804)は、「第一合成比率可変合成手段」（0808)を有し ている。実施形態 1で使用した図 1、図 2にて説明した構成要件と同じ構成要件に関 しては、説明を割愛する。
[0059] 「第一合成比率可変合成手段」 (0808)は、合成比率を複数の画像の撮像条件の いずれか一又は二以上に合わせて可変とする機能を有する。具体的には、例えば、 撮像条件を乗算係数に変換して (0809)得られた各乗算係数を入力し、乗算器 (08 10、 0811)にて前記各乗算係数にて画像情報を乗算した後、加算器 (0812)にて 乗算された各画像情報を加算することで、画像を合成する。なお、乗算係数を乗算 する際は、画素単位にて乗算する乗算係数を決定し乗算を行なうようになっていても よい。
[0060] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においては、手 ぶれが極めて少ない照度条件下における制御は、実施形態 1と同様であり、図 8を用 いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実施形態 1 で使用した図 1、図 2と同じ構成要件に関し、同様の制御がなされる構成要件につい ては説明を割愛する。
[0061] 合成部では、例えば、撮像条件を乗算係数に変換する際 (0809)、第一画像に関 する撮像条件 1や第二画像に関する撮像条件 2の露光条件やゲイン条件に応じて、 第一画像に関する画像情報 1に乗算する乗算係数 1 (図示しない)と、第二画像に関 する画像情報 2に乗算する乗算係数 2 (図示しない）が変化し、加算器 (0812)にて、 乗算された各画像情報を加算することで合成する。
[0062] 図 3、及び図 9も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う 場合の概略を説明する。図 9は、制御部 (0802)内の「第二制御手段」（0807)が、 照度条件に対し、撮像する複数画像の他の一の画像である第二画像を、手ぶれが 発生しな!、露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように 制御された状態を指し示している。また、取得した撮像条件を元に、乗算係数に変換 する制御を指し示している。
[0063] まず、照度条件として、高照度環境下（図 3 : 3— 1)より若干暗くなつた中照度環境 下（図 3 : 3— 2)においては、第一制御手段 (0806)における露光時間が約 1Z60秒 以上に制御されており、実施形態 1で説明した「手ぶれが発生しうる照度条件下にお ける制御」に相当する。第一制御手段 (0806)の制御は、以降、実施形態 1で説明し た制御と同じであり、以下、第二制御手段 (0807)の制御について説明する。
[0064] 第二制御手段では、例えば、「手ぶれが発生しない露光時間」、つまり露光時間が 約 1Z60秒を維持することで、ぶれを抑えた露光時間の制御を行う（図 9 : 9 2)。さ らに第二制御手段 (0807)は、露光時間が約 1Z60秒を維持されることによる露出 不足に対し、ゲインをかけて適正露出にする。さらに低照度環境方向に撮像環境が 推移した場合、さらにゲインをかけて適正露出にする力 ある一定のゲイン値におい て、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値に到達す る（図 9 :ゲイン値 A)。
[0065] 撮像条件を乗算係数に変換する際 (0809)は、例えば、図 9の上部に指し示すよう に、露光時間が約 1Z60秒以上に制御されてから、ゲイン増幅により増加するノイズ による画質劣化が認められるゲイン値の制御状態までにお 、て（図 9： 9 2で示され る中照度における露出制御状態において）、乗算器 1 (0810)に係る乗算係数 1 (第 一画像用）を 0に、乗算器 2 (0811)に係る乗算係数 2 (第二画像用）を 1に制御する。
[0066] 合成部の第一合成比率可変合成手段 (0808)では、撮像条件を乗算係数に変換 して（0809)得られる乗算係数をもとに乗算器 1 (0810)、及び乗算器 2 (0811)で画 像情報に対する乗算が行なわれ、加算器 (0812)にて画像が合成される。
[0067] これにより、合成部（0808)では、画像情報 2のみの情報を用いた合成処理が行わ れることとなり、画像情報 2の特性である「手ぶれが極めて少なぐノイズによる画質劣 化が認められな 、画像」を主とした画像を得る制御が行われる。
[0068] 次に上記照度条件よりさらに暗くなつた低照度環境下においては、第二制御手段（ 0807)は、継続して「手ぶれが発生しない露光時間」、つまり露光時間が約 1Z60秒 を維持し、ぶれを抑えた露光時間の制御を行う（9— 3)。この時第二制御手段 (0807 )は、露光時間が約 1Z60秒を維持されることによる露出不足に対し、ゲイン増幅に より増加するノイズによる画質劣化が認められるゲイン値の制御状態（9 4)よりさら にゲインをかけて適正露出にする。
[0069] 撮像条件を乗算係数に変換する際 (0809)は、図 9の上部に指し示すように、ゲイ ン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態力 露 出制御が最大になる制御状態までにおいて（9 3で示される低照度における露出 制御状態にぉ 、て）、乗算器 1 (0810)に係る乗算係数 1 (第一画像用）を 0から 0. 5 へ、乗算器 2 (0811)〖こ係る乗算係数 2 (第二画像用）を 1から 0. 5へ徐々に変化す るように係数を制御する。 [0070] 合成部の第一合成比率可変合成手段では、撮像条件を乗算係数に変換して (08 09)得られる乗算係数にもとに乗算器 1 (0810)、及び乗算器 2 (0811)で画像情報 に対する乗算が行なわれ、加算器 (0812)にて画像が合成される。
[0071] これにより、合成部では、照度が暗くなればなるほど、画像情報 2の情報より画像情 報 1の情報を主に使用するような合成が行なわれ、画像情報 2の特性である「手ぶれ は極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加 し画質劣化が大きくなる画像」を使用する比率を弱め、画像情報 1の特性である「手 ぶれが抑えられ、サイズは小さ!/、がノイズは少な 、画像」を主とした画像を得る制御 が行われる。
[0072] なお、本実施例では、第一合成比率可変合成手段 (0808)の乗算器 1 (0810)、 及び乗算器 2 (0811)は、ゲイン増幅により増加するノイズによる画質劣化が認めら れるゲイン値の制御状態力 露出制御が最大になる制御状態までにおいて（図 9： 9 —3で示される低照度における露出制御状態において）、乗算器 1 (0810)における 乗算係数 1を 0から 0. 5へ、乗算器 2 (0811)における乗算係数 2を 1から 0. 5へ徐々 に変化するように制御させるように説明をしたが、画像情報 2のノイズ成分が多 、とき は、乗算器 1 (0810)に係る係数 1を 0から 1へ、乗算器 2 (0811)における乗算係数 2 を 1から 0へ徐々に変化するように制御させても良い。取り得る乗算係数の変化の度 合いは、画像情報 1及び画像情報 2の状態に応じて、適宜変更されるべきものであり 、本実施例の値以外にて制御されても良い。
[0073] また、本実施例では、乗算器 1 (0810)に係る乗算係数 1と乗算器 2 (0811)に係る 乗算係数 2に適用される乗算係数を別々に説明したが、乗算器 2 (0810)に係る乗 算係数 2は、 1から乗算器 1 (0810)に係る乗算係数 1を引いた値で定義しても良い。
[0074] (実施形態 2：処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと同様である。ただし、合 成ステップ（S0610)における第一画像と第二画像の合成は、前述の通り、撮像条件 に合わせて複数画像間の合成比率を可変とすることを特徴とする。
[0075] (実施形態 2：効果)手ぶれが発生しうる照度環境下にお!/、て、複数の画像の画像 情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正する 際、複数画像間の合成比率を前記撮像条件に合わせて可変とすることで、ある一定 の照度環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時は高周波 成分が急に少なくなつた低画質な画像となり、少しの照度環境変化で大きく画質が 変わり、不自然になってしまうことがない画像を得ることが出来る。
(実施形態 3)
[0076] (実施形態 3 :概要)本実施形態は、ある程度暗い低照度環境下において、第二画 像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で 合成を行う場合、被写体に十分光が当っていない暗部においては、ノイズが少ない 画像を使用する重みをさらに大きくした合成が可能であるため、被写体に十分光が 当って 、な 、暗部にぉ 、て、ノイズを抑えた良好な画質の画像を得ることが可能な撮 像装置に関する。
[0077] (実施形態 3 :構成)本実施形態に係る撮像装置の機能ブロックを図 10に例示する 。本実施形態に係る撮像装置の構成は、実施形態 1又は実施形態 2にて説明の撮 像装置の構成に「輝度情報取得手段」（1008)と、「第二合成比率可変合成手段」 (1 009)を加えた構成となる。図 10においては、実施形態 1の図 2にて説明の撮像装置 の構成に前記輝度情報取得手段（1008)と前記第二合成比率可変合成手段（100 9)を加えた構成を例示している。撮像装置（1000)は、「撮像部」（1001)と、「制御 部」（1002)と、「画像情報保持部」（1003)と、「合成部」（1004)と、を有する。また、 前記制御部（1002)は、「第一制御手段」（1006)と、「第二制御手段」（1007)と、を 有する。また、前記合成部（1004)は、「輝度情報取得手段」（1008)と、「第二合成 比率可変合成手段」（1009)を有している。実施形態 1又は 2にて説明した構成要件 と同じ構成要件に関しては、説明を割愛する。
[0078] 「輝度情報取得手段」 (1008)は、前記画像情報保持部（1003)で保持された一或 いは複数の画像から輝度情報を取得する機能を有する。例えば、第一画像の第一 輝度情報を取得する。「輝度情報」は、画像を構成するすべての画素における輝度 情報であってもよいし、一部の画素のみの輝度情報であってもよい。また、輝度情報 は数式 2のように RGBの各値を用いて表されるので、輝度情報として、 Yの値ではな く RGBの値の組み合わせを輝度情報としてもょ 、。 [0079] また、撮像装置においては、輝度情報取得手段（1008)で取得された輝度情報が 高輝度であるか、中輝度であるか、低輝度であるか、等を判断することが可能である ことを想定している。
[0080] 「第二合成比率可変合成手段」 (1009)は、合成比率を前記輝度情報に合わせて 可変とする機能を有する。具体的には、例えば、輝度情報を乗算係数に変換して（1 010)得られた各乗算係数を入力し、乗算器（1011、 1012)にて前記各乗算係数に 画像情報が乗算された後、加算器 (1013)にて加算され、合成する。
[0081] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においては、手 ぶれが極めて少ない照度条件下における制御は、実施形態 1と同様であり、図 10を 用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認められる ゲイン制御の具体例のみを説明する。実施形態 1で使用した図 1又は図 2と同じ構成 要件に関し、同様の制御がなされる構成要件については説明を割愛する。
[0082] 合成部は、例えば、合成と同時に第一画像の第一輝度情報を取得し、前記第一輝 度情報から乗算係数に変換した（1010)後、乗算係数を第二合成比率可変合成手 段（1009)に送り、第二合成比率可変合成手段（1009)は、前記各乗算係数に画像 情報を乗算した後、加算器（1013)にて加算する。
[0083] 図 11も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概 略を説明する。図 11は、第一画像又は第二画像から取得した各画素における輝度 情報を元に、乗算係数に変換する制御を指し示している。
[0084] まず輝度情報が高輝度から中輝度である画素の合成においては、例えば、図 11に 指し示すように、乗算器 1 (1011)に係る乗算係数 3 (第一画像用：図 10では図示し ない）を 0に、乗算器 2 (1012)に係る乗算係数 4 (第二画像用：図 10では図示しない )を 1に制御する。合成部（1004)の第二合成比率可変合成手段（1009)では、輝度 情報力も得られる乗算係数をもとに乗算器 1 (1011)、及び乗算器 2 (1012)で画像 情報に対する乗算が行なわれ、加算器（1013)にて画像が合成される。これにより、 合成部（1004)は、画像情報 2のみの情報を用いた合成処理 (実際には画像情報 2 のみを単独で用いた画像の生成処理）が行われることとなり、画像情報 2の特性であ る「ノイズによる画質劣化が認められるゲイン制御状態だが、高輝度部は信号レベル が高くノイズが見えにく 、画素」を主とした合成制御が行われる。（11— 1)
[0085] 次に輝度情報が中輝度力も低輝度である画素の合成においては、例えば、図 11 に指し示すように、乗算器 1 (1011)に係る乗算係数 3 (第一画像用）を 0から 0. 5へ 、乗算器 2 (1012)〖こ係る乗算係数 4 (第二画像用）を 1から 0. 5へ徐々に変化するよ うに制御する。合成部（1004)の第二合成比率可変合成手段（1009)では、輝度情 報力も得られる乗算係数をもとに乗算器 1 (1011)、及び乗算器 2 (1012)で画像情 報に対する乗算が行なわれ、加算器（1013)にて画像が合成される。これにより、合 成部（1004)は、輝度情報に応じた合成処理が行われ、輝度情報が低輝度になれ ばなるほど、画像情報 2の特性である「ノイズによる画質劣化が認められるゲイン制御 状態で、低輝度部は信号レベルが低くよりノイズが見えやすい画素」をあまり使用せ ず、画像情報 1の特性である「手ぶれが抑えられ、ノイズが少ないがサイズが小さいた め高周波成分が少な 、画素」を主とした合成制御が行われる。（11— 2)
[0086] なお、本実施例では、輝度情報から乗算係数を得る際（1010)、輝度情報が中輝 度力も低輝度である画素の合成において、乗算器 1 (1011)に係る乗算係数 3を 0か ら 0. 5へ、乗算器 2 (1012)に係る乗算係数 4を 1から 0. 5へ徐々に変化するように 制御させる説明をしたが、画像情報 2のノイズ成分が多いときは、乗算器 1 (1011)に 係る乗算係数 3を 0から 1へ徐々に変化するように制御し、乗算器 2 (1012)に係る乗 算係数 4を 1から 0へ徐々に変化するように制御させても良い。取り得る乗算係数の変 化の度合いは、画像情報 1及び画像情報 2等の状態に応じて、適宜変更されるべき ものであり、本実施例の値以外にて制御されても良い。
[0087] また、本実施例では、乗算器 1 (1011)に係る乗算係数 3と乗算器 2 (1012)に係る 乗算係数 4に適用される乗算係数を別々に説明したが、乗算器 2 (1012)に係る乗 算係数 4は、 1から乗算器 1 (1011)に係る乗算係数 3を引いた値で定義しても良い。
[0088] さらに、例えば本実施形態を実施形態 2にて説明した第一合成比率可変合成手段 と併せて適用する場合には、実施形態 2の乗算器 2 (0810)における乗算係数 2に対 し、本実施形態の乗算器 2 (1012)に係る乗算係数 4を掛けた数値の平方根を乗算 器 2 ( 1012)に適用する乗算係数 'とし、乗算器 1 (1011)に適用する乗算係数は、 1 から前記乗算器 2 (1012)に適用する乗算係数 'を引!、た値で定義しても良!、。 [0089] (実施形態 3：処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと同様である。ただし、合 成ステップ（S0610)における第一画像と第二画像の合成は、前述の通り、輝度情報 に合わせて複数画像間の合成比率を可変とすることを特徴とする。
[0090] (実施形態 3：効果)本実施形態に係る撮像装置にお!ヽては、ある程度暗!ヽ低照度 環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイ ン増幅が力かった状態で合成を行う場合、輝度情報から被写体に十分光が当ってい な ヽ暗部と判断された画素にぉ 、ては、前記合成比率をノイズが少な 、第一画像を 使用する重みをさらに大きくすることで、被写体に十分光が当っていない暗部におい て、ノイズを抑えた良好な画質を得ることができる。
(実施形態 4)
[0091] (実施形態 4 :概要)本実施形態は、ある程度暗い低照度環境下において、第二画 像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で 合成を行う場合、撮像部の温度上昇状態に応じて、ノイズが少ない画像を使用する 重みをさらに大きくした合成が可能であるため、撮像部の温度が上がっていても、ノィ ズを抑えた良好な画質の画像を得ることが可能な撮像装置に関する。すなわち、ゲイ ン増幅によりノイズが発生するが、撮像部の温度上昇状態によってはノイズを抑えら れな 、可能性があることを前提として 、る。
[0092] (実施形態 4：構成)本実施形態に係る撮像装置の機能ブロックを図 12に例示する 。本実施形態に係る撮像装置の構成は、実施形態 1から 3のいずれか一にて説明の 撮像装置の構成に「温度取得部」（1213)と「温度情報保持部」（1214)と、「第三合 成比率可変合成手段」（1209)を加えた構成となる。図 12においては、実施形態 1の 図 2にて説明の撮像装置の構成に前記温度取得部（1213)と前記温度情報保持部 (1214)と前記第三合成比率可変合成手段（ 1209)を加えた構成を例示して 、る。 撮像装置（1200)は、「撮像部」（1201)と、「制御部」（1202)と、「画像情報保持部」 (1203)と、「合成部」（1204)と、「温度取得部」（1213)と「温度情報保持部」（1214 )と、を有する。また、前記制御部（1202)は、「第一制御手段」（1206)と、「第二制 御手段」（1207)と、を有する。また、前記合成部（1204)は、「第三合成比率可変合 成手段」（1209)を有している。実施形態 1から 3のいずれか一にて説明した構成要 件と同じ構成要件に関しては、説明を割愛する。
[0093] 「温度取得部」 (1213)は、撮像部（1201)の温度を取得する機能を有する。撮像 部の温度を取得する方法としては、例えば撮像部に隣接させた温度センサによって 温度を測定する方法等が考えられる。また、温度センサの種類は特定のものに限ら れない。また「温度情報保持部」 (1214)は、温度取得部（1213)で得られた温度情 報を保持する機能を有する。
[0094] 「第三合成比率可変合成手段」 (1209)は、合成比率を前記温度情報に合わせて 可変とする機能を有する。具体的には、例えば、温度情報保持部（1214)から得られ る温度情報に応じて、複数の画像情報ごとに乗算器（1210、 1211)で画像情報が 乗算され、加算器 (1212)にて乗算された各画像情報を加算することで、画像を合成 する。
[0095] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においても、手 ぶれが極めて少ない照度条件下における制御の状態は、実施形態 1と同様であり、 図 12を用いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実 施形態 1で使用した図 1又は図 2と同じ構成要件に関し、同様の制御がなされる構成 要件については説明を割愛する。
[0096] 合成部は、例えば、温度情報保持部（1214)から得られる温度情報に応じて、第一 画像に関する画像情報 1に乗算する乗算係数 5 (図示しない)と、第二画像に関する 画像情報 2に乗算する乗算係数 6 (図示しない)を変化させ、加算器（1212)にて乗 算された各画像情報を加算することで合成する。
[0097] 図 13も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概 略を説明する。図 13は、温度取得部（1213)で取得された温度情報を保持する温度 情報保持部（1214)力 得られる温度情報を元に、乗算係数に変換する制御を指し 示している。
[0098] まず温度情報にて示される撮像部（1201)の温度が低温度 (摂氏 25度程度)から 中温度 (摂氏 25度から 35度程度）の場合、例えば、図 13に指し示すように、乗算器 1 (1210)〖こ係る乗算係数 5 (第一画像用）を 0に、乗算器 2 (1211)に係る乗算係数 6 (第二画像用）を 1に制御する。合成部（1204)の第三合成比率可変合成手段（12 09)では、温度情報力も得られる乗算係数をもとに乗算器 1 (1210)、及び乗算器 2 ( 1211)で画像情報に対する乗算が行なわれ、加算器（1212)にて画像が合成される 。これにより、合成部（1204)は、画像情報 2のみの情報を用いた合成処理が行われ 、温度情報が低温度から中温度における画像情報 2の特性である「手ぶれは極めて 少なぐゲイン増幅により量子雑音は増力 tlしているが熱雑音ノイズは小さぐトータル のノイズは抑えられている画像」を主とした合成制御が行われる。 (13 - 1)
[0099] 一般に光系のノイズ nは、 n=量子雑音 (P, M) +熱雑音 +システム雑音となり、量 子雑音は、入力光電力 Pとセンサーの倍増率 Mにより増大するが、熱雑音はこれに 依存しない。従って、高照度環境下で、倍増率の高いセンサーを使用すると熱雑音 は無視できる。
[0100] しかし、低照度環境下では、ゲイン増幅とともに熱雑音も増幅される為、ノイズは大 きくなる。また撮像部の温度が高い場合、熱雑音は大きくなつており、ゲイン増幅とと もに熱雑音はさらに増幅される特性がある。
[0101] 次に温度情報にて示される撮像部（1201)の温度が中温度 (摂氏 25度から 35度 程度)から高温度 (約摂氏 35度以上)の場合、例えば、図 13に指し示すように、乗算 器 1 (1210)に係る乗算係数 5 (第一画像用）を 0から 0. 5へ、乗算器 2 (1211)に係 る乗算係数 6 (第二画像用）を 1から 0. 5へ徐々に変化するように係数を制御する。合 成部（1204)の第三合成比率可変合成手段（1209)では、温度情報から得られる係 数をもとに乗算器 1 (1210)、及び乗算器 2 (1211)で画像情報に対する乗算が行な われ、加算器（1212)にて画像が合成される。これにより、合成部（1204)は、温度 情報に応じた合成処理が行われ、温度情報が高温になればなるほど、高温時の画 像情報 2の特性である「手ぶれは極めて少なぐ量子雑音や高温により増加している 熱雑音をゲイン増幅されることにより、トータルのノイズが大きくなつている画像」をあ まり使用せず、画像情報 1の特性である「手ぶれが抑えられ、加算平均処理や画素 加算によりノイズは少な 、が、サイズは小さ!/、ため高周波成分が少な 、画素」を主と した合成制御が行われる。（13— 2)
[0102] なお、本実施例では、温度情報からから乗算係数を得る際（1208)、温度情報が 中温度から高温度にある画像の合成において、乗算器 1 (1210)に係る乗算係数 5 を 0から 0. 5へ、乗算器 2 (1211)に係る乗算係数 6を 1から 0. 5へ徐々に変化するよ うに制御させる説明をしたが、高温時の画像情報 2のノイズ成分が多いときは、乗算 器 1 (1210)に係る乗算係数 5を 0から 1へ徐々に変化するように制御し、乗算器 2 (1 211)における乗算係数 6を 1から 0へ徐々に変化するように制御させても良い。取り 得る乗算係数の変化の度合いは、画像情報 1及び画像情報 2の状態に応じて、適宜 変更されるべきものであり、本実施例の値以外にて制御されても良い。
[0103] また、本実施例では、乗算器 1 (1210)における乗算係数 5と乗算器 2 (1211)にお ける乗算係数 6に適用される乗算係数を別々に説明したが、乗算器 2 (1211)におけ る乗算係数 6は、 1から乗算器 1 (1210)における乗算係数 5を引いた値で定義しても 良い。
[0104] さらに、例えば本実施形態を実施形態 2や実施形態 3にて説明した第一合成比率 可変合成手段や第二合成比率可変合成手段と併せて適用する場合には、他の実施 形態の乗算器 2における乗算係数の算出がされた各乗算係数に対し、本実施形態 の乗算器 2 (1212)に係る乗算係数 6を掛けた数値の平方根を乗算器 2 (1212)に適 用する乗算係数'とし、乗算器 1 (1211)に適用する乗算係数は、 1から前記乗算係 数'を引 、た値で定義しても良!、。
[0105] (実施形態 4：処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと殆ど同じであり、異なる 点のみ図 14を用いて説明する。
[0106] 制御ステップ（S1401)までは、実施形態 1における説明の図 6に係る撮像装置の 処理の流れと同じである。次に温度取得部は、撮像部の温度情報を取得する。この 処理は、温度取得部によって実行される（温度情報取得ステップ S1415)。次に前 記温度情報取得ステップ（S1415)にて取得された温度情報を保持する。この処理 は、温度情報保持部によって実行される (温度情報保持ステップ S1416)。
[0107] 以降、第二画像撮像ステップ (S 1408)にて撮像された第二画像の画像情報を保 持する、第二画像情報保持ステップ (S 1409)までは、実施形態 1における説明の図 6に係る撮像装置の処理の流れと同じである。次に行なわれる合成ステップ (S 1410 )における第一画像と第二画像の合成においては、前述の通り、温度情報に合わせ て複数画像間の合成比率を可変とすることを特徴とする。
[0108] (実施形態 4：効果)本実施形態に係る撮像装置にお!ヽては、ある程度暗!ヽ低照度 環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイ ン増幅がカゝかった状態で合成を行う場合、撮像部の温度上昇状態に応じて、前記合 成比率をノイズが少な 、第一画像を使用する重みをさらに大きくすることで、撮像部 の温度が上がって 、ても、ノイズを抑えた良好な画質を得ることができる。
(実施形態 5)
[0109] (実施形態 5 :概要)本実施形態は、ある程度暗い低照度環境下において、第二画 像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で 合成を行う場合、ノイズが少ない画像カゝらエッジ情報を取得し、エッジではない領域 においては、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能であ るため、エッジではない領域において、ノイズを抑えた良好な画質の画像を得ること が可能な撮像装置に関する。
[0110] (実施形態 5：構成)本実施形態に係る撮像装置の機能ブロックを図 15に例示する 。本実施形態に係る撮像装置の構成は、実施形態 1から 4のいずれか一にて説明の 撮像装置の構成に「エッジ情報取得手段」（1508)と、「第四合成比率可変合成手段 」（1510)を加えた構成となる。図 15においては、実施形態 1の図 2にて説明の撮像 装置の構成に前記エッジ情報取得手段（1508)と前記第四合成比率可変合成手段 (1510)を加えた構成を例示している。撮像装置（1500)は、「撮像部」（1501)と、「 制御部」（1502)と、「画像情報保持部」（1503)と、「合成部」（1504)と、と、を有す る。また、前記制御部（1502)は、「第一制御手段」（1506)と、「第二制御手段」 (15 07)と、を有する。また、前記合成部（1504)は、「エッジ情報取得手段」（1508)と、「 第四合成比率可変合成手段」（1510)を有している。実施形態 1から 4のいずれか一 にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。
[0111] 「エッジ情報取得手段」（1508)は、前記画像情報保持部（1503)で保持された一 或いは複数の画像力 エッジ情報を取得する機能を有する。例えば、第一画像の画 像情報 1からエッジ情報を取得する。エッジ情報を取得する方法としては、代表的な 例を挙げると、図 16に示すように、中心の数値を注目画素の重み（1601)とし、その 周辺の数値は周辺画素の重みとする、 3 X 3のマトリックスで構成される 2次微分フィ ルター（ラプラシアンフィルター）を適用することで実現可能である。実際のエッジ情 報としては、フィルター後の絶対値量が相当する。
[0112] 「第四合成比率可変合成手段」 (1510)は、合成比率を前記エッジ情報に合わせ て可変とする機能を有する。具体的には、例えば、前記エッジ情報から乗算係数に 変換して（1509)得られた各乗算係数を入力し、前記各乗算係数に画像情報が乗 算器 1 (1511)、乗算器 2 (1512)にて乗算された後、加算器（1513)にて加算され、 合成される。
[0113] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においては、手 ぶれが極めて少ない照度条件下における制御の状態は、実施形態 1と同様であり、 図 15を用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認 められるゲイン制御の具体例のみを説明する。実施形態 1で使用した図 1又は図 2と 同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。
[0114] 合成部は、例えば、合成と同時に第一画像のエッジ情報を取得し、前記エッジ情報 力 乗算係数に変換した後、乗算係数を第四合成比率可変合成手段（1510)に送り 、第四合成比率可変合成手段（1510)は、前記各乗算係数に画像情報を乗算した 後、加算器（1513)にて加算する。
[0115] 図 17も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概 略を説明する。図 17は、エッジ情報取得手段（1508)から得られたエッジ情報をもと に、乗算係数に変換する制御を指し示している。
[0116] まず、第一画像のエッジ情報が高周波から中周波である画素の合成においては、 例えば、図 17 (17— 1)に指し示すように、乗算器 1 (1511)に係る乗算係数 7 (第一 画像用：図 15では図示しない)を 0に、乗算器 2 (1512)に係る乗算係数 8 (第二画像 用：図 15では図示しない）を 1に制御する。合成部（1504)の第四合成比率可変合 成手段（ 1510)では、エッジ情報力も得られる乗算係数にもとに乗算器 1 (1511)、 及び乗算器 2 (1512)で画像情報に対する乗算が行なわれ、加算器 (1513)にて画 像が合成される。これにより、合成部（1504)は、画像情報 1においてエッジ情報が 高周波から中周波である画素の部分に相当する画像情報 2の情報はそのまま使用さ れるようになり、エッジ領域は画像情報 2の特性である「手ぶれは極めて少ないが、ノ ィズによる画質劣化が認められ、ゲイン増幅によりノイズが増カロし画質劣化が大きくな る画像」を主とした合成制御が行われる。
[0117] 次に第一画像の第一エッジ情報が中周波力 低周波である画素の合成において は、例えば、図 17 (17— 2)に指し示すように、乗算器 1 (1511)に係る乗算係数 7 ( 第一画像用）を 0から 0. 5へ乗算器 2 (1512)に係る乗算係数 8 (第二画像用）を 1 力 0. 5へ徐々に変化するように乗算係数を制御する。合成部（1504)内の第四合 成比率可変合成手段（1509)では、エッジ情報力も得られる乗算係数にもとに乗算 器 1 ( 1511 )、及び乗算器 2 (1512)で画像情報に対する乗算が行なわれ、加算器（ 1513)にて画像が合成される。これにより、合成部（1504)は、画像情報 1における エッジ情報が中周波力も低周波になるほど、画像情報 2の情報の使用を徐々に減じ て、画像情報 1の情報をより使用するようになり、エッジではない領域は画像情報 1の 特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、 サイズは小さ!/、ため高周波成分が少な 、画像」を主とした合成制御が行われる。
[0118] なお、本実施例では、エッジ情報力も乗算係数を得る際（1509)は、エッジ情報が 中周波から低周波である画素の合成において、乗算器 1 (1511)に係る乗算係数 7 を 0から 0. 5へ、乗算器 2 (1512)に係る乗算係数 8を 1から 0. 5に徐々に変化するよ うに制御させる説明をしたが、画像情報 2のノイズ成分が多いときは、乗算器 1 (1511 )に係る乗算係数 7を 0から 1へ徐々に変化するように制御し、乗算器 2 (1512)に係 る乗算係数 8を 1から 0へ徐々に変化するように制御させても良い。取り得る乗算係数 の変化の度合いは、画像情報 1及び画像情報 2の状態に応じて、適宜変更されるべ きものであり、本実施例の値以外にて制御されても良い。
[0119] また、本実施例では、乗算器 1 (1511)に係る乗算係数 7と乗算器 2 (1512)に係る 乗算係数 8に適用される乗算係数を別々に説明したが、乗算器 2 (1512)に係る乗 算係数 7は、 1から乗算器 1 (1511)に係る乗算係数 1を引いた値で定義しても良い。
[0120] さらに、例えば本実施形態を実施形態 2にて説明した第一合成比率可変合成手段 などと併せて適用する場合、他の実施形態の乗算器 2における乗算係数の算出がさ れた各乗算係数に対し、本実施形態の乗算器 2 (1512)に係る乗算係数 8を掛けた 数値の平方根を乗算器 2 (1512)に適用する乗算係数'とし、乗算器 1 (1511)に適 用する乗算係数は、 1から前記乗算係数'を引いた値で定義しても良い。
[0121] (実施形態 5 :処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと同様である。ただし、合 成ステップ（S0610)における第一画像と第二画像の合成は、前述の通り、エッジ情 報に合わせて複数画像間の合成比率を可変とすることを特徴とする。
[0122] (実施形態 5：効果)本実施形態に係る撮像装置にお!ヽては、ある程度暗!、低照度 環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイ ン増幅がカゝかった状態で合成を行う場合、エッジ情報が高周波である場合は、画像 情報 2の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、 ゲイン増幅によりノイズが増カロし画質劣化が大きくなる画像」を主とした合成制御が行 われ、エッジ情報が低周波である場合は、画像情報 1の特性である「手ぶれが抑えら れ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波 成分が少な!/、画像」を主とした合成制御が行われ、非エッジ領域にぉ ヽてノイズを抑 えた良好な画質を得ることができる。
(実施形態 6)
[0123] (実施形態 6 :概要)本実施形態は、ある程度暗い低照度環境下において、第二画 像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で 合成を行う場合、複数の画像カゝら動き領域情報を取得し、動き領域においては、ノィ ズが少ない画像を使用した合成が可能であるため、動き領域において、ノイズを抑え た良好な画質の画像を得ることが可能な撮像装置に関する。
[0124] (実施形態 6 :構成)本実施形態に係る撮像装置の機能ブロックを図 18に例示する 。本実施形態に係る撮像装置の構成は、実施形態 1にて説明の図 2に係る撮像装置 の構成に「動き領域情報取得手段」（1808)と、「第五合成比率可変合成手段」 (181 0)を加えた構成となる。図 18においては、図 2にて説明の撮像装置の構成に前記動 き領域情報取得手段（1808)と前記第五合成比率可変合成手段（1810)を加えた 構成を例示している。撮像装置（1800)は、「撮像部」（1801)と、「制御部」（1802) と、「画像情報保持部」（1803)と、「合成部」（1804)と、を有する。また、前記制御部 ( 1802)は、「第一制御手段」（1806)と、「第二制御手段」（1807)と、を有する。また 、前記合成部（1804)は、「動き領域情報取得手段」（1808)と、「第五合成比率可変 合成手段」（1810)を有している。実施形態 1で使用した図 2と同じ構成要件に関して は、説明を割愛する。
[0125] 「動き領域情報取得手段」 ( 1808)は、前記画像情報保持部（1803)で保持された 複数の画像から動き領域情報を取得する機能を有する。動き領域情報取得手段は、 具体的には、例えば、第一画像の画像情報 1と第二画像の画像情報 2から動き領域 情報を取得する。
[0126] 図 19を用いて、第一画像と第二画像を用いて動き領域情報を取得する方法の概 略を説明する。図 19では、第一画像（1901)と第二画像（1902)の大きさが異なる場 合を一例として示す。また、第一画像と第二画像との間で位置ずれがある場合もある 力 具体的な実施例は背景技術で述べられているので、ここでは記述しない。第一 画像（1901)の高さを Ph、幅を Pwで表し、第二画像（1902)の高さを Sh、幅を Sw で表すとする。第二画像を基準とした第一画像の水平方向の縮小率を α、垂直方向 の縮小率を j8とした場合、 a = SwZPw、 β = ShZPhである。
[0127] まず、動き領域情報取得手段は、第二画像（1902)に対し、前記水平方向の縮小 率を α、垂直方向の縮小率を j8とした画像の縮小化を縮小化手段（1903)で行い、 縮小化された第二画像（1903)の生成を行なう。この際第二画像（1902)は、「手ぶ れは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増 カロし画質劣化が大きくなつている画像」の特性がある為、加算平均や画素加算によつ て得られる第一画像（1901)の周波数特性まで LPF (Low Pass Filter)処理を施 し、なるべく第一画像（1901)の周波数特性に近づけた状態で縮小化（間引き処理） を行うことで、縮小化された第二画像（1903)を生成した方が良い。
[0128] 次に、動き領域情報取得手段は、前記縮小化された第二画像（1904)と第一画像
( 1901)の画像情報を減算器 ( 1905)にて差分演算する。次に差分演算された画像 情報を絶対値化手段（1906)にて絶対値化する。絶対値化された画像情報を 2値化 手段（1907)にて 2値ィ匕し、動き領域情報（1908)を得る。「2値化手段」 ( 1907)は、 ある一定の閾値を持っており、絶対値化された画像情報が閾値以上ならば、動き領 域として判定することで 1の情報を生成する（動き領域情報 1908における黒い領域） 。絶対値化された画像情報が閾値以下ならば、動き領域ではないと判定することで 0 の情報を生成する (動き領域情報 1908における白い領域)。なお、前記「動き領域 情報取得手段」 (1808)において生成された前記動き領域情報は、乗算係数に変換 される。
[0129] 「第五合成比率可変合成手段」 (1810)は、前記動き領域情報から動き領域と判断 された第二画像の動き領域においては、前記第一画像を使用し、前記動き領域情報 から動き領域以外と判断された第二画像の非動き領域にぉ 、ては、前記第二画像を 使用するように制御する機能を有する。例えば、得られた各乗算係数を入力し、前記 各乗算係数に画像情報を乗算器 1 (1811)、乗算器 2 (1812)にて乗算した後、加算 器（1813)にて加算し合成する。
[0130] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においては、手 ぶれが極めて少ない照度条件下における制御の状態は、実施形態 1と同様であり、 図 18を用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認 められるゲイン制御の具体例のみを説明する。実施形態 1で使用した図 2と同じ構成 要件に関し、同様の制御がなされる構成要件については説明を割愛する。
[0131] 合成部は、例えば、合成と同時に第一画像の画像情報 1と第二画像の画像情報 2 力 動き領域情報を取得し、前記動き領域情報力 乗算係数に変換した後、乗算係 数は第五合成比率可変合成手段（1810)に送り、第五合成比率可変合成手段（18 10)は、前記各乗算係数に画像情報を乗算した後、加算器 (1813)にて加算する。
[0132] 図 20も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の 概略を説明する。図 20は、動き領域情報取得手段（1808)から得られた動き領域情 報をもとに、乗算係数に変換する制御を指し示している。
[0133] まず、前記動き領域情報が非動き領域と判定された画素の合成においては、例え ば、図 20に指し示すように、乗算器 1 (1811)に係る乗算係数 9 (第一画像用：図 18 では図示しない）を 0に、乗算器 2 (1812)に係る乗算係数 10 (第二画像用：図 18で は図示しな!、；)を 1に制御する。合成部（ 1804)の第五合成比率可変合成手段（181 0)では、動き領域情報力も得られる乗算係数にもとに乗算器 1 (1811)、及び乗算器 2 (1812)で画像情報に対する乗算が行なわれ、加算器（1813)にて画像が合成さ れる。これにより、合成部（1804)は、非動き領域と判定された領域については画像 情報 2のみを使用した合成が行なわれ、画像情報 2の特性である「手ぶれは極めて 少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣 化が大きくなる画像」を主とした合成制御が行われる。
[0134] 次に前記動き領域情報が動き領域と判定された画素の合成においては、例えば、 図 20に指し示すように、乗算器 1 (1811)に係る乗算係数 9 (第一画像用）を 1に、乗 算器 2 (1812)に係る乗算係数 10 (第二画像用）を 0に制御する。合成部（1804)の 第五合成比率可変合成手段（1810)では、動き領域情報から得られる乗算係数にも とに乗算器 1 (1811)、及び乗算器 2 (1812)で画像情報に対する乗算が行なわれ、 加算器（1813)にて画像が合成される。これにより、合成部（1804)は、動き領域と判 定された領域につ！、ては画像情報 1のみを使用した合成が行なわれ、画像情報 1の 特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、 サイズは小さ!/、ため高周波成分が少な 、画像」を主とした合成制御が行われる。
[0135] 例えば、非動き領域は撮像条件に応じて合成比率を可変としたり、エッジ情報を元 に合成される画像を使用することで、動き領域のノイズ成分がさらに改善された画像 を得ることができる。
[0136] (実施形態 6：処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと同様である。ただし、合 成ステップ（S0610)における第一画像と第二画像の合成は、前述の通り、動き情報 に合わせて複数画像間の合成比率を可変とすることを特徴とする。
[0137] (実施形態 6：効果)本実施形態に係る撮像装置にお!ヽては、ある程度暗!ヽ低照度 環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイ ン増幅がカゝかった状態で合成を行う場合、動き領域においては、画像情報 1の特性 である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイ ズは小さ 、ため高周波成分が少な ヽ画像」を主とした合成制御が行われるため、ノィ ズを抑えた良好な画質を得ることができる。 (実施形態 7)
[0138] (実施形態 7 :概要)本実施形態は、ある程度暗い低照度環境下において、第二画 像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅が力かった状態で 合成を行う場合、輝度情報と色情報を別々に合成することが可能であるため、輝度ノ ィズゃ色ノイズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得ること が可能な撮像装置に関する。
[0139] (実施形態 7：構成)本実施形態に係る撮像装置の機能ブロックを図 21に例示する 。本実施形態に係る撮像装置の構成は、実施形態 1から実施形態 6のいずれか一に て説明の撮像装置の構成に「第六合成比率可変合成手段」 (2122)を加えた構成と なる。図 21においては、実施形態 1の図 2にて説明の撮像装置の構成に前記第六合 成比率可変合成手段（2122)を加えた構成を例示している。撮像装置（2100)は、「 撮像部」（2101)と、「制御部」（2102)と、「画像情報保持部」（2103)と、「合成部」（ 2104)と、を有する。また、前記制御部（2102)は、「第一制御手段」（2106)と、「第 二制御手段」（2107)と、を有する。また、前記合成部（2104)は、「第六合成比率可 変合成手段」（2122)を有している。実施形態 1から実施形態 6のいずれか一にて説 明した構成要件と同じ構成要件に関しては、説明を割愛する。
[0140] 「第六合成比率可変合成手段」 (2122)は、輝度成分と色成分を同一の合成比率 で、又は別々の合成比率で合成する機能を有する。例えば、撮像条件から得られた 各乗算係数 (2112)を入力し、前記各乗算係数で画像情報 1から得られた第一輝度 情報 (2108)と、画像情報 2から得られた第二輝度情報 (2109)を乗算した後、輝度 加算器 (2116)にて乗算された各輝度情報を加算することで、輝度情報を合成する 。また、撮像条件から得られた各乗算係数を入力し、前記各乗算係数で画像情報 1 力 得られた第一色情報 (2110)と、画像情報 2から得られた第二色情報 (2111)を 乗算した後、色加算器 (2120)にて乗算された各色情報を加算することで、色情報を 合成する。さらに、合成後の輝度情報と、合成後の色情報をさらに合成する（2121)
[0141] (手ぶれが発生しうる照度条件下における制御の具体例)本実施例においては、手 ぶれが極めて少ない照度条件下における制御の状態は、実施形態 1と同様であり、 図 21を用いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実 施形態 1から実施形態 6のいずれか一で説明した構成要件と同じ構成要件に関し、 同様の制御がなされる構成要件については説明を割愛する。
[0142] 合成部は、例えば、画像情報保持部（2103)から送られて来た第一画像に関する 画像情報 1と撮像条件 1、及び画像情報 2と撮像条件 2から、画像情報を部分的に利 用して一の画像の画像情報を合成する際に、輝度情報と色情報を別々に合成可能 とする。
[0143] 図 22、図 26も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行なう 場合の概略を説明する。図 22、図 26は、制御部（2102)の「第二制御手段」（2107) 力 照度条件に対し、撮像する複数画像の他の一の画像である第二画像を、手ぶれ が発生しない露光時間で、且つ露出が適切になるようにゲインをかけて撮像するよう に制御された状態を指し示している。また、取得した撮像条件を元に、乗算係数に変 換する制御を指し示して ヽる。
[0144] まず、照度条件として、高照度環境下 (22— 1、 26— 1)より若干暗くなつた中照度 環境下においては、第一制御手段（2106)における露光時間が約 1Z60秒以上に 制御されており（22— 2、 26— 2)、これは実施形態 1で説明した「手ぶれが発生しうる 照度条件下における制御」に相当する。第一制御手段（2106)の制御は、以降、実 施形態 1で説明した制御と同じであり、以下、第二制御手段（2107)の制御について 説明する。
[0145] また、第二制御手段は、例えば、「手ぶれが発生しない露光時間」、つまり露光時間 が約 1Z60秒を維持することで、手ぶれを抑えた露光時間の制御を行う（22— 2、 26 — 2)。さらに第二制御手段（2107)は、露光時間が約 1Z60秒を維持されることによ る露出不足に対し、ゲインをかけて適正露出にする。さらに低照度環境方向に撮像 環境が推移した場合、さらにゲインをかけて適正露出にする力 ある一定のゲイン値 において、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値に 到達する（22— 4、 26— 4)。
[0146] 撮像条件を乗算係数に変換する際（2112)は、例えば、図 22、図 26の上部に指し 示すように、露光時間が約 1Z60秒以上に制御されてから、ゲイン増幅により増加す るノイズによる画質劣化が認められるゲイン値の制御状態までにおいて（22— 2、 26 —2で示される中照度における露出制御状態において）、輝度乗算器 1 (2114)に係 る輝度乗算係数 1 (第一画像用：図 21では図示しない)を 0に、輝度乗算器 2 (2115) に係る輝度乗算係数 2 (第二画像用：図 21では図示しな 、)を 1に、色乗算器 1 (211
8)に係る色乗算係数 1 (第一画像用：図 21では図示しな 、)を 0に、色乗算器 2 (211
9) (第二画像用：図 21では図示しない）に係る色乗算係数 2を 1に制御する。
[0147] また、合成部では、撮像条件を乗算係数に変換して (2112)得られる係数をもと〖こ 輝度乗算器 1 (2114)、及び輝度乗算器 2 (2115)で輝度情報に対する乗算が行な われ、輝度加算器 (2116)にて輝度情報が合成される。また、撮像条件を乗算係数 に変換して（2112)得られる係数をもとに色乗算器 1 (2118)、及び色乗算器 2 (211 9)で色情報に対する乗算が行なわれ、色加算器 (2120)にて色情報が合成される。 さらに、合成後の輝度情報と、合成後の色情報を合成する。これにより、合成部（210 4)では、画像情報 2のみの情報を用いた合成処理が行われることとなり、画像情報 2 の特性である「手ぶれが極めて少なく、ノイズによる画質劣化が認められな 、画像」を 主とした画像を得る制御が行われる。
[0148] 次に上記照度条件よりさらに暗くなつた低照度環境下においては、第二制御手段（ 2107)は、継続して「手ぶれが発生しない露光時間」、つまり露光時間が約 1Z60秒 を維持し、ぶれを抑えた露光時間の制御を行う（22— 3、 26— 3)。この時、第二制御 手段（2107)は、露光時間が約 1Z60秒を維持されることによる露出不足に対し、ゲ イン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態 (ゲイ ン値 B)よりさらにゲインをかけて適正露出にする。
[0149] 撮像条件を乗算係数に変換する際（2112)は、例えば、図 22、図 26の上部に指し 示すように、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の 制御状態力も露出制御が最大になる制御状態までにお 、て（22— 3、 26 - 3で示さ れる低照度における露出制御状態において）、輝度乗算器 1 (2114)に係る輝度乗 算係数 1 (第一画像用）を 0から 0. 5へ、輝度乗算器 2 (2115)に係る輝度乗算係数 2 (第二画像用）を 1から 0. 5へ徐々に変化するように輝度乗算係数を制御する。また 同様に色乗算器 1 (2118)に係る色乗算係数 1 (第一画像用）を 0から 1へ、色乗算器 2 (2119)〖こ係る色乗算係数 2 (第二画像用）を 1から 0へ、徐々に変化するように色 乗算係数を制御する。
[0150] 合成部では、撮像条件を乗算係数に変換して（2112)得られる係数にもとに色乗 算器 1 (2118)、及び色乗算器 2 (2119)で色情報に対する乗算が行なわれ、色カロ 算器 (2120)にて色情報が合成される。さらに、合成後の輝度情報と、合成後の色情 報を合成する。これにより、合成部（2104)では、照度が暗くなればなるほど、画像情 報 2の情報より画像情報 1の情報を主に使用するような合成が行なわれ、画像情報 2 の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン 増幅によりノイズが増加し画質劣化が大きくなる画像」を使用する比率を弱め、画像 情報 1の特性である「手ぶれが抑えられ、サイズは小さ!/、がノイズは少な 、画像」を主 とした画像を得る制御が行われる。
[0151] 上記制御において、画像情報 2の色情報を使用する重みの変化は、照度が暗くな ればなるほど、画像情報 2の輝度情報を使用する重みの変化が大きくなつているため 、低照度環境下においては、輝度情報より色情報の方が、ノイズの少ない画像情報 1 の情報を用いて合成する。これにより、画像情報 2の色情報において色ノイズが多い 場合、より色ノイズを抑えた手ぶれ補正画像を得ることが可能となる。
[0152] 上述の実施例では、画像情報 2の色情報において色ノイズが多い場合を説明した 力 逆に色情報における色ノイズは少なぐ輝度情報における輝度ノイズが多い場合 は、取り得る乗算係数の変化の関係を逆にして、より輝度ノイズを抑えた手ぶれ補正 画像を得るようにしても良 、。
[0153] また上述の実施例では、画像情報 1と画像情報 2の合成比率を変化する照度条件 において、輝度情報に対する乗算係数の制御と色情報に対する乗算係数の制御を 同じ照度条件にしたが、ゲイン増幅により増加するノイズの量において輝度情報と色 情報で差がある場合は、輝度情報に対する乗算係数の制御と色情報に対する乗算 係数の制御を別々の照度条件で制御しても良 、。
[0154] なお、取り得る乗算係数の変化の度合いは、画像情報 1及び画像情報 2の状態に 応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。
[0155] また、本実施形態では、輝度乗算器 1 (2114)に係る輝度乗算係数 1と輝度乗算器 2 (2115)に係る輝度乗算係数 2に適用される輝度乗算係数を別々に説明し、また色 乗算器 1 (2118)〖こ係る色乗算係数 1と色乗算器 2 (2119)に係る色乗算係数 2に適 用される色乗算係数を別々に説明したが、輝度乗算器 2 (2115)に係る輝度乗算係 数 2は、 1から輝度乗算器 1 (2114)〖こ係る輝度乗算係数 1を引いた値で定義し、また 色乗算器 2 (2119)〖こ係る色乗算係数 2は、 1から色乗算器 1 (2118)に係る色乗算 係数 1を引 、た値で定義しても良 、。
[0156] (実施形態 7 :処理の流れ)本実施形態に係る撮像装置における処理の流れは、実 施形態 1における説明の図 6に係る撮像装置の処理の流れと同様である。ただし、合 成ステップ（S0610)における第一画像と第二画像の合成は、前述の通り、撮像条件 に合わせて輝度情報と色情報を別々に合成可能であることを特徴とする。
[0157] (実施形態 7：効果)手ぶれが発生しそうな照度環境下にお 、て、複数の画像の画 像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正す る際、輝度情報と色情報を別々に合成することが可能であるため、輝度ノイズゃ色ノ ィズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得ることが可能であ る。
図面の簡単な説明
[0158] [図 1]実施形態 1に係る撮像装置の機能ブロック図
[図 2]実施形態 1に係る撮像装置の機能ブロック図
[図 3]第一制御手段にて制御される露出制御の一例を示す図
[図 4]第二制御手段にて制御される露出制御の一例を示す図
[図 5]合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す一例 図
[図 6]実施形態 1に係る撮像装置の処理の流れを示すフロー図
[図 7]撮像装置の具体的な構成を例示する図
[図 8]実施形態 2に係る撮像装置の機能ブロック図
[図 9]実施形態 2に係る第二制御手段にて制御される露出制御と、乗算係数制御を 示す一例図
[図 10]実施形態 3に係る撮像装置の機能ブロック図 圆 11実施形態 3にて制御される乗算係数制御を示す一例図
[図 12実施形態 4に係る撮像装置の機能ブロック図
[図 13実施形態 4にて制御される乗算係数制御を示す一例図
[図 14:実施形態 4に係る撮像装置の処理の流れを示すフロー図
圆 15実施形態 5に係る撮像装置の機能ブロック図
[図 16 2次微分フィルターを説明する図
[図 17実施形態 5にて制御される乗算係数制御を示す一例図
[図 18実施形態 6に係る撮像装置の機能ブロック図
[図 19動き領域情報を生成する方法を説明する図
圆 20実施形態 6にて制御される乗算係数制御を示す一例図
圆 21実施形態 7に係る撮像装置の機能ブロック図
[図 22実施形態 7に係る第二制御手段にて制御される露出制御と、乗算係数制御を 示す一例図
[図 23画素加算を説明する図
[図 24:合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す一 例図
圆 25第二画像の輝度情報を補正する方法の具体例
[図 26:実施形態 7に係る第二制御手段にて制御される露出制御と、乗算係数制御を 示す一例図
符号の説明
0100 撮像装置
0101 撮像部
0102 制御部
0103 画像情報保持部
0104 合成部
0206 第一制御手段
0207 第二制御手段

Claims

請求の範囲
[1] 撮像部と、
照度条件によって異なる露光時間条件やゲイン条件で構成される撮像条件により 撮像の制御が可能な制御部と、
制御部によって異なる撮像条件に制御され撮像された一或いは複数の画像の画 像情報を保持する画像情報保持部と、
照度条件により、保持されて!、る複数の画像の画像情報を部分的に利用して合成 画像用の画像情報を合成し、又はその撮像条件により撮像された画像をそのまま出 力する合成部と、
を有する撮像装置。
[2] 前記制御部は、
撮像する複数画像の一の画像である第一画像を、撮像する複数画像の他の画像 より小さい画像サイズで、且つ、適正露出の画像となるように制御する第一制御手段 と、
撮像する複数画像の他の一の画像である第二画像を、露光時間を短くし、且つゲ イン増幅により適正露出の画像となるように制御する第二制御手段と、
を有する請求項 1に記載の撮像装置。
[3] 前記第一制御手段は、撮像する複数画像の一の画像である第一画像を、画素の 加算平均や画素加算によって、撮像する複数画像の他の画像より小さい画像サイズ とすることを特徴とし、制御を行なう際、画素の加算平均や画素加算で改善される S ZNに応じて、露光時間を短く制御する請求項 2に記載の撮像装置。
[4] 前記合成部は、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、合成比率を複数の画像の撮像条件の!/、ずれ か一又は二以上に合わせて可変とする第一合成比率可変合成手段
を有する請求項 1から 3のいずれか一に記載の撮像装置。
[5] 前記合成部は、
前記画像情報保持部で保持された一或いは複数の画像から輝度情報を取得する 輝度情報取得手段と、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、合成比率を前記輝度情報に合わせて可変と する第二合成比率可変合成手段
を有する請求項 1から 4のいずれか一に記載の撮像装置。
[6] 前記撮像部の温度を計測可能な温度取得部と、
前記温度取得部により取得された温度情報を保持する温度情報保持部を有し、 前記合成部は、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、合成比率を前記温度情報に合わせて可変と する第三合成比率可変合成手段
を有する請求項 1から 5のいずれか一に記載の撮像装置。
[7] 前記合成部は、
前記画像情報保持部で保持された一或いは複数の画像力 エッジ情報を取得す るエッジ情報取得手段と、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、合成比率を前記エッジ情報に合わせて可変と する第四合成比率可変合成手段
を有する請求項 1から 6のいずれか一に記載の撮像装置。
[8] 前記合成部は、
前記画像情報保持部で保持された複数の画像から動き領域情報を取得する動き 領域情報取得手段と、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、前記動き領域情報から動き領域と判断された 第二画像の動き領域においては、前記第一画像を使用し、前記動き領域情報から 動き領域以外と判断された第二画像の非動き領域にお!、ては、前記第二画像を使 用するように制御する第五合成比率可変合成手段と
を有する請求項 2又は 3に記載の撮像装置。
[9] 前記合成部は、
前記複数の画像の画像情報を部分的に利用して合成画像の画像情報を合成する 際の合成比率を定める手段であって、輝度成分と色成分を同一の合成比率で、又は 別々の合成比率で合成することが可能な第六合成比率可変合成手段と
を有する請求項 1から 8のいずれか一に記載の撮像装置。
[10] 撮像ステップと、
照度条件によって異なる露光時間条件やゲイン条件で構成される撮像条件の制御 が可能な制御ステップと、
制御ステップによって異なる撮像条件に制御され撮像された一或いは複数の画像 の画像情報を保持する画像情報保持ステップと、
照度条件により、保持されて!、る複数の画像の画像情報を部分的に利用して合成 画像用の画像情報を合成し、又はその撮像条件により撮像された画像をそのまま出 力する合成ステップと、
を有する撮像方法。
PCT/JP2007/058298 2006-05-09 2007-04-16 撮像装置 WO2007129533A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008514418A JP5019543B2 (ja) 2006-05-09 2007-04-16 撮像装置
US12/300,107 US20100231748A1 (en) 2006-05-09 2007-04-16 Imaging device
CN2007800169709A CN101444084B (zh) 2006-05-09 2007-04-16 摄像装置
EP07741734A EP2018048A4 (en) 2006-05-09 2007-04-16 PICTURE SETUP

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006130638 2006-05-09
JP2006-130638 2006-05-09

Publications (1)

Publication Number Publication Date
WO2007129533A1 true WO2007129533A1 (ja) 2007-11-15

Family

ID=38667642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/058298 WO2007129533A1 (ja) 2006-05-09 2007-04-16 撮像装置

Country Status (6)

Country Link
US (1) US20100231748A1 (ja)
EP (1) EP2018048A4 (ja)
JP (2) JP5019543B2 (ja)
KR (1) KR101035824B1 (ja)
CN (1) CN101444084B (ja)
WO (1) WO2007129533A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044846A (ja) * 2009-08-20 2011-03-03 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
CN101588453B (zh) * 2008-05-19 2013-05-01 三洋电机株式会社 图像处理装置、拍摄装置及图像处理方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) * 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
KR101571334B1 (ko) * 2009-02-12 2015-11-24 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP5218388B2 (ja) * 2009-12-25 2013-06-26 カシオ計算機株式会社 撮像装置、撮像装置の制御方法、およびプログラム
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
WO2012015359A1 (en) * 2010-07-26 2012-02-02 Agency For Science, Technology And Research Method and device for image processing
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5244164B2 (ja) * 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
US9057340B2 (en) 2010-12-29 2015-06-16 Ford Global Technologies, Llc Cylinder block assembly
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US8977012B2 (en) * 2012-10-31 2015-03-10 Google Inc. Image denoising system and method
JP2014143667A (ja) * 2012-12-28 2014-08-07 Canon Inc 撮像素子、撮像装置、その制御方法、および制御プログラム
JP6083526B2 (ja) * 2013-07-12 2017-02-22 富士通株式会社 情報処理装置、プログラム、および方法
DE102013012810A1 (de) * 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
JP6261334B2 (ja) 2013-12-26 2018-01-17 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
TWI524760B (zh) * 2014-04-18 2016-03-01 聚晶半導體股份有限公司 照相機陣列校正方法
CN105282455B (zh) * 2014-06-20 2018-06-19 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
KR101689665B1 (ko) * 2014-07-04 2016-12-26 삼성전자 주식회사 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
US10237447B2 (en) * 2015-06-29 2019-03-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN106412214B (zh) * 2015-07-28 2019-12-10 中兴通讯股份有限公司 一种终端及终端拍摄的方法
JP2018166242A (ja) 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器
CN107197146B (zh) * 2017-05-31 2020-06-30 Oppo广东移动通信有限公司 图像处理方法和装置、移动终端、计算机可读存储介质
JP7097248B2 (ja) * 2018-07-05 2022-07-07 Ｏｍデジタルソリューションズ株式会社 撮像装置及び表示方法
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
US11373316B2 (en) 2019-08-02 2022-06-28 Hanwha Techwin Co., Ltd. Apparatus and method for calculating motion vector

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141229A (ja) * 1992-10-27 1994-05-20 Matsushita Electric Ind Co Ltd 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH0837628A (ja) * 1994-07-22 1996-02-06 Canon Inc 撮像装置
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2001008104A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 広ダイナミックレンジ撮像装置
JP2003173438A (ja) * 2001-12-06 2003-06-20 Minolta Co Ltd 画像処理装置
JP2003259226A (ja) * 2002-02-28 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP2003274281A (ja) * 2003-02-03 2003-09-26 Canon Inc 撮像装置
JP2003319240A (ja) * 2002-04-18 2003-11-07 Olympus Optical Co Ltd 撮像装置
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
JP2004235901A (ja) 2003-01-29 2004-08-19 Ricoh Co Ltd 撮像装置
JP2004328137A (ja) * 2003-04-22 2004-11-18 Konica Minolta Photo Imaging Inc 画像撮像装置、画像処理装置及び画像処理プログラム
JP2004328530A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置及び画像記録装置
JP2005038396A (ja) * 2003-06-23 2005-02-10 Sony Corp 画像処理方法および装置、並びにプログラム
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2005209249A (ja) 2004-01-20 2005-08-04 Toshiba Microelectronics Corp 半導体メモリ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179395A (ja) * 1994-12-26 1996-07-12 Canon Inc 像ぶれ補正手段のための作動制御装置
US6677992B1 (en) * 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
US7466358B1 (en) * 1999-11-22 2008-12-16 Panasonic Corporation Solid-state imaging device for enlargement of dynamic range
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP2002094885A (ja) * 2000-09-13 2002-03-29 Nikon Corp 撮像装置及び撮像方法
JP2003333416A (ja) * 2002-05-17 2003-11-21 Minolta Co Ltd デジタルカメラ
JP4272863B2 (ja) * 2002-09-20 2009-06-03 キヤノン株式会社 カメラおよびカメラシステム
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2004221992A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP4388293B2 (ja) * 2003-03-13 2009-12-24 京セラ株式会社 カメラの手振れ補正装置
US7339598B2 (en) * 2003-07-11 2008-03-04 Vistaprint Technologies Limited System and method for automated product design
JP4089912B2 (ja) * 2005-03-22 2008-05-28 株式会社リコー デジタルカメラシステム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141229A (ja) * 1992-10-27 1994-05-20 Matsushita Electric Ind Co Ltd 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH0837628A (ja) * 1994-07-22 1996-02-06 Canon Inc 撮像装置
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2001008104A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 広ダイナミックレンジ撮像装置
JP2003173438A (ja) * 2001-12-06 2003-06-20 Minolta Co Ltd 画像処理装置
JP2003259226A (ja) * 2002-02-28 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP2003319240A (ja) * 2002-04-18 2003-11-07 Olympus Optical Co Ltd 撮像装置
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
JP2004235901A (ja) 2003-01-29 2004-08-19 Ricoh Co Ltd 撮像装置
JP2003274281A (ja) * 2003-02-03 2003-09-26 Canon Inc 撮像装置
JP2004328137A (ja) * 2003-04-22 2004-11-18 Konica Minolta Photo Imaging Inc 画像撮像装置、画像処理装置及び画像処理プログラム
JP2004328530A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置及び画像記録装置
JP2005038396A (ja) * 2003-06-23 2005-02-10 Sony Corp 画像処理方法および装置、並びにプログラム
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2005209249A (ja) 2004-01-20 2005-08-04 Toshiba Microelectronics Corp 半導体メモリ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2018048A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588453B (zh) * 2008-05-19 2013-05-01 三洋电机株式会社 图像处理装置、拍摄装置及图像处理方法
JP2011044846A (ja) * 2009-08-20 2011-03-03 Sanyo Electric Co Ltd 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
JP5354701B2 (ja) 2013-11-27
JPWO2007129533A1 (ja) 2009-09-17
JP2012165479A (ja) 2012-08-30
CN101444084B (zh) 2012-02-15
CN101444084A (zh) 2009-05-27
EP2018048A4 (en) 2011-07-20
KR101035824B1 (ko) 2011-05-20
US20100231748A1 (en) 2010-09-16
JP5019543B2 (ja) 2012-09-05
KR20080102413A (ko) 2008-11-25
EP2018048A1 (en) 2009-01-21

Similar Documents

Publication Publication Date Title
JP5354701B2 (ja) 撮像装置
KR101247646B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US8711255B2 (en) Visual processing apparatus and visual processing method
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
JP3730419B2 (ja) 映像信号処理装置
US10055872B2 (en) System and method of fast adaptive blending for high dynamic range imaging
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
US20130342738A1 (en) Tone Mapping For Low-Light Video Frame Enhancement
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
US20140153820A1 (en) Image processing apparatus and method of processing image
JP2009049547A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2010141653A (ja) 画像処理装置及び撮像装置
KR20080023745A (ko) 촬상 장치
JP5861924B2 (ja) 撮像装置
JP6039188B2 (ja) 画像処理装置および画像処理方法
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2002288650A (ja) 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2009213032A (ja) ワイド・ダイナミック・レンジ画像生成処理装置
JP5146500B2 (ja) 画像合成装置、画像合成方法、及びプログラム
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2021117748A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2004159087A (ja) スキャナシステム、画像処理プログラム
JP2007329621A (ja) 画像処理装置と画像処理方法、および画像信号処理プログラム。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741734

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1020087023667

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2008514418

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200780016970.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007741734

Country of ref document: EP