WO2007074774A1 - ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 - Google Patents

ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 Download PDF

Info

Publication number
WO2007074774A1
WO2007074774A1 PCT/JP2006/325782 JP2006325782W WO2007074774A1 WO 2007074774 A1 WO2007074774 A1 WO 2007074774A1 JP 2006325782 W JP2006325782 W JP 2006325782W WO 2007074774 A1 WO2007074774 A1 WO 2007074774A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
residual
macroblocks
reference image
acquisition unit
Prior art date
Application number
PCT/JP2006/325782
Other languages
English (en)
French (fr)
Inventor
Tadashi Asano
Ryuuichi Sawada
Original Assignee
Kyocera Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006104721A external-priority patent/JP5079253B2/ja
Priority claimed from JP2006178742A external-priority patent/JP5079271B2/ja
Priority claimed from JP2006227048A external-priority patent/JP5079284B2/ja
Application filed by Kyocera Corporation filed Critical Kyocera Corporation
Priority to US12/159,366 priority Critical patent/US8542278B2/en
Priority to CN2006800534445A priority patent/CN101390381B/zh
Publication of WO2007074774A1 publication Critical patent/WO2007074774A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Definitions

  • the present invention relates to a shake amount detection device, a shake correction device, an imaging device, and a shake amount detection method.
  • the present invention relates to a shake amount detection apparatus that performs shake correction including camera shake correction, a shake correction apparatus, an imaging apparatus including the shake correction apparatus, and a shake amount detection method.
  • a device for correcting camera shake that solves this problem is also installed in single-lens reflex cameras and recently compact cameras.
  • an optical image stabilization device that corrects the lens by tilting it to compensate for blurring has been commercialized, but it is very difficult in terms of space when considering recent miniaturization and mounting in mobile phone cameras.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 10-108079 obtains images with different exposure conditions when synthesizing captured image information with different exposure conditions to obtain an image with an expanded dynamic range. At least one of the exposures when combining the captured image information at approximately the same time An imaging apparatus that uses captured image information of a condition redundantly is disclosed.
  • Patent Document 2 Japanese Unexamined Patent Application Publication No. 2004-279514 describes a camera shake limit exposure time peculiar to a photographer based on detection information of an angle detection sensor provided in the camera, focal length information of the camera, and aperture information. If the appropriate exposure time is longer than the camera shake limit exposure time, a corrector that performs camera shake correction by taking multiple shots with a shorter exposure time and synthesizing the images. Is disclosed.
  • Patent Document 3 Japanese Patent Laid-Open No. 2003-32559 describes two subject images having a luminance difference obtained by separating a light beam from a lens into two and attenuating one light beam.
  • An image pickup device that generates new image data having an expanded dynamic range by generating the charge accumulation time and the charge accumulation start time of the two pieces of image data generated in different areas on the imaging surface. It is disclosed.
  • Patent Document 4 Japanese Patent Laid-Open No. 7-177519
  • a motion vector is detected for each thinned block, and interpolation is performed from the detected motion vector to detect a block that has not been detected.
  • a motion vector detection method is disclosed in which a motion vector is given and detection is performed for each block in the final motion vector detection.
  • Patent Document 5 Japanese Patent Application Laid-Open No. 6-169452
  • an image evaluation is performed, and a portion judged to be important has high definition and a little movement or a stationary portion, and a portion that is determined to be rough.
  • An image compression method that transmits data with high definition is disclosed.
  • Patent Document 1 Japanese Patent Laid-Open No. 10-108079
  • Patent Document 2 JP 2004-279514 A
  • Patent Document 3 Japanese Patent Laid-Open No. 2003-32559
  • Patent Document 4 JP-A-7-177519
  • Patent Document 5 JP-A-6-169452
  • the above-described camera shake correction method has a disadvantage that a large number of shots are required and the processing time becomes long because the positional deviation between images occurring during the shooting is corrected. . Therefore, in order to eliminate the disadvantages described above, it is desired to provide a shake amount detection device, a shake correction device, an imaging device, and a shake amount detection method that can perform high-precision camera shake amount detection with a small processing amount. RU
  • a blur amount detection device is a blur amount detection device that detects a blur amount by performing a matching process based on a reference image and a reference image having different exposure conditions.
  • a macroblock dividing unit configured to divide each reference image into a plurality of macroblocks, and a macroblock having a predetermined size composed of one or more of the reference images divided by the macroblock dividing unit The first block to be extracted is extracted, and a second block composed of macroblocks of a predetermined size composed of one or a plurality of macroblocks of the reference image divided by the macroblock dividing unit.
  • a block extraction unit configured to extract a block and a residual between the first block and the second block extracted by the block extraction unit; Based on the obtained residual, a residual acquisition unit configured to acquire a residual integral value for each macroblock, and a macroblock having a small residual integral value obtained by the residual acquisition unit.
  • a residual is acquired again by the residual acquisition unit for each macroblock selected by the block selection unit and the block selection unit, and a residual integral value is large, or
  • a shake amount acquisition unit configured to set the shake amount to a value in a predetermined order when they are arranged in order from the smallest.
  • a shake amount detection device is a shake amount detection device that detects a shake correction of an imaging device by performing a matching process based on a reference image and a reference image that have different exposure conditions.
  • a macroblock division unit configured to divide each of the reference image and the reference image into a plurality of macroblocks, and a macro having a predetermined size formed from one or more of the reference images divided by the macroblock division unit
  • a first block constituted by blocks is extracted, and a second block constituted by macroblocks of a predetermined size formed by one or a plurality of macroblocks of the reference image divided by the macroblock dividing unit is extracted.
  • a block extractor configured to extract, and a residual between the first block and the second block extracted by the block extractor Acquired, and the acquired the Based on the residual, a residual acquisition unit configured to acquire a residual integral value for each macroblock, and the residual integral value acquired by the residual acquisition unit is small.
  • a block selection unit configured to be selected and a motion vector for each selected block are acquired, and the motion vector of a predetermined order when the acquired motion vectors are arranged in a predetermined order is a blur amount.
  • a shake amount acquisition unit configured to be configured as follows.
  • a shake correction apparatus is a shake correction apparatus that performs a matching process based on a reference image and a reference image that have different exposure conditions, detects a shake amount, and performs shake correction based on the shake amount.
  • a macroblock dividing unit configured to divide each of the reference image and the reference image into a plurality of macroblocks, and a predetermined one or more of the reference images divided by the macroblock dividing unit.
  • a first block composed of macroblocks of a size is extracted and composed of macroblocks of a predetermined size composed of one or a plurality of macroblocks of the reference image divided by the macroblock dividing unit
  • a block extraction unit configured to extract a second block to be extracted, and the first block and the second block extracted by the block extraction unit.
  • a residual acquisition unit configured to acquire a residual integral value for each macroblock based on the acquired residual, and the residual acquisition unit When the residual integral value is small, a block selection unit configured to select a predetermined number of macroblocks, and the residual acquisition unit again generates a residual for each macroblock selected by the block selection unit.
  • a shake amount acquisition unit configured to obtain a blur amount as a value of a predetermined order when the residual integral value is large! Or small! /
  • an image composition unit configured to synthesize the plurality of images based on the blur amount obtained in step (b).
  • a shake correction apparatus is a shake correction apparatus that performs a matching process based on a reference image and a reference image that have different exposure conditions, detects a shake amount, and performs shake correction based on the shake amount.
  • a macroblock dividing unit configured to divide each of the reference image and the reference image into a plurality of macroblocks, and a predetermined one or more formed from the reference image divided by the macroblock dividing unit A first block composed of macroblocks of a size is extracted, and a macroblock of a predetermined size formed by one or a plurality of macroblocks of the reference image divided by the macroblock division unit.
  • a block extraction unit configured to extract a second block to be configured; and a residual between the first block and the second block extracted by the block extraction unit, and the acquired residual Based on the difference, a residual acquisition unit configured to acquire a residual integral value for each macroblock, and a predetermined number of macroblocks with a small residual integral value acquired by the residual acquisition unit are selected.
  • a block selecting unit configured to perform the acquisition, and a motion vector is acquired for each selected block, and a motion vector having a predetermined rank when the acquired motion vectors are arranged in a predetermined order is used as a blur amount.
  • a shake amount acquisition unit configured as described above.
  • An imaging device is an imaging device that captures a subject image, and is configured to detect a blur amount by performing a matching process based on a reference image and a reference image that have different exposure conditions.
  • the shake amount detection device is a shake amount detection device that performs matching processing based on a reference image and a reference image with different exposure conditions and detects shake correction of the imaging device.
  • a macroblock dividing unit configured to divide each of the reference image and the reference image into a plurality of macroblocks, and a predetermined size composed of one or more of the reference images divided by the macroblock dividing unit.
  • the first block configured by the macro block is extracted, and a predetermined block configured by one or a plurality of macro blocks of the reference image divided by the macro block dividing unit is extracted.
  • a block extractor configured to extract a second block composed of macroblocks of a size, and a residual between the first block and the second block extracted by the block extractor
  • a residual acquisition unit configured to acquire a residual integral value for each macroblock based on the acquired residual, and the residual integral value acquired by the residual acquisition unit.
  • the block selection unit configured to select a predetermined number of macro blocks, and the residual acquisition unit again acquires a residual for each of the macro blocks selected by the block selection unit.
  • a blur amount acquisition unit configured to set a value of a predetermined order when the difference integrated values are large or small and arranged in order from the difference value as a blur amount.
  • An image pickup apparatus is an image pickup apparatus that captures a subject image, and is configured to detect a blur amount by performing a matching process based on a reference image and a reference image having different exposure conditions. It has a shake amount detection device, and the shake amount detection device performs a matching process based on the reference image and the reference image having different exposure conditions, and detects the shake correction of the imaging device.
  • a shake amount detection apparatus comprising: a macroblock division unit configured to divide the reference image and the reference image into a plurality of macroblocks; and one or more of the reference images divided by the macroblock division unit
  • the first block constituted by the macro block of a predetermined size formed in step (b) is extracted, and the predetermined size formed by one or more from the macro blocks of the reference image divided by the macro block dividing unit.
  • a block extractor configured to extract a second block composed of a plurality of macroblocks, and a residual between the first block and the second block extracted by the block extractor.
  • a residual acquisition unit configured to acquire a residual integral value for each macroblock based on the acquired residual, and the residual acquisition unit acquires Further, the residual integral value is small!
  • a block selection unit configured to select a predetermined number of macro blocks, a motion vector is acquired for each selected block, and the acquired motion vector is acquired in a predetermined order.
  • a shake amount acquisition unit configured to use a motion vector of a predetermined order when arranged as a shake amount.
  • a blur amount detection method is a blur amount detection method for detecting a blur amount by performing a matching process based on a reference image and a reference image that have different exposure conditions.
  • the third step of obtaining the difference integral value, the fourth step of selecting a predetermined number of macro blocks having a small residual integral value obtained in the third step, and the fourth step Then, a residual is obtained again for each of the selected macroblocks, and the fifth integral is set to a predetermined rank value when the residual integrated values are arranged in order from the largest or smallest residual value. And a process.
  • a blur amount detection method is a blur amount detection method for detecting a blur amount by performing a matching process based on a reference image and a reference image that have different exposure conditions.
  • a first block composed of one or more macroblocks having a predetermined size is extracted from the reference image divided in the first step, and the reference image is divided by the macroblock dividing unit.
  • the ninth step of selecting a predetermined number of macroblocks having a small residual integral value and a motion vector for each block selected in the ninth step are acquired, and the acquired motion vector is determined in advance. Having a tenth step of the amount of blur motion vector of a predetermined order position when arranged in order.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment.
  • FIG. 2 is a diagram showing an example of the structure of raw (RAW) image data.
  • FIG. 3 is a diagram for explaining the residual sequential test method.
  • FIG. 4 is a diagram showing a specific example of block extraction by a block extraction unit in the present embodiment.
  • FIG. 5 is a flowchart showing an operation example at the time of photographing of the imaging apparatus of the present embodiment.
  • FIG. 6 is a diagram showing how template block T searches for search block I.
  • FIG. 7 is a diagram showing a range in which a pixel having a minimum residual integral value exists in a 1Z8 thinned image and a 1Z2 thinned image.
  • FIG. 8 is a flowchart showing an operation example at the time of shooting of the image pickup apparatus of the second embodiment.
  • FIG. 9 is a diagram for explaining a predetermined range in which the residual acquisition unit of the third embodiment calculates a residual during a rough search.
  • the “shake correction” of the present invention is not limited to camera shake correction.
  • camera shake correction when an imaging device is mounted on a vehicle or the like is corrected. In such cases, it is possible to correct for camera shake caused by other than hands. Further, in the present processing, the amount of processing can be detected with a small amount and high accuracy.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 1 according to the first embodiment.
  • the imaging apparatus 1 includes a camera 2, a camera shake amount detection unit 3, an image synthesis unit 4, and a buffer memory 5.
  • the camera 2 includes a lens and an image sensor such as a CCD (Charged Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), and the image sensor photoelectrically converts the light that has passed through the lens to produce a color image. It is a digital camera module that obtains color information by a filter and outputs it as image data (raw (RAW) data). Camera 2 shoots multiple images taken consecutively with different exposure conditions when camera shake correction is performed during image capture. In order to detect the amount of camera shake, one of the multiple images is used as a reference image, and the remaining other images are used as reference images. Note that the exposure conditions differ between the standard image and the reference image. Images taken by Camera 2 are temporarily stored in Nota Memory 5 for camera shake correction processing.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the camera shake amount detection unit 3 detects the amount of camera shake based on the reference image and the reference image captured by the camera 2 and stored in the buffer memory 5.
  • the camera shake amount detection unit 3 includes a data thinning unit 31, a macro block division unit 32, a block extraction unit 33, a luminance difference comparison unit 34, a residual acquisition unit 35, and a block selection unit 36 as a configuration for detecting the amount of camera shake.
  • the camera shake amount acquisition unit 37 is further provided.
  • the data thinning unit 31 is a raw (RAW) data for the reference image and the reference image captured by the camera 2. Data) is thinned out, and a thinning reference image and a thinning reference image used for motion amount detection are created.
  • RAW raw
  • Data is thinned out, and a thinning reference image and a thinning reference image used for motion amount detection are created.
  • Raw (RAW) data is the data as it is obtained from the image sensor power of the camera 2.
  • Raw (RAW) data shot by a camera having a primary color filter is Gr ( It consists of four types of color data: 1st green), R (red), B (blue), and Gb (2nd green).
  • the data thinning unit 31 extracts only the first green data (Gr) from the four types of color data based on the raw (R AW) data of the standard image and the reference image captured by the camera 2. Create a thinned image.
  • Gr first green data
  • R AW raw data of the standard image
  • R AW raw image captured by the camera 2.
  • the macroblock dividing unit 32 divides the reference image and the reference image of the thinned image created by the data thinning unit 31 by thinning out a part of the raw (RAW) data into a plurality of macro blocks, respectively. .
  • the macroblock dividing unit 32 divides each image into 10 ⁇ 10 macroblocks, for example.
  • the block extraction unit 33 and the residual acquisition unit 35 calculate each pixel value of the block in the reference image and the corresponding block in the reference image from the Sequential Similarity Detection Algorithm (SSDA). Find the sum of the absolute values of the differences (residual difference) and perform template matching.
  • SSDA Sequential Similarity Detection Algorithm
  • Template matching is a technique for determining the similarity and difference between a search target pattern (search block I) and a template prepared in advance (template block T). Residual successive test is one of the techniques. One.
  • the residual sequential test method extracts a search block I consisting of MXN pixels from the base image and a template block T consisting of m X n pixels from the reference image.
  • the template block T is powered on the search block I and compared, and the position on the search block I that matches the template block T is found.
  • the residual that is, the accumulated pixel value difference between the search block I and the template block T
  • Residual E (x, y) that is, the residual integrated value E obtained by adding all the pixels in the macroblock for each macroblock based on the residual (x, y) is a function of (x, y) and is given by Equation (1).
  • the position of (X, y) at which the residual integral value E (x, y) is minimized is the position where the template block T and the search block I coincide.
  • the residual acquisition unit 35 uses the search block I and the template block T extracted by the block extraction unit 33, and acquires a residual by the above-described residual sequential test method.
  • the value of E (x, y) is set to a predetermined threshold A while the difference in pixel values is accumulated to calculate E (x, y). If it exceeds, it means that the search block I and the template block T do not match at all, so the residual integral value E (x, y) is calculated for that position (X, y) at that time. Stop and move on to calculating residuals for other positions (X, y). As a result, template matching by the residual sequential test method can reduce the processing time and the processing amount.
  • the magnitude of the predetermined threshold A is not limited in the present invention.
  • the block extraction unit 33 extracts the search block I and the template block T, and the power until the residual acquisition unit 35 acquires the residual, the luminance difference comparison unit 34 For each macroblock, the difference between the maximum and minimum luminance values is taken, and if this difference is smaller than a predetermined threshold B, the residual acquisition unit 35 acquires the residual of the macroblock.
  • the threshold value B is a predetermined ratio of the difference between the maximum and minimum luminance values of all pixels of the reference image or all pixels of the reference image, or the luminance value of all pixels of the reference image and the reference image.
  • a predetermined ratio of the average value of the difference between the maximum value and the minimum value may be used.
  • a block with a small difference between the maximum and minimum luminance values is a block with low contrast, such as a pure white part, and it is difficult to detect the amount of camera shake in such a block. It will be excluded.
  • the magnitude of the predetermined threshold B is not limited in the present invention.
  • the block selection unit 36 takes the difference between the maximum value and the minimum value of the luminance value for each macroblock, and if this difference is smaller than the predetermined threshold B, Therefore, the macro block is excluded from the target from which the residual acquisition unit 35 acquires the residual, and the minimum value of the integral integral value E (x, y) in all search blocks I acquired by the residual acquisition unit 35 is obtained. After the comparison, a predetermined number of small search blocks I having a residual integral with a small minimum value are extracted. Alternatively, instead of extracting a predetermined number of blocks, a predetermined percentage of the total number of blocks may be extracted.
  • 10 blocks are extracted.
  • the camera shake amount acquisition unit 37 obtains the integral value E (x, y) without thinning out the macro blocks selected by the block selection unit 36 in the search block I, and arranges the forces of large or small in order.
  • the median of the hour is calculated and used as the amount of camera shake in this image. In the present embodiment, the median value is used. However, the present invention is not limited to this, and it may be in a predetermined order.
  • the camera shake amount detection unit 3 detects the camera shake amount by the method described above.
  • the image composition unit 4 Based on the camera shake amount detected by the camera shake amount detection unit 3, the image composition unit 4 synthesizes the reference image and the reference image captured by the camera 2 (thinned out! Create a corrected image.
  • the noffer memory 5 is a RAM (Random Access Memory) that temporarily stores image data before correction used for camera shake correction processing.
  • FIG. 5 is a flowchart illustrating an operation example of the imaging apparatus 1.
  • Camera 2 changes the exposure condition and takes one standard image and one or more reference images.
  • Step ST2 In step ST1, the data thinning unit 31 extracts only the Gr (green) component from the raw (RAW) data of the reference image and reference image captured by the camera 2 and thins out the other components. To create a thinning-out reference image and a thinning-out reference image.
  • the macroblock division unit 32 divides the decimation standard image and the decimation reference image created by the data decimation unit 31 in step ST2 into 10 ⁇ 10 macroblocks.
  • Step ST4
  • a template block T composed of four blocks each composed of two sides having a length of 1Z4 is extracted.
  • the luminance difference comparison unit 34 calculates the difference between the maximum and minimum luminance values of each pixel. If this difference is smaller than the predetermined threshold value B, the residual acquisition unit 35 stores the macroblock. Exclude it from the object to get the difference.
  • the residual acquisition unit 35 uses the search block I and the template block T that are not excluded by the luminance difference comparison unit 34 in step ST5, and acquires the residual by the above-described residual sequential test method.
  • the block selection unit 36 selects 10 macroblocks having a small residual integral value E (X, y) in all search blocks I acquired by the residual acquisition unit 35.
  • the residual acquisition unit 35 thins out the raw (RAW) data, reads out the standard image and reference image from the buffer memory 5, and thins out the macro block selected by the block selection unit in step ST7.
  • the residual integral value is calculated again based on the data.
  • the processing of the residual acquisition unit 35 in this step is performed to improve the accuracy of the overall camera shake amount detection processing of the camera shake amount detection unit 3.
  • the camera shake amount acquisition unit 37 determines the position of the template block T in which the residual is the smallest value in the search block I, based on the residual integrated value for the unthinned data acquired by the residual acquisition unit 35 in step ST8.
  • the integral value E (X, y) is obtained without decimation in the macroblock selected by the block selection unit 36, and the median value when the power is arranged in the order of large or small, and the power is extracted, and the amount of camera shake is calculated. To do.
  • step ST9 the image composition unit 4 synthesizes the reference image captured by the camera 2 (not thinned out) and the reference image based on the camera shake amount acquired by the camera shake amount acquisition unit 37, and performs camera shake correction. Create a corrected image.
  • the block selection unit 36 when detecting the amount of camera shake, the block selection unit 36 is small, and the blocks having residual integral values are small! / Since the position of the template image that minimizes the residual integral value is determined based on the predetermined number of blocks or the ratio, the amount of camera shake is detected based on that position. The processing amount of the entire detection process is small, and the time required for processing is short.
  • the data thinning unit 31 extracts only the Gr (green) component from the raw (RAW) data of the reference image and the reference image, Since the thinned-out reference image and the thinned-out reference image are created and the thinned-out image is used in the subsequent processing, the overall amount of camera shake detection processing can be reduced, and the processing time is also reduced. It's short.
  • the residual acquisition unit 35 acquires the residual integral value based on the thinned image and then acquires the residual integral value again based on the non-thinned image, the accuracy is high and the amount of camera shake is detected. Processing can be performed.
  • the block extraction unit 33 extracts the search block I and the template block T, and the force until the residual acquisition unit 35 acquires the residual integral value.
  • the luminance difference comparison unit 34 takes the difference between the maximum and minimum luminance values for each macroblock, and if this difference is smaller than the predetermined threshold B, the macroblock is selected. Residual acquisition unit Since 35 is excluded from the target for acquiring the residual, blocks that are predicted to be unable to acquire the residual integral value because of low contrast are excluded in advance. As a result, the amount of camera shake detection processing as a whole can be reduced, and the processing time can be reduced.
  • the imaging apparatus 1 of the present embodiment when the residual integral value is calculated, pattern matching is performed by the residual sequential test method that stops the residual calculation when the accumulated value exceeds a predetermined value. Therefore, the processing amount of the entire camera shake detection process can be reduced, and the processing time can be shortened.
  • the data decimation unit 31 creates a 1Z8 decimation image and a 1Z2 decimation image
  • the residual acquisition unit 35 first obtains the residual integral value using the 1,8 decimation image (coarse) (Search: coarse search), after extracting a predetermined number of blocks with a small residual integral value and again obtaining the residual integral value for the 1Z2 thinned image (fine search: fine search). This is the same as the imaging device 1 of the embodiment.
  • the data thinning unit 31 creates a thinned image obtained by thinning the raw (R AW) data of the standard image and the reference image captured by the camera 2 to 1Z2 or 1Z8.
  • the 1Z2 thinned image is a thinned image created by extracting only one pixel in two of the vertical and horizontal pixels, and the 1Z8 thinned image extracts only one pixel in eight of the vertical and horizontal pixels. This is an image with a bow.
  • the thinning method is not limited in the present invention.
  • 1Z2 thinning method is based on the raw (RAW) data of the standard image and reference image captured by camera 2, and only the first green data (Gr) is extracted from these 4 types of color data.
  • the power for extracting only Gr is not limited to this, and any one of R, B, and Gb may be extracted. You can also use raw (R AW) data instead of 1Z2 thinned images!
  • the residual acquisition unit 35 first uses the search block I and the template block T of the 1Z8 thinned-out image to acquire a residual by the above-described residual sequential test method (coarse search).
  • residual Figure 6 shows search block I and template block T.
  • FIG. 6 is a diagram showing how the search block I is searched for the template block ⁇ . As shown in Fig. 6, template block ⁇ searches the search block while moving pixel by pixel.
  • the block selection unit 36 takes the difference between the maximum value and the minimum value of the luminance value for each macroblock, and if this difference is smaller than a predetermined threshold value ⁇ , Therefore, the macro block is excluded from the target from which the residual acquisition unit 35 acquires the residual, and the minimum value of the integral integral value E (x, y) in all search blocks I acquired by the residual acquisition unit 35 is obtained. After the comparison, a predetermined number of small search blocks I having a residual integral with a small minimum value are extracted. Alternatively, instead of extracting a predetermined number of blocks, a predetermined percentage of the total number of blocks may be extracted.
  • nine blocks are extracted.
  • the residual acquisition unit 35 calculates the integral value E (x, y) in the half-thinned image for the nine macroblocks selected by the block selection unit 36 in the search block I. Seeking (fine search).
  • the block extracting unit 33, the residual acquiring unit 35, and the block selecting unit 36 described above are located in the vicinity of a pixel whose residual integral value obtained for the 1Z8 thinned image is small. Since it is only necessary to calculate the residual integral value for only the pixels, the amount of calculation in the camera shake amount acquisition unit is significantly smaller than in the past.
  • the circles in Fig. 7 indicate the pixels for which the residual integral value calculation is performed in the 1Z8 thinned image
  • the X marks in Fig. 7 indicate the pixels for which the residual integral value calculation is performed in the 1Z2 thinned image. ing. It can be seen that there are pixels for which the residual integral value calculation is performed in the 1Z8 thinned image for every four vertical and horizontal pixels in the 1Z2 thinned image.
  • the camera shake amount acquisition unit 37 calculates a median value when the residual integral values E (x, y) in the 1Z2 thinned image obtained as described above are arranged in order from the smallest, and this image The amount of camera shake.
  • the median value is used.
  • the present invention is not limited to this, and it may be in a predetermined order.
  • the camera shake amount detection unit 3 detects the camera shake amount by the method described above.
  • FIG. 8 is a flowchart illustrating an operation example of the imaging apparatus 1 according to the second embodiment.
  • Camera 2 changes the exposure condition and takes one standard image and one or more reference images.
  • step ST11 the data thinning unit 31 creates a 1Z8 bow I image and a 1Z2 bow I image from the reference image and the reference image raw data captured by the camera 2.
  • the macroblock dividing unit 32 divides the standard image and reference image of the 1Z8 thinned image created by the data thinning unit 31 in step ST12 into, for example, 10 ⁇ 10 macroblocks.
  • Block extraction unit 33 force Extracts search block I from the base image and reference image of the 1Z8 decimation image divided by the macroblock division unit 32 into 10 X 10 macroblocks in step ST13, and the template block is extracted from the reference image. Extract T.
  • Step ST15
  • the luminance difference comparison unit 34 calculates the difference between the maximum and minimum luminance values of each pixel. If this difference is smaller than the predetermined threshold value B, the residual acquisition unit 35 stores the macroblock. Exclude it from the object to get the difference.
  • the residual acquisition unit 35 uses the search block I and the template block T, which are not excluded by the luminance difference comparison unit 34 in step ST15, and performs the residual by the above-described residual sequential test method. Get the difference.
  • Step ST17
  • the block selection unit 36 selects nine macroblocks having a small residual integral value E (X, y) in all search blocks I acquired by the residual acquisition unit 35.
  • the residual acquisition unit 35 calculates the residual integral value again with respect to the macroblock selected by the block selection unit in step ST17 for the standard image and reference image of the 1Z2 thinned image.
  • the processing of the residual acquisition unit 35 in this step is performed to improve the accuracy of the overall camera shake amount detection processing of the camera shake amount detection unit 3.
  • the camera shake amount acquisition unit 37 determines the position of the template block T in which the residual is the smallest value in the search block I based on the residual integrated value for the 1Z2 thinned image acquired by the residual acquisition unit 35 in step ST18. Then, in the macroblock selected by the block selection unit 36, the residual integral value E (x, y) of the half-thinned image is obtained, and the median value when it is arranged in order from the smallest is extracted and used as the amount of camera shake.
  • Step ST20
  • step ST19 the image composition unit 4 composites the reference image captured by the camera 2 (not thinned out) and the reference image based on the camera shake amount acquired by the camera shake amount acquisition unit 37, and performs camera shake correction. Create a corrected image.
  • the block extraction unit 33 extracts the search block I and the template block T, and the force residual acquisition unit 35 calculates the residual integral value.
  • the luminance difference comparison unit 34 takes the difference between the maximum value and the minimum value of each luminance value for each macroblock, and if this difference is smaller than the predetermined threshold B, Since the macro block is excluded from the target from which the residual acquisition unit 35 acquires the residual, the residual acquisition unit 35 previously stores a block predicted to have a low contrast and cannot acquire the residual integral value. Since it is excluded from the process of acquiring the difference integral value, the processing amount of the whole camera shake amount detection process can be reduced, and the time required for the process can be shortened.
  • the block selection unit 36 may select a small number of blocks having a small residual integral value by a predetermined number or a proportion.
  • the camera shake amount acquisition unit 37 uses the median value as the camera shake amount, but the present invention is not limited to this, and the camera shake amount may be a predetermined order!
  • the third embodiment of the imaging apparatus 1 is different from the first embodiment except that only a residual in a predetermined range is calculated at the time of residual calculation of the residual acquisition unit 35 for selecting a block having a small residual integral value force S. This is the same as the two embodiments.
  • the residual acquisition unit 35 does not calculate the residual integral value for all the range of pixels when calculating the residual integral value (coarse search) using the 1Z8 thinned-out image. Residuals are calculated for pixels in the range only.
  • 5% is an example, and the present invention is not limited to this.
  • a value of 5% is the minimum requirement to detect camera shake!
  • the residual acquisition unit 35 of the third embodiment uses the 1Z8 thinned image to obtain the residual integral value (coarse search), and applies to all ranges of pixels. Since the residual is calculated for only a predetermined range of pixels without calculating the residual integral value, the time required for calculating the residual is greatly reduced, and the time required for camera shake correction can be reduced.
  • the motion vector of each block selected by the block selector 36 is detected, and each component of the motion vector is detected. This is the same as in the second embodiment, except that a motion vector whose component is a predetermined order when rearranged based on compensation is used as the amount of camera shake.
  • the camera shake amount acquisition unit 37 is based on the residual integral value E (x, y) in the half-thinned image acquired by the residual acquisition unit 35 as described in the second embodiment.
  • the motion vector of each block (9 blocks in this embodiment) selected by is detected.
  • the camera shake amount acquisition unit 37 detects the position of the template block T in which the residual is the smallest in the search block I as the motion vector of the block including the search block I and the template block.
  • the X component and y component in the order of decreasing X component and y component are used as the X component and y component vector.
  • the total motion vector that is, the amount of camera shake.
  • the motion vectors of the nine selected blocks are (xl, yl), (x2, y2), (x3, y3), (x4, y4), (x5, y5), (x6, y6), (x7, y7), (x8, y8), and (x9, y9).
  • the motion vector (shake amount) of the entire image acquired by the camera shake amount acquisition unit 37 is (X 9 , y5).
  • the camera shake amount detection unit 3 detects the camera shake amount by the method described above.
  • the camera shake amount acquisition unit 37 has a large ⁇ or y for each of the X component and y component of the motion vector of each block selected. small! / Since a motion vector having a predetermined order when arranged in order is an x component and a y component is used as a camera shake amount, more accurate camera shake detection can be performed.
  • the camera shake amount acquisition unit 37 determines the magnitude and order of each X component and y component (smaller, smaller order) of the motion vectors of the predetermined number of blocks selected by the block selection unit 36. (Although it is possible), a vector having the predetermined order as the X component and the y component is extracted, and the extracted vector is used as the motion vector of the entire image, that is, the amount of camera shake. Such a configuration is also possible.
  • the camera shake amount acquisition unit 37 selects a vector having a predetermined order in the descending order of the absolute values of the motion vectors of the predetermined number of blocks selected by the block selection unit 36, In other words, even as the amount of camera shake.
  • the residual integral value E (x, y) is obtained as a 1Z2 thinned-out image with respect to a predetermined number of blocks selected by the block selecting unit 36 in the search block I. ), And the camera shake amount acquisition unit 37 calculates the motion vector of the block selected based on the residual integral value E (x, y) .
  • this process can be omitted. is there. That is, when the block selection unit 36 has a small residual and selects a predetermined number of blocks, the camera shake amount acquisition unit 37 detects a motion vector of the selected block, and each of the predetermined number of motion vectors is detected.
  • the magnitude of the X component and y component of, in order (small or in order) force You can obtain the motion vector of the entire image, that is, the amount of camera shake, by taking a vector with the X order and y component of the given order ! /, (Alternatively, the magnitude of motion vector and (small) may use the motion vector of predetermined order as the amount of camera shake). In this case, it is possible to omit the calculation amount further than in the fourth embodiment.
  • motion vector detection method in this case is not limited in the present invention.
  • the difference comparison unit 34 calculates the difference between the maximum and minimum luminance values for each macroblock, and if this difference is smaller than the predetermined threshold B, the macroblock is obtained as a residual.
  • the luminance difference comparison unit 34 is configured such that the block selection unit 36 includes all the search blocks I. Immediately after comparing the minimum values of residual integral values E (x, y) and extracting a predetermined number of small search blocks I having residual integral values with small minimum values (that is, step ST9 in FIG. (Between ST 10), it is possible to acquire the brightness difference and exclude the blocks whose brightness difference is less than or equal to the threshold from the target for acquiring the residual integral value.
  • the data thinning unit 31 extracts only the Gr component and thins out the remaining components.
  • the present invention is not limited to this. For example, only the other components are extracted, or Two components may be extracted.
  • the camera shake amount detection unit 3 includes a data thinning unit 31, a macroblock division unit 32, a block extraction unit 33, a luminance difference comparison unit 34, and a residual acquisition as a configuration for detecting the amount of camera shake. Further, each component of the camera shake amount detection unit 3 is incorporated in the imaging device 1 as hardware for performing these processes. Alternatively, software that performs processing in accordance with the control of the camera shake amount detection unit 3 may be used.
  • the amount of camera shake detection processing is performed on the raw (RAW) data (RGB Bayer array data) captured by the camera 2.
  • RAW raw (RGB Bayer array data)
  • the camera shake amount detection process can be performed using the luminance signal Y in the YUV format.
  • the power decimation rate in which the 1Z8 decimation image and the 1Z2 decimation image are generated and the coarse search and the fine search are performed is not limited in the present invention.
  • a coarse search may be performed with a 1Z16 thinned image
  • a fine search may be performed with an unthinned image.
  • the present invention can be used in imaging devices such as digital cameras and video cameras that perform camera shake correction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　データ間引き部は、基準画像及び参照画像の生データの内１つの成分のみを抽出して間引き画像を作成し、ブロック抽出部は、残差を求めるための探索ブロックとテンプレートブロックを抽出し、輝度差比較部は、各ブロックの輝度値の最大値と最小値との差をとり、しきい値より小さい場合には、残差を取得する対象から除外する。除外されなかったブロックから残差取得部が残差を取得し、ブロック選出部が、小さい残差を有するブロックを所定数選出し、手ぶれ量取得部が残差の最小となるテンプレートブロックの位置を求め、全位置の中央値を算出して手ぶれ量とする。

Description

ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 技術分野
[0001] 本発明は、手ぶれ補正を含むぶれ補正を行うぶれ量検出装置、ぶれ補正装置、ぶ れ補正装置を有する撮像装置及びぶれ量検出方法に関する。
背景技術
[0002] 近年、撮像装置としてカメラの小型化が進み、手ぶれ補正技術が注目されてきて!/ヽ る。
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載の力 メラなど撮影方法として、片手での撮影など従来の撮影形態と比べ自由度が広がつ ている。
[0003] このように、撮影する際に、種々の方法や安定性のな!、状態で撮影する場合、シャ ッターボタンを押した際にカメラがブレて手ぶれが発生してしまう。
例えば、露出時間の長 ヽ喑条件での撮影となるとシャッター速度が遅くなりブレてし まうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってし ま!ヽ粗 、画像となってしまう。
[0004] この問題を解消すベぐ手ぶれ補正を行う装置が、一眼レフや最近ではコンパクト カメラにも搭載されている。
例えば、ブレに合わせてレンズを傾斜させ補正する、光学式手ぶれ補正装置が製 品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース 的に非常に困難である。
[0005] また、他の方法として、画像処理により複数枚の画像からぶれの無 ヽ画像を得るこ とができる撮像装置などが種々提案されて 、る。
[0006] 例えば、特許文献 1 (特開平 10— 108079号公報）には、露光条件が異なる撮像 画像情報を合成してダイナミックレンジを拡大した画像を得る際に、露光条件が異な る画素で得られたほぼ同時刻の撮像画像情報の合成に際し、少なくとも一方の露光 条件の撮像画像情報を重複して使用する撮像装置が開示されている。
[0007] 特許文献 2 (特開 2004— 279514号公報）には、カメラに備えた角度検出センサの 検出情報と、カメラの焦点距離情報及び絞り情報とにより、撮影者特有の手ぶれ限界 露光時間をあら力じめ記憶しておき、適正露光時間が手ぶれ限界露光時間より長く なる場合には、それより短い露光時間で複数回の撮影を行い、画像を合成して手ぶ れ補正を行う補正装置が開示されている。
[0008] 特許文献 3 (特開 2003— 32559号公報）には、レンズからの光束を 2つに分離し、 一方の光束を減衰させて得た輝度差のある 2つの被写体像を撮像素子の撮像面上 の異なる領域に生成し、これら 2枚の画像データは電荷蓄積時間及び電荷蓄積スタ ート時刻を互いに等しくすることによって、拡大されたダイナミックレンジを有する新た な画像データを得る撮像装置が開示されて ヽる。
[0009] 特許文献 4 (特開平 7— 177519号公報）には、間引いたブロックごとに動きベクトル を検出し、検出された動きベクトルから内挿補間することによって、検出を行っていな いブロックに動きベクトルを与え、最終の動きベクトル検出においてはブロックごとに 検出を行う動きベクトル検出方法が開示されている。
[0010] 特許文献 5 (特開平 6— 169452号公報）には、画像評価を行い、重要と判断され た部分は高精細度に、動きが少な ヽ或 、は静止して 、る部分は粗!、精細度でデー タを送信する画像圧縮方式が開示されている。
[0011] 特許文献 1 :特開平 10— 108079号公報
特許文献 2：特開 2004— 279514号公報
特許文献 3：特開 2003 - 32559号公報
特許文献 4：特開平 7— 177519号公報
特許文献 5 :特開平 6— 169452号公報
発明の開示
発明が解決しょうとする課題
[0012] しかし、上述した手ぶれ補正方法にお!ヽては、多くの撮影枚数を必要とし、撮影間 に生じる画像間の位置ズレを補正するため処理時間が長くなつてしまうという不利益 がある。 従って、上述した不利益を解消するために、処理量が少なく高精度な手ぶれ量検 出を実施できるぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法を 提供することが要望されて 、る。
課題を解決するための手段
[0013] 第 1の発明のぶれ量検出装置は、それぞれ露出条件の異なる基準画像と参照画 像を基に、マッチング処理を行いぶれ量を検出するぶれ量検出装置であって、前記 基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構成され たマクロブロック分割部と、前記マクロブロック分割部が分割した前記基準画像から 1 または複数で構成される所定の大きさのマクロブロックによって構成される第 1のプロ ックを抽出し、前記マクロブロック分割部が分割した参照画像のマクロブロックから 1ま たは複数で構成される所定の大きさのマクロブロックによって構成される第 2のブロッ クを抽出するように構成されたブロック抽出部と、前記ブロック抽出部が抽出した前記 第 1のブロックと第 2のブロックとの残差を取得し、該取得した前記残差を基に、前記 マクロブロック毎に残差積分値を取得するように構成された残差取得部と、前記残差 取得部が取得した該残差積分値の小さ 、マクロブロックを所定数選出するように構成 されたブロック選出部と、前記ブロック選出部が選出した前記各マクロブロックに対し て前記残差取得部で再度残差を取得し、残差積分値が大き 、または小さ 、ものから 順に並べた時の所定順位の値をぶれ量とするように構成されたぶれ量取得部と、を 有する。
[0014] 第 2の発明のぶれ量検出装置は、それぞれ露出条件の異なる基準画像と参照画 像を基に、マッチング処理を行い撮像装置のぶれ補正を検出するぶれ量検出装置 であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する ように構成されたマクロブロック分割部と、前記マクロブロック分割部が分割した前記 基準画像から 1または複数で形成される所定の大きさのマクロブロックによって構成さ れる第 1のブロックを抽出し、前記マクロブロック分割部が分割した参照画像のマクロ ブロックから 1または複数で形成される所定の大きさのマクロブロックによって構成さ れる第 2のブロックを抽出するように構成されたブロック抽出部と、前記ブロック抽出 部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得し、該取得した前記 残差を基に、前記マクロブロックごとに残差積分値を取得するように構成された残差 取得部と、前記残差取得部が取得した該残差積分値が小さ ヽマクロブロックを所定 数選出するように構成されたブロック選出部と、該選出されたブロック毎に動きべタト ルを取得し、該取得した動きベクトルを所定の順序で並べた際の所定順位の動きべ タトルをぶれ量とするように構成されたぶれ量取得部と、を有する。
[0015] 第 3の発明のぶれ補正装置は、それぞれ露出条件の異なる基準画像と参照画像を 基に、マッチング処理を行いぶれ量を検出し当該ぶれ量を基にぶれ補正を行うぶれ 補正装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに 分割するように構成されたマクロブロック分割部と、前記マクロブロック分割部が分割 した前記基準画像から 1または複数で構成される所定の大きさのマクロブロックによつ て構成される第 1のブロックを抽出し、前記マクロブロック分割部が分割した参照画像 のマクロブロックから 1または複数で構成される所定の大きさのマクロブロックによって 構成される第 2のブロックを抽出するように構成されたブロック抽出部と、前記ブロック 抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得し、該取得した 前記残差を基に、前記マクロブロック毎に残差積分値を取得するように構成された残 差取得部と、前記残差取得部が取得した該残差積分値が小さ ヽマクロブロックを所 定数選出するように構成されたブロック選出部と、前記ブロック選出部が選出した前 記各マクロブロックに対して前記残差取得部で再度残差を取得し、残差積分値が大 き!、または小さ!/、ものから順に並べた時の所定順位の値をぶれ量とするように構成さ れたぶれ量取得部と、前記ぶれ量算出部の求めた前記ぶれ量を基に、前記複数枚 の画像を合成するように構成された画像合成部と、を有する。
[0016] 第 4の発明のぶれ補正装置は、それぞれ露出条件の異なる基準画像と参照画像を 基に、マッチング処理を行いぶれ量を検出し当該ぶれ量を基にぶれ補正を行うぶれ 補正装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロブロックに 分割するように構成されたマクロブロック分割部と、前記マクロブロック分割部が分割 した前記基準画像から 1または複数で形成される所定の大きさのマクロブロックによつ て構成される第 1のブロックを抽出し、前記マクロブロック分割部が分割した参照画像 のマクロブロックから 1または複数で形成される所定の大きさのマクロブロックによって 構成される第 2のブロックを抽出するように構成されたブロック抽出部と、前記ブロック 抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得し、該取得した 前記残差を基に、前記マクロブロックごとに残差積分値を取得するように構成された 残差取得部と、前記残差取得部が取得した該残差積分値が小さ ヽマクロブロックを 所定数選出するように構成されたブロック選出部と、該選出されたブロック毎に動きべ タトルを取得し、該取得した動きベクトルを所定の順序で並べた際の所定順位の動き ベクトルをぶれ量とするように構成されたぶれ量取得部と、を有する。
[0017] 第 5の発明の撮像装置は、被写体像を撮影する撮像装置であって、それぞれ露出 条件の異なる基準画像と参照画像を基に、マッチング処理を行いぶれ量を検出する ように構成されたぶれ量検出装置を有し、当該ぶれ量検出装置は、露出条件の異な る基準画像と参照画像を基に、マッチング処理を行 ヽ撮像装置のぶれ補正を検出す るぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロ ブロックに分割するように構成されたマクロブロック分割部と、前記マクロブロック分割 部が分割した前記基準画像から 1または複数で構成される所定の大きさのマクロプロ ックによって構成される第 1のブロックを抽出し、前記マクロブロック分割部が分割した 参照画像のマクロブロックから 1または複数で構成される所定の大きさのマクロブロッ クによって構成される第 2のブロックを抽出するように構成されたブロック抽出部と、前 記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得し、 該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得するように構 成された残差取得部と、前記残差取得部が取得した該残差積分値が小さ!、マクロブ ロックを所定数選出するように構成されたブロック選出部と、前記ブロック選出部が選 出した前記各マクロブロックに対して前記残差取得部で再度残差を取得し、残差積 分値が大き 、または小さ 、ものから順に並べた時の所定順位の値をぶれ量とするよ うに構成されたぶれ量取得部と、を有する。
[0018] 第 6の発明の撮像装置は、被写体像を撮影する撮像装置であって、それぞれ露出 条件の異なる基準画像と参照画像を基に、マッチング処理を行いぶれ量を検出する ように構成されたぶれ量検出装置を有し、当該ぶれ量検出装置は、露出条件の異な る基準画像と参照画像を基に、マッチング処理を行 ヽ撮像装置のぶれ補正を検出す るぶれ量検出装置であって、前記基準画像及び参照画像をそれぞれ複数のマクロ ブロックに分割するように構成されたマクロブロック分割部と、前記マクロブロック分割 部が分割した前記基準画像から 1または複数で形成される所定の大きさのマクロプロ ックによって構成される第 1のブロックを抽出し、前記マクロブロック分割部が分割した 参照画像のマクロブロックから 1または複数で形成される所定の大きさのマクロブロッ クによって構成される第 2のブロックを抽出するように構成されたブロック抽出部と、前 記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得し、 該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得するように 構成された残差取得部と、前記残差取得部が取得した該残差積分値が小さ!ヽマクロ ブロックを所定数選出するように構成されたブロック選出部と、該選出されたブロック 毎に動きベクトルを取得し、該取得した動きベクトルを所定の順序で並べた際の所定 順位の動きベクトルをぶれ量とするように構成されたぶれ量取得部と、を有する。
[0019] 第 7の発明のぶれ量検出方法は、それぞれ露出条件の異なる基準画像と参照画 像を基に、マッチング処理を行いぶれ量を検出するぶれ量検出方法であって、前記 基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第 1の工程と、 前記第 1の工程において分割された前記基準画像から 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロブ ロック分割部が分割した参照画像のマクロブロックから 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出する第 2の工程と 、前記第 2の工程において抽出された前記第 1のブロックと第 2のブロックとの残差を 取得し、該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得する 第 3の工程と、前記第 3の工程において取得された該残差積分値の小さいマクロプロ ックを所定数選出する第 4の工程と、前記第 4の工程にぉ 、て選出された前記各マク ロブロックに対して再度残差を取得し、残差積分値が大き 、または小さ 、ものから順 に並べた時の所定順位の値をぶれ量とする第 5の工程と、を有する。
[0020] 第 8の発明のぶれ量検出方法は、それぞれ露出条件の異なる基準画像と参照画 像を基に、マッチング処理を行いぶれ量を検出するぶれ量検出方法であって、前記 基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第 6の工程と、 前記第 1の工程において分割された前記基準画像から 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロブ ロック分割部が分割した参照画像のマクロブロックから 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出する第 7の工程と 、前記第 7の工程において抽出された前記第 1のブロックと第 2のブロックとの残差を 取得し、該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得す る第 8の工程と、前記第 8の工程において取得された残差積分値が小さいマクロプロ ックを所定数選出する第 9の工程と、前記第 9の工程にぉ ヽて選出されたブロック毎 に動きベクトルを取得し、該取得した動きベクトルを所定の順序で並べた際の所定順 位の動きベクトルをぶれ量とする第 10の工程と、を有する。
図面の簡単な説明
[0021] [図 1]図 1は、第 1実施形態の撮像装置の構成を示すブロック図である。
[図 2]図 2は、生 (RAW)画像データの構成の一例を示す図である。
[図 3]図 3は、残差逐次検定法について説明するための図である。
[図 4]図 4は、本実施形態におけるブロック抽出部のブロック抽出の具体例を示す図 である。
[図 5]図 5は、本実施形態の撮像装置の撮影時の動作例を示すフローチャートである
[図 6]図 6は、テンプレートブロック Tが探索ブロック Iを探索する様子を示した図である
[図 7]図 7は、 1Z8間引き画像と 1Z2間引き画像における残差積分値最小の画素が ある範囲を示した図である。
[図 8]図 8は、第 2実施形態の撮像装置の撮影時の動作例を示すフローチャートであ る。
[図 9]図 9は、第 3実施形態の残差取得部が粗サーチ時に残差を算出する所定の範 囲について説明するための図である。
符号の説明
[0022] 1…撮像装置、…カメラ、 3…手ぶれ量検出部、 4…画像合成部、 5· ··バッファメモリ 、 31 · · ·データ間引き部、 32· · ·マクロブロック分割部、 33· · ·ブロック抽出部、 34…輝 度差比較部、 3…残差取得部、 36· · ·ブロック選出部、 37· · ·手ぶれ量取得部 発明を実施するための最良の形態
[0023] 以下、本発明の実施形態の撮像装置について説明する。
以下では、本発明の実施の形態として手ぶれ補正を行う場合について説明するが 、本発明の「ぶれ補正」は手ぶれの補正に限られず、例えば撮像装置を車両等に搭 載した場合のぶれを補正する場合等、手以外に起因するぶれに対しても補正を行う ことができる。また、本実施処理では、処理量が少なく高精度なぶれ量検出を行うこと ができる。
<第 1実施形態 >
図 1は、本第 1実施形態の撮像装置 1の構成を示すブロック図である。
図 1に示すように、本第 1実施形態の撮像装置 1は、カメラ 2、手ぶれ量検出部 3、画 像合成部 4、バッファメモリ 5を有する。
[0024] カメラ 2は、レンズ、及び CCD (Charged Coupled Device)或!、は CMOS (Complem entary Metal Oxide Semiconductor)等の撮像素子からなり、レンズを通過した光を撮 像素子が光電変換し、カラーフィルタによって色情報を取得して画像データ（生 (RA W)データ）として出力するデジタルカメラモジュールである。カメラ 2は、画像の撮影 時に手ぶれ補正を行う場合には、連続して撮影した、露出条件が異なる複数の画像 を撮影する。手ぶれ量検出のために、この複数の画像の内 1枚を基準画像とし、残り のその他の画像を参照画像として使用する。なお、基準画像と参照画像とは露出条 件が異なる。カメラ 2が撮影した画像は手ぶれ補正処理のために一時的にノ ッファメ モリ 5に記憶される。
[0025] 手ぶれ量検出部 3は、カメラ 2が撮影しバッファメモリ 5に記憶した基準画像及び参 照画像を基に、画像の手ぶれ量を検出する。
手ぶれ量検出部 3は、手ぶれ量検出のための構成として、データ間引き部 31、マク ロブロック分割部 32、ブロック抽出部 33、輝度差比較部 34、残差取得部 35、ブロッ ク選出部 36、手ぶれ量取得部 37を更に有する。
[0026] データ間引き部 31は、カメラ 2が撮影した基準画像及び参照画像の生 (RAW)デ ータ)のデータを間引いて、動き量検出に使用する間引き基準画像および間引き参 照画像を作成する。
生 (RAW)データは、カメラ 2の撮像素子力 得られた信号そのままのデータであり 、例えば、原色カラーフィルタを有するカメラにより撮影した生 (RAW)データは、図 2 に示すように、 Gr (第 1緑)、 R (赤）、 B (青）、 Gb (第 2緑)の 4種類の色データによつ て構成されている。
データ間引き部 31は、カメラ 2が撮影した基準画像及び参照画像それぞれの生 (R AW)データを基に、この 4種類の色データのうち先頭の緑のデータ（Gr)のみを抽出 したそれぞれの間引き画像を作成する。なお、本実施形態では Grのみを抽出するが 、本発明はこれに限定されず、 R、 B、 Gbのいずれ力 1つを抽出してもよい。
[0027] マクロブロック分割部 32は、データ間引き部 31が生 (RAW)データの一部を間引 いて作成した間引き画像の基準画像及び参照画像を、それぞれ複数個のマクロプロ ックに分割する。本実施形態では、マクロブロック分割部 32は、それぞれの画像を例 えば 10 X 10のマクロブロックに分割する。
[0028] ブロック抽出部 33および残差取得部 35は、残差逐次検定法（SSDA: Sequential S imilarity Detection Algorithms)〖こより、基準画像内のブロックと対応する参照画像内 のブロックとの各画素値の差の絶対値の和（残差： residual difference)を求め、テンプ レートマッチングを行う。
テンプレートマッチングとは、探索対象パターン (探索ブロック I)と事前に用意したテ ンプレート (テンプレートブロック T)との類似度や相違度を求める手法であり、残差逐 次検定法はその手法の 1つである。
残差逐次検定法とは、図 3に示すように、基準画像から M X N個の画素で構成され る探索ブロック Iを、参照画像から m X n個の画素で構成されるテンプレートブロック T を抽出し、探索ブロック I上でテンプレートブロック Tを動力して比較を行い、テンプレ ートブロック Tと一致する探索ブロック I上の位置を探し出す方法である。なお、 M>m 、 N>nであり、テンプレートブロック Tの左上の座標を (X, y)としたとき、残差、すなわ ち探索ブロック Iとテンプレートブロック Tとの画素値の差の累積残差 E (x, y)、すなわ ち、残差を基にマクロブロック毎にマクロブロック内の全画素を加算した残差積分値 E (x, y)は、（x, y)の関数であり、数式（1)で与えられる。
[0029] [数 1]
m-\ n-\
E\ xy y^ = ^ |/(x + m^ h + η) - Ί (m^ ή)
[0030] 残差積分値 E (x, y)が最小になる (X, y)の位置が、テンプレートブロック Tと探索ブ ロック Iとが一致する位置である。
[0031] 本実施形態では、ブロック抽出部 33は、図 4Aに示すように、基準画像の 10 X 10 のマクロブロックから 2 X 2=4ブロックの探索ブロック Iを抽出し、更に、ブロック抽出 部 33は、図 4Bに示す、対応する参照画像の 2 X 2ブロックの中心部に位置するマク ロブロックの縦横 2辺のそれぞれ 1Z4の長さを有する 2辺により構成されたブロックが 4つ集まって構成されるテンプレートブロック Tを抽出する。
次に、残差取得部 35が、ブロック抽出部 33が抽出した探索ブロック I及びテンプレ ートブロック Tを使用し、上述した残差逐次検定法により残差を取得する。
[0032] なお、残差逐次検定法では、 E (x, y)を算出するために画素値の差を累積してい る間に、 E (x, y)の値が所定のしきい値 Aを超えた場合は、探索ブロック Iとテンプレ ートブロック Tとが全く一致しないことを意味するため、その時点でその位置 (X, y)に 対する残差積分値 E (x, y)の算出処理を止め、他の位置 (X, y)に対する残差の算 出に移行する。これにより、残差逐次検定法によるテンプレートマッチングは、処理時 間の短縮と処理量の低減が可能である。所定のしきい値 Aの大きさについては、本 発明では限定しない。
[0033] 更に、本実施形態では、ブロック抽出部 33が探索ブロック I及びテンプレートブロッ ク Tを抽出して力も残差取得部 35が残差を取得するまでの間に、輝度差比較部 34 力 各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値 Bよりこの差が小さい場合には、そのマクロブロックを残差取得部 35が残差を取得す る対象から除外する処理を行う。なお、しきい値 Bは、基準画像の全画素または参照 画像の全画素の輝度値の最大値と最小値との差の所定割合、或いは基準画像と参 照画像との全画素の輝度値の最大値と最小値との差の平均値の所定割合とすれば よい。 すなわち、輝度値の最大値と最小値との差が小さいブロックは、例えば真つ白な部 分等、コントラストが低いブロックであり、こうしたブロックでは手ぶれ量が検出しにくい ため、動き量検出処理から除外してしまうのである。
なお、所定のしきい値 Bの大きさについては、本発明では限定しない。
[0034] ブロック選出部 36は、輝度差比較部 34が、各マクロブロックに対し、輝度値の最大 値と最小値との差をとり、所定のしきい値 Bよりこの差が小さい場合には、そのマクロ ブロックを残差取得部 35が残差を取得する対象から除外し、残差取得部 35が取得 した、全ての探索ブロック Iにおける残差積分値 E (x, y)の最小値を比較した後、最 小値が小さい残差積分値を有する探索ブロック Iの小さいものを所定の数だけ抽出す る。或いは、所定の数のブロックを抽出する代わりに、全ブロック数の所定の割合の ブロックを抽出してもよい。
本実施形態では、例えば、 10個のブロックを抽出する。
[0035] 手ぶれ量取得部 37は、探索ブロック I内でブロック選出部 36が選出したマクロプロ ックで間引きせずに積分値 E (x, y)を求めて大きいまたは小さいもの力も順に並べた 時の中央値を算出してこの画像の手ぶれ量とする。なお、本実施形態では中央値と したが、本発明はこれに限定されず、所定順位のものであればよい。
手ぶれ量検出部 3は、上述した方法で手ぶれ量を検出する。
[0036] 画像合成部 4は、手ぶれ量検出部 3が検出した手ぶれ量を基に、カメラ 2が撮影し た (間引いて!/ヽな ヽ)基準画像と参照画像を合成し、手ぶれ補正を行つた補正画像 を作成する。
ノッファメモリ 5は、手ぶれ補正処理に使用される補正前の画像データを一時的に 記憶しておく RAM (Random Access Memory)である。
[0037] 以下、本実施形態の撮像装置 1の撮影時の動作例について説明する。
図 5は、撮像装置 1の動作例を示すフローチャートである。
[0038] ステップ ST1：
カメラ 2は、露出条件を変えて 1枚の基準画像と、 1または複数枚の参照画像とを撮 影する。
ステップ ST2 : データ間引き部 31は、ステップ ST1にお 、てカメラ 2が撮影した基準画像及び参照 画像の生 (RAW)データのデータの内、 Gr (緑)の成分のみを抽出し、他の成分を間 引いて、間引き基準画像および間弓 Iき参照画像を作成する。
ステップ ST3 :
マクロブロック分割部 32は、ステップ ST2においてデータ間引き部 31が作成した間 引き基準画像及び間引き参照画像を、 10 X 10個のマクロブロックに分割する。
[0039] ステップ ST4 :
ブロック抽出部 33力 ステップ ST3においてマクロブロック分割部 32が 10 X 10個 のマクロブロックに分割した間引き基準画像及び間引き参照画像から、図 4Aに示す ように、間引き基準画像の 10 X 10のマクロブロックからは 2 X 2=4ブロックの探索ブ ロック Iを抽出し、図 4Bに示すように、間引き参照画像からは、対応する 2 X 2ブロック の中心部に位置するマクロブロックの縦横 2辺のそれぞれ 1Z4の長さを有する 2辺に より構成されたブロックが 4つ集まって構成されるテンプレートブロック Tを抽出する。
[0040] ステップ ST5 :
輝度差比較部 34は、各画素の輝度値の最大値と最小値との差をとり、所定のしき い値 Bよりこの差が小さい場合には、そのマクロブロックを残差取得部 35が残差を取 得する対象から除外する。
ステップ ST6 :
残差取得部 35は、ステップ ST5において輝度差比較部 34が除外しな力つた探索 ブロック I及びテンプレートブロック Tを使用し、上述した残差逐次検定法により残差を 取得する。
[0041] ステップ ST7 :
ブロック選出部 36は、残差取得部 35が取得した、全ての探索ブロック Iにおける残 差積分値 E (X, y)が小さ 、マクロブロックを 10個選出する。
ステップ ST8 :
残差取得部 35は、生 (RAW)データを間引いて ヽな ヽ基準画像及び参照画像を ノ ッファメモリ 5から読み出し、ステップ ST7においてブロック選出部が選出したマクロ ブロックに対して、間引!、て 、な 、データを基に再度残差積分値を算出する。 このステップにおける残差取得部 35の処理は、手ぶれ量検出部 3の手ぶれ量検出 処理全体の精度を上げるためになされる。
[0042] ステップ ST9 :
手ぶれ量取得部 37は、探索ブロック I内で残差が最小値をとるテンプレートブロック Tの位置を、ステップ ST8において残差取得部 35が取得した、間引いていないデー タに対する残差積分値を基に求め、ブロック選出部 36が選出したマクロブロックで間 引きせずに積分値 E (X, y)を求めて大き 、または小さ 、もの力も順に並べたときの中 央値を抽出し手ぶれ量とする。
[0043] ステップ ST10 :
画像合成部 4は、ステップ ST9にお 、て手ぶれ量取得部 37が取得した手ぶれ量を 基に、カメラ 2が撮影した (間引いていない)基準画像と参照画像を合成し、手ぶれ補 正を行った補正画像を作成する。
[0044] 以上説明したように、本実施形態の撮像装置 1によれば、手ぶれ量を検出する際に 、ブロック選出部 36が小さ 、残差積分値を有するブロックの小さ!/、ものを所定の数或 いは割合だけ選出し、当該所定の数のブロックを基に残差積分値が最小となるテン プレート画像の位置を求め、それを基に手ぶれ量を検出しているので、手ぶれ量検 出処理全体の処理量が少なくて済み、処理に力かる時間も短くて済む。
[0045] 更に、本実施形態の撮像装置 1によれば、データ間引き部 31が基準画像及び参 照画像の生 (RAW)データのデータの内、 Gr (緑)の成分のみを抽出し、他の成分を 間引いて、間引き基準画像および間引き参照画像を作成し、後の処理において間引 き画像を使用しているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理 にかかる時間も短くて済む。また、残差取得部 35は、間引き画像を基に残差積分値 を取得した後、間引いていない画像を基に再度残差積分値を取得しているので、精 度の高 、手ぶれ量検出処理を行うことができる。
[0046] また、本実施形態の撮像装置 1によれば、ブロック抽出部 33が探索ブロック I及びテ ンプレートブロック Tを抽出して力も残差取得部 35が残差積分値を取得するまでの間 に、輝度差比較部 34が、各マクロブロック〖こ対し、輝度値の最大値と最小値との差を とり、所定のしきい値 Bよりこの差が小さい場合には、そのマクロブロックを残差取得部 35が残差を取得する対象から除外しているので、コントラストが低く残差積分値を取 得できないと予測されるブロックを予め残差取得部 35が残差積分値を取得する処理 力 除外しているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にか 力る時間も短くて済む。
[0047] また、本実施形態の撮像装置 1によれば、残差積分値の計算を行う際に累積値が 所定の値を超えた時点で残差計算を止める残差逐次検定法によってパターンマッチ ングを行っているので、手ぶれ量検出処理全体の処理量が少なくて済み、処理にか 力る時間も短くて済む。
[0048] <第 2実施形態 >
撮像装置の第 2実施形態は、データ間引き部 31が 1Z8間引き画像と 1Z2間引き 画像を作成し、残差取得部 35がまず 1,8間引き画像を使用して残差積分値を求め た (粗サーチ： coarse search)後、残差積分値が小さいブロックを所定数抽出してその 中で 1Z2間引き画像に対して再度残差積分値も求める（精サーチ: fine search)こと を除いて、第 1実施形態の撮像装置 1と同様である。
[0049] 以下、第 1実施形態の撮像装置 1と異なる各構成について説明する
データ間引き部 31は、カメラ 2が撮影した基準画像及び参照画像それぞれの生 (R AW)データを 1Z2或いは 1Z8に間引いた間引き画像を作成する。 1Z2間引き画 像は、縦横それぞれの画素のうち 2つに 1つの画素のみを抽出して作成された間引き 画像であり、 1Z8間引き画像は縦横それぞれの画素のうち 8つに 1つの画素のみを 抽出して作成された間弓 Iき画像である。
[0050] 間引く方法は本発明では限定しない。例えば、 1Z2間引きの方法としては、カメラ 2が撮影した基準画像及び参照画像それぞれの生 (RAW)データを基に、この 4種 類の色データのうち先頭の緑のデータ (Gr)のみを抽出する方法等がある。更に、本 実施形態では Grのみを抽出している力 本発明はこれに限定されず、 R、 B、 Gbの いずれか 1つを抽出してもよい。また、 1Z2間引き画像の代わりに、間引かない生 (R AW)データを使用してもよ!、。
[0051] 残差取得部 35が、まず 1Z8間引き画像の探索ブロック I及びテンプレートブロック T を使用し、上述した残差逐次検定法により残差を取得する (粗サーチ)。残差取得時 の探索ブロック Iとテンプレートブロック Tを図 6に示す。
図 6は、探索ブロック Iがテンプレートブロック Τに探索される様子を示した図である。 図 6に示すように、テンプレートブロック Τは 1画素ずつ移動しながら探索ブロック内を サーチしていく。
[0052] ブロック選出部 36は、輝度差比較部 34が、各マクロブロックに対し、輝度値の最大 値と最小値との差をとり、所定のしきい値 Βよりこの差が小さい場合には、そのマクロ ブロックを残差取得部 35が残差を取得する対象から除外し、残差取得部 35が取得 した、全ての探索ブロック Iにおける残差積分値 E (x, y)の最小値を比較した後、最 小値が小さい残差積分値を有する探索ブロック Iの小さいものを所定の数だけ抽出す る。或いは、所定の数のブロックを抽出する代わりに、全ブロック数の所定の割合の ブロックを抽出してもよい。
本実施形態では、例えば、 9個のブロックを抽出する。
[0053] 次に残差取得部 35は、探索ブロック I内でブロック選出部 36が選出した 9個のマク ロブロック〖こ対して、 1/2間引き画像で積分値 E (x, y)を求める（精サーチ)。
1Z2間引き画像の残差積分値を求める際には、上述したブロック抽出部 33、残差 取得部 35及びブロック選出部 36が 1Z8間引き画像に対して求めた残差積分値が 小さい画素の近傍の画素のみに対して残差積分値の算出を行えばよいので、手ぶ れ量取得部の計算量は従来に比べ格段に少なくなる。
[0054] ここで、図 7と関連付けて 1Z8間引き画像と、 1Z2間引き画像との関係について説 明する。
図 7に示す〇印は、 1Z8間引き画像において残差積分値算出が行われる画素を 表しており、図 7に示す X印は、 1Z2間引き画像において残差積分値算出が行われ る画素を示している。 1Z2間引き画像における残差積分値算出が行われる画素の 内縦横それぞれ 4個毎に 1Z8間引き画像において残差積分値算出が行われる画素 があることがわかる。
すなわち、 1Z8間引き画像において、図 7の aの画素がそのブロックにおける残差 積分値最小となる画素であったとすると、 1Z2間引き画像においては、図 7の点線で 囲まれた範囲内に残差積分値が最小となる画素が存在していることがわかる。 [0055] 手ぶれ量取得部 37は、以上のようにして求めた 1Z2間引き画像での残差積分値 E (x, y)を小さいものから順に並べた時の中央値を算出して、この画像の手ぶれ量と する。なお、本実施形態では中央値としたが、本発明はこれに限定されず、所定順 位のものであればよい。
手ぶれ量検出部 3は、上述した方法で手ぶれ量を検出する。
[0056] 次に、本実施形態の撮像装置 1の動作例について説明する。
図 8は、第 2実施形態の撮像装置 1の動作例を示すフローチャートである。
[0057] ステップ ST11 :
カメラ 2は、露出条件を変えて 1枚の基準画像と、 1または複数枚の参照画像とを撮 影する。
ステップ ST12 :
データ間引き部 31は、ステップ ST11にお 、てカメラ 2が撮影した基準画像及び参 照画像の生データから 1Z8間弓 Iき画像および 1Z2間弓 Iき画像を作成する。
ステップ ST13 :
マクロブロック分割部 32は、ステップ ST12においてデータ間引き部 31が作成した 1Z8間引き画像の基準画像及び参照画像を、例えば 10 X 10個のマクロブロックに 分割する。
[0058] ステップ ST14 :
ブロック抽出部 33力 ステップ ST13においてマクロブロック分割部 32が 10 X 10個 のマクロブロックに分割した 1Z8間引き画像の基準画像及び参照画像から、探索ブ ロック Iを抽出し、参照画像からは、テンプレートブロック Tを抽出する。
[0059] ステップ ST15 :
輝度差比較部 34は、各画素の輝度値の最大値と最小値との差をとり、所定のしき い値 Bよりこの差が小さい場合には、そのマクロブロックを残差取得部 35が残差を取 得する対象から除外する。
ステップ ST16 :
残差取得部 35は、ステップ ST15において輝度差比較部 34が除外しな力つた探 索ブロック I及びテンプレートブロック Tを使用し、上述した残差逐次検定法により残 差を取得する。
[0060] ステップ ST17 :
ブロック選出部 36は、残差取得部 35が取得した、全ての探索ブロック Iにおける残 差積分値 E (X, y)が小さ ヽマクロブロックを 9個選出する。
ステップ ST18 :
残差取得部 35は、 1Z2間引き画像の基準画像及び参照画像を、ステップ ST17 においてブロック選出部が選出したマクロブロックに対して、再度残差積分値を算出 する。
このステップにおける残差取得部 35の処理は、手ぶれ量検出部 3の手ぶれ量検出 処理全体の精度を上げるためになされる。
[0061] ステップ ST19 :
手ぶれ量取得部 37は、探索ブロック I内で残差が最小値をとるテンプレートブロック Tの位置を、ステップ ST18において残差取得部 35が取得した、 1Z2間引き画像に 対する残差積分値を基に求め、ブロック選出部 36が選出したマクロブロックにおいて 1/2間引き画像の残差積分値 E (x, y)を求めて小さいものから順に並べたときの中 央値を抽出し手ぶれ量とする。
[0062] ステップ ST20 :
画像合成部 4は、ステップ ST19にお 、て手ぶれ量取得部 37が取得した手ぶれ量 を基に、カメラ 2が撮影した（間引いていない)基準画像と参照画像を合成し、手ぶれ 補正を行った補正画像を作成する。
[0063] 以上説明したように、本第 2実施形態の撮像装置 1によれば、ブロック抽出部 33が 探索ブロック I及びテンプレートブロック Tを抽出して力 残差取得部 35が残差積分 値を取得するまでの間に、輝度差比較部 34が、各マクロブロック〖こ対し、輝度値の最 大値と最小値との差をとり、所定のしきい値 Bよりこの差が小さい場合には、そのマク ロブロックを残差取得部 35が残差を取得する対象から除外して ヽるので、コントラスト が低く残差積分値を取得できないと予測されるブロックを予め残差取得部 35が残差 積分値を取得する処理から除外して 、るので、手ぶれ量検出処理全体の処理量が 少なくて済み、処理に力かる時間も短くて済む。 なお、第 1実施形態と同様に、手ぶれ量を検出する際にブロック選出部 36が小さい 残差積分値を有するブロックの小さ ヽものを所定の数或 、は割合だけ選出してもよく 、また手ぶれ量取得部 37は、本実施形態では中央値を手ぶれ量としたが、本発明 はこれに限定されず、所定順位のものを手ぶれ量とすればよ!、。
[0064] <第 3実施形態 >
撮像装置 1の第 3実施形態は、残差積分値力 S小さいブロックを選出するための残差 取得部 35の残差算出時に、所定の範囲の残差のみを算出することを除いて、第 2実 施形態と同様である。
すなわち、残差取得部 35は、 1Z8間引き画像を使用して残差積分値を求め (粗サ ーチ)る際に、全ての範囲の画素に対して残差積分値を算出せず、所定の範囲のみ の画素に対して残差の算出を行う。
[0065] 本第 3実施形態の残差取得部 35が粗サーチ時に残差を算出する所定の範囲につ いて、図 9と関連付けて説明する。
図 9に示すように、残差取得部 35は、 1Z8に間引いた画像の、例えば 5%の画素 が存在する範囲のみに対して残差算出を行う。すなわち、当該画像が 3メガピクセル (2048画素 X 1536画素）であったならば、水平方向には 2048,5,20=約 13 (画 素）のみ残差算出を行い、垂直方向には153578 20=約10 (画素）に対しての み残差算出を行う。従って残差算出に要する時間は大幅に短縮される。
[0066] なお、 5%という値は一例であり、本発明はこれには限定されない。 5%という値は、 手ぶれを検出するために最低限必要であると!/、う、経験力も導かれた値である。
[0067] 以上説明したように、本第 3実施形態の残差取得部 35は、 1Z8間引き画像を使用 して残差積分値を求める (粗サーチ)際に、全ての範囲の画素に対して残差積分値 を算出せず、所定の範囲のみの画素に対して残差の算出を行うので、残差算出に要 する時間は大幅に短縮され、手ぶれ補正に要する時間も少なくて済む。
[0068] <第 4実施形態 >
[0069] 撮像装置 1の第 4実施形態は、手ぶれ量取得部 37が手ぶれ量を取得する際に、残 差取得部 35が求めた 1Z2間引き画像での残差積分値 E (x, y)を基に、ブロック選 出部 36が選出した各ブロックの動きベクトルを検出し、当該動きベクトルの各成分を 代償を基準に並べ替えた際の所定の順位のものを成分とする動きベクトルを手ぶれ 量とすることを除いて、第 2実施形態と同様である。
[0070] 以下具体的に説明する。
手ぶれ量取得部 37は、第 2実施形態において説明したように残差取得部 35が取 得した 1/2間引き画像での残差積分値 E (x, y)を基に、ブロック選出部 36が選出し た各ブロック (本実施形態では 9個のブロック）の動きベクトルを検出する。手ぶれ量 取得部 37は、探索ブロック I内で残差が最小値をとるテンプレートブロック Tの位置を 当該探索ブロック I及びテンプレートブロックを含むブロックの動きベクトルとして検出 する。
次に、検出された 9個の動きベクトルのうち、それぞれの X成分と y成分の大きい順（ 小さ 、順でも可)カゝら所定の順位のものを X成分、 y成分としたベクトルを画像全体の 動きベクトル、すなわち手ぶれ量とする。
[0071] 手ぶれ量取得部 37の、選出された各ブロックの動きベクトルから手ぶれ量を求める 具体的な例について説明する。
例えば、ここでは 9個の動きベクトルの内大きい順に 5番目の X成分、 y成分を要素と したベクトルを抽出する場合について説明する。
選出された 9個のブロックの動きベクトルが（xl, yl)、 (x2, y2)、 (x3, y3)、 (x4, y4)、 (x5, y5)、 (x6, y6)、 (x7, y7)、 (x8, y8)、 (x9, y9)であるとする。
x成分を大きい順に並べると、 X8 >x6 >x4>x2>x9 >x7>x5 >x3 >xlである とする。
y成分を大きい順に並べると、 X9 >x6 >x3 >x8 >x5 >x2>x7>x4>xlである とする。
この場合、 X成分の大きい順から 5番目は x9、 y成分の大きい順から 5番目は y5で あるため、手ぶれ量取得部 37が取得する画像全体の動きベクトル (手ぶれ量）は、（X 9, y5)となる。
手ぶれ量検出部 3は、上述した方法で手ぶれ量を検出する。
[0072] 以上説明したように、第 4実施形態の撮像装置 1によれば、手ぶれ量取得部 37が 選出された各ブロックの動きベクトルの X成分、 y成分それぞれにつ ヽて大き ヽまたは 小さ！/、順に並べたときの所定の順位のものを x成分、 y成分とする動きベクトルを手ぶ れ量とするので、より精度が高い手ぶれ量検出を行うことができる。
[0073] なお、第 4実施形態では、手ぶれ量取得部 37は、ブロック選出部 36が選出した所 定数のブロックの動きベクトルのうち、それぞれの X成分と y成分の大き 、順 (小さ 、順 でも可)から所定の順位のものを X成分、 y成分としたベクトルを抽出して、抽出したベ タトルを画像全体の動きベクトル、すなわち手ぶれ量としたが、本発明の変形例とし て、以下のような構成とすることも可能である。
すなわち、手ぶれ量取得部 37は、ブロック選出部 36が選出した所定数のブロック の動きベクトルの絶対値のうち、大きい順 (小さい順でも可）に所定の順位のベクトル を画像全体の動きベクトル、すなわち手ぶれ量としてもよ 、。
[0074] さらに、第 4実施形態では、残差取得部 35が探索ブロック I内でブロック選出部 36 が選出した所定数のブロックに対して、 1Z2間引き画像で残差積分値 E (x, y)を求 め、手ぶれ量取得部 37が残差積分値 E (x, y)を基に選出されたブロックの動きべク トルを求めている力 本発明ではこの過程を省略することも可能である。すなわち、手 ぶれ量取得部 37は、ブロック選出部 36が残差が小さ 、ブロックを所定数選出したら 、選出されたブロックの動きベクトルを検出し、この所定数の動きベクトルのうち、それ ぞれの X成分と y成分の大き 、順 (小さ 、順でも可)力 所定の順位のものを X成分、 y 成分としたベクトルを取ることで画像全体の動きベクトル、すなわち手ぶれ量を求めて もよ！/、 (あるいは動きベクトルの大き 、 (小さ 、)順力も所定順位の動きベクトルを手ぶ れ量としてもよい)。この場合、第 4実施形態よりさらに計算量を省略することが可能で ある。
なお、この場合の動きベクトルの検出方法は本発明では限定しない。
[0075] 本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上 述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネー シヨン、並びに代替を行ってもよい。
[0076] また、本実施形態においては、ブロック抽出部 33が探索ブロック I及びテンプレート ブロック Tを抽出して力も残差取得部 35が残差積分値を取得するまでの間に、輝度 差比較部 34が、各マクロブロック〖こ対し、輝度値の最大値と最小値との差をとり、所 定のしきい値 Bよりこの差が小さい場合には、そのマクロブロックを残差取得部 35が 残差積分値を取得する対象から除外しているが、本発明はこれには限定されず、例 えば、輝度差比較部 34は、ブロック選出部 36が、全ての探索ブロック Iにおける残差 積分値 E (x, y)の最小値を比較し、最小値が小さい残差積分値を有する探索ブロッ ク Iの小さいものを所定数抽出した直後に (すなわち、図 5におけるステップ ST9と ST 10の間で）、輝度差を取得し、輝度差がしきい値以下のブロックに対しては残差積分 値を取得する対象から除外する処理を行ってもょ ヽ。
[0077] また、本実施形態においては、データ間引き部 31は Gr成分のみ抽出し残りの成分 は間引いていたが、本発明はこれには限定されず、例えば他の成分のみ抽出したり 、或いは 2つの成分を抽出したりしてもよい。
[0078] 本実施形態において、手ぶれ量検出部 3は手ぶれ量検出のための構成として、デ ータ間引き部 31、マクロブロック分割部 32、ブロック抽出部 33、輝度差比較部 34、 残差取得部 35、ブロック選出部 36、手ぶれ量取得部 37とを更に有していた力 これ ら手ぶれ量検出部 3の各構成は、それらの処理を行うためのハードウェアとして撮像 装置 1に組み込まれて 、てもよ 、し、手ぶれ量検出部 3の制御に従 、処理を行うソフ トウエアであってもよい。
[0079] また、本実施形態にぉ 、ては、手ぶれ量検出処理はカメラ 2が撮像した生 (RAW) データ (RGBべィヤー配列のデータ）に対して行っている力 本発明はこれには限定 されない。すなわち、例えば、画像を信号処理後に、 YUV形式における輝度信号 Y を用いて手ぶれ量検出処理を行うこともできる。
[0080] また、第 2及び第 3実施形態において、 1Z8間引き画像及び 1Z2間引き画像を作 成して粗サーチと精サーチを行った力 間引き率については本発明では限定しない 。例えば、 1Z16間引き画像で粗サーチを行い、間引いていない画像で精サーチを 行っても良い。
産業上の利用可能性
[0081] 手ぶれ補正を行うデジタルカメラ、ビデオカメラ等の撮像機器において利用すること ができる。

Claims

請求の範囲
[1] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行 ヽぶ れ量を検出するぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で構成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値の小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
前記ブロック選出部が選出した前記各マクロブロックに対して前記残差取得部で再 度残差を取得し、残差積分値が大き 、または小さ!、ものから順に並べた時の所定順 位の値をぶれ量とするように構成されたぶれ量取得部と、
を有するぶれ量検出装置。
[2] 前記ブロック抽出部は、前記参照画像を基に、隣接する複数のマクロブロックの中 央に位置する所定の大きさのブロックを抽出して前記第 2のブロックとし、前記基準画 像を基に、前記参照画像の隣接する複数のマクロブロックに対応する隣接する複数 のマクロブロック分のブロックを抽出して前記第 1のブロックとする
請求項 1に記載のぶれ量検出装置。
[3] 前記残差取得部が前記残差を取得するより前に、前記各マクロブロックに対して輝 度値の最大値と最小値との差を算出し、当該差が所定のしきい値よりも小さいと判定 した場合に、当該差を有するマクロブロックを前記残差取得部が残差を取得する対 象から除外する輝度差比較部 を更に有する請求項 2に記載のぶれ量検出装置。
[4] 前記ブロック選出部が前記所定数の前記マクロブロックを選出した後に、輝度値の 最大値と最小値との差を算出し、当該差が所定のしきい値よりも小さいと判定した場 合に、当該差を有するマクロブロックを前記残差取得部が残差を取得する対象から 除外する輝度差比較部
を更に有する請求項 2に記載のぶれ量検出装置。
[5] 前記基準画像及び参照画像の生 (RAW)データの所定の成分のみを抽出し、間 引いて間引き画像を生成するデータ間弓 Iき部
を更に有し、
前記マクロブロック分割部及び前記ブロック抽出部は、前記基準画像及び前記参 照画像の代わりに、前記データ間弓 Iき部が生成した前記間弓 Iき画像を使用する 請求項 1から 4のいずれか一項に記載のぶれ量検出装置。
[6] 前記残差取得部は、前記間引き画像を使用して残差積分値を求める粗サーチに て残差積分値を求め、
前記ブロック選出部は、前記残差取得部が粗サーチにて求めた残差積分値が小さ V、マクロブロックを所定数選出し、
前記残差取得部は、前記ブロック選出部が選出したマクロブロックに対して、前記 間引き画像より少ない間引き量の間引き画像、または非間引き画像を使用して残差 積分値を求める、前記粗サーチよりも詳細に行う精サーチにて残差積分値を取得す る
請求項 5に記載のぶれ量検出装置。
[7] 前記残差取得部は、前記粗サーチ時にブロック選出部が選出した前記残差積分 値が小さいマクロブロックに対して前記精サーチする際に、前記粗サーチ時にブロッ ク内で最小の残差を取得した近傍の画素に対してのみ残差取得を行う
請求項 6に記載のぶれ量検出装置。
[8] 前記残差取得部は、前記ブロック抽出部が抽出した前記第 1のブロック及び第 2の ブロックの残差を取得する際に、全ての範囲の残差を取得せず、所定の範囲のみの 残差を取得する 請求項 1から 7のいずれか一項に記載のぶれ量検出装置。
[9] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽ撮 像装置のぶれ補正を検出するぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で形成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値が小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルを所定の 順序で並べた際の所定順位の動きベクトルをぶれ量とするように構成されたぶれ量 取得部と、
を有するぶれ量検出装置。
[10] 前記残差取得部は、前記ブロック選出部が選出した前記残差積分値が小さいマク ロブロックに対して再度残差を取得し、前記ぶれ量取得部に出力する
請求項 9に記載のぶれ量検出装置。
[11] 前記ぶれ量取得部は、前記ブロック選出部によって選出されたブロック毎に動きべ タトルを取得し、該取得した動きベクトルの X成分、 y成分それぞれの大きいまたは小 さい順力 所定順位のものを成分とする動きベクトルをぶれ量とする
請求項 9または 10に記載のぶれ量検出装置。
[12] 前記ぶれ量取得部は、前記残差取得部が前記ブロック選出部によって選出された ブロックの最小となった画素の近傍の所定の範囲のみで前記残差積分値が小さいマ クロブロックを所定数選出するときよりも詳細に行う前記精サーチを行った結果からぶ れ量を算出する
請求項 9から 11のいずれか一項に記載のぶれ量検出装置。
[13] 前記ぶれ量取得部は、前記残差取得部が前記ブロック選出部によって選出された ブロックの最小となった画素の近傍の所定の範囲のみで前記残差積分値が小さいマ クロブロックを所定数選出するときよりも詳細に行う前記精サーチを行った結果力 動 きベクトルを取得し、取得した動きベクトルを X成分、 y成分それぞれの大きいまたは 小さい順力 所定順位のものを成分とする動きベクトルをぶれ量とする
請求項 9から 11のいずれか一項に記載のぶれ量検出装置。
[14] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽぶ れ量を検出し当該ぶれ量を基にぶれ補正を行うぶれ補正装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で構成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値が小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
前記ブロック選出部が選出した前記各マクロブロックに対して前記残差取得部で再 度残差を取得し、残差積分値が大き 、または小さ!、ものから順に並べた時の所定順 位の値をぶれ量とするように構成されたぶれ量取得部と、
前記ぶれ量算出部の求めた前記ぶれ量を基に、前記複数枚の画像を合成するよう に構成された画像合成部と、 を有するぶれ補正装置。
[15] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽぶ れ量を検出し当該ぶれ量を基にぶれ補正を行うぶれ補正装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で形成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値が小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルを所定の 順序で並べた際の所定順位の動きベクトルをぶれ量とするように構成されたぶれ量 取得部と、
を有するぶれ補正装置。
[16] 被写体像を撮影する撮像装置であって、
それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!、ぶ れ量を検出するように構成されたぶれ量検出装置を有し、
当該ぶれ量検出装置は、
露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽ撮像装置の ぶれ補正を検出するぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で構成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値が小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
前記ブロック選出部が選出した前記各マクロブロックに対して前記残差取得部で再 度残差を取得し、残差積分値が大き 、または小さ!、ものから順に並べた時の所定順 位の値をぶれ量とするように構成されたぶれ量取得部と、
を有する撮像装置。
被写体像を撮影する撮像装置であって、
それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!、ぶ れ量を検出するように構成されたぶれ量検出装置を有し、
当該ぶれ量検出装置は、
露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽ撮像装置の ぶれ補正を検出するぶれ量検出装置であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割するように構 成されたマクロブロック分割部と、
前記マクロブロック分割部が分割した前記基準画像から 1または複数で形成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出するように構成さ れたブロック抽出部と、
前記ブロック抽出部が抽出した前記第 1のブロックと第 2のブロックとの残差を取得 し、該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得するよう に構成された残差取得部と、
前記残差取得部が取得した該残差積分値が小さいマクロブロックを所定数選出す るように構成されたブロック選出部と、
該選出されたブロック毎に動きベクトルを取得し、該取得した動きベクトルを所定の 順序で並べた際の所定順位の動きベクトルをぶれ量とするように構成されたぶれ量 取得部と、
を有する撮像装置。
[18] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽぶ れ量を検出するぶれ量検出方法であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第 1のェ 程と、
前記第 1の工程において分割された前記基準画像から 1または複数で構成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で構成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出する第 2の工程と 前記第 2の工程において抽出された前記第 1のブロックと第 2のブロックとの残差を 取得し、該取得した前記残差を基に、前記マクロブロック毎に残差積分値を取得する 第 3の工程と、
前記第 3の工程にぉ ヽて取得された該残差積分値の小さ!/ヽマクロブロックを所定数 選出する第 4の工程と、
前記第 4の工程において選出された前記各マクロブロックに対して再度残差を取得 し、残差積分値が大き 、または小さ 、ものから順に並べた時の所定順位の値をぶれ 量とする第 5の工程と、
を有するぶれ量検出方法。
[19] それぞれ露出条件の異なる基準画像と参照画像を基に、マッチング処理を行!ヽぶ れ量を検出するぶれ量検出方法であって、
前記基準画像及び参照画像をそれぞれ複数のマクロブロックに分割する第 6のェ 程と、
前記第 1の工程において分割された前記基準画像から 1または複数で形成される 所定の大きさのマクロブロックによって構成される第 1のブロックを抽出し、前記マクロ ブロック分割部が分割した参照画像のマクロブロックから 1または複数で形成される所 定の大きさのマクロブロックによって構成される第 2のブロックを抽出する第 7の工程と 前記第 7の工程において抽出された前記第 1のブロックと第 2のブロックとの残差を 取得し、該取得した前記残差を基に、前記マクロブロックごとに残差積分値を取得す る第 8の工程と、
前記第 8の工程にぉ ヽて取得された残差積分値が小さ!/ヽマクロブロックを所定数選 出する第 9の工程と、
前記第 9の工程において選出されたブロック毎に動きベクトルを取得し、該取得した 動きベクトルを所定の順序で並べた際の所定順位の動きベクトルをぶれ量とする第 1 0の工程と、
を有するぶれ量検出方法。
PCT/JP2006/325782 2005-12-26 2006-12-25 ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 WO2007074774A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/159,366 US8542278B2 (en) 2005-12-26 2006-12-25 Shaking detection device, shaking correction device, imaging device, and shaking detection method
CN2006800534445A CN101390381B (zh) 2005-12-26 2006-12-25 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2005373578 2005-12-26
JP2005-373578 2005-12-26
JP2006-104721 2006-04-05
JP2006-104722 2006-04-05
JP2006104722 2006-04-05
JP2006104721A JP5079253B2 (ja) 2006-04-05 2006-04-05 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2006178742A JP5079271B2 (ja) 2006-06-28 2006-06-28 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2006-178742 2006-06-28
JP2006227048A JP5079284B2 (ja) 2005-12-26 2006-08-23 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2006-227048 2006-08-23

Publications (1)

Publication Number Publication Date
WO2007074774A1 true WO2007074774A1 (ja) 2007-07-05

Family

ID=38217994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/325782 WO2007074774A1 (ja) 2005-12-26 2006-12-25 ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法

Country Status (3)

Country Link
US (1) US8542278B2 (ja)
CN (1) CN101390381B (ja)
WO (1) WO2007074774A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800652B2 (en) 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961800B2 (ja) * 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
CN101729665B (zh) * 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
CN102509285A (zh) * 2011-09-28 2012-06-20 宇龙计算机通信科技(深圳)有限公司 一种拍摄出模糊图片的处理方法、系统及拍摄设备
US9413675B2 (en) * 2012-07-25 2016-08-09 Nec Corporation Data transmission apparatus, data division apparatus and data division method
JP6188533B2 (ja) * 2013-10-24 2017-08-30 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP6472336B2 (ja) 2014-06-18 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104410855A (zh) * 2014-11-05 2015-03-11 广州中国科学院先进技术研究所 一种监控视频的抖动检测方法
JP6535524B2 (ja) * 2015-06-30 2019-06-26 オリンパス株式会社 撮像装置
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
CN108446657B (zh) * 2018-03-28 2022-02-25 京东方科技集团股份有限公司 手势抖动识别方法及装置、手势识别方法
WO2020059524A1 (ja) * 2018-09-19 2020-03-26 京セラ株式会社 観察方法および観察装置
WO2020059523A1 (ja) * 2018-09-19 2020-03-26 京セラ株式会社 観察方法および観察装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057336A (ja) * 1991-06-21 1993-01-14 Canon Inc 撮像方法及び撮像装置
JPH05145828A (ja) * 1991-11-22 1993-06-11 Sony Corp 画像の手振れ判定装置
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
JP2003065737A (ja) * 2001-08-28 2003-03-05 Topcon Corp 表面形状測定装置及びその方法、並びに表面状態図化装置
JP2003134388A (ja) * 2001-10-26 2003-05-09 Fujitsu Ltd 補正画像生成装置および補正画像生成プログラム
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2003348429A (ja) * 2002-05-27 2003-12-05 Nikon Corp 電子カメラ、および画像処理プログラム
JP2004127322A (ja) * 2003-12-24 2004-04-22 Asahi Koyo Kk ステレオ画像形成方法及び装置
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置
JP2005149288A (ja) * 2003-11-18 2005-06-09 Tokyo Univ Of Marine Science & Technology 時系列航海画像からの船舶の抽出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169452A (ja) 1992-11-27 1994-06-14 Kyocera Corp 画面に重み付けを持たせた画像圧縮方式
JPH07177519A (ja) 1993-12-20 1995-07-14 Kyocera Corp 動きベクトル検出方法
JPH10108079A (ja) 1996-09-27 1998-04-24 Toyota Central Res & Dev Lab Inc 撮像装置
US5731832A (en) * 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
JPH10336668A (ja) * 1997-06-02 1998-12-18 Sharp Corp 動きベクトル検出装置
JP2003032559A (ja) 2001-07-17 2003-01-31 Victor Co Of Japan Ltd 撮像装置
JP4388293B2 (ja) 2003-03-13 2009-12-24 京セラ株式会社 カメラの手振れ補正装置
KR20060109440A (ko) * 2003-10-27 2006-10-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 전력 최적화 콜로케이팅된 움직임 추정 방법
US20060002471A1 (en) * 2004-06-30 2006-01-05 Lippincott Louis A Motion estimation unit
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
JP4345651B2 (ja) * 2004-11-29 2009-10-14 セイコーエプソン株式会社 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US8130845B2 (en) * 2006-11-02 2012-03-06 Seiko Epson Corporation Method and apparatus for estimating and compensating for jitter in digital video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057336A (ja) * 1991-06-21 1993-01-14 Canon Inc 撮像方法及び撮像装置
JPH05145828A (ja) * 1991-11-22 1993-06-11 Sony Corp 画像の手振れ判定装置
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
JP2003065737A (ja) * 2001-08-28 2003-03-05 Topcon Corp 表面形状測定装置及びその方法、並びに表面状態図化装置
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003134388A (ja) * 2001-10-26 2003-05-09 Fujitsu Ltd 補正画像生成装置および補正画像生成プログラム
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2003348429A (ja) * 2002-05-27 2003-12-05 Nikon Corp 電子カメラ、および画像処理プログラム
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置
JP2005149288A (ja) * 2003-11-18 2005-06-09 Tokyo Univ Of Marine Science & Technology 時系列航海画像からの船舶の抽出方法
JP2004127322A (ja) * 2003-12-24 2004-04-22 Asahi Koyo Kk ステレオ画像形成方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800652B2 (en) 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
US8264555B2 (en) 2007-12-12 2012-09-11 Cyberlink Corp. Reducing video shaking

Also Published As

Publication number Publication date
CN101390381B (zh) 2012-01-25
US20100277602A1 (en) 2010-11-04
CN101390381A (zh) 2009-03-18
US8542278B2 (en) 2013-09-24

Similar Documents

Publication Publication Date Title
WO2007074774A1 (ja) ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
JP4987355B2 (ja) 撮像装置および撮像方法
US9473698B2 (en) Imaging device and imaging method
US8368771B2 (en) Generating a synthesized image from a plurality of images
JP3974634B2 (ja) 撮像装置および撮像方法
JP3974633B1 (ja) 撮像装置および撮像方法
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP4529840B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
KR101605419B1 (ko) 촬상 장치 및 촬상 방법
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
JP6495122B2 (ja) 撮像装置、画像処理方法
JP2004343483A (ja) 手振れ補正装置および方法、手振れ検出装置
JP2008131580A (ja) 撮像装置及び画像処理方法
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP2008277896A (ja) 撮像装置および撮像方法
JP5079271B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
WO2010035752A1 (ja) 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
TWI390972B (zh) The autofocus method in the high noise environment and its application of the digital acquisition device of the method
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP5079284B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP5079253B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008236739A (ja) 撮像装置および撮像方法
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 200680053444.5

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 06843185

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12159366

Country of ref document: US