WO2010100677A1 - 画像処理装置およびぶれ量算出方法 - Google Patents

画像処理装置およびぶれ量算出方法 Download PDF

Info

Publication number
WO2010100677A1
WO2010100677A1 PCT/JP2009/001010 JP2009001010W WO2010100677A1 WO 2010100677 A1 WO2010100677 A1 WO 2010100677A1 JP 2009001010 W JP2009001010 W JP 2009001010W WO 2010100677 A1 WO2010100677 A1 WO 2010100677A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature points
feature
coordinates
component
Prior art date
Application number
PCT/JP2009/001010
Other languages
English (en)
French (fr)
Inventor
渡辺ゆり
村下君孝
渡辺康人
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2009/001010 priority Critical patent/WO2010100677A1/ja
Priority to JP2011502504A priority patent/JPWO2010100677A1/ja
Publication of WO2010100677A1 publication Critical patent/WO2010100677A1/ja
Priority to US13/220,335 priority patent/US20110310262A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Definitions

  • the present invention relates to an apparatus and method for processing a digital image, and can be applied to, for example, a camera shake correction function of an electronic camera.
  • the camera shake correction function is realized by an optical technique or an image processing technique.
  • Image stabilization by image processing is realized, for example, by combining a plurality of images obtained by continuous shooting after positioning.
  • Patent Document 1 As a technique related to camera shake correction, an image processing apparatus that performs position correction using a pixel having a maximum edge strength has been proposed (for example, Patent Document 1). Also, an image processing apparatus has been proposed in which images in the same blur direction are selected from a plurality of frames of images and grouped, and position correction is performed so that the feature points of the grouped images match (for example, Patent Documents). 2). Furthermore, an image processing apparatus has been proposed that tracks a predetermined number of feature points to calculate an overall motion vector of an image frame and corrects camera shake based on the overall motion vector (for example, Patent Document 3). Japanese Patent Laying-Open No. 2005-295302 JP 2006-180429 A JP 2007-151008 A
  • Image shift due to camera shake can be considered separately in translation, rotation, and enlargement / reduction.
  • the movement of the coordinate of the pixel of interest appears as a horizontal movement and a vertical movement regardless of translation, rotation, or enlargement / reduction.
  • FIG. 3A shows a state in which a parallel movement has occurred between the first image and the second image obtained by continuous shooting.
  • the feature point P1 on the first image has moved to P2 on the second image.
  • “X T ” represents the amount of movement in the X direction caused by the parallel movement
  • “Y T ” represents the amount of movement in the Y direction caused by the parallel movement.
  • FIG. 3B shows a state where rotation has occurred between images.
  • the feature point P1 on the first image is moved to P2 on the second image by rotating the image by the angle ⁇ .
  • “X R ” represents a horizontal movement amount caused by the rotation
  • “Y R ” represents a vertical movement amount caused by the rotation.
  • FIG. 3C shows a state where enlargement / reduction occurs between images.
  • the feature point P1 on the first image is moved to P2 on the second image by enlarging the image by S times.
  • “X S ” represents the amount of horizontal movement caused by enlargement
  • “Y S ” represents the amount of vertical movement caused by enlargement.
  • the amount of movement of the image due to camera shake may include a moving component due to rotation and scaling. That is, the movement amount “xx ′” generally includes a parallel movement component (X T ), a movement component (X R ) due to rotation, and a movement component (X S ) due to enlargement / reduction. Similarly, the movement amount “yy ′” generally includes a parallel movement component (Y T ), a movement component (Y R ) due to rotation, and a movement component (Y S ) due to enlargement / reduction.
  • the translation component (X T , Y T ) is constant in all the regions in the image.
  • the moving components (X R , Y R ) due to rotation and the moving components (X S , Y S ) due to enlargement / reduction differ depending on the position in the image.
  • a blur amount calculation method is a method of calculating a blur amount using a first image and a second image obtained by continuous shooting, and a center point in the first image.
  • the first and second feature points existing at positions symmetrical to the second image are extracted, the first and second feature points are searched for in the second image, and the first image is extracted from the first image.
  • the amount of blur is calculated based on the coordinates of the first and second feature points and the coordinates of the first and second feature points searched for in the second image.
  • the first and second feature points exist at positions symmetrical to each other with respect to the center point of the first image. Therefore, if the coordinates of the first and second feature points are used, it is possible to cancel a movement component that is symmetrical with respect to the image center point in the movement amount between the first and second images.
  • positional deviation between a plurality of images obtained by continuous shooting can be accurately separated for each component.
  • FIG. (1) explaining the method to extract a symmetrical position feature point.
  • FIG. (2) explaining the method to extract a symmetrical position feature point.
  • It is an Example of the size of an extraction area.
  • It is a figure explaining the blur amount detection method of other embodiment.
  • It is a figure explaining the blur amount detection method of other embodiment.
  • It is a figure which shows the hardware constitutions regarding the image processing apparatus of embodiment.
  • FIG. 4 is a flowchart showing an example of a camera shake correction process.
  • camera shake is corrected using two images obtained by continuous shooting.
  • camera shake correction camera shake is suppressed by taking an image with an exposure time shorter than usual.
  • the exposure time is short, noise is generated in the image. Therefore, random noise is suppressed by continuously shooting and synthesizing the images.
  • short-time exposure photography and image composition it is possible to obtain a camera-shake correction image with little camera shake and with reduced noise caused by short-time exposure photography.
  • step S1 two images (first image and second image) are generated by continuous shooting with an exposure time shorter than usual.
  • step S2 a shift amount of the second image with respect to the first image is calculated.
  • step S3 the second image is converted so as to correct the calculated shift amount.
  • step S4 the first image and the converted second image are synthesized. Thereby, a camera shake correction image is generated.
  • step S3 for example, affine transformation is performed according to the following equation (1).
  • dx is the horizontal shift amount
  • dy is the vertical shift amount
  • ⁇ is the rotation angle of the camera in the ROLL direction
  • S is an enlargement / reduction ratio generated by the camera moving in the perspective direction.
  • (X, y) is the coordinates of the image before conversion
  • (x ′, y ′) is the coordinates of the image after conversion.
  • FIG. 5 An example of image conversion by affine transformation is shown in FIG. In the example shown in FIG. 5, the image is translated and rotated clockwise by affine transformation.
  • FIG. 6 is a diagram illustrating a shake amount detection method according to the embodiment.
  • the amount of blur between two images (first image and second image) obtained by continuous shooting is detected.
  • the parallel movement component and the rotation component are mixed and there is no enlargement / reduction component.
  • the time interval for capturing two images is such that the camera that captures the image does not move significantly during that time, that is, the two images are captured in common. It is desirable that the time interval is short so that the exposed area is not lost.
  • the blur amount is detected using a set of feature points Pa and Pb.
  • the feature points Pa and Pb may be referred to as feature points Pa1 and Pb1 in the first image, respectively, and may be referred to as feature points Pa2 and Pb2 in the second image, respectively.
  • a set of feature points Pa and Pb (Pa 1 and Pb 1 in FIG. 6) existing at positions symmetrical to the center point C are extracted from the first image (reference image). Is done.
  • the coordinates of the center point C of the image are defined as (0, 0). Therefore, the coordinates of the feature point Pa1 are (x, y), and the coordinates of the feature point Pb1 are ( ⁇ x, ⁇ y).
  • the second image search image
  • feature points Pa and Pb (Pa 2 and Pb 2 in FIG. 6) are searched.
  • the second image is moved relative to the first image due to camera shake.
  • the movement amount of the feature point Pa ie, the motion vector of the feature point Pa
  • the movement amount of the feature point Pb ie, the motion vector of the feature point Pb
  • the coordinates of the feature point Pa2 are (x + ⁇ Xa, y + ⁇ Ya)
  • the coordinates of the feature point Pb2 are ( ⁇ x + ⁇ Xb, ⁇ y + ⁇ Yb).
  • the hand movement includes a rotation component
  • the movement amount of the feature point Pa and the movement amount of the feature point Pb are generally different from each other.
  • Horizontal movement amount ⁇ Xa feature point Pa as shown in FIG. 6, the sum of the translation component X T and the rotation component X R.
  • the amount of movement ⁇ Ya in the vertical direction of the feature point Pa is the sum of the translation component Y T and the rotation component Y R. That is, the following relationship is obtained.
  • ⁇ Xa X T + X R
  • ⁇ Ya Y T + Y R
  • the movement amount of the feature point Pb is also expressed by the sum of the parallel movement component and the rotation component.
  • the parallel movement component of the image movement due to camera shake is the same at all positions on the image.
  • the translation component of the movement amount of the feature point Pb is the same as that of the feature point Pa, and is “X T , Y T ”.
  • the rotational component of image movement due to camera shake differs depending on the position on the image.
  • the feature points Pa and Pb exist at positions symmetrical with respect to the center point C. Therefore, when the rotation component of the movement amount of the feature point Pa is “X R , Y R ”, the rotation component of the movement amount of the feature point Pb is “ ⁇ X R , ⁇ Y R ”. That is, the following relationship is obtained.
  • the average value of the movement amounts of the feature points Pa and Pb represents a parallel movement component of the movement amount due to camera shake. That is, by calculating the average value of the movement amounts of the feature points Pa and Pb, the parallel movement components “X T , Y T ” of the camera shake can be obtained.
  • the movement amount “ ⁇ Xa, ⁇ Ya” of the feature point Pa is based on a difference (that is, a motion vector) between the coordinates of the feature point Pa on the first image and the coordinates of the feature point Pa on the second image. can get.
  • the movement amount “ ⁇ Xb, ⁇ Yb” of the feature point Pb is obtained by the difference between the coordinates of the feature point Pb on the first image and the coordinates of the feature point Pb on the second image.
  • the horizontal movement amount ⁇ Xa of the feature point Pa is the sum of the parallel movement component XT and the enlargement / reduction component X S as shown in FIG.
  • the vertical movement amount ⁇ Ya of the feature point Pa is the sum of the translation component Y T and the rotation component Y S. That is, the following relationship is obtained.
  • the movement amount of the feature point Pb is also expressed by the sum of the parallel movement component and the enlargement / reduction component.
  • the enlargement / reduction component of image movement due to camera shake varies depending on the position on the image.
  • the feature points Pa and Pb exist at positions symmetrical with respect to the center point C. Therefore, when the enlargement / reduction component of the movement amount of the feature point Pa is “X S , Y S ”, the enlargement / reduction component of the movement amount of the feature point Pb is “ ⁇ X S , ⁇ Y S ”. That is, the following relationship is obtained.
  • the enlargement / reduction component “X S , Y S according to the following formula is obtained by subtracting the translation component from the movement amount of the feature point. Is calculated.
  • X S ⁇ Xa-X T
  • Y S ⁇ Ya-Y T
  • the enlargement / reduction rate S is calculated by “(x + X S ) / x” or “(y + Y S ) / y”.
  • x is the X coordinate of the feature point Pa (or Pb) on the first image
  • “y” is the Y coordinate of the feature point Pa (or Pb) on the first image. It is.
  • the translation component and the enlargement / reduction component can be accurately separated.
  • each component is separated using a feature point that exists at a symmetrical position with respect to the center point. Can do. That is, when the average value of the movement amounts of the symmetric feature points is calculated, the rotation component and the enlargement / reduction component are canceled as described with reference to FIGS. 6 and 7, and the parallel movement component is calculated.
  • “rotation component + enlargement / reduction component” can be obtained by subtracting the translation component from the amount of movement of each feature point (the difference in coordinates between the first image and the second image). .
  • the coordinates of an arbitrary feature point on the first image are (x, y). Further, in the second image, the coordinates obtained by subtracting the translation component from the coordinates of the feature points are defined as (x ′, y ′). Then, the affine transformation is expressed by the following equation.
  • ⁇ is a rotation angle
  • S is an enlargement / reduction ratio.
  • the translational component, the rotation component, and the enlargement / reduction component of the camera shake are obtained by using the feature points that exist at positions symmetrical with respect to the center point of the image. It can be separated with high accuracy. Therefore, if correction is performed using the parallel movement component, rotation component, and enlargement / reduction component calculated by this method, image composition in camera shake correction can be appropriately processed.
  • FIG. 8 is a diagram illustrating a configuration of an image processing apparatus having a shake amount detection function according to the embodiment.
  • this image processing apparatus is not specifically limited, For example, it is an electronic camera (or digital camera).
  • the image input unit 1 includes, for example, a CCD image sensor or a CMOS image sensor, and generates a digital image.
  • the image input unit 1 has a continuous shooting function.
  • the image input unit 1 can obtain two consecutive images (first image and second image) captured within a short time by one shutter pressing operation.
  • the image holding units 2A and 2B hold the first image and the second image obtained by the image input unit 1, respectively.
  • the image holding units 2A and 2B are, for example, semiconductor memories.
  • the feature amount calculation unit 3 calculates the feature amount of each pixel of the first image held in the image holding unit 2A.
  • the feature amount of each pixel is not particularly limited, but is calculated by, for example, the KLT method or the Moravec operator. Alternatively, the feature amount of each pixel may be obtained by executing horizontal Sobel filter calculation and vertical Sobel filter calculation for each pixel and multiplying the results of these filter calculations.
  • the feature quantity holding unit 4 holds feature quantity data representing the feature quantity of each pixel calculated by the feature quantity calculation unit 3.
  • the feature amount data is held in association with the coordinates of each pixel, for example. Alternatively, the feature amount data may be held in association with a serial number assigned to each pixel.
  • the feature point extraction unit 5 extracts, from the feature amount data held in the feature amount holding unit 4, pixels having a feature amount larger than a threshold value as feature points.
  • the threshold value may be a fixed value or may be changed according to shooting conditions. Then, the feature point extraction unit 5 notifies the feature amount and coordinates (or serial number) of the extracted feature points to the symmetric feature point extraction unit 6 and the feature point holding unit 7A.
  • the symmetric feature point extraction unit 6 refers to the feature amount data held in the feature amount holding unit 4 and examines the feature amount of the pixel at a symmetrical position with respect to the center point with respect to one or a plurality of feature points. If the feature amount is large enough to be used as a feature point, the pixel is extracted as a symmetrical position feature point.
  • the threshold value for the symmetric feature point extraction unit 6 to extract the symmetric position feature point is not particularly limited, but may be smaller than the threshold value for the feature point extraction unit 5 to extract the feature point. it can.
  • FIG. 9 is a diagram for explaining the operation of the symmetric feature point extraction unit 6.
  • the feature point extraction unit 5 has extracted two pixels P1 and P2 as feature points.
  • the coordinates of the pixel P1 are (x1, y1), and the coordinates of the pixel P2 are (x2, y2).
  • the coordinates of the center point C of the image are defined as (0, 0).
  • the feature amount C1 of the pixel P1 is “125”, and the feature amount C2 of the pixel P2 is “105”.
  • the feature amount of the pixel located symmetrically with respect to the center point C is examined. That is, the feature amount of the pixel located at the coordinates ( ⁇ x1, ⁇ y1) is examined.
  • the feature amount C3 of the pixel P3 located at the coordinates ( ⁇ x1, ⁇ y1) is “75”.
  • the pixel P3 can be used as a feature point. Therefore, the pixels P1 and P3 are selected as a set of feature points that exist at symmetrical positions with respect to the center point C.
  • the feature amount of the pixel located symmetrically with respect to the center point C is checked. That is, the feature amount of the pixel located at the coordinates ( ⁇ x2, ⁇ y2) is examined.
  • the feature amount C4 of the pixel P4 located at the coordinates ( ⁇ x2, ⁇ y2) is “20”.
  • the pixel P4 cannot be used as a feature point. That is, the pixel P4 and the corresponding pixel P2 are not selected as feature points.
  • one set of feature points existing at positions symmetrical with respect to the center point is extracted, but two or more sets of symmetrical points may be extracted. That is, the above-described procedure may be repeatedly executed in order from a pixel (feature point) having a large feature amount until a desired number of feature point sets are obtained.
  • the feature amount changing unit 8 in the feature amount data held in the feature amount holding unit 4 includes the feature amounts of pixels located in a predetermined region including the feature points extracted by the feature point extracting unit 5. Change to zero. Similarly, the feature amount of the pixel in the vicinity of the symmetric feature point extracted by the symmetric feature point extraction unit 6 is also changed to zero. Note that a pixel with zero feature quantity is not selected as a feature point or a symmetrical feature point. However, the image processing apparatus according to the embodiment may not include the feature amount changing unit 8.
  • the feature point holding unit 7A holds information regarding the feature points extracted by the feature point extracting unit 5 and the feature points (symmetric feature points) extracted by the symmetric feature point extracting unit 6.
  • symmetric feature point P1
  • the feature point tracking unit 9 tracks each feature point held in the feature point holding unit 7A in the second image held in the image holding unit 2B.
  • the feature point tracking is not particularly limited, for example, a method adopted in the KLT method or the Moravec operator can be used.
  • information (such as coordinate information) related to each feature point tracked by the feature point tracking unit 9 is written in the feature point holding unit 7B.
  • the calculation unit 10 calculates a blur amount between the first image and the second image using a feature point that exists at a symmetrical position with respect to the center point. For example, in the example shown in FIG. 9, the blur amount is calculated using the feature points P1 and P3.
  • the method of calculating the shake amount using the feature points existing at symmetrical positions is as described with reference to FIGS. Therefore, the calculation unit 10 can obtain a translational component of camera shake, a rotation angle, and an enlargement / reduction ratio. If there are a plurality of pairs of feature points present at symmetrical positions, for example, the blur amount may be calculated using an averaging method such as a least square method.
  • the image conversion unit 11 converts the second image held in the image holding unit 2B based on the shift amount calculated by the calculation unit 10. At this time, the image conversion unit 11 converts each pixel data of the second image so as to compensate for a shift between the first image and the second image, for example.
  • the conversion method is not particularly limited, but is affine conversion, for example.
  • the image composition unit 12 composes the first image held by the image holding unit 2A and the converted second image obtained by the image conversion unit 11. Then, the image output unit 13 outputs the composite image obtained by the image composition unit 12. Thereby, an image in which camera shake is corrected is obtained.
  • the image processing apparatus having the above configuration can be realized by a hardware circuit. Further, some functions of the image processing apparatus may be realized by software. For example, a feature amount calculation unit 3, a feature point extraction unit 5, a symmetric feature point extraction unit 6, a feature amount change unit 8, a feature point tracking unit 9, a calculation unit 10, an image conversion unit 11, a part of the image composition unit 12, or All may be realized by software.
  • the shake amount is calculated using only the feature points that are symmetric with respect to the center point.
  • other feature points may be used together.
  • the first shake amount is calculated using one or more sets of feature points present at symmetrical positions
  • the second shake amount is calculated based on the movement amount of other feature points.
  • a set of feature points P1 and P3 that are symmetrical to each other and another feature point P2 are used.
  • an average value may be calculated for a plurality of calculation results by, for example, the least square method.
  • a predetermined number of feature points determined in advance may be used. In this case, if the number of feature points existing at symmetrical positions is less than the predetermined number, other feature points are also used. Then, the blur amount is calculated using all the extracted feature points.
  • the image conversion unit 11 converts the second image using the first image as a reference image.
  • the present invention is not limited to this method. That is, the image captured first may be the reference image, and the image captured later may be the reference image. Further, for example, the first and second images may be respectively converted by half of the calculated blur amount.
  • feature points included in the moving area of the subject in the image may be excluded. That is, the subject movement area in the image is detected by the conventional technique, and the feature point extracted by the feature point extraction unit 5 is not used for processing when the feature point is within the subject movement area. be able to.
  • FIG. 10 is a flowchart illustrating a shake amount calculation method according to the embodiment. The processing of this flowchart is executed by the image processing apparatus shown in FIG. 8 when continuous shooting is performed by the electronic camera.
  • step S11 the image input unit 1 sets a reference image from among a plurality of images obtained by continuous shooting. Any one of the plurality of images is selected as the reference image.
  • the reference image may be an image taken first or another image. Further, the image input unit 1 may capture three or more images.
  • the image input unit 1 stores the reference image in the image holding unit 2A, and stores other images as search images in the image holding unit 2B.
  • step S12 a set of feature points (first and second feature points) existing at positions symmetrical to the center point of the image are extracted from the reference image. That is, the feature point calculation unit 3 calculates a feature amount using the KLT method or the like for each pixel of the reference image.
  • the feature point extraction unit 5 extracts feature points (first feature points) with reference to feature amount data representing the feature amount of each pixel.
  • the symmetrical feature point extraction unit 6 extracts a feature point (second feature point) that exists at a position symmetrical to the feature point extracted by the feature point extraction unit 5.
  • step S13 the feature point tracking unit 9 searches the feature point extracted in step S12 in the search image.
  • the feature points are tracked by, for example, the KLT method.
  • step S14 the calculation unit 10 calculates the amount of blur using the coordinates of the set of feature points obtained in step S12 and the coordinates of the set of feature points obtained in step S13.
  • Step S14 includes the following steps S14A to 14D.
  • step S14A an average value of the coordinate difference between the images for the first feature point and the coordinate difference between the images for the second feature point are calculated.
  • step S14B for each feature point, the translation component obtained in step S14A is subtracted from the coordinate difference value between images. The result of this subtraction is the sum of the camera shake rotation component and the magnification / reduction component.
  • step S14C the rotation angle ⁇ is calculated according to the above-described equation (12).
  • step S14D the enlargement / reduction ratio S is calculated according to the above-described equation (11).
  • the blur amount is detected by using one or a plurality of sets of feature points existing at positions symmetrical with respect to the center point of the image.
  • the above-described averaging operation may reduce the amount of camera shake.
  • the rotation component and the enlargement / reduction component are almost canceled out. Therefore, in the detection method of the embodiment, the “symmetrical position” is not limited to the exact symmetrical position but includes a substantially symmetrical position.
  • feature point pairs that show a tendency different from other pairs may be excluded from the processing target in order to prevent a reduction in accuracy of the calculation results.
  • the shift amount calculated based on such a set of feature points shows a tendency different from the shift amount calculated based on the set of feature points reflecting only the influence of camera shake. Therefore, if a feature point including the influence of subject blur is removed from the processing target, it is possible to prevent the shift amount calculation accuracy due to camera shake from being reduced by calculating the shift amount based on such a feature point.
  • FIG. 11 and FIG. 12 are diagrams for explaining a method of extracting symmetrical position feature points.
  • the extraction region is set at a position symmetrical to the feature point P1 with respect to the center point C of the image. Then, in this extraction region, pixels having a feature amount larger than a predetermined threshold are extracted as symmetrical position feature points.
  • the feature point P2 is extracted from the extraction region. At this time, if the feature amounts of a plurality of pixels in the extraction region are larger than the threshold value, the pixel having the largest feature amount is extracted as a symmetrical position feature point.
  • a set of feature points existing at symmetrical positions can be easily extracted.
  • an error depending on the size of the extraction region occurs. However, the error is absorbed by appropriately determining the size of the extraction region or by increasing the number of feature points to be extracted.
  • a set of extraction regions is set at positions symmetrical with respect to the center point C of the image.
  • extraction areas A and B are set.
  • the size of one set of extraction regions is not particularly limited, but is preferably the same as each other.
  • a pixel having a feature amount larger than the threshold value is detected as a feature point.
  • feature points P1 and P2 are detected in the extraction region A, and feature points P3, P4, and P5 are detected in the extraction region B. Then, the same number of feature points are extracted from each extraction region.
  • feature points P1 and P2 are extracted from the extraction region A, and feature points P3 and P4 are extracted from the extraction region B. That is, two sets of feature points “P1, P3” and “P2, P4” existing at symmetrical positions are extracted.
  • the feature point P1 can be used repeatedly. That is, three sets of feature points “P1, P3”, “P2, P4”, and “P2, P5” present at symmetrical positions may be extracted.
  • the feature amount changing unit 8 may not change the pixel amount for the pixels in the extraction region.
  • FIG. 13 shows an example of the size of the extraction region shown in FIG. 11 or FIG.
  • the size of the extraction area is set smaller as the distance from the center point of the image increases.
  • the rotation component and the enlargement / reduction component of camera shake are small.
  • the blur amount error is small.
  • the rotation component and the enlargement / reduction component of camera shake become large.
  • an error in blur amount can be suppressed by reducing the extraction area.
  • the size of the extraction area may be set so as to be inversely proportional to the distance from the center point C of the image.
  • FIG. 14 is a diagram illustrating a shake amount detection method according to another embodiment. This detection method is used when the camera shake does not include the rotation shake (ROLL shown in FIGS. 1 and 2). Such an image is obtained by, for example, a camera (such as a surveillance camera) that is fixed so as not to cause a shake in the rotational direction.
  • a camera such as a surveillance camera
  • feature points P1 and P2 existing at positions symmetrical to a vertical line (center vertical line) passing through the center point C of the image are extracted. Then, if the amount of movement of the pair of feature points P1 and P2 between the images is averaged, the amount of horizontal deviation caused by enlargement / reduction is canceled out.
  • feature points P3 and P4 existing at positions symmetrical to a horizontal line (center horizontal line) passing through the center point C of the image are extracted. Then, if the amount of movement of the pair of feature points P3 and P4 between the images is averaged, the amount of vertical deviation caused by enlargement / reduction is canceled out.
  • FIG. 15 is a diagram illustrating a shake amount detection method according to still another embodiment.
  • the blur amount is calculated using feature points existing in the central region of the image.
  • the feature point P1 existing in the center region and the feature point P2 existing outside the center region are used.
  • the movement of the feature point P2 between the first image and the second image includes a parallel movement component, a rotation component, and an enlargement / reduction component.
  • an arrow T represents a translation component
  • an arrow RS represents the sum of a rotation component and an enlargement / reduction component.
  • the rotation component and the enlargement / reduction component are almost zero between the first image and the second image, respectively. That is, the movement of the first feature point P1 is substantially only the translation component.
  • the shake amount detection method shown in FIG. 15 even when the feature point does not exist at a position symmetric with respect to the center point of the image, the translational component, the rotational component, and the enlargement / reduction of the camera shake.
  • the components can be separated appropriately.
  • FIG. 16 is a diagram illustrating a hardware configuration related to the image processing apparatus according to the embodiment.
  • the CPU 101 uses the memory 103 to execute the image processing program of the embodiment.
  • the image processing program of the embodiment describes the operation of the above-described example.
  • the storage device 102 is, for example, a hard disk and stores an image processing program. Note that the storage device 102 may be an external recording device.
  • the memory 103 is a semiconductor memory, for example, and includes a RAM area and a ROM area. Note that the image holding units 2A and 2B, the feature amount holding unit 4, and the feature point holding units 7A and 7B illustrated in FIG. 8 may be realized using the memory 103.
  • the reading device 104 accesses the portable recording medium 105 in accordance with an instruction from the CPU 101.
  • the portable recording medium 105 includes, for example, a semiconductor device (PC card or the like), a medium to / from which information is input / output by a magnetic action, and a medium to / from which information is input / output by an optical action.
  • the communication interface 106 transmits / receives data via a network in accordance with instructions from the CPU 101.
  • the input / output device 107 corresponds to a device that accepts an instruction from a user, a display device, or the like.
  • the image processing program according to the embodiment is provided in the following form, for example. (1) Installed in advance in the storage device 102. (2) Provided by the portable recording medium 105. (3) Download from the program server 110.
  • the image processing apparatus according to the embodiment is realized by executing the image processing program on the computer having the above configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　連写撮影により得られる第１および第２の画像は、それぞれ画像保持部２Ａおよび２Ｂに格納される。特徴点抽出部５および対称特徴点抽出部６は、第１の画像から、画像の中心点に対して対称な位置に存在する１組の特徴点を抽出する。特徴点追跡部９は、第２の画像において、上記１組の特徴点を追跡する。ずれ量算出部１０は、第１の画像と第２の画像との間での上記１組の特徴点の移動量の平均値を算出することにより、手ぶれの平行移動成分を得る。特徴点の移動量から平行移動成分を差し引くことにより、手ぶれの回転角および拡大／縮小率が算出される。

Description

画像処理装置およびぶれ量算出方法
　本発明は、デジタル画像を処理する装置および方法に係わり、例えば、電子カメラの手ぶれ補正機能に適用可能である。
　近年、手ぶれ補正機能を備えた電子カメラが実用化されている。手ぶれ補正機能は、光学技術または画像処理技術により実現される。画像処理による手ぶれ補正は、例えば、連続撮影により得られる複数の画像を、位置合わせをした後に合成することで実現される。
　手ぶれは、撮影時にカメラが動くことにより発生する。ここで、カメラの動きは、図１に示す６つの要素により定義される。
（１）ＹＡＷ
（２）ＰＩＴＣＨ
（３）水平方向移動
（４）垂直方向移動
（５）ＲＯＬＬ
（６）遠近方向移動
　ただし、カメラがＹＡＷ方向にぶれたときは、画像は近似的に水平方向にずれることになる。また、カメラがＰＩＴＣＨ方向にぶれたときは、画像は近似的に垂直方向にずれることになる。したがって、カメラの動き要素と画像のずれ成分との関係は、図２に示すようになる。
　手ぶれ補正に関連する技術として、エッジ強度が極大となる画素を利用して位置補正を行う画像処理装置が提案されている（例えば、特許文献１）。また、複数のフレームの画像から同じぶれ方向の画像を選び出してグループ化し、グループ化された画像どうしの特徴点が一致するように位置補正を行う画像処理装置が提案されている（例えば、特許文献２）。さらに、所定数の特徴点を追跡して画像フレームの全体動きベクトルを算出して、その全体動きベクトルに基づいて手ぶれを補正する画像処理装置が提案されている（例えば、特許文献３）。
特開２００５－２９５３０２号公報 特開２００６－１８０４２９号公報 特開２００７－１５１００８号公報
　手ぶれによる画像のずれは、平行移動、回転、拡大／縮小に分離して考えることができる。ところが、画像上の任意の画素に注目すれば、その注目画素の座標の移動は、平行移動、回転、拡大／縮小のいずれの場合であっても、水平方向移動および垂直方向移動として現れる。
　図３（ａ）は、連続撮影により得られた第１の画像と第２の画像との間で平行移動が生じた状態を示している。ここでは、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「ＸT」は平行移動によって生じるＸ方向の移動量を表し、「ＹT」は平行移動によって生じるＹ方向の移動量を表している。
　図３（ｂ）は、画像間で回転が生じた状態を示している。ここでは、画像が角度θだけ回転することにより、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「ＸR」は回転によって生じる水平方向の移動量を表し、「ＹR」は回転によって生じる垂直方向の移動量を表している。また、図３（ｃ）は、画像間で拡大／縮小が生じた状態を示している。ここでは、画像がＳ倍に拡大されることにより、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「ＸS」は拡大によって生じる水平方向の移動量を表し、「ＹS」は拡大によって生じる垂直方向の移動量を表している。
　したがって、手ぶれによる画像の移動量（基準画像上の特徴点の座標（ｘ，ｙ）と、探索画像における対応する特徴点の座標（ｘ’，ｙ’）との差分「ｘ－ｘ’」「ｙ－ｙ’」）は、回転および拡大／縮小による移動成分を含むことがある。すなわち、移動量「ｘ－ｘ’」は、一般に、平行移動成分（ＸT）、回転による移動成分（ＸR）、拡大／縮小による移動成分（ＸS）を含んでいる。同様に、移動量「ｙ－ｙ’」は、一般に、平行移動成分（ＹT）、回転による移動成分（ＹR）、拡大／縮小による移動成分（ＹS）を含んでいる。
　ここで、平行移動成分（ＸT、ＹT）は、画像内のすべての領域において一定である。しかし、回転による移動成分（ＸR、ＹR）および拡大／縮小による移動成分（ＸS、ＹS）は、画像内の位置によって異なる。
　このため、従来技術においては、画像間での特徴点の座標の差分から、平行移動成分、回転成分、拡大／縮小成分を精度よく分離することが難しかった。そして、平行移動成分、回転成分、拡大／縮小成分が精度よく分離されないと、アフィン変換による画像変換の誤差が大きくなり、手ぶれ補正での画像合成が適切に行われなくなる。
　本発明の課題は、連写撮影により得られる複数の画像間の位置ずれを精度よく成分ごとに分離する方法を提供することである。
　本発明の１つの態様によるぶれ量算出方法は、連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出し、前記第２の画像において前記第１および第２の特徴点を探索し、前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する。
　この方法においては、第１および第２の特徴点は、第１の画像の中心点に対して互いに対称な位置に存在する。よって、第１および第２の特徴点の座標を利用すれば、第１および第２の画像間での移動量の中で、画像中心点に対して対称な移動成分を相殺することができる。
　したがって、本発明によれば、連写撮影により得られる複数の画像間の位置ずれを精度よく成分ごとに分離することが出来る。
カメラの動き要素について説明する図である。 カメラの動き要素と画像のずれ成分との関係をまとめた表である。 平行移動、回転、拡大／縮小による位置ずれを説明する図である。 手ぶれ補正処理の一例を示すフローチャートである。 アフィン変換による画像変換の例を示す図である。 実施形態のぶれ量検出方法について説明する図（その１）である。 実施形態のぶれ量検出方法について説明する図（その２）である。 実施形態のぶれ量検出機能を備える画像処理装置の構成を示す図である。 対称特徴点抽出部の動作を説明する図である。 実施形態のぶれ量算出方法を示すフローチャートである。 対称位置特徴点を抽出する方法を説明する図（その１）である。 対称位置特徴点を抽出する方法を説明する図（その２）である。 抽出領域のサイズの実施例である。 他の実施形態のぶれ量検出方法を説明する図である。 さらに他の実施形態のぶれ量検出方法を説明する図である。 実施形態の画像処理装置に係わるハードウェア構成を示す図である。
　図４は、手ぶれ補正処理の一例を示すフローチャートである。ここでは、連続撮影により得られる２枚の画像を利用して手ぶれが補正されるものとする。手ぶれ補正では、通常よりも露光時間が短い画像を撮影することで、手ぶれを抑制する。しかし露光時間が短いと画像にノイズが生じるため、画像を連写撮影して合成することで、ランダムであるノイズを抑制する。短時間露光撮影と画像合成により、手ぶれの少ない、かつ、短時間露光撮影によるノイズを抑制した、手ぶれ補正画像を得ることができる。
　ステップＳ１では、通常よりも露光時間の短い連続撮影により２枚の画像（第１の画像および第２の画像）が生成される。ステップＳ２では、第１の画像に対する第２の画像のずれ量が算出される。ステップＳ３では、算出されたずれ量を補正するように、第２の画像を変換する。ステップＳ４では、第１の画像と変換された第２の画像とを合成する。これにより、手ぶれ補正画像が生成される。
　上記ステップＳ３では、例えば、下記（１）式によるアフィン変換が行われる。
Figure JPOXMLDOC01-appb-M000001
 ここで、「dx」は水平方向ずれ量であり、「dy」は垂直方向ずれ量である。「θ」はカメラのＲＯＬＬ方向のずれの回転角である。「Ｓ」は、カメラが遠近方向に動くことにより発生する拡大／縮小率である。（ｘ，ｙ）は、変換前の画像の座標であり、（ｘ’，ｙ’）は、変換後の画像の座標である。アフィン変換による画像変換の例を図５に示す。図５に示す例では、画像は、アフィン変換により、平行移動すると共に、時計方向に回転している。
　図６は、実施形態のぶれ量検出方法について説明する図である。ここでは、連写撮影により得られる２枚の画像（第１の画像および第２の画像）の間でのぶれ量が検出されるものとする。また、この例では、平行移動成分および回転成分が混在しており、拡大／縮小成分はないものとする。
　なお、２枚の画像を撮影する時間的な隔たりは、その時間の間に画像を撮影するカメラが大きく移動してしまうことがないような、すなわち、２枚の画像間で共通して撮影されている被写領域がなくなることがないような、短い時間間隔であることが望ましい。
　以下の説明では、１組の特徴点Ｐa、Ｐbを使用してぶれ量が検出される。なお、特徴点Ｐa、Ｐbは、第１の画像においてはそれぞれ特徴点Ｐa1、Ｐb1と呼ぶことがあり、第２の画像においてはそれぞれ特徴点Ｐa2、Ｐb2と呼ぶことがある。
　実施形態の検出方法では、まず、第１の画像（基準画像）において、中心点Ｃに対して対称な位置に存在する１組の特徴点Ｐa、Ｐb（図６では、Ｐa1、Ｐb1）が抽出される。ここで、画像の中心点Ｃの座標が（０，０）と定義される。したがって、特徴点Ｐa1の座標は（ｘ，ｙ）であり、特徴点Ｐb1の座標は（－ｘ，－ｙ）である。
　第２の画像（探索画像）において、特徴点Ｐa、Ｐb（図６では、Ｐa2、Ｐb2）が探索される。このとき、第２の画像は、手ぶれにより第１の画像に対して移動している。ここで、特徴点Ｐaの移動量（すなわち、特徴点Ｐaの動きベクトル）が「ΔXa，ΔYa」であり、特徴点Ｐbの移動量（すなわち、特徴点Ｐbの動きベクトル）が「ΔXb，ΔYb」であるものとする。すなわち、特徴点Ｐa2の座標は（ｘ＋ΔXa，ｙ＋ΔYa）であり、特徴点Ｐb2の座標は（－ｘ＋ΔXb，－ｙ＋ΔYb）である。なお、手ぶれが回転成分を含んでいる場合、一般に、特徴点Ｐaの移動量と特徴点Ｐbの移動量とは、互いに異なる。
　特徴点Ｐaの水平方向の移動量ΔXaは、図６に示すように、平行移動成分ＸTおよび回転成分ＸRの和である。特徴点Ｐaの垂直方向の移動量ΔYaは、平行移動成分ＹTおよび回転成分ＹRの和である。すなわち、下記の関係が得られる。
ΔＸa＝ＸT＋ＸR　　　…（２）
ΔＹa＝ＹT＋ＹR　　　…（３）
　特徴点Ｐbの移動量も、特徴点Ｐaと同様に、平行移動成分および回転成分の和で表される。ただし、手ぶれによる画像移動の平行移動成分は、画像上のすべての位置において同じである。したがって、特徴点Ｐbの移動量の平行移動成分は、特徴点Ｐaと同じであり、「ＸT，ＹT」である。一方、手ぶれによる画像移動の回転成分は、画像上の位置に応じて異なる。ところが、特徴点Ｐa、Ｐbは、中心点Ｃに対して対称な位置に存在する。したがって、特徴点Ｐaの移動量の回転成分が「ＸR，ＹR」である場合、特徴点Ｐbの移動量の回転成分は「－ＸR，－ＹR」である。すなわち、下記の関係が得られる。
ΔＸb＝ＸT－ＸR　　　…（４）
ΔＹb＝ＹT－ＹR　　　…（５）
　さらに、上記（２）～（５）式を利用して、特徴点Ｐa、Ｐbの移動量の平均値を算出する。
水平方向平均値＝（ΔXa＋ΔXb）／２＝｛（ＸT＋ＸR）＋（ＸT－ＸR）｝／２＝ＸT
垂直方向平均値＝（ΔYa＋ΔYb）／２＝｛（ＹT＋ＹR）＋（ＹT－ＹR）｝／２＝ＹT
　このように、各特徴点の移動量の平均化演算を実行すると、回転成分「ＸR，ＹR」は相殺される。したがって、特徴点Ｐa、Ｐbの移動量の平均値は、手ぶれによる移動量の平行移動成分を表す。すなわち、特徴点Ｐa、Ｐbの移動量の平均値を計算することにより、手ぶれの平行移動成分「ＸT，ＹT」が得られる。
　なお、特徴点Ｐaの移動量「ΔXa，ΔYa」は、第１の画像上での特徴点Ｐaの座標と第２の画像上での特徴点Ｐaの座標との差分（すなわち、動きベクトル）により得られる。同様に、特徴点Ｐbの移動量「ΔXb，ΔYb」は、第１の画像上での特徴点Ｐbの座標と第２の画像上での特徴点Ｐbの座標との差分により得られる。
　上述のようにして手ぶれの平行移動成分「ＸT，ＹT」が得られると、特徴点の移動量からその平行移動成分を差し引くことにより、下式に従って回転成分「ＸR，ＹR」が算出される。
ＸR＝ΔXa－ＸT
ＹR＝ΔYa－ＹT
したがって、手ぶれの回転角θは、下式により得られる。
回転角θ＝tan－1（ＹR／ＸR）
　このように、実施形態の検出方法によれば、手ぶれが平行移動および回転を含んでいる場合、その平行移動成分および回転成分を正確に分離することができる。
　図７に示す例では、平行移動成分および拡大／縮小成分が混在する手ぶれが発生している。なお、この例では、回転成分はないものとする。この場合、特徴点Ｐaの水平方向の移動量ΔXaは、図７に示すように、平行移動成分ＸTおよび拡大／縮小成分ＸSの和である。また、特徴点Ｐaの垂直方向の移動量ΔYaは、平行移動成分ＹTおよび回転成分ＹSの和である。すなわち、下記の関係が得られる。
ΔＸa＝ＸT＋ＸS　　　…（６）
ΔＹa＝ＹT＋ＹS　　　…（７）
　特徴点Ｐbの移動量も、特徴点Ｐaと同様に、平行移動成分および拡大／縮小成分の和で表される。ただし、手ぶれによる画像移動の拡大／縮小成分は、画像上の位置に応じて異なる。ところが、特徴点Ｐa、Ｐbは、中心点Ｃに対して対称な位置に存在する。したがって、特徴点Ｐaの移動量の拡大／縮小成分が「ＸS，ＹS」である場合、特徴点Ｐbの移動量の拡大／縮小成分は「－ＸS，－ＹS」である。すなわち、下記の関係が得られる。
ΔＸb＝ＸT－ＸS　　　…（８）
ΔＹb＝ＹT－ＹS　　　…（９）
　さらに、上記（６）～（９）式を利用して、特徴点Ｐa、Ｐbの移動量の平均値を算出する。
水平方向平均値＝（ΔXa＋ΔXb）／２＝｛（ＸT＋ＸS）＋（ＸT－ＸS）｝／２＝ＸT
垂直方向平均値＝（ΔYa＋ΔYb）／２＝｛（ＹT＋ＹS）＋（ＹT－ＹS）｝／２＝ＹT
　このように、手ぶれが拡大／縮小成分を含んでいる場合も、手ぶれが回転成分を含んでいる場合と同様に、特徴点Ｐa、Ｐbの移動量の平均値は、手ぶれによる移動量の平行移動成分を表す。すなわち、この場合も、特徴点Ｐa、Ｐbの移動量の平均値を計算することにより、手ぶれの平行移動成分「ＸT，ＹT」が得られる。
　上述のようにして手ぶれの平行移動成分「ＸT，ＹT」が得られると、特徴点の移動量からその平行移動成分を差し引くことにより、下式に従って拡大／縮小成分「ＸS，ＹS」が算出される。
ＸS＝ΔXa－ＸT
ＹS＝ΔYa－ＹT
そうすると、拡大／縮小率Ｓは、「（ｘ＋ＸS）／ｘ」または「（ｙ＋ＹS）／ｙ」により算出される。ここで、「ｘ」は第１の画像上での特徴点Ｐa（または、Ｐb）のＸ座標であり、「ｙ」は第１の画像上での特徴点Ｐa（または、Ｐb）のＹ座標である。
　このように、実施形態の検出方法によれば、手ぶれが平行移動および拡大／縮小を含んでいる場合、その平行移動成分および拡大／縮小成分を正確に分離することができる。
　実施形態の検出方法によれば、手ぶれが平行移動成分、回転成分、拡大／縮小成分を含む場合も、中心点に対して対称な位置に存在する特徴点を利用して各成分を分離することができる。すなわち、互いに対称な特徴点の移動量の平均値を算出すると、図６および図７を参照しながら説明した通り、回転成分および拡大／縮小成分が相殺され、平行移動成分が算出される。また、各特徴点の移動量（第１の画像と第２の画像との間での座標の差分）から、その平行移動成分を差し引けば、「回転成分＋拡大／縮小成分」が得られる。
　ここで、第１の画像上の任意の特徴点の座標を（ｘ，ｙ）とする。また、第２の画像において、その特徴点の座標から平行移動成分を差し引いた座標を（ｘ’，ｙ’）とする。そうすると、アフィン変換は下式で表される。ここで、「θ」は回転角であり、「Ｓ」は拡大／縮小率である。
Figure JPOXMLDOC01-appb-M000002
 （１０）式を展開すると、下記の関係が得られる。
ｘ’＝Ｓ（cosθ・ｘ－sinθ・ｙ）
ｙ’＝Ｓ（sinθ・ｘ＋conθ・ｙ）
さらに、（１１）～（１２）式より、回転角θおよび拡大／縮小率Ｓを算出することができる。
Figure JPOXMLDOC01-appb-M000003
 　このように、実施形態のぶれ量検出方法によれば、画像の中心点に対して対称な位置に存在する特徴点を利用することにより、手ぶれの平行移動成分、回転成分、拡大／縮小成分を精度よく分離することができる。したがって、この方法により算出された平行移動成分、回転成分、拡大／縮小成分を利用して補正を行えば、手ぶれ補正における画像合成を適切に処理することができる。
　図８は、実施形態のぶれ量検出機能を備える画像処理装置の構成を示す図である。この画像処理装置は、特に限定されるものではないが、例えば、電子カメラ（あるいは、デジタルカメラ）である。
　画像入力部１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを含んで構成され、デジタル画像を生成する。なお、画像入力部１は、連写撮影機能を備えている。この実施例では、画像入力部１は、１回のシャッタ押圧操作により、短い時間内に撮影される連続する２枚の画像（第１の画像および第２の画像）を得ることができる。
　画像保持部２Ａ、２Ｂは、それぞれ、画像入力部１により得られる第１の画像および第２の画像を保持する。画像保持部２Ａ、２Ｂは、例えば、半導体メモリである。
　特徴量算出部３は、画像保持部２Ａに保持されている第１の画像の各画素の特徴量を算出する。各画素の特徴量は、特に限定されるものではないが、例えば、ＫＬＴ法またはモラベックオペレータにより算出される。あるいは、画素ごとに水平方向Sobelフィルタ演算および垂直方向Sobelフィルタ演算を実行し、それらのフィルタ演算の結果を互いに乗算することで、各画素の特徴量を得るようにしてもよい。
　特徴量保持部４は、特徴量算出部３により算出される各画素の特徴量を表す特徴量データを保持する。特徴量データは、例えば、各画素の座標に対応づけて保持される。あるいは、特徴量データは、各画素に対して割り当てられているシリアル番号に対応づけて保持されるようにしてもよい。
　特徴点抽出部５は、特徴量保持部４に保持されている特徴量データから、特徴量が閾値よりも大きい画素を、特徴点として抽出する。この場合、閾値は、固定値であってもよいし、撮影条件などに応じて変えるようにしてもよい。そして、特徴点抽出部５は、抽出した特徴点の特徴量および座標（または、シリアル番号）を、対称特徴点抽出部６および特徴点保持部７Ａに通知する。
　対称特徴点抽出部６は、特徴量保持部４に保持されている特徴量データを参照して、１または複数の特徴点について、中心点に対して対称な位置の画素の特徴量を調べる。そして、その特徴量が特徴点として使用できる程度に大きければ、その画素を対称位置特徴点として抽出する。なお、対称特徴点抽出部６が対称位置特徴点を抽出するための閾値は、特に限定されるものではないが、特徴点抽出部５が特徴点を抽出するための閾値よりも小さくすることができる。
　図９は、対称特徴点抽出部６の動作を説明する図である。ここでは、特徴点抽出部５により２つの画素Ｐ１、Ｐ２が特徴点として抽出されているものとする。画素Ｐ１の座標は（ｘ１，ｙ１）であり、画素Ｐ２の座標は（ｘ２，ｙ２）である。なお、この例では、画像の中心点Ｃの座標が（０，０）と定義されている。また、画素Ｐ１の特徴量Ｃ１は「１２５」であり、画素Ｐ２の特徴量Ｃ２は「１０５」である。
　この場合、まず、特徴量の最も大きな画素（特徴点）Ｐ１について、中心点Ｃに対して対称な位置の画素の特徴量が調べられる。すなわち、座標（－ｘ１，－ｙ１）に位置する画素の特徴量が調べられる。この例では、座標（－ｘ１，－ｙ１）に位置する画素Ｐ３の特徴量Ｃ３は「７５」である。ここで、例えば、特徴量が「５０」よりも大きければ、特徴点として使用できるものとする。そうすると、画素Ｐ３は、特徴点として使用することができる。よって、画素Ｐ１、Ｐ３は、中心点Ｃに対して対称な位置に存在する１組の特徴点として選択される。
　続いて、２番目に大きな特徴量を有する画素（特徴点）Ｐ２について、中心点Ｃに対して対称な位置の画素の特徴量がチェックされる。すなわち、座標（－ｘ２，－ｙ２）に位置する画素の特徴量が調べられる。この例では、座標（－ｘ２，－ｙ２）に位置する画素Ｐ４の特徴量Ｃ４は「２０」である。この場合、特長量Ｃ４は閾値（＝５０）よりも小さいので、画素Ｐ４は、特徴点として使用することはできない。すなわち、画素Ｐ４およびそれに対応する画素Ｐ２は、特徴点として選択されない。
　なお、図９に示す例では、中心点に対して対称な位置に存在する１組の特徴点が抽出されているが、２組以上の対称点が抽出されるようにしてもよい。すなわち、特徴量の大きな画素（特徴点）から順番に、所望の数の特徴点の組が得られるまで上述の手順を繰り返し実行するようにしてもよい。
　また、ある特徴点を抽出したときに、その近傍領域に他の特徴点が存在すると、誤追跡が生じるおそれがある。このため、特徴量変更部８は、特徴量保持部４に保持されている特徴量データにおいて、特徴点抽出部５により抽出された特徴点を包含する所定の領域内に位置する画素の特徴量をゼロに変更する。また、対称特徴点抽出部６により抽出された対称特徴点の近傍領域の画素の特徴量についても、同様に、ゼロに変更される。なお、特徴量がゼロの画素は、特徴点または対称特徴点として選択されることはない。ただし、実施形態の画像処理装置は、特徴量変更部８を備えなくてもよい。
　特徴点保持部７Ａは、特徴点抽出部５により抽出された特徴点および対称特徴点抽出部６により抽出された特徴点（対称特徴点）に関する情報を保持する。図９に示す実施例では、特徴点保持部７Ａには、例えば、下記の情報が書き込まれる。
特徴点Ｐ１：座標（ｘ１，ｙ１）、特徴量Ｃ１＝１２５、対称特徴点＝Ｐ３
特徴点Ｐ３：座標（－ｘ１，－ｙ１）、特徴量Ｃ３＝７５、対称特徴点＝Ｐ１
　特徴点追跡部９は、画像保持部２Ｂに保持されている第２の画像において、特徴点保持部７Ａに保持されている各特徴点を追跡する。特徴点追跡は、特に限定されるものではないが、例えば、ＫＬＴ法またはモラベックオペレータで採用されている方法を利用することができる。そして、特徴点追跡部９により追跡された各特徴点に関する情報（座標情報など）は、特徴点保持部７Ｂに書き込まれる。
　算出部１０は、中心点に対して対称な位置に存在する特徴点を利用して、第１の画像と第２の画像との間でのぶれ量を算出する。例えば、図９に示す例では、特徴点Ｐ１、Ｐ３を利用してぶれ量が算出される。対称な位置に存在する特徴点を利用してぶれ量を算出する方法は、図６～図７を参照しながら説明した通りである。したがって、算出部１０により、手ぶれの平行移動成分、回転角、拡大／縮小率が得られる。なお、対称な位置に存在する特徴点の組が複数ある場合には、例えば、最小二乗法などの平均化手法を利用してぶれ量を算出するようにしてもよい。
　画像変換部１１は、算出部１０により算出されたずれ量に基づいて、画像保持部２Ｂに保持されている第２の画像を変換する。このとき、画像変換部１１は、例えば、第１の画像と第２の画像との間のずれを補償するように、第２の画像の各画素データを変換する。変換方法は、特に限定されるものではないが、例えばアフィン変換である。
　画像合成部１２は、画像保持部２Ａにより保持されている第１の画像と、画像変換部１１により得られる変換後の第２の画像とを合成する。そして、画像出力部１３は、画像合成部１２により得られる合成画像を出力する。これにより、手ぶれが補正された画像が得られる。
　上記構成の画像処理装置は、ハードウェア回路で実現することができる。また、この画像処理装置の一部の機能をソフトウェアで実現するようにしてもよい。例えば、特徴量算出部３、特徴点抽出部５、対称特徴点抽出部６、特徴量変更部８、特徴点追跡部９、算出部１０、画像変換部１１、画像合成部１２の一部または全部をソフトウェアで実現するようにしてもよい。
　なお、上述の実施例では、中心点に対して対称な位置に存在する特徴点のみを利用してぶれ量が算出されているが、他の特徴点も合わせて利用するようにしてもよい。例えば、対称な位置に存在する１組以上の特徴点を利用して第１のぶれ量を算出すると共に、他の特徴点の移動量に基づいて第２のぶれ量を算出する。図９に示す例では、互いに対称な１組の特徴点Ｐ１、Ｐ３、および他の特徴点Ｐ２が使用される。そして、複数の演算結果について、例えば最小二乗法により、平均値を計算するようにしてもよい。また、予め決められた所定数の特徴点を利用するようにしてもよい。この場合、対称な位置に存在する特徴点の数がその所定数よりも少なければ、他の特徴点も合わせて利用する。そして、抽出したすべての特徴点を利用してぶれ量が算出される。
　また、上述の実施例では、画像変換部１１は、第１の画像を基準画像として第２の画像を変換しているが、この方法に限定されるものではない。すなわち、先に撮影された画像が基準画像であってもよいし、後に撮影した画像が基準画像であってもよい。また、例えば、第１および第２の画像を、算出したぶれ量の２分の１ずつそれぞれ変換するようにしてもよい。
　また、特徴点を抽出する際には、画像に写っている被写体の移動領域に含まれる特徴点を除外してもよい。即ち、従来技法によって、画像中の被写体移動領域を検出し、特徴点抽出部５が抽出した特徴点が、該被写体移動領域内にある場合には、その特徴点を処理に用いないようにすることができる。
　図１０は、実施形態のぶれ量算出方法を示すフローチャートである。このフローチャートの処理は、電子カメラにより連写撮影が行われたときに、図８に示す画像処理装置により実行される。
　ステップＳ１１では、画像入力部１は、連写撮影により得られた複数の画像の中から基準画像を設定する。基準画像としては、上記複数の画像の中の任意の１枚が選択される。このとき、基準画像は、最初に撮影された画像であってもよいし、他の画像であってもよい。また、画像入力部１は、３枚以上の画像を撮影するようにしてもよい。そして、画像入力部１は、基準画像を画像保持部２Ａに格納し、他の画像を探索画像として画像保持部２Ｂに格納する。
　ステップＳ１２では、基準画像において、画像の中心点に対して対称な位置に存在する１組の特徴点（第１および第２の特徴点）を抽出する。すなわち、特徴点算出部３は、基準画像の各画素についてＫＬＴ法等を利用して特徴量を算出する。特徴点抽出部５は、各画素の特徴量を表す特徴量データを参照して、特徴点（第１の特徴点）を抽出する。そして、対称特徴点抽出部６は、特徴点抽出部５により抽出された特徴点と対称な位置に存在する特徴点（第２の特徴点）を抽出する。
　ステップＳ１３では、特徴点追跡部９は、探索画像において、ステップＳ１２で抽出された特徴点を探索する。特徴点は、例えば、ＫＬＴ法により追跡される。ステップＳ１４では、算出部１０は、ステップＳ１２で得られた１組の特徴点の座標およびステップＳ１３で得られた１組の特徴点の座標を利用して、ぶれ量を算出する。ステップＳ１４は、下記のステップＳ１４Ａ～１４Ｄを含んでいる。
　ステップＳ１４Ａでは、第１の特徴点についての画像間での座標の差分および第２の特徴点についての画像間での座標の差分の平均値を算出する。この平均化処理により、上述したように、手ぶれの回転成分および拡大／縮小成分が相殺され、平行移動成分が算出される。ステップＳ１４Ｂでは、各特徴点について、画像間での座標差分値から、ステップＳ１４Ａで得られる平行移動成分を差し引く。この引き算の結果は、手ぶれの回転成分および拡大／縮小成分の和である。ステップＳ１４Ｃでは、上述した（１２）式に従って、回転角θが算出される。ステップＳ１４Ｄでは、上述した（１１）式に従って、拡大／縮小率Ｓが算出される。
　上述のように、実施形態の検出方法では、画像の中心点に対して対称な位置に存在する１組または複数組の特徴点を利用してぶれ量が検出される。ただし、中心点に対して正確に対称な位置に存在する特徴点でなくとも、中心点に対して近似的に対称な位置に存在する特徴点であれば、上述の平均化演算によって、手ぶれの回転成分および拡大／縮小成分はほぼ相殺される。したがって、実施形態の検出方法において、「対称な位置」とは、正確に対称な位置に限定されるものではなく、ほぼ対称な位置も含むものである。
　なお、ステップＳ１４で複数の特徴点の組についてぶれ量を算出した結果、他の組とは異なる傾向を示す特徴点の組は、算出結果の精度低下を防ぐため、処理対象から除外しても構わない。例えば、特徴点が画像内の被写体領域に存在し、その被写体自体が２枚の画像を撮影する時間の間に移動してしまった場合、すなわち被写体ぶれが生じている場合、そのような特徴点には手ぶれに加えて被写体ぶれの影響も反映されている。このような特徴点の組に基づいて算出されたずれ量は、手ぶれの影響のみを反映している特徴点の組に基づいて算出されたずれ量とは異なる傾向を示す。従って、被写体ぶれの影響を含んでいる特徴点を処理対象からはずせば、そのような特徴点に基づいてずれ量を算出することで手ぶれによるずれ量の算出精度が低下すること、を抑止できる。
　図１１および図１２は、対称位置特徴点を抽出する方法を説明する図である。図１１に示す方法では、画像の中心点Ｃに対して特徴点Ｐ１と対称な位置に、抽出領域が設定される。そして、この抽出領域内において、予め決められた閾値よりも大きな特徴量を有する画素が対称位置特徴点として抽出される。図１１では、抽出領域から特徴点Ｐ２が抽出されている。このとき、抽出領域内において複数の画素の特徴量が閾値よりも大きければ、最も大きな特徴量を有する画素が対称位置特徴点として抽出される。この方法によれば、互いに対称な位置に存在する特徴点の組が容易に抽出される。なお、この方法では、抽出領域のサイズに依存する誤差が発生する。しかし、抽出領域のサイズを適切に決定することにより、あるいは抽出する特徴点の数が多くすることにより、誤差は吸収される。
　図１２に示す方法では、画像の中心点Ｃに対して対称な位置に１組の抽出領域が設定される。ここでは、抽出領域Ａ、Ｂが設定されている。１組の抽出領域のサイズは、特に限定されるものではないが、互いに同じであることが好ましい。各抽出領域において、それぞれ閾値よりも大きな特徴量を有する画素が特徴点として検出される。この例では、抽出領域Ａにおいて特徴点Ｐ１、Ｐ２が検出され、抽出領域Ｂにおいて特徴点Ｐ３、Ｐ４、Ｐ５が検出されている。そして、各抽出領域から互いに同じ数の特徴点が抽出される。
　例えば、抽出領域Ａから特徴点Ｐ１、Ｐ２が抽出され、抽出領域Ｂから特徴点Ｐ３、Ｐ４が抽出される。すなわち、対称な位置に存在する２組の特徴点「Ｐ１、Ｐ３」「Ｐ２、Ｐ４」が抽出される。或いは、特徴点Ｐ１を繰り返し使用することも可能である。すなわち、対称な位置に存在する３組の特徴点「Ｐ１、Ｐ３」「Ｐ２、Ｐ４」「Ｐ２、Ｐ５」が抽出されるようにしてもよい。
　なお、図１２に示す方法では、抽出領域内で検出される特徴点の特徴量は、互いに近接していないものとする。また、図１２に示す方法では、特徴量変更部８は、抽出領域内の画素に対しては画素量を変更しないようにしてもよい。
　図１３は、図１１または図１２に示す抽出領域のサイズの実施例である。この実施例では、抽出領域のサイズは、画像の中心点から離れるほど小さく設定される。ここで、画像の中心点に近い領域では、手ぶれの回転成分および拡大／縮小成分は小さい。このため、画像の中心点に近い領域では、抽出領域を大きくしても、ぶれ量の誤差が小さい。一方、画像の中心点から遠い領域では、手ぶれの回転成分および拡大／縮小成分は大きくなる。このため、画像の中心点から遠い領域では、抽出領域を小さくすることで、ぶれ量の誤差が抑えられる。なお、抽出領域のサイズは、画像の中心点Ｃからの距離に反比例するように設定するようにしてもよい。
　＜他の実施形態＞
　図１４は、他の実施形態のぶれ量検出方法を説明する図である。この検出方法は、手ぶれが回転ぶれ（図１および図２に示すＲＯＬＬ）を含まないときに使用される。このような画像は、例えば、回転方向のぶれが発生しないように固定されているカメラ（監視カメラ等）により得られる。
　図１４において、画像の中心点Ｃを通過する垂直線（中心垂直線）に対して対称な位置に存在する特徴点Ｐ１、Ｐ２が抽出される。そして、この１組の特徴点Ｐ１、Ｐ２の画像間での移動量を平均化すれば、拡大／縮小に起因する水平方向ずれ量が相殺される。同様に、画像の中心点Ｃを通過する水平線（中心水平線）に対して対称な位置に存在する特徴点Ｐ３、Ｐ４が抽出される。そして、この１組の特徴点Ｐ３、Ｐ４の画像間での移動量を平均化すれば、拡大／縮小に起因する垂直方向ずれ量が相殺される。すなわち、中心垂直線に対して対称な位置に存在する１組の特徴点、および中心水平線に対して対称な位置に存在する１組の特徴点を抽出すれば、手ぶれの拡大／縮小成分を相殺することができるので、手ぶれの平行移動成分を算出することができる。さらに、上述した（１１）式において「θ＝０」を代入すれば、拡大／縮小率Ｓを得ることができる。
　このように、回転ぶれが無いことが予め分かっている画像に対しては、中心点に対して対称な位置に存在する特徴点だけでなく、中心線に対して対称な位置に存在する特徴点をも利用することで、手ぶれの平行移動成分と拡大／縮小成分とを正確に分離することができる。
　図１５は、さらに他の実施形態のぶれ量検出方法を説明する図である。この検出方法では、画像の中心領域に存在する特徴点を利用してぶれ量が算出される。図１２に示す例では、中心領域に存在する特徴点Ｐ１および中心領域の外側に存在する特徴点Ｐ２が使用される。
　この場合、第１の画像と第２の画像との間での特徴点Ｐ２の移動は、平行移動成分、回転成分、拡大／縮小成分を含んでいる。図１５において、矢印Ｔは平行移動成分を表し、矢印ＲＳは、回転成分および拡大／縮小成分の和を表している。一方、特徴点Ｐ１は、画像の中心領域に位置しているので、第１の画像と第２の画像との間で、回転成分および拡大／縮小成分はそれぞれほぼゼロである。すなわち、第１の特徴点Ｐ１の移動は、実質的に、平行移動成分のみである。したがって、第１の画像上での特徴点Ｐ１の座標と第２の画像上での特徴点Ｐ１の座標との差分（すなわち、特徴点Ｐ１の動きベクトル）を計算することにより、手ぶれの平行移動成分Ｔを得ることができる。
　また、特徴点Ｐ２の移動量から、平行移動成分Ｔが差し引かれる。これにより、手ぶれの「回転成分＋拡大／縮小成分」が得られる。さらに、上述した（１１）～（１２）式を利用すれば、手ぶれの回転角θおよび拡大／縮小率Ｓが算出される。なお、（ｘ，ｙ）は第１の画像上での特徴点Ｐ２の座標を表し、（ｘ’，ｙ’）は図１５に示す点Ｐ２’の座標を表す。
　このように、図１５に示すぶれ量検出方法によれば、画像の中心点に対して対称な位置に特徴点が存在しない場合であっても、手ぶれの平行移動成分、回転成分、拡大／縮小成分を適切に分離することができる。
　＜ハードウェア構成＞
　図１６は、実施形態の画像処理装置に係わるハードウェア構成を示す図である。図１６において、ＣＰＵ１０１は、メモリ１０３を利用して実施形態の画像処理プログラムを実行する。実施形態の画像処理プログラムは、上述した実施例の動作を記述している。記憶装置１０２は、例えばハードディスクであり、画像処理プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。なお、図８に示す画像保持部２Ａ、２Ｂ、特徴量保持部４、特徴点保持部７Ａ、７Ｂは、メモリ１０３を利用して実現するようにしてもよい。
　読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬性記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、ユーザからの指示を受け付けるデバイス、表示装置等に相当する。
　実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる画像処理装置が実現される。

Claims (13)

  1. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
    　前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出し、
    　前記第２の画像において前記第１および第２の特徴点を探索し、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する
    　ことを特徴とするぶれ量算出方法。
  2. 　請求項１に記載のぶれ量算出方法であって、
    　前記第１および第２の画像間での前記第１の特徴点の座標の差分、および前記第１および第２の画像間での前記第２の特徴点の座標の差分、を平均化することによりぶれの平行移動成分を算出する
    　ことを特徴とするぶれ量算出方法。
  3. 　請求項２に記載のぶれ量算出方法であって、
    　前記第１および第２の画像間での前記第１の特徴点の座標の差分から、前記平行移動成分を差し引くことにより、前記ぶれの回転成分および拡大／縮小成分を算出する
    　ことを特徴とするぶれ量算出方法。
  4. 　請求項１に記載のぶれ量算出方法であって、
    　前記中心点に対して対称な位置に存在する特徴点の数が予め決められた閾値よりも少なかったときは、前記閾値に達するまで他の特徴点を抽出し、
    　前記中心点に対して対称な位置に存在する特徴点および前記他の特徴点を利用してぶれ量を算出する
    　ことを特徴とするぶれ量算出方法。
  5. 　請求項１に記載のぶれ量算出方法であって、
    　前記第１の画像において、前記中心点に対して前記第１の特徴点と対称な位置に抽出領域を設定し、
    　前記抽出領域の中から前記第２の特徴点を抽出する
    　ことを特徴とするぶれ量算出方法。
  6. 　請求項１に記載のぶれ量算出方法であって、
    　前記第１の画像において、前記中心点に対して対称な位置に１組の抽出領域を設定し、
    　一方の抽出領域から１または複数の第１の特徴点を抽出し、他方の抽出領域から１または複数の第２の特徴点を抽出する
    　ことを特徴とするぶれ量算出方法。
  7. 　請求項５または６に記載のぶれ量算出方法であって、
    　前記抽出領域の大きさは、前記中心点から離れるほど小さくなる
    　ことを特徴とするぶれ量算出方法。
  8. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
    　前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出し、
    　前記第２の画像において前記第１および第２の特徴点を探索し、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する
    　ことを特徴とするぶれ量算出方法。
  9. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
    　前記第１の画像の中心領域から第１の特徴点を抽出し、
    　前記第１の画像の中心領域以外の領域から第２の特徴点を抽出し、
    　前記第２の画像において前記第１および第２の特徴点を探索し、
    　前記第１および第２の画像間での前記第１の特徴点の座標の差分に基づいて、ぶれの平行移動成分を算出し、
    　前記第１および第２の画像間での前記第２の特徴点の座標の差分および前記平行移動成分に基づいて、前記ぶれの回転成分および拡大／縮小成分を算出する
    　ことを特徴とするぶれ量算出方法。
  10. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出するために、コンピュータに、
    　前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出する手順、
    　前記第２の画像において前記第１および第２の特徴点を探索する手順、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する手順
    　を実行させる画像処理プログラム。
  11. 　連写撮影により得られる第１の画像および第２の画像を利用して手ぶれを補正する画像処理装置であって、
    　前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出する抽出部と、
    　前記第２の画像において前記第１および第２の特徴点を探索する探索部と、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する算出部と、
    　前記算出部により得られるぶれ量を利用して前記第２の画像を変換する変換部と、
    　前記第１の画像および前記変換部に得られる変換後の第２の画像を合成する合成部
    　を有する画像処理装置。
  12. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出するために、コンピュータに、
    　前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する手順、
    　前記第２の画像において前記第１および第２の特徴点を探索する手順、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する手順
    　を実行させる画像処理プログラム。
  13. 　連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する画像処理装置であって、
    　前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する抽出部と、
    　前記第２の画像において前記第１および第２の特徴点を探索する探索部と、
    　前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する算出部
    　を有する画像処理装置。
PCT/JP2009/001010 2009-03-05 2009-03-05 画像処理装置およびぶれ量算出方法 WO2010100677A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2009/001010 WO2010100677A1 (ja) 2009-03-05 2009-03-05 画像処理装置およびぶれ量算出方法
JP2011502504A JPWO2010100677A1 (ja) 2009-03-05 2009-03-05 画像処理装置およびぶれ量算出方法
US13/220,335 US20110310262A1 (en) 2009-03-05 2011-08-29 Image processing device and shake calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/001010 WO2010100677A1 (ja) 2009-03-05 2009-03-05 画像処理装置およびぶれ量算出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/220,335 Continuation US20110310262A1 (en) 2009-03-05 2011-08-29 Image processing device and shake calculation method

Publications (1)

Publication Number Publication Date
WO2010100677A1 true WO2010100677A1 (ja) 2010-09-10

Family

ID=42709257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001010 WO2010100677A1 (ja) 2009-03-05 2009-03-05 画像処理装置およびぶれ量算出方法

Country Status (3)

Country Link
US (1) US20110310262A1 (ja)
JP (1) JPWO2010100677A1 (ja)
WO (1) WO2010100677A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120216A1 (en) * 2010-11-11 2012-05-17 Olympus Corporation Endscope apparatus and program
EP2456191A2 (en) 2010-11-19 2012-05-23 Fujitsu Limited Image processing apparatus, image processing method and computer readable information recording medium
US20120281922A1 (en) * 2010-11-11 2012-11-08 Hitoshi Yamada Image processing device, image processing method, and program for image processing
WO2013057648A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Device and method for monitoring movement and orientation of the device
KR20130082309A (ko) * 2012-01-11 2013-07-19 삼성테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
JP2016134631A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN113747034A (zh) * 2021-09-30 2021-12-03 维沃移动通信有限公司 摄像头模组及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI426775B (zh) * 2010-12-17 2014-02-11 Ind Tech Res Inst 攝影機再校正系統及其方法
CN109194878B (zh) * 2018-11-08 2021-02-19 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN114079725B (zh) * 2020-08-13 2023-02-07 华为技术有限公司 视频防抖方法、终端设备和计算机可读存储介质
CN114567727A (zh) * 2022-03-07 2022-05-31 Oppo广东移动通信有限公司 拍摄控制系统、方法及装置、存储介质和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937255A (ja) * 1995-07-19 1997-02-07 Sony Corp 動きパラメータ検出装置および動きパラメータ検出方法、並びに画像符号化装置
JP2008028500A (ja) * 2006-07-19 2008-02-07 Sony Corp 画像処理装置、方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4566591B2 (ja) * 2004-03-19 2010-10-20 キヤノン株式会社 画像変形推定方法および画像変形推定装置
JP4487191B2 (ja) 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
JP2008217526A (ja) * 2007-03-06 2008-09-18 Canon Inc 画像処理装置、画像処理プログラム及び画像処理方法
KR100866963B1 (ko) * 2007-03-12 2008-11-05 삼성전자주식회사 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
JP4678603B2 (ja) 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
JP2008299241A (ja) * 2007-06-04 2008-12-11 Sharp Corp 画像処理装置及び表示装置
US8054881B2 (en) * 2008-12-22 2011-11-08 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937255A (ja) * 1995-07-19 1997-02-07 Sony Corp 動きパラメータ検出装置および動きパラメータ検出方法、並びに画像符号化装置
JP2008028500A (ja) * 2006-07-19 2008-02-07 Sony Corp 画像処理装置、方法、およびプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120216A1 (en) * 2010-11-11 2012-05-17 Olympus Corporation Endscope apparatus and program
US9154745B2 (en) 2010-11-11 2015-10-06 Olympus Corporation Endscope apparatus and program
JP2012100909A (ja) * 2010-11-11 2012-05-31 Olympus Corp 内視鏡装置及びプログラム
US20120281922A1 (en) * 2010-11-11 2012-11-08 Hitoshi Yamada Image processing device, image processing method, and program for image processing
US8798387B2 (en) * 2010-11-11 2014-08-05 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program for image processing
US8687846B2 (en) 2010-11-19 2014-04-01 Fujitsu Limited Image processing apparatus, image processing method and computer readable information recording medium
EP2456191A2 (en) 2010-11-19 2012-05-23 Fujitsu Limited Image processing apparatus, image processing method and computer readable information recording medium
WO2013057648A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Device and method for monitoring movement and orientation of the device
US9655554B2 (en) 2011-10-20 2017-05-23 Koninklijke Philips N.V. Device and method for monitoring movement and orientation of the device
KR20130082309A (ko) * 2012-01-11 2013-07-19 삼성테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
KR101657525B1 (ko) 2012-01-11 2016-09-19 한화테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
JP2016134631A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN113747034A (zh) * 2021-09-30 2021-12-03 维沃移动通信有限公司 摄像头模组及电子设备

Also Published As

Publication number Publication date
JPWO2010100677A1 (ja) 2012-09-06
US20110310262A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
WO2010100677A1 (ja) 画像処理装置およびぶれ量算出方法
JP4623111B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4544334B2 (ja) 画像処理装置および画像処理方法
JP5859958B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010187347A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
JP2010034739A (ja) パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6518115B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2004062270A1 (ja) 画像処理装置
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2013020527A (ja) 画像処理装置および方法、並びにプログラム
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP4661514B2 (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
JP2011180670A (ja) 画像処理装置
JP2010232710A (ja) 画像処理装置および画像処理方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
Dasari et al. A joint visual-inertial image registration for mobile HDR imaging
JP2008310418A (ja) 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ
JP2007329596A (ja) 画像生成装置および画像生成方法
US20130236055A1 (en) Image analysis device for calculating vector for adjusting a composite position between images
JP2008072428A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2011182084A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09841044

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011502504

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09841044

Country of ref document: EP

Kind code of ref document: A1