WO2009150793A1 - 撮像装置、撮像方法 - Google Patents

撮像装置、撮像方法 Download PDF

Info

Publication number
WO2009150793A1
WO2009150793A1 PCT/JP2009/002457 JP2009002457W WO2009150793A1 WO 2009150793 A1 WO2009150793 A1 WO 2009150793A1 JP 2009002457 W JP2009002457 W JP 2009002457W WO 2009150793 A1 WO2009150793 A1 WO 2009150793A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
window
imaging
frame image
feature point
Prior art date
Application number
PCT/JP2009/002457
Other languages
English (en)
French (fr)
Inventor
木村雅之
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/671,755 priority Critical patent/US8395671B2/en
Priority to JP2010502371A priority patent/JP5451593B2/ja
Publication of WO2009150793A1 publication Critical patent/WO2009150793A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to an imaging apparatus, and more particularly to a technique for correcting the influence of physical movement of the apparatus on a captured image.
  • the wearable camera is a camera on the premise that the wearer always wears and always shoots. It is expected to be used effectively for recollection of a person's memory, etc. by always taking and recording an image. (For example, refer to Patent Document 1).
  • the camera may shake irregularly when the wearer moves actively or when the camera is not firmly fixed to the wearer.
  • a moving image shot in a shaken state is also irregularly shaken.
  • One method of removing shaking is to use a motion vector. Since the amount of calculation increases when searching from one end of an image to the other for motion vector detection, there is a conventional technique for setting a window as a search range in a part of an image.
  • the physical movement of the camera is large, there is a possibility that the motion vector of the image due to the movement cannot be detected.
  • setting a large window causes an increase in the amount of computation required for the search.
  • the size of the window and the calculation amount are in a trade-off relationship.
  • Patent Document 2 if the motion vector between frame images is large, changing the shooting frame rate to a high value reduces the amount of relative motion between frames and keeps the size of the window constant while maintaining large motion.
  • Such a problem relating to the motion vector detection method is a problem that may generally occur in an imaging apparatus, not limited to a wearable camera.
  • An object of the present invention is to provide an imaging device capable of detecting a motion vector between frame images.
  • An imaging apparatus includes an imaging unit that images a subject, a sensing unit that senses a physical movement of the imaging unit, an extraction unit that extracts a feature point from the first frame image, and a sensed motion. Based on the prediction unit that predicts the position of the feature point extracted from the first frame image in the second frame image, and sets a window in the second frame image based on the position predicted by the prediction unit A setting unit and a search unit that searches the second frame image for a feature point corresponding to the feature point extracted from the first frame image for the set window.
  • the imaging method includes an imaging step of imaging a subject by an imaging unit, a sensing step of sensing a movement of the imaging unit in the imaging step by a sensor, and an extraction step of extracting a feature point from the first frame image.
  • a prediction step for predicting the position of the feature point extracted from the first frame image in the second frame image based on the sensed motion, and a second frame based on the position predicted by the prediction step.
  • a setting step for setting a window in the image; and a search step for searching for a feature point corresponding to the feature point extracted from the first frame image from the second frame image for the set window. It is characterized by.
  • the prediction unit obtains, for example, a change in the angle of view of the camera from the sensed motion, predicts the position of the feature point
  • the setting unit includes: By setting a window in the second frame image based on the predicted position, a window is provided at a position where there is a high possibility that a feature point exists in the second frame image. Can be explored.
  • the position of the feature point is predicted according to the movement, and the window is set, so that the inside of the window in the second frame image is set.
  • the feature points can be stored in As a result, the feature point can be searched from the second frame image, and can be effectively used to detect a motion vector between the frame images.
  • the setting unit may set the window so as to include the position predicted by the prediction unit.
  • a window can be set in an area where a feature point is highly likely to exist.
  • the setting unit may set a window around the position predicted by the prediction unit.
  • a window can be set in an area where a feature point is highly likely to exist.
  • the setting unit may set a window around a midpoint connecting the position of the feature point extracted in the first frame image and the position predicted by the prediction unit.
  • the feature point in the second frame image is likely to exist between the position extracted in the first frame image and the position predicted by the prediction unit, according to this configuration, It can be set accurately.
  • a frame rate changing unit may be provided that changes the frame rate of the imaging unit to a high value when the magnitude of the physical movement sensed by the sensing unit becomes a predetermined threshold value or more.
  • the amount of motion of the feature points between the frame images can be reduced by changing the frame rate to be high, so that the size of the window can be reduced. Even if it exists, the effect which becomes easy to detect a feature point is acquired.
  • the frame rate changing unit changes the frame rate to a first value when the magnitude of motion sensed by the sensing unit exceeds the predetermined threshold, and the magnitude of motion sensed by the sensing unit.
  • the frame rate may be changed to a second value higher than the first value when is equal to or greater than a second threshold value greater than the predetermined threshold value.
  • the amount of motion of the feature points between the frame images can be reduced, and more efficient. Contributes to the search for feature points.
  • the frame rate changing unit may change the frame rate to a higher value as the physical movement sensed by the sensing unit is larger.
  • the amount of motion of feature points between frame images can be reduced by changing the frame rate to a high value according to the sensed motion, which contributes to more efficient search for feature points. .
  • the frame rate changing unit may perform a frame rate changing operation at a predetermined time interval longer than a time interval between frame images.
  • a shutter speed changing unit may be provided that changes the shutter speed of the image pickup unit to a fast value when the magnitude of the physical movement sensed by the sensing unit exceeds a predetermined threshold value.
  • the feature point is erroneously detected when searching by the search unit by suppressing the image blur by changing the shutter speed to a fast value. The possibility of doing so can be reduced.
  • a sensitivity changing unit may be provided that changes the sensitivity of the imaging unit to a high value when the magnitude of the physical movement sensed by the sensing unit exceeds a predetermined threshold.
  • the setting unit may change the size of the window to be set according to the size of the physical movement sensed by the sensing unit.
  • the setting unit may change the size of the window when the physical movement sensed by the sensing unit exceeds a predetermined value.
  • the probability that the feature points can be contained in the window can be increased.
  • the setting unit may set the entire image as a search range once per a predetermined number of frames.
  • the feature point When a feature point is no longer detected due to image fluctuation or obstruction by an obstacle, the feature point may remain off the window thereafter.
  • the entire image is periodically set so that the feature points can be reliably within the search range.
  • the sensing unit may be configured by at least one of an angular velocity sensor or an acceleration sensor.
  • FIG. (a) is a schematic diagram showing the user 2 wearing the wearable camera.
  • (B) is a schematic diagram showing the rotation axis of an image.
  • the lower part shows a previous frame image Ft
  • the upper part shows a current frame image Ft + 1 .
  • the lower part shows a previous frame image Ft
  • the upper part shows a current frame image Ft + 1 .
  • (b) is a figure which shows the window setting using a predicted position.
  • FIG. 6 is a functional block diagram of a wearable camera according to Embodiment 2.
  • FIG. 6 is a functional block diagram of a wearable camera according to Embodiment 2.
  • (a) is a flowchart which shows the whole processing content of the wearable camera which concerns on Embodiment 2
  • (b) is a flowchart which shows a frame rate change process. It is a figure which shows the change table containing the item of a sensor output, a frame rate, a sensitivity, and a shutter speed.
  • FIG. 1 is a functional block diagram of the wearable camera according to the first embodiment.
  • the wearable camera 10 includes an imaging unit 12, a sensing unit 14, a motion detection unit 16, a frame memory 18, and a control unit 20.
  • the imaging unit 12 includes an imaging element such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) and a lens unit, and has a function of imaging a subject and outputting an image.
  • an imaging element such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) and a lens unit, and has a function of imaging a subject and outputting an image.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the sensing unit 14 has a function of sensing physical movement of the imaging unit 12. Specifically, it is composed of a vibration type angular velocity sensor built in a wearable camera casing, and specifically senses the angular velocity as a physical movement.
  • the motion detection unit 16 includes a feature point extraction unit 22, a feature point position prediction unit 24, a window setting unit 26, a feature point search unit 28, and a majority processing unit 30, and between the frames of the images captured by the imaging unit 12. Detect motion vectors. The detected motion vector is used for correction of shaking between frame images.
  • the feature point extraction unit 22 determines that the frame image F t (the frame image F t and the frame image F t + 1 are temporally continuous frames, which are respectively “previous frame image F t ” and “current frame image F t.
  • the feature points are extracted from “ +1 ”.
  • the feature point extraction method extracts feature points such as edges and corners in an image according to a commonly used method (for example, a Harris corner detector).
  • the feature point position prediction unit 24 acquires sensor information including the angular velocity from the sensing unit 14, and based on the acquired sensor information, indicates at which position in the current frame image the feature point in the previous frame image is located. Predict.
  • the window setting unit 26 sets a window for the feature point search unit 28 in the frame image F t + 1 .
  • the window defines a search range for feature points and is smaller than the size of the frame image.
  • the feature point search unit 28 searches for a feature point corresponding to the feature point in the previous frame image F t for the window set in the current frame image F t + 1 .
  • the majority decision processing unit 30 creates a large number of pairs of feature points from the plurality of feature points extracted by the feature point extraction unit 22 and the plurality of feature points searched by the feature point search unit 28, Determine the movement of the entire image. Details will be described later.
  • a general method called a matching method can be used. That is, the corresponding feature point is searched from the pixels in the window by comparing the luminance level of the pixel in the window in the current frame image F t + 1 with the luminance level of the feature point in the previous frame image F t .
  • the frame memory is a memory for storing an image for each frame, and stores an image output by the imaging unit 12 and the like.
  • the control unit 20 includes a CPU, a ROM that stores a control program, and a RAM, and controls each functional block.
  • FIG. 2A is a schematic diagram showing the user 2 wearing the wearable camera.
  • the wearable camera 10 is attached to the user 2 at a position near the left chest. This attachment is performed using a string or a clip on the back of the casing for hanging from the top of the casing of the wearable camera 10.
  • the horizontal direction is set to the x axis
  • the vertical direction is set to the y axis
  • the direction orthogonal to the xy plane is set to the z axis (the optical axis direction of the wearable camera 10 is matched).
  • the rotation around the x axis is called pitch (pitch)
  • the rotation around the y axis is called yaw
  • the rotation around the z axis is called roll.
  • the vibration type angular velocity sensor constituting the sensing unit 14 uses Coriolis force for detecting the angular velocity.
  • the angular velocity ⁇ can be obtained by detecting this Coriolis force Fc.
  • the angular velocity can be obtained by a method such as measuring the Coriolis force as the amount of change in voltage or current using a piezoelectric element.
  • the rotational angular velocity with respect to each direction can be detected by installing the piezoelectric elements in a plurality of directions.
  • the number of sensors mounted on the sensing unit 14 may be one or a plurality of sensors in one direction. For example, if the output values of n sensors are averaged, the S / N ratio improves in proportion to the square root of n, so that more accurate sensor information can be obtained.
  • the points a1, a2, a3 is a feature point the feature point extraction unit 22 has extracted from the frame image F t.
  • the coordinates of the feature points a1, a2, and a3 are (x a1 , y a1 ), (x a2 , ya 2 ), and (x a3 , ya 3 ), respectively.
  • Points b1, b2, b3 are feature points feature point searching unit 28 detects by search from the frame image F t.
  • the feature points b1, b2, and b3 are feature points corresponding to the feature points a1, a2, and a3, respectively.
  • the coordinates of the feature points b1, b2, and b3 are (x b1 , y b1 ), (x b2 , y b2 ), (x b3 , y b3 ).
  • Equation 2 the vector v between the two points is expressed by Equation 2.
  • the majority processing unit 30 moves all feature points (a1, a2, a3) of the previous frame image F t in accordance with the vector v. Then, the number of feature points of the current frame image F t + 1 at the position of the feature point after movement is counted.
  • the position of the feature point is not necessarily completely matched due to the influence of image fluctuations. For example, it is only necessary that the feature point exists within a distance ⁇ from the position of the feature point after movement. . In the above example, it can be determined that two sets of (a1, b1) and (a3, b3) among the three feature points follow the vector v.
  • the vector followed by the most feature point sets is set as the motion vector of the entire frame image.
  • the vector v obtained from the set of (a1, b1) and (a3, b3) is the motion vector of the entire image.
  • the feature point search unit 28 performs a search based on the brightness level extracted by the feature point extraction unit 22 as described above. If the entire image of the current frame image F t + 1 is set as the search range, the feature point search unit 28 calculates In addition, the amount is excessive and the search range is included up to the range where the possibility of the feature point existing is low.
  • the search range is limited to reduce the amount of calculation.
  • FIG. 4 is a diagram illustrating an example of a window set by the window setting unit 26.
  • a search range for searching for a feature point corresponding to the feature point a2 is a search range for searching for a feature point corresponding to the feature point a1.
  • a window w3 which is a search range for searching for a feature point corresponding to a certain window w2 and feature point a3 is set.
  • the feature point b2 corresponding to the feature point a2 in the window w2 is located outside the window w2, the feature point b2 is not detected by the feature point search unit 28. In this way, by suppressing the detection of unnecessary feature points by setting the window, it is possible not only to reduce the calculation amount but also to improve the motion vector detection accuracy. In addition, erroneous detection of feature points can be suppressed.
  • the windows w1 to w3 are all set so that the positions of the feature points a1, a2, and a3 of the previous frame image Ft are the center positions. In the present embodiment, more accurate windows are set. Therefore, the window is set using the sensed movement.
  • the feature point position prediction unit 24 acquires the motion at the time of the current frame image F t + 1 from the sensing unit 14, and calculates the pixel movement amount d in the image from the acquired motion.
  • FIG. 5 is a schematic diagram showing the relationship between the camera rotation angle (field angle) and the pixel movement amount d. A method of calculating the pixel movement amount d will be described with reference to FIG.
  • Equation 4 can be rewritten as Equation 5 below.
  • the constant b is automatically determined when the angle of view and resolution of the camera are determined, and the frame rate F r is determined at the time of shooting. Therefore, the rotational angular velocity a obtained by the sensor and the amount of movement d can be associated with Expression 5.
  • Equation 6 is established from FIG.
  • Equation 6 is a value at the edge of the image where the amount of movement becomes the largest, and the amount of movement d decreases as it approaches the center.
  • the predicted position is calculated as described above.
  • the lower part shows the previous frame image F t at time t
  • the upper part shows the current frame image F t + 1 at time t + 1.
  • a point p1, a point p2 is a feature point by the feature point extraction unit 22 extracted from the previous frame image F t.
  • Points q1 and q2 are feature points corresponding to points p1 and p2, respectively.
  • An arrow indicated by a symbol d in the current frame image F t + 1 is a vector indicating the movement amount d calculated by the feature point position prediction unit 24, and a point obtained by moving the feature point p1 according to the movement amount d is a point p1.
  • 7 (a) and 7 (b) are diagrams showing window settings using the predicted position.
  • the window w4 is set around the predicted position point p1 '.
  • the window w5 is set around the predicted position point p2 '(the position where the point p2 is predicted to have moved according to the movement amount d).
  • the point q1 corresponding to the point p1 can be stored in the window w4, and an accurate setting can be realized with a narrow window size.
  • FIG. 7 (c) similarly without using predicted position is a diagram showing a window setting centered position feature point p1 of the previous frame image F t.
  • the feature point q1 since the feature point q1 is outside the window w6, the feature point q1 cannot be detected with this size. If the size of the window w6 is increased, the feature point q1 can be detected, but it tends to increase the amount of calculation and decrease the detection accuracy.
  • FIG. 7 (c) similarly without using predicted position is a diagram showing a window setting centered position feature point p1 of the previous frame image F t.
  • the feature point extracting unit 22 obtains the previous frame image F t from the frame memory, and extracts feature points from the acquired previous frame image F t (S11). Then, the feature point position prediction unit 24 acquires the angular velocity in the current frame image F t + 1 from the sensing unit 14 (S12), and corrects the error of the acquired angular velocity (S13).
  • the acquisition of the angular velocity in step S12 is basically to determine the angular velocity of the imaging unit 12 from the previous frame image Ft to the current frame image Ft + 1 (an angular velocity that affects the movement of the interframe image). Therefore, the value is not necessarily limited to the value acquired at the time (time t + 1) of the current frame image F t + 1 . For example, it may be a value acquired at the time (time t) of the previous frame image F t or an average value of a plurality of values acquired from time t to time t + 1.
  • This error is corrected as follows, for example.
  • the error distribution of the sensor of the sensing unit 14 is measured.
  • the error of the sensor output follows a normal distribution in which the average is ⁇ and the standard deviation is ⁇ as shown in FIG.
  • the correction amount can be determined based on the average ⁇ and the standard deviation ⁇ of the normal distribution.
  • the corrected value a ′ can be calculated by the following equation 8.
  • the sensor error average ⁇ , standard deviation ⁇ , and constant x are recorded in advance in the ROM of the control unit 20, and these values are read out at the time of correction, and correction is performed according to Equation 8. .
  • the feature point position prediction unit 24 calculates the pixel movement amount d in the image based on the corrected angular velocity (S14).
  • the calculation method of the pixel movement amount d is as described with reference to FIG.
  • the window setting unit 26 acquires feature point information of the frame image Ft (S21).
  • the window setting unit 26 determines a position where each feature point is moved according to the pixel movement amount d as a predicted position of each feature point (S22), and sets a window centered on the predicted position (S23).
  • the feature point search unit 28 searches for and detects feature points in the window set in the current frame image F t + 1 (S24).
  • the majority processing unit 30 determines a motion vector between frame images.
  • the majority processing unit 30 counts the number e of feature points determined to match (S36). If the number e exceeds the previous maximum value e max (S37: Yes), the majority processing unit 30 sets the number e to the new maximum value e max (S38), and sets the vector v as the temporary first vector. Store (S39).
  • step S40 When the processing from step S33 to S39 is repeated and counting of e for all feature point groups is completed (S40: Yes), the temporary first-order motion vector is used as the motion between the frame images F t and F t + 1.
  • the vector is determined (S41). 8 to 10 is performed every time the imaging unit 12 outputs a frame image, that is, for each frame.
  • the present embodiment it is predicted how the feature point in the previous frame image F t has moved in the current frame image F t + 1 based on the angular velocity sensed by the sensing unit 14. Since the pixel movement amount d, which is a value, is obtained, and the window is set around the predicted position obtained by moving the feature point according to the pixel movement amount d, an accurate window setting can be realized, and the amount of calculation can be reduced and the power consumption can be reduced. Can be suppressed. In addition, accurate window settings can actively drive out feature points that are different from the wearable camera's own movement, in other words by eliminating subject movement that is not caused by the camera's own movement. It is possible to improve the accuracy of motion detection.
  • the feature point is moved according to the pixel movement amount d, and the window is set around the predicted position after the movement. It is possible to detect a large movement while keeping it constant.
  • the rectangular window is set with the predicted position p1 ′ as the center.
  • the predicted position p1 ′ is not necessarily the center position, at least the predicted position p1 ′ is included. If you set the window, you can achieve the exact setting. For example, the same effect can be obtained even if the window is set as follows. Hereinafter, it demonstrates as a modification.
  • FIG. 12 is a diagram showing window setting modification examples 1 to 3.
  • ⁇ Modification Example 1> the window w7 is not a rectangle, but has a circular shape centered on the predicted position p1 ′. Since the feature point q1 to be detected is likely to move within an equidistant range centered on the predicted position p1 ′, setting the circular window w7 can contribute to efficient feature point search.
  • the window w8 is not a rectangle but an ellipse shape centering on the estimated position p1 '. Since the feature point q1 to be detected is likely to move in a direction along the direction of the pixel movement amount d, an efficient feature point can be obtained by setting the window w8 whose major axis coincides with the direction of the pixel movement amount d. Search can be realized.
  • the center position of the window w9 is not the predicted position p1 ′ but the midpoint m of the predicted position p1 ′ and the feature point p1.
  • Such a window w9 can also contribute to efficient feature point search.
  • the frame rate and the like are changed in accordance with the movement of the wearable camera, thereby realizing a large movement detection while keeping the window size constant.
  • FIG. 13 is a functional block diagram of the wearable camera according to the second embodiment.
  • the wearable camera 11 includes a frame rate changing unit 32, a shutter speed changing unit 34, and a sensitivity changing unit 36.
  • the other functional blocks are the same as those in FIG.
  • the frame rate changing unit 32 acquires the sensor output from the sensing unit 14 and changes the frame rate F r of the imaging unit 12 according to the acquired sensor output.
  • the shutter speed changing unit 34 acquires the sensor output from the sensing unit 14 and changes the shutter speed of the imaging unit 12 according to the acquired sensor output.
  • the sensitivity changing unit 36 compensates for a decrease in light amount accompanying an increase in the shutter speed by changing the sensitivity of the imaging unit 12 in conjunction with the change in the shutter speed by the shutter speed changing unit 34.
  • FIG. 14 is a flowchart showing the entire processing contents of the wearable camera according to the second embodiment.
  • FIG. 14 (a) is basically the same as the flow of FIG. 8, and a frame rate change process (S17) is added.
  • S17 frame rate change process
  • the frame rate changing unit 32 determines whether there is a frame rate changing permission (S51), and the sensor output included in the sensor information corrected in step S13. a 'is acquired and it is judged whether it is more than a threshold value (S52).
  • the threshold setting method is as follows.
  • the pixel movement amount d at a certain frame rate F r is determined from Equations 5 and 7.
  • the maximum amount of movement that can perform motion detection and d max limit rotational acceleration a max as the amount of movement is d max in the frame rate F r is obtained.
  • the value of a max is defined by Equation 9 below.
  • the value of the limit rotational acceleration in the rotation in the Roll direction can be obtained by solving Equation 7 for a.
  • This a max can be used as a threshold value.
  • the frame rate changing unit 32 changes the frame rate of the imaging unit 12 to the high frame rate F r (a ′) (S53). Specifically, assuming that the target movement amount is d ′ (where d ′ ⁇ d max ), F r (a ′) is given by the following Expression 10 from Expression 5, for example.
  • the frame rate changing unit 32 changes the frame rate of the imaging unit 12 to the normal frame rate (S54).
  • the frame rate is set to prohibit change during time t1 (S55).
  • This setting defines the frame rate change interval. For example, t1 is set to several seconds.
  • the frame rate Fr By changing the frame rate Fr to F r (a ′) high, the time difference between the frame image Ft and the next frame image F t + 1 to be captured is shortened. For this reason, the amount of movement of the feature points can be reduced. Further, by changing to F r (a ′), the feature point in the frame image F t + 1 can be surely contained in the window, so that there is a feature point of the subject moving in a direction different from the movement of the camera. However, it can be stably detected as movement.
  • the frame rate F r (a ′) is a so-called target value of the frame rate, and it may take time to change the original value to the target value depending on the specifications of the camera or the like. There is also a case.
  • the frame rate may be changed as follows.
  • a modified example according to the second embodiment will be described.
  • FIG. 15 is a change table 40 including items of sensor output, frame rate, sensitivity, and shutter speed.
  • the change table 40 is stored in the ROM of the control unit 20, and includes items “sensor output a ′” 40a, “frame rate F r (a ′)” 40b, “sensitivity ISO (a ′)” 40c, “Shutter speed S (a ′)” 40d is included.
  • the “frame rate F r (a ′)” 40b increases, the “sensitivity ISO (a ′)” 40c increases, and the “shutter speed S ( a ′) ”40d is related to become faster.
  • the frame rate of the wearable camera 11 is limited to a maximum of 60 fps, and therefore, even when “sensor output a ′” is 0.025, the frame rate is 60 fps, which is the same as when 0.020.
  • the control unit 20 acquires the sensor output after correction, and changes the frame rate, sensitivity, and shutter speed with reference to the change table. According to the first modification, feature points can be searched for while suppressing power consumption by changing each variable in stages.
  • the frame rate is described as being changed based on the sensor output. However, in the second modification, the frame rate is determined based on the size of the window.
  • the movement amount d ′ is defined as a value smaller than the maximum movement amount d max at which motion detection can be performed when the frame rate is determined in Expression 10, but this movement amount d ′ is defined as a window.
  • the frame rate is determined by setting it to a value smaller than half the length of one side. As a result, it can be ensured that the feature points after the movement do not protrude from the window. If the window is not a rectangle centered on the predicted position p′1 as in the modification of the first embodiment, d ′ is determined according to the form of each window.
  • the feature point after movement does not protrude from the window by setting d ′ to be half the length of the minor axis of the ellipse. Can be guaranteed.
  • d ′ may be determined based on both the maximum movement amount d max and the sensor output.
  • the window size is fixedly set.
  • a window having a larger size may be set for each predetermined number of frames.
  • the entire normal image may be set as the search range every predetermined number of frames.
  • the window size is small.
  • the feature point is not detected due to image fluctuation or obstruction by an obstacle. May remain off the window afterwards.
  • the search range is reset to the entire image once every predetermined number of frames, the feature points can be surely placed in the search range, and the motion can be detected more stably.
  • the angular velocity sensor has been described as an example of the sensing unit 14, but the present invention is not limited to the angular velocity sensor and may be an acceleration sensor.
  • the wearable camera has been described as an example of the imaging device.
  • the imaging device is not limited to the wearable camera, and any imaging device capable of shooting a moving image including a digital video camera.
  • the embodiment can also be applied, and is particularly effective for an imaging apparatus that is expected to be used in a severe environment with large shaking and movement.
  • Embodiments 1 and 2 have been described on the assumption that feature points are extracted from the previous frame image F t and feature points corresponding to the feature points extracted from the subsequent frame image F t + 1 are searched.
  • short frame image F t so only needs to be calculated frame image overall movement between F t + 1, on the contrary, is extracted from the rear frame image F t + 1, also configured that before searching from the frame image F t possible.
  • the sensing unit 14 detects the angular velocity in time between the two frame images F 1 and F 2 to obtain the pixel movement amount d, and the feature point between the frame images F 1 and F 2. Can be predicted.
  • an AE function that is generally used in an AE (Automatic Exposure) camera or the like may be used.
  • Control composed of program code for causing the processor of the imaging apparatus such as a wearable camera and the various circuits connected to the processor to perform the operations and processes (FIGS. 8 to 10) shown in the above-described embodiment.
  • the program can be recorded on a recording medium, or can be distributed and distributed via various communication paths.
  • Such recording media include IC cards, hard disks, optical disks, flexible disks, ROMs, and the like.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to perform various functions as shown in the embodiment. It will be realized.
  • the imaging apparatus according to the present invention is useful because it can detect a motion vector between frame images while suppressing an increase in calculation amount.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　撮像装置であるウェアラブルカメラは、カメラの動きをセンシングするセンシング部と、センシングの結果からフレーム間の画素移動量（ｄ）を算出する予測部とを備える。この予測部は、前フレーム画像から抽出した特徴点（ｐ１）を画素移動量（ｄ）に従って移動させた位置（ｐ１’）を求め、設定部は現フレーム画像（Ｆt+1）内に位置（ｐ１’）を中心としたウインドウ（ｗ４）を設定する。そして探索部は、ウインドウ（ｗ４）内を対象として、特徴点（ｐ１）に対応する特徴点（ｑ１）を探索して検出する。

Description

撮像装置、撮像方法
　本発明は、撮像装置に関し、特に装置の物理的な動きが、撮影した画像に与える影響を補正する技術に関する。
　撮像装置の中でも、ウェアラブルカメラは、装着者の常時装着・常時撮影を前提としたカメラである。常時画像を撮影して記録することにより、人の記憶の回想などに有効利用することが期待されている。（例えば、特許文献１参照）。
　このようなウェアラブルカメラは、常時装着を前提としているので、装着者が活発に動く場合や装着者にカメラがしっかり固定されていない場合などには、カメラが不規則に揺れることがある。揺れた状態で撮影した動画像も、不規則に揺れたものとなる。
　揺れのある動画像は、視聴者に「映像酔い」と呼ばれる不快感や目まい感を及ぼすおそれがあるので、動画像から揺れを補正して取り除く必要がある。
　揺れを取り除く手法の１つとして動きベクトルを用いる方法が挙げられる。動きベクトル検出のために、画像の端から端まで探索すると演算量が多くなるので、画像の一部に探索範囲とするウインドウを設定する技術が従来からある。
　ウインドウを小さく設定するほど、演算量をより軽減できるが、カメラの物理的動きが大きい場合に、当該動きに起因する画像の動きベクトルを検出できない可能性がある。とはいえ、ウインドウを大きく設定すると探索に必要な演算量の増大を招く。このように、ウインドウの大きさと演算量とはトレードオフの関係にある。
　これに関して、フレーム画像間の動きベクトルが大きい場合には、撮影フレームレートを高く変更することで、フレーム間の相対的な動きの量を小さくし、ウインドウの大きさを一定に抑えつつ、大きな動きにも対応できるとする技術がある（特許文献２）。
特開2003-304486号公報 特開2007-281961号公報
　しかし、現実にはフレーム画像間の動きは、撮影しているカメラ自身の物理的な動きに起因するものに加えて、撮影されている被写体の動きに起因するものが混在している。撮像された画像のみから両者を区別するのは困難であり、カメラと被写体とが異なる方向に動いている場合、特許文献２の記載の手法ではカメラの物理的な動きを正確に推定するのは困難である。
　また、上記特許文献２に記載の手法では、まず先に動きベクトルを検出し、その後でフレームレートを変更するという処理の流れであるので、極めて大きな物理的な動きが発生している場合には、その動きベクトルが検出できず、フレームレートも変更できないという事態に陥るおそれがある。
　この点、ウインドウのサイズを大きくすれば、検出の可能性は高くなるものの、上述のように演算量の増大を招いてしまう。このような、動きベクトルの検出手法に関する問題は、ウェアラブルカメラに限らず撮像装置に一般に生じ得る問題である。
　本発明は、上述の問題に鑑みてなされたものであって、ウインドウサイズを抑えて演算量の増加を防止しつつ、ウインドウを的確に設定することで、カメラ自身の物理的な大きな動きに起因するフレーム画像間の動きベクトルを検出できる撮像装置を提供することを目的とする。
　本発明に係る撮像装置は、被写体を撮像する撮像部と、前記撮像部の物理的な動きをセンシングするセンシング部と、第１フレーム画像から特徴点を抽出する抽出部と、センシングされた動きに基づいて、前記第１フレーム画像から抽出された特徴点の第２フレーム画像中における位置を予測する予測部と、前記予測部により予測された位置に基づいて第２フレーム画像内にウインドウを設定する設定部と、設定されたウインドウを対象に、前記第１フレーム画像から抽出された特徴点に対応する特徴点を、第２フレーム画像から探索する探索部とを備えることを特徴としている。
　また、本発明に係る撮像方法は、撮像部により被写体を撮像する撮像ステップと、前記撮像ステップにおける撮像部の動きをセンサによりセンシングするセンシングステップと、第１フレーム画像から特徴点を抽出する抽出ステップと、センシングされた動きに基づいて、前記第１フレーム画像から抽出された特徴点の第２フレーム画像中における位置を予測する予測ステップと、前記予測ステップにより予測された位置に基づいて第２フレーム画像内にウインドウを設定する設定ステップと、設定されたウインドウを対象に、前記第１フレーム画像から抽出された特徴点に対応する特徴点を、第２フレーム画像から探索する探索ステップとを備えることを特徴としている。
　課題を解決するための手段に記載した構成によれば、前記予測部は、センシングされた動きから、例えばカメラの画角の変化を求めて、特徴点の位置を予測し、前記設定部は、予測された位置に基づいて第２フレーム画像内にウインドウを設定することで、第２フレーム画像内において特徴点が存在する可能性が高い位置にウインドウを設けて、このウインドウ内から効率良く特徴点を探索することができる。
　また、カメラ自身が大きく動くことで、センシングされた動きが大きくなったとしても、その動きに応じて特徴点の位置を予測し、ウインドウを設定することで、第２フレーム画像内のウインドウの内部に特徴点を収めることができる。この結果、第２フレーム画像から特徴点を探索でき、フレーム画像間の動きベクトルの検出に有効利用することができる。
　また、前記設定部は、前記予測部により予測された位置を含むようにウインドウを設定するとしても構わない。
　この構成によれば、特徴点が存在する可能性が高い領域にウインドウを設定することができる。
　また、前記設定部は、前記予測部により予測された位置を中心にウインドウを設定するとしても構わない。
　この構成によれば、特徴点が存在する可能性が高い領域にウインドウを設定することができる。
　また、前記設定部は、前記第１フレーム画像における抽出された特徴点の位置と、前記予測部により予測された位置とを結ぶ中点を中心にウインドウを設定するとしても構わない。
　第２フレーム画像における特徴点は、第１フレーム画像における抽出された位置と、前記予測部により予測された位置との間に存在している可能性が高いので、この構成によれば、ウインドウを的確に設定することができる。
　また、センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部のフレームレートを高い値に変更するフレームレート変更部を備えることを特徴としても構わない。
　この構成によれば、センシングされた動きが所定の閾値以上と大きくなった場合に、フレームレートを高く変更することで、フレーム画像間の特徴点の動きの量を小さくでき、小さいサイズのウインドウであったとしても特徴点を検出しやすくなる効果が得られる。
　また、前記フレームレート変更部は、前記センシング部によりセンシングされた動きの大きさが前記所定の閾値以上になるとフレームレートを第１の値に変更し、前記センシング部によりセンシングされた動きの大きさが前記所定の閾値より大きい第２の閾値以上となると、フレームレートを前記第１の値より高い第２の値に変更することを特徴としても構わない。
　この構成によれば、センシングされた動きに応じて、フレームレートを第１の値、第２の値と変更することで、フレーム画像間の特徴点の動きの量を小さくでき、より効率の良い特徴点の探索に寄与する。
　また、前記フレームレート変更部は、前記センシング部によりセンシングされた物理的な動きの大きさが大きいほど、フレームレートをより高い値に変更することを特徴としても構わない。
　この構成によれば、センシングされた動きに応じて、フレームレートを高い値に変更することで、フレーム画像間の特徴点の動きの量を小さくでき、より効率の良い特徴点の探索に寄与する。
　また、前記フレームレート変更部は、フレーム画像間の時間間隔より長い所定の時間間隔でフレームレートの変更動作を行うことを特徴としても構わない。
　また、センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部のシャッタースピードを速い値に変更するシャッタースピード変更部を備えることを特徴としても構わない。
　この構成によれば、センシングされた動きが所定の閾値以上の場合に、シャッタースピードを速い値に変更することで、画像のブレを抑制して探索部による探索の際に、特徴点を誤検出する可能性を低減することができる。
　また、センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部の感度を高い値に変更する感度変更部を備えることを特徴としても構わない。
　この構成によれば、撮影時の感度を上げることでシャッタースピードを速い値に変更することに起因する光量の低下を補い、画像の明るさの変動を抑えることができる。
　また、前記設定部は、前記センシング部によりセンシングされた物理的な動きの大きさに応じて、設定するウインドウの大きさを変化させるとしても構わない。
　この構成によれば、例えば、物理的な動きが大きい場合にウインドウのサイズを大きくすることで、特徴点をウインドウ内に収められる確率を高めることができる。
　前記設定部は、前記センシング部によりセンシングされた物理的な動きの大きさが予め定められた値を上回ると、前記ウインドウの大きさの変化を行うとしても構わない。
　この構成によれば、例えば、物理的な動きが大きくて、フレームレートの変更では対応が難しいような状況において、特徴点をウインドウ内に収められる確率を高めることができる。
　また、前記設定部は、所定のフレーム数あたりに１回は、画像全体を探索範囲と設定することを特徴としても構わない。
　画像の揺らぎや障害物による遮蔽などで特徴点が検出されなくなった場合に、その特徴点は以降ウインドウから外れたままになってしまうことがある。上記構成のように、所定のフレーム数ごとに１回は、定期的に画像全体に設定することで、確実に特徴点を探索範囲内に収めることができる。
　また、前記センシング部は、角速度センサまたは加速度センサの少なくとも１つにより構成されるとしても構わない。
実施の形態１に係るウェアラブルカメラの機能ブロック図である。 (ａ)は、ウェアラブルカメラを装着したユーザ２を表す模式図である。（ｂ）は画像の回転軸を表す模式図である。 下部は前フレーム画像Ｆtを示し、上部は現フレーム画像Ｆt+1を示す図である。 ウインドウ設定部２６が設定したウインドウの例を示す図である。 カメラの回転角度（画角）と画素の移動量の関係を示す模式図である。 下部は前フレーム画像Ｆtを示し、上部は現フレーム画像Ｆt+1を示す図である。 （ａ）（ｂ）は、予測位置を利用したウインドウ設定を示す図である。（ｃ）は、予測位置を利用しないウインドウ設定を示す図である。 ウェアラブルカメラの全体的な処理内容を示すフローチャートである。 ウインドウ設定・探索処理を示すフローチャートである。 動き決定処理を示すフローチャートである。 センサ出力の誤差分布を表す模式図である。 （ａ）は変形例１に係るウインドウ設定を説明する図であり、（ｂ）は変形例２に係るウインドウ設定を説明する図であり、（ｃ）は変形例３に係るウインドウ設定を説明する図である。 実施の形態２に係るウェアラブルカメラの機能ブロック図である。 (ａ)は実施の形態２に係るウェアラブルカメラ全体的な処理内容を示すフローチャートであり、（ｂ）はフレームレート変更処理を示すフローチャートである。 センサ出力、フレームレート、感度、シャッタースピードの項目を含む変更テーブルを示す図である。
（実施の形態１）
　以下、本発明の実施の形態について、撮像装置であるウェアラブルカメラを例に挙げて説明する。
＜構成＞
　図１は、実施の形態１に係るウェアラブルカメラの機能ブロック図である。
　ウェアラブルカメラ１０は、撮像部１２、センシング部１４、動き検出部１６、フレームメモリ１８、制御部２０を備える。
　撮像部１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）といった撮像素子やレンズ部を含んで構成され、被写体を撮像して画像を出力する機能を有する。
　センシング部１４は、撮像部１２の物理的な動きをセンシングする機能を有する。具体的には、ウェアラブルカメラの筐体に内蔵された振動型角速度センサから構成されており、物理的な動きとして特に角速度をセンシングする。
　動き検出部１６は、特徴点抽出部２２、特徴点位置予測部２４、ウインドウ設定部２６、特徴点探索部２８、多数決処理部３０を有し、撮像部１２によって撮影された画像のフレーム間の動きベクトルを検出する。検出した動きベクトルは、フレーム画像間の揺れの補正の利用に供される。
　特徴点抽出部２２は、フレーム画像Ｆt（フレーム画像Ｆt、フレーム画像Ｆt+1は時間的に連続するフレームであり、順にそれぞれ、「前フレーム画像Ｆt」、「現フレーム画像Ｆt+1」と呼ぶ。）から特徴点を抽出する。特徴点の抽出手法は、一般的に利用されている周知の手法（例えば、Ｈａｒｒｉｓコーナー検出器（corner detector））に従って、画像中のエッジやコーナーといった特徴点を抽出する。
　特徴点位置予測部２４は、センシング部１４から角速度を含むセンサ情報を取得し、取得したセンサ情報に基づいて、前フレーム画像における特徴点が、現フレーム画像内のどの位置に位置しているかを予測する。
　ウインドウ設定部２６は、フレーム画像Ｆt+1内に特徴点探索部２８のウインドウを設定する。ウインドウは、特徴点の探索範囲を規定するものであり、フレーム画像の大きさよりは小さい。
　特徴点探索部２８は、現フレーム画像Ｆt+1内に設定されたウインドウを対象として、前フレーム画像Ｆt内の特徴点に対応する特徴点を探索する。
　多数決処理部３０は、特徴点抽出部２２により抽出された複数の特徴点と、特徴点探索部２８により探索された複数の特徴点から一対の特徴点組を多数作成して、多数決原理によりフレーム画像全体の動きを決定する。詳しくは後述する。
　この探索は、マッチング法と呼ばれる一般的な手法を用いることができる。すなわち、現フレーム画像Ｆt+1におけるウインドウ内の画素の輝度レベルと前フレーム画像Ｆtの特徴点の輝度レベルとを比較することで、ウインドウ内の画素から対応する特徴点を探索する。
　フレームメモリは、画像を１フレームごとに記憶するためのメモリであり、撮像部１２が出力した画像などを記憶する。
　制御部２０は、ＣＰＵ、制御プログラムを格納するＲＯＭ、ＲＡＭを含んで構成されており、各機能ブロックを制御する。
　次に、センシング部１４の具体的な内容について説明する。
　＜センシング部１４＞
　図２(ａ)は、ウェアラブルカメラを装着したユーザ２を表す模式図である。
　ユーザ２には、その左胸付近の位置にウェアラブルカメラ１０が取り付けられている。この取り付けは、ウェアラブルカメラ１０の筐体上部から延びる首にぶら下げるためひもや、筐体背面のクリップを利用して行われている。
　図２(ａ)に示すように、水平方向にｘ軸、垂直方向にｙ軸、ｘｙ平面に直交する方向をｚ軸（ウェアラブルカメラ１０の光軸方向を一致している。）と設定する。
　また、図２(ｂ)に示すように、ｘ軸周りの回転をＰｉｔｃｈ（ピッチ）、ｙ軸周りの回転をＹａｗ（ヨー）、ｚ軸周りの回転をＲｏｌｌ（ロール）と呼ぶ。
　センシング部１４を構成する振動型角速度センサは、角速度の検知にコリオリの力（Coriolis force）を利用する。
　角速度ωで回転する座標系上で質量ｍの物体が速度Ｖで運動しているとき、この物体の移動方向に対して垂直方向にコリオリの力Ｆｃがかかり、その大きさは次の式１で表される。
Figure JPOXMLDOC01-appb-M000001
 　このコリオリの力Ｆｃを検出することで角速度ωを求めることができる。実際には圧電素子を用いてコリオリの力を電圧や電流の変化量として計測するなどの方法で角速度を求めることができる。また圧電素子を複数の方向に設置することで、それぞれの向きに対する回転角速度を検出することができる。
　なお、センシング部１４が搭載するセンサの数はある一方向に対して１つでもよく、複数でもよい。例えばｎ個のセンサの出力値の平均を取ると、Ｓ／Ｎ比がｎの平方根に比例して向上するので、より正確なセンサ情報を得ることができる。
　次に、動き検出部１６の特徴点抽出・探索、多数決処理、ウインドウ設定について具体的に説明する。
　＜特徴点抽出・探索＞
　図３の下部は、時刻ｔの前フレーム画像Ｆt、上部は、時刻ｔ+１の現フレーム画像Ｆt+1を示す。
　図３中、点ａ１，ａ２，ａ３は、特徴点抽出部２２がフレーム画像Ｆtから抽出した特徴点である。特徴点ａ１，ａ２,ａ３の座標は、それぞれ順に（ｘa1，ｙa1），（ｘa2，ｙa2），（ｘa3，ｙa3）である。
　点ｂ１，ｂ２，ｂ３は、特徴点探索部２８がフレーム画像Ｆtから探索により検出した特徴点である。特徴点ｂ１，ｂ２，ｂ３は、特徴点ａ１，ａ２，ａ３にそれぞれ対応する特徴点であり、特徴点ｂ１，ｂ２，ｂ３の座標は、それぞれ順に（ｘb1，ｙb1），（ｘb2，ｙb2），（ｘb3，ｙb3）である。
　＜多数決処理＞
　多数決処理部３０は、前フレーム画像Ｆtの特徴点の集合Ｐａ＝｛（ｘａ１，ｙａ１），・・・，（ｘａｉ，ｙａｉ）｝、現フレーム画像Ｆt+1の特徴点の集合をＰｂ＝｛（ｘｂ１，ｙｂ１），・・・，（ｘｂｊ，ｙｂｊ）｝とし、Ｐａ，Ｐｂの中からそれぞれ１つ特徴点を選んで特徴点の組を作成する。そして特徴点の組からベクトルｖを算出して、ベクトルｖに従ってＰａの各特徴点を移動させてＰｂの各特徴点と一致するものｅをカウントする。
　具体的に、上記したａ１～ａ３、ｂ１～ｂ３の特徴点の例では、ａ１とｂ１とを選んで組を作成すると、２点間のベクトルｖは式２で表される。
Figure JPOXMLDOC01-appb-M000002
 　次に、多数決処理部３０は、このベクトルｖに従って前フレーム画像Ｆtのすべての特徴点（ａ１，ａ２，ａ３）を移動させる。そして、移動後の特徴点の位置に現フレーム画像Ｆt+1の特徴点が存在するものの数をカウントする。実際には画像の揺らぎの影響があって特徴点の位置が完全に一致するとは限らないので、例えば移動後の特徴点の位置から距離δの範囲内に特徴点が存在すればよいものとする。上記の例では３つある特徴点のうち（ａ１，ｂ１）と（ａ３，ｂ３）の２組がベクトルｖに従っていると判断できる。
　同じようにしてａ２とｂ２からベクトルｖ’を算出した場合、（ａ２，ｂ２）の１組だけがベクトルｖ’に従っていると判断できる。
　引き続いて、残りの特徴点の組み合わせについてもこの判断を行い、最も多くの特徴点組が従っているベクトルをフレーム画像全体の動きベクトルとする。図３の例では（ａ１，ｂ１）および（ａ３，ｂ３）の組から得られるベクトルｖが画像全体の動きベクトルであると判断できる。
　なお、すべての特徴点の組に対して仮の動きベクトルを算出する代わりに、例えば１０ミリ秒など所定の時間だけ繰り返し処理を行い、その中で最も一致度の高い動きベクトルを出力するようにしてもよい。これによって特に処理時間が限られている場合に、その時間内で最良の解を得ることができる。
　＜ウインドウ設定＞
　特徴点探索部２８は、上述のように特徴点抽出部２２が抽出した輝度レベルなどに基づいて、探索を行うのであるが、現フレーム画像Ｆt+1の画像全体を探索範囲とすると、演算量が過大となる上、特徴点の存在可能性が低い範囲まで探索範囲に含めてしまうので効率が良くない。
　このため、本実施の形態では、現フレーム画像Ｆt+1内に探索範囲となるウインドウを設定することで、探索範囲を限定し演算量の削減を図る。
　図４は、ウインドウ設定部２６が設定したウインドウの例を示す図である。
　図４に示すように、現フレーム画像Ｆt+1内には、特徴点ａ１に対応する特徴点を探索する探索範囲であるウインドウｗ１、特徴点ａ２に対応する特徴点を探索する探索範囲であるウインドウｗ２、特徴点ａ３に対応する特徴点を探索する探索範囲であるウインドウｗ３が設定されている。
　ここで、ウインドウｗ２は、特徴点ａ２に対応する特徴点ｂ２がウインドウｗ２の外に位置しているので、特徴点ｂ２は特徴点探索部２８により検出されないこととなる。このように、ウインドウの設定により不要な特徴点の検出を抑制することで、演算量を削減するだけでなく動きベクトルの検出精度を向上させることができる。また特徴点の誤検出を抑制することもできる。
　ウインドウｗ１～ｗ３はいずれも、前フレーム画像Ｆｔの特徴点ａ１，ａ２，ａ３の位置が中心位置となるようにウインドウを設定しているが、本実施の形態では、より的確なウインドウを設定するために、センシングされた動きを利用してウインドウを設定する。
　＜特徴点位置予測＞
　次に、センシングされた動きから、前フレーム画像Ｆtの特徴点が、現フレーム画像Ｆt+1のどの位置にあるかを予測する手法について説明する。
　まず、特徴点位置予測部２４は、センシング部１４から現フレーム画像Ｆt+1の時点における動きを取得し、取得した動きから画像中における画素移動量ｄを算出する。
　図５は、カメラの回転角度（画角）と画素移動量ｄの関係を示す模式図である。図５を参照しながら、画素移動量ｄの算出方法について説明する。
　例えばカメラがＹａｗ方向に回転し、センサによってＹａｗ方向の回転角速度を計測しているものとする。このとき、図５（ａ）のようにカメラがφだけ回転したとすると、φと各画素の画像上での移動量を示す画素移動量ｄの間には式３で示す関係が成立する。
Figure JPOXMLDOC01-appb-M000003
 　なお、ｗは水平方向の解像度の半分の値、θは水平画角の半分の値である。また、ｄは画像上のすべての位置において等しいと近似するものとする。ここで、角度θおよびφが微小であると仮定すると、式３は以下の式４で近似することができる。
Figure JPOXMLDOC01-appb-M000004
 　また、回転角速度をａ、動画像のフレームレートをＦrとすると、式４は以下の式５に書き換えることができる。
Figure JPOXMLDOC01-appb-M000005
 　定数ｂはカメラの画角および解像度が決まれば自動的に決定され、フレームレートＦrは撮影時には決まっているので、式５よりセンサで得られる回転角速度ａと移動量ｄを対応付けることができる。
　なお、これらの関係はカメラのＰｉｔｃｈ方向の回転に対しても同様に成立する。これによって画像上での縦横の移動量を求めることができる。
　また、カメラのＲｏｌｌ方向の回転に対しては、図５（ｂ）より式６の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000006
 　なお、式６は最も移動量が大きくなる画像の端における値であり、中心に近づくほど移動量ｄは小さくなる。この式６を回転角速度ａ、フレームレートＦrを用いて表すと以下の式７が得られる。
Figure JPOXMLDOC01-appb-M000007
 　以上のようにして予測位置を算出する。
　＜予測位置に利用したウインドウ設定＞
　このように特徴点位置予測部２４が算出した予測位置に基づいてウインドウを設定することで、演算量を削減でき、加えて不要な特徴点の検出を回避して精度を向上できる。図６、図７を用いて具体的なウインドウ設定について説明する。
　図６は、下部は、時刻ｔの前フレーム画像Ｆt、上部は、時刻ｔ+１の現フレーム画像Ｆt+1を示す。
　図６において、点ｐ１，点ｐ２は、特徴点抽出部２２が前フレーム画像Ｆtから抽出した特徴点である。点ｑ１，点ｑ２は、それぞれ点ｐ１，点ｐ２に対応する特徴点である。
　現フレーム画像Ｆt+1内の符号ｄで示す矢印は、特徴点位置予測部２４が算出した移動量ｄを示すベクトルであり、特徴点ｐ１を、移動量ｄに従って移動させた点を点ｐ１’（予測位置点ｐ１’）と設定する。前フレーム画像Ｆtと現フレーム画像Ｆt+1とを撮像する間に、撮像部だけが動いて被写体が動いていないとすると、特徴点ｐ１は、点ｐ１’の付近に位置していると予測できる。
　図７（ａ）（ｂ）は、予測位置を利用したウインドウ設定を示す図である。
　図７（ａ）に示すように、ウインドウｗ４は、予測位置点ｐ１’を中心として設定されている。同様に、図７（ｂ）に示すように、ウインドウｗ５は、予測位置点ｐ２’（点ｐ２が移動量ｄに従って移動したと予測される位置である。）を中心として設定されている。
　このように、予測位置点ｐ１’を中心としたウインドウｗ４を設定することで、前フレーム画像Ｆtと現フレーム画像Ｆt+1とを撮像する間に前フレーム画像Ｆtの点ｐ１の被写体自身が動いていないのであれば、点ｐ１に対応する点ｑ１をウインドウｗ４内に収めることができ、狭いウインドウサイズで的確な設定が実現できる。
　反対に、前フレーム画像Ｆtと現フレーム画像Ｆt+1とを撮像する間に点ｐ２被写体自身が大きく動いた場合には、図７（ｂ）に示すように、点ｐ２に対応する点ｑ２をウインドウｗ５から外すことができ、被写体自身の動きに起因する動きを検出してしまうことを防ぐことができる。
　図７（ｃ）は、図４同様、予測位置を利用せず、前フレーム画像Ｆtの特徴点ｐ１を中心位置としたウインドウ設定を示す図である。図７（ｃ）の場合、特徴点ｑ１はウインドウｗ６の外にあるので、このサイズでは特徴点ｑ１を検出できない。仮にウインドウｗ６のサイズを大きくすれば、特徴点ｑ１は検出可能となるが演算量の増加および検出精度の低下を招きやすい。
＜動作＞
　図８～図１０を参照しつつ本実施の形態に係るウェアラブルカメラ１０における動作について説明する。基本的な動作の流れは前述の通りであるので、重複部分は説明を簡単にする。
　図８に示すように、まず、特徴点抽出部２２は、フレームメモリから前フレーム画像Ｆtを取得し、取得した前フレーム画像Ｆtから特徴点を抽出する（Ｓ１１）。そして、特徴点位置予測部２４は、センシング部１４から現フレーム画像Ｆt+1における角速度を取得し（Ｓ１２）、取得した角速度の誤差を補正する（Ｓ１３）。
　なおステップＳ１２における角速度の取得は、要は前フレーム画像Ｆtから現フレーム画像Ｆt+1に至るまでの間の撮像部１２の角速度（フレーム間画像の動きに影響する角速度。）を判断するためのものであるから、必ずしも現フレーム画像Ｆt+1の時点（時刻ｔ＋１）で取得した値に限られない。例えば、前フレーム画像Ｆtの時点（時刻ｔ）で取得した値や、時刻ｔから時刻ｔ＋１までに取得した複数の値の平均値であっても構わない。
　この誤差の補正は、例えば次のように行う。
　まずはじめに、センシング部１４のセンサの誤差分布を測定する。例えばセンサ出力の誤差が、図１１のような、平均がμ，標準偏差がσの正規分布に従っているものとする。この際、この正規分布の平均μや標準偏差σに基づいて補正量を決定することができる。例えばセンサ出力がａであった場合、補正後の値ａ’を次の式８によって算出することができる。
Figure JPOXMLDOC01-appb-M000008
 　式８において、ｘは定数であり、一般的な正規分布の性質から、ｘ＝２とすると出力の約９５％が、ｘ＝３とすると約９９％が誤差範囲内に含まれることになる。従って、許容される誤差の大きさに応じてｘの値を変更することで最適な補正量を決定することができる。実際の誤差の補正に際しては、あらかじめ制御部２０のＲＯＭなどにセンサの誤差の平均μ，標準偏差σ，および定数ｘを記録しておき、補正時にこれらの値を読み出して式８に従って補正を行う。
　次に、特徴点位置予測部２４は、補正後の角速度に基づいて画像内の画素移動量ｄを算出する（Ｓ１４）。この画素移動量ｄの算出方法は、図５を用いて説明した通りである。
　算出を終えると、ウインドウ設定処理（Ｓ１５）、動き決定処理(Ｓ１６)に移行する。
　図９に示すように、ウインドウ設定処理では、ウインドウ設定部２６は、フレーム画像Ｆｔの特徴点情報を取得する（Ｓ２１）。
　そして、ウインドウ設定部２６は、各特徴点を画素移動量ｄに従って移動させた位置を、各特徴点の予測位置と決定し（Ｓ２２）、予測位置を中心としたウインドウを設定する（Ｓ23）。
　特徴点探索部２８は、現フレーム画像Ｆt+1内に設定されたウインドウを対象に、特徴点を探索して検出する（Ｓ２４）。
　図１０に示すように、動き決定処理では、多数決処理部３０は、フレーム画像間の動きベクトルを決定する。
　具体的には、多数決処理部３０は、ｅmax=0と設定し（Ｓ３１）、前フレーム画像Ｆtおよび現フレーム画像Ｆt+1の特徴点を取得する(Ｓ３２)。そして、前フレーム画像Ｆtの特徴点１つと、現フレーム画像Ｆt+1の特徴点１つとを組み合わた特徴点組を作成する（Ｓ３３）。作成した特徴点組からベクトルｖを算出し(Ｓ３４)、前フレーム画像Ｆｔにおける各特徴点をベクトルｖに従い移動させ、現フレーム画像Ｆt+1における各特徴点との一致度を判定する(Ｓ３５)。
　多数決処理部３０は、一致と判定した特徴点の数ｅをカウントする(Ｓ３６)。数ｅがそれまでの最大値ｅmaxを超えれば(Ｓ３７:Yes)、多数決処理部３０は、当該数ｅを新しい最大値ｅmaxに設定し(Ｓ３８)、ベクトルｖを暫定１位のベクトルとして記憶する(Ｓ３９)。
　ステップＳ３３からＳ３９までの処理を繰り返して、すべての特徴点組についてのｅのカウントが終了すれば(Ｓ４０:Yes)、暫定１位の動きベクトルをフレーム画像Ｆt，Ｆt+1間の動きベクトルに決定する(Ｓ４１)。なお、図８～図１０の処理は、撮像部１２がフレーム画像を出力するごとに、すなわちフレームごとに行われる。
　以上、説明したように、本実施の形態によれば、センシング部１４がセンシングした角速度に基づいて、前フレーム画像Ｆtにおける特徴点が現フレーム画像Ｆt+1においてどう移動したかを予測した値である画素移動量ｄを求め、この特徴点を画素移動量ｄに従って移動させた予測位置を中心にウインドウを設定するので、的確なウインドウ設定が実現でき、演算量の削減ひいては消費電力量を抑えることができる。加えて、的確なウインドウ設定により、ウェアラブルカメラ自身の動きとは異なる特徴点を積極的にウインドウ外へと追いやることができ、言い換えるとカメラ自身の動きには起因しない被写体の動きを排除することで、動き検出の精度を向上させることが可能となる。
　また、ウェアラブルカメラが大きく動いたことにより、画素移動量ｄが大きくなったとしても、この画素移動量ｄに従って特徴点を移動させ、移動後の予測位置を中心にウインドウ設定するので、ウインドウサイズを一定に抑えつつも、大きな動きを検出することが可能となる。
　なお、上記では図７に示すように、予測位置ｐ１’を中心に矩形のウインドウを設定するとして説明したが、必ずしも予測位置ｐ１’を中心位置としなくても少なくとも当該予測位置ｐ１’を含むようにウインドウを設定すれば的確な設定が実現できる。また、例えば次のようにウインドウを設定しても同様な効果を得ることができる。以下、変形例として説明する。
　図１２は、ウインドウ設定の変形例１～３を示す図である
　＜変形例１＞
　変形例１に係る図１２（ａ）では、ウインドウｗ７は、矩形ではなく、予測位置ｐ１’を中心位置とした円形状である。検出したい特徴点ｑ１は、予測位置ｐ１’を中心とした等距離の範囲で移動する可能性が高いので、円形状のウインドウｗ７を設定することで、効率の良い特徴点探索に寄与し得る。
　＜変形例２＞
　変形例２に係る図１２（ｂ）では、ウインドウｗ８は、矩形ではなく、予測位置ｐ１’を中心位置とした楕円形状である。検出したい特徴点ｑ１は、画素移動量ｄの方向に沿う方向に移動する可能性が高いので、長軸が画素移動量ｄの方向と一致したウインドウｗ８を設定することで、効率の良い特徴点探索を実現できる。
　＜変形例３＞
　変形例３に係る図１２（ｃ）では、ウインドウｗ９の中心位置は、予測位置ｐ１’ではなく、予測位置ｐ１’と特徴点ｐ１の中点ｍとなっている。このようなウインドウｗ９も、効率の良い特徴点探索に貢献できる。
（実施の形態２）
　実施の形態２では、実施の形態１の構成に加えて、ウェアラブルカメラの動きに応じてフレームレートなどを変更することで、ウインドウサイズを一定サイズに抑えつつ、大きな動きの検出を実現する。
　図１３は、実施の形態２に係るウェアラブルカメラの機能ブロック図である。
　ウェアラブルカメラ１１は、フレームレート変更部３２、シャッタースピード変更部３４、感度変更部３６を備える。他の機能ブロックは図１と同様であるので同じ符号を付して説明を省略する。
　フレームレート変更部３２は、センシング部１４からセンサ出力を取得し、取得したセンサ出力に応じて撮像部１２のフレームレートＦrを変更する。
　シャッタースピード変更部３４は、センシング部１４からセンサ出力を取得し、取得したセンサ出力に応じて撮像部１２のシャッタースピードを変更する。
　感度変更部３６は、シャッタースピード変更部３４によるシャッタースピードの変更に連動して、撮像部１２の感度を変更することで、シャッタースピードを高速度化に伴う光量の低下を補う。
　図１４は、実施の形態２に係るウェアラブルカメラ全体的な処理内容を示すフローチャートである。
　図１４（ａ）は、図８のフローと基本的には同様であり、フレームレート変更処理(Ｓ１７)が追加されている。図１４（ａ）中、図８の同様のステップには同じステップ番号を付して説明を省略する。
　図１４（ｂ）に示すように、フレームレート変更処理では、フレームレート変更部３２は、フレームレート変更許可があるかどうか判断し（Ｓ５１）、ステップＳ１３において補正されたセンサ情報に含まれるセンサ出力ａ’を取得し、閾値以上かどうか判断する(Ｓ５２)。
　閾値の設定方法は次のように行う。
　上記したように、式５，式７より、あるフレームレートＦrにおける画素移動量ｄが決定される。また、ウインドウ処理の性質上、ある特徴点が移動したとき、移動後の位置がウインドウの範囲内になければ動き検出を行うことができない。そこで、動き検出を行うことができる最大の移動量をｄmaxとすると、フレームレートがＦrの際に移動量がｄmaxとなるような限界回転加速度ａmaxが得られる。例えば数式５において、ｄ＝ｄmaxとしてこの式をａについて解くと、ａmaxの値は以下の数式９で定義される。
Figure JPOXMLDOC01-appb-M000009
 　同様に、式７をａについて解くことで、Ｒｏｌｌ方向の回転における限界回転加速度の値を求めることができる。このａmaxを閾値として用いることができる。
　閾値以上であれば（Ｓ５２:Yes）、フレームレート変更部３２は撮像部１２のフレームレートを、高フレームレートＦr（ａ’）に変更する（Ｓ５３）。具体的には、目標とする移動量をｄ’（ただし、ｄ’＜ｄmaxである）とすると、例えば式５よりＦr（ａ’）は次の式１０で与えられる．
Figure JPOXMLDOC01-appb-M000010
 　なお、閾値未満であれば（Ｓ５２:No）、フレームレート変更部３２は撮像部１２のフレームレートを通常フレームレートに変更する（Ｓ５４）。
　そして、時間ｔ１の間フレームレートを変更禁止に設定する（Ｓ５５）。この設定は、フレームレートの変更間隔を規定するものであり、例えばｔ１は数秒程度に設定する。
　フレームレートＦｒをＦr（ａ’）へと高く変更することで、フレーム画像Ｆｔと、その次に撮像するフレーム画像Ｆt+1との間の時間差が短くなる。このため、特徴点の移動量の小さくすることができる。また、Ｆr（ａ’）と変更することにより、フレーム画像Ｆt+1における特徴点を確実にウインドウ内に収めることができるので、カメラの動きと異なる方向に動く被写体の特徴点が存在するとしても、安定して動きとして検出することができる。
　なお、上記フレームレートＦr（ａ’）はいわばフレームレートの目標値であり、カメラの仕様などによって、元の値を目標値に変更するまでに時間を要したり、実際の値とはずれたりする場合もある。
　また、フレームレートの変更は、次のように行っても構わない。以下、実施の形態２に係る変形例として説明する。
　＜変形例１＞
　図１５は、センサ出力、フレームレート、感度、シャッタースピードの項目を含む変更テーブル４０である。この変更テーブル４０は制御部２０のＲＯＭ内に記憶されており、項目として、「センサ出力ａ’」４０ａ、「フレームレートＦr（ａ’）」４０ｂ、「感度ＩＳＯ（ａ’）」４０ｃ、「シャッタースピードＳ（ａ’）」４０ｄを含む。
　「センサ出力ａ’」４０ａの値が大きくなるほど、「フレームレートＦr（ａ’）」４０ｂはより高くなり、「感度ＩＳＯ（ａ’）」４０ｃはより高感度になり、「シャッタースピードＳ（ａ’）」４０ｄはより速くなるという関係性である。
　なお、ウェアラブルカメラ１１のフレームレートは最大60fpsという制約があるため、「センサ出力ａ’」が0.025の場合も0.020ときと同じ60fpsとなっている。
　変形例１では、制御部２０は、補正後のセンサ出力を取得し、変更テーブルを参照して、フレームレート、感度、シャッタースピードを変更する。本変形例１によれば、各変数を段階的に変更することで、消費電力を抑えつつ、特徴点を探索することができる。
　また上述のようにフレームレートには制約があるため、物理的な動きが特に大きい状況下、すなわちセンサ出力ａ’が特に大きい状況下には、ウインドウ内に特徴点を収められない可能性が高くなる。
　このため、物理的な動きが小さい間は、フレームレートの上昇により対応し、フレームレートが最大値に達すると（物理的な動きがある値を上回ると）、ウインドウサイズの拡大という手法を併用するとしても構わない。
　＜変形例２＞
　上記実施の形態２では、フレームレートはセンサ出力に基づいて変更するとして説明したが、変形例２では、フレームレートをウインドウのサイズにも基づいてフレームレートを決定する。
　具体的には、式１０においてフレームレートを決定する際に移動量ｄ’を動き検出を行うことができる最大の移動量ｄmaxより小さい値と定義しているが、この移動量ｄ’をウインドウの１辺の長さの半分より小さい値とすることでフレームレートを決定する。これによって、移動後の特徴点がウインドウをはみ出さないことが保証できる。なお、上記実施の形態１の変形例のようにウインドウが予測位置ｐ’１を中心とする矩形でない場合、ｄ’はそれぞれのウインドウの形態に応じて決定する。例えば、上記実施の形態１の変形例２のようにウインドウが楕円形である場合、ｄ’を楕円の短軸の長さの半分とすることで、移動後の特徴点がウインドウをはみ出さないことが保証できる。なお、ｄ’を最大の移動量ｄmaxおよびセンサ出力の双方に基づいて決定してもよい。
＜補足＞
　以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連または付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であってもよい。
　(１)実施の形態１，２では、ウインドウサイズを固定的に設定するとして説明したが、所定フレーム数ごとにより大きなサイズのウインドウを設定するようにしても構わない。特に、所定フレーム数ごとに通常の画像全体を探索範囲と設定するようにしても構わない。
　上述のように、ウインドウサイズは小さい方が好ましいが、ウインドウを特徴点の周りにだけ狭く設定することで、画像の揺らぎや障害物による遮蔽などで特徴点が検出されなくなり、その場合、特徴点は以降ウインドウから外れたままになってしまうことがある。
　このため、所定フレーム数ごと１回は、画像全体に探索範囲に設定しなおすと、確実に探索範囲内に特徴点を収めることができ、より安定に動きを検出できるようになる。
　(２)実施の形態１，２では、センシング部１４として角速度センサを例に挙げて説明したが、角速度センサに限らず加速度センサであっても構わない。
　(３)実施の形態１，２では、撮像装置としてウェアラブルカメラを例に挙げて説明したが、ウェアラブルカメラに限らず、デジタルビデオカメラをはじめとする動画の撮影が可能なあらゆる撮像装置に対しても実施の形態を適用することができ、特に、揺れや動きの大きい、過酷な環境下での使用が想定される撮像装置に有効である。
　(４)実施の形態１，２では、前フレーム画像Ｆtから特徴点を抽出し、後フレーム画像Ｆt+1から抽出した特徴点に対応する特徴点を探索するとして説明した。要はフレーム画像Ｆt，Ｆt+1間のフレーム画像全体の動きを求められればよいので、反対に、後フレーム画像Ｆt+1から抽出し、前フレーム画像Ｆtから探索するという構成もあり得る。
　また、フレーム画像Ｆt，Ｆt+1のように時間的に隣り合うフレーム画像間でなくてもよい。例えば第１フレーム画像Ｆ1と、第２フレーム画像Ｆ2（第１フレーム画像Ｆ1より時間的に後のフレーム画像）のいずれか一方から特徴点を抽出し、他方から対応する特徴点を探索しても、第１フレーム画像Ｆ1，Ｆ2間の画像全体の動きベクトルを求めることができる。
　なお、この場合、センシング部１４により、例えばこの両フレーム画像Ｆ1，Ｆ2間の時間における角速度を検出することで、画素移動量ｄを求めて、フレーム画像Ｆ1，Ｆ2間に特徴点が移動した位置を予測することができる。
　(５)実施の形態２では特に触れなかったが、シャッタースピード変更部３４や感度変更部３６として、ＡＥ（Automatic Exposure）カメラなどにおいて一般的に利用されるＡＥ機能を利用しても構わない。
　（６）上述の実施の形態で示した動作、処理（図８～図１０）をウェアラブルカメラ等の撮像装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
　このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。
　流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
　本発明に係る撮像装置は、演算量の増加を抑えつつ、フレーム画像間の動きベクトルを検出できるので有用である。
　１０，１１　ウェアラブルカメラ
　１２　撮像部
　１４　センシング部
　１６　動き検出部
　２０　制御部
　２２　特徴点抽出部
　２４　特徴点位置予測部
　２６　ウインドウ設定部
　２８　特徴点探索部
　３０　多数決処理部
　３２　フレームレート変更部
　３４　シャッタースピード変更部
　３６　感度変更部
　Ｆt 前フレーム画像
　Ｆt+1 現フレーム画像
　ａ１，ａ２，ａ３，ｐ１，ｐ２　前フレーム画像Ｆtの特徴点
　ｂ１，ｂ２，ｂ３，ｑ１，ｑ２　現フレーム画像Ｆt+1の特徴点
　ｄ　画素移動量
　ｐ１’，ｐ２’　予測位置（それぞれ特徴点ｐ１，ｐ２を、画素移動量ｄに従って移動させた点）
　ｗ１～ｗ９　ウインドウ

Claims (15)

  1. 　被写体を撮像する撮像部と、
    　前記撮像部の物理的な動きをセンシングするセンシング部と、
    　第１フレーム画像から特徴点を抽出する抽出部と、
    　センシングされた動きに基づいて、前記第１フレーム画像から抽出された特徴点の第２フレーム画像中における位置を予測する予測部と、
    　前記予測部により予測された位置に基づいて第２フレーム画像内にウインドウを設定する設定部と、
    　設定されたウインドウを対象に、前記第１フレーム画像から抽出された特徴点に対応する特徴点を、第２フレーム画像から探索する探索部と、
    を備えることを特徴とする撮像装置。
  2. 　前記設定部は、前記予測部により予測された位置を含むようにウインドウを設定する
    ことを特徴とする請求項１に記載の撮像装置。
  3. 　前記設定部は、前記予測部により予測された位置を中心にウインドウを設定する
    ことを特徴とする請求項２に記載の撮像装置。
  4. 　前記設定部は、前記第１フレーム画像における抽出された特徴点の位置と、前記予測部により予測された位置とを結ぶ中点を中心にウインドウを設定する請求項１に記載の撮像装置。
  5. 　センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部のフレームレートを高い値に変更するフレームレート変更部を備えることを特徴とする請求項１に記載の撮像装置。
  6. 　前記フレームレート変更部は、前記センシング部によりセンシングされた動きの大きさが前記所定の閾値以上になるとフレームレートを第１の値に変更し、前記センシング部によりセンシングされた動きの大きさが前記所定の閾値より大きい第２の閾値以上となると、フレームレートを前記第１の値より高い第２の値に変更することを特徴とする請求項５に記載の撮像装置。
  7. 　前記フレームレート変更部は、前記センシング部によりセンシングされた物理的な動きの大きさが大きいほど、フレームレートをより高い値に変更することを特徴とする請求項５に記載の撮像装置。
  8. 　前記フレームレート変更部は、フレーム画像間の時間間隔より長い所定の時間間隔でフレームレートの変更動作を行うことを特徴とする請求項５に記載の撮像装置。
  9. 　センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部のシャッタースピードを速い値に変更するシャッタースピード変更部を備える
    ことを特徴とする請求項５に記載の撮像装置。
  10. 　センシング部によりセンシングされた物理的な動きの大きさが所定の閾値以上となると、前記撮像部の感度を高い値に変更する感度変更部を備えることを特徴とする請求項９に記載の撮像装置。
  11. 　前記設定部は、前記センシング部によりセンシングされた物理的な動きの大きさに応じて、設定するウインドウの大きさを変化させる
    ことを特徴とする請求項５に記載の撮像装置。
  12. 　前記設定部は、前記センシング部によりセンシングされた物理的な動きの大きさが予め定められた値を上回ると、前記ウインドウの大きさの変化を行うことを特徴とする請求項１１に記載の撮像装置。
  13. 　前記設定部は、所定のフレーム数あたりに１回は、画像全体を探索範囲と設定することを特徴とする請求項１に記載の撮像装置。
  14. 　前記センシング部は、角速度センサまたは加速度センサの少なくとも１つにより構成される
    ことを特徴とする請求項１に記載の撮像装置。
  15. 　撮像部により被写体を撮像する撮像ステップと、
    　前記撮像ステップにおける撮像部の動きをセンサによりセンシングするセンシングステップと、
    　第１フレーム画像から特徴点を抽出する抽出ステップと、
    　センシングされた動きに基づいて、前記第１フレーム画像から抽出された特徴点の第２フレーム画像中における位置を予測する予測ステップと、
    　前記予測ステップにより予測された位置に基づいて第２フレーム画像内にウインドウを設定する設定ステップと、
    　設定されたウインドウを対象に、前記第１フレーム画像から抽出された特徴点に対応する特徴点を、第２フレーム画像から探索する探索ステップと、
    を備えることを特徴とする撮像方法。
PCT/JP2009/002457 2008-06-09 2009-06-02 撮像装置、撮像方法 WO2009150793A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/671,755 US8395671B2 (en) 2008-06-09 2009-06-02 Imaging device and imaging method for correcting effects of motion on a captured image
JP2010502371A JP5451593B2 (ja) 2008-06-09 2009-06-02 撮像装置、撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008150168 2008-06-09
JP2008-150168 2008-06-09

Publications (1)

Publication Number Publication Date
WO2009150793A1 true WO2009150793A1 (ja) 2009-12-17

Family

ID=41416506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002457 WO2009150793A1 (ja) 2008-06-09 2009-06-02 撮像装置、撮像方法

Country Status (3)

Country Link
US (1) US8395671B2 (ja)
JP (1) JP5451593B2 (ja)
WO (1) WO2009150793A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015506047A (ja) * 2012-12-11 2015-02-26 インテル コーポレイション コンピューティングデバイスのためのコンテキストセンシング
JP2015061200A (ja) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2015205050A (ja) * 2014-04-21 2015-11-19 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP2017028511A (ja) * 2015-07-23 2017-02-02 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置およびその制御方法
WO2019157717A1 (zh) * 2018-02-14 2019-08-22 北京大学 运动补偿的方法、装置和计算机系统
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 位置測定装置
JP2020181059A (ja) * 2019-04-24 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP5394296B2 (ja) * 2010-03-25 2014-01-22 富士フイルム株式会社 撮像装置及び画像処理方法
JP5810307B2 (ja) * 2010-05-10 2015-11-11 パナソニックＩｐマネジメント株式会社 撮像装置
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
KR101856947B1 (ko) * 2011-10-07 2018-05-11 삼성전자주식회사 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
US9087384B2 (en) * 2011-10-19 2015-07-21 Crown Equipment Corporation Identifying, matching and tracking multiple objects in a sequence of images
WO2013075002A1 (en) * 2011-11-18 2013-05-23 Syracuse University Automatic detection by a wearable camera
US20160182866A1 (en) * 2014-12-19 2016-06-23 Sony Corporation Selective high frame rate video capturing in imaging sensor subarea
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11076100B2 (en) * 2017-03-31 2021-07-27 Lenovo (Singapore) Pte. Ltd. Displaying images on a smartglasses device based on image data received from external camera
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10764499B2 (en) * 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
CN109325962B (zh) * 2017-07-31 2022-04-12 株式会社理光 信息处理方法、装置、设备以及计算机可读存储介质
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
CN110909730A (zh) * 2018-09-14 2020-03-24 恒景科技股份有限公司 移动检测的成像系统
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN113518148A (zh) * 2019-05-06 2021-10-19 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092499A (ja) * 1998-09-08 2000-03-31 Canon Inc 画像符号化制御装置、画像符号化制御方法及び記憶媒体
JP2002112252A (ja) * 2000-09-28 2002-04-12 Toshiba Corp 画像処理装置及び画像処理方法
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR676201A0 (en) * 2001-08-01 2001-08-23 Canon Kabushiki Kaisha Video feature tracking with loss-of-track detection
JP2003244738A (ja) * 2002-02-14 2003-08-29 Nec Software Chubu Ltd 情報提供システム
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
JP2003304486A (ja) 2002-04-09 2003-10-24 Hitachi Ltd 記憶システムとそれを用いたサービスの販売方法
WO2005066897A1 (ja) * 2004-01-06 2005-07-21 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
GB0425860D0 (en) * 2004-11-25 2004-12-29 Ibm A method for ensuring the quality of a service in a distributed computing environment
JP2007281961A (ja) 2006-04-07 2007-10-25 Canon Inc 撮像装置、撮像装置制御方法及び撮像制御方法
JP4148276B2 (ja) * 2006-05-09 2008-09-10 ソニー株式会社 位置推定装置、位置推定方法及びプログラム記録媒体
JP4725490B2 (ja) * 2006-10-27 2011-07-13 パナソニック電工株式会社 自動追尾方法
EP2129108A4 (en) * 2006-12-18 2011-10-26 Sony Corp IMAGING DEVICE AND METHOD, RECORDING DEVICE AND METHOD, AND REPRODUCING DEVICE AND METHOD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092499A (ja) * 1998-09-08 2000-03-31 Canon Inc 画像符号化制御装置、画像符号化制御方法及び記憶媒体
JP2002112252A (ja) * 2000-09-28 2002-04-12 Toshiba Corp 画像処理装置及び画像処理方法
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015506047A (ja) * 2012-12-11 2015-02-26 インテル コーポレイション コンピューティングデバイスのためのコンテキストセンシング
US9568977B2 (en) 2012-12-11 2017-02-14 Intel Corporation Context sensing for computing devices
JP2015061200A (ja) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2015205050A (ja) * 2014-04-21 2015-11-19 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP2017028511A (ja) * 2015-07-23 2017-02-02 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置およびその制御方法
WO2019157717A1 (zh) * 2018-02-14 2019-08-22 北京大学 运动补偿的方法、装置和计算机系统
US11272204B2 (en) 2018-02-14 2022-03-08 SZ DJI Technology Co., Ltd. Motion compensation method and device, and computer system
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 位置測定装置
JP2020181059A (ja) * 2019-04-24 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体
JP7240241B2 (ja) 2019-04-24 2023-03-15 キヤノン株式会社 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体

Also Published As

Publication number Publication date
JPWO2009150793A1 (ja) 2011-11-10
US20110157379A1 (en) 2011-06-30
JP5451593B2 (ja) 2014-03-26
US8395671B2 (en) 2013-03-12

Similar Documents

Publication Publication Date Title
JP5451593B2 (ja) 撮像装置、撮像方法
US8488010B2 (en) Generating a stabilized video sequence based on motion sensor data
JP5694300B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5204785B2 (ja) 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
US10419675B2 (en) Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium
CN106558063B (zh) 估计视频中的运动的方法和设备及稳定视频的方法和设备
US20130107066A1 (en) Sensor aided video stabilization
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US20170163893A1 (en) Image-based motion sensor and related multi-purpose camera system
JP6098874B2 (ja) 撮像装置および画像処理装置
JP6539091B2 (ja) 撮像装置およびその制御方法
TWI394435B (zh) 用於測定一成像裝置之移動的方法及系統
EP2579569B1 (en) Image processing device, image processing method, integrated circuit, and program
JP2010021598A (ja) 撮像装置および撮像方法
JP6098873B2 (ja) 撮像装置および画像処理装置
US20130107064A1 (en) Sensor aided image stabilization
JP5968379B2 (ja) 画像処理装置およびその制御方法
US10104277B2 (en) Panning index display apparatus and processing method
JP2017060091A (ja) 姿勢推定装置、姿勢推定方法及びプログラム
JP6700929B2 (ja) 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体
JP2005130159A (ja) 撮像装置および撮像装置の手振れ補正方法
US9883105B2 (en) Image processing apparatus and control method thereof
JP2009088884A (ja) 撮像データにおける動きベクトル検出方法と装置
CN108632528B (zh) 图像处理装置、图像处理方法以及记录介质
JP2010028418A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2010502371

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12671755

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09762224

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09762224

Country of ref document: EP

Kind code of ref document: A1