WO2017090458A1 - 撮影装置、および撮影方法、並びにプログラム - Google Patents

撮影装置、および撮影方法、並びにプログラム Download PDF

Info

Publication number
WO2017090458A1
WO2017090458A1 PCT/JP2016/083474 JP2016083474W WO2017090458A1 WO 2017090458 A1 WO2017090458 A1 WO 2017090458A1 JP 2016083474 W JP2016083474 W JP 2016083474W WO 2017090458 A1 WO2017090458 A1 WO 2017090458A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
unit
image
camera
camera motion
Prior art date
Application number
PCT/JP2016/083474
Other languages
English (en)
French (fr)
Inventor
英史 山田
大輔 磯
哲平 栗田
舜 李
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017552357A priority Critical patent/JPWO2017090458A1/ja
Priority to US15/773,695 priority patent/US10542217B2/en
Publication of WO2017090458A1 publication Critical patent/WO2017090458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present disclosure relates to a photographing device, a photographing method, and a program, and in particular, a photographing device that can capture an image with a large amount of blur while suppressing an image including a large amount of blur due to the movement of the camera, And a photographing method and a program.
  • Patent Document 1 acquires the movement of the camera as its “angular velocity value” or “integrated value of angular velocity”, and terminates exposure when the value exceeds a predetermined value.
  • Patent Technology 2 when an image with little blur is actually obtained, it is necessary to set a small amount of motion that can be tolerated in one exposure, and a large number of times of photographing are required. Shooting cost and image processing calculation cost increase.
  • the present disclosure has been made in view of such a situation, and in particular, suppresses an image including a large blur due to the movement of the camera from being shot, and enables an image with less blur to be shot. It is.
  • An imaging apparatus includes a camera motion detection unit that detects camera motion, and a comparison unit that calculates a distribution degree of the camera motion trajectory based on the camera motion detection result and compares the distribution degree with a predetermined threshold value And an exposure control unit that controls the start and end of exposure based on the comparison result of the comparison unit.
  • the comparison unit may calculate a first principal component of covariance as a distribution degree of the camera motion trajectory based on the camera motion detection result and compare it with the predetermined threshold value.
  • the comparison unit generates a PSF (Point Spread Function) image for the camera motion detection result as a distribution degree of the camera motion trajectory based on the camera motion detection result, and performs frequency analysis to generate the predetermined It can be made to compare with a threshold value.
  • PSF Point Spread Function
  • the comparison unit approximates the detection result in a certain range retroactive from the current time to a predetermined time as a distribution degree of the camera motion trajectory based on the camera motion detection result. Can be measured by extrapolation (extrapolation), and compared with the predetermined threshold.
  • the camera motion detection unit includes a gyro sensor, an acceleration sensor, a geomagnetic sensor, an altitude sensor, a vibration sensor, and an object marker from a sub camera for detecting the motion of the camera used for imaging, which is different from the camera used for imaging. It is possible to include a motion capture that tracks and measures movement.
  • the exposure control unit is longer than the minimum exposure time from the start of exposure and within the maximum exposure time, and the blur is larger than a predetermined value according to the comparison result. Can be controlled to end the exposure.
  • the exposure control unit can be controlled to end the exposure when the maximum exposure time comes after the exposure is started based on the comparison result of the comparison unit.
  • the exposure control unit determines that blur is greater than a predetermined value based on the comparison result when the comparison result determines that the blur is greater than the predetermined value. Until the exposure is started, the timing at which the exposure is started can be controlled to be delayed.
  • the exposure control unit can be controlled to end the exposure in consideration of SNR (Signal-to-Noise-Ratio) based on the comparison result of the comparison unit.
  • SNR Signal-to-Noise-Ratio
  • noise removal unit that removes image noise by accumulating a plurality of images taken at predetermined intervals by the camera.
  • the noise removing unit may further include a noise removing unit that integrates only images having a blur amount smaller than a predetermined size among a plurality of images captured by the camera and removes noise of the image. Can be.
  • the noise removing unit can add and weight a plurality of images taken by the camera according to the exposure time and remove noise from the images.
  • the noise removal unit may add and add a weight that takes into account the blurring direction of each of the plurality of images taken by the camera to remove the noise of the image.
  • the noise removal unit may add and add an equal weight to a plurality of images taken by the camera to remove noise from the images.
  • the noise removing unit applies FFT (Fast Fourier Transform) to a plurality of images captured by the camera, collects components of a predetermined amplitude for each frequency component, and generates an image by applying inverse FFT. Thus, noise in the image can be removed.
  • FFT Fast Fourier Transform
  • the noise removing unit for a plurality of images captured by the camera, FFT is performed to collect the maximum amplitude components for each frequency component, and the inverse FFT is performed to generate an image, thereby generating the image. Image noise can be removed.
  • the imaging method detects a camera motion, calculates a distribution degree of the camera motion trajectory based on a detection result of the camera motion, compares it with a predetermined threshold, and based on the comparison result
  • a photographing method including a step of controlling the start and end of exposure.
  • a program includes a camera motion detection unit that detects camera motion, a comparison unit that calculates a distribution degree of the camera motion trajectory based on the camera motion detection result, and compares the distribution degree with a predetermined threshold value.
  • a program that causes a computer to function as an exposure control unit that controls the start and end of exposure based on the comparison result of the comparison unit.
  • a camera motion is detected, a distribution degree of the camera motion trajectory based on the camera motion detection result is calculated, compared with a predetermined threshold, and an exposure is performed based on the comparison result. Is controlled.
  • FIG. 10 is a flowchart for describing photographing processing by the image photographing unit in FIG. 9.
  • FIG. It is a figure explaining the exposure time in the imaging
  • combination part of the imaging device of FIG. 14 is a flowchart for describing a first processing example of a shake correction image combining process by the shake correction image combining unit in FIG. 13.
  • FIG. 14 is a flowchart for explaining a second processing example of a shake correction image synthesis process by the shake correction image synthesis unit of FIG. 13. It is a figure explaining the relationship between the 1st main component of a motion blur amount, and a camera motion determination threshold value. It is a figure explaining the relationship between the 1st main component of a motion blur amount, and a camera motion determination threshold value. It is a figure explaining the integration vector according to the direction of a motion. It is a flowchart explaining the motion determination process using the threshold value according to direction by the motion determination part of FIG. It is a figure explaining the structural example of 2nd Embodiment of the imaging device to which the technique of this indication is applied.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • Patent Document 1 starts exposure and starts to acquire the movement of a camera as a photographing unit as its “angular velocity value” or “integrated value of angular velocity”. The exposure is terminated when “” exceeds a predetermined value.
  • the integrated value of angular velocity is considered to be proportional to the amount of movement of the pixel during exposure on the image plane of the camera, but the integrated value is large but the amount of blur is small unless the moving speed is assumed to be constant. Such a case may not be detected.
  • the upper left part of FIG. 1 shows the movement trajectory when there is movement at equal intervals in the time direction, and the displacement of the position (black circle mark) at each timing. Indicates PSF (Point Spread Function). Moreover, the upper right part and the lower right part of FIG. 1 show the trajectory and the PSF between the displacements when there is movement in a state where the intervals in the time direction are biased.
  • PSF Point Spread Function
  • the covariance is obtained from the motion of the camera, and the motion is evaluated based on the first principal component of the covariance in the motion trajectory point sequence.
  • FIG. 2 is a block diagram illustrating a configuration example of the first embodiment of the imaging device 11 of the present disclosure.
  • the imaging device (camera) 11 in FIG. 2 includes an image capturing unit 32 that captures a scene, a camera motion detection unit 31 that detects the motion of the capturing device 11, and a data holding unit that stores the captured image and the measured camera motion. 33 and a blur correction image combining unit 34 that reads out a plurality of stored images and camera movements and combines them while correcting the blur.
  • the camera motion detection unit 31 receives an exposure start signal from the image photographing unit 32, measures the camera motion during exposure, determines whether the motion of the photographing device (camera) 11 exceeds a predetermined value, and The determination result is output to the image photographing unit 32. In addition, the camera motion detection unit 31 transmits camera motion data during frame image capturing to the data holding unit.
  • the image photographing unit 32 exposes a photographing scene to measure image data, transmits the exposure start timing to the camera motion detecting unit 31, and receives a motion determination result from the camera motion detecting unit 31. Then, the image capturing unit 32 determines the end of exposure according to the motion determination result, gain-corrects the captured image according to the exposure time, and outputs the corrected image data to the data holding unit 33. .
  • the data holding unit 33 receives the frame image from the image photographing unit 32, receives the camera motion data of the frame image from the camera motion detection unit 31, and holds the data.
  • the data holding unit 33 outputs a predetermined number of recorded frame images and camera motion data to the shake correction image combining unit.
  • the blur correction image composition unit 34 receives the image and the camera motion data from the data holding unit 33, aligns the position of each frame image based on the camera motion data, and selectively blends all the frame images. As a result, a blended blur correction image with reduced noise is taken.
  • the camera motion detection unit 31 includes a motion detection unit 51 and a motion determination unit 52.
  • the motion detection unit 51 periodically measures camera movement during exposure, calculates a moving position point sequence on the image plane of the camera using camera parameters such as image size and focal length, and moves the point sequence. It outputs to the determination part 52.
  • the motion determination unit 52 receives the movement position point sequence from the motion detection unit 51, determines whether or not the blur due to motion falls within an allowable amount using a predetermined camera motion determination threshold parameter, and displays the determination result as an image. Output to the imaging unit 32.
  • the motion detection unit 51 performs camera motion measurement using, for example, a gyro sensor that measures angular velocity.
  • the measurement method by the motion detection unit 51 is not limited to this gyro sensor, and any method can be used as long as the motion of the camera can be understood. That is, when measuring the camera motion, the camera motion detection unit 31 replaces the gyro sensor with, for example, an acceleration sensor that measures acceleration, a geomagnetic sensor that measures the north direction, an altitude sensor that measures altitude from atmospheric pressure, and vibration. You may make it utilize the vibration capture which measures, the motion capture which tracks the marker of an object from an external camera, and measures a motion.
  • step S11 the motion detection unit 51 measures the rotational motion component of the camera motion as angular velocity (gx, gy, gz) at a predetermined time interval by the gyro sensor.
  • the time interval is, for example, an interval of 1 millisecond, and the motion detection unit 51 including a gyro sensor samples the angular velocity at a predetermined time interval.
  • step S12 the motion detection unit 51 integrates the angular velocities and converts them into angular rotation amounts (ax, ay, az).
  • step S13 the motion detection unit 51 acquires the current position coordinates (x, y).
  • the initial value is, for example, the center (0, 0) on the camera image plane.
  • the positions calculated in the immediately preceding process are sequentially converted into the current position coordinates (x, y). ).
  • step S14 the motion detection unit 51 rotates and moves the current position coordinates (x, y) using the angular rotation amount (ax, ay, az).
  • Rotational movement is calculated as matrix multiplication using Euler angles ⁇ as shown in the following equation (1).
  • ⁇ is the pitch
  • ⁇ is the yaw
  • ⁇ is the angular rotation amount in the roll direction.
  • x and y are the current coordinate positions
  • z is the distance to the image plane and the focal length is used.
  • the motion detection unit 51 divides x ′ and y ′ by z ′, respectively, as shown by the following formula (2) in order to accurately calculate the blur on the image plane.
  • Y '' are coordinates after rotational movement.
  • i indicates the time series relationship of x and y.
  • Rotate indicates a rotation formula.
  • step S15 the motion detection unit 51 continuously performs such mapping position calculation to obtain a point mapping position sequence (x0, y0), (x1, y1),..., (Xi, yi) It outputs to the determination part 52.
  • the motion determination unit 52 acquires and holds the point mapping position sequence (x0, y0), (x1, y1),..., (Xi, yi).
  • step S16 the motion determination unit 52 executes a motion determination process, and performs a calculation using the point mapping position sequence (xi, yi) as an input. Details of the motion determination process will be described later.
  • step S17 the motion determination unit 52 outputs, for example, 0 when the blur (blur) is equal to or less than the threshold, and 1 when the blur (blur) is equal to or greater than the threshold, according to the motion determination result.
  • the motion determination is performed by obtaining the first principal component of the covariance of the point mapping position sequence and determining the threshold value of the first principal component.
  • the covariance matrix is a 2 ⁇ 2 matrix having ⁇ ij as a component as in the following equation (4), where Xi is the x coordinate xi of the point mapping position sequence, Yi is the y coordinate yi of the point mapping position sequence, ⁇ i and ⁇ j are respective expected values.
  • the first principal component is obtained by singular value decomposition of the covariance matrix.
  • the first principal component indicates the maximum variance magnitude of the covariance matrix, which is considered to represent the maximum blur magnitude.
  • step S18 the motion determination unit 52 determines whether or not the process is finished based on whether or not the blur is equal to or greater than the threshold value or the longest exposure time as the motion judgment result. If so, the process returns to step S11 to execute the subsequent processes.
  • step S18 if the motion determination result is greater than or equal to the threshold value or the longest exposure time, the camera motion detection process ends.
  • the camera motion is sequentially detected, and the camera motion determination result is continuously output.
  • the motion determination unit 52 includes a covariance matrix eigenvalue calculation unit 71 and a threshold calculation unit 72.
  • the threshold calculation unit 72 receives the first principal component from the covariance matrix eigenvalue calculation unit 71, performs threshold processing using the degradation threshold as a parameter, and outputs the calculation result as a motion determination result.
  • ⁇ Deterioration of the image occurs due to blurring, but noise is increased if the exposure time is controlled to be short in order to eliminate blurring. Therefore, it is necessary to calculate a threshold value considering both blur and noise in order to optimally prevent deterioration.
  • step S31 the covariance matrix eigenvalue calculation unit 71 receives an input of a point mapping position sequence (xi, yi).
  • step S32 the covariance matrix eigenvalue calculation unit 71 calculates the covariance matrix represented by Expression (4).
  • step S33 the covariance matrix eigenvalue calculation unit 71 calculates the first principal component and supplies it to the threshold value calculation unit 72.
  • step S34 the threshold calculation unit 72 outputs 0 as a determination result indicating that the blur is smaller than the deterioration threshold when the first main component, that is, the maximum blur magnitude is smaller than the deterioration threshold.
  • 1 is output as a determination result indicating that the blur is larger than the deterioration threshold.
  • step S35 the threshold value calculation unit 72 outputs a determination result.
  • the degree of blur can be approximated by the size of the first principal component of the covariance of the point map position sequence, and shot noise and thermal noise, which are the main causes of noise, can be approximated by a Gaussian distribution with luminance dependency. Therefore, in the present disclosure, an evaluation formula that considers blur and noise is defined, and the value is subjected to threshold processing.
  • the noise dispersion amount N (x) is modeled in a linear relationship with the luminance x, for example, as shown in the following equation (5).
  • the dispersion amount N (x) is a noise variance according to the luminance
  • ⁇ is a parameter for controlling the influence of the noise variance
  • x is the luminance
  • B is the first principal component of blur
  • ⁇ is an adjustment parameter.
  • Equation (6) while the exposure time is short, since the luminance x is small, the influence of the noise variance N is large and the exp evaluation value approaches 0, and even if the blur B is somewhat large, it is allowed. When the exposure time is extended and the influence of the noise variance N is reduced, the evaluation value of exp approaches 1 and the size of the blur B is evaluated as it is. As described above, the exposure time for optimally controlling the deterioration of the image can be determined by simultaneously evaluating the noise and the blur and making the weight variable.
  • Threshold value processing is executed using the deterioration degree score C thus obtained as a deterioration threshold value, and a motion determination result for determining whether to continue or end the exposure is obtained.
  • a covariance matrix is obtained from a point mapping position sequence
  • a first principal component is calculated and compared with a threshold value to determine whether the motion is greater than a predetermined threshold value.
  • a PSF Point Spread Function (Point Spread Function)
  • the frequency thereof may be analyzed
  • the motion determination result may be analyzed.
  • FIG. 7 shows a configuration example of the motion determination unit 52 that obtains a PSF from a point mapping position sequence, analyzes its frequency, and obtains a motion judgment result.
  • the PSF image generation unit 91 generates a PSF image from the point mapping position sequence and outputs the PSF image to the frequency analysis unit 92.
  • the frequency analysis unit 92 receives the PSF image, performs frequency analysis, and calculates and outputs a motion determination result depending on whether the frequency component is equal to or less than a certain threshold value.
  • the PSF image is a gray image obtained by rendering a moving image sequence (point mapping position sequence) as a broken line in order to a small image, and is, for example, the image P on the right side of FIG. When there is no movement, it becomes a point image.
  • frequency components obtained by performing FFT conversion on this PSF image are plotted one-dimensionally from a low frequency to a high frequency, and it is determined whether or not each frequency component is a predetermined value or more.
  • step S51 the PSF image generation unit 91 receives an input of a point mapping position sequence (xi, yi).
  • step S52 the PSF image generation unit 91 generates a PSF image and outputs it to the frequency analysis unit 92.
  • step S53 the frequency analysis unit 92 performs frequency analysis by plotting a frequency component obtained by performing FFT conversion on the PSF image in a one-dimensional manner from a low frequency to a high frequency.
  • step S54 the frequency analysis unit 92 plots and determines a threshold value based on whether each frequency component is equal to or higher than a predetermined value. More specifically, when the motion is large, high-frequency components are lost in the PSF image, so pay attention to high-frequency components above a certain level and compare the deterioration threshold to see if the integrated value of that component is above a certain level. To calculate the motion judgment result.
  • the frequency analysis unit 92 outputs 0 as a determination result indicating that the blur is smaller than the threshold, and when the magnitude of the blur is larger than the predetermined threshold. , 1 is output as the determination result indicating that the blur is larger than the threshold value.
  • step S55 the frequency analysis unit 92 outputs a determination result.
  • the image photographing unit 32 includes an exposure control unit 101, an exposure unit 102, and a gain correction unit 103.
  • the exposure unit 102 exposes the shooting scene and outputs image data. More specifically, the exposure unit 102 exposes a photographic scene and outputs image data to the gain correction unit 103. The exposure unit 102 receives exposure start and end control from the exposure control unit 101.
  • the exposure control unit 101 controls the start and end of exposure. More specifically, the exposure control unit 101 receives an exposure start signal such as pressing the shutter button of the camera, and controls the exposure unit 102 to start exposure. Further, the exposure control unit 101 notifies the camera motion detection unit 31 of the timing for starting exposure. When the exposure time measured by the internal timer after receiving the motion determination result from the camera motion detection unit 31 after the start of exposure is not less than the preset minimum exposure time and not more than the maximum exposure time, When it is a motion determination result indicating that a motion larger than the motion is detected (the determination result is 1), the exposure unit 102 is controlled to end the exposure. If the exposure time is equal to or longer than the maximum exposure time, the exposure control unit 101 controls the exposure unit 102 to end the exposure. Further, the exposure control unit 101 transmits the exposure time from the start to the end of exposure to the gain correction unit 103.
  • an exposure start signal such as pressing the shutter button of the camera
  • the exposure control unit 101 notifies the camera motion detection unit 31 of the timing for starting exposure.
  • the gain correction unit 103 corrects the gain of the image data. More specifically, the gain correction unit 103 outputs image data obtained by multiplying the image data received from the exposure unit 102 by a gain according to the exposure time.
  • step S71 the exposure control unit 101 transmits an exposure start signal to the exposure unit 102, and the exposure unit 102 starts exposure.
  • step S72 the exposure control unit 101 transmits an exposure start to the camera motion detection unit 31.
  • step S73 the exposure control unit 101 measures the exposure time using an internal timer, determines whether a preset minimum exposure time has elapsed, and if the exposure time is less than the minimum exposure time, Continue measuring. If it is determined in step S73 that the preset minimum exposure time has elapsed, the process proceeds to step S74.
  • step S74 the exposure control unit 101 measures the exposure time using an internal timer, and determines whether a preset maximum exposure time has elapsed. In step S74, if the exposure time is less than the maximum exposure time, the process proceeds to step S75.
  • step S75 the exposure control unit 101 determines whether or not the motion determination result from the camera motion determination unit 31 is smaller than the blur threshold and it is considered that there is no blur. If it is determined in step S75 that no blur has occurred, the process returns to step S74.
  • step S74 if the exposure time does not exceed the maximum exposure time and if the motion determination result does not receive exposure completion (large shake) in step S75, the processes in steps S74 and S75 are repeated. Thus, the determination operation based on the motion determination result and the determination of the maximum exposure time are continued. That is, during this time, exposure continues.
  • step S74 If it is determined in step S74 that the exposure time has exceeded the maximum exposure time, or if the motion determination result is considered large in step S75, the process proceeds to step S76.
  • step S76 the exposure control unit 101 transmits exposure completion to the exposure unit 102, and the exposure unit 102 completes exposure of the shooting scene and supplies the image data to the gain correction unit 103. At this time, the exposure control unit 101 supplies information on the exposure time in the exposure unit 102 to the gain correction unit 103.
  • step S77 the gain correction unit 103 corrects the image data by multiplying the gain according to the exposure time received from the exposure control unit 101.
  • step S78 the gain correction unit 103 outputs the image data with the gain corrected.
  • the exposure when reading of the topmost line of the image is started at time t11, the exposure is always continued until time t12 when the minimum exposure time tmin elapses, and thereafter the movement is continued. Depending on the determination result, the exposure continues until time t14 when the longest exposure time tmax is maximized until it is notified by the motion determination result that the shake is large. In FIG. 11, at time t13, it is notified that the blur is large according to the motion determination result, and it is shown that the exposure is completed.
  • the image line is away from the top line in the downward direction in the figure.
  • the exposure start time t11 is used as a reference, and the exposure start time is delayed along the exposure start line L1.
  • the minimum exposure time tmin is also set to be delayed along the minimum exposure line L2 with respect to the time t12 because the delay is delayed according to the lower lines with respect to the exposure start line L1.
  • the longest exposure time tmax is set with a delay along the longest exposure line L4 with respect to the time t14.
  • the exposure end line L3 is set according to the lower lines with the time t13 as a reference.
  • the range indicated by the oblique lines is represented as the time of exposure longer than the minimum exposure time tmin.
  • the exposure start is started at the timing regardless of the determination result from the camera motion detection unit 31, but at the start timing, the exposure start is determined based on the determination result from the camera motion detection unit 31. If the exposure is started from this state, an image with a large blur may be captured in the minimum exposure time tmin.
  • the exposure control unit 101 may change the exposure start timing using the determination result received from the camera motion detection unit 31. For example, when the exposure start timing is reached but the camera motion is large, the blur can be reduced by delaying the exposure to start after the camera motion has stopped.
  • the exposure unit 102 outputs an exposure start signal for starting motion determination at a timing before the start of exposure, and refers to the motion determination result at the actual exposure start timing.
  • the exposure control unit 101 may delay the start of exposure of the exposure unit 102 if the motion determination result has a large amount of blur, and start exposure of the exposure unit when the motion determination result has no blur. .
  • the exposure unit 102 detects that blurring is detected as a result of motion determination within the minimum exposure time tmin from the start of exposure, that is, the exposure time is short, even if the exposure is terminated at this timing, a sufficient SNR ( If it is detected that the blur is large when the Signal Noise Ratio is not earned, the exposure is terminated once, the previous exposure result is discarded, and after the blur is lost again, sufficient SNR can be earned. The exposure may be performed again.
  • the start and end of exposure may be controlled by predicting future movements from movements measured up to a predetermined time. For example, a range of motion data that has been traced back to a predetermined time from the current time is approximated by a polynomial, and the motion at a future time is extrapolated and measured from the polynomial, and the motion exceeds the threshold. Predict time. By using such prediction, it becomes possible to measure the exposure end timing determined at the upper line of the image, and the exposure end timing at the lower end line of the screen, so that the entire image is captured within a predetermined blur. Can be controlled.
  • the data holding unit 33 includes a memory 121.
  • the data holding unit 33 receives images and motions, associates them with each other, stores a plurality of frames of data in the internal memory 121, and performs a post-shake correction image combining unit.
  • the image and motion data are output to 34.
  • the blur correction image combining unit 34 calculates an alignment parameter necessary for aligning the position of the succeeding image to the position based on the head image, and deforms the image received from the data holding unit 33.
  • a blend processing unit 142 that receives the registered image and adds and blends it to the integrated image in the middle of integration
  • a frame memory 143 that receives and stores the blend image and supplies the integrated image to the blend processing unit 142
  • a frame memory 143 includes a corrected image output unit 144 that receives and outputs the accumulated image from 143.
  • the image alignment unit 141 receives the motion data from the memory 121 of the data holding unit 33, and calculates alignment parameters for aligning the subsequent image to the position of the top image using the camera parameters.
  • the image alignment unit 141 receives, for example, the angular rotation amount of the camera between the frame images acquired by the gyro sensor as motion data. Canceling the movement due to the camera rotation and adjusting the position corresponds to obtaining the movement amount of each pixel position of the image, and can be realized by using the rotation matrix based on the Euler angles of the above-described equation (1). .
  • x and y are pixel positions of the image
  • z is a focal length given by a camera parameter.
  • the number of vertical and horizontal pixels, the center of the image, and the pixel size are also given as camera parameters. In this way, an image aligned with the top image is output.
  • the blend processing unit 142 blends the aligned image and the accumulated image being accumulated in the frame memory 143, updates the accumulated image, and sends it to the frame memory 143.
  • the weights of the frame images to be accumulated may be equalized and accumulated. For example, when the number of images is eight, the weight of each image is 1/8.
  • an integration method for example, there is a method in which the reciprocal of the exposure time of each frame image is weighted. Assuming that each frame image is suppressed to a blur amount below a certain level by the above-described motion detection means, the amount of noise in the image is considered to decrease according to the exposure time, and a weight that increases as the exposure time increases is adopted. Thus, further noise reduction can be realized. Further, an image that is large as an image to be integrated and is inappropriate as an image to be integrated may be discarded, and only an image that has a small amount of blur and is appropriate as an image to be integrated may be extracted and integrated.
  • i is the frame image number.
  • w (i) is the weight of the frame image i.
  • the denominator is the sum of the exposure times of all the frame images, and the numerator is the exposure time t (i) of the frame image i.
  • step S91 the image alignment unit 141 receives the frame image and the corresponding motion data from the memory 121 of the data holding unit 33.
  • step S92 the image alignment unit 141 calculates an alignment parameter for the first frame. That is, the image alignment unit 141 calculates where each pixel position of the current frame image corresponds to the top image.
  • step S93 the image alignment unit 141 deforms the current frame image based on the position correspondence between the current frame image and the top frame image.
  • step S94 the blend processing unit 142 reads the accumulated image from the frame memory 143.
  • step S95 the blend processing unit 142 blends the deformed current frame image and the integrated image based on the calculated weight.
  • step S96 the blend processing unit 142 determines whether or not the specified number of blends has been reached. If it is determined that the number has not been reached, the process returns to step S91. That is, the process of steps S91 to S96 is repeated until the next frame image and motion are input and the specified number of blends is reached. If it is determined in step S96 that the specified number of blends has been reached, the process proceeds to step S96.
  • step S97 the blend processing unit 142 outputs the current integrated image as a blended / blur corrected image and ends the process.
  • the images that have been aligned and aligned in shape are integrated and blended to correct blurring. Further, at this time, it is possible to further correct the blur by adding a weight according to the exposure time of the image to be integrated.
  • each image is aligned with the head image position and then converted to the frequency space, components having a large amplitude at each frequency in the frequency space are preferentially selected, and these components are collected and converted back to the image space.
  • this is a method of obtaining an image with less blur by combining a plurality of images.
  • step S111 the image alignment unit 141 receives the frame image and the corresponding motion data from the memory 121 of the data holding unit 33.
  • step S112 the image alignment unit 141 calculates alignment parameters for the first frame. That is, the image alignment unit 141 calculates where each pixel position of the current frame image corresponds to the top image.
  • step S113 the image alignment unit 141 deforms the current frame image based on the position correspondence between the current frame image and the top frame image.
  • step S114 the blend processing unit 142 multiplies the current frame by FFT (Fast Fourier Transform) and converts it to a frequency component.
  • FFT Fast Fourier Transform
  • step S115 the blend processing unit 142 reads the integrated image that has been converted into the frequency component from the frame memory 143.
  • step S116 the blend processing unit 142 selectively synthesizes, for example, the maximum value of each frequency component.
  • step S117 the blend processing unit 142 determines whether or not the specified number of blends has been reached. If it is determined that the number has not reached, the process returns to step S111. That is, the process of steps S111 to S117 is repeated until the next frame image and motion are input and the prescribed number of blends is reached. If it is determined in step S117 that the specified number of blends has been reached, the process proceeds to step S118.
  • step S118 the corrected image output unit 144 performs two-dimensional inverse FFT conversion on the blend image that has reached the number of blends.
  • step S119 the corrected image output unit 144 outputs the current integrated image as a blended / blur corrected image and ends the process.
  • the aligned image is subjected to FFT conversion, and a large amplitude component among the frequency components is selectively synthesized, and then subjected to inverse FFT to be blended to correct blurring. Is possible.
  • each image has a different blurring method (amount of motion, direction of motion), and a suitable blend image set can be obtained if exposure can be controlled so that the image blurring method is different. it can.
  • the exposure time can be controlled. This control can also be applied in the imaging device 11 of the present disclosure.
  • the determination of whether or not the first principal component of the covariance matrix exceeds the threshold is that the first principal component vector F1 is contained in a circle th whose diameter is the camera motion determination threshold. It is equivalent to determining whether or not.
  • the camera motion determination threshold value is changed anisotropically for each direction, and threshold processing is performed. Do. This makes it possible to control exposure so that image blurring differs and obtain a suitable blended image set.
  • the camera motion threshold th1 is set in four directions that are slanted vertically and horizontally. It is an isotropic value for the first frame of frame 1 motion determination.
  • the first principal component F1 is a vector in a direction close to the right diagonal direction, but is within the threshold th1, and therefore the motion determination result is regarded as having no significant motion and no blur.
  • the camera motion determination threshold is set to a threshold th2 that is changed for each direction according to the motion blur result of frame 1.
  • the threshold value th2 the threshold value in the right oblique direction is reduced.
  • the first principal component F1 is a vector in a direction close to the horizontal direction, but is within the threshold th2. Therefore, the motion determination result is regarded as having no significant motion and no blur.
  • the threshold value th3 is set by changing the camera motion determination threshold value according to the motion blur result up to frame 2.
  • the threshold value is set to be larger in the diagonally right direction than the threshold value th2, and the threshold value is set to be smaller than the threshold value th2 in the vertical direction.
  • the first principal component F1 is a vector in a direction close to the left diagonal direction, but is within the threshold th3, so that the motion determination result is regarded as having no significant motion and no blur.
  • the threshold value for each direction is determined by calculating a histogram of the movement vector MV ( ⁇ x, ⁇ y) between the points in the point mapping position sequence. As shown in FIG. 18, a histogram in four directions is calculated from the set of movement vectors MV. White circles in the figure are plots of the movement vector MV. This is collected and accumulated in the effective areas Z1 to Z4 for each direction defined in gray in the figure, and the lengths of the accumulated vectors SV1 to SV4, which are the accumulated movement vectors, are calculated for each direction. The histogram value.
  • the movement vectors in the effective area Z1 in the upper right direction and the lower left direction are integrated (the vector in the lower left direction is inverted), and the integrated vector SV1 composed of the histogram value of the thick arrow. Get.
  • the effective area is defined with a certain angular spread centered on the direction of interest.
  • the movement vectors in the upward and downward effective areas Z2 are integrated (the vector in the downward direction is inverted in sign) to obtain an integrated vector SV2 composed of the histogram value of the thick arrow.
  • the movement vectors in the effective area Z3 in the diagonally upper left direction and the diagonally lower right direction are accumulated (vectors in the lower right direction are inverted in sign) and accumulated from the histogram values of the thick arrows.
  • the vector SV3 is obtained.
  • the movement vectors in the effective area Z4 in the left direction and the right direction are integrated (the vector in the left direction is inverted in sign) to obtain an integrated vector SV4 composed of histogram values of thick arrows.
  • the effective area may be a pattern other than this, or may overlap with an adjacent direction or may have a gap.
  • a threshold is set so that the blur is reduced in the blur direction in subsequent frame shooting. Therefore, a threshold value for each direction expressed by the following formula (8) is calculated.
  • d represents a direction, and in the example of FIG. 18, it is vertical, horizontal, right-up diagonal, and right-down diagonal.
  • Th is a parameter set by the user with a threshold value.
  • ⁇ is an adjustment parameter. The smaller the value, the smaller the threshold value, and severely restricts blurring in that direction.
  • h (d) is a histogram value in the direction d.
  • step S131 the covariance matrix eigenvalue calculation unit 71 inputs the point mapping position sequence (xi, yi) of the frame image at time t.
  • step S132 the covariance matrix eigenvalue calculation unit 71 calculates a covariance matrix from the point mapping position sequence (xi, yi).
  • step S133 the covariance matrix eigenvalue calculation unit 71 calculates the first principal component and the first principal component direction from the covariance matrix, and outputs them to the threshold calculation unit 72.
  • step S134 the threshold value calculation unit 72 inputs the point mapping position sequence (xij, yij) of the frame image up to time t-1.
  • step S136 the threshold value calculation unit 72 integrates the movement vectors for each direction to obtain a histogram value (magnitude of the integration vector) for each direction.
  • step S137 the threshold value calculation unit 72 calculates the threshold value in each direction from the histogram value for each direction.
  • the threshold value calculation unit 72 includes the first principal component vector (the length is the first principal component and the direction is the first principal component) of the frame image t in the polygonal region obtained by connecting the threshold values for each direction.
  • the threshold is determined based on whether or not (direction) is within the range.
  • step S139 the threshold value calculation unit 72 outputs 0 as the motion determination result if the first principal component vector falls within the polygonal area, and 1 if it protrudes.
  • the threshold value can be set according to the direction of movement in this way, for example, in the detection of a face image, it is known that the tolerance in the vertical direction is higher than the horizontal direction.
  • the threshold value may be set loosely for the direction, and a strict threshold value may be set for the horizontal direction. In-vehicle cameras are more susceptible to vibration in the vertical direction than in the horizontal direction, so a loose threshold is set for the horizontal direction and a strict threshold is set for the vertical direction. You may do it. Furthermore, in the case of a depth camera or the like, it is desirable that the resolution in the horizontal direction is higher, so the threshold value in the horizontal direction may be set to be strict.
  • Second embodiment >> In the above description, shooting of a still image has been described, but it can also be applied to shooting of a moving image.
  • FIG. 20 illustrates a configuration example of the second embodiment of the imaging apparatus 11 that captures a moving image to which the technology of the present disclosure is applied.
  • symbol are attached
  • the imaging apparatus 11 in FIG. 20 includes an image capturing unit 32 that captures a scene, a camera motion detection unit 31 that detects camera motion, and noise reduction that performs noise reduction processing by adjusting parameters according to the exposure time. Part 171 is provided. That is, the imaging apparatus 11 in FIG. 20 is different from the imaging apparatus 11 in FIG. 2 in that a noise reduction unit 171 is provided instead of the data holding unit 33 and the shake correction image synthesis unit 34.
  • the camera motion detector 31 receives an exposure start signal from the image capturing unit 32, measures the camera motion during exposure, determines whether the camera motion exceeds a predetermined value, and displays the determination result as an image. Output to the imaging unit 32. In addition, the camera motion detection unit 31 transmits the camera exposure time during frame image capturing to the noise reduction unit 171.
  • the image photographing unit 32 exposes a photographing scene to measure image data, transmits the exposure start timing to the camera motion detection unit 31, receives a motion determination result from the camera motion detection unit 31, and receives the motion determination result. Accordingly, the end of exposure is determined, the captured image is gain-corrected according to the exposure time, and the corrected image data is output to the noise reduction unit 171.
  • the noise reduction unit 171 performs noise reduction processing of the image data from the exposure time and the image data, and outputs a moving image frame image that has undergone blur correction.
  • the brightness of the image is adjusted by the gain correction processing in the image photographing unit 32, but the amount of noise is different because the exposure time is different.
  • the noise reduction unit 171 performs noise reduction processing with an intensity corresponding to the exposure time.
  • the noise reduction unit 171 includes a filter generation unit 191 and a noise reduction processing unit 192.
  • the filter generation unit 191 receives the exposure time from the camera motion detection unit 31, generates a noise reduction filter, and outputs the filter to the noise reduction processing unit 192.
  • the noise reduction processing unit 192 receives the image data from the image capturing unit 32, performs noise reduction processing of the image data using the filter received from the filter generation unit 191, and outputs a shake correction moving image frame image.
  • a median filter can be used as a filter corresponding to the exposure time generated by the filter generation unit 191.
  • the median filter collects pixel values around the pixel of interest and replaces the pixel value of the pixel of interest with the median value. If this replaced pixel value is output as it is, not only the noise but also the texture of the original image is crushed. Therefore, a method of blending and outputting the median value and the original pixel value is often used.
  • the blend ratio of this blend can be changed according to the exposure time.
  • step S151 the filter generation unit 191 receives the exposure time from the camera motion detection unit 31.
  • step S152 the filter generation unit 191 generates a filter according to the exposure time for noise reduction, and outputs the filter to the noise reduction processing unit 192.
  • step S153 the noise reduction processing unit 192 receives the image data from the image capturing unit 32, and performs noise reduction processing of the image data using the filter received from the filter generation unit 191.
  • step S154 the noise reduction processing unit 192 outputs a shake correction moving image frame image.
  • the median filter median value will be blended so that it is blended strongly, or if the exposure time is long and the noise is expected to be low, the original pixel The value can be blended strongly.
  • the noise reduction filter is not limited to the median filter, and a filter having a noise reduction effect such as a Wiener filter or a bilateral filter may be used.
  • the filter coefficient itself may be changed according to the exposure time. That is, the filter coefficient may be switched so as to be strong when the exposure time is short and weak when it is long.
  • the exposure time can be increased by suppressing the blur even if the “blur total absolute value” is large by the principal component analysis of the motion trajectory point sequence (point mapping position sequence). At that time, the exposure time can be appropriately lengthened.
  • the range of “the first principal component of the motion trajectory point sequence” can be accommodated to the extent that it can be corrected by the in-plane blur correction post-processing.
  • the control that falls within the default “dispersion amount of the first principal component of the motion trajectory point sequence” the frequency components of the original image in the vertical direction with respect to the specific blur direction are retained, and different blur directions are collected for high accuracy. It is possible to obtain a correct blur correction result image.
  • FIG. 23 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • a camera motion detector that detects camera motion
  • a comparison unit that calculates a distribution degree of the camera motion trajectory based on the camera motion detection result and compares the distribution degree with a predetermined threshold
  • An exposure apparatus including: an exposure control unit that controls start and end of exposure based on a comparison result of the comparison unit.
  • the comparison unit calculates a first principal component of covariance as a distribution degree of the camera motion trajectory based on the camera motion detection result, and compares the first principal component with the predetermined threshold.
  • the comparison unit generates a PSF (Point Spread Function) image for the camera motion detection result as a distribution degree of the camera motion trajectory based on the camera motion detection result, and performs frequency analysis to generate the PSF image.
  • the photographing apparatus according to ⁇ 1> which is compared with a predetermined threshold.
  • the comparison unit approximates the detection result in a certain range retroactive from a current time to a predetermined time as a distribution degree of the camera motion trajectory based on the camera motion detection result,
  • the imaging apparatus according to ⁇ 1> in which a motion at a future time is extrapolated (extrapolated) from a polynomial and measured, and compared with the predetermined threshold value.
  • the camera motion detection unit includes an object from a gyro sensor, an acceleration sensor, a geomagnetic sensor, an altitude sensor, a vibration sensor, and a sub-camera for detecting the motion of the camera used for imaging, which is different from the camera used for imaging.
  • the imaging device according to any one of ⁇ 1> to ⁇ 4>, including a motion capture that tracks a marker and measures a motion.
  • the exposure control unit is longer than the minimum exposure time after the exposure is started and within the maximum exposure time, and the blur is more than predetermined by the comparison result.
  • the imaging device according to any one of ⁇ 1> to ⁇ 5>, wherein the exposure is controlled to be terminated when it is determined that the value is also larger.
  • the exposure control unit controls to end the exposure when the maximum exposure time comes after the exposure is started based on the comparison result of the comparison unit.
  • ⁇ 1> to ⁇ 6 > The imaging device in any one of>.
  • the exposure control unit determines that the comparison result indicates that the blur is greater than a predetermined value at the timing when the exposure is started.
  • control according to any one of ⁇ 1> to ⁇ 7>, wherein control is performed so as to delay a timing at which the exposure is started until it is considered to be smaller than a predetermined value.
  • the exposure control unit performs control so as to end the exposure in consideration of an SNR (Signal to Noise Ratio) based on a comparison result of the comparison unit.
  • SNR Signal to Noise Ratio
  • the noise removing unit further includes a noise removing unit that integrates only images having a blur size smaller than a predetermined size among a plurality of images captured by the camera and removes noise of the image.
  • ⁇ 12> The imaging apparatus according to ⁇ 10>, wherein the noise removing unit removes noise of the image by adding a weight according to an exposure time and integrating the plurality of images taken by the camera.
  • the noise removing unit adds and adds a weight considering a blurring direction of each image for a plurality of images taken by the camera, and removes the noise of the image. apparatus.
  • the noise removing unit adds and adds an equal weight to a plurality of images captured by the camera to remove noise of the images.
  • the noise removing unit performs FFT (Fast Fourier Transform) on a plurality of images captured by the camera, collects components of a predetermined amplitude for each frequency component, and applies an inverse FFT to obtain an image.
  • FFT Fast Fourier Transform
  • the noise removing unit performs FFT on a plurality of images captured by the camera, collects components having the maximum amplitude for each frequency component, and generates an image by performing inverse FFT.
  • the imaging device according to ⁇ 15> wherein noise of the image is removed.
  • Detect camera movement Based on the detection result of the camera motion, the distribution degree of the camera motion trajectory is calculated and compared with a predetermined threshold value.
  • An imaging method including a step of controlling start and end of exposure based on a comparison result.
  • a camera motion detection unit that detects camera motion;
  • a comparison unit that calculates a distribution degree of the camera motion trajectory based on the camera motion detection result and compares the distribution degree with a predetermined threshold;
  • a program that causes a computer to function as an exposure control unit that controls the start and end of exposure based on the comparison result of the comparison unit.
  • 11 shooting device 31 camera motion detection unit, 32 image shooting unit, 33 data holding unit, 34 shake correction image synthesis unit, 51 motion detection unit, 52 motion determination unit, 71 covariance matrix eigenvalue calculation unit, 72 threshold calculation unit, 91 PSF image generation unit, 92 frequency analysis unit, 101 exposure control unit, 102 exposure unit, 103 gain correction unit, 121 memory, 141 image alignment unit, 142 blend processing unit, 143 frame memory, 144 correction image output unit, 171 Noise reduction unit, 191 filter generation unit, 192 noise reduction processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本開示は、カメラの動きによって大きなブレを含んだ画像が撮影されてしまうことを抑制し、ブレの少ない画像を撮影することができるようにする撮影装置、および撮影方法、並びにプログラムに関する。 カメラの動きを検出し、カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較し、比較結果に基づいて、露光の開始および終了を制御するようにする。本開示は、撮影装置に適用することができる。

Description

撮影装置、および撮影方法、並びにプログラム
　本開示は、撮影装置、および撮影方法、並びにプログラムに関し、特に、カメラの動きによって大きなブレを含んだ画像が撮影されてしまうことを抑制し、ブレの少ない画像を撮影できるようにした撮影装置、および撮影方法、並びにプログラムに関する。
　従来、露光中のカメラの動きの角速度を計測し、その角速度量が所定量に達したら露光を終了する技術が提案されている（特許文献１参照）。
　この特許文献１の技術は、カメラの動きを、その「角速度値」または「角速度の積算値」として取得し、その値が所定の値を超えた場合に露光を終了するものである。
　また、露光中のカメラの動き量が所定量に達したら露光を規定よりも早めに打ち切り、所望の回数だけこれを繰り返して得られた画像群を合成してブレとノイズの少ない画像を得る技術が提案されている（特許文献２参照）。
　この特許文献２の技術では所定の明るさの画像を撮影するために、動きが小さければ一回で露光を完了し、動きが大きければ複数回に分けて露光を行い、それらを合成することで動きブレの少ない画像を撮影している。露光時間を短くすることでブレが少なくなる代わりにノイズが増えてしまうことに対して、複数枚撮影した画像を重ね合わせることでノイズを低減している。
特許第２８８４２６２号 特開２００７－０８１４８７号公報
　しかしながら、特許技術１において、角速度の積算値はカメラの像面上での露光中の画素の移動量に比例していると考えられるが、移動速度が一定という前提がなければ積算値が大きいがブレ量が小さいといったケースを検出できない。
　その結果、露光を継続しても画像がブレないにも関わらず露光を終了してしまい、結果としてブレは少ないがノイズの多い画像が撮影されてしまうことがある。
　また、特許技術２においては、現実にブレの少ない画像を得ようとする場合、一回の露光で許容できる動き量を小さく設定する必要があり、多数の撮影回数が必要となって、その分の撮影コスト、および画像処理演算コストが増大する。
　本開示は、このような状況に鑑みてなされたものであり、特に、カメラの動きによって大きなブレを含んだ画像が撮影されてしまうことを抑制し、ブレの少ない画像を撮影できるようにするものである。
　本開示の一側面の撮影装置は、カメラの動きを検出するカメラ動き検出部と、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部とを含む撮影装置である。
　前記比較部には、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、共分散の第一主成分を算出させ、前記所定の閾値と比較させるようにすることができる。
　前記比較部には、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、前記カメラ動き検出結果に対するPSF（Point Spread Function）画像を生成させ、周波数解析することにより、前記所定の閾値と比較させるようにすることができる。
　前記比較部には、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、現在時刻から所定の時刻まで遡った一定範囲の前記検出結果を多項式で近似させ、前記多項式より未来時刻での動きを外挿（補外）して計測させ、前記所定の閾値と比較させるようにすることができる。
　前記カメラ動き検出部には、ジャイロセンサ、加速度センサ、地磁気センサ、高度センサ、振動センサ、並びに、撮像に用いるカメラとは異なる、撮像に用いるカメラの動きを検出するためのサブカメラから物体のマーカーを追跡して動きを計測するモーションキャプチャを含ませるようにすることができる。
　前記露光制御部には、前記比較部の比較結果に基づいて、前記露光が開始されてから最小露光時間より長く、かつ、最大露光時間内であって、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記露光を終了するように制御させるようにすることができる。
　前記露光制御部には、前記比較部の比較結果に基づいて、前記露光が開始されてから前記最大露光時間になったとき、前記露光を終了するように制御させるようにすることができる。
　前記露光制御部には、前記比較部の比較結果に基づいて、前記露光が開始されるタイミングにおいて、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記比較結果によりブレが所定よりも小さいとみなされるまで、前記露光が開始されるタイミングを遅延させるように制御させるようにすることができる。
　前記露光制御部には、前記比較部の比較結果に基づいて、SNR（Signal to Noise Ratio）を考慮して、前記露光を終了するように制御させるようにすることができる。
　前記カメラにより所定の間隔で撮像された複数の画像を積算して、画像のノイズを除去するノイズ除去部をさらに含ませるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像のうち、ブレの大きさが所定の大きさよりも小さい画像のみを積算し前記画像のノイズを除去するノイズ除去部をさらに含ませるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像について、露光時間に応じて重みを付加して積算し前記画像のノイズを除去させるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像について、各画像のブレの方向を加味した重みを付加して積算し前記画像のノイズを除去させるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像について、均等の重みを付加して積算し前記画像のノイズを除去させるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像について、FFT（Fast Fourier Transform）を掛けて、周波数成分毎に所定の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去させるようにすることができる。
　前記ノイズ除去部には、前記カメラにより撮像された複数の画像について、FFTを掛けて、周波数成分毎に最大値の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去させるようにすることができる。
　本開示の一側面の撮影方法は、カメラの動きを検出し、カメラの動きの検出結果に基づいて、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較し、比較結果に基づいて、露光の開始および終了を制御するステップを含む撮影方法である。
　本開示の一側面のプログラムは、カメラの動きを検出するカメラ動き検出部と、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部としてコンピュータを機能させるプログラムである。
　本開示の一側面においては、カメラの動きが検出され、前記カメラ動きの検出結果に基づいた、前記カメラ動き軌跡の分布度合いが計算され、所定の閾値と比較され、比較結果に基づいて、露光の開始および終了が制御される。
　本開示の一側面によれば、カメラの動きによって大きなブレを含んだ画像が撮影されてしまうことを抑制することにより、ブレの少ない画像を撮影することが可能となる。
角速度の積算値が同一でも、ブレが発生する場合と、ブレが発生しない場合とが存在することを説明する図である。 本開示の技術を適用した撮影装置の第１の実施の形態の構成例を説明する図である。 図２の撮影装置のカメラ動き検出部の構成例を説明する図である。 図３のカメラ動き検出部によるカメラ動き検出処理を説明するフローチャートである。 図３のカメラ動き検出部の動き判定部の第１の構成例を説明する図である。 図５の動き判定部による動き判定処理を説明するフローチャートである。 図３のカメラ動き検出部の動き判定部の第２の構成例を説明する図である。 図７の動き判定部による動き判定処理を説明するフローチャートである。 図２の撮影装置の画像撮影部の構成例を説明する図である。 図９の画像撮影部による撮影処理を説明するフローチャートである。 図９の画像撮影部による撮影処理における露光時間を説明する図である。 図２の撮影装置のデータ保持部の構成例を説明する図である。 図２の撮影装置のブレ補正画像合成部の構成例を説明する図である。 図１３のブレ補正画像合成部によるブレ補正画像合成処理の第１の処理例を説明するフローチャートである。 図１３のブレ補正画像合成部によるブレ補正画像合成処理の第２の処理例を説明するフローチャートである。 動きブレ量の第一主成分とカメラ動き判定閾値との関係を説明する図である。 動きブレ量の第一主成分とカメラ動き判定閾値との関係を説明する図である。 動きの方向別の積算ベクトルを説明する図である。 図５の動き判定部による方向別閾値を用いた動き判定処理を説明するフローチャートである。 本開示の技術を適用した撮影装置の第２の実施の形態の構成例を説明する図である。 図１の撮影装置のノイズ低減部の構成例を説明する図である。 図２１のノイズ低減処理部によるノイズ低減処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．第１の実施の形態
　　２．第２の実施の形態
　　３．応用例
　＜＜１．第１の実施の形態＞＞
　＜従来の撮影装置＞
　特許文献１の技術は、露光を開始すると共に、撮影部であるカメラの動きを、その「角速度値」または「角速度の積算値」として取得を開始し、「角速度値」または「角速度の積算値」が所定値を超えた場合に露光を終了するというものである。
　ここで、角速度の積算値はカメラの像面上での露光中の画素の移動量に比例していると考えられるが、移動速度が一定という前提がなければ積算値が大きいがブレ量が小さいといったケースを検出できないことがある。
　すなわち、図１の左上部は、時間方向に等間隔で動きがある場合の動きの軌跡と、各タイミングにおける位置（黒丸印）の変位を示したものであり、左下部は、各変位間のPSF（Point Spread Function）を示している。また、図１の右上部および右下部は、それぞれ時間方向の間隔に偏りがある状態で動きがある場合の軌跡および各変位間のPSFを示している。
　図１の上部の左右を比較すると動きの軌跡は同一であるので、動きの積算値における比較では同一であるが、図１の左下部に対して、図１の右下部のPSFには、偏りがあり画像のブレが小さいことが示されている。
　すなわち、図１の場合においては、カメラの動きを、共分散を用いて評価した場合、時間方向に等間隔で等しく動きがある場合に比べると、等間隔ではない動きの場合の方が、分散が小さく、ブレが小さいことがわかる。
　＜第１の実施の形態の構成例＞
　そこで、本開示の撮影装置においては、カメラの動きから、共分散を求め、動き軌跡点列における共分散の第一主成分に基づいて動きを評価する。
　図２は、本開示の撮影装置１１の第１の実施の形態の構成例を示すブロック図である。
　図２の撮影装置（カメラ）１１は、シーンを撮影する画像撮影部３２と、撮影装置１１の動きを検出するカメラ動き検出部３１と、撮影した画像と計測したカメラ動きを保存するデータ保持部３３と、保存した画像とカメラ動きを複数読み出してブレ補正しながら合成するブレ補正画像合成部３４とからなる。
　カメラ動き検出部３１は、画像撮影部３２から露光開始の信号を受信し、露光中のカメラ動きを計測して、撮影装置（カメラ）１１の動きが既定値を超えたかどうかを判定し、その判定結果を画像撮影部３２に出力する。また、カメラ動き検出部３１は、データ保持部へフレーム画像の撮影中のカメラ動きデータを送信する。
　画像撮影部３２は、撮影シーンを露光して画像データを計測し、その露光開始タイミングをカメラ動き検出部３１に送信し、カメラ動き検出部３１から動き判定結果を受信する。そして、画像撮影部３２は、その動き判定結果に応じて、露光終了を判断して、撮影した画像を露光時間に応じてゲイン補正して、その補正した画像データをデータ保持部３３に出力する。
　データ保持部３３は、フレーム画像を画像撮影部３２より受信し、また、そのフレーム画像のカメラ動きデータをカメラ動き検出部３１より受信して、それらデータを保持する。データ保持部３３は、記録した所定の枚数のフレーム画像とカメラ動きデータをブレ補正画像合成部に出力する。
　ブレ補正画像合成部３４は、データ保持部３３より画像とカメラ動きデータを受信し、カメラ動きデータに基づいて、各フレーム画像の位置を合わせて、全てのフレーム画像を選択的にブレンド処理する。これによりノイズを減らしたブレンド済ブレ補正画像が撮影されることになる。
　＜カメラ動き検出部の構成例＞
　次に、図３を参照して、カメラ動き検出部３１の構成例について説明する。
　カメラ動き検出部３１は、動き検出部５１および動き判定部５２を備えている。動き検出部５１は、露光中のカメラ動きを定期的に計測して画サイズや焦点距離といったカメラパラメータを用いてカメラの像面上での移動位置点列を計算して、その点列を動き判定部５２に出力する。動き判定部５２は、動き検出部５１より移動位置点列を受信し、所定のカメラ動き判定閾値パラメータを用いて、動きによるブレが許容量に収まるか否かを判定し、その判定結果を画像撮影部３２に出力する。
　動き検出部５１は、カメラ動きの計測を、例えば、角速度を計測するジャイロセンサを用いて行う。尚、動き検出部５１による計測方法は、このジャイロセンサに限定されるものではなく、カメラの動きが分かるものであれば何でもよい。すなわち、カメラ動き検出部３１は、カメラ動きを計測するにあたって、ジャイロセンサに代えて、例えば、加速度を計測する加速度センサ、北の方角を計測する地磁気センサ、気圧から高度を計測する高度センサ、振動を計測する振動センサ、外部カメラから物体のマーカーを追跡して動きを計測するモーションキャプチャなどを利用するようにしてもよい。
　＜カメラ動き検出処理＞
　次に、図４のフローチャートを参照して、カメラ動き検出部３１によるカメラ動き検出処理について説明する。尚、カメラ動き検出処理は、ジャイロセンサを用いて角速度を計測することにより求められるものであるため、カメラの動きを回転運動として捉えることを前提とする。
　ステップＳ１１において、動き検出部５１は、カメラの動きのうち、回転運動成分をジャイロセンサによって角速度（ｇｘ，ｇｙ，ｇｚ）として所定の時間間隔で計測する。時間間隔は、例えば、１ミリ秒間隔などであり、ジャイロセンサからなる動き検出部５１は、角速度を、所定の時間間隔でサンプリングする。
　ステップＳ１２において、動き検出部５１は、その角速度を積算して、角回転量（ａｘ，ａｙ，ａｚ）に変換する。
　ステップＳ１３において、動き検出部５１は、現在位置座標（ｘ，ｙ）を取得する。現在位置座標（ｘ，ｙ）は、初期値を、例えば、カメラ像面上の中心（０，０）とし、以降において、順次、直前の処理で計算された位置が現在位置座標（ｘ，ｙ）とされる。
　ステップＳ１４において、動き検出部５１は、角回転量（ａｘ，ａｙ，ａｚ）を用いて、現在位置座標（ｘ，ｙ）を回転移動させる。
　回転移動は、以下の式（１）のようにオイラー角αβγを用いて行列の乗算計算として求める。例えば、αはピッチ、βはヨー、γはロール方向の角回転量とする。ｘ，ｙは現在の座標位置でありｚは像面までの距離で焦点距離を用いる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　そして、動き検出部５１は、像面上でのブレを正確に計算するために、以下の式（２）で示されるように、ｘ’とｙ’をそれぞれｚ’で割り算してｘ’’，ｙ’’を回転移動後の座標とする。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　尚、上述した式（１）については、一般式で表現すると、以下の式（３）のように表現される。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、ｉは、ｘ，ｙの時系列の関係を示すものである。また、Rotateは、回転公式を示すものである。
　ステップＳ１５において、動き検出部５１は、こうした写像位置計算を連続的に行い、点写像位置列（ｘ０，ｙ０），（ｘ１，ｙ１），・・・，（ｘｉ，ｙｉ）を得て、動き判定部５２に出力する。動き判定部５２は、点写像位置列（ｘ０，ｙ０），（ｘ１，ｙ１），・・・，（ｘｉ，ｙｉ）を取得し、保持する。
　ステップＳ１６において、動き判定部５２は、動き判定処理を実行し、この点写像位置列（ｘｉ、ｙｉ）を入力とした計算を行う。尚、動き判定処理については、詳細を後述する。
　ステップＳ１７において、動き判定部５２は、動き判定結果に応じて、例えば、ブレ（ボケ）が閾値以下であるときには０を、ブレ（ボケ）が閾値以上であるときは１を出力する。
　ここで動き判定は点写像位置列の共分散の第一主成分を求めて、その第一主成分を閾値判定することで行われる。共分散行列は以下の式（４）の通り、Σｉｊを成分とする２×２の行列であり、Ｘｉは、点写像位置列のｘ座標ｘｉ、Ｙｉは、点写像位置列のｙ座標ｙｉ、μｉ，μｊはそれぞれの期待値である。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　第一主成分は、共分散行列を特異値分解することで得られる。第一主成分は共分散行列の最大の分散の大きさを示し、これはすなわち最大ブレの大きさを表すと考えられる。
　ステップＳ１８において、動き判定部５２は、動き判定結果としてブレが閾値以上である、または、最長露光時間であるか否かに基づいて、処理が終了か否かを判定し、終了ではないと見なされた場合、処理は、ステップＳ１１に戻り、以降の処理を実行する。
　また、ステップＳ１８において、動き判定結果としてブレが閾値以上である、または、最長露光時間である場合、カメラ動き検出処理は終了する。
　以上の処理により、順次、カメラ動きが検出されて、カメラの動き判定結果が出力され続けることになる。
　＜動き判定部の第１の構成例＞
　次に、図５のブロック図を参照して、動き判定部５２の第１の構成例について説明する。動き判定部５２は、共分散行列固有値計算部７１および閾値計算部７２からなる。
　共分散行列固有値計算部７１は、点写像位置列を入力として、上述した手法により第一主成分（＝最大の固有値）を求めて閾値計算部７２へ出力する。
　閾値計算部７２は、共分散行列固有値計算部７１より第一主成分を受信し、劣化閾値をパラメータとする閾値処理を行って、その計算結果を動き判定結果として出力する。
　画像の劣化はブレによって起こるが、ブレを無くすために露光時間を短く制御すると、ノイズを増やしてしまう。そのため、劣化を最適に防ぐにはブレとノイズの両方を考慮して閾値計算する必要がある。
　＜図５の動き判定部による動き判定処理＞
　次に、図６のフローチャートを参照して、図５の動き判定部５２による動き判定処理について説明する。
　ステップＳ３１において、共分散行列固有値計算部７１は、点写像位置列（ｘｉ、ｙｉ）の入力を受け付ける。
　ステップＳ３２において、共分散行列固有値計算部７１は、式（４）で示される共分散行列を計算する。
　ステップＳ３３において、共分散行列固有値計算部７１は、第一主成分を計算し、閾値計算部７２に供給する。
　ステップＳ３４において、閾値計算部７２は、第一主成分、すなわち、最大のブレの大きさが劣化閾値よりも小さい場合、ブレが劣化閾値より小さいことを示す判定結果として０を出力し、ブレの大きさが劣化閾値よりも大きい場合、ブレが劣化閾値より大きいことを示す判定結果として１を出力する。
　ステップＳ３５において、閾値計算部７２は、判定結果を出力する。
　ここで、閾値計算部７２により使用される劣化閾値について説明する。
　ブレの程度は点写像位置列の共分散の第一主成分の大きさで近似でき、また、ノイズの主要因であるショットノイズや熱雑音は輝度依存性のあるガウス分布で近似できる。そこで本開示においては、ブレとノイズを加味した評価式を定義して、その値を閾値処理するようにする。
　ノイズの分散量Ｎ（ｘ）は、例えば、以下の式（５）で示されるように、輝度ｘに線形の関係でモデル化する。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、ａとｂはモデルのパラメータである。
　さらに、ブレおよびノイズによる画像の劣化度合いスコアの評価Ｃは、以下の式（６）を用いて行うようにする。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、分散量Ｎ（ｘ）は輝度に応じたノイズ分散、σはノイズ分散の影響度を制御するパラメータ、ｘは輝度、Ｂはブラーの第一主成分、γは調整パラメータである。
　式（６）によれば露光時間が短い間は、輝度ｘが小さいためノイズ分散Ｎの影響が大きくexp評価値が0に近づき、ブラーＢがある程度大きくても許容される。露光時間が伸びてノイズ分散Ｎの影響が小さくなってくると、expの評価値が1に近づきブラーＢの大きさがそのまま評価されるようになってくる。このようにノイズとブレを同時に評価して重みを可変にすることによって、画像の劣化を最適に制御する露光時間を決定できる。
　こうして求めた劣化度合いスコアＣを劣化閾値として閾値処理を実行し、露光を継続するか終了するかを判断する動き判定結果を求める。
　＜動き判定部の第２の構成例＞
　以上においては、点写像位置列から共分散行列を求め、第一主成分を計算して閾値と比較することにより、動きが所定の閾値よりも大きいか否かを判定する例について説明してきたが、点写像位置列からPSF（Point Spread Function（点像分布関数））を求めて、その周波数を解析して、動き判定結果を解析してもよい。
　図７は、点写像位置列からPSFを求めて、その周波数を解析して、動き判定結果を求めるようにした動き判定部５２の構成例を示している。
　図７の動き判定部５２は、PSF画像生成部９１、および周波数解析部９２を備えている。
　PSF画像生成部９１は、点写像位置列からPSF画像を生成して周波数解析部９２に出力する。周波数解析部９２は、PSF画像を受信して周波数解析を行い、周波数の成分が一定の閾値以下か否かで動き判定結果を計算し、出力する。
　PSF画像は、動き点列（点写像位置列）を順に折れ線として小画像にレンダリングして得られるグレー画像であり、例えば、図７の右部の画像Ｐである。動きが無い場合は点画像となる。周波数解析はこのPSF画像をFFT変換して得られる周波数成分を低周波から高周波まで一次元にプロットして、各周波数成分が所定の値以上になっているかどうかを判定する。
　動きが大きい場合、PSF画像では高周波成分が欠落していくので、一定以上の高周波成分に注目してその成分の積算値が一定以上か否か劣化閾値を比較することで動き判定結果を計算することができる。
　＜図７の動き判定部による動き判定処理＞
　次に、図８のフローチャートを参照して、図７の動き判定部５２による動き判定処理について説明する。
　ステップＳ５１において、PSF画像生成部９１は、点写像位置列（ｘｉ、ｙｉ）の入力を受け付ける。
　ステップＳ５２において、PSF画像生成部９１は、PSF画像を生成し、周波数解析部９２に出力する。
　ステップＳ５３において、周波数解析部９２は、PSF画像をFFT変換して得られる周波数成分を低周波から高周波まで一次元にプロットすることで周波数解析する。
　ステップＳ５４において、周波数解析部９２は、プロットして、各周波数成分が所定の値以上になっているか否かにより閾値判定する。より具体的には、動きが大きい場合、PSF画像では高周波成分が欠落していくので、一定以上の高周波成分に注目して、その成分の積算値が一定以上か否か劣化閾値を比較することで動き判定結果を計算する。
　これにより、周波数解析部９２は、ブレの大きさが所定の閾値よりも小さい場合、ブレが閾値より小さいことを示す判定結果として０を出力し、ブレの大きさが所定の閾値よりも大きい場合、ブレが閾値より大きいことを示す判定結果として１を出力する。
　ステップＳ５５において、周波数解析部９２は、判定結果を出力する。
　以上の処理により、点写像位置列（ｘｉ、ｙｉ）よりPSF画像を求めて、周波数解析することで動き判定結果を出力することが可能となる。
　＜画像撮影部の構成例＞
　次に、図９のブロック図を参照して、画像撮影部３２の構成例について説明する。
　画像撮影部３２は、露光制御部１０１、露光部１０２、およびゲイン補正部１０３を備えている。
　露光部１０２は、撮影シーンを露光して画像データを出力する。より詳細には、露光部１０２は、撮影シーンを露光してゲイン補正部１０３へ画像データを出力する。露光部１０２は、露光の開始と終了の制御を露光制御部１０１から受信する。
　露光制御部１０１は、露光の開始と終了を制御する。より詳細には、露光制御部１０１は、カメラのシャッタボタン押下など露光開始の信号を受信し、露光部１０２へ露光開始の制御を行う。また、露光制御部１０１は、カメラ動き検出部３１へ露光開始のタイミングを通知する。露光開始後、カメラ動き検出部３１からの動き判定結果を受信して、内部タイマーによって計測した露光時間が、予め設定された最小露光時間以上で、かつ、最大露光時間以下であれば、所定の動きより大きな動きが検出されたことを示す動き判定結果である（判定結果が１である）とき、露光部１０２の露光を終了するよう制御する。また、露光時間が最大露光時間以上であれば、露光制御部１０１は、露光部１０２の露光を終了するよう制御する。さらに、露光制御部１０１は、露光開始から終了するまでの露光時間をゲイン補正部１０３に送信する。
　ゲイン補正部１０３は、画像データのゲインを補正する。より詳細には、ゲイン補正部１０３は、露光部１０２から受信した画像データを露光時間に応じて、ゲイン倍した画像データを出力する。
　＜撮影処理＞
　次に、図１０のフローチャートを参照して、画像撮影部３２による撮影処理について説明する。
　ステップＳ７１において、露光制御部１０１は、露光部１０２へ露光開始の信号を送信し、露光部１０２は、露光を開始する。
　ステップＳ７２において、露光制御部１０１は、露光開始をカメラ動き検出部３１へ送信する。
　ステップＳ７３において、露光制御部１０１は、内部タイマーを用いて露光時間を計測し、予め設定された最小露光時間が経過したか否かを判定し、露光時間が最小露光時間未満であれば時間の計測を継続する。そして、ステップＳ７３において、予め設定された最小露光時間が経過したとみなされた場合、処理は、ステップＳ７４に進む。
　ステップＳ７４において、露光制御部１０１は、内部タイマーを用いて露光時間を計測し、予め設定された最大露光時間が経過したか否かを判定する。ステップＳ７４において、露光時間が最大露光時間未満であれば、処理は、ステップＳ７５に進む。
　ステップＳ７５において、露光制御部１０１は、カメラ動き判定部３１からの動き判定結果が、ブレの閾値よりも小さく、ブレの発生はないとみなされているか否かを判定する。ステップＳ７５において、ブレの発生はないとみなされた場合、処理は、ステップＳ７４に戻る。
　すなわち、ステップＳ７４において、露光時間が最大露光時間を経過しておらず、かつ、ステップＳ７５において、動き判定結果が、露光完了（ブレ大）を受信しなければ、ステップＳ７４，Ｓ７５の処理が繰り返されて、動き判定結果による判定動作と、最大露光時間の判定が継続される。すなわち、この間、露光が継続され続ける。
　ステップＳ７４において、露光時間が最大露光時間を経過しているとみなされるか、または、ステップＳ７５において、動き判定結果が大きいとみなされた場合、処理は、ステップＳ７６に進む。
　ステップＳ７６において、露光制御部１０１は、露光部１０２に対して、露光完了を送信し、露光部１０２は撮影シーンの露光を完了し、画像データをゲイン補正部１０３に供給する。このとき、露光制御部１０１は、露光部１０２における露光時間の情報をゲイン補正部１０３に供給する。
　ステップＳ７７において、ゲイン補正部１０３は画像データを露光制御部１０１から受信した露光時間に応じて、ゲイン倍して補正する。
　ステップＳ７８において、ゲイン補正部１０３は、ゲインを補正した画像データを出力する。
　すなわち、図１１で示されるように、画像の最上位ラインの読み出しが時刻ｔ１１に開始される場合、最小露光時間ｔｍｉｎが経過する時刻ｔ１２までは、露光は必ず継続され、それ以降においては、動き判定結果に応じて、最長露光時間ｔｍａｘを最大とする時刻ｔ１４までの間に、動き判定結果によりブレが大きいことが通知されるまで露光が継続される。図１１においては、時刻ｔ１３において、動き判定結果によりブレが大きいことが通知され、露光が終了していることが示されている。
　尚、図１１においては、図中下方向に向かって画像ラインが最上位ラインより離れている。このため、露光開始時刻ｔ１１を基準として、下位のラインに向かうに従って遅延し、実質的に、露光開始ラインＬ１に沿って、露光の開始時刻が遅延されることが示されている。同様にして、最小露光時間ｔｍｉｎについても、露光開始ラインＬ１を基準に下位のラインに従って遅延するため、時刻ｔ１２を基準として最小露光ラインＬ２に沿って遅延して設定される。同様に、最長露光時間ｔｍａｘについても、時刻ｔ１４を基準として最長露光ラインＬ４に沿って遅延して設定される。そして、図１１においては、最上位ラインにおいて時刻ｔ１３で、露光終了とされるため、時刻ｔ１３を基準として、下位のラインに従って、露光終了ラインＬ３が設定されている。すなわち、図１１においては、斜線で示される範囲が、最小露光時間ｔｍｉｎよりも長く露光された時間として表されている。
　尚、以上においては、露光開始は、そのタイミングになるとカメラ動き検出部３１からの判定結果によらず、開始されていたが、開始のタイミングにおいて、カメラ動き検出部３１からの判定結果で、ブレが大きくなることが示されることも考えられ、その状態から露光を開始すると、最小露光時間ｔｍｉｎにおいて、大きくブレのある画像が撮影されてしまう恐れがある。
　そこで、露光制御部１０１は、カメラ動き検出部３１から受け取る判定結果を用いて、露光開始のタイミングを変化させるようにしてもよい。例えば、露光開始のタイミングとなったがカメラ動きが大きい状態の場合、カメラ動きが収まってから露光を開始するように遅延することでブレを低減させることができる。
　この場合、露光部１０２は、露光開始より前のタイミングで動き判定を開始させる露光開始信号を出力しておき、実際の露光開始タイミングの時点で動き判定結果を参照する。このとき、露光制御部１０１は、動き判定結果によりブレが大きければ、露光部１０２の露光開始を遅延させ、動き判定結果にブレがなくなった時点で露光部の露光を開始させるようにしてもよい。
　さらに、露光部１０２は、露光開始から最小露光時間ｔｍｉｎ内に動き判定結果によりブレが大きいと検出された場合、すなわち、露光時間が短く、このタイミングで露光を終了させても、十分なSNR（Signal to Noise Ratio）が稼げない状態でブレが大きいと検出された場合、露光を一旦終了して、それまでの露光結果を破棄し、再度、ブレがなくなってから、十分なSNRが稼げるように、露光をやり直すようにしてもよい。
　また、所定の時刻までに計測された動きから未来の動きを予測して露光開始や露光終了を制御してもよい。例えば、現在時刻から所定の時刻まで遡った一定範囲の動きデータを多項式で近似しておいて、その多項式より未来時刻での動きを外挿（補外）して計測し、動きが閾値を上回る時刻を予測する。そのような予測を用いれば画像の上ラインで判定していた露光終了タイミングを、画面下端ラインでの露光終了タイミングを測ることができるようになり、画像全体が所定のボケに収まるように撮影を制御できる。
　＜データ保持部の構成例＞
　次に、図１２のブロック図を参照して、データ保持部３３の構成例について説明する。
　データ保持部３３は、メモリ１２１から構成されており、画像と動きを受信して、それぞれを対応付けて、複数フレーム分のデータを内部のメモリ１２１に蓄えておき、後段のブレ補正画像合成部３４へ画像と動きのデータを出力する。
　＜ブレ補正画像合成部の構成例＞
　次に、図１３のブロック図を参照して、ブレ補正画像合成部３４の構成例について説明する。
　ブレ補正画像合成部３４は、先頭画像を基準とした位置へ後続する画像の位置を揃えるのに必要な位置合わせパラメータを計算してデータ保持部３３から受信した画像を変形する画像位置合わせ部１４１、位置合わせ済の画像を受信して積算途中の積算画像へ加算ブレンドするブレンド処理部１４２、ブレンド画像を受信して蓄えてブレンド処理部１４２へ積算画像を供給するフレームメモリ１４３、および、フレームメモリ１４３から積算画像を受信して出力する補正画出力部１４４を備えている。
　画像位置合わせ部１４１は、データ保持部３３のメモリ１２１から動きデータを受信し、カメラパラメータを使って先頭画像の位置へ後続の画像を揃える位置合わせパラメータを計算する。
　画像位置合わせ部１４１は、例えば、動きデータとしてジャイロセンサで取得したフレーム画像間のカメラの角回転量を入力とする。カメラ回転移動による移動をキャンセルして位置を合わせることは、画像の各画素位置の移動量をそれぞれ求めることに相当するので、前述の式（１）のオイラー角による回転行列を用いることにより実現できる。
　ここでｘ，ｙは画像の各画素位置であり、ｚはカメラパラメータで与えられる焦点距離である。画像の縦横画素数、画像中心、および画素サイズもカメラパラメータとして与えられる。こうして先頭画像に位置合わせされた画像が出力される。
　ブレンド処理部１４２は、位置合わせされた画像とフレームメモリ１４３に蓄えた積算途中の積算画像をブレンドして積算画像を更新してフレームメモリ１４３に送出する。最も単純な手法としては、積算する各フレーム画像の重みは等しくして積算すればよく、例えば、８枚の積算であれば各画像の重みは１／８となる。
　別の積算方法として、例えば、各フレーム画像の露光時間の逆数を重みとする方法がある。各フレーム画像は前述の動き検出手段によって一定以下のブレ量に抑えられているとすると、画像のノイズの量は露光時間に応じて減少すると考えられ、露光時間が長いほど大きくなる重みを採用することで、さらなる低ノイズ化が実現できる。さらには、ブレ量が大きく、積算する画像として不適切な画像は捨てて、ブレ量が小さい、積算する画像として適切な画像のみを抽出して積算するようにしてもよい。
　より具体的には、以下の式（７）を用いて演算する。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　ここで、ｉはフレーム画像番号である。ｗ（ｉ）はフレーム画像ｉの重みである。分母は全フレーム画像の露光時間の総和であり、分子はフレーム画像ｉの露光時間ｔ（ｉ）である。
　＜ブレ補正画像合成処理の第１の処理例＞
　次に、図１４のフローチャートを参照して、ブレ補正画像合成処理の第１の処理例について説明する。
　ステップＳ９１において、画像位置合わせ部１４１は、データ保持部３３のメモリ１２１よりフレーム画像と、対応する動きデータを受信する。
　ステップＳ９２において、画像位置合わせ部１４１は、先頭フレームへの位置合わせパラメータを計算する。すなわち、画像位置合わせ部１４１は、現フレーム画像の各画素位置が先頭画像のどこに対応するかを計算する。
　ステップＳ９３において、画像位置合わせ部１４１は、現フレーム画像と先頭フレーム画像の位置対応に基づいて、現フレーム画像を変形させる。
　ステップＳ９４において、ブレンド処理部１４２は、積算画像をフレームメモリ１４３から読み出す。
　ステップＳ９５において、ブレンド処理部１４２は、変形済みの現フレーム画像と積算画像を計算した重みに基づいてブレンドする。
　ステップＳ９６において、ブレンド処理部１４２は、規定のブレンド枚数に達しているか否かを判定し、達していないとみなされた場合、処理は、ステップＳ９１に戻る。すなわち、次のフレーム画像と動きが入力され、規定のブレンド枚数に達するまで、ステップＳ９１乃至Ｓ９６の処理が繰り返される。そして、ステップＳ９６において、規定のブレンド枚数に達しているとみなされた場合、処理は、ステップＳ９６に進む。
　ステップＳ９７において、ブレンド処理部１４２は、現積算画像をブレンド済・ブレ補正済画像として出力し、処理を終了する。
　以上の処理により、位置合わせされ、形状が揃えられた画像が、積算されることにより、ブレンドされてブレが補正される。また、この際、積算される画像の露光時間に応じた重みを付して積算することで、さらに、ブレを補正することが可能となる。
　＜ブレ補正画像合成処理の第２の処理例＞
　以上においては、位置合わせした画像を積算することで、ブレを補正する例について説明してきたが、“Burst Deblurring: Removing Camera Shake Through Fourier Burst Accumulation”, Mauricio Delbracioに記載されているような、複数枚のブレの方向や大きさの異なる画像を撮影しておいて、それぞれの画像からブレの無い成分を選択的に合成してブレを減らした画像を得る方法が提案されているので、この手法を適用してもよい。
　そこで、図１５のフローチャートを参照して、複数枚のブレの方向や大きさの異なる画像を撮影しておいて、それぞれの画像からブレの無い成分を選択的に合成してブレを低減させる場合のブレ補正画像合成処理を、第２の処理例として説明する。
　この方法では各画像を先頭画像位置へ位置合わせした上で周波数空間へ変換し、周波数空間の各周波数において振幅の大きい成分を優先的に選択し、それら成分を集めて画像空間へ変換して戻すことで、複数の画像合成によってブレの少ない画像を得る方法である。
　すなわち、ステップＳ１１１において、画像位置合わせ部１４１は、データ保持部３３のメモリ１２１よりフレーム画像と、対応する動きデータを受信する。
　ステップＳ１１２において、画像位置合わせ部１４１は、先頭フレームへの位置合わせパラメータを計算する。すなわち、画像位置合わせ部１４１は、現フレーム画像の各画素位置が先頭画像のどこに対応するかを計算する。
　ステップＳ１１３において、画像位置合わせ部１４１は、現フレーム画像と先頭フレーム画像の位置対応に基づいて、現フレーム画像を変形させる。
　ステップＳ１１４において、ブレンド処理部１４２は、現フレームにFFT（Fast Fourier Transform）を掛けて、周波数成分に変換する。
　ステップＳ１１５において、ブレンド処理部１４２は、周波数成分に変換された状態の積算画像をフレームメモリ１４３から読み出す。
　ステップＳ１１６において、ブレンド処理部１４２は、各周波数成分の、例えば、最大値を選択的に合成する。
　ステップＳ１１７において、ブレンド処理部１４２は、規定のブレンド枚数に達しているか否かを判定し、達していないとみなされた場合、処理は、ステップＳ１１１に戻る。すなわち、次のフレーム画像と動きが入力され、規定のブレンド枚数に達するまで、ステップＳ１１１乃至Ｓ１１７の処理が繰り返される。そして、ステップＳ１１７において、規定のブレンド枚数に達しているとみなされた場合、処理は、ステップＳ１１８に進む。
　ステップＳ１１８において、補正画出力部１４４は、ブレンド枚数に達したブレンド画像に２次元逆FFT変換を掛ける。
　ステップＳ１１９において、補正画出力部１４４は、現積算画像をブレンド済・ブレ補正済画像として出力し、処理を終了する。
　以上の処理により、位置合わせされた画像が、FFT変換され、各周波数成分のうち、大きな振幅の成分を選択的に合成し、逆FFTを掛けて、ブレンドされることで、ブレを補正することが可能となる。
　その際、それぞれ画像は異なるブレ方（動き量、動き方向）が撮影されることが最適であり、画像のブレ方が異なるように露光を制御することができれば好適なブレンド画像集合を得ることができる。すなわち、既に撮影されている画像のブレ方向の情報が得られていれば、ブレの無い元画像を復元するのに不足しているブレ方向が分かり、不足しているブレ方向にブレ過ぎないように露光時間を制御できる。この制御も本開示の撮影装置１１において適用できる。
　共分散行列の第一主成分が閾値を超えるか否かを判定することは、図１６で示されるように、カメラ動き判定閾値を直径とする円ｔｈに、第一主成分ベクトルＦ１が収まっているか否かを判定することと等価である。
　本開示の撮影装置１１におけるブレ方向ごとに閾値を変化させて所望の方向のブレを抑えた露光制御を行うために、カメラ動き判定閾値を方向ごとに非等方的に変化させて閾値処理を行う。これにより、画像のブレ方が異なるように露光を制御し、好適なブレンド画像集合を得ることが可能となる。
　図１７で示されるように、ここでは縦横斜めの４方向にカメラ動き閾値ｔｈ１を設定している。フレーム１動き判定の先頭フレーム時は等方的な値となっている。フレーム１においては、第一主成分Ｆ１は、右斜め方向に近い方向のベクトルであるが、閾値ｔｈ１内であるので、動き判定結果は、大きな動きがなくブレがないものとみなされる。
　フレーム２の判定時にはフレーム１の動きブレ結果に応じて、カメラ動き判定閾値を方向ごとに変えた閾値ｔｈ２としている。閾値ｔｈ２では、右斜め方向の閾値を小さくしている。フレーム２においては、第一主成分Ｆ１は、水平方向に近い方向のベクトルであるが、閾値ｔｈ２内であるので、動き判定結果は、大きな動きがなくブレがないものとみなされる。
　フレーム３の判定時にはフレーム２までの動きブレ結果に応じて、カメラ動き判定閾値を変えた閾値ｔｈ３としている。閾値ｔｈ３では、右斜め方向に閾値を、閾値ｔｈ２よりも大きくし、縦方向に閾値を閾値ｔｈ２よりも小さくしている。フレーム３においては、第一主成分Ｆ１は、左斜め方向に近い方向のベクトルであるが、閾値ｔｈ３内であるので、動き判定結果は、大きな動きがなくブレがないものとみなされる。
　方向ごとの閾値の決定は、点写像位置列の各点間の移動ベクトルＭＶ（Δｘ，Δｙ）のヒストグラムを計算することで行う。図１８で示されるように、移動ベクトルＭＶ集合から４方向のヒストグラムを計算している。図中の白丸は移動ベクトルＭＶをプロットしたものである。これを図中灰色で定義する方向ごとの有効領域Ｚ１乃至Ｚ４のそれぞれに含まれるものを集めて積算して、その積算した移動ベクトルである積算ベクトルＳＶ１乃至ＳＶ４の長さを、それぞれの方向のヒストグラム値とする。
　図１８の最左部では右斜め上方向と左斜め下方向の有効領域Ｚ１における移動ベクトルを積算（左下方向のベクトルは符号を反転して）して太黒矢印のヒストグラム値からなる積算ベクトルＳＶ１を得る。有効領域は、注目する方向を、中心として一定の角度の広がりを持たせて定義されている。
　図１８の左から２番目では上方向と下方向の有効領域Ｚ２における移動ベクトルを積算（下方向のベクトルは符号を反転して）して太黒矢印のヒストグラム値からなる積算ベクトルＳＶ２を得る。
　図１８の左から３番目では左斜め上方向と右斜め下方向の有効領域Ｚ３における移動ベクトルを積算（右下方向のベクトルは符号を反転して）して太黒矢印のヒストグラム値からなる積算ベクトルＳＶ３を得る。
　図１８の最右部では左方向と右方向の有効領域Ｚ４における移動ベクトルを積算（左方向のベクトルは符号を反転して）して太黒矢印のヒストグラム値からなる積算ベクトルＳＶ４を得る。
　尚、有効領域は、これ以外のパターンによるものであってもよいし、隣接する方向と重複があったり隙間があったりしてもよい。
　このヒストグラム値が大きい方向に画像の面内ブレが多く含まれるため、以降のフレーム撮影ではこのブレ方向にブレが小さくなるように閾値を設定する。そのため、以下の式（８）で表す、方向別の閾値を計算する。
Figure JPOXMLDOC01-appb-M000008
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　ここで、ｄは方向を表し、図１８の例では縦、横、右上がり斜め、右下がり斜めである。Thは閾値でユーザが設定するパラメータである。γは調整パラメータで、値が小さいほど閾値が小さくなり、その方向のブレを厳しく制限するようになる。ｈ（ｄ）は方向ｄのヒストグラム値である。
　＜方向別閾値を用いた動き判定処理＞
　次に、図１９のフローチャートを参照して、方向別閾値を用いた動き判定処理について説明する。
　ステップＳ１３１において、共分散行列固有値計算部７１は、時刻ｔのフレーム画像の点写像位置列（ｘｉ，ｙｉ）を入力する。
　ステップＳ１３２において、共分散行列固有値計算部７１は、点写像位置列（ｘｉ，ｙｉ）から共分散行列を計算する。
　ステップＳ１３３において、共分散行列固有値計算部７１は、共分散行列から第一主成分と第一主成分方向を計算し、閾値計算部７２に出力する。
　ステップＳ１３４において、閾値計算部７２は、時刻ｔ－１までのフレーム画像の点写像位置列（ｘｉｊ，ｙｉｊ）を入力する。
　ステップＳ１３５において、閾値計算部７２は、点写像位置列（ｘｉｊ，ｙｉｊ）の各点間の差分（Δｘ＝ｘｉ，ｊ－１－ｘｉ，ｊ，Δｙ＝ｙｉ，ｊ－１－ｙｉ，ｊ）を計算して移動ベクトルを求める。
　ステップＳ１３６において、閾値計算部７２は、各方向のそれぞれについて移動ベクトルを積算して各方向のヒストグラム値（積算ベクトルの大きさ）を求める。
　ステップＳ１３７において、閾値計算部７２は、各方向のそれぞれについてヒストグラム値から各方向の閾値を計算する。
　ステップＳ１３８において、閾値計算部７２は、各方向のそれぞれについて閾値をつないで得られる多角形領域内にフレーム画像ｔの第一主成分ベクトル（長さが第一主成分、方向が第一主成分方向）が収まるか否かにより閾値判定する。
　ステップＳ１３９において、閾値計算部７２は、多角形領域内に第一主成分ベクトルが収まれば０を、はみ出せば１を、それぞれ動き判定結果として出力する。
　以上の処理により、移動ベクトルに基づいて、４方向について適切に閾値を設定することが可能となり、第一主成分の方向と大きさを加味して、適切な動き判定を実現することが可能となる。
　このように動きの方向に応じて閾値を設定するようにすることができるので、例えば、顔画像の検出などでは、水平方向よりも垂直方向への耐性が高いことが知られているので、垂直方向に対しては閾値を緩く設定し、水平方向に対しては厳しい閾値を設定するようにしてもよい。また、車載カメラの場合、水平方向よりも垂直方向に対しての振動の影響を受けやすいので、水平方向に対しては緩めの閾値を設定し、垂直方向に対しては、厳しい閾値を設定するようにしてもよい。さらに、デプスカメラなどの場合、水平方向の解像度の方が高いことが望ましいので、水平方向の閾値を厳しくする設定するようにするしてもよい。
　＜＜２．第２の実施の形態＞＞
　以上においては、静止画の撮影について説明してきたが、動画の撮影にも応用することができる。
　図２０は、本開示の技術を適用した動画を撮影する撮影装置１１の第２の実施の形態の構成例を示している。尚、図２の撮影装置１１における構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
　すなわち、図２０の撮影装置１１は、シーンを撮影する画像撮影部３２、カメラの動きを検出するカメラ動き検出部３１、および、露光時間に合わせてパラメータを調整してノイズ低減処理を行うノイズ低減部１７１を備えている。つまり、図２０の撮影装置１１において、図２の撮影装置１１と異なる点は、データ保持部３３、およびブレ補正画像合成部３４に代えて、ノイズ低減部１７１が設けられている点である。
　カメラ動き検出部３１は、画像撮影部３２から露光開始の信号を受信し、露光中のカメラ動きを計測して、カメラの動きが既定値を超えたかどうかを判定して、その判定結果を画像撮影部３２に出力する。また、カメラ動き検出部３１は、ノイズ低減部１７１へフレーム画像の撮影中のカメラ露光時間を送信する。
　画像撮影部３２は、撮影シーンを露光して画像データを計測し、その露光開始タイミングをカメラ動き検出部３１に送信し、カメラ動き検出部３１から動き判定結果を受信し、その動き判定結果に応じて露光終了を判断して、撮影した画像を露光時間に応じてゲイン補正して、その補正した画像データをノイズ低減部１７１に出力する。
　ノイズ低減部１７１は、露光時間と画像データから画像データのノイズ低減処理を行い、ブレ補正した動画フレーム画像を出力する。画像は画像撮影部３２におけるゲイン補正処理によって明るさは揃えられているが露光時間が異なるためノイズ量が異なる。ノイズの多少による動画像のちらつきを抑えるために、ノイズ低減部１７１は、露光時間に応じた強度でノイズ低減処理を行う。
　＜ノイズ低減処理部の構成例＞
　ノイズ低減部１７１は、フィルタ生成部１９１およびノイズ低減処理部１９２を備えている。
　フィルタ生成部１９１は、カメラ動き検出部３１から露光時間を受信し、ノイズ低減用のフィルタを生成してノイズ低減処理部１９２に出力する。
　ノイズ低減処理部１９２は、画像撮影部３２から画像データを受信し、フィルタ生成部１９１から受信したフィルタを使って画像データのノイズ低減処理を実施し、ブレ補正動画フレーム画像を出力する。
　フィルタ生成部１９１で生成する露光時間に応じたフィルタは、例えば、メディアンフィルタを用いることができる。メディアンフィルタは、注目画素の周囲の画素値を集めて、その中央値で注目画素の画素値を置き換えるものである。この置き換えた画素値をそのまま出力すると、ノイズだけでなく元の画像のテクスチャも潰してしまうため、中央値と元の画素値をブレンドして出力するなどの方法がよく取られる。このブレンドのブレンド割合を露光時間に応じて変化させることができる。
　＜ノイズ低減処理＞
　次に、図２２のフローチャートを参照して、ノイズ低減処理について説明する。
　ステップＳ１５１において、フィルタ生成部１９１は、カメラ動き検出部３１から露光時間を受信する。
　ステップＳ１５２において、フィルタ生成部１９１は、ノイズ低減用の露光時間に応じたフィルタを生成し、ノイズ低減処理部１９２に出力する。
　ステップＳ１５３において、ノイズ低減処理部１９２は、画像撮影部３２から画像データを受信し、フィルタ生成部１９１から受信したフィルタを使って画像データのノイズ低減処理を実施する。
　ステップＳ１５４において、ノイズ低減処理部１９２は、ブレ補正動画フレーム画像を出力する。
　以上の処理により、露光時間が短くノイズが多いと予想される場合、メディアンフィルタの中央値を強くブレンドするようなブレンド値にしたり、露光時間が長くノイズが小さいと予想される場合、元の画素値を強くブレンドすることができる。もちろん、ノイズ低減フィルタは、メディアンフィルタに限定されるものではなく、ウィーナフィルタやバイラテラルフィルタなどノイズ削減効果のあるフィルタを用いてもよい。また、元の画素値とフィルタ後の画素値のブレンド割合を変化させるだけでなく、フィルタの係数そのものを露光時間に応じて変化させるようにしてもよい。すなわち、露光時間が短い場合は強く、長い場合は弱いノイズ削減効果を持つようにフィルタ係数を切り替えればよい。
　以上の処理により、動き軌跡点列（点写像位置列）の主成分分析によって「ブレ量合計絶対値」が大きくてもブレを抑えて、露光時間を長くすることができるケースを検出することが可能となり、その時には、適切に露光時間を長くすることが可能となる。
　また、「動き軌跡点列の第一主成分」の範囲を面内ブレ補正後処理で補正可能な程度に収めることができる。さらに、既定の「動き軌跡点列の第一主成分の分散量」に収める制御で、特定のブレ方向に対して垂直方向の元の画像の周波数成分を残し、異なるブレ方向を集めて高精度なブレ補正結果画像を得ることが可能となる。
　＜＜３．応用例＞＞
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図２３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　カメラの動きを検出するカメラ動き検出部と、
　前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、
　前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部と
　を含む撮影装置。
＜２＞　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、共分散の第一主成分を算出し、前記所定の閾値と比較する
　＜１＞に記載の撮影装置。
＜３＞　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、前記カメラ動き検出結果に対するPSF（Point Spread Function）画像を生成し、周波数解析することにより、前記所定の閾値と比較する
　＜１＞に記載の撮影装置。
＜４＞　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、現在時刻から所定の時刻まで遡った一定範囲の前記検出結果を多項式で近似しておき、前記多項式より未来時刻での動きを外挿（補外）して計測し、前記所定の閾値と比較する
　＜１＞に記載の撮影装置。
＜５＞　前記カメラ動き検出部は、ジャイロセンサ、加速度センサ、地磁気センサ、高度センサ、振動センサ、並びに、撮像に用いるカメラとは異なる、撮像に用いるカメラの動きを検出するためのサブカメラから物体のマーカーを追跡して動きを計測するモーションキャプチャを含む
　＜１＞乃至＜４＞のいずれかに記載の撮影装置。
＜６＞　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されてから最小露光時間より長く、かつ、最大露光時間内であって、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記露光を終了するように制御する
　＜１＞乃至＜５＞のいずれかに記載の撮影装置。
＜７＞　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されてから前記最大露光時間になったとき、前記露光を終了するように制御する
　＜１＞乃至＜６＞のいずれかに記載の撮影装置。
＜８＞　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されるタイミングにおいて、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記比較結果によりブレが所定よりも小さいとみなされるまで、前記露光が開始されるタイミングを遅延させるように制御する
　＜１＞乃至＜７＞のいずれかに記載の撮影装置。
＜９＞　前記露光制御部は、前記比較部の比較結果に基づいて、SNR（Signal to Noise Ratio）を考慮して、前記露光を終了するように制御する
　＜１＞乃至＜８＞のいずれかに記載の撮影装置。
＜１０＞　前記カメラにより所定の間隔で撮像された複数の画像を積算して、画像のノイズを除去するノイズ除去部をさらに含む
　＜１＞乃至＜９＞のいずれかに記載の撮影装置。
＜１１＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像のうち、ブレの大きさが所定の大きさよりも小さい画像のみを積算し前記画像のノイズを除去するノイズ除去部をさらに含む
　＜１０＞に記載の撮影装置。
＜１２＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、露光時間に応じて重みを付加して積算し前記画像のノイズを除去する
　＜１０＞に記載の撮影装置。
＜１３＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、各画像のブレの方向を加味した重みを付加して積算し前記画像のノイズを除去する
　＜１０＞に記載の撮影装置。
＜１４＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、均等の重みを付加して積算し前記画像のノイズを除去する
　＜１０＞に記載の撮影装置。
＜１５＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、FFT（Fast Fourier Transform）を掛けて、周波数成分毎に所定の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去する
　＜１０＞に記載の撮影装置。
＜１６＞　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、FFTを掛けて、周波数成分毎に最大値の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去する
　＜１５＞に記載の撮影装置。
＜１７＞　カメラの動きを検出し、
　カメラの動きの検出結果に基づいて、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較し、
　比較結果に基づいて、露光の開始および終了を制御するステップ
　を含む撮影方法。
＜１８＞　カメラの動きを検出するカメラ動き検出部と、
　前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、
　前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部としてコンピュータを機能させる
　プログラム。
　１１　撮影装置，　３１　カメラ動き検出部，　３２　画像撮影部，　３３　データ保持部，　３４　ブレ補正画像合成部，　５１　動き検出部，　５２　動き判定部，　７１　共分散行列固有値計算部，　７２　閾値計算部，　９１　PSF画像生成部，　９２　周波数解析部，　１０１　露光制御部，　１０２　露光部，　１０３　ゲイン補正部，　１２１　メモリ，　１４１　画像位置合わせ部，　１４２　ブレンド処理部，　１４３　フレームメモリ，　１４４　補正画出力部，　１７１　ノイズ低減部，　１９１　フィルタ生成部，　１９２　ノイズ低減処理部

Claims (18)

  1. 　カメラの動きを検出するカメラ動き検出部と、
    　前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、
    　前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部と
    　を含む撮影装置。
  2. 　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、共分散の第一主成分を算出し、前記所定の閾値と比較する
    　請求項１に記載の撮影装置。
  3. 　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、前記カメラ動き検出結果に対するPSF（Point Spread Function）画像を生成し、周波数解析することにより、前記所定の閾値と比較する
    　請求項１に記載の撮影装置。
  4. 　前記比較部は、前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いとして、現在時刻から所定の時刻まで遡った一定範囲の前記検出結果を多項式で近似しておき、前記多項式より未来時刻での動きを外挿（補外）して計測し、前記所定の閾値と比較する
    　請求項１に記載の撮影装置。
  5. 　前記カメラ動き検出部は、ジャイロセンサ、加速度センサ、地磁気センサ、高度センサ、振動センサ、並びに、撮像に用いるカメラとは異なる、撮像に用いるカメラの動きを検出するためのサブカメラから物体のマーカーを追跡して動きを計測するモーションキャプチャを含む
    　請求項１に記載の撮影装置。
  6. 　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されてから最小露光時間より長く、かつ、最大露光時間内であって、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記露光を終了するように制御する
    　請求項１に記載の撮影装置。
  7. 　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されてから前記最大露光時間になったとき、前記露光を終了するように制御する
    　請求項１に記載の撮影装置。
  8. 　前記露光制御部は、前記比較部の比較結果に基づいて、前記露光が開始されるタイミングにおいて、前記比較結果によりブレが所定よりも大きいとみなされたとき、前記比較結果によりブレが所定よりも小さいとみなされるまで、前記露光が開始されるタイミングを遅延させるように制御する
    　請求項１に記載の撮影装置。
  9. 　前記露光制御部は、前記比較部の比較結果に基づいて、SNR（Signal to Noise Ratio）を考慮して、前記露光を終了するように制御する
    　請求項１に記載の撮影装置。
  10. 　前記カメラにより所定の間隔で撮像された複数の画像を積算して、画像のノイズを除去するノイズ除去部をさらに含む
    　請求項１に記載の撮影装置。
  11. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像のうち、ブレの大きさが所定の大きさよりも小さい画像のみを積算し前記画像のノイズを除去するノイズ除去部をさらに含む
    　請求項１０に記載の撮影装置。
  12. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、露光時間に応じて重みを付加して積算し前記画像のノイズを除去する
    　請求項１０に記載の撮影装置。
  13. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、各画像のブレの方向を加味した重みを付加して積算し前記画像のノイズを除去する
    　請求項１０に記載の撮影装置。
  14. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、均等の重みを付加して積算し前記画像のノイズを除去する
    　請求項１０に記載の撮影装置。
  15. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、FFT（Fast Fourier Transform）を掛けて、周波数成分毎に所定の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去する
    　請求項１０に記載の撮影装置。
  16. 　前記ノイズ除去部は、前記カメラにより撮像された複数の画像について、FFTを掛けて、周波数成分毎に最大値の振幅の成分を集めて、逆FFTを掛けて画像を生成することで、前記画像のノイズを除去する
    　請求項１５に記載の撮影装置。
  17. 　カメラの動きを検出し、
    　カメラの動きの検出結果に基づいて、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較し、
    　比較結果に基づいて、露光の開始および終了を制御するステップ
    　を含む撮影方法。
  18. 　カメラの動きを検出するカメラ動き検出部と、
    　前記カメラ動き検出結果に基づいた、前記カメラ動き軌跡の分布度合いを計算し、所定の閾値と比較する比較部と、
    　前記比較部の比較結果に基づいて、露光の開始および終了を制御する露光制御部としてコンピュータを機能させる
    　プログラム。
PCT/JP2016/083474 2015-11-26 2016-11-11 撮影装置、および撮影方法、並びにプログラム WO2017090458A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017552357A JPWO2017090458A1 (ja) 2015-11-26 2016-11-11 撮影装置、および撮影方法、並びにプログラム
US15/773,695 US10542217B2 (en) 2015-11-26 2016-11-11 Shooting device and shooting method to suppress blur in an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015230909 2015-11-26
JP2015-230909 2015-11-26

Publications (1)

Publication Number Publication Date
WO2017090458A1 true WO2017090458A1 (ja) 2017-06-01

Family

ID=58763163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083474 WO2017090458A1 (ja) 2015-11-26 2016-11-11 撮影装置、および撮影方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10542217B2 (ja)
JP (1) JPWO2017090458A1 (ja)
WO (1) WO2017090458A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082832A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
WO2019082831A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083518A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083517A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083362A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム
EP3627823A4 (en) * 2017-06-13 2020-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SELECTION PROCESS AND RELATED PRODUCT
JP2021004729A (ja) * 2019-06-25 2021-01-14 株式会社小野測器 状態計測装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922398B1 (en) 2016-06-30 2018-03-20 Gopro, Inc. Systems and methods for generating stabilized visual content using spherical visual content
JP6469324B1 (ja) * 2017-04-27 2019-02-13 三菱電機株式会社 画像読み取り装置
US10587807B2 (en) * 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10750092B2 (en) 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
KR102518373B1 (ko) * 2019-02-12 2023-04-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN110223239B (zh) * 2019-04-30 2023-04-14 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
EP3889880B1 (en) 2020-03-30 2022-03-23 Axis AB Wearable camera noise reduction
JP2022138647A (ja) * 2021-03-10 2022-09-26 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、情報処理システム、および画像取得方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248021A (ja) * 2003-02-14 2004-09-02 Minolta Co Ltd 撮像装置並びに画像処理装置及び方法
JP2006333061A (ja) * 2005-05-26 2006-12-07 Sanyo Electric Co Ltd 手ぶれ補正装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2884262B2 (ja) 1990-11-01 1999-04-19 大成建設株式会社 搬送籠の水平引込み、鉛直保持構造
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US8482618B2 (en) * 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
JP2007081487A (ja) 2005-09-09 2007-03-29 Sharp Corp 撮像装置および電子情報機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248021A (ja) * 2003-02-14 2004-09-02 Minolta Co Ltd 撮像装置並びに画像処理装置及び方法
JP2006333061A (ja) * 2005-05-26 2006-12-07 Sanyo Electric Co Ltd 手ぶれ補正装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RYUICHI OGINO: "Camera-shake locus detection and visualization", ITE TECHNICAL REPORT, vol. 31, no. 14, 24 February 2007 (2007-02-24), pages 22 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627823A4 (en) * 2017-06-13 2020-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SELECTION PROCESS AND RELATED PRODUCT
US11363196B2 (en) 2017-06-13 2022-06-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image selection method and related product
US11375132B2 (en) 2017-10-27 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, method of controlling the imaging apparatus, and program
JP2019083517A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083362A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム
JP2019083518A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
US11258948B2 (en) 2017-10-27 2022-02-22 Canon Kabushiki Kaisha Image pickup apparatus, control method of image pickup apparatus, and storage medium
WO2019082831A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
WO2019082832A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP7123544B2 (ja) 2017-10-27 2022-08-23 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム
JP7286294B2 (ja) 2017-10-27 2023-06-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP7321691B2 (ja) 2017-10-27 2023-08-07 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2021004729A (ja) * 2019-06-25 2021-01-14 株式会社小野測器 状態計測装置
JP7182520B2 (ja) 2019-06-25 2022-12-02 株式会社小野測器 状態計測装置

Also Published As

Publication number Publication date
US20180324358A1 (en) 2018-11-08
US10542217B2 (en) 2020-01-21
JPWO2017090458A1 (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2017090458A1 (ja) 撮影装置、および撮影方法、並びにプログラム
US10007990B2 (en) Generating composite images using estimated blur kernel size
Hee Park et al. Gyro-based multi-image deconvolution for removing handshake blur
US8532420B2 (en) Image processing apparatus, image processing method and storage medium storing image processing program
US8208746B2 (en) Adaptive PSF estimation technique using a sharp preview and a blurred image
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
US9202263B2 (en) System and method for spatio video image enhancement
WO2019071613A1 (zh) 一种图像处理方法及装置
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
US8983221B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8698905B2 (en) Estimation of point spread functions from motion-blurred images
Hu et al. Image deblurring using smartphone inertial sensors
WO2013025220A1 (en) Image sharpness classification system
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
CN113395454B (zh) 图像拍摄的防抖方法与装置、终端及可读存储介质
US10003745B2 (en) Imaging apparatus, imaging method and program, and reproduction apparatus
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP7263149B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Guthier et al. A real-time system for capturing hdr videos
Rajakaruna et al. Image deblurring for navigation systems of vision impaired people using sensor fusion data
JP6739955B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
KR20140009706A (ko) 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법
JP2019176261A (ja) 画像処理装置
JP7146088B2 (ja) 画像処理装置及び画像処理方法
JP2008117119A (ja) 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868406

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017552357

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15773695

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16868406

Country of ref document: EP

Kind code of ref document: A1