WO2017187691A1 - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
WO2017187691A1
WO2017187691A1 PCT/JP2017/003096 JP2017003096W WO2017187691A1 WO 2017187691 A1 WO2017187691 A1 WO 2017187691A1 JP 2017003096 W JP2017003096 W JP 2017003096W WO 2017187691 A1 WO2017187691 A1 WO 2017187691A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
unit
motion
amount
cut
Prior art date
Application number
PCT/JP2017/003096
Other languages
English (en)
French (fr)
Inventor
幸直 見城
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/085,676 priority Critical patent/US10979653B2/en
Publication of WO2017187691A1 publication Critical patent/WO2017187691A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • the present technology relates to an image processing device, an imaging device, an image processing method, and a program for causing a computer to execute the method.
  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program for causing a computer to execute the method, which hold a frame in a frame memory.
  • image processing such as electronic camera shake correction and image composition processing has been performed for the purpose of improving image quality in an imaging device that captures an image.
  • electronic camera shake correction is a process in which the size of a region to be cut out in a frame is determined in advance, and the region is moved from the initial position along the direction of camera shake and cut out.
  • the image composition process is a process for composing a plurality of frames for the purpose of expanding the dynamic range and reducing noise.
  • an apparatus for performing such image processing for example, an image for which electronic frame correction is further performed on the synthesized frame by synthesizing a frame delayed by a frame memory and a frame before the delay to generate a synthesized frame.
  • a processing apparatus has been proposed (see, for example, Patent Document 1).
  • the present technology has been created in view of such a situation, and an object thereof is to reduce the capacity of the frame memory in an apparatus that performs image processing using the frame memory.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology is that each time an input frame is captured by the imaging unit, the input frame is based on the movement of the imaging unit.
  • a cutout processing unit that cuts out a current cutout frame, a frame memory that holds the current cutout frame as a past cutout frame, and a synthesis processing unit that combines the current cutout frame and the past cutout frame and outputs the combined frame
  • a motion amount acquisition unit that acquires a motion amount of the imaging unit within a period from one to the other of the exposure timings of each of the two continuous composite frames as a composite inter-frame motion amount
  • a composite frame correction unit that cuts out a part of the composite frame as an output frame based on the amount of motion between the composite frames. This brings about the effect that a part of the composite frame is cut out as an output frame based on the inter-frame motion amount.
  • the image processing apparatus may further include a motion amount acquisition unit that acquires the amount as a motion amount within the composite frame, and the cutout processing unit cuts out the current cutout frame based on the motion amount within the composite frame and supplies the current cutout frame to the holding unit. . This brings about the effect that the current cut frame is cut out based on the amount of motion within the combined frame.
  • the inter-frame motion amount is calculated by calculating the motion amount in the first prediction period from the first start timing to start the calculation of the inter-frame motion amount to the start timing.
  • the motion amount acquisition unit may acquire the first prediction value based on the motion amount up to the first start timing. This brings about the effect that the first predicted value is acquired based on the amount of motion up to the first start timing.
  • the length of the first prediction period may not exceed a predetermined threshold. This brings about the effect that the amount of motion within the first prediction period below the threshold is acquired.
  • the motion amount in the combined frame is the amount of motion in the second prediction period from the second start timing to start the calculation of the motion amount in the combined frame to the start timing.
  • the motion amount acquisition unit may acquire the second prediction value based on the motion amount of the imaging unit up to the second start timing. This brings about the effect that the second predicted value is acquired based on the amount of motion up to the second start timing.
  • the length of the second prediction period may not exceed the predetermined threshold. This brings about the effect that the amount of motion within the second prediction period below the threshold is acquired.
  • the image processing apparatus further includes a subject motion detection unit that detects a motion vector indicating a direction in which the subject has moved based on the two continuous current cut frames.
  • the current cut frame and the past cut frame may be synthesized based on the vector. This brings about the effect that the current cut frame and the past cut frame are synthesized based on the motion vector.
  • the second aspect of the present technology provides an imaging unit that captures an input frame, and an input that extracts a part of the input frame as a current cut frame based on the movement of the imaging unit each time the input frame is captured.
  • An image pickup apparatus comprising: a frame cutout processing unit; a frame memory that holds the current cut frame as a past cut frame; and a combination processing unit that combines the current cut frame and the past cut frame and outputs the resultant frame. This brings about the effect that a part of the input frame is cut out before the frame synthesis.
  • a sensor for detecting the movement of the imaging unit may be further provided. This brings about the effect
  • Embodiment Example of combining after cutting out a part of a frame
  • First modification example Example of combining after cutting out a part of a frame
  • Second Modification Example 4 Third modification
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the embodiment.
  • the imaging apparatus 100 captures image data (frames), and includes an imaging lens 110, an imaging element 120, a motion detection sensor 130, an image processing unit 200, a recording unit 140, and a control unit 150.
  • a digital camera such as a digital still camera or a digital video camera, a smartphone or a personal computer having an imaging function is assumed.
  • the imaging lens 110 is a lens that collects light and guides it to the imaging device 120.
  • the image sensor 120 photoelectrically converts incident light from the imaging lens 110 under the control of the control unit 150 and images image data.
  • the image sensor 120 supplies image data as an input frame to the image processing unit 200 via a signal line 129.
  • the unit including the imaging lens 110 and the imaging element 120 is an example of an imaging unit described in the claims.
  • the motion detection sensor 130 detects the motion of the imaging device 100.
  • a gyro sensor that detects an angle (in other words, an angular velocity) that the imaging device 100 has rotated within a unit time is used as the motion detection sensor 130.
  • the motion detection sensor 130 measures the rotation angle within the time for each unit time, and supplies a sensor signal indicating the measured value to the image processing unit 200 via the signal line 139.
  • the motion detection sensor 130 is an example of a sensor described in the claims.
  • the image processing unit 200 performs predetermined image processing on an input frame using a sensor signal under the control of the control unit 150.
  • the image processing unit 200 supplies the image-processed frame as an output frame to the recording unit 140 via the signal line 209.
  • the recording unit 140 records an output frame.
  • the control unit 150 controls the entire imaging apparatus 100.
  • the control unit 150 supplies an imaging control signal to the imaging device 120 via the signal line 158, and supplies a timing signal indicating timing for performing image processing to the image processing unit 200 via the signal line 159.
  • the imaging control signal includes a vertical synchronization signal Vsync indicating imaging timing, an exposure period, and the like.
  • the frequency of the vertical synchronization signal Vsync is, for example, 30 hertz (Hz).
  • the frequency of the vertical synchronization signal Vsync is not limited to 30 hertz (Hz), and may be 60 hertz (Hz).
  • FIG. 2 is an example of a perspective view of the imaging apparatus 100 according to the embodiment.
  • the optical axis of the imaging apparatus 100 is taken as the z axis.
  • an axis orthogonal to the z axis and parallel to the long side of the image sensor 120 is an x axis
  • an axis orthogonal to the z axis and the x axis is a y axis.
  • the motion detection sensor 130 measures the angle at which the imaging device 100 is rotated about the z axis within the unit time as the roll angle.
  • the motion detection sensor 130 measures the angle at which the imaging apparatus 100 is rotated about the x axis within a unit time as a pitch angle, and measures the angle at which the imaging apparatus 100 is rotated about the y axis as a yaw angle.
  • the motion detection sensor 130 measures angles for all three axes, but may measure angles for only two axes. Further, although the motion detection sensor 130 measures an angle, a physical quantity other than the angle may be measured as long as the motion of the imaging device 100 can be detected. For example, the motion detection sensor 130 may measure acceleration in the x-axis direction or the y-axis direction.
  • FIG. 3 is a block diagram illustrating a configuration example of the image processing unit 200 according to the embodiment.
  • the image processing unit 200 includes a camera motion calculation unit 210, a correction amount calculation unit 220, a cutout processing unit 240, a subject motion detection unit 250, an image composition unit 260, and a rotation correction unit 270.
  • the camera motion calculation unit 210 acquires the amount of motion of the imaging apparatus 100 within a certain period by calculating the sensor signal.
  • the camera motion calculation unit 210 supplies the calculation result to the correction amount calculation unit 220.
  • the camera motion calculation unit 210 is an example of a motion amount acquisition unit described in the claims.
  • the correction amount calculation unit 220 uses the calculation result of the camera motion calculation unit 210 to calculate the correction amount from the initial position of the cutout region in the cutout processing unit 240 and the rotation correction unit 270.
  • This correction amount includes an x component, a y component, and a roll angle component.
  • the x component is the amount of movement when the cutout region is translated along the x-axis direction
  • the y component is the amount of movement when the region is translated along the y-axis direction.
  • the roll angle component is a rotation angle when a part of the frame is rotated.
  • the correction amount calculation unit 220 supplies the x component and the y component to the cutout processing unit 240 and supplies the roll angle component to the rotation correction unit 270.
  • the cutout processing unit 240 cuts out a part of the input frame based on the correction amount (x component and y component) every time the input frame is imaged. In this input frame, a cut-out area having a predetermined size is set in advance. The cutout processing unit 240 translates the cutout region from the initial position by the x component along the x axis, and moves the cutout region from the initial position by the y component along the y axis. Then, the cutout processing unit 240 cuts out the cutout area after the parallel movement as a cutout frame from the input frame. The cutout processing unit 240 supplies the cutout frame to the subject motion detection unit 250.
  • the subject motion detection unit 250 detects a motion vector of a subject from a plurality of continuous cut frames.
  • the subject motion detection unit 250 detects a moving subject from a plurality of continuous cut frames using, for example, an inter-frame difference method or a block matching method, and obtains a motion vector indicating the direction and distance in which the moving subject has moved. .
  • the subject motion detection unit 250 supplies the motion vector to the image composition unit 260.
  • the image composition unit 260 synthesizes continuous N (N is an integer of 2 or more) cut out frames.
  • the image composition unit 260 generates one composite frame for every N frames and supplies the composite frame to the rotation correction unit 270 as a composite frame.
  • the rotation correction unit 270 rotates a part of the cutout area in the composite frame based on the correction amount (roll angle component).
  • the rotation correction unit 270 cuts out the rotated cutout area as an output frame and outputs it to the recording unit 140.
  • the rotation correction unit 270 is an example of a composite frame correction unit described in the claims.
  • FIG. 4 is a block diagram illustrating a configuration example of the camera motion calculation unit 210 in the embodiment.
  • the camera motion calculation unit 210 includes a prediction calculation unit 211, a combined inter-frame motion amount integrator 212, and N combined intra-frame motion amount integrators 213.
  • the prediction calculation unit 211 obtains a function for calculating the amount of motion of the imaging device 100 within the prediction period based on the sensor signal history before the predetermined prediction period. For example, the prediction calculation unit 211 obtains an m-order polynomial that best fits a curve representing temporal variation of the sensor signal before the prediction period. The prediction calculation unit 211 supplies the obtained m-th order coefficient to the inter-frame motion amount integrator 212 and the N intra-frame motion amount integrators 213.
  • the inter-frame motion amount integrator 212 calculates the motion amount m0 of the imaging apparatus 100 within the integration period Pm0 between two consecutive composite frames.
  • This movement amount m0 includes a pitch angle component, a yaw angle component, and a roll angle component. Further, the calculation of the movement amount m0 is started before the end of the integration period Pm0. Therefore, the inter-frame motion amount integrator 212 needs to predict the motion amount within the prediction period from the start time of the calculation of m0 to the end time of the integration period Pm0.
  • the inter-frame motion amount integrator 212 calculates the motion amount within the prediction period using an m-order polynomial and adds it to the integrated value of the motion amount up to the prediction period.
  • the inter-frame motion amount integrator 212 supplies the added value to the correction amount calculation unit 220 as the motion amount m0.
  • the intra-frame motion amount integrator 213 calculates the motion amount mn for the nth (n is an integer from 1 to N) out of the N cut-out frames to be combined. First, a specific timing between the center-of-gravity timing Tc1 of the first exposure period among the N sheets and the center-of-gravity timing TcN of the N-th exposure period is set as the start timing Ts.
  • the amount of motion within the integration period from the start timing Ts to Tcn is calculated as mn.
  • the combined intra-frame motion amount integrator 213 needs to predict the motion amount up to the end timing.
  • the start timing of the calculation of the motion amount mn is later than the end timing of the corresponding integration period, it is not necessary to predict the motion amount.
  • the combined intra-frame motion amount integrator 213 performs a prediction calculation using an m-order polynomial as necessary to obtain the motion amount mn, and supplies the motion amount mn to the correction amount calculation unit 220.
  • the vertical synchronization signal Vsync rises at a constant cycle.
  • the vertical synchronization signal Vsync rises at timings Tv1, Tv2, and Tv3.
  • Tc11 and Tc12 be the center-of-gravity timings of the exposure periods of the two input frames imaged between timing Tv1 and timing Tv2. Further, the center-of-gravity timings of the exposure periods of the two input frames imaged between the timing Tv_2 and the timing Tv3 are Tc21 and Tc22. Further, an intermediate timing between Tc11 and Tc12 is set as a start timing Ts1, and an intermediate timing between Tc21 and Tc22 is set as a start timing Ts2.
  • the motion detection sensor 130 detects a motion and outputs a sensor signal every time a cycle shorter than the vertical synchronization signal Vsync elapses.
  • the inter-frame motion amount integrator 212 calculates the amount of motion during the integration period from the starting point timing Ts1 to the starting point timing Ts2 as m0.
  • the combined intra-frame motion amount integrator 213 corresponding to the first frame calculates the amount of motion in the adjustment period from the start point timing Ts2 to the timing Tc21 as m1.
  • the combined frame motion amount integrator 213 corresponding to the second frame calculates the motion amount within the adjustment period from the start timing Ts2 to the timing Tc22 as the motion amount m2.
  • the calculation of the motion amount m1 needs to be completed by the timing TL21 when the first line of the two images to be combined ends. This is because the holding of the first frame is started after this timing TL21, and the clipping region is adjusted by the amount of movement m1 at the time of holding. In addition to the movement amount m1, the movement amount m0 is also used for calculating the correction amount of the first frame. For this reason, the movement amount m0 also needs to be completed by the timing TL21.
  • the inter-frame motion amount integrator 212 starts the calculation of the motion amount m0 at the timing Tm0 before the time TL21 by the time required for the calculation of m0.
  • the timing Tm0 is, for example, before the end time Ts2 of the integration period of m0.
  • the inter-frame motion amount integrator 212 needs to predict and calculate the motion amount within the prediction period from the timing Tm0 to the start timing Ts2.
  • the inter-frame motion amount integrator 212 obtains a measured value of the motion amount by integrating the sensor signals from the start timing Ts1 to the timing Tm0, and adds the measured value to the predicted value to obtain m0.
  • the hatched period in the figure indicates the prediction period.
  • the combined intra-frame motion amount integrator 213 starts the calculation of the motion amount m1 at the timing Tm1 before the timing TL21 by the time required for the calculation of m1.
  • This timing Tm1 is, for example, before the start timing Ts2.
  • the combined intra-frame motion amount integrator 213 needs to predict and calculate the motion amount within the prediction period from the timing Tm1 to the start point timing Ts2.
  • the combined intra-frame motion amount integrator 213 calculates an actual value of the motion amount by integrating the sensor signals from timing Tc21 to timing Tm1, and calculates m1 by adding it to the predicted value.
  • the hatched period in the figure indicates the prediction period.
  • the calculation of the motion amount m2 may be completed by the timing when the exposure of the first line of the second frame of the two images to be combined is completed.
  • the combined frame motion amount integrator 213 starts calculating the motion amount m2 at the timing Tc22. This timing Tc22 is after the start timing Ts2. For this reason, the combined intra-frame motion amount integrator 213 does not perform the prediction calculation, and obtains the motion amount m2 by integrating the sensor signals from the start timing Ts2 to the timing Tc22.
  • the cutout processing unit 240 moves the cutout areas of two consecutive frames in parallel according to the calculated motion amounts m1 and m2, and cuts out the cutout areas. Since these movement amounts m1 and m2 start from a common timing (Ts2), the position of the cut-out area of each frame can be aligned with the area where the same subject appears in two frames.
  • Ts2 a common timing
  • the cutout processing unit 240 translates the cutout region of the second frame to be synthesized according to the amount of motion within the length L from the timing Tc21 to the timing Tc22. In this case, even in the first frame, the cutout region is translated in accordance with the amount of motion within the period of length L up to timing Tc21.
  • this method eliminates the need for the prediction calculation for the first sheet, but increases the amount of parallel movement of the cutout areas of the first sheet and the second sheet.
  • the cutout region can be moved only within a certain frame, if the amount of movement is large, there is a risk that the accuracy of alignment in composition is reduced.
  • the accuracy of electronic camera shake correction between synthesized frames will be greatly deteriorated by greatly removing the time centroid of the synthesized result.
  • the cutout area is moved in parallel according to the amount of movement from the start timing Ts2 between the timings Tc21 and Tc22 to Tc21 and Tc22, so the movement amount of the cutout area is relatively small. can do. Therefore, the alignment accuracy in the synthesis can be increased. In addition, it is possible to prevent a reduction in the accuracy of electronic camera shake correction between composite frames.
  • the timings Tm0 and Tm1 for calculating the motion amounts m0 and m1 are set before the start timing Ts2, but the timing is not limited to this.
  • the image synthesis unit 260 synthesizes a long exposure frame and a short exposure frame (so-called high dynamic range synthesis).
  • Tm0 and Tm1 may be later than the start point timing Ts2, as illustrated in FIG. Is no longer necessary.
  • FIG. 6 is a diagram for explaining the prediction calculation in the embodiment.
  • the inter-frame motion amount integrator 212 needs to start calculating the motion amount m0 at the timing Tm0 before the end of the integration period of the motion amount m0 (Ts2). For this reason, the combined intra-frame motion amount integrator 213 predicts and calculates the motion amount within the period from the timing Tm0 to the starting point timing Ts2.
  • FIG. 7 is a block diagram illustrating a configuration example of the correction amount calculation unit 220 in the embodiment.
  • the correction amount calculation unit 220 includes a camera shake correction amount calculation unit 230 and N combined intra-frame correction amount calculation units 221.
  • the camera shake correction amount calculation unit 230 calculates a correction amount s0 corresponding to the amount of motion between two consecutive composite frames from the amount of motion m0.
  • the amount of movement s0 includes an x component, a y component, and a roll angle component.
  • the camera shake correction amount calculation unit 230 supplies s0 (x, y) that is the x component and the y component of the motion amount s0 to the N composite intra-frame correction amount calculation units 221.
  • the camera shake correction amount calculation unit 230 supplies s0 (Roll), which is a roll angle component of the movement amount s0, to the rotation correction unit 270.
  • the intra-composition correction amount calculation unit 221 calculates the correction amount sn of the nth frame among the N frames to be combined from the motion amount mn and the correction amount s0 (x, y).
  • the correction amount sn includes an x component, a y component, and a roll angle component.
  • the combined intra-frame correction amount calculation unit 221 converts the pitch angle component and the yaw angle component of the motion amount mn into an x component and a y component. Then, the combined intra-frame correction amount calculation unit 221 calculates the correction amount sn using the following equation and supplies the calculated correction amount sn to the cutout processing unit 240.
  • sn (x) is the x component of the correction amount sn
  • s0 (x) is the x component of the correction amount s0
  • mn (x) is an x component of the motion amount mn
  • sn (y) is the y component of the correction amount sn
  • s0 (y) is the y component of the correction amount s0.
  • mn (y) is a y component of the motion amount mn.
  • FIG. 8 is a block diagram illustrating a configuration example of the camera shake correction amount calculation unit 230 according to the embodiment.
  • the camera shake correction amount calculation unit 230 includes a coordinate conversion unit 231 and a cutout position determination unit 232.
  • the cutout position determination unit 232 includes a high-pass filter 233, a camera work estimation unit 234, an ideal cutout position determination unit 235, and a correction frame limit processing unit 236.
  • the coordinate conversion unit 231 converts, for example, the pitch angle component and the yaw angle component of the movement amount m0 into an x component and a y component by the following equation.
  • Lx and Ly are coefficients determined by the focal length of the lens.
  • tan () is a tangent function.
  • m0 (Yaw) is a yaw angle component of the motion amount m0
  • m0 (Pitch) is a pitch angle component of the motion amount m0.
  • the coordinate conversion unit 231 supplies m0 (x, y) after conversion to the high-pass filter 233, the camera work estimation unit 234, and the ideal cutout position determination unit 235.
  • the high-pass filter 233 passes a component having a frequency higher than a predetermined cutoff frequency at m0 (x, y) as a high-frequency component HPF (m0).
  • the high pass filter 233 supplies the high frequency component HPF (m0) to the ideal cutout position determination unit 235.
  • the camera work estimation unit 234 estimates whether or not a specific photographing operation (for example, pan photographing) has been performed by the photographer.
  • the camera work estimation unit 234 generates a coefficient R2 indicating the estimation result and supplies the coefficient R2 to the ideal cutout position determination unit 235.
  • the coefficient R2 is, for example, a real number from “0” to “1”, and a value closer to “1” is set as the operation is similar to pan shooting.
  • the ideal cutout position determination unit 235 calculates the correction amount s0 ′ using the following equation.
  • the correction amount s0 ′ includes an x component and a y component.
  • the ideal cutout position determination unit 235 supplies the calculated correction amount s0 ′ to the correction frame limit processing unit 236.
  • s ′ (k) s0 (k ⁇ 1) + R1 ⁇ ⁇ HPF (m0) + R1 ⁇ (1-R2) ⁇ ⁇ m0-HPF (m0) ⁇
  • R2 is a camera shake correction coefficient, and a real number “0” to “1” is set.
  • s0 ′ (k) is the correction amount of the kth frame
  • s0 ′ (k ⁇ 1) is the correction amount s0 of the k ⁇ 1th frame.
  • s ′ (k) is output as the current s0 ′.
  • the correction frame restriction processing unit 236 restricts the position of the cutout region within a certain correction frame.
  • the size of the correction frame on the x axis is ⁇ cx
  • the size of the correction frame on the y axis is ⁇ cy.
  • the in-correction frame restriction processing unit 236 performs restriction processing on the x component and y component of the correction amount s0 ′, and the x component and y component after the restriction processing, the roll angle component m0 (Roll) of the movement amount m0, and Is output as s0.
  • the x component and y component s0 (x, y) of the correction amount s0 are input to the N composite intra-frame correction amount calculation units 221, and the remaining roll angle component s0 (Roll) is input to the rotation correction unit 270. Is input.
  • cx corresponds to sx-rx
  • cy corresponds to sy-ry
  • sx and sy are the sizes of correction frames on the x-axis and y-axis of the entire electronic image stabilization
  • rx and ry are the sizes of the correction frames on the x-axis and the y-axis at the time of rotation correction in the electronic camera shake correction.
  • FIG. 9 is a block diagram illustrating a configuration example of the cutout processing unit 240 in the embodiment.
  • the cutout processing unit 240 includes a selector 241, a correction amount selection control unit 242, and an alignment processing unit 243.
  • the correction amount selection control unit 242 supplies the selector 241 with a selection signal SEL indicating one of the N correction amounts sn.
  • the correction amount selection control unit 242 generates a selection signal SEL indicating the n-th correction amount when the n-th frame among the N frames is captured based on the timing signal from the control unit 150.
  • the selector 241 selects one of the N correction amounts sn according to the selection signal SEL.
  • the selector 241 supplies the alignment processing unit 243 with s ′ (x, y) that is the x component and y component of the selected correction amount sn, and supplies the remaining roll angle component s ′ (Roll) to the subject motion detection unit.
  • the image is supplied to the image composition unit 260 via 250.
  • the alignment processing unit 243 corrects the position of the cutout area with the correction amount s ′ (x, y) in the input frame, and cuts out the corrected cutout area.
  • the alignment processing unit 243 supplies the cut-out region to the subject motion detection unit 250 as a cut-out frame.
  • FIG. 10 is a block diagram illustrating a configuration example of the subject motion detection unit 250.
  • the subject motion detection unit 250 includes a gain adjustment unit 251, a post-adjustment motion detection unit 252, and a frame memory 253.
  • the gain adjusting unit 251 adjusts the pixel value with a predetermined gain in the cut-out frame.
  • the gain adjustment unit 251 supplies the adjusted cut-out frame to the frame memory 253 and the adjusted motion detection unit 252.
  • the frame memory 253 holds a cut frame.
  • the cut-out frame before gain adjustment is supplied to the image composition unit 260 in addition to the gain adjustment unit 251.
  • the post-adjustment motion detection unit 252 detects the motion vector of the subject from the past cutout frame held in the frame memory 253 and the current cutout frame from the gain adjustment unit 251.
  • the post-adjustment motion detection unit 252 supplies the detected motion vector to the image composition unit 260.
  • FIG. 11 is a block diagram illustrating a configuration example of the image composition unit 260 in the embodiment.
  • the image composition unit 260 includes an image composition processing unit 261 and a frame memory 262.
  • the frame memory 262 holds N-1 cut frames.
  • the image composition processing unit 261 synthesizes the current cut frame from the subject motion detection unit 250 and the past cut frame held in the frame memory 262.
  • the image composition processing unit 261 translates the N cut-out frames to be synthesized based on the motion vector detected by the subject motion detection unit 250 and translates the one corresponding to the motion vector within a certain frame. Perform alignment. Then, the image composition processing unit 261 obtains an average value of corresponding pixel values in each of the N frames after the alignment, and generates a composite frame including pixels of the average value. Thereby, noise mixed in the video signal can be reduced. Such a synthesis process is called three-dimensional noise reduction. The image composition processing unit 261 supplies the combined frame to the rotation correction unit 270 as a composite frame.
  • the image composition processing unit 261 is an example of a composition processing unit described in the claims.
  • the image composition unit 260 may perform composition processing (such as high dynamic range composition) other than three-dimensional noise reduction.
  • composition processing such as high dynamic range composition
  • the image sensor 120 captures a plurality of cut-out frames with different exposure times, and the image composition unit 260 adds corresponding pixel values in these frames to generate a composite frame.
  • the dynamic range can be expanded more than before the composition.
  • FIG. 12 is a diagram illustrating an example of the sizes of the input frame, the cutout frame, and the output frame in the embodiment.
  • a shows an example of the size of the input frame 500
  • b in the figure shows an example of a cutout frame held in the frame memory 262.
  • the hatched portion of b in the figure shows a cut frame in the frame memory 262.
  • C in the figure shows an example of the output frame 502.
  • a width W that is the length on the x-axis of the input frame 500 and a height H that is the length on the y-axis are expressed by the following equations.
  • W w + 2cx + 2rx + 2nx Equation 1
  • H h + 2cy + 2rx + 2ny Equation 2
  • cx sx ⁇ rx Equation 3
  • cy sy ⁇ ry Equation 4
  • w is the width of the output frame 502
  • sx is the size of the correction frame on the x-axis in the clipping process (ie, camera shake correction) by the clipping processor 240.
  • rx is the size of the correction frame on the x axis in the rotation correction by the rotation correction unit 270.
  • nx is the size of the frame on the x-axis used for alignment at the time of composition by the image composition unit 260.
  • h is the height of the output frame 502, and sy is the size of the correction frame on the Y axis in camera shake correction.
  • rx is the size of the correction frame on the y-axis in the rotation correction.
  • ny is the size of the frame on the y-axis used for alignment during synthesis.
  • a cut-out area having a width of W-2cx and a height of H-2cy is provided in the input frame 500.
  • the cutout processing unit 240 translates the cutout region within the correction frame having the size of sx and sy according to the movement of the imaging apparatus 100, cuts out the cutout region after the movement, and outputs the cutout region as a cutout frame.
  • This cut-out frame is held in the frame memory 262.
  • the image composition unit 260 performs alignment within the nx and ny frames to synthesize two cut frames.
  • the rotation correction unit 270 generates the output frame 502 by rotating the composite frame within the rx and ry correction frames.
  • FIG. 13 is a diagram illustrating an example of the sizes of the input frame, the frame after rotation correction, and the output frame in the comparative example.
  • the imaging apparatus performs camera shake correction (cutout process) after sequentially executing the synthesis process and the rotation correction.
  • a shows an example of the size of the input frame
  • b in the figure shows an example of the frame 505 after rotation correction.
  • a hatched portion of a in the figure indicates an input frame in the frame memory.
  • C in the figure shows an example of the output frame 506.
  • the imaging device of the comparative example holds the input frame as it is in the frame memory in the synthesis.
  • the size of this input frame is expressed by Equation 1 and Equation 2.
  • the imaging apparatus synthesizes the past frame held in the frame memory and the current frame, and performs rotation correction. By these processes, a combined frame 505 having a width of W-2rx-2nx and a height of H-2ry-2rn is generated.
  • the imaging apparatus generates an output frame 506 by cutting out the cutout frame within the correction frame in accordance with the movement of the imaging apparatus.
  • the capacity of the frame memory required for synthesizing must be equal to or larger than the data amount of the input frame before the clipping.
  • the imaging apparatus 100 performs the clipping process before the synthesis process, so the capacity of the frame memory 262 may be equal to or greater than the data amount of the clipped frame after the clipping. Therefore, compared with the comparative example, the capacity of the frame memory required for synthesis can be reduced. Thereby, the amount of calculation at the time of a synthesis process and the cost of an imaging device can be reduced.
  • FIG. 14 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the embodiment. This operation is started, for example, when an operation (such as pressing an imaging button) for starting imaging of a moving image or a still image is performed.
  • an operation such as pressing an imaging button
  • the imaging apparatus 100 captures a frame while detecting its own movement (step S901). Then, the imaging apparatus 100 performs electronic camera shake correction that cuts out a part of the frame based on its own movement (step S902).
  • the imaging apparatus 100 detects a motion vector of the subject by comparing a plurality of continuous cutout frames (step S903). Then, the imaging apparatus 100 performs alignment based on the motion vector, and synthesizes N cut-out frames (step S904). Then, the imaging apparatus 100 performs rotation correction on the composite frame to generate an output frame (step S905). After step S905, the imaging apparatus 100 repeatedly executes step S901 and subsequent steps.
  • the imaging apparatus 100 cuts out a part of a frame and then holds the frame memory 262 for synthesis, the capacity of the frame memory 262 is cut out and data of the frame is cut out. The amount can be suppressed.
  • the imaging apparatus 100 performs rotation correction.
  • the capacity of the frame memory 262 increases by the size of the correction frame in the rotation correction.
  • the imaging apparatus 100 according to the first modification of this embodiment is different from the embodiment in that the capacity of the frame memory 262 is further reduced.
  • FIG. 15 is a block diagram illustrating a configuration example of the image processing unit 200 according to the first modification of the embodiment.
  • the image processing unit 200 of the first modification is different from the embodiment in that the rotation correction unit 270 is not provided.
  • the image composition unit 260 of the first modification outputs the composite frame as an output frame.
  • the imaging apparatus 100 does not perform the rotation correction on the composite frame, and thus the capacity of the frame memory 262 corresponding to the rotation correction correction frame. Can be reduced.
  • the imaging apparatus 100 performs rotation correction and object motion vector detection.
  • the frame memory 262 has a capacity corresponding to the size of the frame in the rotation correction and composition processing. It will increase.
  • the imaging apparatus 100 according to the first modification of this embodiment is different from the embodiment in that the capacity of the frame memory 262 is further reduced.
  • FIG. 16 is a block diagram illustrating a configuration example of the image processing unit 200 according to the first modification of the embodiment.
  • the image processing unit 200 according to the first modification differs from the embodiment in that the subject motion detection unit 250 and the rotation correction unit 270 are not provided.
  • the cutout processing unit 240 according to the first modification supplies the cutout frame to the image composition unit 260, and the image composition unit 260 outputs the composite frame as an output frame.
  • FIG. 17 is a diagram summarizing the effects of the above-described embodiment, the first and second modified examples, and the comparative example. Since the imaging apparatus 100 according to the embodiment detects a motion vector of a subject, the effect of improving the image quality by image synthesis is increased. In addition, since the imaging apparatus 100 according to the embodiment performs rotation correction, the effect of improving image quality by electronic camera shake correction is increased.
  • the effect of improving image quality by electronic camera shake correction is reduced.
  • the second modified example since the motion vector of the subject is not further detected, the effect of improving the image quality by image synthesis is reduced.
  • the comparative example since the motion vector of the subject is detected and the rotation is corrected, the effect of improving the image quality by the image synthesis and the electronic camera shake correction is increased.
  • FIG. 18 is a diagram for comparing the amount of frame memory used during the synthesis processing of the embodiment, the first and second modifications, and the comparative example.
  • the S outc 0 is expressed by the following equation.
  • S outc 0 r1 2 ⁇ (w + 2rx + 2nx) ⁇ (h + 2ry + 2ny)
  • r1 represents a reduction rate of the size or width of the target frame for motion detection with respect to the cut-out frame before synthesis.
  • the target frame for motion detection is a frame that is a target for motion detection of the subject using the block matching method or the like.
  • the reason for performing motion detection by reducing the frame in this way is to reduce the calculation cost. In the synthesis, this reduced frame is not used, and N cut-out frames are synthesized at the same scale.
  • S mc 0 ⁇ (N ⁇ 1) + r1 2 ⁇ ⁇ (w + 2rx + 2nx) ⁇ (h + 2ry + 2ny)
  • the size S inc 1 of the frame to be synthesized is expressed by the following equation.
  • S inc 1 (w + 2nx) ⁇ (h + 2ny)
  • S outc 1 r1 2 ⁇ (w + 2nx) ⁇ (h + 2ny)
  • the usage amount S mc 1 of the frame memory 262 in the first modification is expressed by the following equation.
  • S mc 1 ⁇ (N ⁇ 1) + r1 2 ⁇ ⁇ (w + 2nx) ⁇ (h + 2ny)
  • the size S inc 2 of the frame to be combined is the same as S inc 1 in the first modified example.
  • the frame memory usage S mc 2 in the second modification is expressed by the following equation.
  • S mc 2 (N ⁇ 1) ⁇ (w + 2nx) ⁇ (h + 2ny)
  • S inc S (w + 2sx + 2nx) ⁇ (h + 2sy + 2ny)
  • S cc S of the combined frame in the comparative example is expressed by the following equation.
  • S outc S r1 2 ⁇ (w + 2sx + 2nx) ⁇ (h + 2sy + 2ny)
  • the frame memory usage S mc S in the comparative example is expressed by the following equation.
  • S mc S ⁇ (N ⁇ 1) + r1 2 ⁇ ⁇ (w + 2sx + 2nx) ⁇ (h + 2sy + 2ny)
  • FIG. 19 is a diagram for comparing the amount of frame memory used during camera shake correction in the embodiment, the first and second modified examples, and the comparative example.
  • the size S ins 0 of the frame subject to camera shake correction in the embodiment is the same as S inc S.
  • the camera shake correction target frame size in the first and second modified examples is the same as S inc 0 of the embodiment.
  • the reduction ratio r1 is set to 0.5
  • the reduction ratio r2 is set to 0.25.
  • the ratio of sx, sy, cx, cy, rx, ry, nx, ny, w and h to the width W and height H of the input frame is set as follows.
  • the frame size to be synthesized, the range to be reduced by synthesis, and the use of the frame memory in the embodiment, the first and second modified examples, and the comparative example Find the amount.
  • the usage amount of the frame memory of the comparative example is 1.250
  • the usage amount of the embodiment may be 0.945, and the capacity of the frame memory can be reduced.
  • 0.800 in the first modification and 0.640 in the second modification may be sufficient, and the capacity of the frame memory can be further reduced.
  • the various conditions are the same as in the case of FIG. If the amount of use of the frame memory of the comparative example is 0.9216, the amount of use of the embodiment may be 0.6880, and the capacity of the frame memory can be reduced.
  • the result obtained in FIG. 20 is normalized by the size of the imaging frame.
  • the use amount of the frame memory according to the embodiment is small and the first and second use amounts are smaller than those of the comparative example.
  • Various conditions other than the number N of frames to be combined are the same as in the case of FIG.
  • the amount of use of the frame memory of the embodiment is smaller than that of the comparative example, and the first and second amounts of use are even smaller.
  • the result obtained in FIG. 23 is normalized by the size of the imaging frame.
  • Motion detection is performed by block matching.
  • the granularity of motion detection at the time of composition processing is s1, and the granularity of motion detection at the time of electronic camera shake correction is s2.
  • the granularity indicates the ratio of the total coordinates for executing block matching to the entire frame. For example, when executing block matching with all coordinates of a frame, the granularity is 100%.
  • block matching is executed by skipping one pixel in the X-axis direction and the Y-axis direction, the granularity is 25%.
  • the detection frame sizes at the time of camera motion detection in the comparative example are px and py. Further, the detection frame sizes at the time of detecting the motion vector of the subject in the embodiment, the first and second modified examples, and the comparative example are assumed to be qx and qy.
  • the frame size S inm 0 of the subject motion detection target in the embodiment is the same as S outc 0.
  • the detection range of subject motion detection in the embodiment is (2qx) ⁇ (2qy).
  • the frame size S inm 1 to be detected for the movement of the subject in the first modification is the same as S outc 1.
  • the detection range of subject motion detection in the first modification is (2qx) ⁇ (2qy).
  • the calculation amount Q1 of the subject motion detection process of the first modified example is expressed by the following equation.
  • Q1 (N ⁇ 1) ⁇ r1 2 ⁇ (w + 2nx) ⁇ (h + 2ny) ⁇ s1 2 ⁇ 2qx ⁇ 2qy
  • the frame size Sinm0 that is the detection target of the movement of the subject in the comparative example is the same as that of SoutcS.
  • the detection range of subject motion detection in the comparative example is (2px + 2qx) ⁇ (2py + 2qy).
  • the first and second modified examples, and the comparative example using the same conditions as in FIG. 20 and the relational expressions illustrated in FIG. 25 the frame size and detection of the detection target at the time of subject motion detection Find the range and complexity.
  • the particle sizes s1 and s2 are both set to 0.125.
  • the calculation amount of the comparative example is 9.375E-05
  • the calculation amount of the embodiment is reduced to 2.025E-05.
  • the calculation amount of the first modification is 1.500E-05, which is further reduced.
  • the calculation result of FIG. 26 is normalized by the calculation amount of the embodiment.
  • the imaging apparatus 100 does not detect a motion vector and does not perform rotation correction.
  • the capacity of 262 can be reduced.
  • the imaging apparatus 100 predicts its own motion amount within a certain prediction period, and performs electronic camera shake correction based on the motion amount.
  • the imaging apparatus 100 according to the third modification of this embodiment is different from the embodiment in that the prediction accuracy of the motion amount of the imaging apparatus 100 is improved.
  • the length of the prediction period is limited to a predetermined threshold value or less so that the prediction accuracy is equal to or greater than the allowable value.
  • the timing Ts2 ′ closer to Tc21 than Ts2 is used as the start point.
  • the period from the start timing Tm0 or Tm1 to the start timing Ts2 ′ is the prediction period.
  • the start timing Ts2 ′ is a timing at which the prediction period becomes equal to or less than the threshold value.
  • the prediction accuracy can be improved as compared with the embodiment.
  • the accuracy of electronic camera shake correction for the composite frame is reduced. This is because, based on the assumption that the image synthesis unit 260 synthesizes two frames to be synthesized at the same ratio, the timing division of camera shake correction is temporarily placed as Ts2.
  • the threshold is set in consideration of a balance between improvement in prediction accuracy and reduction in accuracy of electronic camera shake correction.
  • N 2
  • the period from Tm0 or Tm1 to Ts2 ′ is the prediction period
  • the integration period corresponding to the second frame is from Ts2 ′ to Tc22.
  • the integration period corresponding to the third frame is from Ts2 ′ to the timing Tc23 of the third exposure center of gravity
  • the integration period corresponding to the fourth frame is from Ts2 ′ to the fourth frame. Until the exposure center of gravity timing Tc24.
  • the prediction period for predicting the motion amount of the imaging apparatus 100 is limited to the threshold value or less, and thus the motion amount prediction accuracy can be improved. .
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a cut-out processing unit that cuts out a part of the input frame as a current cut-out frame based on the movement of the image pickup unit every time the input frame is picked up by the image pickup unit;
  • a frame memory for holding the current cut frame as a past cut frame;
  • An image processing apparatus comprising: a synthesis processing unit that synthesizes the current cut frame and the past cut frame and outputs a synthesized frame.
  • a motion amount acquisition unit that acquires a motion amount of the imaging unit within a period from one to the other of the exposure timings of each of the two consecutive composite frames as a composite inter-frame motion amount;
  • the image processing device further comprising: a combined frame correction unit that cuts out a part of the combined frame as an output frame based on the amount of movement between the combined frames.
  • a movement amount acquisition unit for acquiring the amount as a quantity;
  • the inter-frame motion amount is a first prediction value indicating the motion amount within a first prediction period from a first start timing at which calculation of the inter-frame motion amount starts to the start timing.
  • the motion amount acquisition unit acquires the first predicted value based on the motion amount up to the first start timing.
  • the length of the first prediction period does not exceed a predetermined threshold.
  • the amount of motion within the combined frame is a second predicted value indicating the amount of motion within a second prediction period from a second start timing at which calculation of the amount of motion within the combined frame is started to the start timing.
  • the image processing device Including The image processing device according to (4) or (5), wherein the motion amount acquisition unit acquires the second predicted value based on a motion amount of the imaging unit up to the second start timing. (7) The image processing device according to (6), wherein a length of the second prediction period does not exceed the predetermined threshold. (8) a subject motion detection unit that detects a motion vector indicating a direction in which the subject has moved based on the two continuous current cut frames; The image processing device according to any one of (1) to (7), wherein the synthesis processing unit synthesizes the current cut frame and the past cut frame based on the motion vector.
  • an imaging unit that captures an input frame;
  • An input frame cutout processing unit that cuts out a part of the input frame as a current cutout frame based on the movement of the image pickup unit each time the input frame is imaged;
  • a frame memory for holding the current cut frame as a past cut frame;
  • An imaging apparatus comprising: a synthesis processing unit that synthesizes the current cut frame and the past cut frame and outputs the synthesized frame.
  • An input frame cutout processing procedure for cutting out a part of the input frame as a current cutout frame based on the movement of the image pickup unit every time the input frame is picked up by the image pickup unit;
  • An image processing method comprising: a synthesis processing procedure for synthesizing the past cut frame held in a frame memory that holds the current cut frame as a past cut frame and the current cut frame and outputting the synthesized frame.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)

Abstract

フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減する。　画像処理装置は、切り出し処理部、フレームメモリおよび合成処理部を具備する。切り出し処理部は、入力フレームが撮像部により撮像されるたびに撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す。フレームメモリは、現在切出しフレームを過去切出しフレームとして保持する。合成処理部は、現在切出しフレームと過去切出しフレームとを合成して合成フレームとして出力する。

Description

画像処理装置、撮像装置、画像処理方法、および、プログラム
　本技術は、画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、フレームメモリにフレームを保持する画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
　従来より、画像を撮像する撮像装置においては画像の画質を向上させる目的で、電子手ブレ補正や画像合成処理などの画像処理が行われている。これらの処理のうち電子手ブレ補正は、フレーム内において切り出す領域のサイズを予め定めておき、手ブレの方向に沿って、その領域を初期位置から移動させて切り出す処理である。また、画像合成処理は、ダイナミックレンジの拡大やノイズの低減を目的として、複数のフレームを合成する処理である。このような画像処理を行う装置として、例えば、フレームメモリで遅延させたフレームと遅延前のフレームとを合成して合成フレームを生成し、その合成フレームに対して、さらに電子手ブレ補正を行う画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２００９－２３２３８２号公報
　上述の従来技術では、フレームメモリを用いた合成処理の後に電子手ブレ補正が行われる。しかしながら、この構成では、画像の解像度が高くなるほど、合成に必要なフレームメモリの容量が大きくなるという問題がある。このフレームメモリの容量が増大すると、合成処理に要する計算量や、撮像装置のコストが上昇するため、フレームメモリの容量は小さいことが望ましい。
　本技術はこのような状況に鑑みて生み出されたものであり、フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部とを具備する画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムである。これにより、フレームの合成前に入力フレームの一部が切り出されるという作用をもたらす。
　また、この第１の側面において、連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部とをさらに具備してもよい。これにより、合成フレーム間動き量に基づいて合成フレームの一部が出力フレームとして切り出されるという作用をもたらす。
　また、この第１の側面において、連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給してもよい。これにより、合成フレーム内動き量に基づいて現在切り出しフレームが切り出されるという作用をもたらす。
　また、この第１の側面において、前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得してもよい。これにより、第１の開始タイミングまでの動き量に基づいて第１の予測値が取得されるという作用をもたらす。
　また、この第１の側面において、前記第１の予測期間の長さは、所定の閾値を超えなくてもよい。これにより、閾値以下の第１の予測期間内の動き量が取得されるという作用をもたらす。
　また、この第１の側面において、前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得してもよい。これにより、第２の開始タイミングまでの動き量に基づいて第２の予測値が取得されるという作用をもたらす。
　また、この第１の側面において、前記第２の予測期間の長さは、前記所定の閾値を超えなくてもよい。これにより、閾値以下の第２の予測期間内の動き量が取得されるという作用をもたらす。
　また、この第１の側面において、連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成してもよい。これにより、動きベクトルに基づいて現在切出しフレームと過去切出しフレームとが合成されるという作用をもたらす。
　また、本技術の第２の側面は、入力フレームを撮像する撮像部と、前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部とを具備する撮像装置。これにより、フレームの合成前に入力フレームの一部が切り出されるという作用をもたらす。
　また、この第２の側面において、前記撮像部の動きを検出するセンサをさらに具備してもよい。これにより、センサにより検出された動きに基づいて入力フレームの一部が切り出されるという作用をもたらす。
　本技術によれば、フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の実施の形態における撮像装置の斜視図の一例である。 本技術の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態におけるカメラ動き演算部の一構成例を示すブロック図である。 本技術の実施の形態におけるカメラ動き演算部の動作の一例を示すタイミングチャートである。 本技術の実施の形態における予測演算について説明するための図である。 本技術の実施の形態における補正量演算部の一構成例を示すブロック図である。 本技術の実施の形態における手ブレ補正量演算部の一構成例を示すブロック図である。 本技術の実施の形態における切り出し処理部の一構成例を示すブロック図である。 本技術の実施の形態における被写体動き検出部の一構成例を示すブロック図である。 本技術の実施の形態における画像合成部の一構成例を示すブロック図である。 本技術の実施の形態における入力フレーム、切り出しフレームおよび出力フレームのそれぞれのサイズの一例を示す図である。 比較例における入力フレームと、回転補正後のフレームと、出力フレームとのそれぞれのサイズの一例を示す図である。 本技術の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の実施の形態の第１の変形例における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態の第２の変形例における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの効果をまとめた図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの合成処理時のフレームメモリ使用量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの手ブレ補正時のフレームメモリ使用量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の被写体動き検出時の計算量の具体例である。 本技術の実施の形態の第３の変形例におけるＮ＝２の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。 本技術の実施の形態の第３の変形例におけるＮ＝４の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．実施の形態（フレームの一部を切り出してから合成する例）
　２．第１の変形例
　３．第２の変形例
　４．第３の変形例
　＜１．実施の形態＞
　［撮像装置の構成例］
　図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像するものであり、撮像レンズ１１０、撮像素子１２０、動き検出センサ１３０、画像処理部２００、記録部１４０および制御部１５０を備える。撮像装置１００としては、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
　撮像レンズ１１０は、光を集光して撮像素子１２０に導くレンズである。撮像素子１２０は、制御部１５０の制御に従って撮像レンズ１１０からの入射光を光電変換して画像データを撮像するものである。この撮像素子１２０は、画像データを入力フレームとして画像処理部２００に信号線１２９を介して供給する。なお、撮像レンズ１１０および撮像素子１２０を含むユニットは、特許請求の範囲に記載の撮像部の一例である。
　動き検出センサ１３０は、撮像装置１００の動きを検出するものである。例えば、単位時間内に撮像装置１００が回転した角度（言い換えれば、角速度）を検出するジャイロセンサが動き検出センサ１３０として用いられる。動き検出センサ１３０は、単位時間ごとに、その時間内の回転角度を測定し、その測定値を示すセンサ信号を画像処理部２００に信号線１３９を介して供給する。なお、動き検出センサ１３０は、特許請求の範囲に記載のセンサの一例である。
　画像処理部２００は、制御部１５０の制御に従って、入力フレームに対する所定の画像処理をセンサ信号を用いて行うものである。この画像処理部２００は、画像処理後のフレームを出力フレームとして記録部１４０に信号線２０９を介して供給する。
　記録部１４０は、出力フレームを記録するものである。制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、撮像制御信号を撮像素子１２０に信号線１５８を介して供給し、画像処理を行うタイミングを示すタイミング信号を画像処理部２００に信号線１５９を介して供給する。
　ここで、撮像制御信号は、撮像タイミングを示す垂直同期信号Ｖｓｙｎｃや、露光期間などを含む。垂直同期信号Ｖｓｙｎｃの周波数は、例えば、３０ヘルツ（Ｈｚ）である。なお、垂直同期信号Ｖｓｙｎｃの周波数は、３０ヘルツ（Ｈｚ）に限定されず、６０ヘルツ（Ｈｚ）などであってもよい。
　図２は、実施の形態における撮像装置１００の斜視図の一例である。この撮像装置１００の光軸をｚ軸とする。また、ｚ軸に直交し、撮像素子１２０の長辺に平行な軸をｘ軸とし、ｚ軸およびｘ軸に直交する軸をｙ軸とする。動き検出センサ１３０は、単位時間が経過するたびに、その単位時間内にｚ軸周りに撮像装置１００が回転した角度をロール角として測定する。また、動き検出センサ１３０は、単位時間内にｘ軸周りに撮像装置１００が回転した角度をピッチ角として測定し、ｙ軸周りに回転した角度をヨー角として測定する。
　なお、動き検出センサ１３０は、３軸の全てについて角度を測定しているが、２軸のみについて角度を測定してもよい。また、動き検出センサ１３０は、角度を測定しているが、撮像装置１００の動きを検出することができるのであれば、角度以外の物理量を測定してもよい。例えば、動き検出センサ１３０は、ｘ軸方向やｙ軸方向の加速度を測定してもよい。
　［画像処理部の構成例］
　図３は、実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、カメラ動き演算部２１０、補正量演算部２２０、切り出し処理部２４０、被写体動き検出部２５０、画像合成部２６０および回転補正部２７０を備える。
　カメラ動き演算部２１０は、センサ信号に対する演算により撮像装置１００の一定期間内の動き量を取得するものである。このカメラ動き演算部２１０は、演算結果を補正量演算部２２０に供給する。なお、カメラ動き演算部２１０は、特許請求の範囲に記載の動き量取得部の一例である。
　補正量演算部２２０は、カメラ動き演算部２１０の演算結果を用いて、切り出し処理部２４０および回転補正部２７０において切り出し領域の初期位置からの補正量を演算するものである。この補正量は、ｘ成分、ｙ成分およびロール角成分を含む。ｘ成分は、切り出し領域をｘ軸方向に沿って平行移動させる際の移動量であり、ｙ成分は、その領域をｙ軸方向に沿って平行移動させる際の移動量である。ロール角成分は、フレームの一部を回転させる際の回転角度である。補正量演算部２２０は、ｘ成分およびｙ成分を切り出し処理部２４０に供給し、ロール角成分を回転補正部２７０に供給する。
　切り出し処理部２４０は、入力フレームが撮像されるたびに補正量（ｘ成分およびｙ成分）に基づいて入力フレームの一部を切り出すものである。この入力フレームにおいては、所定サイズの切り出し領域が予め設定される。切り出し処理部２４０は、ｘ軸に沿ってｘ成分だけ切り出し領域を初期位置から平行移動し、ｙ軸に沿ってｙ成分だけ切り出し領域を初期位置から平行移動する。そして、切り出し処理部２４０は、平行移動後の切り出し領域を入力フレームから切り出しフレームとして切り出す。切り出し処理部２４０は、その切り出しフレームを被写体動き検出部２５０に供給する。
　被写体動き検出部２５０は、連続する複数の切り出しフレームから、被写体の動きベクトルを検出するものである。この被写体動き検出部２５０は、例えば、フレーム間差分法やブロックマッチング法を用いて、連続する複数の切り出しフレームから動被写体を検出し、その動被写体が動いた方向および距離を示す動きベクトルを求める。被写体動き検出部２５０は、動きベクトルを画像合成部２６０に供給する。
　画像合成部２６０は、連続するＮ（Ｎは２以上の整数）枚の切り出しフレームを合成するものである。この画像合成部２６０は、Ｎ枚ごとに１枚の合成フレームを生成し、合成フレームとして回転補正部２７０に供給する。
　前述の撮像素子１２０は、垂直同期信号Ｖｓｙｎｃに同期して、そのＶｓｙｎｃの周期内にＮ枚のフレームを撮像する。例えば、Ｎ＝２とし、垂直同期信号Ｖｓｙｎｃを３０ヘルツ（Ｈｚ）とすると、１秒間に６０枚の入力フレームが撮像され、１秒間に３０枚の合成フレームが生成される。
　回転補正部２７０は、補正量（ロール角成分）に基づいて合成フレーム内の一部の切り出し領域を回転させるものである。この回転補正部２７０は、回転後の切り出し領域を出力フレームとして切り出して記録部１４０に出力する。なお、回転補正部２７０は、特許請求の範囲に記載の合成フレーム補正部の一例である。
　［カメラ動き演算部の構成例］
　図４は、実施の形態におけるカメラ動き演算部２１０の一構成例を示すブロック図である。このカメラ動き演算部２１０は、予測演算部２１１と、合成フレーム間動き量積分器２１２と、Ｎ個の合成フレーム内動き量積分器２１３とを備える。
　予測演算部２１１は、所定の予測期間の前のセンサ信号の履歴に基づいて、その予測期間内の撮像装置１００の動き量を算出するための関数を求めるものである。予測演算部２１１は、例えば、予測期間前のセンサ信号の時間的変動を表す曲線に最もよくフィッティングするｍ次多項式を求める。この予測演算部２１１は、求めたｍ次多項式の係数を合成フレーム間動き量積分器２１２とＮ個の合成フレーム内動き量積分器２１３とに供給する。
　合成フレーム間動き量積分器２１２は、連続する２つの合成フレームの間の積算期間Ｐｍ０内の撮像装置１００の動き量ｍ０を演算するものである。この動き量ｍ０は、ピッチ角成分、ヨー角成分およびロール角成分を含む。また、動き量ｍ０の演算は、その積算期間Ｐｍ０の終了前に開始される。このため、合成フレーム間動き量積分器２１２は、ｍ０の演算の開始時点から積算期間Ｐｍ０の終了時点までの予測期間内の動き量を予測する必要がある。
　そこで、合成フレーム間動き量積分器２１２は、予測期間内の動き量をｍ次多項式を用いて演算し、予測期間までの動き量の積算値に加算する。合成フレーム間動き量積分器２１２は、加算した値を動き量ｍ０として補正量演算部２２０に供給する。
　合成フレーム内動き量積分器２１３は、合成対象のＮ枚の切り出しフレームのうちｎ（ｎは、１乃至Ｎの整数）番目について動き量ｍｎを演算するものである。まず、Ｎ枚のうち最初の露光期間の重心のタイミングＴｃ１と、Ｎ枚目の露光期間の重心のタイミングＴｃＮとの間の特定のタイミングが起点タイミングＴｓとして設定される。
　ｎ枚目の露光期間の重心のタイミングＴｃｎとすると、起点タイミングＴｓからＴｃｎまでの積算期間内の動き量がｍｎとして演算される。ここで、動き量ｍｎの演算の開始タイミングが、対応する積算期間の終了タイミングよりも前である場合に合成フレーム内動き量積分器２１３は、その終了タイミングまでの動き量を予測する必要がある。一方、動き量ｍｎの演算の開始タイミングが、対応する積算期間の終了タイミングよりも後の場合には、動き量を予測する必要が無い。合成フレーム内動き量積分器２１３は、必要に応じてｍ次多項式により予測演算を行って動き量ｍｎを求め、補正量演算部２２０に供給する。
　図５におけるａは、実施の形態におけるカメラ動き演算部２１０の動作の一例を示すタイミングチャートである。垂直同期信号Ｖｓｙｎｃは、一定の周期で立ち上がる。例えば、タイミングＴｖ１、Ｔｖ２およびＴｖ３で垂直同期信号Ｖｓｙｎｃが立ち上がる。
　Ｎ＝２とした場合、垂直同期信号Ｖｓｙｎｃの周期内に、２枚の入力フレームが撮像される。タイミングＴｖ１からタイミングＴｖ２までの間に撮像された２枚の入力フレームのそれぞれの露光期間の重心のタイミングをＴｃ１１、Ｔｃ１２とする。また、タイミングＴｖ_２からタイミングＴｖ３までの間に撮像された２枚の入力フレームのそれぞれの露光期間の重心のタイミングをＴｃ２１、Ｔｃ２２とする。また、Ｔｃ１１およびＴｃ１２の中間のタイミングを起点タイミングＴｓ１とし、Ｔｃ２１およびＴｃ２２の中間のタイミングを起点タイミングＴｓ２とする。
　動き検出センサ１３０は、垂直同期信号Ｖｓｙｎｃより短い周期が経過するたびに動きを検出してセンサ信号を出力する。
　合成フレーム間動き量積分器２１２は、起点タイミングＴｓ１から起点タイミングＴｓ２までの積算期間の動き量をｍ０として演算する。一方、１枚目に対応する合成フレーム内動き量積分器２１３は、起点タイミングＴｓ２からタイミングＴｃ２１までの調整期間内の動き量をｍ１として演算する。
　また、２枚目に対応する合成フレーム内動き量積分器２１３は、起点タイミングＴｓ２からタイミングＴｃ２２までの調整期間内の動き量を動き量ｍ２として演算する。
　ここで、動き量ｍ１の演算は、合成対象の２枚のうち１枚目において１ライン目の露光が終了するタイミングＴＬ２１までに完了する必要がある。このタイミングＴＬ２１以降に、１枚目のフレームの保持が開始され、この保持の際に、動き量ｍ１により切り出し領域が調整されるためである。また、この１枚目のフレームの補正量の演算には、動き量ｍ１に加えて動き量ｍ０も用いられる。このため、動き量ｍ０もタイミングＴＬ２１までに完了する必要がある。
　そこで、合成フレーム間動き量積分器２１２は、タイミングＴＬ２１よりも、ｍ０の演算に要する時間だけ前のタイミングＴｍ０において動き量ｍ０の演算を開始する。このタイミングＴｍ０は、例えば、ｍ０の積算期間の終了時Ｔｓ２よりも前である。このため、合成フレーム間動き量積分器２１２は、タイミングＴｍ０から起点タイミングＴｓ２までの予測期間内の動き量を予測値として予測演算する必要がある。合成フレーム間動き量積分器２１２は、起点タイミングＴｓ１からタイミングＴｍ０までのセンサ信号の積算により動き量の実測値を求め、その実測値を予測値に加算してｍ０とする。同図における斜線の期間は、予測期間を示す。
　また、合成フレーム内動き量積分器２１３は、タイミングＴＬ２１よりも、ｍ１の演算に要する時間だけ前のタイミングＴｍ１において動き量ｍ１の演算を開始する。このタイミングＴｍ１は、例えば、起点タイミングＴｓ２よりも前である。このため、合成フレーム内動き量積分器２１３は、タイミングＴｍ１から起点タイミングＴｓ２までの予測期間内の動き量を予測値として予測演算する必要がある。合成フレーム内動き量積分器２１３は、タイミングＴｃ２１からタイミングＴｍ１までのセンサ信号の積算により動き量の実測値を求め、予測値に加算してｍ１を演算する。同図における斜線の期間は、予測期間を示す。
　また、動き量ｍ２の演算は、合成対象の２枚のうち２枚目のフレームの１ライン目の露光が終了するタイミングまでに完了すればよい。例えば、合成フレーム内動き量積分器２１３は、タイミングＴｃ２２に動き量ｍ２の演算を開始する。このタイミングＴｃ２２は、起点タイミングＴｓ２の後である。このため、合成フレーム内動き量積分器２１３は、予測演算を行わず、起点タイミングＴｓ２からタイミングＴｃ２２までのセンサ信号の積算により動き量ｍ２を求める。
　切り出し処理部２４０は、演算された動き量ｍ１およびｍ２に応じて、連続する２枚のフレームのそれぞれの切り出し領域を平行移動させて切り出す。これらの動き量ｍ１およびｍ２は、共通のタイミング（Ｔｓ２）を起点としているため、２枚のフレームで同じ被写体が写った領域に、それぞれのフレームの切り出し領域の位置を合わせることができる。
　ここで、切り出し処理部２４０が、タイミングＴｃ２１からタイミングＴｃ２２までの長さＬの期間内の動き量に応じて合成対象の２枚目のフレームの切り出し領域を平行移動することも考えられる。この場合は、１枚目のフレームにおいてもタイミングＴｃ２１までの長さＬの期間内の動き量に応じて切り出し領域が平行移動される。しかし、この方法では、１枚目の予測演算の必要がなくなる一方で、１枚目および２枚目のそれぞれの切り出し領域の平行移動の移動量が大きくなってしまう。実際には、一定の枠内でしか切り出し領域を移動できないため、移動量が大きいと合成において位置合わせの精度が低下するおそれがある。また、合成結果の時刻重心を大きく外して、合成フレーム間の電子手ブレ補正の精度が大きく劣化するおそれがある。
　これに対して、撮像装置１００では、タイミングＴｃ２１およびＴｃ２２の中間の起点タイミングＴｓ２からＴｃ２１やＴｃ２２までの動き量に応じて切り出し領域を平行移動しているため、切り出し領域の移動量を比較的小さくすることができる。したがって、合成における位置合わせの精度を高くすることができる。また、合成フレーム間の電子手ブレ補正の精度の低下を防止することができる。
　なお、動き量ｍ０、ｍ１の演算を行うタイミングＴｍ０、Ｔｍ１を起点タイミングＴｓ２よりも前としているが、このタイミングに限定されない。例えば、長時間露光のフレームと短時間露光のフレームとを画像合成部２６０が合成する場合（いわゆる、ハイダイナミックレンジ合成）がある。このハイダイナミックレンジ合成において長時間露光のフレームが最初のフレームである場合には図５におけるｂに例示するように、Ｔｍ０、Ｔｍ１が起点タイミングＴｓ２よりも後になることがあり、その際は予測演算が不要となる。
　図６は、実施の形態における予測演算について説明するための図である。前述したように、合成フレーム間動き量積分器２１２は、動き量ｍ０の積算期間の終了時（Ｔｓ２）よりも前のタイミングＴｍ０において動き量ｍ０の演算を開始する必要がある。このため、合成フレーム内動き量積分器２１３は、タイミングＴｍ０から起点タイミングＴｓ２までの期間内の動き量を予測演算する。
　予測演算においては、タイミングＴｍ０までのセンサ信号の軌跡に最もよくフィッティングするｍ次多項式が用いられる。同図における黒丸は、実測されたセンサ信号のプロットを示し、白丸は、ｍ次多項式から演算された値のプロットを示す。
　［補正量演算部の構成例］
　図７は、実施の形態における補正量演算部２２０の一構成例を示すブロック図である。この補正量演算部２２０は、手ブレ補正量演算部２３０と、Ｎ個の合成フレーム内補正量演算部２２１とを備える。
　手ブレ補正量演算部２３０は、動き量ｍ０から、連続する２枚の合成フレーム間の動き量に応じた補正量ｓ０を演算するものである。この動き量ｓ０は、ｘ成分、ｙ成分およびロール角成分を含む。手ブレ補正量演算部２３０は、動き量ｓ０のｘ成分およびｙ成分であるｓ０（ｘ、ｙ）をＮ個の合成フレーム内補正量演算部２２１に供給する。また、手ブレ補正量演算部２３０は、動き量ｓ０のロール角成分であるｓ０（Ｒｏｌｌ）を回転補正部２７０に供給する。
　合成フレーム内補正量演算部２２１は、動き量ｍｎおよび補正量ｓ０（ｘ、ｙ）から、合成対象のＮ枚のうちｎ番目のフレームの補正量ｓｎを演算するものである。この補正量ｓｎは、ｘ成分、ｙ成分およびロール角成分を含む。合成フレーム内補正量演算部２２１は、例えば、動き量ｍｎのピッチ角成分およびヨー角成分をｘ成分およびｙ成分に変換する。そして、合成フレーム内補正量演算部２２１は、次の式を用いて補正量ｓｎを演算して切り出し処理部２４０に供給する。
　　ｓｎ（ｘ）＝ｓ０（ｘ）＋ｍｎ（ｘ）
　　ｓｎ（ｙ）＝ｓ０（ｙ）＋ｍｎ（ｙ）
上式において、ｓｎ（ｘ）は、補正量ｓｎのｘ成分であり、ｓ０（ｘ）は、補正量ｓ０のｘ成分である。また、ｍｎ（ｘ）は、動き量ｍｎのｘ成分である。ｓｎ（ｙ）は、補正量ｓｎのｙ成分であり、ｓ０（ｙ）は、補正量ｓ０のｙ成分である。また、ｍｎ（ｙ）は、動き量ｍｎのｙ成分である。
　［手ブレ補正量演算部の構成例］
　図８は、実施の形態における手ブレ補正量演算部２３０の一構成例を示すブロック図である。この手ブレ補正量演算部２３０は、座標変換部２３１、切り出し位置決定部２３２を備える。切り出し位置決定部２３２は、ハイパスフィルタ２３３、カメラワーク推定部２３４、理想切り出し位置決定部２３５、および、補正枠内制限処理部２３６を備える。
　座標変換部２３１は、例えば、次の式により動き量ｍ０のピッチ角成分およびヨー角成分をｘ成分およびｙ成分に変換するものである。
　　ｍ０（ｘ）＝Ｌｘ×ｔａｎ｛ｍ０（Ｙａｗ）｝
　　ｍ０（ｙ）＝Ｌｙ×ｔａｎ｛ｍ０（Ｐｉｔｃｈ）｝
上式において、ＬｘおよびＬｙは、レンズの焦点距離により決定される係数である。また、ｔａｎ（）は、正接関数である。ｍ０（Ｙａｗ）は、動き量ｍ０のヨー角成分であり、ｍ０（Ｐｉｔｃｈ）は、動き量ｍ０のピッチ角成分である。
　座標変換部２３１は、変換後のｍ０（ｘ、ｙ）をハイパスフィルタ２３３、カメラワーク推定部２３４および理想切り出し位置決定部２３５に供給する。
　ハイパスフィルタ２３３は、ｍ０（ｘ、ｙ）において所定のカットオフ周波数より高い周波数の成分を高周波数成分ＨＰＦ（ｍ０）として通過させるものである。ハイパスフィルタ２３３は、高周波数成分ＨＰＦ（ｍ０）を理想切り出し位置決定部２３５に供給する。
　カメラワーク推定部２３４は、撮影者により特定の撮影操作（例えば、パン撮影）が行われたか否かを推定するものである。カメラワーク推定部２３４は、推定結果を示す係数Ｒ２を生成し、理想切り出し位置決定部２３５に供給する。この係数Ｒ２は、例えば、「０」乃至「１」の実数であり、パン撮影に類似する操作であるほど「１」に近い値が設定される。
　理想切り出し位置決定部２３５は、次の式を使用して、補正量ｓ０'を算出するものである。この補正量ｓ０'は、ｘ成分およびｙ成分を含む。理想切り出し位置決定部２３５は、算出した補正量ｓ０'を補正枠内制限処理部２３６に供給する。
　　ｓ'（ｋ）＝ｓ０（ｋ－１）＋Ｒ１・｛ＨＰＦ（ｍ０）
　　　　　　　　＋Ｒ１・（１－Ｒ２）・{ｍ０-ＨＰＦ（ｍ０）}
上式において、Ｒ２は、手ブレ補正係数であり、「０」乃至「１」の実数が設定される。ｓ０'（ｋ）は、ｋ番目のフレームの補正量であり、ｓ０'（ｋ－１）は、ｋ－１番目のフレームの補正量ｓ０である。これらのうちｓ'（ｋ）が、今回のｓ０'として出力される。
　補正枠内制限処理部２３６は、切り出し領域の位置を一定の補正枠内に制限するものである。例えば、ｘ軸上の補正枠のサイズは、±ｃｘであり、ｙ軸上の補正枠のサイズは、±ｃｙである。補正枠内制限処理部２３６は、補正量ｓ０'のｘ成分およびｙ成分に対して制限処理を行い、制限処理後のｘ成分およびｙ成分と、動き量ｍ０のロール角成分ｍ０（Ｒｏｌｌ）とを含む補正量をｓ０として出力する。この補正量ｓ０のｘ成分およびｙ成分であるｓ０（ｘ、ｙ）は、Ｎ個の合成フレーム内補正量演算部２２１に入力され、残りのロール角成分ｓ０（Ｒｏｌｌ）は、回転補正部２７０に入力される。
　ここで、ｃｘは、ｓｘ－ｒｘに該当し、ｃｙは、ｓｙ－ｒｙに該当する。ｓｘおよびｓｙは、電子手ブレ補正全体のｘ軸およびｙ軸における補正枠のサイズである。ｒｘおよびｒｙは、電子手ブレ補正のうち、回転補正時のｘ軸およびｙ軸における補正枠のサイズである。
　［切り出し処理部の構成例］
　図９は、実施の形態における切り出し処理部２４０の一構成例を示すブロック図である。この切り出し処理部２４０は、セレクタ２４１、補正量選択制御部２４２および位置合わせ処理部２４３を備える。
　補正量選択制御部２４２は、Ｎ個の補正量ｓｎのいずれかを示す選択信号ＳＥＬをセレクタ２４１に供給するものである。この補正量選択制御部２４２は、制御部１５０からのタイミング信号に基づいてＮ枚のうちｎ番目のフレームが撮像された際にｎ番目の補正量を示す選択信号ＳＥＬを生成する。
　セレクタ２４１は、選択信号ＳＥＬに従ってＮ個の補正量ｓｎのいずれかを選択するものである。このセレクタ２４１は、選択した補正量ｓｎのｘ成分およびｙ成分であるｓ'（ｘ、ｙ）を位置合わせ処理部２４３に供給し、残りのロール角成分ｓ'（Ｒｏｌｌ）を被写体動き検出部２５０を介して画像合成部２６０に供給する。
　位置合わせ処理部２４３は、入力フレームが入力されるたびに、その入力フレームにおいて補正量ｓ'（ｘ、ｙ）により切り出し領域の位置を補正し、補正後の切り出し領域を切り出すものである。この位置合わせ処理部２４３は、切り出した領域を切り出しフレームとして被写体動き検出部２５０に供給する。
　［被写体動き検出部の構成例］
　図１０は、被写体動き検出部２５０の一構成例を示すブロック図である。この被写体動き検出部２５０は、ゲイン調整部２５１、調整後動き検出部２５２およびフレームメモリ２５３を備える。
　ゲイン調整部２５１は、切り出しフレームにおいて画素値を所定のゲインにより調整するものである。このゲイン調整部２５１は、調整後の切り出しフレームをフレームメモリ２５３および調整後動き検出部２５２に供給する。フレームメモリ２５３は、切り出しフレームを保持するものである。また、ゲイン調整前の切り出しフレームは、ゲイン調整部２５１の他、画像合成部２６０にも供給される。
　調整後動き検出部２５２は、フレームメモリ２５３に保持された過去の切り出しフレームと、ゲイン調整部２５１からの現在の切り出しフレームとから、被写体の動きベクトルを検出するものである。この調整後動き検出部２５２は、検出した動きベクトルを画像合成部２６０に供給する。
　［画像合成部の構成例］
　図１１は、実施の形態における画像合成部２６０の一構成例を示すブロック図である。この画像合成部２６０は、画像合成処理部２６１およびフレームメモリ２６２を備える。
　フレームメモリ２６２は、Ｎ－１枚の切り出しフレームを保持するものである。画像合成処理部２６１は、被写体動き検出部２５０からの現在の切り出しフレームと、フレームメモリ２６２に保持された過去の切り出しフレームとを合成するものである。
　画像合成処理部２６１は、まず、被写体動き検出部２５０により検出された動きベクトルに基づいて合成対象のＮ枚の切り出しフレームのうち、動きベクトルに対応するものを平行移動させて一定の枠内で位置合わせを行う。そして、画像合成処理部２６１は、位置合わせ後のＮ枚のフレームのそれぞれにおいて対応する画素値の平均値を求め、その平均値の画素からなる合成フレームを生成する。これにより、映像信号に混在するノイズを低減することができる。このような合成処理は、３次元ノイズリダクションと呼ばれる。画像合成処理部２６１は、合成後のフレームを合成フレームとして回転補正部２７０に供給する。なお、画像合成処理部２６１は、特許請求の範囲に記載の合成処理部の一例である。
　なお、画像合成部２６０は、３次元ノイズリダクション以外の合成処理（ハイダイナミックレンジ合成など）を行ってもよい。ハイダイナミックレンジ合成において、撮像素子１２０は、露光時間の異なる複数の切り出しフレームを撮像し、画像合成部２６０は、それらのフレームにおいて対応する画素値を加算して合成フレームを生成する。これにより、ダイナミックレンジを合成前よりも拡大することができる。
　図１２は、実施の形態における入力フレーム、切り出しフレームおよび出力フレームのそれぞれのサイズの一例を示す図である。同図におけるａは、入力フレーム５００のサイズの一例を示し、同図におけるｂは、フレームメモリ２６２に保持される切り出しフレームの一例を示す。同図におけるｂの斜線部分は、フレームメモリ２６２内の切り出しフレームを示す。同図におけるｃは、出力フレーム５０２の一例を示す。
　入力フレーム５００のｘ軸上の長さである幅Ｗと、ｙ軸上の長さである高さＨは、次の式により表される。
　　Ｗ＝ｗ＋２ｃｘ＋２ｒｘ＋２ｎｘ　　　　　　　　　・・・式１
　　Ｈ＝ｈ＋２ｃｙ＋２ｒｘ＋２ｎｙ　　　　　　　　　・・・式２
　　ｃｘ＝ｓｘ－ｒｘ　　　　　　　　　　　　　　　　・・・式３
　　ｃｙ＝ｓｙ－ｒｙ　　　　　　　　　　　　　　　　・・・式４
　式３および式４を式１および式２に代入することにより、次の式が得られる。
　　Ｗ＝ｗ＋２ｓｘ＋２ｎｘ
　　Ｈ＝ｈ＋２ｓｘ＋２ｎｙ
　ここで、ｗは、出力フレーム５０２の幅であり、ｓｘは、切り出し処理部２４０による切り出し処理（すなわち、手ブレ補正）におけるｘ軸上の補正枠のサイズである。ｒｘは、回転補正部２７０による回転補正におけるｘ軸上の補正枠のサイズである。ｎｘは、画像合成部２６０による合成時の位置合わせに用いられるｘ軸上の枠のサイズである。ｈは、出力フレーム５０２の高さであり、ｓｙは、手ブレ補正におけるＹ軸上の補正枠のサイズである。ｒｘは、回転補正におけるｙ軸上の補正枠のサイズである。ｎｙは、合成時の位置合わせに用いられるｙ軸上の枠のサイズである。
　入力フレーム５００内には、幅がＷ－２ｃｘで、高さがＨ－２ｃｙの切り出し領域が設けられる。切り出し処理部２４０は、撮像装置１００の動きに応じて、ｓｘおよびｓｙのサイズの補正枠内で切り出し領域を平行移動し、移動後の切り出し領域を切り出して切り出しフレームとして出力する。この切り出しフレームは、フレームメモリ２６２に保持される。
　続いて、画像合成部２６０は、ｎｘ、ｎｙの枠内で位置合わせを行って２枚の切り出しフレームを合成する。そして、回転補正部２７０は、ｒｘ、ｒｙの補正枠内で合成フレームを回転させて出力フレーム５０２を生成する。
　図１３は、比較例における入力フレームと、回転補正後のフレームと、出力フレームとのそれぞれのサイズの一例を示す図である。この比較例においては、撮像装置は、合成処理および回転補正を順に実行した後に手ブレ補正（切り出し処理）を実行するものとする。同図におけるａは、入力フレームのサイズの一例を示し、同図におけるｂは、回転補正後のフレーム５０５の一例を示す。同図におけるａの斜線部分は、フレームメモリ内の入力フレームを示す。同図におけるｃは、出力フレーム５０６の一例を示す。
　比較例の撮像装置は、合成において入力フレームをそのままフレームメモリに保持する。この入力フレームのサイズは、式１および式２により表される。そして、撮像装置は、フレームメモリに保持した過去のフレームと、現在のフレームとを合成し、回転補正を行う。これらの処理により、幅がＷ－２ｒｘ－２ｎｘで、高さがＨ－２ｒｙ－２ｒｎの合成フレーム５０５が生成される。最後に撮像装置は、その撮像装置の動きに応じて補正枠内で切り出しフレームを切り出して出力フレーム５０６を生成する。
　このように、合成処理の後に切り出し処理を行う比較例では、合成に要するフレームメモリの容量は、切り出す前の入力フレームのデータ量以上でなければならない。
　これに対して、撮像装置１００では、図１２に例示したように、合成処理の前に切り出し処理を行うため、フレームメモリ２６２の容量は、切り出した後の切り出しフレームのデータ量以上で済む。したがって、比較例と比較して、合成に要するフレームメモリの容量を削減することができる。これにより、合成処理時の計算量や、撮像装置のコストを低減することができる。
　［撮像装置の動作例］
　図１４は、実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、動画や静止画の撮像を開始するための操作（撮像ボタンの押下など）が行われたときに開始する。
　撮像装置１００は、自身の動きを検出しつつ、フレームを撮像する（ステップＳ９０１）。そして、撮像装置１００は、自身の動きに基づいてフレームの一部を切り出す電子手ブレ補正を行う（ステップＳ９０２）。
　続いて撮像装置１００は、連続する複数の切り出しフレームを比較して被写体の動きベクトルを検出する（ステップＳ９０３）。そして、撮像装置１００は、その動きベクトルに基づいて位置合わせを行い、Ｎ枚の切り出しフレームを合成する（ステップＳ９０４）。そして、撮像装置１００は、合成フレームに対して回転補正を行い、出力フレームを生成する（ステップＳ９０５）。ステップＳ９０５の後に撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。
　このように、本技術の実施の形態によれば、撮像装置１００は、フレームの一部を切り出してから、フレームメモリ２６２に保持して合成を行うため、フレームメモリ２６２の容量を切り出しフレームのデータ量に抑制することができる。
　＜２．第１の変形例＞
　上述の実施の形態では、撮像装置１００は、回転補正を行っていたが、この構成では、回転補正における補正枠のサイズの分、フレームメモリ２６２の容量が増大してしまう。この実施の形態の第１の変形例の撮像装置１００は、フレームメモリ２６２の容量をさらに削減する点において実施の形態と異なる。
　図１５は、実施の形態の第１の変形例における画像処理部２００の一構成例を示すブロック図である。この第１の変形例の画像処理部２００は、回転補正部２７０を備えない点において実施の形態と異なる。第１の変形例の画像合成部２６０は、合成フレームを出力フレームとして出力する。
　このように、本技術の実施の形態の第１の変形例によれば、撮像装置１００は、合成フレームに対して回転補正を行わないため、回転補正の補正枠の分、フレームメモリ２６２の容量を削減することができる。
　＜３．第２の変形例＞
　上述の実施の形態では、撮像装置１００は、回転補正と被写体の動きベクトルの検出とを行っていたが、この構成では、回転補正や合成処理における枠のサイズの分、フレームメモリ２６２の容量が増大してしまう。この実施の形態の第１の変形例の撮像装置１００は、フレームメモリ２６２の容量をさらに削減する点において実施の形態と異なる。
　図１６は、実施の形態の第１の変形例における画像処理部２００の一構成例を示すブロック図である。この第１の変形例の画像処理部２００は、被写体動き検出部２５０および回転補正部２７０を備えない点において実施の形態と異なる。第１の変形例の切り出し処理部２４０は、切り出しフレームを画像合成部２６０に供給し、画像合成部２６０は、合成フレームを出力フレームとして出力する。
　図１７は、上述の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの効果をまとめた図である。実施の形態の撮像装置１００は、被写体の動きベクトルの検出を行うため、画像合成による画質向上の効果が大きくなる。また、実施の形態の撮像装置１００は、回転補正を行うため、電子手ブレ補正による画質向上の効果が大きくなる。
　一方、第１の変形例では、回転補正を行わないため、電子手ブレ補正による画質向上の効果が小さくなる。また、第２の変形例では、さらに被写体の動きベクトルの検出も行わないため、画像合成による画質向上の効果も小さくなる。また、比較例では、被写体の動きベクトルの検出と回転補正とを行うため、画像合成および電子手ブレ補正による画質向上の効果が大きくなる。
　図１８は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれの合成処理時のフレームメモリ使用量を比較するための図である。実施の形態における合成対象のフレームのサイズＳｉｎｃ０は、次の式により表される。
　　Ｓｉｎｃ０＝（ｗ＋２ｒｘ＋２ｎｘ）×（ｈ＋２ｒｙ＋２ｎｙ）
　実施の形態における合成後のフレーム（合成フレーム）のサイズは、Ｓｏｕｔｃ０は、次の式により表される。
　　Ｓｏｕｔｃ０＝ｒ１２×（ｗ＋２ｒｘ＋２ｎｘ）×（ｈ＋２ｒｙ＋２ｎｙ）
上式において、ｒ１は、合成前の切り出しフレームに対する、動き検出の対象フレームのサイズの幅または高さの縮小率を示す。ここで、動き検出の対象フレームとは、ブロックマッチング法などを用いた前述の被写体動き検出の対象となるフレームである。このようにフレームを縮小して動き検出を行うのは、計算コストを低減するためである。なお、合成においては、この縮小したフレームは用いられず、Ｎ枚の切り出しフレームが等倍のスケールで合成される。
　実施の形態におけるフレームメモリ２６２の切り出しフレームに要する使用量Ｓｍｃ０は、次の式により表される。
　　Ｓｍｃ０＝｛（Ｎ－１）＋ｒ１２｝×（ｗ＋２ｒｘ＋２ｎｘ）
　　　　　　×（ｈ＋２ｒｙ＋２ｎｙ）
　次に、第１の変形例では、合成対象のフレームのサイズＳｉｎｃ１は、次の式により表される。
　　Ｓｉｎｃ１＝（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
　第１の変形例における合成後のフレームのサイズＳｏｕｔｃ１は、次の式により表される。
　　Ｓｏｕｔｃ１＝ｒ１２×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
　第１の変形例におけるフレームメモリ２６２の使用量Ｓｍｃ１は、次の式により表される。
　　Ｓｍｃ１＝｛（Ｎ－１）＋ｒ１２｝×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
　また、第２の変形例において合成対象のフレームのサイズＳｉｎｃ２は、第１の変形例のＳｉｎｃ１と同じである。
　第２の変形例におけるフレームメモリの使用量Ｓｍｃ２は、次の式により表される。
　　Ｓｍｃ２＝（Ｎ－１）×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
　一方、比較例における合成対象のフレームのサイズＳｉｎｃＳは、次の式により表される。
　　ＳｉｎｃＳ＝（ｗ＋２ｓｘ＋２ｎｘ）×（ｈ＋２ｓｙ＋２ｎｙ）
　また、比較例における合成後のフレームのサイズＳｃｃＳは、次の式により表される。
　　ＳｏｕｔｃＳ＝ｒ１２×（ｗ＋２ｓｘ＋２ｎｘ）×（ｈ＋２ｓｙ＋２ｎｙ）
　また、比較例におけるフレームメモリの使用量ＳｍｃＳは、次の式により表される。
　　ＳｍｃＳ＝｛（Ｎ－１）＋ｒ１２｝×（ｗ＋２ｓｘ＋２ｎｘ）
　　　　　　×（ｈ＋２ｓｙ＋２ｎｙ）
　図１９は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれの手ブレ補正時のフレームメモリ使用量を比較するための図である。実施の形態における手ブレ補正対象のフレームのサイズＳｉｎｓ０は、ＳｉｎｃＳと同様である。また、実施の形態における手ブレ補正時のフレームメモリの使用量Ｓｍｓ０は、次の式により表される。
　　Ｓｍ０＝（ｗ＋２ｒｘ）×（ｈ＋２ｒｙ）
　次に、第１および第２の変形例における手ブレ補正対象のフレームのサイズは、実施の形態のＳｉｎｃ０と同様である。
　一方、比較例における手ブレ補正対象のフレームのサイズＳｉｎｓＳは、次の式により表される。また、比較例における手ブレ補正時のフレームメモリの使用量ＳｍｓＳは、ＳｉｎｓＳと同様である。
　　ＳｉｎｓＳ＝（ｗ＋２ｓｘ）×（ｈ＋２ｓｙ）
　図２０は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量を比較するための図である。縮小率ｒ１を０．５とし、縮小率ｒ２を０．２５とする。また、入力フレームの幅Ｗおよび高さＨに対する、ｓｘ、ｓｙ、ｃｘ、ｃｙ、ｒｘ、ｒｙ、ｎｘ、ｎｙ、ｗおよびｈの比率を次のように設定する。
　　Ｗ：ｓｘ＝１００％：１０％
　　Ｈ：ｓｙ＝１００％：１０％
　　Ｗ：ｃｘ＝１００％：８％
　　Ｈ：ｃｙ＝１００％：５％
　　Ｗ：ｒｘ＝１００％：２％
　　Ｈ：ｒｙ＝１００％：５％
　　Ｗ：ｎｘ＝１００％：２％
　　Ｈ：ｎｙ＝１００％：２％
　　Ｗ：ｗ＝１００％：７６％
　　Ｈ：ｈ＝１００％：７６％
　これらの設定値と、図１８に例示した関係式とを用いて実施の形態と第１および第２の変形例と比較例とにおいて合成対象のフレームサイズ、合成により縮小する範囲およびフレームメモリの使用量を求める。この結果、比較例のフレームメモリの使用量を１．２５０とすると、実施の形態の使用量は０．９４５でよく、フレームメモリの容量を削減することができる。また、第１の変形例では０．８００、第２の変形例では０．６４０でよく、フレームメモリの容量をさらに削減することができる。
　図２１は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量の具体例である。諸条件は、図２０の場合と同様である。比較例のフレームメモリの使用量を０．９２１６とすると、実施の形態の使用量は０．６８８０でよく、フレームメモリの容量を削減することができる。
　図２２は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。ここでは、図２０で得られた結果に対して、撮像フレームのサイズで正規化が行われている。図２２に例示するように、比較例に対して、実施の形態のフレームメモリの使用量は小さく、第１および第２の使用量はさらに小さい。
　図２３は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量の具体例である。合成対象のフレーム数Ｎ以外の諸条件は、図２０の場合と同様である。同図に例示するように、比較例に対して、実施の形態のフレームメモリの使用量は小さく、第１および第２の使用量はさらに小さい。
　図２４は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。ここでは、図２３で得られた結果に対して、撮像フレームのサイズで正規化が行われている。
　図２５は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を比較するための図である。動きの検出は、ブロックマッチングにより行われるものとする。合成処理時の動き検出の粒度をｓ１とし、電子手ブレ補正時の動き検出の粒度をｓ２とする。ここで、粒度は、フレーム全体に対する、ブロックマッチングを実行する座標の合計の比率を示す。例えば、フレームの全ての座標でブロックマッチングを実行する際は、粒度は１００％となる。また、Ｘ軸方向およびＹ軸方向において１画素飛ばしでブロックマッチングを実行する場合には粒度は２５％となる。また、比較例におけるカメラの動き検出時の検出枠サイズをｐｘおよびｐｙとする。また、実施の形態と第１および第２の変形例と比較例とにおける被写体の動きベクトル検出時の検出枠サイズをｑｘおよびｑｙとする。
　実施の形態の被写体の動きの検出対象のフレームサイズＳｉｎｍ０は、Ｓｏｕｔｃ０と同様である。また、実施の形態の被写体動き検出の検出範囲は、（２ｑｘ）×（２ｑｙ）である。また、実施の形態の被写体動き検出処理の計算量Ｑ０は、次の式により表される。
　　Ｑ０＝（Ｎ－１）×ｒ１２×（ｗ＋２ｒｘ＋２ｎｘ）
　　　　　　×（ｈ＋２ｒｙ＋２ｎｙ）×ｓ１２×２ｑｘ×２ｑｙ
　次に、第１の変形例の被写体の動きの検出対象のフレームサイズＳｉｎｍ１は、Ｓｏｕｔｃ１と同様である。また、第１の変形例の被写体動き検出の検出範囲は、（２ｑｘ）×（２ｑｙ）である。また、第１の変形例の被写体動き検出処理の計算量Ｑ１は、次の式により表される。
　　Ｑ１＝（Ｎ－１）×ｒ１２×（ｗ＋２ｎｘ）
　　　　　　×（ｈ＋２ｎｙ）×ｓ１２×２ｑｘ×２ｑｙ
　一方、比較例の被写体の動きの検出対象のフレームサイズＳｉｎｍ０は、ＳｏｕｔｃＳと同様である。また、比較例の被写体動き検出の検出範囲は、（２ｐｘ＋２ｑｘ）×（２ｐｙ＋２ｑｙ）である。また、比較例の被写体動き検出処理の計算量ＱＳは、次の式により表される。
　　ＱＳ＝（Ｎ－１）×ｒ１２×（ｗ＋２ｓｘ＋２ｎｘ）
　　　　　×（ｈ＋２ｓｙ＋２ｎｙ）
　　　　　×ｓ１２×（２ｐｘ＋２ｑｘ）×（２ｐｙ＋２ｑｙ）
　図２６は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量の具体例である。図２０と同様の諸条件と、図２５に例示した関係式とを用いて実施の形態と第１および第２の変形例と比較例とにおいて、被写体動き検出時の検出対象のフレームサイズ、検出範囲および計算量を求める。ただし、粒度ｓ１およびｓ２はいずれも０．１２５に設定される。また、ＷおよびＨに対するｐｘ、ｐｙ、ｑｘ、ｑｙの比率は、次のように設定される。
　　Ｗ：ｐｘ＝１００％：３％
　　Ｈ：ｐｙ＝１００％：５％
　　Ｗ：ｑｘ＝１００％：３％
　　Ｈ：ｑｙ＝１００％：５％
　比較例の計算量を９．３７５Ｅ－０５とすると、実施の形態の計算量は２．０２５Ｅ－０５に減少する。また、第１の変形例の計算量は１．５００Ｅ－０５となり、さらに減少する。
　図２７は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を示すグラフである。図２７では、図２６の計算結果について、実施の形態の計算量により、正規化が行われている。
　図２８は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の被写体動き検出時の計算量の具体例である。Ｎ以外の諸条件は、図２６の場合と同様とする。比較例の計算量を２．８１３Ｅ－０４とすると、実施の形態の計算量は６．０７５Ｅ－０５となる。また、第１の変形例の計算量は４．５００Ｅ－０５となる。
　このように、本技術の実施の形態の第２の変形例によれば、撮像装置１００は、動きベクトルの検出と回転補正とを行わないため、合成処理および回転補正における枠の分、フレームメモリ２６２の容量を削減することができる。また、被写体動き検出時の計算量を削減することができる。
　＜４．第３の変形例＞
　上述の実施の形態では、撮像装置１００は、一定の予測期間内の自身の動き量を予測し、その動き量に基づいて電子手ブレ補正を行っていた。しかし、予測期間が長いほど、動き量の予測精度が低下し、電子手ブレ補正後の画質が低下するという問題がある。この実施の形態の第３の変形例の撮像装置１００は、撮像装置１００の動き量の予測精度を向上させた点において実施の形態と異なる。
　図２９は、実施の形態の第３の変形例におけるＮ＝２の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。この第３の変形例では、予測期間の長さは、許容値以上の予測精度になるような所定の閾値以下に制限される。開始タイミングＴｍ０から起点タイミングＴｓ２までの期間と、開始タイミングＴｍ１から起点タイミングＴｓ２までの期間とのいずれかが閾値を超える場合には、Ｔｓ２よりもＴｃ２１に近いタイミングＴｓ２'が起点として用いられる。この場合、開始タイミングＴｍ０またはＴｍ１から起点タイミングＴｓ２'までの期間が予測期間となる。起点タイミングＴｓ２'は、予測期間が閾値以下になるタイミングである。
　このように、予測期間を閾値以下に制限することにより、実施の形態よりも予測精度を向上させることができる。ただし、その一方で、合成フレームに対する電子手ブレ補正の精度が低下する。これは、画像合成部２６０が合成対象の２枚のフレームを同程度の比率で合成するという仮定のもとで、手ブレ補正のタイミングの区切りをＴｓ２と仮置きしているためである。閾値は、予測精度の向上と、電子手ブレ補正の精度の低下とのバランスを考慮して設定される。
　図３０は、実施の形態の第３の変形例におけるＮ＝４の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。Ｎ＝２の場合と同様に、Ｔｍ０またはＴｍ１からＴｓ２'までの期間が予測期間となり、２枚目のフレームに対応する積算期間は、Ｔｓ２'からＴｃ２２までとなる。また、３枚目のフレームに対応する積算期間は、Ｔｓ２'から、３枚目の露光重心のタイミングＴｃ２３までとなり、４枚目のフレームに対応する積算期間は、Ｔｓ２'から、４枚目の露光重心のタイミングＴｃ２４までとなる。
　このように、本技術の実施の形態の第３の変形例によれば、撮像装置１００の動き量を予測する予測期間を閾値以下に制限するため、動き量の予測精度を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、
　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
　前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
を具備する画像処理装置。
（２）連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、
　前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部と
をさらに具備する前記（１）記載の画像処理装置。
（３）連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、
　前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給する
前記（２）記載の画像処理装置。
（４）前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、
　前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得する
前記（３）記載の画像処理装置。
（５）前記第１の予測期間の長さは、所定の閾値を超えない
前記（４）記載の画像処理装置。
（６）前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、
　前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得する
前記（４）または（５）に記載の画像処理装置。
（７）前記第２の予測期間の長さは、前記所定の閾値を超えない
前記（６）記載の画像処理装置。
（８）連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、
　前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）入力フレームを撮像する撮像部と、
　前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、
　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
　前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
を具備する撮像装置。
（１０）前記撮像部の動きを検出するセンサをさらに具備する
前記（９）記載の撮像装置。
（１１）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理手順と、
　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
を具備する画像処理方法。
（１２）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理手順と、
　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
をコンピュータに実行させるためのプログラム。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　撮像素子
　１３０　動き検出センサ
　１４０　記録部
　１５０　制御部
　２００　画像処理部
　２１０　カメラ動き演算部
　２１１　予測演算部
　２１２　合成フレーム間動き量積分器
　２１３　合成フレーム内動き量積分器
　２２０　補正量演算部
　２２１　合成フレーム内補正量演算部
　２３０　手ブレ補正量演算部
　２３１　座標変換部
　２３２　切り出し位置決定部
　２３３　ハイパスフィルタ
　２３４　カメラワーク推定部
　２３５　理想切り出し位置決定部
　２３６　補正枠内制限処理部
　２４０　切り出し処理部
　２４１　セレクタ
　２４２　補正量選択制御部
　２４３　位置合わせ処理部
　２５０　被写体動き検出部
　２５１　ゲイン調整部
　２５２　調整後動き検出部
　２５３、２６２　フレームメモリ
　２６０　画像合成部
　２６１　画像合成処理部
　２７０　回転補正部

Claims (12)

  1. 　入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、
    　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
    　前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
    を具備する画像処理装置。
  2. 　連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、
    　前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部と
    をさらに具備する請求項１記載の画像処理装置。
  3. 　連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、
    　前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給する
    請求項２記載の画像処理装置。
  4. 　前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、
    　前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得する
    請求項３記載の画像処理装置。
  5. 　前記第１の予測期間の長さは、所定の閾値を超えない
    請求項４記載の画像処理装置。
  6. 　前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、
    　前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得する
    請求項４記載の画像処理装置。
  7. 　前記第２の予測期間の長さは、前記所定の閾値を超えない
    請求項６記載の画像処理装置。
  8. 　連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、
    　前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成する
    請求項１記載の画像処理装置。
  9. 　入力フレームを撮像する撮像部と、
    　前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、
    　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
    　前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
    を具備する撮像装置。
  10. 　前記撮像部の動きを検出するセンサをさらに具備する
    請求項９記載の撮像装置。
  11. 　入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理手順と
    　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
    を具備する画像処理方法。
  12. 　入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理手順と
    　前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
    をコンピュータに実行させるためのプログラム。
PCT/JP2017/003096 2016-04-26 2017-01-30 画像処理装置、撮像装置、画像処理方法、および、プログラム WO2017187691A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/085,676 US10979653B2 (en) 2016-04-26 2017-01-30 Image processing apparatus, imaging apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016087820A JP6759680B2 (ja) 2016-04-26 2016-04-26 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2016-087820 2016-04-26

Publications (1)

Publication Number Publication Date
WO2017187691A1 true WO2017187691A1 (ja) 2017-11-02

Family

ID=60160201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003096 WO2017187691A1 (ja) 2016-04-26 2017-01-30 画像処理装置、撮像装置、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US10979653B2 (ja)
JP (1) JP6759680B2 (ja)
WO (1) WO2017187691A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139230A1 (en) * 2016-06-08 2019-05-09 Sharp Kabushiki Kaisha Image processing device, image processing program, and recording medium
WO2020137503A1 (ja) * 2018-12-27 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 画像処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
JP2020137044A (ja) 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 音声信号処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142507A (ja) * 2005-11-15 2007-06-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2009060167A (ja) * 2007-08-29 2009-03-19 Sanyo Electric Co Ltd 撮像装置
JP2009188754A (ja) * 2008-02-06 2009-08-20 Olympus Imaging Corp 撮像装置におけるパン又はチルト検出方法、及び撮像装置
JP2015118147A (ja) * 2013-12-17 2015-06-25 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4401949B2 (ja) 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP4492724B2 (ja) 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5843454B2 (ja) * 2011-03-15 2016-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置
US9560287B2 (en) * 2014-12-19 2017-01-31 Sony Corporation Noise level based exposure time control for sequential subimages
US10397600B1 (en) * 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142507A (ja) * 2005-11-15 2007-06-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2009060167A (ja) * 2007-08-29 2009-03-19 Sanyo Electric Co Ltd 撮像装置
JP2009188754A (ja) * 2008-02-06 2009-08-20 Olympus Imaging Corp 撮像装置におけるパン又はチルト検出方法、及び撮像装置
JP2015118147A (ja) * 2013-12-17 2015-06-25 キヤノン株式会社 撮像装置およびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139230A1 (en) * 2016-06-08 2019-05-09 Sharp Kabushiki Kaisha Image processing device, image processing program, and recording medium
US10937174B2 (en) * 2016-06-08 2021-03-02 Sharp Kabushiki Kaisha Image processing device, image processing program, and recording medium
WO2020137503A1 (ja) * 2018-12-27 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 画像処理装置
EP3905656A4 (en) * 2018-12-27 2022-02-23 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE

Also Published As

Publication number Publication date
US10979653B2 (en) 2021-04-13
JP6759680B2 (ja) 2020-09-23
US20200228728A1 (en) 2020-07-16
JP2017199995A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
JP3770271B2 (ja) 画像処理装置
US8760526B2 (en) Information processing apparatus and method for correcting vibration
JP6087671B2 (ja) 撮像装置およびその制御方法
WO2017187691A1 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2012037779A (ja) 防振制御装置及びその制御方法、及び、防振制御装置を搭載した撮像装置
WO2008032442A1 (fr) Dispositif de traitement d'images, caméra électronique et programme de traitement d'images
JP2011029735A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2011029735A5 (ja)
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2014039223A5 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2008277896A (ja) 撮像装置および撮像方法
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP5211589B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP4715366B2 (ja) 複数画像合成方法及び複数画像合成装置
JP3564247B2 (ja) 画像動き補正装置
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6223161B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2011114486A (ja) 撮像装置
JP2012199803A (ja) 撮像装置、及びその制御方法、プログラム
US20180302589A1 (en) Moving image reproduction apparatus having function of correcting camera shake during moving image reproduction, method of controlling the same, and storage medium
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP4619895B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2015195497A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17788981

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17788981

Country of ref document: EP

Kind code of ref document: A1