WO2022059265A1 - 画像処理装置、及び画像処理プログラム - Google Patents

画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2022059265A1
WO2022059265A1 PCT/JP2021/020802 JP2021020802W WO2022059265A1 WO 2022059265 A1 WO2022059265 A1 WO 2022059265A1 JP 2021020802 W JP2021020802 W JP 2021020802W WO 2022059265 A1 WO2022059265 A1 WO 2022059265A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
cutout position
frame
vector
Prior art date
Application number
PCT/JP2021/020802
Other languages
English (en)
French (fr)
Inventor
優 北條
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP21868952.9A priority Critical patent/EP4216537A4/en
Priority to CN202180048380.4A priority patent/CN115804101A/zh
Publication of WO2022059265A1 publication Critical patent/WO2022059265A1/ja
Priority to US18/182,220 priority patent/US20230283898A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing device that processes each frame of an image captured by an image pickup unit, and an image processing program.
  • Cameras equipped with an electronic image stabilization function are widely used.
  • the range of the angle of view cut out from the imaging range is adaptively moved so that the camera shake of the camera is offset, and an image with reduced blur is generated.
  • electronic image stabilization the position of the subject within the angle of view is controlled to be fixed as much as possible. However, when the viewpoint moves due to the movement of the camera, the composition within the angle of view changes, and the appearance of the positional relationship between the object and the background changes.
  • Patent Document 1 discloses a technique of synthesizing parallax images captured from a plurality of viewpoints having different subject spaces and synthesizing an image close to the image before the viewpoint changes.
  • this technique requires an image pickup device having a plurality of pixels for one microlens, which complicates the optical system.
  • This embodiment was made in view of such a situation, and the purpose is to provide a technique for electronically generating a stable image including composition even if the shooting viewpoint is blurred.
  • the image processing apparatus has an image acquisition unit that acquires an image captured by the image pickup unit and an output signal of a sensor for detecting vibration applied to the image pickup unit. Or, based on the difference between the frames of the acquired image, attention is paid from the movement amount specifying unit that specifies the movement amount of the image pickup unit based on the vibration applied to the image pickup unit and the frame of the acquired image.
  • the distance from the image pickup unit to the object is determined based on the object detection unit that detects the object to be output, the output signal from the sensor for measuring the distance, or the size of the object in the frame.
  • a cutout position determination unit that moves the cutout position according to the correction vector and separately determines a cutout position for an object and a cutout position for a background according to the strength of the correction vector.
  • an image synthesizing unit that synthesizes the image data of the object cut out from the cutout position for the object and the image data of the background excluding the object cut out from the cutout position for the background. ..
  • a stable image including composition can be electronically generated.
  • 6 (a)-(c) are diagrams for explaining a specific example of the composite image generation process by the image processing apparatus according to the second embodiment (No. 2).
  • 7 (a)-(c) are diagrams for explaining a specific example of the composite image generation process by the image processing apparatus according to the second embodiment (No. 3). It is a figure which shows the structure of the image pickup apparatus which concerns on Embodiment 3 of this invention.
  • 9 (a)-(c) are diagrams for explaining a specific example of the limitation processing of the total cutting range by the image processing apparatus according to the first and third embodiments.
  • FIG. 1 is a diagram showing a configuration of an image pickup apparatus 1 according to a first embodiment of the present invention.
  • the image pickup device 1 may be a single video camera, or may be a camera module mounted on an information device such as a smartphone, a tablet, or a notebook PC.
  • the image pickup device 1 includes an image pickup unit 10, a vibration detection sensor 11, and an image processing device 20.
  • the image pickup unit 10 includes a lens, a solid-state image pickup device, and a signal processing circuit.
  • a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Devices) image sensor can be used as the solid-state image sensor.
  • the solid-state image sensor converts the light incident through the lens into an electrical video signal and outputs it to a signal processing circuit.
  • the signal processing circuit performs signal processing such as A / D conversion and noise removal on the video signal input from the solid-state image sensor, and outputs the signal to the image processing device 20.
  • the vibration detection sensor 11 detects the vibration applied to the image pickup unit 10 and outputs it to the image processing device 20.
  • a gyro sensor can be used for the vibration detection sensor 11.
  • the gyro sensor detects vibrations applied to the yaw direction and the pitch direction of the imaging unit 10 as angular velocities, respectively.
  • the image processing device 20 includes a video acquisition unit 21, an image recognition unit 22, an object detection unit 23, an object tracking unit 24, a motion vector detection unit 25, a cutting position determination unit 27, a vibration information acquisition unit 28, and a movement amount specification.
  • a unit 29, a cutout unit 30, an image composition unit 31, and a pixel complement unit 32 are provided. These components can be realized by the cooperation of hardware resources and software resources, or only by hardware resources.
  • hardware resources CPU, ROM, RAM, GPU (GraphicsProcessingUnit), DSP (DigitalSignalProcessor), ISP (ImageSignalProcessor), ASIC (ApplicationSpecific IntegratedCircuit), FPGA (Field-ProgrammableGateArray), etc.
  • LSI can be used.
  • Programs such as firmware can be used as software resources.
  • the image acquisition unit 21 acquires the image captured by the image pickup unit 10.
  • the vibration information acquisition unit 28 acquires the output signal of the vibration detection sensor 11 as vibration component information.
  • the movement amount specifying unit 29 integrates the output signal acquired by the vibration information acquisition unit 28 to specify the movement amount of the image pickup unit 10. For example, the movement amount specifying unit 29 integrates the angular velocity signals in the yaw direction and the pitch direction acquired by the vibration information acquisition unit 28, respectively, to calculate the movement angle in the yaw direction and the pitch direction of the imaging unit 10.
  • the total movement amount of the background region may be specified as the movement amount of the imaging unit 10. In this case, even if the vibration detection sensor 11 is omitted, the amount of movement of the image pickup unit 10 based on the vibration applied to the image pickup unit 10 can be estimated. If the vibration detection sensor 11 is omitted, the cost can be reduced.
  • the movement amount specifying unit 29 generates a correction vector for canceling the movement amount of the specified imaging unit 10. That is, a correction vector having a correction amount equal to the movement amount of the image pickup unit 10 is generated in the direction in which the image pickup unit 10 is blurred.
  • the movement amount specifying unit 29 outputs the generated correction vector to the cutting position determining unit 27. When the image pickup unit 10 is ideally stationary, the value of the correction vector becomes zero.
  • the image recognition unit 22 searches for an object in the frame of the image acquired by the image acquisition unit 21.
  • the image recognition unit 22 has, as dictionary data, a discriminator for a specific object generated by learning a large number of images showing the specific object.
  • Specific objects include, for example, the face of a person, the whole body of a person, the face of an animal (eg, a dog or cat), the whole body of an animal, a vehicle (eg, a railroad vehicle), and the like.
  • the image recognition unit 22 searches within the frame of the image using the classifier of each object. For example, a HOG (Histograms of Oriented Gradients) feature quantity can be used for recognizing an object. In addition, Haar-like feature amount, LBP (Local Binary Patterns) feature amount, and the like may be used. When an object exists in the frame, the image recognition unit 22 captures the object with a rectangular detection frame.
  • HOG Hemograms of Oriented Gradients
  • LBP Local Binary Patterns
  • the object detection unit 23 determines whether or not to detect the object recognized by the image recognition unit 22 as a noteworthy object.
  • the object of interest is an object presumed to be the subject of interest by the user (photographer) of the image pickup apparatus 1.
  • the object detection unit 23 determines whether or not the recognized object is the subject based on any one or a combination of a plurality of the following determination criteria. Whether (a) an object larger than a predetermined size, (b) an object located in the central region of the frame, (c) an object is a person or an animal, or (d) an object Is the distance less than the predetermined value (the method of estimating the distance to the object will be described later), (e) there is no part hidden in the object, and (f) the movement of the object is smaller than the predetermined value (movement). The detection method of is described later).
  • the object detection unit 23 may detect all the objects satisfying the above criteria as subjects, or one or more of the following criteria.
  • One subject may be selected based on the combination of. (A)'is the largest object in the frame, (b)'is the most central object in the frame, (d)'is the closest object to the object, (f) 'Is it the smallest moving object?
  • the object detection unit 23 determines the object touched by the user of the image pickup apparatus 1 as the subject among the objects displayed in the finder screen. May be good.
  • the object tracking unit 24 tracks the object recognized by the image recognition unit 22 in the subsequent frame.
  • a particle filter or a mean shift method can be used for tracking an object.
  • the object to be tracked may be all objects recognized by the image recognition unit 22, or may be only objects detected as objects of interest by the object detection unit 23. When the movement of the object is used as the selection criterion of the subject, it is necessary to track all the objects recognized by the image recognition unit 22.
  • the motion vector detection unit 25 detects the amount of remarkable movement of the object between frames of the video as the motion vector of the object.
  • This motion vector shows a forward vector (tracking vector) of the motion of the object.
  • the cutout position determination unit 27 determines a cutout position for cutting out an image of a predetermined size from each frame of the video.
  • the cutout position determination unit 27 determines a range of an image to be displayed or recorded by cutting out a part of the image pickup range captured by all the pixels of the solid-state image pickup device.
  • an electronic image stabilization function is adopted.
  • the position of the angle of view cut out from the entire imaging range is adaptively changed so that the image stabilization of the image pickup apparatus 1 is offset.
  • the subject tracking function is also adopted.
  • the position of the angle of view cut out from the entire imaging range is changed so that the position of the subject within the angle of view is fixed as much as possible with respect to the movement of the subject.
  • the real-time angle of view is cut out by the electronic image stabilization function and the subject tracking function.
  • the cutout position determination unit 27 acquires a correction vector from the movement amount specifying unit 29, and acquires the position and motion vector of the object to be noted from the motion vector detection unit 25.
  • the cutout position determination unit 27 separately determines the cutout position of the object of interest and the cutout position of the background.
  • the cutout position determination unit 27 moves the cutout position for the object of the reference frame according to the composite vector obtained by synthesizing the correction vector and the motion vector of the object, and determines the cutout position for the object of the current frame.
  • the correction vector is a correction vector for canceling the movement of the imaging unit 10 between the previous frame and the current frame
  • the motion vector of the object is the movement of the object between the previous frame and the current frame. It becomes a motion vector indicating.
  • the correction vector is a correction vector for canceling the movement of the imaging unit 10 between the frame at the start of tracking and the current frame
  • the motion vector of the object is the start of tracking. It is a motion vector showing the movement of the object between the frame of time and the current frame.
  • the cutout position determination unit 27 moves the cutout position for the background of the reference frame according to the correction vector, and determines the cutout position for the background of the current frame.
  • the correction vector is a correction vector for canceling the movement of the imaging unit 10 between the previous frame and the current frame.
  • the correction vector is a correction vector for canceling the movement of the image pickup unit 10 between the frame at the start of tracking and the current frame.
  • the cutout position determination unit 27 may move the cutout position for the object of the current frame according to the inverse vector of the motion vector of the object to determine the cutout position for the background.
  • the motion vector of the object is a motion vector indicating the motion between the frame at the start of tracking and the current frame.
  • the cutting unit 30 cuts out only the image data of the object from the image data of the cutting position for the object.
  • the cutout unit 30 cuts out the image data of the background excluding the object from the image data of the cutout position for the background.
  • the image synthesizing unit 31 synthesizes the image data of the cut-out object and the cut-out background image data.
  • the pixel complementing unit 32 complements the defective pixels in the synthesized image based on at least one effective pixel that is spatially or temporally close to the missing pixel.
  • FIGS. 2 (a)-(c) are diagrams for explaining a specific example of the composite image generation process by the image processing device 20 according to the first embodiment (No. 1).
  • 3 (a)-(c) are diagrams for explaining a specific example of the composite image generation process by the image processing apparatus 20 according to the first embodiment (No. 2).
  • the cutout position determination unit 27 sets the cutout position C0 in the center of the frame F0 by default.
  • the object detection unit 23 detects the object OB1 in the frame F0 as a noteworthy object.
  • the object tracking unit 24 starts tracking the object OB1.
  • the object OB1 is moving to the left.
  • the image pickup unit 10 is moving upward due to camera shake of the photographer.
  • the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 in the current frame F1 according to the composite vector of the camera shake correction vector and the motion vector of the object OB1.
  • the cutout position C1 for the object OB1 is determined.
  • the cutout position determination unit 27 moves the cutout position C1 for the object OB1 of the current frame F1 according to the inverse vector of the motion vector of the object OB1, and the cutout position C2 for the background. To determine.
  • the cutting section 30 cuts out the image data of the object OB1 from the image data of the cutting position C1 for the object OB1 of the current frame F1.
  • the cutout portion 30 cuts out the background image data excluding the image data of the object OB1 from the image data of the cutout position C2 for the background of the current frame F1.
  • the image synthesizing unit 31 synthesizes the image data of the cut-out object OB1 and the cut-out background image data to generate a new composite image Ic.
  • the angle of view for the subject and the angle of view for the background are cut out separately, and the angle of view for the background is cut out separately.
  • the background blur is corrected for.
  • the background blur can be suppressed by synthesizing the angle of view for the subject and the angle of view for the background.
  • the image stabilization is performed on both the angle of view for the subject and the angle of view for the background. As a result, it is possible to generate an image in which blurring is suppressed over the entire angle of view.
  • FIG. 4 is a diagram showing the configuration of the image pickup apparatus 1 according to the second embodiment of the present invention.
  • the image pickup device 1 according to the second embodiment includes an image pickup unit 10, a vibration detection sensor 11, a distance detection sensor 12, and an image processing device 20.
  • the image processing device 20 according to the second embodiment includes a video acquisition unit 21, an image recognition unit 22, an object detection unit 23, a vector strength adjustment unit 26, a cutting position determination unit 27, a vibration information acquisition unit 28, and a movement amount specification.
  • a unit 29, a cutting unit 30, an image composition unit 31, a pixel complement unit 32, a distance information acquisition unit 33, and a distance specifying unit 34 are provided.
  • the distance detection sensor 12 is a sensor for detecting the distance of an object in the shooting direction from the image pickup unit 10.
  • a TOF (Time of Flight) sensor can be used for the distance detection sensor 12.
  • Typical TOF sensors include ultrasonic sensors (sonar) and LiDAR (Light Detection and Ringing).
  • An ultrasonic sensor emits an ultrasonic wave in the shooting direction, measures the time until the reflected wave is received, and detects the distance to an object in the shooting direction.
  • LiDAR irradiates a laser beam in the shooting direction, measures the time until the reflected light is received, and detects the distance to an object in the shooting direction.
  • the distance information acquisition unit 33 acquires the output signal of the distance detection sensor 12 as distance information.
  • the distance specifying unit 34 generates a distance image corresponding to the visible light image captured by the imaging unit 10 based on the acquired distance information.
  • the distance specifying unit 34 may estimate the distance from the imaging unit 10 to the object captured in the frame by image recognition. For example, the relationship between the general size of the object registered as dictionary data, the size of the object reflected in the frame, and the distance from the imaging unit 10 to the object is defined in advance by a table or a function. I will do it.
  • the distance specifying unit 34 estimates the distance from the imaging unit 10 to the object by referring to the table or the function based on the size of the object recognized by the image recognition unit 22 in the frame. .. In this case, even if the distance detection sensor 12 is omitted, the distance to the object reflected in the frame can be estimated. If the distance detection sensor 12 is omitted, the cost can be reduced.
  • the distance specifying unit 34 may use the distance acquired from the autofocus adjustment unit.
  • the distance specifying unit 34 estimates the distance to the object captured in the frame based on the parallax between the images captured by the two-eye imaging unit 10. You may.
  • the subject tracking function is omitted. Therefore, basically, it is not necessary to calculate the motion vector of the object, and in the second embodiment, the object tracking unit 24 and the motion vector detecting unit 25 are omitted from the image processing device 20.
  • the electronic image stabilization function is also adopted in the second embodiment. That is, the position of the angle of view cut out from the entire imaging range is adaptively moved so that the camera shake of the image pickup apparatus 1 is offset.
  • the vector strength adjusting unit 26 for adjusting the strength of the correction vector for canceling the camera shake is added.
  • the vector intensity adjusting unit 26 acquires a correction vector from the movement amount specifying unit 29, and acquires the distance from the distance specifying unit 34 to the object.
  • the vector intensity adjusting unit 26 adjusts the intensity of the correction vector acquired from the movement amount specifying unit 29 according to the distance to the object acquired from the distance specifying unit 34.
  • the vector intensity adjusting unit 26 sets the intensity of the correction vector stronger as the distance to the object is shorter, and weakens the intensity of the correction vector as the distance to the object is longer.
  • the relationship between the amount of camera shake, the distance from the image pickup unit 10 to the object, and the amount of movement of the object reflected in the frame due to camera shake is defined in advance by a table or a function. The relationship may be derived based on experiments or simulations by the designer.
  • the vector intensity adjusting unit 26 refers to the table or the function based on the distance from the imaging unit 10 acquired from the distance specifying unit 34 to the object, and the intensity of the correction vector acquired from the movement amount specifying unit 29. To adjust.
  • the cutout position determining unit 27 acquires the position of the object of interest from the object detecting unit 23, and acquires the correction vector of the object from the vector intensity adjusting unit 26.
  • the cutout position determination unit 27 moves the cutout position of the reference frame (for example, the previous frame) according to the correction vector, and determines the cutout position of the current frame.
  • the cutout position determination unit 27 separately determines the cutout position for the object and the cutout position for the background according to the strength of the correction vector for the object and the background.
  • the cutout position determination unit 27 determines the cutout position for each object of interest. For example, when the first object and the second object located behind the first object are detected as notable objects in the frame, the vector intensity adjusting unit 26 uses the first object. The strength of the correction vector is set stronger than the correction strength of the second object.
  • the background correction vector may be used as it is without adjusting the strength of the correction vector, or the strength may be adjusted by the vector strength adjusting unit 26.
  • the entire background may be divided into a plurality of backgrounds according to the division of the distance, and the vector intensity adjusting unit 26 may adjust the intensity of the correction vector for each divided background. Further, the vector intensity adjusting unit 26 may adjust the intensity of the correction vector based on a representative value (for example, an average value, a median value, or a mode value) of the distance to each object constituting the background.
  • a representative value for example, an average value, a median value, or a mode value
  • 5 (a)-(c) are diagrams for explaining a specific example of the composite image generation processing by the image processing apparatus 20 according to the second embodiment (No. 1).
  • 6 (a)-(c) are diagrams for explaining a specific example of the composite image generation process by the image processing apparatus 20 according to the second embodiment (No. 2).
  • 7 (a)-(b) are diagrams for explaining a specific example of the composite image generation process by the image processing device 20 according to the second embodiment (No. 3).
  • the cutout position determination unit 27 sets the cutout position C0 in the center of the frame F0 by default.
  • the object detection unit 23 detects the first object OB1 and the second object OB2 as notable objects in the frame F0.
  • the second object OB2 exists behind the first object OB1 when viewed from the image pickup unit 10, and a part of the second object OB2 is hidden by the first object OB1 in the frame F0.
  • FIG. 5 (b) shows a state in which the image pickup unit 10 has moved to the right due to camera shake of the imager from the state shown in FIG. 5 (a).
  • FIG. 5B shows a case where the electronic image stabilization function is off. In this case, the cutting position C0 does not change, and the first object OB1 and the second object OB2 move to the left side of the angle of view.
  • the viewpoint moves to the right due to the movement of the imaging unit 10 to the right, which changes the appearance of the relative positional relationship between the first object OB1 and the second object OB2.
  • the first object OB1 closer to the viewpoint moves more to the left than the second object OB1 far from the viewpoint. That is, in the current frame F1 as compared with the reference frame F0 before camera shake, the overlapping portion of the first object OB1 and the second object OB2 becomes larger, and the portion where the second object OB2 is hidden by the first object OB1. Is getting bigger.
  • FIG. 5C shows a case where the electronic image stabilization function is on and the cutout position C0 of the reference frame F0 is simply moved to the left according to the image stabilization vector. Due to the movement of the cutting position C0, the first object OB1 and the second object OB2 are arranged at the center of the angle of view at the cutting position C0'of the current frame F1. However, the composition of the first object OB1 and the second object OB2 in the current frame F1 is different from that of the reference frame F0.
  • the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 according to the correction vector of the first object OB1 and determines the cutout position C1 for the first object OB1. do.
  • the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 according to the correction vector of the second object OB2, and determines the cutout position C2 for the second object OB2. do.
  • the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 according to the correction vector of the background, and determines the cutout position C3 for the background.
  • the cutting portion 30 cuts out the image data of the first object OB1 from the image data of the cutting position C1 for the first object OB1, and the cutting position for the second object OB2.
  • the image data of the second object OB2 is cut out from the image data of C2, and the background image data excluding the first object OB1 and the second object OB2 is cut out from the image data of the cutout position C3 for the background.
  • the image composition unit 31 synthesizes the image data of the cut out first object OB1, the image data of the cut out second object OB2, and the image data of the cut out background to generate a new composite image Ic. do.
  • the composition of the first object OB1 and the second object OB2 in the newly generated composite image Ic is the same as the composition of the first object OB1 and the second object OB2 in the cutout position C0 of the reference frame F0. Become. That is, it is possible to perform pseudo viewpoint conversion as if the image pickup unit 10 was not moving.
  • the overlapping portion of the first object OB1 and the second object OB2 in the composite image Ic newly generated from the current frame F1 is the overlapped portion of the first object OB1 and the second object OB2 actually reflected in the current frame F1. Less than the overlap. Therefore, in the newly generated composite image Ic, missing pixels occur in the area of the difference between the overlapping portions of the two. That is, a part of the region hidden in the first object OB1 becomes the defective pixel region Rm.
  • the pixel complementing unit 32 complements the pixels of the defective pixel region Rm based on at least one effective pixel that is spatially or temporally close to the defective pixel region Rm. As a first complement method, the pixel complement unit 32 generates complementary pixels from peripheral pixels adjacent to the defective pixel region Rm in the current frame F1.
  • the pixel complementing unit 32 allocates the same pixel as the effective pixel closest to each pixel to each pixel in the defective pixel area Rm. For example, the pixel complementing unit 32 may assign representative values of a plurality of effective pixels adjacent to the defective pixel area Rm to the pixels in the defective pixel area Rm. For each pixel in the defective pixel region Rm, a plurality of effective pixels in the vicinity may be specified, and a representative value of the specific plurality of effective pixels may be calculated.
  • the pixel complementing unit 32 may interpolate a plurality of pixels in the defective pixel region Rm between effective pixels adjacent to the left, right, top, and bottom of the defective pixel region Rm. For example, linear interpolation may be performed in line units. At that time, a plurality of pixels in the defective pixel region Rm may be interpolated by adding a gradation. When adding a gradation, the color difference between a plurality of pixels may be uniform, or the color difference between each pixel may have a change according to a certain rule (for example, an exponential change).
  • a certain rule for example, an exponential change
  • the pixel complementing unit 32 has effective pixels in a region corresponding to the defective pixel region Rm of the current frame F1 (hereinafter, simply referred to as a corresponding region) in a plurality of frames temporally close to the current frame F1.
  • An existing frame is searched, and the pixels of the defective pixel area Rm of the current frame F1 are complemented based on the effective pixels of the corresponding area in the searched frame.
  • the pixel complementing unit 32 complements the effective pixels of the corresponding area in the frame most temporally adjacent to the current frame F1 among the frames in which the effective pixels exist in the corresponding area to the defective pixel area Rm of the current frame F1. ..
  • the representative value of the effective pixels in the corresponding area is the representative of the pixels in the area of the second object OB2 having the defective portion in the current frame F1. Identify the frame closest to the value.
  • the pixel complementing unit 32 complements the effective pixels in the corresponding region in the specified frame with the defective pixel region Rm of the current frame F1.
  • the pixel complement unit 32 estimates the original shape of the second object OB2 having a defect portion in the current frame F1, and sets the defect pixel region Rm into the region of the second object OB2 and the background region. Divide and complement the pixels for each area.
  • the pixel complementing portion 32 draws a straight line L1 between two points where the outer circumference of the second object OB2 and the outer circumference of the defective pixel region Rm intersect.
  • the pixel complementing unit 32 estimates that the left side region Rm2 of the straight line L1 is the region of the second object OB2 in the defective pixel region Rm, and the right side region Rm1 of the straight line L1 is estimated to be the background region.
  • the pixel complementing unit 32 complements the pixels in the left side region Rm2 of the defective pixel region Rm based on the effective pixels of the second object OB2. At that time, the first complement method can be used after setting the reference range to the range of the effective pixels of the second object OB2. The pixel complementing unit 32 complements the pixels in the right side region Rm1 of the defective pixel region Rm based on the effective pixels of the background close to the right side region Rm1. At that time, the first complement method can be used after setting the reference range to the range of the effective pixels of the background.
  • the subject and the background are separately corrected for camera shake in the same frame.
  • the correction intensity of the subject and the background according to the distance from the image pickup unit 10
  • the unnaturalness of the image can be reduced by complementing the pixels that are spatially or temporally close to each other. As a result, it is possible to generate an image as if the image pickup apparatus 1 is stationary despite the occurrence of camera shake.
  • FIG. 8 is a diagram showing the configuration of the image pickup apparatus 1 according to the third embodiment of the present invention.
  • the image pickup device 1 according to the third embodiment includes an image pickup unit 10, a vibration detection sensor 11, a distance detection sensor 12, and an image processing device 20.
  • the image processing device 20 according to the third embodiment includes a video acquisition unit 21, an image recognition unit 22, an object detection unit 23, an object tracking unit 24, a motion vector detection unit 25, a vector intensity adjustment unit 26, and a cutting position determination.
  • a unit 27, a vibration information acquisition unit 28, a movement amount specifying unit 29, a cutting unit 30, an image synthesis unit 31, a pixel complementing unit 32, a distance information acquisition unit 33, and a distance specifying unit 34 are provided.
  • the vector intensity adjusting unit 26 acquires the motion vector of the object of interest from the motion vector detecting unit 25, and acquires the distance from the distance specifying unit 34 to the object.
  • the vector intensity adjusting unit 26 adjusts the intensity of the motion vector of the remarkable object acquired from the motion vector detecting unit 25 according to the distance to the object acquired from the distance specifying unit 34.
  • the vector intensity adjusting unit 26 sets the intensity of the motion vector of the object stronger as the distance to the object is shorter, and sets the intensity of the motion vector of the object weaker as the distance to the object is longer. ..
  • the relationship between the amount of movement of the object due to the actual movement, the distance from the imaging unit 10 to the object, and the amount of movement of the object in the frame with respect to the actual movement of the object is defined in advance by a table or a function. Keep it. The relationship may be derived based on experiments or simulations by the designer.
  • the vector intensity adjusting unit 26 refers to the table or the function based on the distance from the imaging unit 10 acquired from the distance specifying unit 34 to the object, and the object is acquired from the motion vector detecting unit 25. Adjust the intensity of the motion vector.
  • the cutout position determination unit 27 moves the cutout position of the reference frame according to the composite vector of the camera shake correction vector and the motion vector of the object adjusted by the vector intensity adjustment unit 26, and the target.
  • the cutting position for the object is determined (see FIG. 2 (b)). The following processing is the same as that of the first embodiment.
  • FIG. 9A are diagrams for explaining a specific example of the limitation processing of the total cutting range by the image processing apparatus 20 according to the first and third embodiments.
  • the cutout position determination unit 27 sets the cutout position C0 in the center of the frame F0 by default.
  • the object detection unit 23 detects the first object OB1 and the second object OB2 as notable objects in the frame F0.
  • the object tracking unit 24 starts tracking the first object OB1 and the second object OB2.
  • the first object OB1 is moving to the left and the second object OB2 is moving to the right.
  • the image pickup unit 10 is moving upward due to camera shake of the photographer.
  • the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 in the current frame F1 according to the composite vector of the camera shake correction vector and the motion vector of the first object OB1. Then, the cutout position C1 for the first object OB1 is determined. Similarly, in the current frame F1, the cutout position determination unit 27 moves the cutout position C0 of the reference frame F0 according to the composite vector of the camera shake correction vector and the motion vector of the second object OB2, and moves the second object OB2. The cutout position C2 for use is determined.
  • the width W1 of the total cutting range before synthesis of the cutting position C1 for the first object OB1 and the cutting position C2 for the second object OB2 is widened.
  • Image data of the first object OB1 in the cutout position C1, image data of the second object OB2 in the cutout position C2, and background data in the cutout position for the background (not shown in FIG. 9B).
  • a limit is set on the total cutting range. Specifically, the width upper limit Wt and the height upper limit Ht are set in the total cutting range.
  • the vector intensity adjusting unit 26 adjusts the intensity of at least one motion vector of the plurality of objects so as to be within the limit of the total cutting range.
  • the vector intensity adjusting unit 26 weakens the intensity of the motion vector of the second object OB2 so as to satisfy the width upper limit Wt of the total cutting range.
  • the width W1'of the total cutting range before synthesis of the cutting position C1 for the first object OB1 and the cutting position C2'for the second object OB2 is the total cutting range.
  • the intensity of the motion vector of the second object OB2 is weakened so as to coincide with the width upper limit Wt. In this case, a part of the second object OB2 is removed from the angle of view in the composite image.
  • the vector intensity adjusting unit 26 may weaken the intensity of the motion vector of the first object OB1 instead of the intensity of the motion vector of the second object OB2, or the motion of the first object OB1 and the second object OB2. Both strengths of the vector may be weakened.
  • the object that weakens the strength of the motion vector may be an object with a low priority.
  • the priority may be set higher for an object having a larger size. Further, the priority may be set higher as the object is closer to the center in the frame. Further, the priority may be set higher as the distance from the image pickup unit 10 is shorter. Further, the priority may be set higher for an object having a smaller movement. Further, a plurality of these criteria may be used in combination.
  • the user may be able to change the values of the width upper limit Wt and the height upper limit Ht of the total cutting range.
  • the values of the width upper limit Wt and the height upper limit Ht are set smaller, the strength of the correction becomes weaker, and the deviation from the actual composition can be reduced.
  • the effects of both the first embodiment and the second embodiment are exhibited. That is, blurring is suppressed over the entire angle of view, and it is possible to generate an image in which the composition within the angle of view is natural.
  • the second embodiment can be regarded as an example of the case where the subject is stationary in the third embodiment.
  • FIGS. 9 (a) to 9 (c) above an example in which a plurality of objects to be tracked are set in the frame has been described.
  • the object that is not the object to be tracked is processed as the background.
  • the video data of the entire imaging range and the sensor information of each frame time are recorded, and after the shooting is completed, the recorded video data of the entire imaging range and the sensor information of each frame time are read out, and the above-described first embodiment 1
  • the composite image generation process according to -3 may be executed. In that case, the composite image generation process may be executed not in the image pickup device 1 but in another image reproduction device (for example, a PC or a smartphone).
  • the present invention can be used for a camera equipped with an electronic image stabilization function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

対象物検出部２３は、撮像部１０から取得された映像のフレーム内から、注目すべき対象物を検出する。ベクトル強度調整部２６は、撮像部１０に加わる振動によるブレを打ち消すための補正ベクトルの強度を調整する。切出位置決定部２７は、取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する。切出位置決定部２７は、切り出し位置を補正ベクトルに従い移動させ、補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する。画像合成部３１は、対象物用の切り出し位置から切り出された対象物の画像データと、背景用の切り出し位置から切り出された対象物を除く背景の画像データを合成する。

Description

画像処理装置、及び画像処理プログラム
　本発明は、撮像部により撮像された映像の各フレームを処理する画像処理装置、及び画像処理プログラムに関する。
　電子式の手ブレ補正機能が搭載されたカメラが広く普及している。電子式の手ブレ補正機能では、カメラの手ブレが相殺されるように、撮像範囲から切り出す画角の範囲を適応的に移動させて、ブレが低減された画像を生成する。電子式の手ブレ補正では、画角内の被写体の位置ができるだけ固定されるように制御される。しかしながら、カメラの移動により視点が移動すると、画角内の構図が変わり、対象物と背景の位置関係の見え方が変わる。
　特許文献１は、被写体空間が異なる複数の視点から撮像した視差画像を合成して、視点が変わる前の画像に近い画像を合成する技術を開示する。ただし、この技術では一つのマイクロレンズに対して複数の画素を備えた撮像素子が必要であり、光学系が複雑化する。
特開２０１６－４２６６２号公報
　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、撮影視点がブレても、構図を含めて安定した映像を電子的に生成する技術を提供することにある。
　上記課題を解決するために、本実施形態のある態様の画像処理装置は、撮像部により撮像された映像を取得する映像取得部と、前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する移動量特定部と、取得された映像のフレーム内から、注目すべき対象物を検出する対象物検出部と、距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する距離特定部と、前記振動によるブレを打ち消すための補正ベクトルの強度を調整するベクトル強度調整部と、取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する切出位置決定部であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する切出位置決定部と、前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する画像合成部と、を備える。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を、装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、撮影視点がブレても、構図を含めて安定した映像を電子的に生成することができる。
本発明の実施の形態１に係る撮像装置の構成を示す図である。 図２（ａ）－（ｃ）は、実施の形態１に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その１）。 図３（ａ）－（ｃ）は、実施の形態１に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その２）。 本発明の実施の形態２に係る撮像装置の構成を示す図である。 図５（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その１）。 図６（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その２）。 図７（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その３）。 本発明の実施の形態３に係る撮像装置の構成を示す図である。 図９（ａ）－（ｃ）は、実施の形態１、３に係る画像処理装置による総切り出し範囲の制限処理の具体例を説明するための図である。
　図１は、本発明の実施の形態１に係る撮像装置１の構成を示す図である。撮像装置１は、単体のビデオカメラであってもよいし、スマートフォン、タブレット、ノートＰＣなどの情報機器に搭載されるカメラモジュールであってもよい。
　実施の形態１に係る撮像装置１は、撮像部１０、振動検出センサ１１及び画像処理装置２０を備える。撮像部１０は、レンズ、固体撮像素子、信号処理回路を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置２０に出力する。
　振動検出センサ１１は、撮像部１０に加わる振動を検出して、画像処理装置２０に出力する。振動検出センサ１１には例えば、ジャイロセンサを使用することができる。ジャイロセンサは、撮像部１０のヨー方向およびピッチ方向に加わる振動を角速度としてそれぞれ検出する。
　画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、対象物追尾部２４、動きベクトル検出部２５、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１及び画素補完部３２を備える。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。
　映像取得部２１は、撮像部１０により撮像された映像を取得する。振動情報取得部２８は、振動検出センサ１１の出力信号を振動成分情報として取得する。移動量特定部２９は、振動情報取得部２８により取得された出力信号を積分して撮像部１０の移動量を特定する。例えば、移動量特定部２９は、振動情報取得部２８により取得されたヨー方向およびピッチ方向の角速度信号をそれぞれ積分して、撮像部１０のヨー方向およびピッチ方向の移動角度を算出する。
　なお移動量特定部２９は、フレーム間の差分から、後述する画像認識部２２により認識された対象物を除く、背景領域の全体が一律に同じ方向に移動していることが検出された場合、当該背景領域の全体の移動量を、撮像部１０の移動量として特定してもよい。この場合、振動検出センサ１１を省略しても、撮像部１０に加わる振動に基づく撮像部１０の移動量を推定することができる。振動検出センサ１１を省略すればコストを削減することができる。
　移動量特定部２９は、特定した撮像部１０の移動量を打ち消すための補正ベクトルを生成する。即ち、撮像部１０がブレた方向に、撮像部１０の移動量と同量の補正量を持つ補正ベクトルを生成する。移動量特定部２９は、生成した補正ベクトルを切出位置決定部２７に出力する。撮像部１０が理想的に静止している場合、補正ベクトルの値はゼロになる。
　画像認識部２２は、映像取得部２１により取得された映像のフレーム内において、対象物を探索する。画像認識部２２は、辞書データとして、特定の対象物が写った多数の画像を学習して生成された特定の対象物の識別器を有する。特定の対象物は例えば、人物の顔、人物の全身、動物（例えば、犬や猫）の顔、動物の全身、乗り物（例えば、鉄道車両）などが対象となる。
　画像認識部２２は、映像のフレーム内を各対象物の識別器を用いて探索する。対象物の認識には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。フレーム内に対象物が存在する場合、画像認識部２２は、矩形の検出枠で当該対象物を補足する。
　対象物検出部２３は、画像認識部２２により認識された対象物を、注目すべき対象物として検出するか否か決定する。注目すべき対象物は、撮像装置１のユーザ（撮影者）が注目している被写体と推定される対象物である。
　対象物検出部２３は、以下の判断基準のいずれか一つまたは複数の組み合わせをもとに、認識された対象物を被写体とするか否か決定する。（ａ）所定のサイズより大きな対象物であるか、（ｂ）フレーム内の中央領域に位置する対象物であるか、（ｃ）対象物が人物または動物であるか、（ｄ）対象物までの距離が所定値未満か（対象物までの距離の推定方法は後述する）、（ｅ）対象物に隠れている部分がないか、（ｆ）対象物の動きが所定値より小さいか（動きの検出方法は後述する）。
　フレーム内において複数の対象物が認識された場合、対象物検出部２３は、上記の判断基準を満たす対象物を全て被写体として検出してもよいし、下記の判断基準のいずれか一つまたは複数の組み合わせをもとに、一つの被写体を選定してもよい。（ａ）’フレーム内で最も大きい対象物であるか、（ｂ）’フレーム内で最も中央に位置する対象物であるか、（ｄ）’対象物までの距離が最も近いか、（ｆ）’動きのある対象物の中で最も動きが小さい対象物か。
　これらの判断基準は、撮影者が注目している被写体の多くが、フレーム内で大きな領域を占めている、フレームの中央に位置している、被写界深度の手前側に位置している、撮影者が撮像装置１で被写体を追うことによりフレーム内での動きが小さくなっている、という経験則に基づく。
　なお撮像装置１のファインダ画面がタッチパネル式の場合、対象物検出部２３は、ファインダ画面内に映っている対象物のうち、撮像装置１のユーザによりタッチされた対象物を、被写体に決定してもよい。
　対象物追尾部２４は、画像認識部２２が認識した対象物を、後続するフレーム内において追尾する。対象物の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。追尾する対象物は、画像認識部２２により認識された全ての対象物であってもよいし、対象物検出部２３により注目すべき対象物として検出された対象物のみであってもよい。なお、被写体の選定基準に対象物の動きを用いている場合は、画像認識部２２により認識された全ての対象物を追尾する必要がある。
　動きベクトル検出部２５は、映像のフレーム間における注目すべき対象物の移動量を、当該対象物の動きベクトルとして検出する。この動きベクトルは、当該対象物の動きの順ベクトル（追尾ベクトル）を示している。
　切出位置決定部２７は、映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する。切出位置決定部２７は、固体撮像素子の全画素で撮像された全撮像範囲から、一部の領域を切り出して表示または記録する画像の範囲を決定する。
　本実施の形態では、電子式の手ブレ補正機能を採用している。電子式の手ブレ補正機能では、撮像装置１の手ブレが相殺されるように、全撮像範囲から切り出す画角の位置を適応的に変化させる。また本実施の形態では、被写体追尾機能も採用している。被写体追尾機能では、被写体の動きに対して、画角内の被写体の位置ができるだけ固定されるように、全撮像範囲から切り出す画角の位置を変化させる。このように本実施の形態では、電子式の手ブレ補正機能と被写体追尾機能によるリアルタイムの画角切り出しが行われる。
　切出位置決定部２７は、移動量特定部２９から補正ベクトルを取得し、動きベクトル検出部２５から注目すべき対象物の位置と動きベクトルを取得する。切出位置決定部２７は、注目すべき対象物の切り出し位置と、背景の切り出し位置を別々に決定する。
　切出位置決定部２７は、参照フレームの対象物用の切り出し位置を、補正ベクトルと対象物の動きベクトルを合成した合成ベクトルに従い移動させて、現フレームの対象物用の切り出し位置を決定する。
　参照フレームが前フレームの場合、補正ベクトルは、前フレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなり、対象物の動きベクトルは、前フレームと現フレーム間の対象物の動きを示す動きベクトルとなる。参照フレームが対象物の追尾開始時のフレームの場合、補正ベクトルは、追尾開始時のフレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなり、対象物の動きベクトルは、追尾開始時のフレームと現フレーム間の対象物の動きを示す動きベクトルとなる。
　切出位置決定部２７は、参照フレームの背景用の切り出し位置を、補正ベクトルに従い移動させて、現フレームの背景用の切り出し位置を決定する。参照フレームが前フレームの場合、補正ベクトルは、前フレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなる。参照フレームが対象物の追尾開始時のフレームの場合、補正ベクトルは、追尾開始時のフレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなる。
　切出位置決定部２７は、現フレームの対象物用の切り出し位置を、対象物の動きベクトルの逆ベクトルに従い移動させて、背景用の切り出し位置を決定してもよい。この場合、対象物の動きベクトルは、追尾開始時のフレームと現フレーム間の動きを示す動きベクトルとなる。
　切出部３０は、対象物用の切り出し位置の画像データから、当該対象物の画像データのみを切り出す。切出部３０は、背景用の切り出し位置の画像データから当該対象物を除く背景の画像データを切り出す。画像合成部３１は、切り出された当該対象物の画像データと、切り出された背景の画像データを合成する。
　詳細な説明は後述するが、フレーム内に注目すべき対象物が複数設定される場合、合成された画像内において欠陥画素が発生する可能性がある。その場合、画素補完部３２は、合成された画像内における欠陥画素を、当該欠落画素に空間的または時間的に近接する少なくとも１つの有効画素をもとに補完する。
　図２（ａ）－（ｃ）は、実施の形態１に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その１）。図３（ａ）－（ｃ）は、実施の形態１に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その２）。
　図２（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において対象物ＯＢ１を、注目すべき対象物として検出する。対象物追尾部２４は、対象物ＯＢ１の追尾を開始する。図２（ａ）に示す例では、対象物ＯＢ１が左方向に移動している。また、撮影者の手ブレにより撮像部１０が上方向へ移動している。
　図２（ｂ）に示すように切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと対象物ＯＢ１の動きベクトルの合成ベクトルに従い移動させ、対象物ＯＢ１用の切り出し位置Ｃ１を決定する。
　図２（ｃ）に示すように切出位置決定部２７は、現フレームＦ１の対象物ＯＢ１用の切り出し位置Ｃ１を、対象物ＯＢ１の動きベクトルの逆ベクトルに従い移動させ、背景用の切り出し位置Ｃ２を決定する。
　図３（ａ）に示すように切出部３０は、現フレームＦ１の対象物ＯＢ１用の切り出し位置Ｃ１の画像データから対象物ＯＢ１の画像データを切り出す。図３（ｂ）に示すように切出部３０は、現フレームＦ１の背景用の切り出し位置Ｃ２の画像データから対象物ＯＢ１の画像データを除く背景の画像データを切り出す。図３（ｃ）に示すように画像合成部３１は、切り出された対象物ＯＢ１の画像データと、切り出された背景の画像データを合成して新たな合成画像Ｉｃを生成する。
　以上説明したように実施の形態１によれば、全撮像範囲から被写体を追尾して画角を切り出す際、被写体用の画角と背景用の画角を別々に切り出して、背景用の画角に対して背景ブレの補正を実施する。背景ブレの補正後に、被写体用の画角と背景用の画角を合成することにより、背景ブレを抑制することができる。その際、手ブレの補正は被写体用の画角と背景用の画角の両方に実施する。これにより、画角全体においてブレが抑制された映像を生成することができる。
　したがって、被写体を鮮明に捉えつつ自然な背景の映像を生成することができる。例えば、リビングで猫を撮影する場合、猫は被写体追尾機能で追尾されるため、猫のブレは抑制される。さらに、猫の動きに応じて目まぐるしく背景が動くこともなく、自然な背景の映像を撮影することができる。また撮像者がパンニングしているときも、背景の動きが抑制されるため、何が映っているか認識しにくい映像になることを抑制することができる。また詳細は後述するが、被写体が複数の場合でも、複数の被写体をできるだけ一枚の画角に収めることができる。また手ブレを相殺するための補正ベクトルの強度を、被写体の動きベクトルと同強度にかけることにより、バーチャル背景のような背景が静止した映像を撮影することができる。また、バーチャル背景に使用可能な素材を作成することもできる。
　図４は、本発明の実施の形態２に係る撮像装置１の構成を示す図である。実施の形態２に係る撮像装置１は、撮像部１０、振動検出センサ１１、距離検出センサ１２及び画像処理装置２０を備える。実施の形態２に係る画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、ベクトル強度調整部２６、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１、画素補完部３２、距離情報取得部３３及び距離特定部３４を備える。
　以下、実施の形態１との相違点を説明する。距離検出センサ１２は、撮影方向にある物体の撮像部１０からの距離を検出するためのセンサである。距離検出センサ１２には例えば、ＴＯＦ（Time of Flight）センサを使用することができる。ＴＯＦセンサの代表的なものに、超音波センサ（ソナー）やＬｉＤＡＲ（Light Detection and Ranging）がある。超音波センサは撮影方向に超音波を発信し、その反射波を受信するまでの時間を計測して撮影方向にある物体までの距離を検出する。ＬｉＤＡＲは撮影方向にレーザ光を照射し、その反射光を受光するまでの時間を計測して撮影方向にある物体までの距離を検出する。
　距離情報取得部３３は、距離検出センサ１２の出力信号を距離情報として取得する。距離特定部３４は、取得された距離情報をもとに、撮像部１０で撮像された可視光画像に対応する距離画像を生成する。
　距離特定部３４は、画像認識により、撮像部１０からフレーム内に写った対象物までの距離を推定してもよい。例えば、辞書データとして登録されている対象物の一般的な大きさと、フレーム内に写った当該対象物の大きさと、撮像部１０から当該対象物までの距離の関係を、予めテーブルまたは関数で規定しておく。距離特定部３４は、フレーム内において画像認識部２２により認識された対象物の大きさをもとに、当該テーブルまたは当該関数を参照して、撮像部１０から当該対象物までの距離を推定する。この場合、距離検出センサ１２を省略しても、フレーム内に写った対象物までの距離を推定することができる。距離検出センサ１２を省略すればコストを削減することができる。
　また距離特定部３４は、撮像部１０からフレーム内に写った対象物までの距離をオートフォーカス調整部（不図示）から取得できる場合、オートフォーカス調整部から取得した距離を使用してもよい。また撮像部１０が二眼で構成される場合、距離特定部３４は、二眼の撮像部１０で撮像された映像間の視差をもとに、フレームに写った対象物までの距離を推定してもよい。
　実施の形態２では被写体追尾機能は省略されている。したがって基本的に、対象物の動きベクトルを算出する必要はなく、実施の形態２では画像処理装置２０から対象物追尾部２４及び動きベクトル検出部２５が省略されている。
　実施の形態２でも電子式の手ブレ補正機能が採用されている。即ち、撮像装置１の手ブレが相殺されるように、全撮像範囲から切り出す画角の位置が適応的に移動される。実施の形態２では、手ブレを打ち消すための補正ベクトルの強度を調整するためのベクトル強度調整部２６が追加される。
　ベクトル強度調整部２６は、移動量特定部２９から補正ベクトルを取得し、距離特定部３４から当該対象物までの距離を取得する。ベクトル強度調整部２６は、移動量特定部２９から取得した補正ベクトルの強度を、距離特定部３４から取得した当該対象物までの距離に応じて調整する。ベクトル強度調整部２６は、当該対象物までの距離が近いほど補正ベクトルの強度を強く設定し、当該対象物までの距離が遠いほど補正ベクトルの強度を弱く設定する。
　例えば、手ブレ量と、撮像部１０から対象物までの距離と、当該フレーム内に写った当該対象物の手ブレによる移動量との関係を予めテーブルまたは関数で規定しておく。当該関係は、設計者による実験やシミュレーションに基づき導出されてもよい。ベクトル強度調整部２６は、距離特定部３４から取得した撮像部１０から対象物までの距離をもとに、当該テーブルまたは当該関数を参照して、移動量特定部２９から取得した補正ベクトルの強度を調整する。
　実施の形態２では切出位置決定部２７は、対象物検出部２３から注目すべき対象物の位置を取得し、ベクトル強度調整部２６から当該対象物の補正ベクトルを取得する。切出位置決定部２７は、参照フレーム（例えば、前フレーム）の切り出し位置を、補正ベクトルに従い移動させて、現フレームの切り出し位置を決定する。その際、切出位置決定部２７は、対象物と背景の補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する。
　フレーム内に注目すべき対象物が複数設定されている場合、切出位置決定部２７は、注目すべき対象物ごとに切り出し位置を決定する。例えば、フレーム内において第１対象物と、当該第１対象物より奥に位置する第２対象物が注目すべき対象物として検出されている場合、ベクトル強度調整部２６は、第１対象物の補正ベクトルの強度を、第２対象物の補正強度より強く設定する。
　なお背景の補正ベクトルについては、補正ベクトルの強度を調整せずにそのまま使用してもよいし、ベクトル強度調整部２６がその強度を調整してもよい。例えば、距離の区分に応じて全体の背景を複数の背景に分割し、ベクトル強度調整部２６は分割された背景ごとに補正ベクトルの強度を調整してもよい。またベクトル強度調整部２６は、背景を構成する各物体までの距離の代表値（例えば、平均値、中央値または最頻値）をもとに補正ベクトルの強度を調整してもよい。
　図５（ａ）－（ｃ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その１）。図６（ａ）－（ｃ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その２）。図７（ａ）－（ｂ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その３）。
　図５（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において第１対象物ＯＢ１と第２対象物ＯＢ２を、注目すべき対象物として検出する。撮像部１０から見て第２対象物ＯＢ２は第１対象物ＯＢ１の奥側に存在し、フレームＦ０内において第２対象物ＯＢ２の一部が第１対象物ＯＢ１に隠れている。
　図５（ｂ）は、図５（ａ）に示した状態から、撮像者の手ブレにより撮像部１０が右に移動した状態を示している。図５（ｂ）は、電子式の手ブレ補正機能がオフの場合を示している。この場合、切り出し位置Ｃ０は変わらず、第１対象物ＯＢ１と第２対象物ＯＢ２が画角の左側に移動する。
　その際、撮像部１０が右に移動したことにより視点が右に移動するが、それにより、第１対象物ＯＢ１と第２対象物ＯＢ２の相対的な位置関係の見え方が変わる。具体的には現フレームＦ１内において、視点に近い第１対象物ＯＢ１のほうが、視点から遠い第２対象物ＯＢ１より左に大きく移動する。即ち、手ブレ前の参照フレームＦ０と比較して現フレームＦ１では、第１対象物ＯＢ１と第２対象物ＯＢ２の重なり部分が大きくなり、第２対象物ＯＢ２が第１対象物ＯＢ１に隠れる部分が大きくなっている。
　図５（ｃ）は、電子式の手ブレ補正機能がオンの場合で、かつ参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルに従い単純に左に移動させた場合を示している。切り出し位置Ｃ０の移動により、現フレームＦ１の切り出し位置Ｃ０’では、第１対象物ＯＢ１と第２対象物ＯＢ２が画角の中央に配置される。しかしながら、参照フレームＦ０と比較して、現フレームＦ１内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図が変わっている。
　これに対して図６（ａ）－（ｃ）は、第１対象物ＯＢ１、第２対象物ＯＢ２、背景の切り出し位置を別々に決定している。図６（ａ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、第１対象物ＯＢ１の補正ベクトルに従い移動させ、第１対象物ＯＢ１用の切り出し位置Ｃ１を決定する。図６（ｂ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、第２対象物ＯＢ２の補正ベクトルに従い移動させ、第２対象物ＯＢ２用の切り出し位置Ｃ２を決定する。図６（ｃ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、背景の補正ベクトルに従い移動させ、背景用の切り出し位置Ｃ３を決定する。
　図７（ａ）に示すように、切出部３０は、第１対象物ＯＢ１用の切り出し位置Ｃ１の画像データから第１対象物ＯＢ１の画像データを切り出し、第２対象物ＯＢ２用の切り出し位置Ｃ２の画像データから第２対象物ＯＢ２の画像データを切り出し、背景用の切り出し位置Ｃ３の画像データから第１対象物ＯＢ１と第２対象物ＯＢ２を除く背景の画像データを切り出す。画像合成部３１は、切り出された第１対象物ＯＢ１の画像データと、切り出された第２対象物ＯＢ２の画像データと、切り出された背景の画像データを合成して新たな合成画像Ｉｃを生成する。
　新たに生成された合成画像Ｉｃ内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図は、参照フレームＦ０の切り出し位置Ｃ０内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図と同じになる。即ち、撮像部１０があたかも動いていなかったかのような、疑似的な視点変換を行うことができる。
　現フレームＦ１から新たに生成された合成画像Ｉｃ内の第１対象物ＯＢ１と第２対象物ＯＢ２の重複部分は、現フレームＦ１に実際に写った第１対象物ＯＢ１と第２対象物ＯＢ２の重複部分より少なくなる。したがって、新たに生成された合成画像Ｉｃでは、両者の重複部分の差分の領域に画素抜けが発生する。即ち、第１対象物ＯＢ１に隠れていた一部の領域が欠陥画素領域Ｒｍになる。
　画素補完部３２は、この欠陥画素領域Ｒｍの画素を、当該欠陥画素領域Ｒｍに空間的または時間的に近接する少なくとも１つの有効画素をもとに補完する。第１の補完方法として画素補完部３２は、現フレームＦ１において欠陥画素領域Ｒｍに隣接する周辺画素から補完画素を生成する。
　例えば画素補完部３２は、欠陥画素領域Ｒｍ内の各画素に、各画素に最も近接する有効画素と同じ画素を割り当てる。例えば画素補完部３２は、欠陥画素領域Ｒｍ内の画素に、欠陥画素領域Ｒｍに隣接する複数の有効画素の代表値を割り当ててもよい。なお欠陥画素領域Ｒｍ内の画素ごとに、近接する周辺の複数の有効画素を特定し、当該特定の複数の有効画素の代表値を算出してもよい。
　例えば画素補完部３２は、欠陥画素領域Ｒｍの左右または上下に隣接する有効画素から、その間の欠陥画素領域Ｒｍ内の複数の画素を補間してもよい。例えばライン単位で線形補間してもよい。その際、グラデーションを付けて欠陥画素領域Ｒｍ内の複数の画素を補間してもよい。グラデーションを付ける場合、複数の画素間の色差は均等でもよいし、各画素間の色差に一定の規則にしたがった変化（例えば、指数関数的な変化）を持たせてもよい。
　第２の補完方法として画素補完部３２は、現フレームＦ１と時間的に近接する複数のフレームにおいて、現フレームＦ１の欠陥画素領域Ｒｍに対応する領域（以下、単に対応領域という）に有効画素が存在するフレームを探索し、探索したフレーム内の対応領域の有効画素をもとに、現フレームＦ１の欠陥画素領域Ｒｍの画素を補完する。
　例えば画素補完部３２は、対応領域に有効画素が存在するフレームのうち、現フレームＦ１に時間的に最も隣接するフレーム内の対応領域の有効画素を、現フレームＦ１の欠陥画素領域Ｒｍに補完する。例えば画素補完部３２は、対応領域に有効画素が存在するフレームのうち、対応領域内の有効画素の代表値が、現フレームＦ１において欠陥部分がある第２対象物ＯＢ２の領域内の画素の代表値と最も近いフレームを特定する。画素補完部３２は、特定したフレーム内の対応領域の有効画素を、現フレームＦ１の欠陥画素領域Ｒｍに補完する。
　第３の補完方法として画素補完部３２は、現フレームＦ１において欠陥部分がある第２対象物ＯＢ２の本来の形状を推定し、欠陥画素領域Ｒｍを第２対象物ＯＢ２の領域と背景の領域に区分し、領域ごとに画素を補完する。
　図７（ｂ）に示す例では画素補完部３２は、第２対象物ＯＢ２の外周と欠陥画素領域Ｒｍの外周が交わる２点間に直線Ｌ１を引いている。画素補完部３２は、欠陥画素領域Ｒｍにおいて直線Ｌ１の左側領域Ｒｍ２を第２対象物ＯＢ２の領域と推定し、直線Ｌ１の右側領域Ｒｍ１を背景の領域と推定する。
　画素補完部３２は、欠陥画素領域Ｒｍの左側領域Ｒｍ２内の画素を、第２対象物ＯＢ２の有効画素をもとに補完する。その際、参照範囲を第２対象物ＯＢ２の有効画素の範囲内とした上で、第１の補完方法を使用することができる。画素補完部３２は、欠陥画素領域Ｒｍの右側領域Ｒｍ１内の画素を、右側領域Ｒｍ１に近接する背景の有効画素をもとに補完する。その際、参照範囲を背景の有効画素の範囲内とした上で、第１の補完方法を使用することができる。
　以上説明したように実施の形態２によれば、同一フレーム内において被写体と背景を別々に手ブレ補正する。その際、撮像部１０からの距離に応じて、被写体と背景の補正強度を変えることにより、フレーム内の構図を維持しつつ手ブレを補正することができる。また、切り出し位置の移動により画素抜け領域が発生した場合は、空間的または時間的に近接する画素を補完することにより、画像の不自然さを低減することができる。以上により、手ブレが発生したにも関わらず、あたかも撮像装置１が静止しているかのような映像を生成することができる。
　図８は、本発明の実施の形態３に係る撮像装置１の構成を示す図である。実施の形態３に係る撮像装置１は、撮像部１０、振動検出センサ１１、距離検出センサ１２及び画像処理装置２０を備える。実施の形態３に係る画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、対象物追尾部２４、動きベクトル検出部２５、ベクトル強度調整部２６、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１、画素補完部３２、距離情報取得部３３及び距離特定部３４を備える。
　以下、実施の形態１、２との相違点を説明する。実施の形態３では実施の形態１と同様に、被写体追尾機能と電子式の手ブレ補正機能の両方が採用されている。実施の形態３では、ベクトル強度調整部２６は、動きベクトル検出部２５から注目すべき対象物の動きベクトルを取得し、距離特定部３４から当該対象物までの距離を取得する。ベクトル強度調整部２６は、動きベクトル検出部２５から取得した注目すべき対象物の動きベクトルの強度を、距離特定部３４から取得した当該対象物までの距離に応じて調整する。ベクトル強度調整部２６は、当該対象物までの距離が近いほど当該対象物の動きベクトルの強度を強く設定し、当該対象物までの距離が遠いほど当該対象物の動きベクトルの強度を弱く設定する。
　例えば、対象物の実際の動きによる移動量と、撮像部１０から対象物までの距離と、対象物の実際の動きに対するフレーム内における対象物の移動量との関係を予めテーブルまたは関数で規定しておく。当該関係は、設計者による実験やシミュレーションに基づき導出されてもよい。ベクトル強度調整部２６は、距離特定部３４から取得した撮像部１０から対象物までの距離をもとに、当該テーブルまたは当該関数を参照して、動きベクトル検出部２５から取得した当該対象物の動きベクトルの強度を調整する。
　実施の形態３では、切出位置決定部２７は、参照フレームの切り出し位置を、手ブレの補正ベクトルと、ベクトル強度調整部２６により調整された対象物の動きベクトルの合成ベクトルに従い移動させ、対象物用の切り出し位置を決定する（図２（ｂ）参照）。以下の処理は実施の形態１と同様である。
　上述したように、フレーム内に注目すべき対象物が複数設定される場合がある。その際、複数の対象物が異なる方向に移動している場合がある。その場合、各対象物用の画角を合成した画像内における構図が、実際の構図と大きくずれることがある。そこで、複数の切り出し位置の合成前の総切り出し範囲に制限を加えてもよい。
　図９（ａ）－（ｃ）は、実施の形態１、３に係る画像処理装置２０による総切り出し範囲の制限処理の具体例を説明するための図である。図９（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において第１対象物ＯＢ１と第２対象物ＯＢ２を、注目すべき対象物として検出する。対象物追尾部２４は、第１対象物ＯＢ１と第２対象物ＯＢ２の追尾を開始する。図９（ａ）に示す例では、第１対象物ＯＢ１が左方向に移動し、第２対象物ＯＢ２が右方向に移動している。また、撮影者の手ブレにより撮像部１０が上方向へ移動している。
　図９（ｂ）に示すように切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと第１対象物ＯＢ１の動きベクトルの合成ベクトルに従い移動させ、第１対象物ＯＢ１用の切り出し位置Ｃ１を決定する。同様に切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと第２対象物ＯＢ２の動きベクトルの合成ベクトルに従い移動させ、第２対象物ＯＢ２用の切り出し位置Ｃ２を決定する。
　図９（ｂ）に示す例では、第１対象物ＯＢ１用の切り出し位置Ｃ１と第２対象物ＯＢ２用の切り出し位置Ｃ２の合成前の総切り出し範囲の幅Ｗ１が広がっている。切り出し位置Ｃ１内の第１対象物ＯＢ１の画像データと、切り出し位置Ｃ２内の第２対象物ＯＢ２の画像データと、背景用の切り出し位置（図９（ｂ）には不図示）内の背景データを合成すると、合成画像内の画角に第１対象物ＯＢ１と第２対象物ＯＢ２の両方が完全に収まる。ただし、第１対象物ＯＢ１と第２対象物ＯＢ２の位置関係が、実際より近接した画像が生成され、実際の位置関係との乖離が大きくなる。
　そこで、総切り出し範囲に制限を設ける。具体的には総切り出し範囲に幅上限Ｗｔと高さ上限Ｈｔを設定する。ベクトル強度調整部２６は、フレーム内において複数の対象物が検出された場合、総切り出し範囲の制限の収まるように、複数の対象物の少なくとも一つの動きベクトルの強度を調整する。
　図９（ｃ）に示す例ではベクトル強度調整部２６は、総切り出し範囲の幅上限Ｗｔを満たすように、第２対象物ＯＢ２の動きベクトルの強度を弱めている。具体的にはベクトル強度調整部２６は、第１対象物ＯＢ１用の切り出し位置Ｃ１と第２対象物ＯＢ２用の切り出し位置Ｃ２’の合成前の総切り出し範囲の幅Ｗ１’が、総切り出し範囲の幅上限Ｗｔと一致するように、第２対象物ＯＢ２の動きベクトルの強度を弱めている。この場合、合成画像内の画角から第２対象物ＯＢ２の一部が外れる。
　なおベクトル強度調整部２６は、第２対象物ＯＢ２の動きベクトルの強度ではなく第１対象物ＯＢ１の動きベクトルの強度を弱めてもよいし、第１対象物ＯＢ１と第２対象物ＯＢ２の動きベクトルの両方の強度を弱めてもよい。
　動きベクトルの強度を弱める対象物は、優先度の低い対象物であってもよい。優先度は、サイズが大きい対象物ほど高く設定されてもよい。また優先度は、フレーム内で中央に近い対象物ほど高く設定されてもよい。また優先度は、撮像部１０からの距離が近い対象物ほど高く設定されてもよい。また優先度は、動きが小さい対象物ほど高く設定されてもよい。またこれらの基準の複数を組み合わせて使用してもよい。
　総切り出し範囲の幅上限Ｗｔと高さ上限Ｈｔの値は、ユーザが設定変更可能であってもよい。幅上限Ｗｔと高さ上限Ｈｔの値を大きく設定するほど、合成画像内の画角に全ての対象物が収まる確率が高くなる。一方、幅上限Ｗｔと高さ上限Ｈｔの値を小さく設定するほど、補正の強度が弱くなり、実際の構図からの乖離を低減することができる。
　以上説明したように実施の形態３によれば、実施の形態１と実施の形態２の両方の効果を奏する。即ち、画角全体においてブレが抑制され、画角内の構図が自然な映像を生成することができる。なお実施の形態２は、実施の形態３において被写体が静止している場合の例と捉えることもできる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上記図９（ａ）－（ｃ）では、フレーム内に追尾対象とすべき対象物が複数設定される例を説明した。この点、フレーム内で認識された複数の対象物のうち、一つ以上の対象物を追尾対象とすべき対象物に設定し、残りの対象物を追尾対象としない対象物に設定してもよい。その場合において、追尾対象としない対象物は背景として処理される。
　上述した実施の形態１－３では、撮影中にリアルタイムに切り出し画角を調整して、合成画像を生成する例を説明した。この点、全撮像範囲の映像データと各フレーム時刻のセンサ情報を記録しておき、撮影終了後に、記録した全撮像範囲の映像データと各フレーム時刻のセンサ情報を読み出し、上述した実施の形態１－３に係る合成画像生成処理を実行してもよい。その場合、撮像装置１内ではなく、別の画像再生装置（例えば、ＰＣやスマートフォン）で合成画像生成処理を実行してもよい。
　本発明は、電子式の手ブレ補正機能が搭載されたカメラに利用可能である。
　１　撮像装置、　１０　撮像部、　１１　振動検出センサ、　１２　距離検出センサ、　２０　画像処理装置、　２１　映像取得部、　２２　画像認識部、　２３　対象物検出部、　２４　対象物追尾部、　２５　動きベクトル検出部、　２６　ベクトル強度調整部、　２７　切出位置決定部、　２８　振動情報取得部、　２９　移動量特定部、　３０　切出部、　３１　画像合成部、　３２　画素補完部、　３３　距離情報取得部、　３４　距離特定部。

Claims (5)

  1. 　撮像部により撮像された映像を取得する映像取得部と、
    　前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する移動量特定部と、
    　取得された映像のフレーム内から、注目すべき対象物を検出する対象物検出部と、
    　距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する距離特定部と、
    　前記振動によるブレを打ち消すための補正ベクトルの強度を調整するベクトル強度調整部と、
    　取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する切出位置決定部であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する切出位置決定部と、
    　前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する画像合成部と、
    　を備える画像処理装置。
  2. 　前記ベクトル強度調整部は、前記対象物までの距離が近いほど前記補正ベクトルの強度を強く設定する、
    　請求項１に記載の画像処理装置。
  3. 　前記ベクトル強度調整部は、フレーム内において第１対象物と、当該第１対象物より奥に位置する第２対象物が検出されている場合、前記第１対象物用の切り出し位置を移動させるための前記補正ベクトルの強度を、前記第２対象物用の切り出し位置を移動させるための前記補正ベクトルの強度より強く設定する、
    　請求項１または２に記載の画像処理装置。
  4. 　前記画像合成部により合成された画像内において、欠陥画素が発生した場合、当該欠陥画素に空間的または時間的に近接する少なくとも１つの有効画素をもとに、前記欠陥画素を補完する画素補完部を、
    　さらに備える請求項３に記載の画像処理装置。
  5. 　撮像部により撮像された映像を取得する処理と、
    　前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する処理と、
    　取得された映像のフレーム内から、注目すべき対象物を検出する処理と、
    　距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する処理と、
    　前記振動によるブレを打ち消すための補正ベクトルの強度を調整する処理と、
    　取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する処理であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する処理と、
    　前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する処理と、
    　をコンピュータに実行させる画像処理プログラム。
PCT/JP2021/020802 2020-09-17 2021-06-01 画像処理装置、及び画像処理プログラム WO2022059265A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21868952.9A EP4216537A4 (en) 2020-09-17 2021-06-01 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
CN202180048380.4A CN115804101A (zh) 2020-09-17 2021-06-01 图像处理装置以及图像处理程序
US18/182,220 US20230283898A1 (en) 2020-09-17 2023-03-10 Image processing device, image processing method and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020156502A JP7418697B2 (ja) 2020-09-17 2020-09-17 画像処理装置、及び画像処理プログラム
JP2020-156502 2020-09-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/182,220 Continuation US20230283898A1 (en) 2020-09-17 2023-03-10 Image processing device, image processing method and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2022059265A1 true WO2022059265A1 (ja) 2022-03-24

Family

ID=80775741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020802 WO2022059265A1 (ja) 2020-09-17 2021-06-01 画像処理装置、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20230283898A1 (ja)
EP (1) EP4216537A4 (ja)
JP (1) JP7418697B2 (ja)
CN (1) CN115804101A (ja)
WO (1) WO2022059265A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690064A (zh) * 2024-02-04 2024-03-12 广东电网有限责任公司广州供电局 输电线路检测方法、装置、电子设备和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193257B (zh) * 2023-04-21 2023-09-22 成都华域天府数字科技有限公司 一种消除手术视频图像画面抖动的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2009017223A (ja) * 2007-07-04 2009-01-22 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2016042662A (ja) 2014-08-18 2016-03-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2009017223A (ja) * 2007-07-04 2009-01-22 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2016042662A (ja) 2014-08-18 2016-03-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4216537A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690064A (zh) * 2024-02-04 2024-03-12 广东电网有限责任公司广州供电局 输电线路检测方法、装置、电子设备和计算机可读介质
CN117690064B (zh) * 2024-02-04 2024-04-16 广东电网有限责任公司广州供电局 输电线路检测方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
JP2022050099A (ja) 2022-03-30
EP4216537A4 (en) 2024-03-20
JP7418697B2 (ja) 2024-01-22
US20230283898A1 (en) 2023-09-07
CN115804101A (zh) 2023-03-14
EP4216537A1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
JP5049300B2 (ja) 障害物検出表示装置
US20230283898A1 (en) Image processing device, image processing method and non-transitory computer-readable recording medium
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP6469849B2 (ja) ボウル型イメージングシステムにおけるオブジェクト視覚化
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
US11034305B2 (en) Image processing device, image display system, and image processing method
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
JP5325800B2 (ja) 画像処理装置、画像撮影装置、画像表示装置、およびプログラム
KR101994473B1 (ko) 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
WO2022059264A1 (ja) 画像処理装置、及び画像処理プログラム
KR102177878B1 (ko) 영상 처리 장치 및 방법
JP6120632B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
WO2019208234A1 (ja) 自己位置推定装置、自己位置推定方法、およびそのプログラム
JP2013187860A (ja) 画像合成装置及びプログラム
JP2017005539A (ja) 撮影装置
WO2017086057A1 (ja) 車両用表示装置および車両用表示方法
JP7346021B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP2020092387A (ja) 画像合成装置、及び、制御方法
JP2023103964A (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP2022007039A (ja) 撮像装置、移動体、および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21868952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021868952

Country of ref document: EP

Effective date: 20230417