WO2022032538A1 - 全景拍摄方法、装置、系统及计算机可读存储介质 - Google Patents

全景拍摄方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
WO2022032538A1
WO2022032538A1 PCT/CN2020/108736 CN2020108736W WO2022032538A1 WO 2022032538 A1 WO2022032538 A1 WO 2022032538A1 CN 2020108736 W CN2020108736 W CN 2020108736W WO 2022032538 A1 WO2022032538 A1 WO 2022032538A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic
images
shooting
synthesized
image
Prior art date
Application number
PCT/CN2020/108736
Other languages
English (en)
French (fr)
Inventor
蒋昊
赵文军
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/108736 priority Critical patent/WO2022032538A1/zh
Priority to CN202080007324.1A priority patent/CN113273172A/zh
Publication of WO2022032538A1 publication Critical patent/WO2022032538A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present application relates to the technical field of panoramic photography, and in particular, to a panoramic photography method, device, system, and computer-readable storage medium.
  • Panoramic shooting mainly refers to taking a single small-angle photo from multiple angles regularly in the same scene, and then matching, splicing, and merging through an algorithm to obtain a panoramic photo in the scene.
  • the synthesis of the existing panoramic photos takes a long time, and the user experience is not good.
  • embodiments of the present application provide a panorama shooting method, device, system, and computer-readable storage medium, which aim to reduce the synthesis time of panorama photos and improve user experience.
  • an embodiment of the present application provides a panorama shooting method, which is applied to a control device, where the control device is used to control a shooting device, and the method includes:
  • an embodiment of the present application further provides a control apparatus, where the control apparatus is used to control a photographing device, and the control apparatus includes a memory and a processor;
  • the memory for storing computer programs
  • the processor is configured to execute the computer program and implement the following steps when executing the computer program:
  • an embodiment of the present application further provides a photographing system, where the photographing system includes a pan/tilt head, a photographing device, and a control device according to any one of the descriptions of the present application.
  • an embodiment of the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the method described in the present application. The steps of any one of the provided panorama shooting methods.
  • the embodiments of the present application provide a panorama shooting method, device, system, and computer-readable storage medium, by controlling the shooting device to shoot a plurality of initial images, and while controlling the shooting device to shoot each initial image, the shooting device is The initial image captured at one moment is zoomed to obtain the image to be synthesized, and then multiple images to be synthesized corresponding to the multiple initial images are obtained, and the multiple images to be synthesized are combined in a panoramic manner to obtain a panoramic photo, because it is during the shooting process.
  • zoom processing is performed on the initial image captured at the previous moment, and the initial image processing does not need to wait until the end of the shooting, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • FIG. 1 is a schematic diagram of a scene for implementing the panorama shooting method provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of another scene for implementing the panorama shooting method provided by the embodiment of the present application.
  • FIG. 3 is a schematic flowchart of steps of a panorama shooting method provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of sub-steps of the panorama shooting method in FIG. 3;
  • FIG. 5 is a schematic diagram of a composite image in an embodiment of the present application.
  • FIG. 6 is a schematic diagram of a composite image after padding in an embodiment of the present application.
  • FIG. 7 is a schematic block diagram of the structure of a control device provided by an embodiment of the present application.
  • FIG. 8 is a schematic structural block diagram of a photographing system provided by an embodiment of the present application.
  • Panoramic shooting mainly refers to taking a single small-angle photo from multiple angles regularly in the same scene, and then matching, splicing, and merging through an algorithm to obtain a panoramic photo in the scene.
  • the synthesis of the existing panoramic photos takes a long time, and the user experience is not good.
  • the embodiments of the present application provide a panoramic shooting method, device, system and computer-readable storage medium.
  • the panoramic shooting method can be applied to shooting equipment, and the panoramic shooting method
  • the shooting method can also be applied to a shooting system composed of a pan/tilt head and a shooting device, by controlling the shooting device to shoot a plurality of initial images, and while controlling the shooting device to shoot each initial image, the shooting device at the previous moment shoots the image.
  • the initial image is zoomed to obtain an image to be synthesized, and then a plurality of images to be synthesized corresponding to the multiple initial images are obtained, and the multiple images to be synthesized are panoramically synthesized to obtain a panoramic photo.
  • the initial image captured at the last moment is zoomed and processed, and the initial image does not need to be processed after the shooting is completed, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • the shooting device when the user manually moves the shooting device to take a panoramic photo, the shooting device shoots multiple initial images, and while shooting each initial image, the shooting device performs zoom processing on the initial image captured at the previous moment to obtain the image to be synthesized , and then obtain multiple images to be synthesized corresponding to multiple initial images, and perform panoramic synthesis on the multiple images to be synthesized to obtain a panoramic photo, because during the shooting process, the initial image captured at the previous moment is simultaneously zoomed Processing, it is not necessary to wait for the initial image to be processed after the shooting is completed, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • FIG. 1 is a schematic diagram of a scene for implementing the panorama shooting method provided by the embodiment of the present application.
  • the scene includes a handheld pan/tilt 100 and a photographing device 200
  • the handheld pan/tilt 100 includes a handle portion 101 and a pan/tilt 102 disposed on the handle portion 101 .
  • the photographing device 200 may be set integrally with the pan/tilt 102, and the photographing device may be a smartphone, and of course other photographing devices, such as a single-lens reflex camera.
  • the gimbal 102 includes three-axis motors, which are a pitch axis motor 1021 , a roll axis motor 1022 and a yaw axis motor 1023 , which are used to adjust the photographing device 200 mounted on the gimbal 102 . , so that you can shoot high-precision and stable pictures anytime, anywhere.
  • an inertial measurement unit (Inertial measurement unit, IMU) is provided on the pan-tilt 102, which can be, for example, at least one of an accelerometer or a gyroscope, which can be used to measure the attitude and acceleration of the pan-tilt 102, so as to adjust according to the attitude The posture of the gimbal 102 .
  • IMU Inertial measurement unit
  • the handle portion 101 is also provided with an inertial measurement unit (Inertial measurement unit, IMU), for example including at least one of an accelerometer or a gyroscope, which can be used to measure the attitude and acceleration of the handle portion 101, etc., In order to adjust the posture of the pan/tilt head 102 according to the posture of the handle part 101 and the posture of the pan/tilt head 102 .
  • IMU inertial measurement unit
  • the handle portion 101 is further provided with an operation control key, so that the user can operate the operation control key to control the pan/tilt 102 or the photographing device mounted on the pan/tilt 102 .
  • the operation control key may be, for example, a key, a trigger, a knob or a rocker, etc., of course, other forms of physical keys are also included.
  • the joystick can be used to control the movement of the three rotation axes, and then control the movement of the gimbal 102 .
  • the handheld gimbal 100 may be connected to the photographing device 200 through a control line to adjust the photographing parameters of the photographing device 200 mounted on the gimbal 102 .
  • the control line is, for example, a shutter line.
  • the type of the shutter release is not limited here.
  • the shutter release can be a Universal Serial Bus (USB), and the shooting parameters are, for example, the follow focus parameters, zoom parameters, follow focus parameters, and shooting modes of the shooting device. .
  • USB Universal Serial Bus
  • the handheld PTZ 100 includes a control device.
  • the control device is used to control the shooting device to shoot a plurality of initial images, and controls the shooting device to shoot each initial image while controlling the shooting device.
  • the initial image captured by the device at the previous moment is zoomed to obtain an image to be synthesized, and then multiple images to be synthesized corresponding to the multiple initial images are obtained, and a panoramic composition is performed on the multiple images to be synthesized to obtain a panoramic photo.
  • zoom processing is performed on the initial image captured at the previous moment at the same time, and it is not necessary to wait for the initial image to be processed after the shooting is completed, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • FIG. 2 is a schematic diagram of another scene for implementing the panorama shooting method provided by the embodiment of the present application.
  • the scene includes a movable platform 10, a pan/tilt 20, and a shooting device 30.
  • the movable platform 10 It is electrically connected to the gimbal 20, and the photographing device 30 is mounted on the gimbal 20.
  • the gimbal 20 can also be integrated with the photographing device 30.
  • the photographing device 30 can be a single-lens reflex camera or a smartphone.
  • the pan/tilt 20 includes three-axis motors, which are a translation axis motor 21, a pitch axis motor 22, and a roll axis motor 23, which are used to adjust the balance posture of the photographing device 30 mounted on the pan/tilt 20, so as to capture images anytime, anywhere. High-precision stable picture.
  • the movable platform 10 includes a control device, the control device is used to control the shooting device to shoot a plurality of initial images, and while controlling the shooting device to shoot each initial image, zoom the initial image captured by the shooting device at a previous moment process to obtain an image to be synthesized, and then obtain multiple images to be synthesized corresponding to the multiple initial images, and perform panoramic synthesis on the multiple images to be synthesized to obtain a panoramic photo, because during the shooting process, the previous moment is taken at the same time.
  • the obtained initial image is scaled, and the initial image does not need to be processed after the shooting is completed, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • the movable platform 10 includes a drone, an unmanned vehicle and a mobile robot, and the drone can be a rotorcraft.
  • the drone may be a multi-rotor aircraft that may include multiple rotors. Multiple rotors can be rotated to generate lift for the drone.
  • the rotors can be propulsion units that allow the drone to move freely in the air.
  • the rotors may rotate at the same rate and/or may generate the same amount of lift or thrust.
  • the rotors can freely rotate at different rates, producing different amounts of lift or thrust and/or allowing the drone to rotate.
  • one, two, three, four, five, six, seven, eight, nine, ten or more rotors may be provided on the drone.
  • the rotors may be arranged with their axes of rotation parallel to each other. In some cases, the axes of rotation of the rotors can be at any angle relative to each other, which can affect the movement of the drone.
  • a drone may include multiple rotors.
  • the rotor may be connected to the body of the drone, which may contain a control unit, inertial measurement unit (IMU), processor, battery, power supply, and/or other sensors.
  • the rotor may be connected to the body by one or more arms or extensions branching off from the central portion of the body.
  • one or more arms may extend radially from the central body of the drone and may have rotors at or near the ends of the arms.
  • the UAV may be, for example, a quad-rotor UAV, a hexa-rotor UAV, or an octa-rotor UAV.
  • it can also be a fixed-wing UAV, or a combination of a rotary-wing type and a fixed-wing UAV, which is not limited here.
  • FIG. 1 and FIG. 2 are only used to explain the panoramic shooting method provided by the embodiments of the present application, but do not constitute a limitation on the application scenarios of the panoramic shooting methods provided by the embodiments of the present application.
  • FIG. 3 is a schematic flowchart of steps of a panorama shooting method provided by an embodiment of the present application.
  • the panoramic photographing method can be applied to a control device, and the control device is used to control the photographing device, so as to reduce the synthesis time of panoramic photos and improve the user experience.
  • the panorama shooting method includes steps S101 to S103.
  • the manual panning shooting device moves according to the set trajectory.
  • control the shooting device to take a picture to obtain an initial image, so that after the user translates the shooting device according to the set trajectory, he can control the shooting device to shoot to obtain a plurality of initial images.
  • step S101 may include sub-steps S1011 to S1013.
  • the photographing device may be mounted on a gimbal, and the gimbal may be a handheld gimbal or a gimbal mounted on a movable platform, which is not specifically limited in this embodiment of the present application.
  • a panoramic shooting instruction is obtained, and a panoramic shooting track is obtained according to the panoramic shooting instruction, for example, a preset track is obtained from a memory according to the panoramic shooting instruction, and the preset track is used as a panoramic shooting track.
  • the acquisition method of the panoramic shooting instruction may include: triggering the panoramic shooting instruction in response to the user's touch operation on the shooting icon displayed by the shooting device; or, in response to the user's pressing operation on the panoramic shooting button, triggering the panoramic shooting instruction, The pan/tilt is connected to a handle part, and the panorama shooting button is set on the handle part; or the control terminal triggers a panoramic shooting instruction in response to a touch operation on the shooting icon displayed on the control terminal, and sends the panoramic shooting instruction to the A mobile platform, the control device of the movable platform obtains the panoramic shooting instruction, wherein the control terminal is connected to the movable platform in communication, and the control terminal is used to control the movable platform.
  • the pan/tilt is connected in communication with a control device, the control device is provided with a display device, and the method of obtaining the panoramic shooting track may be: controlling the display device to display a panoramic shooting track selection page, wherein the panoramic shooting track selection page includes multiple items. candidate panoramic shooting trajectories; obtain the candidate panoramic shooting trajectories selected by the user, and use the candidate panoramic shooting trajectories selected by the user as the panoramic shooting trajectories.
  • By displaying multiple candidate panoramic shooting trajectories it is convenient for users to select a suitable panoramic shooting trajectories based on their needs, thereby improving user experience.
  • the control terminal displays a panorama shooting track selection page, wherein the panorama shooting track selection page includes a plurality of candidate panorama shooting tracks; acquires the candidate panorama shooting track selected by the user, and uses the candidate panorama shooting track selected by the user as the candidate panorama shooting track.
  • the panorama shooting track to be used is sent to the movable platform, and the movable platform receives the panorama shooting track sent by the control terminal, so that the control device can subsequently control the rotation of the pan/tilt mounted on the movable platform based on the panoramic shooting track, so that the shooting equipment can be rotated.
  • the movement track is a panoramic shooting track.
  • the panoramic shooting track selection page includes a track planning icon
  • the method of obtaining the panoramic shooting track may also be: in response to a user triggering the track planning icon, controlling the display device to display the angular range setting popup of the panoramic shooting track. window; obtain the angle range entered by the user in the angle range setting pop-up window, and plan the panoramic shooting track according to the angle range.
  • the angle range includes the angle range of the horizontal direction and the angle range of the pitch direction.
  • the maximum angle range of the horizontal direction is: 0° to 360° in the horizontal direction
  • the maximum angle range of the pitch direction is 0° to 360°.
  • the pan/tilt is controlled to rotate based on the panoramic shooting track, thereby driving the shooting device mounted on the pan/tilt to move, so that the motion track of the shooting device can be a panoramic shooting track.
  • the pan/tilt movement is automatically controlled by the panoramic shooting track, so that the movement track of the shooting device is the panoramic shooting track, and the user does not need to manually move the shooting device, ensuring that the initial image captured by the shooting device is a clear image, and it is also convenient for the user to shoot the panoramic Photos to improve user experience.
  • the way of controlling the rotation of the pan/tilt may be: obtaining the target posture of the pan/tilt at the starting point of the panoramic shooting track; , control the gimbal to rotate according to the panorama shooting track. Or, obtain the target posture of the gimbal at the end point of the panoramic shooting track; adjust the gimbal's posture, and when the gimbal's posture is the target posture, control the gimbal to rotate according to the panoramic shooting track.
  • the attitude of the gimbal when the attitude of the gimbal is at the starting point or the end point of the panoramic shooting track, and controlling the gimbal to rotate according to the panoramic shooting track, the imaging effect of the panoramic shooting can be improved.
  • the way of controlling the rotation of the pan-tilt head may be: according to the panoramic shooting track, determine the rotation parameters of the target motor of the pan-tilt head to be rotated, and control the rotation parameters of the target motor according to the rotation parameters of the target motor.
  • the target motor rotates, thereby driving the photographing equipment mounted on the pan/tilt to move, so that the motion trajectory of the photographing equipment is the panoramic photographing trajectory.
  • the target motor includes at least one of the pan axis motor, pitch axis motor and roll axis motor of the gimbal
  • the rotation parameter includes the rotation speed of the joint angle of the target motor, the joint angle of the rotation start position and the rotation stop position, joint angle, etc.
  • the photographing device is controlled to take a picture to obtain an initial image, so that a plurality of initial images corresponding to a plurality of shooting angles can be obtained after the gimbal stops rotating.
  • the multiple shooting angles are determined according to the field of view of the shooting device and the angular range of the panoramic shooting track.
  • the field of view of the shooting device is 45° ⁇ 50°
  • the angle range of the panoramic shooting track is The horizontal direction is 0-270°
  • the multiple shooting angles can be 0°, 45°, 90°, 135°, 180°, 225° and 270°, that is, the rotation angles of the gimbal reach 0°, 45°, At 90°, 135°, 180°, 225° and 270°, one initial image is taken, resulting in 7 initial images.
  • the plurality of shooting angles are determined according to the field of view of the shooting device, the angular range of the panoramic shooting track, and the preset ratio of the overlapping area between adjacent initial images.
  • the preset ratio of the overlapping area between adjacent initial images refers to the ratio of the overlapping area between adjacent initial images to the initial image, and the preset ratio can be set according to the actual situation, which is not done in this embodiment of the present application Specific restrictions.
  • the preset ratio is one-third
  • the field of view of the shooting device is 45° ⁇ 50°
  • the angle range of the panoramic shooting track is 0-270° in the horizontal direction
  • the multiple shooting angles are 0°, 30°, 60°, 90°, 120°, 180°, 210°, 240° and 270°
  • the angle difference of the overlapping area between adjacent initial images is 15°
  • the maximum angle of a single initial image is 45°
  • the overlapping area between adjacent initial images accounts for 15°/45°, or one third of the initial images.
  • the shooting device shoots the initial image when the shooting angle is 0°, 30°, 60°, 90°, 120°, 180°, 210°, 240° and 270°
  • the first image is shot when the shooting angle is 0°.
  • the shooting angle of the third initial image is 60°
  • the second initial image is zoomed to obtain the to-be-combined image corresponding to the second initial image
  • the fourth initial image is shot at the shooting angle of 120°.
  • the third initial image is zoomed to obtain the to-be-synthesized image corresponding to the third initial image, and so on, and finally the ninth initial image captured at a shooting angle of 270° is zoomed. , to obtain the image to be synthesized corresponding to the ninth initial image.
  • a preset anti-aliasing interpolator is used to perform scaling processing on the initial image captured by the capturing device at the last moment to obtain the image to be synthesized.
  • the preset anti-aliasing interpolator may be set based on an actual situation, which is not specifically limited in this embodiment of the present application.
  • the default anti-aliasing interpolator is an anti-aliasing area interpolator.
  • the anti-aliasing interpolator is used to scale the initial image, which can reduce the aliasing effect and moiré effect of the image and improve the image quality.
  • S103 Acquire a plurality of the images to be synthesized corresponding to the plurality of initial images, and perform panoramic synthesis on the plurality of images to be synthesized to obtain a panoramic photo.
  • the to-be-combined image is cached in the memory, a plurality of to-be-combined images corresponding to the plurality of initial images are acquired from the memory, and the plurality of to-be-combined images are obtained.
  • the composite images are combined in a panorama to obtain a panorama photo. Since existing panorama synthesis algorithms store the initial image on disk, almost any operation involving using image information (such as getting image pixels or getting the size of the original image) re-reads the initial image from disk by file name To complete the image and decoding, it requires frequent reading and writing of the disk, which is easy to cause blockage and takes a long time to synthesize the panorama.
  • the cache reads the image to be synthesized, which reduces the interaction with the disk and saves a lot of time. At the same time, the scaled image to be synthesized is smaller than the original image, and does not put pressure on the memory.
  • the brightness of multiple images to be synthesized is normalized to obtain multiple target images; the multiple target images are synthesized in a panoramic view to obtain panoramic photos.
  • the brightness of multiple target images obtained by normalization is unified, and the problem of obvious changes in the brightness and darkness of panoramic photos due to the uneven brightness of the images to be synthesized can be alleviated.
  • the quality of the panorama photo is normalized to obtain multiple target images; the multiple target images are synthesized in a panoramic view to obtain panoramic photos.
  • the brightness of multiple images to be synthesized is normalized to obtain multiple target images by: obtaining the brightness of the overlapping image area between every two adjacent images to be synthesized; The brightness of the overlapping image area between every two adjacent images to be synthesized determines the brightness gain coefficient of each image to be synthesized; The normalization process is to determine the product of the luminance gain coefficient of the image to be synthesized and the luminance of the image to be synthesized to obtain the target luminance, and set the luminance of the image to be synthesized as the target luminance.
  • the brightness gain coefficient includes a positive gain coefficient of brightness and a negative gain coefficient of brightness. The positive gain coefficient of brightness is used to increase the brightness of the image to be synthesized, and the negative gain coefficient is used to reduce the brightness of the image to be synthesized.
  • the method of determining the brightness gain coefficient of each image to be synthesized may be: according to every two adjacent images to be synthesized The brightness of the overlapping image areas between them is determined, and the brightness average value is determined; according to the brightness average value and the brightness of each to-be-combined image, the brightness gain coefficient of each to-be-combined image is determined.
  • a Laplacian pyramid with layers greater than the preset number of layers can also be used to synthesize the images to be synthesized, so as to alleviate the panoramic photo caused by the uneven brightness of the images to be synthesized.
  • the storage and operation precision of the Laplacian pyramid part is adjusted to 16bit floating point number to reduce the peak value during synthesis Memory consumption, easy to synthesize panoramic photos.
  • multiple matching pairs of feature points in the overlapping image area between every two adjacent images to be synthesized are obtained; according to the multiple matching pairs of feature points in each overlapping image area, each The focal length and extrinsic parameter matrix of the synthesized image; according to the focal length and extrinsic parameter matrix of each image to be synthesized, determine the relative positional relationship between the multiple images to be synthesized;
  • the images to be synthesized are combined in a panoramic view to obtain a panoramic photo. Since the existing panoramic synthesis algorithm is performed under the condition that the optical center of the camera is unchanged, that is, when determining the relative positional relationship between the images to be synthesized, the focal lengths of the multiple images to be synthesized are known and fixed.
  • the relative positional relationship between the images to be synthesized is determined according to the same focal length, the subsequent panoramic photos are synthesized based on the relative positional relationship between the images to be synthesized. , there will be stitching dislocation, etc., which will seriously affect the synthesis effect of panoramic photos.
  • panoramic synthesis is performed on a plurality of images to be synthesized to reduce the situation of stitching and dislocation, and a panoramic photo with good effect can be obtained.
  • the method of determining the focal length and the extrinsic parameter matrix of the to-be-synthesized image may be: according to the plurality of feature point matching pairs and the optimization equation, determine the focal length and the extrinsic parameter matrix of the to-be-synthesized image.
  • the matrix, that is, matching pairs of each feature point is substituted into the optimization equation to solve the focal length and extrinsic parameter matrix, so as to determine the optimal focal length and extrinsic parameter matrix of the image to be synthesized.
  • the optimization equation is (x 1 , y 1 ) and (x 2 , y 2 ) are a feature point matching pair
  • C 1 is the internal parameter matrix of one of the two adjacent images to be synthesized, and and are the horizontal focal length and vertical focal length of an image to be synthesized, respectively, is the mapping position of the center of the optical center in a to-be-synthesized image
  • the horizontal focal length and vertical focal length of another image to be synthesized respectively
  • is the mapping position of the center of the optical center in another image to be synthesized is the inverse matrix of the extrinsic parameter matrix of one of the two adjacent images to be synthesized
  • R 2 is the extrinsic parameter matrix of the other image to be synthesized.
  • panorama synthesis is performed on a plurality of images to be synthesized to obtain a synthesized image; if there is an unfilled image area in the synthesized image, the brightness of a plurality of pixels around the unfilled image area is obtained; The brightness of each pixel is filled, and the unfilled image area is filled to obtain a panoramic photo.
  • the Laplacian pyramid is used to achieve the purpose of layered fusion.
  • each image to be synthesized is expanded into its own pyramid and filled in the Pyramid, because the shape of the image to be synthesized becomes irregular after being mapped and deformed, after filling all the pyramids of the image to be synthesized into the pyramid of the panoramic photo, there may still be some areas that have not been filled, and the pixel value is 0, which is equivalent to black. Therefore, by filling the unfilled image area, it is ensured that the unfilled image area does not appear in the panoramic photo, and the composite effect of the panoramic photo is improved.
  • filling processing is performed on the unfilled image area according to the brightness of a plurality of pixels around the unfilled image area to obtain a panoramic photo.
  • the average brightness of the pixels; according to the average brightness, the unfilled image area is filled to obtain a panoramic photo.
  • the unfilled image area is located in the lower right corner, upper right corner, upper left corner and the middle of the left side of the composite image.
  • the panoramic photo is sent to the display device, the display device receives the panoramic photo, displays the panoramic photo and the image cropping icon, and then responds to the user's selection of the image cropping icon. Trigger the action to crop the panorama.
  • the current panorama photo cropping is mainly completed automatically by the control device, but the cropped photo does not necessarily meet the needs of the user, and the cropped photo will also be an irregularly shaped strip, and by displaying the panorama photo and The image cropping icon enables users to crop panoramic photos by themselves, which greatly improves the user experience.
  • zooming processing is performed on the initial image shot by the shooting device at the previous moment, so as to obtain the desired image.
  • Synthesize images then obtain multiple images to be synthesized corresponding to multiple initial images, and perform panoramic synthesis on the multiple images to be synthesized to obtain a panoramic photo, because during the shooting process, the initial images captured at the previous moment are simultaneously
  • the zoom processing does not need to wait for the initial image to be processed after the shooting, which can greatly reduce the synthesis time of panoramic photos and improve the user experience.
  • FIG. 7 is a schematic structural block diagram of a control apparatus provided by an embodiment of the present application.
  • the control device 300 includes a processor 301 and a memory 302, and the processor 301 and the memory 302 are connected through a bus 303, such as an I2C (Inter-integrated Circuit) bus.
  • the control device 300 is used to control the photographing equipment.
  • the processor 301 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU) or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • the processor 301 is used for running the computer program stored in the memory 302, and implements the following steps when executing the computer program:
  • the performing zoom processing on the initial image captured by the capturing device at the last moment to obtain the image to be synthesized includes:
  • the initial image captured by the capturing device at the last moment is zoomed by a preset anti-aliasing interpolator to obtain an image to be synthesized.
  • the method further includes:
  • the acquiring a plurality of the images to be synthesized corresponding to the plurality of initial images includes:
  • the multiple images to be synthesized corresponding to the multiple initial images are acquired from the memory.
  • the photographing device is mounted on a PTZ
  • the controlling the photographing device to photograph a plurality of initial images includes:
  • the shooting device In the process of controlling the rotation of the pan-tilt, when the rotation angle of the pan-tilt reaches any one of the multiple shooting angles corresponding to the panoramic shooting track, the shooting device is controlled to take pictures to obtain the initial image .
  • the obtaining of the panoramic shooting track includes:
  • the preset track is used as the panorama shooting track.
  • the pan/tilt is connected in communication with the control device, the control device is provided with a display device, and the acquiring a panoramic shooting track includes:
  • controlling the display device to display a panoramic shooting track selection page, wherein the panoramic shooting track selection page includes a plurality of candidate panoramic shooting tracks;
  • the candidate panoramic shooting track selected by the user is acquired, and the candidate panoramic shooting track selected by the user is used as the panoramic shooting track.
  • the panoramic shooting track selection page includes a track planning icon
  • the acquiring the panoramic shooting track includes:
  • controlling the display device In response to the user's triggering operation on the trajectory planning icon, controlling the display device to display a pop-up window for setting the angle range of the panoramic shooting trajectory;
  • controlling the pan/tilt to rotate according to the panoramic shooting track includes:
  • the posture of the pan/tilt is adjusted, and when the posture of the pan/tilt is the target posture, the pan/tilt is controlled to rotate according to the panoramic shooting track.
  • the plurality of shooting angles are determined according to the field of view of the shooting device and the angle range of the panoramic shooting track.
  • the plurality of shooting angles are determined according to the field of view of the shooting device, the angular range of the panoramic shooting track, and the preset ratio of the overlapping area between adjacent initial images.
  • performing panoramic synthesis on the plurality of images to be synthesized to obtain a panoramic photo including:
  • the performing normalization processing on the brightness of the plurality of images to be synthesized includes:
  • the brightness of the respective corresponding to-be-combined images is normalized.
  • performing panoramic synthesis on the plurality of images to be synthesized to obtain a panoramic photo including:
  • the focal length and extrinsic parameter matrix of each of the to-be-synthesized images determine the relative positional relationship between the plurality of the to-be-combined images
  • panoramic synthesis is performed on the plurality of images to be synthesized to obtain a panoramic photo.
  • performing panoramic synthesis on the plurality of images to be synthesized to obtain a panoramic photo including:
  • performing a filling process on the unfilled image area according to the brightness of a plurality of pixels around the unfilled image area to obtain a panoramic photo including:
  • the brightness of the plurality of pixels around the unfilled image area determine the mean value of the brightness of the plurality of pixels
  • the method further includes:
  • FIG. 8 is a schematic structural block diagram of a photographing system provided by an embodiment of the present application.
  • the photographing system 400 includes a pan/tilt 410 , a photographing device 420 mounted on the pan/tilt 410 , and a control device 430 .
  • the pan/tilt 410 is connected to the photographing device 420 through a control line, and the pan/tilt 410 is connected to a control device 430.
  • the control device 430 may be used to control the photographing device 420, and the control device 430 may also be used to control the pan/tilt 410.
  • the pan/tilt head 410 is connected to the handle portion, and the control device 430 is disposed on the handle portion.
  • the PTZ 410 is mounted on the movable platform, and the control device 430 is further used to control the movement of the movable platform.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, the computer program includes program instructions, and the processor executes the program instructions, so as to realize the provision of the above embodiments.
  • the steps of the panorama shooting method are described in detail below.
  • the computer-readable storage medium may be an internal storage unit of the control device described in any of the foregoing embodiments, such as a hard disk or a memory of the control device.
  • the computer-readable storage medium may also be an external storage device of the control device, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) equipped on the control device ) card, Flash Card, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种全景拍摄方法、装置、系统及计算机可读存储介质，其中该方法包括：控制拍摄设备拍摄多个初始图像(S101)；在控制拍摄设备拍摄每个初始图像的同时，对在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像(S102)；对多个待合成图像进行全景合成，得到全景照片(S103)。本申请减少了全景照片的合成时间。

Description

全景拍摄方法、装置、系统及计算机可读存储介质 技术领域
本申请涉及全景拍摄技术领域，尤其涉及一种全景拍摄方法、装置、系统及计算机可读存储介质。
背景技术
全景拍摄，主要是指在同一场景下，通过有规律地拍摄多个角度的单张小视角照片，然后通过算法匹配、拼接、融合，得到一张该场景下的全景照片。现有全景照片的合成需要经过较长的时间，用户体验不好。
发明内容
基于此，本申请实施例提供了一种全景拍摄方法、装置、系统及计算机可读存储介质，旨在减少全景照片的合成时间，提高用户体验。
第一方面，本申请实施例提供了一种全景拍摄方法，应用于控制装置，所述控制装置用于控制拍摄设备，所述方法包括：
控制所述拍摄设备拍摄多个初始图像；
在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像；
获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
第二方面，本申请实施例还提供了一种控制装置，所述控制装置用于控制拍摄设备，所述控制装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
控制所述拍摄设备拍摄多个初始图像；
在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像；
获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
第三方面，本申请实施例还提供了一种拍摄系统，所述拍摄系统包括云台、拍摄设备和如本申请说明书提供的任一项所述的控制装置。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如本申请说明书提供的任一项所述的全景拍摄方法的步骤。
本申请实施例提供了一种全景拍摄方法、装置、系统及计算机可读存储介质，通过控制拍摄设备拍摄多个初始图像，并在控制拍摄设备拍摄每个初始图像的同时，对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的全景拍摄方法的一场景示意图；
图2是实施本申请实施例提供的全景拍摄方法的另一场景示意图；
图3是本申请实施例提供的一种全景拍摄方法的步骤示意流程图；
图4是图3中的全景拍摄方法的子步骤示意流程图；
图5是本申请实施例中的合成图像的一示意图；
图6是本申请实施例中填补后的合成图像的一示意图；
图7是本申请实施例提供的一种控制装置的结构示意性框图；
图8是本申请实施例提供的一种拍摄系统的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部 的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
全景拍摄，主要是指在同一场景下，通过有规律地拍摄多个角度的单张小视角照片，然后通过算法匹配、拼接、融合，得到一张该场景下的全景照片。现有全景照片的合成需要经过较长的时间，用户体验不好。
为解决上述问题，本申请实施例提供一种全景拍摄方法、装置、系统及计算机可读存储介质，该全景拍摄方法可以应用于拍摄设备，该全景拍摄方法也可以应用于手持云台，该全景拍摄方法还可以应用于由云台和拍摄设备组成的拍摄系统，通过控制拍摄设备拍摄多个初始图像，并在控制拍摄设备拍摄每个初始图像的同时，对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
例如，用户手动的移动拍摄设备拍摄全景照片时，拍摄设备拍摄多个初始图像，并在拍摄每个初始图像的同时，拍摄设备对上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
请参阅图1，图1是实施本申请实施例提供的全景拍摄方法的一场景示意图。如图1所示，该场景包括手持云台100和拍摄设备200，该手持云台100包括手柄部101和设于手柄部101上的云台102。可以理解的是，拍摄设备200可以与云台102一体设置，拍摄设备为智能手机，当然也可以为其他摄像设备，例如单反相机。
其中，云台102包括三轴电机，分别为俯仰(pitch)轴电机1021、横滚(roll) 轴电机1022和平移(yaw)轴电机1023，用于调整搭载于云台102上的拍摄设备200的平衡姿态，以便随时随地拍摄出高精度的稳定画面。
其中，云台102上设置有惯性测量单元(Inertial measurement unit，IMU)，可例如为加速度计或陀螺仪中的至少一种，可以用于测量云台102的姿态和加速度等，以便根据姿态调整云台102的姿态。
在一实施例中，手柄部101上也设置有惯性测量单元(Inertial measurement unit，IMU)，例如包括加速度计或陀螺仪中的至少一种，可以用于测量手柄部101的姿态和加速度等，以便根据手柄部101的姿态和云台102的姿态调整云台102的姿态。
其中，手柄部101上还设有操作控键，以便用户操作该操作控键以控制云台102或搭载于云台102上的拍摄设备。该操作控键可例如为按键、扳机、旋钮或者摇杆等，当然也包括其他形式的物理按键。比如，摇杆可以用于控制三个转轴的运动，进而控制云台102的运动。
可选的，手持云台100可以通过控制线与拍摄设备200连接，以调节搭载于云台102上的拍摄设备200的拍摄参数。该控制线例如为快门线。此处不限定快门线的种类，例如，该快门线可以是通用串行总线(Universal Serial Bus，USB)，该拍摄参数例如为拍摄设备的跟焦参数、变焦参数、跟焦参数和拍摄模式等。
其中，手持云台100包括控制装置，当用户开启手持云台的全景拍摄模式时，控制装置用于控制拍摄设备拍摄多个初始图像，并在控制拍摄设备拍摄每个初始图像的同时，对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
请参阅图2，图2是实施本申请实施例提供的全景拍摄方法的另一场景示意图，如图2所示，该场景包括可移动平台10、云台20和拍摄设备30，可移动平台10与云台20电连接，拍摄设备30搭载于云台20，云台20也可以与拍摄设备30一体化设置，拍摄设备30可以为单反相机，也可以为智能手机。
其中，云台20包括三轴电机，分别为平移轴电机21、俯仰轴电机22和横滚轴电机23，用于调整搭载于云台20上的拍摄设备30的平衡姿态，以便随时随地拍摄出高精度的稳定画面。
其中，可移动平台10包括控制装置，控制装置用于控制拍摄设备拍摄多个初始图像，并在控制拍摄设备拍摄每个初始图像的同时，对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
其中，可移动平台10包括无人机、无人驾驶汽车和可移动机器人，无人机可以是旋翼飞机。在某些情形下，无人机可以是可包括多个旋翼的多旋翼飞行器。多个旋翼可旋转而为无人机产生提升力。旋翼可以是推进单元，可使得无人机在空中自由移动。旋翼可按相同速率旋转和/或可产生相同量的提升力或推力。旋翼可按不同的速率随意地旋转，产生不同量的提升力或推力和/或允许无人机旋转。在某些情形下，在无人机上可提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。这些旋翼可布置成其旋转轴彼此平行。在某些情形下，旋翼的旋转轴可相对于彼此呈任意角度，从而可影响无人机的运动。
无人机可包括多个旋翼。旋翼可连接至无人机的本体，无人机的本体可包含控制单元、惯性测量单元(inertial measuring unit，IMU)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。示例性的，无人机可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
以下，将结合图1、图2中的场景对本申请的实施例提供的全景拍摄方法进行详细介绍。需知，图1、图2中的场景仅用于解释本申请实施例提供的全景拍摄方法，但并不构成对本申请实施例提供的全景拍摄方法应用场景的限定。
请参阅图3，图3是本申请实施例提供的一种全景拍摄方法的步骤示意流程图。该全景拍摄方法可以应用于控制装置，该控制装置用于控制拍摄设备，以减少全景照片的合成时间，提高用户体验。
如图3所示，该全景拍摄方法包括步骤S101至步骤S103。
S101、控制所述拍摄设备拍摄多个初始图像。
当拍摄设备处于全景拍摄模式时，用户点击拍摄设备上的拍摄图标后，手 动的平移拍摄设备按照设定的轨迹移动，在移动过程中当拍摄设备达到轨迹上的多个拍摄点中的任一拍摄点时，控制拍摄设备拍照，得到初始图像，使得用户按照设定的轨迹平移拍摄设备后，可以控制拍摄设备拍摄得到多个初始图像。
在一实施例中，如图4所示，步骤S101可以包括子步骤S1011至S1013。
S1011、获取全景拍摄轨迹。
其中，拍摄设备可以搭载于云台，该云台可以是手持云台，也可以是搭载于可移动平台上的云台，本申请实施例对此不做具体限定。
在一实施例中，获取全景拍摄指令，并根据该全景拍摄指令，获取全景拍摄轨迹，例如，根据该全景拍摄指令，从存储器中获取预设轨迹，并将预设轨迹作为全景拍摄轨迹。其中，该全景拍摄指令的获取方式可以包括：响应于用户对拍摄设备显示的拍摄图标的触控操作，触发全景拍摄指令；或，响应于用户对全景拍摄按键的按压操作，触发全景拍摄指令，其中，云台与一手柄部连接，该全景拍摄按键设于手柄部；或控制终端响应于对控制终端显示的拍摄图标的触控操作，触发全景拍摄指令，并将该全景拍摄指令发送至可移动平台，可移动平台的控制装置获取该全景拍摄指令，其中，控制终端与可移动平台通信连接，控制终端用于控制可移动平台。
在一实施例中，该云台与控制装置通讯连接，控制装置设有显示装置，获取全景拍摄轨迹的方式可以为：控制显示装置显示全景拍摄轨迹选择页面，其中，全景拍摄轨迹选择页面包括多条候选全景拍摄轨迹；获取被用户选择的候选全景拍摄轨迹，并将被用户选择的候选全景拍摄轨迹作为全景拍摄轨迹。通过显示多条候选全景拍摄轨迹，便于用户基于需求自行选择合适的全景拍摄轨迹，提高用户体验。
在一实施例中，控制终端显示全景拍摄轨迹选择页面，其中，全景拍摄轨迹选择页面包括多条候选全景拍摄轨迹；获取被用户选择的候选全景拍摄轨迹，并将用户选择的候选全景拍摄轨迹作为待使用的全景拍摄轨迹发送至可移动平台，可移动平台接收控制终端发送的全景拍摄轨迹，便于控制装置后续能够基于该全景拍摄轨迹控制搭载于可移动平台上的云台转动，使得拍摄设备的运动轨迹为全景拍摄轨迹。
在一实施例中，该全景拍摄轨迹选择页面包括轨迹规划图标，获取全景拍摄轨迹的方式还可以为：响应于用户对轨迹规划图标的触发操作，控制显示装置显示全景拍摄轨迹的角度范围设置弹窗；获取用户在角度范围设置弹窗内输入的角度范围，并根据角度范围规划全景拍摄轨迹。其中，角度范围包括水平 方向的角度范围和俯仰方向的角度范围，例如，水平方向的最大角度范围为：水平方向0°至360°、俯仰方向的最大角度范围为0°至360°。通过显示全景拍摄轨迹的角度范围设置弹窗，便于用户按照需要自行设置全景拍摄轨迹的角度范围，使得控制装置能够基于角度范围规划全景拍摄轨迹。
S1012、根据所述全景拍摄轨迹，控制所述云台转动，使得所述拍摄设备的运动轨迹为所述全景拍摄轨迹。
在获取到全景拍摄轨迹后，基于该全景拍摄轨迹，控制云台转动，从而带动搭载于云台上的拍摄设备运动，使得拍摄设备的运动轨迹可以为全景拍摄轨迹。通过全景拍摄轨迹自动的控制云台运动，以使拍摄设备的运动轨迹为全景拍摄轨迹，不需要用户手动的移动拍摄设备，保证拍摄设备拍摄得到的初始图像为清晰的图像，也便于用户拍摄全景照片，提高用户体验。
在一实施例中，根据该全景拍摄轨迹，控制云台转动的方式可以为：获取云台在全景拍摄轨迹的起点处的目标姿态；调整云台的姿态，并在云台的姿态为目标姿态时，控制云台按照全景拍摄轨迹转动。或者，获取云台在全景拍摄轨迹的终点处的目标姿态；调整云台的姿态，并在云台的姿态为目标姿态时，控制云台按照全景拍摄轨迹转动。通过调整云台的姿态，使得云台的姿态为在全景拍摄轨迹的起点或终点处的姿态时，控制云台按照全景拍摄轨迹转动，可以提高全景拍摄的成像效果。
在一实施例中，根据该全景拍摄轨迹，控制云台转动的方式可以为：根据该全景拍摄轨迹，确定云台的待转动的目标电机的转动参数，并根据该目标电机的转动参数，控制目标电机转动，从而带动搭载于云台上的拍摄设备运动，使得拍摄设备的运动轨迹为该全景拍摄轨迹。其中，该目标电机包括云台的平移轴电机、俯仰轴电机和横滚轴电机中的至少一项，该转动参数包括目标电机的关节角的转动速度、转动起始位置的关节角和转动停止位置的关节角等。
S1013、在控制所述云台转动的过程中，当所述云台的转动角度达到所述全景拍摄轨迹对应的多个拍摄角度中的任一角度时，控制所述拍摄设备拍照，得到所述初始图像。
在控制云台转动的过程中，确定云台的转动角度是否达到全景拍摄轨迹对应的多个拍摄角度中的任一角度，当云台的转动角度达到全景拍摄轨迹对应的多个拍摄角度中的任一角度时，控制拍摄设备拍照，得到初始图像，使得云台停止转动后能够得到多个拍摄角度对应的多个初始图像。
在一实施例中，多个拍摄角度是根据拍摄设备的视场角和全景拍摄轨迹的 角度范围确定的，例如，拍摄设备的视场角为45°×50°，全景拍摄轨迹的角度范围为水平方向0-270°，则多个拍摄角度可以为0°、45°、90°、135°、180°、225°和270°，也即云台的转动角度分别达到0°、45°、90°、135°、180°、225°和270°时，拍摄一张初始图像，从而得到7张初始图像。
在一实施例中，多个拍摄角度是根据拍摄设备的视场角、全景拍摄轨迹的角度范围和相邻初始图像之间的重叠区域的预设比例确定的。其中，相邻初始图像之间的重叠区域的预设比例是指相邻初始图像之间的重叠区域占初始图像的比例，预设比例可根据实际情况进行设置，本申请实施例对此不做具体限定。
例如，预设比例为三分之一，拍摄设备的视场角为45°×50°，全景拍摄轨迹的角度范围为水平方向0-270°，则多个拍摄角度为0°、30°、60°、90°、120°、180°、210°、240°和270°，相邻初始图像之间的重叠区域的角度差值为15°，单张初始图像的最大角度为45°，因此，相邻初始图像之间的重叠区域占初始图像的比例为15°/45°，即三分之一。
S102、在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像。
例如，拍摄设备分别在拍摄角度为0°、30°、60°、90°、120°、180°、210°、240°和270°时，拍摄初始图像，则在拍摄角度为0°拍摄第一张初始图像时，上一时刻未拍摄得到初始图像，则不处理，在拍摄角度为30°拍摄第二张初始图像时，对第一张初始图像进行缩放处理，得到第一张初始图像对应的待合成图像，在拍摄角度为60°拍摄第三张初始图像时，对第二张初始图像进行缩放处理，得到第二张初始图像对应的待合成图像，在拍摄角度为120°拍摄第四张初始图像时，对第三张初始图像进行缩放处理，得到第三张初始图像对应的待合成图像，以此类推，最后对在拍摄角度为270°拍摄得到的第九张初始图像进行缩放处理，得到第九张初始图像对应的待合成图像。
在一实施例中，通过预设抗混叠插值器对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像。其中，预设抗混叠插值器可以基于实际情况进行设置，本申请实施例对此不做具体限定。例如，预设抗混叠插值器为抗混叠的area插值器。通过抗混叠插值器对初始图像进行缩放处理，可以减少图像的锯齿效应和摩尔纹效应，提高图像的画质。
S103、获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
在一实施例中，在对初始图像进行缩放处理，得到待合成图像后，将待合 成图像缓存至内存中，从内存中获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片。由于现有的全景合成算法是将初始图像存储在磁盘中，因此几乎任何涉及使用图像信息的操作(例如获取图像像素或获取原图的尺寸)，都是通过文件名从磁盘中重新读取初始图像并解码来完成的，需要频繁的读写磁盘，容易造成阻塞，全景合成耗时较长，而通过将待合成图像缓存至内存中，原本需要进行初始图像读取的步骤都可以改为从缓存读取待合成图像，减少了与磁盘的交互，节约了大量时间，同时，缩放后的待合成图像相比初始图像的体积很小，也不会对内存带来压力。
在一实施例中，对多个待合成图像的亮度进行归一化处理，得到多个目标图像；对多个目标图像进行全景合成，得到全景照片。通过对多个待合成图像的亮度进行归一化处理，使得归一化得到的多个目标图像的亮度统一，减轻由于待合成图像本身亮度不均匀导致全景照片的明暗变化明显的问题，以提高全景照片的画质。
在一实施例中，对多个待合成图像的亮度进行归一化处理，得到多个目标图像的方式可以为：获取相邻的每两个待合成图像之间的重叠图像区域的亮度；根据相邻的每两个待合成图像之间的重叠图像区域的亮度，确定每个待合成图像的亮度增益系数；根据每个待合成图像的亮度增益系数，对各自对应的待合成图像的亮度进行归一化处理，即确定待合成图像的亮度增益系数与待合成图像的亮度的乘积，得到目标亮度，并将待合成图像的亮度设置为该目标亮度。亮度增益系数包括亮度的正增益系数和亮度的负增益系数，亮度的正增益系数用于提高待合成图像的亮度，负增益系数用于降低待合成图像的亮度。
在一实施例中，根据相邻的每两个待合成图像之间的重叠图像区域的亮度，确定每个待合成图像的亮度增益系数的方式可以为：根据相邻的每两个待合成图像之间的重叠图像区域的亮度，确定亮度平均值；根据亮度平均值和每个待合成图像的亮度，确定每个待合成图像的亮度增益系数。
在一实施例中，此外，在合成全景照片的过程中，也可以使用层数大于预设层数的拉普拉斯金字塔对待合成图像进行合成，减轻由于待合成图像本身亮度不均匀导致全景照片的明暗变化明显的问题，以提高全景照片的画质，此外，在合成全景照片的过程中，将拉普拉斯金字塔部分的存储和运算的精度调整为16bit浮点数，以减少合成时的峰值内存消耗，便于合成全景照片。
在一实施例中，获取相邻的每两个待合成图像之间的重叠图像区域内的多个特征点匹配对；根据每个重叠图像区域内的多个特征点匹配对，确定每个待 合成图像的焦距和外参矩阵；根据每个待合成图像的焦距和外参矩阵，确定多个待合成图像之间的相对位置关系；根据多个待合成图像之间的相对位置关系，对多个待合成图像进行全景合成，得到全景照片。由于现有的全景合成算法，是在相机光心不变的情况下进行的，也即在确定待合成图像之间的相对位置关系时，多个待合成图像的焦距是固定不变的已知量，不需要求解，但在实际拍摄时，会存在小范围的视差，如果按照相同的焦距确定待合成图像之间的相对位置关系，后续基于待合成图像之间的相对位置关系合成全景照片时，会出现拼接错位等情况，严重影响全景照片的合成效果，而通过自适应的确定每个待合成图像的焦距和外参矩阵，再根据每个待合成图像的焦距和外参矩阵确定多个待合成图像之间的相对位置关系，对多个待合成图像进行全景合成，减少拼接错位等情况，可以得到效果好的全景照片。
在一实施例中，根据多个特征点匹配对，确定待合成图像的焦距和外参矩阵的方式可以为：根据多个特征点匹配对和最优化方程，确定待合成图像的焦距和外参矩阵，即将每个特征点匹配对，代入最优化方程求解焦距和外参矩阵，以确定待合成图像的最优的焦距和外参矩阵。
其中，最优化方程为
Figure PCTCN2020108736-appb-000001
(x 1,y 1)和(x 2,y 2)为一个特征点匹配对，C 1为相邻的两个待合成图像中的一个待合成图像的内参矩阵，且
Figure PCTCN2020108736-appb-000002
Figure PCTCN2020108736-appb-000003
和
Figure PCTCN2020108736-appb-000004
分别为一个待合成图像的横向焦距和纵向焦距，
Figure PCTCN2020108736-appb-000005
为光心中心点在一个待合成图像的映射位置，
Figure PCTCN2020108736-appb-000006
为另一个待合成图像的内参矩阵的逆矩阵，且
Figure PCTCN2020108736-appb-000007
Figure PCTCN2020108736-appb-000008
和
Figure PCTCN2020108736-appb-000009
分别为另一个待合成图像的横向焦距和纵向焦距，
Figure PCTCN2020108736-appb-000010
为光心中心点在另一个待合成图像的映射位置，
Figure PCTCN2020108736-appb-000011
为相邻的两个待合成图像中的一个待合成图像的外参矩阵的逆矩阵，R 2为另一个待合成图像的外参矩阵。
在一实施例中，对多个待合成图像进行全景合成，得到合成图像；若合成图像内存在未填充图像区域，则获取未填充图像区域周围多个像素的亮度；根 据未填充图像区域周围多个像素的亮度，对未填充图像区域进行填充处理，得到全景照片。在全景合成阶段的图像融合中，使用了拉普拉斯金字塔来达到分层融合的目的，在进行融合时，将每张待合成图像展开为其各自的金字塔，并将其填入全景照片的金字塔，由于待合成图像经过映射、变形后形状变得不规则，在将所有待合成图像的金字塔填充进全景照片的金字塔后，仍有可能有一些区域是未被填充过的，其像素值为0，相当于黑色，为此，通过对未填充图像区域进行填充处理，保证全景照片中不会出现未填充图像区域，提高全景照片的合成效果。
在一实施例中，根据未填充图像区域周围多个像素的亮度，对未填充图像区域进行填充处理，得到全景照片的方式可以为：根据未填充图像区域周围多个像素的亮度，确定多个像素的亮度均值；根据亮度均值，对未填充图像区域进行填充处理，得到全景照片。例如，如图5所示，合成图像内存在未填充图像区域，且未填充图像区域位于合成图像的右下角、右上角、左上角以及左侧中部，通过对未填充图像区域进行填充处理，得到的全景照片如图6所示，该全景照片不包含未填充图像区域。通过对未填充图像区域进行填充处理，保证全景照片中不会出现未填充图像区域，提高全景照片的合成效果。
在一实施例中，在得到全景照片之后，将该全景照片发送至显示设备，显示设备接收该全景照片，并显示该全景照片和图像裁切图标，然后响应于用户对该图像裁切图标的触发操作，对该全景照片进行裁切。目前的全景照片裁切主要是由控制装置自动完成，但裁切得到的照片不一定符合用户的需求，还会导致裁切得到的照片为不规则形状的长条形，而通过显示全景照片和图像裁切图标，使得用户可以自行裁切全景照片，极大地提高了用户体验。
上述实施例提供的全景拍摄方法，通过控制拍摄设备拍摄多个初始图像，并在控制拍摄设备拍摄每个初始图像的同时，对拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，然后获取多个初始图像对应的多个待合成图像，并对多个待合成图像进行全景合成，得到全景照片，由于是在拍摄过程中，同时的对上一时刻拍摄到的初始图像进行缩放处理，不需要等拍摄结束之后才开始对初始图像进行处理，能够极大的减少全景照片的合成时间，提高用户体验。
请参阅图7，图7是本申请实施例提供的一种控制装置的结构示意性框图。
如图7所示，该控制装置300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线303比如为I2C(Inter-integrated Circuit) 总线。该控制装置300用于控制拍摄设备。
具体地，处理器301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器301用于运行存储在存储器302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
控制所述拍摄设备拍摄多个初始图像；
在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像；
获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
在一实施例中，所述对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，包括：
通过预设抗混叠插值器对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像。
在一实施例中，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像之后，还包括：
将所述待合成图像缓存至内存中；
所述获取所述多个初始图像对应的多个所述待合成图像，包括：
从所述内存中获取所述多个初始图像对应的多个所述待合成图像。
在一实施例中，所述拍摄设备搭载于云台，所述控制所述拍摄设备拍摄多个初始图像，包括：
获取全景拍摄轨迹；
根据所述全景拍摄轨迹，控制所述云台转动，使得所述拍摄设备的运动轨迹为所述全景拍摄轨迹；
在控制所述云台转动的过程中，当所述云台的转动角度达到所述全景拍摄轨迹对应的多个拍摄角度中的任一角度时，控制所述拍摄设备拍照，得到所述初始图像。
在一实施例中，所述获取全景拍摄轨迹，包括：
将预设轨迹作为所述全景拍摄轨迹。
在一实施例中，所述云台与所述控制装置通讯连接，所述控制装置设有显示装置，所述获取全景拍摄轨迹，包括：
控制所述显示装置显示全景拍摄轨迹选择页面，其中，所述全景拍摄轨迹选择页面包括多条候选全景拍摄轨迹；
获取被用户选择的所述候选全景拍摄轨迹，并将被用户选择的所述候选全景拍摄轨迹作为所述全景拍摄轨迹。
在一实施例中，所述全景拍摄轨迹选择页面包括轨迹规划图标，所述获取全景拍摄轨迹，包括：
响应于用户对所述轨迹规划图标的触发操作，控制所述显示装置显示全景拍摄轨迹的角度范围设置弹窗；
获取用户在所述角度范围设置弹窗内输入的角度范围，并根据所述角度范围规划全景拍摄轨迹。
在一实施例中，所述根据所述全景拍摄轨迹，控制所述云台转动，包括：
获取所述云台在所述全景拍摄轨迹的起点处的目标姿态；
调整所述云台的姿态，并在所述云台的姿态为所述目标姿态时，控制所述云台按照所述全景拍摄轨迹转动。
在一实施例中，所述多个拍摄角度是根据所述拍摄设备的视场角和所述全景拍摄轨迹的角度范围确定的。
在一实施例中，所述多个拍摄角度是根据所述拍摄设备的视场角、所述全景拍摄轨迹的角度范围和相邻初始图像之间的重叠区域的预设比例确定的。
在一实施例中，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
对多个所述待合成图像的亮度进行归一化处理，得到多个目标图像；
对所述多个目标图像进行全景合成，得到全景照片。
在一实施例中，所述对多个所述待合成图像的亮度进行归一化处理，包括：
获取相邻的每两个所述待合成图像之间的重叠图像区域的亮度；
根据相邻的每两个所述待合成图像之间的重叠图像区域的亮度，确定每个所述待合成图像的亮度增益系数；
根据每个所述待合成图像的亮度增益系数，对各自对应的所述待合成图像的亮度进行归一化处理。
在一实施例中，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
获取相邻的每两个所述待合成图像之间的重叠图像区域内的多个特征点匹配对；
根据每个所述重叠图像区域内的多个特征点匹配对，确定每个所述待合成图像的焦距和外参矩阵；
根据每个所述待合成图像的焦距和外参矩阵，确定多个所述待合成图像之间的相对位置关系；
根据多个所述待合成图像之间的相对位置关系，对多个所述待合成图像进行全景合成，得到全景照片。
在一实施例中，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
对多个所述待合成图像进行全景合成，得到合成图像；
若所述合成图像内存在未填充图像区域，则获取所述未填充图像区域周围多个像素的亮度；
根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片。
在一实施例中，所述根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片，包括：
根据所述未填充图像区域周围多个像素的亮度，确定所述多个像素的亮度均值；
根据所述亮度均值，对所述未填充图像区域进行填充处理，得到全景照片。
在一实施例中，所述对多个所述待合成图像进行全景合成，得到全景照片之后，还包括：
将所述全景照片发送至显示设备，以供所述显示设备显示所述全景照片和图像裁切图标，并响应于用户对所述图像裁切图标的触发操作，对所述全景照片进行裁切。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的控制装置的具体工作过程，可以参考前述全景拍摄方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8是本申请实施例提供的一种拍摄系统的结构示意性框图。
如图8所示，该拍摄系统400包括云台410、搭载于云台410上的拍摄设备420和控制装置430。其中，云台410通过控制线与拍摄设备420连接，云台410与控制装置430连接，该控制装置430可以用于控制拍摄设备420，该 控制装置430也可以用于控制云台410。
在一实施例中，云台410与手柄部连接，控制装置430设置在手柄部上。
在一实施例中，云台410搭载在可移动平台上，控制装置430还用于控制可移动平台的移动。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的拍摄系统的具体工作过程，可以参考前述全景拍摄方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的全景拍摄方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的控制装置的内部存储单元，例如所述控制装置的硬盘或内存。所述计算机可读存储介质也可以是所述控制装置的外部存储设备，例如所述控制装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (36)

  1. 一种全景拍摄方法，其特征在于，应用于控制装置，所述控制装置用于控制拍摄设备，所述方法包括：
    控制所述拍摄设备拍摄多个初始图像；
    在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像；
    获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
  2. 根据权利要求1所述的全景拍摄方法，其特征在于，所述对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，包括：
    通过预设抗混叠插值器对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像。
  3. 根据权利要求1所述的全景拍摄方法，其特征在于，所述对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像之后，还包括：
    将所述待合成图像缓存至内存中；
    所述获取所述多个初始图像对应的多个所述待合成图像，包括：
    从所述内存中获取所述多个初始图像对应的多个所述待合成图像。
  4. 根据权利要求1所述的全景拍摄方法，其特征在于，所述拍摄设备搭载于云台，所述控制所述拍摄设备拍摄多个初始图像，包括：
    获取全景拍摄轨迹；
    根据所述全景拍摄轨迹，控制所述云台转动，使得所述拍摄设备的运动轨迹为所述全景拍摄轨迹；
    在控制所述云台转动的过程中，当所述云台的转动角度达到所述全景拍摄轨迹对应的多个拍摄角度中的任一角度时，控制所述拍摄设备拍照，得到所述初始图像。
  5. 根据权利要求4所述的全景拍摄方法，其特征在于，所述获取全景拍摄轨迹，包括：
    将预设轨迹作为所述全景拍摄轨迹。
  6. 根据权利要求4所述的全景拍摄方法，其特征在于，所述云台与所述控 制装置通讯连接，所述控制装置设有显示装置，所述获取全景拍摄轨迹，包括：
    控制所述显示装置显示全景拍摄轨迹选择页面，其中，所述全景拍摄轨迹选择页面包括多条候选全景拍摄轨迹；
    获取被用户选择的所述候选全景拍摄轨迹，并将被用户选择的所述候选全景拍摄轨迹作为所述全景拍摄轨迹。
  7. 根据权利要求6所述的全景拍摄方法，其特征在于，所述全景拍摄轨迹选择页面包括轨迹规划图标，所述获取全景拍摄轨迹，包括：
    响应于用户对所述轨迹规划图标的触发操作，控制所述显示装置显示全景拍摄轨迹的角度范围设置弹窗；
    获取用户在所述角度范围设置弹窗内输入的角度范围，并根据所述角度范围规划全景拍摄轨迹。
  8. 根据权利要求4所述的全景拍摄方法，其特征在于，所述根据所述全景拍摄轨迹，控制所述云台转动，包括：
    获取所述云台在所述全景拍摄轨迹的起点处的目标姿态；
    调整所述云台的姿态，并在所述云台的姿态为所述目标姿态时，控制所述云台按照所述全景拍摄轨迹转动。
  9. 根据权利要求4所述的全景拍摄方法，其特征在于，所述多个拍摄角度是根据所述拍摄设备的视场角和所述全景拍摄轨迹的角度范围确定的。
  10. 根据权利要求9所述的全景拍摄方法，其特征在于，所述多个拍摄角度是根据所述拍摄设备的视场角、所述全景拍摄轨迹的角度范围和相邻初始图像之间的重叠区域的预设比例确定的。
  11. 根据权利要求1-10中任一项所述的全景拍摄方法，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    对多个所述待合成图像的亮度进行归一化处理，得到多个目标图像；
    对所述多个目标图像进行全景合成，得到全景照片。
  12. 根据权利要求11所述的全景拍摄方法，其特征在于，所述对多个所述待合成图像的亮度进行归一化处理，包括：
    获取相邻的每两个所述待合成图像之间的重叠图像区域的亮度；
    根据相邻的每两个所述待合成图像之间的重叠图像区域的亮度，确定每个所述待合成图像的亮度增益系数；
    根据每个所述待合成图像的亮度增益系数，对各自对应的所述待合成图像的亮度进行归一化处理。
  13. 根据权利要求1-10中任一项所述的全景拍摄方法，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    获取相邻的每两个所述待合成图像之间的重叠图像区域内的多个特征点匹配对；
    根据每个所述重叠图像区域内的多个特征点匹配对，确定每个所述待合成图像的焦距和外参矩阵；
    根据每个所述待合成图像的焦距和外参矩阵，确定多个所述待合成图像之间的相对位置关系；
    根据多个所述待合成图像之间的相对位置关系，对多个所述待合成图像进行全景合成，得到全景照片。
  14. 根据权利要求1-10中任一项所述的全景拍摄方法，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    对多个所述待合成图像进行全景合成，得到合成图像；
    若所述合成图像内存在未填充图像区域，则获取所述未填充图像区域周围多个像素的亮度；
    根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片。
  15. 根据权利要求14所述的全景拍摄方法，其特征在于，所述根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片，包括：
    根据所述未填充图像区域周围多个像素的亮度，确定所述多个像素的亮度均值；
    根据所述亮度均值，对所述未填充图像区域进行填充处理，得到全景照片。
  16. 根据权利要求1-10中任一项所述的全景拍摄方法，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片之后，还包括：
    将所述全景照片发送至显示设备，以供所述显示设备显示所述全景照片和图像裁切图标，并响应于用户对所述图像裁切图标的触发操作，对所述全景照片进行裁切。
  17. 一种控制装置，其特征在于，所述控制装置用于控制拍摄设备，所述控制装置包括存储器和处理器；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现 如下步骤：
    控制所述拍摄设备拍摄多个初始图像；
    在控制所述拍摄设备拍摄每个所述初始图像的同时，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像；
    获取所述多个初始图像对应的多个所述待合成图像，并对多个所述待合成图像进行全景合成，得到全景照片。
  18. 根据权利要求17所述的控制装置，其特征在于，所述对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像，包括：
    通过预设抗混叠插值器对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像。
  19. 根据权利要求17所述的控制装置，其特征在于，对所述拍摄设备在上一个时刻拍摄得到的初始图像进行缩放处理，得到待合成图像之后，还包括：
    将所述待合成图像缓存至内存中；
    所述获取所述多个初始图像对应的多个所述待合成图像，包括：
    从所述内存中获取所述多个初始图像对应的多个所述待合成图像。
  20. 根据权利要求17所述的控制装置，其特征在于，所述拍摄设备搭载于云台，所述控制所述拍摄设备拍摄多个初始图像，包括：
    获取全景拍摄轨迹；
    根据所述全景拍摄轨迹，控制所述云台转动，使得所述拍摄设备的运动轨迹为所述全景拍摄轨迹；
    在控制所述云台转动的过程中，当所述云台的转动角度达到所述全景拍摄轨迹对应的多个拍摄角度中的任一角度时，控制所述拍摄设备拍照，得到所述初始图像。
  21. 根据权利要求20所述的控制装置，其特征在于，所述获取全景拍摄轨迹，包括：
    将预设轨迹作为所述全景拍摄轨迹。
  22. 根据权利要求20所述的控制装置，其特征在于，所述云台与所述控制装置通讯连接，所述控制装置设有显示装置，所述获取全景拍摄轨迹，包括：
    控制所述显示装置显示全景拍摄轨迹选择页面，其中，所述全景拍摄轨迹选择页面包括多条候选全景拍摄轨迹；
    获取被用户选择的所述候选全景拍摄轨迹，并将被用户选择的所述候选全景拍摄轨迹作为所述全景拍摄轨迹。
  23. 根据权利要求22所述的控制装置，其特征在于，所述全景拍摄轨迹选择页面包括轨迹规划图标，所述获取全景拍摄轨迹，包括：
    响应于用户对所述轨迹规划图标的触发操作，控制所述显示装置显示全景拍摄轨迹的角度范围设置弹窗；
    获取用户在所述角度范围设置弹窗内输入的角度范围，并根据所述角度范围规划全景拍摄轨迹。
  24. 根据权利要求20所述的控制装置，其特征在于，所述根据所述全景拍摄轨迹，控制所述云台转动，包括：
    获取所述云台在所述全景拍摄轨迹的起点处的目标姿态；
    调整所述云台的姿态，并在所述云台的姿态为所述目标姿态时，控制所述云台按照所述全景拍摄轨迹转动。
  25. 根据权利要求20所述的控制装置，其特征在于，所述多个拍摄角度是根据所述拍摄设备的视场角和所述全景拍摄轨迹的角度范围确定的。
  26. 根据权利要求25所述的控制装置，其特征在于，所述多个拍摄角度是根据所述拍摄设备的视场角、所述全景拍摄轨迹的角度范围和相邻初始图像之间的重叠区域的预设比例确定的。
  27. 根据权利要求17-26中任一项所述的控制装置，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    对多个所述待合成图像的亮度进行归一化处理，得到多个目标图像；
    对所述多个目标图像进行全景合成，得到全景照片。
  28. 根据权利要求27所述的控制装置，其特征在于，所述对多个所述待合成图像的亮度进行归一化处理，包括：
    获取相邻的每两个所述待合成图像之间的重叠图像区域的亮度；
    根据相邻的每两个所述待合成图像之间的重叠图像区域的亮度，确定每个所述待合成图像的亮度增益系数；
    根据每个所述待合成图像的亮度增益系数，对各自对应的所述待合成图像的亮度进行归一化处理。
  29. 根据权利要求17-26中任一项所述的控制装置，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    获取相邻的每两个所述待合成图像之间的重叠图像区域内的多个特征点匹配对；
    根据每个所述重叠图像区域内的多个特征点匹配对，确定每个所述待合成 图像的焦距和外参矩阵；
    根据每个所述待合成图像的焦距和外参矩阵，确定多个所述待合成图像之间的相对位置关系；
    根据多个所述待合成图像之间的相对位置关系，对多个所述待合成图像进行全景合成，得到全景照片。
  30. 根据权利要求17-26中任一项所述的控制装置，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片，包括：
    对多个所述待合成图像进行全景合成，得到合成图像；
    若所述合成图像内存在未填充图像区域，则获取所述未填充图像区域周围多个像素的亮度；
    根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片。
  31. 根据权利要求30所述的控制装置，其特征在于，所述根据所述未填充图像区域周围多个像素的亮度，对所述未填充图像区域进行填充处理，得到全景照片，包括：
    根据所述未填充图像区域周围多个像素的亮度，确定所述多个像素的亮度均值；
    根据所述亮度均值，对所述未填充图像区域进行填充处理，得到全景照片。
  32. 根据权利要求17-26中任一项所述的控制装置，其特征在于，所述对多个所述待合成图像进行全景合成，得到全景照片之后，还包括：
    将所述全景照片发送至显示设备，以供所述显示设备显示所述全景照片和图像裁切图标，并响应于用户对所述图像裁切图标的触发操作，对所述全景照片进行裁切。
  33. 一种拍摄系统，其特征在于，所述拍摄系统包括云台、搭载于所述云台上的拍摄设备和如权利要求17-32中任一项所述的控制装置。
  34. 根据权利要求33所述的拍摄系统，其特征在于，所述云台与手柄部连接，所述控制装置设置在所述手柄部上。
  35. 根据权利要求33所述的拍摄系统，其特征在于，所述云台搭载在可移动平台上，所述控制装置还用于控制所述可移动平台的移动。
  36. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-16中任一项所述的全景拍摄方法的步骤。
PCT/CN2020/108736 2020-08-12 2020-08-12 全景拍摄方法、装置、系统及计算机可读存储介质 WO2022032538A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/108736 WO2022032538A1 (zh) 2020-08-12 2020-08-12 全景拍摄方法、装置、系统及计算机可读存储介质
CN202080007324.1A CN113273172A (zh) 2020-08-12 2020-08-12 全景拍摄方法、装置、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/108736 WO2022032538A1 (zh) 2020-08-12 2020-08-12 全景拍摄方法、装置、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022032538A1 true WO2022032538A1 (zh) 2022-02-17

Family

ID=77227959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/108736 WO2022032538A1 (zh) 2020-08-12 2020-08-12 全景拍摄方法、装置、系统及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113273172A (zh)
WO (1) WO2022032538A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615410A (zh) * 2022-03-09 2022-06-10 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法
CN115150548A (zh) * 2022-06-09 2022-10-04 山东信通电子股份有限公司 一种基于云台输出输电线路全景图像的方法、设备及介质
CN115514897A (zh) * 2022-11-18 2022-12-23 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112303423B (zh) * 2020-10-15 2022-10-25 天目爱视（北京）科技有限公司 一种转动稳定的智能三维信息采集设备
CN114650370A (zh) * 2022-03-10 2022-06-21 维沃移动通信有限公司 图像拍摄方法、装置、电子设备及可读存储介质
CN115474001A (zh) * 2022-08-30 2022-12-13 中化信息技术有限公司 自动连拍合成全景图像的方法、装置
CN116912302B (zh) * 2023-09-12 2023-12-01 湖南大学 一种基于深度图像配准网络的高精度成像方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas
CN105957008A (zh) * 2016-05-10 2016-09-21 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN106954020A (zh) * 2017-02-28 2017-07-14 努比亚技术有限公司 一种图像处理方法及终端
CN108184066A (zh) * 2018-01-10 2018-06-19 上海展扬通信技术有限公司 照片的拍摄处理方法、拍摄设备及可读存储介质
CN108933899A (zh) * 2018-08-22 2018-12-04 Oppo广东移动通信有限公司 全景拍摄方法、装置、终端及计算机可读存储介质
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI390966B (zh) * 2008-12-12 2013-03-21 Altek Corp 全景影像產生方法
KR102067620B1 (ko) * 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2018035811A1 (zh) * 2016-08-25 2018-03-01 北京小米移动软件有限公司 全景拍摄方法、终端、旋转组件及全景拍摄装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas
CN105957008A (zh) * 2016-05-10 2016-09-21 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN106954020A (zh) * 2017-02-28 2017-07-14 努比亚技术有限公司 一种图像处理方法及终端
CN108184066A (zh) * 2018-01-10 2018-06-19 上海展扬通信技术有限公司 照片的拍摄处理方法、拍摄设备及可读存储介质
CN108933899A (zh) * 2018-08-22 2018-12-04 Oppo广东移动通信有限公司 全景拍摄方法、装置、终端及计算机可读存储介质
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615410A (zh) * 2022-03-09 2022-06-10 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法
CN114615410B (zh) * 2022-03-09 2023-05-02 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法
CN115150548A (zh) * 2022-06-09 2022-10-04 山东信通电子股份有限公司 一种基于云台输出输电线路全景图像的方法、设备及介质
CN115150548B (zh) * 2022-06-09 2024-04-12 山东信通电子股份有限公司 一种基于云台输出输电线路全景图像的方法、设备及介质
CN115514897A (zh) * 2022-11-18 2022-12-23 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置
CN115514897B (zh) * 2022-11-18 2023-04-07 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质
CN116579927B (zh) * 2023-07-14 2023-09-19 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113273172A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2022032538A1 (zh) 全景拍摄方法、装置、系统及计算机可读存储介质
WO2020233683A1 (zh) 云台控制方法、装置、控制终端及飞行器系统
WO2021012855A1 (zh) 一种全景图像生成系统及全景图像生成方法
WO2018035764A1 (zh) 广角照片拍摄方法、装置、云台、无人飞行器及机器人
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US20110234750A1 (en) Capturing Two or More Images to Form a Panoramic Image
US20070081081A1 (en) Automated multi-frame image capture for panorama stitching using motion sensor
CN105049687B (zh) 双摄像头移动终端
WO2013069047A1 (ja) 画像生成装置および画像生成方法
WO2013069048A1 (ja) 画像生成装置および画像生成方法
WO2013155804A1 (zh) 一种照片拍摄方法及电子设备
CN104994260A (zh) 双摄像头移动终端
WO2020037615A1 (zh) 云台系统及其图像处理方法、无人机
US20210004005A1 (en) Image capture method and device, and machine-readable storage medium
WO2019195991A1 (zh) 运动轨迹确定、延时摄影方法、设备及机器可读存储介质
WO2021217371A1 (zh) 可移动平台的控制方法和装置
CN111935408B (zh) 全景图像拍摄方法及系统、电子设备及可读存储介质
WO2020014953A1 (zh) 一种图像处理方法及设备
JP2021005831A (ja) 撮像システム、画像処理装置、撮像装置およびプログラム
WO2022061541A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
WO2021258249A1 (zh) 图像获取方法、电子设备和可移动设备
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2000324380A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949037

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20949037

Country of ref document: EP

Kind code of ref document: A1