WO2022205210A1 - 拍摄方法、装置及计算机可读存储介质，终端设备 - Google Patents

拍摄方法、装置及计算机可读存储介质，终端设备 Download PDF

Info

Publication number
WO2022205210A1
WO2022205210A1 PCT/CN2021/084727 CN2021084727W WO2022205210A1 WO 2022205210 A1 WO2022205210 A1 WO 2022205210A1 CN 2021084727 W CN2021084727 W CN 2021084727W WO 2022205210 A1 WO2022205210 A1 WO 2022205210A1
Authority
WO
WIPO (PCT)
Prior art keywords
route
subject
circumnavigation
distance
similarity
Prior art date
Application number
PCT/CN2021/084727
Other languages
English (en)
French (fr)
Inventor
杨志华
张明磊
梁家斌
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/084727 priority Critical patent/WO2022205210A1/zh
Priority to CN202180078856.9A priority patent/CN116490746A/zh
Publication of WO2022205210A1 publication Critical patent/WO2022205210A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present application relates to the technical field of image shooting, and in particular, to a shooting method, a shooting device, a computer-readable storage medium, and a terminal device.
  • the 3D reconstruction technology based on UAV images is increasingly used in the refined modeling of cultural relics, electrical towers, signal towers, bridges and other objects.
  • the drone can be controlled to fly along the planned route, and images of the subject can be captured during the flight, and a three-dimensional model of the subject can be established using the captured images.
  • it takes a lot of time for drones to take images, and the work efficiency still needs to be improved.
  • embodiments of the present application provide a photographing method, a photographing device, a computer-readable storage medium, and a terminal device, one of the objectives is to reduce the time required for the drone to photograph images during three-dimensional reconstruction.
  • a first aspect of the embodiments of the present application provides a shooting method, including:
  • the first circumnavigation route includes a plurality of waypoints, and the plurality of the waypoints are distributed in different directions of the photographed object, are approximately the same distance from the photographed object, and are approximately at the same height, and the The first circumnavigation route is used to guide the drone to move around the subject on a horizontal plane;
  • the second circumnavigation route includes a plurality of vertical route segments, the plurality of vertical route segments are distributed in different directions of the subject, and each vertical route segment is used to guide the drone in The height direction moves up or down;
  • the images are used to build a three-dimensional model of the subject.
  • a second aspect of an embodiment of the present application provides a photographing device, comprising: a processor and a memory storing a computer program, where the processor implements the following steps when executing the computer program:
  • the first circumnavigation route includes a plurality of waypoints, and the plurality of the waypoints are distributed in different directions of the photographed object, are approximately the same distance from the photographed object, and are approximately at the same height, and the The first circumnavigation route is used to guide the drone to move around the subject on a horizontal plane;
  • the second circumnavigation route includes a plurality of vertical route segments, the plurality of vertical route segments are distributed in different directions of the subject, and each vertical route segment is used to guide the drone in The height direction moves up or down;
  • the images are used to build a three-dimensional model of the subject.
  • a third aspect of the embodiments of the present application provides a terminal device, including:
  • a communication module for establishing a connection with the drone
  • a processor and a memory storing a computer program the processor implements the following steps when executing the computer program:
  • the first circumnavigation route includes a plurality of waypoints, and the plurality of the waypoints are distributed in different directions of the photographed object, are approximately the same distance from the photographed object, and are approximately at the same height, and the The first circumnavigation route is used to guide the drone to move around the subject on a horizontal plane;
  • the second circumnavigation route includes a plurality of vertical route segments, the plurality of vertical route segments are distributed in different directions of the subject, and each vertical route segment is used to guide the drone in The height direction moves up or down;
  • the images are used to build a three-dimensional model of the subject.
  • a fourth aspect of the embodiments of the present application provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, implements the shooting method provided by the embodiments of the present application.
  • the planned route includes a first circumnavigation route and a second circumnavigation route
  • the drone can capture images of the subject in all directions through the first circumnavigation route, and there is no one in the vertical route segment.
  • the drone can take multiple images of the subject at different heights in a specific direction, because the scene covered by the image captured by the drone on the first circumnavigation route includes the image captured by the drone on the vertical route segment.
  • the images captured by the drone on the vertical route segment can be well matched with the images captured by the drone on the first circumnavigation route, meeting the requirements of overlap, so that the distance between the vertical route segments
  • the requirements for image overlap can be greatly reduced, and there is no need to plan dense vertical flight segments, which reduces the time spent on drone shooting and improves operational efficiency.
  • the distribution of vertical flight segments can be relatively sparse, it can adapt to more complex scenes, and the scene adaptability is greatly improved.
  • the coverage of the subject is more comprehensive, and the existence of shooting blind spots can be avoided.
  • FIG. 1 is a flowchart of a photographing method provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of an exemplary first circumnavigation route provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of an exemplary second circumnavigation route provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a route provided by an embodiment of the present application when only the first circumnavigation route is planned.
  • FIG. 5 is a schematic diagram of a route including a first circumnavigation route and a second circumnavigation route provided by an embodiment of the present application.
  • FIG. 6 is a plan view corresponding to FIG. 5 .
  • FIG. 7 is a schematic diagram 1 of an interactive interface provided by an embodiment of the present application.
  • FIG. 8 is a second schematic diagram of an interactive interface provided by an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a photographing apparatus provided by an embodiment of the present application.
  • FIG. 10 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • the 3D reconstruction technology based on UAV images is increasingly used in the refined modeling of cultural relics, electrical towers, signal towers, bridges and other objects.
  • the drone can be controlled to fly along the planned route, and images of the subject can be captured during the flight, and a three-dimensional model of the subject can be established using the captured images.
  • it takes a lot of time for drones to take images, and the work efficiency still needs to be improved.
  • FIG. 1 is a flowchart of the photographing method provided by the embodiment of the present application. The method includes:
  • S102 Acquire position information of a subject.
  • S104 Plan a first circumnavigation route and a second circumnavigation route for photographing the subject based on the position information.
  • S106 Control the drone to move along the first circumnavigation route and the second circumnavigation route respectively, and photograph the subject during the movement to acquire multiple images of the subject.
  • the position information of the subject can indicate the position of the subject.
  • the location information of the photographed object may be the geometric coordinates of the location of the photographed object.
  • the location information of the subject may be input or selected by the user.
  • the location information of the subject can be obtained by the drone through the sensor perception.
  • the drone can be equipped with a radar, and the location information of the subject can be obtained through radar detection.
  • the drone can The position information of the subject is obtained by means of visual positioning.
  • the first circumnavigation route and the second circumnavigation route may be planned based on the position information of the subject.
  • the first circumnavigation route and the second circumnavigation route can be used for taking pictures around the subject.
  • the first circumnavigation route may include multiple waypoints, the multiple waypoints may be distributed in different directions of the subject, the distances between the multiple waypoints and the subject may be approximately the same, and the multiple waypoints may be approximately at the same height.
  • FIG. 2 is a schematic diagram of an exemplary first circumnavigation route provided by an embodiment of the present application.
  • the first circumnavigation course may also be referred to as a horizontal circumnavigation course.
  • the drone can move around the subject on a horizontal plane at a certain height.
  • the second circumnavigation route may include multiple vertical route segments, and the multiple vertical route segments may be distributed in different directions of the subject.
  • Each vertical flight segment may include multiple waypoints distributed at different heights, and the projected positions of these waypoints on the horizontal plane may be approximately the same.
  • FIG. 3 is a schematic diagram of an exemplary second circumnavigation route provided by an embodiment of the present application.
  • the second circumnavigation course may also be referred to as a vertical circumnavigation course.
  • the UAV can move along each vertical route segment respectively. Specifically, when the UAV moves along the vertical route segment, the UAV can move upward or downward in the height direction. down exercise.
  • the drone can take one or more images every preset time interval, in one embodiment, The drone can take one or more images at each preset angle or preset distance.
  • the shooting interval it can be set according to the imaging range of the camera and the required degree of image overlap.
  • the images captured by the drone moving along the first circumnavigation route can completely cover all directions of the subject. s surface. It is understandable that the shooting point of the drone on the route may be consistent with the waypoint on the route, or may be inconsistent with the waypoint on the route.
  • Multiple images captured by the drone can be used to build a diorama of the subject.
  • a multi-view geometric algorithm can be used to establish a three-dimensional point cloud model of the subject.
  • the three-dimensional model of the subject can also be various models, such as a point cloud model or a mesh model.
  • only one circumnavigation route may be planned, for example, only the first circumnavigation route or only the second circumnavigation route may be planned.
  • FIG. 4 is the only plan provided by the embodiment of this application. Schematic diagram of the route during the first circumnavigation route. Since the three-dimensional modeling has a requirement on the degree of overlap between the images, the distance between the multiple first circumnavigation routes cannot be too large to ensure that the images between the routes can be successfully matched.
  • the UAV When the UAV is performing the shooting task, after the UAV completes the shooting of a first circumnavigation route, the UAV can continue to the other first circumnavigation route by ascending or descending to the level where the other first circumnavigation route is located. Shoot and repeat the process until all the first circumnavigation routes are shot.
  • the planned second circumnavigation route needs to include dense vertical route segments, as shown in FIG. 3 .
  • the distance between the vertical flight segments cannot be too large, so that a large number of vertical flight segments need to be planned.
  • the distance between routes or route segments should not be too large, resulting in the planned route or route segment. If the number is too large, the drone needs to spend a lot of time to take pictures of the routes or route segments one by one, and the shooting efficiency is low.
  • the planned routes or route segments are relatively dense, the environment around the subject is required to be relatively empty, which is not suitable for scenes with obstacles around the subject, such as a wire tower with multiple wires around.
  • the planned route includes a first circumnavigation route and a second circumnavigation route
  • the drone can capture images of the subject in all directions through the first circumnavigation route, and there is no one in the vertical route segment.
  • the drone can take multiple images of the subject at different heights in a specific direction, because the scene covered by the image captured by the drone on the first circumnavigation route includes the image captured by the drone on the vertical route segment.
  • the images captured by the drone on the vertical route segment can be well matched with the images captured by the drone on the first circumnavigation route, meeting the requirements of overlap, so that the distance between the vertical route segments
  • the requirements for image overlap can be greatly reduced, and there is no need to plan dense vertical flight segments, which reduces the time spent on drone shooting and improves operational efficiency.
  • the distribution of vertical flight segments can be relatively sparse, it can adapt to more complex scenes, and the scene adaptability is greatly improved.
  • the coverage of the subject is more comprehensive, and the existence of shooting blind spots can be avoided.
  • a plurality of first circumnavigation routes may be planned based on the position information of the photographed object, and the altitudes corresponding to different first circumnavigation routes may be different. It is understandable that since the images captured by the drone when moving along the vertical route segment can already cover the surface of the subject at different heights, there is no need to plan a large number of first circumnavigation routes, and one of the first circumnavigation routes does not need to be planned. The interval between them can be larger, and the adaptability to complex scenes is stronger.
  • the degree of overlap (lateral overlap) between images captured by the drone on different first circumnavigation routes may be around 40%.
  • the images captured by the drone on the same first circumnavigation route may maintain a high degree of overlap (the degree of heading overlap), for example, may be greater than or equal to 80%.
  • the first circumnavigation route may be used to photograph the subject at a long distance, that is, the shooting distance of the first circumnavigation route may be relatively far.
  • the drone moves along the first circumnavigation route, the drone can photograph the subject from a position far away from the subject, so that the photographed image can cover the subject and its surroundings more completely. in the scene.
  • each image taken by the drone on the first circumnavigation route can cover more than 20% of the scene.
  • the shooting distance of the first circumnavigation route may be determined according to the size information of the subject.
  • the size information of the subject can be matched with the three-dimensional figure into which the subject is abstracted. For example, if the subject is abstracted as a cuboid, the size information of the subject can include the length, width and height of the subject. The subject is abstracted into a cylinder, and the size information of the subject may include the height and the radius of the base of the subject.
  • the size information of the subject in one example, may be input by the user, or in one example, may be measured by a drone through visual measurement or the like.
  • the size information of the subject may be converted into the distance between the waypoint and the subject on the first circumnavigation route through a preset calculation formula.
  • the subject is abstracted as a cube with a side length of 1 meter.
  • the preset calculation formula can be, for example, taking N times the side length.
  • the distance can be N meters, that is, it is considered that the proportion of the scene that can be covered by the image captured when the distance between the drone and the subject is N meters is appropriate (at least 20% or more).
  • the height of the waypoint on the first circumnavigation route may be higher than the height of the subject. If a plurality of first circumnavigation routes are planned, the plurality of first circumnavigation routes may include at least one first circumnavigation route in which the height of the waypoint is higher than the height of the subject. In one embodiment, the height of the waypoint on the first circumnavigation route may be determined according to the height of the subject. In one example, the height of the waypoint on the first circumnavigation route can be directly determined by M times the height of the subject.
  • the second circumnavigation route may be used to photograph the subject at a medium distance, that is, the shooting distance of the second circumnavigation route may be smaller than the shooting distance of the first circumnavigation route, or, in other words, the waypoints on the second circumnavigation route
  • the distance to the subject may be smaller than the distance between the waypoint on the first circumnavigation route and the subject.
  • the degree of image overlap between the vertical route segments can be eliminated without too high.
  • the degree of image overlap between vertical flight segments may be less than or equal to 40%. The maximum height and minimum height of the vertical flight segment can be determined according to actual needs.
  • FIG. 5 is a schematic diagram of a route including a first circumnavigation route and a second circumnavigation route provided by an embodiment of the present application
  • FIG. 6 is a top view of FIG. 5 .
  • the projected position of the waypoint on the horizontal plane of the first circumnavigation route is The projected position on the horizontal plane of the vertical route segment from the second circumnavigation route may be different.
  • the distance between the waypoint and the subject on the first circumnavigation route or the second circumnavigation route described in the embodiment of the present application may, in an example, refer to the horizontal distance between the waypoint and the subject.
  • a first circumnavigation route can be planned, the drone can be controlled to move along the planned first circumnavigation route and images are captured, and the drone can complete the first circumnavigation route when the drone After the shooting task corresponding to the circumnavigation route, the second circumnavigation route is planned, and the drone is controlled to perform the shooting task corresponding to the second circumnavigation route.
  • the projected position of the vertical route segment on the second circumnavigation route on the horizontal plane may be determined based on the spatial position of the surface point of the subject.
  • the second circumnavigation route may be planned according to the position information of the subject and the multiple images captured by the drone along the first circumnavigation route.
  • the image taken by the drone along the first circumnavigation route is referred to as the first image, and the distance between the waypoint on the second circumnavigation route and the subject can be determined according to the movement of the drone along the first circumnavigation route.
  • the multiple first images obtained at the time of shooting are determined.
  • the drone may be controlled to maintain a first test distance from the subject, and the first test distance may be is any distance smaller than the distance between the waypoint and the subject on the first circumnavigation route, the drone can be controlled to photograph the subject at the first test distance, and the first test image can be obtained, and the first test image can be obtained.
  • the similarity between the test image and the multiple first images taken when the drone moves along the first circumnavigation route is matched. If the first similarity obtained by matching does not meet the conditions, the first test distance can be adjusted.
  • the adjusted first test distance can be determined as the distance between the waypoint on the second circumnavigation route and the subject.
  • the first similarity obtained by matching may be the highest similarity obtained after the first test image and the plurality of first images are respectively matched for similarity.
  • the shooting distance of the second circumnavigation route may be smaller than the shooting distance of the first circumnavigation route
  • the first test distance which is an attempt value of the shooting distance of the second circumnavigation route
  • the shooting distance of the first circumnavigation route That is, it may be smaller than the distance between the waypoint and the subject on the first circumnavigation route.
  • the similarity between the images captured by the drone on the second circumnavigation route and the images captured by the drone on the first circumnavigation route should not be too high, because higher similarity means the shooting distance of the second circumnavigation route.
  • it is necessary to plan more routes corresponding to different shooting distances which greatly increases the workload of drone shooting and greatly reduces the shooting efficiency.
  • the first test can be added. Distance, make the shooting distance of the second circumnavigation route a little closer to the shooting distance of the first circumnavigation route, to ensure that the images captured by the drone on the second circumnavigation route and the images captured by the drone on the first circumnavigation route can be connected .
  • the first similarity obtained by matching is greater than the upper limit of the similarity, it means that the shooting distance of the second circumnavigation route is too close to the photographing distance of the first circumnavigation route, and the first test distance can be reduced to avoid Having the images taken by the drone on the second circumnavigation route can contribute more to the improvement of model accuracy.
  • the camera pose information corresponding to the first test image can be obtained, and the plurality of first images are screened according to the camera pose information corresponding to the first test image, and the camera pose information is filtered out.
  • the camera pose information may be information carried by the first test image.
  • the camera pose information may be measured by an inertial measurement unit on a drone or a camera.
  • the first test image can be matched with the filtered first image for similarity, thereby Improve matching efficiency.
  • multiple first images may also be screened by an image retrieval algorithm, so that a small number or a single first image may also be screened for similarity matching with the first test image.
  • the matching result between the first test image obtained by shooting and the first image does not meet the conditions, for example, the first test image
  • the similarity is greater than the upper limit of the similarity or smaller than the lower limit of the similarity
  • the corresponding matching result may be fed back to the user to guide the user to adjust the first test distance.
  • the matching result does not satisfy the condition
  • information indicating that the current first test distance is inappropriate can be displayed on the display interface of the terminal, such as BAD in FIG. 7
  • the matching result satisfies the condition information indicating that the current first test distance is appropriate may be displayed on the display interface of the terminal, such as GOOD in FIG. 8 .
  • the similarity matching between the first test image and the first image there may be various ways.
  • feature extraction may be performed on the first test image and the first image respectively, and the extracted feature may be a high-dimensional feature vector, then the feature vector corresponding to the first test image and the first image may be used.
  • the corresponding feature vector calculates the similarity between the first test image and the first image, for example, the similarity can be the angle between the first test image and the feature vector of the first image, or the first test image and the first image. The distance between the feature vectors of the first image.
  • the first circumnavigation route can be used to shoot the subject at a long distance
  • the second circumnavigation route can be used to shoot the subject at a medium distance.
  • the long-distance The models established with images taken at medium distances still cannot meet the accuracy requirements.
  • users require higher accuracy for the models of antennas on signal towers.
  • the area of interest on the surface of the subject selected by the user can be acquired, and a third route can be planned according to the area of interest, and the drone can be controlled to move along the third route and move while moving. In the process, multiple images are taken at close range of the subject.
  • the image taken by the drone along the second circumnavigation route can be called the second image
  • the image taken by the drone along the third route is called the third image.
  • the images that can be used Including the first image at long distance, the second image at medium distance and the third image at close distance, the smooth transition of shooting distance can provide guarantee for the connection between the images, so that the model can be successfully established, and the established model is interesting.
  • the area can have sufficient accuracy to meet the needs of users.
  • the requirements for image overlap between similar routes are reduced, so the number of images to be captured can be greatly reduced, and the modeling speed is greatly improved.
  • the region of interest on the surface of the subject may be selected by the user in the image of the subject that has been photographed, and the image of the subject that has been photographed may include the first image and the second image, and may also include a currently captured preview image.
  • an initial model of the subject may be established by using the captured images of the subject (eg, the first image and the second image), and the area of interest on the surface of the subject may be the user selected on this initial model.
  • multiple waypoints may be planned at a preset distance from the surface of the region of interest of the subject, and may be planned according to the plurality of flight routes. Click to plan a third route.
  • the planned multiple waypoints may be relatively uniformly distributed on the region of interest of the subject, and are separated from the surface of the subject by the preset distance.
  • the shooting distance corresponding to the third route may be determined according to a plurality of second images taken when the drone moves along the second circumnavigation route, that is, The distance between the waypoint and the subject on the third route.
  • the drone can be controlled to maintain a second test distance from the subject and photograph the subject to obtain a second test image. Since the third route is used to photograph the region of interest at close range, the second test distance may be any distance smaller than the distance between the waypoint and the subject on the second circumnavigation route.
  • the second test image After the second test image is captured at the second test distance, the second test image may be matched with a plurality of second images for similarity, and the second test distance may be adjusted according to the second similarity obtained by the matching.
  • the second similarity obtained by matching if the second similarity obtained by matching is smaller than the lower limit of similarity, the second test distance may be increased, and if the second similarity obtained by matching is greater than the upper limit of similarity, the second test distance may be decreased.
  • T times of adjustment T can be 0
  • the second similarity obtained by matching is between the upper limit and the lower limit of similarity
  • the current second test distance can be determined as the distance between the waypoint and the subject on the third route. distance of the object.
  • the second similarity obtained by matching may be the highest similarity obtained after the second test image and the plurality of second images are respectively matched for similarity.
  • the multiple second images can be screened according to the pose information corresponding to the camera when the second test image is captured, and the camera pose information and the second test image can be filtered out.
  • the corresponding camera pose information is matched with the second image, so that the similarity between the second test image and the filtered second image can be matched, and the efficiency of image matching is improved.
  • the planned route includes a first circumnavigation route and a second circumnavigation route
  • the drone can capture images of the subject in all directions through the first circumnavigation route, and there is no one in the vertical route segment.
  • the drone can take multiple images of the subject at different heights in a specific direction, because the scene covered by the image captured by the drone on the first circumnavigation route includes the image captured by the drone on the vertical route segment.
  • the images captured by the drone on the vertical route segment can be well matched with the images captured by the drone on the first circumnavigation route, meeting the requirements of overlap, so that the distance between the vertical route segments
  • the requirements for image overlap can be greatly reduced, and there is no need to plan dense vertical flight segments, which reduces the time spent on drone shooting and improves operational efficiency.
  • the distribution of vertical flight segments can be relatively sparse, it can adapt to more complex scenes, and the scene adaptability is greatly improved.
  • the coverage of the subject is more comprehensive, and the existence of shooting blind spots can be avoided.
  • the photographing method provided by the embodiment of the present application may be applied to a terminal device.
  • the terminal device can be connected to the drone, and data can be transmitted between the drone and the drone.
  • the terminal device may be a smart device such as a mobile phone or a computer.
  • the terminal device may be a control device of a drone, and the control device may include buttons, joysticks and other operations for controlling the drone It can also include a display screen, which can directly interact with the user.
  • the terminal device may be a combination of a smart device and a remote control, for example, the terminal device may be a whole formed by connecting a mobile phone and a remote control.
  • the user can plan the shooting task on the terminal device, where the planning content may include the planning of the flight route, the setting of the camera parameters, the setting of the image overlapping degree, the determination of the photographed object, and so on.
  • the terminal device can package the designated data corresponding to the shooting task and upload it to the UAV.
  • the UAV can move along the planned route according to the designated data of the shooting task and shoot as required, thereby obtaining multiple images of the subject.
  • multiple images captured by the drone can be transmitted to the terminal device, and the terminal device can use the multiple images captured by the drone to establish a three-dimensional model of the subject.
  • FIG. 9 is a schematic structural diagram of a photographing apparatus provided by an embodiment of the present application.
  • the apparatus includes: a processor 910 and a memory 920 storing a computer program, and the processor implements the following steps when executing the computer program:
  • the first circumnavigation route includes a plurality of waypoints, and the plurality of the waypoints are distributed in different directions of the photographed object, are approximately the same distance from the photographed object, and are approximately at the same height, and the The first circumnavigation route is used to guide the drone to move around the subject on a horizontal plane;
  • the second circumnavigation route includes a plurality of vertical route segments, the plurality of vertical route segments are distributed in different directions of the subject, and each vertical route segment is used to guide the drone in The height direction moves up or down;
  • the images are used to build a three-dimensional model of the subject.
  • the projection position of the waypoint of the first circumnavigation route on the horizontal plane is inconsistent with the projection position of the vertical route segment of the second circumnavigation route on the horizontal plane.
  • the height of the waypoint on the first circumnavigation route is greater than the height of the subject.
  • the projected position of the vertical flight path of the second circumnavigation flight path on the horizontal plane is determined based on the spatial position of the surface point of the subject.
  • the distance between the waypoint on the first circumnavigation route and the subject is greater than the distance between the waypoint on the second circumnavigation route and the subject.
  • the distance between the waypoint on the second circumnavigation route and the subject is determined according to a plurality of first images captured when the drone moves along the first circumnavigation route.
  • the processor determines the distance between the waypoint on the second circumnavigation route and the subject according to the plurality of first images:
  • the first test distance is smaller than the waypoint on the first circumnavigation route and the distance of the subject;
  • the adjusted first test distance is determined as the distance between the waypoint on the second circumnavigation route and the subject.
  • the first test distance is increased.
  • the first test distance is reduced.
  • the processor when the processor performs similarity matching between the first test image and a plurality of the first images:
  • Similarity matching is performed between the first test image and the filtered first image.
  • the processor is also used for:
  • the drone is controlled to move along the third route, and the subject is photographed during the movement.
  • the distance between the waypoint on the third route and the subject is smaller than the distance between the waypoint on the second circumnavigation route and the subject.
  • the distance between the waypoint on the third route and the subject is determined according to a plurality of second images captured when the drone moves along the second circumnavigation route.
  • the processor determines the distance between the waypoint on the third route and the subject according to the plurality of second images:
  • the second test distance is smaller than the waypoint on the second circumnavigation route and the distance of the subject
  • the adjusted second test distance is determined as the distance between the waypoint on the third route and the subject.
  • the second test distance is increased.
  • the second test distance is reduced.
  • Similarity matching is performed between the second test image and the filtered second image.
  • the planned route includes a first circumnavigation route and a second circumnavigation route
  • the drone can capture images of the subject in all directions through the first circumnavigation route, and there is no one in the vertical route segment.
  • the drone can take multiple images of the subject at different heights in a specific direction, because the scene covered by the image captured by the drone on the first circumnavigation route includes the image captured by the drone on the vertical route segment.
  • the images captured by the drone on the vertical route segment can be well matched with the images captured by the drone on the first circumnavigation route to meet the requirements of overlap, so that the distance between the vertical route segments
  • the requirements for image overlap can be greatly reduced, and there is no need to plan dense vertical flight segments, which reduces the time spent on drone shooting and improves operational efficiency.
  • the distribution of vertical flight segments can be relatively sparse, it can adapt to more complex scenes, and the scene adaptability is greatly improved.
  • the coverage of the subject is more comprehensive, and the existence of shooting blind spots can be avoided.
  • FIG. 10 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • the terminal device may include:
  • a communication module 1010 for establishing a connection with the drone
  • the first circumnavigation route includes a plurality of waypoints, and the plurality of the waypoints are distributed in different directions of the photographed object, are approximately the same distance from the photographed object, and are approximately at the same height, and the The first circumnavigation route is used to guide the drone to move around the subject on a horizontal plane;
  • the second circumnavigation route includes a plurality of vertical route segments, the plurality of vertical route segments are distributed in different directions of the subject, and each vertical route segment is used to guide the drone in The height direction moves up or down;
  • the images are used to build a three-dimensional model of the subject.
  • the projection position of the waypoint of the first circumnavigation route on the horizontal plane is inconsistent with the projection position of the vertical route segment of the second circumnavigation route on the horizontal plane.
  • the height of the waypoint on the first circumnavigation route is greater than the height of the subject.
  • the projected position of the vertical flight path of the second circumnavigation flight path on the horizontal plane is determined based on the spatial position of the surface point of the subject.
  • the distance between the waypoint on the first circumnavigation route and the subject is greater than the distance between the waypoint on the second circumnavigation route and the subject.
  • the distance between the waypoint on the second circumnavigation route and the subject is determined according to a plurality of first images captured when the drone moves along the first circumnavigation route.
  • the processor determines the distance between the waypoint on the second circumnavigation route and the subject according to the plurality of first images:
  • the first test distance is smaller than the waypoint on the first circumnavigation route and the distance of the subject;
  • the adjusted first test distance is determined as the distance between the waypoint on the second circumnavigation route and the subject.
  • the first test distance is increased.
  • the first test distance is reduced.
  • the processor when the processor performs similarity matching between the first test image and a plurality of the first images:
  • Similarity matching is performed between the first test image and the filtered first image.
  • the processor is also used for:
  • the drone is controlled to move along the third route, and the subject is photographed during the movement.
  • the distance between the waypoint on the third route and the subject is smaller than the distance between the waypoint on the second circumnavigation route and the subject.
  • the distance between the waypoint on the third route and the subject is determined according to a plurality of second images captured when the drone moves along the second circumnavigation route.
  • the processor determines the distance between the waypoint on the third route and the subject according to the plurality of second images:
  • the second test distance is smaller than the waypoint on the second circumnavigation route and the distance of the subject
  • the adjusted second test distance is determined as the distance between the waypoint on the third route and the subject.
  • the second test distance is increased.
  • the second test distance is reduced.
  • Similarity matching is performed between the second test image and the filtered second image.
  • the planned route includes a first circumnavigation route and a second circumnavigation route
  • the drone can take pictures of the subject in all directions through the first circumnavigation route, and there is no one in the vertical route segment.
  • the drone can take multiple images of the subject at different heights in a specific direction, because the scene covered by the image captured by the drone on the first circumnavigation route includes the image captured by the drone on the vertical route segment.
  • the images captured by the drone on the vertical route segment can be well matched with the images captured by the drone on the first circumnavigation route, meeting the requirements of overlap, so that the distance between the vertical route segments
  • the requirements for image overlap can be greatly reduced, and there is no need to plan dense vertical flight segments, which reduces the time spent on drone shooting and improves operational efficiency.
  • the distribution of vertical flight segments can be relatively sparse, it can adapt to more complex scenes, and the scene adaptability is greatly improved.
  • the coverage of the subject is more comprehensive, and the existence of shooting blind spots can be avoided.
  • the embodiments of the present application further provide a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, implements the shooting method provided by the embodiments of the present application.
  • Embodiments of the present application may take the form of a computer program product implemented on one or more storage media (including, but not limited to, disk storage, CD-ROM, optical storage, etc.) having program code embodied therein.
  • Computer-usable storage media includes permanent and non-permanent, removable and non-removable media, and storage of information can be accomplished by any method or technology.
  • Information may be computer readable instructions, data structures, modules of programs, or other data.
  • Examples of computer storage media include, but are not limited to, phase-change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory (ROM), Electrically Erasable Programmable Read Only Memory (EEPROM), Flash Memory or other memory technology, Compact Disc Read Only Memory (CD-ROM), Digital Versatile Disc (DVD) or other optical storage, Magnetic tape cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission medium that can be used to store information that can be accessed by a computing device.
  • PRAM phase-change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read only memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • Flash Memory or other memory technology
  • CD-ROM Compact Disc Read Only Memory
  • CD-ROM Compact Disc Read Only Memory
  • DVD Digital Versatile Disc
  • Magnetic tape cassettes magnetic tape magnetic disk storage or other magnetic storage devices or any other non-

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请实施例提供的拍摄方法，包括：获取被摄对象的位置信息；基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度；所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向；控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。本申请实施例提供的方法可以减少无人机在三维重建时拍摄图像所需的时间。

Description

拍摄方法、装置及计算机可读存储介质，终端设备 技术领域
本申请涉及图像拍摄技术领域，尤其涉及一种拍摄方法、拍摄装置、计算机可读存储介质以及一种终端设备。
背景技术
基于无人机影像的三维重建技术被越来越多的应用在文物、电塔、信号塔、桥梁等物体的精细化建模上。在利用无人机进行建模时，可以控制无人机沿规划的航线飞行，并在飞行过程中对被摄对象拍摄图像，利用拍摄所得的图像可以建立被摄对象的立体模型。目前，无人机在拍摄图像时需要耗费大量的时间，作业效率仍有待提高。
发明内容
有鉴于此，本申请实施例提供了一种拍摄方法、拍摄装置、计算机可读存储介质以及一种终端设备，目的之一是减少无人机在三维重建时拍摄图像所需的时间。
本申请实施例第一方面提供了一种拍摄方法，包括：
获取被摄对象的位置信息；
基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
本申请实施例第二方面提供了一种拍摄装置，包括：处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序实现以下步骤：
获取被摄对象的位置信息；
基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
本申请实施例第三方面提供了一种终端设备，包括：
通信模块，用于与无人机建立连接；
处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序实现以下步骤：
获取被摄对象的位置信息；
基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介 质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的拍摄方法。
本申请实施例提供的拍摄方法，规划的航线包括第一环绕航线和第二环绕航线，通过第一环绕航线无人机可以拍摄得到被摄对象在各个方向的图像，通过竖直航线段无人机可以拍摄得到被摄对象在特定方向上多个不同高度的图像，由于无人机在第一环绕航线上拍摄的图像所覆盖的场景包含了无人机在竖直航线段上拍摄的图像所覆盖的场景，因此无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，满足重叠度的要求，从而竖直航线段之间的图像重叠度要求可以大大减少，可以无需规划密集的竖直航线段，减少了无人机拍摄所用的时间，提高了作业效率。并且，由于竖直航线段的分布可以比较稀疏，因此可以适应更多复杂的场景，场景适应能力大大提升。此外，由于采用两种环绕航线进行拍摄，因此对被摄对象的覆盖更为全面，可以避免存在拍摄盲区。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的拍摄方法的流程图。
图2是本申请实施例提供的示例性的第一环绕航线的示意图。
图3是本申请实施例提供的示例性的第二环绕航线的示意图。
图4是本申请实施例提供的仅规划第一环绕航线时的航线示意图。
图5是本申请实施例提供的包括第一环绕航线和第二环绕航线的航线示意图。
图6是图5对应的俯视图。
图7是本申请实施例提供的交互界面示意图一。
图8是本申请实施例提供的交互界面示意图二。
图9是本申请实施例提供的拍摄装置的结构示意图。
图10是本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
基于无人机影像的三维重建技术被越来越多的应用在文物、电塔、信号塔、桥梁等物体的精细化建模上。在利用无人机进行建模时，可以控制无人机沿规划的航线飞行，并在飞行过程中对被摄对象拍摄图像，利用拍摄所得的图像可以建立被摄对象的立体模型。目前，无人机在拍摄图像时需要耗费大量的时间，作业效率仍有待提高。
本申请实施例提供了一种拍摄方法，可以参考图1，图1是本申请实施例提供的拍摄方法的流程图，该方法包括：
S102、获取被摄对象的位置信息。
S104、基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线。
S106、控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像。
被摄对象的位置信息可以指示出被摄对象所在的位置。在一个例子中，被摄对象的位置信息可以是被摄对象所在位置的几何坐标。在一种实施方式中，被摄对象的位置信息可以是用户输入或选定的。在一种实施方式中，被摄对象的位置信息可以是无人机通过传感器感知得到，比如无人机可以搭载有雷达，通过雷达探测可以获取被摄对象的位置信息，又比如无人机可以通过视觉定位的方式获取被摄对象的位置信息。
基于被摄对象的位置信息可以规划第一环绕航线和第二环绕航线。这里，第一环绕航线和第二环绕航线可以用于对被摄对象进行环绕拍摄。
第一环绕航线可以包括多个航点，多个航点可以分布在被摄对象的不同方向，多个航点与被摄对象的距离可以大致相同，且多个航点可以大致位于同一高度。可以参考图2，图2是本申请实施例提供的示例性的第一环绕航线的示意图。在一个例子中，第一环绕航线也可以称为水平环绕航线。当控制无人机沿第一环绕航线运动时，无人机可以在某一高度的水平面上环绕被摄对象运动。
第二环绕航线可以包括多条竖直航线段，多条竖直航线段可以分布在被摄对象的不同方向。每一条竖直航线段可以包括分布在不同高度的多个航点，这些航点在水平 面上的投影位置可以大致相同。可以参考图3，图3是本申请实施例提供的示例性的第二环绕航线的示意图。在一个例子中，第二环绕航线也可以称为竖直环绕航线。当控制无人机沿第二环绕航线运动时，无人机可以分别沿每一条竖直航线段运动，具体的，无人机在沿竖直航线段运动时，可以在高度方向上向上或向下运动。
当无人机沿第一环绕航线或第二环绕航线运动时，在一种实施方式中，无人机可以每经过预设的时间间隔拍摄一张或多张图像，在一种实施方式中，无人机可以每经过预设的角度或者预设的距离拍摄一张或多张图像。具体在设定拍摄间隔时，可以根据相机的成像范围以及所需的图像重叠度进行设置，在一个例子中，无人机沿第一环绕航线运动并拍摄的图像可以完整覆盖被摄对象各个方向的表面。可以理解的，无人机在航线上的拍摄点可以与航线上的航点一致，也可以与航线上的航点不一致。
无人机拍摄的多张图像可以用于建立被摄对象的立体模型。这里，建立模型所用的算法可以有多种，比如可以利用多视几何算法建立被摄对象的三维点云模型。被摄对象的立体模型也可以是各种模型，比如可以是点云模型，也可以是网格模型。
在通过无人机对被摄对象拍摄图像时，在一种实施方式中，可以只规划一种环绕航线，例如只规划第一环绕航线或只规划第二环绕航线。
在只规划第一环绕航线时，为了使拍摄的图像能够覆盖整个被摄对象，需要规划对应不同高度的多条第一环绕航线，可以参考图4，图4是本申请实施例提供的仅规划第一环绕航线时的航线示意图。由于三维建模对图像之间有重叠度的要求，因此，多条第一环绕航线之间的间距不能太大，以确保航线之间的图像可以成功匹配。当无人机在执行拍摄任务时，无人机可以在完成一条第一环绕航线的拍摄后，通过上升或下降至另一条第一环绕航线所在的水平面，对该另一条第一环绕航线继续进行拍摄，重复该过程，直至完成所有第一环绕航线的拍摄。
在只规划第二环绕航线时，为了使拍摄的图像能够覆盖整个被摄对象，规划的第二环绕航线需要包括密集的竖直航线段，可以参考图3。为了保证竖直航线段之间的图像重叠度满足要求，竖直航线段之间的间距不能太大，从而导致需要规划数量很多的竖直航线段。
无论是只规划第一环绕航线还是只规划第二环绕航线，为了保证航线或航线段之间图像的重叠度满足要求，航线或航线段之间的间距不能太大，导致规划的航线或航线段数量过多，无人机需要花费大量的时间逐个对航线或航线段进行拍照作业，拍摄效率较低。并且，由于规划的航线或航线段比较密集，因此要求被摄对象周边的环境相对空旷，不适用于被摄对象周边存在障碍物的场景，比如周边存在多条电线的电线 塔。
本申请实施例提供的拍摄方法，规划的航线包括第一环绕航线和第二环绕航线，通过第一环绕航线无人机可以拍摄得到被摄对象在各个方向的图像，通过竖直航线段无人机可以拍摄得到被摄对象在特定方向上多个不同高度的图像，由于无人机在第一环绕航线上拍摄的图像所覆盖的场景包含了无人机在竖直航线段上拍摄的图像所覆盖的场景，因此无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，满足重叠度的要求，从而竖直航线段之间的图像重叠度要求可以大大减少，可以无需规划密集的竖直航线段，减少了无人机拍摄所用的时间，提高了作业效率。并且，由于竖直航线段的分布可以比较稀疏，因此可以适应更多复杂的场景，场景适应能力大大提升。此外，由于采用两种环绕航线进行拍摄，因此对被摄对象的覆盖更为全面，可以避免存在拍摄盲区。
在一种实施方式中，可以基于被摄对象的位置信息规划多条第一环绕航线，不同的第一环绕航线对应的高度可以不同。可以理解的，由于无人机在沿竖直航线段运动时拍摄的图像已经可以覆盖被摄对象不同高度的表面，因此不需要规划数量较多的第一环绕航线，多条第一环绕航线之间的间隔可以较大，对复杂场景的适应性较强。在一个例子中，无人机在不同的第一环绕航线上拍摄的图像之间的重叠度(旁向重叠度)可以在40％左右。在一个例子中，无人机在同一条第一环绕航线上拍摄的图像之间可以保持较高的重叠度(航向重叠度)，比如可以大于或等于80％。
在一种实施方式中，第一环绕航线可以用于对被摄对象进行远距离拍摄，即第一环绕航线的拍摄距离可以较远。当无人机沿所述第一环绕航线运动时，无人机可以从相对于被摄对象较远的位置对被摄对象进行拍摄，从而拍摄所得的图像可以较为完整的覆盖被摄对象及其所在的场景。在一个例子中，无人机在第一环绕航线上拍摄的每一张图像可以覆盖场景的20％以上。
在规划第一环绕航线时，在一种实施方式中，可以根据被摄对象的尺寸信息确定第一环绕航线的拍摄距离，即第一环绕航线上航点与被摄对象之间的距离。被摄对象的尺寸信息可以与被摄对象被抽象成的立体图形匹配，例如，若被摄对象被抽象成长方体，则被摄对象的尺寸信息可以包括被摄对象的长、宽和高，若被摄对象被抽象成圆柱体，则被摄对象的尺寸信息可以包括被摄对象的高和底面半径。被摄对象的尺寸信息，在一个例子中，可以是用户输入的，在一个例子中，也可以是无人机通过视觉测量等方式测量得到的。
在确定被摄对象的尺寸信息后，在一种实施方式中，可以通过预设的计算公式将 被摄对象的尺寸信息转换成第一环绕航线上航点与被摄对象之间的距离。可以举个例子，例如被摄对象被抽象为一个边长为1米的立方体，预设的计算公式比如可以是取边长的N倍，则第一环绕航线上航点与被摄对象之间的距离可以是N米，即认为在无人机与被摄对象距离N米时拍摄的图像所能覆盖的场景比例是比较合适的(至少满足大于或等于20％)。
在一种实施方式中，第一环绕航线上航点的高度可以高于被摄对象的高度。若规划多条第一环绕航线，则多条第一环绕航线中可以包括至少一条航点的高度高于被摄对象的高度的第一环绕航线。在一种实施方式中，第一环绕航线上航点的高度可以根据被摄对象的高度确定。在一个例子中，可以直接将被摄对象的高度的M倍确定第一环绕航线上航点的高度。
在一种实施方式中，第二环绕航线可以用于对被摄物体进行中距离拍摄，即第二环绕航线的拍摄距离可以小于第一环绕航线的拍摄距离，或者说，第二环绕航线上航点与被摄对象之间的距离可以小于第一环绕航线上航点与被摄对象之间的距离。如前所述，由于无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，因此竖直航线段之间的图像重叠度可以无需太高。在一个例子中，竖直航线段之间的图像重叠度可以小于或等于40％。竖直航线段的最高高度与最低高度可以根据实际需求进行确定。
可以参考图5和图6，图5是本申请实施例提供的包括第一环绕航线和第二环绕航线的航线示意图，图6是图5的俯视图。可以理解的，由于第一环绕航线上航点与被摄对象之间的距离与第二环绕航线上航点与被摄对象之间的距离不同，因此第一环绕航线的航点在水平面上的投影位置与第二环绕航线的所述竖直航线段在水平面上的投影位置可以不同。
本申请实施例所述的第一环绕航线或第二环绕航线上航点与被摄对象之间的距离，在一个例子中，可以是指航点与被摄对象之间的水平距离。
在通过无人机对被摄对象拍摄图像时，一种实施方式中，可以先规划第一环绕航线，控制无人机沿规划的第一环绕航线运动并拍摄图像，在无人机完成第一环绕航线对应的拍摄任务后，再规划第二环绕航线，控制无人机进行第二环绕航线对应的拍摄任务。这里，在规划第二环绕航线时，在一种实施方式中，第二环绕航线上竖直航线段在水平面上的投影位置可以是基于被摄对象表面点的空间位置确定的。在一种实施方式中，可以根据被摄对象的位置信息以及无人机沿第一环绕航线拍摄所得的多张图像规划第二环绕航线。为方便区分，这里将无人机沿第一环绕航线拍摄的图像称为第 一图像，则第二环绕航线上的航点与被摄对象的距离可以是根据无人机沿第一环绕航线运动时拍摄所得的多张第一图像确定的。
在根据多张第一图像确定第二环绕航线上航点与被摄对象的距离时，在一种实施方式中，可以控制无人机与被摄对象保持第一测试距离，该第一测试距离可以是小于第一环绕航线上航点与被摄对象之间的距离的任意距离，可以控制无人机在所述第一测试距离对被摄对象进行拍摄，得到第一测试图像，可以将该第一测试图像与无人机沿第一环绕航线运动时拍摄的多张第一图像进行相似度匹配，若匹配得到的第一相似度不满足条件，则可以对第一测试距离进行调整，若匹配得到的第一相似度满足条件，则可以将调整完成的第一测试距离确定为第二环绕航线上的航点与被摄对象的距离。这里，在一种实施方式中，匹配得到的第一相似度可以是第一测试图像与多张第一图像分别进行相似度匹配后得到的最高相似度。
如前所述，第二环绕航线的拍摄距离可以小于第一环绕航线的拍摄距离，而第一测试距离作为第二环绕航线的拍摄距离的尝试值，其可以小于第一环绕航线的拍摄距离，即可以小于第一环绕航线上航点与被摄对象之间的距离。
需要说明的是，无人机在第二环绕航线上拍摄的图像与无人机在第一环绕航线上拍摄的图像之间需要满足一定的相似度，以便于这些图像在用于三维重建时可以很好的匹配，避免出现图像最终不能连接的问题。但无人机在第二环绕航线上拍摄的图像与无人机在第一环绕航线上拍摄的图像之间的相似度也不宜过高，因为相似度越高意味着第二环绕航线的拍摄距离与第一环绕航线的拍摄距离越接近，则无人机在第二环绕航线上拍摄的图像对模型精度的提高越有限，最终可能导致建立的模型精度不足。又或者，为了使所建立模型的精度达到要求，需要规划更多对应不同拍摄距离的航线，从而大大增加了无人机拍摄的工作量，拍摄效率大大降低。
针对上述问题，在一种实施方式中，在将该第一测试图像与多张第一图像进行相似度匹配后，若匹配得出的第一相似度小于相似度下限，即可以增加第一测试距离，使第二环绕航线的拍摄距离与第一环绕航线的拍摄距离接近一点，以确保无人机在第二环绕航线上拍摄的图像与无人机在第一环绕航线上拍摄的图像可以连接。在一种实施方式中，若匹配得出的第一相似度大于相似度上限，则意味着第二环绕航线的拍摄距离与第一环绕航线的拍摄距离过于接近，可以减少第一测试距离，以使无人机在第二环绕航线上拍摄的图像可以对模型精度的提高提供更多的贡献。
考虑到无人机沿第一环绕航线运动时拍摄的图像数量较多，若第一测试图像分别与每一张第一图形进行相似度匹配，则需要耗费较多的计算资源，也降低了计算效率， 因此，在一种实施方式中，可以获取第一测试图像对应的相机位姿信息，根据第一测试图像对应的相机位姿信息对多张第一图像进行筛选，筛选出相机位姿信息与第一测试图像对应的相机位姿信息相匹配的第一图像，可以将第一测试图像与筛选出的第一图像进行相似度匹配。这里，相机位姿信息可以是第一测试图像携带的信息，在一个例子中，相机位姿信息可以是无人机或者相机上的惯性测量单元测量得到的。由于两张图像的相机位姿信息匹配意味着这两张图像的拍摄角度大致相同，图像之间的相似度较高，因此第一测试图像可以与筛选出的第一图像进行相似度匹配，从而提高了匹配效率。在一种实施方式中，也可以通过图像检索算法对多张第一图像进行筛选，从而也可以筛选出数量较少或单张第一图像用于与第一测试图像进行相似度匹配。
在一种实施方式中，当用户控制无人机以第一测试距离对被摄对象进行拍摄时，若拍摄所得的第一测试图像与第一图像的匹配结果不满足条件，例如所述第一相似度大于相似度上限或者小于相似度下限，则可以向用户反馈相应的匹配结果，以指导用户对第一测试距离进行调整。可以参考图7和图8，在一个例子中，若匹配结果不满足条件，则可以在终端的显示界面上显示用于表示当前的第一测试距离不合适的信息，如图7中的BAD，若匹配结果满足条件，则可以在终端的显示界面上显示用于表示当前的第一测试距离合适的信息，如图8中的GOOD。
在将第一测试图像与第一图像进行相似度匹配时，可以有多种方式。在一种实施方式中，可以对第一测试图像和第一图像分别进行特征提取，提取出的特征可以是一个高维度的特征向量，则可以利用第一测试图像对应的特征向量与第一图像对应的特征向量计算第一测试图像和第一图像之间的相似度，例如，相似度可以是第一测试图像和第一图像的特征向量之间的夹角，也可以是第一测试图像和第一图像的特征向量之间的距离。
如前所述，第一环绕航线可以用于对被摄对象远距离拍摄，第二环绕航线可以用于对被摄对象中距离拍摄，但在一些高精度模型的建模任务中，利用远距离和中距离拍摄的图像建立的模型仍然不能满足精度要求，例如在信号塔的建模任务中，用户对信号塔上天线的模型要求有较高的精度。针对该问题，在一种实施方式中，可以获取用户选定的被摄对象表面的感兴趣区域，并可以根据该感兴趣区域规划第三航线，控制无人机沿第三航线运动并在运动过程中拍摄被摄对象的近距离的多张图像。为方便区分，可以将无人机沿第二环绕航线拍摄的图像称为第二图像，无人机沿第三航线拍摄的图像称为第三图像，则在进行三维重建时，可以利用的图像包括远距离的第一图像、中距离的第二图像以及近距离的第三图像，拍摄距离的平滑过渡可以给图像之间 的连接提供保证，使模型能够成功建立，且建立的模型在感兴趣区域处可以有足够的精度，能够满足用户的需求，此外，由于合理的航线规划，同类航线间的图像重叠度要求降低，因此可以大大减少要拍摄的图像数量，建模速度大大提升。
在一种实施方式中，被摄对象表面的感兴趣区域可以是用户在已拍摄的被摄对象的图像中选定的，这里，已拍摄的被摄对象的图像可以包括所述的第一图像和第二图像，还可以包括当前拍摄的预览图像。在一种实施方式中，可以利用已拍摄的被摄对象的图像(例如所述第一图像和所述第二图像)建立被摄对象的初始模型，被摄对象表面的感兴趣区域可以是用户在该初始模型上选定的。
在根据选定的感兴趣区域规划第三航线时，在一种实施方式中，可以在距离被摄对象感兴趣区域表面预设距离的位置规划多个航点，并可以根据规划的多个航点规划第三航线。在一个例子中，规划的多个航点可以相对均匀的分布在被摄对象的感兴趣区域上，与被摄对象的表面间隔所述预设距离。
在根据选定的感兴趣区域规划第三航线时，在一种实施方式中，可以根据无人机沿第二环绕航线运动时拍摄的多张第二图像确定第三航线对应的拍摄距离，即第三航线上航点与被摄对象之间的距离。具体的，可以控制无人机与被摄对象保持第二测试距离并对被摄对象拍摄，得到第二测试图像。由于第三航线用于对感兴趣区域进行近距离的拍摄，因此第二测试距离可以是小于第二环绕航线上航点与被摄对象的距离的任意距离。
在第二测试距离拍摄得到第二测试图像后，可以将第二测试图像与多张第二图像进行相似度匹配，并可以根据匹配得到的第二相似度对第二测试距离进行调整。这里，若匹配得到的第二相似度小于相似度下限，可以增加第二测试距离，若匹配得到的第二相似度大于相似度上限，可以减少第二测试距离。通过T次调整后(T可以是0)，若匹配得到的第二相似度在相似度上限和相似度下限之间，则可以将当前的第二测试距离确定为第三航线上航点与被摄对象的距离。这里，在一种实施方式中，匹配得到的第二相似度可以是第二测试图像与多张第二图像分别进行相似度匹配后得到的最高相似度。
考虑到无人机拍摄的第二图像有多张，这里，可以根据第二测试图像拍摄时相机对应的位姿信息对多张第二图像进行筛选，筛选出相机位姿信息与第二测试图像对应的相机位姿信息匹配的第二图像，从而可以将第二测试图像与筛选出的第二图像进行相似度匹配，提高了图像匹配的效率。
本申请实施例提供的拍摄方法，规划的航线包括第一环绕航线和第二环绕航线， 通过第一环绕航线无人机可以拍摄得到被摄对象在各个方向的图像，通过竖直航线段无人机可以拍摄得到被摄对象在特定方向上多个不同高度的图像，由于无人机在第一环绕航线上拍摄的图像所覆盖的场景包含了无人机在竖直航线段上拍摄的图像所覆盖的场景，因此无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，满足重叠度的要求，从而竖直航线段之间的图像重叠度要求可以大大减少，可以无需规划密集的竖直航线段，减少了无人机拍摄所用的时间，提高了作业效率。并且，由于竖直航线段的分布可以比较稀疏，因此可以适应更多复杂的场景，场景适应能力大大提升。此外，由于采用两种环绕航线进行拍摄，因此对被摄对象的覆盖更为全面，可以避免存在拍摄盲区。
本申请实施例提供的拍摄方法，在一种实施方式中，可以应用于终端设备。终端设备可以与无人机连接，可以与无人机之间进行数据的传输。在一个例子中，终端设备可以是手机、电脑等智能设备，在一个例子中，终端设备可以是无人机的控制设备，该控制设备可以包括用于操控无人机的按键、摇杆等操作件，还可以包括显示屏，其可以直接与用户进行交互。在一个例子中，终端设备可以是智能设备和遥控器的组合，例如终端设备可以是手机与遥控器连接后形成的整体。
在一种实施方式中，用户可以在终端设备进行拍摄任务的规划，这里，规划的内容可以包括飞行航线的规划、相机参数的设置、图像重叠度的设定、被摄对象的确定等等。终端设备可以将拍摄任务对应的指定数据打包上传给无人机，无人机可以根据拍摄任务的指定数据沿规划的航线运动并按要求进行拍摄，从而获得被摄对象的多张图像。在一个例子中，无人机拍摄的多张图像可以传输给终端设备，终端设备可以利用无人机拍摄的多张图像进行被摄对象的立体模型的建立。
可以参考图9，图9是本申请实施例提供的拍摄装置的结构示意图，该装置包括：处理器910和存储有计算机程序的存储器920，所述处理器在执行所述计算机程序实现以下步骤：
获取被摄对象的位置信息；
基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对 象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
可选的，所述第一环绕航线的航点在水平面上的投影位置与所述第二环绕航线的所述竖直航线段在水平面上的投影位置不一致。
可选的，所述第一环绕航线上航点的高度大于所述被摄对象的高度。
可选的，所述第二环绕航线的所述竖直航线段在水平面上的投影位置是基于所述被摄对象表面点的空间位置确定的。
可选的，所述第一环绕航线上的航点与所述被摄对象的距离大于所述第二环绕航线上的航点与所述被摄对象的距离。
可选的，所述第二环绕航线上的航点与所述被摄对象的距离是根据所述无人机沿所述第一环绕航线运动时拍摄所得的多张第一图像确定的。
可选的，所述处理器根据多张所述第一图像确定所述第二环绕航线上的航点与所述被摄对象的距离时用于：
控制所述无人机与所述被摄对象保持第一测试距离并对所述被摄对象拍摄，得到第一测试图像，所述第一测试距离小于所述第一环绕航线上的航点与所述被摄对象的距离；
将所述第一测试图像与多张所述第一图像进行相似度匹配，并根据匹配得到的第一相似度对所述第一测试距离进行调整；
将调整完成的第一测试距离确定为所述第二环绕航线上的航点与所述被摄对象的距离。
可选的，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
若所述第一相似度小于相似度下限，增加所述第一测试距离。
可选的，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
若所述第一相似度大于相似度上限，减少所述第一测试距离。
可选的，所述处理器将所述第一测试图像与多张所述第一图像进行相似度匹配时用于：
从多张所述第一图像中筛选出相机位姿信息与所述第一测试图像对应的相机位姿信息匹配的第一图像；
将所述第一测试图像与筛选出的第一图像进行相似度匹配。
可选的，所述处理器还用于：
根据选定的所述被摄对象表面的感兴趣区域规划第三航线；
控制所述无人机沿所述第三航线运动，并在运动过程中对所述被摄对象拍摄。
可选的，所述第三航线上的航点与所述被摄对象之间的距离小于所述第二环绕航线上的航点与所述被摄对象之间的距离。
可选的，所述第三航线上的航点与所述被摄对象之间的距离是根据所述无人机沿所述第二环绕航线运动时拍摄所得的多张第二图像确定的。
可选的，所述处理器根据多张所述第二图像确定所述第三航线上的航点与所述被摄对象之间的距离时用于：
控制所述无人机与所述被摄对象保持第二测试距离并对所述被摄对象拍摄，得到第二测试图像，所述第二测试距离小于所述第二环绕航线上的航点与所述被摄对象的距离；
将所述第二测试图像与多张所述第二图像进行相似度匹配，并根据匹配得到的第二相似度对所述第二测试距离进行调整；
将调整完成的第二测试距离确定为所述第三航线上的航点与所述被摄对象之间的距离。
可选的，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
若所述第二相似度小于相似度下限，增加所述第二测试距离。
可选的，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
若所述第二相似度大于相似度上限，减少所述第二测试距离。
可选的，所述处理器将所述第二测试图像与多张所述第二图像进行相似度匹配时用于：
从多张所述第二图像中筛选出相机位姿信息与所述第二测试图像对应的相机位姿信息匹配的第二图像；
将所述第二测试图像与筛选出的第二图像进行相似度匹配。
以上所提供的拍摄装置的各种实施方式，其具体实现可以参考前文中的相关说明 在此不再赘述。
本申请实施例提供的拍摄装置，规划的航线包括第一环绕航线和第二环绕航线，通过第一环绕航线无人机可以拍摄得到被摄对象在各个方向的图像，通过竖直航线段无人机可以拍摄得到被摄对象在特定方向上多个不同高度的图像，由于无人机在第一环绕航线上拍摄的图像所覆盖的场景包含了无人机在竖直航线段上拍摄的图像所覆盖的场景，因此无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，满足重叠度的要求，从而竖直航线段之间的图像重叠度要求可以大大减少，可以无需规划密集的竖直航线段，减少了无人机拍摄所用的时间，提高了作业效率。并且，由于竖直航线段的分布可以比较稀疏，因此可以适应更多复杂的场景，场景适应能力大大提升。此外，由于采用两种环绕航线进行拍摄，因此对被摄对象的覆盖更为全面，可以避免存在拍摄盲区。
可以参考图10，图10是本申请实施例提供的终端设备的结构示意图，终端设备可以包括：
通信模块1010，用于与无人机建立连接；
处理器1020和存储有计算机程序的存储器1030，所述处理器在执行所述计算机程序实现以下步骤：
获取被摄对象的位置信息；
基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
可选的，所述第一环绕航线的航点在水平面上的投影位置与所述第二环绕航线的所述竖直航线段在水平面上的投影位置不一致。
可选的，所述第一环绕航线上航点的高度大于所述被摄对象的高度。
可选的，所述第二环绕航线的所述竖直航线段在水平面上的投影位置是基于所述被摄对象表面点的空间位置确定的。
可选的，所述第一环绕航线上的航点与所述被摄对象的距离大于所述第二环绕航线上的航点与所述被摄对象的距离。
可选的，所述第二环绕航线上的航点与所述被摄对象的距离是根据所述无人机沿所述第一环绕航线运动时拍摄所得的多张第一图像确定的。
可选的，所述处理器根据多张所述第一图像确定所述第二环绕航线上的航点与所述被摄对象的距离时用于：
控制所述无人机与所述被摄对象保持第一测试距离并对所述被摄对象拍摄，得到第一测试图像，所述第一测试距离小于所述第一环绕航线上的航点与所述被摄对象的距离；
将所述第一测试图像与多张所述第一图像进行相似度匹配，并根据匹配得到的第一相似度对所述第一测试距离进行调整；
将调整完成的第一测试距离确定为所述第二环绕航线上的航点与所述被摄对象的距离。
可选的，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
若所述第一相似度小于相似度下限，增加所述第一测试距离。
可选的，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
若所述第一相似度大于相似度上限，减少所述第一测试距离。
可选的，所述处理器将所述第一测试图像与多张所述第一图像进行相似度匹配时用于：
从多张所述第一图像中筛选出相机位姿信息与所述第一测试图像对应的相机位姿信息匹配的第一图像；
将所述第一测试图像与筛选出的第一图像进行相似度匹配。
可选的，所述处理器还用于：
根据选定的所述被摄对象表面的感兴趣区域规划第三航线；
控制所述无人机沿所述第三航线运动，并在运动过程中对所述被摄对象拍摄。
可选的，所述第三航线上的航点与所述被摄对象之间的距离小于所述第二环绕航线上的航点与所述被摄对象之间的距离。
可选的，所述第三航线上的航点与所述被摄对象之间的距离是根据所述无人机沿所述第二环绕航线运动时拍摄所得的多张第二图像确定的。
可选的，所述处理器根据多张所述第二图像确定所述第三航线上的航点与所述被摄对象之间的距离时用于：
控制所述无人机与所述被摄对象保持第二测试距离并对所述被摄对象拍摄，得到第二测试图像，所述第二测试距离小于所述第二环绕航线上的航点与所述被摄对象的距离；
将所述第二测试图像与多张所述第二图像进行相似度匹配，并根据匹配得到的第二相似度对所述第二测试距离进行调整；
将调整完成的第二测试距离确定为所述第三航线上的航点与所述被摄对象之间的距离。
可选的，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
若所述第二相似度小于相似度下限，增加所述第二测试距离。
可选的，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
若所述第二相似度大于相似度上限，减少所述第二测试距离。
可选的，所述处理器将所述第二测试图像与多张所述第二图像进行相似度匹配时用于：
从多张所述第二图像中筛选出相机位姿信息与所述第二测试图像对应的相机位姿信息匹配的第二图像；
将所述第二测试图像与筛选出的第二图像进行相似度匹配。
以上提供了终端设备的各种实施方式，其具体实现可以参考前文中的相关说明，在此不再赘述。
本申请实施例提供的终端设备，规划的航线包括第一环绕航线和第二环绕航线，通过第一环绕航线无人机可以拍摄得到被摄对象在各个方向的图像，通过竖直航线段无人机可以拍摄得到被摄对象在特定方向上多个不同高度的图像，由于无人机在第一环绕航线上拍摄的图像所覆盖的场景包含了无人机在竖直航线段上拍摄的图像所覆盖的场景，因此无人机在竖直航线段上拍摄的图像可以与无人机在第一环绕航线上拍摄的图像很好的匹配，满足重叠度的要求，从而竖直航线段之间的图像重叠度要求可以大大减少，可以无需规划密集的竖直航线段，减少了无人机拍摄所用的时间，提高了 作业效率。并且，由于竖直航线段的分布可以比较稀疏，因此可以适应更多复杂的场景，场景适应能力大大提升。此外，由于采用两种环绕航线进行拍摄，因此对被摄对象的覆盖更为全面，可以避免存在拍摄盲区。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的拍摄方法。
以上针对每个保护主题均提供了多种实施方式，在不存在冲突或矛盾的基础上，本领域技术人员可以根据实际情况自由对各种实施方式进行组合，由此构成各种不同的技术方案。而本申请文件限于篇幅，未能对所有组合而得的技术方案展开说明，但可以理解的是，这些未能展开的技术方案也属于本申请实施例公开的范围。
本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对 本发明的限制。

Claims (52)

  1. 一种拍摄方法，其特征在于，包括：
    获取被摄对象的位置信息；
    基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
    其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
    所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
    控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
  2. 根据权利要求1所述的方法，其特征在于，所述第一环绕航线的航点在水平面上的投影位置与所述第二环绕航线的所述竖直航线段在水平面上的投影位置不一致。
  3. 根据权利要求1所述的方法，其特征在于，其特征在于，所述第一环绕航线上航点的高度大于所述被摄对象的高度。
  4. 根据权利要求1所述的方法，其特征在于，其特征在于，所述第二环绕航线的所述竖直航线段在水平面上的投影位置是基于所述被摄对象表面点的空间位置确定的。
  5. 根据权利要求1所述的方法，其特征在于，所述第一环绕航线上的航点与所述被摄对象的距离大于所述第二环绕航线上的航点与所述被摄对象的距离。
  6. 根据权利要求5所述的方法，其特征在于，所述第二环绕航线上的航点与所述被摄对象的距离是根据所述无人机沿所述第一环绕航线运动时拍摄所得的多张第一图像确定的。
  7. 根据权利要求6所述的方法，其特征在于，根据多张所述第一图像确定所述第二环绕航线上的航点与所述被摄对象的距离，包括：
    控制所述无人机与所述被摄对象保持第一测试距离并对所述被摄对象拍摄，得到第一测试图像，所述第一测试距离小于所述第一环绕航线上的航点与所述被摄对象的距离；
    将所述第一测试图像与多张所述第一图像进行相似度匹配，并根据匹配得到的第一相似度对所述第一测试距离进行调整；
    将调整完成的第一测试距离确定为所述第二环绕航线上的航点与所述被摄对象的距离。
  8. 根据权利要求7所述的方法，其特征在于，所述根据匹配得到的第一相似度对所述第一测试距离进行调整，包括：
    若所述第一相似度小于相似度下限，增加所述第一测试距离。
  9. 根据权利要求7所述的方法，其特征在于，所述根据匹配得到的第一相似度对所述第一测试距离进行调整，包括：
    若所述第一相似度大于相似度上限，减少所述第一测试距离。
  10. 根据权利要求7所述的方法，其特征在于，所述将所述第一测试图像与多张所述第一图像进行相似度匹配，包括：
    从多张所述第一图像中筛选出相机位姿信息与所述第一测试图像对应的相机位姿信息匹配的第一图像；
    将所述第一测试图像与筛选出的第一图像进行相似度匹配。
  11. 根据权利要求5所述的方法，其特征在于，所述方法还包括：
    根据选定的所述被摄对象表面的感兴趣区域规划第三航线；
    控制所述无人机沿所述第三航线运动，并在运动过程中对所述被摄对象拍摄。
  12. 根据权利要求11所述的方法，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离小于所述第二环绕航线上的航点与所述被摄对象之间的距离。
  13. 根据权利要求12所述的方法，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离是根据所述无人机沿所述第二环绕航线运动时拍摄所得的多张第二图像确定的。
  14. 根据权利要求13所述的方法，其特征在于，根据多张所述第二图像确定所述第三航线上的航点与所述被摄对象之间的距离，包括：
    控制所述无人机与所述被摄对象保持第二测试距离并对所述被摄对象拍摄，得到第二测试图像，所述第二测试距离小于所述第二环绕航线上的航点与所述被摄对象的距离；
    将所述第二测试图像与多张所述第二图像进行相似度匹配，并根据匹配得到的第二相似度对所述第二测试距离进行调整；
    将调整完成的第二测试距离确定为所述第三航线上的航点与所述被摄对象之间的 距离。
  15. 根据权利要求14所述的方法，其特征在于，所述根据匹配得到的第二相似度对所述第二测试距离进行调整，包括：
    若所述第二相似度小于相似度下限，增加所述第二测试距离。
  16. 根据权利要求14所述的方法，其特征在于，所述根据匹配得到的第二相似度对所述第二测试距离进行调整，包括：
    若所述第二相似度大于相似度上限，减少所述第二测试距离。
  17. 根据权利要求14所述的方法，其特征在于，所述将所述第二测试图像与多张所述第二图像进行相似度匹配，包括：
    从多张所述第二图像中筛选出相机位姿信息与所述第二测试图像对应的相机位姿信息匹配的第二图像；
    将所述第二测试图像与筛选出的第二图像进行相似度匹配。
  18. 一种拍摄装置，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序实现以下步骤：
    获取被摄对象的位置信息；
    基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕航线；
    其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
    所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
    控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
  19. 根据权利要求18所述的装置，其特征在于，所述第一环绕航线的航点在水平面上的投影位置与所述第二环绕航线的所述竖直航线段在水平面上的投影位置不一致。
  20. 根据权利要求18所述的装置，其特征在于，其特征在于，所述第一环绕航线上航点的高度大于所述被摄对象的高度。
  21. 根据权利要求18所述的装置，其特征在于，其特征在于，所述第二环绕航线的所述竖直航线段在水平面上的投影位置是基于所述被摄对象表面点的空间位置确定的。
  22. 根据权利要求18所述的装置，其特征在于，所述第一环绕航线上的航点与所述被摄对象的距离大于所述第二环绕航线上的航点与所述被摄对象的距离。
  23. 根据权利要求22所述的装置，其特征在于，所述第二环绕航线上的航点与所述被摄对象的距离是根据所述无人机沿所述第一环绕航线运动时拍摄所得的多张第一图像确定的。
  24. 根据权利要求23所述的装置，其特征在于，所述处理器根据多张所述第一图像确定所述第二环绕航线上的航点与所述被摄对象的距离时用于：
    控制所述无人机与所述被摄对象保持第一测试距离并对所述被摄对象拍摄，得到第一测试图像，所述第一测试距离小于所述第一环绕航线上的航点与所述被摄对象的距离；
    将所述第一测试图像与多张所述第一图像进行相似度匹配，并根据匹配得到的第一相似度对所述第一测试距离进行调整；
    将调整完成的第一测试距离确定为所述第二环绕航线上的航点与所述被摄对象的距离。
  25. 根据权利要求24所述的装置，其特征在于，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
    若所述第一相似度小于相似度下限，增加所述第一测试距离。
  26. 根据权利要求24所述的装置，其特征在于，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
    若所述第一相似度大于相似度上限，减少所述第一测试距离。
  27. 根据权利要求24所述的装置，其特征在于，所述处理器将所述第一测试图像与多张所述第一图像进行相似度匹配时用于：
    从多张所述第一图像中筛选出相机位姿信息与所述第一测试图像对应的相机位姿信息匹配的第一图像；
    将所述第一测试图像与筛选出的第一图像进行相似度匹配。
  28. 根据权利要求22所述的装置，其特征在于，所述处理器还用于：
    根据选定的所述被摄对象表面的感兴趣区域规划第三航线；
    控制所述无人机沿所述第三航线运动，并在运动过程中对所述被摄对象拍摄。
  29. 根据权利要求28所述的装置，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离小于所述第二环绕航线上的航点与所述被摄对象之间的距离。
  30. 根据权利要求29所述的装置，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离是根据所述无人机沿所述第二环绕航线运动时拍摄所得的多张第二图像确定的。
  31. 根据权利要求30所述的装置，其特征在于，所述处理器根据多张所述第二图像确定所述第三航线上的航点与所述被摄对象之间的距离时用于：
    控制所述无人机与所述被摄对象保持第二测试距离并对所述被摄对象拍摄，得到第二测试图像，所述第二测试距离小于所述第二环绕航线上的航点与所述被摄对象的距离；
    将所述第二测试图像与多张所述第二图像进行相似度匹配，并根据匹配得到的第二相似度对所述第二测试距离进行调整；
    将调整完成的第二测试距离确定为所述第三航线上的航点与所述被摄对象之间的距离。
  32. 根据权利要求31所述的装置，其特征在于，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
    若所述第二相似度小于相似度下限，增加所述第二测试距离。
  33. 根据权利要求31所述的装置，其特征在于，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
    若所述第二相似度大于相似度上限，减少所述第二测试距离。
  34. 根据权利要求31所述的装置，其特征在于，所述处理器将所述第二测试图像与多张所述第二图像进行相似度匹配时用于：
    从多张所述第二图像中筛选出相机位姿信息与所述第二测试图像对应的相机位姿信息匹配的第二图像；
    将所述第二测试图像与筛选出的第二图像进行相似度匹配。
  35. 一种终端设备，其特征在于，包括：
    通信模块，用于与无人机建立连接；
    处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序实现以下步骤：
    获取被摄对象的位置信息；
    基于所述位置信息规划用于对所述被摄对象环绕拍摄的第一环绕航线和第二环绕 航线；
    其中，所述第一环绕航线包括多个航点，多个所述航点分布在所述被摄对象的不同方向，与所述被摄对象的距离大致相同，且大致位于同一高度，所述第一环绕航线用于引导无人机在水平面上环绕所述被摄对象运动；
    所述第二环绕航线包括多条竖直航线段，多条所述竖直航线段分布在所述被摄对象的不同方向，每一所述竖直航线段用于引导所述无人机在高度方向向上或者向下运动；
    控制所述无人机分别沿所述第一环绕航线和所述第二环绕航线运动，并在运动过程中对所述被摄对象拍摄，以获取所述被摄对象的多张图像，多张所述图像用于建立所述被摄对象的立体模型。
  36. 根据权利要求35所述的终端设备，其特征在于，所述第一环绕航线的航点在水平面上的投影位置与所述第二环绕航线的所述竖直航线段在水平面上的投影位置不一致。
  37. 根据权利要求35所述的终端设备，其特征在于，其特征在于，所述第一环绕航线上航点的高度大于所述被摄对象的高度。
  38. 根据权利要求35所述的终端设备，其特征在于，其特征在于，所述第二环绕航线的所述竖直航线段在水平面上的投影位置是基于所述被摄对象表面点的空间位置确定的。
  39. 根据权利要求35所述的终端设备，其特征在于，所述第一环绕航线上的航点与所述被摄对象的距离大于所述第二环绕航线上的航点与所述被摄对象的距离。
  40. 根据权利要求39所述的终端设备，其特征在于，所述第二环绕航线上的航点与所述被摄对象的距离是根据所述无人机沿所述第一环绕航线运动时拍摄所得的多张第一图像确定的。
  41. 根据权利要求40所述的终端设备，其特征在于，所述处理器根据多张所述第一图像确定所述第二环绕航线上的航点与所述被摄对象的距离时用于：
    控制所述无人机与所述被摄对象保持第一测试距离并对所述被摄对象拍摄，得到第一测试图像，所述第一测试距离小于所述第一环绕航线上的航点与所述被摄对象的距离；
    将所述第一测试图像与多张所述第一图像进行相似度匹配，并根据匹配得到的第一相似度对所述第一测试距离进行调整；
    将调整完成的第一测试距离确定为所述第二环绕航线上的航点与所述被摄对象的 距离。
  42. 根据权利要求41所述的终端设备，其特征在于，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
    若所述第一相似度小于相似度下限，增加所述第一测试距离。
  43. 根据权利要求41所述的终端设备，其特征在于，所述处理器根据匹配得到的第一相似度对所述第一测试距离进行调整时用于：
    若所述第一相似度大于相似度上限，减少所述第一测试距离。
  44. 根据权利要求41所述的终端设备，其特征在于，所述处理器将所述第一测试图像与多张所述第一图像进行相似度匹配时用于：
    从多张所述第一图像中筛选出相机位姿信息与所述第一测试图像对应的相机位姿信息匹配的第一图像；
    将所述第一测试图像与筛选出的第一图像进行相似度匹配。
  45. 根据权利要求39所述的终端设备，其特征在于，所述处理器还用于：
    根据选定的所述被摄对象表面的感兴趣区域规划第三航线；
    控制所述无人机沿所述第三航线运动，并在运动过程中对所述被摄对象拍摄。
  46. 根据权利要求45所述的终端设备，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离小于所述第二环绕航线上的航点与所述被摄对象之间的距离。
  47. 根据权利要求46所述的终端设备，其特征在于，所述第三航线上的航点与所述被摄对象之间的距离是根据所述无人机沿所述第二环绕航线运动时拍摄所得的多张第二图像确定的。
  48. 根据权利要求47所述的终端设备，其特征在于，所述处理器根据多张所述第二图像确定所述第三航线上的航点与所述被摄对象之间的距离时用于：
    控制所述无人机与所述被摄对象保持第二测试距离并对所述被摄对象拍摄，得到第二测试图像，所述第二测试距离小于所述第二环绕航线上的航点与所述被摄对象的距离；
    将所述第二测试图像与多张所述第二图像进行相似度匹配，并根据匹配得到的第二相似度对所述第二测试距离进行调整；
    将调整完成的第二测试距离确定为所述第三航线上的航点与所述被摄对象之间的距离。
  49. 根据权利要求48所述的终端设备，其特征在于，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
    若所述第二相似度小于相似度下限，增加所述第二测试距离。
  50. 根据权利要求48所述的终端设备，其特征在于，所述处理器根据匹配得到的第二相似度对所述第二测试距离进行调整时用于：
    若所述第二相似度大于相似度上限，减少所述第二测试距离。
  51. 根据权利要求48所述的终端设备，其特征在于，所述处理器将所述第二测试图像与多张所述第二图像进行相似度匹配时用于：
    从多张所述第二图像中筛选出相机位姿信息与所述第二测试图像对应的相机位姿信息匹配的第二图像；
    将所述第二测试图像与筛选出的第二图像进行相似度匹配。
  52. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-17任一项所述的拍摄方法。
PCT/CN2021/084727 2021-03-31 2021-03-31 拍摄方法、装置及计算机可读存储介质，终端设备 WO2022205210A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/084727 WO2022205210A1 (zh) 2021-03-31 2021-03-31 拍摄方法、装置及计算机可读存储介质，终端设备
CN202180078856.9A CN116490746A (zh) 2021-03-31 2021-03-31 拍摄方法、装置及计算机可读存储介质，终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/084727 WO2022205210A1 (zh) 2021-03-31 2021-03-31 拍摄方法、装置及计算机可读存储介质，终端设备

Publications (1)

Publication Number Publication Date
WO2022205210A1 true WO2022205210A1 (zh) 2022-10-06

Family

ID=83457682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/084727 WO2022205210A1 (zh) 2021-03-31 2021-03-31 拍摄方法、装置及计算机可读存储介质，终端设备

Country Status (2)

Country Link
CN (1) CN116490746A (zh)
WO (1) WO2022205210A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296816A (zh) * 2016-08-01 2017-01-04 清华大学深圳研究生院 用于三维模型重建的无人机路径确定方法及装置
CN106767706A (zh) * 2016-12-09 2017-05-31 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统
CN107272738A (zh) * 2017-07-11 2017-10-20 成都纵横自动化技术有限公司 飞行航线设置方法及装置
CN107514993A (zh) * 2017-09-25 2017-12-26 同济大学 基于无人机的面向单体建筑建模的数据采集方法及系统
CN109952755A (zh) * 2016-10-17 2019-06-28 深圳市大疆创新科技有限公司 飞行路径生成方法、飞行路径生成系统、飞行体、程序以及记录介质
CN110383004A (zh) * 2017-10-24 2019-10-25 深圳市大疆创新科技有限公司 信息处理装置、空中摄像路径生成方法、程序、及记录介质
WO2020051208A1 (en) * 2018-09-04 2020-03-12 Chosid Jessica Method for obtaining photogrammetric data using a layered approach
JP6675537B1 (ja) * 2019-03-12 2020-04-01 Ｔｅｒｒａ Ｄｒｏｎｅ株式会社 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
CN111044018A (zh) * 2019-12-12 2020-04-21 王峰 一种对立面进行航空摄影测量航线规划的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296816A (zh) * 2016-08-01 2017-01-04 清华大学深圳研究生院 用于三维模型重建的无人机路径确定方法及装置
CN109952755A (zh) * 2016-10-17 2019-06-28 深圳市大疆创新科技有限公司 飞行路径生成方法、飞行路径生成系统、飞行体、程序以及记录介质
CN106767706A (zh) * 2016-12-09 2017-05-31 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统
CN107272738A (zh) * 2017-07-11 2017-10-20 成都纵横自动化技术有限公司 飞行航线设置方法及装置
CN107514993A (zh) * 2017-09-25 2017-12-26 同济大学 基于无人机的面向单体建筑建模的数据采集方法及系统
CN110383004A (zh) * 2017-10-24 2019-10-25 深圳市大疆创新科技有限公司 信息处理装置、空中摄像路径生成方法、程序、及记录介质
WO2020051208A1 (en) * 2018-09-04 2020-03-12 Chosid Jessica Method for obtaining photogrammetric data using a layered approach
JP6675537B1 (ja) * 2019-03-12 2020-04-01 Ｔｅｒｒａ Ｄｒｏｎｅ株式会社 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
CN111044018A (zh) * 2019-12-12 2020-04-21 王峰 一种对立面进行航空摄影测量航线规划的方法

Also Published As

Publication number Publication date
CN116490746A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US9981742B2 (en) Autonomous navigation method and system, and map modeling method and system
CN108871288B (zh) 一种无人机带状倾斜影像航测方法及系统
CN107329490B (zh) 无人机避障方法及无人机
CN113038016B (zh) 无人机图像采集方法及无人机
CN107514993A (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN112154649A (zh) 航测方法、拍摄控制方法、飞行器、终端、系统及存储介质
US20200218289A1 (en) Information processing apparatus, aerial photography path generation method, program and recording medium
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
WO2022027596A1 (zh) 可移动平台的控制方法、装置、计算机可读存储介质
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
JP2022507715A (ja) 測量方法、装置及びデバイス
US20220084415A1 (en) Flight planning method and related apparatus
CN110030928A (zh) 基于计算机视觉的空间物体定位和测量的方法和系统
WO2021056139A1 (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
CN111527375B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
WO2022205210A1 (zh) 拍摄方法、装置及计算机可读存储介质，终端设备
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2021056411A1 (zh) 航线调整方法、地面端设备、无人机、系统和存储介质
WO2022205208A1 (zh) 拍摄方法、装置、计算机可读存储介质和终端设备
CN110036411A (zh) 生成电子三维漫游环境的装置和方法
WO2021134715A1 (zh) 一种控制方法、设备、无人机及存储介质
CN117707206B (zh) 无人机航测作业方法、装置及计算机存储介质
CN109765934A (zh) 根据相机参数规划航线参数的方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933873

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180078856.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21933873

Country of ref document: EP

Kind code of ref document: A1