WO2023182089A1 - 制御装置、制御方法 - Google Patents

制御装置、制御方法 Download PDF

Info

Publication number
WO2023182089A1
WO2023182089A1 PCT/JP2023/010024 JP2023010024W WO2023182089A1 WO 2023182089 A1 WO2023182089 A1 WO 2023182089A1 JP 2023010024 W JP2023010024 W JP 2023010024W WO 2023182089 A1 WO2023182089 A1 WO 2023182089A1
Authority
WO
WIPO (PCT)
Prior art keywords
ground
orientation
sensing
control device
angle
Prior art date
Application number
PCT/JP2023/010024
Other languages
English (en)
French (fr)
Inventor
翼 黒川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023182089A1 publication Critical patent/WO2023182089A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • the present technology relates to a control device and its method, and particularly relates to a sensing control technology when three-dimensional surveying of a target area is performed based on sensing information obtained by sensing the ground side from the sky.
  • Patent Document 1 discloses that a three-dimensional point cloud is generated based on an image obtained by photographing the ground surface (hereinafter referred to as "imaging") using a laser ranging sensor mounted on a flying object. There is.
  • the ground side is imaged with the imaging direction (sensing direction) from above being perpendicular to the horizontal plane.
  • the imaging direction sensing direction
  • This technology was developed in view of the above circumstances, and its purpose is to improve the accuracy of three-dimensional surveying when the area to be surveyed includes sloped land.
  • the control device includes a point cloud generation unit that generates a three-dimensional point cloud representing a three-dimensional structure of a target area based on sensing information obtained by sensing the ground side from the sky, and a point cloud generation unit that generates a three-dimensional point cloud indicating the three-dimensional structure of the target area.
  • a point cloud generation unit for estimating the orientation of the ground based on a captured image obtained by imaging; and an estimating unit for generating a three-dimensional point group of the target area based on information on the orientation of the ground estimated by the estimating unit.
  • a control unit that performs control related to sensing.
  • control method generates a three-dimensional point cloud showing the three-dimensional structure of the target area based on sensing information obtained by sensing the ground side from the sky, and obtains the information by imaging the ground side from the sky.
  • a process of estimating the orientation of the ground based on a captured image, and controlling sensing related to generating a three-dimensional point group of the target area based on information on the estimated orientation of the ground, is performed using signal processing.
  • This is a control method executed by the device.
  • Such a control method also provides the same effect as the control device according to the present technology described above.
  • FIG. 1 is a diagram illustrating a configuration overview of a surveying system as an embodiment of the present technology.
  • FIG. 2 is an explanatory diagram of a three-dimensional surveying method based on the embodiment.
  • FIG. 3 is an explanatory diagram of the fact that the number of samples of a point cloud decreases on a slope. It is an explanatory diagram of a three-dimensional surveying method as a first embodiment. It is a block diagram showing an example of composition of a control device as a first embodiment.
  • FIG. 3 is a diagram for explaining an example of a method for generating a three-dimensional point group based on a distance image. It is a block diagram showing an example of composition of a ground direction estimation part in a first embodiment.
  • FIG. 1 is a diagram illustrating a configuration overview of a surveying system as an embodiment of the present technology.
  • FIG. 2 is an explanatory diagram of a three-dimensional surveying method based on the embodiment.
  • FIG. 3 is an explanatory diagram of
  • FIG. 6 is an explanatory diagram of an example of a method for calculating a normal vector by a normal vector calculation unit.
  • FIG. 6 is an explanatory diagram of an example of a method of generating an angle image by an angle image generation unit.
  • FIG. 3 is an explanatory diagram of an example of a representative angle calculation method in the embodiment. It is a flowchart showing an example of a processing procedure for realizing a three-dimensional surveying method as a first embodiment. It is a block diagram showing an example of composition of a control device as a second embodiment. It is a flowchart showing an example of a processing procedure for realizing a three-dimensional surveying method as a second embodiment. It is an explanatory view of a three-dimensional surveying method as a third embodiment.
  • FIG. 2 is a block diagram showing a configuration example of a control device as a preceding device. It is a block diagram showing an example of composition of a control device as a trailing device. It is a flowchart which showed the example of a processing procedure for realizing processing as a precedent device in a third embodiment. It is a flowchart showing an example of a processing procedure for realizing processing as a trailing device in a third embodiment. It is a block diagram showing an example of composition of a control device as a modification. It is a block diagram showing an example of composition of a ground direction estimation part which a control device as a modification is provided with.
  • FIG. 1 is a diagram illustrating an overview of the configuration of a surveying system as an embodiment of the present technology.
  • the surveying system includes at least an imaging control device 1 and a moving body M.
  • the imaging control device 1 has an imaging unit (an imaging unit 2 described later) that obtains captured images, and serves as a computer device having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is configured.
  • imaging means sensing by a sensor in which pixels each having a light-receiving element are arranged two-dimensionally.
  • the term "captured image” refers to an image obtained by sensing by such a sensor, that is, an image showing information based on a light reception signal for each pixel.
  • the imaging unit is provided with an RGB sensor (an RGB sensor 21 to be described later) that obtains an RGB image, and a distance sensor (a "distance sensor 22" to be described later) to obtain a distance image.
  • An RGB image means an image (color image) in which each pixel shows a brightness value of R (red), a brightness value of G (green), and a brightness value of B (blue).
  • a distance image means an image that shows information on the distance to a subject for each pixel.
  • the movable body M broadly refers to an object that can be moved while the imaging control device 1 is mounted (supported) thereon.
  • the mobile object M is a flying object such as a drone, an airplane, or a helicopter.
  • the imaging control device 1 images the target area At while moving the mobile body M equipped with the imaging control device 1 above the surveying target area At. Then, based on the captured image, point cloud data indicating the three-dimensional structure of the target area At is generated.
  • a specific three-dimensional surveying method will be explained with reference to FIG. 2.
  • a plurality of imaging execution points Pi are set in the target area At.
  • a flight route Rf passing through a plurality of imaging execution points Pi set in the target area At is determined as the flight route Rf of the mobile body M, and the mobile body M is guided along this flight route Rf.
  • the imaging control device 1 images the ground side at each imaging execution point Pi, thereby generating a three-dimensional point group based on the captured image for each imaging execution point Pi.
  • point cloud data indicating the three-dimensional structure of the entire target area At is generated based on the three-dimensional point cloud information obtained for each imaging execution point Pi in this way. In other words, survey data indicating the three-dimensional survey results for the entire target area At is obtained.
  • the ground can also be a sloped ground, and if the ground side is imaged in a direction perpendicular to the horizontal plane with respect to the sloped ground, the ground will be reflected in the captured image. There is a risk that the area of the ground will become smaller and the number of samples of the point cloud will decrease.
  • FIG. 3 is an explanatory diagram of the fact that the number of samples of a point cloud decreases in this way on a slope.
  • FIG. 3A schematically represents the sampling density of the point group as "D1" when the ground to be imaged is a substantially horizontal ground on the premise that the imaging direction is perpendicular to the horizontal plane.
  • FIG. 3B on the same premise, the sampling density of the point group when the ground to be imaged is a sloped ground is schematically represented as "D2". From the comparison between FIGS. 3A and 3B, it can be seen that the number of point cloud samples tends to decrease for sloped areas.
  • the following method is adopted as a three-dimensional surveying method.
  • imaging is performed with the imaging direction perpendicular to the horizontal plane.
  • the imaging control device 1 generates a three-dimensional point group based on the captured image of the ground. If the ground is not a slope, this three-dimensional point cloud information can be treated as appropriate information.
  • the orientation of the ground is estimated based on the captured image obtained by imaging with the imaging direction perpendicular to the horizontal plane as described above, and based on information on the estimated orientation of the ground, Determine whether the ground you are looking at is a slope.
  • the imaging control device 1 waits for the next imaging execution point Pi to be reached.
  • the information on the three-dimensional point cloud generated by imaging with the imaging direction perpendicular to the horizontal plane as described above is used to generate point cloud data for the entire target area At.
  • the imaging control device 1 controls the imaging direction according to the orientation of the ground, as shown in FIG. 4B, and performs imaging and generation of a three-dimensional point group based on the captured image. conduct. Then, after generating a three-dimensional point group based on the captured image obtained with the imaging direction set in accordance with the orientation of the ground, the controller waits for arrival at the next imaging execution point Pi.
  • FIG. 5 is a block diagram showing a configuration example of the imaging control device 1 as a first embodiment for realizing the three-dimensional surveying method as the first embodiment as described above.
  • the imaging control device 1 includes an imaging section 2, a signal processing section 3, a memory section 4, a control section 5, a position sensor 6, an actuator 7, and an IMU (Inertial Measurement Unit).
  • IMU Inertial Measurement Unit
  • the imaging unit 2 is an imaging unit for obtaining at least a captured image used for generating a three-dimensional point group.
  • the point cloud data indicating the three-dimensional survey results of the target area At is three-dimensional coordinate information of (X, Y, Z) and brightness values of each color of R, G, and B for each point ( It is assumed that (X, Y, Z, R, G, B) data indicating R, G, B) information is generated. Therefore, the imaging unit 2 of this example includes not only a distance measurement sensor 22 for obtaining a captured image as a distance image used for generating a three-dimensional point group, but also an RGB sensor 21 for obtaining a captured image as an RGB image. is provided.
  • the RGB sensor 21 includes a CCD (Charge Coupled Devices) type image sensor in which R pixels, G pixels, and B pixels are two-dimensionally arranged in accordance with a predetermined rule such as a Bayer arrangement.
  • CCD Charge Coupled Devices
  • CMOS Complementary Metal Oxide Semiconductor
  • the distance measurement sensor 22 a type of distance measurement sensor in which pixels each having a light receiving element are arranged in a two-dimensional manner is assumed.
  • a sensor compatible with distance measurement using a ToF method such as an iToF (indirect time of flight) method or a dToF (direct ToF) method is used.
  • a light projecting section for example, a light projecting section that projects infrared light, etc.
  • illustration is omitted because it has little relevance to the essence of the present technology.
  • the imaging unit 2 includes the RGB sensor 21 and distance measuring sensor 22 described above, as well as an RGB image generating unit 23 and a distance image generating unit 24.
  • the RGB image generation unit 23 performs color interpolation processing such as demosaic processing on the captured image of the RAW image output from the RGB sensor 21 to generate an RGB image that indicates the brightness values of each color of R, G, and B for each pixel.
  • the distance image generation unit 24 generates a distance image by performing a predetermined calculation for distance calculation using the ToF method based on the light reception signal for each pixel obtained when the distance measurement sensor 22 performs a light reception operation compatible with the ToF method. do.
  • the signal processing unit 3 is configured with a processor such as a DSP (Digital Signal Processor) or an FPGA (Field-Programmable Gate Array), and processes images captured by the imaging unit 2, that is, in this example, a distance image and an RGB image. Based on this, various processes are executed to generate point cloud data representing the three-dimensional survey results of the target area At.
  • a processor such as a DSP (Digital Signal Processor) or an FPGA (Field-Programmable Gate Array
  • the signal processing section 3 has functions as a three-dimensional point cloud generation section 3a, a ground orientation estimation section 3b, and a point cloud data generation section 3c.
  • the three-dimensional point group generation section 3a generates a three-dimensional point group based on the distance image obtained by the imaging section 2.
  • the distance image is an image that indicates the distance to the subject for each pixel (hereinafter, the code for this distance will be expressed as "z").
  • the value z of each pixel of this distance image can be expressed as z(u,v) as shown in the figure, assuming that the coordinate system of the distance image is a (u,v) coordinate system.
  • the optical axis position of the imaging optical system for capturing a distance image using the distance measurement sensor 22 is set as (c x , c y ) as shown in the figure, and the focal length of the imaging optical system is set as "f". do.
  • the generation of a three-dimensional point group based on a distance image uses the above camera parameters as the optical axis position (c x , c y ) and focal length f, and calculates the value z (u, v) of each pixel as follows. is performed as a process of converting into coordinate information (X, Y, Z) of a point in three-dimensional space.
  • X (c x ⁇ u) ⁇ (z(u,v))/f
  • Y (c y ⁇ v) ⁇ (z(u,v))/f
  • Z z(u,v)
  • the ground orientation estimation unit 3b estimates the orientation of the ground based on a captured image obtained by imaging the ground side from the sky. Specifically, the ground orientation estimating unit 3b in this example estimates the orientation of the ground based on the information of the three-dimensional point group generated by the three-dimensional point group generating unit 3a based on the distance image as described above. Note that the processing by the ground orientation estimation unit 3b will be explained later.
  • the point cloud data generation unit 3c generates the information (X, Y, Z) of the three-dimensional point cloud generated by the three-dimensional point cloud generation unit 3a and the RGB image (R, G, B) obtained by the imaging unit 2. Based on this, point cloud data (X, Y, Z, R, G, B) is generated as a three-dimensional survey result of the target area At.
  • the memory unit 4 is composed of a non-volatile memory such as an HDD (Hard Disk Drive) or an SDD (Solid State Drive), and is mainly used to store data used in signal processing by the signal processing unit 3. For example, it is used to store distance images and RGB images.
  • HDD Hard Disk Drive
  • SDD Solid State Drive
  • the control unit 5 is configured with a microcomputer including, for example, a CPU, a ROM, and a RAM, and the CPU executes processing based on a program stored in a predetermined storage device such as the above-mentioned ROM. , performs overall control of the imaging control device 1.
  • a position sensor 6 and an actuator 7 are connected to the control unit 5 .
  • the position sensor 6 includes, for example, a GNSS (Global Navigation Satellite System) sensor such as a GPS (Global Positioning System) sensor, and detects the position of the imaging control device 1 .
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the configuration for detecting the position of the imaging control device 1 is not limited to a configuration using a GNSS sensor.
  • position detection may be performed using techniques such as SLAM (Simultaneous Localization and Mapping) and UWB (Ultra Wide Band).
  • the actuator 7 is configured as, for example, an actuator such as a motor for driving a mechanism for changing the imaging direction of the imaging section 2 (imaging direction variable mechanism). In this example, by driving this actuator 7, it is possible to change the imaging direction by the imaging unit 2 to the panning direction and the tilting direction.
  • the control unit 5 can determine whether the imaging execution point Pi described in FIG. 2 has been reached based on the position information of the imaging control device 1 detected by the position sensor 6. Further, the control unit 5 controls the drive of the actuator 7 based on the ground orientation information estimated by the ground orientation estimating unit 3b of the signal processing unit 3, so that the imaging direction by the imaging unit 2 is adjusted according to the orientation of the ground. It is possible to change it in the opposite direction.
  • the control unit 5 controls the operation of the imaging unit 2 and the signal processing unit 3 and the drive control of the actuator 7 based on the position information of the imaging control device 1 detected by the position sensor 6, thereby achieving the above-described configuration in FIG.
  • the three-dimensional surveying method as the first embodiment described with reference to this embodiment is implemented, and the specific processing procedure executed by the control unit 5 to implement the three-dimensional surveying method will be explained later.
  • the IMU 8 is configured with a motion sensor such as an acceleration sensor or a gyro sensor (angular velocity sensor), and detects the inclination of the imaging unit 2 in each of the yaw, pitch, and roll directions as posture information of the imaging unit 2.
  • the attitude information detected by the IMU 8 is supplied to the signal processing section 3, and used for estimation processing of the orientation of the ground by the ground orientation estimating section 3b, as described later.
  • FIG. 7 is a block diagram showing a configuration example of the ground orientation estimating section 3b.
  • the ground orientation estimation section 3b includes a normal vector calculation section 31, an angle image generation section 32, a binarization processing section 33, a mask section 34, and a representative angle calculation section 35.
  • the three-dimensional point group generated by the three-dimensional point group generation unit 3a is input to the normal vector calculation unit 31.
  • the normal vector calculation unit 31 calculates a normal vector for each position on the ground based on the positional relationship between adjacent points in the three-dimensional point group.
  • the normal vector is calculated for each point in the three-dimensional point group.
  • the normal vector is determined based on coordinate information (represented as X cam , Y cam , and Z cam in the figure) of a point in the three-dimensional space determined for each pixel of the distance image.
  • a pixel to be processed in a distance image represented as (i, j) in the camera coordinate system
  • one of two pixels adjacent to the pixel to be processed in the vertical direction (v direction) hereinafter referred to as " Three-dimensional coordinate information (X, Y, Z) of three pixels: one of the two pixels adjacent in the horizontal direction (u direction) (hereinafter referred to as the "horizontal adjacent pixel"
  • the normal vector A(i, j) of the triangular surface formed by connecting each point of these three pixels is determined.
  • the normal vector A is not limited to being determined for each point in the three-dimensional point group.
  • the angle image generation unit 32 generates an angle image, which is an image indicating the angle at which the ground faces for each pixel, based on the normal vector A(i, j) calculated by the normal vector calculation unit 31.
  • FIG. 9 is an explanatory diagram of an example of a method of generating an angle image by the angle image generation unit 32.
  • the normal vector A(i, j) calculated by the normal vector calculation unit 31 for each pixel of the distance image is expressed as a normal vector A cam .
  • the angular image is generated by calculating the inner product of the normal vector A cam and the vertical vector h cam for each pixel.
  • the vertical vector h cam is a vector indicating the vertical direction in the camera coordinate system (u, v coordinate system).
  • the distance image that is the basis for generating the angle image is based on the assumption that the imaging direction of the imaging unit 2 is perpendicular to the horizontal direction, so the vertical direction vector h cam is a vector indicating the direction perpendicular to the horizontal plane. It can be said in other words.
  • the angular image generation unit 32 corrects the vertical direction vector h cam used for angular image generation based on the posture information (yaw, pitch, roll) of the imaging unit 2 detected by the IMU 8 shown in FIG. .
  • the posture information yaw, pitch, roll
  • the imaging direction of the imaging unit 2 deviates from a direction perpendicular to the horizontal plane when capturing a distance image as a basis for generating an angular image
  • the deviation can be corrected, and as an angular image, An appropriate angular image showing the angle ⁇ with respect to the direction perpendicular to the horizontal plane can be obtained.
  • a binarization processing unit 33 a masking unit 34, and a representative angle calculation unit 35 are provided to obtain a representative angle indicating a representative angle ⁇ of the ground that is the imaging target based on the angle image. It will be done.
  • FIG. 10 is an explanatory diagram of an example of a representative angle calculation method in the embodiment.
  • FIG. 10A schematically shows an angle image generated by the angle image generation unit 32.
  • the binarization processing unit 33 converts the angle image shown in FIG. 10A into a binary value in which pixels whose angle ⁇ (absolute value) is equal to or greater than a predetermined angle threshold value are set to "1", and other pixels are set to "0". (see FIG. 10B).
  • the masking unit 34 masks an image region whose area is less than a predetermined area threshold among the image regions where the angle ⁇ is greater than or equal to a predetermined angle threshold in the binarized image obtained by the binarization processing unit 33.
  • Generate a mask image see FIG. 10C).
  • the image area remaining after this masking can be expressed as an image area where the angle ⁇ is greater than or equal to the angle threshold and the area is greater than or equal to the area threshold.
  • the representative angle calculation unit 35 calculates a representative angle based on the mask image generated by the mask unit 34 and the angle image generated by the angle image generation unit 32. Specifically, the representative angle calculation unit 35 determines a representative point within the image region where the angle ⁇ in the mask image is equal to or greater than the angle threshold (see the upper part of FIG. 10D). This representative point may be determined at the center point of an image area where the angle ⁇ in the mask image is greater than or equal to the angle threshold. Then, the representative angle calculation unit 35 determines the angle ⁇ at the pixel serving as the representative point as the representative angle (see the lower part of FIG. 10D).
  • the representative point may be determined as the center point of the image region with the largest area among them.
  • the representative angle is not limited to the angle ⁇ of the representative point as described above.
  • the fact that the representative angle has been calculated by the representative angle calculating unit 35 means that the ground is the target of estimating the orientation of the ground, that is, the distance image is captured for estimating the orientation of the ground. This indicates that the ground is a slope. Therefore, in the first embodiment, the control unit 5 can determine whether the target ground is a slope based on whether the representative angle has been calculated by the ground orientation estimating unit 3b.
  • FIG. 11 is a flowchart showing an example of a processing procedure executed by the control unit 5 to realize the three-dimensional surveying method according to the first embodiment.
  • the process shown in FIG. 11 is executed, it is assumed that the imaging direction by the imaging unit 2 is perpendicular to the horizontal plane.
  • step S101 the control unit 5 determines whether the imaging execution point Pi has been reached. That is, based on the position information of the imaging control device 1 detected by the position sensor 6, it is determined whether the imaging control device 1 has reached any imaging execution point Pi. If it is determined in step S101 that the imaging execution point Pi has not been reached, the control unit 5 proceeds to step S102 to determine whether or not the process is finished, that is, for example, a predetermined operation input, a predetermined notification from an external device, etc. It is determined whether or not a predetermined condition is met to terminate the process for three-dimensional surveying of the entire target area At. If it is determined in step S102 that the process has not ended, the control unit 5 returns to step S101. Through the processing in steps S101 and S102 described above, the control unit 5 is made to wait for either the arrival at the imaging execution point Pi or the end of the processing.
  • step S101 if it is determined that the imaging execution point Pi has been reached, the control unit 5 proceeds to step S103 and instructs the imaging and signal processing unit 3 to execute processing. That is, it instructs the imaging section 2 to take an RGB image and a distance image, and the signal processing section 3 to execute processing as the three-dimensional point group generation section 3a and ground orientation estimation section 3b.
  • step S104 the control unit 5 determines whether the representative angle has been calculated. That is, it is determined whether or not the representative angle has been calculated through the processing performed by the ground orientation estimating unit 3b described above.
  • step S104 if it is determined that the representative angle has not been calculated (that is, if it is determined that the terrain is not a slope), the control unit 5 returns to step S101.
  • the system waits until the next imaging execution point Pi is reached. That is, if the land is not a slope, information on a three-dimensional point cloud generated by imaging with the imaging direction perpendicular to the horizontal plane is used to generate point cloud data for the entire target area At.
  • step S104 determines whether the representative angle has been calculated (if it is determined that the land is on a slope).
  • the control unit 5 proceeds to step S105 and performs processing to change the imaging direction to a predetermined direction.
  • a predetermined direction In this example, only the horizontal direction among the front, rear, left, and right directions is assumed as the direction of inclination of the slope.
  • the imaging direction is not required to face the ground directly as in the example of the second embodiment described later, but at least the imaging direction is not required to face the ground. You are only required to do so.
  • the imaging direction is changed from a direction perpendicular to the horizontal plane (that is, an angle of 0 degrees).
  • the actuator 7 is driven and controlled so as to tilt rightward by a predetermined angle.
  • the actuator 7 is driven and controlled so that the imaging direction is tilted by a predetermined angle to the left from a direction perpendicular to the horizontal plane. do.
  • step S106 the control unit 5 instructs the imaging and signal processing unit to execute processing.
  • the process in step S106 is similar to the process in step S103.
  • the imaging unit 2 captures an RGB image and a distance image in an imaging direction according to the orientation of the ground, and also A three-dimensional point cloud is generated based on the range image. Note that in step S106, as the instruction to execute the processing of the signal processing section 3, only the instruction to execute the processing of the three-dimensional point group generation section 3a may be given.
  • step S107 following step S106 the control unit 5 performs processing to return the imaging direction to the vertical direction, that is, processing to drive and control the actuator 7 so as to return the imaging direction to a direction perpendicular to the horizontal plane, and returns to step S101.
  • the process of step S103 can be performed with the imaging direction set in the vertical direction.
  • the imaging direction is controlled to be in accordance with the orientation of the ground, and the image is captured and the imaged distance is After a three-dimensional point group is generated based on the image, the system waits for arrival at the next imaging execution point Pi.
  • the imaging execution point Pi as a sloped area, information on a three-dimensional point cloud generated with the imaging direction corresponding to the orientation of the ground can be used in generating point cloud data for the entire target area At.
  • control unit 5 determines in step S102 that the process has ended, it ends the series of processes shown in FIG. 11.
  • the ground tilt direction is only the horizontal direction among the front, rear, left, and right directions, so the imaging direction is controlled only in the left and right directions.
  • Control to tilt in the front-back direction can also be performed.
  • FIG. 12 is a block diagram showing a configuration example of an imaging control device 1A as a second embodiment.
  • the same reference numerals and step numbers are given to parts that are the same as those already explained, and the description thereof will be omitted.
  • the imaging control device 1A differs from the imaging control device 1 in that a control section 5A is provided instead of the control section 5.
  • the control unit 5A has the same hardware configuration as the control unit 5, but differs from the control unit 5 in that it executes the process of FIG. 13, which will be described below, instead of the process of FIG. 11.
  • FIG. 13 is a flowchart showing an example of a processing procedure executed by the control unit 5A to realize the three-dimensional surveying method as the second embodiment. The difference from the process shown in FIG. 11 is that the process in step S201 is executed instead of the process in step S105.
  • step S201 the control unit 5A performs a process of controlling the imaging direction to directly face the ground based on the representative angle. That is, the actuator 7 is driven and controlled so that the angle in the imaging direction changes from an angle (0 degrees) perpendicular to the horizontal plane to an angle that coincides with the representative angle.
  • control of the imaging direction when the ground is a slope is not limited to control using the angle in the direction directly facing the ground as the target angle as described above, but, for example, It is also conceivable to control the target angle to be an angle offset by a predetermined angle from the angle in the direction directly facing the ground (that is, the representative angle in this example).
  • the representative point is determined only for the image region with the largest area (i.e.
  • the representative point if there are multiple image regions in which the angle ⁇ is greater than or equal to the angle threshold value in the mask image, the representative point and It is also possible to determine a representative angle. In that case, at the imaging execution point Pi determined to be on a slope, it is conceivable to perform imaging in an imaging direction at an angle adaptively determined with respect to the representative angle for each of those representative angles.
  • the third embodiment aims to shorten the time required for three-dimensional surveying of the target area At by using two imaging control devices, one leading and one trailing.
  • an imaging control device 1B as a preceding device precedes the imaging control device 1B on the flight route Rf, and an imaging control device 1B follows the imaging control device 1B on the flight route Rf. It is assumed that two imaging control devices, the imaging control device 1C, are used as trailing devices.
  • the imaging control device 1B as the preceding device performs imaging in an imaging direction perpendicular to the horizontal plane at each imaging execution point Pi, and also generates a three-dimensional point group based on the captured image and determines the orientation of the ground. Estimate. If the imaging control device 1B determines that the ground is on a slope as a result of estimating the orientation of the ground, it notifies the imaging control device 1C, which is a following device, that the imaging execution point is on a slope. That is, in the third embodiment, the imaging control device 1B as the preceding device has the function of generating a three-dimensional point cloud for non-sloping ground, and the function of notifying the following device when a slope is detected. becomes.
  • the imaging control device 1C as the trailing device performs imaging with the imaging direction corresponding to the orientation of the ground at the imaging execution point Pi that is notified by the imaging control device 1B as the preceding device that it is on a slope. and generates a three-dimensional point cloud based on the captured image.
  • the imaging control device 1 or 1A when the imaging execution point Pi is on a slope, the imaging control device 1 or 1A performs imaging and three-dimensional point cloud generation with the imaging direction in the vertical direction. After that, it is necessary to change the imaging direction to a direction corresponding to the orientation of the ground and perform imaging and generate a three-dimensional point group.
  • the imaging control device 1B as the preceding device can perform imaging and three-dimensional point cloud generation even if the imaging execution point Pi is on a slope. It only takes one time, and also in the imaging control device 1C as the following device, the number of times of imaging and three-dimensional point group generation for the slope is only one. Therefore, compared to the first and second embodiments, it is possible to shorten the length of time spent at the imaging execution point Pi, which is a sloped area, and to shorten the time required for three-dimensional surveying of the target area At. be able to.
  • FIG. 15 is a block diagram showing a configuration example of an imaging control device 1B as a preceding device
  • FIG. 16 is a block diagram showing a configuration example of an imaging control device 1C as a trailing device.
  • an imaging control device 1B is different from the imaging control device 1 described in the first embodiment in that a control section 5B is provided in place of the control section 5, and a communication section 9 is added. , and that the actuator 7 is omitted.
  • the communication unit 9 is provided to perform data communication with the imaging control device 1C as a following device, and is capable of performing wireless data communication with the imaging control device 1C, for example. It is said that
  • the control unit 5B has the same hardware configuration as the control unit 5, but is different from the control unit 5 in that it executes processing as a preceding device for realizing the three-dimensional surveying method as the third embodiment described above. is different.
  • the imaging control device 1C is different from the imaging control device 1 described in the first embodiment in that a control section 5C is provided instead of the control section 5, and a communication section 9 is added. , the difference is that a signal processing section 3C is provided instead of the signal processing section 3, and that the IMU 8 is omitted.
  • the communication unit 9 is provided to perform data communication with the imaging control device 1B as a preceding device, and for example, performs wireless data communication with the communication unit 9 of the imaging control device 1B. It is considered possible.
  • the signal processing section 3C differs from the signal processing section 3 in that the function as the ground orientation estimation section 3b is omitted.
  • the control unit 5C has the same hardware configuration as the control unit 5, but the control unit 5 is different from the control unit 5 in that it executes processing as a trailing device for realizing the three-dimensional surveying method as the third embodiment described above. It is different from.
  • FIG. 17 is a flowchart showing an example of a processing procedure executed by the control unit 5B to realize processing as a preceding device in the third embodiment.
  • the difference from the process of the control unit 5 shown in FIG. 11 is that the process of step S301 is executed instead of the process of steps S105 to S106.
  • the control unit 5B performs a process of notifying the following device of the current imaging execution point Pi and representative angle. That is, a process is performed in which information indicating the current imaging execution point Pi and information on the representative angle determined to be calculated in step S104 are notified to the imaging control device 1C (control unit 5C) via the communication unit 9.
  • FIG. 18 is a flowchart showing an example of a processing procedure executed by the control unit 5C to realize processing as a trailing device in the third embodiment.
  • the differences from the process of the control unit 5A shown in FIG. 13 are that the process of step S103 is omitted, the process of step S401 is executed instead of the process of step S104, and the process of step S107. is omitted.
  • step S401 determines whether a representative angle has been notified for the current imaging execution point Pi. This corresponds to determining whether the current imaging execution point Pi is on a slope based on the presence or absence of notification information from the imaging control device 1B as the preceding device.
  • step S401 If it is determined in step S401 that the representative angle has not been notified for the current imaging execution point Pi, the control unit 5C returns to step S101. That is, regarding the imaging execution point Pi as a non-sloping ground, the following device does not perform imaging by the imaging unit 2 and processing by the signal processing unit 3C based on the captured image.
  • step S401 if it is determined in step S401 that the representative angle has been notified for the current imaging execution point Pi, the control unit 5C advances the process to step S201.
  • imaging is performed in an imaging direction at an angle adaptively determined with respect to the representative angle, and processing by the signal processing unit 3C based on the captured image (in this example, a three-dimensional point (group generation) is performed.
  • the trailing device performs imaging in an imaging direction at an angle adaptively determined with respect to the orientation of the ground, similar to the second embodiment.
  • the present technology is not limited to the above-described specific example, and can take configurations as various modified examples.
  • the orientation of the ground is estimated based on the information of the normal vector calculated from the distance image, but the orientation of the ground is estimated based on the polarization image obtained by using the polarization sensor 25. It can also be done based on
  • FIG. 19 is a block diagram showing a configuration example of an imaging control device 1D as a modified example that estimates the orientation of the ground based on a polarized light image in this way.
  • the imaging control device 1D is different from the imaging control device 1 according to the first embodiment in that an imaging section 2D is provided instead of the imaging section 2, and a signal processing section 3D is provided instead of the signal processing section 3. The difference is that a control section 5D is provided instead of the control section 5.
  • the imaging unit 2D differs from the imaging unit 2 in that a polarization sensor 25 and a polarization image generation unit 26 are provided in addition to an RGB sensor 21, a distance measurement sensor 22, an RGB image generation unit 23, and a distance image generation unit 24. .
  • the signal processing unit 3D differs in that a ground orientation estimation unit 3bD is provided instead of the ground orientation estimation unit 3b.
  • the control unit 5D has a hardware configuration similar to that of the control unit 5, but in addition to an instruction to perform imaging of an RGB image or a distance image, the control unit 5D also instructs polarization images by the polarization sensor 25 and the polarization image generation unit 26. It differs from the control unit 5 in that it issues execution instructions regarding imaging.
  • the polarization sensor 25 is formed by two-dimensionally arranging polarization pixel units each consisting of a plurality of pixels provided with polarization filters so that each pixel transmits light with a different polarization direction (linearly polarized light).
  • a polarization pixel unit is made up of four pixels, and each pixel is configured to separately receive light in polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees.
  • the polarization image generation unit 26 generates a polarization image based on a RAW image (an image indicating a received light signal value for each pixel) by the polarization sensor 25.
  • a polarization image means an image that shows information representing the polarization state of incident light for each pixel.
  • the polarization image generation unit 26 performs interpolation processing as a synchronization process on the RAW image to generate a polarization direction image indicating the received light signal value in each polarization direction for each pixel.
  • a polarization direction image showing the received light signal values of light in each of the polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees is generated for each pixel.
  • an image indicating normal information for each pixel is generated as a polarization image.
  • the polarization state can be determined based on the light reception signal values for each polarization direction.
  • the sine wave shown can be obtained by fitting.
  • a sine wave indicating such a polarization state is obtained for each pixel, and various polarization information is calculated for each pixel by performing predetermined calculations using the maximum value, minimum value, average value, etc. of the sine wave. It is possible to do so.
  • the polarization image generation unit 26 obtains the above sine wave for each pixel based on the above polarization direction image, and performs a predetermined calculation based on the sine wave to indicate normal information (normal direction) for each pixel. Generate a polarized image.
  • the ground orientation estimation unit 3bD estimates the orientation of the ground based on the polarization image generated by the polarization image generation unit 26, and specifically calculates the representative angle in this example.
  • FIG. 20 is a block diagram showing a configuration example of the ground orientation estimation section 3bD.
  • the ground orientation estimating unit 3bD is different from the ground orientation estimating unit 3b shown in FIG. The difference is that
  • the angle image generation unit 32D generates the above-mentioned angle image based on the polarization image generated by the polarization image generation unit 26. Since the polarized image is an image indicating normal information, that is, information representing the normal direction for each pixel, the angle image generation unit 32D performs a process of converting the normal direction into an angle ⁇ for each pixel of the polarized image. An angle image indicating the angle ⁇ is generated for each pixel. Note that the configurations downstream of the angle image generation unit 32D, that is, the configurations of the binarization processing unit 33, the mask unit 34, and the representative angle calculation unit 35 for calculating the representative angle based on the angle image, are based on ground orientation estimation. Since it is similar to the case of part 3b, duplicate explanation will be avoided.
  • the configuration as a modification using the polarization sensor 25 is applied to the imaging control device 1 as the first embodiment
  • the configuration as the modification is applicable to the imaging control device of the second embodiment. 1A and the imaging control device 1B as the preceding device in the third embodiment.
  • the three-dimensional point group is generated based on a distance image
  • the three-dimensional point group may also be generated based on an RGB image.
  • a flying object has been cited as an example of the moving object M for moving the imaging control device according to the present technology, but the moving object M is not limited to a flying object.
  • a traveling object such as a vehicle that supports a rod-shaped member (elongated object) with at least the imaging section 2 (or 2D) attached to the tip, it is possible to reach high places as well as when using a flying object. It is possible to take images while moving on the ground side.
  • control device imaging control device 1, 1A, 1B, 1D
  • a point cloud generation unit three-dimensional point cloud generation unit 3a
  • an estimation unit ground orientation estimation unit
  • a control unit 5, 5A, 5B
  • control unit that performs control related to sensing to generate a three-dimensional point group of the target area based on information on the orientation of the ground estimated by the estimation unit; It is equipped with the following.
  • control unit performs control to perform sensing in a sensing direction according to the orientation of the ground, as control related to sensing based on information on the orientation of the ground.
  • This makes it possible to perform sensing in an orientation that corresponds to the orientation of the ground when generating a three-dimensional point cloud of the target area based on sensing information targeting the ground. Therefore, it is possible to improve the accuracy of three-dimensional surveying when the area to be surveyed includes a slope.
  • control unit performs control related to sensing by changing the sensing direction in a direction according to the orientation of the ground.
  • the imaging direction is changed in a direction according to the orientation of the ground by controlling, for example, changing the orientation of the imaging unit or the attitude of the moving body that supports the imaging unit.
  • the control unit performs control to change the sensing direction to a direction at a predetermined angle as control to change the sensing direction.
  • the target angle of the sensing direction such as the angle facing the ground, can be adaptively determined according to the orientation of the ground. There will be no need. Therefore, it is possible to reduce the processing load in improving the accuracy of three-dimensional surveying when the survey target area includes sloped land.
  • control unit performs control to change the sensing direction in the direction indicated by the target angle adaptively determined with respect to the orientation of the ground. Control is performed to change the sensing direction (see FIG. 13).
  • the generation of a three-dimensional point cloud for a sloped ground is performed based on information sensed in a sensing direction based on an angle that is adaptively calculated with respect to the estimated ground orientation, such as an angle directly facing the ground orientation. be exposed. Therefore, it is possible to improve the accuracy of three-dimensional surveying on sloped land.
  • the control section causes the estimation section to determine the orientation of the ground for each sensing execution point for generating a three-dimensional point group. is estimated, and the slope is determined based on the information on the estimated ground orientation. If it is determined that the current sensing execution point is not on a slope, the system waits for the next sensing execution point to be reached and determines whether the current sensing execution point is on a slope. If it is determined that this is the case, control is performed to execute sensing to generate a three-dimensional point cloud in a sensing direction according to the orientation of the ground, and the system waits for the next sensing execution point to be reached ( Figure 11 , see Figure 13).
  • a survey is performed in which imaging is performed to generate a three-dimensional point cloud at each sensing execution point determined on the target area At. It becomes possible to perform sensing on a slope in an appropriate orientation according to the orientation of the ground. Therefore, it is possible to improve the accuracy of three-dimensional surveying when the area to be surveyed includes a slope.
  • the control section (5B) includes a point cloud generation section that generates information on the orientation of the ground estimated by the estimation section as control related to sensing.
  • the control section (5C) includes a point cloud generation section that generates information on the orientation of the ground estimated by the estimation section as control related to sensing.
  • another device imaging control device 1C
  • control is performed to cause the other device to perform sensing in a sensing direction according to the orientation of the ground (see FIG. 17).
  • the other device can be informed of the ground orientation. It becomes possible to realize a control device that can perform sensing for generating a three-dimensional point group in a corresponding sensing direction. Therefore, in three-dimensional surveying when the area to be surveyed includes sloped land, it is possible to reduce the time required for surveying while improving surveying accuracy.
  • the point cloud generation section generates a three-dimensional point cloud based on sensing information as a distance image.
  • a distance image means an image that shows information on the distance to a subject for each pixel.
  • the estimation unit (ground orientation estimation unit 3b) estimates the orientation of the ground based on the captured image as a distance image. This makes it possible to generate a three-dimensional point group and estimate the orientation of the ground based on a common distance image. Therefore, the only sensor required to generate a three-dimensional point cloud and estimate the orientation of the ground is a distance sensor, which reduces the number of parts needed to realize three-dimensional surveying according to the present technology. It is also possible to reduce costs.
  • the estimation unit estimates the orientation of the ground based on the three-dimensional point group generated by the point cloud generation unit.
  • the process of generating a 3D point cloud for obtaining point cloud data as 3D survey data of the target area and the process of generating a 3D point cloud for estimating the orientation of the ground are made common. Therefore, it is possible to improve the efficiency of processing for generating point cloud data and estimating the orientation of the ground.
  • the estimation unit obtains a normal vector for each position on the ground based on the positional relationship between adjacent points in the three-dimensional point group, and calculates a normal vector for each position on the ground based on the normal vector. Estimates the orientation of the ground. Thereby, the orientation of the ground can be appropriately estimated from the three-dimensional point group.
  • the estimation unit (ground orientation estimation unit 3bD) estimates the orientation of the ground based on the captured image as a polarization image.
  • a polarization image means an image that shows information representing the polarization state of incident light for each pixel.
  • the estimating unit generates an angle image indicating the angle at which the ground faces for each pixel based on the captured image, and an image in which the angle in the angle image is equal to or larger than a predetermined angle threshold.
  • a representative angle indicating a representative orientation of the ground is calculated based on the angle in the area.
  • the estimating unit calculates the representative angle based on the angle of an image region whose angle is equal to or greater than an angle threshold in the angle image and whose area is equal to or greater than a predetermined area threshold. are doing. This makes it possible to appropriately calculate the representative angle by excluding small areas caused by noise etc. even in image areas where the angle is greater than or equal to the angle threshold. Therefore, regarding imaging for three-dimensional point cloud generation, sensing can be performed in an appropriate sensing direction according to the orientation of the ground, and the accuracy of three-dimensional surveying of the target area can be improved.
  • the control method of the embodiment generates a three-dimensional point cloud showing the three-dimensional structure of the target area based on sensing information obtained by sensing the ground side from the sky, and generates a captured image obtained by imaging the ground side from the sky.
  • the present technology can also adopt the following configuration.
  • a point cloud generation unit that generates a three-dimensional point cloud representing a three-dimensional structure of a target area based on sensing information obtained by sensing the ground side from the sky; an estimating unit that estimates the orientation of the ground based on a captured image obtained by imaging the ground side from the sky;
  • a control device comprising: a control unit that performs control related to sensing for generating a three-dimensional point group of the target area based on information on the orientation of the ground estimated by the estimation unit.
  • the control unit performs control to perform sensing in a sensing direction according to the orientation of the ground, as control related to the sensing based on the information on the orientation of the ground.
  • the control unit causes the estimation unit to estimate the orientation of the ground for each sensing execution point for generating the three-dimensional point group, and performs a slope determination based on information on the estimated orientation of the ground, If it is determined that the current sensing execution point is not on a slope, the system waits until the next sensing execution point is reached, and if it is determined that the current sensing execution point is on a slope, the sensor is moved in the sensing direction according to the orientation of the ground.
  • the control device according to any one of (1) to (5), which performs control to execute sensing for generating a three-dimensional point group and waits for arrival at the next sensing execution point.
  • the control unit notifies the other device including the point cloud generation unit of information on the orientation of the ground estimated by the estimation unit, thereby informing the other device of the orientation of the ground.
  • the control device according to any one of (1) to (5), which performs control to execute sensing in a sensing direction depending on the orientation.
  • the control device according to any one of (1) to (7), wherein the point cloud generation unit generates the three-dimensional point group based on the sensing information as a distance image.
  • the estimation unit estimates the orientation of the ground based on the captured image as a distance image.
  • the estimating unit generates an angle image indicating the angle at which the ground faces for each pixel based on the captured image, and based on the angle in an image region where the angle is equal to or greater than a predetermined angle threshold in the angle image.
  • the control device according to any one of (1) to (12), wherein a representative angle indicating a representative orientation of the ground is calculated.
  • the estimation unit calculates the representative angle based on the angle of an image region in which the angle is equal to or greater than the angle threshold in the angle image and whose area is equal to or greater than a predetermined area threshold; The control device described in .
  • a three-dimensional point cloud representing the three-dimensional structure of the target area is generated based on sensing information obtained by sensing the ground side from the sky, and the orientation of the ground is determined based on a captured image obtained by capturing the ground side from the sky.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図る。　本技術に係る制御装置は、上空より地面側をセンシングすることで得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成する点群生成部と、上空より地面側を撮像して得られる撮像画像に基づいて地面の向きを推定する推定部と、推定部が推定した地面の向きの情報に基づいて、対象地域の三次元点群を生成するためのセンシングに係る制御を行う制御部とを備えている。

Description

制御装置、制御方法
　本技術は、制御装置とその方法とに係るものであり、特には、対象地域の三次元測量を上空から地面側をセンシングして得られるセンシング情報に基づいて行う場合におけるセンシングの制御技術に関する。
　例えば、上空からドローンの飛行体を用いて地面側をセンシングしたセンシング情報に基づいて、対象地域の三次元構造を示す三次元点群を生成し、対象地域の三次元測量を実現する技術がある（例えば下記特許文献１参照）。
　この特許文献１では、三次元点群の生成を、飛行体に搭載されたレーザー測距センサにより地表を撮影（以下「撮像」と表記する）して得られる画像に基づき行うことが開示されている。
　さらに、特許文献１では、一定の飛行高度で対象地域内の各領域を撮像する前提において、対地高度に応じて、撮像の間隔を制御することで、各撮像画像間の重複度（オーバーラップ／サイドラップ）が一定に保たれるようにして、必要最小限の撮像枚数で三次元点群を生成できるようにする技術が開示される。
特開２０１９－２１４２９４号公報
　ここで、上記特許文献１でも図示されているように、三次元測量においては、上空からの撮像方向（センシング方向）を水平面に鉛直な方向として地面側を撮像するようにされている。
　しかしながら、測量対象とする地面としては、対地高度が連続して変化するような、傾斜地としての地面も存在し得る。このような傾斜地としての地面に対し、上記のような鉛直方向での撮像を行っていると、撮像画像に写り込む地面の面積が小さくなり、点群のサンプル数が減少する傾向となってしまう。
　本技術は上記事情に鑑み為されたものであり、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることを目的とする。
　本技術に係る制御装置は、上空より地面側をセンシングすることで得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成する点群生成部と、上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定する推定部と、前記推定部が推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う制御部と、を備えたものである。
　これにより、対象地域の三次元点群を地面を対象としたセンシング情報に基づいて生成するにあたり、例えば地面の向きに合わせた向きでセンシングを行う等、地面の向きに応じた適切なセンシング制御を行うことが可能となる。
　また、本技術に係る制御方法は、上空より地面側をセンシングして得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成し、上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定し、推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う処理を、信号処理装置が実行する制御方法である。
　このような制御方法によっても、上記した本技術に係る制御装置と同様の作用が得られる。
本技術に係る実施形態としての測量システムの構成概要を例示した図である。 実施形態において前提とする三次元測量手法の説明図である。 傾斜地で点群のサンプル数が減少することの説明図である。 第一実施形態としての三次元測量手法の説明図である。 第一実施形態としての制御装置の構成例を示したブロック図である。 距離画像に基づく三次元点群の生成手法の例を説明するための図である。 第一実施形態における地面向き推定部の構成例を示すブロック図である。 法線ベクトル算出部による法線ベクトルの算出手法例についての説明図である。 角度画像生成部による角度画像の生成手法例についての説明図である。 実施形態における代表角度の算出手法例の説明図である。 第一実施形態としての三次元測量手法を実現するための処理手順例を示したフローチャートである。 第二実施形態としての制御装置の構成例を示したブロック図である。 第二実施形態としての三次元測量手法を実現するための処理手順例を示したフローチャートである。 第三実施形態としての三次元測量手法の説明図である。 先行装置としての制御装置の構成例を示したブロック図である。 後行装置としての制御装置の構成例を示したブロック図である。 第三実施形態における先行装置としての処理を実現するための処理手順例を示したフローチャートである。 第三実施形態における後行装置としての処理を実現するための処理手順例を示したフローチャートである。 変形例としての制御装置の構成例を示したブロック図である。 変形例としての制御装置が備える地面向き推定部の構成例を示したブロック図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
（1-1．システム概要）
（1-2．制御装置の構成）
（1-3．処理手順）
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．変形例＞
＜５．実施形態のまとめ＞
＜６．本技術＞
＜１．第一実施形態＞
（1-1．システム概要）
　図１は、本技術に係る実施形態としての測量システムの構成概要を例示した図である。
　図示のように実施形態としての測量システムは、撮像制御装置１と移動体Ｍとを少なくとも備える。
　撮像制御装置１は、撮像画像を得る撮像部（後述する撮像部２）を有すると共に、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を有するコンピュータ装置として構成されている。
　ここで、本明細書において「撮像」とは、受光素子を有する画素が二次元配列されたセンサによるセンシングを行うことを意味する。また、「撮像画像」とは、そのようなセンサによるセンシングで得られた画像、すなわち、画素ごとに受光信号に基づく情報を示す画像を意味する。
　第一実施形態では、上記の撮像部には、ＲＧＢ画像を得るＲＧＢセンサ（後述するＲＧＢセンサ２１）と、距離画像を得る測距センサ（後述する「測距センサ２２」）とが設けられる。ＲＧＢ画像とは、画素ごとにＲ（赤色）の輝度値、Ｇ（緑色）の輝度値、Ｂ（青色）の輝度値を示す画像（カラー画像）を意味する。距離画像とは、画素ごとに被写体までの距離の情報を示す画像を意味する。
　移動体Ｍは、撮像制御装置１を搭載（支持）したまま移動を行うことが可能とされた物体を広く意味する。本例では、移動体Ｍは、例えばドローンや飛行機、ヘリコプター等の飛行体とされる。
　実施形態の測量システムでは、撮像制御装置１を搭載した移動体Ｍを、測量の対象地域Ａｔの上空で移動させながら、撮像制御装置１により対象地域Ａｔを撮像する。そして、撮像画像に基づき、対象地域Ａｔの三次元構造を示す点群データの生成を行う。
　具体的な三次元測量の手法を、図２を参照して説明する。
　図示のように本実施形態では、対象地域Ａｔには複数の撮像実行地点Ｐｉが設定されている。本実施形態では、移動体Ｍの飛行ルートＲｆとして、このように対象地域Ａｔに設定された複数の撮像実行地点Ｐｉを通る飛行ルートＲｆが定められており、移動体Ｍをこの飛行ルートＲｆに従って飛行させながら、撮像制御装置１が各撮像実行地点Ｐｉで地面側を撮像することで、撮像実行地点Ｐｉごとに、撮像画像に基づく三次元点群の生成を行う。そして、測量システムでは、このように撮像実行地点Ｐｉごとに得られた三次元点群の情報に基づき、対象地域Ａｔ全体の三次元構造を示す点群データの生成が行われる。換言すれば、対象地域Ａｔ全体についての三次元測量結果を示す測量データが得られる。
　ここで、前述もした通り、地面としては、傾斜地としての地面も存在し得るものであり、傾斜地としての地面に対して水平面に鉛直な方向で地面側を撮像したのでは、撮像画像に写り込む地面の面積が小さくなり、点群のサンプル数が減少する虞がある。
　図３は、このように傾斜地で点群のサンプル数が減少することの説明図である。図３Ａは、撮像方向を水平面に鉛直な方向とする前提において、撮像対象とする地面が略水平な地面である場合の点群のサンプリング密度を模式的に「Ｄ１」として表している。また、図３Ｂでは、同前提において、撮像対象とする地面が傾斜地としての地面である場合の点群のサンプリング密度を模式的に「Ｄ２」として表している。
　これら図３Ａ、図３Ｂの対比より、傾斜地については点群のサンプル数が減少する傾向にあることが分かる。
　上記の事情から、対象地域Ａｔが傾斜地を含む場合には、三次元測量の精度低下を招く虞がある。
　そこで、本実施形態では、三次元測量の手法として次のような手法を採る。
　先ず、基本的には、図４Ａに示すように、撮像方向を水平面に鉛直な方向とした撮像を行う。このとき、撮像制御装置１では、地面の撮像画像に基づいて、三次元点群の生成を行う。地面が傾斜地でなければ、この三次元点群の情報は適切な情報として扱うことができる。
　そして、本実施形態では、上記のように撮像方向を水平面に鉛直な方向とした撮像により得た撮像画像に基づいて、地面の向きを推定し、推定した地面の向きの情報に基づき、撮像対象としている地面が傾斜地か否かを判定する。傾斜地でないと判定されれば、撮像制御装置１は、次の撮像実行地点Ｐｉへの到達を待機する。つまり、傾斜地でない場合は、上記のように撮像方向を水平面に鉛直な方向とした撮像を行って生成した三次元点群の情報が対象地域Ａｔ全体の点群データ生成に用いられるものである。
　一方で、傾斜地と判定された場合、撮像制御装置１は、図４Ｂに示すように撮像方向を地面の向きに応じた向きに制御し、撮像、及び撮像画像に基づく三次元点群の生成を行う。そして、このように撮像方向を地面の向きに応じた向きとして得た撮像画像に基づく三次元点群の生成を行った上で、次の撮像実行地点Ｐｉへの到達を待機する。
（1-2．制御装置の構成）
　図５は、上記のような第一実施形態としての三次元測量手法を実現するための第一実施形態としての撮像制御装置１の構成例を示したブロック図である。
　図示のように撮像制御装置１は、撮像部２、信号処理部３、メモリ部４、制御部５、位置センサ６、アクチュエータ７、及びＩＭＵ（Inertial Measurement Unit：慣性計測ユニット）を備えている。
　撮像部２は、少なくとも三次元点群の生成に用いる撮像画像を得るための撮像部とされる。本例では、対象地域Ａｔの三次元測量結果を示す点群データとして、点ごとに、（Ｘ，Ｙ，Ｚ）の三次元座標情報と、Ｒ、Ｇ、Ｂの各色の輝度値である（Ｒ，Ｇ，Ｂ）の情報とを示す（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）のデータを生成することが前提される。
　このため本例の撮像部２には、三次元点群の生成に用いる距離画像としての撮像画像を得るための測距センサ２２のみでなく、ＲＧＢ画像としての撮像画像を得るためのＲＧＢセンサ２１が設けられている。
　撮像部２において、ＲＧＢセンサ２１には、例えばベイヤ（Bayer）配列等の所定規則に従った配列でＲ画素、Ｇ画素、Ｂ画素が二次元配列されたＣＣＤ（Charge Coupled Devices）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。
　また、測距センサ２２としては、受光素子を有する画素が二次元配列されたタイプの測距センサを想定している。例えば、ｉＴｏＦ（indirect Time of Flight）方式やｄＴｏＦ（direct ＴｏＦ）方式等のＴｏＦ方式による測距に対応したセンサが用いられる。
　なお、測距センサ２２としてＴｏＦ方式に対応したものを用いる場合には、被写体からの反射光を得るための投光部（例えば、赤外光等を投光する投光部）が設けられるが、本技術の本質とは関連性が低いため図示は省略している。
　撮像部２には、上記のＲＧＢセンサ２１、測距センサ２２と共にＲＧＢ画像生成部２３、及び距離画像生成部２４を有する。
　ＲＧＢ画像生成部２３は、ＲＧＢセンサ２１から出力されるＲＡＷ画像による撮像画像についてデモザイク処理等の色補間処理を行って画素ごとにＲ、Ｇ、Ｂの各色の輝度値を示すＲＧＢ画像を生成する。
　距離画像生成部２４は、測距センサ２２がＴｏＦ方式に対応した受光動作を行って得られる画素ごとの受光信号に基づき、ＴｏＦ方式による距離算出のための所定の演算を行って距離画像を生成する。
　信号処理部３は、例えばＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサを有して構成され、撮像部２による撮像画像、つまり本例では距離画像とＲＧＢ画像とに基づき、対象地域Ａｔの三次元測量結果を示す点群データを生成するための各種処理を実行する。
　具体的に、信号処理部３は、三次元点群生成部３ａ、地面向き推定部３ｂ、及び点群データ生成部３ｃとしての機能を有している。
　三次元点群生成部３ａは、撮像部２により得られた距離画像に基づき、三次元点群の生成を行う。
　図６を参照し、距離画像に基づく三次元点群の生成手法の例を説明する。
　前述のように距離画像は、画素ごとに被写体までの距離（以下、この距離の符号を「ｚ」と表記する）を示す画像とされる。この距離画像の各画素の値ｚは、距離画像の座標系を（ｕ，ｖ）座標系とすると、図示のようにｚ（ｕ，ｖ）と表記できる。
　また、測距センサ２２を用いた距離画像の撮像を行うための撮像光学系の光軸位置を図示のように（ｃｘ，ｃｙ）とし、該撮像光学系の焦点距離を「ｆ」とする。
　距離画像に基づく三次元点群の生成は、上記の光軸位置（ｃｘ，ｃｙ）及び焦点距離ｆとしてのカメラパラメータを用いて、以下のように各画素の値ｚ（ｕ，ｖ）を三次元空間上の点の座標情報（Ｘ，Ｙ，Ｚ）に変換する処理として行う。

　Ｘ＝（ｃｘ－ｕ）×（ｚ（ｕ，ｖ））／ｆ
　Ｙ＝（ｃｙ－ｖ）×（ｚ（ｕ，ｖ））／ｆ
　Ｚ＝ｚ（ｕ，ｖ）
　図５において、地面向き推定部３ｂは、上空より地面側を撮像して得られる撮像画像に基づいて地面の向きを推定する。具体的に、本例における地面向き推定部３ｂは、三次元点群生成部３ａが上記のように距離画像に基づき生成した三次元点群の情報に基づいて、地面の向きを推定する。
　なお、地面向き推定部３ｂによる処理については後に改めて説明する。
　点群データ生成部３ｃは、三次元点群生成部３ａにより生成された三次元点群の情報（Ｘ，Ｙ，Ｚ）と、撮像部２により得られたＲＧＢ画像（Ｒ，Ｇ，Ｂ）とに基づき、対象地域Ａｔの三次元測量結果としての点群データ（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）を生成する。
　メモリ部４は、例えばＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）等の不揮発性のメモリにより構成され、主に、信号処理部３による信号処理で用いるデータの記憶に用いられる。例えば、距離画像やＲＧＢ画像の記憶に用いられる。
　制御部５は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたマイクロコンピュータを有して構成され、ＣＰＵが例えば上記のＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づく処理を実行することで、撮像制御装置１の全体制御を行う。
　制御部５に対しては、位置センサ６及びアクチュエータ７が接続されている。
　位置センサ６は、例えばＧＰＳ（Global Positioning System）センサ等のＧＮＳＳ（Global Navigation Satellite System）センサを有して構成され、撮像制御装置１の位置を検出する。
　なお、撮像制御装置１の位置検出のための構成についてはＧＮＳＳセンサを用いる構成に限定されない。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）やＵＷＢ（Ultra Wide Band）等の技術により位置検出を行うことが考えられる。
　アクチュエータ７は、撮像部２の撮像方向を変化させるための機構（撮像方向可変機構）を駆動するための例えばモータ等のアクチュエータとして構成されている。
　本例では、このアクチュエータ７を駆動することで、撮像部２による撮像方向をパン方向及びチルト方向に変化させることが可能とされている。
　制御部５は、位置センサ６が検出する撮像制御装置１の位置情報に基づいて、図２で説明した撮像実行地点Ｐｉへの到達を判定することができる。
　また、制御部５は、信号処理部３の地面向き推定部３ｂが推定した地面の向きの情報に基づき、アクチュエータ７の駆動制御を行うことで、撮像部２による撮像方向を地面の向きに応じた向きに変化させることが可能とされる。
　制御部５は、位置センサ６により検出される撮像制御装置１の位置情報に基づき、撮像部２や信号処理部３の動作制御、及びアクチュエータ７の駆動制御を行うことで、先の図４を参照して説明した第一実施形態としての三次元測量手法を実現するが、該三次元測量手法を実現するために制御部５が実行する具体的な処理手順については後に改めて説明する。
　ＩＭＵ８は、加速度センサやジャイロセンサ（角速度センサ）等の動きセンサを備えて構成され、撮像部２のヨー、ピッチ、ロールの各方向の傾きを撮像部２の姿勢情報として検出する。
　ＩＭＵ８により検出された姿勢情報は、信号処理部３に供給され、後述するように地面向き推定部３ｂによる地面の向きの推定処理に用いられる。
　図７は、地面向き推定部３ｂの構成例を示すブロック図である。
　図示のように地面向き推定部３ｂは、法線ベクトル算出部３１、角度画像生成部３２、二値化処理部３３、マスク部３４、及び代表角度算出部３５を有している。
　法線ベクトル算出部３１には、三次元点群生成部３ａが生成した三次元点群が入力される。法線ベクトル算出部３１は、三次元点群における隣接関係にある点間の位置関係に基づいて、地面における位置ごとの法線ベクトルを求める。
　図８を参照し、法線ベクトル算出部３１による法線ベクトルの算出手法例について説明する。
　ここでは、法線ベクトルは、三次元点群における点ごとに算出する例とする。
　この場合、法線ベクトルは、距離画像の画素ごとに求められた三次元空間上の点の座標情報（図中ではＸｃａｍ，Ｙｃａｍ，Ｚｃａｍと表している）に基づき求める。具体的には、距離画像における処理対象画素（カメラ座標系で（ｉ，ｊ）と表す）と、該処理対象画素の縦方向（ｖ方向）に隣接する２画素のうち一方の画素（以下「縦隣接画素」と表記）と、横方向（ｕ方向）に隣接する２画素のうち一方の画素（以下「横隣接画素」と表記）の３画素の三次元座標情報（Ｘ，Ｙ，Ｚ）に基づいて、これら３画素の各点を結んで形成される三角形による面の法線ベクトルＡ（ｉ，ｊ）を求める。
　この法線ベクトルＡ（ｉ，ｊ）は、処理対象画素の点から縦隣接画素の点へのベクトルＨ（ｉ，ｊ）と、処理対象画素の点から横隣接画素の点へのベクトルＷ（ｉ，ｊ）とに基づき、

　法線ベクトルＡ（ｉ，ｊ）
　　　　　　　＝（Ｗ（ｉ，ｊ）×Ｈ（ｉ，ｊ））／｜Ｗ（ｉ，ｊ）×Ｈ（ｉ，ｊ）｜

　により算出することができる。
　このような法線ベクトルＡ（ｉ，ｊ）を、距離画像における点ごと（つまり生成された三次元点群の点ごと）に算出する。
　なお、法線ベクトルＡは、三次元点群の点ごとに求めることに限定されない。例えば、複数の点を含むエリアごとに、上記と同様の手法によりエリアごとの法線ベクトルＡを求めることも考えられる。その場合も、地面における位置ごとの法線ベクトルを求めることに変わりはない。
　図７において、角度画像生成部３２は、法線ベクトル算出部３１が算出した法線ベクトルＡ（ｉ，ｊ）に基づき、画素ごとに地面の向く角度を示す画像である角度画像を生成する。
　図９は、角度画像生成部３２による角度画像の生成手法例についての説明図である。
　ここでは、法線ベクトル算出部３１が距離画像の画素ごとに算出した法線ベクトルＡ（ｉ，ｊ）を法線ベクトルＡｃａｍと表記する。
　図示のように角度画像は、画素ごとに、法線ベクトルＡｃａｍと鉛直方向ベクトルｈｃａｍとの内積を計算することで生成する。鉛直方向ベクトルｈｃａｍは、カメラ座標系（ｕ，ｖ座標系）での鉛直方向を示すベクトルである。本例では、角度画像生成において基とする距離画像は、撮像部２の撮像方向を水平方向に鉛直な方向として撮像する前提であるため、鉛直方向ベクトルｈｃａｍは水平面に鉛直な方向を示すベクトルと換言することができる。
　角度画像は、図中に示す「θ＝ｃｏｓ－１［Ａｃａｍ・ｈｃａｍ］」により、画素ごとに地面の向きを示す角度θを計算することで生成する。
　ここで、角度画像の生成において基とする距離画像の撮像は、必ずしも、水平面に鉛直な撮像方向で撮像されるとは限らない。そこで本例において角度画像生成部３２は、図５に示したＩＭＵ８が検出する撮像部２の姿勢情報（ヨー、ピッチ、ロール）に基づいて、角度画像生成に用いる鉛直方向ベクトルｈｃａｍを補正する。これにより、角度画像の生成において基とする距離画像の撮像時において、撮像部２の撮像方向が水平面に鉛直な方向からずれていたとしても、該ずれを補正することができ、角度画像として、水平面に鉛直な方向に対する角度θを示す適切な角度画像を得ることができる。
　図７において、二値化処理部３３、マスク部３４、及び代表角度算出部３５は、角度画像に基づき、撮像対象とされている地面の代表的な角度θを示す代表角度を求めるために設けられる。
　図１０は、実施形態における代表角度の算出手法例の説明図である。
　図１０Ａは角度画像生成部３２が生成した角度画像を模式的に示している。
　二値化処理部３３は、図１０Ａに示すような角度画像について、角度θ（絶対値）が所定の角度閾値以上である画素を「１」、それ以外の画素を「０」とした二値化画像を生成する（図１０Ｂ参照）。
　マスク部３４は、二値化処理部３３により得られた二値化画像について、角度θが所定の角度閾値以上である画像領域のうち、面積が所定の面積閾値未満である画像領域をマスクしたマスク画像を生成する（図１０Ｃ参照）。このマスク後に残る画像領域は、角度θが角度閾値以上の画像領域であって面積が面積閾値以上となる画像領域と換言できる。
　代表角度算出部３５は、マスク部３４が生成したマスク画像と、角度画像生成部３２が生成した角度画像とに基づき、代表角度を算出する。具体的に代表角度算出部３５は、マスク画像における角度θが角度閾値以上である画像領域内において代表点を定める（図１０Ｄ上段を参照）。この代表点は、マスク画像における角度θが角度閾値以上である画像領域の中心点に定めることが考えられる。
　そして、代表角度算出部３５は、代表点としての画素における角度θを、代表角度として定める（図１０Ｄ下段参照）。
　なお、マスク画像において角度θが角度閾値以上である画像領域が複数存在した場合には、代表点は、そのうちで最も面積の大きい画像領域の中心点として定めることが考えられる。
　また、代表角度は、上記のような代表点の角度θとすることに限定されない。例えば、マスク画像における角度θが角度閾値以上である画像領域に属する各画素の角度θの平均値を代表角度として算出することも考えられる。
　ここで、第一実施形態において、代表角度算出部３５により代表角度が算出されたということは、地面の向きの推定対象とした地面、すなわち、地面向きの推定のために距離画像の撮像を行った地面が傾斜地であることを示すものとなる。
　このため、第一実施形態において制御部５は、地面向き推定部３ｂにより代表角度が算出されたか否かにより、対象とする地面が傾斜地であるか否かを判定することができる。
（1-3．処理手順）
　図１１は、第一実施形態としての三次元測量手法を実現するために制御部５が実行する処理手順例を示したフローチャートである。
　なお、本例において、図１１に示す処理が実行されるにあたっては、撮像部２による撮像方向は、水平面に鉛直な方向とされているとする。
　先ず、制御部５はステップＳ１０１で、撮像実行地点Ｐｉに到達したか否かを判定する。すなわち、位置センサ６が検出する撮像制御装置１の位置情報に基づき、撮像制御装置１が何れかの撮像実行地点Ｐｉに到達したか否かの判定を行う。
　ステップＳ１０１において、撮像実行地点Ｐｉに到達していないと判定した場合、制御部５はステップＳ１０２に進んで処理終了か否か、すなわち、例えば所定の操作入力や外部装置からの所定の通知等、対象地域Ａｔ全体の三次元測量のための処理を終了すべきとして予め定められた所定条件の成立有無を判定する。ステップＳ１０２において、処理終了ではないと判定した場合、制御部５はステップＳ１０１に戻る。
　上記のステップＳ１０１及びＳ１０２の処理により、制御部５は、撮像実行地点Ｐｉへの到達と処理終了の何れかを待機するようにされる。
　ステップＳ１０１において、撮像実行地点Ｐｉに到達したと判定した場合、制御部５はステップＳ１０３に進んで撮像及び信号処理部３の処理の実行指示を行う。すなわち、撮像部２によるＲＧＢ画像及び距離画像の撮像と、信号処理部３による三次元点群生成部３ａ及び地面向き推定部３ｂとしての処理の実行指示を行う。
　ステップＳ１０３に続くステップＳ１０４で制御部５は、代表角度が算出されたか否かを判定する。すなわち、上記した地面向き推定部３ｂとしての処理により、代表角度が算出されたか否かを判定する。
　ステップＳ１０４において、代表角度が算出されなかったと判定した場合（つまり傾斜地でないと判定した場合）、制御部５はステップＳ１０１に戻る。
　これにより、撮像対象とした地面が傾斜地でなかった場合は、次の撮像実行地点Ｐｉへの到達を待機するようにされる。つまり、傾斜地でなかった場合は、撮像方向を水平面に鉛直な方向とした撮像を行って生成された三次元点群の情報が対象地域Ａｔ全体の点群データ生成に用いられる。
　一方、ステップＳ１０４において、代表角度が算出されたと判定した場合（傾斜地であると判定した場合）、制御部５はステップＳ１０５に進み、撮像方向を予め定められた方向に変更する処理を行う。本例では、傾斜地の傾斜方向としては、前後左右のうち左右方向の傾斜方向のみを想定している。そして、第一実施形態では、後述する第二実施形態の例のように撮像方向を地面に正対する向きとすることまでは要請されておらず、少なくとも、撮像方向が地面の向きに近づくようにすることのみが要請される。具体的に、地面が右上がりの斜面（図３Ｂや図４Ｂを参照）である、すなわち代表角度がプラスの角度であれば、撮像方向を、水平面に鉛直な方向（つまり０度の角度）から右方向に予め定められた角度だけ傾けるように、アクチュエータ７を駆動制御する。また、地面が左上がりの斜面である、すなわち代表角度がマイナスの角度であれば、撮像方向を、水平面に鉛直な方向から左方向に予め定められた角度だけ傾けるように、アクチュエータ７を駆動制御する。
　ステップＳ１０５に続くステップＳ１０６で制御部５は、撮像及び信号処理部の処理の実行指示を行う。このステップＳ１０６の処理は、先のステップＳ１０３の処理と同様の処理である。
　このステップＳ１０６の処理が実行されることで、地面が傾斜地であった場合には、地面の向きに応じた撮像方向で撮像部２によるＲＧＢ画像及び距離画像の撮像が行われると共に、撮像された距離画像に基づき、三次元点群の生成が行われる。
　なお、ステップＳ１０６において、信号処理部３の処理の実行指示としては、三次元点群生成部３ａの処理の実行指示のみを行ってもよい。
　ステップＳ１０６に続くステップＳ１０７で制御部５は、撮像方向を鉛直方向に戻す処理、すなわち撮像方向を水平面に鉛直な方向に戻すようにアクチュエータ７を駆動制御する処理を行い、ステップＳ１０１に戻る。
　これにより、次の撮像実行地点Ｐｉに到達した場合に、撮像方向を鉛直方向とした状態でステップＳ１０３の処理が行われるようにすることができる。
　また、上記したステップＳ１０４→Ｓ１０５→Ｓ１０６→Ｓ１０７→Ｓ１０１の処理の流れにより、地面が傾斜地であった場合には、撮像方向を地面の向きに応じた向きに制御して撮像及び撮像された距離画像に基づく三次元点群の生成が行われた上で、次の撮像実行地点Ｐｉへの到達を待機するようにされる。これにより、傾斜地としての撮像実行地点Ｐｉについては、対象地域Ａｔ全体の点群データの生成において、撮像方向を地面の向きに応じた向きとして生成した三次元点群の情報を用いることができる。
　制御部５は、先のステップＳ１０２で処理終了と判定した場合は、図１１に示す一連の処理を終える。
　なお、上記では地面の傾斜方向が前後左右のうち左右方向のみである前提としたため、撮像方向の制御を、左右方向にのみ行う例としたが、前後方向の傾斜に対応して、撮像方向を前後方向に傾斜させる制御を行うこともできる。或いは、前後左右の各方向への傾斜に対応して、撮像方向を前後左右の各方向に傾斜させる制御を行うことも可能である。
＜２．第二実施形態＞
　続いて、第二実施形態について説明する。第二実施形態は、地面が傾斜地であった場合に、撮像方向を、地面の向きに対して適応的に求められた目標角度が示す方向に制御するものである。
　図１２は、第二実施形態としての撮像制御装置１Ａの構成例を示したブロック図である。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。
　撮像制御装置１Ａは、撮像制御装置１と比較して、制御部５に代えて制御部５Ａが設けられる点が異なる。
　制御部５Ａは、ハードウェア構成としては制御部５と同様となるが、先の図１１の処理に代えて以下で説明する図１３の処理を実行する点が制御部５と異なる。
　図１３は、第二実施形態としての三次元測量手法を実現するために制御部５Ａが実行する処理手順例を示したフローチャートである。
　図１１に示した処理との相違点は、ステップＳ１０５の処理に代えて、ステップＳ２０１の処理を実行する点である。
　具体的に、制御部５ＡはステップＳ２０１で、代表角度に基づき撮像方向を地面に正対する方向に制御する処理を行う。すなわち、撮像方向の角度が、水平面に鉛直な角度（０度）から代表角度と一致する角度となるように、アクチュエータ７を駆動制御する。
　なお、第二実施形態において、地面が傾斜地であった場合の撮像方向の制御としては、上記のように地面に正対する方向の角度を目標角度とした制御とすることに限定されず、例えば、地面に正対する方向の角度（つまり本例では代表角度）から所定角度だけオフセットした角度を目標角度とした制御とすること等も考えられる。
　なお、上記では、先の第一実施形態の場合と同様に、マスク画像において角度θが角度閾値以上の画像領域が複数存在する場合は、最も面積が大きい画像領域についてのみ代表点を定める（つまり代表角度を定める）ことを前提として説明を行ったが、第二実施形態において、マスク画像において角度θが角度閾値以上の画像領域が複数存在する場合は、それらの画像領域ごとに代表点、及び代表角度を定めることも考えられる。そしてその場合は、傾斜地と判定された撮像実行地点Ｐｉにおいて、それらの代表角度ごとに、代表角度に対して適応的に求められた角度での撮像方向による撮像を行うことも考えられる。
＜３．第三実施形態＞
　第三実施形態は、先行、後行の２台の撮像制御装置を用いて、対象地域Ａｔの三次元測量に要する時間の短縮化を図るものである。
　具体的に、第三実施形態では、図１４に例示するように、飛行ルートＲｆ上を先行する先行装置としての撮像制御装置１Ｂと、飛行ルートＲｆ上を撮像制御装置１Ｂに対して後行する後行装置としての撮像制御装置１Ｃの２台の撮像制御装置を用いる前提とする。
　第三実施形態では、先行装置としての撮像制御装置１Ｂは、各撮像実行地点Ｐｉにおいて、水平面に鉛直な撮像方向で撮像を行うと共に、撮像画像に基づく三次元点群の生成、及び地面の向きの推定を行う。そして撮像制御装置１Ｂは、地面の向きの推定の結果、傾斜地であると判定した場合は、当該撮像実行地点が傾斜地である旨を後行装置としての撮像制御装置１Ｃに通知する。
　つまり第三実施形態において、先行装置としての撮像制御装置１Ｂは、非傾斜地についての三次元点群生成の機能と、傾斜地を検出した場合にその旨を後行装置に通知する機能とを担うものとなる。
　一方、後行装置としての撮像制御装置１Ｃは、先行装置としての撮像制御装置１Ｂから傾斜地であることが通知された撮像実行地点Ｐｉにおいて、撮像方向を地面の向きに応じた方向とした撮像、及び撮像画像に基づく三次元点群生成を行う。
　先に説明した第一、第二実施形態では、撮像実行地点Ｐｉが傾斜地であった場合には、撮像制御装置１又は１Ａは、撮像方向を鉛直方向とした撮像及び三次元点群生成を行った後に、撮像方向を地面の向きに応じた方向に変更した撮像及び三次元点群生成を行うことを要するものであった。
　これに対し、上記した第三実施形態としての三次元測量手法によれば、先行装置としての撮像制御装置１Ｂは、撮像実行地点Ｐｉが傾斜地であっても撮像及び三次元点群生成の回数は１回で済み、また、後行装置としての撮像制御装置１Ｃにおいても、傾斜地についての撮像及び三次元点群生成の回数は１回で済むものとなる。
　従って、第一、第二実施形態の場合と比較して、傾斜地としての撮像実行地点Ｐｉに滞在する時間長を短くすることができ、対象地域Ａｔの三次元測量に要する時間の短縮化を図ることができる。
　図１５は、先行装置としての撮像制御装置１Ｂの構成例を示したブロック図、図１６は、後行装置としての撮像制御装置１Ｃの構成例を示したブロック図である。
　図１５において、撮像制御装置１Ｂは、第一実施形態で説明した撮像制御装置１と比較して、制御部５に代えて制御部５Ｂが設けられた点、及び通信部９が追加された点、及びアクチュエータ７が省略された点が異なる。
　通信部９は、後行装置としての撮像制御装置１Ｃとの間でデータ通信を行うために設けられたものであり、例えば、撮像制御装置１Ｃとの間で無線によるデータ通信を行うことが可能とされる。
　制御部５Ｂは、ハードウェア構成としては制御部５と同様となるが、上述した第三実施形態としての三次元測量手法を実現するための先行装置としての処理を実行する点が制御部５とは異なる。
　図１６において、撮像制御装置１Ｃは、第一実施形態で説明した撮像制御装置１と比較して、制御部５に代えて制御部５Ｃが設けられた点、及び通信部９が追加された点、及び信号処理部３に代えて信号処理部３Ｃが設けられた点、及びＩＭＵ８が省略された点が異なる。
　通信部９は、先行装置としての撮像制御装置１Ｂとの間でデータ通信を行うために設けられたものであり、例えば、撮像制御装置１Ｂの通信部９との間で無線によるデータ通信　を行うことが可能とされる。
　信号処理部３Ｃは、信号処理部３と比較して、地面向き推定部３ｂとしての機能が省略された点が異なる。
　制御部５Ｃは、ハードウェア構成としては制御部５と同様となるが、上述した第三実施形態としての三次元測量手法を実現するための後行装置としての処理を実行する点が制御部５とは異なる。
　図１７は、第三実施形態における先行装置としての処理を実現するために制御部５Ｂが実行する処理手順例を示したフローチャートである。
　先の図１１に示した制御部５の処理との相違点は、ステップＳ１０５からＳ１０６の処理に代えて、ステップＳ３０１の処理を実行する点である。
　具体的に、制御部５ＢはステップＳ３０１で、現在の撮像実行地点Ｐｉと代表角度とを後行装置に通知する処理を行う。すなわち、現在の撮像実行地点Ｐｉを示す情報と、ステップＳ１０４で算出が判定された代表角度の情報とを通信部９を介して撮像制御装置１Ｃ（制御部５Ｃ）に通知する処理を行う。
　図１８は、第三実施形態における後行装置としての処理を実現するために制御部５Ｃが実行する処理手順例を示したフローチャートである。
　先の図１３に示した制御部５Ａの処理との相違点は、ステップＳ１０３の処理が省略された点、ステップＳ１０４の処理に代えてステップＳ４０１の処理が実行される点、及びステップＳ１０７の処理が省略された点である。
　制御部５Ｃは、ステップＳ１０１で撮像実行地点Ｐｉに到達したと判定した場合に、ステップＳ４０１で、現在の撮像実行地点Ｐｉについて代表角度が通知されているか否かを判定する。これは、先行装置としての撮像制御装置１Ｂからの通知情報の有無に基づき、現在の撮像実行地点Ｐｉが傾斜地であるか否かを判定していることに相当する。
　ステップＳ４０１において、現在の撮像実行地点Ｐｉについて代表角度が通知されていないと判定した場合、制御部５ＣはステップＳ１０１に戻る。つまり、非傾斜地としての撮像実行地点Ｐｉについて、後行装置は、撮像部２による撮像、及び撮像画像に基づく信号処理部３Ｃの処理は実行しない。
　一方、ステップＳ４０１において、現在の撮像実行地点Ｐｉについて代表角度が通知されていると判定した場合、制御部５ＣはステップＳ２０１に処理を進める。これにより、傾斜地としての撮像実行地点Ｐｉについては、代表角度に対して適応的に求められた角度での撮像方向による撮像、及び撮像画像に基づく信号処理部３Ｃの処理（本例では三次元点群生成）が行われる。
　なお、上記では、後行装置において、第二実施形態と同様に地面の向きに対して適応的に求められた角度での撮像方向で撮像を行う例を挙げたが、これに代えて、第一実施形態の場合と同様に予め定められた角度での撮像方向で撮像を行うことも考えられる。
＜４．変形例＞
　以上、本技術に係る実施形態について説明したが、本技術は、上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば上記では、地面の向きの推定を、距離画像から算出した法線ベクトルの情報に基づいて行う例を挙げたが、地面の向きの推定は、偏光センサ２５を用いることで得られる偏光画像に基づいて行うこともできる。
　図１９は、このように地面の向きの推定を偏光画像に基づき行う変形例としての撮像制御装置１Ｄの構成例を示したブロック図である。
　撮像制御装置１Ｄは、第一実施形態としての撮像制御装置１と比較して、撮像部２に代えて撮像部２Ｄが設けられた点と、信号処理部３に代えて信号処理部３Ｄが設けられた点と、制御部５に代えて制御部５Ｄが設けられた点とが異なる。
　撮像部２Ｄは、ＲＧＢセンサ２１、測距センサ２２、ＲＧＢ画像生成部２３、及び距離画像生成部２４に加えて、偏光センサ２５及び偏光画像生成部２６が設けられた点が撮像部２と異なる。
　信号処理部３Ｄは、地面向き推定部３ｂに代えて地面向き推定部３ｂＤが設けられた点が異なる。
　制御部５Ｄは、ハードウェア構成としては制御部５と同様となるが、撮像実行指示として、ＲＧＢ画像や距離画像の撮像実行指示に加えて、偏光センサ２５及び偏光画像生成部２６による偏光画像の撮像についての実行指示を行う点が制御部５と異なる。
　公知のように偏光センサ２５は、画素ごとに異なる偏光方向の光（直線偏光）を透過するように偏光フィルタが設けられた複数画素で成る偏光画素ユニットが、二次元に配列されて形成される。例えば、偏光画素ユニットは、四つの画素で成り、０度、４５度、９０度、１３５度の偏光方向の光を各画素が受光し分けるように構成されている。
　偏光画像生成部２６は、偏光センサ２５によるＲＡＷ画像（画素ごとに受光信号値を示す画像）に基づき、偏光画像を生成する。偏光画像とは、画素ごとに入射光の偏光状態を表す情報を示す画像を意味する。
　例えば偏光画像生成部２６は、ＲＡＷ画像について同時化処理としての補間処理を行って、画素ごとに各偏光方向の受光信号値を示す偏光方向画像を生成する。具体的に本例では、画素ごとに上記した０度、４５度、９０度、１３５度の各偏光方向の光の受光信号値を示す偏光方向画像を生成する。
　そして、この偏光方向画像に基づき、偏光画像として、画素ごとに法線情報を示す画像を生成する。公知のように画素ごとに０度、４５度、９０度、１３５度のような各偏光方向の光の受光信号値が得られることで、それら偏光方向ごとの受光信号値に基づき、偏光状態を示す正弦波をフィッティングにより求めることができる。そして、このような偏光状態を示す正弦波を画素ごとに求め、該正弦波の最大値や最小値、平均値等を用いた所定演算を行うことで、画素ごとに、様々な偏光情報を算出することが可能である。
　偏光画像生成部２６は、上記の偏光方向画像に基づき、画素ごとに上記の正弦波を求め、該正弦波に基づく所定演算を行うことで、画素ごとに法線情報（法線方向）を示す偏光画像を生成する。
　信号処理部３Ｄにおいて、地面向き推定部３ｂＤは、偏光画像生成部２６が生成した偏光画像に基づき、地面の向きの推定、具体的に本例では代表角度の算出を行う。
　図２０は、地面向き推定部３ｂＤの構成例を示したブロック図である。
　地面向き推定部３ｂＤは、図７に示した地面向き推定部３ｂと比較して、法線ベクトル算出部３１が省略された点と、角度画像生成部３２に代えて角度画像生成部３２Ｄが設けられた点とが異なる。
　角度画像生成部３２Ｄは、偏光画像生成部２６が生成した偏光画像に基づき、前述した角度画像を生成する。偏光画像は、画素ごとに法線情報、すなわち法線方向を表す情報を示す画像とされるため、角度画像生成部３２Ｄは、偏光画像の画素ごとに、法線方向を角度θに変換する処理を行って、画素ごとに角度θを示す角度画像を生成する。
　なお、角度画像生成部３２Ｄよりも後段の構成、すなわち角度画像に基づいて代表角度を算出するための二値化処理部３３、マスク部３４、及び代表角度算出部３５の構成については地面向き推定部３ｂの場合と同様となるため重複説明は避ける。
　なお、上記では偏光センサ２５を用いる変形例としての構成を第一実施形態としての撮像制御装置１に適用する例を挙げたが、該変形例としての構成は、第二実施形態の撮像制御装置１Ａや、第三実施形態における先行装置としての撮像制御装置１Ｂにも好適に適用することができる。
　ここで、これまでの説明では、三次元点群の生成を距離画像に基づき行う例を挙げたが、三次元点群の生成は、ＲＧＢ画像に基づき行うことも考えられる。例えば、ＳｆＭ（Structure from Motion）の手法を用いて、ＲＧＢ画像に基づく三次元点群の生成を行うことが可能である。
　また、三次元点群の生成は、レーダーを用いて行うことも考えられる。すなわち、本技術において、三次元点群の生成を撮像画像に基づき行うことは必須ではなく、三次元点群の生成は、上空から地面側をセンシングして得られるセンシング情報に基づき行われるものであればよい。
　また、これまでの説明では、本技術に係る撮像制御装置を移動させるための移動体Ｍの例として飛行体を挙げたが、移動体Ｍは飛行体に限定されるものではない。例えば、先端部に少なくとも撮像部２（又は２Ｄ）が取り付けられた棒状部材（長尺物）を支持する車両等の走行体を走行させることで、飛行体を用いた場合と同様に、高所から地面側を移動しながら撮像することが可能である。
　また、これまでの説明では、撮像方向（センシング方向）を変化させるにあたり、撮像部２（又は２Ｄ）の向きを変化させる例を挙げたが、撮像制御装置１（１Ａ）全体の向きを変化させることも考えられる。或いは、撮像制御装置を支持する移動体Ｍの姿勢を制御することで撮像方向を変化させる構成も考えられる。
＜５．実施形態のまとめ＞
　以上で説明したように実施形態としての制御装置（撮像制御装置１，１Ａ，１Ｂ，１Ｄ）は、上空より地面側をセンシングすることで得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成する点群生成部（三次元点群生成部３ａ）と、上空より地面側を撮像して得られる撮像画像に基づいて地面の向きを推定する推定部（地面向き推定部３ｂ，３ｂＤ）と、推定部が推定した地面の向きの情報に基づいて、対象地域の三次元点群を生成するためのセンシングに係る制御を行う制御部（同５，５Ａ，５Ｂ）と、を備えたものである。
　これにより、対象地域の三次元点群を地面を対象としたセンシング情報に基づいて生成するにあたり、例えば地面の向きに合わせた向きでセンシングを行う等、地面の向きに応じた適切なセンシング制御を行うことが可能となる。
　地面の向きに応じた適切な向きでセンシングを行うことができることで、傾斜地についてセンシング情報のサンプル数を稼ぐことができ、点群のサンプル数を増やすことができるため、点群データの解像度向上を図ることができる。従って、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることができる。
　また、実施形態としての制御装置においては、制御部は、地面の向きの情報に基づくセンシングに係る制御として、地面の向きに応じたセンシング方向によるセンシングを実行させるための制御を行っている。
　これにより、対象地域の三次元点群を地面を対象としたセンシング情報に基づいて生成するにあたり、地面の向きに応じた向きでセンシングを行うことが可能となる。
　従って、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることができる。
　さらに、実施形態としての制御装置においては、制御部は、センシングに係る制御として、地面の向きに応じた方向にセンシング方向を変化させる制御を行っている。
　例えば、撮像部の向きや撮像部を支持する移動体の姿勢を変化させる等の制御により、撮像方向を地面の向きに応じた方向に変化させる。
　これにより、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることができる。
　さらにまた、実施形態としての制御装置（撮像制御装置１）においては、制御部（同５）は、センシング方向を変化させる制御として、センシング方向を予め定められた角度の方向に変化させる制御を行っている（図１１参照）。
　これにより、地面の向きに応じたセンシング方向で三次元点群生成のためのセンシングを実行させるにあたり、例えば地面に正対する角度等、地面の向きに応じてセンシング方向の目標角度を適応的に求める必要がなくなる。
　従って、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図るにあたり、処理負担の軽減を図ることができる。
　また、実施形態としての制御装置（撮像制御装置１Ａ）においては、制御部（同５Ａ）は、センシング方向を変化させる制御として、地面の向きに対して適応的に求められた目標角度が示す方向にセンシング方向を変化させる制御を行っている（図１３参照）。
　これにより、傾斜地に対する三次元点群の生成は、例えば地面の向きに正対する角度等、推定された地面の向きに対して適応的に算出された角度によるセンシング方向でセンシングされた情報に基づき行われる。
　従って、傾斜地に対する三次元測量精度の向上を図ることができる。
　さらに、実施形態としての制御装置（撮像制御装置１，１Ａ）においては、制御部（同５，５Ａ）は、三次元点群の生成のためのセンシング実行地点ごとに、推定部に地面の向きを推定させ、推定された地面の向きの情報に基づいて傾斜地判定を行い、現在のセンシング実行地点が傾斜地でないと判定された場合は、次のセンシング実行地点への到達を待機し、傾斜地であると判定された場合は、地面の向きに応じたセンシング方向で三次元点群の生成のためのセンシングを実行させる制御を行って、次のセンシング実行地点への到達を待機している（図１１、図１３参照）。
　これにより、第一、第二実施形態で説明した撮像制御装置１、１Ａのように、対象地域Ａｔ上に定められたセンシング実行地点ごとに三次元点群生成のための撮像を行っていく測量形態が採られる場合に対応して、傾斜地について、地面の向きに応じた適切な向きでセンシングを行うことが可能となる。
　従って、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることができる。
　さらにまた、実施形態としての制御装置（撮像制御装置１Ｂ）においては、制御部（同５Ｂ）は、センシングに係る制御として、推定部が推定した地面の向きの情報を点群生成部を備えた他装置（撮像制御装置１Ｃ）に対して通知することで、他装置に地面の向きに応じたセンシング方向でのセンシングを実行させる制御を行っている（図１７参照）。
　これにより、第三実施形態で説明した先行装置としての撮像制御装置１Ｂのように、後行装置としての他装置に対して地面の向きの情報を通知することにより該他装置に地面の向きに応じたセンシング方向での三次元点群生成のためのセンシングを実行させることのできる制御装置を実現可能となる。
　従って、測量の対象地域に傾斜地が含まれる場合における三次元測量について、測量精度の向上を図りながら、測量に要する時間の短縮化を図ることができる。
　また、実施形態としての制御装置においては、点群生成部は、距離画像としてのセンシング情報に基づいて三次元点群を生成している。
　距離画像とは、画素ごとに被写体までの距離の情報を示す画像を意味する。
　このような距離画像に基づき三次元点群を生成することで、三次元点群を適切に生成することができ、三次元測量を適切に行うことができる。
　さらに、実施形態としての制御装置においては、推定部（地面向き推定部３ｂ）は、距離画像としての撮像画像に基づいて地面の向きを推定している。
　これにより、三次元点群の生成と地面の向きの推定を共通の距離画像に基づいて行うことが可能となる。
　従って、三次元点群の生成と地面の向きの推定とを実現するために要するセンサを測距センサのみとすることができ、本技術に係る三次元測量を実現するにあたっての部品点数の削減、及びコストの削減を図ることができる。
　さらにまた、実施形態としての制御装置においては、推定部は、点群生成部が生成した三次元点群に基づいて地面の向きを推定している。
　これにより、対象地域の三次元測量データとしての点群データを得るための三次元点群の生成処理と、地面の向きを推定するための三次元点群の生成処理とが共通化される。
　従って、点群データの生成と地面の向きの推定とを実現するにあたっての処理の効率化を図ることができる。
　また、実施形態としての制御装置においては、推定部は、三次元点群における隣接関係にある点間の位置関係に基づいて地面における位置ごとの法線ベクトルを求め、該法線ベクトルに基づいて地面の向きを推定している。
　これにより、三次元点群から地面の向きを適切に推定することができる。
　さらに、実施形態としての制御装置においては、推定部（地面向き推定部３ｂＤ）は、偏光画像としての撮像画像に基づいて地面の向きを推定している。
　偏光画像とは、画素ごとに入射光の偏光状態を表す情報を示す画像を意味する。
　このような偏光画像を地面の向きの推定に用いることで、地面の向きを適切に推定することができる。
　さらにまた、実施形態としての制御装置においては、推定部は、撮像画像に基づいて、画素ごとに地面の向く角度を示す角度画像を生成し、角度画像において角度が所定の角度閾値以上となる画像領域における角度に基づいて地面の代表的な向きを示す代表角度を算出している。
　これにより、対象とする地面についての代表的な向きを示す代表角度の情報に基づいて、傾斜地であるか否かの判定や、地面の向きに対して適応的に求めたセンシング方向でのセンシングが適切に行われるようにすることが可能となる。
　従って、測量の対象地域に傾斜地が含まれる場合における三次元測量の精度向上を図ることができる。
　また、実施形態としての制御装置においては、推定部は、角度画像において角度が角度閾値以上となる画像領域であって面積が所定の面積閾値以上となる画像領域の角度に基づいて代表角度を算出している。
　これにより、角度が角度閾値以上の画像領域であってもノイズ等に起因した小領域が除外されるようにして代表角度を適切に算出することが可能となる。
　従って、三次元点群生成のための撮像について、地面の向きに応じた適切なセンシング方向でのセンシングを行うことができ、対象地域についての三次元測量精度の向上を図ることができる。
　実施形態の制御方法は、上空より地面側をセンシングして得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成し、上空より地面側を撮像して得られる撮像画像に基づいて地面の向きを推定し、推定した地面の向きの情報に基づいて、対象地域の三次元点群を生成するためのセンシングに係る制御を行う処理を、信号処理装置が実行する制御方法である。
　このような制御方法によっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜６．本技術＞
　本技術は以下のような構成を採ることもできる。
（１）
　上空より地面側をセンシングすることで得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成する点群生成部と、
　上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定する推定部と、
　前記推定部が推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う制御部と、を備えた
　制御装置。
（２）
　前記制御部は、前記地面の向きの情報に基づく前記センシングに係る制御として、前記地面の向きに応じたセンシング方向によるセンシングを実行させるための制御を行う
　前記（１）に記載の制御装置。
（３）
　前記制御部は、前記センシングに係る制御として、前記地面の向きに応じた方向にセンシング方向を変化させる制御を行う
　前記（２）に記載の制御装置。
（４）
　前記制御部は、前記センシング方向を変化させる制御として、前記センシング方向を予め定められた角度の方向に変化させる制御を行う
　前記（３）に記載の制御装置。
（５）
　前記制御部は、前記センシング方向を変化させる制御として、前記地面の向きに対して適応的に求められた目標角度が示す方向に前記センシング方向を変化させる制御を行う
　前記（３）に記載の制御装置。
（６）
　前記制御部は、前記三次元点群の生成のためのセンシング実行地点ごとに、前記推定部に前記地面の向きを推定させ、推定された前記地面の向きの情報に基づいて傾斜地判定を行い、現在の前記センシング実行地点が傾斜地でないと判定された場合は、次の前記センシング実行地点への到達を待機し、傾斜地であると判定された場合は、前記地面の向きに応じたセンシング方向で前記三次元点群の生成のためのセンシングを実行させる制御を行って、次の前記センシング実行地点への到達を待機する
　前記（１）から（５）の何れかに記載の制御装置。
（７）
　前記制御部は、前記センシングに係る制御として、前記推定部が推定した前記地面の向きの情報を前記点群生成部を備えた他装置に対して通知することで、前記他装置に前記地面の向きに応じたセンシング方向でのセンシングを実行させる制御を行う
　前記（１）から（５）の何れかに記載の制御装置。
（８）
　前記点群生成部は、距離画像としての前記センシング情報に基づいて前記三次元点群を生成する
　前記（１）から（７）の何れかに記載の制御装置。
（９）
　前記推定部は、距離画像としての前記撮像画像に基づいて前記地面の向きを推定する
　前記（８）に記載の制御装置。
（１０）
　前記推定部は、前記点群生成部が生成した前記三次元点群に基づいて前記地面の向きを推定する
　前記（９）に記載の制御装置。
（１１）
　前記推定部は、前記三次元点群における隣接関係にある点間の位置関係に基づいて前記地面における位置ごとの法線ベクトルを求め、該法線ベクトルに基づいて前記地面の向きを推定する
　前記（１０）に記載の制御装置。
（１２）
　前記推定部は、偏光画像としての前記撮像画像に基づいて前記地面の向きを推定する
　前記（１）から（７）の何れかに記載の制御装置。
（１３）
　前記推定部は、前記撮像画像に基づいて、画素ごとに前記地面の向く角度を示す角度画像を生成し、前記角度画像において前記角度が所定の角度閾値以上となる画像領域における前記角度に基づいて前記地面の代表的な向きを示す代表角度を算出する
　前記（１）から（１２）の何れかに記載の制御装置。
（１４）
　前記推定部は、前記角度画像において前記角度が前記角度閾値以上となる画像領域であって面積が所定の面積閾値以上となる画像領域の前記角度に基づいて前記代表角度を算出する
　前記（１３）に記載の制御装置。
（１５）
　上空より地面側をセンシングして得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成し、上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定し、推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う処理を、信号処理装置が実行する
　制御方法。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ　撮像制御装置
Ｍ　移動体
Ａｔ　対象地域
Ｐｉ　撮像実行地点
Ｒｆ　飛行ルート
２，２Ｄ　撮像部
２１　ＲＧＢセンサ
２２　測距センサ
２３　ＲＧＢ画像生成部
２４　距離画像生成部
３，３Ｄ　信号処理部
３ａ　三次元点群生成部
３ｂ，３ｂＤ　地面向き推定部
３ｃ　点群データ生成部
４　メモリ部
５，５Ａ，５Ｂ，５Ｃ　制御部
６　位置センサ
７　アクチュエータ
８　ＩＭＵ
３１　法線ベクトル算出部
３２，３２Ｄ　角度画像生成部
３３　二値化処理部
３４　マスク部
３５　代表角度算出部
９　通信部
２５　偏光センサ
２６　偏光画像生成部

Claims (15)

  1. 　上空より地面側をセンシングすることで得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成する点群生成部と、
    　上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定する推定部と、
    　前記推定部が推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う制御部と、を備えた
    　制御装置。
  2. 　前記制御部は、前記地面の向きの情報に基づく前記センシングに係る制御として、前記地面の向きに応じたセンシング方向によるセンシングを実行させるための制御を行う
    　請求項１に記載の制御装置。
  3. 　前記制御部は、前記センシングに係る制御として、前記地面の向きに応じた方向にセンシング方向を変化させる制御を行う
    　請求項２に記載の制御装置。
  4. 　前記制御部は、前記センシング方向を変化させる制御として、前記センシング方向を予め定められた角度の方向に変化させる制御を行う
    　請求項３に記載の制御装置。
  5. 　前記制御部は、前記センシング方向を変化させる制御として、前記地面の向きに対して適応的に求められた目標角度が示す方向に前記センシング方向を変化させる制御を行う
    　請求項３に記載の制御装置。
  6. 　前記制御部は、前記三次元点群の生成のためのセンシング実行地点ごとに、前記推定部に前記地面の向きを推定させ、推定された前記地面の向きの情報に基づいて傾斜地判定を行い、現在の前記センシング実行地点が傾斜地でないと判定された場合は、次の前記センシング実行地点への到達を待機し、傾斜地であると判定された場合は、前記地面の向きに応じたセンシング方向で前記三次元点群の生成のためのセンシングを実行させる制御を行って、次の前記センシング実行地点への到達を待機する
    　請求項１に記載の制御装置。
  7. 　前記制御部は、前記センシングに係る制御として、前記推定部が推定した前記地面の向きの情報を前記点群生成部を備えた他装置に対して通知することで、前記他装置に前記地面の向きに応じたセンシング方向でのセンシングを実行させる制御を行う
    　請求項１に記載の制御装置。
  8. 　前記点群生成部は、距離画像としての前記センシング情報に基づいて前記三次元点群を生成する
    　請求項１に記載の制御装置。
  9. 　前記推定部は、距離画像としての前記撮像画像に基づいて前記地面の向きを推定する
    　請求項８に記載の制御装置。
  10. 　前記推定部は、前記点群生成部が生成した前記三次元点群に基づいて前記地面の向きを推定する
    　請求項９に記載の制御装置。
  11. 　前記推定部は、前記三次元点群における隣接関係にある点間の位置関係に基づいて前記地面における位置ごとの法線ベクトルを求め、該法線ベクトルに基づいて前記地面の向きを推定する
    　請求項１０に記載の制御装置。
  12. 　前記推定部は、偏光画像としての前記撮像画像に基づいて前記地面の向きを推定する
    　請求項１に記載の制御装置。
  13. 　前記推定部は、前記撮像画像に基づいて、画素ごとに前記地面の向く角度を示す角度画像を生成し、前記角度画像において前記角度が所定の角度閾値以上となる画像領域における前記角度に基づいて前記地面の代表的な向きを示す代表角度を算出する
    　請求項１に記載の制御装置。
  14. 　前記推定部は、前記角度画像において前記角度が前記角度閾値以上となる画像領域であって面積が所定の面積閾値以上となる画像領域の前記角度に基づいて前記代表角度を算出する
    　請求項１３に記載の制御装置。
  15. 　上空より地面側をセンシングして得られるセンシング情報に基づいて対象地域の三次元構造を示す三次元点群を生成し、上空より地面側を撮像して得られる撮像画像に基づいて前記地面の向きを推定し、推定した前記地面の向きの情報に基づいて、前記対象地域の三次元点群を生成するためのセンシングに係る制御を行う処理を、信号処理装置が実行する
    　制御方法。
PCT/JP2023/010024 2022-03-24 2023-03-15 制御装置、制御方法 WO2023182089A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022048085 2022-03-24
JP2022-048085 2022-03-24

Publications (1)

Publication Number Publication Date
WO2023182089A1 true WO2023182089A1 (ja) 2023-09-28

Family

ID=88101470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/010024 WO2023182089A1 (ja) 2022-03-24 2023-03-15 制御装置、制御方法

Country Status (1)

Country Link
WO (1) WO2023182089A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
JP2020043543A (ja) * 2018-09-13 2020-03-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
WO2020262060A1 (ja) * 2019-06-27 2020-12-30 ソニー株式会社 移動体、制御方法、およびプログラム
JP2021039726A (ja) * 2019-08-30 2021-03-11 楽天株式会社 制御装置、システム、及び、方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
JP2020043543A (ja) * 2018-09-13 2020-03-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
WO2020262060A1 (ja) * 2019-06-27 2020-12-30 ソニー株式会社 移動体、制御方法、およびプログラム
JP2021039726A (ja) * 2019-08-30 2021-03-11 楽天株式会社 制御装置、システム、及び、方法

Similar Documents

Publication Publication Date Title
US11675084B2 (en) Determining yaw error from map data, lasers, and cameras
US8577539B1 (en) Coded aperture aided navigation and geolocation systems
US11019322B2 (en) Estimation system and automobile
US10401872B2 (en) Method and system for collision avoidance
AU2015238768B2 (en) Motion estimation in real-time visual odometry system
JP2019049457A (ja) 画像処理装置および測距装置
US10589860B2 (en) Spherical infrared emitter
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
JP4333611B2 (ja) 移動体用の障害物検出装置
CN108496201A (zh) 图像处理方法和设备
US20110233322A1 (en) Navigation Method for a Missile
AU2022231762B2 (en) A bundle adjustment system
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
WO2023182089A1 (ja) 制御装置、制御方法
Shacklock et al. Visual guidance for autonomous vehicles: capability and challenges
WO2020215296A1 (zh) 可移动平台的巡线控制方法、设备、可移动平台及系统
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
WO2022239318A1 (ja) 移動体、移動制御方法、およびプログラム
US20150294465A1 (en) Vehicle position estimation system
WO2019049515A1 (ja) 作業機械の計測システム、作業機械、及び作業機械の計測方法
WO2021097807A1 (zh) 一种探测装置的外参数标定方法、装置及可移动平台
JP6227950B2 (ja) センサの指向制御方法と装置
WO2021035749A1 (zh) 三维重建模型的优化方法、设备和可移动平台
CN114761995A (zh) 图像处理方法、图像处理装置以及图像处理程序
JP7564742B2 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774686

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024510057

Country of ref document: JP

Kind code of ref document: A