WO2021053715A1 - 制御システムおよび制御方法 - Google Patents

制御システムおよび制御方法 Download PDF

Info

Publication number
WO2021053715A1
WO2021053715A1 PCT/JP2019/036378 JP2019036378W WO2021053715A1 WO 2021053715 A1 WO2021053715 A1 WO 2021053715A1 JP 2019036378 W JP2019036378 W JP 2019036378W WO 2021053715 A1 WO2021053715 A1 WO 2021053715A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
unmanned moving
unmanned
information
control system
Prior art date
Application number
PCT/JP2019/036378
Other languages
English (en)
French (fr)
Inventor
賢次 小関
好司 岸田
Original Assignee
株式会社トラジェクトリー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トラジェクトリー filed Critical 株式会社トラジェクトリー
Priority to JP2021546077A priority Critical patent/JPWO2021053715A1/ja
Priority to PCT/JP2019/036378 priority patent/WO2021053715A1/ja
Publication of WO2021053715A1 publication Critical patent/WO2021053715A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Definitions

  • This disclosure relates to a control system and a control method for an unmanned moving object.
  • Patent Document 1 discloses a system for grasping a self-position using distance measurement data and two-dimensional image data.
  • an object of the present invention is to provide a technique for accurately and easily estimating the self-position of an unmanned moving body without relying on GPS.
  • the unmanned moving body includes a first unmanned moving body having an inertial sensor and a second unmanned moving body.
  • a movement position estimation unit that estimates the movement position of the first unmanned moving body in the space based on information related to inertial navigation acquired by using the inertial sensor of the first unmanned moving body, and the second unmanned moving body.
  • the second unmanned moving body and the first unmanned moving body in the space are obtained from the spatial information acquired by using a sensor for acquiring spatial information provided in at least one of the body or the first unmanned moving body.
  • the first unmanned movement is based on the information related to the positional relationship between the second unmanned moving body and the first unmanned moving body in the space and the positional relationship acquisition unit that acquires the information related to the positional relationship with the first unmanned moving body.
  • a control system including a moving position correction unit that corrects an estimation result of the moving position in the space of the body is provided.
  • the unmanned moving body includes a first unmanned moving body having an inertial sensor and a second unmanned moving body.
  • the step of estimating the moving position of the first unmanned moving body in the space based on the information related to the inertial navigation acquired by using the inertial sensor of the first unmanned moving body, and the second unmanned moving body.
  • the second unmanned moving body and the first unmanned moving body in the space Based on the step of acquiring the information related to the positional relationship of the first unmanned moving body and the information related to the positional relationship between the second unmanned moving body and the first unmanned moving body in the space, the space of the first unmanned moving body.
  • a control method including a step of correcting the estimation result of the moving position in the above is provided.
  • the self-position of an unmanned moving object can be estimated with high accuracy and easily without relying on GPS.
  • the air vehicle according to the embodiment of the present disclosure has the following configuration.
  • (Item 1) A control system that controls an unmanned moving object that moves in space.
  • the unmanned moving body includes a first unmanned moving body having an inertial sensor and a second unmanned moving body.
  • a moving position estimation unit that estimates the moving position of the first unmanned moving body in the space based on the information related to inertial navigation acquired by using the inertial sensor of the first unmanned moving body.
  • the positional relationship acquisition unit that acquires information related to the positional relationship with the first unmanned moving object, Movement position correction that corrects the estimation result of the movement position of the first unmanned moving body in the space based on the information related to the positional relationship between the second unmanned moving body and the first unmanned moving body in the space.
  • Information 2 A position information acquisition unit for acquiring the position information of the second unmanned moving body is provided.
  • the control system according to item 3 wherein the camera is provided in the second unmanned moving body.
  • the positional relationship acquisition unit has information obtained by imaging the first unmanned moving body at the first position of the second unmanned moving body and a second unmanned moving body different from the first position. Based on the information obtained by imaging the first unmanned moving body at the position 2, the information relating to the positional relationship between the second unmanned moving body and the first unmanned moving body in the space is acquired.
  • the control system according to item 4. (Item 6) The moving position correction unit is based on the amount of movement of the first unmanned moving body in the time between the imaging time at the first position and the imaging time at the second position of the second unmanned moving body. The control system according to item 5, wherein the estimation result of the moving position of the first unmanned moving body in the space is corrected. (Item 7) Item 5 or 6, wherein the first unmanned moving body is controlled to be located at the same position at the imaging time at the first position and the imaging time at the second position of the second unmanned moving body, respectively. Control system. (Item 8) The control system according to any one of items 3 to 7, wherein the camera includes a depth camera or a stereo camera.
  • the control system according to any one of items 1 to 8, wherein at least one of the first unmanned moving body and the second unmanned moving body includes a receiver as a sensor for acquiring the spatial information.
  • Item 10 Item 1 to any one of items 1 to 9, wherein at least one of the first unmanned moving body and the second unmanned moving body includes LiDAR (Light Detection and Ranking) as a sensor for acquiring the spatial information.
  • the control system described. It is a control method that controls an unmanned moving object that moves in space.
  • the unmanned moving body includes a first unmanned moving body having an inertial sensor and a second unmanned moving body.
  • the step of acquiring information related to the positional relationship with the first unmanned moving object and A step of correcting the estimation result of the moving position of the first unmanned moving body in the space based on the information related to the positional relationship between the second unmanned moving body and the first unmanned moving body in the space.
  • Control methods including.
  • FIG. 1 is a diagram showing an outline of a control system 1 for an unmanned moving object according to the present embodiment.
  • control system 1 for an unmanned moving body is composed of a control device 10, an unmanned moving body 20, and an unmanned moving body 30.
  • the control device 10 is connected to at least the unmanned mobile body 20 via a network such as the Internet.
  • networks include local area networks (LAN), wide area networks (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like.
  • the unmanned moving body 20 for example, an unmanned flight that can autonomously fly based on control information (including, for example, GPS information) obtained in advance from the control device 10, or can be operated or controlled by the control device 10 by remote control information.
  • the body eg, drone, etc.
  • the unmanned moving body 20 refers to the control device 10 with predetermined information, for example, flight position information (latitude, longitude, altitude, etc.) of the unmanned moving body 20, flight path, battery usage / remaining amount, flight speed, and the like. Information such as flight time, acceleration, tilt, and other operating conditions of the device can be transmitted automatically or in response to a request from the control device 10.
  • an unmanned aerial vehicle is shown in FIG. 1, but the moving body may be, for example, a vehicle or a ship, and may be a moving body that operates by a control signal. The form is not particularly limited.
  • the unmanned moving body 20 according to the present embodiment is an example of the second unmanned moving body.
  • the unmanned moving body 30 includes, for example, an unmanned aerial vehicle (for example, a drone).
  • the unmanned moving body 20 and the unmanned moving body 30 may have the same type of function, or may have other types of functions.
  • the unmanned moving body 30 may be connected to the unmanned moving body 20 via, for example, infrared rays, WiFi, Bluetooth (registered trademark), BLE (Bluetooth Low Energy), wired or the like.
  • the unmanned moving body 30 is in a place where the control information from the control device 10 is difficult to reach (for example, outside the radio range from the control device 10) or a place where the control information cannot be reached accurately (for example, under a bridge).
  • the unmanned moving body 30 and the control device 10 may communicate with each other via the unmanned moving body 20.
  • the unmanned moving body 30 is an example of the first unmanned moving body.
  • the unmanned moving body 20 has a position information sensor such as GPS and is located within a radio wave range where the GPS system can be used, and the unmanned moving body 30 has a position information sensor. It is assumed that the environment is such that the GPS system cannot be used (outside the radio range).
  • the position of the unmanned moving body 30 is information related to inertial navigation obtained by using an inertial sensor such as an acceleration sensor or a gyro sensor loaded on the unmanned moving body 30 (for example, a velocity / acceleration vector at an arbitrary time, etc.).
  • the error may gradually increase with respect to the absolute position information only by accumulating the information related to the inertial navigation. Therefore, the accuracy of the originally planned control to the moving position may not be sufficient.
  • the control system 1 obtains an estimated position of the unmanned moving body 30 estimated from the information related to inertial navigation obtained from the unmanned moving body 30 from a sensor provided in at least one of the unmanned moving bodies.
  • the estimated position of the unmanned moving body 30 in the space is corrected by using the spatial information obtained.
  • Such spatial information is information based on the detection result when, for example, the unmanned moving body 30 is detected in space.
  • the self-position of the unmanned moving body 30 can be estimated with higher accuracy even if the absolute position information of the unmanned moving body 30 cannot be obtained. That is, even in an environment where it is difficult to detect the self-position of the unmanned moving body 30 such as a non-GPS environment, the accuracy of the movement control of the unmanned moving body 30 can be improved.
  • FIG. 2 is a diagram showing a hardware configuration of the control device 10.
  • the illustrated configuration is an example, and may have other configurations.
  • control device 10 is connected to a database (not shown) to form a part of the system.
  • the control device 10 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the control device 10 includes at least a control unit 11, a memory 12, a storage 13, a communication unit 14, an input / output unit 15, and the like, and these are electrically connected to each other through a bus 16.
  • the control unit 11 is an arithmetic unit that controls the operation of the entire control device 10, controls the transmission and reception of data between each element, and performs information processing and the like necessary for application execution and authentication processing.
  • the control unit 11 is a CPU (Central Processing Unit), and executes each information processing by executing a program or the like stored in the storage 13 and expanded in the memory 12.
  • the memory 12 includes a main memory composed of a volatile storage device such as DRAM (Dynamic Random Access Memory) and an auxiliary storage composed of a flash memory or a non-volatile storage device such as HDD (Hard Disc Drive). ..
  • the memory 12 is used as a work area or the like of the control unit 11, and also stores a BIOS (Basic Input / Output System) executed when the control device 10 is started, various setting information, and the like.
  • BIOS Basic Input / Output System
  • the storage 13 stores various programs such as application programs.
  • a database storing data used for each process may be built in the storage 13.
  • the communication unit 14 connects the control device 10 to the network and / or the blockchain network.
  • the communication unit 14 may be provided with a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).
  • the input / output unit 15 is an information input device such as a keyboard and a mouse, and an output device such as a display.
  • the bus 16 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
  • FIG. 3 is a functional block diagram of the unmanned moving body 20 according to the present embodiment.
  • FIG. 3 illustrates a functional block diagram of the unmanned moving body 20
  • the unmanned moving body 30 may have the same configuration as the configuration disclosed in FIG. 3, or may have a partially different configuration. There may be.
  • the following functional block diagram is described as a concept stored in a single device (unmanned aerial vehicle in FIG. 3) for the sake of simplicity, but for example, some of its functions are described as an external device (unmanned aerial vehicle). For example, it may be logically configured by exerting it on the control device 10) or by using cloud computing technology.
  • the flight controller 21 can have one or more processors such as a programmable processor (for example, a central processing unit (CPU)).
  • a programmable processor for example, a central processing unit (CPU)
  • CPU central processing unit
  • the flight controller 21 has a memory 211 and can access the memory.
  • Memory 211 stores logic, code, and / or program instructions that the flight controller 21 can execute to perform one or more steps.
  • the memory 211 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device.
  • the data acquired from the external device 25 such as the camera 251 or the sensor 252 may be directly transmitted and stored in the memory 211.
  • still image / moving image data taken by a camera or the like is recorded in an internal memory or an external memory.
  • the external device 25 is installed on the flying object via the gimbal 24.
  • the flight controller 21 includes a control unit 212 configured to control the state of the flying object.
  • the control unit 212 adjusts the spatial arrangement, velocity, and / or acceleration of an air vehicle having six degrees of freedom (translational motion x, y and z, and rotational motion ⁇ x , ⁇ y and ⁇ z).
  • the propulsion mechanism (motor 27, etc.) of the flying object is controlled via the ESC (Electric Speed Controller) 26.
  • the motor 27 rotates the propeller 28 to generate lift of the flying object.
  • the control unit 212 can control one or more of the states of the mounting unit and the sensors.
  • the flight controller 21 is a transmitter / receiver configured to transmit and / or receive data from one or more external devices (eg, transmitter / receiver (propo), terminal, display device, or other remote controller). It is possible to communicate with 23.
  • the transmitter / receiver can use any suitable communication means such as wired communication or wireless communication.
  • the transmission / reception unit 23 is one or more of a local area network (LAN), a wide area network (WAN), infrared rays, wireless, wired, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like. Can be used.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • the transmission / reception unit 23 transmits and / or transmits one or more of data acquired by a camera or various sensors, a processing result generated by the flight controller 21, predetermined control data, a user command from a terminal or a remote controller, and the like. Or you can receive it.
  • communication with the control device 10 and communication between unmanned moving bodies can be performed via the transmission / reception unit 23.
  • the sensor 252 (included in the external device 25) according to the present embodiment includes an inertial sensor (acceleration sensor, gyro sensor), a positioning sensor (GPS sensor), a distance measuring sensor (for example, a laser sensor, an ultrasonic sensor, and a LiDAR (for example). )), Or may include geomagnetic sensors. It also includes as a sensor or a vision / image sensor (eg, camera 251). Although details will be described later, the distance measuring sensor and the vision / image sensor are examples of sensors for acquiring spatial information.
  • the external device 25 may include an oscillator 253.
  • the oscillating device 253 can be, for example, a laser oscillating device corresponding to a laser sensor, or an ultrasonic oscillating device corresponding to an ultrasonic sensor.
  • the oscillator 253 may be, for example, a device that emits visible light, infrared rays, or the like. The output pattern of the output signal by the oscillator 253 can be appropriately controlled.
  • FIG. 4 is a block diagram showing the function of the control unit 11 in the control device 10 according to the present embodiment.
  • the configuration shown in FIG. 4 is an example, and is not limited to this.
  • the control unit 11 includes a position information acquisition unit 111, a movement position estimation unit 112, a positional relationship acquisition unit 113, and a movement position correction unit 114.
  • the position information acquisition unit 111 acquires the position information of the unmanned moving body 20.
  • the position information of the unmanned moving body 20 is generated by the positioning sensor (GPS sensor) of the unmanned moving body 20.
  • the position information of the unmanned moving body 20 is continuously transmitted to the control device 10 via the transmission / reception unit 23 of the unmanned moving body 20.
  • the position information acquisition unit 111 acquires the position information of the unmanned moving body 20 via the communication unit 14, and stores the position information in the storage 13 or the like.
  • the unmanned moving body 30 When the unmanned moving body 30 is in a situation where its own position can be estimated by a positioning sensor or the like and the unmanned moving body 30 is in a position where it can communicate with the control device 10, the unmanned moving body 30 is operated by the position information acquisition unit 111. You may acquire the position information of.
  • the moving position estimation unit 112 estimates the moving position of the unmanned moving body 30. Specifically, the moving position estimation unit 112 is based on information related to inertial navigation acquired by using an inertial sensor (for example, a sensor 252 or a sensor of the flight controller 21) of the unmanned moving body 30. The moving position of the unmanned moving body 30 in space is estimated.
  • an inertial sensor for example, a sensor 252 or a sensor of the flight controller 21
  • the information related to inertial navigation is information related to the history of movement of the unmanned moving body 30 in space, such as a velocity / acceleration vector at an arbitrary time. For example, when the unmanned moving body 30 is in the position LA at the time t1, the position LB at the time t2 can be estimated from the history of the velocity and acceleration of the unmanned moving body 30 from the time t1 to t2.
  • the moving position estimation unit 112 stores information related to the estimated position of the unmanned moving body 30 in the storage 13 or the like.
  • the positional relationship acquisition unit 113 acquires information related to the positional relationship between the unmanned moving body 20 and the unmanned moving body 30 from the spatial information acquired by using the sensor for acquiring the spatial information.
  • the sensor for acquiring the spatial information can be, for example, the camera 251 as shown in FIG.
  • the camera 251 is provided in the unmanned moving body 20.
  • the camera 251 of the unmanned moving body 20 images (senses) the space including the unmanned moving body 30.
  • the obtained captured image data is transmitted to the control device 10 as spatial information.
  • the positional relationship acquisition unit 113 analyzes the captured image to identify the image of the unmanned moving body 30, and acquires the positional relationship between the unmanned moving body 20 and the unmanned moving body 30.
  • a known image analysis means can be used as a means for acquiring the positional relationship between the two unmanned moving bodies.
  • the positional relationship acquisition unit 113 stores the acquired information related to the positional relationship between the two unmanned moving bodies in the storage 13 or the like.
  • the camera 251 may be a depth camera or a stereo camera. In this case, since the depth information of the space can be further obtained, the positional relationship between the two unmanned moving bodies becomes more accurate.
  • the camera 251 may be an ordinary digital camera or the like. A means for acquiring information relating to the positional relationship between two unmanned moving bodies with higher accuracy when a normal digital camera is used will be described later. Further, an example in which another sensor is used and a variation of the load target of the sensor will be described later.
  • the unmanned moving body 30 which is the target of estimating the moving position may be provided with a light emitting device (not shown).
  • a light emitting device not shown.
  • the movement position correction unit 114 corrects the estimated movement position of the unmanned moving body 30. Specifically, the moving position correction unit 114 corrects the estimation result of the moving position in the space of the unmanned moving body 30 based on the information related to the positional relationship between the two unmanned moving bodies. In such a correction, for example, the information relating to the position of the unmanned moving body 20 after movement, the information relating to the positional relationship between the two unmanned moving bodies described above, and the estimated movement position of the unmanned moving body 30 are matched. It is done by. That is, the moving position estimated from the information related to the inertial navigation of the unmanned moving body 30 is the relative position information of the unmanned moving body 30 obtained by analyzing the captured image acquired by the camera 251 of the unmanned moving body 20. It is corrected based on the calculated deviation amount.
  • the moving position correction unit 114 may correct the estimation result of the moving position of the unmanned moving body 30 by further using the position information of the unmanned moving body 20, for example.
  • the position information obtained by the unmanned moving body 20 By GPS or the like, the absolute position information is reflected in the correction. Thereby, the position of the unmanned moving body 30 can be corrected more accurately.
  • Information after correction of the estimation result of the moving position of the unmanned moving body 30 by the moving position correction unit 114 can be stored in the storage 13 or the like.
  • the information related to the corrected movement position is updated as the position after the movement of the unmanned moving body 30. Therefore, for example, the control device 10 can adjust the parameters related to the drive control of the unmanned moving body 30 from the moving position after the update.
  • FIG. 5 is a flowchart of various controls of the control device 10, the unmanned moving body 20, and the unmanned moving body 30 in the control system 1 according to the present embodiment.
  • the unmanned moving body 20 and the unmanned moving body 30 move, respectively (step SQ101, step SQ103).
  • the position information acquisition unit 111 of the control device 10 acquires position information and the like from the unmanned moving body 20 (step SQ105). Such position information may be acquired sequentially, or may be acquired at the time of sensing of the unmanned moving body 30.
  • control device 10 acquires information related to inertial navigation from the unmanned moving body 30 (step SQ107).
  • Information related to such inertial navigation may be acquired sequentially, or may be acquired at the time of sensing of the unmanned moving body 30.
  • the moving position estimation unit 112 of the control device 10 estimates the moving position of the unmanned moving body 30 based on the information related to the inertial navigation (step SQ109). Such estimation processing may be performed sequentially or intermittently.
  • the unmanned moving body 20 performs sensing of the space including the unmanned moving body 30 (for example, imaging by the camera 251) (step SQ111). Sensing by the unmanned moving body 20 may be performed sequentially or intermittently.
  • the control device 10 acquires the spatial information obtained by sensing the unmanned moving body 20 from the unmanned moving body 20 (step SQ113).
  • the positional relationship acquisition unit 113 acquires the positional relationship between the two unmanned moving bodies from the spatial information (step SQ115). Then, the moving position correction unit 114 corrects the estimation result of the moving position obtained in step SQ109 based on the information related to the relationship of such positions (step SQ117). Such processing is performed for each movement of the unmanned moving body (for example, every predetermined time and for each predetermined distance, etc.).
  • the unmanned moving body 30 may, for example, take a picture of an inspection target with a camera 251 provided in the unmanned moving body 30. The operation according to the application may also be carried out.
  • the moving position estimated by the information related to the inertial navigation of the unmanned moving body is set by the camera loaded on the unmanned moving body. Correction is performed using the spatial information obtained by using a sensor such as.
  • a sensor such as.
  • FIG. 6 is a diagram showing an outline of the control system 2 for an unmanned moving object according to the present embodiment. Since the components of the control system 2 and the functions of the components are the same as those of the first embodiment of the present disclosure, detailed description thereof will be omitted.
  • the unmanned moving body 20 includes a camera 251 as a sensor for acquiring spatial information.
  • a camera 251 is, for example, a digital camera or the like.
  • Depth information is not included in the captured image obtained by capturing the unmanned moving body 30 with a digital camera. Therefore, the accuracy of the positional relationship with the unmanned moving body 30 is not high in the imaging at only one place by the unmanned moving body 20.
  • the unmanned moving body 20 first images the unmanned moving body 30 at the position L1 at the position L1, and then is different from the position L3 at the position L2 which is a position different from the position L1.
  • the unmanned moving body 30 at the position L4 is imaged.
  • the obtained image data (spatial information) is transmitted to the control device 10.
  • the positional relationship acquisition unit 113 acquires the positional relationship between the two unmanned moving bodies based on the information.
  • the unmanned moving body 30 can move from the position L3 to the position L4.
  • the unmanned moving body 20 at the position L1 images the unmanned moving body 30 at the position L3
  • the unmanned moving body 20 at the position L2 images the unmanned moving body 30 at the position L4.
  • the positional relationship acquisition unit 113 is, for example, from the position L3 to the position L4 of the unmanned moving body 30.
  • the amount of movement eg, which can be obtained from information relating to inertial navigation
  • the relationship between the positions of the unmanned moving body 30 from the unmanned moving body 20 can be obtained with high accuracy in consideration of the influence of the movement of the unmanned moving body 30.
  • FIG. 7 is a diagram showing an outline of the control system 3 for an unmanned moving object according to the present embodiment. Since the components of the control system 3 and the functions of the components are the same as those in the first embodiment of the present disclosure, detailed description thereof will be omitted.
  • the unmanned moving body 20 includes a camera 251 as a sensor for acquiring spatial information, as in the second embodiment.
  • a camera 251 is, for example, a digital camera or the like.
  • the unmanned moving body 20 first images the unmanned moving body 30 at the position L3 at the position L1. After that, the unmanned moving body 30 is imaged at the position L2, which is a position different from the position L1.
  • the unmanned moving body 20 moves to the position L2, the unmanned moving body 30 is controlled to be located at the same position L3.
  • the obtained image data (spatial information) is transmitted to the control device 10.
  • the positional relationship acquisition unit 113 acquires the positional relationship between the two unmanned moving bodies based on the information.
  • the unmanned moving body 20 images the unmanned moving body 30 existing at the same position at different positions. Thereby, the depth information of the unmanned moving body 30 can be obtained from the two images including the unmanned moving body 30 located at the position L3. Therefore, it is possible to correct the estimation result of the moving position of the unmanned moving body 30 with higher accuracy.
  • FIG. 8 is a diagram showing an outline of the control system 4 of the unmanned moving body according to the present embodiment. Since the components of the control system 4 and the functions of the components are the same as those of the first embodiment of the present disclosure, detailed description thereof will be omitted.
  • the unmanned moving body 30 Provided a camera 251 as a sensor for acquiring spatial information. That is, unlike the above embodiment, the unmanned moving body 30 which is the estimation target of the moving position is provided with a sensor for acquiring spatial information.
  • the unmanned moving body 30 captures a space including the unmanned moving body 20 to obtain an captured image.
  • Such captured image data becomes spatial information.
  • the captured image data is transmitted to the control device 10.
  • the positional relationship acquisition unit 113 acquires the positional relationship between the two unmanned moving bodies based on the spatial information.
  • the positional relationship is estimated from the image of the unmanned moving body 20 included in the captured image.
  • a self-position estimation means such as SLAM (Simultaneus Localization And Mapping) can be used.
  • the unmanned moving body 30 which is the target of the position estimation is provided with a sensor such as a camera, it is possible to correct the estimation result of the moving position of the unmanned moving body 30.
  • the unmanned moving body 20 may be provided with a light emitting device (not shown).
  • the camera 251 captures the light emitted by the light emitting device of the unmanned moving body 20 or the light emitting pattern thereof, which facilitates the identification of the unmanned moving body 20 and more reliably obtains the spatial information of the space including the unmanned moving body 20. Can be done.
  • FIG. 9 is a diagram showing an outline of the control system 5 for an unmanned moving object according to the present embodiment. Since the components of the control system 5 and the functions of the components are the same as those in the first embodiment of the present disclosure, detailed description thereof will be omitted.
  • the unmanned moving body 20 is provided with an oscillator 253, and the unmanned moving body 30 is a receiver 252 as a sensor for acquiring spatial information.
  • the oscillator 253 can be, for example, a laser oscillator.
  • the receiver 252 is a receiver corresponding to these types of oscillators.
  • the unmanned moving body 30 receives the laser oscillated from the unmanned moving body 20.
  • Information on the direction, intensity, and the like of the laser received by the unmanned moving body 30 is transmitted to the control device 10 as spatial information. Based on such spatial information, the positional relationship between the two unmanned moving bodies can be acquired.
  • the example in which the oscillator 253 is provided in the unmanned moving body 20 and the receiver 252 is provided in the unmanned moving body 30 has been described, but the receiver 252 is provided in the unmanned moving body 20 and the unmanned moving body 20 is provided.
  • An oscillator 253 may be provided on the body 30. In this case, information regarding the direction, intensity, and the like of the laser received by the unmanned moving body 20 can be transmitted to the control device 10.
  • both the oscillator 253 and the receiver 252 may be provided in either one of the unmanned moving bodies.
  • the unmanned moving body 20 when the unmanned moving body 20 is provided with an oscillator 253 and a receiver 252, the unmanned moving body 20 may oscillate a laser and receive a reflected wave reflected from the unmanned moving body 30.
  • information relating to the direction and distance of the unmanned moving body 30 can be obtained as spatial information.
  • these oscillators 253 and receiver 252 may be integrated as LiDAR. As a result, it is possible to obtain information on the direction and distance of the other unmanned moving body simply by mounting it on one of the unmanned moving bodies.
  • each unmanned moving body communicates with the control device 10, but the present technology is not limited to such an example.
  • the unmanned moving body 30 when the unmanned moving body 30 exists in an environment where communication with the control device 10 is difficult, the unmanned moving body 30 transmits information related to inertial navigation to the control device 10 via the unmanned moving body 20. May be good.
  • the device described in the present specification may be realized as a single device, or may be realized by a plurality of devices (for example, a cloud server) in which some or all of them are connected by a network.
  • the control unit 11 and the storage 13 of the control device 10 may be realized by different servers connected to each other by a network.
  • the series of processes by the apparatus described in the present specification may be realized by using software, hardware, or a combination of software and hardware. It is possible to create a computer program for realizing each function of the control device 10 according to the present embodiment and implement it on a PC or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via, for example, a network without using a recording medium.
  • the air vehicle disclosed in this disclosure can be expected to be used as an industrial air vehicle in surveys, surveys, observations, etc.
  • the aircraft of the present disclosure can be used in airplane-related industries such as multicopter drones, and further, through this disclosure, it contributes to the improvement of the safety related to the flight of these aircraft and the aircraft. be able to.
  • Control system 10 Control device 20 Unmanned moving body 30 Unmanned moving body

Abstract

【課題】ＧＰＳに依らずに無人移動体の自己位置を精度高くかつ容易に推定することができる制御システムを提供すること。 【解決手段】本開示に係る無人移動体の制御システムは、第１無人移動体の慣性センサを用いて取得される慣性航法に係る情報に基づいて、第１無人移動体の空間における移動位置を推定する移動位置推定部と、第２無人移動体または第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、空間における第２無人移動体と第１無人移動体との位置の関係に係る情報を取得する位置関係取得部と、空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、第１無人移動体の前記空間における前記移動位置の推定結果を補正する移動位置補正部と、を備える。

Description

制御システムおよび制御方法
　本開示は、無人移動体の制御システムおよび制御方法に関する。
　近年、ドローン（Ｄｒｏｎｅ）または無人航空機などの無人飛行体を利用した様々なサービスが提供されている。
　これらの無人飛行体の制御にはＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）が多く用いられているが、構造物の点検時などにはＧＰＳの電波が無人飛行体に届かなかったり、ＧＰＳの電波が構造物に反射してマルチパス現象が発生したりすることもあり、ＧＰＳに頼らない飛行制御も必要となっている。たとえば、特許文献１には、測距データと２次元画像データとを用いて自己位置を把握するシステムが開示されている。
特開２０１６－１１１４１４号公報
　しかしながら、特許文献１に記載のシステムでは、自己位置を推定するために、測距データの情報と、移動ベクトル算出装置による２枚の画像の解析結果と、に基づき移動ベクトルを求めるなどの複雑な計算処理等を行っていた。そのため複雑な計算処理によるレイテンシが生じ、無人飛行体の自己位置を精度高く、かつ容易に得ることは困難であった。
　そこで、本発明はこのような背景を鑑みてなされたものであり、ＧＰＳに依らずに無人移動体の自己位置を精度高くかつ容易に推定する技術を提供することを目的とする。
　本開示によれば、空間を移動する無人移動体を制御する制御システムであって、前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定する移動位置推定部と、前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得する位置関係取得部と、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正する移動位置補正部と、を備える制御システムが提供される。
　また、本開示によれば、空間を移動する無人移動体を制御する制御方法であって、前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定するステップと、前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得するステップと、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正するステップと、を含む制御方法が提供される。
　本開示によれば、ＧＰＳに依らずに無人移動体の自己位置を精度高くかつ容易に推定することができる。
本開示の第１の実施形態に係る無人移動体の制御システムの概要を示す図である。 同実施形態に係る制御装置のハードウェア構成を示す図である。 同実施形態に係る無人移動体の機能ブロック図である。 同実施形態に係る制御装置における制御部の機能を示すブロック図である。 同実施形態に係る制御システムにおける制御装置、無人移動体および無人移動体の各種制御に係るフローチャート図である。 本開示の第２の実施形態に係る無人移動体の制御システムの概要を示す図である。 本開示の第３の実施形態に係る無人移動体の制御システムの概要を示す図である。 本開示の第４の実施形態に係る無人移動体の制御システムの概要を示す図である。 本開示の第５の実施形態に係る無人移動体の制御システムの概要を示す図である。
　本開示の実施形態の内容を列記して説明する。本開示の実施の形態による飛行体は、以下のような構成を備える。
（項目１）
　空間を移動する無人移動体を制御する制御システムであって、
　前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、
　前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定する移動位置推定部と、
　前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得する位置関係取得部と、
　前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正する移動位置補正部と、
を備える制御システム。
（項目２）
　前記第２無人移動体の位置情報を取得する位置情報取得部を備え、
　前記移動位置補正部は、前記第２無人移動体の位置情報を用いて前記第１無人移動体の前記移動位置の推定結果を補正する、項目１に記載の制御システム。
（項目３）
　前記空間情報を取得するためのセンサは、カメラを含む、項目１または２に記載の制御システム。
（項目４）
　前記カメラは、前記第２無人移動体に備えられる、項目３に記載の制御システム。
（項目５）
　前記位置関係取得部は、前記第２無人移動体が第１の位置で前記第１無人移動体を撮像して得られる情報と、前記第２無人移動体が前記第１の位置とは異なる第２の位置で前記第１無人移動体を撮像して得られる情報とに基づいて、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得する、項目４に記載の制御システム。
（項目６）
　前記移動位置補正部は、前記第２無人移動体の第１の位置での撮像時刻と第２の位置での撮像時刻との間の時間における前記第１無人移動体の移動量に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正する、項目５に記載の制御システム。
（項目７）
　前記第１無人移動体は、前記第２無人移動体の第１の位置での撮像時刻と第２の位置の撮像時刻のそれぞれにおいて、同位置に位置するよう制御される項目５または６に記載の制御システム。
（項目８）
　前記カメラは、デプスカメラまたはステレオカメラを含む、項目３～７のいずれか１項に記載の制御システム。
（項目９）
　前記第１無人移動体および前記第２無人移動体の少なくともいずれかは、前記空間情報を取得するためのセンサとして、受信器を備える、項目１～８のいずれか１項に記載の制御システム。
（項目１０）
　前記第１無人移動体および前記第２無人移動体の少なくともいずれかは、前記空間情報を取得するためのセンサとして、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を備える、項目１～９のいずれか１項に記載の制御システム。
（項目１１）
　空間を移動する無人移動体を制御する制御方法であって、
　前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、
　前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定するステップと、
　前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得するステップと、
　前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正するステップと、
　を含む制御方法。
　以下、本開示の第１の実施形態に係る無人移動体の制御システムについて、図面を参照しながら説明する。図１は、本実施形態に係る無人移動体の制御システム１の概要を示す図である。
　図１に示すように、無人移動体の制御システム１は、制御装置１０、無人移動体２０および無人移動体３０から構成される。
　制御装置１０は、インターネット等のネットワークを介して、少なくとも無人移動体２０と接続する。ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等が挙げられる。
　無人移動体２０として、例えば、制御装置１０から事前に得た制御情報（例えばＧＰＳ情報を含む）に基づき自律飛行する、または、制御装置１０により遠隔からの制御情報により操作または制御され得る無人飛行体（例えば、ドローン等）が挙げられる。無人移動体２０は、制御装置１０に対して、所定の情報、例えば、無人移動体２０の飛行位置情報（緯度、経度、高度等）、飛行経路、バッテリの使用量／残量、飛行速度、飛行時間、加速度、傾き、その他機器の動作状況等の情報を、自動または制御装置１０からの要求に応じて送信し得る。なお、本実施形態の無人移動体の具体的例として、図１では無人飛行体を示しているが、移動体としては、例えば、車両や船舶などでもよく、制御信号により動作する移動体であれば特に形態は限定されない。本実施形態に係る無人移動体２０は、第２無人移動体の一例である。
　無人移動体３０は、例えば、無人飛行体（例えば、ドローン等）が挙げられる。無人移動体２０と無人移動体３０は、同種の機能を有するものであってもよく、他の種類の機能を有するものであってもよい。
　本実施形態に係る無人移動体３０は、無人移動体２０と、例えば、赤外線、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）、有線等を介して互いに接続されていてもよい。例えば、具体例は後述するが、無人移動体３０が屋内や橋梁下など、制御装置１０からの制御情報が届きにくい場所（例えば、制御装置１０からの電波圏外）または正確に届かない場所（例えば、マルチパス現象の状況下）を移動する場合、無人移動体３０と制御装置１０とは、無人移動体２０を介して通信してもよい。なお、無人移動体３０は、第１無人移動体の一例である。
　本実施形態に係る制御システム１においては、例えば、無人移動体２０はＧＰＳ等の位置情報センサを有し、ＧＰＳシステムの利用が可能である電波圏内に位置し、無人移動体３０は位置情報センサを有しない、またはＧＰＳシステムが利用できない環境（電波圏外）にあるものとする。その際、無人移動体３０の位置は、無人移動体３０に積載される加速度センサまたはジャイロセンサ等の慣性センサを用いて得られる慣性航法に係る情報（例えば、任意の時刻における速度・加速度ベクトル等）から推定される。しかしながら、慣性航法に係る情報の蓄積だけでは、絶対的な位置情報に対して誤差が次第に大きくなり得る。そのため、当初予定していた移動位置への制御の精度が十分でない可能性がある。
　そこで、本実施形態に制御システム１は、無人移動体３０から得られる慣性航法に係る情報から推定される無人移動体３０の推定位置を、少なくともいずれかの無人移動体に備えられたセンサから得られる空間情報を用いて、空間における無人移動体３０の推定位置を補正する。かかる空間情報は、例えば無人移動体３０を空間において検出した際の検出結果に基づく情報である。これにより、無人移動体３０の絶対的な位置情報が得られなくとも、無人移動体３０の自己位置をより高い精度で推定することができる。すなわち、非ＧＰＳ環境など無人移動体３０の自己位置検出が難しい環境においても、無人移動体３０の移動制御の精度を高くすることができる。
　以下、本実施形態に係る制御システム１の各構成について説明する。
　図２は、制御装置１０のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　図示されるように、制御装置１０は、データベース（図示せず）と接続されシステムの一部を構成する。制御装置１０は、例えばワークステーションまたはパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウドコンピューティングによって論理的に実現されてもよい。
　制御装置１０は、少なくとも、制御部１１、メモリ１２、ストレージ１３、通信部１４および入出力部１５等を備え、これらはバス１６を通じて相互に電気的に接続される。
　制御部１１は、制御装置１０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１１はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１３に格納されメモリ１２に展開されたプログラム等を実行して各情報処理を実施する。
　メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、制御装置１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１３に構築されていてもよい。
　通信部１４は、制御装置１０をネットワークおよび／またはブロックチェーンネットワークに接続する。なお、通信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。
　入出力部１５は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１６は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
　図３は、本実施形態に係る無人移動体２０の機能ブロック図である。なお、図３では無人移動体２０の機能ブロック図を例示しているが、無人移動体３０は、図３に開示された構成と同一の構成であってもよいし、一部が異なる構成であってもよい。また、以下の機能ブロック図は説明を簡単にするために、単一のデバイス（図３では無人飛行体）に格納された概念として記載しているが、例えば、その一部機能を外部デバイス（例えば、制御装置１０）に発揮させたり、クラウドコンピューティング技術を利用することによって論理的に構成されていてもよい。
　フライトコントローラ２１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　フライトコントローラ２１は、メモリ２１１を有しており、当該メモリにアクセス可能である。メモリ２１１は、１つ以上のステップを行うためにフライトコントローラ２１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。
　メモリ２１１は、例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ２５１またはセンサ２５２等の外部機器２５から取得したデータは、メモリ２１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。外部機器２５は飛行体にジンバル２４を介して設置される。
　フライトコントローラ２１は、飛行体の状態を制御するように構成された制御部２１２を含んでいる。例えば、制御部２１２は、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）２６を経由して飛行体の推進機構（モータ２７等）を制御する。モータ２７によりプロペラ２８が回転することで飛行体の揚力を生じさせる。制御部２１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ２１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２３と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部２３は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、有線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部２３は、カメラまたは各種センサにより取得されたデータ、フライトコントローラ２１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。なお、本実施形態においては、制御装置１０との通信および無人移動体間の通信は、この送受信部２３を介して行われ得る。
　本実施の形態に係るセンサ２５２（外部機器２５に含まれる）は、慣性センサ（加速度センサ、ジャイロセンサ）、測位センサ（ＧＰＳセンサ）、測距センサ（例えば、レーザーセンサ、超音波センサ、ＬｉＤＡＲ（））、または地磁気センサを含みうる。また、センサとして、またはビジョン／イメージセンサ（例えば、カメラ２５１）が含まれる。詳細は後述するが、測距センサおよびビジョン／イメージセンサは、空間情報を取得するためのセンサの一例である。
　また、いくつかの実施形態においては、外部機器２５に発振装置２５３が含まれ得る。発振装置２５３は、例えばレーザーセンサに対応するレーザー発振装置であり、または超音波センサに対応する超音波発振装置であり得る。また、発振装置２５３は、例えば、可視光や赤外線等を発光する装置であってもよい。発振装置２５３による出力信号の出力パターンは適宜制御され得る。
　図４は、本実施形態に係る制御装置１０における制御部１１の機能を示すブロック図である。なお、図４に図示される構成は一例であり、これに限らない。
　制御部１１は、位置情報取得部１１１、移動位置推定部１１２、位置関係取得部１１３および移動位置補正部１１４を備える。
　位置情報取得部１１１は、無人移動体２０の位置情報を取得する。無人移動体２０の位置情報は、無人移動体２０の測位センサ（ＧＰＳセンサ）によって生成される。無人移動体２０の位置情報は、無人移動体２０の送受信部２３を介して制御装置１０に継続的に送信される。位置情報取得部１１１は、通信部１４を介して無人移動体２０の位置情報を取得し、当該位置情報をストレージ１３等に記憶する。
　なお、無人移動体３０が自己位置を測位センサ等により推定可能な状況であり、無人移動体３０が制御装置１０と通信可能な位置にいる場合には、位置情報取得部１１１により無人移動体３０の位置情報を取得してもよい。
　移動位置推定部１１２は、無人移動体３０の移動位置を推定する。具体的には、移動位置推定部１１２は、無人移動体３０が有する慣性センサ（例えばセンサ２５２、またはフライトコントローラ２１の有するセンサの一例）を用いて取得される慣性航法に係る情報に基づいて、無人移動体３０の空間における移動位置を推定する。
　慣性航法に係る情報とは、例えば、任意の時刻における速度・加速度ベクトル等、無人移動体３０の空間中の移動の履歴に係る情報である。例えば、時刻ｔ１に無人移動体３０が位置ＬＡにいる場合、時刻ｔ２における位置ＬＢは、時刻ｔ１からｔ２までにおける無人移動体３０の速度や加速度の履歴から推定され得る。移動位置推定部１１２は、無人移動体３０の推定位置に係る情報をストレージ１３等に記憶する。
　位置関係取得部１１３は、空間情報を取得するためのセンサを用いて取得される該空間情報から、無人移動体２０と無人移動体３０との位置の関係に係る情報を取得する。空間情報を取得するためのセンサは、例えば、図１に示したようなカメラ２５１であり得る。このカメラ２５１は無人移動体２０に備えられている。
　すなわち、図１に示すように、無人移動体２０と無人移動体３０の少なくともいずれかが移動した際に無人移動体２０のカメラ２５１が無人移動体３０を含む空間を撮像する（センシングする）。そして、得られた撮像画像のデータは空間情報として制御装置１０に送信される。この場合、位置関係取得部１１３は、該撮像画像を解析して無人移動体３０の像を特定して、無人移動体２０と無人移動体３０との位置の関係を取得する。２台の無人移動体間の位置の関係の取得手段については、公知の画像解析手段が用いられ得る。
　位置関係取得部１１３は、取得した２台の無人移動体間の位置の関係に係る情報をストレージ１３等に記憶する。
　なお、カメラ２５１は、デプスカメラまたはステレオカメラであってもよい。この場合、空間の深度情報をさらに得ることができるため、２台の無人移動体間の位置の関係がより正確なものとなる。カメラ２５１は通常のデジタルカメラ等であってもよい。通常のデジタルカメラを用いた場合における、２台の無人移動体間の位置の関係に係る情報をより精度高く取得するための手段については後述する。また、他のセンサを用いた場合の例や、センサの積載対象のバリエーションについても後述する。
　また、移動位置の推定対象である無人移動体３０には、不図示の発光装置が設けられてもよい。カメラ２５１が、かかる発光装置による発光またはその発光パターンを捉えることで、無人移動体３０の特定が容易となり、無人移動体３０を含む空間の空間情報を確実に得ることができる。
　移動位置補正部１１４は、無人移動体３０の移動推定位置を補正する。具体的には、移動位置補正部１１４は、上記の２台の無人移動体間の位置の関係に係る情報に基づいて、無人移動体３０の空間における移動位置の推定結果を補正する。かかる補正は、例えば、移動後の無人移動体２０の位置に係る情報と、上記の２台の無人移動体間の位置の関係に係る情報と、無人移動体３０の移動推定位置とを突き合わせることで行われる。つまり、無人移動体３０の慣性航法に係る情報から推定される移動位置は、無人移動体２０のカメラ２５１により取得された撮像画像を解析して得られる無人移動体３０の相対的な位置情報から算出されるズレ量に基づいて補正される。
　移動位置補正部１１４は、例えば、無人移動体２０の位置情報をさらに用いて、無人移動体３０の移動位置の推定結果を補正してもよい。無人移動体２０がＧＰＳ等により得た位置情報を用いることによって、絶対的な位置情報が補正に反映される。これにより、無人移動体３０の位置をより正確に補正することができる。
　移動位置補正部１１４による無人移動体３０の移動位置の推定結果の補正後の情報は、ストレージ１３等に記憶され得る。この補正後の移動位置に係る情報が、無人移動体３０の移動後の位置としてアップデートされる。したがって、例えば、制御装置１０は、アップデート後の移動位置を起点として、無人移動体３０の駆動制御に係るパラメータを調整することができる。
　図５は、本実施形態に係る制御システム１における制御装置１０、無人移動体２０および無人移動体３０の各種制御に係るフローチャート図である。まず、無人移動体２０および無人移動体３０がそれぞれ移動する（ステップＳＱ１０１、ステップＳＱ１０３）。制御装置１０の位置情報取得部１１１は、無人移動体２０から位置情報等を取得する（ステップＳＱ１０５）。かかる位置情報は逐次的に取得されてもよいし、無人移動体３０のセンシングの際に取得されてもよい。
　次に、制御装置１０は、無人移動体３０から慣性航法に係る情報を取得する（ステップＳＱ１０７）。かかる慣性航法に係る情報は逐次的に取得されてもよいし、無人移動体３０のセンシングの際に取得されてもよい。次に、制御装置１０の移動位置推定部１１２は、該慣性航法に係る情報に基づいて、無人移動体３０の移動位置を推定する（ステップＳＱ１０９）。かかる推定処理は逐次的に行われてもよいし、断続的に行われてもよい。
　次に、無人移動体２０は、無人移動体３０を含む空間のセンシング（例えばカメラ２５１による撮像）を行う（ステップＳＱ１１１）。無人移動体２０によるセンシングは、逐次的に行われてもよいし、断続的に行われてもよい。次に、制御装置１０は、無人移動体２０のセンシングにより得られた空間情報を無人移動体２０から取得する（ステップＳＱ１１３）。
　次に、位置関係取得部１１３は、該空間情報から、２台の無人移動体間の位置の関係を取得する（ステップＳＱ１１５）。そして、移動位置補正部１１４は、かかる位置の関係に係る情報に基づいて、ステップＳＱ１０９で得られた移動位置の推定結果を補正する（ステップＳＱ１１７）。かかる処理は、無人移動体の移動ごと（例えば、所定時間ごと所定距離ごと等）なお、無人移動体３０は、例えば、無人移動体３０に備えられたカメラ２５１により点検対象を撮影したりなど、用途に応じた動作も併せて実施されてもよい。
　以上説明したように、本実施形態に係る制御システム１は、自己位置を直接推定できない場合に、無人移動体の慣性航法に係る情報により推定された移動位置を、無人移動体に積載されたカメラ等のセンサを用いて得られる空間情報を利用して補正する。これにより、慣性航法に係る情報に基づく推定のみで生じる予測位置と実際の位置とのズレを抑制し、ＧＰＳに依らずに無人移動体の位置をより精度高くかつ容易に推定することができる。よって、ＧＰＳに依らずに無人移動体を所望の方向に移動させて構造物の点検等を実施することを実現することができる。
　次に、本開示の第２の実施形態に係る無人移動体の制御システムについて、図面を参照しながら説明する。図６は、本実施形態に係る無人移動体の制御システム２の概要を示す図である。制御システム２の構成要素、および各構成要素の機能は、本開示の第１の実施形態と同様であるため、詳細な説明は省略する。
　図６を参照すると、本実施形態に係る制御システム２において、無人移動体２０は空間情報を取得するためのセンサとしてカメラ２５１を備える。かかるカメラ２５１は、例えばデジタルカメラ等である。
　無人移動体３０をデジタルカメラで撮像して得られる撮像画像には深度情報は含まれない。そのため、無人移動体２０による一箇所だけでの撮像では、無人移動体３０との位置の関係の精度は高くない。
　そこで、図６に示すように、無人移動体２０は、まず位置Ｌ１において、位置Ｌ３にいる無人移動体３０を撮像し、その後位置Ｌ１とは異なる位置である位置Ｌ２において、位置Ｌ３とは異なる位置Ｌ４にいる無人移動体３０を撮像する。それぞれ得られる画像データ（空間情報）は制御装置１０に送信される。そして、位置関係取得部１１３は、それらの情報に基づいて、２台の無人移動体間の位置の関係を取得する。
　このように異なる２点において無人移動体３０を撮像して得られる空間情報のそれぞれを用いることにより、いわゆる三角測量の手法によって深度情報を得ることができる。これにより、移動位置の推定結果の補正の精度を向上させることができる。
　なお、図６に示した例では、無人移動体２０が位置Ｌ１から位置Ｌ２に移動する際に、無人移動体３０は位置Ｌ３から位置Ｌ４に移動し得る。この場合、例えば、位置Ｌ１において無人移動体２０が位置Ｌ３にいる無人移動体３０を撮像し、位置Ｌ２において無人移動体２０が位置Ｌ４にいる無人移動体３０を撮像する。そして、それぞれ得られた画像データ（空間情報）から２台の無人移動体間の位置の関係を取得する場合、位置関係取得部１１３は、例えば、無人移動体３０の位置Ｌ３から位置Ｌ４までの移動量（例えば慣性航法に係る情報から得ることができる）を用いてもよい。これにより、無人移動体３０の移動の影響を考慮して、無人移動体３０の無人移動体２０からの位置の関係を精度高く得ることができる。
　次に、本開示の第３の実施形態に係る無人移動体の制御システムについて、図面を参照しながら説明する。図７は、本実施形態に係る無人移動体の制御システム３の概要を示す図である。制御システム３の構成要素、および各構成要素の機能は、本開示の第１の実施形態と同様であるため、詳細な説明は省略する。
　図７を参照すると、本実施形態に係る制御システム３において、第２の実施形態と同様に、無人移動体２０は空間情報を取得するためのセンサとしてカメラ２５１を備える。かかるカメラ２５１は、例えばデジタルカメラ等である。
　本実施形態においては、図７に示すように、無人移動体２０は、まず位置Ｌ１において、位置Ｌ３にいる無人移動体３０を撮像する。その後位置Ｌ１とは異なる位置である位置Ｌ２において無人移動体３０を撮像する。無人移動体２０が位置Ｌ２に移動した際、無人移動体３０は同じ位置Ｌ３に位置するように制御される。それぞれ得られる画像データ（空間情報）は制御装置１０に送信される。そして、位置関係取得部１１３は、それらの情報に基づいて、２台の無人移動体間の位置の関係を取得する。
　このように、本実施形態においては、無人移動体２０がそれぞれ相異なる位置において、同位置に存在する無人移動体３０を撮像する。これにより、位置Ｌ３に位置する無人移動体３０を含む２つの画像から無人移動体３０の深度情報を得ることができる。よって、無人移動体３０の移動位置の推定結果の補正を、より高い精度で行うことができる。
　次に、本開示の第４の実施形態に係る無人移動体の制御システムについて、図面を参照しながら説明する。図８は、本実施形態に係る無人移動体の制御システム４の概要を示す図である。制御システム４の構成要素、および各構成要素の機能は、本開示の第１の実施形態と同様であるため、詳細な説明は省略する。
　図８を参照すると、本実施形態に係る制御システム４において、無人移動体３０
は空間情報を取得するためのセンサとしてカメラ２５１を備える。つまり、上記実施形態とは異なり、移動位置の推定対象である無人移動体３０に空間情報を取得するためのセンサを設ける構成となっている。
　本実施形態においては、図８に示すように、無人移動体３０は、無人移動体２０を含む空間を撮像して撮像画像を得る。かかる撮像画像データが空間情報となる。撮像画像データは制御装置１０に送信される。
　本実施形態に係る位置関係取得部１１３は、かかる空間情報に基づいて２台の無人移動体間の位置の関係を取得する。この場合、該位置の関係は、撮像画像に含まれる無人移動体２０の像から推定される。例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）等の自己位置推定手段が用いられ得る。
　このように、本実施形態においては、位置推定の対象である無人移動体３０にカメラ等のセンサを備えさせても、無人移動体３０の移動位置の推定結果を補正することが可能である。なお、無人移動体３０に備えられるカメラ２５１により無人移動体３０の移動位置の推定を行う場合、例えば、無人移動体２０には、不図示の発光装置が設けられていてもよい。これにより、カメラ２５１が無人移動体２０の発光装置による発光またはその発光パターンを捉えることで、無人移動体２０の特定が容易となり、無人移動体２０を含む空間の空間情報をより確実に得ることができる。
　次に、本開示の第５の実施形態に係る無人移動体の制御システムについて、図面を参照しながら説明する。図９は、本実施形態に係る無人移動体の制御システム５の概要を示す図である。制御システム５の構成要素、および各構成要素の機能は、本開示の第１の実施形態と同様であるため、詳細な説明は省略する。
　図９を参照すると、本実施形態に係る制御システム５において、カメラ２５１に代えて、無人移動体２０は発振装置２５３を備え、無人移動体３０は空間情報を取得するためのセンサとして受信器２５２を備える。発振装置２５３は、例えばレーザーの発振装置であり得る。受信器２５２は、これらに発振装置の種類に対応する受信器である。
　図９に示した例では、無人移動体２０から発振されたレーザーを無人移動体３０が受信する。無人移動体３０が受信したレーザーの方向や強度等に関する情報は、空間情報として制御装置１０に送信される。かかる空間情報をもとに、２台の無人移動体間の位置の関係が取得され得る。
　なお、上記の例では、無人移動体２０に発振装置２５３が設けられ、無人移動体３０に受信器２５２が設けられる例を説明したが、無人移動体２０に受信器２５２が設けられ、無人移動体３０に発振装置２５３が設けられてもよい。この場合、無人移動体２０が受信したレーザーの方向や強度等に関する情報が制御装置１０に送信され得る。
　また、発振装置２５３および受信器２５２は、いずれも、どちらか一方の無人移動体に備えられてもよい。例えば、無人移動体２０に発振装置２５３および受信器２５２が備えられる場合、無人移動体２０はレーザーを発振し、無人移動体３０から反射された反射波を受信してもよい。これにより、無人移動体３０の方向と距離に係る情報を空間情報として得ることができる。例えば、これらの発振装置２５３および受信器２５２は、ＬｉＤＡＲとして一体化されたものであってもよい。これにより、無人移動体のいずれかに搭載するだけで、もう一方の無人移動体の方向と距離に係る情報を得ることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態においては、各無人移動体が制御装置１０と通信するものとして説明したが、本技術はかかる例に限定されない。例えば、無人移動体３０が制御装置１０と通信が困難である環境に存在する場合、無人移動体３０は、無人移動体２０を介して、慣性航法に係る情報等を制御装置１０に送信してもよい。
　本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、制御装置１０の制御部１１およびストレージ１３は、互いにネットワークで接続された異なるサーバにより実現されてもよい。
　本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る制御装置１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　本開示の飛行体は、調査、測量、観察等における産業用の飛行体としての利用が期待できる。また、本開示の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができ、さらに、本開示を通じて、これらの飛行体及び飛行体の飛行に関連する安全性の向上に寄与することができる。
　１　　　　　制御システム
　１０　　　　制御装置
　２０　　　　無人移動体
　３０　　　　無人移動体

 

Claims (11)

  1. 　空間を移動する無人移動体を制御する制御システムであって、
    　前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、
    　前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定する移動位置推定部と、
    　前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得する位置関係取得部と、
    　前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正する移動位置補正部と、
    を備える制御システム。
  2. 　前記第２無人移動体の位置情報を取得する位置情報取得部を備え、
    　前記移動位置補正部は、前記第２無人移動体の位置情報を用いて前記第１無人移動体の前記移動位置の推定結果を補正する、請求項１に記載の制御システム。
  3. 　前記空間情報を取得するためのセンサは、カメラを含む、請求項１または２に記載の制御システム。
  4. 　前記カメラは、前記第２無人移動体に備えられる、請求項３に記載の制御システム。
  5. 　前記位置関係取得部は、前記第２無人移動体が第１の位置で前記第１無人移動体を撮像して得られる情報と、前記第２無人移動体が前記第１の位置とは異なる第２の位置で前記第１無人移動体を撮像して得られる情報とに基づいて、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得する、請求項４に記載の制御システム。
  6. 　前記移動位置補正部は、前記第２無人移動体の第１の位置での撮像時刻と第２の位置での撮像時刻との間の時間における前記第１無人移動体の移動量に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正する、請求項５に記載の制御システム。
  7. 　前記第１無人移動体は、前記第２無人移動体の第１の位置での撮像時刻と第２の位置の撮像時刻のそれぞれにおいて、同位置に位置するよう制御される請求項５または６に記載の制御システム。
  8. 　前記カメラは、デプスカメラまたはステレオカメラを含む、請求項３～７のいずれか１項に記載の制御システム。
  9. 　前記第１無人移動体および前記第２無人移動体の少なくともいずれかは、前記空間情報を取得するためのセンサとして、受信器を備える、請求項１～８のいずれか１項に記載の制御システム。
  10. 　前記第１無人移動体および前記第１無人移動体の少なくともいずれかは、前記空間情報を取得するためのセンサとして、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を備える、請求項１～９のいずれか１項に記載の制御システム。
  11. 　空間を移動する無人移動体を制御する制御方法であって、
    　前記無人移動体は、慣性センサを有する第１無人移動体と、第２無人移動体と、を含み、
    　前記第１無人移動体の前記慣性センサを用いて取得される慣性航法に係る情報に基づいて、前記第１無人移動体の前記空間における移動位置を推定するステップと、
    　前記第２無人移動体または前記第１無人移動体の少なくともいずれかに備えられる空間情報を取得するためのセンサを用いて取得される該空間情報から、前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報を取得するステップと、
    　前記空間における前記第２無人移動体と前記第１無人移動体との位置の関係に係る情報に基づいて、前記第１無人移動体の前記空間における前記移動位置の推定結果を補正するステップと、
    　を含む制御方法。

     
PCT/JP2019/036378 2019-09-17 2019-09-17 制御システムおよび制御方法 WO2021053715A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021546077A JPWO2021053715A1 (ja) 2019-09-17 2019-09-17
PCT/JP2019/036378 WO2021053715A1 (ja) 2019-09-17 2019-09-17 制御システムおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036378 WO2021053715A1 (ja) 2019-09-17 2019-09-17 制御システムおよび制御方法

Publications (1)

Publication Number Publication Date
WO2021053715A1 true WO2021053715A1 (ja) 2021-03-25

Family

ID=74884041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036378 WO2021053715A1 (ja) 2019-09-17 2019-09-17 制御システムおよび制御方法

Country Status (2)

Country Link
JP (1) JPWO2021053715A1 (ja)
WO (1) WO2021053715A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
JP2019086478A (ja) * 2017-11-10 2019-06-06 株式会社Ｓｕｂａｒｕ 移動体の位置計測システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
JP2019086478A (ja) * 2017-11-10 2019-06-06 株式会社Ｓｕｂａｒｕ 移動体の位置計測システム

Also Published As

Publication number Publication date
JPWO2021053715A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
CN109887057B (zh) 生成高精度地图的方法和装置
JP6395362B2 (ja) 分散された位置の識別
US10565732B2 (en) Sensor fusion using inertial and image sensors
JP6029446B2 (ja) 自律飛行ロボット
JP6235213B2 (ja) 自律飛行ロボット
Li et al. A novel distributed architecture for UAV indoor navigation
JP6140458B2 (ja) 自律移動ロボット
US11859997B2 (en) Electronic device for generating map data and operation method thereof
JP2021117502A (ja) 着陸制御装置、着陸制御方法およびプログラム。
US10146230B2 (en) Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor
JP2018100931A (ja) 演算装置、演算方法、演算システムおよびプログラム
CN108205328B (zh) 建立供交通工具遵循的与目标相邻的飞行图式的系统和方法
JP2016173709A (ja) 自律移動ロボット
JP2017182692A (ja) 自律移動ロボット
JP6469492B2 (ja) 自律移動ロボット
CN113079698A (zh) 进行航空器的飞行控制的控制装置、及控制方法
JP2020057312A (ja) 飛行計画算出装置及びプログラム
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP2016181178A (ja) 自律移動ロボット
US20210240185A1 (en) Shooting control method and unmanned aerial vehicle
JP2019191888A (ja) 無人飛行体、無人飛行方法及び無人飛行プログラム
CN112154480B (zh) 可移动平台的定位方法、装置、可移动平台及存储介质
WO2021053715A1 (ja) 制御システムおよび制御方法
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945828

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021546077

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945828

Country of ref document: EP

Kind code of ref document: A1