WO2022107774A1 - 飛行経路特定装置、およびコンピュータ読取可能な記憶媒体 - Google Patents

飛行経路特定装置、およびコンピュータ読取可能な記憶媒体 Download PDF

Info

Publication number
WO2022107774A1
WO2022107774A1 PCT/JP2021/042131 JP2021042131W WO2022107774A1 WO 2022107774 A1 WO2022107774 A1 WO 2022107774A1 JP 2021042131 W JP2021042131 W JP 2021042131W WO 2022107774 A1 WO2022107774 A1 WO 2022107774A1
Authority
WO
WIPO (PCT)
Prior art keywords
industrial machine
aerial vehicle
unmanned aerial
flight path
information
Prior art date
Application number
PCT/JP2021/042131
Other languages
English (en)
French (fr)
Inventor
高史 三好
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to DE112021004743.4T priority Critical patent/DE112021004743T5/de
Priority to JP2022563776A priority patent/JP7525640B2/ja
Priority to US18/252,190 priority patent/US20240019874A1/en
Priority to CN202180076440.3A priority patent/CN116438498A/zh
Publication of WO2022107774A1 publication Critical patent/WO2022107774A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM

Definitions

  • the present invention relates to a flight path specifying device and a computer-readable storage medium.
  • An object of the present invention is to provide a flight path specifying device capable of reliably preventing interference between an unmanned aerial vehicle and an industrial machine, and a computer-readable storage medium.
  • the flight path identification device generates non-interference space information indicating a non-interference space in which the industrial machine and the unmanned airplane do not interfere with each other based on the model data of the structures constituting the industrial machine and the operating state of the industrial machine. It includes a generation unit, a command reception unit that receives work commands for unmanned aircraft, and a route information generation unit that generates flight route information that identifies the flight route of an unmanned aircraft based on non-interference space information and work commands. ..
  • the computer-readable storage medium generates non-interference space information indicating a non-interference space in which the industrial machine and the unmanned airplane do not interfere with each other, based on the model data of the structures constituting the industrial machine and the operating state of the industrial machine.
  • the present invention makes it possible to reliably prevent interference between an unmanned aerial vehicle and an industrial machine.
  • FIG. 1 is a diagram illustrating an example of the entire unmanned aerial vehicle control system.
  • the unmanned aerial vehicle control system 1 includes a flight path specifying device 2, an unmanned aerial vehicle 3, and an industrial machine 4.
  • the flight path specifying device 2 is a device that identifies the flight path of the unmanned aerial vehicle 3.
  • the flight path specifying device 2 is mounted on, for example, a PC (Personal Computer) or a server.
  • the flight path is, for example, a path for flying the unmanned aerial vehicle 3 in the vicinity of the industrial machine 4 and inside the industrial machine 4.
  • Unmanned aerial vehicle 3 is a multicopter type small unmanned aerial vehicle.
  • the unmanned aerial vehicle 3 is called a drone.
  • the unmanned aerial vehicle 3 flies in the vicinity of the industrial machine 4 and inside the industrial machine 4 according to the flight path specified by the flight path specifying device 2.
  • the unmanned aerial vehicle control system 1 can inspect the industrial machine 4 or perform work on the industrial machine 4.
  • Industrial machine 4 is a device installed in a factory to perform various operations.
  • the industrial machine 4 is, for example, a machine tool.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the flight path specifying device 2.
  • the flight path specifying device 2 includes a CPU (Central Processing Unit) 20, a bus 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, and a non-volatile memory 24.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 20 is a processor that controls the entire flight path specifying device 2 according to a system program.
  • the CPU 20 reads a system program or the like stored in the ROM 22 via the bus 21.
  • the bus 21 is a communication path that connects the hardware in the flight path specifying device 2 to each other. Each hardware in the flight path specifying device 2 exchanges data via the bus 21.
  • the ROM 22 is a storage device that stores a system program or the like for controlling the entire flight path specifying device 2.
  • the system program includes a flight path specifying program that identifies the flight path of the unmanned aerial vehicle 3.
  • the RAM 23 is a storage device that temporarily stores various data.
  • the RAM 23 temporarily stores, for example, work command data for the unmanned aerial vehicle 3 input from the outside.
  • the RAM 23 functions as a work area for the CPU 20 to process various data.
  • the non-volatile memory 24 is a storage device that holds data even when the flight path specifying device 2 is turned off and power is not supplied to the flight path specifying device 2.
  • the non-volatile memory 24 is composed of, for example, an SSD (Solid State Drive).
  • the flight path specifying device 2 further includes a first interface, a display device 26, a second interface 27, an input device 28, and a communication device 29.
  • the first interface 25 connects the bus 21 and the display device 26.
  • the first interface 25, for example, sends various data processed by the CPU 20 to the display device 26.
  • the display device 26 receives various data via the first interface 25 and displays various data.
  • the display device 26 is a display such as an LCD (Liquid Crystal Display).
  • the second interface 27 connects the bus 21 and the input device 28.
  • the second interface 27, for example, sends the data input from the input device 28 to the CPU 20 via the bus 21.
  • the input device 28 is a device for inputting various data.
  • the input device 28 receives the input of data, for example, and sends the input data to the non-volatile memory 24 via the second interface 27.
  • the input device 28 is, for example, a keyboard and a mouse.
  • the input device 28 and the display device 26 may be configured as one device such as a touch panel.
  • the communication device 29 is a device that performs wireless communication with the unmanned aerial vehicle 3.
  • the communication device 29 communicates using, for example, a wireless LAN or Bluetooth.
  • the communication device 29 is a device that communicates with the industrial machine 4 by wire or wirelessly.
  • the communication device 29 communicates with the industrial machine 4 using, for example, an internet line.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the unmanned aerial vehicle 3.
  • the unmanned aerial vehicle 3 includes a battery 30, a processor 31, a bus 32, a memory 33, a motor control circuit 34, a motor 35, a sensor 36, and a communication device 37.
  • the battery 30 supplies electric power to each part of the unmanned aerial vehicle 3.
  • the battery 30 is, for example, a lithium ion battery.
  • the processor 31 controls the entire unmanned aerial vehicle 3 according to the control program.
  • the processor 31 functions as, for example, a flight controller.
  • the processor 31 is, for example, a CPU.
  • Bus 32 is a communication path that connects each hardware in the unmanned aerial vehicle 3 to each other. Each hardware in the unmanned aerial vehicle 3 exchanges data via the bus 32.
  • the memory 33 is a storage device that stores various programs, data, and the like.
  • the memory 33 stores, for example, a control program for controlling the entire unmanned aerial vehicle 3.
  • the memory 33 is, for example, at least one of ROM, RAM, and SSD.
  • the motor control circuit 34 is a circuit for controlling the motor 35.
  • the motor control circuit 34 drives and controls the motor 35 in response to a control command from the processor 31.
  • the motor 35 is controlled by the motor control circuit 34.
  • the motor 35 rotates a propeller fixed to a rotating shaft.
  • the unmanned aerial vehicle 3 includes, for example, four motors 35, and the motor control circuit 34 controls the rotation of each motor 35 to control the rotation of each motor 35. To fly.
  • the sensor 36 is a device that detects various states of the industrial machine 4.
  • the sensor 36 is, for example, an image sensor.
  • the sensor 36 captures a display image of the display device 26 of the industrial machine 4 and detects the operating state of the industrial machine 4.
  • the sensor 36 includes, for example, a distance measuring sensor.
  • the sensor 36 measures, for example, the distance to the mark attached to a predetermined position of the industrial machine 4.
  • the distance measuring sensor is, for example, a distance measuring sensor using infrared rays, radio waves, or ultrasonic waves.
  • the sensor 36 may include, for example, an electronic compass. The electronic compass detects the magnetism of the earth and acquires the direction in which the unmanned aerial vehicle 3 is facing.
  • the sensor 36 may include an acceleration sensor, an angular velocity sensor, and the like.
  • the communication device 37 communicates with the flight path specifying device 2 by wireless communication. As described above, the communication device 37 communicates using, for example, a wireless LAN or Bluetooth.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the industrial machine 4.
  • the industrial machine 4 includes a numerical control device 5, a communication device 6, a servo amplifier 7, a servomotor 8, and an auxiliary device 9.
  • the numerical control device 5 is a device that controls the entire industrial machine 4.
  • the numerical control device 5 includes a CPU 50, a bus 51, a ROM 52, a RAM 53, and a non-volatile memory 54.
  • the CPU 50 is a processor that controls the entire numerical control device 5 according to a system program.
  • the CPU 50 reads out a system program or the like stored in the ROM 52 via the bus 51. Further, the CPU 50 controls the servomotor 8 and the spindle motor (not shown) according to the machining program to machine the workpiece.
  • the bus 51 is a communication path that connects the hardware in the numerical control device 5 to each other. Each piece of hardware in the numerical control device 5 exchanges data via the bus 51.
  • the ROM 52 is a storage device that stores a system program or the like for controlling the entire numerical control device 5.
  • the RAM 53 is a storage device that temporarily stores various data.
  • the RAM 53 functions as a work area for the CPU 50 to process various data.
  • the non-volatile memory 54 is a storage device that holds data even when the power of the industrial machine 4 is turned off and power is not supplied to the numerical control device 5.
  • the non-volatile memory 54 is composed of, for example, an SSD (Solid State Drive).
  • the numerical control device 5 further includes an interface 55, an axis control circuit 56, a PLC (Programmable Logic Controller) 57, and an I / O unit 58.
  • PLC Programmable Logic Controller
  • the interface 55 is a communication path connecting the bus 51 and the communication device 6.
  • the interface 55 for example, sends various data received by the communication device 6 to the CPU 50.
  • the communication device 6 communicates with the flight path specifying device 2. As described above, the communication device 6 communicates with the flight path specifying device 2 using, for example, an internet line.
  • the axis control circuit 56 is a circuit that controls the servo motor 8.
  • the axis control circuit 56 receives a control command from the CPU 50 and outputs a command for driving the servomotor 8 to the servo amplifier.
  • the shaft control circuit 56 sends, for example, a torque command for controlling the torque of the servomotor 8 to the servo amplifier 7.
  • the servo amplifier 7 receives a command from the axis control circuit 56 and supplies electric power to the servomotor 8.
  • the servomotor 8 is driven by receiving electric power from the servo amplifier 7.
  • the servomotor 8 is connected to, for example, a tool post, a spindle head, and a ball screw for driving a table.
  • the machine tool structure such as the tool post, spindle head, and table moves, for example, in the X-axis direction, the Y-axis direction, or the Z-axis direction.
  • the PLC 57 is a device that executes a ladder program to control the auxiliary device 9.
  • the PLC 57 controls the auxiliary device 9 via the I / O unit 58.
  • the I / O unit 58 is an interface for connecting the PLC 57 and the auxiliary device 9.
  • the I / O unit 58 sends a command received from the PLC 57 to the auxiliary device 9.
  • the auxiliary device 9 is installed in the industrial machine 4 and performs an auxiliary operation when the industrial machine 4 processes a work.
  • the auxiliary device 9 may be a device installed around the industrial machine 4.
  • the auxiliary device 9 is, for example, a tool changer, a cutting fluid injection device, or an open / close door drive device.
  • FIG. 5 is a block diagram showing an example of the functions of each part of the flight path specifying device 2.
  • the flight path specifying device 2 includes a model acquisition unit 201, a model data storage unit 202, an operating state acquisition unit 203, a spatial information generation unit 204, a command reception unit 205, a command information storage unit 206, and a route information generation.
  • a unit 207, a route information output unit 208, a control information generation unit 209, and a control information output unit 210 are provided.
  • the model acquisition unit 201, the operating state acquisition unit 203, the spatial information generation unit 204, the command reception unit 205, the route information generation unit 207, the route information output unit 208, the control information generation unit 209, and the control information output unit 210 are, for example, It is realized by the CPU 20 performing arithmetic processing using the system program stored in the ROM 22 and various data. Further, the model data storage unit 202 and the command information storage unit 206 are realized by storing, for example, the data input from an input device or the like or the calculation result of the calculation process by the CPU 20 in the RAM 23 or the non-volatile memory 24. Will be done.
  • the model acquisition unit 201 acquires model data indicating a three-dimensional model of the structure constituting the industrial machine 4 from the numerical control device 5.
  • the structures constituting the four industrial machines are, for example, a spindle, a spindle head, a table, a splash guard, an opening / closing door, and various covers. Further, the structure constituting the industrial machine 4 includes tools, workpieces, jigs and the like.
  • the model data is, for example, three-dimensional CAD (Computer Aided Design) data.
  • the model acquisition unit 201 may acquire model data indicating a three-dimensional model from a management server or the like that manages a plurality of industrial machines 4.
  • FIG. 6 is a diagram showing an example of a three-dimensional model of the structure constituting the industrial machine 4.
  • the three-dimensional model is a model used for simulating interference between each structure, a tool, and a work in, for example, an industrial machine 4.
  • FIG. 6 shows a three-dimensional model of an opening / closing door 401, a turret 402, a spindle 403, a tool 404, a table 405, a splash guard 406, a telescopic cover 407, a work 408, a jig 409, and the like.
  • the model data storage unit 202 stores the model data of the industrial machine 4 acquired by the model acquisition unit 201.
  • model data storage unit 202 stores model data indicating a three-dimensional model of the unmanned aerial vehicle 3.
  • This model data is, for example, three-dimensional CAD data.
  • the model data showing the three-dimensional model of the unmanned aerial vehicle 3 is acquired from an external server or the like by, for example, the communication device 29.
  • the three-dimensional model of the unmanned aerial vehicle 3 may be simplified. For example, a cylindrical model may be used as a model for the unmanned aerial vehicle 3.
  • the operating state acquisition unit 203 acquires information indicating the operating state of the industrial machine 4 from the numerical control device 5.
  • the information indicating the operating state is, for example, information indicating the open / closed state of the door, information indicating the on / off state of the cutting fluid, information regarding the tool 404 attached to the spindle 403, and the position of each structure.
  • the operating state acquisition unit 203 may acquire the operating state of the industrial machine 4 from, for example, a machining program executed by the numerical control device 5.
  • the spatial information generation unit 204 is a non-interference that the industrial machine 4 and the unmanned airplane 3 do not interfere with each other based on the model data of the structure constituting the industrial machine 4, the model data of the unmanned airplane 3, and the operating state of the industrial machine 4. Generates non-interfering space information that indicates space.
  • the non-interference space is a space in which the unmanned aerial vehicle 3 and the industrial machine 4 can fly without colliding with each other in the vicinity of the industrial machine 4 or inside the industrial machine 4.
  • FIG. 7 is a diagram illustrating an example of a non-interference space.
  • the non-interfering space is defined by, for example, each structure constituting the industrial machine 4, a tool 404, and a plurality of surfaces separated from the outer surface of the work 408 by a predetermined distance.
  • the space between each structure drawn by the two-dot chain line and the surface shown by the solid line is the interference space, and the other space is the non-interference space. How far the non-interference space is defined from the structure or the like is determined in consideration of factors such as how precisely the unmanned aerial vehicle 3 can be controlled.
  • the non-interference space may not include the space where the cutting fluid is scattered.
  • the predetermined space may be excluded from the non-interference space.
  • the command reception unit 205 receives work commands for the work performed by the unmanned aerial vehicle 3.
  • the work command is, for example, a command for inspection work of the industrial machine 4 and a command for transport work of the work 408.
  • the inspection work is, for example, the work of imaging a monitor displaying the temperature of the cutting fluid and the work of imaging the cutting edge of the tool 404.
  • the work of transporting the work 408 is, for example, a work in which the unmanned aerial vehicle 3 installs the work 408 on the table 405 using a work cage that attracts the work 408 by electromagnetic force.
  • the command information storage unit 206 stores, for example, information in which a work command for the unmanned aerial vehicle 3 and a coordinate value of a work position of a work executed by the unmanned aerial vehicle 3 are associated with each other.
  • the work command is a command that specifies the work to be executed by the unmanned aerial vehicle 3.
  • the work position is a flight position when the unmanned aerial vehicle 3 executes work according to a work command.
  • FIG. 8 is a diagram showing an example of information stored in the command information storage unit 206.
  • the command information storage unit 206 stores the work command and the work position in association with each other.
  • the command information storage unit 206 stores the work command "imaging of the thermometer” and the coordinate values (X1, Y1, Z1) indicating the work position in association with each other.
  • the command information storage unit 206 stores the work command "installation of the work” and the coordinate values (X3, Y3, Z3) indicating the work position in association with each other.
  • the route information generation unit 207 generates flight route information that specifies the flight route of the unmanned aerial vehicle 3.
  • the route information generation unit 207 specifies a work position where the unmanned aerial vehicle 3 executes work based on the work command received by the command reception unit 205 and the information stored in the command information storage unit 206. Further, the route information generation unit 207 specifies a flight route to a work position in the non-interference space based on the non-interference space information generated by the space information generation unit 204 and the work position. As a result, flight path information is generated.
  • the route information generating unit 207 is an unmanned aerial vehicle based on the non-interference space information and the coordinate values (X2, Y2, Z2). Generate flight path information that specifies the flight path from the current location of 3 to the work position.
  • the route information generation unit 207 generates flight route information by searching for the shortest route to the work position indicated by the coordinate values (X2, Y2, Z2) in the non-interference space using, for example, a search algorithm.
  • FIG. 9 is a diagram showing a flight path when "imaging of the tool cutting edge" is commanded as a work command.
  • the flight path FP is the shortest path for the unmanned aerial vehicle 3 to reach the working position indicated by the coordinate values (X2, Y2, Z2).
  • the route information generation unit 207 stops the generation of the flight route information.
  • the case where the flight path information cannot be generated is the case where the flight path FP at which the unmanned airplane 3 reaches the working position without colliding with the structure of the industrial machine 4 cannot be specified in the non-interference space.
  • the route information output unit 208 outputs the flight route information generated by the route information generation unit 207.
  • the route information output unit 208 transmits flight route information to the unmanned aerial vehicle 3 using, for example, a communication device.
  • the control information generation unit 209 generates control information of the industrial machine 4. As described above, when the route information generation unit 207 stops the generation of flight route information, the control information generation unit 209 generates control information for moving the structure of the industrial machine 4.
  • control information generation unit 209 sets the table 405 of the industrial machine 4 on the Y axis. Generates control information to move along the direction.
  • the control information output unit 210 outputs the control information generated by the control information generation unit 209.
  • the control information output unit 210 transmits control information to the numerical control device 5 by using, for example, a communication device.
  • the numerical control device 5 receives a control command, for example, as shown in FIG. 11, the numerical control device 5 operates the table 405 to secure the flight path FP of the unmanned aerial vehicle 3. That is, the flight path specifying device 2 indirectly controls the operation of the structure constituting the industrial machine 4 by the control information generation unit 209 and the control information output unit 210.
  • the operating state acquisition unit 203 may acquire the information indicating the operating state of the industrial machine 4 again.
  • the spatial information generation unit 204 can generate the non-interference space information again
  • the route information generation unit 207 can generate the flight route information.
  • control information generation unit 209 may generate control information for prohibiting the operation of the industrial machine 4. Further, when the flight route information is output by the route information output unit 208, the control information generation unit 209 may generate control information for prohibiting the movement of the structure.
  • FIG. 12 is a block diagram showing an example of the functions of each part of the unmanned aerial vehicle 3.
  • the unmanned aerial vehicle 3 includes a communication unit 301, a flight position specifying unit 302, and a flight control unit 303.
  • the communication unit 301 communicates with the flight path specifying device 2.
  • the communication unit 301 acquires flight path information from, for example, the flight path specifying device 2.
  • the flight position specifying unit 302 specifies the flight position of the unmanned aerial vehicle 3.
  • the flight position specifying unit 302 detects the marks on the factory and the industrial machine 4 by the sensor 36 to specify the flight position and the direction of the unmanned aerial vehicle 3.
  • the flight position specifying unit 302 may specify the flight position of the unmanned aerial vehicle 3 by using GPS.
  • the unmanned aerial vehicle 3 is detected by a sensor installed in the factory or in the industrial machine 4, and the position and orientation of the unmanned aerial vehicle 3 are calculated based on the detection information received from the sensor by the flight position specifying unit 302. You may do it.
  • the position of the unmanned aerial vehicle 3 may be specified.
  • the flight control unit 303 executes flight control of the unmanned aerial vehicle 3 based on the flight route information acquired by the communication unit 301 and the position information of the unmanned aerial vehicle 3 specified by the flight position specifying unit 302.
  • the flight control unit 303 performs flight control by controlling the rotation speed of each motor.
  • the flight control unit 303 flies the unmanned aerial vehicle 3 along the flight path FP indicated by the flight path information. Further, the flight control unit 303 may perform feedback control using information indicating the flight position of the unmanned aerial vehicle 3 specified by the flight position specifying unit 302.
  • FIG. 13 is a block diagram showing an example of the functions of each part of the numerical control device 5.
  • the numerical control device 5 includes a communication unit 510, a storage unit 511, and a control unit 512.
  • the communication unit 510 communicates with the flight path specifying device 2.
  • the communication unit 510 receives, for example, the control information output from the control information output unit 210 of the flight path specifying device 2. Further, the communication unit 510 sends information indicating the operating state of the industrial machine 4 to the flight path specifying device 2.
  • the storage unit 511 stores, for example, information on a system program, a machining program, and a tool correction for controlling the entire numerical control device 5. Further, the storage unit 511 stores model data showing a three-dimensional model of the structure constituting the industrial machine 4. The model data stored in the storage unit 511 is transmitted to the flight path specifying device 2 by the communication unit 510.
  • the control unit 512 controls the entire industrial machine 4.
  • the control unit 512 executes machining of the work 408 according to, for example, a machining program. Further, the control unit 512 operates the structure constituting the industrial machine 4 based on the control information received by the communication unit 510.
  • the control unit 512 executes control for moving the spindle head in the Z-axis direction, for example. Further, the control unit 512 executes control for moving the table 405 in the X-axis direction and the Y-axis direction. Further, the control unit 512 controls the injection and stop of the cutting fluid, or the opening and closing of the opening / closing door 401.
  • FIG. 14 is a flowchart showing an example of processing executed by the flight path specifying device 2.
  • the model acquisition unit 201 acquires model data indicating a three-dimensional model of the industrial machine 4 from the industrial machine 4 (step S1).
  • the model data storage unit 202 stores the model data acquired by the model acquisition unit 201 (step S2).
  • the operating state acquisition unit 203 acquires information indicating the operating state of the industrial machine 4 from the numerical control device 5 (step S3).
  • the spatial information generation unit 204 generates non-interference space information indicating a non-interference space based on the model data of the structure constituting the industrial machine 4, the model data of the unmanned airplane 3, and the operating state of the industrial machine 4. Generate (step S4).
  • the command receiving unit 205 receives the work command of the work executed by the unmanned aerial vehicle 3 (step S5).
  • the route information generation unit 207 generates flight route information for specifying the flight route FP of the unmanned aerial vehicle 3 based on the non-interference space information and the work command (step S6).
  • the route information output unit 208 outputs the flight route information (step S8), and ends the process.
  • control information generation unit 209 When the generation of flight route information is stopped by the route information generation unit 207 (Yes in step S7), the control information generation unit 209 generates the control information of the industrial machine 4 (step S9).
  • control information output unit 210 outputs the control information generated by the control information generation unit 209 (step S10), and ends the process.
  • the operating state acquisition unit 203 may acquire the latest operating state information from the industrial machine 4 again. That is, the flight path specifying device 2 may return to the process of step S3 after executing the process of step S10.
  • the flight path specifying device 2 is a non-interfering space in which the industrial machine 4 and the unmanned airplane 3 do not interfere with each other based on the model data of the structures constituting the industrial machine 4 and the operating state of the industrial machine 4.
  • the flight path FP of the unmanned airplane 3 is determined based on the spatial information generation unit 204 that generates the non-interference space information indicating the above, the command reception unit 205 that receives the work command for the unmanned aircraft 3, and the non-interference space information and the work command.
  • a route information generation unit 207 that generates specific flight route information is provided. Therefore, when the unmanned aerial vehicle 3 is made to work according to the work command, it is possible to surely prevent the interference between the unmanned aerial vehicle 3 and the industrial machine 4.
  • the flight path specifying device 2 further includes a model acquisition unit 201 that acquires model data from the industrial machine 4. Therefore, the worker does not need to create model data showing a three-dimensional model of the structure constituting the industrial machine 4, and the work load of the worker can be reduced.
  • the flight route specifying device 2 further includes a route information output unit 208 that outputs flight route information toward the unmanned aerial vehicle 3. Therefore, the operator does not need to input the flight path information generated by the flight path specifying device 2 into the unmanned aerial vehicle 3 via a storage medium or the like. As a result, the workload of the worker can be reduced.
  • the flight path specifying device 2 includes a control information generation unit 209 that generates control information of the industrial machine 4. Therefore, when the flight path FP in the non-interference space cannot be specified, the structure constituting the industrial machine 4 can be moved to generate flight path information again.
  • control information generated by the control information generation unit 209 includes control information for prohibiting the operation of the industrial machine 4. Therefore, there is no possibility that the industrial machine 4 operates while the unmanned aerial vehicle 3 is flying according to the flight path information, and interference between the unmanned aerial vehicle 3 and the industrial machine 4 can be reliably prevented.
  • control information generated by the control information generation unit 209 includes control information for prohibiting the movement of the structure. Therefore, there is no possibility that the structures constituting the industrial machine 4 will move while the unmanned aerial vehicle 3 is flying according to the flight path information, and the interference between the unmanned aerial vehicle 3 and the industrial machine 4 can be reliably prevented.
  • the flight path specifying device 2 is mounted on a PC, a server, or the like, but the flight path specifying device 2 may be mounted on the numerical control device 5 of the industrial machine 4.
  • the machine tool is shown as an example of the industrial machine 4, but the industrial machine 4 may be an industrial robot such as a manipulator.
  • the spatial information generation unit 204 indicates a non-interference space based on the model data of the structure constituting the industrial machine 4, the model data of the unmanned airplane 3, and the operating state of the industrial machine 4. Generates non-interfering space information.
  • the space information generation unit 204 is based on the model data of the structure constituting the industrial machine 4 and the operating state of the industrial machine 4. , Non-interfering space information indicating a non-interfering space may be generated.
  • the operating state acquisition unit 203 may acquire a machining program from the numerical control device 5.
  • the spatial information generation unit 204 may analyze the movement of the structure constituting the industrial machine 4, the scattering state of the cutting fluid, and the like to generate non-interference space information during the operation of the industrial machine 4. By doing so, even if the industrial machine 4 is in operation, the unmanned aerial vehicle 3 can be made to perform a predetermined work without the unmanned aerial vehicle 3 and the industrial machine 4 colliding with each other.
  • Unmanned aerial vehicle control system Flight route identification device 20 CPU 21 bus 22 ROM 23 RAM 24 Non-volatile memory 25 First interface 26 Display device 27 Second interface 28 Input device 29 Communication device 201 Model acquisition unit 202 Model data storage unit 203 Operating status acquisition unit 204 Spatial information generation unit 205 Command reception unit 206 Command information storage 207 Route information generation unit 208 Route information output unit 209 Control information output unit 210 Control information output unit 3 Unmanned airplane 30 Battery 31 Processor 32 Bus 33 Memory 34 Motor control circuit 35 Motor 36 Sensor 37 Communication device 301 Communication unit 302 Flight position identification Part 303 Flight control part 4 Industrial machinery 401 Open / close door 402 Turret 403 Main shaft 404 Tool 405 Table 406 Splash guard 407 Telescopic cover 408 Work 409 Jigger 5 Numerical control device 50 CPU 51 Bus 52 ROM 53 RAM 54 Non-volatile memory 55 Interface 56 Axis control circuit 57 PLC 58 I / O unit 510 Communication unit 511 Storage unit 512 Control unit 6 Communication device 7 Servo amplifier 8 Servo motor 9 Auxiliary

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Numerical Control (AREA)

Abstract

飛行経路特定装置が、産業機械を構成する構造物のモデルデータ、および産業機械の稼働状態に基づいて、産業機械と無人飛行機とが干渉しない非干渉空間を示す非干渉空間情報を生成する空間情報生成部と、無人飛行機に対する作業指令を受け付ける指令受付部と、非干渉空間情報、および作業指令に基づいて、無人飛行機の飛行経路を特定する飛行経路情報を生成する経路情報生成部と、を備える。

Description

飛行経路特定装置、およびコンピュータ読取可能な記憶媒体
　本発明は、飛行経路特定装置、およびコンピュータ読取可能な記憶媒体に関する。
　工場で働く作業者は、産業機械の点検、産業機械へのワークの設置、産業機械に対する操作など各種作業を行う。作業者が行う作業の効率化を図るために、近年、無人飛行機が利用されている（例えば、特許文献１）。
特開２０２０－１４２３２６号公報
　しかし、工場内で無人飛行機を飛行させる場合は、無人飛行機と工場内の産業機械との干渉を防ぐ必要がある。
　本発明は、無人飛行機と産業機械との干渉を確実に防ぐことが可能な飛行経路特定装置、およびコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
　飛行経路特定装置が、産業機械を構成する構造物のモデルデータ、および産業機械の稼働状態に基づいて、産業機械と無人飛行機とが干渉しない非干渉空間を示す非干渉空間情報を生成する空間情報生成部と、無人飛行機に対する作業指令を受け付ける指令受付部と、非干渉空間情報、および作業指令に基づいて、無人飛行機の飛行経路を特定する飛行経路情報を生成する経路情報生成部と、を備える。
　コンピュータ読取可能な記憶媒体が、産業機械を構成する構造物のモデルデータ、および産業機械の稼働状態に基づいて、産業機械と無人飛行機とが干渉しない非干渉空間を示す非干渉空間情報を生成することと、無人飛行機に対する作業指令を受け付けることと、非干渉空間情報、および作業指令に基づいて、無人飛行機の飛行経路を特定する飛行経路情報を生成することと、をコンピュータに実行させる命令を記憶する。
　本発明により、無人飛行機と産業機械との干渉を確実に防ぐことが可能になる。
無人飛行機制御システム全体の一例を説明する図である。 飛行経路特定装置のハードウェア構成の一例を示す図である。 無人飛行機のハードウェア構成の一例を示す図である。 産業機械のハードウェア構成の一例を示す図である。 飛行経路特定装置の機能の一例を説明する図である。 産業機械の３次元モデルの一例を説明するである。 非干渉空間の一例を説明する図である。 指令情報記憶部が記憶する情報の一例を示す図である。 飛行経路の一例を説明する図である。 非干渉空間の一例を説明する図である。 非干渉空間の一例を説明する図である。 無人飛行機の機能の一例を示す図である。 数値制御装置の機能の一例を示す図である。 飛行経路特定装置において実行される処理の一例を示すフローチャートである。
　以下、本発明の一実施形態について図面を用いて説明する。なお、以下の実施形態で説明する特徴の組合わせのすべてが課題解決に必ずしも必要であるとは限らない。また、必要以上の詳細な説明を省略する場合がある。また、以下の実施形態の説明、および図面は、当業者が本発明を十分に理解するために提供されるものであり、特許請求の範囲を限定することを意図していない。
　まず、飛行経路特定装置を有する無人飛行機制御システム全体について説明する。
　図１は、無人飛行機制御システム全体の一例を説明する図である。
　無人飛行機制御システム１は、飛行経路特定装置２と、無人飛行機３と、産業機械４と有する。
　飛行経路特定装置２は、無人飛行機３の飛行経路を特定する装置である。飛行経路特定装置２は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、サーバに実装される。飛行経路は、例えば、産業機械４付近および産業機械４の内部に無人飛行機３を飛行させる経路である。
　無人飛行機３は、マルチコプタ型の小型無人飛行機である。無人飛行機３は、ドローンと称される。無人飛行機３は、飛行経路特定装置２によって特定された飛行経路に従って、産業機械４付近、および産業機械４の内部を飛行する。これにより、無人飛行機制御システム１は、産業機械４の検査、あるいは産業機械４に対する作業を行うことができる。
　産業機械４は、工場内に設置され、各種作業を行う装置である。産業機械４は、例えば、工作機械である。
　次に、無人飛行機制御システム１を構成する各装置のハードウェア構成について説明する。
　図２は、飛行経路特定装置２のハードウェア構成の一例を示す図である。飛行経路特定装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０と、バス２１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２３と、不揮発性メモリ２４とを備えている。
　ＣＰＵ２０は、システムプログラムに従って飛行経路特定装置２全体を制御するプロセッサである。ＣＰＵ２０は、バス２１を介してＲＯＭ２２に格納されたシステムプログラムなどを読み出す。
　バス２１は、飛行経路特定装置２内の各ハードウェアを互いに接続する通信路である。飛行経路特定装置２内の各ハードウェアはバス２１を介してデータをやり取りする。
　ＲＯＭ２２は、飛行経路特定装置２全体を制御するためのシステムプログラムなどを記憶する記憶装置である。システムプログラムには、無人飛行機３の飛行経路を特定する飛行経路特定プログラムが含まれる。
　ＲＡＭ２３は、各種データを一時的に格納する記憶装置である。ＲＡＭ２３は、例えば、外部から入力される無人飛行機３に対する作業指令のデータなどを一時的に記憶する。ＲＡＭ２３は、ＣＰＵ２０が各種データを処理するための作業領域として機能する。
　不揮発性メモリ２４は、飛行経路特定装置２の電源が切られ、飛行経路特定装置２に電力が供給されていない状態でもデータを保持する記憶装置である。不揮発性メモリ２４は、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）で構成される。
　飛行経路特定装置２は、さらに、第１のインタフェースと、表示装置２６と、第２のインタフェース２７と、入力装置２８と、通信装置２９とを備えている。
　第１のインタフェース２５は、バス２１と表示装置２６とを接続する。第１のインタフェース２５は、例えば、ＣＰＵ２０が処理した各種データを表示装置２６に送る。
　表示装置２６は、第１のインタフェース２５を介して各種データを受け、各種データを表示する。表示装置２６は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などのディスプレイである。
　第２のインタフェース２７は、バス２１と入力装置２８とを接続する。第２のインタフェース２７は、例えば、入力装置２８から入力されたデータをバス２１を介してＣＰＵ２０に送る。
　入力装置２８は、各種データを入力するための装置である。入力装置２８は、例えば、データの入力を受け、入力されたデータを第２のインタフェース２７を介して不揮発性メモリ２４に送る。入力装置２８は、例えば、キーボード、およびマウスである。なお、入力装置２８と表示装置２６とは、例えば、タッチパネルのように１つの装置として構成されてもよい。
　通信装置２９は、無人飛行機３と無線通信を行う装置である。通信装置２９は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈを用いて通信を行う。
　また、通信装置２９は、産業機械４と有線または無線により通信を行う装置である。通信装置２９は、例えば、インターネット回線を用いて産業機械４と通信する。
　次に、無人飛行機３のハードウェア構成について説明する。
　図３は、無人飛行機３のハードウェア構成の一例を示す図である。無人飛行機３は、バッテリ３０と、プロセッサ３１と、バス３２と、メモリ３３と、モータ制御回路３４と、モータ３５と、センサ３６と、通信装置３７とを備えている。
　バッテリ３０は、無人飛行機３の各部に電力を供給する。バッテリ３０は、例えば、リチウムイオンバッテリである。
　プロセッサ３１は、制御プログラムに従って、無人飛行機３全体を制御する。プロセッサ３１は、例えば、フライトコントローラとして機能する。プロセッサ３１は、例えば、ＣＰＵである。
　バス３２は、無人飛行機３内の各ハードウェアを互いに接続する通信路である。無人飛行機３内の各ハードウェアはバス３２を介してデータをやり取りする。
　メモリ３３は、各種プログラム、データなどを記憶する記憶装置である。メモリ３３は、例えば、無人飛行機３全体を制御するための制御プログラムを記憶する。メモリ３３は、例えば、ＲＯＭ、ＲＡＭ、ＳＳＤの少なくとも何れかである。
　モータ制御回路３４は、モータ３５を制御するための回路である。モータ制御回路３４は、プロセッサ３１からの制御指令を受けてモータ３５を駆動制御する。
　モータ３５は、モータ制御回路３４によって制御される。モータ３５は回転軸に固定されたプロペラを回転させる。なお、図３には１つのモータ３５を図示しているが、無人飛行機３は、例えば、４つのモータ３５を備え、モータ制御回路３４は、各モータ３５の回転を制御して、無人飛行機３を飛行させる。
　センサ３６は、産業機械４の各種状態を検出する機器である。センサ３６は、例えば、イメージセンサである。センサ３６は、例えば、産業機械４の表示装置２６の表示画像を撮像し、産業機械４の運転状態を検出する。
　また、センサ３６は、例えば、測距センサを含む。センサ３６は、例えば、産業機械４の所定の位置に付された印までの距離を計測する。測距センサは、例えば、赤外線、電波、あるいは超音波を利用した測距センサである。センサ３６は、例えば、電子コンパスを含んでもよい。電子コンパスは、地球の磁気を検知して無人飛行機３が向く方向を取得する。また、センサ３６は、加速度センサ、角速度センサなどを含んでもよい。
　通信装置３７は、無線通信によって飛行経路特定装置２と通信を行う。上述したように、通信装置３７は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈを用いて通信を行う。
　次に、産業機械４のハードウェア構成について説明する。
　図４は、産業機械４のハードウェア構成の一例を示す図である。産業機械４は、数値制御装置５と、通信装置６と、サーボアンプ７、およびサーボモータ８と、補助機器９とを備えている。
　数値制御装置５は、産業機械４全体を制御する装置である。数値制御装置５は、ＣＰＵ５０と、バス５１と、ＲＯＭ５２と、ＲＡＭ５３と、不揮発性メモリ５４とを備えている。
　ＣＰＵ５０は、システムプログラムに従って数値制御装置５全体を制御するプロセッサである。ＣＰＵ５０は、バス５１を介してＲＯＭ５２に格納されたシステムプログラムなどを読み出す。また、ＣＰＵ５０は、加工プログラムに従って、サーボモータ８およびスピンドルモータ（不図示）を制御し、ワークの加工を行う。
　バス５１は、数値制御装置５内の各ハードウェアを互いに接続する通信路である。数値制御装置５内の各ハードウェアはバス５１を介してデータをやり取りする。
　ＲＯＭ５２は、数値制御装置５全体を制御するためのシステムプログラムなどを記憶する記憶装置である。
　ＲＡＭ５３は、各種データを一時的に格納する記憶装置である。ＲＡＭ５３は、ＣＰＵ５０が各種データを処理するための作業領域として機能する。
　不揮発性メモリ５４は、産業機械４の電源が切られ、数値制御装置５に電力が供給されていない状態でもデータを保持する記憶装置である。不揮発性メモリ５４は、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）で構成される。
　数値制御装置５は、さらに、インタフェース５５と、軸制御回路５６と、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）５７と、Ｉ／Ｏユニット５８とを備えている。
　インタフェース５５は、バス５１と通信装置６とを接続する通信路である。インタフェース５５は、例えば、通信装置６が受信した各種データをＣＰＵ５０に送る。
　通信装置６は、飛行経路特定装置２と通信を行う。上述したように、通信装置６は、例えば、インターネット回線を用いて飛行経路特定装置２と通信する。
　軸制御回路５６は、サーボモータ８を制御する回路である。軸制御回路５６は、ＣＰＵ５０からの制御指令を受けてサーボモータ８を駆動させるための指令をサーボアンプに出力する。軸制御回路５６は、例えば、サーボモータ８のトルクを制御するトルクコマンドをサーボアンプ７に送る。
　サーボアンプ７は、軸制御回路５６からの指令を受けて、サーボモータ８に電力を供給する。
　サーボモータ８は、サーボアンプ７から電力の供給を受けて駆動する。産業機械４が工作機械である場合、サーボモータ８は、例えば、刃物台、主軸頭、テーブルを駆動させるボールねじに連結される。サーボモータ８が駆動することにより、刃物台、主軸頭、テーブルなどの工作機械の構造物は、例えば、Ｘ軸方向、Ｙ軸方向、またはＺ軸方向に移動する。
　ＰＬＣ５７は、ラダープログラムを実行して補助機器９を制御する装置である。ＰＬＣ５７は、Ｉ／Ｏユニット５８を介して補助機器９を制御する。
　Ｉ／Ｏユニット５８は、ＰＬＣ５７と補助機器９とを接続するインタフェースである。Ｉ／Ｏユニット５８は、ＰＬＣ５７から受けた指令を補助機器９に送る。
　補助機器９は、産業機械４に設置され、産業機械４がワークの加工を行う際の補助的な動作を行う。補助機器９は、産業機械４の周辺に設置される装置であってもよい。補助機器９は、例えば、工具交換装置、切削液噴射装置、または開閉ドア駆動装置である。
　次に、飛行経路特定装置２の各部の機能について説明する。
　図５は、飛行経路特定装置２の各部の機能の一例を示すブロック図である。飛行経路特定装置２は、モデル取得部２０１と、モデルデータ記憶部２０２と、稼働状態取得部２０３と、空間情報生成部２０４と、指令受付部２０５と、指令情報記憶部２０６と、経路情報生成部２０７と、経路情報出力部２０８と、制御情報生成部２０９と、制御情報出力部２１０とを備える。
　モデル取得部２０１、稼働状態取得部２０３、空間情報生成部２０４、指令受付部２０５、経路情報生成部２０７、経路情報出力部２０８、制御情報生成部２０９、および制御情報出力部２１０は、例えば、ＣＰＵ２０がＲＯＭ２２に記憶されているシステムプログラム、および各種データを用いて演算処理することにより実現される。また、モデルデータ記憶部２０２、および指令情報記憶部２０６は、例えば、入力装置などから入力されたデータ、またはＣＰＵ２０による演算処理の演算結果がＲＡＭ２３、または不揮発性メモリ２４に記憶されることにより実現される。
　モデル取得部２０１は、数値制御装置５から産業機械４を構成する構造物の３次元モデルを示すモデルデータを取得する。産業機械を４構成する構造物とは、例えば、主軸、主軸頭、テーブル、スプラッシュガード、開閉ドア、および、各種カバーである。また、産業機械４を構成する構造物には、工具、ワーク、治具などが含まれる。モデルデータは、例えば、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）のデータである。モデル取得部２０１は、３次元モデルを示すモデルデータを、複数の産業機械４を管理する管理サーバなどから取得してもよい。
　図６は、産業機械４を構成する構造物の３次元モデルの一例を示す図である。３次元モデルは、例えば、産業機械４において、各構造物と、工具と、ワークとの間での干渉をシミュレーションするために用いられるモデルである。
　図６には、開閉ドア４０１、タレット４０２、主軸４０３、工具４０４、テーブル４０５、スプラッシュガード４０６、テレスコピックカバー４０７、ワーク４０８、治具４０９などの３次元モデルが示されている。
　ここで、図５の説明に戻る。
　モデルデータ記憶部２０２は、モデル取得部２０１によって取得された産業機械４のモデルデータを記憶する。
　また、モデルデータ記憶部２０２は、無人飛行機３の３次元モデルを示すモデルデータを記憶する。このモデルデータは、例えば、３次元ＣＡＤのデータである。無人飛行機３の３次元モデルを示すモデルデータは、例えば、通信装置２９によって外部のサーバなどから取得される。なお、無人飛行機３の３次元モデルは、簡略化したものであってもよい。例えば、円柱形状のモデルを無人飛行機３のモデルとして利用してもよい。
　稼働状態取得部２０３は、数値制御装置５から、産業機械４の稼働状態を示す情報を取得する。稼働状態を示す情報とは、例えば、ドアの開閉状態を示す情報、切削液の入切の状態を示す情報、主軸４０３に取り付けられた工具４０４に関する情報、各構造物の位置を示すである。稼働状態取得部２０３は、例えば、数値制御装置５が実行する加工プログラムから産業機械４の稼働状態を取得してもよい。
　空間情報生成部２０４は、産業機械４を構成する構造物のモデルデータ、無人飛行機３のモデルデータ、および産業機械４の稼働状態に基づいて、産業機械４と無人飛行機３とが干渉しない非干渉空間を示す非干渉空間情報を生成する。非干渉空間は、産業機械４付近、または産業機械４の内部において、無人飛行機３と産業機械４とが衝突せずに飛行できる空間である。
　図７は、非干渉空間の一例を説明する図である。非干渉空間は、例えば、産業機械４を構成する各構造物、工具４０４、およびワーク４０８の外側面から所定の距離だけ離れた複数の面によって規定される。図７では、２点鎖線で描かれた各構造物と実線で示された面との間の空間が干渉空間であり、それ以外の空間が非干渉空間である。非干渉空間を構造物などからどの程度離れた位置で画定するかは、例えば、無人飛行機３をどの程度精密に制御できるかなどの要因を考慮して定められる。
　また、非干渉空間には、切削液が飛散する空間は含まれないようにしてもよい。例えば、ノズルなどから切削液が噴射されている場合は、あらかじめ定められた空間は非干渉空間から除外されるようにしてもよい。
　指令受付部２０５は、無人飛行機３が実行する作業の作業指令を受け付ける。作業指令は、例えば、産業機械４の検査作業の指令、ワーク４０８の搬送作業の指令である。
　検査作業は、例えば、切削液の温度を表示するモニタなどを撮像する作業、工具４０４の刃先を撮像する作業である。
　ワーク４０８の搬送作業は、例えば、電磁力でワーク４０８を吸着させるワーク保持器を用いて、無人飛行機３がワーク４０８をテーブル４０５に設置する作業である。
　指令情報記憶部２０６は、例えば、無人飛行機３に対する作業指令と、無人飛行機３によって実行される作業の作業位置の座標値とを関連付けた情報を記憶する。作業指令とは、無人飛行機３に実行させる作業を指定する指令である。また、作業位置とは、無人飛行機３が作業指令によって作業を実行する際の飛行位置である。
　図８は、指令情報記憶部２０６が記憶する情報の一例を示す図である。
　指令情報記憶部２０６には、作業指令と作業位置とが関連付けて記憶されている。例えば、指令情報記憶部２０６には、作業指令である「温度計の撮像」と作業位置を示す座標値（Ｘ１，Ｙ１，Ｚ１）とが関連付けて記憶されている。
　また、指令情報記憶部２０６には、作業指令である「工具刃先の撮像」と作業位置を示す座標値（Ｘ２，Ｙ２，Ｚ２）とが関連付けて記憶されている。また、指令情報記憶部２０６には、作業指令である「ワークの設置」と作業位置を示す座標値（Ｘ３，Ｙ３，Ｚ３）とが関連付けて記憶されている。
　ここで、図５の説明に戻る。
　経路情報生成部２０７は、無人飛行機３の飛行経路を特定する飛行経路情報を生成する。経路情報生成部２０７は、指令受付部２０５が受け付けた作業指令、および指令情報記憶部２０６に記憶された情報に基づいて、無人飛行機３が作業を実行する作業位置を特定する。また、経路情報生成部２０７は、空間情報生成部２０４が生成した非干渉空間情報、および作業位置に基づいて、非干渉空間における作業位置までの飛行経路を特定する。これにより、飛行経路情報が生成される。
　例えば、指令受付部２０５が「工具刃先の撮像」を示す作業指令を受け付けた場合、経路情報生成部２０７は、非干渉空間情報、および座標値（Ｘ２，Ｙ２，Ｚ２）に基づいて、無人飛行機３の現在地から作業位置までの飛行経路を特定する飛行経路情報を生成する。
　経路情報生成部２０７は、例えば、探索アルゴリズムを用いて、非干渉空間において座標値（Ｘ２，Ｙ２，Ｚ２）が示す作業位置までの最短経路を探索することにより、飛行経路情報を生成する。
　図９は、作業指令として「工具刃先の撮像」が指令された場合の飛行経路を示す図である。飛行経路ＦＰは、無人飛行機３が、座標値（Ｘ２，Ｙ２，Ｚ２）が示す作業位置に到達するまでの最短経路である。
　経路情報生成部２０７は、飛行経路ＦＰを特定する飛行経路情報を生成できない場合、飛行経路情報の生成を中止する。飛行経路情報を生成できない場合とは、非干渉空間において、無人飛行機３が産業機械４の構造物などと衝突せずに作業位置まで到達する飛行経路ＦＰを特定できない場合である。
　ここで、図５の説明に戻る。
　経路情報出力部２０８は、経路情報生成部２０７が生成した飛行経路情報を出力する。経路情報出力部２０８は、例えば、通信装置を用いて無人飛行機３に飛行経路情報を送信する。
　制御情報生成部２０９は、産業機械４の制御情報を生成する。上述したように、経路情報生成部２０７が飛行経路情報の生成を中止した場合、制御情報生成部２０９は、産業機械４の構造物を移動させる制御情報を生成する。
　例えば、図１０に示すように、テーブル４０５上に大きなワーク４０８が設置されているために無人飛行機３が工具４０４に接近できない場合、制御情報生成部２０９は、産業機械４のテーブル４０５をＹ軸方向に沿って移動させる制御情報を生成する。
　制御情報出力部２１０は、制御情報生成部２０９によって生成された制御情報を出力する。制御情報出力部２１０は、例えば、通信装置を用いて制御情報を数値制御装置５に送信する。数値制御装置５は、制御指令を受けると、例えば、図１１に示すように、テーブル４０５を作動させて無人飛行機３の飛行経路ＦＰを確保する。つまり、飛行経路特定装置２は、制御情報生成部２０９、および制御情報出力部２１０により、産業機械４を構成する構造物の動作を間接的に制御する。
　なお、制御情報出力部２１０によって産業機械４の制御情報が出力された場合、稼働状態取得部２０３が、再び産業機械４の稼働状態を示す情報を取得するようにしてもよい。この場合、空間情報生成部２０４が、再度、非干渉空間情報を生成し、経路情報生成部２０７が、飛行経路情報を生成することができる。
　また、経路情報出力部２０８によって飛行経路情報が出力された場合、制御情報生成部２０９は、産業機械４の運転を禁止する制御情報を生成してもよい。また、経路情報出力部２０８によって飛行経路情報が出力された場合、制御情報生成部２０９は、構造物の移動を禁止する制御情報を生成してもよい。
　次に、無人飛行機３の各部の機能について説明する。
　図１２は、無人飛行機３の各部の機能の一例を示すブロック図である。
　無人飛行機３は、通信部３０１と、飛行位置特定部３０２と、飛行制御部３０３とを備える。
　通信部３０１は、飛行経路特定装置２と通信を行う。通信部３０１は、例えば、飛行経路特定装置２から飛行経路情報を取得する。
　飛行位置特定部３０２は、無人飛行機３の飛行位置を特定する。飛行位置特定部３０２は、例えば、工場内および産業機械４に付された印をセンサ３６によって検知して無人飛行機３の飛行位置、および向きを特定する。また、無人飛行機３がＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機を備えている場合、飛行位置特定部３０２は、ＧＰＳを用いて無人飛行機３の飛行位置を特定してもよい。あるいは、工場内、または産業機械４に設置されたセンサにより無人飛行機３を検知し、飛行位置特定部３０２がセンサから受けた検知情報に基づいて無人飛行機３の位置、および向きを算出するするようにしてもよい。あるいは、これらの方法を組み合わせることによって、無人飛行機３の位置を特定するようにしてもよい。
　飛行制御部３０３は、通信部３０１によって取得された飛行経路情報、および飛行位置特定部３０２によって特定される無人飛行機３の位置情報に基づいて、無人飛行機３の飛行制御を実行する。飛行制御部３０３は、各モータの回転速度を制御することにより飛行制御を行う。飛行制御部３０３は、飛行経路情報が示す飛行経路ＦＰに沿って無人飛行機３を飛行させる。また、飛行制御部３０３は、飛行位置特定部３０２で特定された無人飛行機３の飛行位置を示す情報を用いてフィードバック制御を行ってもよい。
　次に、産業機械４が有する数値制御装置５の各部の機能について説明する。
　図１３は、数値制御装置５の各部の機能の一例を示すブロック図である。
　数値制御装置５は、通信部５１０と、記憶部５１１と、制御部５１２とを備える。
　通信部５１０は、飛行経路特定装置２と通信する。通信部５１０は、例えば、飛行経路特定装置２の制御情報出力部２１０から出力された制御情報を受ける。また、通信部５１０は、産業機械４の稼働状態を示す情報を飛行経路特定装置２に向けて送る。
　記憶部５１１は、例えば、数値制御装置５全体を制御するためのシステムプログラム、加工プログラム、工具補正に関する情報を記憶する。また、記憶部５１１は、産業機械４を構成する構造物の３次元モデルを示すモデルデータを記憶する。記憶部５１１に記憶されたモデルデータは、通信部５１０により飛行経路特定装置２に送信される。
　制御部５１２は、産業機械４全体を制御する。制御部５１２は、例えば、加工プログラムに従ってワーク４０８の加工を実行する。また、制御部５１２は、通信部５１０によって受信された制御情報に基づいて、産業機械４を構成する構造物を作動させる。制御部５１２は、例えば、主軸頭をＺ軸方向に移動させる制御を実行する。また、制御部５１２は、テーブル４０５をＸ軸方向、およびＹ軸方向に移動させる制御を実行する。また、制御部５１２は、切削液の噴射、および停止、あるいは、開閉ドア４０１の開閉を制御する。
　次に、飛行経路特定装置２において実行される処理の流れについて説明する。
　図１４は、飛行経路特定装置２において実行される処理の一例を示すフローチャートである。
　まず、モデル取得部２０１が産業機械４から、産業機械４の３次元モデルを示すモデルデータを取得する（ステップＳ１）。
　次に、モデルデータ記憶部２０２が、モデル取得部２０１によって取得されたモデルデータを記憶する（ステップＳ２）。
　次に、稼働状態取得部２０３が、数値制御装置５から、産業機械４の稼働状態を示す情報を取得する（ステップＳ３）。
　次に、空間情報生成部２０４が、産業機械４を構成する構造物のモデルデータ、無人飛行機３のモデルデータ、および産業機械４の稼働状態に基づいて、非干渉空間を示す非干渉空間情報を生成する（ステップＳ４）。
　次に、指令受付部２０５が、無人飛行機３が実行する作業の作業指令を受け付ける（ステップＳ５）。
　次に、経路情報生成部２０７が、非干渉空間情報、および作業指令に基づいて、無人飛行機３の飛行経路ＦＰを特定する飛行経路情報を生成する（ステップＳ６）。
　経路情報生成部２０７によって飛行経路情報が生成された場合（ステップＳ７においてＮｏの場合）、経路情報出力部２０８が、飛行経路情報を出力し（ステップＳ８）、処理を終了する。
　経路情報生成部２０７によって飛行経路情報の生成が中止された場合（ステップＳ７においてＹｅｓの場合）、制御情報生成部２０９は、産業機械４の制御情報を生成する（ステップＳ９）。
　次に、制御情報出力部２１０は、制御情報生成部２０９によって生成された制御情報を出力して（ステップＳ１０）、処理を終了する。
　上述したように、制御情報出力部２１０が制御情報を出力した場合、稼働状態取得部２０３は再び産業機械４から最新の稼働状態を示す情報を取得してもよい。すなわち、飛行経路特定装置２は、ステップＳ１０の処理を実行した後に、ステップＳ３の処理に戻ってもよい。
　以上説明したように、飛行経路特定装置２は、産業機械４を構成する構造物のモデルデータ、および産業機械４の稼働状態に基づいて、産業機械４と無人飛行機３とが干渉しない非干渉空間を示す非干渉空間情報を生成する空間情報生成部２０４と、無人飛行機３に対する作業指令を受け付ける指令受付部２０５と、非干渉空間情報、および作業指令に基づいて、無人飛行機３の飛行経路ＦＰを特定する飛行経路情報を生成する経路情報生成部２０７と、を備える。そのため、作業指令に従って無人飛行機３に作業をさせるときに、無人飛行機３と産業機械４との干渉を確実に防ぐことができる。
　また、飛行経路特定装置２は、産業機械４からモデルデータを取得するモデル取得部２０１をさらに備える。そのため、作業者は、産業機械４を構成する構造物の３次元モデルを示すモデルデータを作成する必要がなく、作業者の作業負荷を低減することができる。
　また、飛行経路特定装置２は、無人飛行機３に向けて飛行経路情報を出力する経路情報出力部２０８をさらに備える。そのため、作業者は、飛行経路特定装置２で生成された飛行経路情報を記憶媒体などを介して無人飛行機３に入力する作業をする必要がない。その結果、作業者の作業負荷を低減することができる。
　また、飛行経路特定装置２は、産業機械４の制御情報を生成する制御情報生成部２０９を備える。そのため、非干渉空間における飛行経路ＦＰを特定できないときには、産業機械４を構成する構造物を移動させて、再度、飛行経路情報の生成を行うことができる。
　また、制御情報生成部２０９が生成する制御情報には、産業機械４の運転を禁止する制御情報が含まれる。そのため、無人飛行機３が飛行経路情報に従って飛行している間に産業機械４が作動するおそれがなく、無人飛行機３と産業機械４との干渉を確実に防ぐことができる。
　また、制御情報生成部２０９が生成する制御情報には、構造物の移動を禁止する制御情報が含まれる。そのため、無人飛行機３が飛行経路情報に従って飛行している間に産業機械４を構成する構造物が移動するおそれがなく、無人飛行機３と産業機械４との干渉を確実に防ぐことができる。
　なお、上述した実施形態では、飛行経路特定装置２は、ＰＣ、サーバなどに実装されているが、飛行経路特定装置２は、産業機械４の数値制御装置５に実装されてもよい。
　また、上述した実施形態では、産業機械４の一例として工作機械を示したが、産業機械４は、マニピュレータなどの産業用ロボットであってもよい。
　また、上述した実施形態では、空間情報生成部２０４が、産業機械４を構成する構造物のモデルデータ、無人飛行機３のモデルデータ、および産業機械４の稼働状態に基づいて、非干渉空間を示す非干渉空間情報を生成している。しかし、無人飛行機３が比較的小さく、干渉空間を比較的大きく設定する場合、空間情報生成部２０４は、産業機械４を構成する構造物のモデルデータと、産業機械４の稼働状態とに基づいて、非干渉空間を示す非干渉空間情報を生成してもよい。
　また、稼働状態取得部２０３は、数値制御装置５から加工プログラムを取得してもよい。この場合、空間情報生成部２０４は、産業機械４を構成する構造物の動き、切削液の飛散状況などを解析して、産業機械４の稼働中の非干渉空間情報を生成してもよい。このようにすれば、産業機械４が稼働中であっても、無人飛行機３と産業機械４とが衝突することなく無人飛行機３に所定の作業を行わせることができる。
　　１　　　　　無人飛行機制御システム
　　２　　　　　飛行経路特定装置
　　２０　　　　ＣＰＵ
　　２１　　　　バス
　　２２　　　　ＲＯＭ
　　２３　　　　ＲＡＭ
　　２４　　　　不揮発性メモリ
　　２５　　　　第１のインタフェース
　　２６　　　　表示装置
　　２７　　　　第２のインタフェース
　　２８　　　　入力装置
　　２９　　　　通信装置
　　２０１　　　モデル取得部
　　２０２　　　モデルデータ記憶部
　　２０３　　　稼働状態取得部
　　２０４　　　空間情報生成部
　　２０５　　　指令受付部
　　２０６　　　指令情報記憶部
　　２０７　　　経路情報生成部
　　２０８　　　経路情報出力部
　　２０９　　　制御情報生成部
　　２１０　　　制御情報出力部
　　３　　　　　無人飛行機
　　３０　　　　バッテリ
　　３１　　　　プロセッサ
　　３２　　　　バス
　　３３　　　　メモリ
　　３４　　　　モータ制御回路
　　３５　　　　モータ
　　３６　　　　センサ
　　３７　　　　通信装置
　　３０１　　　通信部
　　３０２　　　飛行位置特定部
　　３０３　　　飛行制御部
　　４　　　　　産業機械
　　４０１　　　開閉ドア
　　４０２　　　タレット
　　４０３　　　主軸
　　４０４　　　工具
　　４０５　　　テーブル
　　４０６　　　スプラッシュガード
　　４０７　　　テレスコピックカバー
　　４０８　　　ワーク
　　４０９　　　治具
　　５　　　　　数値制御装置
　　５０　　　　ＣＰＵ
　　５１　　　　バス
　　５２　　　　ＲＯＭ
　　５３　　　　ＲＡＭ
　　５４　　　　不揮発性メモリ
　　５５　　　　インタフェース
　　５６　　　　軸制御回路
　　５７　　　　ＰＬＣ
　　５８　　　　Ｉ／Ｏユニット
　　５１０　　　通信部
　　５１１　　　記憶部
　　５１２　　　制御部
　　６　　　　　通信装置
　　７　　　　　サーボアンプ
　　８　　　　　サーボモータ
　　９　　　　　補助機器
　　ＦＰ　　　　飛行経路

Claims (8)

  1. 　産業機械を構成する構造物のモデルデータ、および前記産業機械の稼働状態に基づいて、前記産業機械と無人飛行機とが干渉しない非干渉空間を示す非干渉空間情報を生成する空間情報生成部と、
    　前記無人飛行機に対する作業指令を受け付ける指令受付部と、
    　前記非干渉空間情報、および前記作業指令に基づいて、前記無人飛行機の飛行経路を特定する飛行経路情報を生成する経路情報生成部と、
    を備える飛行経路特定装置。
  2. 　前記産業機械から前記モデルデータを取得するモデル取得部をさらに備える請求項１に記載の飛行経路特定装置。
  3. 　前記無人飛行機に向けて前記飛行経路情報を出力する経路情報出力部をさらに備える請求項１または２に記載の飛行経路特定装置。
  4. 　前記産業機械を制御する制御情報を生成する制御情報生成部をさらに備える請求項１～３のいずれか１項に記載の飛行経路特定装置。
  5. 　前記制御情報は、前記産業機械の運転を禁止する制御情報を含む請求項４に記載の飛行経路特定装置。
  6. 　前記制御情報は、前記構造物の移動を禁止する制御情報を含む請求項４または請求項５に記載の飛行経路特定装置。
  7. 　前記制御情報は、前記構造物を移動させる制御情報を含む請求項４～６のいずれか１項に記載の飛行経路特定装置。
  8. 　産業機械を構成する構造物のモデルデータ、および前記産業機械の稼働状態に基づいて、前記産業機械と無人飛行機とが干渉しない非干渉空間を示す非干渉空間情報を生成することと、
    　前記無人飛行機に対する作業指令を受け付けることと、
    　前記非干渉空間情報、および前記作業指令に基づいて、前記無人飛行機の飛行経路を特定する飛行経路情報を生成することと、
    をコンピュータに実行させるための命令を記憶する、コンピュータ読み取り可能な記憶媒体。
PCT/JP2021/042131 2020-11-20 2021-11-16 飛行経路特定装置、およびコンピュータ読取可能な記憶媒体 WO2022107774A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112021004743.4T DE112021004743T5 (de) 2020-11-20 2021-11-16 Flugbahnbestimmungsvorrichtung und computerlesbares speichermedium
JP2022563776A JP7525640B2 (ja) 2020-11-20 2021-11-16 飛行経路特定装置、およびコンピュータ読取可能な記憶媒体
US18/252,190 US20240019874A1 (en) 2020-11-20 2021-11-16 Flight path specification device and computer readable storage medium
CN202180076440.3A CN116438498A (zh) 2020-11-20 2021-11-16 飞行路径确定装置以及计算机可读取的存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020193371 2020-11-20
JP2020-193371 2020-11-20

Publications (1)

Publication Number Publication Date
WO2022107774A1 true WO2022107774A1 (ja) 2022-05-27

Family

ID=81708002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042131 WO2022107774A1 (ja) 2020-11-20 2021-11-16 飛行経路特定装置、およびコンピュータ読取可能な記憶媒体

Country Status (5)

Country Link
US (1) US20240019874A1 (ja)
JP (1) JP7525640B2 (ja)
CN (1) CN116438498A (ja)
DE (1) DE112021004743T5 (ja)
WO (1) WO2022107774A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586794A (zh) * 2022-10-10 2023-01-10 福建省电力有限公司泉州电力技能研究院 一种变电站无人机抗电磁干扰巡视方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置
JP2018146946A (ja) * 2016-10-12 2018-09-20 株式会社ゼンリン 制御システム及び地図データのデータ構造
JP2020046717A (ja) * 2018-09-14 2020-03-26 ファナック株式会社 誘導情報提示装置、誘導情報提示サーバ、誘導情報提示システム、誘導情報提示方法及びプログラム
JP2020119122A (ja) * 2019-01-22 2020-08-06 三菱電機株式会社 ワーク搬送装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173746B2 (ja) 2018-03-30 2022-11-16 日立造船株式会社 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム
JP7272825B2 (ja) 2019-03-06 2023-05-12 ファナック株式会社 ロボットシステム
JP6918044B2 (ja) 2019-03-28 2021-08-11 Kddi株式会社 ロボット制御装置及びロボット制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置
JP2018146946A (ja) * 2016-10-12 2018-09-20 株式会社ゼンリン 制御システム及び地図データのデータ構造
JP2020046717A (ja) * 2018-09-14 2020-03-26 ファナック株式会社 誘導情報提示装置、誘導情報提示サーバ、誘導情報提示システム、誘導情報提示方法及びプログラム
JP2020119122A (ja) * 2019-01-22 2020-08-06 三菱電機株式会社 ワーク搬送装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586794A (zh) * 2022-10-10 2023-01-10 福建省电力有限公司泉州电力技能研究院 一种变电站无人机抗电磁干扰巡视方法及终端

Also Published As

Publication number Publication date
CN116438498A (zh) 2023-07-14
JP7525640B2 (ja) 2024-07-30
JPWO2022107774A1 (ja) 2022-05-27
DE112021004743T5 (de) 2023-08-10
US20240019874A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US11396099B2 (en) Safe operation of machinery using potential occupancy envelopes
US10286551B2 (en) Robot system that controls robot including multiple mechanical units, the mechanical units, and robot control device
EP2047955B1 (en) Robot operating range setting device
US20220226995A1 (en) Control of a multipurpose robot arm
US20210379762A1 (en) Motion planning and task execution using potential occupancy envelopes
CN113365784B (zh) 工件的数控加工的计算机辅助优化
CN118269089A (zh) 用于机械手的运动模拟的方法
US20220234209A1 (en) Safe operation of machinery using potential occupancy envelopes
WO2022107774A1 (ja) 飛行経路特定装置、およびコンピュータ読取可能な記憶媒体
EP4116033A1 (en) Machine tool, machine tool control method, and machine tool control program
US20210379763A1 (en) Motion planning and task execution using potential occupancy envelopes
US20190232491A1 (en) Work robot system
Kuts et al. COLLABORATIVE WORK BETWEEN HUMAN AND INDUSTRIAL ROBOT IN MANUFACTURING BY ADVANCED SAFETY MONITORING SYSTEM.
CN115302527A (zh) 一种双机器人自动钻铆设备
JP7488365B2 (ja) 搬送システム制御装置、およびコンピュータ読み取り可能な記憶媒体
WO2022107775A1 (ja) 飛行指令生成装置、およびコンピュータ読み取り可能な記憶媒体
WO2022264338A1 (ja) 制御装置、干渉チェック装置、及び制御システム
JP2021115634A (ja) 生産システム
Richardson et al. Evolution of Mobile Robotic Manufacturing Systems at Spirit AeroSystems
WO2022107760A1 (ja) 数値制御装置、及び記憶媒体
US20230185272A1 (en) Program analyzer and control system
KR102707130B1 (ko) 로봇의 제어
Ferreira et al. Autonomous Navigation System for a Differential Drive Mobile Robot
WO2022050292A1 (ja) 表示装置
Ochoa et al. Multicopter operations for autonomous assembly applications in manufacturing environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563776

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18252190

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21894648

Country of ref document: EP

Kind code of ref document: A1