WO2023287052A1 - 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 - Google Patents

관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 Download PDF

Info

Publication number
WO2023287052A1
WO2023287052A1 PCT/KR2022/008858 KR2022008858W WO2023287052A1 WO 2023287052 A1 WO2023287052 A1 WO 2023287052A1 KR 2022008858 W KR2022008858 W KR 2022008858W WO 2023287052 A1 WO2023287052 A1 WO 2023287052A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing data
data
control device
amr
control
Prior art date
Application number
PCT/KR2022/008858
Other languages
English (en)
French (fr)
Inventor
임용섭
김예온
권순
김제석
최경호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210122187A external-priority patent/KR20230011195A/ko
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Publication of WO2023287052A1 publication Critical patent/WO2023287052A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • a technique described below relates to a technique for providing an obstacle avoidance path for a moving object.
  • AMR autonomous mobile robot
  • AMR moves along a certain path while exploring surrounding objects and environments using built-in sensors.
  • AMR sets the path by avoiding obstacles in the movement path and continues to perform the given task.
  • Various approaches for obstacle avoidance are being studied.
  • the prior art detects obstacles based on information collected from sensors of the AMR. Therefore, in the prior art, it is difficult to actively cope with obstacles or objects located in blind spots that AMR cannot detect.
  • the technology described below aims to provide a method of predicting and avoiding obstacles in AMR by using information collected by control infrastructure and sensing data of AMR in an integrated manner.
  • An avoidance path generation method based on multi-sensor fusion using a control infrastructure includes the steps of receiving, by a control device, first sensing data for a region of interest from sensors of the control infrastructure, the control device from a moving object moving along a set path to a surrounding region. Receiving second sensing data for , generating fusion data by fusing the first sensing data and the second sensing data, by the control device, by using the fusion data, the moving object The method may include determining whether there is a danger element in the moving area and, when there is the danger element, generating an avoidance path through which the moving object can avoid the danger element.
  • a control device that provides an avoidance path based on multi-sensor fusion using a control infrastructure receives first sensing data for a region of interest from sensors of the control infrastructure, and second senses for a surrounding region from a moving object moving along a set path.
  • An input device that receives data, the first sensing data, and the second sensing data are fused to generate fusion data, and an avoidance path capable of avoiding a risk element located in an area where the moving object will move using the fusion data.
  • an arithmetic device that generates and a communication device that transmits the avoidance path to the moving object.
  • the technology to be described below enables a robot to plan a stable path even in an environment that is difficult to predict, such as a blind spot, by using sensing data collected by the robot and data collected from the surrounding environment in an integrated manner.
  • 1 is an example of an AMR control system using a control infrastructure.
  • 3 is an example of grid fusion for sensor fusion of a region of interest.
  • control device 7 is an example of a control device for controlling AMR.
  • FIG. 8 shows a simulation architecture for multi-sensor fusion.
  • 9 is an example scenario for evaluating the performance of AMR avoidance using multi-sensor fusion.
  • FIG. 10 is a result of evaluating performance of techniques in which AMR avoids danger and reaches a target point in the scenario of FIG. 9 .
  • 11 is another example scenario for evaluating the performance of AMR avoidance using multi-sensor fusion.
  • FIG. 12 is a result of evaluating the performance of techniques in which AMR avoids danger and reaches a target point in the scenario of FIG. 11 .
  • first, second, A, B, etc. may be used to describe various elements, but the elements are not limited by the above terms, and are merely used to distinguish one element from another. used only as For example, without departing from the scope of the technology described below, a first element may be referred to as a second element, and similarly, the second element may be referred to as a first element.
  • the terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
  • each component to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by .
  • each process constituting the method may occur in a different order from the specified order unless a specific order is clearly described in context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • a moving object refers to a device capable of autonomously determining a moving path based on sensed information regardless of the type of device. Accordingly, the moving object is meant to include autonomous vehicles, AMRs, and the like. However, for convenience of description below, the description is based on AMR.
  • the mobile object may be a device that moves indoors (factory, airport, concert hall, exhibition hall, restaurant, etc.). Furthermore, the moving object may be a device that moves outdoors (road, other outdoor space, etc.).
  • a region of interest means a region in which a moving object moves.
  • the region of interest is an area to which a mobile object such as a robot moves, and may include the entire offline place, such as a factory, restaurant, shopping mall, exhibition hall, school, or the like, or a specific region among all places.
  • the ROI may include an area such as a road along which a moving object such as a vehicle moves.
  • 1 is an example of an AMR control system 100 using a control infrastructure.
  • 1 is an example of an AMR control scenario using information collected through a control infrastructure. 1 illustrates a factory-like environment.
  • AMRs 111 and 112 show two AMRs 111 and 112 .
  • the AMRs 111 and 112 move along a certain path for work using built-in sensors.
  • the AMRs 111 and 112 may exchange information with the control infrastructure through wireless communication.
  • AMRs 111 and 112 can be implemented in a variety of shapes and mechanical configurations.
  • the control infrastructure of FIG. 1 shows cameras 121 and 122 and light detection and ranging (LiDAR) 131 and 132 .
  • the sensors of the control infrastructure may further include a radar, an infrared sensor (proximity sensor), a temperature detection sensor, a sound sensor, and the like. 1 representatively illustrates a camera and LiDAR.
  • the cameras 121 and 122 may be mono cameras or stereo cameras that detect depth information.
  • the control device 150 may receive sensing data and information from the AMRs 111 and 112 and the sensors 121, 122, 131 and 132 of the control infrastructure.
  • the control device 150 may be an on-site device or a device such as a server in a remote location.
  • Camera 121 and LiDAR 131 collect environmental information in the same (overlapping) area. Camera 121 and LiDAR 131 collect information in area A1.
  • a fixedly arranged work robot R is located in area A1. Robot R performs work in a certain radius while moving its arms.
  • the AMR 111 currently has a movement path passing through area A1 while performing a certain task (transfer of parts, etc.). The AMR 111 is in a situation where it cannot detect the robot R due to obstacles placed on the movement path.
  • the camera 121 and the LiDAR 131 transmit data obtained by sensing the movement of the robot R to the control device 150 .
  • the camera 121 and the LiDAR 131 may transmit information about the AMR 111 approaching the area A1 to the control device 150 .
  • the AMR 111 transfers its movement path and sensing data to the control device 150 .
  • the control device 150 determines whether the AMR 111 collides with the robot R in area A1 by using the data (location and object detection information) received from the AMR 111 and the sensing data received from the sensor devices 121 and 131. judge The control device 150 determines the possibility of collision of the AMR 111 by fusing data collected by multiple sensors.
  • the controller 150 determines that there is a high possibility that the AMR 111 collides with the robot R, it transmits a collision warning to the AMR 111.
  • the AMR 111 receives a warning, it can stop at its current location or slow down.
  • the control device 150 may establish a new path capable of avoiding an impulse while considering the target point of the AMR 111 and transmit the same to the AMR 111 . In this case, the AMR 112 moves to the updated new path.
  • the AMR 111 receives a collision warning (including the location of robot R) or receives a global route from the control device 150, it may set and move a collision avoidance route by itself in consideration of the target point.
  • Camera 122 and LiDAR 132 collect environmental information in the same (overlapping) area. Camera 122 and LiDAR 132 collect information in area A2. In area A2, field personnel P are located behind obstacles. On-site manpower P is carrying out certain parts. The AMR 112 currently has a movement path passing through the area A2 while performing a certain task (part transfer, etc.). The AMR 112 is in a situation where it cannot detect the on-site manpower P due to obstacles placed on the movement path. The camera 122 and the LiDAR 132 transmit data obtained by sensing the movement of the field personnel P to the control device 150 . In addition, the camera 122 and the LiDAR 132 may transmit information about the AMR 112 approaching the area A2 to the control device 150 .
  • the AMR 112 transmits its movement path and sensing data to the control device 150 .
  • the control device 150 uses data (location and object detection information) received from the AMR 112 and sensing data received from the sensor devices 122 and 132 so that the AMR 112 collides with the field personnel P in area A2. decide whether The control device 150 determines the possibility of impact of the AMR 112 by fusing data collected by multiple sensors.
  • the control device 150 transmits a collision warning to the AMR 112 when it is determined that the AMR 112 is highly likely to collide with the field personnel P. Upon receiving an alert, the AMR 112 may stop at its current location or act to slow down. Furthermore, (i) the control device 150 may establish a new path capable of avoiding an impulse while considering the target point of the AMR 112 and transmit the same to the AMR 112 . In this case, the AMR 112 moves to the updated new path. (ii) Meanwhile, when the AMR 112 receives a collision warning (including the location of field personnel P) or receives a global route from the control device 150, the AMR 112 may set and move a collision avoidance route in consideration of the target point.
  • Figure 1 shows a scenario in which the AMR collides with obstacles, robots, and personnel deployed in the field. Furthermore, the AMR control system 100 using the control infrastructure monitors in advance risk factors that hinder the movement of the AMR, such as obstacles, people, moving objects, cracks on the floor, etc. in the movement path of the AMR, so that the AMR can safely target move to the point where Accordingly, information determined by the control device by synthesizing the sensing data of the AMR and the sensing data of the control infrastructure may be named risk information.
  • risk information determined by the control device by synthesizing the sensing data of the AMR and the sensing data of the control infrastructure may be named risk information.
  • the AMR control system 200 may include an AMR 700 and a control device 220 .
  • the AMR 210 is shown as a configuration of an on-board computer, a robot system, and a sensor.
  • An on-board computer processes the AMR's sensing data and generates control commands.
  • Robotic systems and sensors refer to AMR's mechanical devices and sensors.
  • the sensor relays the data it collects to the on-board computer.
  • the sensor can communicate the newly updated status to the on-board computer.
  • the on-board computer can send commands to the robotic system to control the operation of the AMR.
  • the on-board computer can transmit the movement path of the AMR to the robot system.
  • the AMR (210) transmits robot information (location, identification information, etc.) to the control device (220).
  • the AMR 210 may transmit certain data to the control device 220 using a communication module.
  • the AMR 210 may transmit information collected by the sensor to the control device 220 .
  • the control device 220 receives information and data transmitted by the AMR 210 through a communication module.
  • the control device 220 receives sensing data from infrastructure sensors (camera, LiDAR, etc.).
  • the control device 220 may generate certain image information by processing data transmitted by infrastructure sensors.
  • the control device 220 may extract target information, such as a specific object disposed in the corresponding area, from the created image.
  • the control device 220 fuses sensing data obtained by sensors of the robot and sensing data obtained by sensors of the control infrastructure based on target information (object location, area information, etc.).
  • the control device 220 may calculate the location and movement path of the target from data obtained by combining the sensing data.
  • the control device 220 determines whether there is a danger (such as collision) in the future AMR movement path based on the calculated information (environmental information around the AMR). The control device 220 determines that there is danger when the calculated risk level is greater than or equal to the threshold value and generates risk information. Furthermore, the control device 220 may design an avoidance path of the AMR.
  • the risk information is information about future risk potential and may include a location where a risk element exists and a time when the risk occurs. The control device 220 may transmit danger information or an avoidance path to the AMR 210 .
  • the control device 220 generates danger information or an avoidance path for the corresponding robot based on the robot information. When there are a plurality of robots in the field, the control device 220 may calculate risk for each robot and set risk information or an avoidance path.
  • the control device fuses the sensing data collected by the sensors of the control infrastructure and the sensors of the AMR to accurately determine the location or state of a specific object disposed in the region of interest.
  • 3 is an example of grid fusion for sensor fusion of a region of interest. 3 is an example of fusing a camera, LiDAR and radar.
  • control infrastructure and AMR may collect additional sensing data using other sensors.
  • the control infrastructure may detect the motion or location of an object by sound generated in a certain area using a directional microphone.
  • a main grid corresponds to a map divided into predetermined grid units based on previously set area information about a region of interest.
  • the main grid corresponds to a map in which an area of interest is divided into areas of a certain size.
  • the main grid includes location information of each region in the region of interest.
  • the main grid may include information about objects or structures disposed in at least some of the regions.
  • information detected based on the main grid may be displayed.
  • the control device may combine information sensed by individual sensors based on the main grid to calculate final information.
  • the control device may configure information sensed by individual sensors into a separate sensor grid (camera grid, LiDAR grid, radar grid, etc.) and combine the plurality of grids to finally fuse the sensed information.
  • the sensor fusion process may use various known fusion algorithms.
  • 4 is an example of a multi-sensor data fusion process 300 .
  • 4 is an example of a data processing and sensor fusion process in a control device.
  • the control device receives a number of sensor data.
  • 4 illustrates image data of camera #1, image data of camera #2, data of lidar #1, and data of radar #1 as examples.
  • Sensing data converged by the control device are sensing data of the control infrastructure and sensing data collected by the AMR.
  • the control device decodes a packet through which sensing data is delivered, and synchronizes the decoded individual sensing data based on time (310).
  • the control device rearranges and stores the decoded data according to the order of convergence (determinable according to the position of the sensor, the type of the sensor, etc.) (320). This process is the process of synchronizing multiple sensors.
  • the control device may perform predetermined pre-processing for each sensor data (330). Pre-processing may include noise removal, data format conversion, and the like. As described in FIG. 3 , the control device fuses sensor data through grid fusion (340). This process corresponds to the sensor fusion process. Furthermore, the control device may detect a specific object in the ROI based on the fused sensor data (350). Any one of various detection algorithms may be used for object detection.
  • FIG 5 is an example of an AMR movement path control process 400.
  • the AMR collects sensing data while moving along a certain path (411). Sensors of the control infrastructure collect sensing data (412).
  • the control device fuses the sensing data of the AMR and the sensing data of the control infrastructure and detects the object (420). This process is the same as the process described in FIG. 4 .
  • the control device determines whether the AMR is dangerous in the region of interest (blind spot) (430).
  • the control device determines whether there is a risk factor (eg, an object capable of colliding) in the moving path of the AMR using the fusion data. If a dangerous state is expected in the AMR due to a risk factor in the future movement path (YES in 440), the control device may transmit warning information about the danger to the AMR (450).
  • the warning information may include a location (point or area) where a dangerous state is expected. Furthermore, the warning information may include a time when a dangerous state is expected.
  • the AMR may set an avoidance path capable of avoiding the area in which the dangerous state occurs, and may move to the set avoidance path (460).
  • the control device monitors whether the task of the corresponding AMR is finished (arriving at a destination, receiving a task end message, turning off power, etc.) (470). This process is repeated until the work of AMR is completed.
  • FIG. 6 is another example of an AMR movement path control process 500 . 6 separately shows operations in the control infrastructure and AMR.
  • the control device is shown as an example of a control server.
  • the control server may be a device included in the control infrastructure. Alternatively, the control server may be a separate device that controls the movement path of the AMR based on information transmitted from the control infrastructure. 6 is an example of dividing a control infrastructure and a control server into separate objects.
  • a device such as a camera generates image information (512).
  • a device capable of detecting an object location such as a camera, LiDAR, or radar, may detect the location of the AMR (513). At this time, the location of the AMR may be an approximate location. Meanwhile, the location of the AMR may be confirmed by the control server receiving sensor data.
  • the control server may pre-process the image information generated by the control infrastructure to a certain extent (521).
  • the control server may detect an object in the image information (522).
  • the control server may detect whether there is an object in a certain region of interest.
  • the control server may determine whether another specific object is detected together with the AMR in the region of interest for which data is collected regardless of the exact movement path of the AMR.
  • the control server may detect the object using various image processing techniques. For example, the control server may detect a specific object using an artificial neural network model that detects an object in an input image. If the object exists (YES in 523), the control server proceeds with the multi-sensor fusion process.
  • the AMR collects sensing data using a sensor while moving (531).
  • the AMR may generate its own location information in real time using a sensor device such as an inertial measurement unit (IMU) (332). Meanwhile, the location information of the AMR may be determined using various indoor positioning techniques. Furthermore, the location information of the AMR may be determined using a device such as GPS.
  • IMU inertial measurement unit
  • the AMR may detect whether there is an obstacle in the movement path using sensing data (image data, lidar data, radar data, etc.) (543).
  • sensing data image data, lidar data, radar data, etc.
  • AMR can detect whether there is an object in a certain region of interest.
  • AMR can determine whether an obstacle exists using various object detection algorithms. For example, AMR can detect an obstacle using an artificial neural network model. If there is an obstacle (YES in 551), the control server may be requested to determine the dangerous state.
  • the control server performs multi-sensor fusion when (i) an object is detected in the area of interest or the AMR's movement path based on data sensed by the control infrastructure and/or (ii) the AMR informs that there is an obstacle in the movement path.
  • the control server regularly synchronizes the sensing data of the control infrastructure and the sensing data of the AMR (561). Synchronization at this time includes time synchronization and/or spatial synchronization.
  • the control server may synchronize data based on a time when sensing data is generated.
  • the control server may determine the location of the AMR based on the location of the AMR detected by the control infrastructure (first location) and/or its own location (second location) transmitted by the AMR.
  • the control server may synchronize the sensing data of the AMR and the sensing data of the control infrastructure on a spatial basis based on the first location and the second location.
  • the control server fuses the synchronized sensing data (562).
  • the control server may detect whether there is an object that may cause a dangerous state in the fused sensing data based on the location/movement path (direction of movement) of the AMR.
  • the control server may detect an object causing a dangerous state using any one of various algorithms for object detection. For example, the control server may detect an object inducing a dangerous state using an artificial neural network model.
  • the control server may create an avoidance path through which the AMR can avoid the corresponding point or area (571).
  • An avoidance path created by the control server may be the final path.
  • the control server may create a global path to a point targeted by the AMR.
  • a global path can consist of only the critical path from the current location to the target point.
  • the AMR can move using the avoidance path transmitted by the control server. Furthermore, the AMR may set a local path based on the current location using sensing data in real time while moving based on the global path transmitted by the control server (581).
  • control device 600 that controls AMR.
  • the control device 600 determines an avoidance path of the AMR by using the sensing data of the control infrastructure and the sensing data of the AMR in an integrated manner.
  • the control device 600 may be physically implemented in various forms.
  • the control device 600 may have a form of a PC, a smart device, a server on a network, or a chipset dedicated to data processing.
  • the control device 600 may include a storage device 610 , a memory 620 , an arithmetic device 630 , an interface device 640 , a communication device 650 and an output device 660 .
  • the storage device 610 may store programs or source codes necessary for data processing.
  • the storage device 610 may store an image processing program, an object detection program, a path setting program, and the like.
  • the storage device 610 may store sensing data of control infrastructure and sensing data of AMR.
  • the storage device 610 may store an avoidance path of the AMR.
  • the memory 620 may store data and information generated in the process of the control device 600 determining an AMR avoidance path.
  • the interface device 640 is a device that receives certain commands and data from the outside.
  • the interface device 640 may receive sensing data from the control infrastructure.
  • the interface device 640 may receive location information of the AMR from the control infrastructure.
  • the interface device 640 may receive a certain control command from the user.
  • the communication device 650 refers to a component that receives and transmits certain information through a wired or wireless network.
  • the communication device 650 may receive sensing data from the control infrastructure and/or AMR.
  • the communication device 650 may receive AMR location information from the control infrastructure.
  • the communication device 650 may receive location information of the AMR from the AMR.
  • the communication device 650 may receive an avoidance path setting request message from the AMR.
  • the communication device 650 may transmit the generated final avoidance path or global avoidance path to the AMR.
  • the communication device 650 or interface device 640 is a device that receives certain data or commands from the outside.
  • the communication device 650 or interface device 640 may be referred to as an input/output device.
  • the communication device 650 or the interface device 640 may be referred to as an input device.
  • the output device 660 is a device that outputs certain information.
  • the output device 660 may output an interface, movement path, etc. required for data processing.
  • the computing device 630 may pre-process sensing data of the control infrastructure.
  • the computing device 630 may detect an object based on image information of the control infrastructure.
  • the arithmetic device 630 may pre-process AMR sensing data.
  • the computing device 630 may fuse sensing data of the control infrastructure and sensing data of the AMR.
  • the arithmetic device 630 may preprocess and synchronize individual sensing data regularly.
  • the fusion process is as described in FIG. 3 and the like. That is, the computing device 630 may fuse grids for other sensed data based on the main grid for a certain region of interest.
  • the region of interest is an area to which a mobile object such as a robot moves, and may include the entire offline place, such as a factory, restaurant, shopping mall, exhibition hall, school, or the like, or a specific region among all places.
  • the ROI may include an area such as a road along which a moving object such as a vehicle moves.
  • the computing device 630 may detect whether there is a risk factor in the moving path in the convergence data.
  • the computing device 630 may create an avoidance path for the AMR to avoid the hazard. Computing device 630 may also generate a global avoidance path.
  • the arithmetic device 630 may be a device such as a processor, an AP, or a chip in which a program is embedded that processes data and performs certain arithmetic operations.
  • 8 shows a simulation architecture 700 for multi-sensor fusion. 8 corresponds to a simulation environment in which a researcher sets a specific scenario and experiments with multi-sensor fusion results. 8 corresponds to an example for explaining the configuration and operation of the simulation architecture 700.
  • the simulation architecture 700 may include the configuration of an AMR control system using an actual control infrastructure.
  • the control center 710 and the AMR 720 may perform the same configuration and operation as a system in a real environment.
  • the researcher implemented a system that fuses sensor data by receiving images in real time from an infrared camera (camera sensor 1) and an AMR camera (camera sensor 2) placed in the infrastructure.
  • the researcher set up an environment in which a dangerous situation (worker) is detected while the AMR is moving to the target point in the factory.
  • the control center 710 detects a dangerous situation (worker) on the moving path of the moving AMR 720 and controls to avoid the moving path.
  • OpenCV performs a function of detecting a dangerous object (human) on the path where the AMR 720 moves.
  • the control center 710 receives model state information from the Gazebo ROS 730.
  • the model state information may include information on the factory environment (2D plane shape and arranged objects) according to the scenario, the location or movement route of the worker according to the scenario, and the location or movement route of the AMR.
  • the location of the worker and AMR may include location information over time.
  • the control center 710 receives an image captured by the infrastructure (infrastructure image) and an image captured by the moving AMR 720 (robot image) from camera sensor 1 and camera sensor 2 through a wired or wireless network, respectively.
  • the control center 710 detects danger (risk of worker collision) by simultaneously using infrastructure images and robot images using OpenCV.
  • the control center 710 receives model state information and designs a global path to avoid risk.
  • AMR 720 calculates its position (relative position inside the factory).
  • the position of the AMR 720 includes position (x, y) and heading direction information on a two-dimensional plane.
  • the AMR 720 moves by tracking the global path designed by the control center 710.
  • AMR 720 delivers the AMR status (position and direction) to Gazebo ROS 730 in real time.
  • Gazebo ROS 730 visualizes objects according to model state information and AMR state information.
  • the Gazebo ROS 730 transmits model state information including the location of the AMR to the control center 710.
  • the researcher compared the performance of the multi-sensor fusion-based AMR path control technique (the proposed technique, denoted as “proposed”) and other techniques.
  • Other techniques include an AMR path control technique using only the robot's sensor (marked as “original") and a technique for reducing the movement speed at the edge of an arranged object (obstacle) while using only the robot's sensor (K. Schlegel, P. Weissig and P. Protzel, "A blind-spot-aware optimization-based planner for safe robot navigation," 2021 European Conference on Mobile Robots, 2021, pp. 1-8, labeled "conventional”).
  • the performance comparison indicators are the arrival time and time-to-event (TTE) of the AMR from the starting point to the target point.
  • TTE can be calculated as in Equation 1 below.
  • dist is the distance between the AMR and the operator within the ROI, is the resultant velocity vector.
  • ROI Corresponds to a preset area in the scenario described below.
  • Scenario 1 is an example in which the AMR moves from the start point to the goal point while avoiding human 1 moving along a pre-set path (arrow mark) in region of interest 1 (ROI 1). to be.
  • ROI 1 region of interest 1
  • Worker 1 is unaware of the AMR and moves along a designated path at a speed of 1.3 m/s.
  • FIG. 10 is a result of evaluating performance of techniques in which AMR avoids danger and reaches a target point in the scenario of FIG. 9 .
  • 10(A) is a result showing a path along which the AMR moves in the above three techniques. Referring to FIG. 10(A), it can be seen that the movement path of the proposed technology is closer to a straight line than the other two comparable technologies.
  • 10(B) is a result showing the arrival time of the AMR to the destination in the above three techniques. Table 1 below shows the results of summarizing the arrival times of FIG. 10(B). Looking at Table 1, it can be seen that the arrival time of the conventional method is slower than that of the original method using only the AMR sensor, and the proposed method has the earliest arrival time.
  • TTE 10(C) is a result showing TTE in the above three techniques.
  • Table 2 below shows the results of organizing the TTE of FIG. 10(C). Looking at Table 2, it can be seen that the proposed method has the longest TTE. A TTE of 1.62 seconds is known to be sufficient time for humans to avoid dangerous situations.
  • FIG. 11 is another example scenario for evaluating the performance of AMR avoidance using multi-sensor fusion.
  • the scenario of FIG. 11 is called scenario 2.
  • Scenario 2 avoids operator 1 (human 1) and operator 2 (human 2) moving along a preset path (arrow mark) in region of interest 2 (ROI 2) while two AMRs move from the starting point to the target point. Yes.
  • the AMR moves at a speed of 1.5 m/s, and workers move along the designated path at a speed of 1.3 m/s without recognizing the AMR.
  • FIG. 12 is a result of evaluating the performance of techniques in which AMR avoids danger and reaches a target point in the scenario of FIG. 11 .
  • 12(A) is a result showing a path along which the AMR moves in the above three techniques. Referring to FIG. 12(A), it can be seen that the movement path of the proposed technology is closer to a straight line than the other two comparable technologies.
  • 12(B) is a result showing the arrival time of the AMR to the destination in the above three techniques. Table 3 below shows the results of summarizing the arrival times of FIG. 12(B). Looking at Table 3, it can be seen that the conventional method is faster than the original method using only the AMR sensor, and the proposed method has the earliest arrival time.
  • 12(C) is a result showing TTE in the above three techniques. Table 4 below shows the results of organizing the TTE of FIG. 12(C). Looking at Table 4, it can be seen that the proposed method has the longest TTE.
  • the above-described method for determining an avoidance path of a moving object may be implemented as a program (or application) including an executable algorithm that may be executed on a computer.
  • the program may be stored and provided in a temporary or non-transitory computer readable medium.
  • a non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device.
  • the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM)
  • ROM read-only memory
  • PROM programmable read only memory
  • EPROM Erasable PROM, EPROM
  • it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.
  • Temporary readable media include static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), and enhanced SDRAM (Enhanced SDRAM). SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (DRRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDR SDRAM double data rate SDRAM
  • Enhanced SDRAM Enhanced SDRAM
  • SDRAM ESDRAM
  • Synchronous DRAM Synchronous DRAM
  • SLDRAM Direct Rambus RAM
  • DRRAM Direct Rambus RAM

Abstract

관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법은 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계, 상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계, 상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계, 상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계 및 상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 결정하는 단계를 포함한다.

Description

관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
이하 설명하는 기술은 이동 객체에 대한 장애물 회피 경로를 제공하는 기법에 관한 것이다.
로봇 기술이 발전하면서 스스로 경로를 설정하고 이동하는 자율 주행 로봇(Autonomous Mobile Robot, 이하 AMR이라 함)이 다양한 분야에서 활용되고 있다. AMR은 내장한 센서들을 이용하여 주변 객체 및 환경을 탐색하면서 일정한 경로를 이동한다. AMR은 이동 경로에 장애물이 있는 경우 이를 회피하여 경로를 설정하고 주어진 작업을 계속 수행한다. 장애물 회피를 위한 다양한 접근법이 연구되고 있다.
종래 기술은 AMR의 센서로부터 수집되는 정보에 기반하여 장애물을 탐지한다. 따라서, 종래 기술은 AMR이 탐지할 수 없는 사각 지대에 위치한 장애물이나 객체에 대해서는 능동적인 대처를 하기 어렵다.
이하 설명하는 기술은 관제 인프라가 수집하는 정보와 AMR의 센싱 데이터를 통합적으로 활용하여 AMR의 장애물을 예측하고 회피하는 방법을 제공하고자 한다.
관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법은 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계, 상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계, 상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계, 상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계 및 상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 생성하는 단계를 포함한다.
관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치는 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 입력받고, 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 입력받는 입력장치, 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위치한 위험 요소를 회피할 수 있는 회피 경로를 생성하는 연산장치 및 상기 회피 경로를 상기 이동 객체에 송신하는 통신장치를 포함한다.
이하 설명하는 기술은 로봇이 수집하는 센싱 데이터 및 주변 환경에서 수집되는 데이터를 통합적으로 이용하여 사각 지대와 같이 로봇이 예측하기 어려운 환경에서도 안정한 경로 계획을 할 수 있다.
도 1은 관제 인프라를 이용한 AMR 제어 시스템의 예이다.
도 2는 AMR과 제어 장치의 동작을 설명하는 예이다.
도 3은 관심 영역의 센서 융합을 위한 그리드 퓨전(Grid fusion)의 예이다.
도 4는 다중 센서 데이터의 융합 과정에 대한 예이다.
도 5는 AMR 이동 경로 제어 과정의 예이다.
도 6은 AMR 이동 경로 제어 과정의 다른 예이다.
도 7은 AMR을 제어하는 제어 장치에 대한 예이다.
도 8은 다중 센서 융합에 대한 시뮬레이션 아키텍처를 도시한다.
도 9는 다중 센서 융합을 이용한 AMR 회피의 성능을 평가하기 위한 시나리오에 대한 예이다.
도 10은 도 9의 시나리오에서 AMR이 위험을 회피하여 목표 지점에 이르는 기법들의 성능을 평가한 결과이다.
도 11은 다중 센서 융합을 이용한 AMR 회피의 성능을 평가하기 위한 시나리오에 대한 다른 예이다.
도 12는 도 11의 시나리오에서 AMR이 위험을 회피하여 목표 지점에 이르는 기법들의 성능을 평가한 결과이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 일정한 경로로 이동하는 이동 객체에 대한 회피 경로를 결정한다. 이동 객체는 장치의 종류에 관계없이 센싱한 정보를 기반으로 자율적으로 이동 경로를 결정할 수 있는 장치를 의미한다. 따라서, 이동 객체는 자율 주행 차량, AMR 등을 포함하는 의미이다. 다만, 이하 설명의 편의를 위하여 AMR을 기준으로 설명한다.
이동 객체는 실내(공장, 공항, 공연장, 전시장, 식당 등)에서 이동하는 장치일 수 있다. 나아가, 이동 객체는 실외(도로, 기타 실외 공간 등)에서 이동하는 장치일 수도 있다.
관심 영역(region of interest, ROI)은 이동 객체가 이동하는 영역을 의미한다. 관심 영역은 로봇과 같은 이동 객체가 이동하는 영역으로 공장, 음식점, 쇼핑몰, 전시장, 학교 등과 같은 오프라인 장소 전체 또는 전체 장소 중 특정 영역을 포함할 수 있다. 나아가, 관심 영역은 차량과 같은 이동 객체가 이동하는 도로와 같은 영역을 포함할 수도 있다.
도 1은 관제 인프라를 이용한 AMR 제어 시스템(100)의 예이다. 도 1은 관제 인프라를 통해 수집되는 정보를 활용한 AMR의 제어 시나리오의 예이다. 도 1은 공장과 같은 환경을 예시한다.
도 1은 두 개의 AMR(111 및 112)를 도시한다. AMR(111 및 112)은 내장한 센서를 이용하여 작업을 위한 일정한 경로로 이동한다. AMR(111 및 112)은 무선 통신으로 관제 인프라와 정보를 교환할 수 있다. AMR(111 및 112)은 다양한 형태 및 기계 구성으로 구현될 수 있다.
도 1의 관제 인프라는 카메라(121 및 122) 및 LiDAR(light detection and ranging, 131 및 132)를 도시한다. 관제 인프라의 센서는 레이더, 적외선 센서(근접 센서), 온도 감지 센서, 소리 센서 등을 더 포함할 수도 있다. 도 1은 대표적으로 카메라 및 LiDAR를 예시한 것이다. 카메라(121, 122)는 깊이 정보를 검출하는 모노 카메라, 스테레오 카메라 등일 수 있다.
제어 장치(150)는 AMR(111, 112) 및 관제 인프라의 센서(121, 122, 131, 132)로부터 센싱 데이터 및 정보를 수신할 수 있다. 제어 장치(150)는 현장에 배치된 장치일 수도 있고, 원격지에 있는 서버와 같은 장치일 수도 있다.
카메라(121) 및 LiDAR(131)는 동일한(중첩된) 영역에서 환경 정보를 수집한다. 카메라(121) 및 LiDAR(131)는 영역 A1에서의 정보를 수집한다. 영역 A1에는 고정 배치된 작업 로봇 R이 위치한다. 로봇 R은 팔을 움직이면서 일정한 반경에서 작업을 수행한다. AMR(111)은 일정한 작업(부품 이송 등)을 하면서 현재 A1 영역을 거치는 이동 경로를 갖고 있다. AMR(111)은 이동 경로에 배치된 장애물로 인하여 로봇 R을 검출할 수 없는 상황이다. 카메라(121) 및 LiDAR(131)는 로봇 R이 거동하는 동작을 센싱한 데이터를 제어 장치(150)에 전달한다. 또한, 카메라(121) 및 LiDAR(131)는 A1 영역에 접근하는 AMR(111)에 대한 정보를 제어 장치(150)에 전달할 수 있다. 또한, AMR(111)은 자신의 이동 경로 및 센싱 데이터를 제어 장치(150)에 전달한다. 제어 장치(150)는 AMR(111)로부터 수신한 데이터(위치 및 객체 검출 정보) 및 센서 장치(121, 131)로부터 수신한 센싱 데이터를 이용하여 AMR(111)이 영역 A1에서 로봇 R과 충돌할지 판단한다. 제어 장치(150)는 다중 센서들이 수집한 데이터들을 융합하여 AMR(111)의 충동 가능성을 판단한다.
제어 장치(150)는 AMR(111)이 로봇 R과 충돌할 가능성이 높다고 판단하면, 충돌 경고를 AMR(111)에 전송한다. AMR(111)은 경고를 수신하면 현재 위치에서 멈추거나 속도를 줄이는 동작을 할 수 있다. 나아가, (i)제어 장치(150)는 AMR(111)의 목표지점을 고려하면서 충동을 회피할 수 있는 새로운 경로를 설정하여 AMR(111)에 송신할 수 있다. 이 경우 AMR(112)은 갱신된 새로운 경로로 이동한다. (ii) 한편, AMR(111)은 충돌 경고(로봇 R의 위치 포함)를 받거나 제어 장치(150)로부터 전역 경로를 수신하면 목표 지점을 고려하여 충돌 회피 경로를 자신이 설정하여 이동할 수도 있다.
카메라(122) 및 LiDAR(132)는 동일한(중첩된) 영역에서 환경 정보를 수집한다. 카메라(122) 및 LiDAR(132)는 영역 A2에서의 정보를 수집한다. 영역 A2에는 장애물 뒤에 현장 인력 P가 위치한다. 현장 인력 P는 일정 부품을 나르는 작업을 하고 있다. AMR(112)은 일정한 작업(부품 이송 등)을 하면서 현재 A2 영역을 거치는 이동 경로를 갖고 있다. AMR(112)은 이동 경로에 배치된 장애물로 인하여 현장 인력 P를 검출할 수 없는 상황이다. 카메라(122) 및 LiDAR(132)는 현장 인력 P가 거동하는 동작을 센싱한 데이터를 제어 장치(150)에 전달한다. 또한, 카메라(122) 및 LiDAR(132)는 A2 영역에 접근하는 AMR(112)에 대한 정보를 제어 장치(150)에 전달할 수 있다. 또한, AMR(112)은 자신의 이동 경로 및 센싱 데이터를 제어 장치(150)에 전달한다. 제어 장치(150)는 AMR(112)로부터 수신한 데이터(위치 및 객체 검출 정보) 및 센서 장치(122, 132)로부터 수신한 센싱 데이터를 이용하여 AMR(112)이 영역 A2에서 현장 인력 P과 충돌할지 판단한다. 제어 장치(150)는 다중 센서들이 수집한 데이터들을 융합하여 AMR(112)의 충동 가능성을 판단한다.
제어 장치(150)는 AMR(112)이 현장 인력 P와 충돌할 가능성이 높다고 판단하면, 충돌 경고를 AMR(112)에 전송한다. AMR(112)은 경고를 수신하면 현재 위치에서 멈추거나 속도를 줄이는 동작을 할 수 있다. 나아가, (i) 제어 장치(150)는 AMR(112)의 목표지점을 고려하면서 충동을 회피할 수 있는 새로운 경로를 설정하여 AMR(112)에 송신할 수 있다. 이 경우 AMR(112)은 갱신된 새로운 경로로 이동한다. (ii) 한편, AMR(112)은 충돌 경고(현장 인력 P의 위치 포함)를 받거나 제어 장치(150)로부터 전역 경로를 수신하면 목표 지점을 고려하여 충돌 회피 경로를 자신이 설정하여 이동할 수도 있다.
도 1은 AMR이 현장에 배치된 장애물, 로봇, 인력에 충돌하는 시나리오를 도시하였다. 나아가, 관제 인프라를 이용한 AMR 제어 시스템(100)은 AMR의 이동 경로에 있는 장애물, 사람, 이동 객체, 바닥면의 균열 등과 같이 AMR의 이동에 장애를 주는 위험 요소를 사전에 모니터링하여 AMR이 안전하게 목표하는 지점에 이동하게 한다. 따라서, 제어 장치가 AMR의 센싱 데이터 및 관제 인프라의 센싱 데이터를 종합하여 판단하는 정보를 위험 정보라고 명명할 수 있다.
도 2는 AMR과 제어 장치의 동작을 설명하는 예이다. AMR 제어 시스템(200)은 AMR(700)과 제어 장치(220)로 구성될 수 있다.
도 2에서 AMR(210)은 온-보드 컴퓨터과 로봇 시스템 및 센서를 구성으로 도시하였다. 온-보드 컴퓨터는 AMR의 센싱 데이터 처리 및 제어 명령을 생성한다. 로봇 시스템 및 센서는 AMR의 기계 장치 및 센서를 의미한다. 센서는 수집한 데이터를 온-보드 컴퓨터에 전달한다. 센서는 새롭게 갱신된 상태를 온-보드 컴퓨터에 전달할 수 있다. 온-보드 컴퓨터는 AMR의 동작을 제어하는 명령을 로봇 시스템에 전달할 수 있다. 온-보드 컴퓨터는 AMR의 이동 경로를 로봇 시스템에 전달할 수 있다. AMR(210)은 로봇 정보(위치, 식별 정보 등)를 제어 장치(220)에 전달한다. AMR(210)은 통신 모듈을 이용하여 일정한 데이터를 제어 장치(220)에 전달할 수 있다. AMR(210)은 센서가 수집한 정보를 제어 장치(220)에 전달할 수 있다.
제어 장치(220)는 통신 모듈을 통해 AMR(210)이 전달하는 정보 및 데이터를 수신한다. 제어 장치(220)는 인프라 센서들(카메라, LiDAR 등)로부터 센싱 데이터를 수신한다. 제어 장치(220)는 인프라 센서들이 전달한 데이터를 처리하여 일정한 이미지 정보를 생성할 수 있다. 제어 장치(220)는 생성한 이미지에서 해당 영역에 배치된 특정 객체와 같은 타깃 정보를 추출할 수 있다. 제어 장치(220)는 타깃 정보(객체 위치, 영역 정보 등)를 기준으로 로봇의 센서들이 획득한 센싱 데이터 및 관제 인프라의 센서들이 획득한 센싱 데이터를 융합한다. 제어 장치(220)는 센싱 데이터들을 융합한 데이터에서 타깃의 위치 및 이동 경로를 산출할 수 있다. 제어 장치(220)는 산출한 정보(AMR 주변의 환경 정보)를 기준으로 장래 AMR 이동 경로에 위험(충돌 등)이 있는지 판단한다. 제어 장치(220)는 산출한 위험도가 임계값 이상이면 위험이 있다고 판단하여 위험 정보를 생성한다. 나아가, 제어 장치(220)는 AMR의 회피 경로를 설계할 수도 있다. 위험 정보는 장래 위험 가능성에 대한 정보로서 위험 요소가 있는 위치 및 위험 발생 시간을 포함할 수 있다. 제어 장치(220)는 위험 정보 내지 회피 경로를 AMR(210)에 전송할 수 있다.
제어 장치(220)는 로봇 정보를 기준으로 해당 로봇에 대한 위험 정보 내지 회피 경로를 생성한다. 현장에 다수의 로봇이 있는 경우, 제어 장치(220)는 로봇 별로 위험도를 산출하여 위험 정보 내지 회피 경로를 설정할 수 있다.
제어 장치는 관제 인프라의 센서들과 AMR의 센서들이 수집한 센싱 데이터를 융합하여 관심 영역에 배치된 특정 객체의 위치 내지 상태를 정확하게 판별한다. 도 3은 관심 영역의 센서 융합을 위한 그리드 퓨전(Grid fusion)의 예이다. 도 3은 카메라, LiDAR 및 레이더를 융합하는 예이다. 전술한 바와 같이 관제 인프라 및 AMR은 다른 센서들을 사용하여 추가적인 센싱 데이터로 수집할 수 있다. 예컨대, 관제 인프라는 지향성 마이크를 이용하여 일정한 영역에서 발생하는 소리로 객체의 동작 내지 위치를 검출할 수도 있다. 도 3에서 메인 그리드(main grid)는 관심 영역에 대하여 사전에 설정된 영역 정보에 기반하여 일정한 그리드 단위로 나눈 지도에 해당한다. 메인 그리드는 관심 영역을 일정한 크기의 영역들로 구분한 지도에 해당한다. 메인 그리드는 관심 영역에서 각 영역들의 위치 정보를 포함한다. 메인 그리드는 영역들 중 적어도 일부에 배치된 객체 내지 구조물에 대한 정보를 포함할 수도 있다. 카메라, LiDAR 및 레이더 각각에 대하여 메인 그리드를 기준으로 검출된 정보를 나타낼 수 있다. 제어 장치는 메인 그리드를 기준으로 개별 센서들이 센싱한 정보를 융합하여 최종적인 정보를 산출할 수 있다. 제어장치는 개별 센서들이 센싱한 정보를 별도의 센서 그리드(카메라 그리드, LiDAR 그리드, Radar 그리드 등)로 구성하고, 복수의 그리드를 조합하여 최종적으로 센싱 정보를 융합할 수 있다. 센서 용합 과정은 이미 알려진 다양한 융합 알고리즘을 사용할 수 있다.
도 4는 다중 센서 데이터의 융합 과정(300)에 대한 예이다. 도 4는 제어 장치에서의 데이터 처리 및 센서 융합 과정의 예이다. 제어 장치는 다수의 센서 데이터를 수신한다. 도 4는 카메라 #1의 이미지 데이터, 카메라 #2의 이미지 데이터, 라이다 #1의 데이터 및 레이더 #1의 데이터를 예로 도시하였다. 제어 장치가 융합하는 센싱 데이터들은 관제 인프라의 센싱 데이터 및 AMR이 수집한 센싱 데이터들이다.
제어 장치는 센싱 데이터가 전달되는 패킷을 디코딩하고, 디코딩한 개별 센싱 데이터들을 시간을 기준으로 동기화한다(310). 제어 장치는 디코딩한 데이터를 융합할 순서(센서의 위치, 센서의 종류 등에 따라 결정 가능)에 따라 재정렬하고 저장한다(320). 이 과정이 다중 센서를 동기화하는 과정이다.
제어 장치는 센서 데이터별로 일정한 전처리를 수행할 수 있다(330). 전처리는 잡음 제거, 데이터 포맷 변환 등을 포함할 수 있다. 제어 장치는 도 3에서 설명한 것과 같이 그리드 융합을 통하여 센서 데이터를 융합한다(340). 이 과정이 센서 융합 과정에 해당한다. 나아가, 제어 장치는 융합된 센서 데이터를 기준으로 관심 영역에서 특정 객체를 검출할 수 있다(350). 객체 검출은 다양한 검출 알고리즘 중 어느 하나가 사용될 수 있다.
도 5는 AMR 이동 경로 제어 과정(400)의 예이다.
AMR은 일정한 경로를 이동하면서 센싱 데이터를 수집한다(411). 관제 인프라의 센서들은 센싱 데이터를 수집한다(412).
제어 장치는 AMR의 센싱 데이터 및 관제 인프라의 센싱 데이터를 융합하고, 객체를 검출한다(420). 이 과정은 도 4에서 설명한 과정과 같다.
제어 장치는 관심 영역(사각 지대)에서 AMR의 위험 여부를 판단한다(430). 제어 장치는 융합 데이터를 이용하여 AMR의 이동 경로에 위험 요소(예컨대, 충돌 가능한 객체)가 있는지 판단한다. 장래 이동 경로에 위험 요소가 있어서 AMR에 위험 상태가 예상된다면(440의 YES), 제어 장치는 위험에 대한 경고 정보를 AMR에 전송할 수 있다(450). 경고 정보는 위험 상태가 예상되는 위치(지점 내지 영역)를 포함할 수 있다. 나아가, 경고 정보는 위험 상태가 예상되는 시간을 포함할 수도 있다.
경고 정보를 수신한 AMR은 위험 상태가 발생한 영역을 회피할 수 있는 회피 경로를 설정하고, 설정한 회피 경로로 이동할 수 있다(460).
제어 장치는 해당 AMR의 작업이 종료(목적지 도착, 작업 종료 메시지 수신, 전원 오프 등)되는지 모니터링한다(470). AMR의 작업이 종료될 때까지 이와 같은 과정이 반복되게 된다.
도 6은 AMR 이동 경로 제어 과정(500)의 다른 예이다. 도 6은 관제 인프라와 AMR에서의 동작을 개별적으로 도시한다. 도 6에서 제어 장치는 제어 서버를 예로 도시하였다. 제어 서버는 관제 인프라에 포함되는 장치일 수도 있다. 또는 제어 서버는 관제 인프라에서 전달하는 정보를 기준으로 AMR의 이동 경로를 제어하는 별도의 장치일 수도 있다. 도 6은 관제 인프라와 제어 서버를 별도의 객체로 구분한 예이다.
인프라 센서들이 동작하면서 센싱 데이터를 수집한다(511). 인프라 센서 중 카메라와 같은 장치가 이미지 정보를 생성한다(512). 인프라 센서 중 카메라, LiDAR, 레이더와 같이 객체 위치 검출이 가능한 장치는 AMR의 위치를 검출할 수 있다(513). 이때 AMR의 위치는 대략적인 위치일 수도 있다. 한편, AMR의 위치는 제어 서버가 센서 데이터를 수신하여 확인할 수도 있다.
제어 서버는 관제 인프라가 생성한 이미지 정보를 일정하게 전처리할 수 있다(521). 제어 서버는 이미지 정보에서 객체를 탐지할 수 있다(522). 제어 서버는 일정한 관심 영역에서 객체가 있는지 탐지할 수 있다. 여기서 제어 서버는 AMR의 정확한 이동 경로에 관계없이 데이터를 수집하는 관심 영역에서 AMR과 함께 다른 특정 객체가 검출되는지 판단할 수 있다.
제어 서버는 다양한 영상 처리 기법을 이용하여 객체를 탐지할 수 있다. 예컨대, 제어 서버는 입력 영상에서 객체를 탐지하는 인공신경망 모델을 이용하여 특정 객체를 탐지할 수 있다. 객체가 존재한다면(523의 YES), 제어 서버는 다중 센서 융합 과정을 진행한다.
AMR은 이동하면서 센서를 이용하여 센싱 데이터를 수집한다(531). AMR은 IMU(inertial measurement unit)와 같은 센서 장치를 이용하여 자신의 위치 정보를 실시간을 생성할 수 있다(332). 한편, AMR의 위치 정보는 다양한 실내 측위 기법을 이용하여 결정될 수도 있다. 나아가, AMR의 위치 정보는 GPS와 같은 장치를 이용하여 결정될 수도 있다.
AMR은 센싱 데이터(영상 데이터, 라이더 데이터, 레이더 데이터 등)를 이용하여 이동 경로에 장애물이 있는지 검출할 수 있다(543). AMR은 일정한 관심 영역에서 객체가 있는지 탐지할 수 있다. AMR은 다양한 객체 검출 알고리즘을 이용하여 장애물이 존재하는지 판단할 수 있다. 예컨대, AMR은 인공신경망 모델을 이용하여 장애물을 검출할 수 있다. 장애물이 존재한다면(551의 YES), 제어 서버에 위험 상태 판단을 요청할 수 있다.
제어 서버는 (i) 관제 인프라가 센싱한 데이터 기준으로 관심 영역 또는 AMR의 이동 경로에서 객체가 검출되는 경우 및/또는 (ii) AMR이 이동 경로에 장애물이 있다고 알려 주는 경우에 다중 센서 융합을 진행할 수 있다. 제어 서버는 관제 인프라의 센싱 데이터들 및 AMR의 센싱 데이터를 일정하게 동기화한다(561). 이때 동기화는 시간 동기화 및/또는 공간 동기화를 포함한다. 제어 서버는 센싱 데이터가 생성된 시간을 기준으로 데이터를 동기화할 수 있다. 나아가, 제어 서버는 관제 인프라가 검출한 AMR의 위치(제1 위치) 및/또는 AMR이 전송한 자신의 위치(제2 위치)를 기준으로 AMR의 위치를 결정할 수 있다. 제어 서버는 제1 위치와 제2 위치를 기준으로 AMR의 센싱 데이터와 관제 인프라의 센싱 데이터를 공간 기준으로 동기화할 수도 있다.
제어 서버는 동기화된 센싱 데이터를 융합한다(562).
제어 서버는 AMR의 위치/이동 경로(진행 방향)를 기준으로 융합된 센싱 데이터에서 위험 상태를 유발할 수 있는 객체가 있는지 검출할 수 있다. 제어 서버는 객체 검출을 위한 다양한 알고리즘 중 어느 하나를 이용하여 위험 상태를 유발하는 객체를 검출할 수 있다. 예컨대, 제어 서버는 인공신경망 모델을 이용하여 위험 상태를 유발하는 객체를 검출할 수 있다.
제어 서버는 AMR의 이동 경로에서 위험 상태가 예측되면, AMR이 해당 지점 내지 영역을 회피할 수 있는 회피 경로를 생성할 수 있다(571). 제어 서버가 생성하는 회피 경로가 최종적인 경로가 될 수 있다. 나아가, 제어 서버는 AMR이 목표하는 지점까지의 전역 경로(global path)를 생성할 수도 있다. 전역 경로는 현재 위치에서 목표 지점까지의 중요 경로만으로 구성될 수 있다.
이후, AMR은 제어 서버가 전송한 회피 경로를 사용하여 이동할 수 있다. 나아가, AMR은 제어 서버가 전송한 전역 경로를 기준으로 이동하면서 실시간으로 센싱 데이터를 이용하여 현재 위치 기준의 지역 경로(local path)를 설정할 수도 있다(581).
도 7은 AMR을 제어하는 제어 장치(600)에 대한 예이다. 제어 장치(600)는 관제 인프라의 센싱 데이터와 AMR의 센싱 데이터를 통합적으로 이용하여 AMR의 회피 경로를 결정한다. 제어 장치(600)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 제어 장치(600)는 PC, 스마트 기기, 네트워크상의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
제어 장치(600)는 저장장치(610), 메모리(620), 연산장치(630), 인터페이스 장치(640), 통신장치(650) 및 출력장치(660)를 포함할 수 있다.
저장장치(610)는 데이터 처리에 필요한 프로그램 내지 소스 코드 등을 저장할 수 있다.
저장장치(610)는 이미지 처리 프로그램, 객체 검출 프로그램, 경로 설정 프로그램 등을 저장할 수 있다.
저장장치(610)는 관제 인프라의 센싱 데이터 및 AMR의 센싱 데이터를 저장할 수 있다.
저장장치(610)는 AMR의 회피 경로를 저장할 수 있다.
메모리(620)는 제어 장치(600)가 AMR의 회피 경로를 결정하는 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(640)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다.
인터페이스 장치(640)는 관제 인프라로부터 센싱 데이터를 입력받을 수 있다. 인터페이스 장치(640)는 관제 인프라로부터 AMR의 위치 정보를 입력받을 수도 있다.
인터페이스 장치(640)는 사용자로부터 일정한 제어 명령을 입력받을 수도 있다.
통신장치(650)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다.
통신장치(650)는 관제 인프라 및/또는 AMR로부터 센싱 데이터를 수신할 수 있다.
통신장치(650)는 관제 인프라로부터 AMR의 위치 정보를 수신할 수도 있다.
통신장치(650)는 AMR로부터 AMR의 위치 정보를 수신할 수도 있다.
통신장치(650)는 AMR로부터 회피 경로 설정 요청 메시지를 수신할 수도 있다.
통신장치(650)는 생성한 최종 회피 경로 또는 전역 회피 경로를 AMR로 송신할 수 있다.
통신장치(650) 내지 인터페이스 장치(640)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신장치(650) 내지 인터페이스 장치(640)를 입출력 장치라고 할 수 있다. 또한, 정보 입력 가능만을 고려하면 통신장치(650) 내지 인터페이스 장치(640)를 입력장치라고 명명할 수도 있다.
출력장치(660)는 일정한 정보를 출력하는 장치이다. 출력장치(660)는 데이터 처리 과정에 필요한 인터페이스, 이동 경로 등을 출력할 수 있다.
연산 장치(630)는 관제 인프라의 센싱 데이터를 전처리할 수 있다.
연산 장치(630)는 관제 인프라의 이미지 정보를 기준으로 객체를 검출할 수 있다.
연산 장치(630)는 AMR의 센싱 데이터를 전처리할 수 있다.
연산 장치(630)는 관제 인프라의 센싱 데이터와 AMR의 센싱 데이터를 융합할 수 있다. 연산 장치(630)는 개별 센싱 데이터를 일정하게 전처리하고, 동기화할 수 있다. 융합 과정은 도 3 등에서 설명한 바와 같다. 즉, 연산 장치(630)는 일정한 관심 영역에 대한 메인 그리드를 기준으로 다른 센싱 데이터에 대한 그리드를 융합할 수 있다. 관심 영역은 로봇과 같은 이동 객체가 이동하는 영역으로 공장, 음식점, 쇼핑몰, 전시장, 학교 등과 같은 오프라인 장소 전체 또는 전체 장소 중 특정 영역을 포함할 수 있다. 나아가, 관심 영역은 차량과 같은 이동 객체가 이동하는 도로와 같은 영역을 포함할 수도 있다.
또한, 연산 장치(630)는 융합 데이터에서 이동 경로에 위험 요소가 있는지 검출할 수 있다.
연산 장치(630)는 AMR이 위험 요소를 회피하도록 회피 경로를 생성할 수 있다. 연산 장치(630)는 전역 회피 경로를 생성할 수도 있다.
연산 장치(630)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
이하 연구자가 관제 인프라 및 이동 객체의 센서를 이용한 다중 센서 융합 과정, 이동 객체 위험 감지 및 이동 객체의 경로 회피에 대한 실험 결과를 설명한다.
연구자는 Gazebo ROS(robot operating system)에서 다중 센서 용합 결과에 기반한 위험 감지 및 경로 회피를 실험하였다. 위험 감지는 관심 영역에 위치한 인간 객체를 인지하는 것으로 정의하였다.
연구자는 종전 연구(Z. Sun, H. Xie, J. Zheng, Z. Man, D. He, "Path-following control of Mecanum-wheels omnidirectional mobile robots using nonsingular terminal sliding mode," Mechanical Systems and Signal Processing, Volume 147, 2021, 107128, ISSN 0888-3270)에서 공개된 로봇 객체를 이용하여 시뮬레이션 환경에서 실험을 하였다. 해당 로봇 객체는 자동차와 유사하게 4개의 원형 바퀴로 이동할 수 있다.
도 8은 다중 센서 융합에 대한 시뮬레이션 아키텍처(700)를 도시한다. 도 8은 연구자가 특정 시나리오를 설정하여 다중 센서 융합 결과를 실험한 시뮬레이션 환경에 해당한다. 도 8은 시뮬레이션 아키텍처(700)의 구성 및 동작을 설명하는 예에 해당한다.
시뮬레이션 아키텍처(700)는 실제 관제 인프라를 이용한 AMR 제어 시스템의 구성을 포함할 수 있다. 예컨대, 시뮬레이션 아키텍처(700)에서 제어 센터(710) 및 AMR(720)은 실제 환경에서의 시스템과 동일한 구성 및 동작을 수행할 수 있다.
연구자는 인프라에 배치된 적외선 카메라(카메라 센서 1)과 AMR의 카메라(카메라 센서 2)로부터 실시간으로 영상을 입력받아 센서 데이터를 융합을 하는 시스템을 구현하였다. 연구자는 공장 실내에서 AMR이 목표 지점까지 이동하는 과정에서 위험 상황(작업자)을 감지하는 환경을 설정하였다.
제어 센터(710)는 이동하는 AMR(720)의 이동 경로에 위험 상황(작업자)을 감지하고, 이동 경로를 회피하도록 제어한다. OpenCV는 AMR(720)이 이동하는 경로에 위험 객체(인간)를 탐지하는 기능을 수행한다.
제어 센터(710)는 Gazebo ROS(730)으로부터 모델 상태 정보를 입력받는다. 모델 상태 정보는 시나리오에 따른 공장 환경(2차원 평면 모양 및 배치된 객체들)에 대한 정보, 시나리오에 따른 작업자 위치 내지 이동 경로 및 AMR의 위치 내지 이동 경로를 포함할 수 잇다. 작업자 및 AMR의 위치는 시간에 따른 위치 정보를 포함할 수 있다.
제어 센터(710)는 유선 또는 무선 네트워크를 통해 카메라 센서 1과 카메라 센서 2로부터 각각 인프라에서 촬영한 영상(인프라 영상)과 이동하는 AMR(720)에서 촬영한 영상(로봇 영상)을 수신한다. 제어 센터(710)는 OpenCV를 이용하여 인프라 영상 및 로봇 영상을 동시에 이용하여 위험(작업자 충돌 위험)을 감지한다. 제어 센터(710)는 모델 상태 정보를 수신하고 위험을 회피할 수 있는 전역 경로를 설계한다.
AMR(720)은 자신의 위치(공장 내부에서의 상대적 위치)를 연산한다. AMR(720)의 위치는 2차원 평면에서의 위치 (x,y) 및 지향 방향 정보를 포함한다. AMR(720)은 제어 센터(710)가 설계한 전역 경로를 추적하여 이동한다. AMR(720)은 실시간으로 AMR 상태(위치 및 방향)를 Gazebo ROS(730)에 전달한다.
Gazebo ROS(730)는 모델 상태 정보 및 AMR 상태 정보에 따라 객체를 시각화한다. Gazebo ROS(730)는 AMR의 위치를 포함하는 모델 상태 정보를 제어 센터(710)에 전달한다.
이하 연구자가 전술한 시뮬레이션 아키텍처(700)를 기반으로 관제 인프라의 센서 데이터 및 AMR의 센서 데이터를 융합하여 위험을 회피하는 성능을 평가한 실험 결과를 설명한다.
연구자는 다중 센서 용합 기반의 AMR 경로 제어 기법(제안 기법, "proposed"로 표시)과 다른 기법들의 성능을 비교하였다. 다른 기법들은 로봇의 센서만을 이용한 AMR 경로 제어 기법("original"로 표시) 및 로봇의 센서만을 이용하면서 배치된 객체(장애물)의 경계(edge)에서 이동 속도를 줄이는 기법(K. Schlegel, P. Weissig and P. Protzel, "A blind-spot-aware optimization-based planner for safe robot navigation," 2021 European Conference on Mobile Robots, 2021, pp. 1~8, "conventional"로 표시)이다. 성능 비교 지표는 AMR이 출발 지점으로부터 목표 지점까지의 도착 시간(arrival time) 및 TTE(time-to-event)이다. TTE는 아래 수학식 1과 같이 계산할 수 있다. 수학식 1에서 dist는 ROI 내에서 AMR과 작업자 사이의 거리이고,
Figure PCTKR2022008858-appb-img-000001
는 합성 속도(resultant velocity) 벡터이다. ROI 아래 설명하는 시나리오에서 사전에 설정된 영역에 해당한다.
Figure PCTKR2022008858-appb-img-000002
도 9는 다중 센서 융합을 이용한 AMR 회피의 성능을 평가하기 위한 시나리오에 대한 예이다. 도 9의 시나리오를 시나리오 1이라고 명명한다. 시나리오 1은 AMR이 시작 지점(start point)에서 목표 지점(goal point)까지 이동하면서 관심 영역 1(ROI 1)에서 사전에 설정된 경로(화살표 표시)를 이동하는 작업자 1(human 1)을 회피하는 예이다. 시나리오 1에서 작업자 1은 AMR을 인지하지 못하고 1.3m/s 속도로 지정된 경로를 이동한다.
도 10은 도 9의 시나리오에서 AMR이 위험을 회피하여 목표 지점에 이르는 기법들의 성능을 평가한 결과이다. 도 10(A)는 전술한 3가지 기법에서 AMR이 이동한 경로를 도시한 결과이다. 도 10(A)를 살펴보면, 제안 기술이 다른 두 가지 비교 대상 기법들보다 이동 경로가 직선에 가까운 것을 알 수 있다. 도 10(B)는 전술한 3가지 기법에서 AMR이 목적지에 이르는 도착 시간을 도시한 결과이다. 아래 표 1은 도 10(B)의 도착 시간을 정리한 결과이다. 표 1을 살펴보면 AMR의 센서만을 이용하는 기법(original)에 비하여 종전 기법(conventinal)의 도착 시간이 느리고, 제안 기법(proposed)이 가장 도착 시간이 이른 것을 알 수 있다. 도 10(C)는 전술한 3가지 기법에서의 TTE를 도시한 결과이다. 아래 표 2는 도 10(C)의 TTE를 정리한 결과이다. 표 2를 살펴보면, 제안 기법(proposed)의 TTE가 가장 긴 것을 알 수 있다. 1.62초인 TTE는 인간이 위험 상황을 회피하기에 충분한 시간으로 알려져 있다.
Figure PCTKR2022008858-appb-img-000003
Figure PCTKR2022008858-appb-img-000004
도 11은 다중 센서 융합을 이용한 AMR 회피의 성능을 평가하기 위한 시나리오에 대한 다른 예이다. 도 11의 시나리오를 시나리오 2라고 명명한다. 시나리오 2는 2개의 AMR들이 시작 지점에서 목표 지점까지 이동하면서 관심 영역 2(ROI 2)에서 사전에 설정된 경로(화살표 표시)를 이동하는 작업자 1(human 1) 및 작업자 2(human 2)를 회피하는 예이다. 시나리오 2에서 AMR은 1.5m/s 속도로 이동하고, 작업자들은 AMR을 인지하지 못하고 1.3m/s 속도로 지정된 경로를 이동한다.
도 12는 도 11의 시나리오에서 AMR이 위험을 회피하여 목표 지점에 이르는 기법들의 성능을 평가한 결과이다. 도 12(A)는 전술한 3가지 기법에서 AMR이 이동한 경로를 도시한 결과이다. 도 12(A)를 살펴보면, 제안 기술이 다른 두 가지 비교 대상 기법들보다 이동 경로가 직선에 가까운 것을 알 수 있다. 도 12(B)는 전술한 3가지 기법에서 AMR이 목적지에 이르는 도착 시간을 도시한 결과이다. 아래 표 3은 도 12(B)의 도착 시간을 정리한 결과이다. 표 3을 살펴보면 종전 기법(conventinal)은 AMR의 센서만을 이용하는 기법(original)에 빠르고, 제안 기법(proposed)이 가장 도착 시간이 이른 것을 알 수 있다. 도 12(C)는 전술한 3가지 기법에서의 TTE를 도시한 결과이다. 아래 표 4는 도 12(C)의 TTE를 정리한 결과이다. 표 4를 살펴보면, 제안 기법(proposed)의 TTE가 가장 긴 것을 알 수 있다.
Figure PCTKR2022008858-appb-img-000005
Figure PCTKR2022008858-appb-img-000006
또한, 상술한 바와 같은 이동 객체의 회피 경로 결정 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (12)

  1. 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계;
    상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계;
    상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계;
    상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계; 및
    상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 생성하는 단계를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  2. 제1항에 있어서,
    상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터 중 적어도 하나를 기준으로 상기 이동 객체의 이동 경로가 포함되는 관심 영역에 특정 객체가 있는 경우 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  3. 제1항에 있어서,
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터는 각각 영상 데이터, 라이더 데이터 및 레이더 데이터를 포함하는 센싱 데이터 그룹에서 선택되는 복수의 데이터를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  4. 제1항에 있어서,
    상기 제어 장치는 상기 관심 영역을 일정한 크기의 복수의 영역들로 구분한 메인 그리드(main grid)에 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터로부터 각각 생성되는 센서 그리드들을 조합하여 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  5. 제1항에 있어서,
    상기 제어 장치는 상기 관제 인프라로부터 상기 이동 객체의 제1 위치 정보를 수신하고, 상기 이동 객체로부터 자신의 제2 위치 정보를 수신하고, 상기 제1 위치 정보와 상기 제2 위치 정보를 기준으로 상기 제1 센싱 데이터와 상기 제2 센싱 데이터를 동기화하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  6. 제1항에 있어서,
    상기 제어 장치는 상기 위험 요소를 회피할 수 있는 전역 경로를 상기 이동 객체에 전달하고, 상기 이동 객체는 상기 전역 경로를 기준으로 실시간으로 상기 위험 요소를 회피할 수 있는 지역 경로를 설정하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  7. 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 입력받고, 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 입력받는 입력장치;
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위치한 위험 요소를 회피할 수 있는 회피 경로를 생성하는 연산장치; 및
    상기 회피 경로를 상기 이동 객체에 송신하는 통신장치를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  8. 제7항에 있어서,
    상기 연산장치는
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터 중 적어도 하나를 기준으로 상기 이동 객체의 이동 경로가 포함되는 관심 영역에 특정 객체가 있는 경우 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  9. 제7항에 있어서,
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터는 각각 영상 데이터, 라이더 데이터 및 레이더 데이터를 포함하는 센싱 데이터 그룹에서 선택되는 복수의 데이터를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  10. 제7항에 있어서,
    상기 연산장치는 상기 관심 영역을 일정한 크기의 복수의 영역들로 구분한 메인 그리드(main grid)에 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터로부터 각각 생성되는 센서 그리드들을 조합하여 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  11. 제7항에 있어서,
    상기 연산장치는
    상기 관제 인프라로부터 상기 이동 객체의 제1 위치 정보를 수신하고, 상기 이동 객체로부터 자신의 제2 위치 정보를 수신하고, 상기 제1 위치 정보와 상기 제2 위치 정보를 기준으로 상기 제1 센싱 데이터와 상기 제2 센싱 데이터를 동기화한 후 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  12. 제7항에 있어서,
    상기 통신 장치는 상기 위험 요소를 회피할 수 있는 전역 경로를 상기 이동 객체에 송신하고, 상기 이동 객체는 상기 전역 경로를 기준으로 실시간으로 상기 위험 요소를 회피할 수 있는 지역 경로를 설정하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
PCT/KR2022/008858 2021-07-12 2022-06-22 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 WO2023287052A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0090977 2021-07-12
KR20210090977 2021-07-12
KR10-2021-0122187 2021-09-14
KR1020210122187A KR20230011195A (ko) 2021-07-12 2021-09-14 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치

Publications (1)

Publication Number Publication Date
WO2023287052A1 true WO2023287052A1 (ko) 2023-01-19

Family

ID=84919519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008858 WO2023287052A1 (ko) 2021-07-12 2022-06-22 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치

Country Status (1)

Country Link
WO (1) WO2023287052A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061639A (ko) * 2014-11-24 2016-06-01 현대엠엔소프트 주식회사 차량의 주행 경로 특성에 따른 사각지대 검출 및 알림 방법
KR20190068048A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 주행 경로 상의 장애물 탐색 및 회피를 위한 방법 및 장치
US20210027629A1 (en) * 2019-07-25 2021-01-28 Baidu Usa Llc Blind area processing for autonomous driving vehicles
JP2021508863A (ja) * 2017-11-10 2021-03-11 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
JP2021089732A (ja) * 2019-12-02 2021-06-10 株式会社デンソー 衝突回避のために周囲の車両に対して警告を提供するためのシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061639A (ko) * 2014-11-24 2016-06-01 현대엠엔소프트 주식회사 차량의 주행 경로 특성에 따른 사각지대 검출 및 알림 방법
JP2021508863A (ja) * 2017-11-10 2021-03-11 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
KR20190068048A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 주행 경로 상의 장애물 탐색 및 회피를 위한 방법 및 장치
US20210027629A1 (en) * 2019-07-25 2021-01-28 Baidu Usa Llc Blind area processing for autonomous driving vehicles
JP2021089732A (ja) * 2019-12-02 2021-06-10 株式会社デンソー 衝突回避のために周囲の車両に対して警告を提供するためのシステムおよび方法

Similar Documents

Publication Publication Date Title
CN110446159B (zh) 一种室内无人机精确定位与自主导航的系统及方法
WO2018128292A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018052204A1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
CA3044609C (en) Object-tracking system
US10732643B2 (en) Control system, moving object, and control apparatus
US20200402256A1 (en) Control device and control method, program, and mobile object
Lee et al. Autonomous tour guide robot by using ultrasonic range sensors and QR code recognition in indoor environment
US20180050694A1 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
WO2018070663A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018164377A1 (ko) 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR20120090387A (ko) 감시 경계 로봇 시스템 및 경계 로봇 시스템에서 이동 로봇의 주행 방법
WO2018076777A1 (zh) 机器人的定位方法和装置、机器人
WO2019045293A1 (ko) 타겟 지향 로컬 경로를 생성하는 방법 및 이를 구현하는 로봇
WO2016021887A1 (ko) 실내 측위 시스템용 비콘 및 리스너
KR20120072043A (ko) 차량 자동 유도 장치, 방법 및 시스템
WO2021125510A1 (en) Method and device for navigating in dynamic environment
KR20210039750A (ko) 드론을 이용한 지하 공간 실시간 3차원(3d) 매핑시스템
Becker et al. Vehicle and pedestrian collision prevention system based on smart video surveillance and C2I communication
WO2023287052A1 (ko) 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
US20200409388A1 (en) Controller, control method, and program
CN113084776B (zh) 基于视觉的多传感器融合的智能防疫机器人及系统
WO2024075959A1 (ko) 로봇, 서버 및 그 제어 방법
Sree et al. Obstacle avoidance for UAVs used in road accident monitoring
Tuna et al. Autonomous intruder detection system using wireless networked mobile robots

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22842314

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE