WO2024029780A1 - 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법 - Google Patents

움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법 Download PDF

Info

Publication number
WO2024029780A1
WO2024029780A1 PCT/KR2023/010155 KR2023010155W WO2024029780A1 WO 2024029780 A1 WO2024029780 A1 WO 2024029780A1 KR 2023010155 W KR2023010155 W KR 2023010155W WO 2024029780 A1 WO2024029780 A1 WO 2024029780A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
driving robot
robot
movement
driving
Prior art date
Application number
PCT/KR2023/010155
Other languages
English (en)
French (fr)
Inventor
김창원
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220096620A external-priority patent/KR102701968B1/ko
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Publication of WO2024029780A1 publication Critical patent/WO2024029780A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots

Definitions

  • the present invention relates to a self-driving robot control system and a self-driving robot control method using the same, and more specifically, to an autonomous robot that can follow an object using a camera and LIDAR and perform actions according to the movement of the object. It relates to a driving robot control system and a method of controlling an autonomous driving robot using the same.
  • Self-driving robots include AGV (Automated Guided Vehicle), AMR (Autonomous Mobile Robot), etc.
  • self-driving robots perform tasks such as picking up products and moving them to the next workplace.
  • Patent Document 1 Korea Registered Patent 10-2234770 (2021.04.02)
  • Patent Document 2 Korea Registered Patent 10-2425271 (2022.07.21)
  • the present invention provides a motion recognition-based self-driving robot control system that can follow an object using a camera and LIDAR and perform actions according to the movement of the object, and a self-driving robot control method using the same.
  • the present invention is a motion recognition-based autonomous robot control system that does not simply follow the worker, but recognizes the worker's motion through an image or IMU-based HRI (Human Robot Interface) and controls it to perform the corresponding motion. and a method for controlling an autonomous robot using the same.
  • IMU-based HRI Human Robot Interface
  • the present invention provides a motion recognition-based self-driving robot control system that allows even non-robot experts to easily control an autonomous robot and a self-driving robot control method using the same.
  • the motion recognition-based self-driving robot control system includes a driving part that moves the self-driving robot, a driving control part that controls the driving part to control the movement of the self-driving robot, and a preset position of the self-driving robot.
  • a camera that captures directional images, a Lidar that detects obstacles around the self-driving robot at a preset location of the self-driving robot, and a tracking target object included in the image based on the image captured by the camera.
  • a position estimation unit that identifies and estimates the location of the object to be followed based on the surrounding obstacles detected through the LIDAR, a motion recognition unit that recognizes the movement of the object to be followed based on the image captured by the camera, and Controls the driving control unit so that the autonomous driving robot follows the tracking object based on the position of the tracking object estimated by the position estimation unit, and causes the autonomous driving robot to perform a movement corresponding to the movement recognized by the motion recognition unit. and a robot control unit that controls the drive control unit to execute.
  • the object to be followed may have a preset identification marker.
  • the identification marker may include ArUco Marker.
  • the location estimation unit clusters a point cloud obtained through an object identification unit and the lidar that identifies an object having the identification marker among objects included in an image captured by the camera as a target object to be followed, , identifies the clustered feature point shape corresponding to the feature point model of the tracking target object among the clustered feature point shapes, identifies the tracking target object, and includes an object position estimation unit that estimates the relative position of the identified tracking target object.
  • the feature point model of the tracking target object may be a feature point model extracted from the tracking target object identified by the object identification unit.
  • the feature point model of the object to be followed may be a preset input feature point model.
  • the feature point model may be a feature point model corresponding to the shape of the worker's legs at a preset height.
  • the motion recognition unit sets a first region of interest (ROI) including the identified object to be followed, and recognizes the movement of the object to be followed within the first region of interest. It may include an operation command generator that generates an operation command corresponding to the corresponding movement and transmits the generated operation command to the robot control unit.
  • ROI region of interest
  • the motion recognition unit further includes an abrupt motion identification unit that identifies whether the movement of the identified object to be followed is an unexpected movement according to a preset standard, wherein the movement of the object to be followed is identified as an unexpected movement.
  • the operation command generator may not generate the operation command.
  • the sudden movement identification unit may identify whether the tracking target object makes a sudden movement based on Equation 1 below.
  • fm is the first frame of the image
  • fn is the second frame
  • PN_var is the number of pixels in which the position of the object (e.g., worker) area changed between the first frame and the second frame
  • N set is the default.
  • the robot control unit sets a second region of interest (ROI) corresponding to the size of the self-driving robot in the driving direction of the self-driving robot, and the position estimation unit detects (via LiDAR) Based on the location information of surrounding obstacles, the self-driving robot can be moved by controlling the drive control unit so that the obstacles are not located within a preset distance in the second area of interest.
  • ROI region of interest
  • the robot control unit may register a second self-driving robot that is connected to the corresponding self-driving robot and performs platooning, and may transmit an operation command corresponding to the movement to the registered second self-driving robot.
  • the robot control unit displays a second region of interest (ROI) corresponding to the size of the autonomous robot in the driving direction of the autonomous robot, and a third region of interest (ROI) corresponding to the size of the second autonomous robot ( ROI) is set, an avoidance area of interest is set by comparing the second area of interest and the third area of interest, and the avoidance area of interest is set based on the location information of surrounding obstacles detected (via LiDAR) by the location estimation unit.
  • the self-driving robot can be moved by controlling the drive control unit to prevent obstacles from being located within a preset distance.
  • the motion recognition-based self-driving robot control system includes a driving part that moves the self-driving robot, a driving control part that controls the driving part to control the movement of the self-driving robot, and a preset position of the self-driving robot.
  • a camera that captures directional images, a Lidar that detects obstacles around the self-driving robot at a preset location of the self-driving robot, and a tracking target object included in the image based on the image captured by the camera.
  • a position estimation unit that identifies and estimates the location of the object to be followed based on surrounding obstacles detected through the LIDAR, and the object to be followed based on a motion measurement value received from an inertial measurement device provided in the object to be followed.
  • the motion recognition-based self-driving robot control method includes the steps of using a camera to capture an image in a pre-set direction at a pre-set position of the self-driving robot, and using a Lidar to capture the image in a pre-set direction at a pre-set position of the self-driving robot. Detecting surrounding obstacles of the self-driving robot, a position estimation unit identifies a target object to be followed included in the image based on the image captured by the camera, and the target object to be followed is based on the surrounding obstacle detected through the LIDAR.
  • estimating the location estimating the location
  • a motion recognition unit recognizing the movement of the tracking object based on the image captured by the camera
  • a robot control unit autonomously based on the location of the tracking object estimated by the position estimation unit. It includes controlling the driving control unit so that the driving robot follows the tracking target object, and controlling the driving control unit so that the autonomous driving robot executes an operation corresponding to the movement recognized by the motion recognition unit.
  • the motion recognition-based self-driving robot control system and the self-driving robot control method using the same according to the present invention follow an object using a camera and LIDAR and perform actions according to the movement of the object. can do.
  • the motion recognition-based self-driving robot control system and self-driving robot control method using the same according to the present invention do not simply follow the worker, but recognize the worker's movements through video or IMU-based HRI (Human Robot Interface) and respond accordingly. The corresponding action can be performed.
  • the motion recognition-based self-driving robot control system and the self-driving robot control method using the same according to the present invention allow even non-robot experts to easily control the self-driving robot, so the self-driving robot can be immediately put into the field.
  • FIG. 1 is a diagram showing a self-driving robot and a tracking object according to an embodiment of the present invention.
  • Figure 2 is a diagram showing the configuration of an autonomous robot control system according to an embodiment of the present invention.
  • Figure 3 is a flowchart illustrating a method for controlling a self-driving robot according to an embodiment of the present invention.
  • Figure 1 is a diagram showing a self-driving robot and a tracking object according to an embodiment of the present invention.
  • the self-driving robot 110 may include a plurality of sensors, for example, a camera 120 and a LIDAR (Light Detection And Ranging) 130.
  • a camera 120 may include a plurality of sensors, for example, a camera 120 and a LIDAR (Light Detection And Ranging) 130.
  • LIDAR Light Detection And Ranging
  • the self-driving robot 110 can drive autonomously without human driving.
  • the autonomous robot 110 may include an Automated Guided Vehicle (AGV), an Autonomous Mobile Robot (AMR), etc.
  • AGV Automated Guided Vehicle
  • AMR Autonomous Mobile Robot
  • the self-driving robot 110 may recognize the movement of the tracking object 140 and perform a corresponding operation while driving while following the tracking object 140 (eg, a worker in the field).
  • the self-driving robot 110 deployed in a logistics center may load cargo and drive while following the tracking object 140 (e.g., a worker in the field) when the tracking object 140 moves.
  • the tracking target object (e.g., a worker in the field) 140 may make a predefined movement, and the driving autonomous robot 110 recognizes the movement of the tracking target object 140 and responds to the movement. You can perform the following actions.
  • the self-driving robot 110 identifies the object to be followed 140 based on the image captured through the camera 120, and the object to be followed based on the surrounding obstacles detected through the LIDAR 130.
  • the tracking target object 140 can be tracked by estimating the location of 140 .
  • the object to be followed 140 may have a preset identification marker 150.
  • the identification marker 150 may correspond to a two-dimensional code (ArUco Marker, etc.).
  • a worker may attach an ArUco Marker containing identification information to the body, or the worker may wear clothing to which an ArUco Marker containing identification information is attached.
  • the identification marker 150 may include individual identification information, and the self-driving robot 110 recognizes the identification marker 150 captured through the camera 120 and identifies a target object to follow among a plurality of objects included in the image. (140) can be identified.
  • the self-driving robot 110 loads a command data set corresponding to the individual identification information included in the identification marker 150.
  • the driving autonomous robot 110 may recognize the movement of the object to be followed 140 based on the image captured through the camera 120 and execute a command corresponding to the movement in the command data set.
  • the tracking object 140 may include an inertial measurement unit (IMU) 160.
  • IMU inertial measurement unit
  • the inertial measurement device 160 may measure the speed, direction, gravity, and acceleration of the object to be followed (e.g., a worker in the field) 140 and transmit the corresponding measured values to the self-driving robot 110.
  • a worker may attach or wear the inertial measurement device 160 to a part of the body and control the self-driving robot 110 by moving the body to which the inertial measurement device 160 is attached or worn.
  • the self-driving robot 110 can recognize the movement of the object to be followed 140 based on the measurement value received wirelessly from the inertial measurement device 160 and execute a command corresponding to the movement in the command data set. .
  • the self-driving robot 110 may recognize the movement of the object to be followed 140 based on an image captured through the camera 120 or a measurement value received wirelessly from the inertial measurement device 160. there is. In another embodiment, the self-driving robot 110 may recognize the movement of the object to be followed 140 based on the measurement value received wirelessly from the inertial measurement device 160 along with the image captured through the camera 120. It may be possible.
  • Figure 2 is a diagram showing the configuration of an autonomous robot control system according to an embodiment of the present invention.
  • the self-driving robot control system 200 includes a camera 210, LIDAR 220, position estimation unit 230, motion recognition unit 240, robot control unit 250, and memory. 260, a wireless communication unit 270, a drive control unit 280, and a drive unit 290.
  • the description will be made assuming that the object to be followed is a worker.
  • the camera 210 is provided at a preset position of the self-driving robot and captures images in a preset direction.
  • the camera 210 is provided on the front and top of the self-driving robot and can capture the moving direction (eg, forward) of the self-driving robot.
  • An autonomous robot may be equipped with a single camera or multiple stereo cameras.
  • LiDAR 220 irradiates light at a preset location of the self-driving robot and detects obstacles around the self-driving robot by receiving light reflected from surrounding objects.
  • the LIDAR 220 may be installed at a preset identifiable location on the worker's body to identify the worker. For example, when identifying a worker by identifying the worker's legs, the LIDAR 220 may be installed in the front of the self-driving robot at a height corresponding to the position of the worker's legs.
  • the location estimation unit 230 identifies a target object to be followed included in the image based on the image captured by the camera 210 and estimates the worker's location based on surrounding obstacles detected through the LiDAR 220.
  • the location estimation unit 230 may include an object identification unit 232 and an object location estimation unit 234.
  • the object identification unit 232 identifies an object including the identification marker 150 among objects included in an image captured by the camera 210 as a worker.
  • the object identification unit 232 may extract a plurality of objects from an image captured by the camera 210 through an object detection algorithm.
  • the object identification unit 232 may identify an object corresponding to the location where the identification marker 150 is identified among objects detected in the image as a worker.
  • the object identification unit 232 displays information about the identified identification markers 150 on a status display screen ( (not shown) and receive information about the identification marker of the worker to be followed from the worker.
  • the object location estimation unit 234 clusters the point cloud obtained through the LIDAR 130.
  • the object location estimation unit 234 may identify the worker by identifying the clustered feature point shape corresponding to the feature point model of the worker (object to be followed) among the clustered feature point shapes.
  • the object position estimation unit 234 may estimate the relative position of the identified worker based on the current position of the self-driving robot. For example, the object position estimation unit 234 uses the position of the autonomous robot as a reference point and calculates the relative position of the worker into x-, y-, and z-axis coordinate values and angle values ( ⁇ , ⁇ , ⁇ ) for each axis. It can be expressed.
  • the worker's feature point model may correspond to a feature point model extracted from the tracking target object identified by the object identification unit 232.
  • the object identification unit 232 identifies the worker corresponding to the identification marker 150 in the image, extracts the characteristic points of the identified worker, generates a characteristic point model, and then applies the generated characteristic point model to the object location estimation unit. It can be provided at (234).
  • the worker's feature point model may correspond to a preset input feature point model.
  • the object location estimation unit 234 may use a previously stored feature point model of the worker (or person) to identify the worker and estimate the relative position of the worker.
  • the worker's feature point model may correspond to a feature point model corresponding to the worker's body shape at a preset height (for example, the height at which the lidar is located in an autonomous driving robot). (For example, a feature point model corresponding to the shape of a human leg)
  • the motion recognition unit 240 recognizes the worker's movement based on the image captured by the camera 210.
  • the motion recognition unit 240 may include an operation command generation unit 242 and an unexpected movement identification unit 244.
  • the operation command generator 242 sets a first region of interest (ROI) including the worker (object to be followed) identified by the position estimation unit 230, and sets the first region of interest (ROI) of the identified worker within the first region of interest. Recognizes movement and generates action commands corresponding to the movement.
  • the operation command generator 242 transmits the generated operation command to the robot control unit 250.
  • the operation command generator 242 may set the area including the worker in the image captured by the camera 210 as the first region of interest and recognize the movement of the worker.
  • the operation command generator 242 may set a rectangular area separated by a preset distance up, down, left, and right from the outer boundary of the worker in the image as the first region of interest.
  • the motion recognition unit 240 may further include a data memory (not shown) that stores a set of command data defined for each object (eg, worker).
  • the command data set may include object (eg, worker) identification information, movement pattern data corresponding to the object identification information, and operation command data corresponding to the movement pattern.
  • the operation command may include a stop command, a right turn command, a left turn command, a turn command, and a follow command.
  • the self-driving robot may perform an incorrect action that was not intended by the worker. In the workplace, incorrect movements of self-driving robots can lead to accidents, so it is necessary to minimize movement errors caused by unexpected movements of workers.
  • the sudden movement identification unit 244 identifies whether the movement of the worker (object to be followed) identified according to a preset standard is an unexpected movement. In one embodiment, when the worker's movement is identified as a sudden movement, the sudden movement identification unit 244 transmits a sudden movement signal to the operation command generation unit 242, and when the sudden movement signal is received, the operation command generation unit 242 does not generate an action command for the corresponding movement.
  • the sudden movement identification unit 242 may identify whether the worker makes a sudden movement based on Equation 1 below.
  • fm is the first frame of the image
  • fn is the second frame
  • PN_var is the number of pixels in which the position of the object (e.g., worker) area changed between the first frame and the second frame
  • N set is the default. Indicates the set sudden movement reference value.
  • Equation 1 If the value on the left side of Equation 1 is greater than the reference value, the object (worker) in the image is identified as having suddenly moved during a predetermined period of time, and the sudden movement identification unit 244 generates an unexpected movement in the operation command generation unit 242. Transmits movement signals.
  • the user can adjust the operator movement recognition sensitivity (eg, slow recognition speed, normal recognition speed, fast recognition speed) of the self-driving robot by adjusting the sudden movement reference value of Equation 1 above. For example, as N set becomes smaller, the motion recognition speed can be set gradually slower.
  • the operator movement recognition sensitivity eg, slow recognition speed, normal recognition speed, fast recognition speed
  • the sudden movement identification unit 244 and the mathematical equation for identifying sudden movement described above are one implementation example and may be implemented in other implementation methods.
  • the motion recognition unit 240 may recognize the worker's movement based on the motion measurement value received from an inertial measurement unit (IMU) 160 provided on the worker.
  • IMU inertial measurement unit
  • the robot control unit 250 controls the drive control unit 280 so that the self-driving robot follows the tracking target object based on the position of the worker (following target object) estimated by the position estimation unit 230, and the motion recognition unit 240 ) controls the drive control unit 280 so that the self-driving robot executes a movement corresponding to the movement of the worker recognized in ).
  • the robot control unit 250 may control the drive control unit 280 to follow the worker while maintaining a preset distance according to the worker's control.
  • the robot control unit 250 may control the drive control unit 280 according to the control law in Table 1 below.
  • V r +slow
  • V L +fast
  • V r +slow
  • V L -slow
  • V r command
  • V L command
  • the robot control unit 250 determines the speed of the right wheel (V r ) and the speed of the left wheel (V L ).
  • the drive control unit 280 can be controlled so that is 0.
  • the robot control unit 250 slows the speed (V r ) of the right wheel and fast (fast) the speed (V L ) of the left wheel.
  • the robot control unit 250 fastens the speed of the right wheel (V r ) and slows the speed of the left wheel (V L ).
  • the robot control unit 250 When a turning command is received from the motion recognition unit 240, the robot control unit 250 slows (+slow) the speed of the right wheel (V r ) in the moving direction and increases the speed (V L ) of the left wheel.
  • the drive control unit 280 can be controlled to slow down (-slow) in the opposite direction of progress.
  • the robot control unit 250 controls the speed of the right wheel (V r ) and the speed of the left wheel (V L ) to maintain a preset distance.
  • the driving control unit 280 can be controlled to follow the object.
  • the robot control unit 250 may set a second region of interest (ROI) corresponding to the size of the self-driving robot in the driving direction of the self-driving robot.
  • the robot control unit 250 operates the drive control unit 280 to prevent obstacles from being located within a preset distance in the second region of interest based on the location information of surrounding obstacles detected through the lidar 220 in the position estimation unit 230. You can control and move the autonomous robot.
  • the robot control unit 250 may control the drive control unit 280 so that no obstacle is located within a preset distance in the second region of interest.
  • Workers can also perform tasks using multiple autonomous robots. For example, when transporting multiple items at once, the items can be divided and loaded onto a plurality of self-driving robots and then transported. In this case, the operator's control command must be transmitted to multiple autonomous robots.
  • the robot control unit 250 connects to the corresponding self-driving robot (the first self-driving robot) and platoons the second self-driving robot under the control of the operator. You can register a robot.
  • the first self-driving robot may be set as a master robot
  • the second self-driving robot may be set as a slave robot.
  • the robot control unit 250 of the first autonomous robot may recognize the movement of the worker and transmit an operation command corresponding to the movement of the worker to the second autonomous robot through the wireless communication unit 270.
  • the robot control unit 250 generates a second region of interest (ROI) corresponding to the traveling direction of the first autonomous robot, a second region of interest (ROI) corresponding to the size of the first autonomous robot, and a third region of interest (ROI) corresponding to the size of the second autonomous robot. ) can be set.
  • the robot control unit 250 sets an avoidance area of interest by comparing the registered second area of interest and the third area of interest, and sets a preset area of avoidance interest based on the location information of surrounding obstacles detected through the lidar 220.
  • the drive control unit 280 can be controlled so that no obstacles are located within the distance.
  • the avoidance region of interest may be set as a region of interest with a larger size among the second region of interest and the third region of interest.
  • the avoidance area of interest may be set as an area that includes both the second area of interest and the third area of interest.
  • the avoidance area of interest may be set as the second area of interest before the first autonomous robot passes the obstacle, and may be set as the third area of interest after the first autonomous robot passes the obstacle.
  • the memory 260 can store data necessary for the operation and operation of the self-driving robot.
  • the driving unit 290 includes a power source that drives the wheels of the self-driving robot.
  • the driving unit 290 may correspond to a motor that drives each wheel of the self-driving robot.
  • Figure 3 is a flowchart explaining a method for controlling a self-driving robot according to an embodiment of the present invention.
  • the camera 210 captures an image in a preset direction at a preset position of the self-driving robot (step S310), and the Lidar 220 captures an image in a preset direction of the self-driving robot. Obstacles around the driving robot are detected (step S320).
  • the location estimation unit 230 identifies the object to be followed included in the image based on the image captured by the camera 210, and estimates the location of the object to be followed based on the surrounding obstacles detected through the LIDAR 220. (step S330).
  • the method of identifying a target object to follow and estimating the location of the object is the same as described in FIG. 2.
  • the motion recognition unit 240 may recognize the movement of the object to be followed based on the image captured by the camera 210 (step S340). In one embodiment, the motion recognition unit 240 may recognize the worker's movement based on the motion measurement value received from the inertial measurement unit (IMU) 160 provided on the worker. The method of recognizing the movement of the object to be followed is as described in FIG. 2.
  • the robot control unit 250 controls the drive control unit 280 so that the self-driving robot follows the tracking object based on the position of the tracking object estimated by the position estimation unit 230 (step S350), and the motion recognition unit ( The drive control unit 290 is controlled so that the self-driving robot executes a movement corresponding to the movement recognized in step 240 (step S360).
  • the present invention has been described as an embodiment of the present invention, the technical idea of the present invention is not limited to the above embodiments, and various motion recognition-based autonomous robot control systems and self-driving robots using the same are not limited to the technical idea of the present invention. It can be implemented using a control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 움직임 인식 기반의 자율 주행 로봇 제어 시스템에 관한 것으로, 구동부, 상기 구동부를 제어하는 구동 제어부, 기 설정된 방향의 영상을 촬영하는 카메라, 주변 장애물을 탐지하는 라이다, 상기 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 추종 대상 객체의 위치를 추정하는 위치 추정부, 상기 추종 대상 객체의 움직임을 인식하는 움직임 인식부 및 상기 자율 주행 로봇이 추종 대상 객체를 추종하도록 상기 구동 제어부를 제어하고, 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 로봇 제어부를 포함한다.

Description

움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법
본 발명은 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법에 관한 것으로, 더욱 상세하게는 카메라와 라이다(LIDAR)를 이용하여 객체를 추종하면서 객체의 움직임에 따른 동작을 수행할 수 있는 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법에 관한 것이다.
산업발전 가속화와 이커머스의 비약적인 성장으로 인해 물류 처리 업무가 점차 신속하고 복잡해지고 있으며, 이에 따라 물류센터에서 처리되는 물류 자동화 시스템들이 다수 개발되고 있다.
실제 산업현장에서는 물류 자동화 시스템과 이에 이용되는 자율 주행 로봇이 이미 적용되고 있다. 자율 주행 로봇은 AGV(Automated Guided Vehicle), AMR(Autonomous Mobile Robot) 등을 포함한다.
예를 들어, 물류센터에서 자율 주행 로봇은 상품을 픽업하고 다음 작업장으로 상품을 이동시키는 업무 등을 수행한다.
[선행기술문헌]
(특허문헌 1) 한국 등록특허 10-2234770(2021.04.02)
(특허문헌 2) 한국 등록특허 10-2425271(2022.07.21)
본 발명은 카메라와 라이다(LIDAR)를 이용하여 객체를 추종하면서 객체의 움직임에 따른 동작을 수행할 수 있는 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법을 제공한다.
본 발명은 단순히 작업자를 추종하는 것이 아니라, 영상 또는 IMU기반의 HRI(Human Robot Interface)를 통해 작업자의 동작을 인식하고 그에 대응되는 동작을 수행하도록 제어할 수 있는 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법을 제공한다.
본 발명은 로봇에 대한 비전문가도 손쉽게 자율 주행 로봇을 제어할 수 있는 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법을 제공한다.
본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템은 자율 주행 로봇을 이동시키는 구동부, 상기 구동부를 제어하여 상기 자율 주행 로봇의 이동을 제어하는 구동 제어부, 상기 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 카메라, 상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 라이다(Lidar), 상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 위치 추정부, 상기 카메라에서 촬영된 영상을 기초로 상기 추종 대상 객체의 움직임을 인식하는 움직임 인식부 및 상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 상기 구동 제어부를 제어하고, 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 로봇 제어부를 포함한다.
일 실시예에서, 상기 추종 대상 객체는 기 설정된 식별 마커(marker)를 구비할 수 있다.
일 실시예에서, 상기 식별 마커는 ArUco Marker를 포함할 수 있다.
일 실시예에서, 상기 위치 추정부는 상기 카메라에서 촬영된 영상 내에 포함된 객체 가운데 상기 식별 마커를 구비하는 객체를 추종 대상 객체로 식별하는 객체 식별부 및 상기 라이다를 통해 획득된 포인트 클라우드를 군집화하고, 군집화된 특징점 형상들 가운데 상기 추종 대상 객체의 특징점 모델과 대응되는 군집화된 특징점 형상을 식별하여 상기 추종 대상 객체를 식별하며, 해당 식별된 추종 대상 객체의 상대 위치를 추정하는 객체 위치 추정부를 포함할 수 있다.
일 실시예에서, 상기 추종 대상 객체의 특징점 모델은 상기 객체 식별부에서 식별된 추종 대상 객체에서 추출된 특징점 모델일 수 있다.
일 실시예에서, 상기 추종 대상 객체의 특징점 모델은 기 설정되어 입력된 특징점 모델일 수 있다.
일 실시예에서, 상기 특징점 모델은 기 설정된 높이에서의 작업자의 다리 형상에 대응되는 특징점 모델일 수 있다.
일 실시예에서, 상기 움직임 인식부는 상기 식별된 추종 대상 객체를 포함하는 제1 관심영역(ROI, Region Of Interest)을 설정하고, 상기 제1 관심영역 내 상기 식별된 추종 대상 객체의 움직임을 인식하여 해당 움직임에 대응되는 동작 명령을 생성하며, 생성된 동작 명령을 상기 로봇 제어부로 전송하는 동작 명령 생성부를 포함할 수 있다.
일 실시예에서, 상기 움직임 인식부는 기 설정된 기준에 따라 상기 식별된 추종 대상 객체의 움직임이 돌발 움직임인지 여부를 식별하는 돌발 움직임 식별부를 더 포함하되, 상기 추종 대상 객체의 움직임이 돌발 움직임으로 식별되는 경우, 상기 동작 명령 생성부는 상기 동작 명령을 생성하지 않을 수 있다.
일 실시예에서, 상기 돌발 움직임 식별부는 하기 수학식 1을 기초로 상기 추종 대상 객체의 돌발 움직임 여부를 식별할 수 있다.
[수학식 1]
(PN_var)/(fm-fn) > Nset
여기에서, fm은 영상의 제1 프레임, fn은 제2 프레임, PN_var은 제1 프레임과 제2 프레임 사이에 객체(예를 들어, 작업자) 영역의 위치가 변동된 픽셀의 개수, Nset는 기 설정된 돌발 움직임 기준값
일 실시예에서, 상기 로봇 제어부는 상기 자율 주행 로봇의 주행 방향에 상기 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI)를 설정하고, 상기 위치 추정부에서 (라이다를 통해) 탐지된 주변 장애물의 위치 정보를 기초로 상기 제2 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 상기 구동 제어부를 제어하여 자율 주행 로봇을 이동시킬 수 있다.
일 실시예에서, 상기 로봇 제어부는 해당 자율 주행 로봇과 연결되어 군집 주행하는 제2 자율 주행 로봇을 등록하고, 상기 등록된 제2 자율 주행 로봇에 상기 움직임에 대응되는 동작 명령을 전송할 수 있다.
일 실시예에서, 상기 로봇 제어부는 해당 자율 주행 로봇의 주행 방향에 해당 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI) 및 상기 제2 자율 주행 로봇의 사이즈에 대응되는 제3 관심영역(ROI)를 설정하고, 제2 관심영역과 제3 관심영역을 비교하여 회피 관심영역을 설정하며, 상기 위치 추정부에서 (라이다를 통해) 탐지된 주변 장애물의 위치 정보를 기초로 상기 회피 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 상기 구동 제어부를 제어하여 자율 주행 로봇을 이동시킬 수 있다.
본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템은 자율 주행 로봇을 이동시키는 구동부, 상기 구동부를 제어하여 상기 자율 주행 로봇의 이동을 제어하는 구동 제어부, 상기 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 카메라, 상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 라이다(Lidar), 상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 위치 추정부, 상기 추종 대상 객체에 구비된 관성측정장치에서 수신된 움직임 측정 값을 기초로 상기 추종 대상 객체의 움직임을 인식하는 움직임 인식부 및 상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 상기 구동 제어부를 제어하고, 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 로봇 제어부를 포함한다.
본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 방법은 카메라가 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 단계, 라이다(Lidar)가 상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 단계, 위치 추정부가 상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 단계, 움직임 인식부가 상기 카메라에서 촬영된 영상을 기초로 상기 추종 대상 객체의 움직임을 인식하는 단계, 로봇 제어부가 상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 구동 제어부를 제어하는 단계 및 로봇 제어부가 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 단계를 포함한다.
이상에서 설명한 바와 같이, 본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법은 카메라와 라이다(LIDAR)를 이용하여 객체를 추종하면서 객체의 움직임에 따른 동작을 수행할 수 있다.
본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법은 단순히 작업자를 추종하는 것이 아니라, 영상 또는 IMU기반의 HRI(Human Robot Interface)를 통해 작업자의 동작을 인식하고 그에 대응되는 동작을 수행할 수 있다.
본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법은 로봇에 대한 비전문가도 손쉽게 자율 주행 로봇을 제어할 수 있으므로, 자율 주행 로봇을 바로 현장에 투입할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 로봇과 추종 대상 객체를 나타내는 도면
도 2는 본 발명의 일 실시예에 따른 자율 주행 로봇 제어 시스템의 구성을 나타내는 도면
도 3은 본 발명의 일 실시예에 따른 자율 주행 로봇 제어 방법을 설명하는 흐름도
이하, 본 발명에 따른 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 로봇과 추종 대상 객체를 나타내는 도면이다.
도 1을 참조하면, 자율 주행 로봇(110)은 복수의 센서, 예를 들어, 카메라(120)와 라이다(LIDAR, Light Detection And Ranging)(130)를 포함할 수 있다.
자율 주행 로봇(110)은 사람의 운전없이 자율적으로 주행할 수 있다. 일 실시예에서, 자율 주행 로봇(110)은 AGV(Automated Guided Vehicle), AMR(Autonomous Mobile Robot) 등을 포함할 수 있다.
자율 주행 로봇(110)은 추종 대상 객체(예를 들어, 현장의 작업자)(140)를 추종하여 주행하면서, 추종 대상 객체(140)의 움직임을 인식하고 그에 대응되는 동작을 수행할 수 있다. 예를 들어, 물류센터에 배치된 자율 주행 로봇(110)은 적재물을 적재하고 추종 대상 객체(예를 들어, 현장의 작업자)(140)가 이동 시, 추종 대상 객체(140)를 추종하면서 주행할 수 있다. 추종 대상 객체(예를 들어, 현장의 작업자)(140)는 기 정의된 움직임을 취할 수 있고, 주행 중인 자율 주행 로봇(110)은 추종 대상 객체(140)의 움직임을 인식하여, 해당 움직임에 대응되는 동작을 수행할 수 있다.
예를 들어, 자율 주행 로봇(110)은 카메라(120)를 통해 촬영된 영상을 기초로 추종 대상 객체(140)를 식별하고, 라이다(130)를 통해 탐지된 주변 장애물을 기초로 추종 대상 객체(140)의 위치를 추정하여 추종 대상 객체(140)를 추종할 수 있다.
추종 대상 객체(140)는 기 설정된 식별 마커(marker)(150)를 구비할 수 있다. 일 실시예에서, 식별 마커(150)는 2차원 코드(ArUco Marker 등)에 해당할 수 있다. 예를 들어, 작업자는 식별 정보를 포함하는 ArUco Marker를 신체에 부착할 수도 있고, 작업자는 식별 정보를 포함하는 ArUco Marker가 부착된 의류 등을 입을 수도 있다.
식별 마커(150)는 개별 식별 정보를 포함할 수 있고, 자율 주행 로봇(110)은 카메라(120)를 통해 촬영된 식별 마커(150)를 인식하여 영상 속에 포함된 복수의 객체들 가운데 추종 대상 객체(140)를 식별할 수 있다. 자율 주행 로봇(110)은 식별 마커(150)에 포함된 개별 식별 정보에 대응되는 명령 데이터 세트를 로드(load)한다. 주행 중인 자율 주행 로봇(110)은 카메라(120)를 통해 촬영된 영상을 기초로 추종 대상 객체(140)의 움직임을 인식하고, 명령 데이터 세트에서 해당 움직임에 대응되는 명령을 수행할 수 있다.
일 실시예에서, 추종 대상 객체(140)는 관성측정장치(IMU, Inertial Measurement Unit)(160)를 구비할 수 있다. 관성측정장치(160)는 추종 대상 객체(예를 들어, 현장의 작업자)(140)의 속도와 방향, 중력 및 가속도를 측정하여 해당 측정값을 자율 주행 로봇(110)에 전송할 수 있다.
예를 들어, 작업자는 관성측정장치(160)를 신체의 일부에 부착 또는 착용할 수 있고, 관성측정장치(160)가 부착 또는 착용된 신체를 움직여서 자율 주행 로봇(110)을 제어할 수 있다. 자율 주행 로봇(110)은 관성측정장치(160)에서 무선으로 수신된 측정값을 기초로 추종 대상 객체(140)의 움직임을 인식하고, 명령 데이터 세트에서 해당 움직임에 대응되는 명령을 수행할 수 있다.
일 실시예에서, 자율 주행 로봇(110)은 카메라(120)를 통해 촬영된 영상 또는 관성측정장치(160)에서 무선으로 수신된 측정값을 기초로 추종 대상 객체(140)의 움직임을 인식할 수 있다. 다른 실시예에서, 자율 주행 로봇(110)은 카메라(120)를 통해 촬영된 영상과 함께 관성측정장치(160)에서 무선으로 수신된 측정값을 기초로 추종 대상 객체(140)의 움직임을 인식할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 로봇 제어 시스템의 구성을 나타내는 도면이다.
도 2를 참조하면, 자율 주행 로봇 제어 시스템(200)은 카메라(210), 라이다(LIDAR)(220), 위치 추정부(230), 움직임 인식부(240), 로봇 제어부(250), 메모리(260), 무선 통신부(270), 구동 제어부(280) 및 구동부(290)를 포함한다. 이하에서는 설명의 편의를 위해 추종 대상 객체가 작업자인 경우를 가정하여 설명하기로 한다.
카메라(210)는 자율 주행 로봇의 기 설정된 위치에서 구비되어 기 설정된 방향의 영상을 촬영한다. 예를 들어, 카메라(210)는 자율 주행 로봇의 전면, 상부에 구비되어, 자율 주행 로봇의 진행방향(예를 들어, 전방)을 촬영할 수 있다. 자율 주행 로봇에는 단일 카메라가 구비될 수도 있고, 복수의 스테레오 카메라가 구비될 수도 있다.
라이다(220)는 자율 주행 로봇의 기 설정된 위치에서 빛을 조사하고, 주변 객체에서 반사된 빛을 수신하여 자율 주행 로봇의 주변 장애물을 탐지한다. 일 실시예에서, 라이다(220)는 작업자를 식별하기 위해 기 설정된 작업자의 신체 식별할 수 있는 위치에 구비될 수 있다. 예를 들어, 작업자의 다리를 식별하여 작업자를 식별하는 경우, 라이다(220)는 자율 주행 로봇의 전면에서, 작업자의 다리 위치에 대응되는 높이 위치에 구비될 수 있다.
위치 추정부(230)는 카메라(210)에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 라이다(220)를 통해 탐지된 주변 장애물을 기초로 작업자의 위치를 추정한다.
일 실시예에서, 위치 추정부(230)는 객체 식별부(232) 및 객체 위치 추정부(234)를 포함할 수 있다. 객체 식별부(232)는 카메라(210)에서 촬영된 영상 내에 포함된 객체 가운데 식별 마커(150)를 구비하는 객체를 작업자로 식별한다. 예를 들어, 객체 식별부(232)는 객체 추출(Object Detection) 알고리즘을 통해 카메라(210)에서 촬영된 영상 내에서 복 수의 객체를 추출할 수 있다. 일 실시예에서, 객체 식별부(232)는 영상 내에서 탐지된 객체 가운데 식별 마커(150)가 식별된 위치에 대응되는 객체를 작업자로 식별할 수 있다. 일 실시예에서, 영상내에서 식별 마커(150)가 복수개 식별되는 경우, 객체 식별부(232)는 식별된 식별 마커(150)들에 대한 정보를 자율 주행 로봇의 상태를 표시하는 상태 표시 화면(미도시)에 표시하고, 작업자로부터 추종할 작업자의 식별 마커에 대한 정보를 입력받는다.
객체 위치 추정부(234)는 라이다(130)를 통해 획득된 포인트 클라우드(point cloud)를 군집화한다. 객체 위치 추정부(234)는 군집화된 특징점 형상들 가운데 작업자(추종 대상 객체)의 특징점 모델과 대응되는 군집화된 특징점 형상을 식별하여 작업자를 식별할 수 있다. 객체 위치 추정부(234)는 현재 자율 주행 로봇의 위치를 기준으로 해당 식별된 작업자의 상대 위치를 추정할 수 있다. 예를 들어, 객체 위치 추정부(234)는 해당 자율 주행 로봇의 위치를 기준점으로 하여 작업자의 상대 위치를 x, y, z 축 좌표값, 각 축에 대한 각도값(Φ, θ, ψ)으로 나타낼 수 있다.
일 실시예에서, 작업자의 특징점 모델은 객체 식별부(232)에서 식별된 추종 대상 객체에서 추출된 특징점 모델에 해당할 수 있다. 예를 들어, 객체 식별부(232)는 영상에서 식별 마커(150)에 대응되는 작업자를 식별하고, 식별된 작업자의 특징점을 추출하여 특징점 모델을 생성한 후, 생성된 특징점 모델을 객체 위치 추정부(234)에 제공할 수 있다.
다른 실시예에서, 작업자의 특징점 모델은 기 설정되어 입력된 특징점 모델에 해당할 수 있다. 예를 들어, 객체 위치 추정부(234)는 기 저장된 작업자(또는, 사람)의 특징점 모델을 이용하여 작업자를 식별하고 해당 작업자의 상대 위치를 추정할 수 있다. 일 실시예에서, 작업자의 특징점 모델은 기 설정된 높이(예를 들어, 자율 주행 로봇에서 라이다가 위치하는 높이)에서의 작업자의 신체 형상에 대응되는 특징점 모델에 해당할 수 있다. (예를 들어, 사람의 다리 형상에 대응되는 특징점 모델)
움직임 인식부(240)는 카메라(210)에서 촬영된 영상을 기초로 작업자의 움직임을 인식한다. 일 실시예에서, 움직임 인식부(240)는 동작 명령생성부(242) 및 돌발 움직임 식별부(244)를 포함할 수 있다. 동작 명령생성부(242)는 위치 추정부(230)에서 식별된 작업자(추종 대상 객체)를 포함하는 제1 관심영역(ROI, Region Of Interest)을 설정하고, 제1 관심영역 내 식별된 작업자의 움직임을 인식하여 해당 움직임에 대응되는 동작 명령을 생성한다. 동작 명령생성부(242)는 생성된 동작 명령을 로봇 제어부(250)로 전송한다.
일 실시예에서, 동작 명령생성부(242)는 카메라(210)에서 촬영된 영상에서 작업자를 포함하는 영역을 제1 관심영역으로 설정하고, 해당 작업자의 움직임을 인식할 수 있다. 예를 들어, 동작 명령생성부(242)는 영상 내의 작업자의 외곽 경계선을 기준으로 상하좌우로 각각 기 설정된 거리만큼 떨어진 사각형 형태의 영역을 제1 관심영역으로 설정할 수 있다. 해당 제1 관심영역 내 작업자의 움직임만 인식함으로써, 동작 명령생성부(242)는 관심영역 외부의 움직임에 대해 무시할 수 있으므로, 움직임 인식율, 인식의 정확도 및 인식 속도를 높일 수 있고 연산량을 줄일 수 있다.
일 실시예에서, 움직임 인식부(240)는 객체(예를 들어, 작업자)별로 정의된 명령 데이터 세트를 저장하는 데이터 메모리(미도시)를 더 포함할 수 있다. 일 실시예에서, 명령 데이터 세트는 객체(예를 들어, 작업자) 식별 정보, 해당 객체 식별 정보에 대응되는 움직임 패턴 데이터, 움직임 패턴에 대응되는 동작 명령 데이터를 포함할 수 있다. 일 실시예에서, 동작 명령은 정지 명령, 우회전 명령, 좌회전 명령, 제자리 선회 명령 및 추종 명령을 포함할 수 있다.
작업자의 의도적 움직임이 아닌 사고에 의한 돌발 움직임에도 작업자의 움직임을 인식하여 동작 명령을 생성하는 경우, 자율 주행 로봇은 작업자의 의도가 아닌 잘못된 동작을 수행할 수 있다. 작업장에서는 자율 주행 로봇의 잘못된 동작이 사고로 이어질 수 있으므로, 작업자의 돌발 움직임에 의한 동작 오류를 최소화할 필요가 있다.
돌발 움직임 식별부(244)는 기 설정된 기준에 따라 식별된 작업자(추종 대상 객체)의 움직임이 돌발 움직임인지 여부를 식별한다. 일 실시예에서, 작업자의 움직임이 돌발 움직임으로 식별되는 경우, 돌발 움직임 식별부(244)는 동작 명령 생성부(242)에 돌발 움직임 신호를 전송하고, 돌발 움직임 신호가 수신되면, 동작 명령 생성부(242)는 해당 움직임에 대해 동작 명령을 생성하지 않는다.
일 실시예에서, 돌발 움직임 식별부(242)는 하기 수학식 1을 기초로 작업자의 돌발 움직임 여부를 식별할 수 있다.
[수학식 1]
(PN_var)/(fm-fn) > Nset
여기에서, fm은 영상의 제1 프레임, fn은 제2 프레임, PN_var은 제1 프레임과 제2 프레임 사이에 객체(예를 들어, 작업자) 영역의 위치가 변동된 픽셀의 개수, Nset는 기 설정된 돌발 움직임 기준값을 나타낸다.
상기 수학식 1의 좌측 값이 기준값보다 큰 경우, 기 정해진 시간 사이에 영상 내 객체(작업자)가 돌발적으로 움직인 것으로 식별하여, 돌발 움직임 식별부(244)는 동작 명령 생성부(242)에 돌발 움직임 신호를 전송한다.
일 실시예에서, 사용자는 상기 수학식 1의 돌발 움직임 기준값을 조정하여, 자율 주행 로봇의 작업자 움직임 인식 감도(예를 들어, 인식 속도 느림, 인식 속도 보통, 인식 속도 빠름)를 조정할 수 있다. 예를 들어, Nset을 작게 할수록 움직임 인식 속도를 점차 느리게 설정할 수 있다.
상기에서 설명한 돌발 움직임 식별부(244)와 돌발 움직임 여부를 식별하는 수학식은 하나의 구현 예이며, 다른 구현 방식으로 구현될 수도 있다.
다른 실시예에서, 움직임 인식부(240)는 작업자에 구비된 관성측정장치(IMU, Inertial Measurement Unit)(160)에서 수신된 움직임 측정 값을 기초로 작업자의 움직임을 인식할 수도 있다.
로봇 제어부(250)는 위치 추정부(230)에서 추정된 작업자(추종 대상 객체)의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 구동 제어부(280)를 제어하고, 움직임 인식부(240)에서 인식된 작업자의 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 구동 제어부(280)를 제어한다. 예를 들어, 로봇 제어부(250)는 작업자의 제어에 따라 기 설정된 거리를 유지하면서 작업자를 추종하도록 구동 제어부(280)를 제어할 수 있다.
일 실시예에서, 로봇 제어부(250)는 하기 표 1의 제어 법칙에 따라 구동 제어부(280)를 제어할 수 있다.
[표 1]
Stop: Vr = 0, VL = 0
Right turn: Vr = +slow, VL = +fast
Left turn: Vr = +fast, VL = +slow
Turning: Vr = +slow, VL = -slow
Following: Vr = command, VL = command
예를 들어, 움직임 인식부(240)에서 정지(stop) 명령이 수신되는 경우, 로봇 제어부(250)는 우측 휠(wheel)의 속도(Vr)와 좌측 휠(wheel)의 속도(VL)가 0이 되도록 구동 제어부(280)를 제어할 수 있다. 움직임 인식부(240)에서 우회전(Right turn) 명령이 수신되는 경우, 로봇 제어부(250)는 우측 휠의 속도(Vr)를 느리게(slow)하고 좌측 휠의 속도(VL)를 빠르게(fast)하도록 구동 제어부(280)를 제어할 수 있다. 움직임 인식부(240)에서 좌회전(Left turn) 명령이 수신되는 경우, 로봇 제어부(250)는 우측 휠의 속도(Vr)를 빠르게(fast)하고 좌측 휠의 속도(VL)를 느리게(slow)하도록 구동 제어부(280)를 제어할 수 있다. 움직임 인식부(240)에서 선회(Turning) 명령이 수신되는 경우, 로봇 제어부(250)는 우측 휠의 속도(Vr)를 진행방향으로 느리게(+slow)하고 좌측 휠의 속도(VL)를 진행 반대방향으로 느리게(-slow)하도록 구동 제어부(280)를 제어할 수 있다. 움직임 인식부(240)에서 추종(following) 명령이 수신되는 경우, 로봇 제어부(250)는 우측 휠의 속도(Vr)와 좌측 휠의 속도(VL)를 제어에 따라 기 설정된 거리를 유지하면 객체를 추종하도록 구동 제어부(280)를 제어할 수 있다.
로봇 제어부(250)는 자율 주행 로봇의 주행 방향에 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI)를 설정할 수 있다. 로봇 제어부(250)는 위치 추정부(230)에서 라이다(220)를 통해 탐지된 주변 장애물의 위치 정보를 기초로 제2 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 구동 제어부(280)를 제어하여 자율 주행 로봇을 이동시킬 수 있다. 예를 들어, 로봇 제어부(250)는 제2 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 구동 제어부(280)를 제어할 수 있다.
작업자는 복수의 자율 주행 로봇을 이용하여 작업을 수행할 수도 있다. 예들 들어, 한 번에 다수의 물건을 이송하는 경우, 복수의 자율 주행 로봇에 물건을 분할하여 적재한 후 이송할 수 있다. 이러한 경우, 작업자의 제어 명령이 복수의 자율 주행 로봇에 전달되어야 한다.
예를 들어, 2개의 자율 주행 로봇을 이용하여 작업을 수행하는 경우, 로봇 제어부(250)는 작업자의 제어에 따라 해당 자율 주행 로봇(제1 자율 주행 로봇)과 연결되어 군집 주행하는 제2 자율 주행 로봇을 등록할 수 있다. 일 실시예에서, 제1 자율 주행 로봇은 마스터 로봇으로 설정되고, 제2 자율 주행 로봇은 슬레이브 로봇으로 설정될 수 있다.
제1 자율 주행 로봇의 로봇 제어부(250)는 작업자의 움직임을 인식하여 해당 작업자의 움직임에 대응되는 동작 명령을 무선 통신부(270)를 통해 제2 자율 주행 로봇에 전송할 수 있다.
로봇 제어부(250)는 제1 자율 주행 로봇의 주행 방향에 해당 제1 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI)과 제2 자율 주행 로봇의 사이즈에 대응되는 제3 관심영역(ROI)를 설정할 수 있다. 로봇 제어부(250)는 등록된 제2 관심영역과 제3 관심영역을 비교하여 회피 관심영역을 설정하고, 라이다(220)를 통해 탐지된 주변 장애물의 위치 정보를 기초로 회피 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 구동 제어부(280)를 제어할 수 있다. 일 실시예에서, 회피 관심영역은 제2 관심영역과 제3 관심영역 가운데 크기가 큰 관심영역으로 설정될 수 있다. 다른 실시예에서, 회피 관심영역은 제2 관심영역과 제3 관심영역을 모두 포함하는 영역으로 설정될 수도 있다. 또는, 회피 관심영역은 제1 자율 주행 로봇이 장애물을 통과하기 전에는 제2 관심영역으로 설정되고, 제1 자율 주행 로봇이 장애물을 통과한 후에는 제3 관심영역으로 설정될 수도 있다.
메모리(260)는 자율 주행 로봇의 운영 및 동작에 필요한 데이터를 저장할 수 있다. 구동부(290)는 자율 주행 로봇의 휠을 구동하는 동력원을 포함한다. 예를 들어, 구동부(290)는 자율 주행 로봇의 각 휠을 구동하는 모터에 해당할 수 있다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 로봇 제어 방법을 설명하는 흐름도이다.
도 3을 참조하면, 카메라(210)는 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하고(단계 S310), 라이다(Lidar)(220)는 자율 주행 로봇의 기 설정된 위치에서 자율 주행 로봇의 주변 장애물을 탐지한다(단계 S320).
위치 추정부(230)는 카메라(210)에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 라이다(220)를 통해 탐지된 주변 장애물을 기초로 추종 대상 객체의 위치를 추정한다(단계 S330). 추종 대상 객체를 식별하고 해당 객체의 위치를 추정하는 방법은 도 2에서 설명한 바와 같다.
움직임 인식부(240)는 카메라(210)에서 촬영된 영상을 기초로 추종 대상 객체의 움직임을 인식할 수 있다(단계 S340). 일 실시예에서, 움직임 인식부(240)는 작업자에 구비된 관성측정장치(IMU)(160)에서 수신된 움직임 측정 값을 기초로 작업자의 움직임을 인식할 수도 있다. 추종 대상 객체의 움직임을 인식하는 방법은 도 2에서 설명한 바와 같다.
로봇 제어부(250)는 위치 추정부(230)에서 추정된 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 구동 제어부(280)를 제어하고(단계 S350), 움직임 인식부(240)에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 구동 제어부(290)를 제어한다(단계 S360).
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법으로 구현할 수 있다.

Claims (15)

  1. 자율 주행 로봇의 동작을 제어하는 자율 주행 로봇 제어 시스템에 있어서,
    자율 주행 로봇을 이동시키는 구동부;
    상기 구동부를 제어하여 상기 자율 주행 로봇의 이동을 제어하는 구동 제어부;
    상기 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 카메라;
    상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 라이다(Lidar);
    상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 위치 추정부;
    상기 카메라에서 촬영된 영상을 기초로 상기 추종 대상 객체의 움직임을 인식하는 움직임 인식부; 및
    상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 상기 구동 제어부를 제어하고, 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 로봇 제어부를 포함하는 자율 주행 로봇 제어 시스템.
  2. 제1항에 있어서,
    상기 추종 대상 객체는 기 설정된 식별 마커(marker)를 구비하는 자율 주행 로봇 제어 시스템.
  3. 제2항에 있어서,
    상기 식별 마커는 ArUco Marker를 포함하는 자율 주행 로봇 제어 시스템.
  4. 제2항에 있어서, 상기 위치 추정부는
    상기 카메라에서 촬영된 영상 내에 포함된 객체 가운데 상기 식별 마커를 구비하는 객체를 추종 대상 객체로 식별하는 객체 식별부; 및
    상기 라이다를 통해 획득된 포인트 클라우드를 군집화하고, 군집화된 특징점 형상들 가운데 상기 추종 대상 객체의 특징점 모델과 대응되는 군집화된 특징점 형상을 식별하여 상기 추종 대상 객체를 식별하며, 해당 식별된 추종 대상 객체의 상대 위치를 추정하는 객체 위치 추정부를 포함하는 자율 주행 로봇 제어 시스템.
  5. 제4항에 있어서,
    상기 추종 대상 객체의 특징점 모델은 상기 객체 식별부에서 식별된 추종 대상 객체에서 추출된 특징점 모델인 자율 주행 로봇 제어 시스템.
  6. 제4항에 있어서,
    상기 추종 대상 객체의 특징점 모델은 기 설정되어 입력된 특징점 모델인 자율 주행 로봇 제어 시스템.
  7. 제6항에 있어서,
    상기 특징점 모델은 기 설정된 높이에서의 작업자의 다리 형상에 대응되는 특징점 모델인 자율 주행 로봇 제어 시스템.
  8. 제1항에 있어서, 상기 움직임 인식부는
    상기 식별된 추종 대상 객체를 포함하는 제1 관심영역(ROI, Region Of Interest)을 설정하고, 상기 제1 관심영역 내 상기 식별된 추종 대상 객체의 움직임을 인식하여 해당 움직임에 대응되는 동작 명령을 생성하며, 생성된 동작 명령을 상기 로봇 제어부로 전송하는 동작 명령 생성부를 포함하는 자율 주행 로봇 제어 시스템.
  9. 제8항에 있어서, 상기 움직임 인식부는
    기 설정된 기준에 따라 상기 식별된 추종 대상 객체의 움직임이 돌발 움직임인지 여부를 식별하는 돌발 움직임 식별부를 더 포함하되,
    상기 추종 대상 객체의 움직임이 돌발 움직임으로 식별되는 경우, 상기 동작 명령 생성부는 상기 동작 명령을 생성하지 않는 자율 주행 로봇 제어 시스템.
  10. 제9항에 있어서, 상기 돌발 움직임 식별부는
    하기 수학식 1을 기초로 상기 추종 대상 객체의 돌발 움직임 여부를 식별하는 자율 주행 로봇 제어 시스템.
    [수학식 1]
    (PN_var)/(fm-fn) > Nset
    여기에서, fm은 영상의 제1 프레임, fn은 제2 프레임, PN_var은 제1 프레임과 제2 프레임 사이에 객체(예를 들어, 작업자) 영역의 위치가 변동된 픽셀의 개수, Nset는 기 설정된 돌발 움직임 기준값
  11. 제1항에 있어서, 상기 로봇 제어부는
    상기 자율 주행 로봇의 주행 방향에 상기 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI)를 설정하고, 상기 위치 추정부에서 (라이다를 통해) 탐지된 주변 장애물의 위치 정보를 기초로 상기 제2 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 상기 구동 제어부를 제어하여 자율 주행 로봇을 이동시키는 자율 주행 로봇 제어 시스템.
  12. 제11항에 있어서, 상기 로봇 제어부는
    해당 자율 주행 로봇과 연결되어 군집 주행하는 제2 자율 주행 로봇을 등록하고, 상기 등록된 제2 자율 주행 로봇에 상기 움직임에 대응되는 동작 명령을 전송하는 자율 주행 로봇 제어 시스템.
  13. 제12항에 있어서, 상기 로봇 제어부는
    해당 자율 주행 로봇의 주행 방향에 해당 자율 주행 로봇의 사이즈에 대응되는 제2 관심영역(ROI) 및 상기 제2 자율 주행 로봇의 사이즈에 대응되는 제3 관심영역(ROI)를 설정하고,
    제2 관심영역과 제3 관심영역을 비교하여 회피 관심영역을 설정하며,
    상기 위치 추정부에서 (라이다를 통해) 탐지된 주변 장애물의 위치 정보를 기초로 상기 회피 관심영역에 기 설정된 거리 내에 장애물이 위치하지 않도록 상기 구동 제어부를 제어하여 자율 주행 로봇을 이동시키는 자율 주행 로봇 제어 시스템.
  14. 자율 주행 로봇의 동작을 제어하는 자율 주행 로봇 제어 시스템에 있어서,
    자율 주행 로봇을 이동시키는 구동부;
    상기 구동부를 제어하여 상기 자율 주행 로봇의 이동을 제어하는 구동 제어부;
    상기 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 카메라;
    상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 라이다(Lidar);
    상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 위치 추정부;
    상기 추종 대상 객체에 구비된 관성측정장치에서 수신된 움직임 측정 값을 기초로 상기 추종 대상 객체의 움직임을 인식하는 움직임 인식부; 및
    상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 상기 구동 제어부를 제어하고, 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 로봇 제어부를 포함하는 자율 주행 로봇 제어 시스템.
  15. 카메라가 자율 주행 로봇의 기 설정된 위치에서 기 설정된 방향의 영상을 촬영하는 단계;
    라이다(Lidar)가 상기 자율 주행 로봇의 기 설정된 위치에서 상기 자율 주행 로봇의 주변 장애물을 탐지하는 단계;
    위치 추정부가 상기 카메라에서 촬영된 영상을 기초로 영상 내에 포함된 추종 대상 객체를 식별하고, 상기 라이다를 통해 탐지된 주변 장애물을 기초로 상기 추종 대상 객체의 위치를 추정하는 단계;
    움직임 인식부가 상기 카메라에서 촬영된 영상을 기초로 상기 추종 대상 객체의 움직임을 인식하는 단계;
    로봇 제어부가 상기 위치 추정부에서 추정된 상기 추종 대상 객체의 위치를 기초로 자율 주행 로봇이 추종 대상 객체를 추종하도록 구동 제어부를 제어하는 단계; 및
    로봇 제어부가 상기 움직임 인식부에서 인식된 움직임에 대응되는 동작을 자율 주행 로봇이 실행하도록 상기 구동 제어부를 제어하는 단계를 포함하는 자율 주행 로봇 제어 방법.
PCT/KR2023/010155 2022-08-03 2023-07-17 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법 WO2024029780A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0096620 2022-08-03
KR1020220096620A KR102701968B1 (ko) 2022-08-03 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법

Publications (1)

Publication Number Publication Date
WO2024029780A1 true WO2024029780A1 (ko) 2024-02-08

Family

ID=89849220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010155 WO2024029780A1 (ko) 2022-08-03 2023-07-17 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법

Country Status (1)

Country Link
WO (1) WO2024029780A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211704A (ja) * 2013-04-17 2014-11-13 公立大学法人福島県立医科大学 回診支援ロボットおよび回診支援ロボットの制御プログラム
JP2017120495A (ja) * 2015-12-28 2017-07-06 株式会社エクォス・リサーチ 移動体
KR20190113692A (ko) * 2019-07-02 2019-10-08 엘지전자 주식회사 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
KR20200015879A (ko) * 2018-08-05 2020-02-13 엘지전자 주식회사 이동 로봇 및 이동 로봇의 추종 설정 방법
KR20210147259A (ko) * 2020-05-28 2021-12-07 에이지로보틱스 주식회사 추종 로봇 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211704A (ja) * 2013-04-17 2014-11-13 公立大学法人福島県立医科大学 回診支援ロボットおよび回診支援ロボットの制御プログラム
JP2017120495A (ja) * 2015-12-28 2017-07-06 株式会社エクォス・リサーチ 移動体
KR20200015879A (ko) * 2018-08-05 2020-02-13 엘지전자 주식회사 이동 로봇 및 이동 로봇의 추종 설정 방법
KR20190113692A (ko) * 2019-07-02 2019-10-08 엘지전자 주식회사 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
KR20210147259A (ko) * 2020-05-28 2021-12-07 에이지로보틱스 주식회사 추종 로봇 시스템

Also Published As

Publication number Publication date
KR20240020288A (ko) 2024-02-15

Similar Documents

Publication Publication Date Title
JP6822718B1 (ja) 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN111421539A (zh) 一种基于计算机视觉的工业零件智能识别与分拣系统
CN108274469B (zh) 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法
WO2011052827A1 (ko) 이동 로봇의 슬립 감지 장치 및 방법
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
US9844881B2 (en) Robotic device including machine vision
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2012018168A1 (ko) 타겟 트래킹을 위한 구동 명령 기반 비젼 장치 제어 시스템 및 방법
CN106044570A (zh) 一种采用机器视觉的钢卷吊自动识别装置和方法
CN106227216B (zh) 面向居家老人的家庭服务机器人
D’Avella et al. ROS-Industrial based robotic cell for Industry 4.0: Eye-in-hand stereo camera and visual servoing for flexible, fast, and accurate picking and hooking in the production line
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2016209029A1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
CN109579698B (zh) 一种智能货物检测系统及其检测方法
WO2024029780A1 (ko) 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법
WO2019124728A1 (ko) 객체를 식별하기 위한 장치 및 방법
CN109079777A (zh) 一种机械臂手眼协调作业系统
CN111975776A (zh) 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法
CN108225316A (zh) 载体姿态信息的获取方法和装置及系统
WO2019216673A1 (ko) 무인 이동체용 사물 유도 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23850287

Country of ref document: EP

Kind code of ref document: A1