WO2021221333A1 - 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 - Google Patents

맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 Download PDF

Info

Publication number
WO2021221333A1
WO2021221333A1 PCT/KR2021/004257 KR2021004257W WO2021221333A1 WO 2021221333 A1 WO2021221333 A1 WO 2021221333A1 KR 2021004257 W KR2021004257 W KR 2021004257W WO 2021221333 A1 WO2021221333 A1 WO 2021221333A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
descriptor
determining
feature point
robot
Prior art date
Application number
PCT/KR2021/004257
Other languages
English (en)
French (fr)
Inventor
서동현
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Publication of WO2021221333A1 publication Critical patent/WO2021221333A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a real-time robot position prediction method for determining the position of a robot using map information formed using GPS, IMU, lidar, and a camera.
  • LiDAR is an abbreviation of 'Light Detection and Ranging'. It emits a pulsed laser to the target and calculates the time it takes for the light to return. It is a sensor that collects data in the form of Through this sensor, the surrounding environment can be expressed in three dimensions, and through this, distance information and reflectivity of the surrounding environment can be measured.
  • Precision maps are map data created using GPS, IMU, and lidar sensors. Since the 3D points collected through LiDAR are only 3D information about the surrounding environment, additional information input is required.
  • 3D points collected through LiDAR can be used.
  • the 3D point obtained through the lidar may be calculated as a global coordinate value of the surrounding environment.
  • KR 10-2018-0039202 A also discloses a similar technique, but does not disclose a fundamental solution of the operation to increase reliability.
  • the present invention provides a real-time robot position prediction method that can efficiently and accurately generate map information and quickly and accurately predict the robot's position by matching the generated map information with an image acquired by a camera.
  • a real-time robot position prediction method includes: forming first map information based on information obtained through at least one of a lidar sensor, an inertial sensor (IMU), a GPS signal, and a camera; determining at least one first map feature point included in the first map information and a map descriptor corresponding to each of the at least one first map feature point; forming second map information based on information acquired in real time through only the camera;
  • IMU inertial sensor
  • the step of determining at least one first map feature point included in the first map information includes:
  • the one pixel may be determined as the at least one first map feature point.
  • the step of determining at least one first map feature point included in the first map information includes:
  • a reference image including neighboring pixels included in a range within a predetermined distance is determined, and at least one modified image obtained by changing the scale of the reference image create,
  • the at least one first map feature point may be determined by comparing the reference image and the at least one modified image.
  • the map descriptor may be determined by sampling the neighboring pixels, determining a gradient vector corresponding to each of the neighboring pixels, and applying a direction vector of the at least one first map feature point to the gradient vector.
  • the forming of the first map information may include obtaining 3D data through the lidar sensor and matching the at least one first map feature point corresponding to the 3D data to form the first map information.
  • the determining of the ROI descriptor corresponding to the region of interest includes: each brightness of neighboring pixels included in a range within a predetermined distance based on any one pixel included in the second map information and the If the brightness of any one pixel is compared, and the number of neighboring pixels in which the difference in brightness with the arbitrary pixel exceeds a threshold value exceeds the reference number,
  • the map descriptor may be determined by sampling the neighboring pixels, determining a gradient vector corresponding to each of the neighboring pixels, and applying a direction vector of the at least one second map feature point to the gradient vector.
  • Comparing the ROI descriptor and the map descriptor may include matching the first map information with the second map information
  • the method may further include converting information (GPS information) to predict the position of the robot.
  • the difference between the position of the robot predicted at a first time point and the position of the robot predicted at a second time point after a unit time based on the first time point is a predetermined reference value If , the position of the robot at at least one of the first time point and the second time point may be predicted again.
  • a robot includes an inertial sensor (IMU) for acquiring a dynamic signal; a lidar sensor that acquires a lidar signal; a camera that acquires an image; a communication module for receiving a GPS signal; and at least one first map feature point included in the first map information by forming first map information based on information acquired through at least one of a GPS signal and a camera, and performing Binary Robust Invariant Scalable Keypoints (BRISK). and determining a map descriptor corresponding to each of the at least one first map feature point, and forming second map information based on information obtained in real time only through the camera,
  • IMU inertial sensor
  • lidar sensor that acquires a lidar signal
  • a camera that acquires an image
  • a communication module for receiving a GPS signal
  • at least one first map feature point included in the first map information by forming first map information based on information acquired through at least one of a GPS signal and a camera, and performing Binary Robust Invariant Scalable Keypoints (BRIS
  • the at least one first map feature point corresponding to the map descriptor is set using a perspective-n-point algorithm to determine the position of the robot. It may include; a control unit that predicts.
  • the real-time robot position prediction method can efficiently and accurately predict the position of the robot by efficiently generating map information and matching the generated map information with the image acquired by the camera.
  • map information is generated by using various sensors of IMU and GPS, it is possible to track the position of the robot with high reliability.
  • the real-time robot position prediction method can promote speed and accuracy of calculation by using reliable data based on the difference in position information derived for each time point.
  • FIG. 1 is a control block diagram of a robot according to an embodiment.
  • FIG. 2 is a flowchart illustrating an operation of forming first map information according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating an operation of determining a position of a robot according to an embodiment.
  • FIG. 4 is a diagram for explaining an operation of determining map feature points according to an embodiment.
  • FIG. 5 is a diagram for explaining an operation of determining a reference image and determining map feature points by different sampling, according to an exemplary embodiment
  • FIG. 6 is a diagram for explaining an operation of determining a map descriptor corresponding to each map feature point according to an exemplary embodiment.
  • FIG. 7 and 8 are diagrams for explaining an operation of matching first map information and second map information according to an exemplary embodiment.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • FIG. 1 is a control block diagram of a robot 10 according to an embodiment
  • FIG. 2 is a flowchart illustrating an operation of forming first map information according to an embodiment
  • FIG. 3 is a position of the robot according to an embodiment It is a flowchart showing the operation of determining
  • the robot 10 may include an inertial sensor (IMU) 100 , a lidar 200 , a camera 400 , a communication module 500 , and a controller 300 .
  • IMU inertial sensor
  • the controller 300 may include a processor and at least one memory.
  • the inertial sensor 100 may refer to a device for measuring the speed and direction of the vehicle, gravity, and acceleration.
  • the inertial sensor may be implemented as an operation for recognizing a movement situation of a pedestrian and a moving object using an accelerometer, a angular accelerometer, a geomagnetic machine, and an altimeter.
  • the inertial sensor provided in the vehicle may be composed of a 3-axis IMU that derives the longitudinal acceleration, lateral acceleration, and yaw rate of the vehicle.
  • the lidar 200 may refer to a sensor that precisely draws a surrounding state by emitting a laser pulse, receiving the light reflected from the surrounding target object, and measuring the distance to the object.
  • the camera 400 may be provided to acquire an image around the vehicle.
  • a camera may be provided at the front, rear, and sides of the vehicle 1 to acquire an image.
  • the communication module 500 may receive an external server and a GPS signal.
  • the wireless communication module may include a wireless communication interface including an antenna for receiving a GPS signal and a receiver (Receiver).
  • the wireless communication module may further include a GPS signal conversion module for demodulating the analog radio signal received through the wireless communication interface into a digital control signal.
  • the controller 300 includes a memory (not shown) that stores data for an algorithm for controlling the operation of components in the robot or a program that reproduces the algorithm, and a processor (not shown) that performs the above-described operation using the data stored in the memory. not shown) may be implemented.
  • the memory and the processor may be implemented as separate chips.
  • the memory and the processor may be implemented as a single chip.
  • the controller may acquire information through at least one of a lidar sensor, an inertial sensor (IMU), a GPS signal, and a camera (S1).
  • a lidar sensor an inertial sensor (IMU), a GPS signal, and a camera (S1).
  • IMU inertial sensor
  • S1 a camera
  • the controller may determine a reference image including neighboring pixels included in a range within a predetermined distance based on one arbitrary pixel ( S2 ).
  • the reference image may mean an image on which down-sampling or over-sampling is not performed in the sampling of the scale.
  • the predetermined distance may be determined in advance by the user in units of the region of interest of the image.
  • the controller may generate at least one modified image obtained by changing the scale of the reference image (S3).
  • the changed image may mean an image formed by changing a frequency different from the reference image. A detailed description of the changed image will be described later.
  • the controller may compare both the reference image and the change image ( S4 ) and determine the map feature points using both the reference image and the change image.
  • control unit compares the brightness of each pixel included in a range within a predetermined distance with the brightness of any one pixel based on one arbitrary pixel, and the difference in brightness with any one pixel is a threshold value. It may be determined whether the number of the neighboring pixels exceeding the number exceeds a reference number (S5).
  • the controller can determine the corresponding random pixel as the map feature point (S6).
  • the controller may sample neighboring pixels based on the determined map feature points and determine a gradient vector corresponding to each of the neighboring pixels.
  • the controller may determine the map descriptor by applying a direction vector of at least one first map feature point to the gradient vector (S7). Meanwhile, a detailed description of determining the map descriptor based on the map feature points will be described later.
  • the controller may form first map information based on the operation described in FIG. 2 , and may form second map information based on information acquired in real time through only the camera ( S11 ).
  • the controller may determine a start position, that is, an initial position of the robot from the second map information ( 1012 ). Also, the controller may determine a map feature point and a map descriptor of the second map information based on the method described with reference to FIG. 2 ( S13 ).
  • the controller may determine a region of interest, ie, ROI, at the current position based on the feature point of the immediately preceding frame in position derivation (S14).
  • the controller may compare and match the first map information and the second map information generated based on the above-described operation (S15).
  • the position of the robot can be predicted by transforming the map feature point of the second map information (S16).
  • the second map information is an image acquired only with the image acquired by the camera, and if the image matches the first map information, the map feature point of the second map information and the ROI descriptor corresponding to the map feature point are converted to determine the position of the robot. can be estimated
  • the first time point and the The position of the robot at at least one of the second time points may be predicted again (S17). That is, in this case, since the position prediction of the robot is incorrect, the controller may perform the operation of predicting the position of the robot again.
  • FIG. 4 is a diagram for explaining an operation of determining map feature points according to an embodiment.
  • the controller can compare the brightness of each pixel with the brightness of the neighboring pixels A4 included in the range D4 within a predetermined distance on the basis of any one pixel P4 included in the map information. have.
  • the controller may determine any one pixel as at least one map feature point.
  • any one pixel included in the image I4 acquired by the camera is P4, and the brightness of the pixel of the A4 area and the pixel of P4 may be compared.
  • the controller may determine the image feature point and the descriptor using Binary Robust Invariant Scalable Keypoints (BRISK).
  • BRISK Binary Robust Invariant Scalable Keypoints
  • BRISK may detect a feature point based on FAST (Features from Accelerated Segment Test) and calculate a descriptor near the feature point.
  • FAST Features from Accelerated Segment Test
  • the controller may compare 16 pixel values on a circle having a radius of 3 in the FAST 9_16 method. Specifically, the controller may compare the brightness of the map feature point and the surrounding pixels based on Equation 1 below.
  • Ii is the brightness value of the surrounding pixels
  • Ip is the brightness value of the central pixel
  • t is the threshold value
  • the controller may determine P4 as a key point if nine or more pixels brighter or darker than the number set as the threshold value are consecutive compared to P4.
  • P4 may be determined as a feature point.
  • FIG. 5 is a diagram for explaining an operation of determining a reference image and determining map feature points by different sampling, according to an exemplary embodiment
  • the controller may determine a reference image including the neighboring pixels IP6 included in a range within a predetermined distance based on any one pixel included in the map information.
  • the controller may generate at least one modified image IR5 , IS51 , IS52 in which the scale of the reference image is changed.
  • the controller may determine at least one map feature point by comparing the reference image and the at least one change image IR5 , IS51 , and IS52 .
  • the changed image may be determined based on the change of the octave of the reference image.
  • the controller may create a scale space by generating an octave and an intra-octave therebetween, and determine the maximum value of the map feature points in a pyramid shape.
  • Octave (IR5) can be created by downsampling the camera image to half the size.
  • intra-octav (IS51, IS52) is made by downsampling an octave (IR5) camera image to half the size.
  • IR5 octave
  • the relationship between the octaves can be expressed by the following equation.
  • the controller may acquire images of various scales from the camera image by using the above-described operation and Equation (2).
  • map feature points may be extracted from the reference image of the camera image and the changed image to which various scales are applied, and a maximum value may be determined among them. Based on the above-described operation, map feature points may be constantly determined without changing according to a scale.
  • FIG. 5 the operation of the present invention described with reference to FIG. 5 is merely an embodiment of determining a feature point using a reference image and a modified image, and there is no limitation to the embodiment of the present invention.
  • FIG. 6 is a diagram for explaining an operation of determining a map descriptor corresponding to each map feature point according to an exemplary embodiment.
  • the controller may sample the pixels A6 surrounding the map feature point P6 .
  • the controller may determine a gradient vector corresponding to each of the neighboring pixels A6 .
  • the map descriptor may be determined by applying a direction vector of at least one map feature point to the gradient vector.
  • the controller may calculate the descriptor using a sampling pattern based on concentric circles for the feature point P6 .
  • the descriptor can express the direction to the map feature point as a binary bit vector to make it constant even for rotation.
  • a specific number of map feature points P6 may be determined and sampling may be performed based on the corresponding number.
  • the controller may apply Gaussian smoothing to each sampled value in order to prevent an aliasing effect.
  • the control unit may obtain the gradient of the surrounding pixels based on Equation (3).
  • the controller may apply Gaussian smoothing having a standard deviation of ⁇ i.
  • the controller may determine g(Pi, Pj) by Equation 3 using the respective values.
  • the controller may divide the sampled values into two sets in order to distinguish short distance and long distance pixels from among the sampled values.
  • Equation (4) the operation of dividing into two sets may be performed based on Equation (4).
  • S and L may mean each set, and A may mean both sets of pixels.
  • the controller may determine an upper limit value of a short distance and a lower limit value of a long distance.
  • the controller may set the upper limit ⁇ max of the short distance to 9.75t and determine the lower limit ⁇ min of the long distance to be 13.67t.
  • t means the scale value for the key point.
  • the direction of the map feature points may be determined based on Equation 5 below.
  • the controller may calculate each bit b as in Equation 6 in order to express the direction calculated based on Equation 5 as a binary vector.
  • ⁇ can be calculated as arctan2 ⁇ g(y), g(x) ⁇ .
  • the controller may perform rotation by an alpha value with respect to a sampling pattern around a map feature point in order to obtain a map descriptor normalized with respect to rotation and scale of the map feature point.
  • the controller may project the three-dimensional point cloud data collected through the lidar onto the camera image to extract only lidar points that match the map feature points.
  • the controller may obtain 3D data through the lidar sensor, and form map information by matching at least one map feature point corresponding to the 3D data.
  • a formula for the controller to project the 3D data obtained by the lidar onto the camera image may be performed based on Equation (7).
  • t] is a rigid transformation matrix that converts the lidar coordinate system into a camera coordinate system
  • Tpers(1) is a projection matrix that projects 3D coordinates in the camera coordinate system onto the normal image plane
  • K is the camera internal parameter matrix.
  • K is a matrix that converts regular image coordinates into pixel coordinates.
  • the controller may calculate the global coordinate values through synchronization of the sensors.
  • the controller collects all global coordinate values and descriptors for map feature points with respect to the camera image, the map information is completed. Meanwhile, in this specification, the map information that is the basis for the comparison is named first map information.
  • FIG. 7 and 8 are diagrams for explaining an operation of matching first map information and second map information according to an exemplary embodiment.
  • FIG. 7 shows first map information previously generated by the robot
  • FIG. 8 shows second map information formed by the robot based on a camera.
  • the controller may compare the map descriptor around P7 with the ROI descriptor around P8.
  • the first map information is formed based on the above-described operation, and the position can be estimated by using the camera image collected by the robot in real time while holding the corresponding data.
  • the controller may set the initial position of the robot and estimate the position of the robot from the corresponding point.
  • the controller may set a certain range as the region of interest based on the position of the previous stage of the robot.
  • the controller matches the first map information with the second map information based on this, and includes a map descriptor corresponding to the at least one first map feature point that matches an area within a predetermined distance from the ROI and the ROI descriptors can be compared.
  • a predetermined range may be set as the distance to the position of the previous step.
  • the controller may search the range of map information that does not deviate from the set threshold value through the k-Nearest Neighbor algorithm.
  • the controller may compare the map descriptor existing in the first map information of the corresponding range with the ROI descriptor of the camera image collected in real time, and store the portion where the descriptor matching occurs.
  • the descriptor of the first map information also stores global coordinate values for the two-dimensional first map feature points.
  • the descriptor of the real-time camera image matched with the descriptor of the first map information is looking at the same global coordinate value from a different point of view.
  • control unit can finally estimate the position of the robot by transforming the map feature points of the matched second map information.
  • control unit converts absolute coordinate information (GPS information) of the at least one first map feature point corresponding to a matched map descriptor based on at least one parameter corresponding to the image acquired by the camera.
  • GPS information absolute coordinate information
  • the position of the robot can be predicted.
  • the above-described at least one parameter may include a rotation matrix and a translation matrix of a camera image.
  • the position of the robot can be estimated using the perspective-n-point algorithm.
  • the perspective-n-point algorithm can be expressed by Equation (8).
  • the perspective-n-pont algorithm is a method of estimating the position of a camera using a three-dimensional global coordinate value and a corresponding two-dimensionally projected coordinate value.
  • the projection model for the camera is shown in Equation 8.
  • Equation 8 pw may mean a homogeneous global coordinate value expressed as [x y z 1] ⁇ T.
  • pc may mean a coordinate value projected in two dimensions of a homogeneous global coordinate value expressed as [u v 1] ⁇ T.
  • K is an internal camera parameter matrix, and may mean a value given when calculating the lidar point as a global coordinate value.
  • Equation 8 R corresponding to a rotation matrix and T value corresponding to a translation matrix may be determined. Also, looking at Equation 9 below, it is as follows.
  • Equations 8 and 9 in order to obtain one R matrix and one T matrix with respect to the above formula, at least four 3D and 2D matching coordinate values are required.
  • the position of the robot defines a new matrix P and determines P[0] as the x-coordinate, P[1] as the y-coordinate, and P[2] as the z-coordinate.
  • the control unit extracts the map feature points of each descriptor from the ROI descriptor of the second map information matched with the map descriptor of the first map information, and 3D of the first map feature point of the first map information matching the second map feature point Global coordinates can be used.
  • the control unit may estimate the camera position of the robot using a first map perspective-n-point algorithm of the first map information.
  • the robot can predict the exact location.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

본 발명은 GPS, IMU, 라이다, 카메라를 활용하여 형성한 맵 정보를 이용하여 로봇의 위치를 결정하는 실시간 로봇 위치 예측 방법에 관한 것으로, 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계; 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계; 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계; 상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계; 상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계; 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고, 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함한다.

Description

맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
본 발명은 GPS, IMU, 라이다, 카메라를 활용하여 형성한 맵 정보를 이용하여 로봇의 위치를 결정하는 실시간 로봇 위치 예측 방법에 관한 것이다.
라이다(LiDAR)란 'Light Detection and Ranging(빛 탐지 및 범위 측정)'의 약자로 펄스 레이저를 목표물에 방출하고 빛이 돌아오기까지 걸리는 시간을 계산해 거리와 물체의 반사도를 측정하여 3차원의 점군 형태로 데이터를 수집하는 센서이다. 이 센서를 통해 주위 환경을 3차원으로 표현할 수 있는데, 이를 통해 주변 환경의 거리 정보와 반사도를 측정할 수 있다.
정밀 지도는 GPS, IMU, 라이다 센서를 활용하여 만드는 맵 데이터이다. 라이다를 통해 수집되는 3차원 포인트는 주변 환경에 대한 3차원 정보에 불과하기 때문에 추가적인 정보 입력이 필요하다.
GPS 경로에 대해서 정밀 지도를 생성하기 위해서는 라이다를 통하여 수집되는 3차원 포인트를 이용할 수 있다.
라이다를 통하여 획득한 3차원 포인트는 주변 환경을 글로벌 좌표값으로 계산될 수 있다.
한편 로봇의 위치를 결정하는데 있어서 로봇의 현재위치를 파악과 주변 환경에 매핑이 동시에 이루어져 많은 계산이 요구되며, 또한 이러한 계산 방법의 정확도를 신뢰하기 어렵다.
한편 KR 10-2018-0039202 A에서도 이와 유사한 기술을 개시하고 있으나 신뢰도를 상승하는 동작의 근본적인 해결책을 개시하고 있지 않다.
따라서 로봇의 위치를 결정하기 위한 간결화되고 신뢰도가 높은 방법이 요구되고 있는 실정이다.
본 발명은 효율적으로 맵 정보를 생성하고 생성된 맵 정보와 카메라가 획득한 영상을 매칭하여 신속하고 정확하게 로봇의 위치를 예측할 수 있는 실시간 로봇 위치 예측 방법을 제공한다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계; 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계; 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계;
상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계;
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계;
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함한다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
상기 임의의 한 픽셀을 상기 적어도 하나의 제1맵 특징점으로 결정할 수 있다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀을 포함하는 기준 영상을 결정하고, 상기 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성하고,
상기 기준 영상 및 상기 적어도 하나의 변경 영상을 비교하여 상기 적어도 하나의 제1맵 특징점을 결정할 수 있다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계는,
상기 주변 픽셀을 셈플링하고, 상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고, 상기 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
상기 제1맵 정보를 형성하는 단계는, 상기 라이다 센서를 통하여 3차원 데이터를 획득하고, 상기 3차원 데이터와 대응되는 상기 적어도 하나의 제1맵 특징점을 매칭하여 상기 제1맵정보를 형성할 수 있다.
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계는, 상기 제2맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고, 상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
상기 임의의 한 픽셀을 상기 적어도 하나의 제2맵 특징점으로 결정하고,
상기 주변 픽셀을 셈플링하고, 상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고, 상기 적어도 하나의 제2맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하는 단계는, 상기 제1맵 정보와 상기 제2맵 정보를 매칭하고,
상기 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 상기 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교하는 것을 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로, 매칭된 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측하는 단계를 더 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 제1시점에서 예측한 상기 로봇의 위치와, 제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면, 상기 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측할 수 있다.
일 실시예에 따른 로봇은 역학 신호를 획득하는 관성 센서(IMU); 라이다 신호를 획득하는 라이다 센서; 이미지를 획득하는 카메라; GPS신호를 수신하는 통신모듈; 및 GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하고, BRISK(Binary Robust Invariant Scalable Keypoints)를 수행하여 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하고, 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하고,
상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하고,
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하고,
kNN(k-Nearest Neighbor)알고리즘을 수행하여 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 perspective-n-point 알고리즘을 사용하여 결정된 위치를 로봇의 위치로 예측하는 제어부;를 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 효율적으로 맵 정보를 생성하고 생성된 맵 정보와 카메라가 획득한 영상을 매칭하여 신속하고 정확하게 로봇의 위치를 예측할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은SLAM(Simultaneous Localization And Mapping)의 구현에 있어서 매핑(Mapping)동작에 라이다가 아닌 카메라가 이용되므로 원가를 절감할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은IMU, GPS의 여러 센서를 활용하여 맵 정보를 생성하기 때문에 높은 신뢰도의 로봇의 위치 추적이 가능하다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 시점 마다 도출된 위치 정보의 차이를 기초로 신뢰성 있는 데이터를 이용하여 계산의 신속성과 정확성을 도모할 수 있다.
도1은 일 실시예에 따른 로봇의 제어블럭도이다.
도2은 일 실시예에 따른 제1맵 정보를 형성하는 동작을 나타낸 순서도이다.
도3은 일 실시예에 따른 로봇의 위치를 결정하는 동작을 나타낸 순서도이다.
도4 는 일 실시예에 따른 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도5은 일 실시예에 다른 기준 영상을 결정하고 샘플링을 달리하여 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 동작을 설명하기 위한 도면이다.
도7, 8은 일 실시예에 따른 제1맵 정보와 제2맵 정보를 매칭하는 동작을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 일 실시예에 따른 로봇(10)의 제어블럭도이고, 도2은 일 실시예에 따른 제1맵 정보를 형성하는 동작을 나타낸 순서도이고, 도3은 일 실시예에 따른 로봇의 위치를 결정하는 동작을 나타낸 순서도이다.
일 실시예 따르면 로봇(10)은 관성 센서(IMU,100), 라이다(200), 카메라(400), 통신 모듈(500) 및 제어부(300)를 포함할 수 있다.
제어부(300)는 프로세서와 적어도 하나의 메모리를 포함할 수 있다.
관성 센서(100)는 차량의 속도와 방향, 중력, 가속도를 측정하는 장치를 의미할 수 있다. 관성 센서는 가속도계, 각속도계, 지자기계 및 고도계를 이용하여 보행자 및 이동물체의 움직임 상황을 인식하는 동작으로 구현될 수 있다. 차량에 마련된 관성 센서는 차량의 종가속도, 횡가속도 및 요 레이트를 도출하는 3축 IMU로 구성될 수 있다.
라이다(200)는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서를 의미할 수 있다.
카메라(400)는 차량 주변 영상을 획득하는 구성으로 마련될 수 있다.
일 실시예에 따르면 카메라는 차량(1)의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
통신 모듈(500)은 외부 서버 및 GPS신호를 수신할 수 있다.
무선 통신 모듈은 GPS신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 GPS신호 변환 모듈을 더 포함할 수 있다.
제어부(300)는 로봇 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도1과 도2를 함께 참고하면, 제어부는 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 정보를 획득할 수 있다(S1).
한편 제어부는 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀이 포함된 기준 영상을 결정할 수 있다(S2).
기준 영상은 스케일의 샘플링에서 있어 다운 샘플링이나 오버 샘플링을 실시하지 않은 영상을 의미할 수 있다.
한편 미리 결정된 거리는 영상의 관심 영역의 단위로 사용자가 미리 결정할 수 있다.
한편 제어부는 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성할 수 있다(S3).
변경 영상은 기준 영상과 달리 주파수를 달리하여 형성된 영상을 의미할 수 있다. 변경 영상에 대한 구체적인 설명은 후술한다.
한편 제어부는 기준 영상과 변경 영상 모두를 비교하교(S4), 기준 영상과 변경 영상 모두를 이용하여 맵 특징점을 결정할 수 있다.
구체적으로 제어부는 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고, 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하는지 여부를 판단할 수 있다(S5).
밝기 차이가 임계 값을 초과하는 것은 해당 임의의 픽셀이 맵의 특징을 포함하는 것으로 해석할 수 있으므로 제어부는 해당 임의의 픽셀을 맵 특징점으로 결정할 수 있다(S6).
한편 제어부는 결정한 맵 특징점을 기초로 주변 픽셀을 셈플링하고, 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정할 수 있다.
또한 제어부는 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다(S7). 한편 맵 특징점을 기초로 맵 디스크립터를 결정하는 상세한 설명은 후술한다.
한편 도3을 참고하면, 제어부는 도2에서 설명한 동작을 기초로 제1맵 정보를 형성하고, 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성할 수 있다(S11).
제어부는 제2 맵 정보에서 시작 위치 즉 로봇의 초기 위치를 결정할 수 있다(1012). 또한 제어부는 도2에서 설명한 방법을 기초로 제2 맵 정보의 맵 특징점 및 맵 디스크립터를 결정할 수 있다(S13).
또한 제어부는 위치 도출에 있어 직전의 프레임의 특징점을 기초로 현재 위치에서의 관심 영역 즉, ROI를 결정할 수 있다(S14).
제어부는 상술한 동작을 기초로 생성된 제1맵 정보와 제2맵정보를 비교하여 매칭할 수 있다(S15).
한편 제1맵 정보와 제2맵 정보가 매칭되어 각 특징점이 매칭된 것으로 판단되면, 제2 맵정보의 맵 특징점을 변환하여 로봇의 위치를 예측할 수 있다(S16).
구체적으로 제2맵 정보는 카메라가 획득한 영상으로만 획득된 영상이며 해당 영상이 제1맵 정보와 매칭된다면 제2맵 정보의 맵 특징점 및 맵 특징점과 대응되는 ROI디스크립터를 변환하여 로봇의 위치를 추정할 수 있다.
이와 관련된 상세한 동작은 후술한다.
한편 제어부는 제1시점에서 예측한 로봇의 위치와, 제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면, 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측할 수 있다(S17). 즉 이 경우에는 로봇의 위치 예측이 잘못된 경우이므로 제어부는 로봇의 위치를 예측하는 동작을 다시 수행할 수 있다.
이하에서는 로봇의 위치를 예측하는 각 단계를 더욱 상세하게 설명한다.
도4 는 일 실시예에 따른 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도4를 참고하면 맵 정보에서 맵 특징점(P4)을 도출하는 동작을 설명하고 있다.
제어부는 맵 정보에 포함된 임의의 한 픽셀(P4)을 기준으로, 미리 결정된 거리 이내의 범위(D4)에 포함된 주변 픽셀(A4)의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교할 수 있다.
제어부는 임의의 한 픽셀(P4)과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀(A4)의 개수가 기준 개수를 초과하면, 임의의 한 픽셀을 적어도 하나의 맵 특징점으로 결정할 수 있다.
도4에서는 카메라가 획득한 영상(I4)에 포함된 임의의 한 픽셀이 P4로 A4영역의 픽셀과 P4 픽셀의 밝기를 비교할 수 있다.
제어부는 BRISK(Binary Robust Invariant Scalable Keypoints)을 이용하여 영상 특징점 및 디스크립터를 결정할 수 있다.
BRISK는 FAST(Features from Accelerated Segment Test)에 기반하여 특징점을 검출하고, 해당 특징점 근처에서 디스크립터를 계산할 수 있다.
도4에서 제어부는 FAST 9_16 방식으로 반지름이 3인 원 상의 16개 픽셀값을 비교할 수 있다. 구체적으로 제어부는 아래의 수학식1을 기초로 맵 특징점과 주변 픽셀의 밝기를 비교할 수 있다.
Figure PCTKR2021004257-appb-img-000001
수학식1을 참고하면 Ii는 주변 픽셀들의 밝기 값, Ip는 중심 픽셀의 밝기값, t는 임계값을 의미한다.
제어부는 P4에 비해 임계값으로 설정한 수보다 밝거나 어두운 픽셀들이 9개 이상 연속되어 있으면 P4를 키 포인트로 판단할 수 있다.
도4의 A4에 해당하는 픽셀들 중에서 9개 이상의 픽셀들이 중심 픽셀의 밝기 값과 임계값 이상의 차이를 보이면 P4를 특징점으로 판단할 수 있다.
한편 제어부가 임의의 픽셀을 결정하는 동작 및 해당 픽셀과 주변 픽셀의 밝기를 조절하는 동작의 제한은 없다.
도5는 일 실시예에 다른 기준 영상을 결정하고 샘플링을 달리하여 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도5를 참고하면 제어부는 상기 맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀(IP6)을 포함하는 기준 영상을 결정할 수 있다.
또한 제어부는 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상(IR5, IS51, IS52)을 생성할 수 있다.
제어부는 기준 영상 및 적어도 하나의 변경 영상(IR5, IS51, IS52)을 비교하여 적어도 하나의 맵 특징점을 결정할 수 있다.
구체적으로 변경 영상은 기준 영상의 옥타브(Octave)의 변경을 기초로 결정될 수 있다.
제어부는 옥타브와 그 사이의 intra-octave를 생성하여 스케일 공간을 만들고 피라미드 형태로 맵 특징점의 최대값을 결정할 수 있다.
옥타브(IR5)는 카메라 영상을 절반의 크기로 다운 샘플링 함으로써 만들질 수 있다.
또한 intra-octav(IS51, IS52)는 옥타브(IR5)의 카메라 영상을 절반의 크기로 다운 샘플링(downsampling)함으로써 만들어진다. 한편 옥타브 사이의 관계는 아래의 수학식으로 표현될 수 있다.
Figure PCTKR2021004257-appb-img-000002
제어부는 상술한 동작 및 수학식2를 이용하여 카메라 영상에 대해 여러 스케일의 영상을 획득할 수 있다.
즉, 카메라 영상의 기준 영상 및 여러 스케일이 적용된 변경 영상에 대해 맵 특징점을 추출하고 그 중에서 최대값을 결정할 수 있다. 상술한 동작을 기초로 맵 특징점이 스케일에 따라 변하지 않고 일정하게 결정될 수 있다.
한편 도5에서 설명한 본 발명의 동작은 기준 영상 및 변경 영상을 이용하여 특징점을 결정하는 일 실시예에 불과하고 본 발명의 실시에는 제한이 없다.
도6은 일 실시예에 따른 맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 동작을 설명하기 위한 도면이다.
도6을 참고하면 제어부는 맵 특징점(P6)의 주변 픽셀(A6)을 셈플링할 수 있다.
또한 제어부는 주변 픽셀(A6) 각각에 대응되는 그레디언트 벡터를 결정할 수 있다.
또한 적어도 하나의 맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
구체적으로 제어부는 특징점(P6)에 대해서 동심원 기반의 샘플링 패턴을 이용하여 디스크립터를 계산할 수 있다.
디스크립터는 회전에 대해서도 일정하게 만들기 위해 맵 특징점에 대한 방향을 이진 비트 벡터로 표현할 수 있다.
우선 맵 특징점(P6)에 대해 특정 개수를 결정하고 해당 개수를 기초로 샘플링을 실시할 수 있다.
일 실시예에 따르면 제어부는 N = 60으로 설정하고 N*(N-1)/2만큼 맵 특징점 주변의 2차원 픽셀을 샘플링 할 수 있다.
또한 제어부는 에얼라이싱(aliasing) 효과를 방지하기 위해 샘플링 된 각 값에 가우시안 스무딩(smoothing)을 적용할 수 있다. 한편 제어부는 수학식3을 기초로 주변 픽셀의 그레디언트를 구할 수 있다.
Figure PCTKR2021004257-appb-img-000003
일 실시예에 따르면 샘플링 된 각 값이 “Pi, Pj”면 제어부는 표준 편차가 σi의 가우시안 스무딩(smoothing)을 적용할 수 있다.
한편 이렇게 스무딩 된 샘플링 값 “Pi, σi”과 “Pj, σj”로 결정될 수 있다. 제어부는 각 값들을 이용해 g(Pi, Pj) 를 수학식3으로 결정할 수 있다.
한편 제어부는 각 샘플링 된 값들 중에서 짧은 거리와 긴 거리의 픽셀들을 구분하기 위해서 두 집합으로 나눌 수 있다.
구체적으로 두 집합으로 나누는 동작은 수학식4를 기초로 동작할 수 있다.
Figure PCTKR2021004257-appb-img-000004
수학식4를 참고하면 S,L은 각 집합을 의미하고 A는 픽셀의 집합 모두를 의미할 수 있다.
제어부는 두 집합으로 나눌 때 짧은 거리의 상한 값 및 긴 거리의 하한 값을 결정할 수 있다.
한편 일 실시예에 따르면 제어부는 짧은 거리의 상한값δmax 은 9.75t로 설정하고 긴 거리의 하한값 δmin 은 13.67t로 결정할 수 있다.
여기서 t는 key point에 대한 스케일 값을 의미한다.
한편 맵 특징점의 방향은 아래의 수학식5를 기초로 결정될 수 있다.
Figure PCTKR2021004257-appb-img-000005
한편 제어부는 수학식5를 기초로 계산된 방향에 대해 이진 벡터로 표현하기 위해서 각각의 비트 b를 수학식6처럼 계산할 수 있다.
Figure PCTKR2021004257-appb-img-000006
수학식6을 참고하면 α는 arctan2{g(y), g(x)}로 계산될 수 있다.
구체적으로 제어부는 맵 특징점에 회전과 스케일에 대해 노말라이즈(normalized)된 맵 디스크립터을 구하기 위하여, 맵 특징점의 주변 샘플링패턴에 대해 알파 값 만큼 회전을 수행할 수 있다.
한편 상술한 동작을 수행한 후 제어부는 라이다를 통해 수집되는 3차원 형태의 점군 데이터를 카메라 영상에 투영시켜서, 맵 특징점과 매칭되는 라이다 포인트만 추출할 수 있다.
즉, 제어부는 라이다 센서를 통하여 3차원 데이터를 획득하고, 3차원 데이터와 대응되는 적어도 하나의 맵 특징점을 매칭하여 맵 정보를 형성할 수 있다.
제어부가 라이다가 획득한 3차원 데이터를 카메라 영상에 투영하는 공식은 수학식7을 기초로 수행될 수 있다.
Figure PCTKR2021004257-appb-img-000007
수학식7을 참고하면 [R|t]는 라이다 좌표계를 카메라 좌표계로 바꾸는 rigid 변환 행렬, Tpers(1)는 카메라 좌표계 상의 3D 좌표를 정규 이미지 평면에 투영시키는 projection 행렬, K는 카메라 내부 파라미터 행렬로 정규 이미지 좌표를 픽셀 좌표로 바꾸어주는 행렬이다.
제어부는 수학식7을 기초로 추출된 라이다 포인트를 GPS 경로에서 겹치는 시간대에 전개한 후에, 센서들의 동기화를 거쳐 글로벌 좌표값으로 계산할 수 있다.
이러한 동작을 기초로 제어부는 카메라 영상에 대해, 맵 특징점에 대한 글로벌 좌표값과 디스크립터를 전부 수집하면 맵 정보가 완성된다. 한편 이렇게 비교에 기초가 되는 맵 정보를 본 명세서에서는 제1맵 정보로 명명하였다.
도7, 8은 일 실시예에 따른 제1맵 정보와 제2맵 정보를 매칭하는 동작을 설명하기 위한 도면이다.
도7은 로봇이 미리 생성한 제1맵 정보를 의미하고 도8는 로봇에 카메라를 기초로 형성한 제2맵 정보를 의미한다.
도7및 도8를 참고하면 제어부는 P7주변의 맵 디스크립터와 P8주변의 ROI 디스크립터를 비교할 수 있다.
상술한 동작을 기초로 제1맵 정보가 형성되고, 해당 데이터를 보유한 상태에서 로봇이 실시간으로 수집하는 카메라 영상을 활용하여 위치를 추정할 수 있다.
제어부는 로봇의 초기 위치를 설정하고, 해당 지점부터 로봇의 위치를 추정할 수 있다.
제어부는 로봇의 전 단계의 위치를 중심으로 일정 범위를 관심 영역으로 설정할 수 있다.
제어부는 이를 기초로 제1맵 정보와 상기 제2맵 정보를 매칭하고, 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교할 수 있다.
이때, 일정 범위를 전 단계의 위치에 대한 거리로 설정할 수 있다.
제어부는 그 후 설정한 임계값을 벗어나지 않는 맵 정보의 범위를 k-Nearest Neighbor 알고리즘을 통해 탐색할 수 있다.
제어부는 해당 범위의 제1맵정보에 존재하는 맵 디스크립터와 실시간으로 수집되는 카메라 영상의 ROI디스크립터를 비교하여 디스크립터 매칭이 발생하는 부분을 저장할 수 있다.
한편 상술한 바와 같이 저장된 부분에서 제1맵 정보의 디스크립터는 2차원 제1맵 특징점에 대한 글로벌 좌표값도 저장하고 있다.
따라서 제1 맵정보의 디스크립터와 매칭된 실시간 카메라 영상의 디스크립터는 같은 글로벌 좌표값을 다른 관점에서 바라보고 있다고 해석할 수 있다.
따라서 제어부는 매칭된 제2맵 정보의 맵 특징점을 변환하여 최종적으로 로봇의 위치를 추정할 수 있다.
구체적으로 제어부는 상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로, 매칭된 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측할 수 있다.
한편 상술한 적어도 하나의 파라미터는 카메라 영상의 rotation matrix와 translation matrix를 포함할 수 있다.
한편 위와 같은 파라미터를 알면 perspective-n-point 알고리즘을 이용하여 로봇의 위치를 추정할 수 있다. 한편 perspective-n-point 알고리즘은 수학식8로 표현될 수 있다.
Figure PCTKR2021004257-appb-img-000008
perspective-n-pont 알고리즘은 3차원 글로벌 좌표 값과 그에 해당하는 2차원으로 투영된 좌표 값을 이용하여 카메라의 위치를 추정하는 방법이다. 카메라에 대한 projection model은 수학식8과 같다.
수학식8에서 pw는 [x y z 1]^T로 표현된 homogeneous한 글로벌 좌표값을 의미할 수 있다.
또한 pc는 [u v 1]^T로 표현된 homogeneous한 글로벌 좌표 값의 2차원으로 투영된 좌표 값을 의미할 수 있다.
K는 카메라 내부 파라미터 행렬로, 라이다 포인트를 글로벌 좌표 값으로 계산할 때 주어진 값을 의미할 수 있다.
따라서 K는 주어진 행렬이기 때문에 rotation과 translation matrix, 그리고 scale값을 구하면 된다.
수학식8을 이용하여 회전 행렬(rotation matrix)에 해당하는 R과 이동 행렬(translation matrix)에 해당하는 T 값을 결정할 수 있다. 또한 하기의 수학식9를 살펴 보면 아래와 같다.
Figure PCTKR2021004257-appb-img-000009
수학식8과 수학식9를 함께 참고하면 위의 공식에 대해 하나의 R 행렬과 T 행렬을 구하기 위해서는 적어도 4개의 3차원, 2차원 매칭 좌표 값들을 필요로 한다.
R 행렬과 T 행렬이 구해지면 로봇의 위치는 새로운 행렬 P를 정의하고 P[0]을 x좌표, P[1]을 y좌표, P[2]를 z좌표로 판단할 수 있다.
즉, 하나의 pose를 구하기 위해선 미지수 개수를 고려하면 적어도 4개의 3차원 - 2차원 매칭 좌표값들을 필요로 한다.
제어부는 제1맵정보의 맵 디스크립터와 매칭된 제2맵 정보의의 ROI 디스크립터에 대해서 각 디스크립터의 맵 특징점를 추출하고, 해당 제2맵 특징점과 매칭되는 제1 맵 정보의 제1맵 특징점의 3차원 글로벌 좌표값을 사용할 수 있다.
제어부는 제1 맵 정보의 제1맵 특징점perspective-n-point 알고리즘으로 로봇의 카메라 위치를 추정할 수 있다.
즉 제1맵 정보의 P7지점의 맵 디스크립터와 제2맵 정보P8지점의 ROI디스크립터를 비교하여 로봇은 정확한 위치를 예측할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계;
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계;
    상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계;
    상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계;
    상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계;
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함하는 실시간 로봇 위치 예측 방법.
  2. 제1항에 있어서,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
    상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
    상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
    상기 임의의 한 픽셀을 상기 적어도 하나의 제1맵 특징점으로 결정하는 실시간 로봇 위치 예측 방법.
  3. 제2항에 있어서,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
    상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀을 포함하는 기준 영상을 결정하고,
    상기 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성하고,
    상기 기준 영상 및 상기 적어도 하나의 변경 영상을 비교하여 상기 적어도 하나의 제1맵 특징점을 결정하는 실시간 로봇 위치 예측 방법.
  4. 제2항에 있어서,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계는,
    상기 주변 픽셀을 셈플링하고,
    상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고,
    상기 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정하는 실시간 로봇 위치 예측 방법.
  5. 제2항에 있어서,
    상기 제1맵 정보를 형성하는 단계는,
    상기 라이다 센서를 통하여 3차원 데이터를 획득하고,
    상기 3차원 데이터와 대응되는 상기 적어도 하나의 제1맵 특징점을 매칭하여 상기 제1맵정보를 형성하는 것을 포함하는 실시간 로봇 위치 예측 방법.
  6. 제1항에 있어서,
    상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계는,
    상기 제2맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
    상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
    상기 임의의 한 픽셀을 상기 적어도 하나의 제2맵 특징점으로 결정하고,
    상기 주변 픽셀을 셈플링하고,
    상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고,
    상기 적어도 하나의 제2맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정하는 실시간 로봇 위치 예측 방법.
  7. 제1항에 있어서,
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하는 단계는,
    상기 제1맵 정보와 상기 제2맵 정보를 매칭하고,
    상기 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 상기 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교하는 것을 포함하는 실시간 로봇 위치 예측 방법.
  8. 제1항에 있어서,
    상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로,
    매칭된 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측하는 단계를 더 포함하는 실시간 로봇 위치 예측 방법.
  9. 제8항에 있어서,
    제1시점에서 예측한 상기 로봇의 위치와,
    제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면,
    상기 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측하는 실시간 로봇 위치 예측 방법.
  10. 역학 신호를 획득하는 관성 센서(IMU);
    라이다 신호를 획득하는 라이다 센서;
    이미지를 획득하는 카메라
    GPS신호를 수신하는 통신모듈; 및
    GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하고,
    BRISK(Binary Robust Invariant Scalable Keypoints)를 수행하여 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하고,
    상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하고,
    상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하고,
    상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하고,
    kNN(k-Nearest Neighbor)알고리즘을 수행하여 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 perspective-n-point 알고리즘을 사용하여 결정된 위치를 로봇의 위치로 예측하는 제어부;를 포함하는 로봇.
PCT/KR2021/004257 2020-04-29 2021-04-06 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 WO2021221333A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0052351 2020-04-29
KR1020200052351A KR102325121B1 (ko) 2020-04-29 2020-04-29 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Publications (1)

Publication Number Publication Date
WO2021221333A1 true WO2021221333A1 (ko) 2021-11-04

Family

ID=78373633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004257 WO2021221333A1 (ko) 2020-04-29 2021-04-06 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Country Status (2)

Country Link
KR (1) KR102325121B1 (ko)
WO (1) WO2021221333A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114983302A (zh) * 2022-06-28 2022-09-02 追觅创新科技(苏州)有限公司 姿态的确定方法、装置、清洁设备、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101425317B1 (ko) * 2013-04-02 2014-08-04 경희대학교 산학협력단 이동 로봇의 위치 판단 방법
KR20200035930A (ko) * 2020-03-30 2020-04-06 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039202A (ko) 2016-10-07 2018-04-18 전자부품연구원 3차원 원격 제어 시스템 및 방법, 그 제어 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101425317B1 (ko) * 2013-04-02 2014-08-04 경희대학교 산학협력단 이동 로봇의 위치 판단 방법
KR20200035930A (ko) * 2020-03-30 2020-04-06 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114983302A (zh) * 2022-06-28 2022-09-02 追觅创新科技(苏州)有限公司 姿态的确定方法、装置、清洁设备、存储介质及电子装置
CN114983302B (zh) * 2022-06-28 2023-08-08 追觅创新科技(苏州)有限公司 姿态的确定方法、装置、清洁设备、存储介质及电子装置

Also Published As

Publication number Publication date
KR20210134117A (ko) 2021-11-09
KR102325121B1 (ko) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2017196062A1 (en) Distance sensor, and calibration method performed by device and system including the distance sensor
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2018164377A1 (ko) 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2021158062A1 (ko) 이동수단의 위치인식방법 및 위치인식시스템
WO2021137402A1 (en) Electronic device detecting location and method thereof
WO2020101156A1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
WO2021221333A1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2019245320A1 (ko) 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
WO2018151504A1 (ko) 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2022220414A1 (ko) 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템
WO2023022305A1 (ko) 보행자 실내 위치 측위 장치 및 방법
WO2019124728A1 (ko) 객체를 식별하기 위한 장치 및 방법
WO2023224326A1 (ko) 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17-03-2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21797267

Country of ref document: EP

Kind code of ref document: A1