WO2015194868A1 - 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법 - Google Patents

광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
WO2015194868A1
WO2015194868A1 PCT/KR2015/006157 KR2015006157W WO2015194868A1 WO 2015194868 A1 WO2015194868 A1 WO 2015194868A1 KR 2015006157 W KR2015006157 W KR 2015006157W WO 2015194868 A1 WO2015194868 A1 WO 2015194868A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile robot
information
state
angle
controlling
Prior art date
Application number
PCT/KR2015/006157
Other languages
English (en)
French (fr)
Inventor
신경철
박성주
장민
이재영
문병권
Original Assignee
(주)유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유진로봇 filed Critical (주)유진로봇
Priority to EP15809867.3A priority Critical patent/EP3159123A4/en
Publication of WO2015194868A1 publication Critical patent/WO2015194868A1/ko
Priority to US15/379,501 priority patent/US10133278B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Definitions

  • the present invention relates to a traveling control method of a mobile robot, and more particularly, to an apparatus and a method for controlling the traveling of a mobile robot equipped with a wide-angle camera.
  • the mobile robot travels by dead reckoning using the encoder installed in the gyroscope and the driving motor, and analyzes the image using the camera installed on the top to generate a map. If an error occurs, the accumulated error is corrected by using the image information acquired from the camera.
  • the location-based mobile robots developed so far have been developed assuming a motion on a 2D plane using a monocular camera or a laser scanner.
  • a monocular camera In the case of using such a monocular camera, the distance to the feature point cannot be known, and thus, when the error of the dead reckoning becomes large, there is a problem that the error of the position recognition is very large.
  • the conventional methods are when the mobile robot is constrained in an inclined state while traveling, when the mobile robot passes through a high threshold, etc., or when the mobile robot moves on the edge of the threshold or the edge of the carpet while slamming using a monocular camera In various cases, there is a problem that control is not desired because the attitude of the mobile robot cannot be accurately estimated.
  • an object of the present invention is to solve the problems of the prior art, an object of the present invention is calculated through the internal odometry based on the odometry information and the inertia information calculated through the visual odometry based on the stereo image
  • the present invention provides an apparatus and a method for controlling the driving of a mobile robot equipped with a wide-angle camera for estimating a position based on selected one of the odometry information.
  • Another object of the present invention is to mount a wide-angle camera to extract a predetermined number of horizontal lines from a stereo image and perform dense stereo matching along the extracted horizontal lines to obtain distance information to obstacles as a result of the dense stereo matching.
  • An apparatus and a method for controlling the running of a mobile robot are provided.
  • Another object of the present invention is to estimate the three-dimensional angle information by using the measured inertia information and to determine the attitude and operation state of the mobile robot using the estimated three-dimensional angle information of the mobile robot equipped with a wide-angle camera
  • An apparatus and method are provided for controlling driving.
  • an object of the present invention is to solve the problems of the prior art, an object of the present invention is calculated through the internal odometry based on the odometry information and the inertia information calculated through the visual odometry based on the stereo image
  • the present invention provides an apparatus and a method for controlling the driving of a mobile robot equipped with a wide-angle camera for estimating a position based on selected one of the odometry information.
  • Another object of the present invention is to mount a wide-angle camera to extract a predetermined number of horizontal lines from a stereo image and perform dense stereo matching along the extracted horizontal lines to obtain distance information to obstacles as a result of the dense stereo matching.
  • An apparatus and a method for controlling the running of a mobile robot are provided.
  • Another object of the present invention is to estimate the three-dimensional angle information by using the measured inertia information and to determine the attitude and operation state of the mobile robot using the estimated three-dimensional angle information of the mobile robot equipped with a wide-angle camera
  • An apparatus and method are provided for controlling driving.
  • the present invention solves the problem that the mobile robots are vulnerable to positional errors due to tilting or sliding, stable position recognition may be possible.
  • the present invention extracts a predetermined number of horizontal lines from a stereo image and performs dense stereo matching along the extracted horizontal lines to obtain distance information to an obstacle as a result of the expensive distance measurement. There is an effect that can obtain the distance information about the obstacle even without attaching a dedicated sensor.
  • the present invention by estimating the three-dimensional angle information by using the measured inertial information and by using the estimated three-dimensional angle information to determine the attitude and operation state of the mobile robot, the three-dimensional inclined information of the mobile robot The effect can be estimated accurately.
  • FIG. 1 is a view showing an apparatus for controlling the running of a mobile robot according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a region of interest of a wide-angle camera according to an embodiment of the present invention.
  • FIG. 3 is a view showing a detailed configuration of a control unit according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a spatial recognition process according to an embodiment of the present invention.
  • 5 is a view for explaining the uncertainty of the three-dimensional point according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating three-dimensional information about an edge according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a position recognition error generated when the mobile robot itself is tilted.
  • FIG. 8 is a view showing a state determination method of a mobile robot according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a detailed configuration of an IMU according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a case in which the cleaning robot is intentionally stopped while the robot is in operation.
  • FIG. 11 is a diagram for describing a process of correcting a bias according to an embodiment of the present invention.
  • FIG. 12 is a view for explaining an obstacle detection process according to an embodiment of the present invention.
  • FIG. 13 is a view showing a method for recognizing the position of a mobile robot according to an embodiment of the present invention.
  • a position is estimated based on one odometry information, and a predetermined number of horizontal lines are extracted from the stereo image, dense stereo matching is performed along the extracted horizontal lines, and as a result, distance information to an obstacle is obtained.
  • FIG. 1 is a view showing an apparatus for controlling the running of a mobile robot according to an embodiment of the present invention.
  • an apparatus for recognizing a position of a mobile robot includes a camera 110, an inertial measurement unit (IMU) 120, a controller 130, an obstacle detecting unit 140, and a map.
  • the creation unit 150, DB (Database) 160 may be included.
  • Two cameras 110 may be provided to acquire a pair of stereo images, that is, a left image and a right image.
  • the two cameras mean that images are acquired from two viewpoints by using two different lenses, and the case of acquiring two images with two lenses in one image capturing apparatus.
  • the camera 110 may be mounted to have a preset ROI.
  • the region of interest may be an area to be photographed using the camera 110 provided in the mobile robot.
  • the camera 110 may preferably be a wide angle camera.
  • the wide-angle camera is a camera photographing using a wide-angle lens having a wider angle of view as compared with a general camera lens.
  • the wide angle camera may be a camera using a fisheye lens.
  • the wide angle camera may use a wide angle lens having an angle of view of 60 degrees to 270 degrees.
  • the wide-angle camera according to the present invention may be a camera using a lens having a wide range of angles of view, not limited to the range of angles of view exemplified above.
  • FIG. 2 is a diagram illustrating a region of interest of a wide-angle camera according to an embodiment of the present invention.
  • the two cameras 110 according to the present invention do not look only at the ceiling or the front of the room like the camera mounted on the existing mobile robot, but use the wide angle lens to ceiling the mobile robot 10. Both the ceiling and the front may be mounted to face the front and the front, so that both the ceiling and the front may be the ROI.
  • the camera may photograph both horizontal and vertical regions using a wide-angle lens.
  • the present invention has both the ceiling and the front of the region of interest by using the camera 110 mounted as described above, so that not only the feature point is secured but also the position recognition is difficult at the point where the feature point is difficult to find, and the obstacle recognition for the front is also possible. Done.
  • the IMU 120 may measure inertial information of the mobile robot, for example, information such as position and posture.
  • the IMU 120 may include, for example, a gyro sensor 121 and an acceleration sensor 122.
  • the gyro sensor 121 collects angular velocity information of the mobile robot.
  • the mobile robot distinguishes a posture or an operation state of the mobile robot using three-dimensional angle information, and controls the mobile robot by using the divided posture or operation state, the gyro sensor 121.
  • the gyro sensor 121 may collect angular velocity information of three axes of x, y, and z axes.
  • the angular velocities of the three axes of the x-axis, y-axis, and z-axis detected by the three-axis gyro sensor 121 are referred to as roll, pitch, and yaw, respectively.
  • the rotation of the mobile robot about the x axis is called a roll
  • the rotation about the y axis is called a pitch
  • the rotation about the z axis is called a yaw.
  • Three-dimensional angle information to be obtained in the present invention means a roll, pitch, yaw.
  • the acceleration sensor 122 measures the acceleration due to the gravity acceleration and the movement of the mobile robot.
  • the acceleration sensor 122 is preferably a three-axis sensor similar to the gyro sensor 121.
  • the acceleration sensor 122 may collect acceleration information about three axes of the x-axis, the y-axis, and the z-axis.
  • the controller 130 estimates the position, posture, and state based on the stereo image input from the wide-angle camera 110 and the inertial information received from the IMU 120, and based on the estimated position, posture, and state of the mobile robot. You can control the driving.
  • FIG. 3 is a view showing a detailed configuration of a control unit according to an embodiment of the present invention.
  • the control unit 130 includes a position recognition unit 131 for recognizing a position, a state determination unit 132 for determining a posture and a state, and a driving control unit 133 for controlling driving. It may include.
  • the location recognition unit 131 may receive a stereo image from the wide-angle camera 110 and recognize a given space whenever a predetermined distance is moved based on the stereo image received.
  • FIG. 4 is a view for explaining a spatial recognition process according to an embodiment of the present invention.
  • the location recognizing unit 131 recognizes a given space and makes a database every time a certain distance is moved or a new key frame is generated.
  • the location recognizing unit 131 may reduce and blur the input stereo image to a preset size.
  • the preset size is preferably 1/8 size.
  • the location recognizing unit 131 may reduce the received stereo image (a) and generate a blurred image (b).
  • the location recognizing unit 131 may encode the blurred stereo image by using a BRIEF (binary Robust Independent Elementary Features) binary descriptor and generate binary data as a result of the encoding.
  • binary data may be generated with a size of 32 bytes.
  • the brief binary descriptor is " ⁇ BRIEF ⁇ : Computing a Local Binary Descriptor Very Fast, M. Calonder, V. Lepetit, M. Ozuysal, T. Trzcinski, C. Strecha, and P. Fua IEEE Transactions on Pattern Analysis and Machine Intelligence It can be encoded using the method introduced in 2012.
  • the binary data may be generated, for example, in size of 32 bytes.
  • Fig. 4C is a reference diagram showing such a brief binary descriptor.
  • the position recognizing unit 131 compares the generated binary data with data representing the absolute position of the mobile robot in the pre-stored key frame, and recognizes the current position as the absolute position when it is within the preset range. Can be.
  • the reason why the brief binary descriptor is used for spatial recognition in the present invention is that the computation speed is very fast compared to the descriptors such as SIFT and SURF.
  • the position recognizing unit 131 receives a stereo image from the wide-angle camera 110 and obtains first odometry information through a visual odometry based on the received stereo image, and obtains inertia information from the IMU 120.
  • the second odometry information may be obtained through an internal odometry based on the received inertia information.
  • the position recognizing unit 131 may extract the feature points from the stereo image, track the extracted feature points, and acquire the odometry information by using the feature points that are tracked.
  • the feature points extracted during the pretreatment are corners. However, it is impossible to obtain a sufficient amount of feature points in areas without textures, such as corridors or large offices.
  • the position recognition unit 131 performs stereo matching on the edge to solve this problem. That is, the position recognizing unit 131 may extract edges from the stereo image and perform sparse stereo matching on the extracted edges.
  • 5 is a view for explaining the uncertainty of the three-dimensional point according to an embodiment of the present invention.
  • the position recognizing unit 131 may set an uncertainty ⁇ according to a depth value obtained as a result of the execution and store it in the DB.
  • the reliability of the depth value obtained is less reliable.
  • Equation 1 The uncertainty of the three-dimensional point obtained using two wide-angle cameras is shown in Equation 1 below.
  • b denotes the distance between cameras
  • x, y, z denotes the coordinate system of the left image camera
  • x ', y', z ' denotes the coordinate system of the right image camera
  • (c, r) and (c ', r') represent coordinates of pixels matching each other in the left and right images
  • ⁇ r , sigma c represents the uncertainty in extracting the feature point in each axis of the coordinate system
  • r 0 , c 0 represent the optical axis of the camera in the camera coordinate system.
  • D is a difference value when the feature point is projected on the left and right sides, and is generally called disparity.
  • each pixel stored in the key frame is projected on the current image to find the most similar pixel and update the depth value.
  • This update may be performed by applying general Bayesian rules.
  • both x, y, and z are updated so that the position can be identified and inverted using the updated x, y, and z. It is also possible to determine the location of the camera.
  • FIG. 6 is a diagram illustrating three-dimensional information about an edge according to an embodiment of the present invention.
  • A) of FIG. 6 is an image representing a depth value projected on the left image camera
  • (b) is an image representing a depth value projected on the right image camera
  • (c) is a depth value obtained through an update process.
  • (D) is an image which shows the projection with respect to a matching point and a depth value.
  • the information of the IMU is very important in the situation where the camera is difficult to recognize the environment.
  • all low-cost IMUs have severe bias changes or are very difficult to estimate.
  • the solution to this problem is to stop the robot for a while and take the average to obtain the bias. In this case, the mobile robot does not look intelligent in the user particle and the work speed is reduced.
  • the position recognizing unit 131 updates the bias even during the movement to solve this problem.
  • ⁇ g is the angular velocity obtained through the gyro sensor and ⁇ c is the angular velocity obtained through the wide angle stereo vision. While the mobile robot is running, an error occurs between the two due to bias. This error ⁇ e can be defined as in Equation 3 below.
  • ⁇ e may be a bias
  • the bias is updated by applying a Bayesian rule as shown in Equation 4 below.
  • the bias is corrected in real time, so that even when the camera is not available for a moment, the optimal bias is always used to maintain the accuracy of the odometry information using the IMU.
  • the position recognizing unit 131 may select one of the first and second odometry information and predict the current state information, for example, posture and position, based on the selected odometry information. Can be.
  • the position recognizing unit 131 may estimate the current position by using a preset number of neighboring key frames among the prestored key frame sets based on the predicted state information.
  • the key frame may include the state information of the mobile robot measured periodically.
  • the state determiner 132 may estimate three-dimensional angle information of the mobile robot by using the three-axis angular velocity information collected by the gyro sensor 121.
  • the state determination unit 132 integrates the x-axis angular velocity, the y-axis angular velocity, and the z-axis angular velocity obtained by the gyro sensor 121 and estimates three-dimensional angle information of the mobile robot as a result of the integration.
  • the three-dimensional angle information estimated by the state determination unit 132 using the information collected by the gyro sensor 121 has a large amount of noise and various error components. That is, the three-dimensional angle information estimated due to the drift of the gyro sensor 121 may not be accurate.
  • the state determination unit 132 filters the three-dimensional angles applicable to the mobile robot among the three-dimensional angle information estimated using the three-axis acceleration information collected by the acceleration sensor 122.
  • the acceleration direction obtained by using the output of the acceleration sensor 122 may be the gravity direction. That is, the angle may be easily estimated by using the information collected by the acceleration sensor 122.
  • estimating the angle by using the information collected from the acceleration sensor 122 is that when the noise caused by the motion of the mobile robot is severe or there is an external force such as a collision, an impact of more than the acceleration of gravity is transmitted instantaneously, so It may be impossible to estimate.
  • the state determination unit 132 may correct the 3D angle information of the mobile robot estimated using the angular velocity information collected by the gyro sensor 121 using the acceleration information collected by the acceleration sensor 122.
  • the state determination unit 132 uses the information collected by the gyro sensor 121 to detect a drift problem that causes inaccuracy of the 3D angle information estimated by the gyro sensor 121 when the mobile robot is stopped or the motion is constant. It may be corrected using the acceleration sensor 122 value.
  • the state determiner 132 may integrate the output of the gyro sensor 121 and acquire three-dimensional angle information as a result of the integration during the moment when the information of the acceleration sensor 122 is noisy.
  • the state determination unit 132 may acquire the angles on the x-axis, the y-axis, and the z-axis by appropriately fusion of the information collected by the three-axis gyro sensor 121 and the three-axis acceleration sensor 122. Appropriate fusion of the information collected by the gyro sensor 121 and the acceleration sensor 122 by the state determination unit 132 may set in advance in what case the weight of which sensor is set to how much.
  • the Kalman Filter may be used in the process of setting and filtering weights to properly fuse the state determiner 132.
  • the state determination unit 132 repeatedly performs the process of estimating the three-dimensional angle of the mobile robot using the information collected from the gyro sensor 121 and filtering using the information collected from the acceleration sensor 122. It is also possible to improve the accuracy of the obtained three-dimensional angle information.
  • the state determination unit 132 may determine the posture, operation state, driving state, position recognition correction, etc. of the mobile robot using the three-dimensional angle information of the mobile robot.
  • the driving controller 133 may control the mobile robot based on the position estimated by the position recognition unit 131 and the state of the mobile robot determined by the state determination unit 132.
  • the driving controller 133 may determine that the mobile robot is in a state of being constrained to the slope when the obtained 3D angle of the mobile robot is continuously maintained at a specific angle.
  • the state determination unit 132 may restrict the cleaning robot to a place such as a fan or a high threshold. Can be estimated.
  • the preset angle ⁇ 1 may be set to about 8 degrees, and the preset time T1 may be set to about 0.5 seconds.
  • the preset angle ⁇ 1 or the preset time T1 may be set differently according to the type of the cleaning robot, the characteristics of the cleaning robot, the user's setting, the system environment, and the like.
  • the cleaning robot is taken as an example, it can be applied to all mobile robots that can be caught by a place such as a high threshold.
  • the driving controller 133 may perform an operation for avoiding confinement of the slope.
  • an operation for avoiding the restraint of the slope performed by the driving controller 133 may be preset, and a method of avoiding the slope restraint known in the art may be used.
  • the state determination unit 132 may determine that the mobile robot is in a state for overcoming an obstacle such as a threshold when the three-dimensional angle of the mobile robot changes abruptly or is greater than or equal to a preset angle ⁇ 2.
  • the cleaning robot may include a cleaning robot and a floor sensor that measures a distance between the cleaning robot and the floor.
  • the cleaning robot may move in the direction of travel. Recognizes the existence of a cliff in the tree and performs an evasion operation such as going backward or changing direction.
  • the predetermined distance L1 may be set to about 4 cm, and may vary depending on the appearance of the cleaning robot, the characteristics of the cleaning robot, and the performance of the cleaning robot. In addition, there is a problem that the predetermined distance L1 cannot be set too low because a part of the cleaning robot is raised in the process of the cleaning robot crossing the threshold.
  • the state determination unit 132 may detect obstacles such as thresholds when the 3D tilt of the previously obtained cleaning robot is greater than or equal to the preset angle ⁇ 2 even when the distance measured by the floor sensor is greater than or equal to the preset distance L1. It can be judged as a state for passing.
  • the preset angle ⁇ 2 may be set differently according to the appearance of the cleaning robot, the characteristics of the cleaning robot, the ability to overcome the threshold of the cleaning robot, and the characteristics of the cleaning space, and may be set to about 8 degrees.
  • the state determining unit 132 may determine that the cleaning robot is to pass over obstacles such as a threshold even when the three-dimensional angle of the mobile robot changes drastically.
  • the degree of rapid change may be preset, but may vary depending on the appearance of the cleaning robot, the characteristics of the cleaning robot, the ability to overcome the threshold of the cleaning robot, and the characteristics of the cleaning space.
  • the driving controller 133 ignores the information of the floor sensor for a while even if the value measured by the floor sensor exceeds a criterion determined as a cliff. It can be controlled so as not to perform and the cleaning robot can cross obstacles such as thresholds.
  • T2 can be set to about 0.5 seconds, but can be set differently depending on the appearance of the cleaning robot, the characteristics of the cleaning robot, the ability to overcome the threshold of the cleaning robot, the characteristics of the cleaning space.
  • the state determination unit 132 is a value of the floor sensor caused by the presence of the cliff using the three-dimensional angle information or whether the value of the floor sensor generated by the front of the mobile robot in the process of crossing the obstacle, such as the threshold. It can be distinguished, thereby determining the current posture or operation state of the mobile robot.
  • the driving controller 133 may perform an operation of avoiding a cliff or an operation of crossing an obstacle such as a threshold according to the estimation.
  • a specific method of the operation in which the driving controller 133 avoids the cliff a known technique may be used.
  • the driving controller 133 ignores the value measured by the floor sensor for a while (about 0.5 seconds to 1 second) and avoids the cliff. You can cross the threshold without performing.
  • the cliff refers to a place where damage may occur to the mobile robot when a mobile robot such as a cleaning robot falls, and a high staircase may also correspond to a cliff.
  • the state determination unit 132 has a high measurement value of the floor sensor due to the presence of a cliff in front of the state, or whether the measurement value of the floor sensor is high due to the inclination of the mobile robot itself while the mobile robot crosses an obstacle such as a threshold.
  • the moving control unit 133 can control the mobile robot according to the classification, the mobile robot can better cross the obstacles such as the threshold, the height of the obstacles such as the threshold can be higher. have.
  • the state determination unit 132 may determine that there is an error in the position recognition unit of the mobile robot when inclination is detected in the lateral direction while the mobile robot is traveling.
  • the location recognition unit recognizes the location of the mobile robot, and specifically, photographs the ceiling and analyzes the feature point from the captured image to recognize the location of the mobile robot.
  • the state determination unit 132 may determine that an error may exist in the position recognition of the mobile robot. have.
  • the cleaning robot may include a sensor such as a camera on the cleaning robot, and the position recognition unit of the cleaning robot cleans using the information analyzed by photographing the ceiling of the sensor such as the camera. Recognize the location of the robot.
  • the cleaning robot runs with one side wheel up on the edge of the carpet or the threshold, the cleaning robot itself is tilted.
  • a tilt occurs in the cleaning robot, an error occurs in a result of recognizing the location of the cleaning robot using information analyzed by photographing a ceiling of a sensor such as a camera existing on the cleaning robot.
  • FIG. 7 is a view for explaining a position recognition error generated when the mobile robot itself is tilted.
  • the state determination unit 132 determines that a problem may occur in the position recognition of the cleaning robot when the obtained three-dimensional tilt of the cleaning robot is inclined to one side or when the tilted state is longer than a predetermined time. can do.
  • the driving controller 133 may determine a position recognized by the position recognition unit of the cleaning robot using the three-dimensional tilt of the cleaning robot. You can correct it. In this case, the driving controller 133 may correct the position of the cleaning robot by using a trigonometric function.
  • the state determination unit 132 may determine various states of the mobile robot using the 3D angle information, and the driving control unit 133 may perform control appropriate to the state determined as described above.
  • the state determining unit 132 determines that the state needs to be avoided, and the driving controller 133 may control the mobile robot to perform the avoiding operation.
  • a mobile robot In addition, if a mobile robot generally runs in a plane, it is possible to recognize the position of five degrees of freedom in x, y, roll, pitch, and yaw. Position recognition with 6 degrees of freedom is not suitable for systems with limited computational complexity, such as embedded systems, due to the increased complexity of the position recognizer.
  • the mobile robot according to the preferred embodiment of the present invention can replace the roll and pitch information of the five degrees of freedom with the estimated angle information, and more accurate position recognition is possible.
  • the mobile robot according to the preferred embodiment of the present invention can accurately recognize the position even when the mobile robot is in an inclined state.
  • the lumbar spine may estimate the yaw angle by using previously obtained three-dimensional angle information.
  • the accuracy of the yaw angle output of the gyro sensor 121 is reduced when the mobile robot generates an error, a manipulation by a user such as reinserting the mop of the cleaning robot, or when the mobile robot is inclined.
  • the lumbar spine may estimate the yaw angle by using recently obtained three-dimensional angle information when the accuracy of the yaw angle output decreases. If the yaw estimator estimates the yaw angle using the recently acquired three-dimensional angle information, it helps to recognize the position more quickly and accurately when the mobile robot is re-operated, and generates and controls accurate information of various devices using the yaw angle information. It can help improve.
  • FIG. 8 is a view showing a state determination method of a mobile robot according to an embodiment of the present invention.
  • the state determination unit 132 may estimate the 3D angle of the mobile robot using the information collected by the gyro sensor 121 connected to the mobile robot (S810).
  • the state determination unit 132 may obtain 3D angle information of the mobile robot by filtering the estimated 3D angle using the information collected by the acceleration sensor 122 connected to the mobile robot (S820).
  • the state determination unit 132 may repeatedly perform at least two or more times (S810, S820) to estimate the three-dimensional angle to obtain the three-dimensional angle information to obtain more accurate three-dimensional angle information of the mobile robot. .
  • the state determination unit 132 may determine the state of the mobile robot by using the three-dimensional angle information of the previously obtained mobile robot (S830).
  • the state of the mobile robot may be a posture of the mobile robot, whether the position recognition correction of the mobile robot is necessary, a slope restraint state of the mobile robot, an operation state of the mobile robot, and a driving state of the mobile robot.
  • the driving controller 133 may control driving of the mobile robot based on the determined state of the mobile robot.
  • FIG. 9 is a diagram illustrating a detailed configuration of an IMU according to another embodiment of the present invention.
  • the IMU 120? according to another embodiment of the present invention further includes a correction unit 123 in the IMU 120 according to the embodiment of the present invention described with reference to FIG. 1. .
  • the correction unit 123 may correct a bias value of the acceleration sensor 122.
  • the correction unit 123 may be added, and thus the present invention may be used in various environments. For example, when the bias value of the acceleration sensor 122 set in advance is changed for various reasons such as temperature and operating time, the correction unit 123 may correct the bias value during the operation of the mobile robot. Accurate state determination and control of the mobile robot may be possible.
  • the bias value of the acceleration sensor 122 may be preset.
  • the bias value of the preset acceleration sensor 122 causes an error due to various reasons such as characteristics of the chip embedded in the sensor, temperature, operating time, and the like.
  • the magnitude of acceleration should be the value of the acceleration of gravity 1G. That is, if the x-axis acceleration is a x , the y-axis acceleration is a y , and the z-axis acceleration is a z , when the mobile robot is stopped, the acceleration magnitude A measured by the 3-axis acceleration sensor 120 is A is a value of the gravity acceleration (1G) should be 9.8m / s 2 , but due to the bias error of the acceleration sensor 120 may be different from the gravity acceleration (1G) value.
  • an error may occur in the previously obtained three-dimensional angle information, and a problem may occur in the control of a mobile robot such as a cleaning robot.
  • the correction unit 123 may correct the bias value of the acceleration sensor 122 even while the mobile robot operates. That is, the correction unit 123 may correct the bias value by distinguishing between when the mobile robot is moving and when it is not moving.
  • the output value of the acceleration sensor 122 outputs a value having a standard deviation but a constant average value.
  • the correction unit 123 applies this average value to the output of each axis of the gyro sensor 121.
  • the average value may mean an average of output values of the recent 1 second to 5 seconds of the acceleration sensor 122 while the mobile robot is moving straight on the plane. 1 second to 5 seconds may be changed according to the characteristics of the acceleration sensor 122, the type of the acceleration sensor 122, the user's setting, the setting environment of the mobile robot, and the like.
  • Each axis of the gyro sensor 121 has an x, y, z axis in the three-axis gyro sensor 121, so that the correction unit 123 outputs an average value to the x, y, z axis output of the gyro sensor 121.
  • the correction unit 123 performs a process of obtaining an average value when the latest angular velocity measured by the gyro sensor 121 is greater than or equal to a preset reference.
  • the correction unit 123 calculates the average value when the latest angular velocity measured by the gyro sensor 110 is greater than or equal to the preset reference Vw, the reason for re-determining whether or not there are many moving components in the output data is determined.
  • the correction unit 123 applies the average value to each axis output of the gyro sensor 121 only when the moving component of the output data is small.
  • the correction unit 123 applies the average value to each axis output of the gyro sensor 121 only when the moving component is small in order to improve the reliability of bias correction.
  • the predetermined reference Vw may be about 0.05 g, but may be changed due to various reasons such as the performance of the mobile robot, the purpose of the mobile robot, and the performance of the sensor.
  • the correction unit 123 may correct the average value of the x-axis and the average value of the y-axis among the average values of the respective axes by bias. In addition, the correction unit 123 may set the average value of the z-axis among the average value of each axis to the gravity acceleration (1G).
  • the gravity acceleration 1G may be different each time, but may be set to 9.8 m / s 2 .
  • the correction unit 123 may determine whether the mobile robot is stopped using the moving average of the gyro sensor 121, and the moving average of the acceleration sensor 122 may be used to correct the bias.
  • the correction unit 123 collects information for correcting the bias value of the acceleration sensor 122 when the mobile robot is not moving.
  • the compensator 123 may correct the bias value of the acceleration sensor 122 in a similar manner as when the mobile robot is moving.
  • a control that intentionally stops for about 0.5 seconds to 1 second while the mobile robot is in operation.
  • About 0.5 second to 1 second may vary depending on the type and purpose of the mobile robot, the performance of the mobile robot, the performance of the acceleration sensor 122, the characteristics of the acceleration sensor 122, the control algorithm of the mobile robot, and the like.
  • setting the control to stop intentionally while the mobile robot is in operation may be set to stop periodically or aperiodically depending on the operation time, or may be set to stop in a specific operation condition. This setting process will be described taking a cleaning robot among mobile robots as an example.
  • FIG. 10 is a diagram illustrating a case in which the cleaning robot is intentionally stopped while the robot is in operation.
  • the cleaning path of the cleaning robot for cleaning may be generally the same as the curved line a below.
  • the cleaning path of this curve may be set or controlled to generate a section b in a circle in which the cleaning robot changes direction, and stop the cleaning robot for a predetermined time in this section b.
  • the correction unit 123 may acquire the acceleration output value while the mobile robot is stopped. That is, the correction unit 123 calculates an average value only when the wheel of the mobile robot is stopped, there is no separate input from the user, and the angular velocity output of the gyro sensor 121 is equal to or less than the preset reference Vw.
  • the correction unit 123 may correct the average value of the x-axis and the average value of the y-axis among the calculated average values of each axis by bias. In addition, the correction unit 123 may set the average value of the z axis among the average values of each axis to the gravity acceleration 1G.
  • the correction unit 150 may correct both the average value of each axis calculated when the mobile robot moves and does not move.
  • the correction unit 123 may correct the bias by setting the weight of the average value calculated when the mobile robot does not move higher than the weight of the average value calculated when the mobile robot moves.
  • FIG. 11 is a diagram for describing a process of correcting a bias according to an embodiment of the present invention.
  • the correction unit 123 includes the average Avg and the standard deviation of the sensor measurement values for the last 1 second from the 3-axis gyro sensor 121 and the 3-axis acceleration sensor 122. Dev) can be obtained (S1110).
  • the correction unit 123 obtains the wheel encoder and the latest wheel speed command information of the mobile robot, obtains the wheel encoder, the recent wheel speed command, the average of the sensor measurement value (Avg), and the standard deviation of the sensor measurement value ( Dev) can determine whether the mobile robot moves (S1120).
  • the correction unit 123 may determine that the mobile robot is stopped when the encoder does not change and the standard deviation Dev is less than 0.1 degree / sec. In addition, the correction unit 123 may determine that the mobile robot is driving straight when the rotational component of the wheel encoder is 5 degrees / sec or less and the acceleration is not zero. In addition, the correction unit 123 may determine that the mobile robot is operating (M) without discriminating a specific motion except when it is determined that the mobile robot is stopped or when it is determined that the mobile robot is traveling straight. .
  • the state M in which the mobile robot is in operation refers to a state in which the mobile robot performs other operations such as rotation, not stop or driving straight. For example, the value of 1 second, 0.1degree / sec, 5degree / sec may change depending on various reasons such as the type of mobile robot, the system environment of the mobile robot, the purpose of the mobile robot, and the performance of the mobile robot.
  • the correction unit 123 may set the weights w differently depending on the stop M, the straight running, and the operating state M of the mobile robot determined as described above.
  • the correction unit 123 may set the weight w to 0 in the state M in which the mobile robot is operating (S1130). In addition, when the mobile robot is in a stationary state, the correction unit 123 may set the weight w to 0.5 (S1140). In addition, the correction unit 123 may set the weight w to 0.05 when the mobile robot is in a straight state (S1150).
  • the correction unit 123 may correct the acceleration bias value using the average, standard deviation, and preset weights of the obtained gyro sensor 121 and the acceleration sensor 122 measured values (S1160).
  • the correction unit 123 may correct the bias value by using Equation 6 below.
  • Equation 6 Bnew is a corrected bias value, and Bold is a bias value before correction.
  • w is the weight and Avg represents the average Avg of the sensor measurements.
  • correction unit 123 may reset the average value of the z-axis to the gravity acceleration 1G (S1170).
  • the obstacle detecting unit 140 may receive a stereo image from the wide-angle camera 110 and extract a predetermined number of horizontal lines in the stereo image.
  • the predetermined number is used at least two or more, preferably three.
  • the obstacle detecting unit 140 may perform dense stereo matching along the extracted horizontal line to obtain distance information to the obstacle as a result of the dense stereo matching.
  • FIG. 12 is a view for explaining an obstacle detection process according to an embodiment of the present invention.
  • the obstacle detecting unit 140 performs high density stereo matching based on the left and right stereo images as shown in FIGS. Can be calculated.
  • the image (c) of FIG. 8 expresses the calculated depth value in grayscale. 8C shows the line region L used for obstacle detection.
  • the present invention intends to extract the depth value only for the partial area.
  • the map generator 150 receives the current location information estimated by the location recognizer 130, reconstructs a pose graph based on the provided location information, and stores a previously stored key based on the reconstructed pose graph. You can update the frame set.
  • the DB 160 may store a set of key frames generated according to the movement of the mobile robot.
  • FIG. 13 is a view showing a method for recognizing the position of a mobile robot according to an embodiment of the present invention.
  • the apparatus for recognizing the position of the mobile robot according to the present invention receives a stereo image from a wide angle camera (S1310) and extracts a feature point from the received stereo image. And the extracted feature point can be continuously tracked in units of frames (S1320).
  • the location recognition device may remove the moving object in the stereo image (S1330).
  • the location recognition device compares the current frame with the last n-th frame and removes inconsistent features that can be determined even by the moving object.
  • the position recognizing apparatus performs a visual odometry based on the feature points being tracked to obtain the first odometry information as a result of the execution (S1340), and through the internal odometry based on the inertia information.
  • the second odometry information may be obtained (S1342).
  • the position recognizing apparatus selects one of the acquired first odometry information and the second odometry information (S1350), and uses the selected odometry information and posture information to provide state information. It can be predicted (S1360).
  • the location recognition apparatus selects the first odometry information if the first odometry information satisfies a preset condition, and selects the second odometry information if the first odometry information is not satisfied.
  • determining whether the predetermined condition is satisfied may mean determining whether the rate of change of the odometry information, for example, the location information is within a preset threshold.
  • the location recognizing apparatus searches for a preset number of neighboring key frames among the prestored key frame sets based on the predicted state information (S1370), and uses the searched preset number of neighboring key frames to determine the current location. It can be estimated (S1380).
  • the position can be estimated accurately.
  • the location recognizing apparatus may be applied to a cleaning robot and a service robot running autonomously.
  • a robot can autonomously drive in an indoor or outdoor environment, and encounters obstacles such as walls, railings, desks, and furniture while driving.
  • the driving path is determined by using the location of the obstacle.
  • the autonomous driving cleaning robot includes a stereo camera, in particular, a wide-angle stereo camera, as an image acquisition unit for acquiring an external image, and uses its location by using information about an external environment, in particular, an edge associated with the edge. It may be implemented to estimate the, determine the driving route and travel.
  • a self-driving cleaning robot based on SLAM (Simultaneous Localization And Map-Building)
  • SLAM Simultaneous Localization And Map-Building
  • it estimates its position in the constructed grid map, estimates the position of the obstacle, and uses the estimated position relationship to
  • the present embodiment can be used to determine a driving route for avoiding a collision of or to determine an optimal route.
  • the odometry information may be data used for estimating the change of position of the mobile robot over time.
  • the odometry information may be information obtained from wheels mounted on a mobile robot or rotary encoders in a legged joint. Using the odometry information, state information such as the traveling distance of the mobile robot and the number of revolutions of the wheel may be calculated. In addition, since the space in which the mobile robot is currently located can be grasped through the state information, it can be used to determine a key frame in image processing.
  • the method for location recognition according to the embodiment of the present invention described above may be implemented in the form of computer readable software, which may be executed in a processor mounted in an autonomous cleaning robot.
  • the present invention is not necessarily limited to these embodiments.
  • all of the components may be selectively operated in combination with one or more.
  • each or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a.
  • such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, and read and executed by a computer, thereby implementing embodiments of the present invention.
  • the storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 이동 로봇의 위치를 인식하기 위한 장치는 이동 로봇이 동작함에 따라 수직 방향과 수평 방향을 포함하는 관심 영역에 대한 한쌍의 스테레오 영상을 획득하는 두 개의 광각 카메라; 상기 이동 로봇의 관성 정보를 획득하는 IMU(Inertial Measurement Unit); 상기 스테레오 영상을 기반으로 산출된 제1 오도메트리 정보와 상기 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 위치 인식부; 및 추정된 상기 위치를 기반으로 상기 이동 로봇의 주행을 제어하는 주행 제어부를 포함한다.

Description

광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
본 발명은 이동 로봇의 주행 제어 방법에 관한 것으로서, 특히, 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법에 관한 것이다.
최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서는 이동하고 있는 공간에 대한 지도를 생성하면서 공간 상의 자신의 위치를 인식하는 것이 요구된다.
이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(dead reckoning)으로 주행하며, 상부에 설치된 카메라를 이용하여 영상을 분석하여 지도를 생성하고 이때 자이로스코프와 엔코더로부터의 주행 정보에 의한 오차가 발생하는 경우 카메라로부터 획득된 영상 정보를 활용하여 누적되는 오차를 보정한다.
그러나 지금까지 개발된 위치 인식 기반의 이동 로봇은 단안 카메라나 레이저 스캐너를 이용하여 2D 평면상의 움직임을 가정하여 개발되었다. 이러한 단안 카메라를 이용하는 경우 특징점까지의 거리를 알 수 없게 되므로 추측항법의 오차가 커지면 이에 따라 위치 인식 결과에 오차가 매우 많이 포함된다는 문제점이 있다.
또한, 기존의 방법들은 이동로봇이 주행하는 중에 기울어진 상태로 구속되는 경우, 이동 로봇이 높은 문턱 등을 통과하는 경우, 단안 카메라를 이용하여 슬램을 하면서 문턱의 에지나 카페트의 에지 위를 움직이는 경우 등의 다양한 경우에서 이동 로봇의 자세를 정확하게 추정하지 못하여 제어가 원할하지 못하다는 문제점이 있다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 측정된 관성 정보를 이용하여 3차원 각도 정보를 추정하고 그 추정된 3차원 각도 정보를 이용하여 이동 로봇의 자세와 동작 상태를 판단하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 측정된 관성 정보를 이용하여 3차원 각도 정보를 추정하고 그 추정된 3차원 각도 정보를 이용하여 이동 로봇의 자세와 동작 상태를 판단하도록 하는 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이를 통해, 본 발명에 따른 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하도록 함으로써, 이동 로봇들이 기울어지거나 미끄러지는 것에 의한 위치 오차를 줄일 수 있는 효과가 있다.
또한, 본 발명은 이동 로봇들이 기울어지거나 미끄러지는 것에 의한 위치 오차에 취약했던 문제를 해결하기 때문에 안정적인 위치 인식이 가능할 수 있는 효과가 있다.
또한, 본 발명은 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 함으로써, 고가의 거리 측정을 위한 전용 센서를 부착하지 않더라도 장애물에 대한 거리 정보를 획득할 수 있는 효과가 있다.
또한, 본 발명은 측정된 관성 정보를 이용하여 3차원 각도 정보를 추정하고 그 추정된 3차원 각도 정보를 이용하여 이동 로봇의 자세와 동작 상태를 판단하도록 함으로써, 이동 로봇의 기울어진 정보를 3차원으로 정확하게 추정할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 주행을 제어하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 광각 카메라의 관심 영역을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 제어부의 상세한 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 공간 인식 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 점의 불확실성을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 에지에 대한 3차원 정보를 보여주는 도면이다.
도 7은 이동 로봇의 자체가 기울어진 경우 발생되는 위치 인식 오차를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 상태 판단 방법을 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 IMU의 상세한 구성을 나타내는 도면이다.
도 10은 청소 로봇이 동작하는 중 의도적으로 정지하도록 설정하는 경우를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 바이어스를 보정하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 장애물 감지 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 방법을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 광각 카메라가 탑재된 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
본 발명에서는 스테레오 영상을 기반으로 하는 비주얼 오도메트리(visual odometry)를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리(internal odometry)를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하며, 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 하는 새로운 위치 인식 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 주행을 제어하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 이동 로봇의 위치를 인식하기 위한 장치는 카메라(110), IMU(Inertial Measurement Unit)(120), 제어부(130), 장애물 감지부(140), 지도 작성부(150), DB(Database)(160) 등을 포함할 수 있다.
카메라(110)는 한쌍의 스테레오 영상 즉, 좌측 영상과 우측 영상을 획득하기 위해 2개가 구비될 수 있다. 여기서 2개의 카메라라 함은 2개의 서로 다른 렌즈를 이용하여 2개의 시각에서 영상을 획득하는 것을 의미하는 것으로, 하나의 영상 획득 장치에 2개의 렌즈를 구비하여 2개의 영상을 획득하는 경우를 포함함은 물론이다. 이때, 카메라(110)는 기 설정된 관심 영역을 갖도록 장착될 수 있다. 여기서 관심 영역이란 이동 로봇에 구비된 카메라(110)를 이용하여 촬영하고자 하는 영역이 될 수 있다.
또한 여기서 카메라(110)는 바람직하게는 광각 카메라가 될 수 있다. 광각 카메라는 일반 카메라 렌즈와 비교하였을 때 보다 넓은 화각을 가지는 광각 렌즈를 이용하여 촬영하는 카메라이다. 이동 로봇에서는 보다 넓은 주변 영상을 획득하기 위하여 광각 카메라를 이용하는 것이 바람직하다. 예를 들면 광각 카메라는 어안 렌즈를 이용한 카메라가 될 수 있다. 그리고 여기서 광각 카메라는 예를 들면 60도 내지 270도의 화각을 가지는 광각 렌즈를 이용할 수 있다. 본 발명에의 광각 카메라는 위에서 일예로 든 화각의 범위에 한정되지 아니하고 다양한 범위의 화각을 가지는 렌즈를 이용한 카메라가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 광각 카메라의 관심 영역을 보여주는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 두 개의 카메라(110)는 기존의 이동 로봇에 장착된 카메라처럼 실내의 천정이나 전방만을 바라보지 않고, 광각 렌즈를 이용하여 이동 로봇(10)에서 천정과 전방 모두를 바라보도록 장착하여 천정과 전방을 모두 관심 영역(ROI)으로 가질 수 있다.
예컨대, 카메라는 광각 렌즈를 이용하여 수평 방향과 수직 방향의 영역을 모두 촬영할 수 있다.
본 발명은 이렇게 장착된 카메라(110)를 이용하여 천정과 전방을 모두 관심 영역으로 갖게 됨으로써, 특징점 확보가 용이해질 뿐 아니라 특징점을 찾기가 어려운 지점에서도 위치 인식이 가능하고, 전방에 대한 장애물 인식도 가능하게 된다.
IMU(120)는 이동 로봇의 관성 정보 예컨대, 위치, 자세 등의 정보를 측정할 수 있다. 이러한 IMU(120)는 예컨대, 자이로 센서(121), 가속도 센서(122)를 포함할 수 있다.
자이로 센서(121)는 이동로봇의 각속도 정보를 수집한다.
본 발명의 바람직한 실시예에 따른 이동 로봇은 3차원 각도 정보를 이용하여 이동로봇의 자세나 동작 상태를 구분하고, 구분된 자세나 동작 상태를 이용하여 이동로봇을 제어하는바, 자이로 센서(121)는 3축 센서인 것이 바람직하다.
즉, 자이로 센서(121)는 x축, y축, z축의 3축의 각속도 정보를 수집할 수 있다.
3축 자이로 센서(121)에서 감지하는 x축, y축 및 z축의 3축의 각속도를 각각 롤(Roll), 피치(Pitch), 요(Yaw)라고 한다.
구체적으로 이동로봇이 x축을 중심으로 회전하는 것을 롤(Roll), y축을 중심으로 회전하는 것을 피치(Pitch), z축을 중심으로 회전하는 것을 요(Yaw)라고 한다.
본 발명에서 획득하고자 하는 3차원 각도 정보는 롤, 피치, 요를 의미한다.
가속도 센서(122)는 중력가속도 및 이동로봇의 이동에 의한 가속도를 측정한다.
가속도 센서(122)는 자이로 센서(121)와 마찬가지로 3축 센서인 것이 바람직하다.
즉, 가속도 센서(122)는 x축, y축 및 z축의 3축에 관한 가속도 정보를 수집할 수 있다.
제어부(130)는 광각 카메라(110)로부터 입력 받은 스테레오 영상과 IMU(120)으로부터 입력 받은 관성 정보를 기반으로 위치, 자세, 상태를 추정하고 그 추정된 위치, 자세, 상태를 기반으로 이동 로봇의 주행을 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 제어부의 상세한 구성을 나타내는 도면이다.
도 3에 도시한 바와 같이, 본 발명에 따른 제어부(130)는 위치를 인식하는 위치 인식부(131), 자세 및 상태를 판단하는 상태 판단부(132), 주행을 제어하는 주행 제어부(133)를 포함할 수 있다. 위치 인식부(131)는 광각 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상을 기반으로 일정 거리를 이동할 때마다 주어진 공간을 인식할 수 있다.
도 4는 본 발명의 일 실시예에 따른 공간 인식 과정을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 위치 인식부(131)는 일정 거리를 이동할 때마다 또는 새로운 키 프레임을 생성할 때마다 주어진 공간을 인식하여 데이터베이스화할 수 있다.
위치 인식부(131)는 입력 받은 스테레오 영상을 기 설정된 크기로 축소하여 블러링(blurring)할 수 있다. 여기서, 기 설정된 크기는 1/8 크기인 것이 바람직하다. 도 4를 참조하면 위치 인식부(131)는 입력 받은 스테레오 영상 (a)를 축소하고 블러링한 영상 (b)를 생성할 수 있다.
위치 인식부(131)는 블러링된 스테레오 영상을 브리프(BRIEF, Binary Robust Independent Elementary Features) 바이너리 서술자(brief binary descriptor)를 이용하여 인코딩하여 그 인코딩한 결과로 이진 데이터를 생성할 수 있다. 여기서, 이진 데이터는 32바이트(Byte) 크기로 생성될 수 있다. 여기서 브리프 바이너리 서술자는 "{BRIEF}: Computing a Local Binary Descriptor Very Fast, M. Calonder, V. Lepetit, M. Ozuysal, T. Trzcinski, C. Strecha, and P. Fua IEEE Transactions on Pattern Analysis and Machine Intelligence 2012"에서 소개하고 있는 방식을 이용하여 인코딩할 수 있다. 여기서, 이진 데이터는 예를 들면 32바이트(Byte) 크기로 생성될 수 있다. 도 4의 (c)는 이와 같은 브리프 바이너리 서술자를 나타내는 참고도이다.
위치 인식부(131)는 이렇게 생성된 이진 데이터와 기 저장된 키 프레임 내 이동 로봇의 절대 위치를 나타내는 데이터와 비교하여 그 비교한 결과로 기 설정된 범위 이내에 있는 경우 그 절대 위치로 현재의 위치를 인식할 수 있다.
이렇게 본 발명에서 공간 인식을 위해 브리프 바이너리 서술자를 이용하는 이유는 기존에 사용하던 SIFT, SURF와 같은 서술자에 비해 연산 속도가 매우 빠르기 때문이다.
위치 인식부(131)는 광각 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 제1 오도메트리 정보를 획득하고, IMU(120)으로부터 관성 정보를 입력 받아 입력 받은 관성 정보를 기반으로 하는 내부 오도메트리를 통해 제2 오도메트리 정보를 획득할 수 있다.
이때, 위치 인식부(131)는 스테레오 영상으로부터 특징점을 추출하여 추출된 특징점을 추적하고 그 추적하는 특징점을 이용하여 오도메트리 정보를 획득할 수 있다.
일반적으로 전처리 과정에서 추출되는 특징점은 코너이다. 그러나 예컨대, 복도나 넓은 사무실 등의 텍스쳐가 없는 영역에서는 충분한 양의 특징점을 구하는 것이 불가능하다.
위치 인식부(131)는 이를 해결하기 위해 에지에 대한 스테레오 매칭을 수행한다. 즉, 위치 인식부(131)는 스테레오 영상으로부터 에지를 추출하고, 추출된 에지에 대해 sparse 스테레오 매칭(sparse stereo matching)을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 3차원 점의 불확실성을 설명하기 위한 도면이다.
도 5에 도시한 바와 같이, 위치 인식부(131)는 수행한 결과로 구한 깊이 값에 따라 불확실성(uncertainty) σ를 설정하고 DB에 저장할 수 있다. 광각 카메라의 경우 초점 길이(focal length)가 매우 짧아 해상도가 낮아져서 구한 깊이 값의 신뢰도가 떨어지기 때문에 이후에 업데이트를 수행한다.
두 개의 광각 카메라를 이용하여 구한 3차원점의 불확실성은 다음의 [수학식 1]과 같다.
[수학식 1]
Figure PCTKR2015006157-appb-I000001
여기서,
Figure PCTKR2015006157-appb-I000002
는 불확실성 공분산 타원체(uncertainty covariance ellipsoid)를 나타내고, b 는 카메라 사이의 거리를 나타내며, x, y, z는 좌영상 카메라의 좌표계, x', y', z'는 우영상 카메라의 좌표계를 나타내고, (c, r)와 (c', r')는 좌영상과 우영상에서 서로 매칭하는 픽셀의 좌표를 나타내고, f와 f'는 각각 좌영상 카메라와 우영상 카메라의 초점 거리를 나타내며, σr, σc는 특징점을 추출할 때의 상기 불확실성을 좌표계의 각 축으로 표현한 것이며, r0, c0는 카메라의 광축을 카메라 좌표계로 표현한 것이다. 그리고, d는 특징점이 좌측과 우측에 투영되었을 때 그 차이값으로 일반적으로는 시차(disparity)라고 한다.
이동 로봇이 일정 거리를 이동하였다고 판단되는 시점에서 키 프레임에 저장된 각 픽셀들을 현재의 영상에 투영시켜 가장 비슷한 픽셀을 찾아 깊이 값을 업데이트한다. 이러한 업데이트는 일반적인 베이시안 룰을 적용하여 수행할 수 있다.
이때, 이동 로봇이 동작하는 중에는 다양한 변수 특히, 움직이는 장애물이나 가려짐에 의해 잘못된 정보들이 들어오게 되고 이를 기반으로 구한 깊이 값 중에는 이상점(outlier)이 존재한다.
이러한 문제를 해결하기 위해, 구한 깊이 값이 1Σ 이내이면 변수 no_success를 1증가시키고, 구한 깊이 값이 1Σ보다 크면, 변수 no_failure를 1 증가시킨 후 신뢰도 no_success/(no_success+no_failure)가 특정 수치 이상 큰 경우에만 위치 인식에 사용한다.
이렇게 깊이 값을 업데이트하는데 사용되는 베이시안 룰은 다음의 [수학식 2]와 같다.
[수학식 2]
Figure PCTKR2015006157-appb-I000003
여기서는 깊이 값 z에 대한 업데이트 과정을 설명하고 있지만, x와 y 값은 z에 따라 변화하기 때문에 x, y, z가 모두 업데이트 되어 위치 파악이 가능하고 이렇게 업데이트된 x, y, z를 이용하여 역으로 해당 카메라의 위치 파악도 가능하게 된다.
도 6은 본 발명의 일 실시예에 따른 에지에 대한 3차원 정보를 보여주는 도면이다. 도 6의 (a)는 좌영상 카메라에 투영된 깊이 값을 나타내는 영상이고, (b)는 우영상 카메라에 투영된 깊이 값을 나타내는 영상이고, (c)는 업데이트 과정을 거쳐 획득된 깊이 값을 나타내는 영상이고, (d)는 매칭점 및 깊이 값에 대한 투영을 나타내는 영상이다.
도 6에 도시한 바와 같이, 앞에서 설명한 깊이 값에 대한 업데이트를 반복적으로 수행하게 되면 각 에지에 대한 3차원 정보를 지속적으로 구할 수 있음을 볼 수 있다.
또한, IMU의 정보는 카메라로 환경을 인지하기 어려운 상황에서 매우 중요하다. 그러나 저가형 IMU들은 모두 바이어스(bias)가 심하게 변하거나 추정하기가 매우 어렵다. 이를 해결하기 위한 방법은 로봇을 잠시 멈추고 평균을 취하여 바이어스를 구하는 것인데 이 경우에는 사용자 입자에서 이동 로봇이 지능적으로 보이지 않을 뿐만 아니라 작업 속도도 떨어지게 되는 단점이 있다.
위치 인식부(131)는 이를 해결하기 위해 이동 중에도 바이어스를 업데이트한다.
θg는 자이로 센서를 통해 구한 각속도이고, θc는 광각 스테레오 비전을 통해 구한 각속도라고 가정한다. 이동 로봇의 주행 중에는 바이어스 등에 의해서 둘 사이에 오차가 발생하게 된다. 이 오차 θe는 다음의 [수학식 3]과 같이 정의할 수 있다.
[수학식 3]
θe = θg - θc
이때, θe는 바이어스가 될 수 있고, 빠른 회전이나 외란이 발생하는 경우에는 다음의 [수학식 4]와 같이 베이시안 룰을 적용하여 바이어스를 업데이트한다.
[수학식 4]
If, |θ|<thresholdmoving, μn= θe, σ2=1deg/sec×0.1deg/sec
이동 로봇이 이동 중 멈출 수 있는 시점에는 다음의 [수학식 5]와 같이 업데이트한다.
[수학식 5]
If, |θ|<thresholdstop, μn= θe, σ2=0.1deg/sec×0.1deg/sec
이러한 업데이트 과정을 통해 바이어스는 실시간으로 보정되기 때문에 순간적으로 카메라를 사용할 수 없는 시점이 되더라도 항상 최적의 바이어스를 이용하여 IMU를 이용한 오도메트리 정보가 일정 수준 이상의 정확도를 유지할 수 있게 된다.
위치 인식부(131)는 제1 오도메트리 정보와 제2 오도메트리 정보 중 하나의 오도메트리 정보를 선택하여 선택된 오도메트리 정보를 기반으로 현재의 상태 정보 예컨대, 자세, 위치 등을 예측할 수 있다.
위치 인식부(131)는 예측된 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 기 설정된 개수의 이웃하는 키 프레임을 이용하여 현재의 위치를 추정할 수 있다. 여기서, 키 프레임은 주기적으로 측정된 이동 로봇의 상태 정보를 포함할 수 있다.
상태 판단부(132)는 자이로 센서(121)가 수집한 3축의 각속도 정보를 이용하여 이동로봇의 3차원 각도 정보를 추정할 수 있다.
예를 들면, 상태 판단부(132)는 자이로 센서(121)에서 획득하는 x축 각속도, y축 각속도, 및 z축 각속도를 적분하여 그 적분한 결과로 이동로봇의 3차원 각도 정보를 추정한다.
그러나 상태 판단부(132)가 자이로 센서(121)에서 수집된 정보를 이용하여 추정된 3차원 각도 정보는 많은 양의 노이즈(noise)와 다양항 오차 성분을 가지고 있다. 즉, 자이로 센서(121)의 드리프트로 인하여 추정한 3차원 각도 정보는 정확하지 않을 가능성이 높을 수 있다.
따라서, 상태 판단부(132)는 가속도 센서(122)에서 수집된 3축의 가속도 정보를 이용하여 추정된 3차원 각도 정보 중에서 이동 로봇에 적용 가능한 3차원 각도로 필터링한다.
구체적으로, 가속도 센서(122)에서 수집된 가속도 정보는 일반적으로 중력 가속도가 이동에 의한 가속도에 비하여 훨씬 크기 때문에 가속도 센서(122)의 출력을 이용하여 구한 가속도 방향은 중력 방향이 될 수 있다. 즉, 가속도 센서(122)에서 수집된 정보를 이용하면 각도를 용이하게 추정할 수 있다.
그러나 가속도 센서(122)에서 수집된 정보를 이용하여 각도를 추정하는 것은 이동 로봇의 모션에 의한 노이즈가 심하거나 충돌 등의 외력이 있는 경우에는 순간적으로 중력 가속도 이상의 충격이 전해지므로 이를 이용하여 각도를 추정하는 것이 불가능할 수 있다.
따라서 상태 판단부(132)는 자이로 센서(121)에서 수집된 각속도 정보를 이용하여 추정된 이동로봇의 3차원 각도 정보를 가속도 센서(122)에서 수집된 가속도 정보를 이용하여 보정할 수 있다.
구체적으로, 상태 판단부(132)는 자이로 센서(121)에서 수집된 정보를 이용하여 추정된 3차원 각도 정보의 비정확성의 원인이 되는 드리프트 문제를 이동 로봇이 정지해 있거나 모션이 일정할 때의 가속도 센서(122)값을 이용하여 보정할 수 있다.
또한, 상태 판단부(132)는 가속도 센서(122)의 정보에 노이즈가 많은 순간 동안에는 자이로 센서(121)의 출력을 적분하여 그 적분한 결과로 3차원 각도 정보를 획득할 수 있다.
즉, 상태 판단부(132)는 3축의 자이로 센서(121) 및 3축의 가속도 센서(122)에서 수집된 정보를 적절히 융합하여 x축, y축 및 z축으로의 각도를 획득할 수 있다. 상태 판단부(132)가 자이로 센서(121) 및 가속도 센서(122)에서 수집된 정보를 적절히 융합하는 것은 어떠한 경우에 어떠한 센서의 가중치를 얼마로 설정할 것인가를 미리 설정할 수 있다. 상태 판단부(132)가 적절히 융합하기 위하여 가중치를 설정하여 필터링하는 과정에서 칼만필터(Kalman Filter)를 이용할 수 있다.
또한, 상태 판단부(132)는 자이로 센서(121)에서 수집된 정보를 이용하여 이동 로봇의 3차원 각도를 추정하고 가속도 센서(122)에서 수집된 정보를 이용하여 필터링하는 과정을 반복적으로 수행함으로써 획득하는 3차원 각도 정보의 정확도를 향상시킬 수도 있다.
상태 판단부(132)는 기 획득한 이동 로봇의 3차원 각도 정보를 이용하여 이동 로봇의 자세, 동작 상태, 주행 상태, 위치인식 보정 필요여부 등을 판단할 수 있다.
주행 제어부(133)는 위치 인식부(131)로부터 추정된 위치와 상태 판단부(132)로부터 판단된 이동 로봇의 상태에 기반하여 이동 로봇을 제어할 수 있다.
그 일예로, 주행 제어부(133)는 획득한 이동로봇의 3차원 각도가 특정 각도로 지속적으로 유지되는 경우 이동로봇이 슬로프에 구속되어 있는 상태인 것으로 판단할 수 있다.
이동 로봇 중 청소 로봇을 예로 들어 설명하면, 청소 로봇이 주행하는 과정에서 선풍기나 높은 문턱과 같은 장소에 걸리게 되면 청소 로봇의 바퀴가 헛돌게 된다. 바퀴가 헛돌게 되는 경우, 청소 로봇은 자신의 위치를 매우 쉽게 잃어버릴 수 있다. 선풍기나 높은 문턱과 같은 장소에 청소 로봇이 걸리면 기 획득한 청소 로봇의 3차원 각도가 평소 주행 상태 보다 높게 나올 것이다. 상태 판단부(132)는 기 획득한 청소 로봇의 3차원 각도가 기 설정된 각도(θ1) 이상이고 이를 기 설정된 시간(T1) 이상 지속되는 경우라면, 선풍기나 높은 문턱과 같은 장소에 청소 로봇이 구속된 것으로 추정할 수 있다. 기 설정된 각도(θ1)는 8도 정도로 설정될 수 있으며, 기 설정된 시간(T1)은 0.5초 정도로 설정될 수 있다. 기 설정된 각도(θ1)나 기 설정된 시간(T1)은 청소 로봇의 종류, 청소 로봇의 특성, 사용자의 설정, 시스템 환경 등에 따라서 상이하게 설정될 수 있다. 또한, 청소 로봇을 예로 들고 있으나, 높은 문턱과 같은 장소에 걸려서 구속될 수 있는 모든 이동 로봇에 적용될 수 있다.
주행 제어부(133)는 이동 로봇이 슬로프에 구속되어 있는 상태인 것으로 추정된 경우, 슬로프의 구속을 회피하기 위한 동작을 수행할 수 있다. 이때, 주행 제어부(133)가 수행하는 슬로프의 구속을 회피하기 위한 동작은 기 설정될 수 있으며, 기존에 공지된 슬로프 구속을 회피하는 방법을 이용할 수도 있다.
또한, 상태 판단부(132)는 이동로봇의 3차원 각도가 급격하게 변화하거나 기 설정된 각도(θ2) 이상인 경우 이동 로봇이 문턱 등의 장애물을 넘기 위한 상태인 것으로 판단할 수 있다.
청소 로봇을 예로 들어 설명하면, 청소 로봇은 청소 로봇과 바닥까지의 거리를 측정하는 바닥 센서를 구비하는 경우가 많으며, 바닥 센서에서 측정된 거리가 기 설정된 거리(L1) 이상인 경우 청소 로봇은 진행 방향에 낭떠러지가 존재하는 것으로 인식하여 뒤로 가거나 방향을 전환하는 등의 회피 동작을 수행한다. 기 설정된 거리(L1)는 4cm 정도로 설정될 수 있는데, 청소 로봇의 외형, 청소 로봇의 특성, 청소 로봇의 성능 등에 따라서 상이할 수 있다. 또한, 기 설정된 거리(L1)은 청소 로봇이 문턱 등을 넘기 위한 과정에서 청소 로봇의 일부가 들어 올려지는 경우가 발생하게 되므로 너무 낮게 설정할 수 없다는 문제가 존재한다.
상태 판단부(132)는 바닥 센서에서 측정된 거리가 기 설정된 거리(L1) 이상인 경우라도, 기 획득된 청소 로봇의 3차원 기울기가 기 설정된 각도(θ2) 이상인 경우 청소 로봇이 문턱 등의 장애물을 넘기 위한 상태로 판단할 수 있다.
즉, 청소로봇의 진행 방향의 전방이 낭떠러지가 아니라 청소 로봇이 문턱 등의 장애물을 넘기 위하여 전방이 들어 올려짐으로 인하여 바닥 센서에서 측정된 값이 증가된 것으로 보아 상태 판단부(132)는 청소 로봇이 문턱 등의 장애물을 넘기 위한 상태로 추정할 수 있다. 기 설정된 각도(θ2)는 청소로봇의 외형, 청소로봇의 특성, 청소로봇의 문턱 극복 능력, 청소 공간의 특성 등에 따라서 상이하게 설정될 수 있으며, 대략 8도 정도로 설정될 수 있다.
마찬가지로 상태 판단부(132)는 이동 로봇의 3차원 각도가 급격하게 변화하는 경우에도 청소 로봇이 문턱 등의 장애물을 넘기 위한 상태로 판단할 수 있다. 이러한 급격하게 변화하는 정도는 기 설정될 수 있으나, 청소 로봇의 외형, 청소 로봇의 특성, 청소 로봇의 문턱 극복 능력, 청소 공간의 특성 등에 따라 상이할 수 있다.
주행 제어부(133)는 청소 로봇이 문턱 등의 장애물을 넘기 위한 상태로 구분된 경우, 바닥 센서에서 측정된 값이 낭떠러지로 판단하는 기준을 초과하더라도 잠시 동안 바닥 센서의 정보를 무시하여 낭떠러지 회피 동작을 수행하지 않도록 하고 청소 로봇이 문턱 등의 장애물을 넘을 수 있도록 제어할 수 있다. 잠시 동안(T2)은 0.5초 정도로 설정할 수 있으나 청소 로봇의 외형, 청소로봇의 특성, 청소로봇의 문턱 극복 능력, 청소 공간의 특성 등에 따라 상이하게 설정할 수 있다.
즉, 상태 판단부(132)는 3차원 각도 정보를 이용하여 낭떠러지의 존재로 인한 바닥 센서의 값인지 문턱 등의 장애물을 넘기 위한 과정에서 이동로봇의 전방이 들어 올려짐으로 인하여 발생한 바닥 센서의 값인지를 구분할 수 있고, 이에 따라 현재 이동로봇의 자세나 동작 상태를 판단할 수 있다.
주행 제어부(133)는 추정된 바에 따라서 낭떠러지를 회피하는 동작을 수행하거나, 문턱 등의 장애물을 넘기 위한 제어를 수행할 수 있다. 주행 제어부(133)가 낭떠러지를 회피하는 동작의 구체적인 방법은 기존의 공지된 기술을 이용할 수 있다.
또한, 앞서 설명한 바와 같이 주행 제어부(133)는 이동 로봇이 문턱 등의 장애물을 넘기 위한 상태로 판단되면, 바닥 센서에서 측정된 값을 잠시 동안(약 0.5초 내지 1초 정도) 무시하여 낭떠러지 회피 동작을 수행하지 않고 문턱을 넘도록 할 수 있다.
여기서, 낭떠러지라 함은 청소로봇 등의 이동 로봇이 떨어질 경우, 이동 로봇에 손상이 발생할 수 있는 곳을 말하며, 높은 계단 등도 낭떠러지에 해당할 수 있다.
상태 판단부(132)가 전방에 낭떠러지의 존재로 인하여 바닥 센서의 측정값이 높은 것인지 이동 로봇이 문턱 등의 장애물을 넘는 과정에서 이동 로봇의 자체가 기울어짐으로 인하여 바닥 센서의 측정값이 높은 것인지를 구분하고 그 구분에 따라 주행 제어부(133)가 이동 로봇을 제어할 수 있음으로 인하여, 이동 로봇이 문턱 등의 장애물을 보다 잘 넘을 수 있으며, 넘을 수 있는 문턱 등의 장애물의 높이도 보다 높아질 수 있다.
또한, 상태 판단부(132)는 이동 로봇이 주행하고 있는 중에 측 방향으로 기울어짐이 발견되는 경우 이동 로봇의 위치 인식부에 오차가 있는 것으로 판단할 수도 있다. 위치 인식부는 이동 로봇의 위치를 인식하며, 구체적으로 천장을 촬영하여 그 촬영한 영상으로부터 특징점을 분석하여 이동 로봇의 위치를 인식할 수 있다.
구체적으로, 이동 로봇이 주행하고 있는 중에 기 획득한 이동로봇의 3차원 각도가 어느 한 축으로 기울어져 있는 경우 상태 판단부(132)는 이동로봇의 위치 인식에 오차가 존재할 수 있는 것으로 판단할 수 있다.
이동 로봇 중 청소 로봇을 예로 들어 설명하면, 청소 로봇은 청소 로봇 상부에 카메라 등의 센서가 존재할 수 있고, 청소 로봇의 위치 인식부는 이러한 카메라 등의 센서가 천장을 촬영하여 분석한 정보를 이용하여 청소 로봇의 위치를 인식할 수 있다.
그러나 청소 로봇이 카페트나 문턱의 에지(Edge)에 한 측 바퀴가 올라가 있는 상태로 주행하는 경우, 청소 로봇의 자체는 기울어 진다. 이러한 청소로봇에 기울기가 발생하는 경우 청소로봇 상부에 존재하는 카메라 등의 센서가 천장을 촬영하여 분석한 정보를 이용하여 청소 로봇의 위치를 인식한 결과에는 오차가 발생한다.
도 7은 이동 로봇의 자체가 기울어진 경우 발생되는 위치 인식 오차를 설명하기 위한 도면이다.
도 7에 도시한 바와 같이, 청소 로봇 자체에 기울기가 발생될 때 청소 로봇 상부에 있는 카메라는 수직한 방향으로 천장을 촬영하는 것이 아니라 비스듬한 방향으로 천장을 촬영함으로 인하여 큰 오차가 발생할 수 있다. 이러한 오차는 천장의 높이가 높을수록 더 커질 수 있다. 즉, 청소 로봇이 기울어지지 않고 수평한 경우 카메라가 인식하는 천장의 위치는 A1이고, A1지점을 이용하여 청소로봇의 위치를 인식할 수 있다. 그러나, 청소로봇이 θ3만큼 기울어진 경우에는 청소로봇에 장착된 카메라도 기울어지므로 A2 지점을 인식할 수 있다. 위치 인식부가 A2 지점을 이용하여 청소 로봇의 위치를 인식하면 오차가 발생할 수 있다. 이를 θ3를 이용하여 보정할 수 있고, θ3는 본 발명의 실시예에 따른 상태 판단부(132)가 획득할 수 있다.
따라서, 상태 판단부(132)는 기 획득한 청소로봇의 3차원 기울기가 어느 한 측으로 기울어진 경우, 또는 기울어진 상태가 소정의 시간 이상인 경우에는 청소 로봇의 위치 인식에 문제가 발생할 수 있는 것으로 판단할 수 있다.
상태 판단부(132)가 청소 로봇의 위치 인식에 문제가 발생할 수 있는 것으로 판단하면, 주행 제어부(133)는 기 획득한 청소로봇의 3차원 기울기를 이용하여 청소로봇의 위치 인식부가 인식한 위치를 보정할 수 있다. 이때, 주행 제어부(133)가 청소로봇의 위치를 보정하는 방법은 삼각함수를 이용하여 보정할 수 있다.
상태 판단부(132)는 앞서 언급한 상황 외에도 3차원 각도 정보를 이용하여 이동 로봇의 다양한 상태를 판단할 수 있으며, 주행 제어부(133)는 이렇게 판단한 상태에 적합한 제어를 수행할 수 있다.
예를 들어, 상태 판단부(132)는 3차원 각도가 일정 시간 이상으로 뒤틀어진 경우 회피가 필요한 상태로 판단되면, 주행 제어부(133)는 회피 동작을 수행하도록 이동 로봇을 제어할 수 있다.
또한, 일반적으로 평면에서 주행하는 이동 로봇이라면, x, y, 롤(Roll), 피치(Pitch), 요(yaw)의 5 자유도면 위치 인식이 가능하다. 6 자유도의 위치 인식은 위치인식기의 복잡도가 높아져 임베디드 시스템과 같이 그 계산량의 한계를 가지는 시스템에는 적합하지 않다. 본 발명의 바람직한 실시예에 따른 이동 로봇은 5 자유도 중 롤과 피치 정보를 추정된 각도 정보로 대치할 수 있으며 보다 정확한 위치 인식이 가능하다. 또한, 본 발명의 바람직한 실시예에 따른 이동 로봇은 이동 로봇이 기울어진 상태이더라도 정확한 위치 인식이 가능하다.
요추정부(도시되지 않음)는 자이로 센서(121)의 요각(Yaw Angle) 출력의 정확도가 감소하는 경우 기 획득한 3차원 각도 정보를 이용하여 요각을 추정할 수 있다.
구체적으로, 이동 로봇이 에러(error)가 발생하거나 청소 로봇의 물걸레 재 삽입 등의 사용자에 의한 조작이 있거나 이동 로봇이 기울어진 상태로 주행하는 경우 자이로 센서(121)의 요각 출력의 정확도가 감소한다. 요추정부는 요각 출력의 정확도가 감소하는 경우, 최근에 획득한 3차원 각도 정보를 이용하여 요각을 추정할 수 있다. 요 추정부가 최근에 획득한 3차원 각도 정보를 이용하여 요각을 추정하면, 이동 로봇의 재동작시 위치를 보다 빠르고 정확하게 인지할 수 있는데 도움이 되며, 요각 정보를 이용하는 다양한 장치의 정확한 정보 생성 및 제어 향상에 도움이 될 수 있다.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 상태 판단 방법을 나타내는 도면이다.
도 8에 도시한 바와 같이, 본 발명에 따른 상태 판단부(132)가 이동 로봇에 연결된 자이로 센서(121)에서 수집된 정보를 이용하여 이동 로봇의 3차원 각도를 추정할 수 있다(S810).
다음으로, 상태 판단부(132)는 이동 로봇에 연결된 가속도 센서(122)에서 수집된 정보를 이용하여 추정된 3차원 각도를 필터링하여 이동 로봇의 3차원 각도 정보를 획득할 수 있다(S820).
이때, 상태 판단부(132)는 3차원 각도를 추정하여 3차원 각도 정보를 획득하는 과정(S810, S820)을 적어도 2회 이상 반복 수행하여 보다 정확한 이동 로봇의 3차원 각도 정보를 획득할 수 있다.
다음으로, 상태 판단부(132)는 기 획득된 이동로봇의 3차원 각도 정보를 이용하여 이동 로봇의 상태를 판단할 수 있다(S830).
이때, 이동 로봇의 상태는 이동 로봇의 자세, 이동 로봇의 위치 인식 보정 필요여부, 이동 로봇의 슬로프 구속 상태, 이동 로봇의 동작 상태, 이동 로봇의 주행 상태 등이 될 수 있다.
이후 주행 제어부(133)는 판단된 이동 로봇의 상태에 기반하여 이동 로봇의 주행을 제어할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 IMU의 상세한 구성을 나타내는 도면이다.
도 9에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 IMU(120?)는 도 1을 참조하여 설명한 본 발명의 일 실시예에 따른 IMU(120)에서 보정부(123)를 더 포함한 것이다.
여기서 보정부(123)는 가속도 센서(122)의 바이어스(Bias) 값을 보정할 수 있다.
이렇게 보정부(123)가 추가됨으로 인하여 다양한 환경에서 본 발명이 이용될 수 있다. 예를 들면, 온도 및 동작 시간 등의 다양한 이유로 미리 설정된 가속도 센서(122)의 바이어스 값이 변경되면 보정부(123)가 이동로봇의 동작 중에 바이어스 값을 보정할 수 있고, 이로 인하여 본 발명은 보다 정확한 상태 판단 및 이동 로봇의 제어가 가능할 수 있다.
가속도 센서(122)의 바이어스 값은 미리 설정될 수 있다. 미리 설정된 가속도 센서(122)의 바이어스 값은 센서에 내장된 칩의 특성, 온도, 동작 시간 등 다양한 이유로 인하여 오차가 발생한다.
3축 가속도 센서(122)를 예로 들면, 가속도 센서(122)가 연결된 이동 로봇이 정지하고 있는 경우 중력 가속도만 존재하므로 가속도 크기는 중력 가속도(1G) 값이 되어야 한다. 즉, x축 가속도를 ax, y축 가속도를 ay, z축 가속도를 az라 하면, 이동 로봇이 정지하고 있는 경우, 3축 가속도 센서(120)에서 측정된 가속도 크기 A는
Figure PCTKR2015006157-appb-I000004
가 되고, A는 중력 가속도(1G) 값이 9.8m/s2이 되어야 하지만, 가속도 센서(120)의 바이어스 오차로 인하여 중력 가속도(1G) 값과 상이한 값이 나올 수 있다.
이러한 가속도 센서(122)의 바이어스 오차를 보정하지 않으면 기 획득한 3차원 각도 정보에도 오차가 발생할 수 있으며, 청소 로봇과 같은 이동 로봇의 제어에도 문제가 발생할 수 있다.
이러한 문제를 해결하기 위하여 보정부(123)가 이동 로봇이 동작하는 중에서도 가속도 센서(122)의 바이어스 값을 보정할 수 있다. 즉, 보정부(123)는 이동 로봇이 움직이고 있을 때와 움직이지 않을 때를 구분하여 바이어스 값 보정을 할 수 있다.
그 일예로, 이동 로봇이 움직이고 있을 때 보정부(123)가 바이어스 값을 보정하는 과정을 설명하면 다음과 같다.
이동 로봇이 평면 위에서 직진을 하고 있는 경우라면 가속도 센서(122)의 출력값은 표준편차는 존재하지만 평균치가 일정한 값을 출력하게 된다. 보정부(123)는 이 평균치를 자이로 센서(121)의 각 축 출력에 적용한다. 평균치는 이동 로봇이 평면 위에서 직진을 하고 있는 동안 가속도 센서(122)의 최근 1초 내지 5초 정도의 출력값들의 평균을 의미할 수 있다. 1초 내지 5초 정도는 가속도 센서(122)의 특징, 가속도 센서(122)의 종류, 사용자의 설정, 이동 로봇의 설정 환경 등에 따라서 변경될 수 있다.
자이로 센서(121)의 각 축은 3축 자이로 센서(121)의 경우 x, y, z 축이 존재하고, 따라서 보정부(123)는 평균치를 자이로 센서(121)의 x, y, z 축 출력에 적용한다.
보정부(123)는 자이로 센서(121)에서 측정된 최근 각속도가 기 설정된 기준 이상인 경우 평균치를 구하는 과정을 재 수행한다. 보정부(123)가 자이로 센서(110)에서 측정된 최근 각속도가 기 설정된 기준(Vw) 이상인 경우 평균치를 구하는 과정을 재 수행하는 이유는 출력되는 데이터에 이동 성분이 많은지 적은지를 판별하기 위함이다.
즉, 로봇이 움직이고 있지 않거나 일 가속도 성분만을 가지고 있는 상태라면, 표준 편차가 작게 나오게 된다. 표준 편차가 대략 0.1deg/sec 정도의 값 이내라면 정지했거나 느리게 움직이고 있다고 판별할 수 있다. 즉, 출력되는 데이터의 이동 성분이 적은 경우에만 보정부(123)가 평균치를 자이로 센서(121)의 각 축 출력에 적용한다. 이동 성분이 적은 경우에만 보정부(123)가 평균치를 자이로 센서(121)의 각 축 출력에 적용하는 것은 바이어스 보정의 신뢰도를 향상시키기 위함이다. 여기서, 기 설정된 기준(Vw)은 0.05g 정도일 수 있으나, 이동 로봇의 성능, 이동 로봇의 목적, 센서의 성능 등 다양한 이유로 인하여 변경될 수 있다.
보정부(123)는 각 축의 평균치 중 x축의 평균치와 y축의 평균치를 바이어스로 보정할 수 있다. 또한, 보정부(123)는 각 축의 평균치 중 z축의 평균치를 중력 가속도(1G)로 설정할 수 있다. 중력 가속도(1G)는 설정할 때마다 상이할 수 있으나 9.8m/s2으로 설정될 수 있다.
즉, 보정부(123)는 자이로 센서(121)의 이동 평균을 이용하여 이동 로봇의 정지 여부를 판별하고, 가속도 센서(122)의 이동 평균은 바이어스를 보정할 때 사용할 수 있다.
다른 예로, 이동 로봇이 움직이지 않고 있을 때 보정부(123)가 가속도 센서(122)의 바이어스 값 보정을 위한 정보를 수집하는 과정을 설명하면 다음과 같다.
이동로봇이 움직이지 않고 있을 때에도 이동 로봇이 움직이고 있을 때와 유사한 방식으로 보정부(123)는 가속도 센서(122)의 바이어스 값을 보정할 수 있다.
이를 위하여, 이동 로봇이 동작하는 중 의도적으로 0.5초 내지 1초 정도 멈추는 제어를 설정할 수 있다. 0.5초 내지 1초 정도는 이동 로봇의 종류나 목적, 이동 로봇의 성능, 가속도 센서(122)의 성능, 가속도 센서(122)의 특징, 이동 로봇의 제어 알고리즘 등에 따라서 상이할 수 있다. 또한, 이동 로봇이 동작하는 중에 의도적으로 멈추는 제어를 설정하는 것은, 동작 시간에 따라 주기적 또는 비주기적으로 멈추도록 설정할 수 있으며, 특정 동작 조건일 경우에 멈추도록 설정할 수도 있다. 이런 설정 과정을 이동 로봇 중 청소 로봇을 예로 들어 설명한다.
도 10은 청소 로봇이 동작하는 중 의도적으로 정지하도록 설정하는 경우를 나타내는 도면이다.
도 10에 도시한 바와 같이, 청소를 위한 청소 로봇의 청소 경로는 일반적으로 아래의 곡선으로된 선(ⓐ)과 같을 수 있다. 이러한 곡선의 청소 경로는 청소 로봇이 방향을 변경하는 동그라미로 된 구간(ⓑ)이 발생하고, 이 구간(ⓑ)에서 청소 로봇을 소정의 시간 동안 정지하도록 제어하거나 설정될 수 있다.
또 다른 예로, 이동 로봇이 소정의 시간 동안 정지한 경우 보정부(123)가 가속도 센서(122)의 바이어스 값을 보정하는 과정을 설명하면 다음과 같다.
보정부(123)는 이동 로봇이 정지하고 있는 동안의 가속도 출력값을 획득할 수 있다. 즉, 보정부(123)는 이동 로봇의 바퀴가 멈추어 있고, 사용자로부터 별도의 입력이 없으며 자이로 센서(121)의 각속도 출력이 기 설정된 기준(Vw) 이하인 경우에 한하여 평균치를 산출한다.
이동 로봇이 움직이지 않고 있을 때 보정부(123)는 산출된 각 축의 평균치 중 x축의 평균치와 y축의 평균치를 바이어스로 보정할 수 있다. 또한, 보정부(123)는 각 축의 평균치 중 z 축의 평균치를 중력 가속도(1G)로 설정할 수 있다.
보정부(150)는 이동 로봇이 움직일 때와 움직이지 않을 때 산출된 각 축의 평균치를 모두 이용하여 보정할 수 있다.
이동 로봇이 움직이지 않을 때 산출된 평균치가 이동로봇이 움직일 때 산출된 평균치 보다 신뢰도가 높다. 따라서, 보정부(123)는 움직이지 않을 때 산출된 평균치의 가중치를 이동로봇이 움직일 때 산출된 평균치의 가중치보다 높게 설정하여 바이어스를 보정할 수 있다.
도 11은 본 발명의 일 실시예에 따른 바이어스를 보정하는 과정을 설명하기 위한 도면이다.
도 11에 도시한 바와 같이, 본 발명에 따른 보정부(123)는 3축 자이로 센서(121)와 3축 가속도 센서(122)로부터 최근 1초 간의 센서 측정값의 평균(Avg) 및 표준 편차(Dev)를 획득할 수 있다(S1110).
다음으로, 보정부(123)는 이동 로봇의 바퀴 엔코더와 최근 바퀴 속도 명령 정보를 획득하고, 획득한 바퀴 엔코더, 최근 바퀴 속도 명령, 센서 측정값의 평균(Avg), 센서 측정값의 표준 편차(Dev)를 이용하여 이동로봇의 움직임 여부를 판단할 수 있다(S1120).
예를 들면, 보정부(123)는 엔코더가 변화하지 않고 표준 편차(Dev)가 0.1degree/sec보다 작은 경우 이동 로봇을 정지한 것으로 판단할 수 있다. 또한, 보정부(123)는 바퀴 엔코더의 회전 성분이 5degree/sec 이하이고 가속도가 0이 아닌 경우 이동 로봇이 직진 주행 중인 것으로 판단할 수 있다. 또한, 보정부(123)는 이동 로봇이 정지한 것으로 판단할 경우 및 직진 주행 중인 것으로 판단한 경우 이외의 경우는 특정 동작을 구분하지 않고 이동 로봇이 동작하고 있는 상태(M)인 것으로 판단할 수 있다. 이동 로봇이 동작하고 있는 상태(M)는 이동 로봇이 정지 또는 직진 주행이 아닌 회전 등의 다른 동작을 하는 상태를 의미한다. 예로 든 수치 1초, 0.1degree/sec, 5degree/sec는 이동 로봇의 종류, 이동 로봇의 시스템 환경, 이동 로봇의 목적, 이동 로봇의 성능 등의 다양한 이유에 따라 변경될 수 있다.
다음으로, 보정부(123)는 이렇게 판단된 이동 로봇의 정지, 직진 주행, 동작하고 있는 상태(M)에 따라서 가중치(w)를 서로 상이하게 설정할 수 있다.
예를 들면, 보정부(123)는 이동 로봇이 동작하고 있는 상태(M)인 경우에는 가중치(w)를 0으로 설정할 수 있다(S1130). 또한, 보정부(123)는 이동 로봇이 정지 상태인 경우에는 가중치(w)를 0.5로 설정할 수 있다(S1140). 또한, 보정부(123)는 이동 로봇이 직진 상태인 경우에는 가중치(w)를 0.05로 설정할 수 있다(S1150).
다음으로, 보정부(123)는 획득한 자이로 센서(121)와 가속도 센서(122) 측정값의 평균 및 표준 편차, 기 설정된 가중치를 이용하여 가속도 바이어스 값을 보정할 수 있다(S1160).
이때, 보정부(123)는 다음의 [수학식 6]을 이용하여 바이어스 값을 보정할 수 있다.
[수학식 6]
Figure PCTKR2015006157-appb-I000005
상기 [수학식 6]에서 Bnew는 보정된 바이어스 값이고, Bold는 보정되기 이전의 바이어스 값이며. w는 가중치이고, Avg는 센서 측정값의 평균(Avg)을 나타낸다.
또한, 보정부(123)는 z축의 평균치를 중력 가속도(1G)로 재 설정할 수 있다(S1170).
장애물 감지부(140)는 광각 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상 내에서 기 설정된 개수의 수평 라인을 추출할 수 있다. 여기서, 기 설정된 개수는 적어도 2개 이상을 사용하되, 특히 3개인 것이 바람직하다.
장애물 감지부(140)는 추출된 수평 라인을 따라 dense 스테레오 정합(dense stereo matching)을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득할 수 있다.
도 12는 본 발명의 일 실시예에 따른 장애물 감지 과정을 설명하기 위한 도면이다.
도 12에 도시한 바와 같이, 장애물 감지부(140)는 입력 받은 도 8의 (a)와 (b)와 같은 좌, 우 스테레오 영상을 기반으로 고밀도 스테레오 매칭을 수행하여 그 수행한 결과로 깊이 값을 산출할 수 있다. 여기서 도 8 (c) 영상은 이렇게 산출된 깊이 값을 그레이스케일로 표현하고 있다. 그리고 도 8 (c)은 장애물 감지에 이용되는 라인 영역(L)을 나타내고 있다.
이때, 전체 영역에 대한 깊이 값 산출은 소형 프로세서를 탑재한 이동 로봇에서는 불가능하기 때문에 본 발명에서는 일부 영역에 대해서만 깊이 값을 추출하고자 한다.
지도 작성부(150)는 위치 인식부(130)로부터 추정된 현재의 위치 정보를 제공 받아 제공 받은 위치 정보를 기반으로 자세 그래프(pose graph)를 재구성하고 그 재구성된 자세 그래프를 기반으로 기 저장된 키 프레임 집합을 업데이트할 수 있다.
DB(160)는 이동 로봇의 움직임에 따라 생성된 키 프레임 집합을 저장할 수 있다.
도 13은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 방법을 나타내는 도면이다.
도 13에 도시한 바와 같이, 본 발명에 따른 이동 로봇의 위치를 인식하기 위한 장치(이하 위치인식 장치라 한다)는 광각 카메라로부터 스테레오 영상을 입력 받으면(S1310), 입력 받은 스테레오 영상으로부터 특징점을 추출하고 추출된 특징점을 프레임 단위로 지속적으로 추적할 수 있다(S1320).
다음으로, 위치인식 장치는 스테레오 영상 내 이동 객체를 제거할 수 있다(S1330).
예컨대, 위치인식 장치는 현재의 프레임과 마지막 n번째 프레임을 비교하여 그 비교한 결과로 이동 객체라도 판단될 수 있는 일치하지 않는 특징을 제거하게 된다.
다음으로, 위치인식 장치는 추적하는 특징점을 기반으로 비주얼 오도메트리를 수행하여 그 수행한 결과로 제1 오도메트리 정보를 획득하고(S1340), 관성 정보를 기반으로 하는 내부 오도메트리를 통해 제2 오도메트리 정보를 획득할 수 있다(S1342).
다음으로, 위치인식 장치는 획득한 제1 오도메트리 정보와 제2 오도메트리 정보 중 하나의 오도메트리 정보를 선택하고(S1350), 선택된 오도메트리 정보와 자세 정보를 이용하여 상태 정보를 예측할 수 있다(S1360).
이때, 위치인식 장치는 제1 오도메트리 정보가 기 설정된 조건을 만족하면 제1 오도메트리 정보를 선택하고, 만족하지 못하면 제2 오도메트리 정보를 선택하게 된다.
여기서 기 설정된 조건을 만족하는지를 판단하는 것은 오도메트리 정보 예컨대, 위치 정보의 변화율이 기 설정된 임계치 이내인지를 판단하는 것을 의미할 수 있다.
다음으로, 위치인식 장치는 예측된 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 기 설정된 개수의 이웃하는 키 프레임을 검색하고(S1370), 검색된 기 설정된 개수의 이웃하는 키 프레임을 이용하여 현재의 위치를 추정할 수 있다(S1380).
이때, 이웃하는 키 프레임의 개수가 많을수록 위치를 정확하게 추정할 수 있다.
본 실시예에 따른 위치 인식 장치는 자율 주행하는 청소로봇, 서비스 로봇에 적용될 수 있다. 예를 들어, 청소로봇은 실내 환경, 또는 실외 환경에서 자율 주행하는데, 주행 중 벽면, 난간, 책상, 가구 등 다양한 장애물과 마주치게 되고, 자율 주행 청소로봇은 청소 구역에서의 자신의 위치와, 파악된 장애물의 위치를 이용하여 주행 경로를 결정하여 주행한다. 본 실시예에 따라 자율 주행 청소 로봇은 외부 영상 획득을 위하여, 스테레오 카메라 특히 광각 스테레오 카메라를 영상 획득부로 포함하며, 이를 통해 획득된 외부 환경에 대한 정보, 특히 에지와 관련된 특징점을 이용하여 자신의 위치를 추정하고, 주행 경로를 결정하며 주행하도록 구현될 수 있다.
특히, SLAM(Simultaneous Localization And Map-Building)을 기반으로 자율 주행하는 청소로봇의 경우, 구축된 격자 맵에서 자신의 위치를 추정하고, 장애물의 위치를 추정하며, 추정된 위치 관계를 이용하여 장애물과의 충돌을 피하기 위한 주행경로를 결정하거나, 또는 최적 경로를 결정하는데 본 실시예가 이용될 수 있다.
본 실시예에서 오도메트리 정보는 시간에 따른 이동 로봇의 위치 변화를 추정하기 위하여 사용되는 데이터가 될 수 있다. 예를 들어 오도메트리 정보는 이동 로봇에 장착된 휠이나, 레그 조인트(legged joint)에 있는 회전 인코더(rotary encoders)로부터 획득되는 정보가 될 수 있다. 오도메트리 정보를 이용하여, 이동 로봇의 주행 거리, 바퀴의 회전 수와 같은 상태 정보를 계산할 수 있다. 또한, 상태 정보를 통해 현재 이동 로봇이 위치하는 공간을 파악할 수 있으므로, 이를 통해 영상 처리에 있어서 키 프레임을 결정하는데 사용할 수 있다.
상술한 본 발명의 실시예에 따른 위치 인식을 위한 방법은, 컴퓨터에서 판독가능한 소프트웨어의 형태로 구현될 수 있으며, 이러한 소프트웨어는 자율 주행 청소 로봇 내에 탑재된 프로세서에서 실행될 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 이동 로봇의 관성 정보를 획득하는 IMU(Inertial Measurement Unit);
    상기 이동 로봇에서 획득한 적어도 한쌍의 스테레오 영상을 기반으로 산출된 제1 오도메트리 정보와 상기 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 위치 인식부; 및
    추정된 상기 위치를 기반으로 상기 이동 로봇의 주행을 제어하는 주행 제어부;
    를 포함하는 이동 로봇의 주행을 제어하기 위한 장치.
  2. 제1 항에 있어서,
    상기 이동 로봇이 동작함에 따라 수직 방향과 수평 방향을 포함하는 관심 영역에 대한 상기 스테레오 영상을 획득하는 두 개의 광각 카메라를 더 포함하고,
    상기 위치 인식부는,
    입력 받은 상기 스테레오 영상을 기 설정된 크기로 축소하여 축소된 상기 스테레오 영상을 브리프 바이너리 서술자를 이용하여 인코딩하여 그 인코딩한 결과로 이진 데이터를 생성하고,
    생성된 상기 이진 데이터와 기 저장된 키 프레임 내 이동 로봇의 절대 위치를 나타내는 데이터와 비교하여 그 비교한 결과로 상기 절대 위치로 상기 이동 로봇의 현재의 위치를 인식하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  3. 제1 항에 있어서,
    상기 위치 인식부는,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하면 상기 제1 오도메트리 정보를 선택하고,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하지 못하면 상기 제2 오도메트리 정보를 선택하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  4. 제1 항에 있어서,
    상기 위치 인식부는,
    예측된 상기 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 기 설정된 개수의 이웃하는 키 프레임을 검색하고,
    검색된 상기 기 설정된 개수의 이웃하는 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  5. 제1 항에 있어서,
    입력 받은 상기 스테레오 영상 내에서 기 설정된 개수의 수평 라인을 추출하고 추출된 상기 수평 라인을 따라 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하는 장애물 감지부;
    를 더 포함하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  6. 제1 항에 있어서,
    상기 위치 인식부로부터 추정된 상기 이동 로봇의 현재의 위치 정보를 기반으로 자세 그래프를 재구성하고 그 재구성된 자세 그래프를 기반으로 기 저장된 상기 키 프레임의 집합을 업데이트하는 지도 작성부;
    를 더 포함하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  7. 제1 항에 있어서,
    상기 관성 정보를 기반으로 상기 이동 로봇의 3차원 각도를 획득하고 획득한 상기 이동 로봇의 3차원 각도를 이용하여 상기 이동 로봇의 상태를 판단하는 상태 판단부;
    를 더 포함하고,
    상기 주행 제어부는 추정된 상기 위치와 판단된 상기 상태를 기반으로 상기 이동 로봇의 주행을 제어하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  8. 제7 항에 있어서,
    상기 상태 판단부는,
    획득한 상기 이동 로봇의 3차원 각도가 특정 각도로 기 설정된 시간 이상 유지되는 경우 상기 이동로봇이 슬로프에 구속되어 있는 구속상태인 것으로 판단하고,
    획득한 상기 이동 로봇의 3차원 각도가 기 설정된 각도 이상이거나 기 설정된 변화량 이상으로 변화하는 경우 상기 이동로봇이 장애물을 넘기 위한 극복 상태인 것으로 판단하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  9. 제7 항에 있어서,
    상기 상태 판단부는,
    상기 이동 로봇이 주행하고 있는 중 획득된 상기 이동 로봇의 3차원 각도가 측방향으로 기울기를 가지는 경우 상기 이동 로봇의 위치 인식에 오차가 존재하는 오차 상태인 것으로 판단하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  10. 제1 항에 있어서,
    상기 IMU는,
    상기 이동 로봇의 동작 중 자이로 센서의 각속도가 기 설정된 각속도 이하로 움직이는 경우 상기 이동 로봇의 평균 이동값을 x축, y축, z축마다 산출하고 산출된 상기 x축, y축, z축의 평균 이동 값을 기반으로 가속도 센서의 바이어스 값(bias value)을 보정하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 장치.
  11. 두 개의 광각 카메라가 이동 로봇이 동작함에 따라 수직 방향과 수평 방향을 포함하는 관심 영역에 대한 한쌍의 스테레오 영상을 획득하는 단계;
    IMU(Inertial Measurement Unit)가 상기 이동 로봇의 관성 정보를 획득하는 단계;
    위치 인식부가 상기 스테레오 영상을 기반으로 산출된 제1 오도메트리 정보와 상기 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 단계; 및
    주행 제어부가 추정된 상기 위치를 기반으로 상기 이동 로봇의 주행을 제어하는 단계;
    를 포함하는 이동 로봇의 주행을 제어하기 위한 방법.
  12. 제11 항에 있어서,
    상기 추정하는 단계는,
    입력 받은 상기 스테레오 영상을 기 설정된 크기로 축소하여 축소된 상기 스테레오 영상을 브리프 바이너리 서술자를 이용하여 인코딩하여 그 인코딩한 결과로 이진 데이터를 생성하고,
    생성된 상기 이진 데이터와 기 저장된 키 프레임 내 이동 로봇의 절대 위치를 나타내는 데이터와 비교하여 그 비교한 결과로 상기 절대 위치로 상기 이동 로봇의 현재의 위치를 인식하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  13. 제11 항에 있어서,
    상기 추정하는 단계는,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하면 상기 제1 오도메트리 정보를 선택하고,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하지 못하면 상기 제2 오도메트리 정보를 선택하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  14. 제11 항에 있어서,
    상기 추정하는 단계는,
    예측된 상기 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 기 설정된 개수의 이웃하는 키 프레임을 검색하고,
    검색된 상기 기 설정된 개수의 이웃하는 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  15. 제11 항에 있어서,
    장애물 감지부가 입력 받은 상기 스테레오 영상 내에서 기 설정된 개수의 수평 라인을 추출하고 추출된 상기 수평 라인을 따라 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  16. 제11 항에 있어서,
    지도 작성부가 상기 위치 인식부로부터 추정된 상기 이동 로봇의 현재의 위치 정보를 기반으로 자세 그래프를 재구성하고 그 재구성된 자세 그래프를 기반으로 기 저장된 상기 키 프레임의 집합을 업데이트하는 단계;
    를 더 포함하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  17. 제11 항에 있어서,
    상기 관성 정보를 기반으로 상기 이동 로봇의 3차원 각도를 획득하고 획득한 상기 이동 로봇의 3차원 각도를 이용하여 상기 이동 로봇의 상태를 판단하는 단계;
    를 더 포함하고,
    상기 제어하는 단계는 추정된 상기 위치와 판단된 상기 상태를 기반으로 상기 이동 로봇의 주행을 제어하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  18. 제17 항에 있어서,
    상기 판단하는 단계는,
    획득한 상기 이동 로봇의 3차원 각도가 특정 각도로 기 설정된 시간 이상 유지되는 경우 상기 이동로봇이 슬로프에 구속되어 있는 구속상태인 것으로 판단하고,
    획득한 상기 이동 로봇의 3차원 각도가 기 설정된 각도 이상이거나 기 설정된 변화량 이상으로 변화하는 경우 상기 이동로봇이 장애물을 넘기 위한 극복 상태인 것으로 판단하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  19. 제17 항에 있어서,
    상기 판단하는 단계는,
    상기 이동 로봇이 주행하고 있는 중 획득된 상기 이동 로봇의 3차원 각도가 측방향으로 기울기를 가지는 경우 상기 이동 로봇의 위치 인식에 오차가 존재하는 오차 상태인 것으로 판단하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
  20. 제11 항에 있어서,
    상기 관성 정보를 획득하는 단계는,
    상기 이동 로봇의 동작 중 자이로 센서의 각속도가 기 설정된 각속도 이하로 움직이는 경우 상기 이동 로봇의 평균 이동값을 x축, y축, z축마다 산출하고 산출된 상기 x축, y축, z축의 평균 이동 값을 기반으로 가속도 센서의 바이어스 값(bias value)을 보정하는 것을 특징으로 하는 이동 로봇의 주행을 제어하기 위한 방법.
PCT/KR2015/006157 2014-06-17 2015-06-17 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법 WO2015194868A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15809867.3A EP3159123A4 (en) 2014-06-17 2015-06-17 Device for controlling driving of mobile robot having wide-angle cameras mounted thereon, and method therefor
US15/379,501 US10133278B2 (en) 2014-06-17 2016-12-15 Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140073708 2014-06-17
KR10-2014-0073708 2014-06-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/379,501 Continuation US10133278B2 (en) 2014-06-17 2016-12-15 Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof

Publications (1)

Publication Number Publication Date
WO2015194868A1 true WO2015194868A1 (ko) 2015-12-23

Family

ID=54935783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006157 WO2015194868A1 (ko) 2014-06-17 2015-06-17 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법

Country Status (4)

Country Link
US (1) US10133278B2 (ko)
EP (1) EP3159123A4 (ko)
KR (1) KR101725060B1 (ko)
WO (1) WO2015194868A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121768A (zh) * 2019-12-23 2020-05-08 深圳市优必选科技股份有限公司 一种机器人位姿估计方法、装置、可读存储介质及机器人
WO2021157833A1 (ko) * 2020-02-06 2021-08-12 엘지전자 주식회사 로봇 청소기 및 그 제어 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180121244A (ko) * 2017-04-28 2018-11-07 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN108873878A (zh) * 2017-06-22 2018-11-23 北京石头世纪科技有限公司 自主机器人及其控制方法、装置、系统和计算机可读介质
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
CN111094136B (zh) * 2017-09-20 2022-10-28 麦格纳国际公司 用于制造业用的适应性箱子拾取的系统和方法
CN107941217B (zh) * 2017-09-30 2020-05-22 杭州迦智科技有限公司 一种机器人定位方法、电子设备、存储介质、装置
GB2567012B (en) * 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
CN107553497B (zh) * 2017-10-20 2023-12-22 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
US10926725B2 (en) 2018-10-10 2021-02-23 Stocked Robotics, Inc. Non-destructive kit mounting system for driverless industrial vehicles
KR20190055582A (ko) 2017-11-15 2019-05-23 삼성전자주식회사 전자 장치의 이미지 촬영 방법 및 그 전자 장치
WO2019138640A1 (ja) * 2018-01-10 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
JP6870635B2 (ja) 2018-03-08 2021-05-12 セイコーエプソン株式会社 慣性計測装置、移動体、携帯型電子機器、及び電子機器
CN110377015B (zh) * 2018-04-13 2021-04-27 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
US11454981B1 (en) * 2018-04-20 2022-09-27 AI Incorporated Versatile mobile robotic device
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
KR102024563B1 (ko) * 2018-05-30 2019-09-24 에이미파이(주) 실내에서의 전파세기 측정 방법과 그 방법을 위한 장치
JP2020020631A (ja) * 2018-07-31 2020-02-06 セイコーエプソン株式会社 姿勢推定方法、姿勢推定装置及び移動体
KR102098687B1 (ko) * 2018-11-02 2020-04-09 서울대학교산학협력단 영상 모서리 정렬 기반 영상 항법 및 장치
WO2020140271A1 (zh) * 2019-01-04 2020-07-09 珊口（上海）智能科技有限公司 移动机器人的控制方法、装置、移动机器人及存储介质
US10782137B2 (en) * 2019-01-28 2020-09-22 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
WO2020213955A1 (ko) * 2019-04-16 2020-10-22 주식회사 유진로봇 모바일 로봇의 초기화 진단 방법 및 시스템
CN111982108B (zh) * 2019-05-24 2024-07-16 北京京东乾石科技有限公司 移动机器人定位方法、装置、设备及存储介质
WO2020241930A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
US11713977B2 (en) * 2019-12-19 2023-08-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and medium
US20230040969A1 (en) * 2020-01-03 2023-02-09 Co6, Inc. Dba Company Six Situational awareness robot
CN111197987A (zh) * 2020-02-26 2020-05-26 深圳市银星智能科技股份有限公司 一种困境识别方法、装置以及计算机存储介质
CN114153197B (zh) * 2020-08-17 2023-08-18 速感科技（北京）有限公司 自主移动设备的脱困方法及装置
CN111993391B (zh) * 2020-08-25 2022-02-15 深圳市优必选科技股份有限公司 机器人位姿估计方法、装置、仿人机器人及存储介质
CN112263188B (zh) * 2020-10-22 2022-04-05 湖南格兰博智能科技有限责任公司 一种移动机器人行进方向的矫正方法及其设备
CN112489127B (zh) * 2020-12-14 2023-06-23 一方智诚(珠海)科技有限公司 基于人工智能的升降台控制方法及系统
CN112819943B (zh) * 2021-01-15 2022-08-30 北京航空航天大学 一种基于全景相机的主动视觉slam系统
CN114115349B (zh) * 2021-12-02 2024-06-28 深圳慧源创新科技有限公司 双目辅助避障方法、装置、无人机及存储介质
CN114229396B (zh) * 2022-02-18 2022-05-13 深圳市创新特科技有限公司 电路板取放位置校正装置及校正方法
CN115254482B (zh) * 2022-08-11 2023-08-04 重庆科技学院 一种用于检测sf6吸附剂浸出液的喷雾装置和喷雾调控方法
CN117130376B (zh) * 2023-10-27 2024-02-02 合肥酷尔环保科技有限公司 一种分布式超声波避障系统及其避障方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030095492A (ko) * 2002-06-12 2003-12-24 삼성전자주식회사 이동 로봇의 위치 및 방향 인식 장치 및 방법
KR20100119442A (ko) * 2009-04-30 2010-11-09 엘지전자 주식회사 이동 로봇, 로봇 청소기 및 이동 로봇의 각도 검출 방법
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US6983583B2 (en) * 2003-11-21 2006-01-10 Ariens Company Lawnmower tilt sensor apparatus and method
US7066004B1 (en) * 2004-09-02 2006-06-27 Sandia Corporation Inertial measurement unit using rotatable MEMS sensors
KR101245832B1 (ko) * 2006-05-23 2013-03-21 삼성전자주식회사 장애물을 감지하는 장치 및 방법
KR100755611B1 (ko) * 2006-09-22 2007-09-06 삼성전기주식회사 기울어짐 감지형 자동 운전 청소기 및 그 동작 제어 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
WO2010027731A2 (en) * 2008-08-25 2010-03-11 Trw Braking Electronics Method for correction of dynamic output signals of inertial sensors having mounting offsets
KR101581197B1 (ko) 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
KR101618030B1 (ko) 2009-07-28 2016-05-09 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101083394B1 (ko) 2009-10-30 2011-11-14 주식회사 유진로봇 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
KR101167627B1 (ko) * 2010-02-25 2012-07-23 연세대학교 산학협력단 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법
KR101286135B1 (ko) * 2011-10-28 2013-07-15 포항공과대학교 산학협력단 상향식 단일 카메라를 이용한 중대형 공간에서의 자율적 위상지도 생성 방법
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US20150119086A1 (en) * 2013-10-25 2015-04-30 Alcatel-Lucent Usa Inc. Simultaneous localization and mapping systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030095492A (ko) * 2002-06-12 2003-12-24 삼성전자주식회사 이동 로봇의 위치 및 방향 인식 장치 및 방법
KR20100119442A (ko) * 2009-04-30 2010-11-09 엘지전자 주식회사 이동 로봇, 로봇 청소기 및 이동 로봇의 각도 검출 방법
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3159123A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121768A (zh) * 2019-12-23 2020-05-08 深圳市优必选科技股份有限公司 一种机器人位姿估计方法、装置、可读存储介质及机器人
WO2021157833A1 (ko) * 2020-02-06 2021-08-12 엘지전자 주식회사 로봇 청소기 및 그 제어 방법

Also Published As

Publication number Publication date
KR101725060B1 (ko) 2017-04-10
US10133278B2 (en) 2018-11-20
EP3159123A4 (en) 2018-08-08
EP3159123A1 (en) 2017-04-26
KR20150144729A (ko) 2015-12-28
US20170153646A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194864A1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2017091008A1 (ko) 이동 로봇 및 그 제어 방법
WO2011013862A1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
WO2018074903A1 (ko) 이동 로봇의 제어방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
US20070267570A1 (en) Method of detecting object using structured light and robot using the same
WO2020226187A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
WO2019066444A1 (en) MOBILE ROBOT AND CONTROL METHOD
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2021141396A1 (en) Robot cleaner using artificial intelligence and control method thereof
WO2018117616A1 (ko) 이동 로봇
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
WO2019245320A1 (ko) 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15809867

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015809867

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015809867

Country of ref document: EP