KR101878827B1 - Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same - Google Patents
Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same Download PDFInfo
- Publication number
- KR101878827B1 KR101878827B1 KR1020160161693A KR20160161693A KR101878827B1 KR 101878827 B1 KR101878827 B1 KR 101878827B1 KR 1020160161693 A KR1020160161693 A KR 1020160161693A KR 20160161693 A KR20160161693 A KR 20160161693A KR 101878827 B1 KR101878827 B1 KR 101878827B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- information
- mobile robot
- projection map
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000004140 cleaning Methods 0.000 claims description 107
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000005457 optimization Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
Abstract
본 발명의 일실시에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법이 개시된다. 본 발명의 일실시에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치는, 이동로봇의 장애물 정보를 포함하는 3차원 환경정보를 검출하기 위하여, 송신신호의 발사각이 상이한 적어도 두 개의 레이저 모듈들을 구비하는 다채널 라이더부, 상기 적어도 두 개의 레이저 모듈들의 수신 정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성부, 및 상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 주행경로 생성부를 포함한다. An apparatus and method for detecting an obstacle in a multi-channel rider-based mobile robot according to an embodiment of the present invention are disclosed. In order to detect three-dimensional environment information including obstacle information of a mobile robot, the multi-channel rider-based mobile robot includes at least two laser modules having different emission angles of transmission signals A multi-channel rider unit for generating three-dimensional environment information for defining obstacles in three dimensions based on reception information of the at least two laser modules, and generating a projection map including the three-dimensional environment information in a two- And a traveling path generating unit for determining a position on the space of the obstacle based on the projection map and generating a traveling path for avoiding the obstacle.
Description
본 발명은 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 이를 구비한 이동로봇에 관한 것으로, 더욱 상세하게는 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법에 것이다. The present invention relates to an apparatus and method for detecting an obstacle in a multi-channel rider-based mobile robot, and a mobile robot having the same, and more particularly, to an apparatus and method for detecting an obstacle in a multi-channel rider-based mobile robot.
청소로봇은 비전센서, 적외선, 초음파 등의 센서들을 이용하여 주변 환경을 인지하고 주변 환경과의 충돌 없이 돌아다니면서 청소를 수행하는 로봇이다. The cleaning robot recognizes the surrounding environment using sensors such as a vision sensor, an infrared ray, and an ultrasonic wave, and carries out cleaning while moving around without colliding with the surrounding environment.
청소로봇은 주로 핀 포인트(pin point)로 거리를 측정이 가능한 적외선 또는 초음파 센서 들의 배열을 이용하여 주변 환경 장애물과의 충돌을 회피하면서 청소를 하는 방식을 채용해 왔다. 이러한 pin point 거리 측정 기반의 센서 구성은 환경 장애물과의 충돌을 방지하지만, 장착된 센서 들의 높이보다 낮은 장애물에 대한 감지가 불가능하고, 작업 영역에 대한 지도 정보를 생성하는 것이 어렵기 때문에 청소시간이 오래 걸리고 청소 커버리지가 낮다.The cleaning robot has adopted a method of cleaning by avoiding collision with obstacles of surrounding environment by using an array of infrared or ultrasonic sensors capable of measuring distances mainly by pin points. Although the sensor configuration based on the pin point distance measurement prevents the collision with the environmental obstacle, it is difficult to detect the obstacle lower than the height of the mounted sensors, and it is difficult to generate the map information on the working area. It takes a long time and the cleaning coverage is low.
청소로봇은 카메라를 장착하고 V-SLAM(visual SLAM, Simultaneous Localization And Mapping)을 적용함으로써, 전체 작업 영역에 대한 지도를 생성하고 이를 바탕으로 전체 청소영역에 대한 정보를 저장한 후, 이를 위치 추정이나, 청소위치 결정에 사용하였다. 그러나 여전히 청소로봇은 장애물을 감지하기 위하여 pin point 거리 측정 센서 들을 탑재하였으나, 센서 보다 낮은 장애물을 감지하지 못하였다. 또한, 청소로봇은 장애물과의 충돌을 미리 알 수 없고 장애물에 직면해서야 충돌을 감지하게 되어 주행 안정성이 저하된다. The cleaning robot mounts a camera and applies a V-SLAM (visual SLAM, Simultaneous Localization And Mapping) to generate a map of the entire work area, stores information on the entire cleaning area based on the map, , And used for cleaning position determination. However, the cleaning robot still installed pin point distance sensors to detect obstacles, but failed to detect lower obstacles than sensors. In addition, the cleaning robot can not know the collision with the obstacle in advance and detects the collision only in the presence of the obstacle, thus degrading the driving stability.
청소로봇에 채용되는 카메라 기반의 위치 추정 시스템은 빛에 의한 지도 생성 및 위치 추정 성능 변화가 발생한다. 이러한 빛에 의한 위치 추정 성능 변화는 단채널 레이저 스캔 센서를 청소로봇에 적용함으로써 많이 개선되었고, 장애물 정보를 지도 작성에 바로 사용할 수 있게 되면서 청소로봇의 청소 속도와 효율성이 향상 되었다. In the camera - based position estimation system employed in the cleaning robot, the map generation by the light and the position estimation performance change. The change of the position estimation performance by the light has been improved by applying the short channel laser scanning sensor to the cleaning robot, and the cleaning speed and efficiency of the cleaning robot have been improved as the obstacle information can be immediately used for mapping.
이와 같은 기존의 레이저 스캔 센서 기반의 청소로봇들은 낮은 장애물을 감지하지 못하고, 수직적 환경(문턱, 절벽, 경사 등)에 직면하기 전까지는 이와 같은 상황을 미리 알지 못하였다. Such conventional laser scanning sensor based cleaning robots could not detect low obstacles and did not know this situation until they faced vertical environment (threshold, cliff, slope, etc.).
상기 문제들은 모두 주변 환경을 2차원적 평면 데이터로 회득하고 표현하기 때문에 발생하는 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 주변 환경을 3차원적 공간 정보로 획득하기 위한 다채널 라이더(LiDAR)를 장착한 청소로봇을 소개하고, 이를 이용하여 환경정보를 획득하고 표현하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 이를 구비한 이동로봇을 제공하는 데 있다. The object of the present invention is to provide a multi-channel rider for acquiring the surrounding environment as three-dimensional spatial information, Channel lidar based mobile robot for acquiring environmental information by using a cleaning robot equipped with a LiDAR (LiDAR), and a mobile robot having the same.
본 발명의 다른 목적은 획득된 3차원 환경 정보로부터 벽, 장애물(낮은 장애물 포함), 수직 환경들을 구분하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 이를 구비한 이동로봇을 제공하는 데 있다. Another object of the present invention is to provide an apparatus and method for detecting obstacles of a multi-channel rider-based mobile robot that distinguish walls, obstacles (including low obstacles) and vertical environments from obtained three-dimensional environment information, and a mobile robot equipped with the apparatus and method .
본 발명의 또 다른 목적은 미리 측정된 환경 장애물 정보를 바탕으로 충돌을 회피하면서 청소로봇의 효율성을 높이는 충돌 경로 회피 알고리즘을 구비한 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 이를 구비한 이동로봇을 제공하는 데 있다. Yet another object of the present invention is to provide an apparatus and method for detecting obstacles of a multi-channel rider-based mobile robot having a collision path avoidance algorithm that increases the efficiency of a cleaning robot while avoiding collision based on previously measured environmental obstacle information, To provide robots.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 한 관점에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치는 이동로봇의 장애물 정보를 포함하는 3차원 환경정보를 검출하기 위하여, 송신신호의 발사각이 상이한 적어도 두 개의 레이저 모듈들을 구비하는 다채널 라이더부, 상기 적어도 두 개의 레이저 모듈들의 수신 정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성부, 및 상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 주행경로 생성부를 포함할 수 있다. An apparatus for detecting obstacles of a multi-channel rider-based mobile robot according to an aspect of the present invention includes at least two laser modules having different emission angles of transmission signals for detecting three-dimensional environment information including obstacle information of a mobile robot A channel rider unit for generating three-dimensional environment information for defining an obstacle in three dimensions based on reception information of the at least two laser modules, and generating a projection map including the three-dimensional environment information in a two- And a traveling path generating unit for determining a position on the space of the obstacle based on the projection map, and generating a traveling path for avoiding the obstacle and traveling on the basis of the projection map.
바람직하게, 상기 다채널 라이더부는, 상기 이동로봇의 이동방향 전방 상부에 위치하며, 상기 적어도 두 개의 레이저 모듈들은 각각 수평 하방으로 서로 상이한 송신신호 발사각을 갖도록 탑재되는 것을 특징으로 할 수 있다. Preferably, the multi-channel rider unit is positioned above the moving robot in the moving direction, and the at least two laser modules are mounted to have a transmission signal emission angle different from each other horizontally downward.
바람직하게, 상기 투영지도 생성부는, 상기 다채널 라이더부의 수신신호를 분석하여 문턱, 경사, 절벽을 포함하는 장애물의 형태 정보를 생성하는 것을 특징으로 할 수 있다. Preferably, the projection map generation unit analyzes the reception signal of the multi-channel rider unit to generate shape information of an obstacle including a threshold, an inclination, and a cliff.
바람직하게, 상기 투영지도 생성부는, 상기 3차원 환경정보를 n3의 정육면체를 이용하여 표현하는 3차원 환경정보 생성부를 포함하고, 상기 다채널 라이더부에서 획득된 장애물의 수평적인 위치정보 및 수직적인 위치정보의 각각을 이용하여 마킹 격자 위치 및 격자 마킹 값을 결정하는 것을 특징으로 할 수 있다. Preferably, the projection map generation unit includes a three-dimensional environment information generation unit for expressing the three-dimensional environment information using a cubic n 3 , and the three-dimensional environment information generation unit may include horizontal positional information of the obstacle obtained by the multi- And determining the marking grid position and the grid marking value using each of the position information and the position information.
바람직하게, 상기 투영지도 생성부는, 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출하는 것을 특징으로 할 수 있다. Preferably, the projection map generation unit extracts a linear region by performing a Hough transform on a binary projection map obtained by changing the projection map including the height information to 1 or 0 binary information.
바람직하게, 상기 투영지도 생성부는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높이는 것을 특징으로 할 수 있다. Preferably, the projection map generation unit increases the priority of the area that is not cleaned compared with the cleaning map, and increases the priority of the straight line near the distance.
바람직하게, 상기 주행경로 생성부는, 각 레이저 모듈로부터 바닥면까지의 수직 거리, 상기 레이저 모듈들의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정하는 것을 특징으로 할 수 있다. Preferably, the traveling path generating unit estimates the presence of an obstacle based on a vertical distance from each laser module to a bottom surface and a horizontal downward launch angle of a transmission signal of the laser modules.
바람직하게는, 상기 주행경로 생성부는 상기 장애물의 공간 상의 위치를 판단할 때 상기 장애물의 크기와 형태도 판단하며, 상기 장애물과의 충돌 없이 최소 거리로 접근하여 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 것을 특징으로 할 수 있다.Preferably, the traveling path generating unit determines a size and a shape of the obstacle when determining the position on the space of the obstacle. The traveling path generating unit estimates the size and the shape of the obstacle by approaching the minimum distance without collision with the obstacle, To generate the image.
본 발명의 다른 한 관점에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 방법은 송신신호의 발사각이 상이한 적어도 두 개의 레이저 모듈들을 이용하여 이동로봇 주변의 3차원 환경정보를 획득하는 단계, 상기 레이저 모듈들의 수신정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 단계, 및 상기 투영지도를 이용하여 2차원 정보 기반의 벽추출 알고리즘으로 벽 정보를 추출하고, 상기 적어도 두 개의 레이저 모듈들이 획득한 3차원 환경정보를 이용하여 낮은 장애물 정보를 검출하는 주행경로 생성 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method for detecting obstacles in a multi-channel rider-based mobile robot including obtaining three-dimensional environment information of a mobile robot using at least two laser modules having different emission angles of transmission signals, Generating three-dimensional environment information for defining obstacles on three dimensions based on reception information, generating a projection map including the three-dimensional environment information on a two-dimensional space map, and generating a projection map including two- And a traveling route generating step of extracting wall information by a wall extraction algorithm based on the 3D information and detecting low obstacle information by using the 3D environment information obtained by the at least two laser modules.
바람직하게, 상기 환경정보를 획득하는 단계는, 상기 적어도 두 개의 레이저 모듈들은 각각 수평 하방으로 서로 상이한 발사각으로 신호를 송신하고 수신하여, 상기 이동로봇의 전방 및 하방의 장애물을 검출하는 것을 특징으로 할 수 있다. Preferably, the acquiring of the environment information is performed such that each of the at least two laser modules transmits and receives signals at different launch angles, which are horizontally downward, and detects an obstacle in front of and below the mobile robot .
바람직하게, 상기 투영지도를 생성하는 단계는, 상기 3차원 환경정보를 n3 의 정육면체를 이용하여 표현하는 단계, 상기 적어도 두 개의 레이저 모듈들에서 획득된 장애물의 수평적인 위치정보를 이용하여 마킹할 격자 위치를 결정하는 단계, 및 상기 적어도 두 개의 레이저 모듈들에서 획득된 장애물의 수직적인 위치정보를 이용하여 격자에 마킹할 값을 결정하는 단계를 포함할 수 있다. Preferably, the step of generating the projection map may include the steps of: expressing the three-dimensional environment information using a cubic body of n 3 , marking using the horizontal position information of the obstacle obtained in the at least two laser modules Determining a grating position, and determining a value to be marked on the grating using the vertical position information of the obstacle obtained in the at least two laser modules.
바람직하게, 상기 투영지도를 생성하는 단계는, 장애물의 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출하는 것을 특징으로 할 수 있다.The generating of the projection map may include extracting a linear region by performing a Hough transform on a binary projection map obtained by changing the projection map including the height information of the obstacle into binary information of 1 or 0.
바람직하게, 상기 투영지도를 생성하는 단계는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높이는 것을 특징으로 할 수 있다. Preferably, the step of generating the projection map may enhance the priority of the area that is not cleaned as compared with the cleaning map, and increase the priority of the straight line near the distance.
바람직하게, 상기 주행경로 생성 단계는, 상기 적어도 두 개의 레이저 모듈들로부터 바닥면까지의 수직 거리, 상기 레이저 모듈들의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정하는 것을 특징으로 할 수 있다. Preferably, the traveling path generating step estimates the presence or absence of an obstacle on the basis of a vertical distance from the at least two laser modules to a floor surface and a horizontal downward launch angle of a transmission signal of the laser modules. have.
바람직하게, 상기 주행경로 생성 단계는, 상기 이동로봇이 청소를 한 영역과 하지 않은 영역 중 청소를 하지 않은 영역에 대한 우선순위를 높이는 것을 특징으로 할 수 있다. Preferably, the traveling route generating step increases the priority of the area where the mobile robot has cleaned and the area that has not been cleaned by the mobile robot.
이를 통해, 본 발명은 회전 가능하며 다양한 각도로 신호를 송수신할 수 있는 다채널 라이더를 구비하여 이동로봇 주변환경에 대한 장애물 정보를 3차원 적으로 획득할 수 있어 이동로봇의 전방 장애물 및 전방 하단의 낮은 높이 장애물도 검출할 수 있는 효과가 있다. Accordingly, the present invention provides a multi-channel rider that is rotatable and capable of transmitting and receiving signals at various angles, thereby obtaining obstacle information for the environment of the mobile robot three-dimensionally, There is also an effect of detecting low-height obstacles.
또한, 본 발명은 다채널 라이더를 통하여 획득한 주변환경에 대한 3차원 정보를 격자지도에 포함하는 투영지도를 생성할 수 있어 낮은 저장용량 및 연산능력으로도 이동로봇 주변 환경 정보 및 전방 하단의 낮은 높이의 장애물 정보를 충분히 획득할 수 있는 효과가 있다. In addition, the present invention can generate a projection map including three-dimensional information about a surrounding environment acquired through a multi-channel rider in a grid map, so that even when the robot has low storage capacity and computing power, It is possible to sufficiently obtain the obstacle information of the height.
또한, 본 발명은 다채널 라이더를 통하여 이동로봇의 주변환경에 대한 3차원 정보를 획득하는 경우에도 투영지도를 생성함으로써 기존 2차원 환경정보에 적용하는 기법들을 그대로 적용할 수 있는 효과가 있다. In addition, the present invention has the effect of applying the techniques applied to existing two-dimensional environment information as it is by generating a projection map even when acquiring three-dimensional information about the surrounding environment of the mobile robot through the multi-channel rider.
또한, 본 발명은 다채널 라이더를 통하여 이동로봇의 주변환경에 대한 3차원 정보를 획득하는 경우에도 투영지도를 생성함으로써 이동로봇의 안전과 최대 청소영역을 확보할 수 있는 효과가 있다. Also, in the present invention, even when three-dimensional information on the surrounding environment of the mobile robot is obtained through the multi-channel rider, the projection map is generated to secure the safety of the mobile robot and the maximum cleaning area.
도 1은 본 발명의 일실시예에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 방법의 흐름도이다.
도 3(a) 및 (b)는 본 발명의 실시예에서 적용되는 다채널 라이더(LiDAR) 센서를 도시한 것이다.
도 4는 본 발명의 일실시예가 적용된 청소로봇가 다채널 라이더를 이용하여 장애물 감지하는 과정의 모식도이다.
도 5(a) 내지 (c)는 본 발명의 일실시예가 적용된 청소로봇이 다채널 라이더에서 획득한 3차원 환경 정보에 기반한 수직 환경 구분 과정의 모식도이다.
도 6은 본 발명의 실시예에 따라 3차원 환경정보를 1byte(8bit)로 표시한 경우의 격자 정보를 도시한 것이다.
도 7(a) 및 (b)은 본 발명의 실시예에 따라 2byte 투영지도의 높이 표현 방법을 도시한 것이다.
도 8(a) 및 (b)는 본 발명의 실시예에 따라 3차원 장애물의 1byte 투영지도 표시 결과를 도시한 것이다.
도 9는 본 발명의 실시예에 따라 투영지도의 이진화한 결과를 도시한 것이다.
도 10은 본 발명의 일실시예가 적용되는 청소로봇에 장착된 다채널 LiDAR가 낮은 장애물 정보를 검출하기 위하여 바닥을 감지하는 과정을 도시한 것이다.
도 11은 본 발명의 일실시예가 적용된 청소로봇이 청소를 하는 경우 청소로봇과 장애물 간의 관계를 도시한 것이다.
도 12는 식(1)의 최적화 문제가 적용된 RRT로부터 최적의 경로를 선택하는 과정을 도시한 것이다.
도 13(a) 및 (b)는 식 (1)의 최적화 문제를 통한 potential field 기반의 경로 생성 과정을 도시한 것이다. 1 is a block diagram of an apparatus for detecting obstacles of a multi-channel rider-based mobile robot according to an embodiment of the present invention.
2 is a flowchart illustrating a method of detecting an obstacle of a multi-channel rider based mobile robot according to an embodiment of the present invention.
3 (a) and 3 (b) show a multi-channel rider (LiDAR) sensor applied in an embodiment of the present invention.
4 is a schematic diagram of a process in which a cleaning robot to which an embodiment of the present invention is applied detects obstacles using a multi-channel rider.
5 (a) to 5 (c) are schematic diagrams of a vertical environment classification process based on three-dimensional environment information acquired by a cleaning robot to which a cleaning robot to which an embodiment of the present invention is applied, is shown.
FIG. 6 illustrates lattice information in the case where three-dimensional environment information is represented by 1 byte (8 bits) according to an embodiment of the present invention.
7 (a) and 7 (b) illustrate a method of representing the height of a 2-byte projection map according to an embodiment of the present invention.
8 (a) and 8 (b) show a 1-byte projection map display result of a three-dimensional obstacle according to an embodiment of the present invention.
9 shows a result of binarization of a projection map according to an embodiment of the present invention.
FIG. 10 illustrates a process of detecting a floor for detecting low obstacle information by a multi-channel LiDAR mounted on a cleaning robot to which an embodiment of the present invention is applied.
FIG. 11 shows the relationship between a cleaning robot and an obstacle when the cleaning robot to which the embodiment of the present invention is applied is cleaning.
12 shows a process of selecting an optimal path from the RRT to which the optimization problem of Equation (1) is applied.
13 (a) and 13 (b) illustrate a potential field-based path generation process through the optimization problem of Equation (1).
이하에서는, 본 발명의 실시예에 따른 다채널 라이더 기반 청소로봇의 장애물 검출 장치 및 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.Hereinafter, an apparatus and method for detecting obstacles of a multi-channel rider-based cleaning robot according to an embodiment of the present invention will be described with reference to the accompanying drawings. The present invention will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present invention.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면 임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.In describing the constituent elements of the present invention, the same reference numerals may be given to constituent elements having the same name, and the same reference numerals may be given thereto even though they are different from each other. However, even in such a case, it does not mean that the corresponding component has different functions according to the embodiment, or does not mean that it has the same function in different embodiments, and the function of each component is different from that of the corresponding embodiment Based on the description of each component in FIG.
이하에서는 본 발명의 실시예가 적용되는 이동로봇을 청소로봇으로 설명하고 있으나, 이는 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로 본 발명의 청구범위를 한정하는 것은 아니다.Hereinafter, a mobile robot to which the embodiment of the present invention is applied is described as a cleaning robot. However, the present invention is not limited to the description of the present invention.
도 1은 본 발명의 일실시예에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치의 블록도이고, 도 2는 본 발명의 일실시예에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 방법의 흐름도이다. FIG. 1 is a block diagram of an apparatus for detecting obstacles of a multi-channel rider based mobile robot according to an embodiment of the present invention, and FIG. 2 is a flowchart of a method for detecting obstacles of a multi-channel rider based mobile robot according to an embodiment of the present invention .
본 발명의 일실시예에 따른 다채널 라이더 기반 이동로봇의 장애물 검출 장치(100)는 이동로봇의 장애물 정보를 포함하는 3차원 환경정보를 검출하기 위하여, 송신신호의 발사각이 상이한 적어도 두 개의 레이저 모듈들을 구비하는 다채널 라이더부(110), 상기 적어도 두 개의 레이저 모듈들의 수신 정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성부(120) 및 최적 경로를 생성하기 위한 것으로서 상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 주행경로 생성부(130)를 포함할 수 있다.In order to detect three-dimensional environment information including obstacle information of a mobile robot, an obstacle detecting apparatus 100 of a multi-channel rider based mobile robot according to an embodiment of the present invention includes at least two laser modules Dimensional environment information for defining obstacles on three-dimensional basis based on reception information of the at least two laser modules, and generating the three-dimensional environment information A projection
상기에서 3차원 환경 정보는 장애물에 대한 정보를 포함하며, 장애물에 대한 정보로 장애물의 위치, 크기, 형태 등에 대한 정보를 포함할 수 있다. 또한 2차원 공간 지도는 일 형태로 2차원 격자 지도로 형성될 수 있다. 주행경로 생성부(130)는 장애물의 공간 상의 위치를 판단할 때 장애물의 크기와 형태도 판단할 수 있으며, 장애물과의 충돌 없이 최소 거리로 접근하여 장애물을 회피하여 주행하기 위한 주행 경로를 생성할 수 있다.In this case, the 3D environment information includes information on the obstacle, and information on the obstacle may include information on the position, size, and shape of the obstacle. Also, the two-dimensional space map can be formed as a two-dimensional grid map in one form. When determining the position on the space of the obstacle, the traveling
다채널 라이더부(110)는, 이동로봇(200)의 이동방향 전방 상부에 위치하며, 상기 적어도 두 개의 레이저 모듈들(111,112)은 각각 수평 하방으로 서로 상이한 송신신호 발사각을 갖도록 탑재될 수 있다. 본 실시예에서 다채널 라이더는 다수의 레이저를 발광 또는 수광하는 레이저 모듈들을 포함하는 하나의 라이다(LiDAR)를 의미한다.The
투영지도 생성부(120)는, 다채널 라이더부(110)의 수신신호를 분석하여 문턱, 경사, 절벽을 포함하는 장애물의 형태 정보를 생성하고, 상기 3차원 환경정보를 n3의 정육면체를 이용하여 표현하는 3차원 환경정보 생성부(122)를 포함할 수 있다. Projection
투영지도 생성부(120)는 다채널 라이더부(110)에서 획득된 장애물의 수평적인 위치정보 및 수직적인 위치정보의 각각을 이용하여 마킹 격자 위치 및 격자 마킹 값을 결정할 수 있고, 또한 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출할 수 있다. The projection
투영지도 생성부(120)는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높일 수 있다. The projection
주행경로 생성부(130)는, 적어도 두개의 레이저 모듈들(111,112)로부터 바닥면까지의 수직 거리, 상기 레이저 모듈들의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정할 수 있다. The traveling
이동로봇(200)은 이동로봇(200)을 제어하는 이동로봇 제어부(150), 2차원 격자지도를 생성하는 격자지도 생성부(121)를 더 포함할 수 있다. 뿐만 아니라 이동로봇(200)은 다채널 라이더부(110)로부터 획득한 신호를 이용하여 3차원 환경정보를 생성하는 3차원 환경정보 생성부(122)를 더 포함할 수 있다. The
도 3(a) 및 (b)는 본 발명의 실시예에서 적용되는 다채널 라이더(LiDAR) 센서의 구조를 도시한 것이고, 도 4는 본 발명의 일실시예가 적용된 청소로봇가 다채널 라이더를 이용하여 장애물 감지하는 과정의 모식도이다. FIG. 3 illustrates a structure of a multi-channel rider (LiDAR) sensor according to an embodiment of the present invention. FIG. 4 is a diagram illustrating a structure of a cleaning robot according to an embodiment of the present invention, And FIG.
우선, 본 발명의 실시예가 적용되는 청소로봇(200)이 채용하고 있는 다채널 라이더(LiDAR)의 구조를 소개한다. 청소로봇(200)에 적용되는 LiDAR(110)는 다수의(2개 이상) 레이저 발/수광 세트(111,112)를 360도 회전시켜 주변의 장애물 정보를 3차원 적으로 획득할 수 있다(S100). 본 실시예에서 3차원 환경 정보는 청소 로봇(200) 주변에 대한 3차원 정보를 의미하며, 이러한 3차원 환경 정보는 장애물에 대한 정보도 포함함은 물론이다. First, the structure of a multi-channel rider (LiDAR) adopted by the cleaning
이하 도 3 및 도 4를 참조하여 설명한다. 도 3에 도신된 소형화된 다채널 LiDAR(111,112)를 장착한 청소로봇(200)과 다채널 LiDAR(110)로부터 획득한 3차원 환경정보를 기반으로 하는 청소로봇의 주행 알고리즘을 제안한다. 도 3(b)에 도시된 다채널 LiDAR(110)는 두 개의 레이저 모듈들(111,112)를 포함하고 있으며, 수평 방향의 장애물을 검출하기 위하여 수평방향으로 신호를 송신하고 반사신호를 수신하는 제1 레이저 모듈(111)과 낮은 장애물을 검출하기 위하여 수평 하방으로 신호를 송신하고, 반사신호를 수신하는 제2 레이저 모듈(112)을 포함하여 구성된다. 청소로봇(200)은 주변 환경에 대한 3차원 point cloud를 얻을 수 있는데, 이를 이용하면 기존 청소로봇에서 할 수 없었던 다음의 장점들을 얻을 수 있다. This will be described below with reference to Figs. 3 and 4. Fig. 3, a
1) 낮은 장애물(작은 장난감, 옷가지 등) 구분1) Low obstacle (small toy, clothes, etc.)
2) 수직 환경(문턱, 경사, 절벽) 구분2) Vertical environment (threshold, slope, cliff)
3) 3차원 지역 지도 기반의 충돌 회피 경로 계획 가능3) Collision avoidance path planning based on 3D map
위 장점들에 대한 자세한 사항은 다음과 같다.Details of the above advantages are as follows.
일반적으로, 낮은 장애물들은 (예를 들어, 장난감 블록, 양말, 옷가지 등) 청소로봇의 흡입구나 바퀴에 끼어 문제를 일으킬 수 있기 때문에 청소로봇의 안전한 주행을 위하여 반드시 고려되어야 한다. 그럼에도 불구하고, 기존의 적외선 또는 초음파 기반의 장애물 감지 청소로봇들은 센서들의 위치보다 낮은 장애물에 대한 감지가 불가능하였다. In general, low obstacles (for example, toy blocks, socks, clothes, etc.) may be interfered with the intake or the wheels of the cleaning robot, which must be considered for safe running of the cleaning robot. Nevertheless, existing infrared or ultrasonic based obstacle detection cleaning robots were unable to detect obstacles that were lower than the sensors' position.
특히, 지도 생성과 위치 추정 성능이 가장 우수한 단채널 레이저 스캔 센서 기반의 청소로봇은 SLAM 성능을 향상시키기 위하여 센서의 위치를 로봇의 가장 상단으로 설정하였기 때문에 낮은 장애물에 대한 감지 가 불가능하다.In particular, the cleaning robot based on the short channel laser scan sensor, which has the best map generation and position estimation performance, can not detect low obstacles because the sensor position is set at the uppermost position of the robot to improve the SLAM performance.
기존 청소로봇들에 반하여, 본 발명의 일실시예가 적용되는 다채널 LiDAR 기반의 청소로봇(200)은 수평적인 장애물 감지 뿐만 아니라 청소로봇의 하단을 측정할 수 있기 때문에, 기존의 단채널 레이저 스캔 센서 기반의 청소로봇과 같이 우수한 SLAM 성능을 유지하면서 도 4와 같이 청소로봇의 높이와 센서의 위치에 무관하게 낮은 장애물들을 감지할 수 있다. In contrast to conventional cleaning robots, the multi-channel LiDAR-based
수직 환경은 청소로봇의 주행 및 위치 추정 성능에 많은 영향을 미치는 중요 환경이다. 수평적으로 장애물을 측정하는 청소로봇들(범퍼 기반, 적외선 또는 초음파 기반, 단채널 레이저 스캔 센서 기반 청소로봇 등)은 수직 환경을 미리 확인할 수 없기 때문에 그 환경에 직면하였을 때 상황을 인지하거나, 무시하고 지나치게 된다. 문턱을 올라가거나 경사(bar-chair의 고정 장치 등)에 올라가면 청소로봇의 위치 추정 성능에 영향을 미치게 되어 청소 성능이 저하된다. 또한, 절벽인 경우 청소로봇이 빠졌을 때 청소로봇의 동작이 더 이상 불가능하기 때문에 바닥 측정 센서를 장착하여 청소로봇이 절벽에 빠지는 일을 방지하도록 하였다. 바닥 측정 센서의 경우에도 청소로봇 내에 장착되어 바퀴 바로 앞의 상황만을 감지하기 때문에 청소로봇이 회전하거나 빠르게 움직일 경우 미리 대응하여 청소로봇의 안정성을 향상시키는 것이 불가능하다. The vertical environment is an important environment that greatly affects the running and positioning performance of the cleaning robot. Cleaning robots that measure obstacles horizontally (such as bumper-based, infrared, or ultrasound-based, single-channel laser scan-sensor based cleaning robots) can not ascertain the vertical environment in advance, And over. Climbing the threshold or climbing up a slope (such as a bar-chair fixture) will affect the location estimation performance of the cleaning robot and degrade cleaning performance. In addition, in case of a cliff, since the operation of the cleaning robot is no longer possible when the cleaning robot is removed, a floor measuring sensor is installed to prevent the cleaning robot from falling into the cliff. Even in the case of the floor measuring sensor, since it is mounted in the cleaning robot and only the situation immediately before the wheel is detected, it is impossible to improve the stability of the cleaning robot in advance when the cleaning robot rotates or moves quickly.
도 5(a) 내지 (c)는 본 발명의 일실시예가 적용된 청소로봇이 다채널 라이더에서 획득한 3차원 환경 정보에 기반한 수직 환경 구분 과정의 모식도이고, 도 6은 본 발명의 실시예에 따라 3차원 환경정보를 1byte(8bit)로 표시한 경우의 격자 정보를 도시한 것이고, 도 7(a) 및 (b)은 본 발명의 실시예에 따라 2byte 투영지도의 높이 표현 방법을 도시한 것이고, 도 8(a) 및 (b)는 본 발명의 실시예에 따라 3차원 장애물의 1byte 투영지도 표시 결과를 도시한 것이다. 5 (a) to 5 (c) are schematic views of a vertical environment classification process based on three-dimensional environment information acquired by a cleaning robot to which a cleaning robot to which an embodiment of the present invention is applied, FIGS. 7A and 7B illustrate a method of representing a height of a 2-byte projection map according to an embodiment of the present invention, and FIGS. 7A and 7B illustrate grid information in a case where three- 8 (a) and 8 (b) show a 1-byte projection map display result of a three-dimensional obstacle according to an embodiment of the present invention.
청소로봇(200)이 다채널 LiDAR(110)를 이용할 경우, 수직 환경에 대하여 도 5(a) 내지 (c)에 도시된 장애물 정보를 획득하는 것이 가능하고 이를 기준으로 청소로봇의 주행 경로를 미리 계획할 수 있다. 따라서 청소로봇이 수직 환경에 직면하기 전에 이를 감지하여 회피하는 것이 가능하다. When the cleaning
기존의 청소로봇들 중 레이저 스캔 센서 기반의 청소로봇은 주변의 장애물 정보를 거리를 둔 상태에서(직면하지 않는 상태)에서 장애물들을 감지할 수 있기 때문에 미리 충돌을 회피할 수 있는 이동경로를 계획할 수 있다. 그러나 앞서 언급되었던 것과 같이, 낮은 장애물을 감지할 수 없고, 수직 환경을 구분할 수 없기 때문에, 여전히 장애물과의 충돌 위험이 있다. Among the conventional cleaning robots, the cleaning robot based on the laser scanning sensor can detect the obstacles in a state in which the obstacle information of the surroundings is kept at a distance (non-confronted state). Therefore, . However, as mentioned earlier, there is still a risk of collision with obstacles, since low obstacles can not be detected and vertical environments can not be distinguished.
다채널 LiDAR(110)가 적용된 청소로봇(200)은 주변에 대한 3차원 정보를 제공하기 때문에 낮은 장애물들과, 수직 환경들을 포함한 로봇의 안전한 주행에 영향을 미치는 장애물들과의 충돌을 회피할 수 있는 경로를 장애물들에 직면하기 전에 계획하는 것이 가능하다.Since the
본 발명에서 개시하고 있는 다채널 LiDAR(110)를 통하여 획득된 청소로봇의 주변 3차원 환경정보를 작은 저장 공간에 정보 손실 없이 표시하는 투영지도를(projective map) 제안한다. 청소로봇은 낮은 제조 단가를 유지해야 하기 때문에 큰 메모리 사이즈와 높은 연산 능력을 보장할 수 없다. 즉, 기존의 이동로봇 연구들에서 사용되어온 큰 저장 용량과 좋은 연산 성능을 필요로 하는 point cloud를 그대로 적용하는데 한계가 있다. 본 발명의 개시에서는 청소로봇 주변의 장애물 정보와 지도 정보를 정보의 손실 없이 작은 저장 공간에 저장하기 위한 투영지도(projective map)를 제안하고 있다. The present invention proposes a projective map that displays the surrounding three-dimensional environment information of the cleaning robot obtained through the
일반적인 청소로봇에서는 저장 용량이 작고, 작은 연산 성능으로도 활용이 가능하기 때문에 격자지도(grid map)가 주로 사용되어 왔다. 그러나 환경을 3차원으로 표현하는 point cloud는 2차원 격자지도에 비해 공간적 차수가 1차 더 많기 때문에 더 많은 저장 공간을 필요로 하기 때문에 청소로봇에서는 연산 능력과 저장 공간의 제약이 발생한다. 따라서 다음과 같은 방법으로 격자지도에 3차원 정보를 포함할 수 있는 투영지도를 생성하도록 한다.(S200)Grid maps have been mainly used in general cleaning robots because they have small storage capacity and can be used for small computation performance. However, since the point cloud that represents the environment in three dimensions requires more storage space because the spatial order is larger than that of the two dimensional grid map, the cleaning robot is limited in the computing capacity and storage space. Accordingly, a projection map including three-dimensional information is generated on the grid map in the following manner (S200)
1) 3차원 공간을 n3 의 정육면체를 이용하여 표현한다.(S210) 1) A three-dimensional space is represented by using a cubic body of n 3 (S210)
2) LiDAR에서 획득된 장애물의 수평적인 위치정보를 이용하여 마킹할 격자 위치를 결정한다.(S220) 2) The grid position to be marked is determined using the horizontal position information of the obstacle obtained in LiDAR (S220)
3) LiDAR에서 획득된 장애물의 수직적인 위치정보를 이용하여 격자에 마킹할 값을 결정한다.(S230) 3) The value to be marked on the grid is determined using the vertical position information of the obstacle obtained in LiDAR (S230)
예를 들어, 3차원의 주변공간을 33(cm3)의 정육면체를 이용하여 표현하면 3cm x 3cm x 3cm의 정육면체의 격자들로 3차원 주변환경을 표현하는 것이다.For example, if the three-dimensional surrounding space is represented by using a cubic body of 3 3 (cm 3 ), the 3-dimensional surroundings are represented by cubic lattices of 3 cm x 3 cm x 3 cm.
여기서, 각 격자가 1byte(8bit)로 표현된 경우를 살펴보면 도 6에 도시된 바와 같이 결정할 수 있다. Here, the case where each lattice is represented by 1 byte (8 bits) can be determined as shown in FIG.
도 6에서 나타난 것과 같이 높이 정보 격자 사이즈를 이용하여 각 bit로 할당하여 표시하면 정보의 손실 없이 2차원 격자지도를 이용하여 3차원 정보를 표시한수 있다. 다음의 예를 이용하여, 도 6의 투영지도 생성방법을 더 자세히 나타낸다. As shown in FIG. 6, if each bit is assigned and displayed using the height information grid size, three-dimensional information can be displayed using a two-dimensional grid map without loss of information. Using the following example, the projection map generation method of FIG. 6 is shown in more detail.
예를 들면, 격자의 크기가 1.5cm라고 할 때(n=1.5), 장애물이 수직위치가 지면에서부터 4.5cm라면 아래와 같이 표현 가능 하다. 이를 16진수를 이용하여 표현하면, 격자에 들어갈 값은 0x70이다. For example, if the grid size is 1.5 cm (n = 1.5) and the vertical position of the obstacle is 4.5 cm from the ground, Expressed using hexadecimal numbers, the value to be entered into the lattice is 0x70.
0 : 1 : 1 : 1 : 0 : 0 : 0 : 0 0: 1: 1: 1: 0: 0: 0: 0
도 7에 도시된 바와 같이, 격자지도를 2byte (16bit)로 표현하면 1byte 격자와 같은 측정 범위를 가진다면 더 세밀하게 표현하는 것이 가능하고, 1byte 격자와 같은 격자 사이즈를 가진다면 더 넓은 범위를 표현할 수 있다. As shown in FIG. 7, if a lattice map is represented by 2 bytes (16 bits), it can be expressed more finely if it has the same measurement range as a 1 byte lattice, and if it has the same lattice size as a 1 byte lattice, .
도 6 및 7에 도시된 바와 같이, 3차원 주변 환경정보를 3차원 배열 또는 3차원 point cloud없이 2차원적 격자지도를 이용하여 위치 정보의 손실 없이 투영지도를 생성하는 방법을 제안하였다. 도 6 및 7의 방법을 이용하여 청소로봇에서 3차원 정보를 표현하는 방법을 도시하면 도 7과 같이 나타낼 수 있다. As shown in FIGS. 6 and 7, a method of generating a projection map without loss of position information using a two-dimensional grid map without a three-dimensional array or a three-dimensional point cloud is proposed. The method of representing the three-dimensional information by the cleaning robot using the method of FIGS. 6 and 7 can be shown in FIG.
도 8(a) 및 (b)에 도시된 바와 같이 청소로봇에서 측정된 3차원 장애물은 2차원 투영지도에 정보 손실 없이 표현하는 것이 가능하다는 것을 알 수 있다. 도 8(a)에서 보는 것과 같이 지역 지도의 (2, 1)위치의 장애물은 1n의 높이 내에 있기 때문에, M(2,1) = 00010000 이므로 (여기서 M은 지역지도를 나타낸다), 16진수로 표현 시 도 8와 같이 M(2,1)=0x10이 된다. As shown in FIGS. 8 (a) and 8 (b), it can be seen that the three-dimensional obstacle measured by the cleaning robot can be expressed without loss of information in the two-dimensional projection map. Since the obstacle at the (2, 1) position of the area map is within the height of 1n as shown in FIG. 8 (a), M (2,1) = 00010000 (where M represents the area map) When expressed, M (2,1) = 0x10 as shown in FIG.
청소로봇에 있어서 벽을 구분하는 것은 매우 중요한 능력 중 하나이다. 먼지가 많이 모이는 벽과 바닥의 경계나 구석진 곳에 붙어서 청소하는 능력은 먼지를 많이 모아 담아야 하는 청소로봇의 청소 성능을 가늠하는 중요한 척도가 된다. 따라서 주변 환경 정보로부터 벽을 구분하고 벽에 가까이 접근하여 충돌 없이 벽을 따라 이동하는 wall following 기능이 매우 중요하다. In cleaning robots, distinguishing walls is one of the most important skills. The ability to clean by attaching to the edge or corner of the wall and floor where the dust is gathered is an important measure of the cleaning performance of the cleaning robot which must collect the dust. Therefore, wall following function is very important because it separates the wall from surrounding information and moves close to the wall without collision.
기존의 청소로봇에서 하나 또는 두 개의 적외선 또는 거리 측정 센서를 이용하여 센서의 오차에 따라 로봇이 벽을 따라 직선으로 이동하지 못하고 지그재그로 이동하는 방식과는 달리, 주변의 정보를 360도 획득할 수 있는 레이저 스캔 센서 기반의 청소로봇들은 더 많은 환경정보를 이용하여 주변의 벽을 정확히 구분하고, 더 많은 정보들 (예를 들어, 벽의 진행 방향 등)을 제공할 수 있다. Unlike the conventional cleaning robot that uses one or two infrared or distance measurement sensors to move the robot in a straight line along the wall according to the error of the sensor, it moves around in a zigzag manner. Cleaning scanners based on laser scanning sensors can use more environmental information to accurately identify the surrounding walls and provide more information (eg, the direction of the wall).
일반적으로, 3차원 다채널 라이더 기반의 청소로봇은 3차원 환경정보를 사용하기 때문에 기존의 2차원 레이저 스캔 센서 기반의 벽 추출 알고리즘들을 사용하는 것이 어렵다. Generally, it is difficult to use the conventional 2D laser scan sensor based wall extraction algorithms because the 3D multi-channel rider-based cleaning robot uses 3D environment information.
그러나 본 발명의 일실시예가 적용된 다채널 라이더 기반의 이동로봇(200)은 3차원 환경정보를 획득함에도 불구하고, 투영지도를 사용하여 용이하게 모든 정보를 종합하여 기존이 2차원 환경 정보에서 사용하는 기법들을 다음과 같은 과정을 거쳐 그대로 사용할 수 있다.However, although the multi-channel rider-based
1) 높이 정보가 포함된 투영지도를 1또는 0으로 표현되는 이진 정보로 바꾼다.1) Replace the projection map containing height information with binary information expressed as 1 or 0.
2) 이진 투영지도를 허프 변환하여 직선 영역을 추출한다. 2) Extract the linear region by Hough transform the binary projection map.
3) 청소 지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높인다.3) Increase the priority for areas that have not been cleaned compared to the cleaning map, and increase the priority of the straight line near the distance.
더욱 상세히 설명하면, 벽에 대한 정보를 추출하기 위하여 3차원 정보를 담고 있는 투영지도를 1과 0으로 표시되는 이진화 과정을 통해 2차원 정보로 압축하는 과정을 거친다. 투영지도를 이진화하는 과정은 알고리즘 1)과 같이 나타낼 수 있다.(S300)More specifically, in order to extract information about a wall, a projection map containing three-dimensional information is compressed into two-dimensional information through a binarization process represented by 1 and 0. The process of binarizing the projection map can be represented as Algorithm 1) (S300)
알고리즘 1)Algorithm 1)
if M(n,m) >0if M (n, m) > 0
B(n,m) = 1; B (n, m) = 1;
elseelse
B(n,m) = 0;B (n, m) = 0;
여기서, B는 이진 지도로 지역지도를 모두 1과 0만을 이용하여 표시한 지도이다. Here, B is a map in which binary maps are used to display all the area maps using only 1 and 0.
알고리즘 1)에서 보는 것과 같이, 투영지도 M의 위 과정을 거처 이진지도 B로 변환되며, 2차원 정보로 환원된다.(S310) 도 8(b)의 정보를 이진화 하면 다음 도 9와 같이 나타낼 수 있다. As shown in Algorithm 1), the above process of the projection map M is transformed into a binary map B and converted to two-dimensional information (S310). The binarization of the information shown in FIG. 8 (b) have.
도 9는 본 발명의 실시예에 따라 투영지도의 이진화한 결과를 도시한 것이다. 9 shows a result of binarization of a projection map according to an embodiment of the present invention.
도 9와 같이 표시된 이진 지도를 이용하여 우리는 기존에 많이 사용되어온 알고리즘들을 쉽게 적용할 수 있다. 보통의 경우 벽은 직선 성분이 매우 강하게 나타나기 때문에 본 문서에서는 기존 영상처리나 장애물 지도 분석에 많이 사용되어온 허프 변환을 통하여 직선 성분들을 추출한다.(S320) Using the binary map shown in FIG. 9, we can easily apply the existing algorithms. In this paper, linear components are extracted through Hough transform, which is often used for existing image processing and obstacle map analysis (S320)
3차원 환경정보를 표시하는 투영지도를 이진화를 통해 이진 지도로 변환하고 이를 허프 변환을 통하여 직선 성분들을 추출하여 벽을 추정하고 나면, 각 추정된 벽들에 대하여 우선 순위를 부여하도록 한다(S330). 각 벽들의 우선 순위는 다음의 사항들을 기준으로 구분한다. After the projection map for displaying the three-dimensional environment information is converted into a binary map through binarization and the linear components are extracted through the Hough transform, the walls are estimated, and the estimated walls are given priority in step S330. Priority of each wall is classified according to the following.
1) 청소 유무, 청소가 되지 않은 곳의 우선순위를 높이 한다. 1) Increase the priority of cleaning and non-cleaning.
2) 거리 관계, 거리가 가까울수록 우선순위를 높이 한다. 2) The higher the distance relation and distance, the higher the priority.
위 두 사항을 기준으로 모든 추정된 벽들에 대하여 우선순위를 부여하고, 그 중 최고 우선순위의 벽을 추종할 수 있도록 한다.Priority is given to all estimated walls based on the above two points, and the wall of the highest priority among them is followed.
기존 청소로봇들에서 감지되지 않은 낮은 장애물들은 로봇에 말려 들어갈 수 있는 옷가지, 장난감 블록, 또는 동물의 배설물 등 실제로 로봇의 안전한 주행과 청소 성능에 많은 영향을 미치고 있어 반드시 감지되고 회피되어야 한다. 본 발명의 일실시예가 적용된 다채널 LiDAR를 장착한 청소로봇(200)은 다채널 LiDAR가 장착된 위치보다 낮은 장애물들에 대한 정보를 획득할 수 있기 때문에 낮은 장애물과의 충돌 및 이에 따라 발생하는 다양한 문제들을 회피할 수 있다. 이를 위하여 3차원 지도 정보에서 바닥과 장애물을 구분하여 장애물을 표시하는 것이 매우 중요하다. The low obstacles that are not detected by the conventional cleaning robots must be detected and avoided because they have a lot of influence on the safe running and cleaning performance of robots, such as clothes, toy blocks, or animal excrements that can be caught in the robots. Since the
도 10은 본 발명의 일실시예가 적용되는 청소로봇에 장착된 다채널 LiDAR가 낮은 장애물 정보를 검출하기 위하여 바닥을 감지하는 과정을 도시한 것이다. FIG. 10 illustrates a process of detecting a floor for detecting low obstacle information by a multi-channel LiDAR mounted on a cleaning robot to which an embodiment of the present invention is applied.
도 10에서 보는 것과 같이 청소로봇에 장착된 다채널 LiDAR에로부터 측정된 청소로봇의 아래 방향 정보에서 센서에서 바닥까지의 거리가 d n = h/cos(θ n ) (여기서, n= 1, 2, 3) 가 되면 바닥으로 추정할 수 있다. 그렇지 않은 경우 바닥이 아닌 장애물로 표시 가능하다. 이를 투영지도를 이용하여 나타내면 다음과 같이 표현하는 것이 가능하다.(S400) A is the distance in the downward direction information of the robot cleaner measured from the channel LiDAR to the floor by the sensor mounted in the cleaning robot, as shown in FIG. 10 d n = h / cos ( θ n) ( here, n = 1, 2 , 3), it can be estimated as the bottom. Otherwise, it can be displayed as an obstacle rather than a floor. If this is expressed using the projection map, it is possible to express it as follows (S400)
도 8을 참조하여 예를 들면, 다채널 LiDAR 센서의 위치가 3n인 경우, 낮은 장애물들은 0x80 (10000000)보다 작은 수로 표시된다. 또한, 보통의 청소로봇들과 같이 낮지 않은 장애물들은 모두 투영지도에 0x80보다 크거나 같은 값으로 표시될 것이다. 이러한 두 정보를 조합하여 장애물 정보를 획득할 수 있고 청소로봇은 다음 장과 같이 장애물에 직면하기 전에 미리 충돌 회피 경로를 계획할 수 있다.(S500) Referring to FIG. 8, for example, when the position of the multi-channel LiDAR sensor is 3n, low obstacles are displayed in a number smaller than 0x80 (10,000,000). Also, all non-low obstacles, such as normal cleaning robots, will be displayed on the projection map with a value greater than or equal to 0x80. By combining these two pieces of information, the obstacle information can be obtained, and the cleaning robot can plan the collision avoidance path in advance before facing the obstacle as in the next chapter (S500)
더욱 상세하게, 청소로봇의 안전과 최대 청소영역을 확보할 수 있는 최적의 충돌 회피경로 생성 알고리즘을 설명하다. More specifically, an optimal collision avoidance path generation algorithm capable of ensuring the safety of the cleaning robot and the maximum cleaning area is described.
전술한 바와 같이, 낮은 장애물을 포함한 모든 장애물 정보를 투영지도에 표현되기 때문에 이를 바탕으로 하여 장애물과의 충돌에 직면하기 전에 충돌 회피가 가능한 경로를 계획하는 것이 가능하다. 장애물로부터 가장 먼 곳들을 연결하여 충돌을 회피하는 경로를 생성하는 기존의 이동로봇들과는 청소로봇은 가능한 많은 지역을 빠짐없이 청소해야 하기 때문에 장애물에 가까이 붙으면서 장애물과의 충돌을 회피하여야 하는 어려움이 있다. As described above, since all the obstacle information including the low obstacle is displayed on the projection map, it is possible to plan a route capable of collision avoidance before facing the collision with the obstacle. Since the cleaning robot needs to clean as much space as possible from existing mobile robots that generate a path avoiding collision by connecting the furthest points from the obstacle, there is a difficulty in avoiding collision with an obstacle while approaching the obstacle .
도 11은 본 발명의 일실시예가 적용된 청소로봇이 청소를 하는 경우 청소로봇과 장애물 간의 관계를 도시한 것이다. FIG. 11 shows the relationship between a cleaning robot and an obstacle when the cleaning robot to which the embodiment of the present invention is applied is cleaning.
도 11에서 도시된 바와 같이, 장애물들은 모두 청소로봇의 safe zone의 바깥에 위치하여야 한다. 그러나 청소로봇에서 장애물까지의 가장 가까운 거리 d o 가 최소가 되도록 경로를 생성하여야 최대한 넓은 면적을 청소할 수 있게 된다. 도 11을 기반으로 최적 경로는 식(1)의 최적화 문제로 환원된다. As shown in Fig. 11, all obstacles must be located outside the safe zone of the cleaning robot. However, it is possible to clean the large area as much as possible by creating a path such that the closest distance d o from the cleaning robot to the obstacle is minimized. Based on FIG. 11, the optimal path is reduced to the optimization problem of equation (1).
minimize d o (1)minimize d o (1)
subject to d o > r + d s subject to d o > r + d s
식(1)의 최적화 문제를 만족하면서 청소로봇의 이동경로를 결정해야 하는데, 이를 위하여 식(1)의 최적화 문제를 기존 이동로봇의 경로 계획 알고리즘에 적용할 수 있다. 특히, 본 발명에서는 RRT (rapid random tree)와 Potential field(참고, wavefront 방법과 유사하다.) 기법을 고려한다.The optimization problem of Eq. (1) must be determined and the moving path of the cleaning robot should be determined. For this, the optimization problem of Eq. (1) can be applied to the path planning algorithm of existing mobile robot. Particularly, the present invention considers the RRT (rapid random tree) and the Potential field (similar to the wavefront method).
먼저, RRT의 경우, 다음과 같이 청소로봇이 이동할 수 있는 다양한 경로의 집합인 로드맵(roadmap)을 생성하고, 그 중 최적의 경로를 선택하기 위하여 식(1)의 최적화 문제 적용한다. First, in the case of the RRT, a roadmap is created as a set of various paths that the cleaning robot can move as follows, and the optimization problem of Equation (1) is applied in order to select an optimal path among them.
도 12는 식(1)의 최적화 문제가 적용된 RRT로부터 최적의 경로를 선택하는 과정을 도시한 것이다. 12 shows a process of selecting an optimal path from the RRT to which the optimization problem of Equation (1) is applied.
도 12에서 점선은 청소로봇이 이동할 수 있는 모든 경로들을 표시한 것이고, 실선은 가능한 모든 경로들 중에서 식(1)의 최적화 문제를 통해 선택된 청소로봇의 이동 경로 이다. In FIG. 12, the dotted line indicates all the paths that the cleaning robot can move, and the solid line is the movement path of the cleaning robot selected through the optimization problem of Equation (1) among all possible paths.
도 13(a) 및 (b)는 식 (1)의 최적화 문제를 통한 potential field 기반의 경로 생성 과정을 도시한 것이다. 13 (a) and 13 (b) illustrate a potential field-based path generation process through the optimization problem of Equation (1).
Potential field를 적용하였을 때에는 장애물과 청소로봇의 거리에 따라 도 13(a)와 같은 potential을 부여하게 된다. When the potential field is applied, the potential as shown in FIG. 13 (a) is given according to the distance between the obstacle and the cleaning robot.
도 13(a)에 도시된 바와 같이 식(1)의 최적화 문제를 potential field에 적용하면 d o 가 r + d s 일때 potential이 최소가 되기 때문에 도 13 (b)와 같은 경로를 얻을 수 있다. As shown in FIG. 13 (a), when the optimization problem of Equation (1) is applied to the potential field, the potential is minimized when d o is r + d s .
본 발명의 개시에서는 다채널 LiDAR를 장착하여 3차원 환경정보 획득이 가능한 청소로봇을 소개하고, 이를 이용한 청소 주행 알고리즘들을 제안하였다. 먼저, 투영지도를 제안함으로써 큰 저장 공간과 연산 능력이 필요한 3차원 공간정보를 기존의 2차원 격자지도에 정보 손실 없이 적용할 수 있게 되었다. 또한, 투영지도를 이용하여 3차원 정보를 쉽게 기존의 방법들을 적용하여 벽 정보를 추출하였고, 장애물을 구분할 수 있게 되었다. 또한 이러한 벽과 장애물 정보를 기반으로 하여 청소영역을 최대화하고 장애물과의 충돌을 회피할 수 있는 주행 경로를 계획하였다. In the present invention, a cleaning robot capable of acquiring three-dimensional environment information by installing a multi-channel LiDAR is introduced, and a cleaning running algorithm using the cleaning robot is proposed. First, by proposing a projection map, it is possible to apply 3 - D spatial information, which requires a large storage space and computing power, to the existing two - dimensional grid map without loss of information. Also, by using projection maps, we can easily extract 3D information by applying existing methods, and can distinguish obstacles. Based on these wall and obstacle information, we also planned a travel route that maximizes the cleaning area and avoids collision with obstacles.
상술한 본 발명의 실시예에 따른 장애물 검출을 위한 방법은, 컴퓨터에서 판독가능한 소프트웨어의 형태로 구현될 수 있으며, 이러한 소프트웨어는 자율 주행 청소로봇 내에 탑재된 프로세서에서 실행될 수 있다.The method for detecting an obstacle according to the above-described embodiment of the present invention can be implemented in the form of computer readable software, which can be executed in a processor mounted in an autonomous navigation cleaning robot.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다. It is to be understood that the present invention is not limited to these embodiments, and all of the elements constituting the embodiments of the present invention described above may be combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer-readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
110 : 다채널 라이더부
111 : 레이저 모듈 1
112 : 레이저 모듈 2
120 : 투영지도 생성부
121 : 격자지도 생성부
122 : 3차원 환경정보 생성부
130 : 주행경로 생성부
150 : 이동로봇 제어부
200 : 이동로봇110: multi-channel rider part
111:
112:
120: a projection map generation unit
121: Grid map generation unit
122: 3D environment information generating unit
130:
150: Mobile robot controller
200: Mobile robot
Claims (16)
상기 적어도 두 개의 레이저 모듈들의 수신 정보 및 주변 환경을 3차원으로 표현하는 포인트 클라우드(point cloud)를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성부; 및
상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 주행경로 생성부;
를 포함하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치.A multi-channel rider unit having at least two laser modules whose emission angles are different from each other to detect three-dimensional environment information including obstacle information of the mobile robot;
Generating three-dimensional environment information for defining obstacles on a three-dimensional basis on the basis of a point cloud representing reception information of the at least two laser modules and the surrounding environment in three dimensions, A projection map generation unit for generating a projection map including three-dimensional environment information; And
A traveling path generating unit for determining a position on the space of the obstacle based on the projection map and generating a traveling path for avoiding the obstacle and traveling;
Channel rider-based mobile robot.
상기 다채널 라이더부는, 상기 이동로봇의 이동방향 전방 상부에 위치하며, 상기 적어도 두 개의 레이저 모듈들은 각각 수평 하방으로 서로 상이한 송신신호 발사각을 갖도록 탑재되는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치.The method according to claim 1,
Wherein the multi-channel rider unit is positioned above the moving robot in the moving direction, and the at least two laser modules are mounted to have a transmission signal emission angle different from each other horizontally downward. Detection device.
상기 투영지도 생성부는, 상기 다채널 라이더부의 수신신호를 분석하여 문턱, 경사, 절벽을 포함하는 장애물의 형태 정보를 생성하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치. The method according to claim 1,
Wherein the projection map generation unit analyzes the reception signal of the multi-channel rider unit to generate shape information of an obstacle including a threshold, a slope, and a cliff.
상기 투영지도 생성부는,
상기 3차원 환경정보를 n3의 정육면체를 이용하여 표현하는 3차원 환경정보 생성부를 포함하고,
상기 다채널 라이더부에서 획득된 장애물의 수평적인 위치정보 및 수직적인 위치정보의 각각을 이용하여 마킹 격자 위치 및 격자 마킹 값을 결정하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치. The method according to claim 1,
The projection map generation unit generates,
And a three-dimensional environment information generation unit for expressing the three-dimensional environment information using a cubic body of n 3 ,
Wherein the marking grid position and the grid marking value are determined using the horizontal positional information and the vertical positional information of the obstacle obtained by the multi-channel rider unit.
상기 투영지도 생성부는, 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치. The method according to claim 1,
Wherein the projection map generation unit extracts a straight line region by performing a Hough transform on a binary projection map obtained by changing the projection map including the height information to 1 or 0 binary information.
상기 투영지도 생성부는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높이는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치. 5. The method of claim 4,
Wherein the projection map generation unit raises the priority of the area that has not been cleaned compared with the cleaning map and raises the priority of the straight line near the distance.
상기 주행경로 생성부는, 각 레이저 모듈로부터 바닥면까지의 수직 거리, 상기 레이저 모듈들의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치. The method according to claim 1,
Wherein the traveling path generating unit estimates whether or not an obstacle is present based on a vertical distance from each laser module to a floor surface and a horizontal downward launch angle of a transmission signal of the laser modules. Device.
상기 주행경로 생성부는 상기 장애물의 공간 상의 위치를 판단할 때 상기 장애물의 크기와 형태도 판단하며, 상기 장애물과의 충돌 없이 최소 거리로 접근하여 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 장치.The method according to claim 1,
The traveling path generating unit determines a size and a shape of the obstacle when determining the position on the space of the obstacle, and generates a traveling route for avoiding the obstacle by approaching the minimum distance without collision with the obstacle Channel rider based obstacle detection apparatus.
상기 레이저 모듈들의 수신정보 및 주변 환경을 3차원으로 표현하는 포인트 클라우드(point cloud)를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 단계; 및
상기 투영지도를 이용하여 2차원 정보 기반의 벽추출 알고리즘으로 벽 정보를 추출하고, 상기 적어도 두 개의 레이저 모듈들이 획득한 3차원 환경정보를 이용하여 낮은 장애물 정보를 검출하는 주행경로 생성 단계;
를 포함하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법.Acquiring three-dimensional environment information around the mobile robot using at least two laser modules having different emission angles of transmission signals;
Generating three-dimensional environment information for defining obstacles on a three-dimensional basis based on a point cloud representing receiving information of the laser modules and a surrounding environment in three dimensions, Generating a projection map including information; And
A traveling path generating step of extracting wall information by a two-dimensional information-based wall extraction algorithm using the projection map, and detecting low obstacle information by using the three-dimensional environment information obtained by the at least two laser modules;
Channel rider based obstacle detection method.
상기 환경정보를 획득하는 단계는, 상기 적어도 두 개의 레이저 모듈들은 각각 수평 하방으로 서로 상이한 발사각으로 신호를 송신하고 수신하여, 상기 이동로봇의 전방 및 하방의 장애물을 검출하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. 10. The method of claim 9,
Wherein the acquiring of the environment information is performed such that the at least two laser modules each transmit and receive a signal at a different launch angle horizontally downward to detect obstacles in front of and below the mobile robot, A method for detecting obstacles in a mobile robot.
상기 투영지도를 생성하는 단계는,
상기 3차원 환경정보를 n3 의 정육면체를 이용하여 표현하는 단계;
상기 적어도 두 개의 레이저 모듈들에서 획득된 장애물의 수평적인 위치정보를 이용하여 마킹할 격자 위치를 결정하는 단계; 및
상기 적어도 두 개의 레이저 모듈들에서 획득된 장애물의 수직적인 위치정보를 이용하여 격자에 마킹할 값을 결정하는 단계를 포함하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. 10. The method of claim 9,
Wherein the step of generating the projection map comprises:
Expressing the three-dimensional environment information using a cube of n 3 ;
Determining a grid position to be marked using horizontal position information of the obstacle obtained in the at least two laser modules; And
And determining a value to be marked on the lattice using the vertical position information of the obstacle obtained from the at least two laser modules.
상기 투영지도를 생성하는 단계는, 장애물의 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. 12. The method of claim 11,
Wherein the step of generating the projection map extracts the linear region by performing a Hough transform on the binary projection map obtained by changing the projection map including the height information of the obstacle into binary information of 1 or 0, .
상기 투영지도를 생성하는 단계는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높이는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. 12. The method of claim 11,
Wherein the step of generating the projection map raises the priority of the area that has not been cleaned compared with the cleaning map and raises the priority of the straight line near the distance, Way.
상기 주행경로 생성 단계는, 상기 적어도 두 개의 레이저 모듈들로부터 바닥면까지의 수직 거리, 상기 레이저 모듈들의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정하는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. The method of claim 9, wherein
Wherein the traveling path generating step estimates whether or not an obstacle is present based on a vertical distance from the at least two laser modules to a bottom surface and a horizontal downward launch angle of a transmission signal of the laser modules, Obstacle detection method of mobile robot.
상기 주행경로 생성 단계는, 상기 이동로봇이 청소를 한 영역과 하지 않은 영역 중 청소를 하지 않은 영역에 대한 우선순위를 높이는 것을 특징으로 하는 다채널 라이더 기반 이동로봇의 장애물 검출 방법. The method of claim 14, wherein
Wherein the traveling path generating step raises the priority of the area that has not been cleaned out of the area where the mobile robot has cleaned and the area that is not cleaned.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160161693A KR101878827B1 (en) | 2016-11-30 | 2016-11-30 | Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same |
| PCT/KR2017/012629 WO2018101631A2 (en) | 2016-11-30 | 2017-11-08 | Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner |
| EP17876999.8A EP3549726B1 (en) | 2016-11-30 | 2017-11-08 | Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner |
| EP22210146.1A EP4177639A1 (en) | 2016-11-30 | 2017-11-08 | Robotic vacuum cleaner with multichannel lidar-based obstacle detection and slip detection |
| US15/825,122 US10962647B2 (en) | 2016-11-30 | 2017-11-29 | Lidar apparatus based on time of flight and moving object |
| US17/183,349 US20210199807A1 (en) | 2016-11-30 | 2021-02-24 | Lidar apparatus based on time of flight and moving object |
| US17/183,347 US20210181347A1 (en) | 2016-11-30 | 2021-02-24 | Lidar apparatus based on time of flight and moving object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160161693A KR101878827B1 (en) | 2016-11-30 | 2016-11-30 | Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180061949A KR20180061949A (en) | 2018-06-08 |
| KR101878827B1 true KR101878827B1 (en) | 2018-07-17 |
Family
ID=62600612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160161693A KR101878827B1 (en) | 2016-11-30 | 2016-11-30 | Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101878827B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200109235A (en) * | 2019-03-12 | 2020-09-22 | 주식회사 베어로보틱스코리아 | Robots for serving food and/or drinks |
| KR20200110143A (en) * | 2019-03-12 | 2020-09-23 | 주식회사 베어로보틱스코리아 | Robots for serving food and/or drinks |
| WO2021101047A1 (en) * | 2019-11-20 | 2021-05-27 | Samsung Electronics Co., Ltd. | Mobile robot device and method for controlling mobile robot device |
| WO2021177752A1 (en) | 2020-03-04 | 2021-09-10 | 주식회사 유진로봇 | Micro-lidar sensor |
| KR20210112257A (en) | 2020-03-04 | 2021-09-14 | 주식회사 유진로봇 | Compact Lidar Sensor |
| EP4134774A1 (en) * | 2021-07-30 | 2023-02-15 | Canon Kabushiki Kaisha | Information processing apparatus, moving body, method for controlling information processing apparatus, and program |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102326077B1 (en) * | 2017-06-15 | 2021-11-12 | 엘지전자 주식회사 | Method of identifying movable obstacle in 3-dimensional space and robot implementing thereof |
| KR102129258B1 (en) * | 2018-08-02 | 2020-07-02 | 주식회사 다비오 | Apparatus and method for producing map |
| CN110909569B (en) * | 2018-09-17 | 2022-09-23 | 深圳市优必选科技有限公司 | Road condition information identification method and terminal equipment |
| CN113961005A (en) * | 2018-10-22 | 2022-01-21 | 科沃斯机器人股份有限公司 | Travel control method, surface cleaning robot, and storage medium |
| KR102105105B1 (en) * | 2018-12-31 | 2020-04-27 | 주식회사 트위니 | Method of aiding driving and apparatuses performing the same |
| CN110442126A (en) * | 2019-07-15 | 2019-11-12 | 北京三快在线科技有限公司 | A kind of mobile robot and its barrier-avoiding method |
| KR102301759B1 (en) * | 2019-07-17 | 2021-09-14 | 주식회사 유진로봇 | Environment Learning Device and Method in Charging Time for Autonomous Mobile Robot |
| WO2021010784A2 (en) * | 2019-07-17 | 2021-01-21 | 주식회사 유진로봇 | Apparatus and method for performing object image generation, object recognition, and environment learning of mobile robot |
| CN112342970A (en) * | 2019-08-07 | 2021-02-09 | 三赢科技（深圳）有限公司 | Intelligent environment cleaning robot |
| CN110480650A (en) * | 2019-08-15 | 2019-11-22 | 北京致行慕远科技有限公司 | Merchandising machine people |
| KR102408478B1 (en) * | 2019-12-10 | 2022-06-14 | 한국전자기술연구원 | Finding Method of route and device using the same |
| KR102179238B1 (en) * | 2020-05-25 | 2020-11-16 | 센서기술 주식회사 | Human following cruise and autonomous method for a vehicle |
| KR102400512B1 (en) * | 2020-11-17 | 2022-05-23 | 한국과학기술연구원 | Semantic mapping system and method |
| CN112561941A (en) * | 2020-12-07 | 2021-03-26 | 深圳市银星智能科技股份有限公司 | Cliff detection method and device and robot |
| CN112508933A (en) * | 2020-12-21 | 2021-03-16 | 航天东方红卫星有限公司 | Flexible mechanical arm movement obstacle avoidance method based on complex space obstacle positioning |
| CN113524193B (en) * | 2021-08-05 | 2022-09-23 | 诺亚机器人科技(上海)有限公司 | Robot motion space marking method and device, robot and storage medium |
| CN113485381A (en) * | 2021-08-24 | 2021-10-08 | 山东新一代信息产业技术研究院有限公司 | Robot moving system and method based on multiple sensors |
| CN113741473A (en) * | 2021-09-13 | 2021-12-03 | 深圳本云国际发展有限公司 | Photocatalyst mobile robot and map construction method |
| KR20230039421A (en) * | 2021-09-14 | 2023-03-21 | 삼성전자주식회사 | Electronic device and Method for controlling the electronic device thereof |
| CN114415661B (en) * | 2021-12-15 | 2023-09-22 | 中国农业大学 | Planar laser SLAM and navigation method based on compressed three-dimensional space point cloud |
| CN115179030B (en) * | 2022-07-08 | 2024-03-08 | 上海外高桥造船有限公司 | Mail wheel prefabricated cabin simulation cabin pushing device |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000181541A (en) * | 1998-12-21 | 2000-06-30 | Komatsu Ltd | Self-traveling type vehicle |
| JP2009110251A (en) * | 2007-10-30 | 2009-05-21 | Ihi Corp | Obstacle recognition device and autonomous traveling object having the same and its control method |
| KR20110046213A (en) * | 2009-10-28 | 2011-05-04 | 한국전자통신연구원 | Apparatus and method for searching path by using road map of mobile robot |
| JP2011145156A (en) * | 2010-01-14 | 2011-07-28 | Ihi Aerospace Co Ltd | Apparatus and method for determining traveling area of mobile robot |
| KR20110097140A (en) * | 2010-02-24 | 2011-08-31 | 삼성전자주식회사 | Apparatus for estimating location of moving robot and method thereof |
| KR20120091937A (en) * | 2011-02-10 | 2012-08-20 | 고려대학교 산학협력단 | Method for building simantic grid map and method for exploring an environment using simantic grid map |
| KR20130020062A (en) * | 2011-08-18 | 2013-02-27 | 에이치디시스템주식회사 | Obstacle detecting apparatus for robot cleaner and robot cleaner having the same |
| KR20150050159A (en) * | 2013-10-31 | 2015-05-08 | 엘지전자 주식회사 | Moving Robot and operating method |
| KR20150061445A (en) * | 2013-11-27 | 2015-06-04 | 부산대학교 산학협력단 | Apparatus for building 3D Load map and recognizing lane |
| KR20150068545A (en) * | 2013-12-11 | 2015-06-22 | 한국생산기술연구원 | System for sensing complex image |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130034573A (en) | 2011-09-28 | 2013-04-05 | 삼성전자주식회사 | Fencing sense apparatus and robot cleaner having the same |
-
2016
- 2016-11-30 KR KR1020160161693A patent/KR101878827B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000181541A (en) * | 1998-12-21 | 2000-06-30 | Komatsu Ltd | Self-traveling type vehicle |
| JP2009110251A (en) * | 2007-10-30 | 2009-05-21 | Ihi Corp | Obstacle recognition device and autonomous traveling object having the same and its control method |
| KR20110046213A (en) * | 2009-10-28 | 2011-05-04 | 한국전자통신연구원 | Apparatus and method for searching path by using road map of mobile robot |
| JP2011145156A (en) * | 2010-01-14 | 2011-07-28 | Ihi Aerospace Co Ltd | Apparatus and method for determining traveling area of mobile robot |
| KR20110097140A (en) * | 2010-02-24 | 2011-08-31 | 삼성전자주식회사 | Apparatus for estimating location of moving robot and method thereof |
| KR20120091937A (en) * | 2011-02-10 | 2012-08-20 | 고려대학교 산학협력단 | Method for building simantic grid map and method for exploring an environment using simantic grid map |
| KR20130020062A (en) * | 2011-08-18 | 2013-02-27 | 에이치디시스템주식회사 | Obstacle detecting apparatus for robot cleaner and robot cleaner having the same |
| KR20150050159A (en) * | 2013-10-31 | 2015-05-08 | 엘지전자 주식회사 | Moving Robot and operating method |
| KR20150061445A (en) * | 2013-11-27 | 2015-06-04 | 부산대학교 산학협력단 | Apparatus for building 3D Load map and recognizing lane |
| KR20150068545A (en) * | 2013-12-11 | 2015-06-22 | 한국생산기술연구원 | System for sensing complex image |
Non-Patent Citations (2)
| Title |
|---|
| 우훈제 외 3명, 다수 레이저스캐너를 이용한 무인자율주행차량의 장애물 회피, 2009.04. * |
| 우훈제 외 3인, 다수 레이저 스캐너를 이용한 무인자율 주행 차량의 장애물 회피. 한국자동차공학회 춘계학술대회. 2009. 4., page 960-965 1부. * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11279042B2 (en) | 2019-03-12 | 2022-03-22 | Bear Robotics, Inc. | Robots for serving food and/or drinks |
| KR20200110143A (en) * | 2019-03-12 | 2020-09-23 | 주식회사 베어로보틱스코리아 | Robots for serving food and/or drinks |
| KR102251175B1 (en) * | 2019-03-12 | 2021-05-14 | 베어 로보틱스, 인크. | Robots for serving food and/or drinks |
| US11660758B2 (en) | 2019-03-12 | 2023-05-30 | Bear Robotics, Inc. | Robots for serving food and/or drinks |
| KR102286825B1 (en) * | 2019-03-12 | 2021-08-11 | 베어 로보틱스, 인크. | Robots for serving food and/or drinks |
| KR20200109235A (en) * | 2019-03-12 | 2020-09-22 | 주식회사 베어로보틱스코리아 | Robots for serving food and/or drinks |
| US11609575B2 (en) | 2019-11-20 | 2023-03-21 | Samsung Electronics Co., Ltd. | Mobile robot device and method for controlling mobile robot device |
| WO2021101047A1 (en) * | 2019-11-20 | 2021-05-27 | Samsung Electronics Co., Ltd. | Mobile robot device and method for controlling mobile robot device |
| KR20210112257A (en) | 2020-03-04 | 2021-09-14 | 주식회사 유진로봇 | Compact Lidar Sensor |
| WO2021177752A1 (en) | 2020-03-04 | 2021-09-10 | 주식회사 유진로봇 | Micro-lidar sensor |
| KR20230153970A (en) | 2020-03-04 | 2023-11-07 | 주식회사 유진로봇 | Compact Lidar Sensor |
| EP4134774A1 (en) * | 2021-07-30 | 2023-02-15 | Canon Kabushiki Kaisha | Information processing apparatus, moving body, method for controlling information processing apparatus, and program |
| US11946768B2 (en) | 2021-07-30 | 2024-04-02 | Canon Kabushiki Kaisha | Information processing apparatus, moving body, method for controlling information processing apparatus, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180061949A (en) | 2018-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101878827B1 (en) | Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same | |
| EP3104194B1 (en) | Robot positioning system | |
| US20210181347A1 (en) | Lidar apparatus based on time of flight and moving object | |
| JP7374547B2 (en) | Exploration methods, devices, mobile robots and storage media | |
| EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
| CN107041718B (en) | Cleaning robot and control method thereof | |
| CN205094334U (en) | Machine people cleans | |
| US9239580B2 (en) | Autonomous mobile robot, self position estimation method, environmental map generation method, environmental map generation apparatus, and data structure for environmental map | |
| EP3549726B1 (en) | Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner | |
| KR102100477B1 (en) | A plurality of autonomous mobile robots and a controlling method for the same | |
| JP2019515393A (en) | Cleaning robot and control method thereof | |
| KR20180064969A (en) | RIDAR Apparatus Based on Time of Flight and Moving Object | |
| KR20160100951A (en) | Robotic cleaning device and method for landmark recognition | |
| EP4177639A1 (en) | Robotic vacuum cleaner with multichannel lidar-based obstacle detection and slip detection | |
| KR100901311B1 (en) | Autonomous mobile platform | |
| CN112204486A (en) | Time-of-flight sensor arrangement for robot navigation and method for positioning using the same | |
| WO2016067640A1 (en) | Autonomous moving device | |
| JP6781535B2 (en) | Obstacle determination device and obstacle determination method | |
| EP3842885A1 (en) | Autonomous movement device, control method and storage medium | |
| CN113841098A (en) | Detecting objects using line arrays | |
| CN113768419A (en) | Method and device for determining sweeping direction of sweeper and sweeper | |
| CN110088701A (en) | Operation method and this cleaning equipment for self-propelled cleaning equipment | |
| EP2836853B1 (en) | Apparatus and method for determining reference elements of an environment | |
| WO2024004723A1 (en) | Electronic device, control method, and control program | |
| WO2024004722A1 (en) | Electronic apparatus, control method, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |