KR101407508B1 - System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm - Google Patents
System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm Download PDFInfo
- Publication number
- KR101407508B1 KR101407508B1 KR1020070135161A KR20070135161A KR101407508B1 KR 101407508 B1 KR101407508 B1 KR 101407508B1 KR 1020070135161 A KR1020070135161 A KR 1020070135161A KR 20070135161 A KR20070135161 A KR 20070135161A KR 101407508 B1 KR101407508 B1 KR 101407508B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- mobile robot
- distance
- image
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 18
- 230000019771 cognition Effects 0.000 title 1
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 230000001131 transforming effect Effects 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 측면은 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출 시스템 및 방법에 관한 것으로, 특히 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출하는 시스템 및 방법에 관한 것이다.One aspect of the present invention relates to a system and method for extracting a moving path of a mobile robot using a ground shape recognition algorithm, and more particularly, to a system and method for extracting a moving path of a mobile robot by recognizing a terrain that can be traveled outdoors will be.
본 발명은, 영상 입력부에 입력된 지면 형상의 RGB 영상을 필터링하는 필터링부; 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 HIS 색 공간으로 변환하는 색 공간 변환부; 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 좌표 변환부; 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 거리 측정부; 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 대한 저장값을 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 비교부; 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 데이터 융합부; 및 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동경로에 관한 데이터를 추출하는 이동경로 추출부;를 포함하는 것을 특징으로 한다.The present invention relates to an image processing apparatus, including: a filtering unit for filtering an RGB image of a ground shape input to an image input unit; A color space conversion unit for converting the RGB color space of the RGB image filtered by the filtering unit into the HIS color space; A coordinate transforming unit for transforming the pixel coordinate values of the RGB image filtered by the filtering unit into coordinate values viewed from the center of the mobile robot and correcting coordinate values related to the position of the camera mounted on the mobile robot; A distance measuring unit for measuring a distance to an object located in front of the moving robot; A comparing unit for determining whether a stored value of a hue and a brightness of a ground shape corresponding to a distance measured by the distance measuring unit is less than a threshold value of a predetermined hue and brightness; A data fusion unit for fusing data on the distance between the coordinate value data converted by the coordinate conversion unit and an area overlapping the image plane; And a movement path extracting unit for receiving data on the distance from the data fusion unit and extracting data on the movement path.
지면 형상, 이동로봇, 이동경로, 영상 평면, 거리정보 데이터 Ground shape, mobile robot, moving path, image plane, distance information data
Description
본 발명의 일 측면은 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법에 관한 것으로, 특히 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 하는 시스템 및 방법에 관한 것이다.One aspect of the present invention relates to a method for extracting a moving path of a mobile robot using a ground shape recognition algorithm, and more particularly, to a system and a method for extracting a moving path of a mobile robot by recognizing a terrain that can be traveled outdoors .
무인 이동로봇의 주행 중 센서 고장이 발생되었을 경우에 환경인식에 대한 신뢰도를 향상시키기 위해서 다중센서 융합기술이 요구되고 있다. 따라서, 하나의 센서만을 사용했을 때와 다중 센서를 사용했을 경우에 대하여 일어날 수 있는 문제점과 어려운 점이 무엇인지 알아보도록 한다.Multi - sensor fusion technology is required to improve the reliability of environmental awareness when a sensor failure occurs while driving an unmanned mobile robot. Therefore, we will investigate the problems and difficulties that may arise when using only one sensor and when using multiple sensors.
Stanford Research Institute에서 개발한 최초의 무인 자율 주행 로봇인 Shaky는 물체의 표면 색깔과 형상만 검사하는 간단한 탐지방법을 사용하였다. 그러나, Shaky는 무늬가 없는 바닥에서 간단한 영상처리 알고리즘만으로 실험되었기 때문에 카메라 센서의 기능만으로 로봇 주행 실험을 하기에는 어려움이 없었다.Shaky, the first autonomous autonomous mobile robot developed by the Stanford Research Institute, used a simple detection method to check only the surface color and shape of an object. However, since Shaky was experimented with a simple image processing algorithm only on a patternless floor, it was not difficult to carry out a robot driving experiment only by the function of a camera sensor.
인식 시스템으로 비전 시스템만을 사용함에 있어서 발생될 수 있는 문제점들 중의 하나는 비전 시스템은 로봇의 주행 방향 결정과 장애물 회피 기능에 대한 기본적인 정보를 제공해야 하기 때문에 그 기능적인 복잡성이 있었다.One of the problems that may arise in using only the vision system as the recognition system is that the vision system has to provide basic information on the robot's direction determination and the obstacle avoidance function.
레이저 스캐너를 로봇에 탑재하여 장애물 회피 방법에 응용하는 방법은 예전부터 많이 사용되어 오고 있다. 정확한 3차원 정보를 추출하기 위해 레이저 거리정보와 비전정보를 융합하는 방법 또한 많은 로봇 주행 실험에 사용되고 있다.A method of applying a laser scanner to a robot to avoid obstacles has been used for many years. A method of converging laser distance information and vision information to extract accurate three-dimensional information is also used in many robot driving experiments.
Virginia Tech의 Autonomous Vehicle Team(AVT)는 매년 개최되는 Intelligent Ground Vehicle Competition(IGVC)에 참가하기 위해서 주행 자동차를 개발해오고 있다. 이는 Navigator 센서 융합기술을 응용하였는데, 영상 정보를 가공하기 위해 기본적인 영상처리 알고리즘 Intel Image Processing Library(IPL)이 사용되었고, 사용된 알고리즘은 이미지상에서 특징점을 추출하여 색 공간 변화(RGB에서 HSL), 컨벌루션(Convolution), 히스토그램과 모멘트(Moment) 계산과 같은 영상처리 방법들이 사용되었다.Virginia Tech's Autonomous Vehicle Team (AVT) has been developing driving vehicles to participate in the annual Intelligent Ground Vehicle Competition (IGVC). The Intel Image Processing Library (IPL) was used to process the image information. The algorithm used was to extract feature points from the image and to obtain color space change (RGB to HSL), convolution Image processing methods such as convolution, histogram and moment calculation are used.
또한, 영상 왜곡현상의 복원과 로봇의 원근감에 대한 복원이 영상 평면으로 변환되도록 하였고, 영상에서의 화소 위치가 실제 지면상에서의 위치로 밀리미터(millimeter) 단위로 변환되는 기하학적인 변환방법을 사용하였다.In addition, we used a geometric transformation method in which the restoration of image distortion and the restoration of the perspective of the robot are converted into image planes, and the pixel positions in the image are converted to millimeter units on the actual ground position.
본 발명의 일 측면은 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 하는 방법을 제공하는 것을 목적으로 한다.An aspect of the present invention is to provide a method for allowing a mobile robot to recognize a terrain that can be traveled outdoors and extract a travel path of the mobile robot.
본 발명의 다른 측면은 영상입력센서 및 거리측정센서의 융합을 통해서 처리 데이터의 정확도를 높일 수 있는 방법을 제공하는 것을 목적으로 한다.Another aspect of the present invention is to provide a method for increasing the accuracy of processing data through fusion of an image input sensor and a distance measurement sensor.
본 발명의 또 다른 측면은 이동로봇의 이동경로 계획을 실시간으로 실행시키기 위해 이미지 변환 및 거리정보의 단순 융합으로 실시간으로 지면의 형상을 인식하는 방법을 제공하는 것을 목적으로 한다.Another aspect of the present invention is to provide a method of recognizing a shape of a ground in real time by simple fusion of image transformation and distance information in order to plan the movement path of the mobile robot in real time.
본 발명의 일 측면은, 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 영상 입력부; 상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 필터링부; 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS(Hue Intensity Saturation) 색 공간으로 변환하는 색 공간 변환부; 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 좌표 변환부; 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 거리 측정부; 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드 레시홀드 값 미만인지를 판단하는 비교부; 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 데이터 융합부; 및 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 이동경로 추출부;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템을 제공한다.According to an aspect of the present invention, there is provided an image processing apparatus comprising: an image input unit receiving an RGB image of a front ground shape on which a mobile robot moves; A filtering unit for filtering the RGB image input to the image input unit to remove noise of the RGB image; A color space conversion unit for converting the RGB color space of the RGB image filtered by the filtering unit into a HIS (Hue Intensity Saturation) color space including hue, brightness and saturation; The coordinates of the pixel coordinates of the RGB image filtered by the filtering unit are converted into coordinate values of the image plane and then converted into coordinate values viewed from the center of the mobile robot, A conversion unit; A distance measuring unit for measuring a distance to an object located in front of the moving robot; A comparing unit for receiving from the color space converting unit a value relating to a hue and a hue of a ground shape corresponding to a distance measured by the distance measuring unit and determining whether the hue is less than a predetermined value of the hue and brightness; A data fusion unit for fusing data on the distance between the coordinate value data converted by the coordinate conversion unit and an area overlapping the image plane; And a movement path extracting unit for receiving the data related to the distance from the data fusion unit to determine a movement path of the mobile robot and extracting data on the movement path, A moving path extracting system of a mobile robot is provided.
본 발명의 다른 측면은, 영상 입력부가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 제1단계; 필터링부가 상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 제2단계; 색 공간 변환부가 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환하는 제3단계; 좌표 변환부가 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 제4단계; 거리 측정부가 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 제5단계; 비교부가 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 제6단계; 기 비교부가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 데이터 융합부가 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 제7단 계; 및 이동경로 추출부가 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 제8단계;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법을 제공한다.According to another aspect of the present invention, there is provided a method for controlling a moving robot, the method comprising: a first step of receiving an RGB image of a front ground shape on which a moving image is moving; A second step of filtering the RGB image input to the image input unit by the filtering unit to remove noise of the RGB image; A third step of converting the RGB color space of the RGB image filtered by the filtering unit into an HIS color space including hue, brightness and saturation; The coordinate transforming unit converts the pixel coordinate values of the RGB image filtered by the filtering unit into coordinate values of the image plane and then converts the coordinate values into coordinate values viewed from the center of the mobile robot to calculate coordinate values related to the position of the camera mounted on the mobile robot A fourth step of correcting; A fifth step of measuring a distance to an object located in front of the moving distance of the mobile robot; A sixth step of receiving, from the color space converting unit, a value relating to a hue and a hue of a ground shape corresponding to a distance measured by the distance measuring unit, and determining whether the hue is less than a predetermined threshold of a hue and brightness; If the value of the color and brightness of the comparison-added-paper form is judged to be less than the threshold value of the predetermined color and brightness, the data fusion unit calculates the distance between the coordinate value data converted by the coordinate conversion unit and the area overlapping the image plane A seventh step of fusing the data relating to the data; And an eighth step of receiving the data related to the distance from the data fusion unit to determine a movement path on which the mobile robot has moved and extracting data on the movement path, A method of extracting a moving path of a mobile robot using an algorithm is provided.
본 발명의 일 측면에 따르면, 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 한다.According to an aspect of the present invention, a mobile robot recognizes a terrain that can be traveled outdoors, thereby enabling a travel path of a mobile robot to be extracted.
본 발명의 다른 측면에 따르면, 영상입력센서 및 거리측정센서의 융합을 통해서 처리 데이터의 정확도를 높일 수 있게 한다.According to another aspect of the present invention, it is possible to increase the accuracy of processing data through the fusion of the image input sensor and the distance measurement sensor.
본 발명의 또 다른 측면은 이동로봇의 이동경로 계획을 실시간으로 실행시키기 위해 이미지 변환 및 거리정보의 단순 융합으로 실시간으로 지면의 형상을 인식할 수 있게 한다.Yet another aspect of the present invention is to allow the robot to recognize the shape of the ground in real time by simple convergence of image transformation and distance information in order to execute the movement path planning of the mobile robot in real time.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. The shape and the size of the elements in the drawings may be exaggerated for clarity and the same elements are denoted by the same reference numerals in the drawings.
도 1은 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템의 구성도이다. 도 1을 참조하면, 지면 형상 인식 알고리즘을 이용한 이 동 로봇의 이동경로 추출시스템(1000)은 영상 입력부(100), 필터링부(200), 색 공간 변환부(300), 좌표 변환부(400), 거리 측정부(500), 비교부(600), 데이터 융합부(700) 및 이동경로 추출부(800)를 포함한다.1 is a configuration diagram of a moving path extracting system of a mobile robot using the ground surface shape recognition algorithm of the present invention. 1, a moving
영상 입력부(100)는 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB(Red, Green, Blue) 영상을 입력받는다. 이동로봇이 이동하고 있는 전방에 물체가 있다면 물체가 없는 경우와 다른 영상을 갖게 된다.The
필터링부(200)는 메디안 필터(median filter)를 이용하여 영상 입력부(100)에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거한다. 잡음 제거에는 미인 필터(mean filter)를 이용할 수 있으나, 메디안 필터를 이용하면 더 많은 잡음을 제거할 수 있다. 미인 필터와 메디안 필터는 모두 영상의 외곽선을 선명하게 보이도록 하거나 영상의 잡음을 제거하기 위해 영상을 브러닝(bluring)해주는 역할을 한다.The
색 공간 변환부(300)는 다항식 와핑 함수(Polynominal Warping Function)를 이용하여 필터링부(200)에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS(Hue Intensity Saturation) 색 공간으로 변환한다. 여기서, 다항식 와핑 함수를 이용하여 RGB 색 공간을 HIS 색 공간으로 변환하면, 영상에서 발생된 공간적 왜곡을 보완해준다. The color
다항식 와핑 함수는 왜곡을 보정하는 2차 이상의 함수로써, 영상의 왜곡을 보정해주기 위해 이상적인 영상과 왜곡된 영상의 매칭점의 오차에 대하여 물리적인 왜곡값을 구하는 함수이다. 예를 들어, 영상에서 좌표값의 한 특징점과 물리적으로 계산된 좌표값을 2차 함수의 계수로 간주하여 함수를 계산하면, 영상에서 각 픽셀의 위치에 대한 보정값을 얻을 수 있다.The polynomial warping function is a function of a second order or higher that corrects distortion, and is a function to obtain a physical distortion value with respect to an error of a matching point between an ideal image and a distorted image in order to correct image distortion. For example, if a function is calculated by considering a feature point of a coordinate value and a physically calculated coordinate value as coefficients of a quadratic function in the image, a correction value for the position of each pixel in the image can be obtained.
그리고, 실내 및 실외에서의 빛의 상태는 영상의 특성을 왜곡시킬 수 있기 때문에 빛의 조명에 강한 특성을 갖는 색 공간을 필요함에 따라, 색채의 변화를 분리시키기 위해 RGB 색 공간을 HIS 색 공간으로 변화시킨다. RGB 색 공간을 HIS 색 공간으로 변화시킴으로써, 색상 및 명도에 관한 값을 이용하여 각각의 화소가 지면 형상의 화소와 유사한지를 판정할 수 있게 된다.Since the state of light in indoor and outdoor environments can distort the characteristics of an image, a color space having characteristics that are resistant to light illumination is required. Therefore, in order to separate the color change, the RGB color space is converted into the HIS color space Change. By changing the RGB color space to the HIS color space, it is possible to judge whether or not each pixel is similar to the pixel of the ground figure by using values relating to hue and brightness.
좌표 변환부(400)는 필터링부(200)에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여, 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정한다. 카메라의 위치에 관한 좌표값을 보정하는 이유는, 정확한 이동로봇 중심의 좌표값을 얻기 위해서이다. 이때, 이동로봇에 탑재되어 있는 카메라의 위치가 보정된 값(X축, Y축 및 Z축 방향에 대한 변환과 X축 및 Y축에 대한 카메라의 각도)을 더해주어야 한다.The
영상 평면 좌표값으로의 변환은 수학식 1과 같은 행렬식을 이용하여 변환된다.The transformation to the image plane coordinate values is performed using the determinant as shown in equation (1).
여기서, uq 및 vp는 입력된 영상 배열이고, xk 및 yj는 출력된 영상 배열이다. 그리고, ai, bi(i = 0, 1, 2)는 가중치 계수이다.Here, u q And v p are input image arrays, x k And y j are the output image arrays. And a i , b i (i = 0, 1, 2) are weighting coefficients.
그러면, 3차 다항식 와프 어드레스 매핑(Third order polynominal warp address mapping)을 사용한 수학식 2 및 수학식 3을 살펴보자.Let us now consider equations (2) and (3) using third order polynomial warp address mapping.
수학식 2 및 수학식 3의 가중치 계수들(ai, bi)(i = 0, 1, 2, … , 9)은 물리적인 대응과 관련이 있다. 1차 어드레스 매칭(first-order address mapping)과는 다르게 수학식 1 및 수학식 2는 이동로봇의 중심으로부터 영상 평면상의 좌표까지 물리적으로 존재하는 대응함수를 얻기 위해 사용된다. 이 방법은 일반적으로 영상 시스템에서 얻어진 영상의 왜곡을 보정하기 위해서 사용된다. 예를 들어, 도 4의 왼쪽 그림은 각각의 모자이크 셀의 크기가 15cm×15cm인 격자 셀(grid cell)이다. 이동로봇의 중심에서 격자 모양의 교차점에 대한 거리를 계산함으로써, 3차 다항식 매핑함수의 모든 계수들을 얻을 수 있다.The weighting factors (a i , b i ) (i = 0, 1, 2, ..., 9) in equations (2) and (3) are related to the physical correspondence. Unlike the first-order address mapping, Equations (1) and (2) are used to obtain a corresponding function physically existing from the center of the mobile robot to the coordinates on the image plane. This method is generally used to correct the distortion of the image obtained in the image system. For example, the left picture of FIG. 4 is a grid cell having a size of each mosaic cell of 15 cm x 15 cm. By calculating the distance to the grid intersection at the center of the mobile robot, all the coefficients of the 3rd order polynomial mapping function can be obtained.
거리 측정부(500)는 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정한다.The
비교부(600)는 거리 측정부(500)가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드(threshold) 값 미만인지를 판단한다.The
데이터 융합부(700)는 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 좌표 변환부(400)에서 변환된 좌표값 데이터와 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합한다.When the
이동경로 추출부(800)는 데이터 융합부(700)로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출한 다.The movement
도 2는 본 발명의 영상에서 획득한 교차점의 위치 오차를 나타낸 도면이다.도 2를 참조하면, 카메라를 통해 포착된 도 4의 왜곡된 영상 화면을 살펴볼 수 있다. 십자마크는 도 4에서 모자이크 마크의 교차점들이다. 모든 교차점들의 물리적 인 거리를 측정한 후 이동로봇의 카메라 렌즈에 의해 왜곡된 부분들을 보정한다. 보정된 영상에서 다항식의 계수들은 쉽게 계산되고 어드레스 매핑 함수는 보정된 영상에서 모든 화소의 위치값이 보정된다. 도 2의 오른쪽 그림은 다항식의 계수들이 적용된 후의 화소 위치값을 보여준다.FIG. 2 is a view illustrating a position error of an intersection point obtained from an image of the present invention. Referring to FIG. 2, a distorted image screen of FIG. 4 captured through a camera can be viewed. The cross marks are the intersections of the mosaic marks in FIG. After measuring the physical distance of all intersections, the distorted parts are corrected by the camera lens of the mobile robot. The coefficients of the polynomial in the corrected image are easily calculated and the address mapping function corrects the position value of all the pixels in the corrected image. The right picture of FIG. 2 shows the pixel position values after the polynomial coefficients are applied.
도 3은 본 발명의 센서 융합 후의 물체 위치에 대한 안전 경로지역을 나타낸 도면이다. 도 3을 참조하면, 기준 모델은 물체의 위치가 이동함에 따라 변하게 됨을 알 수 있다. 기준 모델을 동적으로 변하게 함으로써 물체의 위치에 따라 정교한 결과를 나타낼 수 있고, 이동로봇이 방향을 전환할 경우나 시작점에 위치하였을 경우에도 이동로봇의 전방은 물체로부터 항상 안전하다고 확신할 수 있다.FIG. 3 is a view showing a safety path region with respect to an object position after sensor fusion according to the present invention. FIG. Referring to FIG. 3, it can be seen that the reference model changes as the position of the object moves. By dynamically changing the reference model, it is possible to show a sophisticated result according to the position of the object. Even when the mobile robot changes its direction or is located at the starting point, it can be sure that the front of the mobile robot is always secure from the object.
도 4는 본 발명의 센서 융합 후의 X축 방향과 Y축 방향에 대한 측정오차를 나타낸 도면이다. 도 4를 참조하면, 센서 융합 후의 X축 방향과 Y축 방향에 대한 실 좌표값과 변환된 좌표값간의 오차를 알 수 있다. 카메라의 렌즈에 의해서 왜곡된 화면과 이동로봇 상부에 30°기울어진 카메라 각도와 이동로봇의 Z축으로 58cm 위에 설치된 카메라 위치 때문에, 카메라 앞쪽에 있는 영상의 오차는 적고 이동로봇과 멀리 있으면 오차가 커지는 것을 알 수 있다4 is a diagram showing measurement errors in the X-axis direction and the Y-axis direction after the sensor fusion of the present invention. Referring to FIG. 4, an error between an actual coordinate value and a transformed coordinate value with respect to an X-axis direction and a Y-axis direction after sensor fusion can be known. Due to the camera angle distorted by the lens of the camera, the camera angle tilted 30 ° above the mobile robot, and the position of the camera installed 58cm above the Z axis of the mobile robot, the error in the image on the front side of the camera is small, Know that
이동 로봇의 동작시에 이동로봇의 전방은 안전하게 이동할 수 있다는 것은 이동로봇이 방향 전환 후 고정 물체나 이동하는 장애물 등장시 문제가 될 수 있다. 이 가정을 없애기 위해 본 발명에서는 센서융합방법을 채택하였다. 도 4에서와 같이, 레이저 거리 측정장치는 단지 영상 평면에 의해서 겹치는 지역 내에 있는 거리 정보만을 제공한다. 이와 같은 거리정보는 이동로봇이 안전하게 이동할 수 있는 가장 긴 위치가 어디인지 알려주고, 이 정보를 바탕으로 기준 모델을 설립하게 된다. 거리정보에 관한 데이터는 이동로봇의 중심에서 본 좌표값 데이터에 카메라 위치의 좌표값 데이터가 보정되어 융합하게 된다. 결과적으로, 영상 평면상에서 가장 큰 기준 모델을 획득하게 된다.The fact that the front of the mobile robot can move safely during the operation of the mobile robot can be a problem when the mobile robot turns on a fixed object or a moving obstacle after the direction change. In order to eliminate this assumption, the present invention adopts a sensor fusion method. As in FIG. 4, the laser range finder only provides distance information within the overlapping region by the image plane. Such distance information indicates the longest position where the mobile robot can safely move, and establishes a reference model based on this information. The coordinate value data of the camera position is corrected and fused to the coordinate value data viewed from the center of the mobile robot. As a result, the largest reference model is obtained on the image plane.
도 5는 본 발명의 RGB 영상의 화소 좌표값을 영상 평면의 좌표값과 대칭하기 위한 도면이다. 도 5를 참조하면, 왼쪽 도면의 교차점의 거리값과 오른쪽 도면의 영상에서의 좌표값을 비교하면 영상에서의 각 화소 위치값의 거리정보를 추출할 수 있음을 알 수 있다.5 is a diagram for symmetry of the pixel coordinate values of the RGB image of the present invention with the coordinate values of the image plane. Referring to FIG. 5, it can be seen that the distance information of each pixel position value in the image can be extracted by comparing the distance value of the intersection of the left drawing and the coordinate value of the image of the right drawing.
도 6은 본 발명의 실내에서 센서 융합 방법을 적용한 화면이다. 도 6을 참조하면, 왼쪽 그림은 원본 입력 영상이고, 오른쪽 그림은 왼쪽 도면에 대한 이진화된 결과 영상이다. 기준 모델이 센서 융합 알고리즘의 결과로 인하여 만들어졌기 때문에 이동로봇 전방에 있는 쓰레기통의 색깔은 기준 모델에 포함시키지 않는다. 지면은 거의 완벽하게 분할되었고, 약 3미터(meter) 거리에 위치한 선풍기도 분할하였다. 그러나, 강한 빛이 카메라의 정면에서 반사되기 때문에 잘못된 이진화 결과 (흰 색깔의 점들)가 나타난다. 그러나, 간단한 영상처리 알고리즘(grouping 알고리즘이나 화상 개선 알고리즘)으로 하얀 점들을 처리할 수 있다.6 is a screen to which the sensor fusion method is applied in the room of the present invention. Referring to FIG. 6, the left picture is the original input picture, and the right picture is the binarized result picture for the left picture. Since the reference model was created as a result of the sensor fusion algorithm, the color of the trash can in front of the mobile robot is not included in the reference model. The ground was almost completely divided, and the fan, which was about 3 meters away, was also divided. However, since the strong light is reflected from the front of the camera, a false binarization result (white dots) appears. However, simple image processing algorithms (grouping algorithms or image enhancement algorithms) can handle white dots.
도 7은 본 발명의 실외에서 센서 융합 방법을 적용한 화면이다. 도 7을 참조하면, 보도와 잔디밭의 경계선에서 실험을 행하였는데, 기준 모델의 크기는 정면으로는 화면 안에 있는 사람의 발목까지 화면 안에 있는 보도 블록을 포함한다. 빛이 왼쪽 블록을 비추고 있어도 알고리즘은 사람의 발목을 제외한 부분을 이동 가능한 부분으로 포함한다.7 is a screen to which the sensor fusion method is applied in the outdoor of the present invention. Referring to FIG. 7, an experiment was conducted at the boundary between the sidewalk and the lawn. The size of the reference model includes a sidewalk block in front of the ankle of the person in front of the screen. Even though the light shines on the left block, the algorithm includes the part except the human ankle as a movable part.
도 8은 본 발명의 보도블록에서 주행 중에 연속으로 촬영한 영상을 보여준다. 도 8을 참조하면, 기준 모델이 블록, 잔디 및 흙을 포함시키더라도 결과 화면은 이진화된 결과를 보여준다. 그리고, 잔디밭도 이동로봇이 주행 가능한 도로로 파악한다. 그러나, 마지막 화면은 실외의 강한 빛과 잔디의 색으로 인하여 다소 흰색 점들이 많이 분포되었지만, 그 크기가 작아 이동로봇 주행 시 판단하는 장애물의 폭 크기 계산 때문에 산발적으로 분포된 흰색 점들은 간단한 화상 개선 알고리즘 실행 후 지면에 속하게 된다.FIG. 8 shows images taken continuously during running in the walkway block of the present invention. Referring to FIG. 8, even if the reference model includes blocks, lawns, and soil, the result screen shows the result of binarization. Also, the lawn is a road that the mobile robot can travel. However, because the size of the white spot is large due to the strong light and grass color of the outdoor screen, the white spot distributed sporadically due to the calculation of the width of the obstacle, After execution, it belongs to the ground.
도 9는 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법의 흐름도이다. 도 9를 도 1과 함께 살펴보기로 한다.FIG. 9 is a flowchart of a moving path extracting method of a mobile robot using the ground shape recognition algorithm of the present invention. FIG. 9 will be described with reference to FIG.
먼저, 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는다(S100).First, the
이후, 필터링부(200)가 영상 입력부(100)에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거한다(S200).Thereafter, the
이후, 색 공간 변환부(300)가 필터링부(200)에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환한다(S300).Then, the color
이후, 좌표 변환부(400)가 필터링부(200)에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정한다(S400).Then, the coordinate
이후, 거리 측정부(500)가 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정한다(S500).Thereafter, the
이후, 비교부(600)가 거리 측정부(500)가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 색 공간 변환부(300)로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단한다(S600).Thereafter, the
이후, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 데이터 융합부(700)가 좌표 변환부(400)에서 변환된 좌표값 데이터와 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합한다(S700). 그러나, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하지 않는다면, S100 과정으로 피드백(feedback)하여 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는다. 즉, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단할 때까지는 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 계속 입력받는다.If the
이후, 이동경로 추출부(800)가 데이터 융합부(700)로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출한다(S800).Then, the movement
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The present invention is not limited to the above-described embodiments and the accompanying drawings. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims, .
도 1은 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템의 구성도이다.1 is a configuration diagram of a moving path extracting system of a mobile robot using the ground surface shape recognition algorithm of the present invention.
도 2는 본 발명의 영상에서 획득한 교차점의 위치 오차를 나타낸 도면이다.2 is a view showing a positional error of an intersection point obtained from an image of the present invention.
도 3은 본 발명의 센서 융합 후의 물체 위치에 대한 안전 경로지역을 나타낸 도면이다. FIG. 3 is a view showing a safety path region with respect to an object position after sensor fusion according to the present invention. FIG.
도 4는 본 발명의 센서 융합 후의 X축 방향과 Y축 방향에 대한 측정오차를 나타낸 도면이다.4 is a diagram showing measurement errors in the X-axis direction and the Y-axis direction after the sensor fusion of the present invention.
도 5는 본 발명의 RGB 영상의 화소 좌표값을 영상 평면의 좌표값과 대칭하기 위한 도면이다. 5 is a diagram for symmetry of the pixel coordinate values of the RGB image of the present invention with the coordinate values of the image plane.
도 6은 본 발명의 실내에서 센서 융합 방법을 적용한 화면이다.6 is a screen to which the sensor fusion method is applied in the room of the present invention.
도 7은 본 발명의 실외에서 센서 융합 방법을 적용한 화면이다.7 is a screen to which the sensor fusion method is applied in the outdoor of the present invention.
도 8은 본 발명의 보도블록에서 주행 중에 연속으로 촬영한 영상을 보여준다. FIG. 8 shows images taken continuously during running in the walkway block of the present invention.
도 9는 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법의 흐름도이다.FIG. 9 is a flowchart of a moving path extracting method of a mobile robot using the ground shape recognition algorithm of the present invention.
<도면의 주요 부분에 대한 부호의 설명> Description of the Related Art
100 : 영상 입력부 200 : 필터링부100: image input unit 200:
300 : 색 공간 변환부 400 : 좌표 변환부300: color space conversion unit 400: coordinate conversion unit
500 : 거리 측정부 600 : 비교부500: distance measuring unit 600: comparing unit
700 : 데이터 융합부 800 : 이동경로 추출부700: Data fusion unit 800: Moving path extracting unit
1000 : 이동경로 추출 시스템1000: Moving Path Extraction System
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (en) | 2007-12-21 | 2007-12-21 | System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (en) | 2007-12-21 | 2007-12-21 | System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090067484A KR20090067484A (en) | 2009-06-25 |
| KR101407508B1 true KR101407508B1 (en) | 2014-06-17 |
Family
ID=40995198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (en) | 2007-12-21 | 2007-12-21 | System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101407508B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130061962A (en) * | 2011-12-02 | 2013-06-12 | 엘지전자 주식회사 | Recognition system for lawn mower |
| KR102461938B1 (en) | 2017-04-04 | 2022-10-31 | 엘지전자 주식회사 | Method of identifying obstacle on a driving surface and robot implementing thereof |
| CN110333716A (en) * | 2019-04-30 | 2019-10-15 | 深圳市商汤科技有限公司 | A kind of motion control method, device and system |
| KR102254157B1 (en) * | 2019-07-09 | 2021-05-21 | 삼성전자주식회사 | Warped image based ground object recognition electronic apparatus and controlling method thereof |
| US11650597B2 (en) * | 2019-07-09 | 2023-05-16 | Samsung Electronics Co., Ltd. | Electronic apparatus for identifying object through warped image and control method thereof |
| KR102304098B1 (en) * | 2019-11-05 | 2021-09-23 | 대한민국 | Automatic driving agricultural machine device supporting image-based path recognition and steering angle calculation techniques and operation method thereof |
| CN113608524B (en) * | 2021-06-16 | 2024-04-16 | 深圳甲壳虫智能有限公司 | Automatic walking device, control method thereof, control device and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050011054A (en) * | 2003-07-21 | 2005-01-29 | 주식회사 한울로보틱스 | Locomotion methode of mobile robot using floor image informations |
| KR100473331B1 (en) | 2002-04-19 | 2005-03-08 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
| KR20070090194A (en) * | 2005-01-28 | 2007-09-05 | 아이신에이더블류 가부시키가이샤 | Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method |
-
2007
- 2007-12-21 KR KR1020070135161A patent/KR101407508B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100473331B1 (en) | 2002-04-19 | 2005-03-08 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
| KR20050011054A (en) * | 2003-07-21 | 2005-01-29 | 주식회사 한울로보틱스 | Locomotion methode of mobile robot using floor image informations |
| KR20070090194A (en) * | 2005-01-28 | 2007-09-05 | 아이신에이더블류 가부시키가이샤 | Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090067484A (en) | 2009-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101407508B1 (en) | System and method for extracting mobile path of mobile robot using ground configuration cognition algorithm | |
| JP5588812B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| CN108692719B (en) | Object detection device | |
| CN109211207B (en) | Screw identification and positioning device based on machine vision | |
| JP4275378B2 (en) | Stereo image processing apparatus and stereo image processing method | |
| JPH03201110A (en) | Position azimuth detecting device for autonomous traveling vehicle | |
| US20220308228A1 (en) | System and method for robot localisation in reduced light conditions | |
| CN114283391A (en) | Automatic parking sensing method fusing panoramic image and laser radar | |
| US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
| WO2021078812A1 (en) | Method and system for object detection for a mobile robot with time-of-flight camera | |
| CN113778081B (en) | Orchard path identification method and robot based on laser radar and vision | |
| Hochdorfer et al. | 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks | |
| CN116188558B (en) | Stereo photogrammetry method based on binocular vision | |
| CN114413958A (en) | Monocular vision distance and speed measurement method of unmanned logistics vehicle | |
| Pujol-Miro et al. | Registration of images to unorganized 3D point clouds using contour cues | |
| Shacklock et al. | Visual guidance for autonomous vehicles: capability and challenges | |
| CN113869422A (en) | Multi-camera target matching method, system, electronic device and readable storage medium | |
| Cobos et al. | Integrating visual odometry and dead-reckoning for robot localization and obstacle detection | |
| CN117109561A (en) | Remote two-dimensional code map creation and positioning method and system integrating laser positioning | |
| CN111380503A (en) | Monocular camera ranging method adopting laser-assisted calibration | |
| JP3757502B2 (en) | Moving object travel control device | |
| Csaba et al. | Mobile robot navigation in unknown environment using structured light | |
| CN115588036A (en) | Image acquisition method and device and robot | |
| KR20140011672A (en) | Method and apparatus for controlling robot | |
| CN111583387A (en) | Method and system for three-dimensional reconstruction of outdoor scene of unmanned aerial vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |