KR20090067484A - 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 - Google Patents
지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 Download PDFInfo
- Publication number
- KR20090067484A KR20090067484A KR1020070135161A KR20070135161A KR20090067484A KR 20090067484 A KR20090067484 A KR 20090067484A KR 1020070135161 A KR1020070135161 A KR 1020070135161A KR 20070135161 A KR20070135161 A KR 20070135161A KR 20090067484 A KR20090067484 A KR 20090067484A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile robot
- unit
- image
- color space
- rgb
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims description 17
- 230000019771 cognition Effects 0.000 title description 2
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명의 일 측면은 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출 시스템 및 방법에 관한 것으로, 특히 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출하는 시스템 및 방법에 관한 것이다.
본 발명은, 영상 입력부에 입력된 지면 형상의 RGB 영상을 필터링하는 필터링부; 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 HIS 색 공간으로 변환하는 색 공간 변환부; 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 좌표 변환부; 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 거리 측정부; 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 대한 저장값을 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 비교부; 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 데이터 융합부; 및 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동경로에 관한 데이터를 추출하는 이동경로 추출부;를 포함하는 것을 특징으로 한다.
지면 형상, 이동로봇, 이동경로, 영상 평면, 거리정보 데이터
Description
본 발명의 일 측면은 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법에 관한 것으로, 특히 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 하는 시스템 및 방법에 관한 것이다.
무인 이동로봇의 주행 중 센서 고장이 발생되었을 경우에 환경인식에 대한 신뢰도를 향상시키기 위해서 다중센서 융합기술이 요구되고 있다. 따라서, 하나의 센서만을 사용했을 때와 다중 센서를 사용했을 경우에 대하여 일어날 수 있는 문제점과 어려운 점이 무엇인지 알아보도록 한다.
Stanford Research Institute에서 개발한 최초의 무인 자율 주행 로봇인 Shaky는 물체의 표면 색깔과 형상만 검사하는 간단한 탐지방법을 사용하였다. 그러나, Shaky는 무늬가 없는 바닥에서 간단한 영상처리 알고리즘만으로 실험되었기 때문에 카메라 센서의 기능만으로 로봇 주행 실험을 하기에는 어려움이 없었다.
인식 시스템으로 비전 시스템만을 사용함에 있어서 발생될 수 있는 문제점들 중의 하나는 비전 시스템은 로봇의 주행 방향 결정과 장애물 회피 기능에 대한 기본적인 정보를 제공해야 하기 때문에 그 기능적인 복잡성이 있었다.
레이저 스캐너를 로봇에 탑재하여 장애물 회피 방법에 응용하는 방법은 예전부터 많이 사용되어 오고 있다. 정확한 3차원 정보를 추출하기 위해 레이저 거리정보와 비전정보를 융합하는 방법 또한 많은 로봇 주행 실험에 사용되고 있다.
Virginia Tech의 Autonomous Vehicle Team(AVT)는 매년 개최되는 Intelligent Ground Vehicle Competition(IGVC)에 참가하기 위해서 주행 자동차를 개발해오고 있다. 이는 Navigator 센서 융합기술을 응용하였는데, 영상 정보를 가공하기 위해 기본적인 영상처리 알고리즘 Intel Image Processing Library(IPL)이 사용되었고, 사용된 알고리즘은 이미지상에서 특징점을 추출하여 색 공간 변화(RGB에서 HSL), 컨벌루션(Convolution), 히스토그램과 모멘트(Moment) 계산과 같은 영상처리 방법들이 사용되었다.
또한, 영상 왜곡현상의 복원과 로봇의 원근감에 대한 복원이 영상 평면으로 변환되도록 하였고, 영상에서의 화소 위치가 실제 지면상에서의 위치로 밀리미터(millimeter) 단위로 변환되는 기하학적인 변환방법을 사용하였다.
본 발명의 일 측면은 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 측면은 영상입력센서 및 거리측정센서의 융합을 통해서 처리 데이터의 정확도를 높일 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 측면은 이동로봇의 이동경로 계획을 실시간으로 실행시키기 위해 이미지 변환 및 거리정보의 단순 융합으로 실시간으로 지면의 형상을 인식하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면은, 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 영상 입력부; 상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 필터링부; 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS(Hue Intensity Saturation) 색 공간으로 변환하는 색 공간 변환부; 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 좌표 변환부; 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 거리 측정부; 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드 레시홀드 값 미만인지를 판단하는 비교부; 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 데이터 융합부; 및 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 이동경로 추출부;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템을 제공한다.
본 발명의 다른 측면은, 영상 입력부가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 제1단계; 필터링부가 상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 제2단계; 색 공간 변환부가 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환하는 제3단계; 좌표 변환부가 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 제4단계; 거리 측정부가 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 제5단계; 비교부가 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 제6단계; 기 비교부가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 데이터 융합부가 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 제7단 계; 및 이동경로 추출부가 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 제8단계;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법을 제공한다.
본 발명의 일 측면에 따르면, 이동로봇이 실외에서 주행 가능한 지형을 인식하여 이동로봇의 이동경로를 추출할 수 있게 한다.
본 발명의 다른 측면에 따르면, 영상입력센서 및 거리측정센서의 융합을 통해서 처리 데이터의 정확도를 높일 수 있게 한다.
본 발명의 또 다른 측면은 이동로봇의 이동경로 계획을 실시간으로 실행시키기 위해 이미지 변환 및 거리정보의 단순 융합으로 실시간으로 지면의 형상을 인식할 수 있게 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템의 구성도이다. 도 1을 참조하면, 지면 형상 인식 알고리즘을 이용한 이 동 로봇의 이동경로 추출시스템(1000)은 영상 입력부(100), 필터링부(200), 색 공간 변환부(300), 좌표 변환부(400), 거리 측정부(500), 비교부(600), 데이터 융합부(700) 및 이동경로 추출부(800)를 포함한다.
영상 입력부(100)는 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB(Red, Green, Blue) 영상을 입력받는다. 이동로봇이 이동하고 있는 전방에 물체가 있다면 물체가 없는 경우와 다른 영상을 갖게 된다.
필터링부(200)는 메디안 필터(median filter)를 이용하여 영상 입력부(100)에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거한다. 잡음 제거에는 미인 필터(mean filter)를 이용할 수 있으나, 메디안 필터를 이용하면 더 많은 잡음을 제거할 수 있다. 미인 필터와 메디안 필터는 모두 영상의 외곽선을 선명하게 보이도록 하거나 영상의 잡음을 제거하기 위해 영상을 브러닝(bluring)해주는 역할을 한다.
색 공간 변환부(300)는 다항식 와핑 함수(Polynominal Warping Function)를 이용하여 필터링부(200)에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS(Hue Intensity Saturation) 색 공간으로 변환한다. 여기서, 다항식 와핑 함수를 이용하여 RGB 색 공간을 HIS 색 공간으로 변환하면, 영상에서 발생된 공간적 왜곡을 보완해준다.
다항식 와핑 함수는 왜곡을 보정하는 2차 이상의 함수로써, 영상의 왜곡을 보정해주기 위해 이상적인 영상과 왜곡된 영상의 매칭점의 오차에 대하여 물리적인 왜곡값을 구하는 함수이다. 예를 들어, 영상에서 좌표값의 한 특징점과 물리적으로 계산된 좌표값을 2차 함수의 계수로 간주하여 함수를 계산하면, 영상에서 각 픽셀의 위치에 대한 보정값을 얻을 수 있다.
그리고, 실내 및 실외에서의 빛의 상태는 영상의 특성을 왜곡시킬 수 있기 때문에 빛의 조명에 강한 특성을 갖는 색 공간을 필요함에 따라, 색채의 변화를 분리시키기 위해 RGB 색 공간을 HIS 색 공간으로 변화시킨다. RGB 색 공간을 HIS 색 공간으로 변화시킴으로써, 색상 및 명도에 관한 값을 이용하여 각각의 화소가 지면 형상의 화소와 유사한지를 판정할 수 있게 된다.
좌표 변환부(400)는 필터링부(200)에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여, 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정한다. 카메라의 위치에 관한 좌표값을 보정하는 이유는, 정확한 이동로봇 중심의 좌표값을 얻기 위해서이다. 이때, 이동로봇에 탑재되어 있는 카메라의 위치가 보정된 값(X축, Y축 및 Z축 방향에 대한 변환과 X축 및 Y축에 대한 카메라의 각도)을 더해주어야 한다.
영상 평면 좌표값으로의 변환은 수학식 1과 같은 행렬식을 이용하여 변환된다.
여기서, uq 및 vp는 입력된 영상 배열이고, xk 및 yj는 출력된 영상 배열이다. 그리고, ai, bi(i = 0, 1, 2)는 가중치 계수이다.
그러면, 3차 다항식 와프 어드레스 매핑(Third order polynominal warp address mapping)을 사용한 수학식 2 및 수학식 3을 살펴보자.
수학식 2 및 수학식 3의 가중치 계수들(ai, bi)(i = 0, 1, 2, … , 9)은 물리적인 대응과 관련이 있다. 1차 어드레스 매칭(first-order address mapping)과는 다르게 수학식 1 및 수학식 2는 이동로봇의 중심으로부터 영상 평면상의 좌표까지 물리적으로 존재하는 대응함수를 얻기 위해 사용된다. 이 방법은 일반적으로 영상 시스템에서 얻어진 영상의 왜곡을 보정하기 위해서 사용된다. 예를 들어, 도 4의 왼쪽 그림은 각각의 모자이크 셀의 크기가 15cm×15cm인 격자 셀(grid cell)이다. 이동로봇의 중심에서 격자 모양의 교차점에 대한 거리를 계산함으로써, 3차 다항식 매핑함수의 모든 계수들을 얻을 수 있다.
거리 측정부(500)는 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정한다.
비교부(600)는 거리 측정부(500)가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드(threshold) 값 미만인지를 판단한다.
데이터 융합부(700)는 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 좌표 변환부(400)에서 변환된 좌표값 데이터와 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합한다.
이동경로 추출부(800)는 데이터 융합부(700)로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출한 다.
도 2는 본 발명의 영상에서 획득한 교차점의 위치 오차를 나타낸 도면이다.도 2를 참조하면, 카메라를 통해 포착된 도 4의 왜곡된 영상 화면을 살펴볼 수 있다. 십자마크는 도 4에서 모자이크 마크의 교차점들이다. 모든 교차점들의 물리적 인 거리를 측정한 후 이동로봇의 카메라 렌즈에 의해 왜곡된 부분들을 보정한다. 보정된 영상에서 다항식의 계수들은 쉽게 계산되고 어드레스 매핑 함수는 보정된 영상에서 모든 화소의 위치값이 보정된다. 도 2의 오른쪽 그림은 다항식의 계수들이 적용된 후의 화소 위치값을 보여준다.
도 3은 본 발명의 센서 융합 후의 물체 위치에 대한 안전 경로지역을 나타낸 도면이다. 도 3을 참조하면, 기준 모델은 물체의 위치가 이동함에 따라 변하게 됨을 알 수 있다. 기준 모델을 동적으로 변하게 함으로써 물체의 위치에 따라 정교한 결과를 나타낼 수 있고, 이동로봇이 방향을 전환할 경우나 시작점에 위치하였을 경우에도 이동로봇의 전방은 물체로부터 항상 안전하다고 확신할 수 있다.
도 4는 본 발명의 센서 융합 후의 X축 방향과 Y축 방향에 대한 측정오차를 나타낸 도면이다. 도 4를 참조하면, 센서 융합 후의 X축 방향과 Y축 방향에 대한 실 좌표값과 변환된 좌표값간의 오차를 알 수 있다. 카메라의 렌즈에 의해서 왜곡된 화면과 이동로봇 상부에 30°기울어진 카메라 각도와 이동로봇의 Z축으로 58cm 위에 설치된 카메라 위치 때문에, 카메라 앞쪽에 있는 영상의 오차는 적고 이동로봇과 멀리 있으면 오차가 커지는 것을 알 수 있다
이동 로봇의 동작시에 이동로봇의 전방은 안전하게 이동할 수 있다는 것은 이동로봇이 방향 전환 후 고정 물체나 이동하는 장애물 등장시 문제가 될 수 있다. 이 가정을 없애기 위해 본 발명에서는 센서융합방법을 채택하였다. 도 4에서와 같이, 레이저 거리 측정장치는 단지 영상 평면에 의해서 겹치는 지역 내에 있는 거리 정보만을 제공한다. 이와 같은 거리정보는 이동로봇이 안전하게 이동할 수 있는 가장 긴 위치가 어디인지 알려주고, 이 정보를 바탕으로 기준 모델을 설립하게 된다. 거리정보에 관한 데이터는 이동로봇의 중심에서 본 좌표값 데이터에 카메라 위치의 좌표값 데이터가 보정되어 융합하게 된다. 결과적으로, 영상 평면상에서 가장 큰 기준 모델을 획득하게 된다.
도 5는 본 발명의 RGB 영상의 화소 좌표값을 영상 평면의 좌표값과 대칭하기 위한 도면이다. 도 5를 참조하면, 왼쪽 도면의 교차점의 거리값과 오른쪽 도면의 영상에서의 좌표값을 비교하면 영상에서의 각 화소 위치값의 거리정보를 추출할 수 있음을 알 수 있다.
도 6은 본 발명의 실내에서 센서 융합 방법을 적용한 화면이다. 도 6을 참조하면, 왼쪽 그림은 원본 입력 영상이고, 오른쪽 그림은 왼쪽 도면에 대한 이진화된 결과 영상이다. 기준 모델이 센서 융합 알고리즘의 결과로 인하여 만들어졌기 때문에 이동로봇 전방에 있는 쓰레기통의 색깔은 기준 모델에 포함시키지 않는다. 지면은 거의 완벽하게 분할되었고, 약 3미터(meter) 거리에 위치한 선풍기도 분할하였다. 그러나, 강한 빛이 카메라의 정면에서 반사되기 때문에 잘못된 이진화 결과 (흰 색깔의 점들)가 나타난다. 그러나, 간단한 영상처리 알고리즘(grouping 알고리즘이나 화상 개선 알고리즘)으로 하얀 점들을 처리할 수 있다.
도 7은 본 발명의 실외에서 센서 융합 방법을 적용한 화면이다. 도 7을 참조하면, 보도와 잔디밭의 경계선에서 실험을 행하였는데, 기준 모델의 크기는 정면으로는 화면 안에 있는 사람의 발목까지 화면 안에 있는 보도 블록을 포함한다. 빛이 왼쪽 블록을 비추고 있어도 알고리즘은 사람의 발목을 제외한 부분을 이동 가능한 부분으로 포함한다.
도 8은 본 발명의 보도블록에서 주행 중에 연속으로 촬영한 영상을 보여준다. 도 8을 참조하면, 기준 모델이 블록, 잔디 및 흙을 포함시키더라도 결과 화면은 이진화된 결과를 보여준다. 그리고, 잔디밭도 이동로봇이 주행 가능한 도로로 파악한다. 그러나, 마지막 화면은 실외의 강한 빛과 잔디의 색으로 인하여 다소 흰색 점들이 많이 분포되었지만, 그 크기가 작아 이동로봇 주행 시 판단하는 장애물의 폭 크기 계산 때문에 산발적으로 분포된 흰색 점들은 간단한 화상 개선 알고리즘 실행 후 지면에 속하게 된다.
도 9는 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법의 흐름도이다. 도 9를 도 1과 함께 살펴보기로 한다.
먼저, 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는다(S100).
이후, 필터링부(200)가 영상 입력부(100)에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거한다(S200).
이후, 색 공간 변환부(300)가 필터링부(200)에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환한다(S300).
이후, 좌표 변환부(400)가 필터링부(200)에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정한다(S400).
이후, 거리 측정부(500)가 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정한다(S500).
이후, 비교부(600)가 거리 측정부(500)가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 색 공간 변환부(300)로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단한다(S600).
이후, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 데이터 융합부(700)가 좌표 변환부(400)에서 변환된 좌표값 데이터와 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합한다(S700). 그러나, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하지 않는다면, S100 과정으로 피드백(feedback)하여 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는다. 즉, 비교부(600)가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단할 때까지는 영상 입력부(100)가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 계속 입력받는다.
이후, 이동경로 추출부(800)가 데이터 융합부(700)로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출한다(S800).
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
도 1은 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템의 구성도이다.
도 2는 본 발명의 영상에서 획득한 교차점의 위치 오차를 나타낸 도면이다.
도 3은 본 발명의 센서 융합 후의 물체 위치에 대한 안전 경로지역을 나타낸 도면이다.
도 4는 본 발명의 센서 융합 후의 X축 방향과 Y축 방향에 대한 측정오차를 나타낸 도면이다.
도 5는 본 발명의 RGB 영상의 화소 좌표값을 영상 평면의 좌표값과 대칭하기 위한 도면이다.
도 6은 본 발명의 실내에서 센서 융합 방법을 적용한 화면이다.
도 7은 본 발명의 실외에서 센서 융합 방법을 적용한 화면이다.
도 8은 본 발명의 보도블록에서 주행 중에 연속으로 촬영한 영상을 보여준다.
도 9는 본 발명의 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법의 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 영상 입력부 200 : 필터링부
300 : 색 공간 변환부 400 : 좌표 변환부
500 : 거리 측정부 600 : 비교부
700 : 데이터 융합부 800 : 이동경로 추출부
1000 : 이동경로 추출 시스템
Claims (4)
- 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 영상 입력부;상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 필터링부;상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환하는 색 공간 변환부;상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 좌표 변환부;이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 거리 측정부;상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 비교부;상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 데이터 융합부; 및상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 이동경로 추출부;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템.
- 제1항에 있어서,상기 제2단계는 메디안 필터를 이용하여 상기 RGB 영상을 필터링하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템.
- 제1항에 있어서,상기 제3단계는 다항식 와핑 함수를 이용하여 상기 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출시스템.
- 영상 입력부가 이동로봇이 이동하고 있는 전방의 지면 형상에 대한 RGB 영상을 입력받는 제1단계;필터링부가 상기 영상 입력부에 입력된 RGB 영상을 필터링하여 RGB 영상의 잡음을 제거하는 제2단계;색 공간 변환부가 상기 필터링부에서 필터링된 RGB 영상의 RGB 색 공간을 색상, 명도 및 채도를 포함하는 HIS 색 공간으로 변환하는 제3단계;좌표 변환부가 상기 필터링부에서 필터링된 RGB 영상의 화소 좌표값을 영상 평면의 좌표값으로 대칭 변환한 후, 이동로봇 중심에서 본 좌표값으로 변환하여 이동로봇에 탑재된 카메라의 위치에 관한 좌표값을 보정하는 제4단계;거리 측정부가 이동로봇이 이동하는 있는 전방에 위치한 물체까지의 거리를 측정하는 제5단계;비교부가 상기 거리 측정부가 측정한 거리에 해당하는 지면 형상의 색상 및 명도에 관한 값을 상기 색 공간 변환부로부터 수신하여, 기 설정된 색상 및 명도의 드레시홀드 값 미만인지를 판단하는 제6단계;상기 비교부가 지면 형상의 색상 및 명도에 관한 값을 기 설정된 색상 및 명도의 드레시홀드 값 미만으로 판단하면, 데이터 융합부가 상기 좌표 변환부에서 변환된 좌표값 데이터와 상기 영상 평면과 겹치는 영역의 거리에 관한 데이터를 융합하는 제7단계; 및이동경로 추출부가 상기 데이터 융합부로부터 거리에 관한 데이터를 수신하여 이동로봇이 이동한 이동경로를 판단하고, 이동경로에 관한 데이터를 추출하는 제8단계;를 포함하는 것을 특징으로 하는 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로 추출방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (ko) | 2007-12-21 | 2007-12-21 | 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (ko) | 2007-12-21 | 2007-12-21 | 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090067484A true KR20090067484A (ko) | 2009-06-25 |
| KR101407508B1 KR101407508B1 (ko) | 2014-06-17 |
Family
ID=40995198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070135161A KR101407508B1 (ko) | 2007-12-21 | 2007-12-21 | 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101407508B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130061962A (ko) * | 2011-12-02 | 2013-06-12 | 엘지전자 주식회사 | 잔디 깍기의 경계 인식 시스템 |
| WO2018186583A1 (ko) * | 2017-04-04 | 2018-10-11 | 엘지전자 주식회사 | 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇 |
| CN110333716A (zh) * | 2019-04-30 | 2019-10-15 | 深圳市商汤科技有限公司 | 一种运动控制方法、装置和系统 |
| WO2021006635A1 (en) * | 2019-07-09 | 2021-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus for identifying object through warped image and control method thereof |
| KR20210006825A (ko) * | 2019-07-09 | 2021-01-19 | 삼성전자주식회사 | 와핑된 이미지를 통해 바닥 객체를 식별하는 전자 장치 및 그 제어 방법 |
| KR20210054347A (ko) * | 2019-11-05 | 2021-05-13 | 대한민국(농촌진흥청장) | 영상 기반 경로 인식 및 조향각 산출 기술을 지원하는 자율 주행 농기계 장치 및 그 동작 방법 |
| CN113608524A (zh) * | 2021-06-16 | 2021-11-05 | 深圳甲壳虫智能有限公司 | 自动行走装置及其控制方法、控制装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100473331B1 (ko) | 2002-04-19 | 2005-03-08 | 주식회사 지피에스코리아 | 이동식 매핑시스템 및 그 영상처리방법 |
| KR100557682B1 (ko) * | 2003-07-21 | 2006-03-07 | 주식회사 한울로보틱스 | 주행 바닥면 영상정보를 이용한 이동로봇의 주행제어방법 |
| JP4557288B2 (ja) * | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
-
2007
- 2007-12-21 KR KR1020070135161A patent/KR101407508B1/ko not_active IP Right Cessation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130061962A (ko) * | 2011-12-02 | 2013-06-12 | 엘지전자 주식회사 | 잔디 깍기의 경계 인식 시스템 |
| WO2018186583A1 (ko) * | 2017-04-04 | 2018-10-11 | 엘지전자 주식회사 | 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇 |
| US11182625B2 (en) | 2017-04-04 | 2021-11-23 | Lg Electronics Inc. | Method for identifying obstacle on driving ground and robot for implementing same |
| CN110333716A (zh) * | 2019-04-30 | 2019-10-15 | 深圳市商汤科技有限公司 | 一种运动控制方法、装置和系统 |
| WO2021006635A1 (en) * | 2019-07-09 | 2021-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus for identifying object through warped image and control method thereof |
| KR20210006825A (ko) * | 2019-07-09 | 2021-01-19 | 삼성전자주식회사 | 와핑된 이미지를 통해 바닥 객체를 식별하는 전자 장치 및 그 제어 방법 |
| US11650597B2 (en) | 2019-07-09 | 2023-05-16 | Samsung Electronics Co., Ltd. | Electronic apparatus for identifying object through warped image and control method thereof |
| KR20210054347A (ko) * | 2019-11-05 | 2021-05-13 | 대한민국(농촌진흥청장) | 영상 기반 경로 인식 및 조향각 산출 기술을 지원하는 자율 주행 농기계 장치 및 그 동작 방법 |
| CN113608524A (zh) * | 2021-06-16 | 2021-11-05 | 深圳甲壳虫智能有限公司 | 自动行走装置及其控制方法、控制装置及存储介质 |
| CN113608524B (zh) * | 2021-06-16 | 2024-04-16 | 深圳甲壳虫智能有限公司 | 自动行走装置及其控制方法、控制装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101407508B1 (ko) | 2014-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101407508B1 (ko) | 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 | |
| CN107025635B (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
| CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
| JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
| Umeda et al. | Registration of range and color images using gradient constraints and range intensity images | |
| Borrmann et al. | Mutual calibration for 3D thermal mapping | |
| JP5156601B2 (ja) | 形状測定装置およびプログラム | |
| CN106650701A (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| JP2004118638A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| KR101379787B1 (ko) | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 | |
| CN114283391A (zh) | 一种融合环视图像与激光雷达的自动泊车感知方法 | |
| CN107514745A (zh) | 一种智能空调立体视觉定位的方法及系统 | |
| JP6956051B2 (ja) | 画像処理装置、運転支援システム、画像処理方法及びプログラム | |
| Hochdorfer et al. | 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks | |
| CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
| CN110838144A (zh) | 一种充电设备识别方法、移动机器人和充电设备识别系统 | |
| Pujol-Miro et al. | Registration of images to unorganized 3D point clouds using contour cues | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN114370871A (zh) | 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法 | |
| CN113869422A (zh) | 多相机目标匹配方法、系统、电子设备及可读存储介质 | |
| Tanveer et al. | An Inverse Perspective Mapping Approach using Monocular Camera of Pepper Humanoid Robot to Determine the Position of Other Moving Robot in Plane. | |
| CN109410272B (zh) | 一种变压器螺母识别与定位装置及方法 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| KR20140011672A (ko) | 로봇 제어 방법 및 장치 | |
| CN112767481A (zh) | 一种基于视觉边缘特征的高精度定位及建图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |