KR101264914B1 - 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법 - Google Patents

주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법 Download PDF

Info

Publication number
KR101264914B1
KR101264914B1 KR1020110068567A KR20110068567A KR101264914B1 KR 101264914 B1 KR101264914 B1 KR 101264914B1 KR 1020110068567 A KR1020110068567 A KR 1020110068567A KR 20110068567 A KR20110068567 A KR 20110068567A KR 101264914 B1 KR101264914 B1 KR 101264914B1
Authority
KR
South Korea
Prior art keywords
image
pixel
path line
distribution
chroma
Prior art date
Application number
KR1020110068567A
Other languages
English (en)
Other versions
KR20130007910A (ko
Inventor
도용태
손민혁
김정대
윤홍렬
Original Assignee
(주)유알에프
대구대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유알에프, 대구대학교 산학협력단 filed Critical (주)유알에프
Priority to KR1020110068567A priority Critical patent/KR101264914B1/ko
Publication of KR20130007910A publication Critical patent/KR20130007910A/ko
Application granted granted Critical
Publication of KR101264914B1 publication Critical patent/KR101264914B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Abstract

본 발명은 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법에 관한 것으로서, 표본영상 수집단계(S1단계)와; 색도ㆍ채도영상 획득단계(S2단계)와; 화소분포 확인단계(S3단계)와; 화소분포의 종류 판정단계(S4단계)와; 임계치 지정단계(S5단계)와; 경로선 화소 추출단계(S6단계)와; 화소 이용단계(S7단계)와; [R, G, B] 영상을 취득하는 R, G, B영상 취득단계(S8단계) 및; R, G, B영상으로부터 색도(H)와 채도(S) 영상으로 변환하는 영상 변환단계(S9단계)로 이루어져 현재 산업체에서 널리 사용되고 있는 이동로봇 주행방식인 경로선 추종주행에서 시각을 사용할 때 주변 환경에 대한 의존성의 문제가 있음을 고려하여 이를 극복할 수 있는 실제적인 기술에 착상을 둔 것으로 기존의 기법과 같이 컬러 카메라 영상의 색채정보를 사용하지만，화소들의 분포를 4가지 한정된 종류 중 한가지로 구분하는 명시적 방법과 구분된 종류별로 색도와 채도 영상을 선택하는 방법 그리고 선택된 영상에서 임계치를 결정하는 기준을 제시함으로써 이와 같은 절차는 로봇의 주행 이전에 1 회 실시되고, 이후 실제 로봇의 주행 중에는 기결정된 임계치를 이용하기만 하면 되므로 경로선 경계검출 등의 방법에 의존하는 기존의 기법들과는 달리 임계치를 주변 조건의 변화에 따라 계속 변화시킬 필요가 없어 실제 적용에 있어 모호성이 적어지는 각별한 장점이 있는 유용한 발명이다.

Description

주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법{Method f or detecting robot path line on an image robust to the change of navi gation environments}
본 발명은 바닥에 설치된 로봇 경로선을 검출하는 방법에 관한 것으로서, 더욱 상세하게는 이동로봇의 자율주행시 컬러 카메라를 시각센서로 사용하여 바닥에 설치된 경로선을 주행환경 변화에 강건(robust)하게 영상 내에서 정확하고 용이하게 검출하는 방법에 관한 것이다.
일반적으로 이동로봇의 자율주행은 경로선을 추종하여 미리 정해진 경로를 따라 이동하는 방식과 별도의 경로선 없이 목표지점까지 인공지능적 기법 등을 사용하여 이동하는 방식으로 대별할 수 있다.
본 발명에 따른 경로선 추종주행 방식은 주행 오류의 가능성이 아주 낮아 신뢰성이 높을 뿐만 아니라 경로선의 검출을 위한 센서신호의 처리도 간단하여 계산비용도 낮다는 장점이 있어 이미 산업현장에서 무인반송자를 포함한 이동로봇에 널리 채용되고 있다(대한민국 특허제0504255호 "무인반송시스템과 그 제어방법" 참조).
이동로봇의 주행을 위한 바닥 경로선 검출의 기존 방식은 크게 세 가지로 나눌 수 있다. 즉, 자기력 센서를 사용하는 방법과 적외선 센서에 의한 방법. 그리고 시각 센서를 활용하는 방법이 그것들이다. 비록 카메라를 이용한 시각센서의 로봇에의 활용이 광범위하게 이루어지고 있으나, 카메라의 이용은 주변광과 같은 주변 환경조건에 민감한 결과를 보이므로 이를 균질하게 제어하지 못하는 상황에서는 시각센서를 경로선의 추종주행을 위해 활용하기가 어렵다.
카메라 영상을 기반으로 바닥에 설치된 경로선을 찾아 이동로봇이 주행하는 방법1에 대한 대표적인 기존 연구결과를 살펴보면, 다음과 같다.
Ishikawa 등은 흑백 TV 카메라를 사용하여 검은색 바닥에 그려진 흰색 경로선을 인식하는 방법을 연구하였다(S. Ishikawa. H. Kuwamoto, and S. Ozawa. "Vis ual navigation of an autonomous vehicle using white line recognition."IEEE T rans, Pattern Analysis and Machine Intelligence, vol. 10, no.5.pp.743-749. 1988 참조).
영상에서 수직으로 위치하는 경로선을 가정하고, 이와 법선 방향으로 영상을 스캔하며 화소의 명암값(gray level)이 급격히 높아지는 양의 경계(positive edge)와 반대로 급격히 낮아지는 음의 경계(negative edge)를 탐색함으로써 주행 경로선을 검출하였다. 경계 검출(edge detection)에서 중요한 임계치는 주행 전에 미리 지정하였는데, 밝기 히스토그램에서 두 번째 첨두치의 2/3 위치에서 고정하였다.
Ishikawa의 방식은 검은색 배경에 흰색선을 처리할 때만 유용한 제약이 있고 공공기관의 바닥에서 흔히 볼 수 있는 모자이크 대리선 문양이나 타일 등이 있는 경우에는 적용할 수 없다. 또한 주변광의 복잡한 변화에 민감한 문제가 있고, 특히 경로선 상에 그림자가 존재할 때와 같은 부분적인 광 특성을 제대로 처리하지 못하는 단점이 있다. 그리고 경계 검출의 과정에서 필연적으로 크고 작은 잡음이 발생하는 문제도 있어 현장 활용에는 어려움이 있다.
이러한 경계 검출에 의한 경로선 검출 방식의 제 문제들을 해결하기 위해 Schuster와 Katsaggelos는 선 모형(model)을 사용한 가중 최소 평균제곱오차법(weighted minimum MSE)을 제안한 바 있다(G. M. Schuster and A. K. Katsaggel os, "Robust line detection using a weighted MSE estimator", Proc, Int. Conf. on Image Processing, vol. 1, pp.293-296, 2003 참조). 이는 영상 내 모든 화소들로부터 제곱오차를 최소화하는 방식으로 주어진 선의 식을 결정하였다. 단, 흑백 영상 내 흰색선을 가정하고 밝은 화소에 높은 가중치를 주었고, 또 화소값의 기울기(gradient) 크기에 비례하여 가중치를 주었으며, 로봇에 장착된 카메라와 가까이 있는 화소에 가중치를 주었다.
따라서 이 방식은 경계 검출시와 같이 영상 밝기의 기울기를 구하지만 따로 임계치를 지정하지 않으므로 상당한 잡음이 존재하는 영상에서도 효과적으로 경로선의 검출이 가능하였다.
그러나 영상 내 다른 특성을 가지는 경로선이 복수로 존재하는 경우, MSE의 적용으로는 좋은 결과를 도출하기 어렵다. 이러한 경우는 로봇이 방향을 전환하거나 정지하게 되는 지점 부근에서 십자로(+), 우회전(┌ ) 혹은 좌회전(┐) 형태의 경로선을 만날 때 발생할 수 있다.
이 문제는 특성이 다른 두 개의 선을 하나의 다항식으로 결정하려고 하는 데서 발생한다. 이 기법의 또 다른 제약은 흑백 영상에 기반한 방법이라는 점이다. 근래 시중에 다량으로 출시되고 있는 저가의 소형 카메라들이 대부분 컬러 영상을 출력하고 있음을 고려하면, 굳이 흑백 영상의 정보에 의존하여 목표를 탐색할 필요가 없다. 흑백 영상에 의한 경로선의 탐색은 영상 내 비슷한 밝기를 가지는 바닥의 점들과 같은 잡음 요인에 의하여 오류를 유발할 가능성이 크다(J.-M. Ranger and F. Michaud "EME-low-cost embedded multiprocessing environment." Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems( IROSJ .vo1.2,pp.1416-1421、2UOO. 참조).
또한 Ismail 등은 저가의 USB용 웹 카메라 컬러 출력 영상을 흑백 영상으로 변환하여 사용하였는데, 이는 카메라로부터 제공되는 정보를 충분히 사용하지 않게 되는 것이며, 따라서 기존의 흑백 영상 기반 기법들에서와 같이 어두운 배경과 백색 경로선의 사용과 같은 제약조건을 여전히 필요로 하는 문제가 발생하였다(A.H. Ismail 외, "Vision-based system for line following mobile robot,"Proc . IEEE Symp, Industrial Electronics and Applications , pp.4-6. 2009 참조)
그리고 컬러 영상에 기반한 경로선 검출 방법으로, Ding 등은 카메라의 [R(적색;red), G(녹색;green), B(청색;blue)] 컬러 공간에서의 영상을 [H(색도;hue), S(채도;saturation), I(명도;intensity)] 컬러 공간으로 변환한 후, 임계치를 적용하여 경로선을 검출하였다(C.Ding 외. "Mobile robot's road following based on color vision and FGA control strategy,"Proc . World Cong, Intelligent Control and Automation(WCICA), pp.3124-3128. 2006. 참조).
이는 영상의 색채(H와 S) 값이 밝기(I)와 무관함을 이용한 것이다. 일단 경로선이 검출되면 이의 시작점과 종결점의 위치를 얻고 이로부터 경로 정보를 결정하였는데, 이러한 방식은 경로선의 경계를 검출하는 방식인 상기한 Ishikawa의 기법과 원천적으로 동일한 접근법으로, 경계 검출에 기반한 기법들이 가지고 있는 문제점들을 대체로 가지게 된다.
본 발명은 상기한 종래 바닥에 설치된 로봇 경로선을 검출하는 방법들에서 야기되는 여러 가지 결점 및 문제점 들을 해결하고자 발명한 것으로서, 그 목적은 컬러 카메라를 이동로봇의 시각센서로 사용하여 바닥에 설치된 경로선을 검출하는 방법에 관한 것으로 오래 전부터 연구와 개발이 수행된 바 있어 새로울 것이 없으나, 실제 활용에 있어서는 카메라 출력영상의 주변 환경 의존성, 특히 주변광과 바닥조건 등의 변화가 있을 때 검출성능이 일관되지 못하여 신뢰성이 높지 못한 문제점이 있기 때문에 이를 극복하는 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법은 주행 이전에 미리 경로선과 주변 바닥을 포함하는 컬러의 표본영상을 카메라를 통해 채집하는 표본영상 수집단계(S1단계)와; 채집된 컬러의 표본영상을 색도(H)와 채도(S) 영상으로 변환하여 색도ㆍ채도영상 획득단계(S2단계)와; 획득한 색도(H)와 채도(S) 영상에서 각각 경로선에 해당하는 화소들과 배경에 해당하는 화소들의 평균값과 표준편차를 구하여 해당 화소들의 분포를 확인하는 화소분포 확인단계(S3단계)와; 상기 화소분포 확인단계(S3단계)에서 확인한 4가지의 화소분포의 종류를 판정하는 화소분포의 종류 판정단계(S4단계)와; 판정된 화소분포의 종류에 따라 사용할 영상 내 화소 구분을 위한 임계치를 지정하는 임계치 지정단계(S5단계)와; 선택된 영상과 결정된 임계치를 이용하여 경로선에 해당하는 화소들을 추출함으로써 이진 영상을 얻는 경로선 화소 추출단계(S6단계)와; 추출된 화소를 로봇 주행제어에 이용하는 화소 이용단계(S7단계)와; 상기 경로선 화소 추출단계(S6단계)의 실행에 이어서 실행되는 컬러 카메라를 통해 입력되는 영상으로부터 [R, G, B] 영상을 취득하는 R, G, B영상 취득단계(S8단계) 및; R, G, B영상으로부터 색도(H)와 채도(S) 영상으로 변환하는 영상 변환단계(S9단계)로 이루어져 상기 경로선 화소 추출단계(S6단계) → 화소 이용단계(S7단계) → R, G, B영상 취득단계(S8단계) → 영상 변환단계(S9단계) → 경로선 화소 추출단계(S6단계) 순으로 반복적으로 실행되도록 이루진 것을 특징으로 한다.
발명은 현재 산업체에서 널리 사용되고 있는 이동로봇 주행방식인 경로선 추종주행에서 시각을 사용할 때 주변 환경에 대한 의존성의 문제가 있음을 고려하여이를 극복할 수 있는 실제적인 기술에 착상을 둔 것으로 기존의 기법과 같이 컬러 카메라 영상의 색채정보를 사용하지만，화소들의 분포를 4가지 한정된 종류 중 한가지로 구분하는 명시적 방법과 구분된 종류별로 색도와 채도 영상을 선택하는 방법 그리고 선택된 영상에서 임계치를 결정하는 기준을 제시함으로써 이와 같은 절차는 로봇의 주행 이전에 1 회 실시되고, 이후 실제 로봇의 주행 중에는 기결정된 임계치를 이용하기만 하면 되므로 경로선 경계검출 등의 방법에 의존하는 기존의 기법들과는 달리 임계치를 주변 조건의 변화에 따라 계속 변화시킬 필요가 없어 실제 적용에 있어 모호성이 적어지는 각별한 장점이 있다.
도 1은 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 실행하는 순서도,
도 2는 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법의 성능을 점검하기 위한 영상,
도 3은 도 2에 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 적용한 결과 영상이다.
이하, 첨부된 도면을 참조하여 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법의 바람직한 실시 예를 상세하게 설명한다.
도 1은 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 실행하는 순서도, 도 2는 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법의 성능을 점검하기 위한 영상, 도 3은 도 2에 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 적용한 결과 영상으로서, 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법은 주행 이전에 미리 경로선과 주변 바닥을 포함하는 컬러의 표본영상을 카메라를 통해 채집하는 표본영상 수집단계(S1단계)와; 채집된 컬러의 표본영상을 색도(H)와 채도(S) 영상으로 변환하여 색도ㆍ채도영상 획득단계(S2단계)와; 획득한 색도(H)와 채도(S) 영상에서 각각 경로선에 해당하는 화소들과 배경에 해당하는 화소들의 평균값과 표준편차를 구하여 해당 화소들의 분포를 확인하는 화소분포 확인단계(S3단계)와; 상기 화소분포 확인단계(S3단계)에서 확인한 4가지의 화소분포의 종류를 판정하는 화소분포의 종류 판정단계(S4단계)와; 판정된 화소분포의 종류에 따라 사용할 영상 내 화소 구분을 위한 임계치를 지정하는 임계치 지정단계(S5단계)와; 선택된 영상과 결정된 임계치를 이용하여 경로선에 해당하는 화소들을 추출함으로써 이진 영상을 얻는 경로선 화소 추출단계(S6단계)와; 추출된 화소를 로봇 주행제어에 이용하는 화소 이용단계(S7단계)와; 상기 경로선 화소 추출단계(S6단계)의 실행에 이어서 실행되는 컬러 카메라를 통해 입력되는 영상으로부터 [R, G, B] 영상을 취득하는 R, G, B영상 취득단계(S8단계) 및; R, G, B영상으로부터 색도(H)와 채도(S) 영상으로 변환하는 영상 변환단계(S9단계)로 이루어져 상기 경로선 화소 추출단계(S6단계) → 화소 이용단계(S7단계) → R, G, B영상 취득단계(S8단계) → 영상 변환단계(S9단계) → 경로선 화소 추출단계(S6단계) 순으로 반복적으로 실행되도록 구성되어 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
다음에는 상기한 바와 같이 이루어지는 본 발명 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법을 실시 예로서 상세하게 설명한다.
도 1에 도시한 바와 같이 먼저 S1단계는 표본영상을 수집하는 단계로，로봇이 추종할 경로선을 포함하는 바닥면의 칼러영상을 카메라로 수집한다. 이때는 경로선을 추종하고 이동하는 로봇의 경우 작업공간이 한정되어 있으며，작업공간 내 바닥에 설치된 경로선과 배경에 대한 영상을 수집하는 것은 일반적으로 용이하다. 영상의 수집에는 별도의 제약이 없으며，로봇의 주행시 사용할 카메라를 이용하여 수집한 일반적인 형태의 컬러영상이면 된다. 표본영상의 수집은 로봇의 이동 전 적절한 시기에 1회 시행하며，경로선이나 바닥면의 색채 특성이 변경되지 않는 한 재시행할 필요가 없다.
이어서 색도ㆍ채도영상 획득단계(S2단계)에서 상기 S1단계에서 수집된 표본영상인 칼러영상을 색도(H)와 채도(S) 영상으로 변환하여 색도(H)와 채도(S) 영상을 획득한다. 일반적인 컬러 카메라의 출력은 [R, G, B]의 형식을 가지며, 이로부터 색도와 채도 및 명도의 모노크롬(monochrome) 영상을 얻는 방식은 이미 잘 알려져 있다. 색도와 채도는 명도의 값과 독립적이므로 색도와 채도 영상은 주변 광의 변화에 원천적으로 영향을 받지 않는 것으로 알려져 있다.
계속하여 화소분포 확인단계(S3단계)에서 색도(H)와 채도(S) 영상으로부터 각각 경로선에 해당하는 화소들과 배경에 해당하는 화소들의 분포를 확인한다. 이 때 주어진 표본영상의 화소 분포는 하기 수학식 1 내지 3으로 화소분포를 평균값과 표준편차로 나타낸다.
<수학식 1>
Figure 112011053071495-pat00009
Figure 112011053071495-pat00010
<수학식 2>
Figure 112011053071495-pat00011
<수학식 3>
Figure 112011053071495-pat00012
단, 각 영상에서 배경과 경로선에 해당하는 화소들은 각각 정규분포에 따른다고 가정하고, 수학식 1 내지 3에 사용된 기호들은 정규분포를 특정하는 평균과 표준편차로서, μHB는 배경 화소들의 색도 영상에서의 평균값, σHB는 배경 화소들의 색도 영상에서의 표준편차, μHL은 경로선 화소들의 색도 영상에서의 평균값, σHL 은 경로선 화소들의 색도 영상에서의 표준편차를 각각 나타내고, μSB는 배경 화소들의 채도 영상에서의 평규값, σSB는 배경 화소들의 채도 영상에서의 표준편차, μSL은 경로선 화소들의 채도 영상에서의 평균값, σSL은 경로선 화소들의 채도 영상에서의 표준편차를 각각 나타내며, k는 3, 혹은 그보다 작고 0 보다 큰 실수이다.
계속하여 화소분포의 종류 판정단계(S4단계)에서 화소분포는 상기 수학식 1 내지 3에 따라 수학식 1이 참인 경우 (i)로 분류하고, 수학식 1이 참이 아니라는 조건하에서 수학식 2가 참으로 판명되면 경우 (ⅱ)로 분류하고, 역시 수학식 1이 참이 아니라는 가정하에서 수학식 3이 참으로 판명되면 경우 (ⅲ)으로 분류하고, 이상 3가지 경우에 해당하지 않는 나머지 경우에는 경우 (ⅳ)에 해당하는 것으로 분류한다.
(i)색도(H)와 채도(S) 분포 모두에서 배경과 경로선이 잘 구분되는 경우
(ⅱ)색도(H) 분포에서만 배경과 경로선이 잘 구분되는 경우
(ⅲ)채도(S) 분포에서만 배경과 경로선이 잘 구분되는 경우
(ⅳ)색도(H)와 채도(S) 분포 모두에서 배경과 경로선이 잘 구분되지 않는 경우
그 다음에 임계치 지정단계(S5단계)에서 이전 단계에서 결정된 화소 분포의 종류에 따라 경로선과 배경을 색채영상에서 구분하기 위한 임계치를 정한다. 화소분포의 종류 판정단계(S4단계)에서 (i)의 경우에 해당하는 분포는 아래의 (1)번 방식으로 색도와 채도 영상을 선택하고 선택된 영상에서 임계치를 지정하며, (ⅱ)의 경우에 해당하는 경우는 아래의 (2)번 방식으로, (ⅲ)의 경우에 해당하는 분포는 아래의 (3)번 방식으로, 그리고 (ⅳ)의 경우에 해당하는 분포는 아래의 (4)번 방식을 따른다.
즉, 색도(H)와 채도(S) 두 영상 모두에서 배경에 해당하는 화소들의 분포와 경로선에 해단하는 화소들의 분포가 겹치지 않고 분명하게 구분되는 경우로서, 평균값과 표준편차를 이용하여 표현할 수 있는 각 분포에 속하는 화소들을 구분하는 임계치는 두 분포 사이 간격의 중앙에서 결정할 수 있다. 이때 색도(H)와 채도(S) 두 개의 영상에서 배경과 경로선 두 개의 분포가 존재하므로, 두 개의 영상 내 두 분포의 상대적인 위치에 따라 모두 네 가지의 경우가 발생할 수 있으며, 각 경우에서 임계치는 구체적으로 다음과 같이 결정한다.
(1). 색도(H)와 채도(S) 영상을 모두 선택하며, H 영상에서
Figure 112012103783065-pat00017
의 조건하에서 임계치를
Figure 112012103783065-pat00018
로 하고, 조건이 만족되지 못하는 경우에는 임계치를
Figure 112012103783065-pat00019
로 한다. 또, S영상에서,
Figure 112012103783065-pat00020
의 조건하에서
Figure 112012103783065-pat00021
를 임계치로 하고, 조건이 만족 못하면
Figure 112012103783065-pat00022
를임계치로 한다.
(2). 색도(H) 영상에서만 배경 화소들의 분포와 경로선 화소들의 분포가 겹치지 않고 분리되는 경우로서, 색도(H) 영상만 선택하고, 임계치는 (1)에서 색도(H) 영상에 대하여 정한 임계치와 동일하게 한다.
(3). 채도(S) 영상에서만 배경 화소들의 분포와 경로선 화소들의 분포가 겹치지 않고 분리되는 경우로서, 채도(S) 영상만 선택하고, 임계치는 (1)에서 채도(S) 영상에 대하여 정한 임계치와 동일하게 한다.
(4). 색도(H)와 채도(S) 영상 모두에서 배경에 속하는 화소들과 경로선에 속하는 화소들의 분포가 일부분 겹쳐서 상기의 방법을 적용할 수 없는 경우로서, 색도(H)와 채도(S)의 영상 중에서 상대적으로 두 분포가 더 크게 떨어져 있는 영상을 선택하고, 그 영상에서 배경 화소 분포의 편균값과 경로선 화소 분포의 평균값의 중앙에서 임계치를 결정한다. 즉,
Figure 112012103783065-pat00023
의 조건하에서 H 영상만 선택하여 사용하고 임계치는
Figure 112012103783065-pat00024
로 한다. 만약 조건이 만족되지 못하는 경우에는 채도(S) 영상만 선택하고 임계치는
Figure 112012103783065-pat00025
로 한다.
마지막으로 경로선 화소 추출단계(S6단계)에서 이전 단계에서 결정된 임계치를 기준으로 경로선에 해당하는 화소들을 배경 바닥으로부터 구분하여 추출한다. H, S 영상에서 각각 임계치를 적용하여 경로선 화소를 1로, 배경을 0으로 하는 이진의 영상을 얻는 기준은 다음과 같다.
여기서 본 발명은 이동 로봇의 주행을 위하여 여러 가지 다양한 환경에서 경로선을 배경으로부터 추출해 내는 효과적인 방법에 관한 것이므로 컬러 영상이 입력이 되고, 배경으로부터 분명하게 구분되어 경로선이 표현되는 이진 영상이 출력됩니다. 즉, 본 발명의 여러 절차들은 결국 이진 영상을 얻기 위한 것이며, 경로선의 이진 영상이 얻어지면 도 1에서 보인 바와 같이 로봇 주행에 직접 활용될 수 있습니다.
색도(H)와 채도(S) 두 개의 영상을 처리하며, 각 영상에서 배경과 경로선의 화소들이 존재하므로, 이진의 영상을 얻는 데는 네 가지의 경우가 존재한다. 만약 색도(H) 영상이 선택된 경우에는,
Figure 112012103783065-pat00026
의 조건하에서, 즉 경로선에 속하는 화소들의 채도 평균값(μHL)이 배경에 속하는 화소들의 채도 평균값(μHB) 보다 밝은 경우에, 임의 화소의 값이 임계치보다 크면, 1로 하고 아니면 0으로 하여 경로선 화소들이 1로 검출되도록 한다. 나머지 세가지 경우에도 유사한 방법으로 경로선에 속하는 화소들을 1로 검출한다. 즉, 조건
Figure 112012103783065-pat00027
이 성립하지 않는 경우에는 임의 화소의 값이 임계치보다 크면, 0으로 하고, 아니면 1로 한다. 만약 S 영상이 선택된 경우에는,
Figure 112012103783065-pat00028
의 조건하에서 임의 화소의 값이 임계치보다 크면, 1로 하고 아니면 0으로 한다. 조건
Figure 112012103783065-pat00029
이 성립하지 않는 경우에는 임의 화소의 값이 임계치보다 크면, 0으로 하고, 아니면 1로 한다.
본 발명의 실제적 효과는 도 2와 같이 다른 조건의 영상에 본 발명의 방법을 적용하여 봄으로써 확인할 수 있는데, 도 2와 같은 다른 조건의 영상에 본 발명을 적용하면, 도 3과 같은 결과를 얻을 수 있으며, 결과 영상에서 보듯이 주변 환경조건의 변화에 둔감한 경로선 화소의 검출이 가능하다.
지금까지 본 발명을 바람직한 실시 예로서 설명하였으나, 본 발명은 이에 한정되지 않고 발명의 요지를 이탈하지 않는 범위 내에서 다양하게 변형하여 실시할 수 있음은 물론이다.

Claims (3)

  1. 주행 이전에 미리 경로선과 주변 바닥을 포함하는 컬러의 표본영상을 카메라를 통해 채집하는 표본영상 수집단계(S1단계)와; 채집된 컬러의 표본영상을 색도(H)와 채도(S) 영상으로 변환하여 색도ㆍ채도영상 획득단계(S2단계)와; 획득한 색도(H)와 채도(S) 영상에서 각각 경로선에 해당하는 화소들과 배경에 해당하는 화소들의 평균값과 표준편차를 구하여 해당 화소들의 분포를 확인하는 화소분포 확인단계(S3단계)와; 상기 화소분포 확인단계(S3단계)에서 확인한 4가지의 화소분포의 종류를 판정하는 화소분포의 종류 판정단계(S4단계)와; 판정된 화소분포의 종류에 따라 사용할 영상 내 화소 구분을 위한 임계치를 지정하는 임계치 지정단계(S5단계)와; 선택된 영상과 결정된 임계치를 이용하여 경로선에 해당하는 화소들을 추출함으로써 이진 영상을 얻는 경로선 화소 추출단계(S6단계)와; 추출된 화소를 로봇 주행제어에 이용하는 화소 이용단계(S7단계)와; 상기 경로선 화소 추출단계(S6단계)의 실행에 이어서 실행되는 컬러 카메라를 통해 입력되는 영상으로부터 [R, G, B] 영상을 취득하는 R, G, B영상 취득단계(S8단계) 및; R, G, B영상으로부터 색도(H)와 채도(S) 영상으로 변환하는 영상 변환단계(S9단계)로 이루어져 상기 경로선 화소 추출단계(S6단계) → 화소 활용단계(S7단계) → R, G, B영상 취득단계(S8단계) → 영상 변환단계(S9단계) → 경로선 화소 추출단계(S6단계) 순으로 반복적으로 실행되는 것을 특징으로 하는 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법.
  2. 제 1항에 있어서, 상기 화소분포 확인단계(S3단계)에서 화소분포는 하기 수학식 1 내지 3으로 화소분포의 평균값과 표준편차를 나타내 수학식 1이 참인 경우 (i)로 분류하고, 수학식 1이 참이 아니라는 조건하에서 수학식 2가 참으로 판명되면 경우 (ⅱ)로 분류하고, 역시 수학식 1이 참이 아니라는 조건하에서 수학식 3이 참으로 판명되면 경우 (ⅲ)으로 분류하고, 이상 3가지 경우에 해당하지 않는 나머지 경우에는 경우 (ⅳ)에 해당하는 것으로 분류하는 것을 특징으로 하는 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법.
    (i)색도(H)와 채도(S) 분포 모두에서 배경과 경로선이 잘 구분되는 경우,
    (ⅱ)색도(H) 분포에서만 배경과 경로선이 잘 구분되는 경우,
    (ⅲ)채도(S) 분포에서만 배경과 경로선이 잘 구분되는 경우,
    (ⅳ)색도(H)와 채도(S) 분포 모두에서 배경과 경로선이 잘 구분되지 않는 경우
    <수학식 1>
    Figure 112012103783065-pat00030

    Figure 112012103783065-pat00031

    <수학식 2>
    Figure 112012103783065-pat00032

    <수학식 3>
    Figure 112012103783065-pat00033
    단, 각 영상에서 배경과 경로선에 해당하는 화소들은 각각 정규분포에 따른다고 가정하고, 수학식 1 내지 3에 사용된 기호들은 정규분포를 특정하는 평균과 표준편차로서, μHB는 배경 화소들의 색도 영상에서의 평균값, σHB는 배경 화소들의 색도 영상에서의 표준편차, μHL은 경로선 화소들의 색도 영상에서의 평균값, σHL 은 경로선 화소들의 색도 영상에서의 표준편차를 각각 나타내고, μSB는 배경 화소들의 채도 영상에서의 평규값, σSB는 배경 화소들의 채도 영상에서의 표준편차, μSL은 경로선 화소들의 채도 영상에서의 평균값, σSL은 경로선 화소들의 채도 영상에서의 표준편차를 각각 나타내며, k는 3, 혹은 그보다 작고 0 보다 큰 실수이다.
  3. 제 2항에 있어서, 상기 확인된 화소분포 (i) 내지 (ⅳ)에 따라 임계치 지정단계(S5단계)에서 화소분포의 종류 판정단계(S4단계)에서 (i)의 경우에 해당하는 분포는 아래의 (1)번 방식으로 색도와 채도 영상을 선택하고 선택된 영상에서 임계치를 지정하며, (ⅱ)의 경우에 해당하는 경우는 아래의 (2)번 방식으로, (ⅲ)의 경우에 해당하는 분포는 아래의 (3)번 방식으로, 그리고 (ⅳ)의 경우에 해당하는 분포는 아래의 (4)번 방식으로 임계치를 정하는 것을 특징으로 하는 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법.
    (1). 색도(H)와 채도(S) 영상을 모두 선택하며, H 영상에서
    Figure 112012103783065-pat00038
    의 조건하에서 임계치를
    Figure 112012103783065-pat00039
    로 하고, 조건이 만족되지 못하는 경우에는 임계치를
    Figure 112012103783065-pat00040
    로 한다. 또, S영상에서,
    Figure 112012103783065-pat00041
    의 조건에서
    Figure 112012103783065-pat00042
    를 임계치로 하고, 조건이 만족하지 못하면,
    Figure 112012103783065-pat00043
    를 임계치로 한다.
    (2). 색도(H) 영상만 선택하고, 임계치는 (1)에서 H 영상에 대하여 정한 임계치와 동일하게 한다.
    (3). 채도(S) 영상만 선택하고, 임계치는 (1)에서 S 영상에 대하여 정한 임계치와 동일하게 한다.
    (4).
    Figure 112012103783065-pat00044
    의 조건하에서 H 영상만 선택하여 사용하고 임계치는
    Figure 112012103783065-pat00045
    로 한다. 만약 조건이 만족되지 못하는 경우에는 S 영상만 선택하고 임계치는
    Figure 112012103783065-pat00046
    로 한다.
KR1020110068567A 2011-07-11 2011-07-11 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법 KR101264914B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110068567A KR101264914B1 (ko) 2011-07-11 2011-07-11 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110068567A KR101264914B1 (ko) 2011-07-11 2011-07-11 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법

Publications (2)

Publication Number Publication Date
KR20130007910A KR20130007910A (ko) 2013-01-21
KR101264914B1 true KR101264914B1 (ko) 2013-05-15

Family

ID=47838196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110068567A KR101264914B1 (ko) 2011-07-11 2011-07-11 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법

Country Status (1)

Country Link
KR (1) KR101264914B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316966A (ja) 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316966A (ja) 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1

Also Published As

Publication number Publication date
KR20130007910A (ko) 2013-01-21

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
US8750567B2 (en) Road structure detection and tracking
EP2495632B1 (en) Map generating and updating method for mobile robot position recognition
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
US20090295917A1 (en) Pixel-based texture-less clear path detection
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
Song et al. Image-based traffic monitoring with shadow suppression
CN110502971B (zh) 基于单目视觉的道路车辆识别方法及系统
Neto et al. Real-time estimation of drivable image area based on monocular vision
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
Yuan et al. Combining maps and street level images for building height and facade estimation
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
Katramados et al. Real-time traversable surface detection by colour space fusion and temporal analysis
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
Kim et al. Illumination invariant road detection based on learning method
Hernández et al. Lane marking detection using image features and line fitting model
Liu et al. Real-time traffic light recognition based on smartphone platforms
Lin et al. Fast Obstacle Detection Using 3D-to-2D LiDAR Point Cloud Segmentation for Collision-free Path Planning.
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
KR101264914B1 (ko) 주행환경 변화에 강건하게 영상 내 로봇 경로선을 검출하는 방법
CN111932617A (zh) 一种对规则物体实现实时检测定位方法和系统
JP2010271969A (ja) 車線検出装置
Valente et al. Real-time method for general road segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160510

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 7