KR20010100554A

KR20010100554A - 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템

Info

Publication number: KR20010100554A
Application number: KR1020000023775A
Authority: KR
Inventors: 정홍; 구본석
Original assignee: 정명식; 학교법인 포항공과대학교
Priority date: 2000-05-03
Filing date: 2000-05-03
Publication date: 2001-11-14
Also published as: KR100385632B1

Abstract

본 발명은 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 관한 것으로, 카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록; 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록; 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 예측하고서 이전 도로 예측 모양과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록; 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신 블록을 구비한다. 따라서, 기존의 복잡한 도로 계산에만 의존하는 시스템에 비해 여러 가지 도로 환경에 적용 가능한 시스템을 구현할 수 있는 효과가 있다.

Description

재귀적 적응 필터를 이용한 비포장 도로 인식 시스템{PAVEMENT ROAD COGNITION SYSTEM BY THE FILTER}

본 발명은 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 관한 것으로, 특히 카메라로부터 제공되는 영상 신호를 칼만 필터와 최대 예측(Expectation Maximization : 이하, EM이라 약칭함) 알고리즘을 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하며, 주기적으로 시스템 파리미터들을 갱신하여 포장 또는 비포장 도로를 시각적으로 추적할 수 있도록 하는 시스템에 관한 것이다.

통상적으로, 도로 인식 시스템은 특정 관심 지역의 도로 형태 정보를 파악하거나 또는 그 지역의 도로를 직접 실사하고, 기존 지도와 새롭게 제작된 지도를 육안으로 상호 비교하여 인식하게 된다. 더 나아가, 위성을 이용한 영상이나 또는 항공을 이용한 영상과 같은 일반적인 영상 처리 방법이 제시되어있지만, 이러한 방식은 특정 관심 지역에 대한 지형 탐사, 지도 제작 및 정보 추출을 목적으로 이용되고 있거나 또는 지상 차량 항법 시스템에 필요한 지도 제작 및 표시에 관한 목적을 위하여 사용될 뿐이며, 지상 차량 운행 또는 도로 입지 선정 등을 위한 도로 형상 정보를 추출하는데 사용되지 않는다.

특히, 도로를 인식하는 방법은 복잡한 기하학적 도로 모델을 세워서 처리하는 방법과 정확한 도로 모델 없이 신경망을 이용하는 방법으로 구분된다. 그 첫 번째 방법은 다양한 주변환경 아래서 정확한 도로 모델을 꾸준히 찾기 어렵다는 점과 그에 따르는 계산량이 너무 많다는 단점이 있다. 또한, 두 번째 방법에는 일반적으로 신경망의 처리 속도가 빠르지 않기 때문에 계산 속도가 실시간 구현에 적합하지못하다는 문제가 있었다.

따라서, 본 발명은 상술한 문제점들을 해결하기 위하여 안출한 것으로서, 그 목적은 카메라로부터 제공되는 영상 신호를 칼만 필터 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하여 도로 경계선 조사범위를 줄여 계산량을 감소시킬 수 있으며, 최대예측 알고리즘을 사용함으로써 주기적으로 시스템 파리미터들을 갱신하여 바뀌어지는 환경 속에서의 포장 또는 비포장 도로를 시각적으로 추적할 수 있도록 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명에서 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템은 카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록; 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록; 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 예측하고서 이전 도로 예측 모양과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록; 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신블록을 포함한다.

도 1은 본 발명에 따라 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 대한 블록 구성도이고,

도 2는 본 발명에 따른 도로 모델링 및 도로 상태를 정의한 도면이며,

도 3은 도 1에 도시된 세그멘테이션 블록에 대한 상세 도면이며,

도 4는 도 1에 도시된 도로 예측 블록의 적용 절차를 도시한 도면이며,

도 5는 본 발명에 따른 도로 모양의 갱신과 예측 과정에 대하여 도시한 도면이며,

도 6은 본 발명에 따른 비포장 도로 인식 시스템의 부품 구성도이며,

도 7은 본 발명에 따른 도로 인식 시스템의 성능을 검증하기 위해 사용된 상위 응용 프로그램 및 결과 이미지에 대하여 도시한 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 세그멘테이션 블록 20 : 도로 경계선 선형화 블록

30 : 도로 예측 블록 40 : 파라미터 갱신 블록

이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세하게 설명하기로 한다.

도 1을 참조하면, 본 발명에 따라서 재귀적 필터를 이용한 비포장 도로 인식 시스템에 대한 블록도가 도시된다. 이 비포장 도로 인식 시스템은 세그멘테이션 블록(10)과, 도로 경계선 선형화 블록(20)과, 도로 예측 블록(30)과, 파라미터 갱신 블록(40)을 포함한다.

세그멘테이션 블록(10)은 도 3에 상세하게 도시된 바와 같이, 신경망 구조(MLP)로 이루어진 것으로, 맨 처음에는 카메라(A)로부터 샘플 딜레이 블록(D)을 통해 제공되는 샘플 픽셀(f(n))을 이용하여 이미지 분할 부분의 신경망을 학습시키고 신경망 학습이 완료되면, 카메라(A)로부터 빨강(RED(R_XY)), 녹색(GREEN(G_XY)), 파랑(BLUE(B_XY))에 대한 초기 영상(f(k))(도 4a)인 각 픽셀(Y_XY)을 연속적으로 제공받은 후, 샘플 딜레이 블록을 통한 도로 예측 블록(30)에 의해 제공된 도로 예측 모양 구역만을 사용하는 학습된 신경망 구조(MLP)을 이용하여 도로와 비 도로 영역을 분리한 영상 분할 결과(w(k))(도 4b)를 얻어 도로 경계선 선형화 블록(20)에 전송한다.

도로 경계선 선형화 블록(20)은 세그멘테이션 블록(10)으로부터 수신된 영상 분할 결과(w(k))가 일반적으로 선형적이지 않기 때문에, 도 2에 도시된 바와 같은일차 사다리꼴 모델링을 위하여 LMSE(Least Mean Square Estimation)를 만족하는 선형 도로 모델(y(k))(도 4c)로 근사화하여 도로 예측 블록(30)과 샘플 딜레이 블록(D)에 구석 점들인 모델을 전송한다.

도로 예측 블록(30)은 칼만 필터로 이루어져 있으며, 도로 경계선 선형화 블록(20)으로부터 선형 도로 모델(y(k))을 제공받아 이 선형 도로 모델(y(k))과 이전 데이터로부터의 다음 데이터를 위해 도로 모양(x(k+1/k))과 오차 범위(S(k+1))를 예측하여 딜레이(Delay) 블록(B)에 전송한다. 그리고 다음 데이터가 세그멘테이션 블록(10)에 오면 이 데이터가 검색구역을 위해서 사용되어 비포장 도로를 인식할 수 있는 것이다.

도로 예측 블록(30)은 이전 도로 예측 모델과(x(k/k-1)) 선형화 블록의 현재의 결과인 영상 분할 결과(w(k)) 도로 모델의 최적화된 근사치인 도로 관측 갱신 결과(x(k/k))를 만든다. 이러한 도로 모델이 시스템의 마지막 결과이다. 다시 말해서 검색된 도로 모양이며, 마지막 결과와 선형 부분의 결과의 차이는 셈플 딜레이 후에 계산된다. 그리고 이 오차는 스탠다드 백 프로파게이션(standard back-propagation)을 사용함으로써 학습된 신경망 구조(MLP)를 적응시키는데 사용되고, 선형화 블록의 결과와 마지막 결과는 또한 셈플 딜레이를 거치고 파라미터 갱신 블록(40)에 전달된다.

또한, 도로 예측 블록(30)은 시각적 딜레이 블록(C)을 통해 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 파라미터 갱신 블록(40)에 전송하고, 샘플 딜레이 블록(D)에 샘플 도로 예측 모양(x(n+1/n+1)을 전송한다.

파라미터 갱신 블록(40)은 시스템 성능을 최적화시키기 위해 최대 예측(Expectation Maximization : 이하, 시스템 성능을 최적화시키기 위해EM이라 약칭함) 알고리즘을 적용하여 시스템 파라미터를 주기적으로 갱신하거나, 도로 예측 블록(30)으로부터 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 계산 및 갱신하여 도로 예측 블록(30)에 전송한다.

한편, 도 5는 본 발명에 따른 도로 모양의 갱신과 예측 과정에 대한 도면이다. 즉, 도 5a를 참조하면, 세그멘테이션 블록(10)으로부터 제공되는 영상 분할 결과(w(k))를 도로 경계선 선형화 블록(20) 및 도로 예측 블록(30)에 의해 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))에 대하여 도시한 도면이고, 도 5b를 참조하면, 세그멘테이션 블록(10)으로부터 제공되는 영상 분할 결과(w(k))를 도로 경계선 선형화 블록(20)을 거쳐 선형 도로 모델(y(k))에 대하여 도시한 도면이다.

그리고, 도 5c는 도로 경계선 선형화 블록(20)으로부터 제공되는 선형 도로 모델(y(k))을 도로 예측 블록(30)을 거쳐 도로 관측 갱신 결과(x(k/k))에 대하여 도시한 도면이고, 도 5d는 선형 도로 모델(y(k))을 제공받아 이 선형 도로 모델(y(k)과 이전 데이터로부터의 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에 대하여 도시한 도면이다.

또한, 도 6은 본 발명의 일 실시예에 따른 비포장 도로 인식 시스템의 부품 구성도로서, CCD 카메라(A)와, 오버레이(overlay) 보드와, 도 7에 도시된 바와 같은 C⁺⁺언어로 구현된 시뮬레이션용 상위 프로그램에 의한 결과 이미지를 출력하는 PC와, 모니터를 구비한다. 이러한 상태에서 시뮬레이션 프로그램은 160×120 픽셀 크기의 이미지를 이미지 캡츄(image capture) 보드로부터 제공받아 처리하고, 이러한 구성 장비를 가지고 10frame/sec 처리 속도를 가지는 비포장 도로 시스템을 구현할 수도 있는 것이다.

그러므로, 본 발명은 카메라로부터 제공되는 영상 신호를 칼만 필터와 최대 예측(Expectation Maximization) 알고리즘을 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하여 도로 경계선 조사범위를 줄여 계산량을 감소시킬 수 있으며, 주기적으로 시스템 파리미터들을 갱신하여 포장 또는 비포장 도로를 시각적으로 추적함으로써, 기존의 복잡한 도로 계산에만 의존하는 시스템에 비해 여러 가지 도로 환경에 적용 가능한 시스템을 구현할 수 있는 효과가 있다.

Claims

선형 및 비 선형 도로를 인식하는 시스템에 있어서,

카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록;

상기 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록;

상기 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 예측하고서 이전 도로 예측 모양과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록;

상기 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신 블록을 포함하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서, 상기 세그멘테이션 블록에서,

상기 영상의 픽셀에 대하여 신경망을 이용하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서,

상기 선형 도로 모델(y(k))로의 근사화는 일차 사다리꼴로 모델링하기 위한 것임을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서,

상기 도로 모양을 예측하기 위해 칼만 필터를 적용하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 4 항에 있어서,

상기 칼만 필터의 적용과 동시에 최대 예측(Expectation Maximization) 알고리즘을 적용하여 상기 시스템을 최적화하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.