KR100385632B1

KR100385632B1 - 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템

Info

Publication number: KR100385632B1
Application number: KR10-2000-0023775A
Authority: KR
Inventors: 정홍; 구본석
Original assignee: 학교법인 포항공과대학교
Priority date: 2000-05-03
Filing date: 2000-05-03
Publication date: 2003-05-27
Also published as: KR20010100554A

Abstract

본 발명은 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 관한 것으로, 카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록; 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록; 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 예측하고서 이전 도로 예측 모양과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록; 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신 블록을 구비한다. 따라서, 기존의 복잡한 도로 계산에만 의존하는 시스템에 비해 여러 가지 도로 환경에 적용 가능한 시스템을 구현할 수 있는 효과가 있다.

Description

재귀적 적응 필터를 이용한 비포장 도로 인식 시스템{PAVEMENT ROAD COGNITION SYSTEM BY THE FILTER}

본 발명은 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 관한 것으로, 특히 카메라로부터 제공되는 영상 신호를 칼만 필터와 최대 예측(Expectation Maximization : 이하, EM이라 약칭함) 알고리즘을 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하며, 주기적으로 시스템 파리미터들을 갱신하여 포장 또는 비포장 도로를 시각적으로 추적할 수 있도록 하는 시스템에 관한 것이다.

통상적으로, 도로 인식 시스템은 특정 관심 지역의 도로 형태 정보를 파악하거나 또는 그 지역의 도로를 직접 실사하고, 기존 지도와 새롭게 제작된 지도를 육안으로 상호 비교하여 인식하게 된다. 더 나아가, 위성을 이용한 영상이나 또는 항공을 이용한 영상과 같은 일반적인 영상 처리 방법이 제시되어있지만, 이러한 방식은 특정 관심 지역에 대한 지형 탐사, 지도 제작 및 정보 추출을 목적으로 이용되고 있거나 또는 지상 차량 항법 시스템에 필요한 지도 제작 및 표시에 관한 목적을 위하여 사용될 뿐이며, 지상 차량 운행 또는 도로 입지 선정 등을 위한 도로 형상 정보를 추출하는데 사용되지 않는다.

특히, 도로를 인식하는 방법은 복잡한 기하학적 도로 모델을 세워서 처리하는 방법과 정확한 도로 모델 없이 신경망을 이용하는 방법으로 구분된다. 그 첫 번째 방법은 다양한 주변환경 아래서 정확한 도로 모델을 꾸준히 찾기 어렵다는 점과 그에 따르는 계산량이 너무 많다는 단점이 있다. 또한, 두 번째 방법에는 일반적으로 신경망의 처리 속도가 빠르지 않기 때문에 계산 속도가 실시간 구현에 적합하지못하다는 문제가 있었다.

따라서, 본 발명은 상술한 문제점들을 해결하기 위하여 안출한 것으로서, 그 목적은 카메라로부터 제공되는 영상 신호를 칼만 필터 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하여 도로 경계선 조사범위를 줄여 계산량을 감소시킬 수 있으며, 최대예측 알고리즘을 사용함으로써 주기적으로 시스템 파리미터들을 갱신하여 바뀌어지는 환경 속에서의 포장 또는 비포장 도로를 시각적으로 추적할 수 있도록 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명에서 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템은 카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록; 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록; 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 이전 도로 모양 예측(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 모양 예측(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 계산하고서 이전 도로 모양 예측과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록; 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신 블록을 포함한다.

도 1은 본 발명에 따라 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템에 대한 블록 구성도이고,

도 2는 본 발명에 따른 도로 모델링 및 도로 상태를 정의한 도면이며,

도 3은 도 1에 도시된 세그멘테이션 블록에 대한 상세 도면이며,

도 4는 도 1에 도시된 도로 예측 블록의 적용 절차를 도시한 도면이며,

도 5는 본 발명에 따른 도로 모양의 갱신과 예측 과정에 대하여 도시한 도면이며,

도 6은 본 발명에 따른 비포장 도로 인식 시스템의 부품 구성도이며,

도 7은 본 발명에 따른 도로 인식 시스템의 성능을 검증하기 위해 사용된 상위 응용 프로그램 및 결과 이미지에 대하여 도시한 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 세그멘테이션 블록 20 : 도로 경계선 선형화 블록

30 : 도로 예측 블록 40 : 파라미터 갱신 블록

이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세하게 설명하기로 한다.도 1을 참조하면, 본 발명에 따라서 재귀적 필터를 이용한 비포장 도로 인식 시스템에 대한 블록도가 도시된다. 이 비포장 도로 인식 시스템은 세그멘테이션 블록(10)과, 도로 경계선 선형화 블록(20)과, 도로 예측 블록(30)과, 파라미터 갱신 블록(40)을 포함한다.세그멘테이션 블록(10)은 도 3에 상세하게 도시된 바와 같이, 신경망 구조(MLP)로 이루어진 것으로, 맨 처음에는 카메라(A)로부터 샘플 딜레이 블록(D)을 통해 제공되는 샘플 픽셀(f(n))을 이용하여 이미지 분할 부분의 신경망을 학습시키고 신경망 학습이 완료되면, 카메라(A)로부터 빨강(RED(RXY)), 녹색(GREEN(GXY)), 파랑(BLUE(BXY))에 대한 초기 영상(f(k))(도 4a)인 각 픽셀(YXY)을 연속적으로 제공받은 후, 샘플 딜레이 블록을 통한 도로 예측 블록(30)에 의해 제공된 도로 예측 모양 구역만을 사용하는 학습된 신경망 구조(MLP)을 이용하여 도로와 비 도로 영역을 분리한 영상 분할 결과(w(k))(도 4b)를 얻어 도로 경계선 선형화 블록(20)에 전송한다.도로 경계선 선형화 블록(20)은 세그멘테이션 블록(10)으로부터 수신된 영상 분할 결과(w(k))가 일반적으로 선형적이지 않기 때문에, 도 2에 도시된 바와 같은 일차 사다리꼴 모델링을 위하여 LMSE(Least Mean Square Estimation)를 만족하는 선형 도로 모델(y(k))(도 4c)로 근사화하여 도로 예측 블록(30)과 샘플 딜레이 블록(D)에 구석 점들인 모델을 전송한다.도로 예측 블록(30)은 칼만 필터로 이루어져 있으며, 칼만 필터의 특성을 결정하는 파라미터(q(t))는 파라미터 갱신 블록(40)에서 전달받는다. 칼만 필터의 파라미터(q(t))는 도로의 특성을 표현하는 값이다. 칼만 필터의 파라미터는 현재의 도로의 특성을 나타낸다. 따라서 칼만 필터의 역할은 현재의 도로의 특성을 나타내는 파라미터 값을 바탕으로 도로 경계선 선형화 블록(20)으로부터 선형 도로 모델(y(k))을 제공받아 이 선형 도로 모델(y(k))과 이전 도로 모양 예측(x(k|k-1))으로부터 다음 도로 모양 예측(x(k+1/k))과 오차 범위(S(k+1))를 계산하여 딜레이(Delay) 블록(B)에 전송한다.즉, 딜레이 블록(D)를 통과하면 다음 도로 모양 예측(x(k|k-1))과 오차 범위(S(k+1|k)는 [도 1]에서 보듯이 이전 도로 모양 예측(x(k|k-1)과 오차(S(k))가 된다. 그리고 다음 도로 영상 데이터가 세그멘테이션 블록(10)에 오면 이전 도로 모양 예측(x(k|k-1))과 오차 범위(S(k))를 사용하여 도로 영상 데이터의 검색 구역을 결정하고 검색 구역 내에서 도로와 비 도로 영역을 구분할 수 있게 된다.도로 예측 블록(30)은 이전 도로 모양 예측(x(k/k-1))과 도로 선형화 블록의 현재의 결과(y(k))를 칼만 필터에 적용하여 도로 모델의 최적화된 근사치인 도로 관측 갱신 결과(x(k/k))를 만든다. 이 도로 관측 갱신 결과가 시스템의 마지막 결과로서 검색된 도로 모양이다.마지막 결과(x(k/k))와 선형 도로 모델(y(k))은 샘플 딜레이 블록(D)에 전달된다. 마지막의 결과와 샘플 도로 모델의 차이가 계산되어, 계산된 차이는 스탠다드 백 프로파게이션(standard back-propagation)을 사용하여 세그멘테이션 블록(10)의 학습된 신경망 구조(MLP)를 적응시키는데 사용된다.그리고, 선형화 블록의 결과(y(k))와 마지막 결과(x(k/k))는 또한 셈플 딜레이(C)를 거쳐 파라미터 갱신 블록(40)에 전달된다. 파라미터 갱신 블록(40)은 시스템 성능을 최적화시키기 위해 최대 예측(Expectation Maximization : 이하, 시스템 성능을 최적화시키기 위해 EM이라 약칭함) 알고리즘을 적용하여 도로 예측 블록(30)을 구성하는 칼만 필터의 파라미터를 갱신하는 역할을 한다. 파라미터 갱신 블록(40)은 도로 예측 블록(30)으로부터 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 이를 기반으로 최대 예측 알고리즘을 적용하여 현재의 도로의 특성을 표현하는 파라미터(p(t))의 최적의 값을 계산하는 역할을 한다. 이렇게 계산된 파라미터의 값은 도로 예측 블록(30)에 전송되어 칼만 필터는 현재의 도로의 특성을 바탕으로 도로의 모양을 예측하게 된다. 비포장 도로의 경우 도로의 형태가 일정한 특징을 유지되지 않고, 변형이 심하므로 이렇게 도로의 변화가 심한 도로의 특성을 반영하기 위해서는 도로의 특성을 나타내는 파라미터를 갱신하여 도로 예측 블록(30)에 서 정확한 도로의 모양을 예측할 수 있다. 도로 예측 블록(30)은 제공받은 최적 파라미터(p(t))로 칼만 필터의 파라미터를 갱신한다.한편, 도 5는 본 발명에 따른 도로 모양의 갱신과 예측 과정에 대한 도면이다. 즉, 도 5a를 참조하면, 세그멘테이션 블록(10)으로부터 제공되는 영상 분할 결과(w(k))를 도로 경계선 선형화 블록(20)과 도로 예측 블록(30)에 의해 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))에 대하여 도시한 도면이다. 그리고 [도 5b]는 세그멘테이션 블록(10)으로부터 제공되는 영상 분할 결과(w(k))를 도로 경계선 선형화 블록(20)을 거쳐 얻은 선형 도로 모델(y(k))을 도시한 도면이다.그리고, [도 5c]는 도로 경계선 선형화 블록(20)으로부터 제공되는 선형 도로 모델(y(k))을 도로 예측 블록(30)을 거쳐 도로 관측 갱신 결과(x(k/k))를 도시한 도면이고, [도 5d]는 선형 도로 모델(y(k))을 제공받아 이 선형 도로 모델(y(k))과 이전 데이터(x(k|k-1))로부터의 도로 모양(x(k+1/k))과 오차 범위(S(k+1))를 계산한 결과를 도시한 도면이다.또한, 도 6은 본 발명의 일 실시예에 따른 비포장 도로 인식 시스템의 부품 구성도로서, CCD 카메라(A)와, 오버레이(overlay) 보드와, 도 7에 도시된 바와 같은 C++언어로 구현된 시뮬레이션용 상위 프로그램에 의한 결과 이미지를 출력하는 PC와, 모니터를 구비한다. 이러한 상태에서 시뮬레이션 프로그램은 160×120 픽셀 크기의 이미지를 이미지 캡츄(image capture) 보드로부터 제공받아 처리하고, 이러한 구성 장비를 가지고 10frame/sec 처리 속도를 가지는 비포장 도로 시스템을 구현할 수도 있는 것이다.

그러므로, 본 발명은 카메라로부터 제공되는 영상 신호를 칼만 필터와 최대 예측(Expectation Maximization) 알고리즘을 이용하여 이전 프레임까지의 데이터와 현재 프레임의 영상 데이터로부터 다음 프레임의 도로 모양을 예측하여 도로 경계선 조사범위를 줄여 계산량을 감소시킬 수 있으며, 주기적으로 시스템 파리미터들을 갱신하여 포장 또는 비포장 도로를 시각적으로 추적함으로써, 기존의 복잡한 도로 계산에만 의존하는 시스템에 비해 여러 가지 도로 환경에 적용 가능한 시스템을 구현할 수 있는 효과가 있다.

Claims

선형 및 비 선형 도로를 인식하는 시스템에 있어서,

카메라를 통해 제공되는 영상의 각 픽셀에 의해 도로와 비 도로 영역을 분리하는 세그멘테이션(segmentation) 블록;

상기 세그멘테이션 블록에 의해 분리된 영상 분할 결과(w(k))를 선형 도로 모델(y(k))로 근사화하는 도로 경계선 선형화 블록;

상기 도로 경계선 선형화 블록에 의해 근사화된 선형 도로 모델(y(k))을 참조하여 도로 모양(x(k+1/k))과 오차 범위(S(k+1))에서 다음 프레임의 도로 예측 모양(x(k/k-1))과 그에 따른 오차 범위(S(k))를 예측하고, 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 예측하고서 이전 도로 예측 모양과 선형화 블록의 현재 결과를 사용하여 도로 모델의 마지막 근사치를 얻는 도로 예측 블록;

상기 도로 예측 블록에 의해 예측된 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 국부적 최적 파라미터(p(t))를 갱신하는 파라미터 갱신 블록을 포함하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서, 상기 세그멘테이션 블록에서,

상기 영상의 픽셀에 대하여 신경망을 이용하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서,

상기 선형 도로 모델(y(k))로의 근사화는 일차 사다리꼴로 모델링하기 위한 것임을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 1 항에 있어서,

상기 도로 모양을 예측하기 위해 칼만 필터의 특성을 결정하는 파라미터(q(t))는 파라미터 갱신 블록에서 전달받으며, 상기 칼만 필터의 파라미터는 도로의 특성을 표현하는 값이며, 상기 칼만 필터의 파라미터는 현재의 도로의 특성을 나타냄에 따라 칼만 필터의 역할은 현재 도로의 특성을 나타내는 파라미터 값을 바탕으로 도로 경계선 선형화 블록으로부터 선형 도로 모델(y(k))을 제공받아 이 선형 도로 모델(y(k))과 이전 도로 모양 예측(x(k|k-1))으로부터 다음 도로 모양 예측(x(k+1/k))과 오차 범위(S(k+1))를 계산하여 딜레이(Delay) 블록에 전송하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.
제 4 항에 있어서,

상기 칼만 필터의 적용과 동시에 파라미터 갱신 블록은 도로 예측 블록으로부터 시간 단위의 선형 도로 모델(y(t))과 도로 모양(x(t/t))을 제공받아 이를 기반으로 최대 예측 알고리즘을 적용하여 현재의 도로의 특성을 표현하는 파라미터(p(t))의 최적의 값을 계산하는 역할을 하며, 상기 계산된 파라미터의 값은 도로 예측 블록에 전송되어 칼만 필터는 현재의 도로의 특성을 바탕으로 도로의 모양을 예측하게 되며, 비포장 도로의 경우 도로의 형태가 일정한 특징을 유지되지 않고, 변형이 심하므로 이렇게 도로의 변화가 심한 도로의 특성을 반영하기 위해서는 도로의 특성을 나타내는 파라미터를 갱신하여 도로 예측 블록에서 정확한 도로의 모양을 예측하여 상기 시스템을 최적화하는 것을 특징으로 하는 재귀적 적응 필터를 이용한 비포장 도로 인식 시스템.