KR100326702B1

KR100326702B1 - 차선이탈 경보장치의 실 도로폭 산출방법

Info

Publication number: KR100326702B1
Application number: KR1019990008750A
Authority: KR
Inventors: 여정학
Original assignee: 이계안; 현대자동차주식회사
Priority date: 1999-03-16
Filing date: 1999-03-16
Publication date: 2002-03-12
Also published as: KR20000060443A

Abstract

본 발명은 차량 주행시 카메라로부터 차선을 촬영한 영상신호에 대하여 실도로 폭을 신속하게 산출할 수 있도록 한 차선이탈 경보 장치의 실도로 폭 산출방법에 관한 것이다.

본 발명은 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하고 이 입력된 차선 영상신호에 대하여 잡음을 제거한 후, 다중해상도 상으로 만들어 분리하고 신속히 처리하여 차선 엣지를 추출하는 단계와, 상기 단계에서 추출된 차선 엣지에 대하여 도로 모델링하고 이 도로 모델링이 완료되었는가를 판단한 후, 카메라로 받아 들인 영상에서 영상 좌표를 산출하며, 산출된 영상좌표에 대하여 최소자승법으로 연산하여 실제 도로 파라메터를 산출하는 카메라 파라메타를 산출하는 단계와, 상기 단계에서 산출된 카메라 파라메터로 실제도로폭을 산출하는 단계 및, 상기 단계에서 산출된 실제 도로폭에 의하여 차량의 차선이탈 여부를 판단하여 차선이탈시 경보를 발하는 단계로 이루어짐을 특징으로 한다.

Description

차선이탈 경보장치의 실 도로폭 산출방법{METHOD FOR CALCULATING ROAD WIDTH OF THE ALARM DEVICE FOR LANE BEYOND}

본 발명은 차선이탈 경보 장치의 실도로 폭 산출방법에 관한 것으로, 특히 차량 주행시 카메라로부터 차선을 촬영한 영상신호에 대하여 실도로 폭을 신속하게 산출할 수 있도록 한 차선이탈 경보 장치의 실도로 폭 산출방법에 관한 것이다.

종래 차량의 차선이탈 경보 제어장치는 도 1 에 도시한 바와같이 주행차선을촬영하여 영상신호를 출력하는 카메라(CCD)와, 상기 카메라(CCD)에서 촬영되어 출력되는 영상신호를 입력받아 기 설정된 소정의 프로그램에 의하여 처리 및 차선이탈을 판단 제어하는 전자제어장치(ECU)와, 상기 전자제어장치(ECU)에서 출력되는 신호에 의하여 차선이탈 경보를 발하는 경보출력부(ALARM-OUT)로 구성된다.

상기와 같이 구성된 차선이탈 경보장치는 상기 카메라(CCD)에서 촬영된 영상신호를 전자제어장치(ECU)에서 기설정된 소정의 프로그램에 의하여 영상신호처리 및 차선이탈을 판단 제어하고, 상기 판단 제어된 신호는 경보출력부(ALRAM-OUT)를 통해서 출력하여 차량의 차선이탈을 경보하도록 되어 있다.

이와 같이 카메라로 차선을 촬영하면서 주행 중에 차선이탈이 판단되어 차선이탈을 경보할 때, 신속하게 영상데이타를 처리하여 경보하는 것도 중요하지만, 카메라(CCD-CAM)를 통해서 촬영된 하나의 영상좌표를 통해서 실 도로상의 좌표를 산출하여 실제 도로의 폭을 산출해 내는 것도 중요하다.

왜냐하면 상기 촬영된 영상의 거리와 실제 도로의 폭과 일치하지 않을 경우 차선 이탈의 오류를 범하게 되고, 차선 이탈 오류로 인하여 안정운행을 저해하기 때문이다.

그러므로 카메라로 측정되는 차선 영상에 대하여 정확하게 실도로 폭을 산출해내는 것을 카메라 측정이라 하는데, 이때 상기 카메라 측정은 차종마다 카메라의 위치가 변할 수 있으므로 카메라의 위치에 따라 실제 도로폭을 산출해 내는 파라메터가 구해야 한다.

따라서 종래에는 상기 카메라 측정을 영상좌표의 화소 거리를 11X11 메트릭스의 역행렬로 구한 후 변환 파라메터를 구했는데, 이는 11 X 11 메트릭스의 많은 계산량이 요구되어 실시간 처리에 방해를 주게 되며 이를 연산 처리하는 장치에 있어서도 하드웨어에 커다란 부담을 주게 되어 결과적으로 차선 이탈 경보를 신속히 할 수 없는 문제점을 가지게 되었다.

본 발명의 목적은 주행차선을 찰영하여 입력되는 차선영상신호에 대하여 신속하게 실도로 폭을 산출하도록 함으로써, 차선이탈의 실시간 처리가 가능하도록 하고자 하는데 있다.

상기의 목적을 실현하기 위하여 본 발명은 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하고 이 입력된 차선 영상신호에 대하여 잡음을 제거한 후, 다중해상도 상으로 만들어 분리하고 신속히 처리하여 차선 엣지를 추출하는 단계와, 상기 단계에서 추출된 차선 엣지에 대하여 도로 모델링하고 이 도로 모델링이 완료되었는가를 판단한 후, 카메라로 받아 들인 영상에서 영상 좌표를 산출하며, 산출된 영상좌표에 대하여 최소자승법으로 연산하여 실제 도로 파라메터를 산출하는 카메라 파라메타를 산출하는 단계와, 상기 단계에서 산출된 카메라 파라메터로 실제도로폭을 산출하는 단계 및, 상기 단계에서 산출된 실제 도로폭에 의하여 차량의 차선이탈 여부를 판단하여 차선이탈시 경보를 발하는 단계로 이루어짐을 특징으로 한다.

도 1 은 본 발명에 이용되는 차선이탈 경보 장치의 제어 블록도.

도 2 는 본 발명 차선이탈 경보 장치의 플로우챠트.

도 3 는 본 발명 차선 이탈 경보 장치의 실 도로 폭 산출방법에 대한 플

로우챠트.

도 4 a 는 본 발명 카메라 설치위치에 따른 영상도로 폭 좌표

도 4 b 는 본 발명 실도로 폭을 나타낸 좌표

도 5 a 는 본 발명 실 도로폭에 응용된 영상도로 좌표

도 5 b 는 본 발명 실 도로폭에 응용된 실 도로 좌표

이하 첨부된 도면에 의거 본 발명을 상세히 설명하면 다음과 같다.

도 2 는 본 발명 차선이탈 경보 장치의 플로우챠트 로서, 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하는 단계(20)와, 상기 단계(20)에서 입력된 차선 영상신호에 대하여 잡음을 제거하는 단계(21)와, 상기 단계(21)에서 잡음이 제거된 영상신호에 대하여 다중해상도상으로 만들어 분리하는 단계(22)와, 상기 단계(22)에서 분리된 다중해상도를 유지하면서 차선엣지 추출하는 단계(23)와, 상기 단계(23)에서 추출된 차선 엣지에 대하여 도로 모델링하는 단계(24)와, 상기 단계(24)에서 도로 모델링이 완료되었는가를 판단하는 단계(25)와, 상기 단계(25)에서 모델링이 완료되었으면 상기 카메라의 위치에 따른 영상좌표를 최소자승법으로 카메라 파라메타를 산출하는 단계(26)와 상기 단계(26)에서 산출된 카메라 파라메터를 상기 영상좌표상의 화소간의 거리에 따라 실제 도로폭을 계산하는 단계(27)와, 상기 단계(27)에서 계산된 실제 도로 폭에 의하여 차량의 차선이탈 여부를 판단하는 단계(28)와, 상기 단계(28)에서 차선이탈 판단시 경보를 발하는 단계(29)로 이루어지도록 한다.

도 3 은 본 발명 차선 이탈 경보 장치의 실 도로 폭 산출방법에 대한 플로우챠트 로서, 도 2 의 단계(25)에서 도로 모델링이 완료되면, 실 도로에 마킹하여 측정하는 단계(30)와, 상기 단계(30)에서 도로 측정이 되면 카메라로 받아 들인 영상에서 영상좌표를 산출하는 단계(31)와, 상기 단계(31)에서 산출된 영상좌표에 대하여 최소자승법으로 연산하는 단계(32)와, 상기 단계(32)에서 연산된 최소자승법에서 도로 파라메터를 산출하는 단계(33)와, 상기 단계(33)에서 산출된 도로 파라메터에 대하여 에러율이 큰가를 판단하는 단계(34)와, 상기 단계(34)에서 도로 파라메터의 에러율이 크지 않으면 도로 파라메터를 확정하는 단계(35)와, 상기 도로 파라메터에 대하여 에러율이 크면 차수를 증가하면서 상기 단계들을 반복 수행하는 단계(36)로 이루어지게 된다.

도 4 a 와 4 b 는 본 발명 카메라 설치 위치에 따른 영상 도로폭과 실제 도로폭을 나타낸 것이고, 도 5 a 와 도 5 b 는 본 발명 실제 도로폭에 응용된 영상도로와 실제도로를 나타 낸 것이다.

상기와 같이 이루어지는 본 발명의 작용을 설명하면 다음과 같다.

먼저 차량에 차선을 촬영하는 카메라(CCD)를 임의로 설정된 위치에 장착하고, 상기 카메라(CCD)에서 촬영된 영상신호는 차량의 내부에 설치되어 기 설정된 소정의 프로그램에 의하여 제어하고 제어된 신호를 출력하는 전자제어장치(ECU)와 연결하게 설치한다.

이와 같이 설치한 상태에서 주행이 시작되면, 상기 카메라(CCD)에서는 주행 차선을 촬영하여 영상신호를 출력하게 되고, 이 출력되는 영상신호는 전자제어장치

(ECU)에 입력되게 된다.

상기 전자제어장치(ECU)에서는 단계(20)로 가서 카메라(CCD)를 통해서 입력되는 차선 영상신호에 대하여 단계(21)로 가서 메디언 필터를 통해서 잡음을 제거하게 된다.

이어서 전자제어장치(ECU)에서는 단계(22)로 가서 잡음이 제거된 차선 영상데이터에 대하여 해상도를 그대로 유지하면서도 처리속도를 빨리 할 수 있는 다중해상도 기법을 적용하게 된다.

이때 전자제어장치(ECU)에서는 카메라(CCD)로부터 입력되는 영상신호에 대하여 다중해상분리법에 의하여 화소의 1/2 씩 줄여 4개의 다중해상도의 이미지 프레임을 만든다.

그리고 상기 4 개의 서로 다른 해상도로 분리되는 이미지 프레임에 대하여 먼저 가장 낮은 최저 해상도로부터 차선을 추출하되 한단계씩 높여서 차선을 추출하여 실시간 처리를 하게 된다.

이와 같이 실시간 처리된 영상신호를 상기 전자제어장치(ECU)에서는 단계(24)로 가서 도로에 대하여 모델링을 하고, 단계(25)로 가서 도로 모델링이 완료되었는가를 판단한다.

이때 도로 모델링이 완료되지 않았으면 상기 단계(22)로부터 반복수행하고, 반면에, 상기 도로 모델링이 완료되었으면 단계(26)로 가서 상기 카메라(CCD)에서 입력되는 영상신호를 2 차원 영상 이미지 좌표로부터 실제 도로상의 거리를 추출해 낸다.

즉 도 4a 와 도 4b 에 도시한 바와같이 초기에 최초 카메라의 위치를 설정하고 이어서 단계(30)로 가서 지정된 도로상에 마킹(marking)을 하여 실 도로폭을 측정한다.

이어서 전자제어장치(ECU)에서는 단계(31)로 가서 상기 카메라(CCD)로 받아 들인 영상에서 영상 좌표값을 산출하고, 단계(32)로 가서 상기 산출된 좌표값에 대하여 최소자승법 즉 측정된 데이터를 함수에 적합시키는 작업으로 최소편차를 갖는 선형함수를 구하는 커브피팅(Curve Fitting)방법으로 가장 근접한 직선을 도출하여 도로 파라메터(a,b)를 산출하게 된다. 즉 수식전개를 하여 보면,

y(x) = ax + b a,b:미지수 -----(1)

식(1)의 각점들의 편차(ri)를 구하면

ri= yi - y(x) = yi - (ax + b), I= 1,2,3, ...lL: 측정된 총좌표수----(2)

편차의 제곱의 합은

R = ∑(ri)²= ∑(yi-ax-bi)²---------(3)

R을 최소화 하는 값을 잡는다

a 와 b 에 대한 R의 편미분 = 0 이 되면 된다.

편미분(R/a) = -2 ∑(yi-ax-bi) = 0

편미분(R/b) = -2 ∑(xi-ax-bi) = 0 ------(4)

식 (4)를 행렬 형태로 쓰면

--------(5)

A(1,1) = L

A(1,1) = ∑ xi

Z1 = ∑ YI

A(1,1) = ∑ xi

A(1,1) = ∑ (xi)²

Z1 = ∑ xi yi

해 a,b 는

d = A(1,1)(2,2) - A(1,2)A(2,1): 결정

이어서 상기 전자제어장치(ECU)에서는 단계(33)로 가서 상기 최소자승법에 의한 y = ax + b 로 부터 구해진 파라메터(a,b)로 y 의 값을 산출하고, 이 y 의 값은 영상좌표 x 를 대입하여 이미 구해진 a,b 에 의해 y = ax + b 로 부터 구할 수 있으며 물리적의미는 실도로좌표 이다.

이어서 상기 단계(34)로 가서 실제 측정한 실도로좌표와 y = ax + b 로 부터 구해진 실도로좌표와의 차이로 에러율 즉 에러율 = (실제 측정한 실도로좌표값) - (y = ax + b 에 의한 산출값)을 산출하고, 이 산출된 에러율이 임의의 설정 에러율 보다 큰가를 판단한다.

이때 판단결과 상기 산출된 에러율이 임의의 설정 에러율 보다 큰 것으로 판단되면 상기 전자제어장치(ECU)에서는 단계(36)으로 가서 상기 산출된 실도로좌표의 파라메터의 차수를 증가하는 즉 y = ax²+ bx + c 로 하여 상기 단계(32)로부터 반복 수행한다.

그러나 상기 산출된 에러율이 임의의 설정 에러율보다 크지 않으면 단계(35)로 가서 만족할 만한 수준의 에러율로 판단하여 도로 파라메터를 확정한다.

상기와 같이 도로 파라메터가 확정되면 상기 전자제어장치(ECU)에서는단계(27)로 가서 상기 산출된 카메라 파라메터와 상기 모델링된 도로에서 영상좌표상의 화소간의 거리에 따라 도 5a 와 도 5b 에 도시한 바와같이 실제 도로 폭을 계산한다.

이와같이 실제 도로폭이 계산되면 상기 전자제어장치(ECU)에서는 단계(28)로 가서 상기 계산된 실제 도로폭에 대하여 차선이탈이 되었는가를 판단하게 되고, 이때 차선이탈이 되지 않았으면 상기 단계(21)로부터 반복수행한다.

그러나 차선이탈이 되었으면 상기 전자제어장치(ECU)에서는 단계(29)로 가서 경보출력부(ALARM-OUT)로 제어신호를 출력하여 차선을 이탈하였음을 경보하게 되는 것이다.

이상에서 설명한 바와같이 본 발명은 카메라로부터 차선 영상신호를 잡음제거, 다중해상도 분리, 차선 엣지 추출, 도로 모델링한 상태에서 상기 카메라의 위치에 따라 영상신호 좌표에 대하여 최소자승법으로 도로파파메터 산출하고, 이 산출된 도로 파라메터로 실제 도로폭을 산출하도록 함으로써, 결국 차선이탈의 실시간 처리를 할 수 있는 효과를 제공하게 되는 것이다.

Claims

카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하고 이 입력된 차선 영상신호에 대하여 잡음을 제거한 후, 다중해상도 상으로 만들어 분리하고 신속히 처리하여 차선 엣지를 추출하는 단계와,

상기 단계에서 추출된 차선 엣지에 대하여 도로 모델링하고 이 도로 모델링이 완료되었는가를 판단한 후, 상기 카메라로 받아 들인 영상에서 영상 좌표를 산출하며, 산출된 영상좌표에 대하여 최소자승법으로 연산하여 실제 도로 파라메터를 산출하는 카메라 파라메타를 산출하는 단계와,

상기 단계에서 산출된 카메라 파라메터로 실제도로폭을 산출하는 단계 및,

상기 단계에서 산출된 실제 도로폭에 의하여 차량의 차선이탈 여부를 판단하여 차선이탈시 경보를 발하는 단계로 이루어짐을 특징으로 하는 차량의 차선이탈 경보 제어방법.
제2항에 있어서, 상기 카메라 파라메터 산출은 상기 산출된 실제도로 파라메터에 대하여 에러율을 산출하는 단계와, 상기 단계에서 산출된 에러율이 크면 실제도로 파라메터의 차수를 증가하여 에러율을 줄이면서 도로 파라메터를 산출하는 단계로 이루어짐을 특징으로 하는 차선이탈 경보장치의 실 도로폭 산출방법.
제 3 항에 있어서, 상기 실제도로 파라메터의 에러율 산출은 실제 측정한 도로좌표값과 y = ax + b 로 부터 구해진 실도로 좌표와의 차로 산출하는 것을 포함을 특징으로 하는 차선이탈 경보장치의 실 도로폭 산출방법. (a 및 b는 도로 파라메터)