KR100941271B1

KR100941271B1 - 자동차용 차선이탈 방지 방법

Info

Publication number: KR100941271B1
Application number: KR1020070031198A
Authority: KR
Inventors: 정호철
Original assignee: 현대자동차주식회사
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2010-02-11
Also published as: DE102007054067A1; US7746221B2; KR20080088675A; US20080238718A1; JP2008257681A; JP5229451B2

Abstract

본 발명은 자동차용 차선이탈 방지 방법에 관한 것으로서, 양 사이드미러에 설치된 후측방 카메라를 이용하여 입력되는 영상에서 차선을 추출하고, 추출된 차선을 3차원 매핑하여 산출된 방향각과 측면거리로부터 차선 이탈거리를 산출하고, 산출된 차선 이탈거리와 차속센서에 의해 감지되는 차량속도를 통해 차선 이탈시간을 예측하여 차선이탈 여부를 판정함으로써, 운전자의 차선 이탈로 인한 차량사고가 방지된다.

차선이탈, 3차원 매핑, 방향각, 측면거리, 카메라

Description

자동차용 차선이탈 방지 방법{PREVENTION METHOD OF LANE DEPARTURE FOR VEHICLE}

도 1은 종래 자동차용 차선이탈 방지 방법의 구성도,

도 2는 본 발명에 따른 자동차용 차선이탈 방지 방법의 흐름도,

도 3은 Tsai's equation의 이용 개시도,

도 4는 차량의 좌측 편향시 3차원 매핑 개시도,

도 5는 차량의 우측 편향시 3차원 매핑 개시도

도 6은 본 발명에 따른 자동차용 차선이탈 방지 방법의 이탈거리 개시도.

<도면의 주요부분에 대한 부호의 설명>

400, 500 : 우측 실좌표 차선 410, 510 : 좌측 실좌표 차선

420, 520 : 영상 차선 430, 530 : 방향선

440, 540 : 방향선의 수직선

본 발명은 자동차용 차선이탈 방지 방법에 관한 것으로서, 양 사이드미러에 설치된 후측방 카메라를 이용하여 입력되는 영상에서 차선을 추출하고, 추출된 차선을 3차원 매핑하여 산출된 방향각과 측면거리로부터 차선 이탈거리를 산출하고, 산출된 차선 이탈거리와 차속센서에 의해 감지되는 차량속도를 통해 차선 이탈시간을 예측함으로써, 운전자의 차선 이탈이 방지되는 자동차용 차선이탈 방지 방법에 관한 것이다.

일반적으로 ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다.

ASV의 하나로써 차선 이탈 경보 시스템(LDWS : Lane Departure Warning System, 이하 "LDWS"라고 칭함)은 차량에 부착된 카메라로부터 전방도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.

차선 이탈 경보 시스템은 자동차 전방의 영상신호를 분석하여 차량이 차선을 벗어났는지를 판단하는 차선 검출 장치와 이 차선 검출 장치의 분석 결과 차량이 차선을 벗어나면 그 사실을 운전자에게 경고하는 경고 장치를 포함한다.

이와 같은 차선 이탈 경보 시스템은 도로 운송망이 잘 갖춰지고 자동차 산업이 발달한 나라에서는 운전자들, 특히 트럭 운전사와 장거리 출퇴근자들이 장시간 운전에 따른 피로, 부주의, 졸음 운전으로 인한 차선이탈사고의 위험에 노출되고 있다.

첨부한 도 1은 종래 자동차용 차선이탈 방지 방법의 구성도이다.

종래 LDWS의 구성은 도 1에서 도시한 바와 같이, 전후방주행 영상을 입력받는 영상센서부와, 차선인식을 위해 영상처리를 수행하는 영상처리부와, 인식된 차선을 기반으로 차량의 이탈여부를 판단하는 이탈판단부와, 차량 인터페이스(Interface) 신호를 입력받는 인터페이스입력부와, 차선이탈 경보 및 상황을 나타내는 인터페이스출력부로 구성된다.

이때, 차량 인터페이스는 차선 폭, 차선의 곡률반경, 차선 횡단시간 등의 다양한 변수로 구성된다.

여기서, 상기 영상센서부는 전후방 중앙에 설치된 단일 카메라를 이용하여 도로상의 차선을 인식하고, 인식한 차선 중심과 카메라 광학축 사이의 차이 정도를 파악하여 차선이탈 경보가 발생한다.

그러나, 이러한 방법은 다양한 변수들을 사용함에 따라 로직이 복잡해지고, 센서의 결함, 카메라 렌즈의 왜곡 등 영상좌표와 실좌표의 오차 원인이 되는 많은 노이즈가 포함되어 정확도가 떨어지는 문제점이 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위해 발명된 것으로서, 양쪽 사이드 미러에 설치된 카메라에 의해 입력되는 후측방의 좌우 영상으로부터 차선을 추출하고, 추출한 좌우 차선을 3차원 매핑(mapping)하여 차선의 실좌표를 구하고, 차선의 실좌표로 이루어진 직선과 차체의 방향선이 교차하는 점에서의 좌우 방향각 을 산출하고, 방향선과 차선의 실좌표로 이루어진 직선으로부터 좌우 측면거리를 산출하고, 방향각과 측면거리의 기하학적 분석에 의해 차선 이탈거리를 산출하고, 차속센서에 의해 감지되는 차량속도와 상기 차선 이탈거리로부터 이탈시간을 산출하여 이탈시간이 기준값 이하인 경우 경보가 발생함으로써, 차선 이탈에 의한 차량사고를 미연에 방지하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명은 자동차용 차선이탈 방지 방법에 있어서, 양쪽 사이드 미러에 설치된 카메라에 의해 입력되는 후측방의 좌우 영상으로부터 추출되는 차선을 3차원 매핑하여 차선의 실좌표를 구하고, 이 차선의 실좌표로 이루어진 직선과 차체의 방향선이 교차하는 점에서의 좌우 방향각 및 차량과 차선의 실좌표로 이루어진 직선사이의 좌우 측면거리를 산출하고, 상기 산출된 방향각 및 측면거리의 기하학적 분석에 의해 차선 이탈거리를 산출하는 것을 특징으로 한다.

바람직한 일 구현예로서, 상기 산출된 차선 이탈거리와 차속센서에 의해 감지되는 차량속도로부터 이탈시간을 산출하여 이탈시간이 기준값 이하인 경우 경보가 발생하는 단계를 더 포함하는 것을 특징으로 한다.

바람직한 다른 구현예로서, 상기 차선 이탈거리는 이하의 식에 방향각(θ)과 측면거리(L)를 입력하여 산출하는 것을 특징으로 한다.

바람직한 또 다른 구현예로서, 상기 방향각과 측면거리는 차량헤드의 좌측 편향시 좌측 방향각과 좌측면거리를 입력하고, 우측 편향시 우측 방향각과 우측면거리를 입력하는 것을 특징으로 한다.

이하 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

첨부한 도 2는 본 발명에 따른 자동차용 차선이탈 방지 방법의 흐름도이다.

우선, 도 2에서 도시한 바와 같이 차량의 사이드 미러에 장착된 카메라에 의해 차량 후방의 영상이 입력되고, 입력된 영상의 프로세싱에 의해 구동중인 차량의 좌우 차선이 추출된다.

다음으로 카메라로부터 입력된 영상으로부터 추출된 차선을 실좌표로 구현하기위해 3차원 매핑을 하고, 이 실좌표로 이루어진 직선을 산출한다.

첨부한 도 3은 Tsai's equation의 이용 개시도이다.

또한, 3차원 매핑은 도 3에서 도시한 바와 같이 Tsai's equation을 이용하여 영상좌표를 실좌표로 변환하는 단계로서, 이는 영상으로 입력되는 차선에 의해 구하는 종래의 변수 산출방법으로부터 발생하는 오차를 보상하기 위함이다.

이하에서 Tsai's equation을 역방향으로 이동하여 실좌표를 산출하는 방법을 상세히 설명한다.

CCD센서에 반영된 영상좌표를 Pf, 렌즈의 왜곡이 반영된 투영 영상좌표를 Pd, 이상적으로 투영된 영상좌표를 Pu, 카메라 좌표계로 표시한 위치를 P, 실좌표계로 표시한 위치를 Pw라 한다.

우선, CCD센서로부터 Pf의 xy좌표(Xf, Yf)를 감지하고, 이하의 수학식 1에 입력하여 Pd의 xy좌표(Xd, Yd)를 산출한다.

여기서, Sx는 스케일 변수, Cx와 Cy는 영상중심점, d_x'와 d_y'는 이하의 수학식 2로 정의되고, 스케일 변수(Sx)는 좌표 변환시 고려되는 다양한 요소를 반영하여 촬영조건에 따라 다른 값을 갖는것이 바람직하다.

또한, 영상 중심점은 카메라의 해상도에 따라 달라지는 값으로, 예를들어 640*480의 해상도에서 Cx와 Cy는 각각 320과 240으로 설정되는 것이 바람직하다.

여기서, dx와 dy는 카메라에 장착된 CCD센서의 픽셀간 거리, Nc는 단위 센서의 수량, Nf는 카메라에 의해 입력되는 영상의 픽셀수로 정의된다.

이는 사이드미러에 부착되는 카메라의 CCD센서의 종류에 따라 달라지는 것이 바람직하다.

따라서, 수학식 2에 센서 픽셀간의 거리(dx, dy), 단위 센서 수량(Nc) 및 컴퓨터 영상의 픽셀수(Nf)를 입력하여 d_x'와 d_y'를 산출하고, 이 값과 CCD센서에 반영된 영상좌표를(Pf-Xf, Yf) 수학식 1에 입력하여 렌즈의 왜곡이 반영된 투영 영상좌표(Pd-Xd, Yd)를 계산함으로써, 카메라에 장착된 CCD 센서의 좌표측정 오차가 보상된다.

다음으로, 이하의 수학식 3에 렌즈의 왜곡수차가 반영된 투영 영상좌표(Pd-Xd, Yd)와 왜곡보정치(D)를 입력하여 이상적으로 투영된 영상좌표(Pu)를 구해냄으로써, 렌즈에 의한 왜곡수차가 보상된다.

다음으로, 이하의 수학식 4에 상기 이상적으로 투영된 영상좌표(Pu), 초점거리(f) 및 z축 거리(zp)를 입력하여 카메라 좌표계로 표시한 위치(P)를 구하고, 이 값과 스케일 변수값(R, T)을 이하의 수학식 5에 입력하여 실좌표계로 표시한 위치(Pw)를 산출한다.

여기서, 상기 초점거리는 카메라 렌즈의 z축상 초점거리를 나타내고, 상기 z축 거리는 카메라 좌표계로 표시한 위치(P)의 z좌표를 나타낸다.

첨부한 도 4는 차량의 좌측 편향시 3차원 매핑 개시도이고, 도 5는 차량의 우측 편향시 3차원 매핑 개시도이다.

도 4와 도 5에서 도시한 바와 같이, 좌측 도면에서 영상좌표로 형성되는 차선(420, 520))은 상기의 과정을 거쳐 실좌표값(Pw)으로 형성되는 차선(400, 500)으로 3차원 매핑된다.

다음으로 3차원 매핑에 의해 형성된 실좌표 직선(400, 500)과 차량의 방향선(430, 530)이 이루는 방향각(θ_R, θ_L)을 산출하고, 실좌표 직선(400, 410, 500, 510)과 차량 사이의 측면거리(L_R, L_L)를 산출한다.

여기서, 도 4에서 도시한 바와 같이 차량의 헤드가 좌측으로 편향시 우측 실좌표 직선(400)을 기준으로 우방향각(θ_R)을 산출하고, 좌측 실좌표 직선(410)을 기준으로 좌측면거리(L_L)를 산출한다.

또한, 도 5에서 도시한 바와 같이 차량의 헤드가 우측으로 편향시 좌측 실좌표 직선(510)을 기준으로 좌방향각(θ_L)을 산출하고, 우측 실좌표 직선(500)을 기준으로 우측면거리(L_R)를 산출한다.

이때, 좌측 편향시 산출된 우방향각(θ_R)은 좌방향각(θ_L)과 엇각으로 이루 어 동일하고, 우측 편향시 산출된 좌방향각(θ_L)은 우방향각(θ_R)과 엇각으로 이루어 동일한바, 각 방향에 따른 방향각의 산출이 가능하다.

또한, 좌우 측면거리는 차량 중심으로부터 차량 방향선의 수직선(440, 540)이 실좌표의 직선(410, 500)과 교차하는 점까지의 거리를 측정한다.

첨부한 도 6은 본 발명에 따른 자동차용 차선이탈 방지 방법의 이탈거리 개시도이다.

다음으로 상기에서 산출된 방향각(θ), 측면거리(L) 및 차선 이탈지점까지의 거리(G)에 의해 도 6에서 도시한 바와 같이 직각 삼각형이 형성되고, 이하의 수학식 6에 편향 방향에 따른 방향각(θ_L,, θ_R)과 측면거리(L_L, L_R)를 입력하여 차선의 이탈거리(G)를 산출한다.

따라서, 우측 편향시에는 우방향각(θ_R)과 우측면거리(L_R)를 수학식 6에 입력하고, 좌측 편향시에는 좌방향각(θ_L)과 좌측면거리(L_L)를 수학식 6에 입력하여 차선 이탈거리(G)를 산출한다.

다음으로, 상기 이탈거리와 차속 센서에 의해 감지되는 속도에 의해 이탈시점까지의 시간을 산출하여, 이 시간이 기준값에 도달하지 못하는 경우 차선이탈 경보가 발생한다.

이때 상기 기준값은 운전자가 발생한 경보를 인지하여 차선 이탈방향으로 진행중인 차량을 정상방향으로 변경하는데 소요되는 충분한 시간을 고려하여 설정하는 것이 바람직하다.

이상에서 본 바와 같이 본 발명에 따른 자동차용 차선이탈 방지 방법은 다음과 같은 효과를 제공한다.

첫째, 카메라 영상으로부터 추출된 차선을 3차원 매핑하여 카메라 렌즈와 영상센서의 오차를 보정함으로써, 실제 차선에 근접한 수치를 얻는 것이 가능하고,

둘째, 차선 이탈거리를 산출하는데 필요한 변수가 종래에 비해 줄어들어 산출 로직이 단순해지고,

세째, 차선 이탈거리와 차량속도로부터 차선 이탈까지의 시간을 예측하여 운전자의 사고를 방지하는 효과가 있다.

Claims

양쪽 사이드 미러에 설치된 카메라에 의해 입력되는 후측방의 좌우 영상으로부터 추출되는 차선을 3차원 매핑하여 차선의 실좌표를 구하고, 이 차선의 실좌표로 이루어진 직선과 차체의 방향선이 교차하는 점에서의 좌우 방향각 및 차량과 차선의 실좌표로 이루어진 직선사이의 좌우 측면거리를 산출한후, 상기 산출된 방향각 및 측면거리의 기하학적 분석에 의해 차선 이탈거리를 산출하여 차선 이탈거리에 따라 운전자에게 경보하되,

상기 차선 이탈거리는 이하의 식에 방향각(θ)과 측면거리(L)를 입력하여 산출하는 것을 특징으로 하는 자동차용 차선이탈 방지 방법.
청구항 1에 있어서, 상기 산출된 차선 이탈거리와 차속센서에 의해 감지되는 차량속도로부터 이탈시간을 산출하여 이탈시간이 기준값 이하인 경우 경보하는 단계를 더 포함하는 것을 특징으로 하는 자동차용 차선이탈 방지 방법.
삭제
청구항 1에 있어서, 상기 방향각과 측면거리는 차량헤드의 좌측 편향시 좌측 방향각과 좌측면거리를 입력하고, 우측 편향시 우측 방향각과 우측면거리를 입력하는 것을 특징으로 하는 자동차용 차선이탈 방지 방법.