KR101401932B1

KR101401932B1 - 차선 인식 장치 및 차선 인식 방법

Info

Publication number: KR101401932B1
Application number: KR1020120060708A
Authority: KR
Inventors: 이준희
Original assignee: 주식회사 만도
Priority date: 2012-06-07
Filing date: 2012-06-07
Publication date: 2014-06-03
Also published as: KR20130137270A

Abstract

본 발명의 일 측면은 차선 정보 추정시 차선 기울기 또는/ 및 차선 오프셋을 연산이 간단하고 연산 부담이 적은 선형 모델을 이용하여 추정함으로써 연산 능력이 낮은 저가의 제어기에서도 실시간 동작이 가능하여 제조비용을 낮출 수 있고, 차선 기울기 또는/ 및 차선 오프셋 추정을 위한 차선 추적을 선형화함으로써 기존에 폭 넓게 사용되고 있는 칼만 필터링 기법 등 선형 제어 기법들을 사용할 수 있어 차선 인식 작업을 보다 간단하고 신뢰성 있게 수행할 수 있는 차선 인식 장치 및 차선 인식 방법을 개시한다.

Description

차선 인식 장치 및 차선 인식 방법{LANE RECOGNITION APPARATUS AND METHOD OF RECOGNIZING LANE THEREOF}

본 발명은 차선 인식 장치 및 차선 인식 방법에 관한 것으로, 더욱 상세하게는 도로 영상과 차량의 각종 상태정보를 종합하여 차선을 인식하는 차선 인식 장치 및 차선 인식 방법에 관한 것이다.

차선유지보조시스템(Lane Keeping Assistance System), 차선이탈경고시스템(Lane Departure Warning System) 등의 차선 유지 시스템은 차선정보를 이용하여 차선을 인식한다.. 이때, 차선 유지 시스템이 차선을 정확히 인식하기 위해서는 검출된 차선정보가 정확해야만 한다. 이 차선 정보는 차선 오프셋(Offset), 차선 기울기(Heading Angle slope), 도로 곡률(Curvature), 도로 곡률 변화율(Curvature Rate)등을 포함한다. 차선 오프셋은 차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타낸다. 예를 들면, 차선 오프셋은 차선 중심으로부터 차량 중심까지 거리일 수 있다. 차선의 기울기는 차선과 차량 진행 방향과의 기울기이다.

영상에서 검출한 차선이 일정 시간 이후 어떻게 천이(Transformation)될 수 있는지를 자차의 운동식(Kinetic-Dynamics Ego Motion)에 의해 계산하여 추정할 수 있다. 차량의 이동에 의한 좌표 변환을 역산해 보는 것이다.

일반적으로 자차의 운동식은 비선형식이다. 따라서 이를 이용한 차선 추적 역시 많은 비선형 항(term)을 포함한다. 이는 계산상 복잡함으로 인해 제어 시스템 구현상 어려움을 야기한다.

또한 이를 구현하여 제품으로 만들기 위해서는 고가의 프로세서를 필요로 하므로 제품의 단가를 높이는 원인이 된다.

본 발명의 일 측면은 차선 정보 추정시 차선의 기울기 또는/ 및 차선의 오프셋을, 연산이 간단하고 연산 부담이 적은 선형 모델을 이용하여 추정할 수 있는 차선 인식 장치 및 차선 인식 방법을 제공한다.

이를 위해 본 발명의 일 측면에 따른 차선 인식 장치는 차량 전방의 도로를 촬영하는 촬영부; 상기 촬영부를 통해 촬영된 도로 영상을 영상 처리 및 영상 분석하여 차선을 검출하는 차선 검출부; 상기 차량의 요레이트를 검출하는 요레이트센서; 상기 차량의 속도를 검출하는 차속센서; 차선과 차량 진행 방향과의 기울기를 나타내는 차선 기울기를, 상기 요레이트센서를 통해 검출된 요레이트 정보, 이전 주기의 차선 기울기 정보 및 이전 주기와 현재 주기 간의 시간차에 의해 결정되는 각도값을 가진 tan 함수값을 이용하여 추정하는 차선 기울기 추정부; 차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타내는 차선 오프셋을, 상기 차속센서를 통해 검출된 차속 정보, 상기 이전 주기의 차선 기울기, 이전 주기의 오프셋 정보 및 이전 주기와 현재 주기 간의 시간차를 근거로 하여 추정하는 차선 오프셋 추정부; 및 상기 추정된 차선 기울기 정보 및 상기 추정된 차선 오프셋 정보에 기초하여 차선을 추정하고, 상기 추정된 차선과 상기 차선 검출부를 통해 검출된 차선을 비교하며, 상기 비교결과 상기 두 개의 차선간의 차이가 미리 설정된 범위 이내인 경우 추정된 차선을 현재의 차선으로 인식하는 차선 인식부;를 포함한다.

여기서, 상기 차선기울기 추정부는 상기 차선 기울기(C_1t+1)를 다음의 식 [1]에 의해 산출하는 것을 포함한다.

- 식 [1]

이때, C_1t 이전 주기의 차선 기울기, ω는 요레이트, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.

여기서, 상기 차선오프셋 추정부는 상기 차선 오프셋(C_ot+1)은 다음의 식 [2]에 의해 산출되는 것을 포함한다.

- 식 [2]

이때, C_ot는 이전 주기의 차선 오프셋, C_1t이전 주기의 차선 기울기, ｖ는 차속, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.

본 발명의 다른 측면에 따른 차선 인식 방법은 차량 전방의 도로를 촬영하고, 상기 촬영된 도로 영상을 영상 처리 및 영상 분석하여 차선을 검출하고; 요레이트센서를 통해 상기 차량의 요레이트를 검출하고; 차속센서를 통해 상기 차량의 속도를 검출하고, 차선과 차량 진행 방향과의 기울기를 나타내는 차선 기울기를, 상기 검출된 요레이트 정보, 이전 주기의 차선 기울기 정보 및 이전 주기와 현재 주기 간의 시간차에 의해 결정되는 각도값을 가진 tan 함수값을 이용하여 추정하고, 차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타내는 차선 오프셋을, 상기 검출된 차속 정보, 상기 이전 주기의 차선 기울기, 이전 주기의 오프셋 정보 및 이전 주기와 현재 주기 간의 시간차를 근거로 하여 추정하고, 상기 추정된 차선 기울기 정보 및 상기 추정된 차선 오프셋 정보에 기초하여 차선을 추정하고, 상기 추정된 차선과 상기 차선 검출부를 통해 검출된 차선을 비교하고, 상기 비교결과 상기 두 개의 차선간의 차이가 미리 설정된 범위 이내인 경우 추정된 차선을 현재의 차선으로 인식하는 것을 포함한다.

여기서, 상기 차선기울기 추정은, 상기 차선 기울기(C_1t+1)를 다음의 식 [1]에 의해 산출하는 것을 포함한다.

- 식 [1]

여기서, 상기 차선오프셋 추정은, 상기 차선 오프셋(C_ot+1)을 다음의 식 [2]에 의해 산출하는 것을 포함한다.

- 식[2]

이상에서 설명한 본 발명의 일 측면에 따르면, 차선 기울기 또는/ 및 차선 오프셋 추정을 위해 연산 부담이 적은 선형 차선 추적 모델을 구현함으로써 연산 능력이 낮은 저가의 제어기에서도 실시간 동작이 가능하여 제조비용을 낮출 수 있다.

또한, 본 발명의 다른 측면에 따르면, 차선 기울기 또는/ 및 차선 오프셋 추정을 위해 차선 추적 방식을 선형화함으로써 기존에 폭 넓게 사용되고 있는 칼만 필터링 기법 등 선형 제어 기법들을 사용할 수 있어 차선 인식 작업을 보다 간단하고 신뢰성 있게 수행할 수 있다.

도 1은 본 발명의 일실시예에 따른 차선 인식 장치의 제어블록도이다.
도 2는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 기울기 추정부의 작동을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 오프셋 추정부의 작동을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 기울기와 차선 오프셋 추정에 사용되는 차량의 운동식을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 오프셋 추정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 차선 인식 장치에서 차선을 인식하는 것을 설명하기 위한 제어흐름도이다.

일반적으로, 차선 정보는 차선 오프셋(Offset), 차선 기울기(Heading Angle Slope), 도로 곡률(Curvature), 도로 곡률 변화율(Curvature Rate)등을 포함해야 한다. 차선이 3차 곡선 모델을 사용한다고 가정하면 차선(y_t)을 다음의 식 [1]을 통해 표현할 수 있다.

- 식 [1]

여기서, 1/(6*C_3t)은 도로의 곡률 변화율, 1/(2*C_2t)는 도로의 곡률, C_1t은 차선의 기울기, C_0t는 차선의 오프셋을 나타낸다.

다시 말해, 만약 영상에 보이는 차선 위의 점들의 집합을 위 식 [1]과 같이 표현할 수 있다면, 위 식 [1]을 통해 차선의 정보를 알아낼 수 있는 것이다.

정리하자면, 차속, 요레이트(Yaw Rate)센서 등 다른 센서들부터 들어온 데이터와 CMOS 촬상 소자 등의 촬영장치로부터 획득한 차선 영상을 분석하여 검출한 차선 위의 점들을 식 [1]의 형태로 피팅(fitting)하여 차선 인식을 위한 제어기로 전달한다.

차선 추적은 예측(Prediction) - 입력 - 보정(correction)의 순서로 이루어진다.

최종적으로 제어기로 전달되는 식 [1] 형태의 차선 검출 결과는 두 가지 경로를 통해 생성된 정보들이 융합된 것이다. 촬영장치를 통해 획득한 영상을 분석하여 나온 차선 검출 정보와 추적을 통해 예측된 정보가 정보의 신뢰도를 바탕으로 융합된다. 따라서 차선 추적은 필터링과 미싱(Missing) 대비 이 두 가지 목적을 위해 이루어진다.

첫째, 필터링은 추적하여 예측한 차선과 현재 영상에서 검출한 차선이 크게 다를 경우 이를 걸러 내기 위함이다. 둘째, 미싱 대비는 현재 영상에서 영상 검출에 실패하였지만(예측된 정보가 나오지 않을 경우) 결과를 내어주어야 하는 경우, 추적하고 있던 차선으로 출력하기 위함이다.

이때, 추적은 다양한 방법을 통해 이루어 질 수 있지만 일반적으로 가장 많이 사용되는 방식은 차량의 운동식 모델링(Kinetic - Dynamic Modeling)을 이용하는 것이다. 차량의 이동에 의한 좌표 변환을 역산해 보는 것이다.

그러나 운동식 모델은 비선형적 요소들을 포함하고 있기 때문에 제한적인 연산 능력을 갖고 있으면서 실시간성을 요하는 임베디드(Embedded) 환경에서 사용이 어렵다.

본 발명의 실시예는 차선 추적 중 예측 과정을 다룬다. 본 발명의 실시예는 비선형 운동식을 몇 가지 가정에 의해 간단한 선형으로 근사하는 모델로 표현하는 방법을 다룬다. 즉, 본 발명의 실시예는 자차의 운동식에 의한 좌표계 변환을 몇 가지 가정에 의해 선형화함으로써 간단한 구현을 가능하게 하며 높은 성능을 기대할 수 있다. 또한 칼만 필터링(kalman filtering)과 같은 기존의 선형 모델 기반 필터링 및 추적(tracking) 시스템에 쉽게 적용이 가능하다는 장점을 갖는다.

특히 본 발명의 실시예에는 차선의 4가지 주요 정보 중 차선 기울기와 차선 오프셋을 예측하는 방법을 다루고 있다. 앞선 시간(time = t)에 추정한 차선 기울기와 차선 오프셋은 차량의 각종 다이나믹 센서(Dynamics Sensor)로부터 들어온 센싱 데이터를 통해 현재 시간(time = t+1)의 차선 기울기와 차선 오프셋을 예측한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.

도 1은 본 발명의 일실시예에 따른 차선 인식 장치의 제어블록도이다. 도 2는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 기울기 추정부의 작동을 설명하기 위한 도면이다. 도 3은 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 오프셋 추정부의 작동을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 차선 인식 장치는 촬영부(10), 차량센서부(20), 차선 검출부(30), 차선기울기추정부(40), 차선오프셋추정부(50) 및 차선인식부(60)를 포함한다.

촬영부(10)는 도로 예를 들면, 차량 전방의 도로를 촬영하여 도로 영상을 생성한다. 촬영부(10)는 CCD 또는 CMOS 소자를 이용하여 차량 전방의 도로 영상을 촬영할 수 있다. 한편, 본 실시예에서는 촬영부(10)에 마련된 CCD 또는 CMOS 소자를 이용하여 도로 영상을 촬영하는 것에 대해서만 설명하였지만, 외부 카메라로부터 영상을 입력받는 형태로도 구현되는 것도 가능하다.

차량센서부(20)는 요레이트센서(21)와 차속센서(22)를 포함한다. 요레이트센서(21)는 차량이 수직축을 기준으로 회전할 때, 즉 Z축 방향을 기준으로 회전할 때 내부의 프레이트 포크가 진동 변화를 일으키면서 전자적으로 차량의 요 모멘트를 검출한다. 여기서 요 모멘트는 차체의 앞뒤가 좌우측 또는 선회할 때 안쪽 바깥쪽 차륜 쪽으로 이동하려는 힘이다. 차속센서(22)는 차량에 마련된 휠(FL, FR, RL, RR)의 속도에 따른 차량의 종방향 속도를 검출한다.

또한, 차량센서부(20)는 요레이트센서(21)와 차속센서(22)를 이외에도 조향각센서, 횡가속도센서 등 각종 센서를 포함한다.

차선 검출부(30)는 촬영부(10)에 의해 촬영된 도로 영상을 영상 처리 및 영상 분석함으로써 차선을 검출한다. 이때, 검출된 차선은 차선 기울기, 차선 오프셋, 도로 곡률 및 도로 곡률 변화율 등을 포함하는 차선 정보를 포함한다.

차선기울기 추정부(40)는 차선정보 중 차선 기울기를 선형 차량 모델을 이용하여 추정한다.

도 2에 도시된 바와 같이, 차선기울기 추정부(40)는 차선의 기울기를 이전 주기의 차선 기울기 정보와, 요레이트센서(21)를 통해 감지된 요레이트 정보 및 타이머로부터 들어온 샘플링 시간 정보(이전 주기와 현재 주기 간의 시간차)를 근거로 하여 추정한다. 차선 기울기(C_1t+1)는 다음의 식 [2]에 의해 산출된다.

- 식 [2]

여기서, C_1t 이전 주기의 차선 기울기, ω는 요레이트이다. 이때, 이전 주기의 차선 기울기는 이전 주기에 상기한 식 [2]에 의해 산출된 값이다.

다시 도 1을 참조하면, 차선오프셋 추정부(50)는 차선정보 중 차선 오프셋을 선형 차량 모델을 이용하여 추정한다.

도 3에 도시된 바와 같이, 차선오프셋 추정부(50)는 차선 오프셋을 이전 주기의 오프셋 정보와, 차선 기울기 정보, 요레이트센서(21)를 통해 감지된 요레이트 정보, 차속센서(22)를 통해 감지된 차속 정보 및 타이머로부터 들어온 샘플링 시간 정보를 근거로 하여 추정한다. 차선 오프셋(C_ot+1)은 다음의 식 [3]에 의해 산출된다.

- 식[3]

여기서, C_ot는 이전 주기의 차선 오프셋, C_1t이전 주기의 차선 기울기, ｖ는 차속이다. 이때, 이전 주기의 차선 오프셋은 이전 주기에 상기한 식 [3]에 의해 산출된 값이다.

차선인식부(60)는 추정된 차선 기울기 정보와 차선 오프셋 정보, 차량센서부(20)로부터 입력된 차량의 각종 상태정보를 종합하여 차선을 추정하고, 추정된 차선과, 차선 검출부(30)를 통해 검출된 차선을 비교하고, 이 두 개의 차선간의 차이가 미리 설정된 범위 이내인 경우 추정된 차선을 현재의 차선으로 인식한다.

이하에서는 차선 기울기와 차선 오프셋이 상기한 식 [2]와 [3]에 의해 산출될 수 있음을 설명한다.

도 4는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 기울기와 차선 오프셋 추정에 사용되는 차량의 운동식을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 만약, 샘플링 시간 Δt(Δt = t1 - t0)가 매우 작다면, 단위 시간 동안 차속 v와 단위시간 동안 평균 ω의 요레이트를 갖는 차량은 다음과 같이 원을 따라 이동했다고 가정할 수 있다.

이때, 차량이 미끄러지지 않았다면, t0 에서의 Y방향 속도는 0이다. 이때, 비 구동륜의 Y방향 속도는 0으로 가정할 수 있다.

따라서 y의 변위 Δy 는 원을 따라 움직인 것에만 기인한다.

차량이 이동한 궤적은 원호의 공식에 따라, 다음과 같이 표현되고,

여기서, l는 차량이 이동한 궤적이고, r는 원의 반지름이고, φ는 차량의 헤딩각도를 나타낸다.

이때, 샘플링 시간 Δt가 매우 작다고 가정하면, 차량이 헤딩각도를 바꾸고 직진한 것과 큰 차이가 없으므로, 차량이 이동한 궤적은 다음과 같이 표현할 수 있다.

이므로,

로 나타낼 수 있다.

따라서, 위의 식을 통해 회전 반경 r을 추정할 수 있다.

또한, x와 y의 변위는 다음과 같이 유도할 수 있다.

만약, v = au + b를 만족하는 a와 b를 알고 있고,

을 만족하는

를 알고 있다면,

y = cx + d를 만족하는 c와 d를 다음과 같이 유도 할 수 있다.

,

이하에서는 차량의 운동식을 이용하여 차선 기울기와 차선 오프셋을 추정하는 것을 설명한다.

도 5a 및 도 5b는 본 발명의 일실시예에 따른 차선 인식 장치에서 차선 오프셋 추정을 설명하기 위한 도면이다.

도 5a 및 도 5b에 도시된 바와 같이, 샘플링 시간 t = t_k에서 찾은 차선 기울기(C_1t = A_k)과 오프셋(C_0t =b_k)을 알고 있을 때, 샘플링 시간 t_k+1에의 차선 기울기(C_1t+1 = A_k+1)과 오프셋(C_0t+1 =b_k+1)을 예측할 수 있다.

아주 짧은 Δt(Δt=t_k+1- t_k ) 동안 도로의 곡률은 변화가 없다고 가정하고 차량의 모션에 의해 시점 변환이 생겨, 차량 좌표계 기준의 차선 기울기와 차선 오프셋이 변한한다고 가정한다면, 이때, 두 시점 간에 좌표계는 다음과 같은 관계를 갖는다.

따라서,

로 나타낼 수 있다.

이하 차선 모델 선형화를 설명한다.

차선이 다음과 같은 3차 곡선 모델을 사용한다고 가정했을 때, 상기한 식 [1]과 같이 나타낼 수 있다.

- 식 [1]

도로의 곡률변화는 극히 미미하다고 가정할 수 있으므로 3차 항은 0으로 가정할 수 있다.

예측 주기 Δt(Δt= t_k+1- t_k) = 0.0667sec로, 스펙 상 속도를 최대 180KPH = 50 m/s로 가정하면, x 축 방향 최대 이동거리는 (50 m/s)*(0.0667 sec ) = 3.35m이고, 스펙 상 인식 가능한 최소 반경은 125 이하이다(125>R).

이때, r = 1/2C₂ < 125 이고, C₂ < 1/250이므로, 예측 시간 동안 x² 텀은 최대 0.0449의 영향을 미칠 수 있다. 즉, 예측 주기 Δt 동안 상기한 식 [1]을 다음과 같이 나타낼 수 있다.

- 식 [4]

따라서 Δt 동안 차량이 추적해야 하는 차선은 다음 식과 같은 직선 모델로 나타낼 수 있다.

<운동학에 의한 차선의 헤딩각도 추정>

차선 추적에서 상정한 모델은 직선 모델이므로, 즉, 프레임을 고정하면 각도 변화가 없으므로, Δt 후 관측 프레임에서의 차선의 각도 변화는 차량의 모션에 의한 시점 변화에만 기인한다고 볼 수 있다.

샘플링 시간 t에서의 차선 기울기 at의 헤딩각도를 θ 라 하면, 샘플링 시간 t+1에서의 헤딩각도(θ_t+1)는 다음과 같이 표현할 수 있다.

따라서, 차선 기울기는 다음과 같이 표현할 수 있다.

<운동학에 의한 차선의 오프셋 추정>

샘플링 시간 t+1에서 차선 오프셋은 제1 오프셋(offset1)이다.

만약, 요 모션(Yaw Motion)에 의한 헤딩각도의 변화 없이 전이(Translation)에 의한 변화만 있었다면 샘플링 시간 t+1에서의 차선 오프셋은 제2 오프셋(offset2)와 같다.

제1 오프셋(Offset 1)과 제2 오프셋(offset 2)는 다음과 같은 관계가 성립한다.

Offset1 = Offset2 ×cosφ

이때, offset 2 + Δy = AtΔx + bt = C_1tΔx+ C_0t 이므로, offset 2는 다음과 같이 정리할 수 있다.

따라서, offset 1은 다음과 같이 나타낼 수 있다.

offset1 = term1+term2+term3

여기서, offset1을 다음과 같이 정리할 수 있다.

이때,

,

이다.

여기서,

이고,

이며,

이며,

이므로, term 1, term 2 및 term 3는 다음과 같이 나타낼 수 있다.

따라서, offset1은 다음과 같이 나타낼 수 있다.

이때, 스펙에 의해 -0.4 < w < 0.4 이고, v < 50 , C_1t < tan(30°) = 0.57, C_0t <3 이므로,

이다.

따라서, term 1은 다음과 같이 나타낼 수 있다.

또한,

이므로, Term 3은 다음과 같이 나타낼 수 있다.

정리하면, 차선 기울기 C_ot ₊₁은 다음과 같이 나타낼 수 있다.

요약하면, 샘플링 시간 t 에서 찾은 차선의 모델은 다음과 같고,

Δt(=tk+1- tk ) 동안 도로의 곡률은 변화가 없다고 가정하고 차량의 모션에 의해 시점 변환이 생겨, 차량 좌표계 기준의 차선 기울기와 차선 오프셋이 변한다고 가정할 때, 시점 변환 후의 차선은 다음과 같이 예측할 수 있다.

<칼만 모델(Kalman Mode)l 적용>

차선 기울기와 차선 오프셋은 각각 사용하는 좌표계가 다르므로, 두 상기한 두 식은 동일한 시스템 모델을 공유할 수 없다. 따라서, 차선 기울기(C_1t+1)를 먼저 추정한 후 차선 오프셋(C_ot+1)을 추정하는 방법을 사용할 수 있다.

도 6은 본 발명의 일실시예에 따른 차선 인식 장치에서 차선을 인식하는 것을 설명하기 위한 제어흐름도이다.

도 6을 살펴보면, 먼저 차선 인식 장치는 촬영부(10)를 통해 전방 도로의 영상을 촬영한다(100).

전방 도로의 영상을 촬영한 후 차선 인식장치는 도로 영상을 분석하여 차선을 검출한다(110).

그리고 차선 인식 장치는 요레이트센서(21)를 통해 요레이트를 검출하고(120), 차속센서(22)를 통해 차속을 검출한다(130).

그런 후 차선 인식 장치는 차선기울기를 추정한다(140). 차선기울기(C_1t+1)는 상술한 다음의 식[2]에 의해 산출된다.

- 식 [2]

여기서, C_1t 이전 주기의 차선 기울기, ω는 요레이트이다. Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다. 차선기울기를 추정할 수 있음으로써 차선과 차량 진행 방향과의 각도인 차선 헤딩각도(θ_t+1)를 추정할 수 있다.

차선기울기를 추정한 후 차선 인식 장치는 차선오프셋을 추정한다(150). 차선 오프셋(C_ot+1)은 상술한 다음의 식 [3]에 의해 산출된다.

- 식[3]

여기서, C_ot는 이전 주기의 차선 오프셋, C_t이전 주기의 차선 기울기, ｖ는 차속, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.

차선기울기와 차선오프셋을 추정한 후 차선 인식 장치는 추정된 차선기울기와 차선오프셋을 근거로 차선을 추정한다(160).

그런 후 차선 인식 장치는 작동모드 160에서 추정된 차선과 작동모드 110에서 검출된 차선을 비교한다(170).

작동모드 170의 비교결과 추정된 차선과 검출된 차선의 차이가 미리 설정된 범위 이내인 경우, 추정된 차선을 현재의 차선으로 인식한다(180).

이 후 인식된 차선을 근거로 하여 차량이 현재의 차선을 유지하도록 제어한다.

10 : 촬영부 20 : 차량센서부
21 : 요레이트센서 22 : 차속센서
30 : 차선 검출부 40 : 차선기울기 추정부
50 : 차선오프셋 추정부 60 : 차선인식부

Claims

차량 전방의 도로를 촬영하는 촬영부;
상기 촬영부를 통해 촬영된 도로 영상을 영상 처리 및 영상 분석하여 차선을 검출하는 차선 검출부;
상기 차량의 요레이트를 검출하는 요레이트센서;
상기 차량의 속도를 검출하는 차속센서;
차선과 차량 진행 방향과의 기울기를 나타내는 차선 기울기를, 상기 요레이트센서를 통해 검출된 요레이트 정보, 이전 주기의 차선 기울기 정보 및 이전 주기와 현재 주기 간의 시간차에 의해 결정되는 각도값을 가진 tan 함수값을 이용하여 추정하는 차선 기울기 추정부;
차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타내는 차선 오프셋을, 상기 차속센서를 통해 검출된 차속 정보, 상기 이전 주기의 차선 기울기, 이전 주기의 오프셋 정보 및 이전 주기와 현재 주기 간의 시간차를 근거로 하여 추정하는 차선 오프셋 추정부; 및
상기 추정된 차선 기울기 정보 및 상기 추정된 차선 오프셋 정보에 기초하여 차선을 추정하고, 상기 추정된 차선과 상기 차선 검출부를 통해 검출된 차선을 비교하며, 상기 비교결과 상기 두 개의 차선간의 차이가 미리 설정된 범위 이내인 경우 추정된 차선을 현재의 차선으로 인식하는 차선 인식부;를 포함하는 차선 인식 장치.
제1항에 있어서,
상기 차선기울기 추정부는 상기 차선 기울기(C_1t+1)를 다음의 식 [1]에 의해 산출하는 것을 포함하는 차선 인식 장치.

- 식 [1]
여기서, C_1t 이전 주기의 차선 기울기, ω는 요레이트, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.
제2항에 있어서,
상기 차선오프셋 추정부는 상기 차선 오프셋(C_ot+1)은 다음의 식 [2]에 의해 산출되는 것을 포함하는 차선 인식 장치.

- 식 [2]
여기서, C_ot는 이전 주기의 차선 오프셋, C_1t이전 주기의 차선 기울기, ｖ는 차속, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.
차량 전방의 도로를 촬영하고;
상기 촬영된 도로 영상을 영상 처리 및 영상 분석하여 차선을 검출하고,
요레이트센서를 통해 상기 차량의 요레이트를 검출하고,
차속센서를 통해 상기 차량의 속도를 검출하고;
차선과 차량 진행 방향과의 기울기를 나타내는 차선 기울기를, 상기 검출된 요레이트 정보, 이전 주기의 차선 기울기 정보 및 이전 주기와 현재 주기 간의 시간차에 의해 결정되는 각도값을 가진 tan 함수값을 이용하여 추정하고,
차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타내는 차선 오프셋을, 상기 검출된 차속 정보, 상기 이전 주기의 차선 기울기, 이전 주기의 오프셋 정보 및 이전 주기와 현재 주기 간의 시간차를 근거로 하여 추정하고;
상기 추정된 차선 기울기 정보 및 상기 추정된 차선 오프셋 정보에 기초하여 차선을 추정하고;
상기 추정된 차선과 상기 차선 검출부를 통해 검출된 차선을 비교하고;
상기 비교결과 상기 두 개의 차선간의 차이가 미리 설정된 범위 이내인 경우 추정된 차선을 현재의 차선으로 인식하는 것을 포함하는 차선 인식 방법.
제4항에 있어서,
상기 차선기울기 추정은, 상기 차선 기울기(C_1t+1)를 다음의 식 [1]에 의해 산출하는 것을 포함하는 차선 인식 방법.

- 식 [1]
여기서, C_1t 이전 주기의 차선 기울기, ω는 요레이트, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.
제5항에 있어서,
상기 차선오프셋 추정은, 상기 차선 오프셋(C_ot+1)을 다음의 식 [2]에 의해 산출하는 것을 포함하는 차선 인식 방법.

- 식[2]
여기서, C_ot는 이전 주기의 차선 오프셋, C_1t이전 주기의 차선 기울기, ｖ는 차속, Δt는 이전 주기와 현재 주기간의 샘플링 시간 차이이다.