KR101805717B1

KR101805717B1 - 차량의 차선 인식 방법 및 그 장치

Info

Publication number: KR101805717B1
Application number: KR1020110084594A
Authority: KR
Inventors: 이준한
Original assignee: 현대모비스 주식회사
Priority date: 2011-08-24
Filing date: 2011-08-24
Publication date: 2017-12-06
Also published as: KR20130021987A; CN103077371A; CN103077371B

Abstract

본 발명에서는 카메라를 통해 얻게 되는 영상에 다중 필터와 각각의 필터에 대한 가중치를 적용하여 차선의 오인식 문제를 제거하고 안정적인 LKAS 제어를 수행할 수 있도록 한다. 즉, 본 발명의 차량의 차선 인식 방법은, 차량의 영상장치로부터 획득한 왼쪽 차선 정보에 대해 두 개 이상의 왼쪽 로컬 필터를 적용하는 단계와, 상기 차량의 영상장치로부터 획득한 오른쪽 차선 정보에 대해 두 개 이상의 오른쪽 로컬 필터를 적용하는 단계와, 상기 왼쪽 및 오른쪽 차선 정보에 대한 페널티 팩터를 계산하는 단계와, 상기 두 개 이상의 왼쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 왼쪽 차선 추정치를 구하는 단계와, 상기 두 개 이상의 오른쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 오른쪽 차선 추정치를 구하는 단계를 포함한다.

Description

차량의 차선 인식 방법 및 그 장치{Method and apparatus for lane detection of vehicle}

본 발명은 차량의 차선 인식 방법 및 그 장치에 관한 것으로서, 더 구체적으로는 차선 유지 지원 시스템(LKAS: Lane Keeping Assistance System)에서 정확하게 차선을 인식할 수 있도록 하는 차량의 차선 인식 방법 및 그 장치에 관한 것이다.

차선 유지 지원 시스템(LKAS: Lane Keeping Assistance System)은 카메라를 이용하여 차선을 인식하고 자동 조향을 행하는 기술로서, 카메라의 이미지 프로세싱을 기반으로 차선 폭, 차선 상의 차량의 횡방향 위치, 양측 차선까지의 거리 및 차선의 형태, 도로의 곡률 반경이 측정되며, 이와 같이 얻어진 차량의 위치와 도로의 정보를 사용하여 차량을 제어한다.

이와 같은 LKAS의 성능은 카메라를 통해 얻게 되는 차선 정보의 신뢰도에 따라 제어 성능이 크게 좌우된다. 그러나, 일반적으로 도로상의 차선은 실선이 아닌 점선으로 이루어진 경우가 대부분이고, 가드레일이나 중앙 분리대, 가드레일 그림자 등에 의한 미인식과 오인식 상황이 발생하게 된다.

또한, 실제 공로에서는 직선뿐만 아니라 곡선 구간이 많이 있으며, 직선 구간일지라도 노면 상 차선의 도색 상태와 우천시 등의 노면의 상태에 따라 영상신호가 안정적으로 입력되지 못하는 경우도 빈번하다.

차선을 인식하는 방법에 관한 종래 기술로는 한국 공개특허출원 10-2009-53412호, 10-2010-34409호, 미국 특허 7,532,981호, 미국 공개특허출원 2010/0076684호 등이 있다.

종래기술에 따른 차선 인식 방법 중 필터기법을 이용한 것은 차선 미인식의 경우에 대해 강인한 성능을 보이나 오인식의 경우에는 상대적으로 취약한 단점이 있다.

차선 인식을 위해 영상 처리 기법을 이용하는 종래기술의 경우, 관심영역 설정 문제 및 영상 처리의 여러 단계가 필요하기 때문에 연산량이 상대적으로 많아진다는 문제점이 있다.

본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 차선의 오인식이나 미인식 상황에서도 정확하게 차선을 인식할 수 있는 강건한 차량의 차선 인식 방법 및 그 장치를 제공하는 것을 해결하고자 하는 과제로 한다.

본 발명의 다른 과제는 장시간 차선을 미인식/오인식하는 경우에도 안정적으로 LKAS 제어를 수행할 수 있는 차량의 차선 인식 방법 및 그 장치를 제공하는 것이다.

이와 같은 과제를 해결하기 위하여 본 발명에서는 카메라를 통해 얻게 되는 영상에 다중 필터와 각각의 필터에 대한 가중치를 적용하여 차선의 오인식 문제를 제거하고 안정적인 LKAS 제어를 수행할 수 있도록 한다.

즉, 본 발명의 일면에 따른 차량의 차선 인식 방법은, 차량의 영상장치로부터 획득한 왼쪽 차선 정보에 대해 두 개 이상의 왼쪽 로컬 필터를 적용하는 단계와, 상기 차량의 영상장치로부터 획득한 오른쪽 차선 정보에 대해 두 개 이상의 오른쪽 로컬 필터를 적용하는 단계와, 상기 왼쪽 및 오른쪽 차선 정보에 대한 페널티 팩터를 계산하는 단계와, 상기 두 개 이상의 왼쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 왼쪽 차선 추정치를 구하는 단계와, 상기 두 개 이상의 오른쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 오른쪽 차선 추정치를 구하는 단계를 포함하여 이루어진다.

여기에서, 상기 왼쪽 및 오른쪽 로컬 필터는 다음의 [수학식 1]을 만족하는 칼만 필터이다.

[수학식 1]

(여기에서, P는 시스템 공분산, Q와 R은 각각 프로세스 노이즈 공분산, 측정치 노이즈 공분산이며, K는 공분산을 통해 계산된 칼만 게인이다)

또한, 상기 페널티 팩터는 다음의 [수학식 2]에 따라 계산될 수 있다.

[수학식 2]

(W: 최소 차선폭

D: 최대 미인식 제어거리

V: 속도

t: 미인식/오인식 경과 시간

α: 필터 가중치)

본 발명의 다른 면에 따른 차량의 차선 인식 장치는, 차량의 카메라로부터 왼쪽 및 오른쪽 차선의 영상 정보를 수신하여 상기 왼쪽 및 오른쪽 차선의 추정치를 구하는 차량의 차선 인식 장치로서, 상기 왼쪽 차선 정보를 필터링하는 적어도 두 개의 왼쪽 로컬 필터와, 상기 오른쪽 차선 정보를 필터링하는 적어도 두 개의 오른쪽 로컬 필터와, 상기 왼쪽 및 오른쪽 차선 정보에 대한 페널티 팩터를 계산하는 페널티 팩터 블록과, 상기 두 개 이상의 왼쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 왼쪽 차선 추정치를 구하는 왼쪽 마스터 필터와, 상기 두 개 이상의 오른쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 오른쪽 차선 추정치를 구하는 오른쪽 마스터 필터를 포함한다.

본 발명에 따르면, 외부 노이즈에 의해 한쪽 차선만을 인식한 경우라도 차선폭 정보와 노이즈 수준에 따른 다중 필터 기법을 통해 차선 인식률을 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 다중 필터를 사용한 차선 인식 방법은 차선 오인식에 강인하며, 시간함수를 통해 차선폭을 줄이기 때문에 장시간 차선을 미인식/오인식하는 경우에도 안정적으로 LKAS 제어를 수행할 수 있다.

도 1은 본 발명의 실시예에 따른 차량의 차선 인식 방법에서 사용하는 다중 필터의 구성도이다.
도 2는 기존의 필터를 이용한 차선 인식 결과와 본 발명의 실시예에 따른 차선 인식 결과를 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 차량의 차선 유지 지원 시스템 및 그 방법에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 차량의 차선 인식 방법에서 사용하는 다중 필터의 구성도이다.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 차량의 차선 인식 방법에서 사용하는 다중 필터(100)는 카메라의 왼쪽 신호(110)와 카메라의 오른쪽 신호(120)에 대하여 각각 두 개씩의 로컬 필터를 사용한다. 즉, 카메라 왼쪽 신호(110)에 대해 로컬 필터 L1(112)과 로컬 필터 L2(114)를 사용하고, 카메라 오른쪽 신호(120)에 대해 로컬 필터 R1(122)과 로컬 필터 R2(124)를 사용한다. 이 때 사용하는 필터의 수는 반드시 2개로 제한되는 것은 아니며, 제어 수준에 따라 조절할 수 있다. 본 발명의 실시예에서는 설명의 편의를 위하여 2개로 한정하였다.

각 로컬 필터는 다음의 [수학식 1]과 같이 나타나는 칼만 필터로 구성된다.

(여기에서, P는 시스템 공분산, Q와 R은 각각 프로세스 노이즈 공분산, 측정치 노이즈 공분산이며, K는 공분산을 통해 계산된 칼만 게인이고,

는 K 시점에서의 선행 추정된 시스템 공분산이고,

는 k-1 시점에서의 상태 천이 행렬이고,

는 K-1 시점에서의 시스템 공분산의 측정값이고,

는

의 전치 행렬이고,

는 K-1 시점에서의 프로세스 노이즈 공분산이고,

는 k 시점에서의 칼만 게인이고,

는 K 시점에서의 관측 행렬이고,

는

의 전치 행렬이고,

는 k 시점에서의 측정치 노이즈 공분산이고,

는 k 시점에서의 선행-추정 상태변수로서, k 시점에서의 추정 상태변수

를 추정하기 전에 선행적으로 추정한 상태변수이고,

는 k-1 시점에서의 추정 상태변수이고,

는 k 시점에서의 현재 주행중인 차선의 실제 측정값이고,

는 K 시점에서의 추정된 시스템 공분산이고,

는

의 전치 행렬이다)

각 로컬 필터를 거친 신호는 왼쪽 마스터 필터(116)와 오른쪽 마스터 필터(126)로 각각 전달된다.

그리고, 페널티 팩터 블록(130)에서는 카메라를 통해 들어오는 신호 차이 변화와 시간에 따른 가중치를 구하여 이를 각각의 마스터 필터(116, 126)에 전달한다.

페널티 팩터 블록에서는 다음의 [수학식 2]에 따라 가중치를 구한다.

W: 최소 차선폭

D: 최대 미인식 제어거리

V: 속도

t: 미인식/오인식 경과 시간

α: 필터 가중치

다음, 마스터 필터(116, 126)에서는 로컬 필터로부터 얻은 값과 페널티 팩터 블록으로부터 얻은 신호 차이 변화와 시간에 따른 가중치를 이용하여 최종적인 차선 추정치를 구한다.

도 2는 기존의 필터를 이용한 차선 인식 결과와 본 발명의 실시예에 따른 차선 인식 결과를 나타낸 것이다. 도 2의 윗부분 그래프는 기존의 필터, 도 2의 아랫부분 그래프는 본 발명의 실시예를 사용한 차선 인식 결과를 각각 나타내며, 빨간색은 오른쪽 차선, 파란색은 왼쪽 차선을 나타낸다.

도 2에서 1번은 운전자의 의지로 차선을 변경한 경우이고, 2번은 왼쪽 차선의 오인식이 발생한 경우이다.

기존의 필터 기법을 이용한 차선 인식을 보면(위 2번) 오인식된 왼쪽 차선을 그대로 추정함으로써 차선 오인식을 검출할 수 없지만, 본 발명의 실시예에 따른 차선 인식 방법을 적용하면(아래 2번), 차선 오인식 상황에서도 차선 추정값이 오인식 차선을 따라가지 않고 강건하게 대응하는 것을 확인할 수 있다.

이와 같이 본 발명에 따르면 외부 노이즈에 의해 한쪽 차선만을 인식한 경우라도 차선폭 정보와 노이즈 수준에 따른 다중 필터 기법을 통해 차선 인식률을 향상시킬 수 있다.

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

Claims

차량의 영상장치로부터 획득한 왼쪽 차선 정보에 대해 두 개 이상의 왼쪽 로컬 필터를 적용하는 단계와,
상기 차량의 영상장치로부터 획득한 오른쪽 차선 정보에 대해 두 개 이상의 오른쪽 로컬 필터를 적용하는 단계와,
상기 왼쪽 및 오른쪽 차선 정보에 대한 페널티 팩터를 계산하는 단계와,
상기 두 개 이상의 왼쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 왼쪽 차선 추정치를 구하는 단계와,
상기 두 개 이상의 오른쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 오른쪽 차선 추정치를 구하는 단계를 포함하고,
상기 패널티 팩터는 상기 영상장치를 통해 들어오는 신호 차이 변화, 시간 및 최소 차선폭에 따라 구해지는 가중치인
차량의 차선 인식 방법.
제1항에 있어서, 상기 왼쪽 및 오른쪽 로컬 필터는 다음의 [수학식 1]을 만족하는 칼만 필터인 차량의 차선 인식 방법.
[수학식 1]

(여기에서, P는 시스템 공분산, Q와 R은 각각 프로세스 노이즈 공분산, 측정치 노이즈 공분산이며, K는 공분산을 통해 계산된 칼만 게인이고,
는 K 시점에서의 선행 추정된 시스템 공분산이고,
는 k-1 시점에서의 상태 천이 행렬이고,
는 K-1 시점에서의 시스템 공분산의 측정값이고,
는
의 전치 행렬이고,
는 K-1 시점에서의 프로세스 노이즈 공분산이고,
는 k 시점에서의 칼만 게인이고,
는 K 시점에서의 관측 행렬이고,
는
의 전치 행렬이고,
는 k 시점에서의 측정치 노이즈 공분산이고,
는 k 시점에서의 선행-추정 상태변수로서, k 시점에서의 추정 상태변수
를 추정하기 전에 선행적으로 추정한 상태변수이고,
는 k-1 시점에서의 추정 상태변수이고,
는 k 시점에서의 현재 주행중인 차선의 실제 측정값이고,
는 K 시점에서의 추정된 시스템 공분산이고,
는
의 전치 행렬이다)
제1항에 있어서, 상기 페널티 팩터는 다음의 [수학식 2]에 따라 계산되는 차량의 차선 인식 방법.
[수학식 2]

(W: 최소 차선폭
D: 최대 미인식 제어거리
V: 속도
t: 미인식/오인식 경과 시간
α: 필터 가중치)
차량의 카메라로부터 왼쪽 및 오른쪽 차선의 영상 정보를 수신하여 상기 왼쪽 및 오른쪽 차선의 추정치를 구하는 차량의 차선 인식 장치로서,
상기 왼쪽 차선 정보를 필터링하는 적어도 두 개의 왼쪽 로컬 필터와,
상기 오른쪽 차선 정보를 필터링하는 적어도 두 개의 오른쪽 로컬 필터와,
상기 왼쪽 및 오른쪽 차선 정보에 대한 페널티 팩터를 계산하는 페널티 팩터 블록과,
상기 적어도 두 개의 왼쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 왼쪽 차선 추정치를 구하는 왼쪽 마스터 필터와,
상기 적어도 두 개의 오른쪽 로컬 필터에 의해 필터링된 결과에 상기 페널티 팩터를 적용하여 오른쪽 차선 추정치를 구하는 오른쪽 마스터 필터를 포함하고,
상기 페널티 팩터 블록은 상기 카메라를 통해 들어오는 신호 차이 변화, 시간 및 최소 차선폭에 따라 상기 페널티 팩터를 계산하는 차량의 차선 인식 장치.
제4항에 있어서, 상기 왼쪽 및 오른쪽 로컬 필터는 다음의 [수학식 1]을 만족하는 칼만 필터인 차량의 차선 인식 장치.
[수학식 1]

(여기에서, P는 시스템 공분산, Q와 R은 각각 프로세스 노이즈 공분산, 측정치 노이즈 공분산이며, K는 공분산을 통해 계산된 칼만 게인이고,
는 K 시점에서의 선행 추정된 시스템 공분산이고,
는 k-1 시점에서의 상태 천이 행렬이고,
는 K-1 시점에서의 시스템 공분산의 측정값이고,
는
의 전치 행렬이고,
는 K-1 시점에서의 프로세스 노이즈 공분산이고,
는 k 시점에서의 칼만 게인이고,
는 K 시점에서의 관측 행렬이고,
는
의 전치 행렬이고,
는 k 시점에서의 측정치 노이즈 공분산이고,
는 k 시점에서의 선행-추정 상태변수로서, k 시점에서의 추정 상태변수
를 추정하기 전에 선행적으로 추정한 상태변수이고,
는 k-1 시점에서의 추정 상태변수이고,
는 k 시점에서의 현재 주행중인 차선의 실제 측정값이고,
는 K 시점에서의 추정된 시스템 공분산이고,
는
의 전치 행렬이다)
제4항에 있어서, 상기 페널티 팩터는 다음의 [수학식 2]에 따라 계산되는 차량의 차선 인식 장치.
[수학식 2]

(W: 최소 차선폭
D: 최대 미인식 제어거리
V: 속도
t: 미인식/오인식 경과 시간
α: 필터 가중치)