KR101658089B1

KR101658089B1 - 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치

Info

Publication number: KR101658089B1
Application number: KR1020110077916A
Authority: KR
Inventors: 김종헌; 박영경; 이중재; 김현수; 박준오; 안드레아스 박; 디르 산드라 셰이커; 이제훈
Original assignee: 엘지전자 주식회사
Priority date: 2011-08-04
Filing date: 2011-08-04
Publication date: 2016-09-30
Also published as: KR20130015740A

Abstract

본 명세서는 차선 유지 제어 방법에 관한 것으로, 보다 상세하게는 차선 유지 제어를 위한 차선 중심 추정 방법 및 이를 이용하는 장치에 관한 것이다. 상기 방법은 카메라를 통해서 촬영된 영상으로부터 차선을 인식하는 단계, 상기 인식된 차선으로부터 좌우 차선을 추정하는 단계, 상기 추정된 좌우 차선으로부터 중심 차선을 추정하는 단계, 상기 추정된 중심 차선에 대한 잡음 성분을 제거하는 단계를 포함하는 것을 특징으로 할 수 있다.

Description

차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치{METHOD FOR ESTIMATING A CENTER LANE FOR LKAS CONTROL AND APPARATUS THREOF}

본 명세서는 차선 중심 추정 방법 관한 것으로, 보다 상세하게는 차선 유지 제어를 위한 차선 중심 추정 방법 및 이를 이용하는 장치에 관한 것이다.

차량의 능동 주행 안전 시스템은 주행 중이나 주차 중에 발생할 수 있는 사고를 각종 센서, 비전 시스템 및 레이저 시스템을 이용하여 감지한 후 운전자에게 경고하거나 차량을 제어하는 시스템으로 ESP(Electric Stability Program), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System), LDWS(Lane Departure Warning System) 등을 들 수 있다.

종횡방향 주행 안전 시스템은 기존의 자동 차간 거리 유치 장치(ACC; Adaptive Cruise Control)에 차량의 안전성 및 시스템의 신뢰성을 향상시키기 위해 여러 센서를 사용하였고 이에 횡방향 주행 안전 시스템인 차선 유지 장치(LKAS; Lane Keeping Assist System)까지 통합하는 시스템으로 발전 되고 있다.

자동 차간 거리 유지 장치(ACC)는 가속 페달과 브레이크 페달의 조작을 통해 차간 거리를 제어해 주는 시스템으로 차량 속도와 차간 거리 유지를 자동으로 조절하게 됨으로 운전자의 부담을 덜어주고 안전을 지원한다.

차선 유지 장치(LKAS)는 차선 이탈 경고 시스템을 통해 차선 이탈이 감지되면 EPS(Electric Power Steering System)를 통해 운전자의 조향 조작을 보조하여 차선 이탈을 방지하고 차선 유지를 지원하는 시스템으로 차량의 횡방향 안정성을 확보하고 있다.

그런데, 차선 유지 장치(LKAS)의 안정한 제어를 위한 중심 차선을 추정(또는 계산) 하는데 불규칙한 잡음이 발생하여 LKAS 시스템의 제어성능을 저하시키는 문제가 발생하고 있다.

따라서, 본 명세서의 목적은 차선 유지 장치의 성능 향상을 위해서 불규칙 적인 잡음을 최소화하면서 중심 차선을 구하는 방법을 제공함에 있다.

본 명세서에 개시된 일 실시예에 따른 차선 유지를 위한 차선 중심 추정 방법은 카메라를 통해서 촬영된 영상으로부터 차선을 인식하는 단계, 상기 인식된 차선으로부터 좌우 차선을 추정하는 단계, 상기 추정된 좌우 차선으로부터 중심 차선을 추정하는 단계, 상기 추정된 중심 차선에 대한 잡음 성분을 제거하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 좌우 차선을 추정하는 것은 잡음 성분을 포함하는 것을 특징으로 할 수 있고, 상기 좌우 차선을 추정하는 것은 상기 좌우 차선 상호 간의 특별한 제약 조건 없이 좌우 차선을 추정하는 것을 특징으로 할 수 있다.

상기 중심 차선을 추정하는 것은 좌우 차선 각각의 곡선 방정식의 계수에 대한 평균을 추정하여 얻어지는 것을 특징으로 할 수 있다. 상기 추정된 중심 차선에 대한 잡음을 제거하는 것은 칼만 필터(Kalman filter), 확장 칼만 필터(extended Kalman filter), 파티클 필터(particle filter) 또는 그 어떠한 조합을 이용해서 잡음을 제거하는 것을 특징으로 할 수 있다.

상기한 바와 같이 본 명세서에 개시된 일 실시예에 따른 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치에 따르면 잡음이 존재하는 좌우 차선으로부터 중심 차선을 추정하고, 추정된 중심 차선의 잡음을 추가적으로 제거함으로써 차선 유지의 성능을 최대화할 수 있는 효과가 있다.

도 1은 본 명세서에 개시된 일 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 2는 본 명세서에 개시된 일 실시예에 따른 가상 차선 및 차선 모델 파라미터를 나타낸 예시도이다.
도 3은 본 명세서에 개시된 일 실시예에 따른 차선 유지를 위한 중심 차선 추정 방법을 나타내는 순서도이다.
도 4는 본 명세서에 개시된 일 실시예에 따른 추정된 중심 차선에 추가적으로 잡음을 제거한 결과를 나타낸 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하에서는, 본 발명의 실시예에 따른 차선 인식 장치의 구성을 도 1을 참조하여 설명한다. 여기서, 도 1의 차선 인식 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.

도 1은 본 발명의 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도로서, 이에 도시한 바와 같이, 차선 인식 장치(10)는, 카메라 모듈(110), 제어부(120), 표시부(130) 및, 저장부(140)로 구성된다. 도 1에 도시한 차선 인식 장치(10)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많은 구성 요소에 의해 차선 인식 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 차선 인식 장치(10)가 구현될 수도 있다.

상기 카메라 모듈(110)은, 상기 차선 인식 장치(10)의 임의의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera)) 또는, 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 상기 차선 인식 장치(10)를 구성할 때 설정한다. 또한, 상기 카메라 모듈(110)은, 영상 촬상이 가능한 임의의 모든 카메라 모듈일 수도 있다.

또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.

또한, 상기 카메라 모듈(110)은, CCD 소자, CMOS 소자 등과 같은 이미지 센서일 수 있다.

또한, 상기 카메라 모듈(110)은, 차량에 설치되는 경우, 상기 차량의 소정 위치에 고정되어, 주행 방향의 전방, 측방, 후방 등을 촬영하고, 상기 촬영된 영상을 수신하도록 구성할 수도 있다.

상기 제어부(120)는, 상기 차선 인식 장치(10)의 전반적인 동작을 제어한다.

또한, 상기 제어부(120)는, 미리 설정된 가이드 라인(guide line)을 근거로 상기 적어도 한 쌍의 카메라에 의해 수신된 제1 영상 및 제2 영상 중 어느 하나의 영상 내에서 복수의 지지점(support point)을 추출하거나 또는, 상기 단일 카메라 에 의해 수신된 영상 내에서 복수의 지지점을 추출한다. 여기서, 상기 가이드 라인은, 해당 영상에 대해서 수평축을 기준으로 좌우 방향으로 설정되며, 복수의 가이드 라인의 수직축 간의 간격은 영상의 아래쪽에 있는 가이드 라인 간의 간격이 영상의 위쪽에 있는 가이드 라인 간의 간격보다 더 넓게 설정한다. 즉, 상기 가이드 라인은, 원본 영상(또는, 원본 이미지)의 데이터(지지점 등 포함)를 월드 좌표로 변환할 때 최대한 균일한 포인트 간격을 얻기 위해서, 영상의 아래쪽에서 위쪽으로 갈수록 가이드 라인 간의 간격을 좁게 설정한다.

또한, 상기 제어부(120)는, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는, 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 각각 변환한다. 여기서, 상기 월드 좌표로 각각 변환된 복수의 지지점들은, 수직 방향의 간격이 동일한 간격을 유지하게 되며, 이에 따라 상기 월드 좌표로 각각 변환된 복수의 지지점들 중에서 일부 에러가 있더라도, 이러한 에러를 확인하기 위한 정확도를 높일 수 있게 된다. 여기서, 상기 에러는, 실제 차선과의 오차를 의미한다.

또한, 상기 제어부(120)는, 상기 월드 좌표로 변환된 포인트들에 대해서 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 포인트들 중에서 커브에 해당하는 복수의 포인트들을 확인(또는, 추출)한다.

또한, 상기 제어부(120)는, 캘리브레이션 시간을 감소시키고 노이즈를 감소시키기 위해서, 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 트래킹(tracking)을 수행한다.

또한, 상기 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 차선의 중앙점을 추종하는 커브 정보를 계산한다. 이때, 상기 계산되는 커브 정보는, 카메라의 캘리브레이션 상태의 영향을 최소화하여, 월드 좌표 상에서의 차선 유지 성능을 향상시키는데 이용할 수 있다. 즉, 상기 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들에 대해서 최소 자승법(least square method), 랜삭(Random Sample Consensus : RANSAC), 일반 허프 변환법(general hough transform method), 스플라인(spline) 보간법 등 중 어느 하나의 방식을 적용하여 차선의 중앙점을 추종하는 커브 정보를 계산한다.

또한, 상기 제어부(120)는, 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 확인된 커브 등의 정보를 상기 수신한 원본 영상에 오버랩(overlap)하여 상기 표시부(130)에 표시한다. 즉, 상기 제어부(120)는, 월드 좌표인 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 확인된 커브 등의 정보를 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑(mapping))하고, 상기 변환된 각각의 좌표를 상기 수신한 원본 영상에 오버랩하여 상기 표시부(130)에 표시한다.

또한, 상기 제어부(120)는, 임의의 GPS 모듈(미도시)을 통해 확인되는 상기 차선 인식 장치(10)(또는, 상기 차선 인식 장치(10)가 구비된 차량)의 위치 및 상기 확인된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다.

상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.

또한, 상기 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 상기 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.

또한, 상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.

또한, 상기 차선 인식 장치(10)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 상기 차선 인식 장치(10)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

한편, 상기 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.

또한, 상기 터치 센서는, 상기 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.

또한, 상기 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 차선 인식 장치(10)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.

또한, 상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.

또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.

이와 같이, 상기 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.

상기 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface : UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface : GUI)를 저장한다.

또한, 상기 저장부(140)는, 변환 행렬(예를 들어, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 저장한다.

또한, 상기 저장부(140)는, 상기 차선 인식 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

또한, 상기 저장부(140)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory : ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.

또한, 상기 차선 인식 장치(10)는, 상기 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(미도시)를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.

또한, 상기 통신부는, 상기 차선 인식 장치(10)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.

또한, 상기 통신부는, 상기 제어부(120)의 제어에 의해 임의의 영상에 대해 추출된 복수의 지지점, 상기 복수의 지지점을 월드 좌표로 각각 변환한 포인트들, 상기 월드 좌표로 변환한 포인트들 중에서 커브에 해당하는 복수의 포인트들, 상기 커브에 해당하는 복수의 포인트들을 근거로 계산되는 차선의 중앙점을 추종하는 커브 정보 등을 상기 임의의 단말기 또는 서버에 전송한다.

또한, 상기 통신부는, 상기 임의의 단말기 또는 서버로부터 전송되는 임의의 한 쌍의 스테레오 카메라를 통해 동시에 촬영된 제1 영상 및 제2 영상을 수신한다.

또한, 상기 차선 인식 장치(10)는, 오디오 신호를 수신하기 위한 적어도 하나 이상의 마이크(미도시)를 포함하는 입력부(미도시)를 더 포함할 수 있다.

상기 마이크는, 통화 모드, 녹음 모드, 음성 인식 모드, 영상 회의 모드, 영상 통화 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호(사용자의 음성(음성 신호 또는 음성 정보) 포함)를 수신하여 전기적인 음성 데이터로 처리한다. 또한, 상기 처리된 음성 데이터는 음성 출력부(미도시)를 통해 출력하거나 또는, 상기 통신부를 통하여 외부 단말기로 송신 가능한 형태로 변환되어 출력될 수 있다. 또한, 상기 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수도 있다.

또한, 상기 입력부는, 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.

또한, 상기 입력부는, 사용자에 의해 입력된 정보에 대응하는 신호를 수신하며, 키보드(keyboard), 키 패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 상기 입력부는, 상기 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.

또한, 상기 차선 인식 장치(10)는, 상기 제어부(120)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력하는 음성 출력부(미도시)를 더 포함할 수 있다. 여기서, 상기 음성 출력부는, 스피커가 될 수도 있다.

이와 같이, 영상 내에서 차선의 후보군이 되는 지지점을 추출하여 월드 좌표로 변환하고, 상기 변환된 월드 좌표 상에서 차선을 인식하여, 카메라 정보와 월드 좌표 간의 캘리브레이션의 오차 전이에 있어서, 영상에서 직접 차선을 인식하는 방법에 비하여 누적 에러의 가능성을 줄일 수 있다.

또한, 이와 같이, 월드 좌표 상에서 인식된 차선에 대한 정보를 표시하고 이를 근거로 경고 메시지를 생성 및 출력하여, 정확성/민감성을 향상시키고 사용자의 편의를 향상시킬 수 있다.

이하에서는, 본 발명에 따른 차선 유지 제어를 위한 차선 중심 추정 방법을 도 2 내지 도 4를 참조하여 상세히 설명한다.

　　　도 2는 본 명세서에 개시된 일 실시예에 따른 가상 차선 및 차선 모델 파라미터를 나타낸 예시도이다.

차선 유지 장치(LKAS; Lane Keeping Assist System)는 차량이 현재 주행 중인 차선을 유지하며 주행할 수 있도록 조향 제어를 수행하는 ADAS(Advance Driver Assistance System) 기술이다.

차선 유지 장치(LKAS)는 크게 카메라，전자제어 장치(ECU; electronic control unit)，경보장치, 그리고 전자 조향 장치로 구성될 수 있다. 우선 자동차 앞쪽에 장착돼 있는 카메라를 통해 수집한 도로 영상은 실시간으로 영상 처리장치인 ECU로 보내진다. ECU는 도로 영상을 파악해 차선 이탈 위험이 감지되면 운전자에게 위험 상황을 알리기 위해 경보장치에 명령을 내린다.

명령을 받은 경보장치는 모니터에 위험 표시나 경고음，또는 핸들을 떨리게 하는 등 여러 가지 방법으로 운전자에게 차선 이탈 위험을 알린다. 예를 들어 보통 차량 속도가 시속 50㎞ 이상의 속도에서 약 1초 후에 차선을 이탈한다고 판단될 때 이러한 경보장치가 작동한다.

이러한 경보에도 불구하고 차량이 차선에서 벗어나면 ECU는 전동식 조향 장치가 조향 휠을 자동으로 조작해 차량이 차선의 중앙을 주행할 수 있도록 돕는다. 차선 이탈 방지 장치와 연동돼 작동하는 이 전동식 조향 장치(MDPS; Motor-Driven Power Steering)도 주행 안정성을 높여주는 장치다.

조향 제어를 위해서는 도 2에 나타낸 바와 같이 세 가지 정보, 차량으로부터 가상 중심차선의 횡방향 위치, 가상 중심 차선의 곡률 그리고 차량의 주행 방향과 가상 중심 차선 방향 사이 각을 필요로 한다. 아래 수식은 2차 다항식으로 나타낸 차량 모델의 정의에 대한 예를 나타낸 것이다..

일 예로, 미리 저장된 2차 커브 방정식(예를 들어, y=ax²+bx+c, 여기서 a는 곡률, b는 기울기(또는, 헤딩), C는 옵셋)에 대입하여, a=0이면, 직선으로 인식하고, a≠0이면, 커브로 인식한다.

다른 일 예로, 미리 저장된 3차 커브 방정식(예를 들어, y=ax³+bx²+cx+d, 여기서, a는 커브 변화율(curve derivative), b는 곡률, c는 헤딩, d는 옵셋)에 대입하여, 커브 유무를 확인한다. 이때, a가 0일 경우, 2차 방정식에서 b는 곡율, c는 헤딩, d는 옵셋을 나타내며, a와 b 모두 0일 경우는 직선 검출로서, c는 헤딩, d는 옵셋을 나타낸다.

본 명세서에서는 정확한 차선 중심 추정을 위해서 왼쪽 차선과 오른쪽 차선을 상호 간의 특별한 제약 조건을 가하지 않고 개별 추적한다. 개별 추적된 왼쪽 또는 오른쪽 차선은 n차의 곡선 방정식으로 표현 가능하며 중심 차선은 이 두 개의 n차 곡선 방정식의 계수에 대한 평균을 구함으로써 얻어질 수 있다.

본 명세서에서는 차선 유지 장치의 안정한 제어를 위해 가상 중심 차선의 기본이 되는 좌우 측 차선 검출 시 발생한 잡음을 효과적으로 제거하고자 방법을 제안하고자 한다.

도 3은 본 명세서에 개시된 일 실시예에 따른 차선 유지 제어를 위한 차선 중심 추정 방법을 나타내는 순서도 이다.

도 3에 도시된 바와 같이 차선 인식 장치(100)의 제어부(120)가 차선 유지 제어를 수행하기 위한 차선 중심 추정 방법은 차선 인식 단계(S300), 좌우 차선 추정 단계(S310), 중심 차선 추정 단계(S320), 중심 차선 잡음 제거 단계(S330)를 포함한다.

상기 좌우 차선 인식 단계(S300)에서는 차선 인식 장치(10)의 제어부(120)가 카메라 모듈(110)의 카메라 또는 전방 카메라(Forward Looking Camera)를 이용해서 차량 전방의 영상을 획득하고, 상기 획득된 영상으로부터 차선을 인식한다.

상기 좌우 차선 추정 단계(S310)에서 상기 제어부(120)는 상기 차선 인식 단계(S300)에서 인식된 차선을 정확한 차선 중심 추정을 위해서 왼쪽 차선과 오른쪽 차선을 상호 간의 특별한 제약 조건을 가하지 않고 개별 추적한다. 개별 추적된 왼쪽 또는 오른쪽 차선은 n차의 곡선 방정식으로 표현 가능하다.

상기 중심 차선 추정 단계(S320)에서 상기 제어부(120)는 상기 차선 추정 단계(S310)에서 개별 추적되어 추정된 왼쪽 또는 오른쪽 차선의 n차 곡선 방정식의 계수에 대한 평균을 구함으로써 중심 차선을 추정(또는 계산)할 수 있다.

여기서 중심 차선 추정은 평행 조건, 일정한 차선 간격 조건 등의 제약 조건들을 가해 진행 차선의 왼쪽 및 오른쪽 차선을 추정하고 이로부터 간단하게 중심 차선을 추정할 수 있다. 이 경우 상기의 제약 조건에 맞지 않는 차선에서는 차선 중심 추정이 어려우며, 추정 또는 추정이 되었다 하더라도 도로 조건에 따라 불규칙한 잡음을 지닐 수 있다.

상기 중심 차선 잡음 제거 단계(S330)에서 상기 제어부(120)는 상기 중심 차선 추정 단계(S320)에서 추정된 중심 차선에 추가적으로 필터링 기법을 적용해서 중심 차선에 포함되어 있는 추가적인 잡음을 제거할 수 있다. 여기서 잡음 제거 기법은 칼만 필터(Kalman filter), 확장 칼만 필터(extended Kalman filter), 파티클 필터(particle filter) 또는 그 어떠한 조합을 이용해서 잡음을 제거하는 할 수 있다.

칼만 필터는 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀 필터이다. 칼만 필터는 물체의 측정값에 확률적인 오차가 포함되고, 또한 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우에 적용이 가능하다.

예를 들어 레이더 추적의 경우 특정 물체의 위치, 속도, 가속도 등을 측정 할 수 있지만 이 측정값에 오차가 포함되어 있을 수 있다. 이 경우, 연속적으로 측정하는 값들을 칼만 필터를 이용해서 해당 물체의 위치를 추정할 수 있다. 칼만 필터는 이산 시간 선형 동적 시스템을 기반으로 동작하며, 각 시간에서의 상태 벡터는 이전 시간의 벡터들에 대해서만 관계된다.

칼만 필터는 재귀적으로 동작한다. 즉 칼만 필터는 바로 이전 시간에 추정한 값을 토대로 해서 현재의 값을 추정하며, 또한 바로 이전 시간 외의 측정값이나 추정값은 사용되지 않는다. 각 추정 계산은 두 단계로 이루어지며, 먼저 이전 시간에 추정된 상태에 대해, 그 상태에서 사용자 압력을 가했을 때 예상되는 상태를 계산한다. 이 단계는 예측(prediction) 단계라고 한다. 그 다음, 앞서 계산된 예측 상태와 실제로 측정된 상태를 토대로 정확한 상태를 계산한다. 이 단계는 보정(Udate) 단계라 부른다.

그런데, 칼만 필터에서는 기본적으로 모델의 선형성을 가정하고 있지만, 실제적으로는 많은 모델이 비선형 구조를 가지고 있다. 이런 경우 칼만 필터를 그대로 근사화해서 적용하면 그리 좋지 않은 결과를 얻을 수 있다. 이러한 경우 칼만 필터를 수정해 비선형에도 사용할 수 있도록 한 필터 확장 칼만 필터가 사용된다.

확장 칼만 필터에서는 칼만 필터의 선형성 가정을 완화시켜, 더 일반적인 시스템에 대해서도 사용 가능하도록 확장했다. 이 필터는 네비게이션이나 GPS와 같은 비선형 상태 추정에 주로 사용되고 있다. 확장 칼만 필터에서는 모델의 선형성 가정 대신, 상태 변화 함수의 미분 가능성을 가정한다.

한편, 이동 물체 추적에 있어서 실제 이동 물체 추적 시스템에 주로 쓰이는 추적 필터는 칼만 필터가 있는데 이는 선형/가우시안 잡음 시스템에서 최적으로 알려져 있다. 칼만 필터는 사태 변수 추정을 위한 사후 분포가 해석적으로 구할 수 있다는 장점이 있다.

하지만 실제 시스템이 비선형이거나 부가되는 잡음이 가우시안이 아닐 경우 칼만 필터처럼 사후 분포를 해석적으로 구하기가 어려워진다. 이러한 선형 시스템의 칼만 필터와 달리 비선형 시스템에 대해서는 아직까지 최적 필터가 존재하지 않으며 다양한 준 최적 필터는 존재한다.

대표적인 필터로는 시스템 모델에 강제적인 선형화를 요구하는 확장 칼만 필터, 다중 모델 필터, 샘플링 이론으로 접근한 필터 등이 존재한다. 최근에 컴퓨터 연산 처리속도와 처리량이 급격히 증가하게 되면서 비선형 시스템 추정에 있어서 샘플링 이론으로 접근한 UKF(unscented Kalman filter), 파티클 필터(particle filter) 등이 활발하게 연구되고 있다.

특히, 파티클 필터는 대표적인 추적 필터인 칼만 필터와 달리 사후 분포를 해석적으로 구하는 것이 아니라 상태 변수를 대표할 수 있는 다수의 파티클과 각 파티클이 가지는 가중치(weight)를 통하여 표현하고 있다. 최근 파티클 필터에 의한 이동 객체 추적 방법이 복잡한 환경 속에서 움직이는 객체를 추적하는데 효과적이라고 알려져 있으며, 현재 이동 객체 추적 분야에서 많이 쓰이고 있다.

　　　 도 4는 본 명세서에 개시된 일 실시예에 따른 잡음 제거를 통한 차선 유지 제어를 위한 차선 중심 추정 방법의 결과를 나타낸 예시도이다. 도 4는 도 3의 상기 중심 차선 잡음 제거 단계를 적용하기 전(점선)과 적용 후(실선)의 중심 곡률 추정 결과를 나타내고 있다.

10: 차선 인식 장치
110: 카메라 모듈
120: 제어부
130: 표시부
140: 저장부

Claims

카메라를 통해서 촬영된 영상을 출력하는 단계;
미리 설정된 수평 가이드라인을 기준으로, 상기 촬영된 영상 내에서 복수의 지지점을 추출하고, 추출된 복수의 지지점을 월드 변환한 것을 이용하여 영상 내의 차선을 인식하는 단계;
상기 인식된 차선으로부터 좌우 차선을 개별 추적하는 단계;
상기 개별 추적된 좌우 차선으로부터 중심 차선을 추정하는 단계;
상기 추정된 중심 차선에 대한 잡음 성분을 제거하는 단계;
상기 추정된 중심 차선을 추종하는 커브 정보를 생성하는 단계;
생성된 커브 정보를 상기 촬영된 영상에 오버랩하여 표시하는 단계; 및
GPS 모듈에 의해 확인되는 현재 위치와 상기 표시된 커브 정보에 근거하여 차선 유지와 관련된 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 차선 중심 추정 방법.
제 1항에 있어서,
상기 좌우 차선을 개별 추적하는 것은 잡음 성분을 포함하는 것을 특징으로 하는 차선 중심 추정 방법.
제 1항에 있어서,
상기 좌우 차선을 개별 추적하는 것은 상기 좌우 차선 상호 간의 특별한 제약 조건 없이 좌우 차선을 개별 추적하는 것을 특징으로 하는 차선 중심 추정 방법.
제 1항에 있어서,
상기 중심 차선을 추정하는 것은 좌우 차선 각각의 곡선 방정식의 계수에 대한 평균을 추정하여 얻어지는 것을 특징으로 하는 차선 중심 추정 방법.
제 1항에 있어서.
상기 추정된 중심 차선에 대한 잡음을 제거하는 것은 칼만 필터(Kalman filter), 확장 칼만 필터(extended Kalman filter), 파티클 필터(particle filter) 또는 그 어떠한 조합을 이용해서 잡음을 제거하는 것을 특징으로 하는 차선 중심 추정 방법.
카메라를 통해서 영상을 촬영하는 카메라 모듈;
상기 촬영된 영상내에서 미리 설정된 수평 가이드라인을 기준으로 복수의 지지점을 추출하고, 추출된 복수의 지지점을 월드 변환한 것을 이용하여 영상내의 차선을 인식하고, 상기 인식된 차선으로부터 좌우 차선을 개별 추적하고, 상기 개별 추적된 좌우 차선으로부터 중심 차선을 추정하며, 상기 추정된 중심 차선에 대한 잡음 성분을 제거하는 제어부;및
상기 촬영된 영상을 출력하고, 상기 추정된 중심 차선을 추종하는 커브 정보를 상기 촬영된 영상에 오버랩하여 표시하는 표시부; 를 포함하고,
상기 제어부는,
GPS 모듈에 의해 확인되는 현재 위치와 상기 표시된 커브 정보에 근거하여 차선 유지와 관련된 기능을 더 수행하는 것을 특징으로 하는 차선 중심 추정 장치.
제 6항에 있어서,
상기 좌우 차선을 개별 추적하는 것은 잡음 성분을 포함하는 것을 특징으로 하는 차선 중심 추정 장치.
제 6항에 있어서,
상기 좌우 차선을 개별 추적하는 것은 상기 좌우 차선 상호 간의 특별한 제약 조건 없이 좌우 차선을 개별 추적하는 것을 특징으로 하는 차선 중심 추정 장치.
제 6항에 있어서,
상기 중심 차선을 추정하는 것은 좌우 차선 각각의 곡선 방정식의 계수에 대한 평균을 추정하여 얻어지는 것을 특징으로 하는 차선 중심 추정 장치.
제 6항에 있어서.
상기 추정된 중심 차선에 대한 잡음을 제거하는 것은 칼만 필터(Kalman filter), 확장 칼만 필터(extended Kalman filter), 파티클 필터(particle filter) 또는 그 어떠한 조합을 이용해서 잡음을 제거하는 것을 특징으로 하는 차선 중심 추정 장치.