KR101295077B1 - 다양한 도로 상황에서의 차선 검출 및 추적 장치 - Google Patents

Abstract

본 발명은 다양한 도로 상황에서 차선을 검출하고 추적하는 장치에 관한 것으로, 더욱 상세하게는 영상처리, 영상인식 기술을 이용한 차선이탈방지, 차선유지, 차량추돌 방지를 지원하는 방안에 관한 것이다.
이를 위해 본 발명의 차선 검출 및 추적 장치는 카메라로부터 수신된 영상 프레임을 제공하는 영상 인터페이스부, 상기 영상 인터페이스부로부터 제공받은 영상을 이용하여 예비 차선 후보를 추출하고, 추출한 예비 차선 후보 중 이전 프레임에서 결정된 최종 차선의 로드 모델과의 차이가 문턱값 이하인 예비 차선을 결정하는 차선 검지/정합 수행부, 상기 차선 검지/정합 수행부에서 결정한 예비 차선에 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행자량이 위치에 따라 상대적인 차선의 위치 정보를 업데이트하는 차선 추적부, 상기 차선 추적부에서 업데이트한 차선 정보와 기 저장된 차선 정보를 비교하여 차선 이탈 여부를 결정하는 경보 발생부를 포함한다.

Description

다양한 도로 상황에서의 차선 검출 및 추적 장치{Lane Departure Warning System}

본 발명은 다양한 도로 상황에서 차선을 검출하고 추적하는 장치에 관한 것으로, 더욱 상세하게는 영상처리, 영상인식 기술을 이용한 차선이탈방지, 차선유지, 차량추돌 방지를 지원하는 방안에 관한 것이다.

실제의 도로는 도로의 규격상 좌측, 우측에 2개의 실선 또는 점선으로 구성되며, 두 개의 선이 일정한 간격을 가지는 몇 개의 차선으로 구성되는 형태를 가진다.

일반적으로 ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로서, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다.

이러한 차량의 안전도를 향상시키기 위한 구성의 하나로 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System)은 차량에 부착된 카메라로부터 전방도로의 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.

상기 차선 이탈 경보 시스템은 자동차 전방의 영상신호를 분석하여 차량이 차선을 벗어났는지를 판단하는 차선 검출 장치와 이 차선 검출 장치의 분석 결과 차량이 차선을 벗어나면 그 사실을 운전자에게 경고하는 경고 장치를 포함한다.

일반적인 차량용 차선 이탈 경보 장치는 차량의 전방에 설치되어 전방주행 영상을 입력받아 차선 인식을 위한 영상처리를 수행한 후 상기 인식된 차선을 기반으로 차선의 폭, 차선의 곡률반경, 차선 횡단시간 등의 다양한 변수를 고려한 후 차량의 차선 이탈 여부를 판단하고 상기 판단 결과에 따라 운전자에게 차선 이탈 경보 및 상황을 출력한다.

종래기술은 차선을 검출하고 추적함에 있어 개별적인 차선의 검출 방법과 검출된 차선에 대한 인식 결과를 영상에 맞추어 배치(정합)하기 위한 기술개발이 대부분이다. 상기와 같은 차선검출 및 추적 기술은 좌측 차선과 우측의 차선을 개별적으로 인식하여 인식 결과를 개별적으로 좌측의 차선과 우측의 차선에 독립적으로 정합하는 방식을 사용함으로써 차선 설계 규격에 대한 요소(로드모델: Road Model)를 반영하지 않는 문제점이 있었다.

이는 좌측 또는 우측 차선의 도로설계 규격을 고려하지 않은 상태에서 독립적으로 차선 인식을 수행함으로써 인식된 좌, 우측 두 개의 차선이 실제의 도로 규격과 부합하지 않은 검지결과를 도출할 수 있다. 또는 좌측 또는 우측의 차선이 도로손상 등의 다양한 이유로 정확히 검지되지 않는 경우 해당 좌, 우측 차선의 누적정보(Cumulated History)만을 이용하여 해당 좌, 우측 차선 위치에 대한 예측을 수행함으로써 예측된 차선의 위치정보가 부정확하거나 또는 이를 예측하는데 있어 과도한 연산이 소모된다는 문제점이 있다.

부가하여 이러한 누적정보를 이용하여 차선 정보를 예측하는 경우 운행 중 발생하는 다양한 차선의 변화 상황, 즉, Bridge의 발생 등의 경우에 즉각적으로 대응이 어렵다는 문제가 있으며 현재 운행중인 차량이 차선을 변경하는 경우에도 즉각적인 감지 및 대응이 어렵다는 문제점이 있다

또한 종래의 차선검출 및 추적 기술은 점선형태로 표시된 차선(국내의 경우 차선 변경 허용차선)의 경우에 있어 효과적인 인식결과를 도출하기 어려운 문제가 있다.

또한 기존의 방식은 도 1에 도시되어 있는 바와 같이 차선을 단순직선 형태로 모델링 하거나, 근거리 영역(Near Field)과 원거리 영역(Far Field)을 단순 구분하여 차선검출 및 추적을 수행하는 방식으로 근거리 영역에서 차선이 나타나지 않거나, 매우 작은 영역만이 표시됨으로써 차선검지의 시발점이 되는 근거리 영역에서 차선 검지가 불가능하게 되는 문제점이 있다.

또한, 종래기술은 도로의 연결, 구조물 등으로 인한 차선정보의 미표시, 가변 등이 발생되는 경우 대응 방안이 없다. 종래기술은 센서를 통해 입력된 이미지 정보로부터 좌, 우측의 차선 표시가 명확한 직선 또는 곡선 차선 정보만을 추출하고 인식이 가능하여 주행차량이 양 차선이 표시되지 않는 교차로(십자형 교차로, T-형 교차로, 다분기 교차로), 로터리, 도류화(道流化) 등과 같은 도로의 연결 부분을 주행하는 경우는 이전 영상 정보에서 검지된 차선의 누적 정보를 이용하여 차선 인식 결과를 유지하는 방법을 활용하였다. 따라서, 상술한 방법은 주행차량이 교차로, 로타리, 도류화 지점에서 회전, 차선변경을 수행하거나 차선이 표시되지 않는 개활지, 비포장로, 주차장 등에 진입하는 경우에도 누적정보에 의한 차선정보를 유지함으로써 오경보 등이 발생할 수 있는 문제점이 있다.

본 발명이 해결하려는 과제는 카메라와 같은 어떠한 형태의 영상정보 출력이 가능한 센서를 기반으로 하여 GPS, GIS정보를 보조적으로 이용함으로써 차선검지, 추적을 수행하는데 있어 정밀하게 도로상의 차선을 검지하는 방안을 제안함에 있다.

본 발명이 해결하려는 다른 과제는 차선의 일부 정보가 도로의 훼손, 그림자, 상대 차량에 의한 가림(Occlusion)등이 발생하는 다양한 도로 상황과 교차로 등의 상황에서도 적은 연산량으로 효과적인 차선인식 및 추적을 끊김 없이 수행하는 방안을 제안함에 있다.

본 발명이 해결하려는 또 다른 과제는 주행상에 발생되는 차량의 차선이탈이 발생되는 경우, 즉각적인 검지 및 경보의 출력이 가능하도록 하는 차선이탈경보(LDW) 시스템을 구현하는 방안을 제안함에 있다.

또한 본 발명이 해결하려는 또 다른 과제는 차선인식 과정을 통해 현재 주행 중인 차선의 정보를 획득함으로써 검지영역내 동일 주행차선을 주행하고 있는 차량에 대한 충돌방지 경보를 즉각 출력할 수 있도록 연산 로직을 구현하는 방안을 제안함에 있다.

이를 위해 본 발명의 차선 검출 및 추적 장치는 카메라로부터 수신된 영상 프레임을 제공하는 영상 인터페이스부, 상기 영상 인터페이스부로부터 제공받은 영상을 이용하여 예비 차선 후보를 추출하고, 추출한 예비 차선 후보 중 이전 프레임에서 결정된 최종 차선의 로드 모델과의 차이가 문턱값 이하인 예비 차선을 결정하는 차선 검지/정합 수행부, 상기 차선 검지/정합 수행부에서 결정한 예비 차선에 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행자량이 위치에 따라 상대적인 차선의 위치 정보를 업데이트하는 차선 추적부, 상기 차선 추적부에서 업데이트한 차선 정보와 기 저장된 차선 정보를 비교하여 차선 이탈 여부를 결정하는 경보 발생부를 포함한다.

이를 위해 본 발명의 차선 검출 및 추적 장치는 카메라로부터 수신된 영상 프레임을 제공하는 영상 인터페이스부, 위치 정보를 제공하는 위치 정보 제공부, 상기 영상 인터페이스부로부터 제공받은 영상과 상기 위치 정보 제공부로부터 제공받은 위치 정보를 이용하여 예비 차선 후보를 추출하고, 추출한 예비 차선 후보 중 이전 프레임에서 결정된 최종 차선의 로드 모델과의 차이가 문턱값 이하인 예비 차선을 결정하는 차선 검지/정합 수행부, 상기 차선 검지/정합 수행부에서 이전 프레임에서 추출된 예비 차선 후보에 대해 역투영을 수행하는 역투영 수행부, 상기 차선 검지/정합 수행부에서 결정한 예비 차선에 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행자량이 위치에 따라 상대적인 차선의 위치 정보를 업데이트하는 차선 추적부, 상기 차선 추적부에서 업데이트한 차선 정보와 기 저장된 차선 정보를 비교하여 차선 이탈 여부를 결정하는 경보 발생부를 포함한다.

본 발명은 기존의 차선인식 시스템 또는 차선이탈방지 시스템에서 다양한 도로 상황, 주변차량, 환경상황에 따라 불완전한 차선인식과 이탈경보가 발생되는 문제점을 적은 연산량만으로 해결할 수 있다. 또한 본 발명은 GIS, GPS와 연동하여 주행차량의 현재 위치를 지속적으로 모니터링 함으로써 교차로, T-형 연결도로 등에서 나타날 수 있는 시스템의 오경보 등의 문제점을 해결할 수 있는 효과가 있다.

도 1은 종래 차선 모델링 및 정합 예를 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 차선 검출 및 추적 장치의 장착 예를 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 차선 검출 및 추적 장치의 구성을 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 차선 검지를 위해 전체 영역을 중복된 3개의 영역으로 구분한 예를 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 로드모델에 따라 반대편의 차선의 위치를 예측하고, 이에 기반하여 상기 직선 로드모델에 따라 에러값을 비교하는 예를 도시하고 있다.
도 6은 본 발명에 일실시 예에 따른 각도 정보 추출부에서 각도를 추출하는 예를 도시하고 있다.
도 7은 제1 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다.
도 8은 제2 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다.
도 9는 제3 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다.
도 10은 본 발명의 일실시 예에 따른 로드모델을 도시하고 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 2는 본 발명의 일실시 예에 따른 차선 검출 및 추적 장치의 장착 예를 도시하고 있다. 도 2에 도시되어 있는 바와 같이 차선 검출 및 추적 장치는 차량의 전면 및 후면의 유리에 장착될 수 있다. 물론 상술한 지점 이외에 다른 지점에 장착될 수 있음은 자명하다.

도 3은 본 발명의 일실시 예에 따른 차선 검출 및 추적 장치의 구성을 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 차선 검출 및 추적 장치의 구성에 대해 상세하게 알아보기로 한다.

도 3에 의하면, 차선 검출 및 추적 장치는 영상 인터페이스부, 위치정보 제공부, 차선검지/정합 수행부, 역투영 수행부, 경보부를 포함한다. 물론 상술한 구성 이외에 다른 구성이 차선 검출 및 추적 장치에 포함될 수 있음은 자명하다

영상 인터페이스부(300)는 카메라 등과 같은 영상입력장치를 통해 획득된 영상을 역투영 수행부(302) 또는 차선검지/정합 수행부(304)로 전달한다.

역투영 수행부(302)는 차선검지/정합 수행부(304)에서 추출된 예비 차선 후보에 대해 역 투영을 수행함으로써 이후 차선 정합 과정에서 정합에 사용되는 로드모델(Road Model)과 대응되는 좌표계로 투영을 수행한다.

차선 검지/정합 수행부(304)는 카메라 인터페이스부(300)로부터 제공받은 이미지로부터 예비 차선 후보를 추출하고, 추출한 차선 후보와 이전 프레임의 최종 차선 인식 결과로부터 구성된 로드모델과의 비교를 수행하여 그 차이가 문턱값(Threshold) 이내인 경우 최종 인식된 차선으로 확정하는 차선정합을 수행한다.

차선검지/정합 수행부(304)에서의 차선 인식은 차선이 점선형태로 존재하는 구간 및 다양한 환경조건에서도 안정적으로 차선을 검지하기 위해 근거리 영역(Near Field), 중거리 영역(Inter Field), 원거리 영역(Far Field)의 3단계 검지영역을 구분하며, 인접하는 각 영역은 일정 부분에서 서로 중복된 형태를 갖는다. 차선검지/정합 수행부(304)는 각 영역내에서 차선 후보를 검지하며, 만일 도로상황, 음영, 주변차량 등의 다양한 환경적인 이유에 의해 좌, 우측 차선중 하나에 대한 인식이 불가능할 경우(즉, 이전 Frame의 차선 ROI 영역 내에 검지되는 차선이 존재하지 않을 경우) 반대편의 차선정보를 기반으로 하여 이전 프레임에서 차선 추적부(308)를 통해 획득된 로드모델 정보를 이용하여 가상의 차선 인식 결과를 구성한다.

차량의 현재 진행 위치는 위치 정보 제공부로부터 차선 검지/정합 수행부(304)로 입력되는 GPS 및 GIS정보를 통해 현재 위치상에서의 도로 구조 정보를 획득하며, 만일 현재 운행 중인 차량에 장착된 영상센서의 Near Field 또는 Inter Field 검지 영역에 교차로, 로타리, 도류화 지점 등이 존재하는 경우 기존의 차선인식 정보를 유지하거나 상술한 조건의 도로를 벗어날 때까지 일정기간 차선인식 및 추적 과정을 중지한다. GPS 및 GIS정보를 통해 상술한 조건의 도로인 교차로, 로타리, 도류화 지점 등을 벗어날 것으로 확인되면 차선 검지/정합 수행부(304)는 새로운 차선 정보를 검지하고 상술한 일련의 과정을 수행한다. 이를 위해 본 발명은 GPS 또는 GIS 정보를 제공하는 위치 정보 제공부를 포함한다.

차선추적 수행부(308)는 차선 검지/정합 수행부(304)를 통해 검지된 차선에 따른 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행차량의 위치에 따른 상대적인 차선의 위치 등의 정보를 업데이트 한다. 차선 표시부는 카메라를 통해 입력된 이미지 상에 검지된 차선 정보에 따라 인식결과를 표현한다.

경보 발생부(310)는 차선 추적부(308)를 통해 추출된 차선의 위치 정보와 상기 시스템이 장착과정에서 기 입력된 주행차량의 차폭정보를 이용하여 주행 차량의 차선 이탈 여부를 결정한다. 경보 발생부(310)는 주행 차량이 차선을 이탈한 것으로 판단되면 경보를 발생한다.

이하에서는 상술한 차선 검출 및 추적 장치에 대해 좀 더 구체적으로 알아보기로 한다.

영상 인터페이스부(300)는 규격화된 카메라용 직렬 혹은 병렬 인터페이스 방식을 사용하여 영상센서로부터 출력되는 데이터를 차선검지/정합 수행부(304)로 전달한다.

역투영 수행부(304)는 영상에 투영된 현실 세계의 도로 이미지를 다시 현실 세계 좌표에 맞추어 역 투영(Inverse Projection)하여 원 도로 이미지를 복구하여 도로 모델(Road Model)을 구성한다. 차선 검지/정합 수행부(304)는 변환 매트릭스(Transform matrix)에 해당 값을 적용하여 변환하기 위해 먼저 카메라 캘리브레이션(Camera Calibration)으로 통칭되는 과정을 수행함으로써 역 투시 정합(Inverse Perspective Projection)을 위한 주요 파라미터를 도출한다.

일반적으로 영상센서를 통해 획득되는 현실 세계의 영상은 도 3과 같이 투시 정합에 의해 화면상에 표시된다.

도 4는 레인 모델(Lane model)이 이미지상에 투영되었을 경우를 도시하고 있다. 도 4에서 X-Y-Z는 실제 세계 좌표, x'-y'-z'는 카메라 좌표, X-Y는 도로 평면 좌표(road plane coordinates)를 의미하며 u-v는 이미지 좌표(image coordinate)를 의미한다.

이때 실제 세계 좌표(X-Y-Z)와 이미지 좌표와의 관계는 하기 수학식 1과 같이 표시될 수 있다.

상기 수학식 1의 매트릭스에서 s는 임의의 스케일 팩터(Scale factor)를 의미하며, α와 β는 영상 u, v축 상의 scale factor를 의미하며, γ는 영상의 스큐(skew), R은 현실 세계 좌표와 이미지 좌표간의 회전차를 나타내며, 그리고 T는 이동 매트릭스(Translation matrix)를 의미한다.

차선 검지/정합 수행부(304)는 영상 인터페이스부(300)로부터 전달된 투영된 영상 정보와 GIS/GPS를 통한 위치 정보를 이용하여 주행차량의 차선 위치 후보를 도로상에서 검지하는 역할을 수행한다.

앞서 기술된 바와 같이 GIS/GPS정보를 통해 현재 차량이 주행하고 있는 도로의 개략적인 상황을 인지 가능하므로 차선 검지/정합 수행부(304)의 초기 동작은 최초의 차선검지 동작 시점에서 GIS/GPS정보를 통해 현재 차량이 적절하게 직선, 또는 도로법상에서 정의된 범위의 곡률을 가지고 있는 도로상에 위치되어 있는 것으로 확인되는 경우에 차선인식의 동작을 수행함이 바람직하다.

따라서 만일 상기 단계에서 차량이 교차로 등을 통과하고 있으며 또한 차선인식 및 추적시스템이 최초의 차선인식을 시작하는 과정일 경우 차선인식 및 추적 시스템의 동작은 GPS/GIS 정보에 기반하여 차량이 교차로 등의 지점을 통과하는 시점까지 지연된다.

만일 상술한 과정에서 차량이 교차로 등을 통과하고 있으며 또한 차선인식 및 추적시스템이 이미 차선인식을 진행하고 있는 상황일 경우 차선인식 및 추적 시스템은 GPS/GIS 정보에 기반하여 차량이 교차로 등의 지점을 통과하는 시점까지 기존의 정보를 유지한다.

이하에서는 차선 검지/정합 수행부(304)의 동작에 대해 상세하게 알아보기로 한다.

차선검지/정합 수행부(304)는 먼저 전체 영역에 대한 에지(Edge) 정보를 추출하는 단계를 수행한다. 상술한 단계는 입력되는 전체 도로영상으로부터 Canny, Soble 등과 같은 통상적인 에지 필터를 사용하여 에지 정보를 추출한다. 상기의 과정을 통해 추출된 에지 정보는 차선정보 필터링 단계로 정보를 입력하기 위해 먼저 문턱값(Threshold) 기반의 필터링 과정을 거친다.

문턱값은 실험치에 의해 임의로 정해진 값을 사용하거나(Hard-Decision) 혹은 상기 필터링의 과정에서 추출되는 각 에지 성분의 크기 값을 기반으로 한 적응적인 값을 적용하는 방식(

: α는 실험치로 결정되는 값)으로 결정할 수 있다.

하기 수학식2는 문턱값 기반의 필터링 과정을 나타내고 있다.

(

: 문턱값)

(

: Mean Magnitudes)

이후 도 5에 도시되어 있는 바와 같이 차선 검지를 위해 전체 영역을 제1, 제2, 제3의 중복된 3개의 영역으로 구분하여 각 영역에 대한 차선 정보를 추출한다.

이때 제2 영역은 제 1영역과 제3영역이 중복된 위치에 존재하며 제1영역에서 차선검지가 다양한 상황적 조건에 의해 이루어지지 않을 경우 차선 검지를 수행하거나, 보다 정밀하게 제3영역에서 검지되는 차선 후보의 관심영역(ROI : Region Of Interest)을 제한하기 위한 용도로 사용된다.

제 1 영역에 대한 차선 추출 단계는 차선 정보 필터링 단계와 차선 후보 추출단계의 2단계로 구분될 수 있다. 필터링 단계는 먼저 전체 영상에 대해 수행된 에지 필터의 결과로부터 이전프레임에서 추출된 영상정보의 각도성분분포에 대한 정보 없이 통상적인 에지의 각도분포를 추출 가능한 EDF(Edge Distribution Function) 또는 Gabor Wavelet, Steerable과 같은 필터를 사용하여 전체 영상 내에서 어떠한 각도를 가지는 에지 이미지가 가장 많이 존재하는지를 검지한다.

필터링 단계에서 검출되는 에지 이미지의 각도는 통상적인 법령상의 도로곡률상의 범위 내에 존재하여야 하며 상기 각도분포의 추출과정에서 실험적인 추출과정에 의해 결정되는 문턱값 이하의 크기를 갖는 각도분포가 존재하는 경우 이를 배제한다. 또한 문턱값 이상의 크기를 갖는 각도 분포 중 두 개의 값을 선정하여 제 1영역의 차선정보 추출을 위한 후보로 선정한다.

제 1영역 후보 추출단계는 상기의 차선정보 추출을 위한 후보들에 대해 통상적으로 직선 성분의 추출에 사용되는 하프 변환(Hough Transform)을 적용하여 좌측차선과 우측 차선에 해당하는 직선 성분을 추출한다. 추출된 좌, 우측 차선에 해당하는 직선 후보는 모든 좌측 및 우측 후보쌍에 대해 먼저 역 투시 정합을 수행한 후 하기 수학식 3인 직선 로드모델(Load Model)에 기반하여 상기 직선 로드모델과 좌측 및 우측 차선 후보 쌍들과의 에러값을 비교하여 에러값이 최소가 되는 후보쌍을 선택한다.

상기 추출된 하프 변환의 결과에서 좌측과 우측의 차선을 각각 구분하여 추출하지 못하였을 경우(즉, 좌측 또는 우측의 차선만을 검지하였을 경우)는 검지된 하나의 차선을 기준으로 차선추적부에서 기 정의된 파라미터를 이용하여 도 6과 같은 로드모델에 따라 반대편의 차선의 위치를 예측하고, 이에 기반하여 상기 직선 로드모델에 따라 에러값을 비교한다.

상기 검지된 직선을 기준으로 한 좌, 우측의

영역은 앞서 전체시스템에서 검지부에서 최종 직선으로 확정 되었을 시 ROI(Region Of Interest)로 선정되며, 현재 영상 이후의 입력영상에 대해서는 상기 정의된 이전 프레임의 ROI를 기준으로 하여 상기의 영역 내에서만 차선인식을 수행한다.

도 7은 제1 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다. 제 1영역에서 올바른 차선 검지가 수행되지 못하였을 경우 제 1영역의 차선 검지 결과는 이하 기술되는 제 2영역에서의 차선 검지 결과를 이용하여 제 2영역에서 검지된 차선을 제 1영역으로 확대함으로써 검지 결과를 도출할 수 있다.

제 2영역에서 차선을 검지하는 과정은 제 1영역에서 차선을 검지하는 과정과 동일한 방식으로 구동된다.

제 2영역에서의 검지 과정에서 발생된 후보 영역은 제 1영역에서 검지된 직선과의 연계성을 최종 차선 후보 판단을 위한 추가적인 고려사항으로 하고, 상기 1영역에서 기술한 방식과 같은 직선 로드모델에 기반하여 그 에러값을 비교하여 타당성을 검토하여 최종 제 2영역에서의 차선 인식을 수행한다. 상기 제 2영역에서의 2개 차선 추출의 오류 등으로 인하여 발생되는 과정은 상기 기술한 제 1영역에서의 과정과 동일하다.

도 8은 제2 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다. 만일 상기 제 2영역에서 올바른 차선 검지가 수행되지 않았을 경우 상기 제 1영역에서의 차선검지 불량시의 대응 방법과 같이 제 1영역에서의 차선검지 결과를 이용하여 제2영역의 차선검지 결과를 예측한다.

제 3영역에 대한 차선 검출 과정은 굽은 차선에 대응하기 위해 2차원 곡선의 형태로 모델링을 수행한다. 상기 2차원 곡선의 모델링은 상기 제 2영역에서 추출된 차선의 각도를 기준으로 좌측으로 기울어진 경우 우측차선을 기준으로, 우측으로 기울어진 경우 좌측차선을 기준으로 ROI를 설정하고 해당 차선 부분에 대한 차선 검지를 먼저 수행한다. 도 9는 제3 영역에서 차선 검지에 따른 ROI를 설정하는 예를 도시하고 있다.

상기 차선의 검지 방법은 해당 ROI영역 내의 필터링된 픽셀들에 대하여 Jung&Kelber에 의해 제안된 모델링 방식에 의해 차선에 대한 모델링을 수행한다.

두 개의 차선 영역은 제1영역과 제3영역을 기준으로 검지가 수행되며, 각 검지영역에서 검지되는 각 개별 차선의 모델은 다음과 같은 수학식 4를 통하여 모델링 될 수 있다.

이때 상기의 제1 영역과 제 3영역이 연결되는 부분(

)의 연계성과 미분점의 연계성 두 가지 요소를 고려하면 수학식 4는 수학식 5와 같이 정리될 수 있다.

상기 제 1영역에서 위 식의 a, b를 구할 수 있으므로 d는 다음의 수학식 6을 만족하는 값으로 결정된다.

상술한 과정은 반대편의 차선에 대해서도 동일하게 적용된다.

최종 선정된 좌, 우측의 차선은 제 1영역의 예와 동일하게 역 정합 투영을 수행하면 w 크기의 차선폭을 가지고 곡률 R을 가지는 도 9와 같은 로드모델과 매칭 될 수 있다.

도 10의 로드모델에 기반하여 검지된 제 3영역의 두 개의 차선은 그 에러값을 비교하여 에러값이 최소화되는 쌍을 선택한다. 로드모델에서 w는 제1영역 검지의 결과로 추출되는 w값과 동일하다.

만일 상기 추출된 차선의 결과에 기반하여 계산된 오차값(

)이 실험의 결과로 도출된 문턱값(

)의 범주를 벗어나는 경우 상기 단계는 검지된 두 개의 차선 중 하나의 차선을 기준으로 차선추적부에서 기 정의된 파라미터를 이용하여 도 7의 로드모델에 따라 반대편의 차선의 위치를 예측하고, 이에 기반하여 상기 로드모델에 따라 에러값을 각각 비교하여 그 값이 최소가 되는 차선 정보를 최종 정합된 차선으로 결정한다.

차선 추적부(308)는 검지된 차선에 따른 현 도로의 모델 정보인 차선 폭(w), 제1 및 제 2 영역별 ROI, 주행차량 위치에 따른 차선의 위치(

) 등의 정보를 업데이트하는 기능을 담당하며, 또한 주행 차량의 위치가 GIS/GPS에 의해 교차로 등의 위치에 존재하지 않으나, 상기 차선 검지/정합 수행부(304)의 연산 결과가 이전 검지 결과 대비 도로 설계규격 이상으로 급격히 변화된 값을 출력할 경우 상기와 같은 변화값이 추가적으로 발생되지 않는 시점까지 통상적인 트랙킹(Tracking) 필터를 통해 상기 검지 결과에 따른 변화율을 최소화 하거나, 혹은 이전의 값을 그대로 유지한다.

차선추적부에 저장되는 도로 모델 정보 파라미터중 차선폭 w는 최초 시스템 시작시에는 GPS/GIS 정보에 기준하여 국도, 고속도로, 자동차 전용도로 등과 같은 도로의 종류를 파악하고 이에 기준하여 법령상에 제정된 차선 폭에 기준하여 설정하며, 초기 주행시작 이후의 경우 이전 프레임의 차선검지/정합 수행부(304)의 결과로부터 도출된 값에 의하여 업데이트 된다.

경보 발생부(310)는 상기 차선 추적부를 통해 추출된 차선의 위치 정보와 상기 시스템이 장착과정에서 기 입력된 주행차량의 차폭정보를 이용하여 주행 차량의 차선 이탈 여부를 결정한다. 경보 발생부(310)는 주행 차량이 차선을 이탈한 경우에는 경보를 발생한다.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

300: 카메라 인터페이스부 302: 역투영 수행부
304: 차선 검지/정합 수행부 306: 위치 정보 제공부
308: 차선 추적부 310: 경보 발생부

Claims (8)

1. 카메라로부터 수신된 영상 프레임을 제공하는 영상 인터페이스부;
   상기 영상 인터페이스부로부터 제공받은 영상을 이용하여 예비 차선 후보를 추출하고, 추출한 예비 차선 후보 중 이전 프레임에서 결정된 최종 차선의 로드 모델과의 차이가 문턱값 이하인 예비 차선을 결정하는 차선 검지/정합 수행부;
   상기 차선 검지/정합 수행부에서 결정한 예비 차선에 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행자량이 위치에 따라 상대적인 차선의 위치 정보를 업데이트하는 차선 추적부를 포함하며,
   상기 차선 검지/정합 수행부는,
   제공받은 영상 프레임을 원거리 영역, 근거리 영역, 상기 원거리 영역과 상기 근거리 영역과 일부 영역이 중첩되는 중거리 영역으로 구분하고, 각 영역별로 예비 차선 후보를 추출함을 특징으로 하는 차선 검출 및 추적 장치.
   
2. 제 1항에 있어서,
   상기 차선 검지/정합 수행부에서 이전 프레임에서 추출된 예비 차선 후보에 대해 역투영을 수행하는 역투영 수행부를 포함함을 특징으로 하는 차선 검출 및 추적 장치.
   
3. 삭제
4. 제 2항에 있어서, 상기 차선 검지/정합 수행부는,
   수신된 현재 위치가 차선이 표시되지 않는 도로이면, 예비 차선 후보를 추출하지 않음을 특징으로 하는 차선 검출 및 추적 장치.
   
5. 제 4항에 있어서, 상기 차선 검지/정합 수행부는, 상기 근거리 영역과 중거리 영역에서 추출한 좌측 차선 및 우측 차선을 포함하는 예비 차선 후보 중 어느 일측의 차선이 검지되지 않으면, 상기 차선 추적부에 의해 업데이트된 차선 모델을 이용하여 검지되지 않은 일측의 차선을 예측함을 특징으로 하는 차선 검출 및 추적 장치.
   
6. 제 5항에 있어서, 상기 차선 검지/정합 수행부는, 상기 원거리 영역을 2차원 곡선 형태로 모델링하기 위해 상기 중거리 영역에서 추출된 차선의 각도를 기준으로 좌측으로 기울어진 경우에는 우측차선을 기준으로, 우측으로 기울어진 경우에는 좌측차선을 기준으로 관심 영역을 설정함을 특징으로 하는 차선 검출 및 추적 장치.
   
7. 제 6항에 있어서, 상기 차선 추적부는,
   차량의 주행 위치가 교차로에 위치하지 않은 상태에서 상기 차선 검지/정합 수행부에서 검지한 차선이 이전 프레임에서 결정한 차선의 변화량이 설정값 이상이면 이전 프레임에서 결정한 차선을 유지함을 특징으로 하는 차선 검출 및 추적 장치.
   
8. 카메라로부터 수신된 영상 프레임을 제공하는 영상 인터페이스부;
   위치 정보를 제공하는 위치 정보 제공부;
   상기 영상 인터페이스부로부터 제공받은 영상과 상기 위치 정보 제공부로부터 제공받은 위치 정보를 이용하여 예비 차선 후보를 추출하고, 추출한 예비 차선 후보 중 이전 프레임에서 결정된 최종 차선의 로드 모델과의 차이가 문턱값 이하인 예비 차선을 결정하는 차선 검지/정합 수행부;
   상기 차선 검지/정합 수행부에서 이전 프레임에서 추출된 예비 차선 후보에 대해 역투영을 수행하는 역투영 수행부;
   상기 차선 검지/정합 수행부에서 결정한 예비 차선에 현 도로의 모델 정보인 차선 폭, 차선 곡률, 주행자량이 위치에 따라 상대적인 차선의 위치 정보를 업데이트하는 차선 추적부를 포함하며,
   상기 차선 검지/정합 수행부는,
   제공받은 영상 프레임을 원거리 영역, 근거리 영역, 상기 원거리 영역과 상기 근거리 영역과 일부 영역이 중첩되는 중거리 영역으로 구분하고, 각 영역별로 예비 차선 후보를 추출함을 특징으로 하는 차선 검출 및 추적 장치.

Images