KR102372390B1

KR102372390B1 - 차선 인식 장치 및 방법

Info

Publication number: KR102372390B1
Application number: KR1020170077785A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2017-06-20
Filing date: 2017-06-20
Publication date: 2022-03-08
Also published as: KR102372390B9; KR20180137905A

Abstract

본 발명은 차선 인식 장치 및 방법에 관한 것으로, 차량의 어라운드 뷰 영상을 처리하여 근거리 차선을 인식하는 AVM(Around View Monitoring) 처리부; 차량의 전방 영상을 처리하여 원거리 차선을 인식하는 전방 영상 처리부; 및 상기 AVM 처리부에서 인식한 근거리 차선, 및 상기 전방 영상 처리부에서 인식한 원거리 차선을 융합하여 하나의 융합된 차선을 생성하는 차선 융합부;를 포함한다.

Description

차선 인식 장치 및 방법{LANE RECOGNITION APPARATUS AND METHOD THEREOF}

본 발명은 차선 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 AVM(Around View Monitoring) 및 전방카메라의 영상을 이용하여 근접 영역의 차선뿐만 아니라, 원거리 영역의 차선도 검출하여 융합할 수 있도록 하는 차선 인식 장치 및 방법에 관한 것이다.

일반적으로 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System) 또는 주차 보조 시스템(Parking Guide System) 등의 차량의 주차를 지원하는 시스템은 주차 시 주차 가이드 선을 제공하고 차량의 주변 상황을 모니터링 하는 기능을 운전자에게 제공하고 있다.

다만, 상기 차량의 주차를 지원하는 시스템은 차선을 인식하고 차량이 차선을 이탈하는 경우 운전자에게 경보를 제공하는 기능은 구비하고 있지 않다.

이에 따라 차선을 인식하고 차량이 차선을 이탈하는 경우 운전자에게 경보를 제공하기 위하여 차선유지보조시스템(LKAS, Lane Keeping Assistance System), 및 차선이탈경고시스템(LDWS, Lane Departure Warning System) 등의 차선 유지 시스템이 설치되고 있다.

그런데 이러한 차선 유지 시스템은 원거리 영역의 차선(즉, 원거리 차선)만 인식 가능하며, 또한 어라운드 뷰 모니터링 시스템만을 이용해 차선을 검출할 경우에는 차량 근접 영역의 차선(즉, 근거리 차선)만 인식 가능하기 때문에 다양한 주행 상황에서 차선을 인식하는데 어려움이 있고, 또한 상기 각 시스템에 의해 차선을 각기 검출할 경우에는 상호 시스템에서 검출한 차선 정보가 융합되지 않기 때문에 오히려 주행 상황에 따라서는 에러 발생 가능성이 더 높아지는 문제점이 있다.

본 발명의 배경기술은 대한민국 등록특허 10-1401932호(2014.05.26.등록, 차선 인식 장치 및 차선 인식 방법)에 개시되어 있다.

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, AVM(Around View Monitoring) 및 전방카메라의 영상을 이용하여 근접 영역의 차선뿐만 아니라, 원거리 영역의 차선도 검출하여 융합할 수 있도록 하는 차선 인식 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 일 측면에 따른 차선 인식 장치는, 차량의 어라운드 뷰 영상을 처리하여 근거리 차선을 인식하는 AVM(Around View Monitoring) 처리부; 차량의 전방 영상을 처리하여 원거리 차선을 인식하는 전방 영상 처리부; 및 상기 AVM 처리부에서 인식한 근거리 차선, 및 상기 전방 영상 처리부에서 인식한 원거리 차선을 융합하여 하나의 융합된 차선을 생성하는 차선 융합부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 AVM 처리부는, 어라운드 뷰 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 차선을 인식하는 주행 차선 인식부; 상기 인식된 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 차선을 추적하는 차선 추적부; 및 상기 추적하는 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 신뢰도 계산부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 전방 영상 처리부는, 전방 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 차선을 인식하는 주행 차선 인식부; 상기 인식된 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 차선을 추적하는 차선 추적부; 및 상기 추적하는 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 신뢰도 계산부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 신뢰도 계산부는, 이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측하고, 상기 예측한 차선과 상기 어라운드 뷰 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트를 증가시키는 방식으로 신뢰도를 계산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차선의 성분은, 색상, 두께, 및 형태 성분 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차선 융합부는, 상기 AVM 처리부에서 인식한 근거리 차선 및 상기 전방 영상 처리부에서 인식한 원거리 차선의 위치 오차를 비교하는 차선 오차 비교부; 상기 차선 오차 비교부에서 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하는 차선 결합부; 및 상기 차선 오차 비교부에서 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선을 융합하지 않고, 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단하는 유효 차선 판단부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차선의 위치 오차는, 차량 기준 좌표계에서의 차선의 끝과 끝의 간격, 및 각 차선의 각도에 대한 오차인 것을 특징으로 한다.

본 발명에 있어서, 상기 차량 기준 좌표계는, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차선 융합부는, 근거리 차선 및 원거리 차선인 두 차선의 각 신뢰도가 기 설정된 임계치보다 작은 경우에는 모두 유효한 차선이 아니라고 판단하여 차선을 융합하지 않고, 상기 두 차선의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고, 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단하는 것을 특징으로 한다.

본 발명에 있어서, 상기 근거리 차선은 어라운드 뷰 영상으로부터 인식할 수 있는 영역의 차선을 의미하고, 상기 원거리 차선은 전방 영상으로부터 인식할 수 있는 원거리 영역의 차선을 의미하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 차선 인식 방법은, 제어부의 AVM(Around View Monitoring) 처리부가 차량의 어라운드 뷰 영상을 처리하여 근거리 차선을 인식하는 단계; 상기 제어부의 전방 영상 처리부가 차량의 전방 영상을 처리하여 원거리 차선을 인식하는 단계; 및 상기 제어부의 차선 융합부가 상기 AVM 처리부에서 인식한 근거리 차선, 및 상기 전방 영상 처리부에서 인식한 원거리 차선을 융합하여 하나의 융합된 차선을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 근거리 차선을 인식하거나 원거리 차선을 인식하기 위하여, 상기 제어부가 어라운드 뷰 영상 또는 전방 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 근거리 차선 또는 원거리 차선을 각기 인식하고, 상기 인식된 각 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 각 차선을 추적하고, 상기 추적하는 각 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부가 이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측하고, 상기 예측한 차선과 상기 어라운드 뷰 영상 또는 전방 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트를 증가시키는 방식으로도 근거리 차선 및 원거리 차선에 대한 각 신뢰도를 계산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 하나의 융합된 차선을 생성하는 단계에서, 상기 제어부는, 상기 근거리 차선 및 상기 원거리 차선의 위치 오차를 비교하고, 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고, 상기 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위를 벗어나는 경우 상기 두 차선을 융합하지 않는 것을 특징으로 한다.

본 발명에 있어서, 상기 차선의 위치 오차는, 차량 기준 좌표계에서의 차선의 끝과 끝의 간격, 및 각 차선의 각도에 대한 오차이며, 상기 차량 기준 좌표계는, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 한다.

본 발명에 있어서, 상기 하나의 융합된 차선을 생성하는 단계에서, 상기 제어부는, 근거리 차선 및 원거리 차선인 두 차선의 각 신뢰도가 기 설정된 임계치보다 작은 경우에는 모두 유효한 차선이 아니라고 판단하여 차선을 융합하지 않고, 상기 두 차선의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고, 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로 선택하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 AVM(Around View Monitoring) 및 전방카메라의 영상을 이용하여 근접 영역의 차선뿐만 아니라, 원거리 영역의 차선도 검출하여 융합할 수 있도록 함으로써, 저속 주행, 고속 주행, 및 정차 상황 등 다양한 상황에서 차선을 안정적으로 인식할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 차선 융합부의 동작을 설명하기 위하여 보인 예시도.
도 3은 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도.
도 4는 상기 도 3에 있어서, 어라운드 뷰 영상으로부터 근거리 차선을 인식하기 위해서 차선 또는 차선 후보군을 검출하는 방법을 설명하기 위한 예시도.
도 5는 상기 도 4에 있어서, 검출된 차선 또는 차선 후보군에서 유효한 차선을 인식하는 방법을 설명하기 위한 예시도.
도 6은 상기 도 3에 있어서, 전방 영상으로부터 원거리 차선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도.
도 7은 상기 도 3에 있어서, 인식 차선을 융합하는 방법을 설명하기 위하여 보인 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차선 인식 장치 및 방법의 일 실시예를 설명한다.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 차선 인식 장치는, AVM(Around View Monitoring) 처리부(100), 전방 영상 처리부(200), 및 차선 융합부(300)를 포함한다. 이때 본 실시예에서는 상기 AVM 처리부(100), 전방 영상 처리부(200), 및 차선 융합부(300)의 각 기능을 하나의 제어부(400)가 통합하여 처리할 수도 있다. 다만, 본 실시예에서는 상기 각 구성요소(100, 200, 300)의 기능을 개별적으로 설명함에 유의한다.

상기 AVM 처리부(100)는 어라운드 뷰 영상(또는 어라운드 뷰 합성 영상)으로부터 차선을 인식한다.

상기 어라운드 뷰 영상은 적어도 하나 이상의 카메라(500)로부터 차량 주변(예 : 정면, 측면, 후면 등)의 영상을 촬영하여 탑 뷰나 어라운드 뷰 형태로 합성한 영상을 의미한다.

따라서 상기 AVM 처리부(100)는 차량 근접 영역의 차선(즉, 근거리 차선)을 인식한다.

여기서 상기 카메라(500)는 차량의 전/후/좌/우에 각기 카메라가 설치되며, 추가로 상기 탑 뷰 또는 어라운드 뷰 영상의 완성도를 높이고, 또한 촬영 사각지대가 발생하지 않도록 하기 위하여, 상기 각 카메라에 비해서 비교적 높은 위치인 차량의 전방상부 및 후방상부에도 추가 카메라가 설치될 수 있다.

상기 AVM 처리부(100)는 주행 차선 인식부(110), 차선 추적부(120), 및 신뢰도 계산부(130)를 포함한다.

상기 주행 차선 인식부(110)는 어라운드 뷰 영상으로부터 주행 차선을 인식한다. 즉, 상기 주행 차선 인식부(110)는 상기 어라운드 뷰 영상에서 특정 색상(예 : 흰색, 노란색)의 실선 또는 점선 형태를 갖는 차선을 인식한다.

상기 차선 추적부(120)는 상기 인식된 차선의 흐름(방향성)을 고려하여 상기 인식된 차선의 성분(예 : 색상, 두께, 형태 등)이 부분적으로 동일한 특성(예 : 동일 선 색상, 동일 선 두께, 동일 선 간격 등)을 유지하지 않더라도 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 차선을 추적한다.

상기 신뢰도 계산부(130)는 상기 추적하는 차선의 성분(예 : 색상, 두께, 형태 등)이 미리 지정된 각 성분별 기준 값과 일치하는 비율(즉, 차선 성분 일치율)을 계산한다. 이때 상기 계산된 차선 성분 일치율이 100%에 가까울수록 신뢰도가 높고, 반대로 상기 계산된 차선 성분 일치율이 0%에 가까울수록 신뢰도가 낮은 것을 의미한다.

또한 상기 신뢰도 계산부(130)는 이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측(즉, 예측 차선)하고, 상기 예측 차선과 상기 어라운드 뷰 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트(또는 신뢰도 점수)를 증가시키는 방식으로 신뢰도를 계산할 수도 있다. 이때 상기 신뢰도 카운트가 기 설정된 임계치 이상인 경우에 차선 인식이 유효하다고(즉, 유효한 차선이라고) 판단할 수 있다.

상기 AVM 처리부(100)와 마찬가지로 상기 전방 영상 처리부(200)는 주행 차선 인식부(210), 차선 추적부(220), 및 신뢰도 계산부(230)를 포함한다.

상기 주행 차선 인식부(110)는 전방 영상으로부터 주행 차선을 인식한다. 즉, 상기 주행 차선 인식부(110)는 상기 전방 영상에서 특정 색상(예 : 흰색, 노란색 등)의 실선 또는 점선 형태를 갖는 차선을 인식한다.

또한 상기 신뢰도 계산부(130)는 이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측(즉, 예측 차선)하고, 상기 예측 차선과 상기 전방 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트(또는 신뢰도 점수)를 증가시키는 방식으로 신뢰도를 계산할 수도 있다. 이때 상기 신뢰도 카운트가 기 설정된 임계치 이상인 경우에 차선 인식이 유효하다고(즉, 유효한 차선이라고) 판단할 수 있다.

상기 차선 융합부(300)는 상기 AVM 처리부(100)에서 인식한 차선, 및 상기 전방 영상 처리부(200)에서 인식한 차선을 융합하여 하나의 융합된 차선(즉, 근거리 차선 및 원거리 차선으로 분할되지 않은 하나의 차선)을 생성한다.

상기 차선 융합부(300)는 차선 오차 비교부(310), 차선 결합부(320), 및 유효 차선 판단부(330)를 포함한다.

상기 차선 오차 비교부(310)는 상기 AVM 처리부(100)에서 인식한 차선(즉, 근거리 차선) 및 상기 전방 영상 처리부(200)에서 인식한 차선(즉, 원거리 차선)의 위치 오차(예 : 차량 기준 좌표계에서의 차선의 끝과 끝의 간격, 각 차선의 각도 등)를 비교한다.

여기서 상기 차량 기준 좌표계는, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미한다.

상기 차선 결합부(320)는 상기 차선 오차 비교부(310)에서 두 차선(즉, 원거리 차선, 근거리 차선)의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선(즉, 원거리 차선, 근거리 차선)을 연결하여 하나의 융합된 차선(즉, 근거리 차선 및 원거리 차선으로 분할되지 않은 하나의 차선)을 생성한다.

상기 유효 차선 판단부(330)는 상기 차선 오차 비교부(310)에서 두 차선(즉, 원거리 차선, 근거리 차선)의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선(즉, 원거리 차선, 근거리 차선)을 융합하지 않고, 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단한다.

이에 따라 상기 차선 융합부(300)는 상기 두 차선(즉, 원거리 차선, 근거리 차선)의 각 신뢰도가 기 설정된 임계치보다 작은 경우에는 모두 유효한 차선이 아니라고 판단하고, 상기 두 차선의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선(즉, 근거리 차선 및 원거리 차선으로 분할되지 않은 하나의 차선)을 생성하고, 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단한다(도 2 참조).

도 2는 상기 도 1에 있어서, 차선 융합부의 동작을 설명하기 위하여 보인 예시도로서, 도 2의 (a)와 (b)는 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우에 차선 융합을 수행할 수 없음을 보인 예시도이고, 도 2의 (c)는 상기 두 차선의 위치 오차가 기 설정된 허용 범위 이내인 경우에 차선 융합을 수행할 수 있음을 보인 예시도이다.

상기와 같이 하나의 융합 차선이 생성되거나 상대적으로 신뢰도가 높은 유효 차선이 선택되면, 상기 제어부(400)는 해당 차선(즉, 융합 차선, 신뢰도가 높은 유효 차선)을 이용해 관련된 운전자 지원 기능(예 : 주차 지원, 차선 이탈 경보, 자율 주행 등)을 수행한다.

도 3은 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도이다.

도 3에 도시된 바와 같이, 제어부(400)는 어라운드 뷰 영상으로부터 근거리 차선을 검출한다(S101).

여기서 상기 근거리 차선은, 어라운드 뷰 영상으로부터 인식할 수 있는 영역(즉, 근접 영역)의 차선을 의미한다.

예컨대 상기 어라운드 뷰 영상으로부터 근거리 차선을 인식하기 위해서, 도 4에 도시된 바와 같이 상기 제어부(400)는 차선(또는 차선 후보군)을 검출하고, 도 5에 도시된 바와 같이 상기 제어부(400)는 상기 검출된 차선(또는 차선 후보군)에서 유효한 차선을 인식한다.

보다 구체적으로, 도 4의 (a)를 참조하면, 상기 제어부(400)는 어라운드 뷰 영상에 특정 필터(예 : Top-Hat 필터)를 적용하여 차선의 특징점을 추출한다. 즉, 차선의 양측 에지부를 기준으로 내측이 밝고 외측이 어두운 것을 이용하여 차선의 에지부를 특징점으로서 검출한다. 다음 도 4의 (b)를 참조하면, 상기 제어부(400)는 상기 에지 영상에서 특징점 기준 선 성분을 추출한다. 이때 도 4의 (c)와 같이 차량 주변에서 차선일 가능성이 있는 모든 차선 후보군이 검출된다.

다음 상기 도 4의 (c)에 도시된 바와 같이 검출된 차선 후보군이 검출된 영상으로부터, 상기 제어부(400)는 도 5의 (a)에 도시된 바와 같이 차량을 기준으로 좌/우 영역을 구분한 후, 도 5의 (b)와 같이 임의의 특징점 3개를 선택하여(과정1) 선 또는 곡선 방정식을 계산하고(과정2), 상기 선 또는 곡선 근처에 존재하는 특징점 수를 계산한다(과정3). 다음 상기 제어부(400)는 상기 과정1 내지 과정3을 반복 수행하여(과정4), 다수의 특징점을 만족하는 선 또는 곡선 방정식을 대표 차선으로 판단한다(과정5). 상기 과정1 내지 과정5를 통해, 도 5의 (c)에 도시된 바와 같이, 상기 제어부(400)는 차량을 기준으로 좌/우 영역에서 대표 차선을 인식한다. 다만 상기 예시된 근거리 차선 검출 방법은 일 예시적으로 기재한 것이며 이를 한정하고자 하는 것은 아니다.

상기와 같이 제어부(400)는 상기 어라운드 뷰 영상으로부터 차선(또는 차선 후보군) 검출이 성공할 경우(S102의 예) 이 검출된 차선(도는 차선 후보군)으로부터 대표 차선(주행 차선)을 인식한다(S103).

또한 상기 제어부(400)는 전방 영상으로부터 원거리 차선을 검출한다(S104).

여기서 원거리 차선은 전방 영상으로부터 인식할 수 있는 원거리 영역의 차선을 의미한다.

예컨대 도 6은 상기 도 3에 있어서, 전방 영상으로부터 원거리 차선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도로서, 상기 전방 영상으로부터 원거리 차선을 인식하기 위해서, 상기 제어부(400)는 도 6의 (a)와 같이 원영상을 획득한 후, (b)와 같이 관심영역을 선정하고, (c)와 같이 모폴로지 연산을 통해 차선만 주로 보이도록 처리하고, (d)와 같이 상기 차선에 대해 영역 라벨링을 한 후, (e)와 같이 차선 후보군을 검출한 후, (f)와 같이 라인 또는 커브 피팅(curve fitting) 기반으로 최종적으로 차선을 검출한다.

다만 상기 예시된 원거리 차선 검출 방법은 일 예시적으로 기재한 것이며 이를 한정하고자 하는 것은 아니다.

상기와 같이 제어부(400)는 상기 전방 영상으로부터 차선(또는 차선 후보군) 검출이 성공할 경우(S105의 예) 이 검출된 차선(도는 차선 후보군)으로부터 대표 차선(주행 차선)을 인식한다(S106).

상기와 같이 근거리 차선 및 원거리 차선이 인식되면, 상기 제어부(40)는 신뢰도에 따라 상기 두 차선(예 : 근거리 차선, 원거리 차선)을 융합하거나 유효차선을 선택한다(S107).

예컨대 상기 도 2에 도시된 바와 같이, 상기 두 차선(즉, 원거리 차선, 근거리 차선)의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선(즉, 근거리 차선 및 원거리 차선으로 분할되지 않은 하나의 차선)을 생성하고, 만약 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로서 선택한다.

예컨대 도 7은 상기 도 3에 있어서, 인식 차선을 융합하는 방법을 설명하기 위하여 보인 예시도로서, 상기 제어부(400)는 도 7의 (a)와 같이 어라운드 뷰 영상으로부터 인식된 근거리 차선과 도 7의 (b)와 같이 전방 영상으로부터 인식된 원거리 차선을 융합할 경우, 상기 인식된 근거리 차선과 원거리 차선 간의 위치 오차가 도 7의 (c)와 같이 기 설정된 허용 범위 이내인 경우, 도 7의 (d)와 같이 상기 융합할 두 차선을 지나는 다수의 점을 샘플링한 후 곡선 피팅(Curve Fitting) 또는 선 피팅(Line Fitting)을 수행함으로써 하나의 융합된 차선(즉, 근거리 차선 및 원거리 차선으로 분할되지 않은 하나의 차선)을 생성한다. 즉, 상기 곡선 피팅(Curve Fitting) 또는 선 피팅(Line Fitting)을 통해 상기 두 차선이 자연스럽게 융합되는 것을 알 수 있다.

상기와 같이 본 실시예는 AVM(Around View Monitoring) 및 전방카메라의 영상을 이용하여 근접 영역의 차선뿐만 아니라, 원거리 영역의 차선도 검출하여 인식하여 하나의 융합된 차선을 생성함으로써, 저속 주행, 고속 주행, 및 정차 상황 등 다양한 상황에서 안정적으로 운전자 지원 기능(예 : 주차 지원, 차선 이탈 경보, 자율 주행 등)을 수행할 수 있도록 하는 효과가 있다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

100 : AVM 처리부 110 : 주행 차선 인식부
120 : 차선 추적부 130 : 신뢰도 계산부
200 : 전방 영상 처리부 210 : 주행 차선 인식부
220 : 차선 추적부 230 : 신뢰도 계산부
300 : 차선 융합부 310 : 차선 오차 비교부
320 : 차선 결합부 330 : 유효 차선 판단부
400 : 제어부 500 : 카메라부

Claims

차량의 어라운드 뷰 영상을 처리하여 근거리 차선을 인식하는 AVM(Around View Monitoring) 처리부;
차량의 전방 영상을 처리하여 원거리 차선을 인식하는 전방 영상 처리부; 및
상기 AVM 처리부에서 인식한 근거리 차선, 및 상기 전방 영상 처리부에서 인식한 원거리 차선을 융합하여 하나의 융합된 차선을 생성하는 차선 융합부;를 포함하되,
상기 차선 융합부는,
근거리 차선 및 원거리 차선인 두 차선의 각 신뢰도가 기 설정된 임계치보다 작은 경우에는 모두 유효한 차선이 아니라고 판단하여 차선을 융합하지 않고, 상기 두 차선의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고, 상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단하는 것을 특징으로 하는 차선 인식 장치.
제 1항에 있어서, 상기 AVM 처리부는,
어라운드 뷰 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 차선을 인식하는 주행 차선 인식부;
상기 인식된 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 차선을 추적하는 차선 추적부; 및
상기 추적하는 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 신뢰도 계산부;를 포함하는 것을 특징으로 하는 차선 인식 장치.
제 1항에 있어서, 상기 전방 영상 처리부는,
전방 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 차선을 인식하는 주행 차선 인식부;
상기 인식된 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 차선을 추적하는 차선 추적부; 및
상기 추적하는 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 신뢰도 계산부;를 포함하는 것을 특징으로 하는 차선 인식 장치.
제 2항 또는 제 3항에 있어서, 상기 신뢰도 계산부는,
이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측하고, 상기 예측한 차선과 상기 어라운드 뷰 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트를 증가시키는 방식으로 신뢰도를 계산하는 것을 특징으로 하는 차선 인식 장치.
제 2항 또는 제 3항에 있어서, 상기 차선의 성분은,
색상, 두께, 및 형태 성분 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 차선 인식 장치.
제 1항에 있어서, 상기 차선 융합부는,
상기 AVM 처리부에서 인식한 근거리 차선 및 상기 전방 영상 처리부에서 인식한 원거리 차선의 위치 오차를 비교하는 차선 오차 비교부;
상기 차선 오차 비교부에서 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하는 차선 결합부; 및
상기 차선 오차 비교부에서 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선을 융합하지 않고, 상대적으로 신뢰도가 높은 차선을 유효 차선으로 판단하는 유효 차선 판단부;를 포함하는 것을 특징으로 하는 차선 인식 장치.
제 6항에 있어서, 상기 차선의 위치 오차는,
차량 기준 좌표계에서의 차선의 끝과 끝의 간격, 및 각 차선의 각도에 대한 오차인 것을 특징으로 하는 차선 인식 장치.
제 7항에 있어서, 상기 차량 기준 좌표계는,
차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 하는 차선 인식 장치.
삭제
제 1항에 있어서,
상기 근거리 차선은 어라운드 뷰 영상으로부터 인식할 수 있는 영역의 차선을 의미하고, 상기 원거리 차선은 전방 영상으로부터 인식할 수 있는 원거리 영역의 차선을 의미하는 것을 특징으로 하는 차선 인식 장치.
제어부의 AVM(Around View Monitoring) 처리부가 차량의 어라운드 뷰 영상을 처리하여 근거리 차선을 인식하는 단계;
상기 제어부의 전방 영상 처리부가 차량의 전방 영상을 처리하여 원거리 차선을 인식하는 단계; 및
상기 제어부의 차선 융합부가 상기 AVM 처리부에서 인식한 근거리 차선, 및 상기 전방 영상 처리부에서 인식한 원거리 차선을 융합하여 하나의 융합된 차선을 생성하는 단계;를 포함하되,
상기 하나의 융합된 차선을 생성하는 단계에서,
상기 제어부는, 상기 근거리 차선 및 상기 원거리 차선의 위치 오차를 비교하고, 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고, 상기 두 차선의 위치 오차를 비교한 결과, 상기 위치 오차가 기 설정된 허용 범위를 벗어나는 경우 상기 두 차선을 융합하지 않는 것을 특징으로 하는 차선 인식 방법.
제 11항에 있어서,
상기 근거리 차선을 인식하거나 원거리 차선을 인식하기 위하여,
상기 제어부가 어라운드 뷰 영상 또는 전방 영상에서 특정 색상의 실선 또는 점선 형태를 갖는 근거리 차선 또는 원거리 차선을 각기 인식하고, 상기 인식된 각 차선의 방향성을 고려하여 상기 인식된 차선의 성분이 미리 지정된 마진(margin) 내에서 동일한 특성을 갖는 각 차선을 추적하고, 상기 추적하는 각 차선의 성분이 미리 지정된 각 성분별 기준 값과 일치하는 차선 성분 일치율을 계산하는 것을 특징으로 하는 차선 인식 방법.
제 12항에 있어서,
상기 제어부가 이전 차선의 인식 결과와 차량의 움직임 정보를 이용하여 현재 차선을 예측하고, 상기 예측한 차선과 상기 어라운드 뷰 영상 또는 전방 영상에서 인식한 현재 차선을 비교하여 그 차이가 기 설정된 임계치 이하인 경우에 신뢰도 카운트를 증가시키는 방식으로도 근거리 차선 및 원거리 차선에 대한 각 신뢰도를 계산하는 것을 특징으로 하는 차선 인식 방법.
제 12항에 있어서, 상기 차선의 성분은,
색상, 두께, 및 형태 성분 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 차선 인식 방법.
삭제
제 11항에 있어서,
상기 차선의 위치 오차는, 차량 기준 좌표계에서의 차선의 끝과 끝의 간격, 및 각 차선의 각도에 대한 오차이며,
상기 차량 기준 좌표계는, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 하는 차선 인식 방법.
제 11항에 있어서, 상기 하나의 융합된 차선을 생성하는 단계에서,
상기 제어부는,
근거리 차선 및 원거리 차선인 두 차선의 각 신뢰도가 기 설정된 임계치보다 작은 경우에는 모두 유효한 차선이 아니라고 판단하여 차선을 융합하지 않고,
상기 두 차선의 각 신뢰도가 기 설정된 임계치 이상이면서 상기 두 차선 간의 위치 오차가 기 설정된 허용 범위 이내인 경우에 상기 두 차선을 융합하여 하나의 융합된 차선을 생성하고,
상기 두 차선의 위치 오차가 기 설정된 허용 범위를 벗어나는 경우, 상기 두 차선 중 상대적으로 신뢰도가 높은 차선을 유효 차선으로 선택하는 것을 특징으로 하는 차선 인식 방법.
제 11항에 있어서,
상기 근거리 차선은 어라운드 뷰 영상으로부터 인식할 수 있는 영역의 차선을 의미하고, 상기 원거리 차선은 전방 영상으로부터 인식할 수 있는 원거리 영역의 차선을 의미하는 것을 특징으로 하는 차선 인식 방법.