KR20150086789A - 영상 기반의 차선 인식 장치 - Google Patents

Abstract

잡음에 강인하고 직선 및 곡선의 검출이 가능한 영상 기반의 차선 인식 장치를 제시한다. 제시된 장치는 비전 센서로부터의 도로 영상에서 주행 차선을 포함하는 관심 영역을 설정하는 관심영역 설정부, 관심영역 설정부로부터 제공받은 관심 영역이 설정된 영상에 대해 역원근 매핑(IPM)을 수행하는 IPM부, IPM부에서 출력되는 IPM 영상에 대해 필터링을 수행하고 필터링된 IPM 영상의 픽셀에서 기설정된 임계값 이하의 값을 갖는 픽셀을 특정 값으로 만드는 필터링 및 임계값 처리부, 필터링 및 임계값 처리부에서 처리된 영상에서 차선을 검출하는 차선 검출부, 차선 검출부에 의해 검출된 차선을 피팅하는 차선 추적부, 차선 추적부에 의해 피팅된 차선을 역 IPM 변환하는 역 IPM부, 및 역 IPM부에 의해 역IPM으로 변환된 차선에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종의 차선을 생성하여 출력하는 차선 출력부를 포함한다.

Description

영상 기반의 차선 인식 장치{Vision based lane recognition apparatus}

본 발명은 차량 안전시스템 등에서 활용가능한 영상 기반의 차선 인식 장치에 관한 것으로, 보다 상세하게는 비전 센서를 이용하여 입력되는 영상으로부터 주행 차선을 인식할 수 있는 장치에 관한 것이다.

종래의 차선 검출 방법으로는 에지 기반, 색상 기반, 도로 모델 기반 등의 방법이 있다.

간단한 에지 추출과 허프 트랜스폼을 이용하여 직선 차선 검출방법의 경우, 곡선 검출에 한계가 있다.

또한, 도로 모델 기반의 확률적 차선 검출 알고리즘의 경우, 도로에 차선과 유사한 잡음이 포함되어 있으면 검출된 차선의 오차범위가 크며 확률에 의하여 정반대의 곡선이 검출될 수도 있다.

따라서, 직선 및 곡선 검출이 가능한 강인한 차선 인식 알고리즘이 요구된다.

관련 선행기술로는, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 적은 연산량으로 매우 간단하게 차선 추적 및 차선 종류, 차선 색, 차선 이탈 경고 등을 강인하게 수행할 수 있는 내용이, 대한민국공개특허 제2012-0009590호(차선 인식 시스템 및 방법)에 개시되었다.

다른 관련 선행기술로는, 카메라로부터 입력받은 도로 영상을 전처리하고 관심 영역내의 직선 또는 곡선의 라인을 로그-폴라 변환한 후 RANSAC 알고리즘으로 커브 피팅하고 다시 역 로그-폴라 변환하는 것에 의해 도로의 차선 검출 효율을 향상시키고 검출 정확도를 높일 수 있는 내용이, 대한민국공개특허 제2013-0095967호(차선 인식 방법 및 장치)에 개시되었다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 잡음에 강인하고 직선 및 곡선의 검출이 가능한 영상 기반의 차선 인식 장치를 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 영상 기반의 차선 인식 장치는, 비전 센서로부터의 도로 영상에서 주행 차선을 포함하는 관심 영역을 설정하는 관심영역 설정부; 상기 관심영역 설정부로부터 제공받은 관심 영역이 설정된 영상의 원근 효과를 제거하기 위해 역원근 매핑(Inverse Perspective Mapping; IPM)을 수행하는 IPM부; 상기 IPM부에서 출력되는 IPM 영상에 대해 노이즈 제거를 위한 필터링을 수행하고, 상기 필터링된 IPM 영상의 픽셀에서 기설정된 임계값 이하의 값을 갖는 픽셀을 특정 값으로 만드는 필터링 및 임계값 처리부; 상기 필터링 및 임계값 처리부에서 처리된 영상에서 차선을 검출하는 차선 검출부; 상기 차선 검출부에 의해 검출된 차선을 피팅하는 차선 추적부; 상기 차선 추적부에 의해 피팅된 차선을 역 IPM 변환하는 역 IPM부; 및 상기 역 IPM부에 의해 역IPM으로 변환된 차선에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종의 차선을 생성하여 출력하는 차선 출력부;를 포함한다.

이때, 상기 관심영역 설정부는 휴리스틱한 방법에 의거하여 소실라인의 86%에 해당하는 부분을 최상단으로 시작하여 최하단의 90%에 해당하는 영역으로 관심영역을 설정할 수 있다.

이때, 상기 차선 검출부는 상기 필터링 및 임계값 처리부(16)에서 처리된 영상에서 누적 히스토그램을 이용하여 차선의 후보군을 선택하고, 선택된 차선 후보군을 측위(Localization)하고, 측위(Localization)된 차선 후보에 대해 각각 B-Spline과 RANSAC 알고리즘을 적용하여 차선을 검출할 수 있다.

이때, 상기 차선 추적부는 GVF SNAKE 알고리즘을 사용할 수 있다.

이때, 상기 차선 출력부는 역 IPM으로 변환된 차선의 시작점, 중간점과 관심영역의 최하단점에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종의 차선을 생성하여 출력할 수 있다.

이러한 구성의 본 발명에 따르면, 비전 센서를 통하여 입력받은 영상으로부터 관심 영역을 도출하고 관심 영역에서 직선 또는 곡선을 검출 및 피팅하고 역IPM으로 변환한 후 차선의 시작점, 중간점과 관심 영역의 최하단점에 대하여 도로 모델을 적용하여 도로 방정식을 도출함으로써, LDWS(Lane Departure Warning System), LKAS(Lane Keeping Assist System) 등의 응용시스템에서 차선의 래터럴 오프셋(lateral Offset) 등에 활용할 수 있으며 직선 및 곡선 차선 검출 효율을 향상시키고 검출 정확도를 높일 수 있다.

도 1은 본 발명의 실시예에 따른 영상 기반의 차선 인식 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 기반의 차선 인식 동작을 설명하기 위한 플로우차트이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 영상 기반의 차선 인식 동작 설명에 채용되는 화면 예들이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 영상 기반의 차선 인식 장치의 구성도이다.

도 1에 도시된 본 발명의 실시예에 따른 영상 기반의 차선 인식 장치는, 비전 센서(10), 관심영역 설정부(12), IPM부(14), 필터링 및 임계값 처리부(16), 차선 검출부(18), 차선 추적부(20), 역 IPM부(22), 및 차선 출력부(24)를 포함한다.

비전 센서(10)는 차량의 전방에 설치되어 차량 전방의 도로 영상을 획득한다. 예를 들어, 비전 센서(10)는 카메라를 포함한다.

관심영역 설정부(12)는 비전 센서(10)로부터의 도로 영상에서 주행 차선을 포함하는 관심 영역(ROI; Region Of Interest)을 설정한다.

IPM부(14)는 관심영역 설정부(12)를 통해 관심 영역이 설정된 영상을 입력받고 입력받은 영상의 원근 효과를 제거하기 위해 역원근 매핑(Inverse Perspective Mapping; IPM)을 수행한다. 일반적인 도로 영상은 2D상에서 실선 또는 점선으로 구성되어 있지만, 차선이 존재하는 실제의 도로는 3D 평면에 존재하기 때문에 차선 검출 또는 차선 인식을 위해서는 원근 효과를 제거해야 된다. 즉, 원근 효과로 인해 차선 및 도로 파라미터를 정확히 평가하기 어려우므로, 원근 효과를 제거하기 위해 예를 들어 비전 센서(10)의 위치(position), 좌표(coordination), 광학적 특징(optics) 등과 같은 획득 조건을 이용하여 3차원 평면을 2차원 평면으로 매핑시키는 역원근 매핑(IPM)을 수행하는 것이다.

필터링 및 임계값 처리부(16)는 IPM부(14)에서 출력되는 IPM 영상에 대해 노이즈 제거를 위한 필터링을 수행하고, 필터링된 IPM 영상에 대하여 히스토그램 분석에 의한 임계값을 근거로 임계값 이하의 값은 모두 0(zero)로 설정한다. 다시 말해서, 필터링된 IPM 영상에서 차선에 해당하는 부분을 찾아내기 위해서는 차선이라고 생각되어지는 부분의 픽셀을 제외한 나머지 픽셀들을 예를 들어 "0x00"의 값으로 만드는 작업이 필요하다. 그러한 작업을 필터링 및 임계값 처리부(16)에서 수행한다. 한편, 차선과 배경을 구분하기 위해서는 일정한 기준이 되는 값이 있어야 하는데, 이러한 기준값을 임계값(threshold value)이라고 한다.

차선 검출부(18)는 필터링 및 임계값 처리부(16)에서 처리된 영상(즉, 관심영역)에서 차선(즉, 직선 및 곡선)을 검출한다.

차선 추적부(20)는 차선 검출부(18)에 의해 검출된 차선을 피팅(fitting)한다.

역 IPM부(22)는 차선 추적부(20)에 의해 피팅된 차선을 역 IPM 변환한다.

차선 출력부(24)는 역 IPM으로 변환된 차선의 시작점, 중간점과 관심영역의 최하단점에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종의 차선을 생성하여 출력한다.

도 2는 본 발명의 실시예에 따른 영상 기반의 차선 인식 동작을 설명하기 위한 플로우차트이고, 도 3 내지 도 6은 본 발명의 실시예에 따른 영상 기반의 차선 인식 동작 설명에 채용되는 화면 예들이다.

먼저, 관심영역 설정부(12)가 비전 센서(10)로부터 차량 전방의 도로 영상을 입력받는다(S10).

이어, 관심영역 설정부(12)는 입력받은 도로 영상으로부터 카메라의 외부 파라미터(예컨대, 카메라의 설치 높이, 피치(pitch), 요(Yaw)등)에 의해 도출된 소실 라인을 기준으로 관심영역을 설정한다(S12). 즉, 관심영역 설정부(12)는 도 3에 예시한 바와 같은 영상을 출력할 수 있다. 예를 들어, 관심영역 설정부(12)는 휴리스틱한 방법에 의거하여 소실라인의 86%에 해당하는 부분을 최상단으로 시작하여 최하단의 90%에 해당하는 영역으로 관심영역을 설정할 수 있다(최상단의 경우, 픽셀의 정보가 부정확하다).

이후, IPM부(14)는 관심영역 설정부(12)를 통해 관심 영역이 설정된 영상(도 3 참조)의 원근 효과를 제거하기 위해 역원근 매핑(Inverse Perspective Mapping; IPM)을 수행한다(S14). IPM부(14)는 도 4에 예시한 바와 같은 영상을 출력할 수 있다.

이어, 필터링 및 임계값 처리부(16)는 역원근 매핑(IPM)된 영상(도 4 참조)에 대하여 노이즈 제거를 위한 필터링을 수행하고, 히스토그램 분석에 의한 임계값을 통하여 임계값 이하의 값은 모두 0(zero)으로 설정한다(S16).

그 후, 차선 검출부(18)는 필터링 및 임계값 처리부(16)에서 처리된 영상에서 누적 히스토그램을 이용하여 차선의 후보군을 선택한다(S18).

그리고, 차선 검출부(18)는 선택된 차선 후보군을 측위(Localization)한다. 이때, 차선 검출부(18)는 RANSAC 알고리즘을 이용하여 측위한다(S20).

또한, 차선 검출부(18)는 측위(Localization)된 차선 후보에 대해 각각 B-Spline과 RANSAC 알고리즘을 적용하여 차선(즉, 직선 또는 곡선)을 검출한다(S22). 그에 따라, 차선 검출부(18)는 도 5에 예시된 바와 같은 영상을 출력할 수 있다.

이후, 차선 추적부(20)는 차선 검출부(18)에 의해 검출된 차선을 피팅(fitting)하게 된다(S24). 기존 연구에서는 차선의 추적을 위해 칼만 필터 등을 이용하여 다음 차선의 위치를 추정하였지만, 본 발명의 실시예에서는 검출된 차선을 피팅하는 방법으로 차선을 추적하였으며 GVF SNAKE 알고리즘을 사용하였다. 여기서, GVF SNAKE 알고리즘은 내부 에너지(내부 E)와 외부 에너지(외부 E)의 균형을 조건으로 하는데, 예를 들어 "내부 E + 외부 E = 0"을 만족시켜야 한다. 동종업계에 종사하는 자라면 GVF SNAKE 알고리즘에 대해 주지의 기술을 통해 충분히 파악할 수 있으므로, 그에 대한 보다 상세한 설명은 생략한다.

그리고 나서, 역 IPM부(22)가 GVF SNAKE 알고리즘에 의해 피팅된 차선을 역 IPM 변환한다(S26).

이후, 차선 출력부(24)는 역 IPM으로 변환된 차선의 시작점, 중간점과 관심영역의 최하단점에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종적인 차선을 생성하여 출력한다(S28). 예를 들어, 차선 출력부(24)는 도 6에서와 같이 최종의 차선(L)을 역 IPM변환된 영상(즉, 원래의 영상)에 표시할 수 있다.

상술한 바와 같은 본 발명의 실시예는 LDWS(Lane Departure Warning System), LKAS(Lane Keeping Assist System) 등의 응용 시스템에서 차선의 래터럴 오프셋(lateral Offset) 등에 활용할 수 있으며, 직선 및 곡선 차선 검출 효율을 향상시키고 검출 정확도를 높일 수 있는 이점이 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 비전 센서 12 : 관심영역 설정부
14 : IPM부 16 : 필터링 및 임계값 처리부
18 : 차선 검출부 20 : 차선 추적부
22 : 역 IPM부 24 : 차선 출력부

Claims (1)

1. 비전 센서로부터의 도로 영상에서 주행 차선을 포함하는 관심 영역을 설정하는 관심영역 설정부;
   상기 관심영역 설정부로부터 제공받은 관심 영역이 설정된 영상에 대해 역원근 매핑(Inverse Perspective Mapping; IPM)을 수행하는 IPM부;
   상기 IPM부에서 출력되는 IPM 영상에 대해 필터링을 수행하고, 상기 필터링된 IPM 영상의 픽셀에서 기설정된 임계값 이하의 값을 갖는 픽셀을 특정 값으로 만드는 필터링 및 임계값 처리부;
   상기 필터링 및 임계값 처리부에서 처리된 영상에서 차선을 검출하는 차선 검출부;
   상기 차선 검출부에 의해 검출된 차선을 피팅하는 차선 추적부;
   상기 차선 추적부에 의해 피팅된 차선을 역 IPM 변환하는 역 IPM부; 및
   상기 역 IPM부에 의해 역IPM으로 변환된 차선에 대하여 도로모델을 적용하여 도로 방정식을 도출함으로써 최종의 차선을 생성하여 출력하는 차선 출력부;를 포함하는 것을 특징으로 하는 영상 기반의 차선 인식 장치.

Images