KR20170089330A

KR20170089330A - 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템

Info

Publication number: KR20170089330A
Application number: KR1020160009609A
Authority: KR
Inventors: 이윤희
Original assignee: 주식회사 만도
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2017-08-03
Also published as: KR102501234B1

Abstract

본 발명은 차량이 도로를 주행하는 중에 도로 상에 설치된 구조물의 위치 정보를 획득하고 이를 활용하여 주변 차선의 유무 및 주변 차선 관심영역(ROI)을 설정할 수 있도록 하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템이 개시된다.
개시된 본 발명에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템은, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에서 자차선 또는 차선을 검출하는 차선 검출부; 상기 획득된 전방 영상에서 구조물을 검출하는 구조물 검출부; 및 상기 검출된 자차선에 근거해 차선의 폭을 인식하여 상기 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 상기 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하며, 상기 차선 ROI 및 상기 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 상기 주변차선 관심영역에 근거해 주변 차선을 인식하는 제어부를 포함한다.
본 발명에 의하면, 차량이 도로 주행 시에 구조물의 위치 정보를 이용하여 주변 차선을 인식할 수 있다.

Description

구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템{System and method for recognizing a surroundings lane using a location of structures}

본 발명은 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 차량이 도로를 주행하는 중에 도로 상에 설치된 구조물의 위치 정보를 획득하고 이를 활용하여 주변 차선의 유무 및 주변 차선 관심영역(ROI)을 설정할 수 있도록 하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템에 관한 것이다.

일반적으로 차량이 도로를 주행할 때 이미지 센서, 레이다(Radar) 또는 라이더(Lidar) 센서 등 다양한 센서들을 활용하여 차선을 인식하거나 전방의 물체를 인식한다. 이때, 주행하는 차선의 인식은 지능형 차량에서 핵심기술의 하나로서, 안전 운전에 지대한 영향을 미치게 된다.

그러나 주변 차선의 인식은 자차선 인식과 다르게 주변 구조물에 의해 영향을 받을 수 있다. 즉, 자차선은 주행 차선이기 때문에 차선 표시가 항상 도로 구조물의 안쪽에 있을 수 있지만, 주변 차선은 주행 차선이 아니기 때문에 있을 경우도 있고 없을 경우도 있다.

종래에 주변 차선을 인식하는 방법은 자차선 정보를 이용하여 관심영역(ROI)을 생성하고 관심영역(ROI) 내에서 주변 차선을 인식한다.

주변 차선의 경우는 자차선과는 다르게 도로 상에 없는 경우도 많이 있다. 그렇기 때문에 관심영역(ROI)이 형성되는 곳에 차선과 비슷한 성분이 있으면 주변차선으로 오인식 하는 경우가 많은 문제점이 있다.

대한민국 공개특허공보 제2012-0066220호(2012년 06월 22일)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량이 도로를 주행하는 중에 도로 상에 설치된 구조물의 위치 정보를 획득하고 이를 활용하여 주변 차선의 유무 및 주변 차선 관심영역(ROI)을 설정할 수 있도록 하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템은, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에서 자차선 또는 차선을 검출하는 차선 검출부; 상기 획득된 전방 영상에서 구조물을 검출하는 구조물 검출부; 및 상기 검출된 자차선에 근거해 차선의 폭을 인식하여 상기 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 상기 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하며, 상기 차선 ROI 및 상기 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 상기 주변차선 관심영역에 근거해 주변 차선을 인식하는 제어부를 포함한다.

또한, 상기 구조물 검출부는, 상기 검출된 차선을 기준으로 차선의 바깥쪽에 있는 구조물 또는 도로 외곽에 있는 구조물을 검출할 수 있다.

또한, 상기 제어부는, 상기 차선 ROI 및 상기 구조물 ROI에 따라 자차선과 구조물을 제외하고 상기 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 상기 구조물 검출부는, 상기 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 표지판으로 검출할 수 있다.

또한, 상기 제어부는 상기 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 상기 표지판의 위치를 인식하고, 상기 표지판의 위치 정보를 이용하여 상기 표지판의 주변에 차선이 존재하는 원리에 따라 상기 전방 영상에서 상기 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 상기 구조물 검출부는, 상기 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 일정 간격으로 줄지어 있는 구조물에 대해 시선유도 시설물(Delineator)로 검출할 수 있다.

또한, 상기 제어부는 상기 검출된 시선유도 시설물의 위치 정보를 이용하여 상기 전방 영상에서 상기 시선유도 시설물을 중심으로 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식할 수 있다.

또한, 상기 제어부는, 상기 검출된 구조물이 상기 검출된 자차선의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)로 인식할 수 있다.

그리고, 상기 제어부는 상기 가드레일의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 구조물 위치 정보를 이용한 주변 차선 인식 방법은, (a) 영상 획득부가 차량의 전방을 촬영하여 전방 영상을 획득하는 단계; (b) 차선 검출부가 상기 획득된 전방 영상에서 자차선 또는 차선을 검출하는 단계; (c) 구조물 검출부가 상기 획득된 전방 영상에서 구조물을 검출하는 단계; (d) 제어부가 상기 검출된 차선에 근거해 차선의 폭을 인식하여 상기 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 상기 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하는 단계; 및 (e) 제어부가 상기 차선 ROI 및 상기 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 상기 주변차선 관심영역에 근거해 주변 차선을 인식하는 단계를 포함한다.

또한, 상기 (c) 단계에서 상기 구조물 검출부는, 상기 검출된 차선을 기준으로 차선의 바깥쪽에 있는 구조물 또는 도로 외곽에 있는 구조물을 검출할 수 있다.

또한, 상기 (e) 단계에서 상기 제어부는, 상기 차선 ROI 및 상기 구조물 ROI에 따라 자차선과 구조물을 제외하고 상기 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 상기 (c) 단계에서 구조물 검출부는, 상기 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 표지판으로 검출할 수 있다.

또한, 상기 (e) 단계에서 상기 제어부는, 상기 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 상기 표지판의 위치를 인식하고, 상기 표지판의 위치 정보를 이용하여 상기 표지판의 주변에 차선이 존재하는 원리에 따라 상기 전방 영상에서 상기 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 상기 (c) 단계에서 상기 구조물 검출부는, 상기 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 일정 간격으로 줄지어 있는 구조물에 대해 시선유도 시설물(Delineator)로 검출할 수 있다.

또한, 상기 (e) 단계에서 상기 제어부는 상기 검출된 시선유도 시설물의 위치 정보를 이용하여 상기 전방 영상에서 상기 시선유도 시설물을 중심으로 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식할 수 있다.

또한, 상기 (e) 단계에서 상기 제어부는, 상기 검출된 구조물이 상기 검출된 자차선의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)로 인식할 수 있다.

그리고, 상기 (e) 단계에서 상기 제어부는, 상기 가드레일의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

본 발명에 의하면, 차량이 도로 주행 시에 구조물의 위치 정보를 이용하여 주변 차선을 인식할 수 있다.

또한, 구조물의 위치에 따라 주변 차선 관심영역(ROI)을 생성하여 주변 차선 인식 정확도를 높일 수 있으며, 관심영역(ROI)을 생성하지 않아서 오인식을 줄일 수 있다.

도 1은 본 발명의 실시예에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템의 구성을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 전방 영상에서 차선과 구조물을 검출하는 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 전방 영상에서 차선과 더불어 표지판을 검출하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 전방 영상에서 시선유도 시설물을 검출하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 전방 영상에서 차선을 기준으로 가드레일을 인식하는 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 구조물 위치 정보를 이용한 주변 차선 인식 방법을 나타낸 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 실시예에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템의 구성을 개략적으로 나타낸 블록 구성도이다.

도 1을 참조하면, 본 발명에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템은, 영상 획득부(110)와 차선 검출부(120), 구조물 검출부(130) 및 제어부(140)를 포함한다.

영상 획득부(110)는 차량의 전방을 카메라로 촬영하여 전방 영상을 획득한다.

차선 검출부(120)는 획득된 전방 영상에서 도 2에 도시된 바와 같이 자차선을 비롯한 차선(105)을 검출한다. 도 2는 본 발명의 실시예에 따른 전방 영상에서 차선과 구조물을 검출하는 예를 나타낸 도면이다.

차선 검출부(120)는 차선 검출을 위해 확인영역 설정모듈, 도로표시 확인모듈, 관심영역 설정모듈 및 자차선 검출모듈을 포함할 수 있다. 즉, 차선 검출부(120)는 전방 영상에서 확인영역 설정모듈을 통해 현재 자차선의 도로 영역을 포함하는 확인영역을 설정할 수 있고, 설정된 확인영역에서 도로표시 확인모듈을 통해 도로표시의 존재를 확인할 수 있다. 이어, 차선 검출부(120)는 도로표시가 존재하면, 관심영역 설정모듈을 통해 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 계산된 차이 값에 근거하여 관심영역을 설정할 수 있고, 관심영역 설정모듈에서 설정된 관심영역을 기초로 자차선 검출모듈을 통해 차선 트래킹(Lane Tracking)을 이용하여 차선표시를 추출하여 자차선으로 인식할 수 있다. 여기서, 차선 트래킹은 칼만 필터(Kalman Filter) 등과 같은 예측 필터를 이용할 수 있다.

한편, 차선 검출부(110)는 차선 표시(Lane Marking)를 추출함으로써 차선(Lane)을 인식한다. 그러나, 차선 표시를 추출하는 과정에서 도로표시(예, 우회전 표시)도 함께 추출될 수 있고, 이로 인하여 차선 인식에 필요한 차선표시를 추출하는 데 오류가 발생될 수 있다. 도로표시는 차선표시와 마찬가지로 도로 위에 표시가 되어 있으며 차선표시와 같은 색 정보를 포함하고 있기 때문에 차선표시를 추출하는 과정에서 도로표시(예, 우회전 표시)도 함께 추출된다.

상술한 오류를 유발하는 도로표시를 제거하기 위해, 차선 검출부(110)는 확인영역 설정모듈을 통해 현재의 자차선의 도로영역을 모두 포함할 수 있는 확인영역을 설정할 수 있고, 이는 현재의 자차선의 도로영역에서 도로표시를 찾기 위해 설정한다. 현재의 자차선의 도로영역이 모두 포함되는 확인영역을 설정하기 위해서는 차선이 영상의 중간지점에 걸쳐 있을 때 양쪽 차선의 영역을 포함하는 경우 전방 영상에서 자차선의 도로영역이 항상 포함될 수 있다.

구조물 검출부(130)는 획득된 전방 영상에서 도 2에 도시된 바와 같이 구조물(101)을 검출한다. 또한, 구조물 검출부(130)는, 검출된 차선(105)을 기준으로 차선의 바깥쪽에 있는 구조물(101) 또는 도로 외곽에 있는 구조물(101)을 검출할 수 있다.

또한, 구조물 검출부(130)는, 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 도 3에 도시된 바와 같이 표지판(102)으로 검출할 수 있다. 도 3은 본 발명의 실시예에 따른 전방 영상에서 차선과 더불어 표지판을 검출하는 예를 나타낸 도면이다. 도 3에 도시된 바와 같이, 표지판(102)은 전방 영상에서 크기가 계속 변한다. 이는 주행하는 차량이 표지판(102)에 접근하고 있기 때문이다. 즉, 차량이 표지판(102)으로부터 멀리 있을 경우와 가까이 있을 경우에 대해서 표지판(102)의 크기가 다른 것을 확인 할 수 있다. 차량의 주행에 따라 표지판(102)의 크기가 다르기 때문에 정확한 위치를 구하기 위해서는 표지판(102) 점의 이동을 계산해야 한다. 즉, 중심점의 이동을 계산하여 표지판(102)의 위치를 계산할 수 있다.

제어부(140)는 검출된 차선에 근거해 차선의 폭을 인식하여 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하며, 차선 ROI 및 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 주변차선 관심영역에 근거해 주변 차선을 인식한다.

또한, 제어부(140)는, 차선 ROI 및 구조물 ROI에 따라 자차선과 구조물을 제외하고 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 제어부(140)는 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 표지판(102)의 위치를 인식하고, 표지판(102)의 위치 정보를 이용하여 표지판의 주변에 차선이 존재하는 원리에 따라 전방 영상에서 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 주변차선 ROI에서 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다. 이때, 제어부(140)는 표지판(102)의 위치를 추적하는 방법으로 모션 스테레오(Motion Stereo) 방법을 이용할 수 있다.

또한, 구조물 검출부(130)는, 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 도 4에 도시된 바와 같이 일정 간격으로 줄지어 있는 구조물에 대해 시선유도 시설물(Delineator)(103)로 검출할 수 있다. 도 4는 본 발명의 실시예에 따른 전방 영상에서 시선유도 시설물을 검출하는 예를 나타낸 도면이다. 따라서, 제어부(140)는 검출된 시선유도 시설물(103)의 위치 정보를 이용하여 전방 영상에서 시선유도 시설물(103)을 중심으로 주변차선 ROI를 설정하고, 설정된 주변차선 ROI에서 시선유도 시설물을 제외시키고, 또한 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식할 수 있다.

또한, 제어부(140)는, 검출된 구조물이 도 5에 도시된 바와 같이 검출된 차선(105)의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)(104)로 인식할 수 있다. 도 5는 본 발명의 실시예에 따른 전방 영상에서 차선을 기준으로 가드레일을 인식하는 예를 나타낸 도면이다.

따라서, 제어부(140)는 가드레일(104)의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 주변차선 ROI에서 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

도 6은 본 발명의 실시예에 따른 구조물 위치 정보를 이용한 주변 차선 인식 방법을 나타낸 흐름도이다.

도 6을 참조하면, 본 발명에 따른 구조물 위치 정보를 이용한 주변 차선 인식 시스템(100)은, 영상 획득부(110)가 차량의 전방을 카메라로 촬영하여 전방 영상을 획득한다(S610). 이때, 영상 획득부(110)를 통해 획득된 전방 영상은 도 2에 도시된 바와 같이 차선(105)를 비롯해 구조물(101)을 포함하거나, 도 3에 도시된 바와 같이 차선(105) 이외에 표지판(102)도 포함할 수 있다. 또한, 영상 획득부(110)를 통해 획득된 전방 영상은 도 4에 도시된 바와 같이 시선유도 시설물(103)을 포함하거나, 도 5에 도시된 바와 같이 가드레일(104)을 포함할 수 있다.

이어, 차선 검출부(120)가 획득된 전방 영상에서 차선을 검출한다(S620). 즉, 차선 검출부(120)는 전술한 바와 같이 확인영역 설정모듈, 도로표시 확인모듈, 관심영역 설정모듈 및 자차선 검출모듈을 통해 도 2 내지 도 5에 도시된 바와 같은 차선(105)을 검출할 수 있다. 이때, 관심영역 설정모듈은 차선 트래킹(Lane Tracking)을 이용하여 관심영역을 설정할 수 있는데, 차선 정보를 예측하는 예측 필터를 이용하여 차선 예측 결과를 산출하고, 산출된 차선 예측 결과와 이전 차선 정보의 차이값을 연산하여 관심영역을 설정함으로써, 관심영역에는 확인영역 내에서 존재하던 도로표시가 제거될 수 있다. 여기서, 이전 차선 정보는 현재 추출되는 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보를 의미할 수 있다. 여기서, 예측 필터는 칼만 필터(Kalman Filter)를 포함할 수 있고, 차선 예측 결과 및 이전 차선 정보는 차선에 대한 각도(Angle) 및 오프셋(Offset) 값 등에 대한 정보를 포함할 수 있다. 그리고, 자차선 검출부는 EDF(Edge Distribution Function), 스티어러블 필터링(Steerable Filtering), 허프변환(Hough Transform), 내부 픽셀 디텍션(Inner Pixel Detection), 내부 픽셀 피팅(Inner Pixel Fitting) 등의 기능을 수행할 수 있다.

이어, 구조물 검출부(130)가 획득된 전방 영상에서 구조물을 검출한다(S630). 즉, 구조물 검출부(130)는, 검출된 차선(105)을 기준으로 도 2에 도시된 바와 같이 차선(105)의 바깥쪽에 있는 구조물(101) 또는 도로 외곽에 있는 구조물(101)을 검출할 수 있다.

또한, 구조물 검출부(130)는, 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 도 3에 도시된 바와 같이 표지판(102)으로 검출할 수 있다. 이때, 구조물 검출부(130)는 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 표지판(102)을 검출할 수 있다.

또한, Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 입력 영상이 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 특정 크기(예, 20ㅧ20)로 일반화(Normalization) 한 표지판 영상(Positive Sample)인지, 영상이 없는 영상에서 랜덤(Random)하게 추출한 비표지판 영상(Negative Sample)인지를 구분하게 된다.

또한, Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 검출기(Detector)를 학습시키는 표지판 학습(Sample Training) 과정과, 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 포함한다.

Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 검출기를 학습시킨다.

Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 수평 검출기(Horizontal Detector)를 통해 2020으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시키거나, 수직 검출기(Vertical Detector)를 통해 2020으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킬 수 있다.

Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출할 수 있다.

또한, 구조물 검출부(130)는, 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 일정 간격으로 줄지어 있는 구조물에 대해 도 4에 도시된 시선유도 시설물(Delineator)(103)로 검출할 수 있다.

이어, 제어부(140)가 검출된 차선에 근거해 차선의 폭을 인식하여 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정한다(S640).

이어, 제어부(140)가 차선 ROI 및 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 주변차선 관심영역에 근거해 주변 차선을 인식한다(S650).

즉, 제어부(140)는, 차선 ROI 및 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 주변차선 관심영역(ROI)에서 차선과 구조물을 제외하고 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 제어부(140)는, 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 도 3에 도시된 표지판(102)의 위치를 인식하고, 표지판의 위치 정보를 이용하여 표지판의 주변에 차선이 존재하는 원리에 따라 전방 영상에서 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 주변차선 ROI에서 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

또한, 제어부(140)는 검출된 시선유도 시설물(103)의 위치 정보를 이용하여 전방 영상에서 시선유도 시설물(103)을 중심으로 주변차선 ROI를 설정하고, 주변차선 ROI에서 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식할 수 있다.

본 발명에 따른 전방 영상의 광원에서 시선유도 시설물(103)을 인식하는 방법은 일반적인 광원 인식과 다른 방법을 사용한다. 기존의 광원 인식에서 시선유도 시설물(103)은 광원이 아니기 때문에 오인식의 원인이 되는 부분이다. 그러나 도로 구조물에서 시선유도 시설물(103)은 중요한 정보이다. 도 4에 도시된 바와 같이 시선유도 시설물(103)은 광원이 아니지만 주변 차선을 인식하기 위해서는 위치를 알고 있을 때 주변 차선 인식에 도움이 된다. 기존의 광원 인식 방법에서는 두 장의 영상을 사용하여 광원과 비 광원을 구별하였다. 즉, 장노출 영상과 단노출 영상을 사용한다. 광원의 경우 장노출 영상과 단노출 영상 모두에서 나타나기 때문에 광원을 인식할 수 있다. 그러나 시선유도 시설물(103)의 경우는 단노출에서는 나타나지 않는다. 또한 시선유도 시설물(103)의 경우는 도로에 줄지어 있다. 도 4에서 보는 것과 같이 장노출과 단노출에서 광원과 광원이 아닌 물체를 구별할 수 있다.

또한, 제어부(140)는, 검출된 구조물이 도 5에 도시된 바와 같이 검출된 차선(105)의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)(104)로 인식할 수 있다.

이에, 제어부(140)는, 가드레일(104)의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 주변차선 ROI에서 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식할 수 있다.

가드레일은 중앙선 및 바깥 차선에 위치하고 있다. 가드레일의 경우 주변 차선과 영상에서의 위치가 비슷하기 때문에 오인식 할 수 있는 경우가 많다. 그러므로 가드레일의 특성을 이용하여 가드레일을 구별하고 인식하여 주변 차선에서 오인식을 줄일 수 있다. 도 5에 도시된 바와 같이 가드레일의 특징은 밑부분에 있다. 기둥 부분의 연속된 세로 엣지를 이용하여 인식하면 가드레일을 인식할 수 있다. 이러한 인식 정보를 이용하여 주변 차선 ROI를 설정하고 제거할 수 있다.

전술한 바와 같이 본 발명에 의하면, 차량이 도로를 주행하는 중에 도로 상에 설치된 구조물의 위치 정보를 획득하고 이를 활용하여 주변 차선의 유무 및 주변 차선 관심영역(ROI)을 설정할 수 있도록 하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템을 실현할 수 있다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 주변 차선 인식 시스템 101 : 구조물
102 : 표지판 103 : 시선유도 시설물
104 : 가드레일 105 : 차선
110 : 영상 획득부 120 : 차선 검출부
130 : 구조물 검출부 140 : 제어부

Claims

차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부;
상기 획득된 전방 영상에서 자차선 또는 차선을 검출하는 차선 검출부;
상기 획득된 전방 영상에서 구조물을 검출하는 구조물 검출부; 및
상기 검출된 차선에 근거해 차선의 폭을 인식하여 상기 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 상기 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하며, 상기 차선 ROI 및 상기 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 상기 주변차선 관심영역에 근거해 주변 차선을 인식하는 제어부;
를 포함하는 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 1 항에 있어서,
상기 구조물 검출부는, 상기 검출된 차선을 기준으로 차선의 바깥쪽에 있는 구조물 또는 도로 외곽에 있는 구조물을 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 1 항에 있어서,
상기 제어부는, 상기 차선 ROI 및 상기 구조물 ROI에 따라 자차선과 구조물을 제외하고 상기 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 1 항에 있어서,
상기 구조물 검출부는, 상기 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 표지판으로 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 4 항에 있어서,
상기 제어부는 상기 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 상기 표지판의 위치를 인식하고, 상기 표지판의 위치 정보를 이용하여 상기 표지판의 주변에 차선이 존재하는 원리에 따라 상기 전방 영상에서 상기 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 1 항에 있어서,
상기 구조물 검출부는, 상기 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 일정 간격으로 줄지어 있는 구조물에 대해 시선유도 시설물(Delineator)로 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 6 항에 있어서,
상기 제어부는 상기 검출된 시선유도 시설물의 위치 정보를 이용하여 상기 전방 영상에서 상기 시선유도 시설물을 중심으로 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 1 항에 있어서,
상기 제어부는, 상기 검출된 구조물이 상기 검출된 자차선의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 8 항에 있어서,
상기 제어부는 상기 가드레일의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
(a) 영상 획득부가 차량의 전방을 촬영하여 전방 영상을 획득하는 단계;
(b) 자차선 검출부가 상기 획득된 전방 영상에서 자차선을 검출하는 단계;
(c) 구조물 검출부가 상기 획득된 전방 영상에서 구조물을 검출하는 단계;
(d) 제어부가 상기 검출된 자차선에 근거해 차선의 폭을 인식하여 상기 전방 영상에서 차선 ROI(Region Of Interest)를 설정하고, 상기 검출된 구조물에 대해 위치를 인식하여 구조물 ROI를 설정하는 단계;
(e) 제어부가 상기 차선 ROI 및 상기 구조물 ROI에 따라 주변차선 관심영역(ROI)을 설정한 후, 상기 주변차선 관심영역에 근거해 주변 차선을 인식하는 단계;
를 포함하는 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 10 항에 있어서,
상기 (c) 단계에서 상기 구조물 검출부는, 상기 검출된 차선을 기준으로 차선의 바깥쪽에 있는 구조물 또는 도로 외곽에 있는 구조물을 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 10 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 차선 ROI 및 상기 구조물 ROI에 따라 자차선과 구조물을 제외하고 상기 주변차선 관심영역(ROI)에 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 10 항에 있어서,
상기 (c) 단계에서 구조물 검출부는, 상기 획득된 전방 영상에서 차량의 속도와 요 레이트(yaw rate)를 이용해 중심점의 이동 변화가 있는 구조물을 표지판으로 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 시스템.
제 13 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 차량의 속도와 요 레이트(yaw rate)에 따른 중심점의 이동을 계산하여 상기 표지판의 위치를 인식하고, 상기 표지판의 위치 정보를 이용하여 상기 표지판의 주변에 차선이 존재하는 원리에 따라 상기 전방 영상에서 상기 표지판을 중심으로 일정 영역에 대해 주변차선 ROI로 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 10 항에 있어서,
상기 (c) 단계에서 상기 구조물 검출부는, 상기 전방 영상에서 단노출 영상과 장노출 영상을 구분하고, 장노출 영상에서 연속된 광원이 아니고 일정 간격으로 줄지어 있는 구조물에 대해 시선유도 시설물(Delineator)로 검출하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 15 항에 있어서,
상기 (e) 단계에서 상기 제어부는 상기 검출된 시선유도 시설물의 위치 정보를 이용하여 상기 전방 영상에서 상기 시선유도 시설물을 중심으로 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 10 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 검출된 구조물이 상기 검출된 차선의 바깥쪽에 존재하는 경우에, 기둥 부분의 연속된 세로 엣지(Edge)가 일정 개수 이상이면 가드레일(Guardrail)로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.
제 17 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 가드레일의 위치 정보를 이용하여 주변차선 ROI를 설정하고, 상기 주변차선 ROI에서 상기 자차선을 제외한 다른 차선이 존재하는 경우에 다른 차선을 주변 차선으로 인식하는, 구조물 위치 정보를 이용한 주변 차선 인식 방법.