KR101723536B1 - 도로에서의 차선 검출 방법 및 장치 - Google Patents

도로에서의 차선 검출 방법 및 장치 Download PDF

Info

Publication number
KR101723536B1
KR101723536B1 KR1020150162850A KR20150162850A KR101723536B1 KR 101723536 B1 KR101723536 B1 KR 101723536B1 KR 1020150162850 A KR1020150162850 A KR 1020150162850A KR 20150162850 A KR20150162850 A KR 20150162850A KR 101723536 B1 KR101723536 B1 KR 101723536B1
Authority
KR
South Korea
Prior art keywords
lane
image
time
point
detecting
Prior art date
Application number
KR1020150162850A
Other languages
English (en)
Inventor
설상훈
정순홍
윤준식
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020150162850A priority Critical patent/KR101723536B1/ko
Application granted granted Critical
Publication of KR101723536B1 publication Critical patent/KR101723536B1/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

도로에서의 차선 검출 방법이 개시된다. 본 발명의 일 실시예에 따른 차선 검출 방법은 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계; 상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계; 상기 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출하는 단계; 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출하는 단계; 및 상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함한다.

Description

도로에서의 차선 검출 방법 및 장치{Method and Apparatus for detecting lane of road}
본 발명은 차선 검출에 관한 것으로, 특히 동영상 분석에 기초한 도로에서의 차선 검출 방법 및 장치에 관한 것이다.
최근 효율적인 차선 검출을 기반으로하는 차선 이탈 경보, 도로 표지판 인식 등의 스마트 드라이빙 보조 시스템들이 널리 보급되고 있다.
종래의 차선 검출 방법들은 차선과 유사한 형태의 노이즈가 존재하거나 차선이 유실되는 경우 차선을 구분하는데 어려움이 있었다.
따라서, 차선과 유사한 형태의 노이즈가 존재하거나 차선이 유실되는 경우에도 명확히 차선을 구분할 수 있는 차선 검출 방법에 대한 연구의 필요성이 대두되고 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2010-1236223호(발명의 명칭: 차선 검출 방법, 공개일자: 2012년 9월 5일)가 있다.
본 발명의 일 실시예의 목적은 차선이 유실된 경우나 차선과 유사한 노이즈가 존재하는 환경에서도 명확하게 차선을 검출할 수 있는 차선 검출 방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차선 검출 방법은 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계; 상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계; 상기 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출하는 단계; 상기 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출하는 단계; 및 상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함한다.
바람직하게는, 본 발명의 일 실시예에 따른 차선 검출 방법은 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 단계를 더 포함하고, 상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계는 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계를 포함할 수 있다.
바람직하게는, 상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는 하기 수학식 4에 따른 움직임 보정에 기초하여 수행될 수 있다.
[수학식 4]
Figure 112015113174232-pat00001
여기서, O(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고, k는 -wR 과 wR 사이에서의 가로 축의 이동 변위를 나타내고, SAD(k,t)는 시간 t에서의 라인 이미지가 시간 t-1의 라인 이미지에 비해 k만큼 이동하였을 때, 시간 t와 시간 t-1에서의 연속되는 라인 이미지의 픽셀값 또는 그레디언트(gradient)값에 대한 차이 절대 값의 합(sum of absolute difference)을 나타냄.
바람직하게는, 상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 단계를 더 포함하고, 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계는 상기 이진화된 이미지에 허프 변환을 적용하여 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하고, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들은 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들일 수 있다.
바람직하게는, 상기 적어도 하나의 시공간 이미지를 생성하는 단계는 상기 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성할 수 있다.
바람직하게는, 상기 시공간 이미지는 상기 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성될 수 있다.
바람직하게는,
상기 복수의 차선 포인트를 검출하는 단계는 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들이 검출되면, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들 중에서 상기 현재 시점에 대응되는 라인 이미지에 속하는 픽셀들 각각에서의 중간 지점에 해당하는 중간지점픽셀을 상기 차선 포인트로서 검출하고, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들 중 적어도 하나가 검출되지 않으면, 상기 현재 시점에 대응되는 라인 이미지와 상기 2개의 직선간의 교점들 중 적어도 하나를 상기 차선 포인트로서 검출할 수 있다.
바람직하게는, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들을 검출하는 단계는 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들로 검출된 픽셀들 중에서 현재 시점 직전의 이미지 프레임에서의 상기 차선 패턴의 픽셀 값과 상이한 픽셀 값을 가지는 픽셀을 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들로부터 제외시키는 단계를 더 포함할 수 있다.
바람직하게는, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들은 상기 검출된 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들이 임계치 이상 연결된 경우에 한하여 상기 제1 후보 픽셀들 및 제2 후보 픽셀들로서 검출할 수 있다.
바람직하게는, 상기 차선을 검출하는 단계는 상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 단계; 상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 단계; 및 상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 단계를 포함할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 차선 검출 장치는 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 시공간 이미지 생성부; 상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하고, 상기 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출하는 후보 검출부; 상기 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출하는 포인트 검출부; 및 상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 차선 검출부를 포함한다.
바람직하게는, 상기 후보 검출부는 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 보정부; 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 직선 검출부; 및 상기 검출된 차선 패턴에 대응되는 2개의 직선 각각을 기준으로 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들인 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들을 검출하는 후보픽셀 검출부를 포함할 수 있다.
바람직하게는, 상기 직선 검출부는 상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 이진화 처리부; 및 상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 2개의 직선을 검출하는 허프 변환부;를 포함할 수 있다.
바람직하게는, 상기 차선 검출부는 상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 판단부; 상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 설정부; 및 상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 차선 처리부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 차선이 유실된 경우나 차선과 유사한 노이즈가 존재하는 환경에서도 차선을 명확하게 검출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다. 도 5는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 이용하여 검출된 차선의 예시를 도시한 것이다.
도 9는 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 이용하여 검출된 차선의 예시를 도시한 것이다.
도 11은 본 발명에 따른 차선 검출 방법을 차량의 차선 변경이 있는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 12는 본 발명에 따른 차선 검출 방법을 과속 방지턱이 존재하는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 13은 본 발명에 따른 차선 검출 방법을 빛솟구침 현상이 발생한 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 14는 본 발명에 따른 차선 검출 방법을 유실된 차선이 존재하는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 15는 본 발명에 따른 차선 검출 방법을 전방에 장애물이 나타난 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 차선 검출 장치를 설명하기 위하여 도시한 도면이다.
도 17은 본 발명의 일 실시예에 따른 후보 검출부를 설명하기 위하여 도시한 도면이다.
도 18은 본 발명의 일 실시예에 따른 직선 검출부를 설명하기 위하여 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따른 차선 검출부를 설명하기 위하여 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 방법을 설명하기 위하여 도시한 흐름도이다.
단계 110에서는, 차선 검출 장치가 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성한다.
이때, 시공간 이미지는 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성할 수 있는데, 이에 대한 구체적인 설명은 도 2를 참조하여 후술한다. 이때, 제1 방향은 세로 방향(y축 방향) 또는 대각선 방향일 수 있다.
단계 120에서는, 차선 검출 장치가 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출한다.
단계 130에서는, 차선 검출 장치가 그 검출된 2개의 직선으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출한다.
이때, 제1 후보 픽셀들은 좌측의 차선 패턴에 대응되는 직선으로부터 수평 방향으로 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들을 말하고, 제2 후보 픽셀들은 우측의 차선 패턴에 대응되는 직선으로부터 수평 방향으로 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들을 말한다.
다른 실시예에서는, 단계 120에서 차선 패턴에 대한 직선화가 더 수행될 수 있는데, 이에 대하여 구체적으로 설명하면 다음과 같다.
첫 번째 단계에서, 차선 검출 장치는 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성한다.
두 번째 단계에서, 차선 검출 장치는 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출한다.
세 번째 단계에서, 차선 검출 장치는 그 보정 시공간 이미지에서 검출된 2개의 직선을 중심으로 소정 거리 이내에 위치하는 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출한다.
한편, 이에 대한 구체적인 실시예는 도 6을 참조하여 후술한다.
이때, 보정 시공간 이미지는 시공간 이미지를 구성하는 복수의 라인 이미지들 중에서 인접하는 라인 이미지들간에 움직임 보정을 적용함으로써 생성될 수 있다.
이와 같이, 차선 패턴에 대해 직선화하는 보정을 수행하여 보정 시공간 이미지를 생성하는 이유는 운전자가 차선을 변경하거나 도로를 촬영하는 카메라가 흔들리거나 차량의 떨림이 발생함으로써 차선 검출이 어려운 상황에서도 명확히 차선을 검출하기 위해서이다. 보정 시공간 이미지와 관련된 구체적인 설명은 도 3을 참조하여 후술한다.
단계 140에서는, 차선 검출 장치가 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출한다.
한편, 본 발명의 일 실시예에 따른 복수의 차선 포인트들을 검출하는 과정은 도 4, 도 5 및 도 6를 참조하여 후술한다.
단계 150에서는, 차선 검출 장치가 적어도 하나의 시공간 이미지 각각에서의 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출한다.
보다 구체적으로는, 본 발명의 일 실시예에서는 2개의 차선 포인트들의 좌표들과 차선 포인트들간의 거리를 추적하여 차선을 검출하게 된다.
종래에는 2개의 차선만을 추적하여 차선을 검출한 반면, 본 발명의 일 실시예는 차선 포인트들간의 거리가 일정하다는 점을 고려하여 차선을 검출함으로써 차선이 유실된 경우에도 차선을 명확하게 검출할 수 있는 효과가 있다. 이에 대해서는 도 7을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 2(a)를 참조하면 복수의 이미지 프레임들이 시간(t) 순서에 따라 겹쳐서 표시되어 있다. 이때, 이미지 프레임들 각각의 가로 축은 x이고 세로 축은 y이며, 각각의 이미지 프레임에서 빨간색으로 표시된 수평 라인(예컨대, y=y1의 위치에서의 수평 라인부터 y=yk의 위치까지의 수평 라인)이 설정되어 각각의 수평 라인에 해당하는 픽셀들을 포함하는 복수의 라인 이미지들이 이미지 프레임별로 시간 순서에 따라 저장되어 시공간 이미지가 생성된다.
예컨대, 시공간 이미지 생성 시점인 tc-tp+1의 시간에 해당하는 이미지 프레임의 y=y1의 위치에서의 수평 라인에 해당하는 라인 이미지가 최초로 저장된 후 시간 순서에 따라 현재 시점인 tc에 해당하는 이미지 프레임의 y=y1의 위치에서의 라인 이미지까지 순차적으로 라인 이미지들이 저장됨으로써 도 2(b)와 같이 y=y1에서의 시공간 이미지가 생성될 수 있다. 이때, tc는 현재 시간을 나타내고, tp는 과거 시간을 나타낸다. 도 2(c)는 이미지 프레임의 y=y3의 위치에서의 라인을 이용하여 생성된 시공간 이미지를 나타낸다.
예컨대, 시공간 이미지는 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간(tc-tp+1부터 현재 시간 tc까지) 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성될 수 있다.
한편, 도 2에서는 시공간 이미지 생성을 위한 수평 라인이 복수개가 설정된 경우에 대해 설명하였지만, 다른 실시예에서는 한개의 수평 라인만 설정되어 그에 대응되는 한개의 시공간 이미지가 생성될 수도 있다. 다만, 바람직하게는 3개 이상의 수평 라인이 설정되어 3개 이상의 시공간 이미지가 생성되는 것이 차선 검출에 있어 유리하다.
도 3은 본 발명의 일 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 3(a)는 차선 변경 도중의 시공간 이미지를 도시한 것이다.
도 3(b)는 도 3(a)의 시공간 이미지에게 적용될 보정 함수들의 그래프를 도시한 것으로서, 보정 함수 그래프의 가로축은 시간을 나타내고 세로축은 시간 순서에 따른 수평적인 움직임 변화 값을 나타낸다. 보다 구체적으로는, 도 3(b)의 보정 함수 그래프는 시공간 이미지 생성 시점인 tc-tp+1에 해당하는 라인 이미지부터 현재 시점인 tc에 해당하는 라인 이미지까지의 시공간 이미지를 구성하는 복수의 라인 이미지들에게 움직임 보정을 적용하여 시공간 이미지에 포함된 차선 패턴을 직선화하는 역할을 한다.
이때, 3(b)의 그래프로 도시된 보정 함수는 수학식 1 및 수학식 2에 의하여 정의될 수 있다.
I(x, y, t)가 시간 t에서 (x,y)의 좌표에 위치하는 픽셀 정보라고 할때, 시공간 이미지는 수학식 1과 같이 정의될 수 있다.
Figure 112015113174232-pat00002
이때, x는 시공간 이미지에서의 픽셀의 x 좌표를 나타내고, yk는 시공간 이미지에서의 픽셀의 y좌표가 yk로 고정되어 있음을 나타내고, IST는 y=yk일때의 시공간 이미지를 나타낸다.
또한, 보정 함수는 시공간 이미지에 대한 수학식 1을 이용하여 수학식 2와 같이 정의될 수 있다.
Figure 112015113174232-pat00003
이때, R(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고, X는 시공간 이미지의 가로 길이를 나타내고, k는 가로 축의 이동 변위를 나타낸다. 수학식 2에서는 argmin 후단의 수학식의 값을 최소 값으로 만드는 k 값을 찾게 되는데 k의 범위가 -X/10부터 +X/10 사이로 설정되어 있다. 이는 연속되는 이미지 프레임에서 차선의 경계가 갑자기 변하지 않는다는 점을 고려한 것이다.
결과적으로, 수학식 2와 같이 정의된 보정 함수를 수학식 1의 시공간 이미지에 적용하게 되면 수학식 3과 같이 보정 시공간 이미지가 정의될 수 있다.
Figure 112015113174232-pat00004
즉, 보정 시공간 이미지는 수학식 3에서와 같이 R(t)만큼 x의 좌표 값이 이동되어 생성된다.
도 4는 본 발명의 다른 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 4(a)는 도 2(a)의 시공간 이미지에게 적용될 보정 함수의 그래프를 도시한 것으로서, 보정 함수 그래프의 가로축은 시간을 나타내고 세로축은 시간 순서에 따른 수평적인 움직임 변화 값을 나타낸다.
도 4(b)는 도 2(a)의 시공간 이미지에게 보정 함수가 적용되어 생성된 보정 시공간 이미지를 나타낸다.
보다 구체적으로는, 도 4(a)의 보정 함수 그래프는 시공간 이미지 생성 시점인 tc-tp+1에 해당하는 라인 이미지부터 현재 시점인 tc에 해당하는 라인 이미지까지의 시공간 이미지를 구성하는 복수의 라인 이미지들에게 움직임 보정을 적용하여 시공간 이미지에 포함된 차선 패턴을 직선화하는 역할을 한다.
본 발명의 다른 실시예에 따르면 보정 함수가 시공간 이미지에 대한 수학식 1을 이용하여 수학식 4와 같이 정의될 수 있다.
Figure 112015113174232-pat00005
여기서, O(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고, k는 -wR 과 wR 사이에서의 가로 축의 이동 변위를 나타내고, SAD(k,t)는 시간 t에서의 라인 이미지가 시간 t-1의 라인 이미지에 비해 k만큼 이동하였을 때, 시간 t와 시간 t-1에서의 연속되는 라인 이미지의 픽셀값 또는 그레디언트(gradient)값에 대한 차이 절대 값의 합(sum of absolute difference)을 나타낸다.
다만, 현재 시간 t=tc 에서 SAD(O(tc), tc)의 최소 값이 임계치 td보다 크면 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값은 O(t) 대신 이전 프레임에서 예측된 움직임 변화 값을 사용할 수 있다.
또한, 다른 실시예에서는 수학식 4와 같이 정의된 보정 함수를 수학식 1의 시공간 이미지에 적용하게 되면 수학식 5과 같이 보정 시공간 이미지가 정의될 수 있다.
Figure 112015113174232-pat00006
즉, 다른 실시예에서는 보정 시공간 이미지는 수학식 5에서와 같이 O(t)만큼 x의 좌표 값이 이동되어 생성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
단계 510에서는, 차선 검출 장치가 보정 시공간 이미지를 이진화된 이미지로 변환한다.
이에 따라, 보정 시공간 이미지에서 차선 패턴에 해당하는 픽셀들은 흰색 픽셀로 변환되고, 나머지 픽셀들은 검정색 픽셀로 변환될 수 있다.
이때, 본 발명의 일 실시예에서는 보정 시공간 이미지를 구성하는 라인 이미지 각각에 대해 수학식 6과 같이 1차원 가우시안 함수의 평균값을 사용하여 이진화 이미지를 생성할 수 있다.
Figure 112015113174232-pat00007
이때, A는 진폭,
Figure 112015113174232-pat00008
는 평균,
Figure 112015113174232-pat00009
는 표준편차, b는 가우시안 함수의 오프셋을 나타낸다. 여기서, 가우시안함수 g(x)는 시간 t에 대하여 W의 크기를 가지는 슬라이딩 윈도우안에서 정의되는데, 가우시안 함수 오프셋 b는 슬라이딩 윈도우 안에서 최소값을 빼줌으로써 생략될 수도 있다.
다른 실시예에서는, 이진화된 이미지에 포함된 차선 패턴이 수학식 6과 같은 가우시안 함수의 평균 값을 이용하여 만들어지는 경우 차선 패턴이 부드럽게 표시되지 않는 점을 보완하기 위해 팽창 모폴로지(dilation morphology)를 더 적용할 수도 있다.
또한, 또 다른 실시예에서는 이진화 이미지에 시공간 이미지에서 직접 2차원 가우시안 필터와 적응적 임계값을 적용한 후, opening 이나 closing 같은 모폴로지 방법을 더 적용할 수도 있다.
단계 520에서는, 차선 검출 장치가 그 이진화된 이미지에 허프 변환을 적용하여 차선 패턴에 대응되는 직선들을 검출한다.
이때, 허프 변환을 적용할 때 각도가 80도 내지 100도에 해당하는 직선들만을 검출할 수도 있다. 이는, 차선이 수직 방향으로 배열되어 있다는 점을 고려한 것으로 이를 통해 허프 변환의 연산량을 줄일 수 있다.
단계 530에서는, 차선 검출 장치가 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출한다.
도 5의 실시예에 따라 차선 포인트를 검출하여 차선을 검출하게 되면 빛솟구침 현상과 같은 차선과 유사한 형태의 노이즈가 존재하더라도 차선을 명확히 검출할 수 있게 되는 효과가 있다.
도 6은 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
단계 610에서는, 차선 검출 장치가 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성한다.
단계 620에서는, 차선 검출 장치가 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출한다.
단계 630에서는, 차선 검출 장치가 그 검출된 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출한다.
이때, 제1 후보 픽셀들 및 제2 후보 픽셀들은 흰색 픽셀일 수 있다.
다른 실시예에서는, 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들이 임계치 이상 연결된 경우에 한하여 제1 후보 픽셀들 및 제2 후보 픽셀들로서 검출되고, 임계치 미만일 경우에는 제1 후보 픽셀들 및 제2 후보 픽셀들에서 제외시킬 수 있다.
다만, 차선 패턴에 대응되는 흰색 픽셀들 중에는 차선과 색상이 비슷한 노이즈 같은 것들이 있을 수 있기 때문에, 제1 후보 픽셀들과 제2 후보 픽셀들로 검출된 픽셀들 중에서 현재 시점에 대응되는 이미지 프레임의 직전 프레임에서 검출이 되었던 차선포인트의 픽셀 값과 비교하여 픽셀 값이 상이한 픽셀들(노이즈에 해당하는 픽셀들)은 제1 후보 픽셀들 또는 제2 후보 픽셀들에서 제외시키는 과정이 더 수행될 수 있다.
한편, 다른 실시예에서는 단계 610과 단계 620 사이에 적어도 하나의 보정 시공간 이미지를 이진화된 이미지로 변환하는 단계가 더 수행될 수 있고, 단계 620에서는 그 이진화된 이미지에 허프 변환을 적용하여 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출할 수 있다. 이 경우에는, 제1 후보 픽셀들 및 제2 후보 픽셀들은 그 검출된 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들로 구성될 수 있다.
단계 640에서는, 차선 검출 장치가 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출한다.
보다 구체적으로는, 차선 검출 장치는 제1 후보 픽셀들 및 제2 후보 픽셀들이 검출되면 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 현재 시점에 대응되는 라인 이미지에 속하는 픽셀들 각각에서의 중간 지점에 해당하는 중간지점픽셀을 차선 포인트로서 검출하고, 제1 후보 픽셀들 및 제2 후보 픽셀들 중 적어도 하나가 검출되지 않으면, 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들 중 적어도 하나를 차선 포인트로서 검출할 수 있다.
예컨대, 제1 후보 픽셀들 및 제2 후보 픽셀들이 검출되는 경우라면, 2개의 직선이 제1 후보 픽셀들 및 제2 후보 픽셀들 내에 위치하는 경우든 2개의 직선이 제1 후보 픽셀들 및 제2 후보 픽셀들 밖에 위치하는 경우든 무관하게, 차선 검출 장치는 그 제1 후보 픽셀들 및 제2 후보 픽셀들 각각에서의 중간 지점에 해당하는 중간지점픽셀을 차선 포인트로서 검출한다. 반면에, 제1 후보 픽셀들이 검출되지 않는 경우라면 차선 검출 장치는 현재 시점에 대응되는 라인 이미지와 좌측 직선간의 교점을 차선 포인트로서 검출하게 되고, 제2 후보 픽셀들이 검출되지 않는 경우라면 차선 검출 장치는 현재 시점에 대응되는 라인 이미지와 우측 직선간의 교점을 차선 포인트로서 검출하게 될 것이다. 한편, 보통의 정상적인 주행시에도 카메라가 미세하게 흔들리는데, 그럴 때도 피치각(pitch angle)이 변화하면서 직선화 과정에 있어서 에러가 발생하게 된다. 도 6의 실시예에 따라 차선 포인트를 검출하여 차선을 검출하게 되면, 근처의 장애물, 노면의 상태, 빛솟구침 현상과 같은 차선과 유사한 형태의 노이즈 때문에 직선화 과정에 있어서 에러가 발생하더라도 정확한 차선을 명확히 검출할 수 있게 되는 효과가 있다. 이렇게 검출된 차선 포인트들을 이용하여 다시 직선화 과정에 사용함으로써, 다음 프레임에서 차선을 검출하는데 도움을 줄 수 있다.
도 7은 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 7(a)에는 이진화된 이미지에 허프 변환이 적용됨으로써 이진화된 이미지 상에 차선 패턴에 대응되는 직선들이 도시되어 있는데, 그 직선들과 현재 시점 tc를 나타내는 수평선이 만나는 교점들이 차선 포인트들이 된다.
보다 구체적으로는, 도 7(a)에서는 차선 패턴에 대응되는 3개의 직선들이 하늘색으로 도시되어 있으므로 그 직선들과 현재 시점 tc를 나타내는 수평선이 만나는 교점들이 3개가 된다. 이 경우에는 차선 포인트를 3개로 설정하지 않고 이진화된 이미지의 현재 시점 tc를 나타내는 수평선에서의 중간 지점으로부터 가장 가까운 위치에 존재하는 2개의 직선에 포함된 픽셀들을 차선 포인트로서 검출하게 된다. 도 7(b)는 현재 시점 tc에 대응되는 이미지 프레임상에 도 7(a)에서 검출된 2개의 차선 포인트가 표시되어 있다.
도 8은 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 이용하여 검출된 차선의 예시를 도시한 것이다.
도 8에는 현재 시점 tc에 대응되는 이미지 프레임상에 5개의 빨간 점선과 5개의 차선포인트쌍들이 도시되어 있는데, 5개의 빨간 점선은 이미지 프레임상에서 5개의 수평 라인이 설정되었음을 나타내고 5개의 차선포인트쌍들은 그 5개의 수평 라인에 대응되는 차선포인트들을 나타낸다.
도 8에서 5개의 차선포인트쌍들은 현재 시점 tc에 대응되는 이미지 프레임에 표시되는데, RANSAC(RANdom SAmple Consensus) 알고리즘을 통하여 포물선에 가장 잘 피팅(fitting)된 지점들은 파란색으로 표시되어 있다. 한편, 도 8에서 복수의 차선 포인트들 각각을 수직 방향으로 잇는 빨간색 실선이 존재하는데, 이와 같은 빨간색 실선이 최종적으로 검출되는 차선이 된다.
도 9는 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 9(a)는 2차원 가우시안 필터를 시공간 이미지에 적용한 예를 나타낸다. 도 9(b)에는 이진화된 이미지에 허프 변환이 적용됨으로써 이진화된 이미지 상에 차선 패턴에 대응되는 직선들이 하늘색으로 표시되어 있는데, 그 하늘색 직선들과 현재 시점 tc를 나타내는 수평선이 만나는 교점들(파란색 원)을 기준으로 그 교점들에 인접하여 연결된 흰색 픽셀들의 중간 지점에 위치하는 2개의 흰색 픽셀이 각각 차선 포인트들이 된다.
예컨대, 도 9(b)의 우측에는 우측 차선 패턴이 확대되어 도시되어 있는데, 해당 도면에서는 우측 차선에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 교점에 해당하는 흰색 픽셀이 파란색 원으로 표시되어 있고, 그 파란색 원에 인접하여 연결된 흰색 픽셀들인 제2 후보 픽셀 중에서 중간 지점에 위치하는 흰색 픽셀이 초록색으로 표시되어 있다.
도 9(c)는 현재 시점 tc에 대응되는 이미지 프레임상에 도 9(b)에서 검출된 2개의 차선 포인트가 초록색 점으로 표시되어 있다.
도 10은 본 발명의 다른 실시예에 따른 차선 포인트 검출 방법을 이용하여 검출된 차선의 예시를 도시한 것이다.
도 10에는 현재 시점 tc에 대응되는 7개의 차선포인트쌍들이 도시되어 있는데, 초록색으로 표시된 차선 포인트는 제1 후보 픽셀 또는 제2 후보 픽셀 중에서 중간 지점에 위치하는 흰색 픽셀이 차선 포인트로 선정된 경우를 나타내고, 파란색으로 표시된 차선 포인트는 보정 시공간 이미지에서 차선 패턴에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 교점이 차선 포인트로서 검출된 경우를 나타낸다.
이때, 7개의 차선포인트쌍들은 weighted least square 또는 RANSAC (RANdom Sample Consensus)알고리즘들을 통하여 포물선 또는 3차원 곡선에 피팅 (fitting)시킬 수 있다. 바람직하게는, 보다 정확한 차선 피팅을 위하여 초록색으로 표시된 차선 포인트의 가중치(weight)는 0.75로, 파란색으로 표시된 차선포인트의 가중치(weight)는 0.25를 주고 곡선에 피팅할 수 있다.
만일 더욱 복잡한 차선이 도로에 나타난다면, 본 알고리즘은 수평 라인의 개수를 늘림으로써 쉽게 확장할 수 있다. 한편, 도 10에서 복수의 차선 포인트들 각각을 잇는 빨간색 실선이 존재하는데, 이와 같은 빨간색 실선이 최종적으로 검출되는 차선이 된다.
도 11은 본 발명에 따른 차선 검출 방법을 차량의 차선 변경이 있는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
만일 운전자가 차선을 변경하면, 차선 포인트들의 경로는 기울어지거나 곡선 형태로 나타난다.
도 11(a)에 있는 시공간 이미지는 도 11(b)의 보정된 시공간 이미지로 변환되기 때문에, 차선이 변경되는 구간 (도 11의 Ia 와 Ib)에서 차선 포인트들의 경로가 기울어져 있음에도 불구하고 차선 포인트들이 직선으로 보정됨을 알 수 있다.
도 11(c)는 허프 변환을 이용하여 차선 포인트를 찾은 결과를 보여준다. 도 11(c)를 참조하면, 빨간색으로 표시된 수평 라인의 중간 지점과 초록색과 노란색으로 표시된 차선 포인트들을 비교함으로써 차선변환이 있었음을 명확히 확인할 수 있다.
도 12는 본 발명에 따른 차선 검출 방법을 과속 방지턱이 존재하는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 12는 좌측 차선이 확실히 보이지 않고, 우측 차선만 정확히 보이는 상태에서 과속 방지턱 때문에 급격하게 피치각(pitch angle)이 변화하게 되는 상황에서 본 발명의 일 실시예에 따른 차선 검출 방법을 적용한 예시이다.
도 12(a)는 일반적인 상황에서의 입력 영상, 도 12(b)는 차량이 과속 방지턱을 올라갈 때의 입력 영상, 도 12(c)는 차량이 과속 방지턱을 내려갈 때의 입력 영상을 나타낸다.
또한, 도 12(d), (e), (f)는 종래 기술을 사용하여 만든 IPM (Inverse Perspective Transform) 이미지이고, 도 12(g), (h), (i)는 시공간 이미지, 도 8(j), (k), (l)은 보정된 시공간 이미지, 도 12(m), (n), (o)는 이진화 이미지를 나타낸다.
한편, 도 12(k), (l)을 참조하면, 우측 차선을 기준으로 보정이 되었기 때문에, 좌측 차선 검출에 있어서 약간의 에러가 발생한다.
도 12(e), (f)를 참조하면, IPM 이미지의 경우 피치각에 매우 민감하게 변화함을 알 수 있다. 따라서, 종래 기술의 경우에는 피치각이 급격히 변하지 않더라도 정확한 차선을 검출할 수 없다는 문제점이 있다.
하지만, 본 발명의 일 실시예에 따르면 과속방지턱이 끝나자마자 차선검출을 정확히 수행한다. 만일, 양쪽 차선이 명확히 식별 가능하거나 피치각이 급격하게 변화하지 않는다면 본 발명의 일 실시예는 보다 정확하게 차선을 검출할 수 있을 것이다.
도 13은 본 발명에 따른 차선 검출 방법을 빛솟구침 현상이 발생한 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 13(a)는 빛솟구침 현상이 발생한 입력 영상을 나타내는데, E1 과 E2는 각각 자동차와 가로등에 의해 발생된 빛솟구침을 나타낸다. 또한, 도 13(a)에서 빨간색 점선은 시공간 패턴을 만들기 위한 수평 라인을 나타내고, 보라색 박스는 종래기술을 사용하여 IPM 이미지를 만들기 위한 ROI (region of interest)를 나타낸다.
도 13(b) 및 도 13(c)는 종래 기술을 사용하여 만든 IPM 이미지와 그에 대응되는 이진화 이미지를 나타낸다.
도 13(d) 및 도 13(e)는 수평 라인 y=y7을 이용하여 만든 시공간 이미지와 그에 대응되는 이진화 이미지를 나타낸다.
도 13(f) 및 도 13(g)는 수평 라인 y=y1을 이용하여 만든 시공간 이미지와 그에 대응되는 이진화 이미지를 나타낸다.
도 13(d) 및 도 13(f)를 참조하면, 시공간 이미지에서 빛솟구침 현상은 곡선으로 나타나고, 차선은 직선으로 나타나기 때문에, 본 발명의 일 실시예에 따르면 2 개의 평행한 직선을 검출함으로써 정확하게 차선을 검출할 수 있다.
더 나아가, 본 발명의 다른 실시예에 따르면 검출한 직선과 수평라인의 교점을 기준으로, 교점을 포함해서 인접하여 연결된 흰색 픽셀들 중 중간 지점에 위치하는 흰색 픽셀을 차선 포인트로 검출하기 때문에, 시공간 패턴의 직선화 과정에서 에러가 생기더라도 정확한 차선 포인트를 검출 할 수 있다.
반면, 종래 기술의 IPM 이미지에서는 도 12(c)에서 보듯이 빛솟구침과 차선 모두 직선으로 나타나고 있어서 정확한 차선 검출이 어렵다는 것을 알 수 있다.
도 14는 본 발명에 따른 차선 검출 방법을 유실된 차선이 존재하는 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 14(a)는 차선이 유실된 형태를 가진 도로에 대한 이미지 프레임으로서 왼쪽의 차선은 선명하지만 오른쪽 차선은 일부가 유실되어 차선이 불분명한 것을 알 수 있다.
도 14(b)에는 종래 기술에 의해 검출된 차선이 도시되어 있는데 왼쪽 차선은 제대로 검출하였지만 일부 유실된 오른쪽 차선은 제대로 검출하지 못하고 실제 오른쪽 차선보다 더 오른쪽의 위치에서 차선을 검출한 것을 알 수 있다.
도 14(c)는 본 발명의 일 실시예에 따라 검출된 차선이 도시되어 있는데 오른쪽 차선이 일부 유실되었음에도 불구하고 왼쪽 차선과 오른쪽 차선을 모두 정확히 검출한 것을 알 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따라 유실된 차선이 존재하는 경우의 차선 검출 방법을 설명하면 다음과 같다.
먼저, 차선 검출 장치가 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단한다.
다음으로, 차선 검출 장치가 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정한다.
이때, 차선 포인트들간의 거리를 이용하여 제2 차선 포인트를 설정하는 이유는 시공간 이미지에 기초하여 차선을 검출하는 본 발명에 따르면 차선 포인트들간의 거리는 시간이 지나더라도 계속 동일한 거리를 유지하기 때문이다.
마지막으로, 차선 검출 장치가 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리를 추적하여 차선을 검출하게 된다.
이때, 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리는 칼만 필터와 같은 추적 알고리즘을 이용하여 추적될 수 있다.
한편, 본 발명의 다른 실시예에서는 유실된 차선이 존재(추적이 불가능한 차선 포인트가 존재)한다고 판단되면, 차선 포인트들간의 거리를 사용하는 대신 보정 시공간 이미지에서 차선 패턴에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 교점을 차선 포인트로 결정할 수도 있다.
도 14(c)에서 파란색으로 표시된 차선 포인트는 보정 시공간 이미지에서 차선 패턴에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 교점을 유실된 차선에 대응되는 차선 포인트로 결정하여 표시한 것이다.
도 15는 본 발명에 따른 차선 검출 방법을 전방에 장애물이 나타난 경우에 적용한 예시를 설명하기 위하여 도시한 도면이다.
도 15(a)는 전방에 장애물이 나타난 경우에 대한 입력 영상으로, 점선으로 되어있는 초록색 원이 장애물을 나타낸다.
도 15(b)는 수평 라인 y=y7에서의 시공간 이미지를 나타내고, 도 15(c)는 보정된 시공간 이미지를 나타내며, 도 15(d)는 차선 패턴에 대응되는 하늘색 직선이 표시된 이진화 이미지를 나타내고, 도 15(e)는 도 15(d)에서 검출된 차선 포인트 부분을 확대한 이미지이다. 한편, 도 15에서 움직임 보정 값을 구하는데 필요한 영역은 노란색 라인으로 둘러쌓여 있는 부분이며, 노란색 라인으로 둘러쌓여 있는 부분만 움직임 보정 값 연산에 이용된다.
도 15(d)에서 Ic는 장애물에 의하여 직선화 과정에서 에러가 생긴 부분을 나타내는데, 이러한 에러 때문에 도 15(e)의 좌측 차선을 보면, 좌측의 하늘색 직선이 실제의 차선 패턴과 떨어져서 표시되어 있음을 확인할 수 있다.
이때, 본 발명은 좌측의 하늘색 직선 위에 표시된 파란색으로 표시된 교점이 아닌 그 좌측 직선과 소정 거리 이내에 위치하는 흰색 픽셀들이 인접하여 연결된 제1 후보 픽셀들에서의 중간지점픽셀(초록색으로 표시된 원)을 차선 포인트로 설정하기 때문에 보다 정확하게 차선을 검출할 수 있다.
여기서, 교점은 전술한 바와 같이 보정 시공간 이미지에서 차선 패턴에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 지점을 의미한다.
한편, 우측 차선의 경우 전방의 장애물에 의해서 차선이 보이지 않기 때문에 파란색으로 표시된 교점을 차선 포인트로 결정하였음을 알 수 있다. 그러나 좌측, 우측 차선이 모두 장애물에 의해서 일정 시간동안 전혀 안보일 경우에는 본 발명의 일 실시예는 차선포인트를 검출하기 위한 프로세스를 처음부터 다시 시작한다.
도 16은 본 발명의 일 실시예에 따른 차선 검출 장치를 설명하기 위하여 도시한 도면이다.
도 16을 참조하면, 본 발명의 일 실시예에 따른 차선 검출 장치는 시공간 이미지 생성부(1610), 후보 검출부(1620), 포인트 검출부(1630) 및 차선 검출부(1640)를 포함한다.
시공간 이미지 생성부(1610)는 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성한다.
후보 검출부(1620)는 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하고, 그 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출한다.
포인트 검출부(1630)는 현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트들을 검출한다.
차선 검출부(1640)는 적어도 하나의 시공간 이미지 각각에서의 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출한다.
도 17은 본 발명의 일 실시예에 따른 후보 검출부를 설명하기 위하여 도시한 도면이다.
도 17를 참조하면, 본 발명의 일 실시예에 따른 후보 검출부(1620)는 보정부(1622), 직선 검출부(1624) 및 후보픽셀 검출부(1626)를 포함할 수 있다.
보정부(1622)는 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성한다.
직선 검출부(1624)는 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출한다.
후보픽셀 검출부는(1626)는 그 검출된 차선 패턴에 대응되는 2개의 직선 각각을 기준으로 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출한다.
다른 실시예에서는, 직선 검출부(1624)가 세부 구성요소를 더 포함할 수 있는데, 이에 대해서는 도 18을 참조하여 후술한다.
도 18은 본 발명의 일 실시예에 따른 직선 검출부를 설명하기 위하여 도시한 도면이다.
도 18을 참조하면, 본 발명의 일 실시예에 따른 직선 검출부(1624)는 이진화 처리부(1624a) 및 허프 변환부(1624b) 를 포함한다.
이진화 처리부(1624a)는 보정 시공간 이미지를 이진화된 이미지로 변환한다.
허프 변환부(1624b)는 그 이진화된 이미지에 허프 변환을 적용하여 차선 패턴에 대응되는 2개의 직선을 검출한다.
도 19는 본 발명의 일 실시예에 따른 차선 검출부를 설명하기 위하여 도시한 도면이다.
도 19를 참조하면, 본 발명의 일 실시예에 따른 차선 검출부(1640)는 판단부(1642), 설정부(1644) 및 차선 처리부(1646)를 포함한다.
판단부(1642)는 포인트 검출부(1630)의 차선 포인트 검출 결과에 기초하여 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단한다.
예컨대, 포인트 검출부(1630)가 y=yk에 대응되는 시공간 이미지에서 현재 시점인 tc에서의 차선 포인트를 검출하고자 하는데 하나의 차선 포인트만 검출하고 나머지 하나의 차선 포인트는 차선 유실 등으로 인해서 검출하지 못하였다면, 판단부(1642)는 포인트 검출부(1630)가 한 개의 차선 포인트만을 검출하였음에 기초하여 추적이 불가능한 차선 포인트가 존재하는 것으로 판단하게 된다.
설정부(1644)는 판단부(1642)를 통해 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정한다.
차선 처리부(1646)는 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리를 추적하여 차선을 검출한다.
한편, 다른 실시예에서는 차선 처리부(1646)가 보정 시공간 이미지에서 차선 패턴에 대응되는 직선과 현재 시점 tc를 나타내는 수평선이 만나는 교점을 유실된 차선에 대한 차선 포인트로 결정할 수도 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계;
    상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계;
    상기 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출하는 단계;
    현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출하는 단계; 및
    상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 단계를 더 포함하고,
    상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계는 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는
    하기 수학식 4에 따른 움직임 보정에 기초하여 수행되는 것을 특징으로 하는 차선 검출 방법.
    [수학식 4]
    Figure 112015113174232-pat00010

    여기서, O(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고, k는 -wR 과 wR 사이에서의 가로 축의 이동 변위를 나타내고, SAD(k,t)는 시간 t에서의 라인 이미지가 시간 t-1의 라인 이미지에 비해 k만큼 이동하였을 때, 시간 t와 시간 t-1에서의 연속되는 라인 이미지의 픽셀값 또는 그레디언트(gradient)값에 대한 차이 절대 값의 합(sum of absolute difference)을 나타냄.
  4. 제2항에 있어서,
    상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 단계를 더 포함하고,
    상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 단계는
    상기 이진화된 이미지에 허프 변환을 적용하여 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하고,
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들은 상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들인 것을 특징으로 하는 차선 검출 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 시공간 이미지를 생성하는 단계는
    상기 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성하는 것을 특징으로 하는 차선 검출 방법.
  6. 제1항에 있어서,
    상기 시공간 이미지는
    상기 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성되는 것을 특징으로 하는 차선 검출 방법.
  7. 제2항에 있어서,
    상기 복수의 차선 포인트를 검출하는 단계는
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들이 검출되면, 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들 중에서 상기 현재 시점에 대응되는 라인 이미지에 속하는 픽셀들 각각에서의 중간 지점에 해당하는 중간지점픽셀을 상기 차선 포인트로서 검출하고,
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들 중 적어도 하나가 검출되지 않으면, 상기 현재 시점에 대응되는 라인 이미지와 상기 2개의 직선간의 교점들 중 적어도 하나를 상기 차선 포인트로서 검출하는 것을 특징으로 하는 차선 검출 방법.
  8. 제1항에 있어서,
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들을 검출하는 단계는
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들로 검출된 픽셀들 중에서 현재 시점 직전의 이미지 프레임에서의 상기 차선 패턴의 픽셀 값과 상이한 픽셀 값을 가지는 픽셀을 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들로부터 제외시키는 단계를 더 포함하는 것을 특징으로 하는 차선 검출 방법.
  9. 제1항에 있어서,
    상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들은
    상기 검출된 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들이 임계치 이상 연결된 경우에 한하여 상기 제1 후보 픽셀들 및 제2 후보 픽셀들로서 검출하는 것을 특징으로 하는 차선 검출 방법.
  10. 제1항에 있어서,
    상기 차선을 검출하는 단계는
    상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 단계;
    상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 단계; 및
    상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  11. 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 시공간 이미지 생성부;
    상기 적어도 하나의 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하고, 상기 2개의 직선 각각으로부터 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 소정 범위의 픽셀값을 가지는 픽셀들인 제1 후보 픽셀들 및 제2 후보 픽셀들을 검출하는 후보 검출부;
    현재 시점에 대응되는 라인 이미지와 2개의 직선간의 교점들, 현재 시점에 대응되는 라인 이미지에 속하는 제1 후보 픽셀들 및 제2 후보 픽셀들 중에서 복수의 차선 포인트를 검출하는 포인트 검출부; 및
    상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 차선 검출부를 포함하는 것을 특징으로 하는 차선 검출 장치.
  12. 제11항에 있어서,
    상기 후보 검출부는
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 보정부;
    상기 적어도 하나의 보정 시공간 이미지에서 차선 패턴에 대응되는 2개의 직선을 검출하는 직선 검출부; 및
    상기 검출된 차선 패턴에 대응되는 2개의 직선 각각을 기준으로 소정 거리 이내에 위치하는 상호간에 인접하여 연결된 흰색을 가지는 픽셀들인 상기 제1 후보 픽셀들 및 상기 제2 후보 픽셀들을 검출하는 후보픽셀 검출부를 포함하는 것을 특징으로 하는 차선 검출 장치.
  13. 제12항에 있어서,
    상기 직선 검출부는
    상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 이진화 처리부; 및
    상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 2개의 직선을 검출하는 허프 변환부;
    를 포함하는 것을 특징으로 하는 차선 검출 장치.
  14. 제11항에 있어서,
    상기 차선 검출부는
    상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 판단부;
    상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 설정부; 및
    상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 차선 처리부를 포함하는 것을 특징으로 하는 차선 검출 장치.
KR1020150162850A 2015-11-19 2015-11-19 도로에서의 차선 검출 방법 및 장치 KR101723536B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150162850A KR101723536B1 (ko) 2015-11-19 2015-11-19 도로에서의 차선 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150162850A KR101723536B1 (ko) 2015-11-19 2015-11-19 도로에서의 차선 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101723536B1 true KR101723536B1 (ko) 2017-04-05

Family

ID=58587043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150162850A KR101723536B1 (ko) 2015-11-19 2015-11-19 도로에서의 차선 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101723536B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882683B1 (ko) 2017-07-13 2018-07-30 한국건설기술연구원 Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법
US10853667B2 (en) 2017-12-29 2020-12-01 Samsung Electronics Co., Ltd. Method and apparatus with linearity detection
KR20220039450A (ko) * 2020-09-22 2022-03-29 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
KR102650906B1 (ko) * 2022-11-11 2024-03-27 이인텔리전스 주식회사 차선 검출 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050233A (ko) * 2013-10-31 2015-05-08 한국과학기술원 차선 검출 장치
KR20150086789A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 기반의 차선 인식 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050233A (ko) * 2013-10-31 2015-05-08 한국과학기술원 차선 검출 장치
KR20150086789A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 기반의 차선 인식 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882683B1 (ko) 2017-07-13 2018-07-30 한국건설기술연구원 Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법
US10853667B2 (en) 2017-12-29 2020-12-01 Samsung Electronics Co., Ltd. Method and apparatus with linearity detection
KR20220039450A (ko) * 2020-09-22 2022-03-29 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
KR102476701B1 (ko) * 2020-09-22 2022-12-12 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
KR102650906B1 (ko) * 2022-11-11 2024-03-27 이인텔리전스 주식회사 차선 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101621370B1 (ko) 도로에서의 차선 검출 방법 및 장치
US8447069B2 (en) Apparatus and method for moving object detection
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP4919036B2 (ja) 移動物体認識装置
US7221779B2 (en) Object measuring apparatus, object measuring method, and program product
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
JP5136504B2 (ja) 物体識別装置
US11093762B2 (en) Method for validation of obstacle candidate
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
WO2003001473A1 (en) Vision-based collision threat detection system_
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
JP3603836B2 (ja) 道路白線認識装置
CN106228570A (zh) 一种真值数据确定方法和装置
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
JP5048609B2 (ja) 対象物追跡装置及びプログラム
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
JP4734568B2 (ja) 画像上移動物体計測点決定方法及び装置
Cario et al. Lane Detection and Tracking Problems in Lane Departure Warning Systems
JP6488226B2 (ja) 走路パラメータ推定装置及びプログラム
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4