KR101621370B1 - 도로에서의 차선 검출 방법 및 장치 - Google Patents

도로에서의 차선 검출 방법 및 장치 Download PDF

Info

Publication number
KR101621370B1
KR101621370B1 KR1020140105185A KR20140105185A KR101621370B1 KR 101621370 B1 KR101621370 B1 KR 101621370B1 KR 1020140105185 A KR1020140105185 A KR 1020140105185A KR 20140105185 A KR20140105185 A KR 20140105185A KR 101621370 B1 KR101621370 B1 KR 101621370B1
Authority
KR
South Korea
Prior art keywords
lane
image
point
time
space
Prior art date
Application number
KR1020140105185A
Other languages
English (en)
Other versions
KR20160020172A (ko
Inventor
설상훈
정순홍
윤준식
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140105185A priority Critical patent/KR101621370B1/ko
Priority to US14/824,597 priority patent/US9672430B2/en
Publication of KR20160020172A publication Critical patent/KR20160020172A/ko
Application granted granted Critical
Publication of KR101621370B1 publication Critical patent/KR101621370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

도로에서의 차선 검출 방법이 개시된다. 본 발명의 일 실시예에 따른 차선 검출 방법은 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계; 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계; 및 상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함한다.

Description

도로에서의 차선 검출 방법 및 장치{Method and Apparatus for detecting lane of road}
본 발명은 차선 검출에 관한 것으로, 특히 동영상 분석에 기초한 도로에서의 차선 검출 방법 및 장치에 관한 것이다.
최근 효율적인 차선 검출을 기반으로하는 차선 이탈 경보, 도로 표지판 인식 등의 스마트 드라이빙 보조 시스템들이 널리 보급되고 있다.
종래의 차선 검출 방법들은 차선과 유사한 형태의 노이즈가 존재하거나 차선이 유실되는 경우 차선을 구분하는데 어려움이 있었다.
따라서, 차선과 유사한 형태의 노이즈가 존재하거나 차선이 유실되는 경우에도 명확히 차선을 구분할 수 있는 차선 검출 방법에 대한 연구의 필요성이 대두되고 있다.
본 발명의 일 실시예의 목적은 차선이 유실된 경우나 차선과 유사한 노이즈가 존재하는 환경에서도 명확하게 차선을 검출할 수 있는 차선 검출 방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차선 검출 방법은 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계; 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계; 및
상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함한다.
바람직하게는, 상기 적어도 하나의 시공간 이미지를 생성하는 단계는 상기 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성할 수 있다.
바람직하게는, 상기 시공간 이미지는 상기 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성될 수 있다.
바람직하게는, 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계는 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 단계; 및 상기 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계를 포함할 수 있다.
바람직하게는, 상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는 상기 시공간 이미지를 구성하는 복수의 라인 이미지들 중에서 인접하는 라인 이미지들간에 움직임 보정을 적용함으로써, 상기 시공간 이미지에 포함된 상기 차선 패턴에 대하여 직선화하는 보정을 수행할 수 있다.
바람직하게는, 상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는
하기 수학식 1 및 수학식 2에 의하여 상기 움직임 보정을 수행할 수 있다.
[수학식 1]
Figure 112014076696610-pat00001
[수학식 2]
Figure 112014076696610-pat00002
이때, x는 시공간 이미지에서의 픽셀의 x 좌표를 나타내고, yk는 시공간 이미지에서의 픽셀의 y좌표가 yk로 고정되어 있음을 나타내고, IST는 y=yk일때의 시공간 이미지를 나타내고, R(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고,X는 상기 시공간 이미지의 가로 길이를 나타내고, k는 가로 축의 이동 변위를 나타냄.
바람직하게는, 상기 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계는 상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 단계; 상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 단계; 및 상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 단계를 포함할 수 있다.
바람직하게는, 상기 허프변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 단계는 상기 허프 변환을 적용할 때 각도가 80도 내지 100도에 해당하는 직선들만을 검출할 수 있다.
바람직하게는, 상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 단계는 상기 현재 시점에 대응되는 픽셀들 중에서 상기 보정 시공간 이미지의 제2 방향의 중간 지점으로부터 가장 가까운 위치에 존재하는 2개의 픽셀들을 상기 복수의 차선 포인트들로서 검출할 수 있다.
바람직하게는, 상기 차선을 검출하는 단계는 상기 차선 포인트들의 좌표들 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출할 수 있다.
상기 차선을 검출하는 단계는 상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 단계; 상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 단계; 및 상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 단계를 포함할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 차선 검출 장치는 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 시공간 이미지 생성부; 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 포인트 검출부; 및 상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 차선 검출부를 포함한다.
바람직하게는, 상기 포인트 검출부는 상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 보정부; 및 상기 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 포인트 처리부를 포함한다.
바람직하게는, 상기 포인트 처리부는 상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 이진화 처리부; 상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 허프 변환부; 및 상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 포인트 검출부를 포함하는 것을 특징으로 하는 차선 검출 장치.
바람직하게는, 상기 차선 검출부는 상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 판단부; 상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 설정부; 및 상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 차선 처리부를 포함할 수 있다.
본 발명의 일 실시예에 따르면 차선이 유실된 경우나 차선과 유사한 노이즈가 존재하는 환경에서도 차선을 명확하게 검출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 검출된 차선의 예시를 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 차선 검출 방법의 성능을 종래 기술과 비교하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차선 검출 장치를 설명하기 위하여 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 포인트 검출부를 설명하기 위하여 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 포인트 처리부를 설명하기 위하여 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 차선 검출부를 설명하기 위하여 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 방법을 설명하기 위하여 도시한 흐름도이다.
단계 110에서는, 차선 검출 장치가 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성한다.
이때, 시공간 이미지는 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성할 수 있는데, 이에 대한 구체적인 설명은 도 2를 참조하여 후술한다. 이때, 제1 방향은 세로 방향(y축 방향) 또는 대각선 방향일 수 있다.
단계 120에서는, 차선 검출 장치가 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출한다.
다른 실시예에서는, 단계 120에서 차선 패턴에 대한 직선화가 더 수행될 수 있다. 예컨대, 차선 검출 장치는 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성한 후, 그 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출할 수 있다.
이때, 보정 시공간 이미지는 시공간 이미지를 구성하는 복수의 라인 이미지들 중에서 인접하는 라인 이미지들간에 움직임 보정을 적용함으로써 생성될 수 있다.
이와 같이, 차선 패턴에 대해 직선화하는 보정을 수행하여 보정 시공간 이미지를 생성하는 이유는 운전자가 차선을 변경하거나 도로를 촬영하는 카메라가 흔들리거나 차량의 떨림이 발생함으로써 차선 검출이 어려운 상황에서도 명확히 차선을 검출하기 위해서이다. 보정 시공간 이미지와 관련된 구체적인 설명은 도 3을 참조하여 후술한다.
한편, 본 발명의 일 실시예에 따른 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 과정은 도 4 및 도 5를 참조하여 후술한다.
단계 130에서는, 차선 검출 장치가 적어도 하나의 시공간 이미지 각각에서의 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출한다.
보다 구체적으로는, 본 발명의 일 실시예에서는 2개의 차선 포인트들의 좌표들과 차선 포인트들간의 거리를 추적하여 차선을 검출하게 된다.
종래에는 2개의 차선만을 추적하여 차선을 검출한 반면, 본 발명의 일 실시예는 차선 포인트들간의 거리를 함께 추적하여 차선을 검출함으로써 차선이 유실된 경우에도 차선을 명확하게 검출할 수 있는 효과가 있다. 이에 대해서는 도 7을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 2(a)를 참조하면 복수의 이미지 프레임들이 시간(t) 순서에 따라 겹쳐서 표시되어 있다. 이때, 이미지 프레임들 각각의 가로 축은 x이고 세로 축은 y이며, 각각의 이미지 프레임에서 빨간색으로 표시된 수평 라인(예컨대, y=y1의 위치에서의 수평 라인부터 y=yk의 위치까지의 수평 라인)이 설정되어 각각의 수평 라인에 해당하는 픽셀들을 포함하는 복수의 라인 이미지들이 이미지 프레임별로 시간 순서에 따라 저장되어 시공간 이미지가 생성된다.
예컨대, 시공간 이미지 생성 시점인 tc-tp+1의 시간에 해당하는 이미지 프레임의 y=y1의 위치에서의 수평 라인에 해당하는 라인 이미지가 최초로 저장된 후 시간 순서에 따라 현재 시점인 tc에 해당하는 이미지 프레임의 y=y1의 위치에서의 라인 이미지까지 순차적으로 라인 이미지들이 저장됨으로써 도 2(b)와 같이 y=y1에서의 시공간 이미지가 생성될 수 있다. 이때, tc는 현재 시간을 나타내고, tp는 과거 시간을 나타낸다.
예컨대, 시공간 이미지는 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간(tc-tp+1부터 현재 시간 tc까지) 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성될 수 있다.
한편, 도 2에서는 시공간 이미지 생성을 위한 수평 라인이 복수개가 설정된 경우에 대해 설명하였지만, 다른 실시예에서는 한개의 수평 라인만 설정되어 그에 대응되는 한개의 시공간 이미지가 생성될 수도 있다. 다만, 바람직하게는 3개 이상의 수평 라인이 설정되어 3개 이상의 시공간 이미지가 생성되는 것이 차선 검출에 있어 유리하다.
도 3은 본 발명의 일 실시예에 따른 보정 시공간 이미지를 설명하기 위하여 도시한 도면이다.
도 3(a)는 차선 변경 도중의 시공간 이미지를 도시한 것이다.
도 3(b)는 도 3(a)의 시공간 이미지에게 적용될 보정 함수들의 그래프를 도시한 것으로서, 보정 함수 그래프의 가로축은 시간을 나타내고 세로축은 시간 순서에 따른 수평적인 움직임 변화 값을 나타낸다. 보다 구체적으로는, 도 3(b)의 보정 함수 그래프는 시공간 이미지 생성 시점인 tc-tp+1에 해당하는 라인 이미지부터 현재 시점인 tc에 해당하는 라인 이미지까지의 시공간 이미지를 구성하는 복수의 라인 이미지들에게 움직임 보정을 적용하여 시공간 이미지에 포함된 차선 패턴을 직선화하는 역할을 한다.
이때, 3(b)의 그래프로 도시된 보정 함수는 수학식 1 및 수학식 2에 의하여 정의될 수 있다.
I(x, y, t)가 시간 t에서 (x,y)의 좌표에 위치하는 픽셀 정보라고 할때, 시공간 이미지는 수학식 1과 같이 정의될 수 있다.
Figure 112014076696610-pat00003
이때, x는 시공간 이미지에서의 픽셀의 x 좌표를 나타내고, yk는 시공간 이미지에서의 픽셀의 y좌표가 yk로 고정되어 있음을 나타내고, IST는 y=yk일때의 시공간 이미지를 나타낸다.
또한, 보정 함수는 시공간 이미지에 대한 수학식 1을 이용하여 수학식 2와 같이 정의될 수 있다.
Figure 112014076696610-pat00004
이때, R(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고,X는 시공간 이미지의 가로 길이를 나타내고, k는 가로 축의 이동 변위를 나타낸다. 수학식 2에서는 argmin 후단의 수학식의 값을 최소 값으로 만드는 k 값을 찾게 되는데 k의 범위가 -X/10부터 +X/10 사이로 설정되어 있다. 이는 연속되는 이미지 프레임에서 차선의 경계가 갑자기 변하지 않는다는 점을 고려한 것이다.
결과적으로, 수학식 2와 같이 정의된 보정 함수를 수학식 1의 시공간 이미지에 적용하게 되면 수학식 3과 같이 보정 시공간 이미지가 정의될 수 있다.
Figure 112014076696610-pat00005
즉, 보정 시공간 이미지는 수학식 3에서와 같이 R(t)만큼 x의 좌표 값이 이동되어 생성된다.
도 4는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 흐름도이다.
단계 410에서는, 차선 검출 장치가 보정 시공간 이미지를 이진화된 이미지로 변환한다.
이때, 본 발명의 일 실시예에서는 보정 시공간 이미지를 구성하는 라인 이미지 각각에 대해 수학식 4와 같이 1차원 가우시안 함수의 평균값을 사용하여 이진화 이미지를 생성할 수 있다.
Figure 112014076696610-pat00006
이때, A는 진폭,
Figure 112014076696610-pat00007
는 평균,
Figure 112014076696610-pat00008
는 표준편차, b는 가우시안 함수의 오프셋을 나타낸다. 여기서, 가우시안함수 G(x)는 시간 t에 대하여 W의 크기를 가지는 슬라이딩 윈도우안에서 정의되는데, 가우시안 함수 오프셋 b는 슬라이딩 윈도우 안에서 최소값을 빼줌으로써 생략될 수도 있다.
다른 실시예에서는, 이진화된 이미지에 포함된 차선 패턴이 수학식 4와 같은 가우시안 함수의 평균 값을 이용하여 만들어지는 경우 차선 패턴이 부드럽게 표시되지 않는 점을 보완하기 위해 팽창 모폴로지(dilation morphology)를 더 적용할 수도 있다.
단계 420에서는, 차선 검출 장치가 그 이진화된 이미지에 허프 변환을 적용하여 차선 패턴에 대응되는 직선들을 검출한다.
이때, 허프 변환을 적용할 때 각도가 80도 내지 100도에 해당하는 직선들만을 검출할 수도 있다. 이는, 차선이 수직 방향으로 배열되어 있다는 점을 고려한 것으로 이를 통해 허프 변환의 연산량을 줄일 수 있다.
단계 430에서는, 차선 검출 장치가 그 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 복수의 차선 포인트들로서 검출한다.
도 4의 실시예에 따라 차선 포인트를 검출하여 차선을 검출하게 되면 빛솟구침 현상과 같은 차선과 유사한 형태의 노이즈가 존재하더라도 차선을 명확히 검출할 수 있게 되는 효과가 있다.
도 5는 본 발명의 일 실시예에 따른 차선 포인트 검출 방법을 설명하기 위하여 도시한 도면이다.
도 5(a)에는 이진화된 이미지에 허프 변환이 적용됨으로써 이진화된 이미지 상에 차선 패턴에 대응되는 직선들이 도시되어 있는데, 그 직선들과 현재 시점 tc를 나타내는 수평선이 만나는 교점들이 차선 포인트들이 된다.
보다 구체적으로는, 도 5(a)에서는 차선 패턴에 대응되는 3개의 직선들이 하늘색으로 도시되어 있으므로 그 직선들과 현재 시점 tc를 나타내는 수평선이 만나는 교점들이 3개가 된다. 이 경우에는 차선 포인트를 3개로 설정하지 않고 이진화된 이미지의 현재 시점 tc를 나타내는 수평선에서의 중간 지점으로부터 가장 가까운 위치에 존재하는 2개의 픽셀들을 차선 포인트로서 검출하게 된다.
도 5(b)는 현재 시점 tc에 대응되는 이미지 프레임상에 도 5(a)에서 검출된 2개의 차선 포인트가 표시되어 있다.
도 6은 본 발명의 일 실시예에 따라 검출된 차선의 예시를 도시한 것이다.
도 6에는 현재 시점 tc에 대응되는 이미지 프레임상에 5개의 빨간 점선과 5개의 차선포인트쌍들이 도시되어 있는데, 5개의 빨간 점선은 이미지 프레임상에서 5개의 수평 라인이 설정되었음을 나타내고 5개의 차선포인트쌍들은 그 5개의 수평 라인에 대응되는 차선포인트들을 나타낸다.
도 6에서 5개의 차선포인트쌍들은 현재 시점 tc에 대응되는 이미지 프레임에 표시되는데, RANSAC(RANdom SAmple Consensus) 알고리즘을 통하여 포물선에 가장 잘 피팅(fitting)된 지점들은 파란색으로 표시되어 있다.한편, 도 6에서 복수의 차선 포인트들 각각을 수직 방향으로 잇는 빨간색 실선이 존재하는데, 이와 같은 빨간색 실선이 최종적으로 검출되는 차선이 된다.
도 7은 본 발명의 일실시예에 따른 차선 검출 방법의 성능을 종래 기술과 비교하기 위하여 도시한 도면이다.
도 7(a)는 차선이 유실된 형태를 가진 도로에 대한 이미지 프레임으로서 왼쪽의 차선은 선명하지만 오른쪽 차선은 일부가 유실되어 차선이 불분명한 것을 알 수 있다.
도 7(b)에는 종래 기술에 의해 검출된 차선이 도시되어 있는데 왼쪽 차선은 제대로 검출하였지만 일부 유실된 오른쪽 차선은 제대로 검출하지 못하고 실제 오른쪽 차선보다 더 오른쪽의 위치에서 차선을 검출한 것을 알 수 있다.
도 7(c)는 본 발명의 일 실시예에 따라 검출된 차선이 도시되어 있는데 오른쪽 차선이 일부 유실되었음에도 불구하고 왼쪽 차선과 오른쪽 차선을 모두 정확히 검출한 것을 알 수 있다. 이는, 본 발명의 일 실시예는 왼쪽 차선에 대한 차선 포인트, 오른쪽 차선에 대한 차선 포인트 뿐만 아니라 왼쪽 차선 포인트와 오른쪽 차선 포인트간의 거리까지 추적하기 때문이다.
보다 구체적으로, 본 발명의 일 실시예에 따라 유실된 차선이 존재하는 경우의 차선 검출 방법을 설명하면 다음과 같다.
먼저, 차선 검출 장치가 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단한다.
다음으로, 차선 검출 장치가 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정한다.
이때, 차선 포인트들간의 거리를 이용하여 제2 차선 포인트를 설정하는 이유는 시공간 이미지에 기초하여 차선을 검출하는 본 발명에 따르면 차선 포인트들간의 거리는 시간이 지나더라도 계속 동일한 거리를 유지하기 때문이다.
마지막으로, 차선 검출 장치가 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리를 추적하여 차선을 검출하게 된다.
이때, 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리는 칼만 필터와 같은 추적 알고리즘을 이용하여 추적될 수 있다.
도 8은 본 발명의 일 실시예에 따른 차선 검출 장치를 설명하기 위하여 도시한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 차선 검출 장치는 시공간 이미지 생성부(810), 포인트 검출부(820) 및 차선 검출부(830)를 포함한다.
시공간 이미지 생성부(810)는 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성한다.
포인트 검출부(820)는 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출한다.
다른 실시예에서는, 본 발명의 일 실시예에 따른 포인트 검출부(820)가 시공간 이미지를 보정하여 보정 시공간 이미지를 생성할 수 있는데, 이에 대해서는 도 9를 참조하여 후술한다.
차선 검출부(830)는 적어도 하나의 시공간 이미지 각각에서의 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출한다.
도 9는 본 발명의 일 실시예에 따른 포인트 검출부를 설명하기 위하여 도시한 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 포인트 검출부(820)는 보정부(822) 및 포인트 처리부(824)를 포함할 수 있다.
보정부(822)는 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성한다.
포인트 처리부 (824)는 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출한다. 다른 실시예에서는, 포인트 처리부(824)가 세부 구성요소를 더 포함할 수 있는데, 이에 대해서는 도 10을 참조하여 후술한다.
도 10은 본 발명의 일 실시예에 따른 포인트 처리부를 설명하기 위하여 도시한 도면이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 포인트 처리부(824)는 이진화 처리부(824a), 허프 변환부(824b) 및 픽셀 처리부(824c)를 포함한다.
이진화 처리부(824a)는 보정 시공간 이미지를 이진화된 이미지로 변환한다.
허프 변환부(824b)는 그 이진화된 이미지에 허프 변환을 적용하여 차선 패턴에 대응되는 직선들을 검출한다.
픽셀 처리부(824c)는 그 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 복수의 차선 포인트들로서 검출한다.
도 11은 본 발명의 일 실시예에 따른 차선 검출부를 설명하기 위하여 도시한 도면이다. 도 11을 참조하면, 본 발명의 일 실시예에 따른 차선 검출부(830)는 판단부(832), 설정부(834) 및 차선 처리부(836)를 포함한다.
판단부(832)는 포인트 검출부(820)의 차선 포인트 검출 결과에 기초하여 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단한다.
예컨대, 포인트 검출부(820)가 y=yk에 대응되는 시공간 이미지에서 현재 시점인 tc에서의 차선 포인트를 검출하고자 하는데 하나의 차선 포인트만 검출하고 나머지 하나의 차선 포인트는 차선 유실 등으로 인해서 검출하지 못하였다면, 판단부(832)는 포인트 검출부(820)가 한 개의 차선 포인트만을 검출하였음에 기초하여 추적이 불가능한 차선 포인트가 존재하는 것으로 판단하게 된다.
설정부(834)는 판단부(842)를 통해 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정한다.
차선 처리부(836)는 제1 차선 포인트, 제2 차선 포인트 및 차선 포인트들간의 거리를 추적하여 차선을 검출한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 단계;
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계; 및
    상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계를 포함하고,
    상기 차선을 검출하는 단계는
    상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 단계;
    상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 단계; 및
    상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 시공간 이미지를 생성하는 단계는
    상기 라인 이미지를 시간적인 저장 순서에 따라 제1 방향으로 순차적으로 결합하여 생성하는 것을 특징으로 하는 차선 검출 방법.
  3. 제1항에 있어서,
    상기 시공간 이미지는
    상기 동영상을 구성하는 복수의 이미지 프레임들 중에서 소정 시간 이내의 이미지 프레임들로부터 추출된 복수의 라인 이미지들로 구성되는 것을 특징으로 하는 차선 검출 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계는
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 단계; 및
    상기 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는
    상기 시공간 이미지를 구성하는 복수의 라인 이미지들 중에서 인접하는 라인 이미지들간에 움직임 보정을 적용함으로써, 상기 시공간 이미지에 포함된 상기 차선 패턴에 대하여 직선화하는 보정을 수행하는 것을 특징으로 하는 차선 검출 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 보정 시공간 이미지를 생성하는 단계는
    하기 수학식 1 및 수학식 2에 의하여 상기 움직임 보정을 수행하는 것을 특징으로 하는 차선 검출 방법.
    [수학식 1]
    Figure 112014076696610-pat00009

    [수학식 2]
    Figure 112014076696610-pat00010

    이때, x는 시공간 이미지에서의 픽셀의 x 좌표를 나타내고, yk는 시공간 이미지에서의 픽셀의 y좌표가 yk로 고정되어 있음을 나타내고, IST는 y=yk일때의 시공간 이미지를 나타내고, R(t)는 현재 이미지 프레임에서 이전 이미지 프레임까지의 수평적인 움직임 변화 값을 나타내고,X는 상기 시공간 이미지의 가로 길이를 나타내고, k는 가로 축의 이동 변위를 나타냄.
  7. 제4항에 있어서,
    상기 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 단계는
    상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 단계;
    상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 단계; 및
    상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 단계를 포함하는 것을 특징으로 하는 차선 검출 방법.
  8. 제7항에 있어서,
    상기 허프변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 단계는
    상기 허프 변환을 적용할 때 각도가 80도 내지 100도에 해당하는 직선들만을 검출하는 것을 특징으로 하는 차선 검출 방법.
  9. 제7항에 있어서,
    상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 단계는
    상기 현재 시점에 대응되는 픽셀들 중에서 상기 보정 시공간 이미지의 제2 방향의 중간 지점으로부터 가장 가까운 위치에 존재하는 2개의 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 것을 특징으로 하는 차선 검출 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 단계는
    상기 차선 포인트들의 좌표들 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 것을 특징으로 하는 차선 검출 방법.
  11. 삭제
  12. 도로에 대한 동영상에서 설정된 적어도 하나의 수평 라인에 해당하는 픽셀들을 포함하는 적어도 하나의 라인 이미지를 시간축에 따라 저장하여 적어도 하나의 시공간 이미지를 생성하는 시공간 이미지 생성부;
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 포인트 검출부; 및
    상기 적어도 하나의 시공간 이미지 각각에서의 상기 복수의 차선 포인트들을 시간에 따라 추적하여 차선을 검출하는 차선 검출부를 포함하고,
    상기 차선 검출부는
    상기 차선 포인트들 중에서 추적이 불가능한 차선 포인트가 존재하는지 판단하는 판단부;
    상기 차선 포인트들 중 추적이 불가능한 차선 포인트가 존재한다고 판단되면, 상기 차선 포인트들 중 추적이 가능한 제1 차선 포인트로부터 상기 차선 포인트들간의 거리만큼 떨어진 지점을 제2 차선 포인트로 설정하는 설정부; 및
    상기 제1 차선 포인트, 상기 제2 차선 포인트 및 상기 차선 포인트들간의 거리를 추적하여 상기 차선을 검출하는 차선 처리부를 포함하는 것을 특징으로 하는 차선 검출 장치.
  13. 제12항에 있어서,
    상기 포인트 검출부는
    상기 적어도 하나의 시공간 이미지 각각에 포함된 차선 패턴에 대하여 직선화하는 보정을 수행하여 적어도 하나의 보정 시공간 이미지를 생성하는 보정부; 및
    상기 적어도 하나의 보정 시공간 이미지 각각에 포함된 직선화된 차선 패턴에서 현재 시점에 해당하는 복수의 차선 포인트들을 검출하는 포인트 처리부를 포함하는 것을 특징으로 하는 차선 검출 장치.
  14. 제13항에 있어서,
    상기 포인트 처리부는
    상기 보정 시공간 이미지를 이진화된 이미지로 변환하는 이진화 처리부;
    상기 이진화된 이미지에 허프 변환을 적용하여 상기 차선 패턴에 대응되는 직선들을 검출하는 허프 변환부; 및
    상기 검출된 직선들에 포함된 픽셀들 중에서 현재 시점에 대응되는 픽셀들을 상기 복수의 차선 포인트들로서 검출하는 픽셀 처리부를 포함하는 것을 특징으로 하는 차선 검출 장치.
  15. 삭제
KR1020140105185A 2014-08-13 2014-08-13 도로에서의 차선 검출 방법 및 장치 KR101621370B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140105185A KR101621370B1 (ko) 2014-08-13 2014-08-13 도로에서의 차선 검출 방법 및 장치
US14/824,597 US9672430B2 (en) 2014-08-13 2015-08-12 Method and apparatus for detecting lane of road

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140105185A KR101621370B1 (ko) 2014-08-13 2014-08-13 도로에서의 차선 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160020172A KR20160020172A (ko) 2016-02-23
KR101621370B1 true KR101621370B1 (ko) 2016-05-17

Family

ID=55302404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140105185A KR101621370B1 (ko) 2014-08-13 2014-08-13 도로에서의 차선 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US9672430B2 (ko)
KR (1) KR101621370B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078334B2 (en) * 2016-12-07 2018-09-18 Delphi Technologies, Inc. Vision sensing compensation
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN110795961B (zh) * 2018-08-01 2023-07-18 新疆万兴信息科技有限公司 一种车道线检测方法、装置、电子设备及介质
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
CN109657686B (zh) * 2018-10-31 2021-04-20 百度在线网络技术（北京）有限公司 车道线生成方法、装置、设备以及存储介质
KR101998298B1 (ko) * 2018-12-14 2019-07-09 위고코리아 주식회사 카메라 및 라이다 센서를 이용한 차량 자율주행방법
CN110176000B (zh) * 2019-06-03 2022-04-05 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN112084822A (zh) * 2019-06-14 2020-12-15 富士通株式会社 车道检测装置及方法、电子设备
US11816904B2 (en) * 2020-12-21 2023-11-14 Hyundai Mobis Co., Ltd. Camera for vehicle and parking assistance apparatus having the same
KR102586899B1 (ko) * 2021-12-06 2023-10-11 국민대학교산학협력단 군집주행 차선인지를 위한 슬라이딩 윈도우 이중 보정 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009131067A (ja) 2007-11-26 2009-06-11 Denso Corp 電力変換回路の制御装置及び電力変換システム
JP2010205041A (ja) * 2009-03-04 2010-09-16 Daihatsu Motor Co Ltd 障害物検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345392A (ja) 1998-06-02 1999-12-14 Nissan Motor Co Ltd 障害物検出装置及び障害物検出方法
JP4312216B2 (ja) 2006-08-07 2009-08-12 三菱電機システムサービス株式会社 ケーブルガイド
US8358808B2 (en) * 2010-01-08 2013-01-22 University Of Washington Video-based vehicle detection and tracking using spatio-temporal maps
EP2950114B1 (en) * 2014-05-30 2020-03-04 Honda Research Institute Europe GmbH Method for assisting a driver in driving a vehicle, a driver assistance system, a computer software program product and vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009131067A (ja) 2007-11-26 2009-06-11 Denso Corp 電力変換回路の制御装置及び電力変換システム
JP2010205041A (ja) * 2009-03-04 2010-09-16 Daihatsu Motor Co Ltd 障害物検出装置

Also Published As

Publication number Publication date
US9672430B2 (en) 2017-06-06
KR20160020172A (ko) 2016-02-23
US20160048733A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
KR101621370B1 (ko) 도로에서의 차선 검출 방법 및 장치
KR101299237B1 (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
US8005266B2 (en) Vehicle surroundings monitoring apparatus
US8184859B2 (en) Road marking recognition apparatus and method
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
EP2860696A1 (en) Optical flow tracking method and apparatus
US20140063251A1 (en) Lane correction system, lane correction apparatus and method of correcting lane
JPWO2010140578A1 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
US9911197B1 (en) Moving object spotting by forward-backward motion history accumulation
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
KR101348680B1 (ko) 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
JP6777150B2 (ja) 劣化検出装置、劣化検出方法、及びプログラム
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR101637535B1 (ko) 탑뷰 영상 왜곡 보정 장치 및 방법
JP2007219603A (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP6977337B2 (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
JP2019218022A (ja) 線路検出装置
US9648211B2 (en) Automatic video synchronization via analysis in the spatiotemporal domain
CN109101874B (zh) 一种基于深度图像的图书馆机器人障碍识别方法
KR100945555B1 (ko) 증강현실 공간을 제공하는 장치 및 방법
JP2007188269A (ja) 画像上移動物体追跡方法及び装置
JP4462533B2 (ja) 路面走行レーン検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant