KR20150050233A - 차선 검출 장치 - Google Patents

차선 검출 장치 Download PDF

Info

Publication number
KR20150050233A
KR20150050233A KR1020130131767A KR20130131767A KR20150050233A KR 20150050233 A KR20150050233 A KR 20150050233A KR 1020130131767 A KR1020130131767 A KR 1020130131767A KR 20130131767 A KR20130131767 A KR 20130131767A KR 20150050233 A KR20150050233 A KR 20150050233A
Authority
KR
South Korea
Prior art keywords
lane
road model
control point
image
unit
Prior art date
Application number
KR1020130131767A
Other languages
English (en)
Inventor
유창동
박상혁
장호용
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130131767A priority Critical patent/KR20150050233A/ko
Publication of KR20150050233A publication Critical patent/KR20150050233A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

차선 검출 장치가 개시된다. 영상 촬영부는 차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함한다. 제어부는 복수의 영상 촬영부에서 촬영된 영상을 기초로 도로 모델을 생성하고, 생성된 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출하는 차선 검출 모듈 및 차선 검출 모듈에서 검출된 차선에 상기 차선 검출 모듈에서 검출되지 않은 차선을 검출하여 차선을 보정하는 차선 보정 모듈을 포함한다.

Description

차선 검출 장치 {device for lane detection}
본 발명은 차선 검출 장치 및 방법에 관한 것이다. 보다 상세하게는 직선 차선 및 곡선 차선을 검출하고, 파티클 필터를 이용하여 차선의 정확한 위치를 추정하는 차선 검출 장치에 관한 것이다.
전 세계에서 매일 교통사고로 수많은 사람들이 부상 당하고 사망한다. 국내에서는 연간 약 22만 건의 교통사고가 발생하여 35만 명의 사상자가 발생하고, GDP의 1.1%에 달하는 13조원이 교통사고 처리 비용으로 발생된다. 이 중 차선 위반 특히 중앙선 침범의 경우는 교통사고 발생 4대원인 중 하나이다.
이에 따라, 최근에 국내에서는 차선이탈경고장치(LDWS, Lane Departure Warning System)를 직접 적용한 차량이 출시되어 있으며 국제표준화기구(IOS, International Organization for Standardization), 미국자동차 기술자협회 (SAE, Society of Automotive Engineers) 등에서 차선이탈경고장치 시스템에 대한 국제 표준화 규정을 정하고 있다.
그리고 자동차에 적용되는 차선이탈경보장치에서는 카메라를 통한 영상 정보를 분석하여 차선 이탈 시 단순 경고음 등이 아니라 자동차의 전자 제어 유닛(ECU)에 신호를 줘서 시트의 진동 또는 안전벨트를 잡아당김으로써 운전자에게 효율적인 경고를 주고 있다.
그러나 시판되고 있는 장치에서도 자동차 유리에 반사된 물체나 악천후에서는 차선 검출을 장담할 수 없는 문제가 있으며, 기존 종래 기술에서 허프만 변환을 이용하여 차선을 검출하는 경우는 일부 직선 구간 영역에서 부분적인 검출만이 가능하였다. 따라서, 차선 검출 알고리즘에 관한 연구가 더 필요하다.
대한민국 공개특허 제 10-2011-0111668호에서는 차선 인식 장치 및 차선 인식 방법을 개발하였으나, 비스플라인(B-spline)을 이용하여 곡선 차선을 구현하고, 파티클 필터를 이용하여 도로상에 일부 차선이 존재하지 않더라도, 차선을 검출하는 기술적 특징이 없기 때문에 차선의 정확한 위치를 추정하기 어렵다.
그리고, 대한민국 공개특허 제 10-2010-0034409호에서는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법을 개발하였다. 그러나, 이 또한 파티클 필터를 이용하여 도로의 손상된 차선까지 검출하는 기능을 가지고 있지 않아 차선 검출의 정확도가 낮다.
본 발명이 이루고자 하는 기술적 과제는 직선 차선 및 곡선 차선의 검출을 제공하는 차선 검출 장치를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 일부 차선이 존재하지 않는 손상된 차선을 검출하여 차선 검출의 높은 정확도를 제공하는 차선 검출 장치를 제공하는데 있다.
상기 목적을 달성하기 위한, 본 발명에 따른 차선 검출 장치는 차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함하는 영상 촬영부 및 제어부를 포함하며, 상기 제어부는 상기 복수의 영상 촬영부에서 촬영된 영상을 기초로 도로 모델을 생성하는 도로 모델 생성 모듈, 상기 생성된 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출하는 차선 검출 모듈 및 상기 차선 검출 모듈에서 검출된 차선에 상기 차선 검출부에서 검출되지 않은 차선을 검출하여 보정하는 차선 보정 모듈을 포함할 수 있다.
또한, 본 발명에 따른 차선 검출 모듈은 상기 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성하고, 각 분할 영역의 직선을 추출하는 직선 추출 유닛, 상기 추출된 직선을 이용하여 제어점을 산출하는 제어점 산출 유닛 및 상기 산출된 제어점을 이용하여 상기 곡선 차선을 추출하는 곡선 추출 유닛을 포함할 수 있다.
본 발명에 따른 차선 검출 장치에 의하면, CHEVP(Canny/Hough Estimation of Vanishing Point)알고리즘을 이용하여 직선 차선을 검출하고, 비-스플라인(B-Spline)을 이용하여 곡선 차선을 검출하여 직선 및 곡선의 차선을 검출하는 장치를 제공할 수 있다.
또한, 도로 모델을 정의함으로써 직선뿐 아니라 곡선도 검출할 수 있으며, 파티클 필터를 이용하여 일부 차선이 존재하지 않는 손상된 차선을 검출하여 차선 검출의 높은 정확도를 제공할 수 있다.
또한, 본 발명의 차선 검출 장치를 응용 어플리케이션 및 차량 하드웨어에 이용함으로써, 교통사고를 줄일 수 있으며, 그에 따른 인명 피해 및 교통사고 처리 비용을 상당히 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 장치가 도시된 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차선 검출 장치의 제어부의 구성이 도시된 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차선 검출 장치의 차선 검출 모듈이 도시된 블록도이다.
도 4는 본 발명의 일 실시예에 따른 도로 모델이 도시된 도면이다.
도 5는 본 발명의 일 실시예에 따른 중간점 추출 결과가 도시된 도면이다.
도 6은 본 발명의 일 실시예에 따른 파티클 필터의 과정이 도시된 도면이다.
도 7은 본 발명의 일 실시예에 따른 실험결과가 도시된 도면이다.
도 8은 본 발명의 일 실시예에 따른 차선검출 방법이 도시된 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선 검출 장치가 도시된 블록도이다.
도 1을 참조하면, 차선 검출 장치(1)는 영상 촬영부(100), 제어부(200), 디스플레이부(300), 사용자 인터페이스부(400) 및 저장부(500) 중 적어도 하나를 포함할 수 있다. 차선 검출 장치(1)는 차량 주변을 촬영한 영상을 이용하여 차선을 검출하며, 검출된 차선을 포함한 영상을 출력할 수 있다.
영상 촬영부(100)는 차량에 설치된 적어도 하나의 카메라를 포함할 수 있다. 영상 촬영부(100)의 카메라는 사용자에 의해 차량의 특정 위치에 장착될 수 있다. 또한 영상 촬영부(100)는 CCD 또는 CMOS 소자를 이용하여 차량 전방의 영상을 촬영할 수 있다.
제어부(200)는 영상 촬영부(100)에서 촬영된 영상을 이용하여 차선을 검출할 수 있다. 보다 자세하게, 제어부(200)는 영상 촬영부(100)에서 촬영된 영상을 이용하여 도로 모델을 생성할 수 있다. 제어부(200)는 상기 생성된 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출할 수 있다. 또한, 제어부(200)는 손상된 차선을 검출하여 차선을 보정할 수 있다. 즉, 제어부(200)는 직선, 곡선 및 손상된 차선을 검출하여 차선 검출의 정확도를 높일 수 있다. 상기 손상된 차선은 도로상에서 일부 차선이 존재하지 않는 영역을 의미할 수 있다.
사용자 인터페이스부(400)는 제어부(200)와 사용자를 연결해 줄 수 있다. 사용자 인터페이스부(400)는 사용자 명령을 감지하고 감지한 사용자 명령을 제어부(200)로 출력할 수 있다.
저장부(500)는 차선 검출 전체 과정을 수행하기 위한 소프트웨어를 저장할 수 있다. 저장부(500)에 저장된 정보는 제어부(200)의 제어를 통해서 업데이트될 수 있다.
도 2는 본 발명의 일 실시예에 따른 차선 검출 장치의 제어부의 구성이 도시된 블록도이다.
도 2를 참조하면, 제어부(200)는 도로 모델 생성 모듈(210), 차선 검출 모듈(220) 및 차선 보정 모듈(230) 중 적어도 하나를 포함할 수 있다. 상기 도로 모델 생성 모듈(210)의 설명은 도 4를 참조하여 설명한다.
도 4(a)는 지표면에 투영된 도로 모델이고 도 4(b)는 카메라 좌표계에 투영된 도로 모델이다.
도로 모델 생성 모듈(210)은 복수의 영상 촬영부(100)에서 촬영된 영상을 기초로 도로 모델을 생성할 수 있다.
이를 위해, 도로 모델 생성 모듈(210)은 지면 상의 두 점을 화면상의 두 점으로 사영되게 할 수 있다. 예를 들어, 지면 상의 두 점
Figure pat00001
,
Figure pat00002
이 화면상의 두 점
Figure pat00003
,
Figure pat00004
으로 사영될 수 있다.
도로 모델 생성 모듈(210)은 지면 상의 두 점을 이용하여 지면 상에서 두 차선간의 거리를 산출할 수 있다. 또한, 도로 모델 생성 모듈(210)은 화면상의 두 점을 이용하여 화면상에서 두 차선간의 거리를 산출할 수 있다.
도로 모델 생성 모듈(210)이 지면 상에서 두 차선간의 거리를 산출하는 상세한 수학식은 수학식 1과 같다.
Figure pat00005
이때, D는 지면 상에서 두 차선 사이 거리이며,
Figure pat00006
및
Figure pat00007
은 지면 상의 두 점
Figure pat00008
,
Figure pat00009
의
Figure pat00010
좌표이다. 즉,
Figure pat00011
은 지표면에 수직 투영된 오른쪽 차선에 존재하는 임의의
Figure pat00012
좌표이며,
Figure pat00013
은
Figure pat00014
과 같은 높이 y에 해당하는 왼쪽 차선의
Figure pat00015
좌표를 의미한다.
도로 모델 생성 모듈(210)이 화면상에서 두 차선간의 거리를 산출하는 상세한 수학식은 수학식 2와 같다.
Figure pat00016
이때, d는 화면상에서 두 차선 사이 거리이며,
Figure pat00017
및
Figure pat00018
은 화면상의 두 점
Figure pat00019
,
Figure pat00020
의
Figure pat00021
좌표이다. 즉,
Figure pat00022
은 카메라 좌표계에 투영된 오른쪽 차선에 존재하는 임의의
Figure pat00023
좌표이며,
Figure pat00024
은
Figure pat00025
같은 높이 y에 해당하는 왼쪽 차선의
Figure pat00026
좌표를 의미한다.
또한, 화면상에서 두 차선간의 거리를 산출하는 다른 상세한 수학식은 수학식 3과 같다. 수학식 3은 도로 모델 생성 모듈(210)이 소실점을 이용하여 화면상에서 두 차선간의 거리를 산출하는 방법이다.
Figure pat00027
이때, d는 화면상에 두 차선 사이 거리이며, hz는 화면상에서 소실점이 있는 행의 y좌표이며, r은 차선위에 존재하는 임의의 점의 y좌표이며, k는 비례상수이다. 또한, 상기 소실점은 화면상에서 두 차선이 만나는 점이다.
도로 모델 생성 모듈(210)은 산출된 두 차선간의 거리를 기초로 중앙선(Mid-line)을 산출할 수 있다. 도로 모델 생성 모듈(210)은 산출된 중앙선을 기초로 수학식 4을 이용하여 좌측차선과 우측 차선을 산출할 수 있다. 즉, 도로의 양쪽 차선은 양쪽 차선의 중앙선을 찾음으로써 쉽게 산출될 수 있다.
Figure pat00028
이때,
Figure pat00029
은 좌측 차선의 좌표
Figure pat00030
의
Figure pat00031
좌표이고,
Figure pat00032
은 우측 차선의 좌표
Figure pat00033
의
Figure pat00034
좌표이고,
Figure pat00035
은 좌측 차선과 우측 차선의 중간값을 가지는 좌표
Figure pat00036
의
Figure pat00037
좌표이다. 또한, d는 화면상에 두 차선 사이 거리이며, hz는 화면상에서 소실점이 있는 행의 y좌표이며, r은 차선위에 존재하는 임의의 점의 y좌표이며, k는 비례상수이다.
이처럼, 도로 모델 생성 모듈(210)은 상기 수학식 1 내지 4를 이용하여 도로 모델을 생성시킬 수 있다.
차선 검출 모듈(220)은 도로 모델 생성 모듈(210)이 생성한 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출할 수 있다.
구제적으로, 차선 검출 모듈(220)은 도로 모델 생성 모듈(210)이 생성한 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성하고, 각 분할 영역 영역별로 직선을 추출할 수 있다. 차선 검출 모듈(220)은 추출된 직선을 이용하여 제어점을 산출할 수 있다. 또한, 차선 검출 모듈(220)은 산출된 제어점을 이용하여 차선을 검출할 수 있다. 이때, 제어점을 기초로 비-스플라인(B-spline) 알고리즘을 수행하여 곡선 차선을 추출할 수 있다. 즉, 곡선 차선을 형성하는 비-스플라인을 수행하여 차선을 부드럽게 형성시킬 수 있다. 상기 비-스플라인 알고리즘은 근사곡선을 만드는 알고리즘으로, 곡선을 정의하는 어떤 제어점도 통과하지 않고 제어점에 근접하여 지나면서 곡선을 형성한다. 따라서 같은 제어점으로 구성되는 곡선이라고 하더라도 한층 부드럽고 완만한 곡률을 가지는 곡선을 형성할 수 있다. 또한 비-스플라인 알고리즘은 주로 2차 또는 3차의 다항식을 사용하여 3차원 공간상의 여러 개의 점을 지나는 근사 곡선을 유도한다.
차선 보정 모듈(230)은 차선 검출 모듈(220)에서 검출된 차선에 차선 검출 모듈(220)에서 검출되지 않은 차선을 검출하여 차선을 차선을 보정할 수 있다.
구체적으로, 차선 보정 모듈(230)는 차선 검출 모듈(220)이 검출하지 않은 차선에서 제어점 위치를 추적하고, 상기 제어점을 이용하여 손상된 차선을 검출 및 보정할 수 있다. 이 때, 제어점 위치는 이전 프레임들에서 추출된 제어점들 위치에 파티클 필터를 수행함으로써 추적할 수 있다. 또한, 칼만 필터(Kalman Filter)를 이용할 수도 있다. 상기 파티클 필터 및 칼만 필터는 물체를 추적하는 알고리즘이다.
특히, 파티클 필터는 제어점이 움직임이 특정 확률 분포를 따르지 않을 경우의 물체를 추적하는 알고리즘으로, 다수의 입자를 화면에 균등 분포한 후, 확률 분포를 계산하여 물체의 위치를 추적한다.
도 3은 본 발명의 일 실시예에 따른 차선 검출 장치의 차선 검출 모듈이 도시된 블록도이다.
도 3을 참조하면, 차선 검출 모듈(220)은 직선 추출 유닛(221), 제어점 산출 유닛(222) 및 곡선 추출 유닛(223)를 포함할 수 있다.
직선 추출 유닛(221)은 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성하고, 각 분할 영역별로 직선을 추출할 수 있다.
구체적으로, 직선 추출 유닛(221)은 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성할 수 있다. 이때, 영상의 하단일수록 운전자에게 가까워지므로 상기 분할된 영상의 크기는 아래로 갈수록 점점 커진다.
직선 추출 유닛(221)은 상기 분할된 영상을 기초로 영상의 윤곽선을 추출할 수 있다. 이때, 영상의 윤곽선은 캐니 알고리즘을 이용하여 추출할 수 있다. 상기 캐니 알고리즘은 영상에서 픽셀의 밝기가 급변하는 영역의 경계를 검출한다. 따라서, 캐니 알고리즘은 픽셀의 밝기가 급변하는 영역의 경계를 검출하여 영상의 윤곽선을 추출한다.
직선 추출 유닛(221)은 허프만 변환을 이용하여 상기 추출된 윤곽선에서 직선을 검출할 수 있다. 상기 허프만 변환은 영상처리에서 직선을 검출하기 위한 알고리즘이다.
제어점 산출 유닛(222)은 직선 추출 유닛(221)이 추출한 직선을 이용하여 제어점을 산출할 수 있다.
구체적으로, 제어점 산출 유닛(222)은 직선 추출 유닛(221)이 추출한 직선들을 두 직선씩 짝을 지어 교점을 추출할 수 있다. 제어점 산출 유닛(222)은 추출된 교점이 가장 많이 발생하는 소실점을 추출할 수 있다.
또한, 제어점 산출 유닛(222)은 상기 추출된 소실점을 이용하여 각 분할 영역의 중간점을 추출할 수 있다. 상기 중간점 추출은 하기의 도 5의 설명을 통해서 더 상세히 설명하도록 한다.
제어점 산출 유닛(222)은 영상에서 각 분할 영역의 중간점을 이용하여 제어점을 산출할 수 있다. 제어점 산출 유닛(222)이 제어점을 산출하는 상세한 수학식은 수학식 5와 같다. 또한 수학식 5는 도 5를 참조하여 이해하도록 한다.
Figure pat00038
이때, Q1은 제어점이고, Q0는 화면에서 가장 위의 중간점이며, Q2는 화면에서 가장 아래의 중간점이다. 또한, P1은 β1 및 β2에 따라 변하는 변수이다.
예를 들어 β1≠0, β2≠0인 경우에 P1 은 Pm1과 Pm2의 중간점이며, β1=0, β2≠0인 경우에는 P1= Pm1이다. 또한, β1≠0, β2=0이거나 β1=0, β2=0인 경우는 P1= Pm2이다.
곡선 추출 유닛(223)은 제어점 산출 유닛(222)이 산출한 제어점을 이용하여 차선을 추출할 수 있다. 구체적으로, 곡선 추출 유닛(223)은 상기 산출된 제어점을 기초로 비스플라인을 이용하여 곡선 차선을 추출함으로써, 차선이 부드럽게 형성되도록 할 수 있다. 비스플라인은 근사 곡선의 일종으로, 어떤 제어점도 통과하지 않고 제어점에 근접하여 지나면서 곡선은 형성한다. 따라서, 제어점으로 구성되는 곡선이라고 하더라도 한층 부드럽고 완만한 곡선을 형성하게 된다.
도 4는 본 발명의 일 실시예에 따른 도로 모델이 도시된 도면이다.
도 4을 참조하면, 도 3의 (a) 및 (b)는 도로 모델 생성 모듈(210)이 생성한 도로에 대한 수학적 모델을 나타낸다.
이때, 도 3의 (a)는 지표면에 수직 투영된 도로 모델을 나타내며, 도 3의 (b)는 카메라 좌표계에 투영된 도로 모델을 나타낸다. 이와 같은 도 4의 도로 모델을 이용하여 직선 차선을 검출 할 수 있다.
도 (b)를 보다 자세히 설명하면, 카메라 좌표계에 투영된 도로 모델은 카메라 화면상에서 차선의 모습으로, 도로위의 평행한 차선이 카메라에 투영될 경우 두 차선이 만나는 소실점이 발생한다. 이 때, 소실점은 vp가 되며, hz는 소실점이 있는 행(y좌표)을 의미한다. 또한, r은 차선 위에 존재하는 임의의 y좌표를 의미한다.
도 5는 본 발명의 일 실시예에 따른 중간점 추출 결과가 도시된 도면이다.
도 5를 참조하면, 이미지(5)는 제어점 산출 유닛(222)에서 추출한 각 분할 영역의 중간점 Pmo, Pm1, Pm2 및 Pm3을 나타낸다.
도 5를 참조하여 중간점을 추출하는 방법의 일예를 설명하면, 제 2 영역(20)의 중간점은 제 1 영역(10)의 중점(Pm3)과 소실점을 이은 직선(11) 및 제 1 영역과 제 2 영역의 경계선(12)과의 교점(Pm2)이다. 제 3 영역(30)의 중간점도 같은 방식으로 추출할 수 있다.
또한, 최초의 제 1 영역(10)의 중간점은 차선 검출 모듈(220)에서 검출된 직선들에서 화면 중앙에 가장 가까운 두 직선을 검출하여 제 1 영역(10)의 바닥선에서 두 직선의 중간 지점으로 추출될 수 있다.
도 6은 본 발명의 일 실시예에 따른 파티클 필터의 과정이 도시된 도면이다.
파티클 필터(particle filter)는 제어점의 움직임이 특정 확률 분포를 따르지 않을 경우의 물체 추적에 유리한 방법으로 N개의 입자를 화면에 균등 분포로 뿌린 뒤, 실제분포를 구하고, 다시 샘플링하는 방법으로 물체의 위치를 추정한다.
파티클 필터가 실행되는 과정을 보다 상세하게 설명하면, 파티클 필터의 첫 번째 과정은 입자 위치 갱신 과정이다. 입자 위치 갱신 과정은 균등 분포로 뿌린 입자들의 위치를 가우시안 분포를 따르는 임의의 위치로 갱신한다.
파티클 필터의 두 번째 과정은 입자들의 재 표본화 과정이다. 재 표본화 과정은 갱신된 입자들과 실제 관측된 제어점과의 화면상의 거리를 측정한 뒤, 거리에 따른 확률 분포를 구한다. 그리고, 구해진 분포에 따라 입자들을 다시 샘플링하여 입자들의 위치를 구한다.
파티클 필터의 세 번째 과정은 제어점의 위치 추정 과정이다. 제어점의 위치 추정 과정은 재 표본화 과정을 걷힌 입자들의 위치와 확률 분포를 얻는다. 이렇게 얻어진 확률 분포를 이용하여 모든 입자들의 평균을 구하며, 이를 제어점의 위치로 추정한다.
이러한 파티클 과정을 도 6을 참조하여 설명하면, 도 6(a)는 다수의 입자를 화면에 균등 분포한 이미지이다.
도 6(b)는 도 6(a)에서 분포된 다수의 입자를 기초로 입자 위치 갱신 과정 및 재 표본화 과정을 수행한 입자들의 위치를 나타내는 이미지이다.
도 6(c)는 도 6(b)에서 분포된 입자들을 기초로 위치 추정 과정을 수행하여 제어점의 위치를 추출한 이미지이다.
도 7은 본 발명의 일 실시예에 따른 실험결과가 도시된 도면이다.
도 7을 참조하면, 도 7(a)는 기존의 허프만 변환을 적용한 차선 검출 결과를 나타낸 이미지이고, 도 7(b)는 본 발명에 따른 차선 검출 결과를 나타낸 이미지이다. 도 7(a)의 경우, 일부 직선 구간 영역에 대한 부분적인 검출만 가능함을 보여주고 있다. 반면, 도 7(b)의 경우는 곡선영역을 검출할 수 있을 뿐만 아니라, 영상의 오른쪽 하단과 같이 도로상의 일부 차선이 존재하지 않더라도 차선을 검출할 수 있음을 보여주고 있다.
도 8은 본 발명의 일 실시예에 따른 차선검출 방법을 나타낸 흐름도이다.
도 8을 참조하면, 영상 촬영부(100)는 차량 주변을 촬영한다(S110). 또한 영상 촬영부(100)는 영상을 실시간으로 제어부(200)에 제공할 수 있다.
도로 모델 생성 모듈(210)는 영상 촬영부(100)에서 촬영된 영상을 기초로 도로모델을 생성한다(S120).
차선 검출 모듈(220)은 도로 모델 생성 모듈(210)이 생성한 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출한다(S130). 차선 검출 모듈(220)는 도로 모델 생성 모듈(210)이 생성한 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성하고, 각 분할 영역 영역별로 직선을 추출할 수 있다. 차선 검출 모듈(220)은 추출된 직선을 이용하여 제어점을 산출할 수 있다. 또한, 차선 검출 모듈(220)은 산출된 제어점을 이용하여 차선을 추출할 수 있다. 이때, 비스플라인 알고리즘을 이용하여 제어점을 기초로 곡선 차선을 추출할 수 있으며, 이로 인해 부드러운 차선을 형성시킬 수 있다.
차선 보정 모듈(230)은 차선 검출 모듈(220)에서 검출되지 않은 차선을 검출하여 차선을 보정한다(S140). 차선 보정 모듈(230)은 차선 검출 모듈(220)이 검출하지 않은 차선에서 제어점의 위치를 추적하고, 상기 제어점을 이용하여 상기 검출되지 않은 차선을 검출할 수 있다. 또한, 차선 보정 모듈(230)은 차선 검출 모듈(220)에서 검출된 차선과 차선 보정 모듈(230)에서 검출된 차선을 이용하여 차선을 보정할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 영상 촬영부
200: 제어부
210: 도로 모델 생성 모듈
220: 차선 검출 모듈
221: 직선 추출 유닛
222: 제어점 산출 유닛
223: 곡선 추출 유닛
230: 차선 보정 모듈
300: 디스플레이부
400: 사용자 인터페이스부
500: 저장부

Claims (3)

  1. 차량에 설치되어 영상을 촬영하는 카메라를 포함하는 영상 촬영부; 및
    제어부를 포함하며,
    상기 제어부는,
    상기 영상 촬영부에서 촬영된 영상을 기초로 도로 모델을 생성하는 도로 모델 생성 모듈;
    상기 생성된 도로 모델을 기초로 직선 차선 및 곡선 차선을 검출하는 차선 검출 모듈; 및
    상기 차선 검출 모듈에서 검출된 차선에 상기 차선 검출 모듈에서 검출되지 않은 차선을 검출하여 차선을 보정하는 차선 보정 모듈을 포함하는 차선 검출 장치.
  2. 제 1항에 있어서,
    상기 차선 검출 모듈은,
    상기 도로 모델을 기초로 영상을 분할하여 복수의 분할 영역을 형성하고, 각 분할 영역의 직선을 추출하는 직선 추출 유닛;
    상기 추출된 직선을 이용하여 제어점을 산출하는 제어점 산출 유닛; 및
    상기 산출된 제어점을 이용하여 상기 곡선 차선을 추출하는 곡선 추출 유닛을 포함하는 차선 검출 장치.
  3. 제 1항에 있어서,
    상기 차선 보정 모듈은,
    상기 검출되지 않은 차선에서 제어점의 위치를 추적하고, 상기 추적된 제어점을 이용하여 상기 검출되지 않은 차선을 검출하되, 상기 제어점의 위치는 이전 프레임들에서 추출된 제어점 위치에 파티클 필터를 적용하여 추적하는 차선 검출 장치.

KR1020130131767A 2013-10-31 2013-10-31 차선 검출 장치 KR20150050233A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130131767A KR20150050233A (ko) 2013-10-31 2013-10-31 차선 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131767A KR20150050233A (ko) 2013-10-31 2013-10-31 차선 검출 장치

Publications (1)

Publication Number Publication Date
KR20150050233A true KR20150050233A (ko) 2015-05-08

Family

ID=53388149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131767A KR20150050233A (ko) 2013-10-31 2013-10-31 차선 검출 장치

Country Status (1)

Country Link
KR (1) KR20150050233A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723536B1 (ko) * 2015-11-19 2017-04-05 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR20180078699A (ko) * 2016-12-30 2018-07-10 경북대학교 산학협력단 차선 이탈 감지 장치 및 방법
KR102032501B1 (ko) * 2019-06-10 2019-10-15 오토아이티(주) 차선 이탈 감지 방법 및 장치
US10970565B2 (en) 2018-09-07 2021-04-06 Samsung Electronics Co., Ltd. Method and apparatus with road line detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723536B1 (ko) * 2015-11-19 2017-04-05 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR20180078699A (ko) * 2016-12-30 2018-07-10 경북대학교 산학협력단 차선 이탈 감지 장치 및 방법
US10970565B2 (en) 2018-09-07 2021-04-06 Samsung Electronics Co., Ltd. Method and apparatus with road line detection
KR102032501B1 (ko) * 2019-06-10 2019-10-15 오토아이티(주) 차선 이탈 감지 방법 및 장치

Similar Documents

Publication Publication Date Title
US10079975B2 (en) Image distortion correction of a camera with a rolling shutter
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
JP4919036B2 (ja) 移動物体認識装置
US8005266B2 (en) Vehicle surroundings monitoring apparatus
Borkar et al. Robust lane detection and tracking with ransac and kalman filter
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
EP1796043B1 (en) Object detection
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
CN103714538B (zh) 道路边缘检测方法、装置及车辆
Haloi et al. A robust lane detection and departure warning system
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
WO2018179281A1 (ja) 物体検出装置及び車両
WO2020146980A1 (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
CN103810475A (zh) 一种目标物识别方法及装置
KR20150050233A (ko) 차선 검출 장치
Lion et al. Smart speed bump detection and estimation with kinect
CN113076851A (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
WO2011039977A1 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
JP2018503195A (ja) 物体検出方法及び物体検出装置
Taubel et al. A lane departure warning system based on the integration of the optical flow and Hough transform methods

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid