KR101313763B1 - 적분 영상 픽셀값을 이용한 차선 인식 방법 - Google Patents

적분 영상 픽셀값을 이용한 차선 인식 방법 Download PDF

Info

Publication number
KR101313763B1
KR101313763B1 KR1020110106582A KR20110106582A KR101313763B1 KR 101313763 B1 KR101313763 B1 KR 101313763B1 KR 1020110106582 A KR1020110106582 A KR 1020110106582A KR 20110106582 A KR20110106582 A KR 20110106582A KR 101313763 B1 KR101313763 B1 KR 101313763B1
Authority
KR
South Korea
Prior art keywords
lane
input image
component
image
candidate
Prior art date
Application number
KR1020110106582A
Other languages
English (en)
Other versions
KR20130042335A (ko
Inventor
유창진
이재광
강광희
Original Assignee
(주)프리소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)프리소프트 filed Critical (주)프리소프트
Priority to KR1020110106582A priority Critical patent/KR101313763B1/ko
Publication of KR20130042335A publication Critical patent/KR20130042335A/ko
Application granted granted Critical
Publication of KR101313763B1 publication Critical patent/KR101313763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차선 인식 방법에 관한 것으로, 보다 구체적으로 입력 영상의 적분 영상 픽셀값과 구분자를 이용하여 입력 영상에서 차선을 빠르고 정확하게 인식할 수 있는 차선 인식 방법에 관한 것이다.
본 발명에 따른 차선 인식 방법은 입력 영상의 대각선 방향의 적분 영상 픽셀값을 이용하여 차선을 검색함으로써 입력 영상에서 차선을 빠르게 검색할 수 있으며, 차량 높이, 차선 폭 등에 의해 설정된 구분자에 의해 입력 영상에서 차선을 검색함으로써 입력 영상에서 정확하고 빠르게 차선을 검색할 수 있다. 또한 본 발명에 따른 차선 인식 방법은 연속되지 않는 다수의 차선 성분으로 구성된 차선의 경우 구분자에 의해 차선 성분을 검색하고 검색한 차선 성분의 길이와 기울기에 기초하여 차선을 검색함으로써, 연속되지 않는 다수의 차선 성분으로 구성된 차선도 정확하게 빠르게 검색할 수 있다.

Description

적분 영상 픽셀값을 이용한 차선 인식 방법{Method for discerning lane of input image}
본 발명은 차선 인식 방법에 관한 것으로, 보다 구체적으로 입력 영상의 적분 영상 픽셀값과 구분자를 이용하여 입력 영상에서 차선을 빠르고 정확하게 인식할 수 있는 차선 인식 방법에 관한 것이다.
근래 들어, 차량 운행 중에 발생하는 각종 사고로부터 운전자의 피해를 최소화하는 안전벨트나 에어백과 같은 사후 안전 수단에서 벗어나 운전 중에 잠재한 사고를 예측하여 운전자에게 경보함으로써 사고를 미연에 방지하기 위한 연구가 활발하게 진행되고 있다.
일반적으로 ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다. ASV의 하나로써 차선 이탈 경보 시스템(LDWS : Lane Departure Warning System)은 차량이 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.
현재 사용되거나 개발되고 있는 차선 이탈 경보 시스템은 주로 CCD 카메라와 같은 광학 기구를 사용하는 것이 주류를 이루고 있다. 이러한 시스템은 중앙선과 주행선의 형태와 색상이 노면의 형태와 색상과 다르다는 점에 착안을 둔 것으로, CCD 카메라에 의해 포착된 화상 데이터를 분석하여 중앙성 또는 차선을 판별한 후에 중앙선을 침범하거나 차선을 이탈한 경우 이를 운전자에게 경보하게 된다. 더 나아가, 지능형의 발전된 차량에서는 차선을 판별하여 스스로 차선을 유지하면서 주행하는 시스템까지도 제안되어 있다.
종래 차선 인식 시스템의 구성은 전후방주행 영상을 입력받는 영상센서부와, 차선인식을 위해 영상처리를 수행하는 영상처리부와, 인식된 차선을 기반으로 차량의 이탈여부를 판단하는 이탈판단부와, 차량 인터페이스(Interface) 신호를 입력받는 인터페이스입력부와, 차선이탈 경보 및 상황을 나타내는 인터페이스 출력부로 구성된다. 이때, 차량 인터페이스는 차선 폭, 차선의 곡률반경, 차선 횡단시간 등의 다양한 변수로 구성된다. 여기서, 영상센서부는 전후방 중앙에 설치된 다수의 카메라를 이용하여 도로상의 차선을 인식하고, 인식한 차선 중앙과 카메라 광학축 사이의 차이 정도를 파악하여 차선이탈 경보가 발생한다.
그러나 종래 차선 인식 시스템은 입력 영상에서 모든 픽셀별로 명암 차이를 비교하여 차선을 검색하므로 차선을 검색하는데 오랜 시간이 소요되며 입력 영상에서 차선과 유사한 명암을 가지는 픽셀이 존재하는 경우 정확하게 차선을 검색하지 못하는 문제점을 가진다.
본 발명의 선행기술로는 "차선 인식 장치 및 방법"라는 제하로 등록된 한국등록특허 제10-1166349호가 있다.
본 발명은 위에서 언급한 종래 차선 인식 시스템이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 입력 영상의 대각선 방향의 적분 영상 픽셀값과 차량 높이 또는 차선 폭 등에 의해 설정된 구분자에 의해 차선을 정확하고 빠르게 검색할 수 있는 차선 인식 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 연속되지 않은 다수의 차선 성분으로 구성되는 차선의 경우 차선 성분의 길이와 기울기에 기초하여 차선을 정확하게 검색할 수 있는 차선 인식 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 차선 인식 방법은 입력 영상의 가로 또는 세로 방향으로 영상 픽셀값을 누적하여 입력 영상의 대각선 방향의 적분 영상 픽셀값을 계산하는 단계와, 적분 영상 픽셀값을 이용하여 입력 영상의 수직 방향 또는 대각선 방향으로 설정된 구분자(classifier) 단위로 영상 픽셀값의 명도 차이를 계산하여 후보 차선 특징영역을 검색하는 단계와, 검색한 후보 차선 특징 영역의 연속 길이에 기초하여 후보 차선을 결정하는 단계와, 결정한 후보 차선에서 임계 차선 길이, 임계 차선 폭 또는 임계 차선 각도를 가지는 후보 차선을 최종 차선으로 결정하는 단계와, 입력 영상에서 결정한 최종 차선을 저장하는 단계와, 입력 영상 다음으로 입력되는 순차 입력 영상에서 최종 차선을 결정하는 단계와, 입력 영상에서 결정한 최종 차선과 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단하는 단계와, 입력 영상과 순차 입력 영상의 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우 저장한 최종 차선을 순차 입력 영상의 최종 차선으로 갱신하는 단계를 포함한다.
본 발명에 따른 차선 인식 방법은 입력 영상과 순차 입력 영상의 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우, 순차 입력 영상 다음으로 입력되는 적어도 1개 이상의 다음 순차 입력 영상들에 대한 최종 차선을 결정하는 단계와, 순차 입력 영상과 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단하는 단계와, 순차 입력 영상과 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우 저장한 입력 영상의 최종 차선을 순차 입력 영상 또는 다음 순차 입력 영상의 최종 차선으로 갱신 저장하는 단계를 더 포함한다.
한편, 순차 입력 영상과 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우 저장한 입력 영상의 최종 차선 또는 다음 순차 입력 영상의 최종 차선을 최종 차선으로 저장 유지한다.
여기서 빠르게 입력 영상의 적분 영상 픽셀값을 계산하기 위하여 입력 영상에서 세로 방향으로 설정된 임계 높이 범위에 위치에 존재하는 영상 픽셀값을 가로 또는 세로 방향으로 누적하여 계산된다.
여기서 구분자는 입력 영상을 촬영하는 영상 획득 장치의 설치 높이, 차선과의 각도 또는 시선 거리에 의해 결정되며, 구분자는 시선 거리에 따라 근거리 구분자, 중거리 구분자 및 원거리 구분자로 구분되고 바람직하게 중거리 구분자와 원거리 구분자는 근거리 구분자의 1/2 폭을 가지는 것으로 계산된다.
본 발명의 일 실시예에서 후보 차선을 결정하는 단계는 검색한 후보 차선 특징영역으로 구성되는, 서로 연속되는 않은 차선 성분과 다음 차선 성분을 판단하는 단계와, 판단한 차선 성분의 기울기를 계산하고 계산한 차선 성분의 기울기로 차선 성분을 연장하여 차선 성분의 연장선 상에 다음 차선 성분이 존재하는지 판단하는 단계와, 다음 차선 성분이 차선 성분의 연장선 상에 존재하는 경우 다음 차선 성분의 기울기를 계산하고 계산한 차선 성분과 다음 차선 성분의 기울기 차이가 임계 기울기 범위에 존재하는지 판단하는 단계와, 차선 성분과 다음 차선 성분의 기울기 차이가 임계 기울기 범위에 존재하는 경우 차선 성분과 다음 차선 성분을 후보 차선으로 결정하는 단계를 포함한다.
바람직하게, 차선 성분과 다음 차선 성분은 차선 성분과 다음 차선 성분의 연속된 길이가 임계 길이 이상인 여부로 판단된다.
본 발명에 따른 차선 인식 방법은 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 차선 인식 방법은 입력 영상의 대각선 방향의 적분 영상 픽셀값을 이용하여 차선을 검색함으로써, 입력 영상에서 차선을 빠르게 검색할 수 있다.
둘째, 본 발명에 따른 차선 인식 방법은 차량 높이, 차선 폭 등에 의해 설정된 구분자에 의해 입력 영상에서 차선을 검색함으로써, 입력 영상에서 정확하고 빠르게 차선을 검색할 수 있다.
셋째, 본 발명에 따른 차선 인식 방법은 연속되지 않는 다수의 차선 성분으로 구성된 차선의 경우 구분자에 의해 차선 성분을 검색하고 검색한 차선 성분의 길이와 기울기에 기초하여 차선을 검색함으로써, 연속되지 않는 다수의 차선 성분으로 구성된 차선도 정확하게 빠르게 검색할 수 있다.
도 1은 차선을 따라 주행하는 차를 도시하고 있다.
도 2는 본 발명의 일 실시예에 따른 차선 인식 장치의 기능 블록도를 도시하고 있다.
도 3은 본 발명의 일 실시예에 따른 차선 인식 장치를 장착 예를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명에 따른 차선 인식 방법에서 적분 영상 픽셀값을 계산하는 방법을 설명하는 도면이다.
도 6은 본 발명에 따른 근거리 구분자(c1), 중거리 구분자(c2), 원거리 구분자(c3)의 일 예를 도시하고 있다.
도 7은 적분 영상 픽셀값과 구분자를 이용하여 입력 영상에서 명암 차이에 기초하여 후보 차선 영역을 검색한 과정의 일 예를 도시하고 있다.
도 8은 본 발명에 따른 차선 인식 방법에서 차선이 점선으로 되어 있는 경우 후보 차선을 결정하는 단계를 보다 구체적으로 설명하는 흐름도이다.
도 9는 후보 차선 영역 중에서 후보 차선으로 결정한 일 예를 도시하고 있다.
도 10과 도 11은 입력되는 다수의 입력 영상에서 최종 차선을 결정하는 방법을 설명하는 흐름도이다.
도 12는 다수의 입력 영상에서 최종 차선을 결정하는 방법의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 차선 인식 방법에 대해 보다 구체적으로 설명한다.
도 1은 차선을 따라 주행하는 차를 도시하고 있으며, 도 2는 본 발명의 일 실시예에 따른 차선 인식 장치의 기능 블록도를 도시하고 있으며, 도 3은 본 발명의 일 실시예에 따른 차선 인식 장치를 장착 예를 도시하고 있다.
도 1 내지 도 3을 참고로 보다 구체적으로 살펴보면, 도로면(40)에는 일렬로 평행하게 차선(20)이 도시되어 있으며, 차(10)는 도로면(40)의 차선(20) 내부에서 차선을 따라 운행한다. 통상적으로 도로면(40)은 아스팔트의 검은색 계열이며 차선은 도로면의 색과 구분되는 색, 예를 들어 하얀색, 노란색 등으로 일정한 폭을 가지도록 도색되어 있다. 본 발명의 일 실시예에 따른 차선 인식 장치(100)는 영상 획득부(110)를 구비하는데, 영상 획득부(110)는 차의 운행 방향을 기준으로 차가 운행하는 도로의 전방 바닥면의 영상을 영상 획득부를 통해 촬영할 수 있도록 차의 상단 일측에 일정한 각도로 배치되어 있다.
도 2를 참고로 본 발명의 일 실시예에 따른 차선 인식 장치(100)를 보다 구체적으로 살펴보면, 적분 영상 계산부(120)는 영상 획득부(110)를 통해 촬영한 입력 영상에 존재하는 픽셀들의 영상 픽셀값을 입력 영상의 수평 또는 수직 방향으로 누적하여 입력 영상의 대각선 방향의 적분 영상 픽셀값을 계산한다.
구분자 설정부(140)는 차에 설치되어 있는 영상 획득부(110)의 설치 높이(h), 차선의 폭, 영상 획득부(110)의 설치 각도(Θ), 시선 길이(l) 등에 따라 구분자(classifier)를 설정한다. 구분자는 양단 영역과 중앙 영역의 명암 차이가 나도록 구성되는 사각형 형상으로, 구분자 설정부(140)는 데이터베이스부(130)에 저장되어 있는 영상 획득부(110)의 설치 높이, 차선의 폭, 영상 획득부(110)의 설치 각도 등에 따라 양단 영역의 폭과 중앙 영역의 폭을 계산하여 구분자를 설정한다. 영상 획득부(110)를 통해 획득한 입력 영상은 촬영 각도에 의해 입력 영상의 하단에서 상단 방향으로 차선의 폭이 좁아지는 것이 통상이며, 구분자 설정부(140)는 하단에서 상단 방향으로 차선 폭을 고려하여 근거리 구분자, 중거리 구분자, 원거리 구분자를 각각 설정한다.
후보 차선 영역 검색부(150)는 적분 영상 픽셀값과 설정된 구분자를 이용하여 입력 영상에서 입력 영상의 수직 방향 또는 대각선 방향으로 구분자 단위로 영상 픽셀값의 명도 차이를 비교하여 설정된 구분자에 해당하는 후보 차선 영역을 검색한다. 후보 차선 결정부(160)는 검색한 후보 차선 영역의 연속 길이, 또는 후보 차선 영역으로 구성된 차선 성분의 길이와 기울기에 기초하여 후보 차선 영역의 연속 길이가 임계 길이(TL) 이상인 경우 또는 차선 성분이 임계 길이(TLC) 이상이고 기울기 차이가 임계 기울기(TA) 이하인지에 따라 입력 영상에서 후보 차선을 결정한다.
최종 차선 결정부(170)는 입력 영상에서 결정한 후보 차선 중 좌측 후보 차선과 우측 후보 차선 1쌍이 존재하는지 여부 및 임계 차선 폭 또는 임계 차선 각도를 가지는 후보 차선을 최종 차선으로 결정하며, 차선 제어부(180)는 결정한 최종 차선을 기준으로 차가 최종 차선을 이탈하는 경우 경고음을 운전자에 출력 제어하거나 차의 운행 방향을 제어한다.
도 4는 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 영상 획득부를 통해 획득한 차의 진행 방향 전방 바닥면의 입력 영상을 구성하는 픽셀들의 픽셀값을 수평 방향 또는 수직 방향으로 누적하여 입력 영상의 대각선 방향의 적분 영상 픽셀값을 계산한다(S100).
입력 영상의 적분 영상 픽셀값을 나타내는 도 5를 참고로 입력 영상의 적분 영상 픽셀값을 계산하는 방법을 보다 구체적으로 설명하면, 도 5(a)는 입력 영상의 일 예이며 도 5(b)는 도 5(a)의 입력 영상의 대각선 방향 적분 영상 픽셀값을 설명하는 개념도이며, 도 5(c)는 대각선 방향 적분 영상 픽셀값을 통해 입력 영상의 특정 영역의 명도 차를 계산하는 방식을 설명하는 개념도이다. 도 5(a)의 입력 영상이 영상 획득부를 통해 획득되는 경우, 도 5(b)에 도시되어 있는 바와 같이 적분 영상 계산부는 입력 영상의 일단에서 대각선 방향(XY)의 적분 영상 픽셀값을 계산한다. 대각선 방향(XY)의 적분 영상 픽섹값을 계산하기 위하여, 입력 영상의 수평 방향(X)의 적분 영상 픽셀값을 계산하고, 입력 영상의 수평 방향(X)의 적분 영상 픽셀값을 수직 방향(Y)으로 누적하여 입력 영상의 대각선 방향(XY)의 적분 영상 픽셀값을 계산한다. 도 5(c)에서 P1위치의 적분 영상 픽셀값은 입력 영상에서 수평 길이(x1)와 수직 길이(y1)으로 구성되는 영상 영역의 모든 영상 픽셀값을 합한 값이며, 도 5(c)에서 P2위치의 적분 영상 픽셀값은 입력 영상에서 수평 길이(x2)와 수직 길이(y1)으로 구성되는 영상 영역의 모든 영상 픽셀값을 합한 값이며, 도 5(c)에서 P3위치의 적분 영상 픽셀값은 입력 영상에서 수평 길이(x1)와 수직 길이(y2)으로 구성되는 영상 영역의 모든 영상 픽셀값을 합한 값이며, 도 5(c)에서 P4위치의 적분 영상 픽셀값은 입력 영상에서 수평 길이(x2)와 수직 길이(y2)으로 구성되는 영상 영역의 모든 영상 픽셀값을 합한 값이다.
바람직하게, 도 5(a)와 같이 도로 주행 중 영상 획득부를 통해 획득한 입력 영상에서 실제 차선이 존재하는 영역은 입력 영상의 하단에서 일정 높이까지이므로, 입력 영상에서 수직 방향으로 설정된 임계 높이(H1) 범위에 위치에 존재하는 영상 픽셀값만을 수평 또는 수직 방향으로 누적하여 입력 영상의 누적 영상 픽셀값을 계산한다.
다시 도 4를 참고로 살펴보면, 데이터베이스부에 저장되어 있는 영상 획득부의 설치 높이(h), 차선의 폭, 영상 획득부의 설치 각도(Θ), 시선 길이(l) 등에 기초하여 구분자를 설정한다. 구분자는 사각 형상으로 사각 형상의 양단에 위치되는 양단 영역(WL, WR)과 양단 영역의 사이에 위치하는 중앙 영역(WC)으로 구성되는데, 구분자의 중앙 영역의 폭은 아래의 수학식(1)에 의해 계산되며, 양단 영역의 폭은중앙 영역의 폭에 비례하여 계산된다.
[수학식 1]
Figure 112011081457719-pat00001
여기서 a, b는 영상 획득부의 렌즈 곡률에 따른 화각 계수이며, l은 시선 거리, h는 영상 획득부의 설치 높이, θ는 영상 획득부의 설치 각도를 나타낸다.
구분자는 입력 영상의 하단에서 상단으로 갈수록 양단 영역과 중앙 영역의 폭이 줄어들도록 설정되는데, 구분자는 근거리 구분자, 중거리 구분자, 원거리 구분자로 구분되어 설정된다. 본 발명이 적용되는 분야에 따라 근거리 구분자, 중거리 구분자, 원거리 구분자로 구분하여 설정하는데 소요되는 계산량과 계산 시간을 줄이기 위하여 원거리 구분자는 근거리 구분자를 구성하는 양단 영역과 중앙 영역의 폭의 1/2를 각각 가지도록 설정되거나, 근거리 구분자, 중거리 구분자, 원거리 구분자 구분없이 중거리 구분자 1개로 설정된다. 도 6은 본 발명에 따른 근거리 구분자(c1), 중거리 구분자(c2), 원거리 구분자(c3)의 일 예를 도시하고 있다.
다시 도 4를 참고로 살펴보면, 적분 영상 픽셀값과 설정한 구분자를 이용하여 입력 영상에서 입력 영상의 수직 방향 또는 대각선 방향으로 구분자 단위로 영상 픽셀값의 명도 차이를 비교하여 설정된 구분자에 일치하는 후보 차선 영역을 검색한다(S120). 검색한 후보 차선 영역의 연속 길이, 또는 후보 차선 영역으로 구성된 차선 성분의 길이와 기울기에 기초하여 후보 차선 영역의 연속 길이가 임계 길이(TL) 이상인 경우 또는 차선 성분이 임계 길이(TLC) 이상이고 기울기 차이가 임계 기울기(TA) 이하인지에 따라 입력 영상에서 후보 차선을 결정한다(S130). 도 7(a)는 적분 영상 픽셀값과 구분자를 이용하여 근거리 구분자(c1), 중거리 구분자(c2), 원거리 구분자(c3) 별로 입력 영상에서 명암 차이에 기초하여 후보 차선 영역을 검색한 과정의 일 예를 도시하고 있으며, 도 7(b)는 구분자를 이용하여 검색한 후보 차선 영역을 도시하고 있다. 적분 영상 픽셀값은 입력 영상의 특정 위치에 포함되어 있는 모든 픽셀들의 누적 픽셀값이므로, 구분자의 양단 영역과 중앙 영역의 일단에 위치하는 적분 픽셀값을 이용하여 양단 영역과 중앙 영역의 명암 차이를 용이하게 계산할 수 있다.
한편, 도 9는 후보 차선 영역 중에서 후보 차선으로 결정한 일 예를 도시하고 있다. 도 9(a)를 참고로 살펴보면, 연속된 차선의 경우 검색한 후보 차선 영역의 연속 길이가 임계 길이(TL)이상인 경우 후보 차선으로 결정한다. 도 9(b)를 참고로 살펴보면, 연속되지 않은 차선의 경우 연속되지 않은 차선 성분의 연속 길이가 임계 길이(TLC)를 초과하는지 차선 성분과 다음 차선 성분의 기울기 차이가 임계 기울기 차이(TA)인지, 차선 성분의 연장선상에 다음 차선 성분이 존재하는지에 따라 후보 차선을 결정한다.
입력 영상에서 결정한 후보 차선 중 좌측 후보 차선과 우측 후보 차선 1쌍이 존재하는지 여부 및 임계 차선 폭 또는 임계 차선 각도를 가지는 후보 차선을 최종 차선으로 결정하며(S140) 결정한 최종 차선을 기준으로 차가 최종 차선을 이탈하는 경우 경고음을 운전자에 출력 제어하거나 차의 운행 방향을 제어한다(S150). 최종 차선을 결정하는 일 예로, 수직 방향의 기준선을 기준으로 기준선으로부터 일정 간격으로 이격되어 있는 좌측 후보 차선과 우측 후보 차선이 1쌍 존재하는지 판단하며, 판단한 1쌍의 좌측 후보 차선과 우측 후보 차선이 기준선을 기준으로 서로 대향하여 기준선을 만나는 각도를 가지는지 판단하며, 판단한 1쌍의 좌측 후보 차선과 우측 후보 차선이 임계 차선 폭을 가지는지 판단하여 최종 차선을 결정한다.
도 8은 본 발명에 따른 차선 인식 방법에서 차선이 점선으로 되어 있는 경우 후보 차선을 결정하는 단계를 보다 구체적으로 설명하는 흐름도이다.
도 8과 도 9(b)를 참고로 보다 구체적으로 살펴보면, 입력 영상에서 검색한 차선 후보 영역으로부터 서로 연속되지 않는 차선 성분과 다음 차선 성분을 판단한다(S131). 차선 성분과 다음 차선 성분은 임계 길이(TL)만큼 서로 연속되지 않지만 임계 길이(TLC) 이상 연속된 차선 후보 영역으로 판단된다. L1의 길이를 가지는 차선 성분과 L2의 길이를 가지는 다음 차선 성분은 각각 임계 길이(TLC) 이상으로 차선 후보 영역으로 판단된다.
판단한 차선 성분의 기울기(θ1)를 계산하고(S133), 계산한 차선 성분의 기울기로 차선 성분을 연장하여 차선 성분의 연장선상에 검색한 다음 차선 성분이 존재하는지 판단한다(S135). 차선 성분의 기울기는 차선 성분을 구성하는 최하단 차선 후보 영역의 중앙 좌표와 차선 성분을 구성하는 최상단 차선 후보 영역의 중앙 좌표를 통해 계산된다. 한편. 차선 성분의 연장선상에 다음 차선 성분이 존재하는지 여부의 판단은 차선 성분의 연장선상에 다음 차선 성분을 구성하는 차선 후보 영역이 겹쳐지는지 여부로 판단한다.
차선 성분의 연장선상에 다음 차선 성분이 존재하는 경우, 다음 차선 성분의 기울기(θ2)를 계산하고(S137) 계산한 차선 성분과 다음 차선 성분의 기울기 차이가 임계 기울기(TA) 범위에 존재하는지 판단한다(S138). 차선 성분과 다음 차선 성분의 기울기 차이가 임계 기울기 범위에 존재하는 경우, 차선 성분과 다음 차선 성분을 후보 차선으로 결정한다(S139).
도 10과 도 11은 입력되는 다수의 입력 영상 사이에서 최종 차선을 결정하는 방법을 설명하는 흐름도이며, 도 12는 다수의 입력 영상에서 최종 차선을 결정하는 방법의 일 예를 도시하고 있다.
도 10을 참고로 살펴보면, 입력 영상에서 결정한 최종 차선을 저장하고(S150), 입력 영상 다음으로 순차적으로 입력되는 순차 입력 영상의 최종 차선을 앞서 입력 영상의 최종 차선을 구하는 방식과 동일하게 결정한다(S160). 입력 영상에서 결정한 최종 차선과 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단한다(S170). 예를 들어, 입력 영상에서 결정한 최종 차선의 차선 폭과 순차 입력 영상에서 결정한 최종 차선의 차선 폭 차이가 임계 폭 이하인지 또는 입력 영상에서 결정한 최종 차선의 우측 차선과 순차 입력 영상에서 결정한 최종 차선의 우측 차선의 이격 거리가 임계 거리 이하인지 판단한다.
입력 영상과 순차 입력 영상의 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우 저장한 최종 차선을 순차 입력 영상의 최종 차선으로 갱신하여 저장한다(S180).
그러나 도 11을 참고로 입력 영상과 순차 입력 영상의 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우, 순차 입력 영상 다음으로 입력되는 적어도 1개 이상의 다음 순차 입력 영상들에 대한 최종 차선을 결정한다(S191). 순차 입력 영상과 적어도 1개 이상의 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단하여(S193), 순차 입력 영상과 적어도 1개 이상의 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우, 저장한 입력 영상의 최종 차선을 순차 입력 영상 또는 적어도 1개 이상의 다음 순차 입력 영상의 최종 차선으로 갱신 저장한다(S195). 그러나 순차 입력 영상과 적어도 1개 이상의 다음 순차 입력 영상에서 결정한 최종 차선의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우, 최초에 저장되어 있는 입력 영상의 최종 차선을 최종 차선으로 유지한다(S197)
즉, 도 12(b)에 도시되어 있는 것과 같이, 입력 영상(프리임 n-1) 다음으로 입력되는 순차 입력 영상(프레임 n)에서 결정한 최종 차선이 입력 영상의 최종 차선과의 차선 위치와 임계 거리 이상으로 이격되어 있는 경우, 순차 입력 영상의 최종 차선과 적어도 1개 이상의 다음 순차 입력 영상의 최종 차선이 임계 범위에 존재하는 경우 차선이 변경된 것으로 판단하여 순차 입력 영상 또는 다음 순차 입력 영상의 최종 차선으로 갱신하여 유지한다.
그러나 도 12(a)에 도시되어 있는 것과 같이, 입력 영상(프리임 n-1) 다음으로 입력되는 순차 입력 영상(프레임 n)에서 결정한 최종 차선이 입력 영상의 최종 차선과의 차선 위치가 임계 거리 이상으로 이격되어 있는 경우, 적어도 1개 이상의 다음 순차 입력 영상의 최종 차선도 순차 입력 영상의 최종 차선과 임계 범위에 존재하지 않는 경우 다음 순차 입력 영상과 입력 영상의 최종 차선이 임계 범위에 존재하는 것으로 입력 영상의 최종 차선을 그대로 유지한다. 본 발명이 적용되는 분야에 따라 다음 순차 입력 영상과 입력 영상의 최종 차선이 임계 범위에 존재하는지 판단하여 입력 영상의 최종 차선을 그대로 유지할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 차량 20: 차선
40: 도로면 110: 영상 획득부
120: 적분 영상 계산부 130: 데이터베이스부
140: 구분자 설정부 150: 후보 차선 영역 검색부
160: 후보 차선 결정부 170: 최종 차선 결정부
180: 차선 제어부

Claims (9)

  1. 입력 영상의 수평 또는 수직 방향으로 영상 픽셀값을 누적하여 상기 입력 영상의 대각선 방향의 적분 영상 픽셀값을 계산하는 단계;
    상기 적분 영상 픽셀값을 이용하여 상기 입력 영상의 수직 방향 또는 대각선 방향으로 설정된 구분자(classifier) 단위로 영상 픽셀값의 명도 차이를 계산하여 후보 차선 영역을 검색하는 단계;
    상기 후보 차선 영역의 연속 길이에 기초하여 후보 차선을 결정하는 단계; 및
    상기 후보 차선에 좌측 차선과 우측 차선이 존재하는지 여부, 상기 후보 차선이 임계 차선 폭 또는 임계 차선 각도를 가지는지 여부에 기초하여 상기 후보 차선을 상기 입력 영상의 최종 차선으로 결정하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  2. 제 1 항에 있어서, 상기 적분 영상 픽셀값은
    상기 입력 영상에서 차선이 위치하는, 상기 입력 영상에서 수직 방향으로 설정된 임계 높이 범위에 존재하는 영상 픽셀값을 수평 또는 수직 방향으로 누적하여 계산되는 것을 특징으로 하는 차선 인식 방법.
  3. 제 1 항에 있어서, 상기 구분자는
    상기 입력 영상을 촬영하는 영상 획득 장치의 설치 높이, 차선과의 각도 또는 시선 거리에 의해 결정되는 것을 특징으로 하는 차선 인식 방법.
  4. 제 3 항에 있어서, 상기 구분자는
    상기 입력 영상에서 상기 시선 거리에 따라 폭이 변화하는 차선을 인식하기 위하여 폭이 줄어드는 근거리 구분자, 중거리 구분자 및 원거리 구분자로 구분되며, 상기 중거리 구분자와 원거리 구분자는 근거리 구분자의 1/2 폭을 가지는 것으로 계산되는 것을 특징으로 하는 차선 인식 방법.
  5. 제 1 항에 있어서, 상기 후보 차선을 결정하는 단계는
    상기 후보 차선 영역에서 제1 차선 성분 및 상기 제1 차선 성분에 연속되지 않고 끊어져 위치한 제2 차선 성분을 판단하는 단계;
    상기 판단한 제1 차선 성분의 기울기를 계산하고, 상기 계산한 제1 차선 성분의 기울기로 상기 제1 차선 성분을 연장하여 상기 제1 차선 성분의 연장선에 상기 제2 차선 성분이 존재하는지 판단하는 단계;
    상기 제2 차선 성분이 상기 제1 차선 성분의 연장선에 존재하는 경우, 상기 제2 차선 성분의 기울기를 계산하고 상기 제1 차선 성분과 제2 차선 성분의 기울기 차이가 임계 기울기 범위에 존재하는지 판단하는 단계; 및
    상기 제1 차선 성분과 제2 차선 성분의 기울기 차이가 임계 기울기 범위에 존재하는 경우, 상기 제1 차선 성분과 제2 차선 성분을 후보 차선으로 결정하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 차선 인식 방법은
    상기 입력 영상의 다음으로 입력되는 순차 입력 영상의 최종 차선을 결정하는 단계;
    상기 입력 영상의 최종 차선과 상기 순차 입력 영상의 최종 차선 사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단하는 단계; 및
    상기 입력 영상의 최종 차선과 상기 순차 입력 영상의 최종 차선 사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우, 상기 입력 영상의 최종 차선을 상기 순차 입력 영상의 최종 차선으로 갱신하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  8. 제 7 항에 있어서,
    상기 입력 영상의 최종 차선과 상기 순차 입력 영상의 최종 차선 사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우,
    상기 순차 입력 영상 다음으로 입력되는 적어도 1개 이상의 다음 순차 입력 영상들의 최종 차선을 결정하는 단계;
    상기 순차 입력 영상의 최종 차선과 상기 다음 순차 입력 영상의 최종 차선 사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하는지 판단하는 단계; 및
    상기 순차 입력 영상의 최종 차선과 상기 다음 순차 입력 영상의 최종 차선사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하는 경우, 상기 입력 영상의 최종 차선을 상기 순차 입력 영상 또는 상기 다음 순차 입력 영상의 최종 차선으로 갱신 저장하는 단계를 더 포함하는 것을 특징으로 하는 차선 인식 방법.
  9. 제 8 항에 있어서,
    상기 순차 입력 영상의 최종 영상과 다음 순차 입력 영상의 최종 차선 사이의 차선 폭 또는 위치 차이가 임계 범위에 존재하지 않는 경우, 상기 입력 영상의 최종 차선 또는 상기 다음 순차 입력 영상의 최종 차선을 최종 차선으로 저장 유지하는 것을 특징으로 하는 차선 인식 방법.
KR1020110106582A 2011-10-18 2011-10-18 적분 영상 픽셀값을 이용한 차선 인식 방법 KR101313763B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110106582A KR101313763B1 (ko) 2011-10-18 2011-10-18 적분 영상 픽셀값을 이용한 차선 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110106582A KR101313763B1 (ko) 2011-10-18 2011-10-18 적분 영상 픽셀값을 이용한 차선 인식 방법

Publications (2)

Publication Number Publication Date
KR20130042335A KR20130042335A (ko) 2013-04-26
KR101313763B1 true KR101313763B1 (ko) 2013-10-01

Family

ID=48441061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110106582A KR101313763B1 (ko) 2011-10-18 2011-10-18 적분 영상 픽셀값을 이용한 차선 인식 방법

Country Status (1)

Country Link
KR (1) KR101313763B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016591A (ja) 2001-06-20 2003-01-17 Hyundai Motor Co Ltd 自動車の車線離脱防止のための制御方法及びシステム
JP2003346278A (ja) 2002-04-04 2003-12-05 Lg Industrial Syst Co Ltd 車両待機行列の長さ測定装置及びその方法
JP2009020854A (ja) 2007-07-16 2009-01-29 Hyundai Motor Co Ltd 車線離脱警報システム
JP2010218528A (ja) 2009-03-18 2010-09-30 Hyundai Motor Co Ltd 仮想車線を用いる車線離脱警報方法及びそのシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016591A (ja) 2001-06-20 2003-01-17 Hyundai Motor Co Ltd 自動車の車線離脱防止のための制御方法及びシステム
JP2003346278A (ja) 2002-04-04 2003-12-05 Lg Industrial Syst Co Ltd 車両待機行列の長さ測定装置及びその方法
JP2009020854A (ja) 2007-07-16 2009-01-29 Hyundai Motor Co Ltd 車線離脱警報システム
JP2010218528A (ja) 2009-03-18 2010-09-30 Hyundai Motor Co Ltd 仮想車線を用いる車線離脱警報方法及びそのシステム

Also Published As

Publication number Publication date
KR20130042335A (ko) 2013-04-26

Similar Documents

Publication Publication Date Title
JP3352655B2 (ja) 車線認識装置
US10521676B2 (en) Lane detection device, lane departure determination device, lane detection method and lane departure determination method
KR101163446B1 (ko) 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
US8194998B2 (en) Preceding vehicle detection system
US9349057B2 (en) Three-dimensional object detection device
JP3780848B2 (ja) 車両の走行路認識装置
US9424462B2 (en) Object detection device and object detection method
JP3780922B2 (ja) 道路白線認識装置
JP3304687B2 (ja) 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US9965690B2 (en) On-vehicle control device
JP6697522B2 (ja) 区画線認識装置
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US20120070088A1 (en) Picture image processor, method for processing picture image and method for processing picture image
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
KR20130040964A (ko) 물체 식별 장치
US20090052742A1 (en) Image processing apparatus and method thereof
US11210548B2 (en) Railroad track recognition device, program, and railroad track recognition method
JP6426512B2 (ja) 走行区画線認識装置
JP5067358B2 (ja) 走行レーン検出装置および走行レーン検出プログラム
JP6678552B2 (ja) 車種判別装置および車種判別方法
KR101236223B1 (ko) 차선 검출 방법
JP3812384B2 (ja) 先行車両認識装置
JP5209656B2 (ja) 車載白線認識装置
KR100355993B1 (ko) 차선 이탈 경보장치 및 방법
JP2009037284A (ja) 移動物認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160919

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180910

Year of fee payment: 6