KR20110001427A - 관심영역 추출에 의한 차선 고속검출 방법 - Google Patents

관심영역 추출에 의한 차선 고속검출 방법 Download PDF

Info

Publication number
KR20110001427A
KR20110001427A KR1020090058961A KR20090058961A KR20110001427A KR 20110001427 A KR20110001427 A KR 20110001427A KR 1020090058961 A KR1020090058961 A KR 1020090058961A KR 20090058961 A KR20090058961 A KR 20090058961A KR 20110001427 A KR20110001427 A KR 20110001427A
Authority
KR
South Korea
Prior art keywords
lane
region
interest
image
extracting
Prior art date
Application number
KR1020090058961A
Other languages
English (en)
Inventor
정차근
Original Assignee
태성전장주식회사
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 태성전장주식회사, 호서대학교 산학협력단 filed Critical 태성전장주식회사
Priority to KR1020090058961A priority Critical patent/KR20110001427A/ko
Publication of KR20110001427A publication Critical patent/KR20110001427A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

본 발명은 지능형 차량을 위하여 차선을 검출할 때, 수평소실선의 추정 및 관심영역의 선정을 통해 영상처리 영역을 감소시킴으로써, 차선검출 속도를 획기적으로 단축함과 아울러 차선검출 성능을 개선할 수 있도록 한 관심영역 추출에 의한 차선 고속 검출방법에 관한 것으로서,
차량에 설치된 카메라의 초점거리와 경사각 파라미터로부터 수평소실선을 사전 추정하는 제1단계와; 차량으로부터 수평소실선 영역까지 차선검출에 필요한 처리영역을 최적 선정하여 다수의 블록 형태로 이루어진 관심영역(ROI-LB: Region Of Interest for Lane Boundary)을 추출하는 제2단계와; 관심영역 내에서 영상의 특징 정보를 추출하고 이를 기반으로 한 허프변환(HT: Hough Transform)에 의한 논파라미터릭(Non-Parameteric) 모델 매칭 기법을 통해 영상으로부터 차선 성분을 추출하는 제3단계와; 추출된 차선 성분에 포함된 잡음을 제거하고 에지 보강을 통해 차선을 검출하는 제4단계;를 포함하는 것을 특징으로 한다.
지능형자동차, 허프변환, 수평소실선, 관심영역, 차선검출, HT, ROI-LB

Description

관심영역 추출에 의한 차선 고속검출 방법{High Speed Road Lane Detection Method Based on Extraction of ROI-LB}
본 발명은 지능형 차량에서 도로상의 차선을 검출하여 안전운전을 보조할 수 있도록 하는 차선 검출방법에 관한 것으로서, 특히 수평소실선의 추정 및 관심영역의 선정을 통해 영상처리 영역을 감소시킴으로써, 차선검출 속도를 획기적으로 단축함과 아울러 차선검출 성능을 개선할 수 있도록 한 관심영역 추출에 의한 차선 고속 검출방법에 관한 것이다.
일반적으로 지능형 차량이란 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 차량을 의미한다.
이러한 지능형 차량의 주요 과제는 주행차선의 유지, 인접차량과의 안전거리 확보와 근접 장애물의 검출과 충돌회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 있다.
최근에는 정보통신 기술의 진전에 따라 차선이탈 경고 시스템(LDWS : Lane Departure Warning System)이나 차선유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다.
특히, 주행차선의 검출은 지능형 차량에서의 주요 과제를 해결하는 핵심기술의 하나이로서, 국제적인 관심 속에 많은 연구가 활발히 진행되고 있다.
주행차선의 검출은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용하여 정확한 주행차선을 검출하고 있다. 즉, 이미지 센서, 레이더(RADAR) 또는 라이다(LIDAR) 센서 등 다양한 센서들이, 차선의 검출이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량제어 시스템 구현에 사용되고 있다.
특히, 이미지 센서에 의한 비전 기반 시스템은 저렴한 비용으로 많은 정보의 추출이 가능하고, 기존의 다양한 비전 처리 알고리즘을 활용할 수 있는 장점으로 인해 널리 활용되어 왔다.
이러한 비전 기반의 차선검출 시스템은, 입력 영상으로부터 특징 정보를 추출하고, 차선검출을 위한 파라미터릭(Parametric) 모델과 매칭, 칼만(Kalman) 필터 또는 파티클(Particle) 필터링 등과 같은 갱신 알고리즘의 적용에 의한 근사화 방법이나, 허프 변환(HT:Hough Transform)과 같은 변환에 의한 논파라미터릭(Non-Parametric) 모델 매칭 등의 방법을 이용하여 차선을 검출하고 있다.
한편, 차선검출의 성능을 개선하고 실용화 가능성을 높이기 위해서는, 다음과 같은 다양한 도로조건이나 차선형태에 적응적으로 대응할 수 있는 알고리즘 개발이 필요하다.
1) 연속차선(Solid line)과 점선형(Dashed-line) 차선 또는 점멸등으로 구성 된 차선 등 다양한 차선 패턴에의 대응,
2) 흰색(W), 황색(Y), 청색(B) 또는 적색(R) 등 차선의 색상 변화에의 대응,
3) 직선 또는 곡선 차선 등과 같은 다양한 도로 형태에의 대응,
4) 도로구조, 날씨, 나무 등의 그늘이나 조명변화, 불완전한 도로포장 등 상이한 도로환경에의 대응.
현재 위와 같은 실제도로의 모든 차선 패턴이나 도로조건에 강인한 차선검출을 위한 연구가 진행되어 제한적인 기능을 중심으로 실용화 단계까지 이르고 있다.
그러나, 방대한 계산량에 따른 실시간 처리 시스템 구현의 어려움, 차선 및 도로 조건의 물리적인 제한 등 범용성에 한계가 있다는 문제점이 지적되고 있다.
또한, 종래의 차선 검출방법은, 고정된 카메라를 사용하여 영상을 얻을 경우 영상에서 차선이 존재하는 영역이 일정 범위에 한정되고 있음에도 차선이 한정된 상황을 고려하지 않고 영상 전체를 대상으로 차선검출을 수행하고 있다. 이에 따라, 영상 정보의 처리에 많은 시간이 소요되는 문제점이 있다.
또한, 에지(Edge) 방향성에 대한 통계적인 성질을 충분히 이용하지 않기 때문에 잡음 등에 민감하게 반응하는 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출된 것으로서, 다양한 차선형태 및 도로환경에 효율적으로 대응하고, 실용화를 목적으로 차선검출의 성능을 개선함과 동시에, 계산량을 감소시켜 실시간 처리를 가능하게 한 새로운 차선 검출 방법을 제공하는데 그 목적이 있다.
구체적으로, 수평소실선 바깥 지역의 제거 및 관심 영역의 설정 등을 통해 차선검출에 필요한 처리영역을 제한함으로써, 계산량을 감소시켜 정보 처리 시간을 획기적으로 단축할 수 있는 관심영역 추출에 의한 고속 차선 검출방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 라플라시안 필터를 사용하여 잡음제거와 동시에 에지 보강을 실시함으로써, 다양한 차선 패턴에 대한 특징 정보 추출의 신뢰성을 향상시킬 수 있도록 한 관심영역 추출에 의한 고속 차선 검출방법을 제공하는데 목적이 있다.
또한, 에지의 방향성 정보의 통계적 성질과 직전 영상의 결과를 이용하여 차선으로 오인식되는 정보들을 제거함으로써, 차선검출의 성능을 획기적으로 개선할 수 있는 관심영역 추출에 의한 고속 차선 검출방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 관심영역 추출에 의한 고속 차선 검출방법은, 차량에 설치된 카메라의 초점거리와 경사각 파라미터로부터 수평소실선을 사전 추정하는 제1단계와; 차량으로부터 수평소실선 영역까지 차선검출에 필요한 처리영역을 최적 선정하여 다수의 블록 형태로 이루어진 관심영역(ROI-LB: Region Of Interest for Lane Boundary)을 추출하는 제2단계와; 상기 관심영역 내에서 영상의 특징 정보를 추출하고 이를 기반으로 한 허프변환(HT: Hough Transform)에 의한 논파라미터릭(Non-Parameteric) 모델 매칭 기법을 통해 영상으로부터 차선 성분을 추출하는 제3단계와; 상기 제3단계에서 추출된 차선 성분에 포함된 잡음을 제거하고 에지 보강을 통해 차선을 검출하는 제4단계;를 포함하는 것을 특징으로 한다.
또, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 상기 수평소실선의 위치(v0)는 하기의 수식에 의해 결정되는 것을 특징으로 한다:
Figure 112009039861897-PAT00001
여기서, f는 카메라의 초점거리이고, Φ는 지면에 대한 카메라의 경사각을 의미한다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 상기 관심영역을 형성하는 블록 중 i번째 블록의 폭(wi)은 하기의 수식에 의해 결정되는 것을 특징으로 한다:
Figure 112009039861897-PAT00002
여기서, v0는 차량으로부터 수평소실점까지의 거리이고, h는 각 블록의 높이이며, θ1 및 θ2 는 최적의 관심영역을 결정하기 위한 각도로서 소실점에 이어지는 차선과 수평선이 이루는 각 θ에서 일정 값이 가감된 각도를 의미한다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 상기 제3단계는, 영상에 나타난 직선 또는 곡선패턴을 직각좌표계에서 극좌표계로 전환하여 특징점을 형성하고, 허프(Hough) 변환에서 이산화된 파라미터 공간에 대응하는 영상의 특징점의 수를 누적시켜 형상에 관한 정보를 추출함과 아울러, 소벨(Sobel) 연산자를 이용하여 관심영역 내의 수평 및 수직 방향의 에지(Edge)를 계산하고, 이들로부터 잡음성 에지 이미지를 제거하여 관심영역 내의 차선 에지를 검출함으로써 차선 성분을 추출하는 것을 특징으로 한다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 상기 제4단계는, 라플라시안(Laplacial) 필터함수를 적용하여 에지를 보강함과 아울러, 각 에지에 대한 클러스터링(Clustering)을 실시하여 불필요한 에지 성분을 제거하는 것을 특징으로 한다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 상기 클러스터링은 관심영역 전체에서 발견되는 에지의 방향성 성분에 대하여 블록별 평균과 관심영역 전체의 평균의 차이값 및 블록별 분산과 관심영역 전체의 분산의 차이값을 구한 후, 이들과 각각의 기준값과의 관계에 따라 에지 성분을 제거하거나 차선으로 처리하는 것을 특징으로 한다.
본 발명의 관심영역 추출에 의한 차선 고속 검출방법은, 수평소실선과 최적 관심영역을 추출하고 이를 기반으로 차선을 검출함으로써, 영상처리 영역을 축소하 여 기존 방법에 비해 8배 이상 계산량을 줄일 수 있어 차선의 검출을 실시간으로 수행할 수 있는 효과가 있다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 잡음제거와 동시에 에지 보강이 가능한 라플라시안 필터를 사용함으로써, 선명하지 않은 차선이나 구별이 명확하지 않은 차선의 특징 정보도 명확하게 검출할 수 있는 효과가 있다.
또한, 본 발명의 관심영역 추출에 의한 차선 고속 검출방법에 따르면, 관심영역을 기반으로 블록단위별의 작은 영역을 대상으로 영상의 특징 정보를 추출하여, 논파라메트릭 모델 매칭 기법을 사용하고 블록별 에지 방향성의 통계적 특성을 이용함으로써, 다양한 패턴의 차선을 검출할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 관심영역 추출에 의한 차선 고속 검출방법을 설명하면 다음과 같다.
도 1은 본 발명의 관심영역 추출에 의한 차선 고속 검출방법이 도시된 순서도이고, 도 2는 카메라 및 차선의 기하학적 좌표계가 도시된 참고도이며, 도 3은 실제 도로에서의 수평소실선을 검출한 결과를 나타낸 참고도이다.
그리고, 도 4는 본 발명의 요부인 관심영역의 설정에 대한 모식도이고, 도 5는 실제 도로 영상에 관심영역을 설정한 결과를 나타낸 참고도이다. 또, 도 6은 본 발명의 요부인 허프 변환을 설명하기 위한 좌표계의 변환 형태를 나타낸 참고도이고, 도 7은 본 발명의 요부인 라플라시안 필터에 의한 에지보강 전후의 에지 성분 을 나타낸 참고도이며, 도 8은 부가성 잡음 영상에 대한 에지 성분 검출 결과를 나타낸 참고도이다.
한편, 도 9a 내지 9d는 4종류의 차선에 대하여 영상처리방법을 달리하여 검출한 차선 및 처리속도를 비교한 참고도이고, 도 10은 본 발명을 이용하여 다양한 차선에 대하여 검출한 결과를 나타낸 참고도이다.
본 발명에 따른 관심영역 추출에 의한 차선 고속 검출방법은, 차량에 설치된 카메라의 초점거리와 경사각 파라미터로부터 수평소실선을 사전 추정하는 제1단계와; 차량으로부터 수평소실선 영역까지 차선검출에 필요한 처리영역을 최적 선정하여 다수의 블록 형태로 이루어진 관심영역(ROI-LB: Region Of Interest for Lane Boundary)을 추출하는 제2단계와; 상기 관심영역 내에서 영상의 특징 정보를 추출하고 이를 기반으로 한 허프변환(HT: Hough Transform)에 의한 논파라미터릭(Non-Parameteric) 모델 매칭 기법을 통해 영상으로부터 차선 성분을 추출하는 제3단계와; 상기 제3단계에서 추출된 차선 성분에 포함된 잡음을 제거하고 에지 보강을 통해 차선을 검출하는 제4단계;로 이루어진다.
여기서, 상기 제1단계의 수평소실선은 공간좌표계 내부의 평행선의 투사과정으로 영상평면에 만들어지는 수평선으로, 그 교차점을 소실점(Vanishing Point)라 한다.
상기 수평소실선은 2차원 영상에서 3차원 정보의 하나인 평행선을 추출함으로서, 3차원의 기하학적 구조를 해석하는데 사용되고 있다.
본 발명에서는 지능형 차량을 위한 차선 검출에서 수평소실선을 이용하여 영 역을 한정시킴으로써 더욱 정확한 차선 검출에 활용한다. 이러한 소실점의 검출은 지상좌표계의 평행선이 영상평면 내에 생성한 교차점을 검출하는 것이며, 이를 검출하는 방법으로 허프 변환(HT)이나 가우시안(Gaussian) 함수에 의한 보팅(Voting), 통계적인 접근법, 라인 클러스터링 등이 있다.
본 발명에서는 카메라 및 차선의 기하학적 좌표계의 해석을 통해 수평소실선을 추정할 수 있는 방법을 사용한다.
도 1은 카메라 및 차선의 기하학적 좌표계의 관계를 나타낸 것으로, 차선은 평탄한 평면(Flat Plane)으로 가정하고, 영상을 촬상하는 위한 카메라는 차선진행 방향으로 H의 높이로 차량에 고정되어 있는 것으로 한다.
지상좌표계를 (X,Y,Z), 카메라좌표계를 (Xc,Yc,Zc) 그리고 촬상된 영상평면의 좌표계를 (u,v)라 하면, 지상좌표계와 카메라 좌표계의 관계는 하기의 수학식 1과 같다.
Figure 112009039861897-PAT00003
여기서, 각도Φ는 지면에 대한 카메라의 경사각이고, F는 카메라 시선(Line of Sight)과 차선이 형성된 지면의 교차점까지의 거리이며, 도 1에서는 F=H/cosΦ가 된다.
따라서, 카메라에서 영상평면으로의 투시 투영(Perspective Projection)을 가정하여, 영상평면 좌표계(u,v)와 Z=0인 차선의 지면 좌표계(X,Y,Z)의 관계를 수식으로 나타내면 하기의 수학식 2와 같다.
Figure 112009039861897-PAT00004
여기서, f는 카메라의 초점거리이며, 상기한 수학식 1과 수학식 2를 조합하면 하기의 수학식 3을 통해 수평소실선의 위치를 추정할 수 있게 된다.
Figure 112009039861897-PAT00005
이상의 방법을 이용하여 실제 차선이 그려진 도로의 영상을 대상으로 하여 수평소실선을 계산한 후, 도 3에 도시하였다.
도 3의 (a)와 (b)에서는 카메라의 초점거리 f는 동일하게 하고, 경사각(Φ)만 다르게 하여 계산하였으며, (a)에서의 경사각(Φ)은 45도, (b)에서의 경사각(Φ)은 30도로 하여 수평소실선을 계산하여 도시하였다.
그리고, 차선 검출에서 ROI-LB 영역을 추출하여 차선 계산을 수행함으로써, 계산량을 삭감하고 검출 결과의 성능을 개선 할 수 있다.
즉, 전체 영상의 에지와 같은 모든 특징점을 대상으로 HT를 수행하면 많은 계산량과 메모리 사용이 요구된다. 이에 따라 HT에 의한 차선 검출에서 방대한 계산량을 줄이기 위해 다양한 방법이 제안되었으나, 차선 검출성능의 제고 등에 한계 를 보이고 있다.
그런데, 실제의 도로 영상을 대상으로 한 차선검출에 있어 수평소실선 이상의 영역에는 차선이 존재하지 않으므로 영상처리의 필요성이 없다.
또한, 실제 차선의 연속성과 완만한 변화 특성을 고려함과 동시에 직전 영상의 결과를 반영한 경우, 현 영상에서의 차선은 직전 영상 차선의 좌우측 일정한 영역 안에 존재하게 된다.
또한 차량에 일정한 높이로 고정된 카메라의 특성으로부터 차량에 인접한 차선은 항상 직선으로 근사시킬 수 있고, 수평소실선 부근에 비해 비교적 두꺼운 차선 폭을 갖게 된다.
이에 따라 도 4와 같이 관심영역을 결정할 수 있으며, 상기 관심영역을 형성하는 블록 중 i번째 블록의 폭(wi)은 하기의 수학식 4와 같다.
Figure 112009039861897-PAT00006
여기서, v0는 차량으로부터 수평소실점까지의 거리이고, h는 각 블록의 높이로서 고정된 값이며, θ1 및 θ2 는 최적의 관심영역을 결정하기 위한 각도로서, 소실점에 이어지는 직전 프레임의 차선과 수평선이 이루는 각 θ에서 일정 값이 가감된 각도를 의미한다.
물론, 상기한 관심영역의 크기는 카메라의 공간해상도와 차량의 이동속도 등에 따라 가변되어야 하지만, 수학식 4에 따라 관심영역을 설정하게 되면, 차량에 인접한 블록의 폭은 넓고, 수평소실선에 근접할수록 블록의 폭이 좁아져 고정된 카메라에 촬상된 차선의 특성이 잘 반영될 수 있다. 즉, 본 발명과 같이 블록 형태로 관심영역을 나타냄으로써, 다양한 차선의 패턴이나 직선 또는 곡선 등의 도로형상에 유연하게 대응할 있으며, 차선이 검출영역을 벗어나는 경우를 최소화할 수 있다.
또한, 실제 도로에서는 차선 이외에 방향안내 표시나 제한속도 표기 등의 다양한 주행 안내 정보나 횡단보도, 4거리 등과 같이 차선 이외에도 다양한 마킹이 존재하는데, 기존의 알고리즘에 의한 차선 검출에서는 이들 주행안내 정보가 차선으로 오인식될 가능성이 크다.
그러나, 본 발명과 같이 관심영역 기반의 차선 검출을 수행하게 되면, 차선 이외의 정보를 차선검출 과정에서 미리 제거하여 검출 성능을 높일 수 있다.
도 5의 (a)와 (b)는 도 3의 영상에 대하여 관심영역을 중첩시킨 결과를 나타낸 것으로, 높이 h는 30㎜로 고정하였으며, 좌측차선에서 관심영역의 폭을 결정하는 각 θ1, θ2는 각각 θ±4°의 값이고, 우측차선의 경우에도 이와 동일한 방법으로 처리한 결과이다.
이상의 과정을 통해 관심영역의 설정이 완료되면, 관심영역을 형성하는 각 블록의 영상을 허프 변환(HT) 방식으로 논파라메트틱 모델 매칭을 함으로써 차선을 검출한다.
HT의 기본개념은 파라미터 공간에서 에지와 같은 영상의 특징점을 지나는 곡 선들의 궤적을 계산하는 것으로, 실수값의 파라미터 공간은 양자화에 의해 셀로 구분되고 각 셀에 대응되는 특징점의 수를 헤아리기 위한 누산기(Accumulator)의 메모리를 할당해서 처리한다.
따라서, 일반적인 HT에서 파라미터 공간의 각 파라미터들을 양자화과정을 거쳐 적당한 크기의 값을 갖는 영역으로 분할해서 이산화된 각 파라미터 공간에 대응되는 영상의 특징점의 수를 누적시켜, 가장 큰 값을 갖는 영역의 파라미터 값으로부터 영상공간에서의 형상에 관한 정보를 추출한다.
이때, 이산화된 파라미터 공간을 누산기의 배열 또는 셀이라 하고, 특징점이 각 셀에 포함되는지의 여부를 결정하는 과정을 보팅(Voting)이라 한다. 보팅에 요구되는 계산량과 보팅 정보 저장에 요구되는 메모리는, 양자화 및 파라미터의 차수에 따라 지수 함수적으로 증가한다.
일반적인 영상평면의 직선이나 곡선의 패턴은 하기의 수학식 5와 같이 일반화된 식으로 나타낼 수 있다
Figure 112009039861897-PAT00007
여기서, (x,y)는 영상의 좌표이고, 파라미터 a는 영상패턴을 기술하는 파라미터 벡터이다.
특히, 직선의 경우에는 영상패턴을 기술하는 수학식 5를 도 6의 (a)에 나타낸 것처럼, 직각좌표계 (x,y) 평면은 하기의 수학식 6과 같이 극좌표계 (ρ,θ) 평면으로 변환할 수 있다.
Figure 112009039861897-PAT00008
상기한 수학식 6을 참조하면, (x,y) 평면에서 동일 직선상의 점들은 (ρ,θ) 평면에서 하나의 점에 대응한다.
도 6의 (b)는 도 6의 (a)에서 동일 직선상에 있는 6개의 점들이 허프 변환에 의해 (ρ,θ) 평면에서 하나의 점에 대응하고 있는 것을 나타낸다.
허프 변환에서는, 영상의 모든 특징점을 대상으로 항, 각 셀에 대응하는 특징점의 수를 누적시켜, 최대값을 갖는 셀의 대표값을 구하여 영상의 선분을 추출하게 된다.
이로 인하여, 계수공간이 다차원으로 확대되거나 계수공간의 범위와 셀 단위의 정밀도를 높이면, 각 셀에 대응하는 특징점의 누적값을 구하는데 필요한 계산량과 셀을 저장하기 위한 메모리 공간이 폭발적으로 증가하게 된다.
일반적으로 q개의 파라미터 공간과 양자화 간격이 b인 경우 필요한 셀의 개수는 bq 개가 되므로, 본 발명과 같이 영상처리가 필요한 부분을 관심영역으로 한정할 필요가 있다.
한편, 영상의 특징점으로 에지를 검출하는 방법으로는 다양한 방법이 알려져 있으나, 본 발명에서는 간단한 연산으로 영상의 변화 및 방향성 정보를 충분히 추출할 수 있는 소벨(Sobel) 연산자에 의한 1차 미분으로 차선의 에지 성분을 검출한다.
에지 이미지(Edge Image)는 관심영역 내부의 화소를 대상으로 처리하며, 소벨 연산자에 의한 관심영역 내의 수평 및 수직 방향의 에지는 하기의 수학식 7과 같이 계산된다.
Figure 112009039861897-PAT00009
또한, 이들의 1차 미분성분의 크기 G(x,y)와 그 방향성분 θ(x,y)는 다음의 수학식 8 및 수학식 9와 같다.
Figure 112009039861897-PAT00010
Figure 112009039861897-PAT00011
한편, 차선으로 인식할 수 없는 잡음성 에지 이미지는, 관심영역 내부의 에지성분의 크기의 평균값 Gave를 다음의 수학식 10과 같이 계산한 후, 이를 기준으로 하여 처리한다.
Figure 112009039861897-PAT00012
여기서, Ntot는 관심영역에서의 G(x,y) 화소의 전체 개수이고, Ω는 관심영역을 나타낸다.
따라서, 관심영역에서의 에지 g(x,y)는 하기의 수학식 11과 같이 나타낼 수 있다.
Figure 112009039861897-PAT00013
이에 따라 영상의 휘도변화를 반영한 기준치 처리로, 다양한 태양광 조명 조건의 변화에 따른 영향을 줄일 수 있게 된다.
또한, 영상의 촬상과정에서 혼입된 부가성 가우시안(Gaussian) 잡음을 제거하기 위하여 라플라시안 필터함수를 사용함으로써, 고주파 성분을 강조하고 저주파 성분은 감소시켜 차선의 에지보강을 수행한다.
일반적으로 영상의 촬상과정에서 혼입된 부가성 가우시안 잡음의 제거를 위해서는 저역통과필터(LPF)에 의한 전처리 과정을 수행하게 되는데, 이로 인하여 잡음성분 뿐만 아니라 차선과 같은 유용한 에지 정보까지 소실될 수 있다.
특히, 실제 도로에서의 차선은 선명하지 않거나 여러가지 원인으로 인하여 차선의 구별이 명확하지 않은 경우가 많기 때문에, 단순한 저역통과필터의 적용은 차선검출의 결과에 큰 영향을 줄 수 있다.
상기한 라플라시안 필터함수는,
Figure 112009039861897-PAT00014
로 정의 되는 함수이며, 이를 이용하여 에지를 보강한 신호는 하기의 수학식 12와 같다.
Figure 112009039861897-PAT00015
도 7의 (a)는 도 3의 (b) 영상을 대상으로 관심영역에서 라플라시안 필터(Laplacian)를 적용하기 전의 에지이고, (b)는 라플라시안 필터를 적용한 이후의 에지 성분을 나타낸 것이다. 이로부터 라플라시안 필터를 적용하면 에지 성분이 강조되는 것을 알 수 있다.
이후, 좌우측의 관심영역 전체에 대하여 수학식 9에 의해 구해진 에지의 방향성 평균과 분산을 계산하고, 각 차선의 관심영역 내 블록별 평균 및 분산을 구하여 에지의 클러스터링을 수행한다.
즉, 하기의 수학식 13 및 수학식 14와 같이 관심영역 전체에서 발견되는 에지의 방향성 성분에 대하여, 블록별 평균과 관심영역 전체의 평균의 차이값 및 블록별 분산과 관심영역 전체의 분산의 차이값을 구한 후, 이들 차이값과 기준값을 각각 비교하여 이들의 분포에 따라 서로 다르게 처리한다.
Figure 112009039861897-PAT00016
Figure 112009039861897-PAT00017
즉, 평균의 차이값이 평균기준값 이하이고, 분산의 차이값 역시 분산기준값 이하이면 동일방향의 차선을 갖는 영역으로 처리하고, 평균의 차이값이 평균기준값 이하이면서 분산의 차이값이 분산기준값보다 크면 차선 이외의 에지 성분이 혼입된 영역으로 인식하여 평균기준값보다 큰 방향성의 에지성분을 제거한다.
또한, 평균의 차이값이 평균기준값보다 크고, 분산의 차이값이 분산기준값 이하이면, 곡선과 같이 차선이 변화되는 영역으로 처리하고, 평균의 차이값이 평균기준값보다 크고, 분산의 차이값 역시 분산기준값보다 크면, 곡선과 같이 차선이 변화되는 영역이면서 차선 이외의 에지성분이 혼입되어 있는 영역으로 인식하여 평균기준값보다 큰 방향성의 에지성분을 제거하는 것이다.
이와 같이, 다양한 잡음에 대한 차선 검출의 성능은 관심영역에서의 에지성분 검출 결과에 크게 좌우된다. 그러나, 촬상 조명의 변화가 아닌 가우시안 잡음이나 임펄스성 잡음과 같이 부가성 잡음은 전처리 필터과정만으로도 그 영향을 완화시킬 수 있다.
도 8은 가우시안 잡음 및 임펄스성 잡음이 존재하는 경우에 관심영역에서의 에지성분 검출 결과를 나타낸 것으로, (a)의 SNR=23.2dB인 가우시안 잡음영상에 대한 관심영역에서의 에지검출 결과를 나타낸 것이 (b)이고, (c)의 SNR=18.9dB의 임펄스 잡음영상에 대한 에지성분 검출결과가 (d)이다.
결과적으로, 관심영역 내의 에지성분 검출에 있어서 잡음의 영향을 완전히 배제할 수는 없으나, 이러한 부가성 잡음의 에지 방향성이 랜덤하므로, 평균값이 작고 분산이 큼을 알 수 있다. 따라서, 상기한 클러스터링 과정에 의해 그 잡음성분이 차선검출에 미치는 영향을 줄일 수 있다.
<실험 예>
일반 승용차에 CCD 카메라 및 고해상도 캠코더를 룸 미러 상단에 고정시켜 영상을 촬상하고, 수평소실선 추정을 위한 카메라의 초점거리는 동일한 값으로 통일하였으며, 경사각Φ는 30°와 45°의 값을 사용하여 실험을 하였다.
그리고, 각 영상마다 최적의 관심영역을 추출하였으며, 초기 프레임을 결과를 얻기 위해 연속 3프레임의 결과를 통합해서 최종 초기 프레임의 결과로 사용하였다.
따라서, 초기 프레임에서의 차선 추정에 있어서는 기존 방법에 비해 많은 처리시간이 소요되지만, 이는 초기화 과정으로 실용화에는 문제가 되지 않을 것으로 보인다.
각 프레임마다 라플라시안 필터를 처리하여 에지보강을 수행하고, 관심영역을 대상으로 에지성분을 추출하여 사용하였으며, 차선검출은 관심영역의 에지 방향성 정보의 클러스터링에 따라 블록단위로 차선 검출을 수행했다.
그 결과, 도 9a 내지 도 9d에 도시된 바와 같이, 수평소실선의 추정 및 관심영역의 추출에 의해 처리영역이 줄어들어 차선 검출에 소요되는 계산량이 획기적으로 줄어드는 것을 확인할 수 있었다.
물론, 전체적인 계산량은 사용하는 프로세서 환경이나 프로그램의 최적화 및 영상에 따라 변화될 수 있으나, 동일한 환경에서는 본 발명이 8배 이상 계산량을 줄일 수 있음을 확인할 수 있었다.
또한, 도 10의 (a)는 인접차선에 미끄럼 방지 시설이 되어 있어, 차선과 교 차되는 방향(x축)으로 검출되는 에지 성분을 갖는 직선 도로의 평균휘도 123의 흐린날 오후에 대한 결과이고, (b)는 횡단보도와 분기선, 가드레일 등이 있는 도로 상황에서 평균휘도 146의 흐린날의 오후에 대한 결과이며, (c)는 태양빛의 세기가 강한 조건에서 전체적으로 평균 휘도값이 158인 높은 영상에서의 검출 결과이다.
그리고, (d)와 (e)는 그림자 및 차선 내부에 차선과 유사한 방향성을 갖는 도로조건에서의 맑은날 오전 결과이고, 그림 (f)는 (c)와는 반대로 흐린날씨로 인해 전체적으로 휘도값이 낮은 상태로 차선 마킹이 뚜렷하지 않은 조건에서의 검출 결과를 나타낸 것이다.
이상과 같이 다양한 조명조건이나 차선 패턴 및 도로 상황에서도 본 발명에 따른 방법으로 차선이 정확하게 검출되는 것을 알 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 범위는 이 같은 특정 실시 예에만 한정되지 않으며, 해당분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위 내에 기재된 범주 내에서 적절하게 변경이 가능할 것이다.
도 1은 본 발명의 관심영역 추출에 의한 차선 고속 검출방법이 도시된 순서도.
도 2는 카메라 및 차선의 기하학적 좌표계가 도시된 참고도.
도 3은 실제 도로에서의 수평소실선을 검출한 결과를 나타낸 참고도.
도 4는 본 발명의 요부인 관심영역의 설정에 대한 모식도.
도 5는 실제 도로 영상에 관심영역을 설정한 결과를 나타낸 참고도.
도 6은 본 발명의 요부인 허프(Hough) 변환을 설명하기 위한 좌표계의 변환 형태를 나타낸 참고도.
도 7은 본 발명의 요부인 라플라시안(Laplacian) 필터에 의한 에지보강 전후의 에지 성분을 나타낸 참고도.
도 8은 부가성 잡음 영상에 대한 에지 성분 검출 결과를 나타낸 참고도.
도 9a 내지 9d는 4종류의 차선에 대하여 영상처리방법을 달리하여 검출한 차선 및 처리속도를 비교한 참고도.
도 10은 본 발명을 이용하여 다양한 차선에 대하여 검출한 결과를 나타낸 참고도.

Claims (6)

  1. 차량에 설치된 카메라의 초점거리와 경사각 파라미터로부터 수평소실선을 사전 추정하는 제1단계와;
    차량으로부터 수평소실선 영역까지 차선검출에 필요한 처리영역을 최적 선정하여 다수의 블록 형태로 이루어진 관심영역(ROI-LB: Region Of Interest for Lane Boundary)을 추출하는 제2단계와;
    상기 관심영역 내에서 영상의 특징 정보를 추출하고 이를 기반으로 한 허프변환(HT: Hough Transform)에 의한 논파라미터릭(Non-Parameteric) 모델 매칭 기법을 통해 영상으로부터 차선 성분을 추출하는 제3단계와;
    상기 제3단계에서 추출된 차선 성분에 포함된 잡음을 제거하고 에지 보강을 통해 차선을 검출하는 제4단계;를 포함하는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법.
  2. 제1항에 있어서,
    상기 수평소실선의 위치(v0)는 하기의 수식에 의해 결정되는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법:
    Figure 112009039861897-PAT00018
    여기서, f는 카메라의 초점거리이고, Φ는 지면에 대한 카메라의 경사각을 의미한다.
  3. 제1항에 있어서,
    상기 관심영역을 형성하는 블록 중 i번째 블록의 폭(wi)은, 하기의 수식에 의해 결정되는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법:
    Figure 112009039861897-PAT00019
    여기서, v0는 차량으로부터 수평소실점까지의 거리이고, h는 각 블록의 높이이며, θ1 및 θ2 는 최적의 관심영역을 결정하기 위한 각도로서 소실점에 이어지는 차선과 수평선이 이루는 각 θ에서 일정 값이 가감된 각도를 의미한다.
  4. 제1항에 있어서,
    상기 제3단계는, 영상에 나타난 직선 또는 곡선패턴을 직각좌표계에서 극좌표계로 전환하여 특징점을 형성하고, 허프 변환에서 이산화된 파라미터 공간에 대응하는 영상의 특징점의 수를 누적시켜 형상에 관한 정보를 추출함과 아울러,
    소벨(Sobel) 연산자를 이용하여 관심영역 내의 수평 및 수직 방향의 에지를 계산하고, 이들로부터 잡음성 에지 이미지를 제거하여 관심영역 내의 차선 에지를 검출함으로써 차선 성분을 추출하는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법.
  5. 제1항에 있어서,
    상기 제4단계는, 라플라시안(Laplacian) 필터함수를 적용하여 에지를 보강함과 아울러, 각 에지에 대한 클러스터링(Clustering)을 실시하여 불필요한 에지 성분을 제거하는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법.
  6. 제5항에 있어서,
    상기 클러스터링은, 관심영역 전체에서 발견되는 에지의 방향성 성분에 대하여, 블록별 평균과 관심영역 전체의 평균의 차이값 및 블록별 분산과 관심영역 전체의 분산의 차이값을 구한 후, 이들과 각각의 기준값과의 관계에 따라 에지 성분을 제거하거나 차선으로 처리하는 것을 특징으로 하는 관심영역 추출에 의한 차선 고속 검출방법.
KR1020090058961A 2009-06-30 2009-06-30 관심영역 추출에 의한 차선 고속검출 방법 KR20110001427A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090058961A KR20110001427A (ko) 2009-06-30 2009-06-30 관심영역 추출에 의한 차선 고속검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090058961A KR20110001427A (ko) 2009-06-30 2009-06-30 관심영역 추출에 의한 차선 고속검출 방법

Publications (1)

Publication Number Publication Date
KR20110001427A true KR20110001427A (ko) 2011-01-06

Family

ID=43609993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090058961A KR20110001427A (ko) 2009-06-30 2009-06-30 관심영역 추출에 의한 차선 고속검출 방법

Country Status (1)

Country Link
KR (1) KR20110001427A (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018961A1 (en) * 2011-08-04 2013-02-07 Lg Electronics Inc. Apparatus and method for detecting lane
KR101278237B1 (ko) * 2011-06-08 2013-06-24 에스엘 주식회사 차량 인식 방법 및 장치
KR101383467B1 (ko) * 2013-02-14 2014-04-08 한국산업기술대학교산학협력단 비전 기반의 차선 모델 생성을 이용한 적응적 차선 추적 방법
KR101406316B1 (ko) * 2012-08-20 2014-06-12 하이브모션 주식회사 차선 인식 장치 및 그 방법
KR20140080105A (ko) 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
KR101482448B1 (ko) * 2013-11-01 2015-01-15 경북대학교 산학협력단 허프 변환을 통한 직선 정보 검출 방법 및 장치
KR101501851B1 (ko) * 2013-11-28 2015-03-11 울산대학교 산학협력단 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법
WO2015105324A1 (ko) * 2014-01-10 2015-07-16 국립암센터 신경섬유층 결손 영역 검출 방법
CN104835183A (zh) * 2015-04-15 2015-08-12 东南大学 基于ncc的道路消失线检测方法
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置
KR20190134905A (ko) * 2018-05-10 2019-12-05 에스케이텔레콤 주식회사 차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR20200059707A (ko) 2018-11-21 2020-05-29 호남대학교 산학협력단 차선 검출 시스템 및 이를 이용한 차선 검출 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101278237B1 (ko) * 2011-06-08 2013-06-24 에스엘 주식회사 차량 인식 방법 및 장치
WO2013018961A1 (en) * 2011-08-04 2013-02-07 Lg Electronics Inc. Apparatus and method for detecting lane
KR101406316B1 (ko) * 2012-08-20 2014-06-12 하이브모션 주식회사 차선 인식 장치 및 그 방법
KR20140080105A (ko) 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
KR101383467B1 (ko) * 2013-02-14 2014-04-08 한국산업기술대학교산학협력단 비전 기반의 차선 모델 생성을 이용한 적응적 차선 추적 방법
KR101482448B1 (ko) * 2013-11-01 2015-01-15 경북대학교 산학협력단 허프 변환을 통한 직선 정보 검출 방법 및 장치
KR101501851B1 (ko) * 2013-11-28 2015-03-11 울산대학교 산학협력단 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법
WO2015105324A1 (ko) * 2014-01-10 2015-07-16 국립암센터 신경섬유층 결손 영역 검출 방법
CN104835183A (zh) * 2015-04-15 2015-08-12 东南大学 基于ncc的道路消失线检测方法
CN104835183B (zh) * 2015-04-15 2017-11-03 东南大学 基于ncc的道路消失线检测方法
KR20190134905A (ko) * 2018-05-10 2019-12-05 에스케이텔레콤 주식회사 차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR20200059707A (ko) 2018-11-21 2020-05-29 호남대학교 산학협력단 차선 검출 시스템 및 이를 이용한 차선 검출 방법
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置

Similar Documents

Publication Publication Date Title
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Narote et al. A review of recent advances in lane detection and departure warning system
CN107330376B (zh) 一种车道线识别方法及系统
JP4016735B2 (ja) レーンマーク認識方法
EP1796043B1 (en) Object detection
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
US20100104137A1 (en) Clear path detection using patch approach
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
KR101191308B1 (ko) 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법
JP2013109760A (ja) 対象検知方法及び対象検知システム
KR101968349B1 (ko) 영상 정보를 이용한 차선 경계 검출 방법
Jiang et al. Lane and obstacle detection based on fast inverse perspective mapping algorithm
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
US20200193184A1 (en) Image processing device and image processing method
CN114495066A (zh) 一种辅助倒车的方法
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
CN110889342B (zh) 一种减速带的识别方法
Zarbakht et al. Lane detection under adverse conditions based on dual color space
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
JP7454685B2 (ja) 車両走行路内のデブリの検出
Liu et al. Notice of retraction: Sharp curve lane detection for autonomous driving
JP4671991B2 (ja) レーンマーク認識装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application