KR101305388B1 - 카메라를 이용한 차선 인식 장치 및 방법 - Google Patents

카메라를 이용한 차선 인식 장치 및 방법 Download PDF

Info

Publication number
KR101305388B1
KR101305388B1 KR1020120041392A KR20120041392A KR101305388B1 KR 101305388 B1 KR101305388 B1 KR 101305388B1 KR 1020120041392 A KR1020120041392 A KR 1020120041392A KR 20120041392 A KR20120041392 A KR 20120041392A KR 101305388 B1 KR101305388 B1 KR 101305388B1
Authority
KR
South Korea
Prior art keywords
lane
image
area
white
extracting
Prior art date
Application number
KR1020120041392A
Other languages
English (en)
Inventor
강성철
전창묵
차연화
서승범
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120041392A priority Critical patent/KR101305388B1/ko
Application granted granted Critical
Publication of KR101305388B1 publication Critical patent/KR101305388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라를 이용한 차선 인식 장치 및 방법에 관한 것으로, 더 상세하게는 카메라를 통해 입력되는 영상을 조감도 영상으로 변환하고 조감도 영상의 특징을 이용하여 주변 환경에 강인한 차선 추출 알고리즘을 제시함으로써, 신뢰도가 향상된 차선 위치 정보를 제공할 수 있는 카메라를 이용한 차선 인식 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차선 인식 장치는 카메라를 이용한 장치로서, 상기 카메라로부터 입력되는 투시도 영상을 WPM(warp perspective mapping) 변환을 사용하여 조감도 영상으로 변환하는 영상 변환부; 및 칼라와 차선의 폭 정보를 이용하여 상기 조감도 영상 내 백색 영역과 노란색 영역을 추출하고, 추출된 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 차선 영역을 추출하는 차선 영역 추출부를 포함한다.

Description

카메라를 이용한 차선 인식 장치 및 방법 {DETECTION DEVICE AND METHOD OF ROAD LINE USING CAMERA}
본 발명은 카메라를 이용한 차선 인식 장치 및 방법에 관한 것으로, 더 상세하게는 카메라를 통해 입력되는 영상을 조감도 영상으로 변환하고 조감도 영상의 특징을 이용하여 주변 환경에 강인한 차선 추출 알고리즘을 제시함으로써, 신뢰도가 향상된 차선 위치 정보를 제공할 수 있는 카메라를 이용한 차선 인식 장치 및 방법에 관한 것이다.
도로 상에서 차량을 운행할 때, 차량의 안전 운행을 도모하거나, 무인 주행을 수행하기 위해 도로 상에 표시된 차선을 인식하기 위한 방법으로 카메라를 이용한 차선 추출 알고리즘 개발이 진행 되었다.
기존에 카메라를 이용한 차선 추출 알고리즘은 투시도로 입력되는 영상 신호를 분석하여 차선의 특징점을 추출하고, 추출된 특징점을 직선 차선으로 근사화하여 차선 정보를 획득하였다.
그러나 투시도 영상은 차선과 카메라 사이의 거리에 따라 차선과 차로의 폭이 다르고, 상이 왜곡된 정도도 다르기 때문에, 차선 추출의 신뢰도가 낮아질 수 있다는 문제점이 있다. 또한 도로면 주변의 조명 조건에 민감하여, 입력되는 영상 신호로부터 차선 정보를 명확하게 추출하는데 어려움이 있다.
특허공개 10-2001-0069603 (센싱테크 주식회사, 신천우) 2001. 07. 25 특허공개 10-2011-0001427 (태성전장주식회사, 호서대학교 산학협력단) 2011. 01. 06 특허공개 10-2010-0097907 (숭실대학교산학협력단) 2010. 09. 06
본 발명의 목적은 도로면 주변의 조명 조건이나 도로면 상태의 영향을 적게 받고, 높은 신뢰도로 도로면의 차선 정보를 추출할 수 있는 영상 정보 기반 차선 인식 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 카메라를 통해 획득한 영상 정보를 조감도 영상으로 변환하여 왜곡되지 않은 영상 신호로부터 직선 차선과 곡선 차선 정보를 모두 획득할 수 있는 알고리즘을 제시함으로써 신뢰도가 향상된 카메라를 이용한 차선 인식 장치 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차선 인식 장치는 카메라를 이용한 장치로서, 상기 카메라로부터 입력되는 투시도 영상을 WPM(warp perspective mapping) 변환을 사용하여 조감도 영상으로 변환하는 영상 변환부; 및 칼라와 차선의 폭 정보를 이용하여 상기 조감도 영상 내 백색 영역과 노란색 영역을 추출하고, 추출된 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 차선 영역을 추출하는 차선 영역 추출부를 포함한다.
상기 차선 인식 장치는, 상기 차선 영역 추출부에서 추출된 차선 영역의 픽셀들을 매개변수 곡선(parametric curve)을 이용하여 곡선 또는 직선 차선으로 모델링하는 차선 모델링부; 및 상기 차선 모델링부에서 모델링한 곡선 또는 직선 차선에 필터링 알고리즘을 적용하여 차선 정보를 산출하는 필터링부를 더 포함할 수 있다.
상기 매개변수 곡선은 n차 베지어 곡선(Bezier curve) 또는 스플라인 곡선(spline curve)이 될 수 있다.
상기 필터링부는 필터링 알고리즘을 수행하는 칼만 필터, 확장 칼만 필터, 또는 파티클 필터를 포함할 수 있다.
상기 차선 영역 추출부는, 상기 조감도 영상으로 변환된 칼라 입력 영상을 이진화 흑백 영상으로 변환한 후 백색 영역을 추출하여 백색 영역에 참(true)값을 넣고, 그렇지 않은 영역에 거짓(false) 값을 넣은 제1 이진화 영상을 획득하고, 상기 칼라 입력 영상을 HSV 칼라 공간(HSV color space)으로 변환한 후, 색조(hue) 값을 이용하여 노란색 영역에 참(true)값이 들어 있고, 그렇지 않은 영역에 거짓(false) 값이 들어 있는 제2 이진화 영상을 획득하여, 2개의 이진화 영상을 통합할 수 있다. 통합의 결과로 얻어지는 제3 이진화 영상은 상기 조감도 영상에서 흰색 또는 노란색이 들어 있는 픽셀에 참(true)값이 들어 있고, 그렇지 않은 픽셀에는 거짓(false)값이 들어 있다. 이 제3 이진화 영상의 각 행마다 수평 방향으로 차선의 폭(약 20cm)보다 작거나 크게 연속으로 참값이 들어 있는 영역을 제거하여 차선의 폭에 해당하는 흰색과 노란색 영역만을 남긴 제4 이진화 영상을 얻는다.
본 발명의 일 실시예에 따른 차선 인식 방법은 카메라를 이용한 방법으로서, 상기 카메라로부터 입력되는 투시도 영상을 WPM(warp perspective mapping) 변환을 사용하여 조감도 영상으로 변환하는 단계; 칼라와 차선의 폭 정보를 이용하여 상기 조감도 영상 내 백색 영역과 노란색 영역을 추출하고, 추출된 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 차선 영역을 추출하는 단계를 포함한다.
상기 차선 인식 방법은, 상기 추출된 차선 영역의 픽셀들을 매개변수 곡선(parametric curve)을 이용하여 곡선 또는 직선 차선으로 모델링하는 단계; 및 상기 모델링한 곡선 또는 직선 차선에 필터링 알고리즘을 적용하여 차선 정보를 산출하는 단계를 더 포함할 수 있다.
상기 차선 영역을 추출하는 단계는, 상기 조감도 영상으로 변환된 칼라 입력 영상을 이진화 흑백 영상으로 변환한 후, 백색 영역을 추출한 제1 이진화 영상을 획득하는 단계; 상기 칼라 입력 영상을 HSV 칼라 공간(HSV color space)으로 변환한 후, 색조(hue) 값을 이용하여 노란색 영역을 추출한 제2 이진화 영상을 획득하는 단계; 및 상기 제1 이진화 영상과 상기 제2 이진화 영상을 통합하여 제3 이진화 영상을 얻은 후 차선의 폭에 해당하는 부분만을 남긴 제4 이진화 영상을 얻는 단계를 포함할 수 있다.
본 발명의 카메라를 이용한 차선 인식 장치 및 방법은 카메라를 통해 획득한 투시도 영상을 조감도 영상으로 변환함으로써 차선의 왜곡을 제거하고 차선 정보를 안정적으로 추출할 수 있는 효과가 있다.
또한, 본 발명의 카메라를 이용한 차선 인식 장치 및 방법은 곡선 차선과 직선 차선을 모두 인식할 수 있는 단순하지만 정확한 차선 모델을 사용함으로써 보다 신뢰성 있는 차선 정보를 추출할 수 있는 효과가 있다.
나아가, 본 발명의 카메라를 이용한 차선 인식 시스템은 도로면 주변의 조명 조건이나 도로면의 상태에 구애받지 않고, 신뢰성 있게 도로면의 차선 정보를 추출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 차선 인식 방법의 순서도이다.
도 3은 본 발명에서 사용된 조감도 영상과 투시도 영상을 비교하여 도시한다.
도 4는 본 발명에서 칼라 정보를 이용하여 흰색 또는 노란색 영역을 추출하는 방법을 나타내는 도면이다.
도 5는 차선의 폭 정보에 흰색 또는 노란색이지만 차선이 아닌 영역을 제거한 결과 영상 이미지를 도시한다.
도 6은 본 발명에서 수평적 거리 기반의 샘플링 알고리즘을 적용하여 추출한 결과 영상 이미지를 도시한다.
도 7은 조감도 영상을 이진화 처리한 흑백 이미지를 도시한다.
이하에서는 첨부한 도면을 참조하여 카메라를 이용한 차선 인식 장치 및 방법에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 블럭도이며, 도 2는 본 발명의 일 실시예에 따른 차선 인식 방법의 순서도이다.
도 1 및 도 2를 참조하면, 본 발명의 차선 인식 장치(100)는 영상 변환부(110) 및 차선 영역 추출부(120)를 포함하며, 선택적으로, 차선 모델링부(130) 및/또는 필터링부(140)를 더 포함한다.
영상 변환부(100)는 카메라(미도시)로부터 입력되는 투시도 영상을 조감도 영상으로 변환하고(S210), 차선 영역 추출부(120)는 변환된 조감도 영상으로부터 칼라 정보를 이용하여 백색 영역과 노란색 영역을 추출한다(S220).
영상 변환부(100)는 투시도 영상을 조감도 영상으로 변환하기 위해, 하기 식과 표현되는 WPM(warp perspective mapping) 변환을 사용할 수 있다.
Figure 112012031534014-pat00001
여기서, Ci는 투시도 영상의 픽셀의 좌표이며, H는 4×4 동차변환행렬(homogeneous transformation matrix)이다. 또한, Cw는 조감도 영상에서 대응하는 지점의 좌표이다. 변환행렬 H는 카메라에서 획득된 투시도 영상과 실제 공간 사이의 교정(calibration)에 의해 정해진다.
계속하여, 차선 영역 추출부(120)는 어느 정도 불필요한 영역이 제거된 영상에서 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 좀더 신뢰도 있는 차선 영역을 추출한다(S230).
수평적 거리 기반의 샘플링 알고리즘은 특정 시각 t에서 조감도 이진(binarized) 영상 이미지가 주어지면, 이미지의 하단 부분, 즉 차에서 가장 가까운 부분부터 한 줄씩 스캔을 수행한다. 스캔 중, 트루(true)라는 픽셀이 탐지되면, 그 픽셀이 기존의 피쳐 벡터(feature vector)로부터 어느 정도의 수평 거리를 갖고 있는지 판단한다. 즉, 픽셀의 x 좌표(수평 좌표)가 기존의 피쳐 벡터(feature vector)의 수평 좌표와 가까우면, 즉, 기존의 피쳐 벡터의 수평 좌표로부터 소정 거리 내의 임계값(threshold value) 이하이면, 그 픽셀은 해당 피쳐 벡터의 연장이라 판단하고, 해당 피쳐 벡터에 픽셀을 추가한다. 만약, 픽셀에 가까운 수평 좌표를 갖고 있는 피쳐 벡터가 존재하지 않으면, 새로운 피쳐 벡터를 생성한다.
구체적으로, 도로의 중앙선이 점선으로 그려져 있는 경우를 고려하면, 중앙선의 차선들은 차량의 진행 방향(y좌표 방향)으로 소정 간격으로 떨어져서 표시되나, 차량의 진행과 수직 방향(x좌표 방향)을 따라서는 차선의 좌표값이 크게 변하지 않는다. 즉, 차선의 폭(대략 20cm)에 해당하는 만큼만 좌표값이 변하게 된다. 따라서, 중앙선의 차선들을 이진화 이미지로 변환하고, 변환된 이미지에서 트루(true)로 나타나는 픽셀들(흰색 또는 노란색 차선들은 이진화 이미지에서 트루로 표시됨)의 x좌표만 비교하면, 별개의 피쳐 벡터에 해당하는지, 아니면 하나의 피쳐 벡터와 연결되는 픽셀인지 판단할 수 있다.
차선 모델링부(130)는 추출된 차선 영역의 픽셀들을 베지어 곡선(Bezier curve)이나 스플라인 곡선(spline curve) 등의 매개변수 곡선(parametric curve)을 이용하여 곡선 또는 직선 차선으로 근사화하여 모델링한다(S240). 베지어 곡선은 컴퓨터 그래픽에서 임의의 형태의 곡선을 표현하기 위해 수학적으로 만든 곡선으로, 최초의 제어점(control point)인 시작점과 최후의 제어점인 끝점 그리고 그 사이에 위치하는 내부 제어점의 이동에 의해 다양한 자유 곡선을 얻는 방법이다. 또한, 스플라인 곡선은 컴퓨터 그래픽에서 스플라인 함수를 이용하여 표현하는 매끄러운 곡선으로, 스플라인 곡선은 적은 수의 제어점으로 매끄러운 곡선을 만들기 위한 방법이다. 상기 베지어 곡선과 스플라인 곡선 등은 본 기술 분야의 당업자에게 공지된 기술이므로, 상세한 설명을 생략한다.
필터링부(140)는 근사화된 차선 모델에 칼만 필터나 파티클 필터 등의 필터링 알고리즘을 적용하여 좀더 정확한 차선 정보를 산출한다(S250).
도 3은 투시도 영상과 본 발명이 사용하는 조감도 영상을 비교한 것이다.
도 3을 참조하면, 투시도 영상의 경우, 동일한 차선임에도 카메라로부터 가까이 위치한 차선들 간의 거리와 멀리 위치한 차선들 간의 거리가 다른 것을 확인할 수 있으며, 왼쪽 차선과 오른쪽 차선이 평행함에도 심하게 왜곡되어 나타난 것을 확인할 수 있다. 반면에, 조감도 영상의 경우, 왜곡이 제거되어 차선들 간의 거리가 어느 정도 일정하게 나타나며, 왼쪽 차선과 오른쪽 차선의 기울기가 어느 정도 평행하게 나타남으로써, 왼쪽 차선과 오른쪽 차선의 거리 정보를 활용할 수 있다.
도 4는 본 발명에서 칼라 정보를 이용하여 불필요한 영역을 제거하고, 관심있는 영역을 추출하는 방법을 나타내는 도면이다.
도 4를 참조하면, 우선, 조감도로 변환된 칼라 입력 영상(S410)을 이진화 흑백 영상으로 변환한 후(S420), 백색 영역을 추출한 이진화 영상을 얻는다(S430). 한편, 조감도로 변환된 칼라 입력 영상을 HSV 칼라 공간(HSV color space)으로 변환한 후(S440) 색조(hue) 값을 이용하여 노란색 영역을 추출한 이진화 영상을 얻는다(S450). 이렇게 획득된 두 개의 이진 영상을 통합하여 대부분의 불필요한 영역이 제거된 이진 영상을 얻을 수 있다(S460).
도 5는 차선의 폭 정보에 의해 백색 또는 노란색을 갖고 있으며 차선의 폭 만큼의 영역만 추출된 결과 영상 이미지를 도시한다.
도 5를 참조하면, (a)는 도 3에서 백색 영역과 노란색 영역을 추출한 이진화 영상 이미지를 나타낸다. 여기서, 도로의 중앙선, 도로 양단의 경계선 및 상부에 횡단보도에 관한 정보가 표시되며, (b)는 이러한 이진 영상 이미지의 이진화 강도(intensity)를 나타낸다. 횡단보도로 인해 이진화 강도가 넓은 영역에 분포하는 것을 확인할 수 있다.
(c)는 도 5의 (a)에서 차선의 폭 정보를 이용하여 차선의 폭을 넘는 연속 영역을 제거한 이진화 영상 이미지에 해당한다. (c)에서는 차선보다 넓은 폭으로 도색된 횡단보도에 관한 정보가 제거되어 있다. 또한, 횡단보도에 대한 정보가 제거된 것으로 인해, (d)에서 이진화 강도가 차선에 해당하는 영역에만 나타나는 것을 확인할 수 있다.
도 6은 칼라, 차선의 폭 정보에 의해 추출된 결과 영상 이미지를 도시한다.
차선의 폭, 칼라 정보만으로 차선 영역을 추출하는 경우, 그림자 등에 의해 도로면에 모자이크 형상이 생기면 잘못된 차선 영역을 추출할 가능성이 높다. 따라서 차선의 폭, 칼라 정보에 의해 대부분의 불필요한 영역이 제거된 영상에 수평적 거리 기반의 샘플링 알고리즘을 적용하여 신뢰도 높은 차선 영역을 추출할 수 있다. 수평적 거리 기반의 샘플링 알고리즘은 조감도 영상의 특징을 이용한 것이다.
도 6에서 알 수 있듯이 조감도 영상은 카메라로부터 가까이에 있는 도로면에 해당하는 영상의 하단 부분은 불필요한 영역이 대부분 제거되고 차선일 확률이 높은 점을 포함하고 있는 것을 확인할 수 있다. 따라서 조감도 영상의 하단 부분 근처에서 값이 1인 픽셀 점을 발견하면 피쳐 벡터(feature vector)를 생성하고 값이 1인 픽셀 점을 초기 값으로 결정한다. 그리고 영상의 위쪽 방향으로 스캔을 시작하며 1 값을 갖는 픽셀 점을 찾기 시작한다. 1 값을 갖는 픽셀 점을 발견하면 기존 피쳐 벡터의 마지막 점과 수평적 거리를 구한다. 만약, 수평적 거리가 차선의 폭 값보다 작으면 새로 발견된 픽셀 점은 기존 피쳐 벡터에 속하고 그렇지 않으면 새로운 피쳐 벡터를 생성한다. 마지막으로 피쳐 벡터들 가운데 포함하고 있는 점의 개수가 많은 피쳐 벡터를 차선 정보를 포함하는 벡터로 결정한다.
구체적으로, 도 7을 참조하면, 조감도 영상을 이진화 처리한 흑백 이미지의 일부가 도시된다. 　값이 1인 픽셀은 차선 영역에 해당한다고 추측되는 이미지 픽셀이고, 값이 0인 픽셀은 그렇지 않은 것이다. 　먼저 y 좌표가 0인 로우(row), 즉 이미지의 가장 하단의 로우(row)에서 x좌표를 0부터 이미지의 최대 수평 해상도까지 증가시키면서 값이 1인 픽셀들을 탐색한다. 이 과정에서, 단 하나의 픽셀이 아니라 이미지에서 차선의 폭에 해당하는 연속된 픽셀들이 탐지된다. 도 7에서는, 차선이 이미지 상에서 3개의 픽셀로 보인다고 가정했다.
첫 번째로 찾은 값이 1인 픽셀들의 연속(3개의 픽셀)을 먼저 피쳐 벡터 1(feature vector 1)로 설정한다. 　그리고 그 이후에는 맨 하단의 로우(row)에서 값이 1인 픽셀이 탐지되지 않는다. 이어서, y 값을 하나 증가시켜 바로 위의 로우(row)를 스캔한다.
두 번째 로우(row)에서도 값이 1인 픽셀들의 3연속이 나타나는데, 이 때 그 연속된 픽셀들의 시작점의 x 좌표를 기존의 피쳐 벡터의 최상단 픽셀의 x 좌표와 비교한다. 　그러면 피쳐 벡터 1에 들어 있는 픽셀들과 두 번째 로우(row)에서 탐지된 연속된 픽셀들의 x 좌표가 동일하므로, 두 번째 로우(row)에서 등장한 이 픽셀들은 피쳐 벡터 1과 이어지는 영역이라 판단하고, 앞서 설정된 피쳐 벡터 1에 포함시킨다. 　그 이후, 두 번째 로우(row)에서도 3연속으로 1인 픽셀들이 나타나지 않는다.
이제 다시 y 좌표를 증가시켜 세 번째 로우(row)를 살펴본다. 　역시 첫 번째로 등장하는 3연속 1인 픽셀들은 x 좌표가 피쳐 벡터 1의 픽셀들의 x좌표와 같으므로 피쳐 벡터 1에 포함시킨다. 그런데 세 번째 로우(row)에서는 x 좌표를 증가시키며 스캔하는 도중, 이미지 중간 부근에 다시 3연속 1인 픽셀들이 탐지된다. 그러나, 이 픽셀들의 x 좌표는 피쳐 벡터 1의 픽셀들의 x 좌표와 큰 차이가 발생한다. 이에 따라, 이미지 중간 부근의 3연속 1인 픽셀들을 기반으로 새로운 피쳐 벡터 2를 생성한다.
상기와 같은 과정이 반복되면서, 새로 탐지되는 값이 1인 픽셀들을 이미 생성된 피쳐 벡터에 포함시키거나, 새로운 피쳐 벡터를 생성한다.
y축을 따라 7번째 로우(row)와 13번째 로우(row)를 살펴본다. 13번째 로우(row)에서 처음으로 등장하는 3연속 값 1인 픽셀들은 7번째 로우(row)까지의 피쳐 벡터 1과 물리적으로는 단절되어 있다. 그러나, 13번째 로우(row)에서 처음으로 등장하는 3연속 값 1인 픽셀들의 x 좌표는 피쳐 벡터 1에 포함되어 있는 픽셀들의 x 좌표와 비슷하다. 　이에 따라, 이 픽셀들은 피쳐 벡터 1의 연속이라 판단하고, 이를 피쳐 벡터 1에 포함시킨다. 이러한 방식으로, 　띄엄 띄엄 등장하는 점선 차선들을 개념적으로 이어진 하나의 차선으로 판단할 수 있게 된다.　
상기와 같은 방법을 통해, 수평적 거리 기반의 샘플링 알고리즘을 적용하여 추출한 차선 영역의 픽셀들에 대해 매개변수 곡선으로 근사화한다. 매개변수 곡선으로 근사화 하는 방식으로, 간단한 2차 베지어 곡선(quadratic Bezier curve) 근사화 방식이 적용될 수 있으나, 이에 한정되는 것은 아니다. 2차 베지어 곡선 식은 곡선 차선과 직선 차선에 관계없이 단순하지만 명확하게 차선을 모델링할 수 있다.
또한, 2차 베지어 곡선 식에 의해 추출된 차선 모델에 확장 칼만 필터(extended kalman filter, EKF) 또는 파티클 필터 등의 필터링 알고리즘을 적용하여 신뢰도가 더욱 개선된 차선 정보를 산출할 수도 있다.
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100: 차선 인식 장치
110: 영상 변환부
120: 차선 영역 추출부
130: 차선 모델링부
140: 필터링부

Claims (8)

  1. 카메라를 이용한 차선 인식 장치로서,
    상기 카메라로부터 입력되는 투시도 영상을 WPM(warp perspective mapping) 변환을 사용하여 조감도 영상으로 변환하는 영상 변환부; 및
    칼라와 차선의 폭 정보를 이용하여 상기 조감도 영상 내 백색 영역과 노란색 영역을 추출하고, 추출된 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 차선 영역을 추출하는 차선 영역 추출부를 포함하는 것을 특징으로 하는 차선 인식 장치.
  2. 제1항에 있어서,
    상기 차선 영역 추출부에서 추출된 차선 영역의 픽셀들을 매개변수 곡선(parametric curve)을 이용하여 곡선 또는 직선 차선으로 모델링하는 차선 모델링부; 및
    상기 차선 모델링부에서 모델링한 곡선 또는 직선 차선에 필터링 알고리즘을 적용하여 차선 정보를 산출하는 필터링부를 더 포함하는 것을 특징으로 하는 차선 인식 장치.
  3. 제2항에 있어서, 상기 매개변수 곡선은 n차 베지어 곡선(Bezier curve) 또는 스플라인 곡선(spline curve)인 것을 특징으로 하는 차선 인식 장치.
  4. 제2항에 있어서, 상기 필터링부는 필터링 알고리즘을 수행하는 칼만 필터, 확장 칼만 필터, 또는 파티클 필터를 포함하는 것을 특징으로 하는 차선 인식 장치.
  5. 제1항에 있어서, 상기 차선 영역 추출부는, 상기 조감도 영상으로 변환된 칼라 입력 영상을 이진화 흑백 영상으로 변환한 후, 백색 영역을 추출한 제1 이진화 영상을 획득하고, 상기 칼라 입력 영상을 HSV 칼라 공간(HSV color space)으로 변환한 후, 색조(hue) 값을 이용하여 노란색 영역을 추출한 제2 이진화 영상을 획득하여, 2개의 이진화 영상을 통합하고, 통합된 이진화 영상에서 차선 폭 정보를 적용하여 차선으로 추정되는 영역을 추출하는 것을 특징으로 하는 차선 인식 장치.
  6. 카메라를 이용한 차선 인식 방법으로서,
    상기 카메라로부터 입력되는 투시도 영상을 WPM(warp perspective mapping) 변환을 사용하여 조감도 영상으로 변환하는 단계; 및
    칼라 및 차선의 폭 정보를 이용하여 상기 조감도 영상 내 백색 영역과 노란색 영역을 추출하고, 추출된 백색 영역과 노란색 영역에 수평적 거리 기반의 샘플링(horizontal distance-based sampling) 알고리즘을 적용하여 차선 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  7. 제6항에 있어서,
    상기 추출된 차선 영역의 픽셀들을 매개변수 곡선(parametric curve)을 이용하여 곡선 또는 직선 차선으로 모델링하는 단계; 및
    상기 모델링한 곡선 또는 직선 차선에 필터링 알고리즘을 적용하여 차선 정보를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차선 인식 방법.
  8. 제6항에 있어서, 상기 차선 영역을 추출하는 단계는,
    상기 조감도 영상으로 변환된 칼라 입력 영상을 이진화 흑백 영상으로 변환한 후, 백색 영역을 추출한 제1 이진화 영상을 획득하는 단계;
    상기 칼라 입력 영상을 HSV 칼라 공간(HSV color space)으로 변환한 후, 색조(hue) 값을 이용하여 노란색 영역을 추출한 제2 이진화 영상을 획득하는 단계;
    상기 제1 이진화 영상과 상기 제2 이진화 영상을 통합하여 제3 이진화 영상을 획득하는 단계; 및
    상기 제3 이진화 영상에 차선 폭 정보를 적용하여 백색 또는 노란색이면서 차선의 폭에 해당하는 영역만을 남기는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
KR1020120041392A 2012-04-20 2012-04-20 카메라를 이용한 차선 인식 장치 및 방법 KR101305388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120041392A KR101305388B1 (ko) 2012-04-20 2012-04-20 카메라를 이용한 차선 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120041392A KR101305388B1 (ko) 2012-04-20 2012-04-20 카메라를 이용한 차선 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101305388B1 true KR101305388B1 (ko) 2013-09-06

Family

ID=49455395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120041392A KR101305388B1 (ko) 2012-04-20 2012-04-20 카메라를 이용한 차선 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101305388B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455835B1 (ko) * 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
CN106485663A (zh) * 2015-08-26 2017-03-08 腾讯科技（深圳）有限公司 一种车道线图像增强方法及系统
US20200247431A1 (en) * 2019-02-04 2020-08-06 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
KR20220126683A (ko) * 2017-11-30 2022-09-16 현대오토에버 주식회사 정밀 지도 구축 장치 및 방법
CN115058947A (zh) * 2022-05-12 2022-09-16 安徽中青检验检测有限公司 一种路基路面平整度检测装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490168B1 (ko) 2001-04-20 2005-05-19 센싱테크 주식회사 칼라정보처리를 이용한 차선이탈경보장치등 및 그 방법
KR20110131678A (ko) * 2010-05-31 2011-12-07 호서대학교 산학협력단 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490168B1 (ko) 2001-04-20 2005-05-19 센싱테크 주식회사 칼라정보처리를 이용한 차선이탈경보장치등 및 그 방법
KR20110131678A (ko) * 2010-05-31 2011-12-07 호서대학교 산학협력단 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455835B1 (ko) * 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
CN106485663A (zh) * 2015-08-26 2017-03-08 腾讯科技（深圳）有限公司 一种车道线图像增强方法及系统
KR20220126683A (ko) * 2017-11-30 2022-09-16 현대오토에버 주식회사 정밀 지도 구축 장치 및 방법
KR102588635B1 (ko) 2017-11-30 2023-10-12 현대오토에버 주식회사 정밀 지도 구축 장치 및 방법
US20200247431A1 (en) * 2019-02-04 2020-08-06 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US11697427B2 (en) * 2019-02-04 2023-07-11 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
CN115058947A (zh) * 2022-05-12 2022-09-16 安徽中青检验检测有限公司 一种路基路面平整度检测装置及方法
CN115058947B (zh) * 2022-05-12 2024-02-09 安徽中青检验检测有限公司 一种路基路面平整度检测装置及方法

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP4203512B2 (ja) 車両周辺監視装置
US8750567B2 (en) Road structure detection and tracking
KR101992398B1 (ko) 도로 기호 및 차선 인식 방법 및 장치
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
US10565438B2 (en) Vehicle periphery monitor device
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
Gomez et al. Traffic lights detection and state estimation using hidden markov models
KR101305388B1 (ko) 카메라를 이용한 차선 인식 장치 및 방법
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
JP2013109760A (ja) 対象検知方法及び対象検知システム
JP7018607B2 (ja) 移動物体検出装置および移動物体検出方法
JP2013140515A (ja) 立体物検出装置及びプログラム
Youjin et al. A robust lane detection method based on vanishing point estimation
KR101295092B1 (ko) 차량용 색상검출기
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JPWO2017134936A1 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
KR101866381B1 (ko) 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
JP3328711B2 (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
WO2016059643A1 (en) System and method for pedestrian detection
Yenıaydin et al. Sensor fusion of a camera and 2d lidar for lane detection
US9558410B2 (en) Road environment recognizing apparatus
JP2012150595A (ja) 一時停止線検出装置及びプログラム
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6