KR101787292B1 - 영상을 이용한 차선 인식 성능 향상 방법 - Google Patents

영상을 이용한 차선 인식 성능 향상 방법 Download PDF

Info

Publication number
KR101787292B1
KR101787292B1 KR1020160181644A KR20160181644A KR101787292B1 KR 101787292 B1 KR101787292 B1 KR 101787292B1 KR 1020160181644 A KR1020160181644 A KR 1020160181644A KR 20160181644 A KR20160181644 A KR 20160181644A KR 101787292 B1 KR101787292 B1 KR 101787292B1
Authority
KR
South Korea
Prior art keywords
lane
image
group
algorithm
ransac
Prior art date
Application number
KR1020160181644A
Other languages
English (en)
Inventor
김대곤
이찬연
Original Assignee
(주)베라시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베라시스 filed Critical (주)베라시스
Priority to KR1020160181644A priority Critical patent/KR101787292B1/ko
Application granted granted Critical
Publication of KR101787292B1 publication Critical patent/KR101787292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/4633—
    • G06K9/4638—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 이용한 차선 인식 성능 향상방법에 관한 것으로, 카메라를 통해 입력된 영상에서 차선 후보군을 추출하는 제1 단계, 추출된 차선 후보군에서 차선을 인식하는 제2 단계, 인식된 차선 데이터를 통해 차선 상태를 판단하는 제 3단계, 이후 판단된 차선 상태 데이터를 출력하는 제4 단계를 포하며, 상기 제1 단계는 탑-햇 모폴로지(Top-Hat Morphology) 알고리즘을 수행하고, ,관심영역(ROI)를 선정하는 단계를 포함하며, 상기 제 2 단계는 클러스터링(Clustering)하고, 그룹화(Grouping)하는 단계를 포함하고, 상기 제 3 단계는 란삭(RANSAC:Random Sample Consensus) 알고리즘을 수행하는 단계와, 패턴 분석단계를 포함하는 것을 특징으로 한다.

Description

영상을 이용한 차선 인식 성능 향상 방법{Method for Improving Performance of Line Recognition Rate Using Image}
본 발명은 영상을 이용한 차선 인식 성능 향상 방법에 관한 것으로, 더욱 상세하게는, 종래에 차선의 상태와 상관없이, 동일한 차선으로 인식하여 출력하였던 점을 개선하여 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력함으로써 개선된 영상을 볼 수 있는 영상을 이용한 차선 인식 성능 향상 방법에 관한 것이다.
기술의 발전과 함께 안전하고 편리한 운행을 제공하기 위한 다양한 주행 보조 시스템들이 개발되고 있으며, 실제 차량에 적용되고 있다.
이러한 주행 보조 시스템 중에는 운전자의 장시간 운전이나 졸음 운전 또는 휴대 전화 사용 등에 따른 전방 주시 태만 등의 부주의로 주행 차선을 이탈하는 경우 이를 운전자에게 경고하여, 차선 이탈로 발생되는 사고를 미연에 방지하여 줄 수 있는 차선이탈 경보 시스템(LDWS, Lane Departure Warning System)이 제공되고 있다.
차선이탈 경보 시스템은 차량의 전방 소정 위치에 설치된 카메라를 통해 주행 도로상의 영상을 수집하고, 이 수집되는 영상의 분석으로 차선 내에서의 차량 위치를 측정하여 차량이 차선을 이탈할 것으로 판단되는 상황에서 스티어링 휠에 토크 혹은 진동을 가하거나 경보음의 송출 등을 통하여 운전자에게 차선 이탈을 경고하여 운전자로 하여금 차선 복귀를 유도하여 준다.
상기의 차선이탈 경보 시스템은 차량의 전방에 설치된 카메라에서 수집되는 영상차선을 정확하게 인식하고, 각종 도로 신호나 차선과 유사한 영상으로부터 차선을 정확하게 추출할 수 있어야 한다.
그러나, 기존의 차선이탈 경보 시스템은 우천시 또는 안개 낀 날에는 차선 인식률이 감소하여, 차선 이탈 여부를 판단하지 못하고, 이에 따라서 차량이 차선을 이탈하여도 운전자에게 경고를 할 수 없는 문제가 존재한다.
따라서, 악천후시에도 차선 인식률이 향상된 차선 인식 방법 및 장치가 필요하다.
즉, 상기 LDWS(Lane Departure Warning System) 의 경우, 도로면의 차선을 인식하여, 운전자가 차선을 이탈하였을 경우, 경보를 해주었으나, 이런 시스템도 악의 조건(연석, 전신줄 그림자, 차 측면, 빗물 반사면 등)에서 오경보를 내어
운전자에게 불만을 느끼게하는 문제점이 있었다.
[선행기술문헌]
대한민국 특허공개번호 제10-2014-0006463호(공개일자 2014년01월16일: 발명의 명칭: 차선인식 방법 및 장치)
본 발명의 목적은 상기한 바와 같은 종래 기술의 문제점을 개선하기 위하여 제안된 것으로서, 신뢰도가 높은 차선 정보를 인지하여 운전자에게 필요에 의한 경보를 제공할 수 있도록 하는 새로운 형태의 영상을 이용한 차선 인식 성능 향상 방법을 제공함에 있다.
본 발명의 또 다른 목적은 종래에 차선의 상태와 상관없이, 동일한 차선으로 인식하여 출력하였던 점을 개선하여 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력함으로써 개선된 영상을 볼 수 있는 영상을 이용한 차선 인식 성능 향상 방법을 제공함에 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면,
카메라를 통해 입력된 영상에서 차선 후보군을 추출하는 제1 단계,
추출된 차선 후보군에서 차선을 인식하는 제2 단계,
인식된 차선 데이터를 통해 차선 상태를 판단하는 제 3단계,
이후 판단된 차선 상태 데이터를 출력하는 제4 단계를 포함하며,
상기 제1 단계는 탑-햇 모폴로지(Top-Hat Morphology) 알고리즘을 수행하고, 관심영역(ROI)를 선정하는 단계를 포함하며,
상기 제 2 단계는 클러스터링(Clustering)하고, 그룹화(Grouping)하는 단계를 포함하고,
상기 제 3 단계는 란삭(RANSAC:Random Sample Consensus) 알고리즘을 수행하는 단계와, 패턴 분석단계를 포함하고,
삭제
상기 제 1 단계는, 입력영상에서 중심 픽셀을 기준으로 일정크기 만큼의 픽셀을 선정하여 픽셀의 밝기값을 기준으로 검출영역과 배경영역을 구분하며, 탑-햇모폴로지(Top-Hat Morphology) 알고리즘을 이용하여 일정 임계치 이상의 동일한 성분을 지닌 영역을 검출하고, 허프변환 알고리즘을 이용하여 상기 탑-햇모폴로지(Top-Hat Morphology)에서 수행된 결과 영상에서 직선 성분을 검출하고, 직선성분의 교점을 소실점(x,y)로 정하고, 해당 소실점을 지나지 않는 직선 성분은 차선으로 식별하지 않고, 위 과정을 거친 영상에서 관심영역(ROI)을 설정하는 것을 특징으로 하는 영상을 이용한 차선 인식 성능 향상방법을 제공한다.
또한, 바람직하게는,
상기 제 2 단계는 클러스터링(Clustering)을 통해 유사한 픽셀값을 가진 직선 성분들을 하나의 차선으로 판단하고, 클러스터링 과정 이후에 그룹화 과정을 수행하되, 소실점을 기준으로 결정된 관심 영역을 통해 주행차선을 우선시하여, 그룹화(Grouping)하고, 하나 이상의 그룹화된 그룹 중에서 특정그룹을 주행차선으로 인식하고, 나머지는 각각 다른 색으로 구분하여 다른 차선으로 판단하되, 차선 이탈 시, 오인식을 방지하고 전방에 보이는 모든 차선 정보를 저장함으로써 보다 빠른 차선 상태를 파악하기 위해 주행차선이라 판단되는 그룹(Group)을 그룹 1으로 하여 그룹 1을 기준으로 가장 인접하게 클러스터링(Clustering)된 그룹부터 순차적으로 그룹2, 그룹 3로 인식하는 것을 특징으로 한다.
또한, 바람직하게는,
상기 제 3 단계는 차선으로 추정되는 정보(붉은색으로 검출된 차선) 중에서, 란삭(RANSAC:Random Sample Consensus) 알고리즘을 이용하여 자차선으로 추정되는 이웃한 성분의 매개 변수만을 자차선(파란색)으로 인식하고,
상기 란삭(RANSAC:Random Sample Consensus) 알고리즘에 의해 결정된 차선의 결과를 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력하는 것을 특징으로 한다.
이상 설명한 바와 같이, 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법에 의하면, 종래에는 차선의 상태와 상관없이, 동일한 차선으로 인식하여 출력하였던 점을 개선하여 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력함으로써 개선된 영상을 볼 수 있는 효과가 있다.
도 1은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법을 수행하기 위한 개략적인 블럭구성도이다.
도 2는 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 종래 기술에 따른 차선 후보군 추출을 위한 방법을 설명하는 설명도이다.
도 4는 도 3의 방법을 수행한 결과를 나타내는 사진이다.
도 5는 도 3의 방법에서 사용된 계산방법을 설명하기 위한 도면이다.
도 6은 도 5의 계산방법을 수행한 결과를 나타낸 사진이다.
도 7은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법에서 관심영역을 설정하는 과정을 설명하는 사진이다.
도 8은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법에서 차선인식을 위한 클러스터링(Clustering)과 그룹화(Grouping)과정을 수행한 결과를 나타내는 사진이다.
도 9는 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정(RANSAC)을 수행한 상태를 나타내는 그래프이다.
도 10은 도 9의 차선 상태 판단을 위한 과정(RANSAC)을 적용한 예를 나타낸 사진이다.
도 11은 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정을 위한 원본 영상을 나타낸 사진이다.
도 12는 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정을 위한 차선 상태 분석 결과를 나타낸 사진이다.
이하 본 발명에 따른 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치 및 방법에 대하여 첨부도면을 참조로 상세히 설명한다.
도 1은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법을 수행하기 위한 개략적인 블럭구성도이고, 도 2는 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법의 동작을 설명하기 위한 흐름도이고, 도 3은 종래 기술에 따른 차선 후보군 추출을 위한 방법을 설명하는 설명도이고, 도 4는 도 3의 방법을 수행한 결과를 나타내는 사진이고, 도 5는 도 3의 방법에서 사용된 계산방법을 설명하기 위한 도면이고, 도 6은 도 5의 계산방법을 수행한 결과를 나타낸 사진이고, 도 7은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법에서 관심영역을 설정하는 과정을 설명하는 사진이고, 도 8은 본 발명에 따른 영상을 이용한 차선 인식 성능 향상 방법에서 차선인식을 위한 클러스터링(Clustering)과 그룹화(Grouping)과정을 수행한 결과를 나타내는 사진이고, 도 9는 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정(RANSAC)을 수행한 상태를 나타내는 그래프이고, 도 10은 도 9의 차선 상태 판단을 위한 과정(RANSAC)을 적용한 예를 나타낸 사진이고, 도 11은 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정을 위한 원본 영상을 나타낸 사진이고, 도 12는 본 발명에 따른 영상을 이용한 차선 인식 성능 개선장치에서 차선상태 판단을 위한 과정을 위한 차선 상태 분석 결과를 나타낸 사진이다.
도 1을 참조하면, 영상입력부(2)를 통해 영상을 입력받고, 차선후보군 검출부(4)는 차선후보군을 검출한다. 차선인식부(6)는 차선을 인식한다. 차선 상태판단부(8)는 차선상태를 판단하여 출력부(10)를 통해 결과를 출력한다.
상기 차선후보군 검출부(4)는 탑-햇 모폴로지를 수행하고, 허프 변환(Hough Transform)을 수행한다. 이러한 수행과정은 기존에 이미 잘 알려진 관련 영상 알고리즘(모폴로지, 허프 변환 알고리즘)을 통해 수행할 수 있다. 그 세부적인 방법에 있어서 본 발명에서는
탑-햇 측정방법에서
중심 픽셀(Center Pixel)(붉은색)을 기준으로 일정 크기만큼의 픽셀(Pixel)을 선정하여, 밝기값을 기준으로 검출 영역과 배경(Background)영역을 구분한다.
중심 픽셀(Center Pixel)이 배경(Background)영역이라면 좌(current pixel - w), 하(current pixel + w/2)는 임계치(차선영역 컬러(color)(255), 카메라의 성능에 따라 픽셀의 밝기값이 다소 차이가 있을 수 있음) 이하이므로 배경(Background), 상(current pixel + w/2), 우(current pixel + w)는 검출 영역이 된다.)(도 3 참조). w는 중심 픽셀을 기준으로 상,하,좌,우 동일한 영역을 검출하기 위한 임계치 변수이다. 여기서는 3으로 정했으며, 소수점이하 반올림 적용하였다).
위 과정을 거치면 일정 임계치 이상의 동일한 성분을 지닌 차선 영역이 검출된다.(도 4 참조).
상기 임계치는 차선의 픽셀 값으로 선정, 카메라 성능에 따라 밝기값이 다르지만, 흰색(255)에 가까운 픽셀값으로 판단한다.
이후, Top-Hat Morphology 알고리즘을 통해 수행된 결과 영상에서 허프 변환(Hough Transform) 알고리즘을 이용하여 직선 성분을 검출한다.
허프 변환 알고리즘을 통해 구해진 영상에 대해 직선 성분을 찾고, 직선 성분의 교점을 소실점(x, y)로 정하고, 소실점을 지나지 않는 직선 성분은 차선으로 식별하지 않는다.(도 5 및 도 6 참조).
이후 관심영역(ROI)을 카메라의 내부 파라미터(설치각도, 설치높이, 도로폭, 인식거리 등)을 고려하여 도 7에 도시된 바와 같이 관심영역을 선정한다.
관심영역(ROI)은
영상을 차선에서 바라보았을 때, 서로 평행한 모양이 아닌 기울어진 모양이기에, 사다리꼴 모양의 관심영역(ROI)을 사용하며, 소실점(x, y) 위치에서의 차량의 폭을 T0 라 가정하고, 차량 본넷 위치에서의 차량의 폭을 T1이라 가정하였을 때, 소실점 위치에 대한 x 좌표는 (소실점의 x 좌표값 - T0)(원문자 ①), (소실점의 x 좌표값 + T0)(원문자 ②), 차량의 보넷 위치에 대한 x축 좌표는 (소실점의 x 좌표값 - T1)(원문자 ③), (소실점의 x 좌표값 + T1)(원문자 ④)로 구한다(도 7에서 원문자 ①,②,③,④로 표시됨). y (시작점)축 좌표는 소실점 y좌표이고, h(높이) 좌표는 운전자가 설정하는 차량의 본넷에 해당되는 y 좌표를 의미한다.
위와 같은 상기 차선인식부(6)는 도 8과 같이 클러스터링(Clusing)과 그룹화(Grouping)를 수행한다.
상기 차선상태판단부(8)는 도9 및 도 10과 같이 란삭(RANSAC:Random Sample Consensus) 알고리즘을 수행하고 패턴분석을 수행한다.
도 2를 참조하면, 영상이 입력되는 단계(S2), 입력된 영상에서 차선 후보군을 추출하는 단계(S4), 추출된 차선 후보군에서 차선을 인식하는 단계(S6), 인식된 차선 데이터를 통해 차선 상태를 판단하는 단계(S8), 이후 판단된 차선 상태 데이터를 출력하는 단계(S10)를 포함한다. 상기 차선 후보군 추출 단계는 탑-햇 모폴로지(Top-Hat Morphology) 알고리즘을 수행하는 단계(S42), 관심영역(ROI)를 선정하는 단계(S46)를 수행한다.
탑-햇 모폴로지(Top-Hat Morphology) 알고리즘은 직선 성분을 검출하기 위한 영상처리 기법으로서, 영상처리에서 모폴로지란 영상 내에 존재하는 특정 객체의 형태를 변형시키는 용도로 사용하는 영상처리 기법이다.
이상은 이 분야에서 알려진 용어이므로 구체적인 설명은 생략하기로 한다.
상기 차선은 인식하는 단계(S6)는 클러스터링(Clustering)하는 단계(S62)와, 그룹화(Grouping)하는 단계(S64)를 수행한다.
상기 차선상태를 판단하는 단계(S8)는 란삭(RANSAC:Random Sample Consensus) 알고리즘을 통한 RANSAC 처리 단계(S82)와, 패턴 분석단계(S84)로 구분될 수 있다.
도 3을 참조하면, 상기 탑-햇 모폴로지 알고리즘을 통해 중심 픽셀(Center Pixel)(붉은색)을 기준으로 일정 크기만큼의 픽셀(Pixel)을 선정하여, 밝기값을 기준으로 검출 영역과 배경(Background)영역을 구분한다.
중심 픽셀(Center Pixel)이 배경(Background)영역이라면 좌(current pixel - w), 하(current pixel + w/2)는 임계치 이하이므로 배경(Background), 상(current pixel + w/2), 우(current pixel + w)는 검출 영역이 된다.
도 4를 참조하면, Top-Hat Morphology 알고리즘의 수행결과 일정 임계치 이상의, 동일한 성분을 지닌 영역이 검출된다.
도 5를 참조하면, Top-Hat Morphology 알고리즘을 수행하여 얻은 결과 영상에서 허프 변환(Hough Transform) 알고리즘을 통해 직선 성분을 검출한다.
Top-Hat Morphology 알고리즘에서 구해진 각 픽셀(Pixel)에 대해 다음의 수식을 적용하여 직선을 만든다.
Figure 112016128802305-pat00001
픽셀의 x,y 좌표에서 x,y를 가로지르는 붉은색으로 표시되는 부분이 허프(Hough) 직선이고, r는 허프 직선과 수직으로 만나는 직선이다.
여기서, θ는 직선 r과 x선이 만나는 각도이다.
Figure 112016128802305-pat00002
허프 변환 알고리즘은 직선 성분을 검출하기 위해 영상처리에서 흔히 사용되는 기법이다.
도 6을 참조하면, 허프 변환 알고리즘을 통해 구해진 영상에 대해 직선 성분을 찾고, 직선 성분의 교점을 소실점 (x, y)로 정하고, 소실점 이하는 차선으로 식별하지 않는다.
도 7을 참조하면, 차선후보군 추출을 위한 과정으로서, 카메라(Camera)의 내부 파라미터 (설치각도, 설치높이, 도로폭, 인식거리 등을 고려하여 위와 같은 ROI 영역(관심 영역)을 선정한다.).
관심영역(ROI)은
영상을 차선에서 바라보았을 때, 서로 평행한 모양이 아닌 기울어진 모양이기에, 사다리꼴 모양의 관심영역(ROI)을 사용하며, 소실점(x, y) 위치에서의 차량의 폭을 T0 라 가정하고, 차량 본넷 위치에서의 차량의 폭을 T1이라 가정하였을 때, 소실점 위치에 대한 x 좌표는 (소실점의 x 좌표값 - T0), (소실점의 x 좌표값 + T0), 차량의 보넷 위치에 대한 x축 좌표는 (소실점의 x 좌표값 - T1), (소실점의 x 좌표값 + T1)로 구합니다. y (시작점)축 좌표는 소실점 y좌표이고, h(높이) 좌표는 운전자가 설정하는 차량의 보넷에 해당되는 y 좌표를 의미한다.
도 8을 참조하면, 차선 인식을 위한 과정으로서, 클러스터링(Clustering)(
영상처리시, 흔히 사용하는 라벨링(Labelling) 기법으로, 유사한 픽셀값을 지닌 이웃한 성분들을 라벨링하는 기법이다)을 통해 유사한 픽셀값을 가진 직선 성분들을 하나의 차선으로 판단한다.
도 8을 참조하면, 차선 인식을 위한 과정으로서, 도 8의 클러스터링 과정이후에 그룹화(Grouping)를 수행한다.
소실점을 기준으로 결정된 관심 영역을 통해 주행차선을 우선시하여, 그룹화(Grouping) 한다. (그룹(Group) 1을 주행차선으로 인식한다.) 그룹 2, 그룹 3이 각각 다른 색으로 구분되어 있다.(다른 차선으로 판단된다).
또한, 차선 이탈 시, 오인식을 방지하고 전방에 보이는 모든 차선 정보를 저장함으로써 보다 빠른 차선 상태를 파악하기 위해 주행차선이라 판단되는 그룹(Group)을 기준으로 가장 인접하게 클러스터링(Clustering) 된 그룹(Group 2)을, 주행차선을 (t)차선으로 간주하였을 때, (t-1) 차선, (t + 1) 차선은 바로 옆 차선,노란색 차선 영역)으로 인식한다.
도 9를 참조하면, 차선 상태 판단을 위한 과정으로서, 란삭(RANSAC:Random Sample Consensus) 알고리즘은 노이즈가 있는 데이터에서 원하는 데이터의 수학적 모델을 뽑기 위한 반복적 방법이다. 란삭(RANSAC:Random Sample Consensus)은 일정한 확률로 적절한 결과를 생성할 수 있고, 반복 횟수(Iteration)를 증가할수록 위 확률이 증가한다는 점에서 비 결정적 알고리즘(non-deterministic algorithm)으로 볼 수 있다.
즉, 결정된 차선에 대해 악의조건에서 나타나는 노이즈(Noise)(잡음)을 제거하고, 차선의 상태를 파악하기 위해 란삭(RANSAC:Random Sample Consensus) 알고리즘을 이용한다.
도 10을 다시 참조하면, N 개의 데이터 포인트를 Grouping 하여 차선의 매개 변수를 추정한다.
도 10은 (RANSAC:Random Sample Consensus) 알고리즘의 이해를 돕기 위한 도면으로, 검출영역이 점선과 같이 분포되었을 때, 중간 부분에 갑자기 낮아진 구간을 노이즈(잡음)라 가정하고, 란삭(RANSAC:Random Sample Consensus) 알고리즘을 적용하면, 노이즈(잡음)이 제거된 붉은색 선과 같은 가장 많은 수의 데이터들로부터 지지를 받는 모델을 얻을 수 있다.
도 11을 참조하면, 란삭(RANSAC:Random Sample Consensus) 알고리즘의 적용예를 볼 수 있는데, 차선으로 추정되는 정보(붉은색으로 검출된 차선) 중에서, ㄹ란삭(RANSAC:Random Sample Consensus) 알고리즘을 이용하여 자차선으로 추정되는 이웃한 성분의 매개 변수만을 자차선(파란색)으로 인식한다.
도 12를 참조하면, 패턴 분석을 위한 과정으로서, 란삭(RANSAC:Random Sample Consensus) 알고리즘에 의해 결정된 차선의 결과를 기준으로, 실제 거리로 변환하여 차선의 상태를 분석하여 필요에 따라 사용자에게 알린다.
즉, 기존의 경우(도 11 참조), 차선의 상태와 상관없이, 동일한 차선으로 인식하여 출력하였으나, 본 발명에서는 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력함으로써 개선된 영상을 볼 수 있다.
2: 영상입력부
4: 차선후보군 검출부
6: 차선인식부
8: 차선상태 판단부
10: 출력부

Claims (4)

  1. 카메라를 통해 입력된 영상에서 차선 후보군을 추출하는 제1 단계,
    추출된 차선 후보군에서 차선을 인식하는 제2 단계,
    인식된 차선 데이터를 통해 차선 상태를 판단하는 제 3단계,
    이후 판단된 차선 상태 데이터를 출력하는 제4 단계를 포함하며,
    상기 제1 단계는 탑-햇 모폴로지(Top-Hat Morphology) 알고리즘을 수행하고, 관심영역(ROI)를 선정하는 단계를 포함하며,
    상기 제 2 단계는 클러스터링(Clustering)하고, 그룹화(Grouping)하는 단계를 포함하고,
    상기 제 3 단계는 란삭(RANSAC:Random Sample Consensus) 알고리즘을 수행하는 단계와, 패턴 분석단계를 포함하고,
    상기 제 1 단계는, 입력영상에서 중심 픽셀을 기준으로 일정크기 만큼의 픽셀을 선정하여 픽셀의 밝기값을 기준으로 검출영역과 배경영역을 구분하며, 탑-햇모폴로지(Top-Hat Morphology) 알고리즘을 이용하여 일정 임계치 이상의 동일한 성분을 지닌 영역을 검출하고, 허프변환 알고리즘을 이용하여 상기 탑-햇모폴로지(Top-Hat Morphology)에서 수행된 결과 영상에서 직선 성분을 검출하고, 직선성분의 교점을 소실점(x,y)로 정하고, 해당 소실점을 지나지 않는 직선 성분은 차선으로 식별하지 않고, 위 과정을 거친 영상에서 관심영역(ROI)을 설정하는 것을 특징으로 하는 영상을 이용한 차선 인식 성능 향상방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 2 단계는 클러스터링(Clustering)을 통해 유사한 픽셀값을 가진 직선 성분들을 하나의 차선으로 판단하고, 클러스터링 과정 이후에 그룹화 과정을 수행하되, 소실점을 기준으로 결정된 관심 영역을 통해 주행차선을 우선시하여, 그룹화(Grouping)하고, 하나 이상의 그룹화된 그룹 중에서 특정그룹을 주행차선으로 인식하고, 나머지는 각각 다른 색으로 구분하여 다른 차선으로 판단하되, 차선 이탈 시, 오인식을 방지하고 전방에 보이는 모든 차선 정보를 저장함으로써 보다 빠른 차선 상태를 파악하기 위해 주행차선이라 판단되는 그룹(Group)을 그룹 1으로 하여 그룹 1을 기준으로 가장 인접하게 클러스터링(Clustering)된 그룹부터 순차적으로 그룹2, 그룹 3로 인식하는 것을 특징으로 하는 영상을 이용한 차선 인식 성능 향상방법.
  4. 제 1 항에 있어서,
    상기 제 3 단계는 차선으로 추정되는 정보(붉은색으로 검출된 차선) 중에서, 란삭(RANSAC:Random Sample Consensus) 알고리즘을 이용하여 자차선으로 추정되는 이웃한 성분의 매개 변수만을 자차선(파란색)으로 인식하고,
    상기 란삭(RANSAC:Random Sample Consensus) 알고리즘에 의해 결정된 차선의 결과를 소실점을 기준으로 차선 그룹(Group)마다 실제크기로 환산, 크기 및 밝기값을 비교하여 차선의 상태를 파악하여 출력하는 것을 특징으로 하는 영상을 이용한 차선 인식 성능 향상방법.
KR1020160181644A 2016-12-28 2016-12-28 영상을 이용한 차선 인식 성능 향상 방법 KR101787292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160181644A KR101787292B1 (ko) 2016-12-28 2016-12-28 영상을 이용한 차선 인식 성능 향상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160181644A KR101787292B1 (ko) 2016-12-28 2016-12-28 영상을 이용한 차선 인식 성능 향상 방법

Publications (1)

Publication Number Publication Date
KR101787292B1 true KR101787292B1 (ko) 2017-10-17

Family

ID=60297767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160181644A KR101787292B1 (ko) 2016-12-28 2016-12-28 영상을 이용한 차선 인식 성능 향상 방법

Country Status (1)

Country Link
KR (1) KR101787292B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829366A (zh) * 2018-12-20 2019-05-31 中国科学院自动化研究所南京人工智能芯片创新研究院 一种车道检测方法、装置、设备及计算机可读存储介质
KR20200081610A (ko) * 2018-12-27 2020-07-08 (주)베라시스 카메라 모델링 정보를 이용한 다중 차선 검출 방법
US11200432B2 (en) 2018-10-23 2021-12-14 Samsung Electronics Co., Ltd. Method and apparatus for determining driving information
KR102395845B1 (ko) * 2020-12-02 2022-05-09 (주)베라시스 전방영상 기반 차선상태 검출방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200432B2 (en) 2018-10-23 2021-12-14 Samsung Electronics Co., Ltd. Method and apparatus for determining driving information
CN109829366A (zh) * 2018-12-20 2019-05-31 中国科学院自动化研究所南京人工智能芯片创新研究院 一种车道检测方法、装置、设备及计算机可读存储介质
CN109829366B (zh) * 2018-12-20 2021-04-30 中国科学院自动化研究所南京人工智能芯片创新研究院 一种车道检测方法、装置、设备及计算机可读存储介质
KR20200081610A (ko) * 2018-12-27 2020-07-08 (주)베라시스 카메라 모델링 정보를 이용한 다중 차선 검출 방법
KR102169009B1 (ko) * 2018-12-27 2020-10-23 (주)베라시스 카메라 모델링 정보를 이용한 다중 차선 검출 방법
KR102395845B1 (ko) * 2020-12-02 2022-05-09 (주)베라시스 전방영상 기반 차선상태 검출방법

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
Satzoda et al. Multipart vehicle detection using symmetry-derived analysis and active learning
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
Kuo et al. Vision-based vehicle detection for a driver assistance system
US8983136B2 (en) Traffic sign detecting method and traffic sign detecting device
KR101787292B1 (ko) 영상을 이용한 차선 인식 성능 향상 방법
KR101605514B1 (ko) 차선 인식 장치 및 방법
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US7403219B2 (en) Driving lane recognizer and driving lane recognizing method
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP5014237B2 (ja) レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
Kosaka et al. Vision-based nighttime vehicle detection using CenSurE and SVM
CN107392139B (zh) 一种基于霍夫变换的车道线检测方法及终端设备
US9436878B2 (en) Lane mark recognition device
KR20090014124A (ko) 이미지 평가 방법 및 장치
Kortli et al. A novel illumination-invariant lane detection system
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
WO2013179588A1 (ja) 人検出装置
US9367750B2 (en) Lane departure warning system and method of controlling the same
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
KR20150081480A (ko) 교통 표지판 인식 방법 및 장치
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
CN110956081A (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant