KR102045026B1 - 차선 인식 장치 및 방법 - Google Patents

차선 인식 장치 및 방법 Download PDF

Info

Publication number
KR102045026B1
KR102045026B1 KR1020180016660A KR20180016660A KR102045026B1 KR 102045026 B1 KR102045026 B1 KR 102045026B1 KR 1020180016660 A KR1020180016660 A KR 1020180016660A KR 20180016660 A KR20180016660 A KR 20180016660A KR 102045026 B1 KR102045026 B1 KR 102045026B1
Authority
KR
South Korea
Prior art keywords
image
lane
blobs
candidate object
blob
Prior art date
Application number
KR1020180016660A
Other languages
English (en)
Other versions
KR20190103503A (ko
Inventor
신현철
박경춘
안재홍
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020180016660A priority Critical patent/KR102045026B1/ko
Publication of KR20190103503A publication Critical patent/KR20190103503A/ko
Application granted granted Critical
Publication of KR102045026B1 publication Critical patent/KR102045026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예들은 차선 인식 장치 및 방법에 관한 것이다. 차선 인식 장치는 제 1 이미지 획득 모듈을 통해 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하고, 제 2 이미지 획득 모듈을 통해 블랍(Blob)들의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하며, 차선 인식 모듈을 통해 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식할 수 있다.

Description

차선 인식 장치 및 방법{APPARATUS AND METHOD FOR DETECTING LANE}
본 발명의 실시예들은 차선 인식 장치 및 방법에 관한 것이다.
일반적으로, 차선 인식 장치는 차량에 탑재된 카메라를 통해 촬영된 도로 이미지를 제공받아 이를 영상 처리하여 차선을 인식할 수 있는 장치일 수 있다.
특히, 차량에서는 이러한 차선 인식 장치를 통해 인식된 차선 정보를 이용하여 운전자에게 차선 이탈 경고를 발생시킬 수 있다. 그리고, 이러한 차선 인식 장치를 통해 인식된 차선 정보들은 자율 주행 차량을 비롯한 지능형 차량에 꼭 필요한 정보일 수 있다.
그러나, 종래의 차선 인식 장치는 가시정도(visibility)가 낮거나 장애물에 부분적으로 가려진 차선을 인식할 수 없는 문제점이 있다.
본 발명의 실시예들은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예들의 목적은 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식의 정확도를 높일 수 있는 차선 인식 장치를 제공하는데 있다.
또한, 본 발명의 실시예들의 목적은, 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식의 정확도를 높일 수 있는 차선 인식 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 실시예들의 일 측면은, 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 제 1 이미지 획득 모듈, 블랍(Blob)들의 정보에 기반하여 상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 제 2 이미지 획득 모듈 및 상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식하는 차선 인식 모듈을 포함하는 차선 인식 장치를 제공하는 것이다.
또한, 전술한 목적을 달성하기 위하여 본 발명의 실시예들의 일 측면은, 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 단계, 블랍(Blob)들의 정보에 기반하여 상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 단계 및 상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식하는 단계를 포함하는 차선 인식 방법을 제공하는 것이다.
이상에서 설명한 바와 같은 본 발명의 실시예들의 차선 인식 장치에 따르면, 제 1 이미지 획득 모듈을 통해 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하고, 제 2 이미지 획득 모듈을 통해 블랍(Blob)들의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하며, 차선 인식 모듈을 통해 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식함으로써, 블랍(Blob)들의 정보에 기반하여 노이즈 블랍을 제거함과 아울러 차선 후보 객체를 검증할 수 있어 차선 인식 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 원근 효과(perspective effect)가 제거된 탑뷰(top view) 이미지를 이용하여 차선을 인식함으로써, 차선 인식을 간단하게 수행할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 블랍의 방향값 정보 및 거리값 정보를 바탕으로 필터링하여 노이즈 블랍을 제거함으로써, 두 번의 블랍 필터링에 의해 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 네거티브(negative) 블랍에 해당하는 의심스러운(doubtful) 블랍을 제거함으로써, 학습 기반의 분류기에 의해 차선 후보가 검증될 수 있어 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식 정확도를 높일 수 있을 뿐만 아니라 가시정도(visibility)가 낮거나 장애물에 부분적으로 가려진 차선 또한 정확하게 인식할 수 있는 효과가 있다.
도 1은 본 발명의 실시예들에 따른 차선 인식 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 실시예들에 따른 제 1 이미지 획득 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 3은 본 발명의 실시예들에 따른 제 2 이미지 획득 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 4는 본 발명의 실시예들에 따른 차선 인식 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 5는 본 발명의 실시예들에 따른 차선을 인식하는 흐름을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예들에 따른 바이너리 블랍을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예들에 따른 포지티브(positive) 샘플을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예들에 따른 네거티브(negative) 샘플을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예들에 따른 차선 인식 장치를 통해 획득된 이미지를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예들에 따른 차선 인식 방법을 설명하기 위한 전체 순서도이다.
도 11은 본 발명의 실시예들에 따른 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 12는 본 발명의 실시예들에 따른 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 13 내지 도 18은 본 발명의 실시예들에 따른 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 19는 본 발명의 실시예들에 따른 차선을 인식하는 방법을 설명하기 위한 구체적인 순서도이다.
도 20은 본 발명의 실시예들에 따른 차선 인식 장치의 컴퓨터 시스템에 대한 블록 구성도이다.
이하, 본 발명의 실시예들의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 실시예들은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시예들은 본 발명의 실시예들의 개시가 완전하도록 하며, 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 실시예들은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 실시예들의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명의 실시예들을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에 기재된 이미지(image) 라는 용어는 영상, 픽처(picture), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예들에 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 차선 인식 장치를 설명한다.
도 1은 본 발명의 실시예들에 따른 차선 인식 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 차선 인식 장치는 제 1 이미지 획득 모듈(100), 제 2 이미지 획득 모듈(200) 및 차선 인식 모듈(300) 등을 포함하여 이루어질 수 있다.
제 1 이미지 획득 모듈(100)은 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있다.
구체적으로, 제 1 이미지 획득 모듈(100)은 이미지 획득 장치(미도시)와 연결될 수 있다. 여기서, 이미지 획득 장치(미도시)는 차량의 일측면에 위치하여 도로를 촬영하여 도로 이미지를 획득할 수 있다. 특히, 이미지 획득 장치(미도시)는 비전 센서, 카메라 및 블랙 박스(black box) 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 도로 이미지를 획득할 수 있다면 어떠한 장치(또는, 센서)라도 포함할 수 있다.
또한, 제 1 이미지 획득 모듈(100)은 이미지 획득 장치(미도시)로부터 도로 이미지를 제공받을 수 있다. 제 1 이미지 획득 모듈(100)은 이미지 획득 장치(미도시)로부터 제공받은 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있다. 즉, 제 1 이미지 획득 모듈(100)은 이미지 획득 장치(미도시)로부터 제공받은 도로 이미지에서 기 설정된 이미지 처리 알고리즘을 통해 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있다.
여기서, 기 설정된 이미지 처리 알고리즘은 관심 영역(region of interest, ROI) 설정 알고리즘, 원근 효과(perspective effect) 제거 알고리즘, 탑뷰(top view) 이미지 획득 알고리즘, 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM) 알고리즘, 필터링 알고리즘, 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터 알고리즘, 이진화(thresholding) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만 이에 한정되는 것은 아니고 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있는 알고리즘이라면 어떠한 알고리즘이라도 포함할 수 있다.
한편, 제 1 이미지 획득 모듈(100)은 도로 이미지를 입력받을 수 있다. 제 1 이미지 획득 모듈(100)은 도로 이미지 중 관심 영역(region of interest, ROI)을 설정할 수 있다.
또한, 제 1 이미지 획득 모듈(100)은 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다. 즉, 제 1 이미지 획득 모듈(100)은 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM)을 통해, 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 상기 탑뷰 이미지를 획득할 수 있다.
또한, 제 1 이미지 획득 모듈(100)은 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다. 즉, 제 1 이미지 획득 모듈(100)은 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터를 통해 탑뷰 이미지를 필터링하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 획득하고, 기 설정된 임계값(threshold)에 기반하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 이진화(thresholding)하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
제 2 이미지 획득 모듈(200)은 블랍(Blob)들의 정보에 기반하여 상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다.
구체적으로, 제 2 이미지 획득 모듈(200)은 제 1 이미지 획득 모듈(100)과 연결될 수 있다. 제 2 이미지 획득 모듈(200)은 제 1 이미지 획득 모듈(100)로부터 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 제 2 이미지 획득 모듈(200)은 블랍(Blob)들의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다. 제 2 이미지 획득 모듈(200)은 노이즈 블랍이 제거된 제 1 차선 후보 객체가 포함된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다.
여기서, 블랍들의 정보는 블랍들의 형태 정보 및 블랍들의 분포 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 블랍들의 정보는 블랍들의 방향값 정보 및 블랍들의 거리값 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
한편, 제 2 이미지 획득 모듈(200)은 블랍들의 정보 중 블랍들의 형태 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
또한, 제 2 이미지 획득 모듈(200)은 블랍들의 정보 중 블랍들의 분포 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 분포 정보는 블랍들의 밀도 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 분포와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 분포와 유사하지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
또한, 제 2 이미지 획득 모듈(200)은 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출하고, 상기 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거할 수 있다.
또한, 제 2 이미지 획득 모듈(200)은 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출하고, 상기 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거할 수 있다.
여기서, 제 1 이미지는 바이너리 이미지를 포함할 수 있다.
여기서, 블랍들은 바이너리 블랍들을 포함할 수 있다.
차선 인식 모듈(300)은 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식할 수 있다.
구체적으로, 차선 인식 모듈(300)은 제 2 이미지 획득 모듈(200)과 연결될 수 있다. 차선 인식 모듈(300)은 제 2 이미지 획득 모듈(200)로부터 제 2 차선 후보 객체가 포함된 제 2 이미지를 제공받을 수 있다. 차선 인식 모듈(300)은 제 2 이미지 획득 모듈(200)로부터 제공받은 제 2 차선 후보 객체가 포함된 제 2 이미지에 기반하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다. 즉, 차선 인식 모듈(300)은 제 2 이미지에 포함된 제 2 차선 후보 객체를 기 설정된 영상 처리 알고리즘을 통해 검증할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 종횡비(aspect ratio) 알고리즘, HOG(histogram of oriented gradient) 알고리즘 및 SVM(support vector machine) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지에서 차선 후보 객체를 검증할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
또한, 차선 인식 모듈(300)은 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식할 수 있다. 즉, 차선 인식 모듈(300)은 검증된 제 2 차선 후보 객체를 기 설정된 영상 처리 알고리즘을 통해 차선을 인식할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 Hough transform 알고리즘 및 RANSAC line fitting 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 검증된 차선 후보 객체에 기반하여 차선을 인식할 수 있는 알고리즘이라면 어떠한 알고리즘이라도 포함할 수 있다.
한편, 차선 인식 모듈(300)은 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다. 즉, 차선 인식 모듈(300)은 종횡비(aspect ratio)에 기반하여 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다.
또한, 차선 인식 모듈(300)은 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류할 수 있다. 즉, 차선 인식 모듈(300)은 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류할 수 있다.
또한, 차선 인식 모듈(300)은 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다.
또한, 차선 인식 모듈(300)은 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 최종 차선 후보 객체에 기반하여 차선을 인식할 수 있다. 즉, 차선 인식 모듈(300)은 최종 차선 후보 객체를 Hough transform 및 RANSAC line fitting을 통해 차선을 인식할 수 있다.
여기서, 제 2 이미지는 바이너리 이미지를 포함할 수 있다.
여기서, 블랍들은 바이너리 블랍들을 포함할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치는 제 1 이미지 획득 모듈을 통해 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하고, 제 2 이미지 획득 모듈을 통해 블랍(Blob)들의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하며, 차선 인식 모듈을 통해 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식함으로써, 블랍(Blob)들의 정보에 기반하여 노이즈 블랍을 제거함과 아울러 차선 후보 객체를 검증할 수 있어 차선 인식 정확도를 높일 수 있다.
도 2는 본 발명의 실시예들에 따른 제 1 이미지 획득 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 2를 참조하면, 본 발명의 실시예들에 따른 제 1 이미지 획득 모듈(100)은 이미지 입력부(110), 관심 영역 설정부(120), 탑뷰 이미지 획득부(130) 및 제 1 바이너리 이미지 획득부(140) 등을 포함하여 이루어질 수 있다.
이미지 입력부(110)는 도로 이미지를 입력받을 수 있다.
구체적으로, 이미지 입력부(110)는 이미지 획득 장치(미도시)와 연결될 수 있다. 이미지 입력부(110)는 이미지 획득 장치(미도시)로부터 도로 이미지를 제공받을 수 있다.
관심 영역 설정부(120)는 도로 이미지 중 관심 영역(region of interest, ROI)을 설정할 수 있다.
구체적으로, 관심 영역 설정부(120)는 이미지 입력부(110)와 연결될 수 있다. 관심 영역 설정부(120)는 이미지 입력부(110)로부터 도로 이미지를 제공받을 수 있다. 관심 영역 설정부(120)는 이미지 입력부(110)로부터 제공받은 도로 이미지에서 관심 영역(region of interest, ROI)을 설정할 수 있다.
즉, 관심 영역 설정부(120)는 기 설정된 영상 처리 알고리즘을 통해 이미지 입력부(110)로부터 제공받은 도로 이미지에서 관심 영역을 설정할 수 있다. 여기서, 기 설정된 영상 처리 알고리즘은 관심 영역(region of interest, ROI) 설정 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지에서 관심 영역을 설정할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다. 관심 영역 설정부(120)는 도로 이미지 중 설정된 관심 영역에 해당하는 이미지를 획득할 수 있다.
탑뷰 이미지 획득부(130)는 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다.
구체적으로, 탑뷰 이미지 획득부(130)는 관심 영역 설정부(120)와 연결될 수 있다. 탑뷰 이미지 획득부(130)는 관심 영역 설정부(120)로부터 관심 영역에 해당하는 이미지를 제공받을 수 있다.
또한, 탑뷰 이미지 획득부(130)는 관심 영역 설정부(120)로부터 제공받은 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다.
즉, 탑뷰 이미지 획득부(130)는 기 설정된 영상 처리 알고리즘을 통해, 관심 영역 설정부(120)로부터 제공받은 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 원근 효과(perspective effect) 제거 알고리즘, 탑뷰(top view) 이미지 획득 알고리즘 및 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 원근 효과를 제거할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
예컨대, 탑뷰 이미지 획득부(130)는 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM)을 통해, 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰 이미지를 획득할 수 있다.
제 1 바이너리 이미지 획득부(140)는 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
구체적으로, 제 1 바이너리 이미지 획득부(140)는 탑뷰 이미지 획득부(130)와 연결될 수 있다. 제 1 바이너리 이미지 획득부(140)는 탑뷰 이미지 획득부(130)로부터 탑뷰 이미지를 제공받을 수 있다.
또한, 제 1 바이너리 이미지 획득부(140)는 탑뷰 이미지 획득부(130)로부터 제공받은 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
즉, 제 1 바이너리 이미지 획득부(140)는 기 설정된 영상 처리 알고리즘을 통해 탑뷰 이미지 획득부(130)로부터 제공받은 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터 및 이진화(thresholding) 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지를 필터링하여 바이너리 이미지를 획득할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
예컨대, 제 1 바이너리 이미지 획득부(140)는 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터를 통해 상기 탑뷰 이미지를 필터링하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 획득할 수 있다.
또한, 제 1 바이너리 이미지 획득부(140)는 기 설정된 임계값(threshold)에 기반하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 이진화(thresholding)하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치는 원근 효과(perspective effect)가 제거된 탑뷰(top view) 이미지를 이용하여 차선을 인식함으로써, 차선 인식을 간단하게 수행할 수 있다.
도 3은 본 발명의 실시예들에 따른 제 2 이미지 획득 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 3을 참조하면, 본 발명의 실시예들에 따른 제 2 이미지 획득 모듈(200)은 제 1 블랍 필터링부(210), 제 2 블랍 필터링부(220) 및 제 2 바이너리 이미지 획득부(230) 등을 포함하여 이루어질 수 있다.
제 1 블랍 필터링부(210)는 블랍들의 정보 중 블랍들의 형태 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
구체적으로, 제 1 블랍 필터링부(210)는 제 1 이미지 획득 모듈(100)과 연결될 수 있다. 제 1 블랍 필터링부(210)는 제 1 이미지 획득 모듈(100)로부터 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 제 1 블랍 필터링부(210)는 블랍들의 정보 중 블랍들의 형태 정보에 기반하여 제 1 이미지 획득 모듈(100)로부터 제공받은 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 제 1 블랍 필터링부(210)는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지를 필터링하여 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 제거할 수 있다.
또한, 블랍들의 정보는 블랍들의 방향값 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
이에, 제 1 블랍 필터링부(210)는 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출하고, 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거할 수 있다.
제 2 이미지 획득 모듈(200)은 블랍들의 정보 중 블랍들의 분포 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
구체적으로, 제 2 블랍 필터링부(220)는 제 1 이미지 획득 모듈(100)과 연결될 수 있다. 제 2 블랍 필터링부(220)는 제 1 이미지 획득 모듈(100)로부터 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 제 2 블랍 필터링부(220)는 블랍들의 정보 중 블랍들의 분포 정보에 기반하여 제 1 이미지 획득 모듈(100)로부터 제공받은 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 분포 정보는 블랍들의 밀도 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 분포와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 분포와 유사하지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 제 2 이미지 획득 모듈(200)은 블랍들의 밀도 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지를 필터링하여 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 제거할 수 있다.
또한, 블랍들의 정보는 블랍들의 거리값 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
이에, 제 2 이미지 획득 모듈(200)은 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출하고, 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거할 수 있다.
계속해서 도 3을 참조하면, 본 발명의 실시예들에 따른 제 2 이미지 획득 모듈(200)은 블랍들의 정보 중 블랍들의 분포 정보에 기반하여, 제 1 블랍 필터링부(210)를 통해 필터링된 이미지에서 노이즈 블랍을 제거할 수 있다.
구체적으로, 제 2 블랍 필터링부(220)는 제 1 블랍 필터링부(210)와 연결될 수 있다. 제 2 블랍 필터링부(220)는 제 1 블랍 필터링부(210)로부터 필터링된 이미지를 제공받을 수 있다. 제 2 블랍 필터링부(220)는 블랍들의 정보 중 블랍들의 분포 정보에 기반하여, 제 1 블랍 필터링부(210)로부터 제공받은 필터링된 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 제 2 이미지 획득 모듈(200)은 블랍들의 밀도 정보에 기반하여 제 1 블랍 필터링부(210)로부터 제공받은 필터링된 이미지를 필터링하여 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 제거할 수 있다.
또한, 블랍들의 정보는 블랍들의 방향값 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
이에, 제 2 이미지 획득 모듈(200)은 제 1 블랍 필터링부(210)로부터 제공받은 필터링된 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출하고, 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거할 수 있다.
본 발명의 실시예들에 따른 제 1 블랍 필터링부(210)와 제 2 블랍 필터링부(220)는 제 1 이미지에서 노이즈 블랍을 제거하는 것으로 상술하였지만, 제 1 이미지는 바이너리 이미지를 포함할 수 있으므로, 제 1 바이너리 이미지에서 노이즈 바이너리 블랍을 제거하는 것은 동일한 방법을 통해 수행될 수 있다.
제 2 바이너리 이미지 획득부(230)는 제 1 블랍 필터링부(210) 및 제 2 블랍 필터링부(220) 중 적어도 하나와 연결될 수 있다.
제 2 바이너리 이미지 획득부(230)는 제 1 블랍 필터링부(210)를 통해 노이즈 블랍이 제거된 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 바이너리 이미지를 획득할 수 있다.
또한, 제 2 바이너리 이미지 획득부(230)는 제 2 블랍 필터링부(220)를 통해 노이즈 블랍이 제거된 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 바이너리 이미지를 획득할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치는 블랍의 방향값 정보 및 거리값 정보를 바탕으로 필터링하여 노이즈 블랍을 제거함으로써, 두 번의 블랍 필터링에 의해 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식 정확도를 높일 수 있다.
도 4는 본 발명의 실시예들에 따른 차선 인식 모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 4를 참조하면, 본 발명의 실시예들에 따른 차선 인식 모듈(300)은 차선 검증부(310) 및 차선 인식부(320) 등을 포함하여 이루어질 수 있다.
차선 검증부(310)는 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하고, 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하며, 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다.
구체적으로, 차선 검증부(310)는 제 2 이미지 획득 모듈(200)과 연결될 수 있다. 차선 인식 모듈(300)은 제 2 이미지 획득 모듈(200)로부터 제 2 차선 후보 객체가 포함된 제 2 이미지를 제공받을 수 있다. 차선 검증부(310)는 제 2 이미지 획득 모듈(200)로부터 제공받은 제 2 차선 후보 객체가 포함된 제 2 이미지에 기반하여, 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다.
예컨대, 차선 검증부(310)는 종횡비(aspect ratio)에 기반하여 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다.
또한, 차선 검증부(310)는 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류할 수 있다.
예컨대, 차선 검증부(310)는 상기 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류할 수 있다.
또한, 차선 검증부(310)는 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다.
차선 인식부(320)는 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 최종 차선 후보 객체에 기반하여 차선을 인식할 수 있다.
구체적으로, 차선 인식부(320)는 차선 검증부(310)와 연결될 수 있다. 차선 인식부(320)는 차선 검증부(310)를 통해 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 상기 선택된 최종 차선 후보 객체를 Hough transform 및 RANSAC line fitting을 통해 차선을 인식할 수 있다.
본 발명의 실시예들에 따른 차선 검증부(310)와 차선 인식부(320)는 제 2 이미지에서 차선 후보 객체를 검증하고, 이를 기반으로 차선을 인식하는 것으로 상술하였지만, 제 2 이미지는 바이너리 이미지를 포함할 수 있으므로, 제 2 바이너리 이미지에서 차선 후보 객체를 검증하고, 이를 기반으로 차선을 인식하는 것은 동일한 방법을 통해 수행될 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치는 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 네거티브(negative) 블랍에 해당하는 의심스러운(doubtful) 블랍을 제거함으로써, 학습 기반의 분류기에 의해 차선 후보가 검증될 수 있어 오 인식률 및 미스 레이트(miss rata)를 감소시켜 차선 인식 정확도를 높일 수 있을 뿐만 아니라 가시정도(visibility)가 낮거나 장애물에 부분적으로 가려진 차선 또한 정확하게 인식할 수 있다.
도 5는 본 발명의 실시예들에 따른 차선을 인식하는 흐름을 설명하기 위한 도면이다.
도 5를 참조하면, 먼저 도로 이미지는 차량에 위치하는 블랙 박스 카메라들에 의해 촬영되어 저장될 수 있다. 이에, 본 발명의 실시예들에 따른 차선 인식 장치는 블랙 박스로부터 도로 이미지를 제공받을 수 있다(S1)
이후, 도로 이미지에서 관심 영역(region of interest, ROI)을 설정할 수 있다(S2).
이후, IPM transform을 통해 도로 이미지의 관심 영역에서 원근 효과(perspective effect)를 제거하여 탑뷰 이미지를 획득할 수 있다(S3).
특히, IPM transform은 소실점 검출(vanishing point detection)(S4)을 이용하여 미리 추정된 카메라의 피치 각(pitch angle) 및 요 각(yaw angle)을 이용하여, 도로 이미지의 관심 영역에서 원근 효과(perspective effect)를 제거하여 탑뷰 이미지를 획득할 수 있다
여기서, 본 발명의 실시예들에 따른 차선 인식 장치는 도로 이미지의 관심 영역에서 원근 효과(perspective effect)를 제거함으로써, 차선 인식을 간단하게 수행할 수 있다.
이후, 차선 후보를 추출할 수 있다(S5).
구체적으로, 도로 이미지에서, 차선 부분은 차선 이외의 부분보다 상대적으로 밝을 수 있다. 차선의 이런한 특징에 의해, 본 발명의 실시예들에 따른 차선 인식 장치는 차선 후보를 추출하기 위해 변환된 IPM 이미지 상에 2D cLoG kernel을 적용할 수 있다.
여기서, 이미지의 라플라시안(Laplacian)은 급격하게 강도가 변화는(rapid intensity changes) 부분을 강조할 수 있다. 그러므로, IPM 이미지 안의 차선 객체 또는 차선과 유사한 객체의 픽셀들에 2D cLoG mask를 컨바블링(convolving)함으로써, 픽셀들의 밸류(value)는 마스크의 모양(shape of mask)에 따라 증폭될 수 있다,
그리고, 본 발명의 실시예들에 따른 차선 인식 장치는 바이너리 이미지를 얻기 위해 필터링된 이미지를 이진화(threshold)할 수 있다.
이후, 바이너리 블랍 필터링을 수행할 수 있다(S6)
단계 S5 에서, cLoG 필터를 사용함으로써, 버티컬 라인 세그먼트들(vertical line segments)을 추출할 수 있다. 그럼에도 불구하고, 도로 이미지 상에는 아직 차선과 유사한 객체들이 다양하게 존재할 수 있다.
여기서, 차선과 유사한 객체들은 도로 표지(road marks), 가이드레일(guardrails), 차량의 수직 구성 요소(vertical component from vehicles)등을 포함할 수 있다.
이에, 본 발명의 실시예들에 따른 차선 인식 장치는 차선과 유사한 객체들을 제거하기 위해, 두번의 바이너리 블랍 필터링을 수행할 수 있다.
도 6은 본 발명의 실시예들에 따른 바이너리 블랍을 설명하기 위한 도면이다.
도 6을 참조하면, 바이너리 이미지에서, 인접한 부분(contiguous region)은 연결된 요소(connected component) 또는 블랍(blob)이라 지칭될 수 있다.
모든 블랍은 블랍의 방향을 나타낼 수 있는 타원으로 표식될 수 있다. 여기서, 블랍의 방향은 타원의 x-axis 과 major axis 사이의 각일 수 있다. 그리고, 블랍의 중심은 major axis과 minor axis의 교차점일 수 있다.
계속해서 도 5 및 도 6을 참조하면, 먼저 본 발명의 실시예들에 따른 차선 인식 장치는 바이너리 블랍의 크기(size) 및 모양(shape)에 기초하여 바이너리 블랍 필터링을 수행할 수 있다. 이를 통해, 본 발명의 실시예들에 따른 차선 인식 장치는 노이즈 블랍 즉, 많이 경사진 블랍들 및 작은 블랍들을 제거할 수 있다.
특히, 본 발명의 실시예들에 따른 차선 인식 장치는 아래의 수학식 1을 통해 바이너리 블랍 필터링을 수행할 수 있다.
[수학식 1]
Figure 112018014820121-pat00001
여기서, Ort는 블랍 방향값의 절대값일 수 있고, Num은 블랍 안의 픽셀 개수일 수 있으며, T1 및 T2는 임계값(threshold value)일 수 있다.
이에, 본 발명의 실시예들에 따른 차선 인식 장치는 수학식 1을 만족하지 못하는 블랍들을 노이즈 블랍으로 인식하여 제거할 수 있다.
그러나, 수학식 1을 통해 노이즈 블랍들 즉, 많이 경사진 블랍들 및 작은 블랍들을 제거하더라도, 가이드레일에 의한 블랍들은 제거되지 않을 수 있다. 특히, 이러한 가이드레일에 의한 블랍들은 빽빽하게 밀집된(densely assembled) 블랍일 수 있다.
이에, 차선의 간격은 일반적으로 규정에 의해 약 3m일 수 있다. 이러한 차선의 특징을 통해, 본 발명의 실시예들에 따른 차선 인식 장치는 블랍의 중심 사이의 상호 유크리드 거리(mutual Euclidean distance)를 이용하여 차선 후보로부터 빽빽하게 밀집된(densely assembled) 블랍들을 제거할 수 있다.
[수학식 2]
Figure 112018014820121-pat00002
여기서, Mut_dist(bi, bj) 두 개의 블랍 bi와 bj 사이의 상호 유크리드 거리(mutual Euclidean distance)일 수 있으며, T3 임계값(threshold value)일 수 있다.
이에, 본 발명의 실시예들에 따른 차선 인식 장치는 수학식 2를 만족하지 못하는 블랍들을 노이즈 블랍으로 인식하여 제거할 수 있다.
그러나, 상술한 바이너리 블랍 필터링을 수행하더라도, 이미지 상에 아직 의심스러운(doubtful) 블랍들(일 예로, 모터사이클에 의한 블랍들)이 존재할 수 있다.
이에, 본 발명의 실시예들에 따른 차선 인식 장치는 종횡비(aspect ratio)에 기반하여 의심스러운(doubtful) 블랍을 판단할 수 있다(S7).
[수학식 3]
Figure 112018014820121-pat00003
여기서, where AR은 minor axis 및 major axis의 길이(length) 사이의 종횡비(aspect ratio)일 수 있으며, T4는 임계값(threshold value)일 수 있다.
이에, 본 발명의 실시예들에 따른 차선 인식 장치는 수학식 3를 만족하지 못하는 블랍들을 의심스러운(doubtful) 블랍으로 인식할 수 있다.
그리고, 의심스러운(doubtful) 블랍을 판단하기 위해, 본 발명의 실시예들에 따른 차선 인식 장치는 HOG(histogram of oriented gradient) 및 SVM(support vector machine) 을 이용한 분류기를 생성할 수 있다(S8).
여기서, HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 이용한 분류기는 미리 오프라인(offline)에서 포지티브(positive) 샘플 및 네거티브(negative) 샘플로 이루어진 데이터셋(dataset)을 이용하여 트레이닝(training)될 수 있다.
도 7은 본 발명의 실시예들에 따른 포지티브(positive) 샘플을 설명하기 위한 도면이다.
도 7을 참조하면, HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 이용한 분류기는 미리 오프라인(offline)에서 도면에 도시된 포지티브(positive) 샘플로 이루어진 데이터셋(dataset)을 이용하여 트레이닝(training)될 수 있다.
도 8은 본 발명의 실시예들에 따른 네거티브(negative) 샘플을 설명하기 위한 도면이다.
도 8을 참조하면, HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 이용한 분류기는 미리 오프라인(offline)에서 도면에 도시된 네거티브(negative) 샘플로 이루어진 데이터셋(dataset)을 이용하여 트레이닝(training)될 수 있다.
도 5, 도 7 및 도 8을 참조하면, 본 발명의 실시예들에 따른 차선 인식 장치는 의심스러운(doubtful) 블랍의 영역에 대하여 역원근 매핑(inverse perspective mapping, IPM)을 역으로 다시 하여, 도로 이미지에서 해당 부분에 대하여 학습된 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 이용한 분류기를 기반으로 정확한 차선 후보 여부를 판단할 수 있다(S9).
이를 통해, 본 발명의 실시예들에 따른 차선 인식 장치는 의심스러운(doubtful) 블랍이 포지티브(positive)면 보류할 수 있다. 그리고, 본 발명의 실시예들에 따른 차선 인식 장치는 의심스러운(doubtful) 블랍이 네거티브(negative)면 제거할 수 있다(S10).
계속해서 도 5를 참조하면, 본 발명의 실시예들에 따른 차선 인식 장치는 Hough transform을 통해 이미지에서 검증된 라인 세그먼트들(line segments)의 개수를 카운터할 수 있다(S11).
이후, 본 발명의 실시예들에 따른 차선 인식 장치는 RANSAC line fitting을 통해 라인들(lines)들을 맞출(fit)수 있다(S12).
이후, 본 발명의 실시예들에 따른 차선 인식 장치는 이를 기반으로 차선을 인식할 수 있다(S13).
도 9는 본 발명의 실시예들에 따른 차선 인식 장치를 통해 획득된 이미지를 설명하기 위한 도면이다.
도 9를 참조하면, 1-1 내지 1-5는 본 발명의 실시예들에 따른 차량의 블랙 박스를 통해 촬영된 도로 이미지이다. 2-1 내지 2-5는 본 발명의 실시예들에 따른 차선 인식 장치를 통해 도로 이미지가 필터링 및 블랍 분석을 거쳐 탑뷰 이미지에서 차선이 레이블링된 모습을 나타낸 이미지이다. 3-1 내지 3-5는 본 발명의 실시예들에 따른 차선 인식 장치를 통해 탑뷰 이미지에서 인식된 차선을 다시 도로 이미지에 레이블링된 모습을 나타낸 이미지이다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 차선 인식 방법에 대해 설명한다. 특히, 도 1 내지 도 9를 참조하여 상술한 본 발명의 실시예들에 따른 차선 인식 장치와 중복되는 부분은 설명의 간명성을 위하여 이하에서 생략한다.
본 발명의 실시예들에 따른 차선 인식 방법은 제 1 이미지 획득 모듈(100), 제 2 이미지 획득 모듈(200) 및 차선 인식 모듈(300)을 포함하는 본 발명의 실시예들에 따른 차선 인식 장치를 이용하여 수행될 수 있다.
도 10은 본 발명의 실시예들에 따른 차선 인식 방법을 설명하기 위한 전체 순서도이다.
도 10을 참조하면, 본 발명의 실시예들에 따른 차선 인식 방법은 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 단계(S100), 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 단계(S200) 및 차선을 인식하는 단계(S300) 등을 포함하여 이루어질 수 있다.
먼저, 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있다(S100).
단계 S100 이전, 먼저 이미지 획득 장치를 통해 도로를 촬영하여 도로 이미지를 획득할 수 있다. 그런 다음, 이미지 획득 장치로부터 도로 이미지를 제공받을 수 있다.
여기서, 이미지 획득 장치는 비전 센서, 카메라 및 블랙 박스(black box) 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 도로 이미지를 획득할 수 있다면 어떠한 장치(또는, 센서)라도 포함할 수 있다.
즉, 단계 S100에서는, 먼저 이미지 획득 장치(미도시)로부터 도로 이미지를 제공받을 수 있다. 그런 다음, 이미지 획득 장치(미도시)로부터 제공받은 도로 이미지에서 기 설정된 이미지 처리 알고리즘을 통해 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있다.
여기서, 기 설정된 이미지 처리 알고리즘은 관심 영역(region of interest, ROI) 설정 알고리즘, 원근 효과(perspective effect) 제거 알고리즘, 탑뷰(top view) 이미지 획득 알고리즘, 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM) 알고리즘, 필터링 알고리즘, 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터 알고리즘, 이진화(thresholding) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만 이에 한정되는 것은 아니고 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득할 수 있는 알고리즘이라면 어떠한 알고리즘이라도 포함할 수 있다.
여기서, 제 1 이미지는 바이너리 이미지를 포함할 수 있다.
여기서, 블랍들은 바이너리 블랍들을 포함할 수 있다.
이후, 블랍(Blob)들의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(S200).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 블랍(Blob)들의 정보에 기반하여 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다. 그런 다음, 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍이 제거된 이미지를 기반으로, 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다.
여기서, 블랍들의 정보는 블랍들의 형태 정보 및 블랍들의 분포 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
특히, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
그리고, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
특히, 블랍들의 분포 정보는 블랍들의 밀도 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 분포와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
그리고, 노이즈 블랍은 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 분포와 유사하지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
여기서, 블랍들의 정보는 블랍들의 방향값 정보 및 블랍들의 거리값 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍과 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 제 2 이미지는 바이너리 이미지를 포함할 수 있다.
여기서, 블랍들은 바이너리 블랍들을 포함할 수 있다.
이후, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식할 수 있다(S300).
구체적으로, 먼저 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체를 제공받을 수 있다. 그런 다음, 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다. 즉, 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체를 기 설정된 영상 처리 알고리즘을 통해 검증할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 종횡비(aspect ratio) 알고리즘, HOG(histogram of oriented gradient) 알고리즘 및 SVM(support vector machine) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지에서 차선 후보 객체를 검증할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
그런 다음, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식할 수 있다. 즉, 상기 검증된 제 2 차선 후보 객체를 기 설정된 영상 처리 알고리즘을 통해 차선을 인식할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 Hough transform 알고리즘 및 RANSAC line fitting 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 검증된 차선 후보 객체에 기반하여 차선을 인식할 수 있는 알고리즘이라면 어떠한 알고리즘이라도 포함할 수 있다.
도 11은 본 발명의 실시예들에 따른 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 11을 참조하면, 본 실시예들에 따른 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 방법은 도로 이미지를 입력받는 단계(S110), 관심 영역(region of interest, ROI)을 설정하는 단계(S120), 탑뷰(top view) 이미지를 획득하는 단계(S130) 및 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지(S140)를 획득하는 단계 등을 포함하여 이루어질 수 있다.
먼저, 도로 이미지를 입력받을 수 있다(S110). 즉, 단계 S110에서는 이미지 획득 장치로부터 도로 이미지를 제공받을 수 있다.
이후, 도로 이미지 중 관심 영역(region of interest, ROI)을 설정할 수 있다(S120).
구체적으로, 먼저 단계 S110을 통해 입력받은 도로 이미지에서 관심 영역(region of interest, ROI)을 설정할 수 있다. 즉, 기 설정된 영상 처리 알고리즘을 통해 단계 S110을 통해 입력받은 도로 이미지에서 관심 영역을 설정할 수 있다. 여기서, 기 설정된 영상 처리 알고리즘은 관심 영역(region of interest, ROI) 설정 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지에서 관심 영역을 설정할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다. 그런 다음, 도로 이미지 중 설정된 관심 영역에 해당하는 이미지를 획득할 수 있다.
이후, 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다(S130).
구체적으로, 단계 S120에서 획득된 관심 영역에 해당하는 이미지를 제공받을 수 있다. 그런 다음, 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다.
즉, 기 설정된 영상 처리 알고리즘을 통해, 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 원근 효과(perspective effect) 제거 알고리즘, 탑뷰(top view) 이미지 획득 알고리즘 및 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있지만, 이에 한정되는 것은 아니고 원근 효과를 제거할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
예컨대, 단계 S130에서는 소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM)을 통해, 단계 S120에서 획득된 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰 이미지를 획득할 수 있다.
이후, 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다(S140).
구체적으로, 먼저 단계 S130으로부터 탑뷰 이미지를 제공받을 수 있다. 그런 다음, 단계 S130으로부터 제공받은 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
즉, 기 설정된 영상 처리 알고리즘을 통해, 단계 S130으로부터 제공받은 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다.
여기서, 기 설정된 영상 처리 알고리즘은 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터 및 이진화(thresholding) 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 이미지를 필터링하여 바이너리 이미지를 획득할 수 있다면 어떠한 알고리즘이라도 포함할 수 있다.
도 12는 본 발명의 실시예들에 따른 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 12를 참조하면, 본 발명의 실시예들에 따른 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 방법은 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터를 통해 탑뷰 이미지를 필터링하는 단계(S141) 및 이진화(thresholding)하는 단계(S143) 등을 포함하여 이루어질 수 있다.
먼저, 라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터를 통해 탑뷰 이미지를 필터링하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 획득할 수 있다(S141).
이후, 기 설정된 임계값(threshold)에 기반하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 이진화(thresholding)하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득할 수 있다(S143).
도 13 내지 도 18은 본 발명의 실시예들에 따른 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 방법을 설명하기 위한 구체적인 순서도이다.
도 13을 참조하면, 먼저 블랍들의 정보 중 블랍들의 형태 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S211-1).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 블랍들의 정보 중 블랍들의 형태 정보에 기반하여, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 단계 S211-1에서는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지를 필터링하여 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(221-1).
도 14를 참조하면, 먼저 블랍들의 정보 중 블랍들의 분포 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S212-1).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 블랍들의 정보 중 블랍들의 분포 정보에 기반하여, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 분포 정보는 블랍들의 밀도 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 분포와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 분포와 유사하지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 단계 S212-1에서는 블랍들의 밀도 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지를 필터링하여 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(222-1).
도 15를 참조하면, 먼저 블랍들의 정보 중 블랍들의 형태 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S213-1).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 블랍들의 정보 중 블랍들의 형태 정보에 기반하여, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 형태 정보는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 형태와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 형태와 유사히지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 단계 S213-1에서는 블랍들의 크기(size) 정보 및 모양(shape) 정보 중 적어도 하나의 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지를 필터링하여 기 설정된 경사보다 경사진 블랍들 및 기 설정된 크기보다 작은 블랍들 중 적어도 하나의 블랍들을 제거할 수 있다.
이후, 블랍들의 정보 중 블랍들의 분포 정보에 기반하여, 블랍들의 형태 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S214-1).
구체적으로, 먼저 단계 S213-1에서 블랍들의 형태 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지를 제공받을 수 있다. 그런 다음, 블랍들의 정보 중 블랍들의 분포 정보에 기반하여, 단계 S213-1에서 블랍들의 형태 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다.
여기서, 블랍들의 분포 정보는 블랍들의 밀도 정보를 포함할 수 있지만, 이에 한정되는 것은 아니고 블랍의 분포와 관련된 정보라면 어떠한 정보라도 포함할 수 있다.
여기서, 노이즈 블랍은 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 포함할 수 있지만, 이에 한정되는 것은 아니고 차선의 분포와 유사하지 않는 블랍이라면 어떠한 블랍이라도 포함할 수 있다.
이에, 단계 S214-1에서는 블랍들의 밀도 정보에 기반하여, 단계 S213-1에서 블랍들의 형태 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지를 필터링하여 기 설정된 밀집 정도보다 빽빽하게 밀집된(densely assembled) 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(223-1).
도 16을 참조하면, 먼저 블랍들의 정보 중 블랍들의 방향값 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S211-2).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출할 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서, 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(221-2).
도 17을 참조하면, 먼저 블랍들의 정보 중 블랍들의 거리값 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S212-2).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출할 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서, 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(222-2).
도 18을 참조하면, 먼저 블랍들의 정보 중 블랍들의 방향값 정보에 기반하여 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S213-2).
구체적으로, 먼저 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지를 제공받을 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출할 수 있다. 그런 다음, 단계 S100에서 획득된 제 1 차선 후보 객체가 포함된 제 1 이미지에서, 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거할 수 있다.
이후, 블랍들의 정보 중 블랍들의 거리값 정보에 기반하여, 단계 S213-2에서 블랍들의 방향값 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지에서 노이즈 블랍을 제거할 수 있다(S214-2).
구체적으로, 먼저 단계 S213-2에서 블랍들의 방향값 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지를 제공받을 수 있다. 그런 다음, 단계 S213-2에서 블랍들의 방향값 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출할 수 있다. 그런 다음, 단계 S213-2에서 블랍들의 방향값 정보에 기반하여 노이즈 블랍이 제거된 제 1 이미지에서, 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거할 수 있다.
이후, 노이즈 블랍이 제거된 제 1 이미지를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득할 수 있다(223-2).
본 발명의 실시예들에 따른 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 방법은 제 1 이미지에서 노이즈 블랍을 제거하는 것으로 상술하였지만, 제 1 이미지는 바이너리 이미지를 포함할 수 있으므로, 제 1 바이너리 이미지에서 노이즈 바이너리 블랍을 제거하는 것은 동일한 방법을 통해 수행될 수 있다.
도 19는 본 발명의 실시예들에 따른 차선을 인식하는 방법을 설명하기 위한 구체적인 순서도이다.
도 19를 참조하면, 본 발명의 실시예들에 따른 차선을 인식하는 방법은 의심스러운(doubtful) 블랍인지 판단하는 단계(S310), 네거티브(negative) 블랍인지 판단하는 단계(S320), 블랍을 제거하는 단계(S330) 및 차선을 인식하는 단계(S340) 등을 포함하여 이루어질 수 있다.
먼저, 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다(S310).
구체적으로, 먼저 단계 S200에서 획득된 제 2 차선 후보 객체가 포함된 제 2 이미지를 제공받을 수 있다. 그런 다음, 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다.
판단 결과 - 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인 경우, 단계 S320이 수행될 수 있다.
판단 결과 - 단계 S200에서 획득된 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍이 아닌 경우 경우, 단계 S340이 수행될 수 있다.
특히, 단계 S310에서는 종횡비(aspect ratio)에 기반하여 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단할 수 있다.
이후, 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류할 수 있다(S320).
구체적으로, 단계 S310에서 획득된 의심스러운(doubtful) 블랍을 제공받을 수 있다. 그런 다음, 단계 S310에서 획득된 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 포지티브(positive) 블랍 및 네거티브(negative) 블랍으로 분류할 수 있다.
특히, 단계 S320에서는 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 포지티브(positive) 블랍 및 네거티브(negative) 블랍으로 분류할 수 있다.
분류 결과 - 의심스러운(doubtful) 블랍이 네거티브(negative) 블랍으로 분류된 경우, 단계 S330이 수행될 수 있다.
분류 결과 - 의심스러운(doubtful) 블랍이 포지티브(positive) 블랍으로 분류된 경우, 단계 S340이 수행될 수 있다.
이후, 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다(S330).
구체적으로, 단계 S320에서 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제공받을 수 있다. 그런 다음, 단계 S320에서 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증할 수 있다.
이후, 상기 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 상기 최종 차선 후보 객체에 기반하여 차선을 인식할 수 있다(S340).
구체적으로, 상기 검증된 제 2 차선 후보 객체 즉, 단계 S310에서 의심스러운(doubtful) 블랍이 아닌 블랍과, 단계 S320에서 포지티브(positive) 블랍으로 분류된 블랍을 최종 차선 후보 객체로 선택하고, 상기 최종 차선 후보 객체에 기반하여 차선을 인식할 수 있다.
특히, 단계 S340에서는 최종 차선 후보 객체를 Hough transform 및 RANSAC line fitting을 통해 차선을 인식할 수 있다.
본 발명의 실시예들에 따른 차선을 인식하는 방법은 제 2 이미지에서 차선 후보 객체를 검증하고, 이를 기반으로 차선을 인식하는 것으로 상술하였지만, 제 2 이미지는 바이너리 이미지를 포함할 수 있으므로, 제 2 바이너리 이미지에서 차선 후보 객체를 검증하고, 이를 기반으로 차선을 인식하는 것은 동일한 방법을 통해 수행될 수 있다.
도 20은 본 실시예들에 따른 차선 인식 장치의 컴퓨터 시스템에 대한 블록 구성도이다.
도 20을 참조하면, 이상 상술한 본 실시예들은, 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 도면에 도시된 바와 같이, 차선 인식 장치등의 컴퓨터 시스템(1000)은 하나 이상의 프로세서(1010), 메모리(1020), 저장부(1030), 사용자 인터페이스 입력부(1040) 및 사용자 인터페이스 출력부(1050) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(1060)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크에 접속하기 위한 네트워크 인터페이스(1070)를 또한 포함할 수 있다. 프로세서(1010)는 메모리(1020) 및/또는 저장소(1030)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(1020) 및 저장부(1030)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(1021) 및 RAM(1023)을 포함할 수 있다.
이에 따라, 본 발명의 실시 예들은 컴퓨터로 구현되는 방법 또는 컴퓨터 실행 가능 명령어들이 저장된 비휘발성 컴퓨터 기록 매체로 구현될 수 있다. 상기 명령어들은 프로세서에 의해 실행될 때 본 발명의 적어도 일 실시 예에 따른 방법을 수행할 수 있다.
전술한 본 발명의 실시예들에 따른 차선 인식 장치 및 방법에 대한 실시예들에 대하여 설명하였지만, 본 발명의 실시예들은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 실시예들에 속한다.
100: 제 1 이미지 획득 모듈 110: 이미지 입력부
120: 관심 영역 설정부 130: 탑뷰 이미지 획득부
140: 제 1 바이너리 이미지 획득부 200: 제 2 이미지 획득 모듈
210: 제 1 블랍 필터링부 220: 제 2 블랍 필터링부
230: 제 2 바이너리 이미지 획득부 300: 차선 인식 모듈
310: 차선 검증부 320: 차선 인식부

Claims (15)

  1. 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 제 1 이미지 획득 모듈;
    블랍(Blob)들의 정보에 기반하여 상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 제 2 이미지 획득 모듈; 및
    상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식하는 차선 인식 모듈을 포함하되,
    상기 제 2 이미지 획득 모듈은,
    상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출하고, 상기 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거하는 제 1 블랍 필터링부; 및
    상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출하고, 상기 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거하는 제 2 블랍 필터링부를 포함하는 차선 인식 장치.
  2. 제 1 항에 있어서,
    상기 제 1 이미지 획득 모듈은,
    상기 도로 이미지를 입력받는 이미지 입력부;
    상기 도로 이미지 중 관심 영역(region of interest, ROI)을 설정하는 관심 영역 설정부;
    상기 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득하는 탑뷰 이미지 획득부; 및
    상기 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 제 1 바이너리 이미지 획득부를 포함하는 차선 인식 장치.
  3. 제 2 항에 있어서,
    상기 탑뷰 이미지 획득부는,
    소실점 검출(vanishing point detection)에 기초한 역원근 매핑(inverse perspective mapping, IPM)을 통해, 상기 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 상기 탑뷰 이미지를 획득하는 차선 인식 장치.
  4. 제 2 항에 있어서,
    상기 제 1 바이너리 이미지 획득부는,
    라플라시안 오브 가우시안(Laplacian of Gaussian, LoG) 필터를 통해 상기 탑뷰 이미지를 필터링하여 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 획득하고, 기 설정된 임계값(threshold)에 기반하여 상기 버티컬 라인 세그먼트들(vertical line segments)이 포함된 이미지를 이진화(thresholding)하여 상기 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 차선 인식 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 차선 인식 모듈은,
    상기 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하고, 상기 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하며, 상기 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하는 차선 검증부; 및
    상기 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 상기 최종 차선 후보 객체에 기반하여 차선을 인식하는 차선 인식부를 포함하는 차선 인식 장치.
  7. 제 6 항에 있어서,
    상기 차선 검증부는,
    종횡비(aspect ratio)에 기반하여 상기 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하는 차선 인식 장치.
  8. 제 6 항에 있어서,
    상기 차선 검증부는,
    상기 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하는 차선 인식 장치.
  9. 제 6 항에 있어서,
    상기 차선 인식부는,
    상기 최종 차선 후보 객체를 Hough transform 및 RANSAC line fitting을 통해 차선을 감지하는 차선 인식 장치.
  10. 도로 이미지에서 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 단계;
    블랍(Blob)들의 정보에 기반하여 상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 노이즈 블랍을 제거하고, 이를 기반으로 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 단계; 및
    상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하고, 상기 검증된 제 2 차선 후보 객체에 기반하여 차선을 인식하는 단계를 포함하되,
    상기 제 2 차선 후보 객체가 포함된 제 2 이미지를 획득하는 단계는,
    상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 방향값을 산출하고, 상기 블랍들의 방향값에 해당하는 절대값이 기 설정된 방향 임계값보다 작은 블랍들을 제거하는 단계; 및
    상기 제 1 차선 후보 객체가 포함된 제 1 이미지에서 블랍들의 상호 유크리드 거리(mutual Euclidean distance)값을 산출하고, 상기 블랍들의 상호 유크리드 거리값이 기 설정된 거리 임계값보다 작은 블랍들을 제거하는 단계를 포함하는 차선 인식 방법.
  11. 제 10 항에 있어서,
    상기 제 1 차선 후보 객체가 포함된 제 1 이미지를 획득하는 단계는,
    상기 도로 이미지를 입력받는 단계;
    상기 도로 이미지 중 관심 영역(region of interest, ROI)을 설정하는 단계;
    상기 관심 영역에 해당하는 이미지에서 원근 효과(perspective effect)를 제거하여 탑뷰(top view) 이미지를 획득하는 단계; 및
    상기 탑뷰 이미지를 필터링하여 제 1 차선 후보 객체가 포함된 제 1 바이너리 이미지를 획득하는 단계를 포함하는 차선 인식 방법.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 차선을 인식하는 단계는,
    상기 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하는 단계;
    상기 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하는 단계;
    상기 네거티브 블랍으로 분류된 의심스러운(doubtful) 블랍을 제거하여, 상기 제 2 이미지에 포함된 제 2 차선 후보 객체를 검증하는 단계; 및
    상기 검증된 제 2 차선 후보 객체를 최종 차선 후보 객체로 선택하고, 상기 최종 차선 후보 객체에 기반하여 차선을 인식하는 단계를 포함하는 차선 인식 방법.
  14. 제 13 항에 있어서,
    상기 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하는 단계는,
    종횡비(aspect ratio)에 기반하여 상기 제 2 이미지에 포함된 제 2 차선 후보 객체가 의심스러운(doubtful) 블랍인지 판단하는 단계를 포함하는 차선 인식 방법.
  15. 제 13 항에 있어서,
    상기 의심스러운(doubtful) 블랍을 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하는 단계는,
    상기 의심스러운(doubtful) 블랍을 HOG(histogram of oriented gradient) 및 SVM(support vector machine)을 통해 미리 학습되어 기 저장된 포지티브(positive) 블랍 및 네거티브(negative) 블랍과 비교하여 분류하는 단계를 포함하는 차선 인식 방법.
KR1020180016660A 2018-02-12 2018-02-12 차선 인식 장치 및 방법 KR102045026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180016660A KR102045026B1 (ko) 2018-02-12 2018-02-12 차선 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180016660A KR102045026B1 (ko) 2018-02-12 2018-02-12 차선 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190103503A KR20190103503A (ko) 2019-09-05
KR102045026B1 true KR102045026B1 (ko) 2019-11-14

Family

ID=67949677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180016660A KR102045026B1 (ko) 2018-02-12 2018-02-12 차선 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102045026B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541475B (zh) 2020-12-24 2024-01-19 北京百度网讯科技有限公司 感知数据检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템
KR101773822B1 (ko) * 2014-01-20 2017-09-04 한국전자통신연구원 영상 기반의 차선 인식 장치
KR101847175B1 (ko) * 2015-03-04 2018-04-09 재단법인대구경북과학기술원 객체 인식방법 및 이를 이용한 객체 인식장치

Also Published As

Publication number Publication date
KR20190103503A (ko) 2019-09-05

Similar Documents

Publication Publication Date Title
US10025998B1 (en) Object detection using candidate object alignment
US10311319B2 (en) System and method for recognizing vehicle license plate information
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9842266B2 (en) Method for detecting driver cell phone usage from side-view images
Kosaka et al. Vision-based nighttime vehicle detection using CenSurE and SVM
US9514366B2 (en) Vehicle detection method and system including irrelevant window elimination and/or window score degradation
KR101281260B1 (ko) 차량 인식 방법 및 장치
US9626599B2 (en) Reconfigurable clear path detection system
Farag et al. Road lane-lines detection in real-time for advanced driving assistance systems
US20180046867A1 (en) Lane Departure Warning System And Associated Methods
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
CN109284664B (zh) 驾驶员辅助系统和护栏检测方法
JP2008130086A (ja) 分類境界確定方法及び分類境界確定装置
KR101727487B1 (ko) 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법
KR102069843B1 (ko) 차량 추적 장치 및 방법
WO2016059643A1 (en) System and method for pedestrian detection
Farag Real-time detection of road lane-lines for autonomous driving
CN111027535A (zh) 一种车牌识别方法及相关设备
Suddamalla et al. A novel algorithm of lane detection addressing varied scenarios of curved and dashed lanemarks
WO2019085929A1 (zh) 图像处理方法及其装置、安全驾驶方法
CN110991264A (zh) 前方车辆检测方法和装置
Scharwächter et al. Visual guard rail detection for advanced highway assistance systems
KR101236223B1 (ko) 차선 검출 방법
WO2019149213A1 (zh) 基于影像识别路锥的方法、装置、存储介质以及车辆
Yilmaz A smart hybrid license plate recognition system based on image processing using neural network and image correlation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right