KR101951683B1 - 자율주행 자동차를 위한 차선 인식 시스템 및 방법 - Google Patents

자율주행 자동차를 위한 차선 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101951683B1
KR101951683B1 KR1020170114942A KR20170114942A KR101951683B1 KR 101951683 B1 KR101951683 B1 KR 101951683B1 KR 1020170114942 A KR1020170114942 A KR 1020170114942A KR 20170114942 A KR20170114942 A KR 20170114942A KR 101951683 B1 KR101951683 B1 KR 101951683B1
Authority
KR
South Korea
Prior art keywords
lane
lanes
image
module
recognized
Prior art date
Application number
KR1020170114942A
Other languages
English (en)
Inventor
최경주
유진영
김주현
안철현
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020170114942A priority Critical patent/KR101951683B1/ko
Application granted granted Critical
Publication of KR101951683B1 publication Critical patent/KR101951683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 수신한 영상에서 차선들을 인식하는 차선인식모듈, 인식한 상기 차선들을 진행차로 및 이외의 차로로 분류하는 차선분류모듈 및 인식한 상기 차선들의 수를 이용하여 차로의 수를 결정하는 차로 수 결정모듈을 포함한다.

Description

자율주행 자동차를 위한 차선 인식 시스템 및 방법{SYSTEM AND METHOD FOR LANE DETCET FOR SELF-DRIVING CAR}
본 발명은 자율주행 자동차를 위한 차선 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 입력된 영상에서 차선들을 인식하고, 인식한 상기 차선들을 분류하여 차로의 수를 결정하는 자율주행 자동차를 위한 차선 인식 시스템 및 방법에 관한 것이다.
최근에는 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 지능형 차량이 개발되고 있다.
이러한 지능형 차량의 주요 과제는 주행차선의 유지, 인접차량과의 안전거리 확보와 근접 장애물의 검출과 충돌회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 있다.
더욱이, 정보통신 기술의 진전에 따라 차선이탈 경고 시스템(LDWS : Lane Departure Warning System)이나 차선 유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 지능형 차량의 실용화가 더욱 급속하게 진행되고 있다. 특히, 주행차선의 검출은 지능형 차량에서의 주요 과제를 해결하는 핵심기술의 하나로서, 많은 연구가 활발히 진행되고 있다.
이와 같은 주행차선의 검출은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용하여 정확한 주행차선을 검출하고 있다. 예로서, 이미지 센서, 레이더(RADAR) 또는 라이다(LIDAR) 센서 등 다양한 센서들이, 차선의 검출이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량제어 시스템 구현에 사용되고 있다.
특히, 이미지 센서에 의한 영상 기반 시스템은 저렴한 비용으로 많은 정보의 추출이 가능하고, 기존의 다양한 영상 처리 알고리즘을 활용할 수 있는 장점으로 인해 널리 활용되어 왔다.
그러나, 종래 기술은 현재 차선 이외의 다른 차선의 검출에 어려움이 있는 문제가 있다.
대한민국 공개특허공보 제10-2008-0008527호(2008.01.24.공개)
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 입력된 영상에서 차선들을 인식하고, 인식한 상기 차선들을 분류하여 차로의 수를 결정할 수 있는 자율주행 자동차를 위한 차선 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 다른 목적은 진행차로 이외의 차선을 인식할 수 있는 자율주행 자동차를 위한 차선 인식 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 수신한 영상에서 차선들을 인식하는 차선인식모듈, 인식한 상기 차선들을 진행차로 및 이외의 차로로 분류하는 차선분류모듈 및 인식한 상기 차선들의 수를 이용하여 차로의 수를 결정하는 차로 수 결정모듈을 포함한다.
또한, 상기 차선인식모듈은, 수신한 상기 영상에 전처리를 수행하는 전처리모듈, 상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정하는 좌우영역설정모듈, 설정된 상기 좌우 영역에서 각각 직선들을 검출하는 직선검출모듈, 검출된 상기 직선들의 교점을 구하여 소실점을 검출하는 소실점검출모듈 및 검출된 상기 직선들 및 상기 소실점을 이용하여 차선들을 결정하는 차선결정모듈을 포함할 수 있다.
또한, 상기 전처리모듈이 수행하는 상기 전처리는 그레이스케일 변환, 적응형 이진화, 모폴로지 단힘 연산 또는 미디안 블러 연산 중 적어도 하나에 해당할 수 있다.
또한, 상기 직선검출모듈은 외곽선 검출, 허프변환 또는 적응형 허프변환 중 적어도 하나의 방법을 이용하여 직선을 검출할 수 있다.
본 발명의 다른 측면에 의하면, 차선 인식 시스템이 영상을 입력 받는 단계, 차선 인식 시스템이 수신한 상기 영상에 전처리를 수행하는 단계, 차선 인식 시스템이 상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정하는 단계, 차선 인식 시스템이 설정된 상기 좌우 영역에서 각각 직선들을 검출하는 단계, 차선 인식 시스템이 검출된 상기 직선들의 교점을 구하여 소실점을 검출하는 단계, 차선 인식 시스템이 검출된 상기 직선들 및 상기 소실점을 이용하여 차선들을 결정하는 단계, 차선 인식 시스템이 인식한 상기 차선들을 진행 차로 및 이외의 차로로 분류하는 단계 및 차선 인식 시스템 인식한 상기 차선들의 수를 이용하여 차로들의 수를 결정하는 단계를 포함한다.
본 발명의 자율주행 자동차를 위한 차선 인식 시스템 및 방법에 의하면, 입력된 영상에서 차선들을 인식하고, 인식한 상기 차선들을 분류하여 차로의 수를 결정할 수 있는있는 효과가 있다.
또한, 진행차로 이외의 차선을 인식할 수 있는 효과가 있다.
또한, 차선 변경에 도움을 줄 수 있는 효과가 있다.
또한, 진행차로에 존재하는 장애물을 인식할 수 있는 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 시스템을 나타내는 도면이다.
도 2는 차선인식모듈의 구성을 나타내는 도면이다.
도 3은 차로 수 결정모듈이 차로 수를 결정하는 방법을 설명하기 위한 모식도이다.
도 4는 차량의 전방 우측에 설치된 영상입력모듈을 이용하여 차선을 검출한 모습을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 방법을 개략적으로 나타내는 플로우 차트이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 시스템은 영상획득모듈(100), 차선인식모듈(200), 차선분류모듈(300), 차로 수 결정모듈(400) 및 영상출력모듈(500)을 포함한다.
영상획득모듈(100)은 차량 전면을 촬영하여 영상을 획득하여 출력한다.
영상획득모듈(100)은 차량 전방 중앙을 촬영하여 영상을 획득하는 것이 바람직하나, 이에 한정되는 것은 아니다.
영상획득모듈(100)은 블랙박스인 것이 바람직하나 이에 한정되는 것은 아니다.
차선인식모듈(200)은 수신한 상기 영상에서 차선들을 인식한다.
차선분류모듈(300)은 인식한 상기 차선들을 진행차로 및 이외의 차로로 분류한다.
차선분류모듈(300)은 인식한 상기 진행차로 또는 상기 진행차로 이외의 차로에 존재하는 장애물을 인식하고, 인식한 장애물을 후술하는 영상출력모듈(500)을 통하여 출력할 수 있다.
차선분류모듈(300)은 상기 장애물 영상과 함께 소리 또는 진동 등을 출력하여 운전자가 상기 진행차로 또는 상기 진행차로 이외의 차로에 존재하는 장애물을 인식하게 할 수 있다.
차선분류모듈(300)은 상기 진행차로 이외의 차로에 존재하는 차량들의 존재를 인식하여 운전자의 차선 변경 시 상기 진행차로 이외의 차로에 존재하는 차량들의 영상을 출력하여 운전자가 상기 차랑들을 인식하게 할 수 있다.
차로 수 결정모듈(400)은 인식한 상기 차선들의 수를 이용하여 차로의 수를 결정한다.
영상출력모듈(500)은 차로 수 결정모듈(400)이 결정한 차로의 수를 출력한다.
영상출력모듈(500)은 상기 진행차로 또는 상기 진행차로 이외의 차로에 존재하는 장애물 영상, 소리 또는 진동을 출력할 수 있다.
영상출력모듈(500)은 상기 진행차로 이외의 차로에 존재하는 차량들의 영상을 출력할 수 있다.
도 1에서, 차선인식모듈(200), 차선분류모듈(300), 차로 수 결정모듈(400) 및 영상출력모듈(500)은 각각의 모듈로 표현되어 있지만, 차선인식모듈(200), 차선분류모듈(300), 차로 수 결정모듈(400) 및 영상출력모듈(500)은 하나의 장치로 구현될 수 있다.
이때, 상기 장치는 노트북 컴퓨터인 것이 바람직하나, 수신한 영상을 처리할 수 있는 PC(Personal Computer), 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, PDA(Personal Digital Assistants), 스마트 TV(Smart TV), PMP(Portable Multimedia Player) 및 디지털방송 수신기 등이 상기 장치가 될 수 있다.
또한, 차선인식모듈(200), 차선분류모듈(300) 및 차로 수 결정모듈(400)은 서버에서 구현될 수 있다.
여기서 사용된 '서버'라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 2는 차선인식모듈의 구성을 나타내는 도면이다.
도 2를 참조하면, 차선인식모듈(200)은 제어모듈(210), 전처리모듈(220), 좌우영역설정모듈(230), 직선검출모듈(240), 소실점검출모듈(250), 차선결정모듈(260), 통신모듈(270) 및 데이터베이스(280)를 포함한다.
제어모듈(210)은 차선인식모듈(200)에 대한 정보나 차선인식모듈(200)의 동작을 관리한다.
전처리모듈(220)은 차선인식모듈(200)이 수신한 상기 영상에 전처리를 수행한다.
전처리모듈(220)이 수행하는 상기 전처리는 그레이스케일 변환, 적응형 이진화, 모폴로지 단힘 연산 또는 미디안 블러 연산 중 적어도 하나에 해당할 수 있다.
여기서, 그레이스케일 변환은 이진화에 사용되는 명암도 영상으로 변환하는 것을 말한다.
또한, 영상에서의 이진화란 어떤 경계값(임계값)을 기준으로 낮은값을 가지는 픽셀은 0으로 높은값을 가지는 픽셀은 255으로 만드는 과정을 말하고, 적응형 이진화는 adaptive threshold로 각 영상의 지역적 특성에 따라 적응하여 이진화를 수행하는 것을 말하며, 다른 종류의 이진화를 이용하여 전처리를 수행할 수 있다. 이때, 이진화를 수행하는 이유는 영상에서 물체의 특징을 추출(예컨대, 직선 검출)하기 위함이다.
또한, 모폴로지 단힘 연산은 팽창연산 다음에 닫힘연산을 수행하는 것으로, 이진화한 상기 영상에서 상기 차선은 픽셀 255, 즉 흰색으로 나타나는데, 상기 차선 중간 중간 검은색(픽셀값 0)인 부분을 채워줌으로써, 노이즈를 제거, 상기 차선과 아닌 부분을 뚜렷하게 구분짓기 위함이다.
또한, 미디안 블러 연산은 미디안 필터는 각 픽셀값을 이웃하는 픽셀들의 미디안 값으로 대체하여 영상을 부드럽게 하거나 노이즈를 제거하는 연산을 말한다.
좌우영역설정모듈(230)은 상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정한다.
좌우영역설정모듈(230)이 상기 영상을 좌우로 나누는 이유는 후술하는 직선검출모듈(240)에서 차선 정보를 저장할 때, 좌측 영역의 현재차로의 왼쪽 차선을 기준으로 삼아 나머지 차선을 표시하여 각각의 차선들을 구분하기 위함이다.
직선검출모듈(240)은 설정된 상기 좌우 영역에서 각각 직선을 검출한다.
직선검출모듈(240)은 외곽선 검출, 허프변환 또는 적응형 허프변환 중 적어도 하나의 방법을 이용하여 직선을 검출할 수 있다.
여기서, 외곽선 검출은 영상에 특징적으로 나타나는 물체의 경계를 검출하는 것이다.
또한, 허프변환은 영상에서 직선을 구할 때 사용되며, 상기 직선은 xcosθ + ysinθ = r 과 같은 식으로 표현될 수 있다
또한, 적응형 허프변환은 일반적인 허프변환 대신 사용할수 있는 것으로 직선을 구할 수 있다는 점은 허프변환과 같지만, 구하는 직선의 최소길이와, 직선간의 최대 간격을 고려하여 직선을 구할 수 있다는 점에서 양자는 상이하다.
소실점검출모듈(250)은 검출된 상기 직선의 교점을 구하여 소실점을 검출한다.
소실점검출모듈(250)은 소실점을 검출하여 검출한 상기 소실점을 지나며, 상기 영상을 세로로 이분하는 또 하나의 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 재 설정할 수도 있다.
삭제
삭제
차선결정모듈(260)은 검출된 상기 직선 및 상기 소실점을 이용하여 차선들을 결정한다.
통신모듈(270)은 무선랜(Wireless Local Area Network; WLAN), 블루투스(Bluetooth), RFID(Radio-frequency Identification), IrDA(Infrared Data Association), 지그비(ZigBee), 인터넷, Wibro(Wireless Broadband)망, Wimax(World Interoperability for Microwave Access)망, CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution) 등을 포함하는 이동통신망 또는 이들의 결합으로 이루어진 통신망을 통하여 영상획득모듈(100)이 출력한 영상을 수신할 수 있다.
통신모듈(270)은 차선인식모듈(200)이 인식한 상기 차선들을 후술하는 차선분류모듈(300), 차로 수 결정모듈(400) 또는 영상출력모듈(500)로 전송할 수 있다.
데이터베이스(280)는 통신모듈(270)이 수신한 상기 영상을 저장한다.
데이터베이스(280)는 차선인식모듈(200)이 인식한 상기 차선들을 저장한다.
데이터베이스(280)는 전처리모듈(220) 또는 직선검출모듈(240)이 상기 영상을 처리한 결과를 저장한다.
데이터베이스(280)는 좌우영역설정모듈(230)이 설정한 좌우 영역을 저장한다.
데이터베이스(280)는 소실점검출모듈(250)이 검출한 소실점을 저장한다.
데이터베이스(280)는 차선결정모듈(260)이 결정한 상기 차선들을 저장한다.
도 3은 차로 수 결정모듈이 차로 수를 결정하는 방법을 설명하기 위한 모식도이다.
도 3을 참조하면, 차로 수 결정모듈(400)은 영상에 차선인식모듈(200)이 인식한 차선을 표시하고, 상기 영상을 (x,y) 좌표로 나타낼 수 있다. 여기서, 가로축이 x축이며, 세로축이 y축이고, x축은 기존 좌표평면과 같이 우측으로 갈수록 x좌표의 값이 커지는 형태이지만 y축은 아래쪽으로 갈수록 y좌표 값이 커지는 형태로, 도 3에서 보는 것과 같이 왼쪽 위 모서리가 원점좌표가 된다.
차로 수 결정모듈(400)은 다차선 도로인 경우 한 영역에 여러 개의 차선의 인식되어 있어 이를 구분하는 기준으로, 저장된 차선의 정보 중 영상의 모서리부분과 만나는 끝점의 y좌표 값을 이용한다.
도 3의 좌측 영역에서 인식된 a, b, c 차선의 끝점 좌표가 각각 (ax,ay), (bx,by), (cx,cy)일 때 0< ay < by < cy 이다. 이때, 끝점의 y좌표가 가장 큰 cy를 현재 차로 차선이라 할 수 있으며, 좌측 영역에서 인식하였으므로 현재 차로의 왼쪽 차선이라 할 수 있다. 그리고 끝점의 y좌표가 두 번째로 큰 by를 옆 차로의 차선이라 할수 있으며 좌측 영역이므로 왼쪽차로의 왼쪽차선이라 할 수 있다.
차로 수 결정모듈(400)은 동일한 방법으로 도 3의 우측 영역에서 차선을 구별하여 저장한다.
차로 수 결정모듈(400)은 현재 차로를 0이라고 하고, 이를 기준으로하여 상기 c는 현재 차로의 왼쪽 차선이므로 0L, b는 1L, c는 2L 과 같은 방식으로 도 3에 표시된 상기 좌측 영역의 차선을 저장할 수 있다.
차로 수 결정모듈(400)은 우측 영역도 0R, 1R, 2R 과 같은 방식으로 도 3에 표시된 상기 우측 영역의 차선을 저장할 수 있다.
차로 수 결정모듈(400)은 좌우 영역 모두에서 차선을 저장하고, 저장한 상기 차선의 개수를 통합하여 도로의 차로 수를 결정할 수 있다.
차로 수 결정모듈(400)이 n개의 차선을 인식한 경우, 차로는 n-1개 이다. 도 3에서는 차로 수 결정모듈(400)이 6개의 차선을 인식하였으므로 차로 수 결정모듈(400)은 차로 수는 5개라고 결정할 수 있다.
도 4는 차량의 전방 우측에 설치된 영상입력모듈을 이용하여 차선을 검출한 모습을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 자율주행 자동차를 위한 차선 인식 시스템은 차량의 전면 우측에 설치된 영상획득모듈이 획득한 영상에서도 차선들을 인식하고, 인식한 상기 차선들을 분류하고, 분류한 상기 차선들의 차로 수를 결정하여 영상으로 출력할 수 있다는 것을 알 수 있다.
여기서 사용된 '모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 5는 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 방법을 개략적으로 나타내는 플로우 차트이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 자율주행 자동차를 위한 차선 인식 방법은 차선 인식 시스템이 영상을 입력 받는다(S100).
이때, 상기 영상은 블랙박스 영상 일 수 있다.
차선 인식 시스템이 수신한 상기 영상에 전처리를 수행한다(S110).
여기서, 상기 전처리는 그레이스케일 변환, 적응형 이진화, 모폴로지 단힘 연산 또는 미디안 블러 연산 중 적어도 하나에 해당할 수 있다.
차선 인식 시스템이 상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정한다(S120).
이때, 가상의 수직선은 상기 영상에서 검출된 직선들의 교점인 소실점을 포함할 수 있다.
차선 인식 시스템이 설정된 상기 좌우 영역에서 각각 직선들을 검출한다(S130).
이때, 차선 인식 시스템은 상기 직선들을 검출하기 위하여 외곽선 검출, 허프변환 또는 적응형 허프변환 중 적어도 하나의 방법을 이용할 수 있다.
차선 인식 시스템이 검출된 상기 직선들의 교점을 구하여 소실점을 검출한다(S140).
차선 인식 시스템이 검출된 상기 직선들 및 상기 소실점을 이용하여 차선들을 결정한다(S150).
이때, 차선 인식 시스템은 좌우 영역에서 각각 차선들을 결정할 수 있다.
차선 인식 시스템이 인식한 상기 차선들을 진행 차로 및 이외의 차로로 분류한다(S160).
차선 인식 시스템이 인식한 상기 차선들의 수를 이용하여 차로들의 수를 결정한다(S170).
차선 인식 시스템이 상기 차로들을 출력한다(S180).
이때, 차선 인식 시스템은 상기 진행차로 또는 상기 진행차로 이외의 차로에 존재하는 장애물 영상, 소리 또는 진동을 출력할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.
이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100....영상획득모듈 200....차선인식모듈
300....차선분류모듈 400....차로 수 결정모듈
500....영상출력모듈

Claims (5)

  1. 수신한 영상에서 차선들을 인식하는 차선인식모듈; 인식한 상기 차선들을 진행차로 및 이외의 차로로 분류하는 차선분류모듈; 및 인식한 상기 차선들의 수를 이용하여 차로의 수를 결정하는 차로 수 결정모듈을 포함하는 자율주행 자동차를 위한 차선 인식 시스템으로서,
    상기 차로 수 결정모듈은,
    영상에 차선인식모듈이 인식한 차선을 표시하고, 상기 영상을 (x,y) 좌표로 나타내는데, 가로축을 x축으로 하고 세로축을 y축하며, x축은 기존 좌표평면과 같이 우측으로 갈수록 x좌표의 값이 커지는 형태이지만 y축은 아래쪽으로 갈수록 y좌표 값이 커지는 형태로 좌표를 나타내며,
    다차선 도로인 경우 한 영역에 여러 개의 차선의 인식되어 있어 이를 구분하는 기준으로, 저장된 차선의 정보 중 영상의 모서리부분과 만나는 끝점의 y좌표 값을 이용하며,
    영상의 좌측 영역에서 인식된 n개 차선의 끝점 좌표가 각각 (1x,1y), (2x,2y),(3x,3y)일 때 0< 3y < 2y < 1y 일 때, 끝점의 y좌표가 가장 큰 3y를 현재 차로 차선이라 하고, 좌측 영역에서 인식하였으므로 현재 차로의 왼쪽 차선이라 하며, 끝점의 y좌표가 두 번째로 큰 2y를 옆 차로의 차선이라 하며,
    동일한 방법으로 영상의 우측 영역에서 차선을 구별하여 저장하며,
    좌우 영역 모두에서 차선을 저장하고, 저장한 상기 차선의 개수를 통합하여 도로의 차로 수를 결정하는데, 상기 차로 수 결정모듈이 n개의 차선을 인식한 경우, 차로는 n-1개로 결정하는 것을 특징으로 하는 자율주행 자동차를 위한 차선 인식 시스템.
  2. 제1항에 있어서,
    상기 차선인식모듈은,
    수신한 상기 영상에 전처리를 수행하는 전처리모듈;
    상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정하는 좌우영역설정모듈;
    설정된 상기 좌우 영역에서 각각 직선들을 검출하는 직선검출모듈;
    검출된 상기 직선들의 교점을 구하여 소실점을 검출하는 소실점검출모듈; 및
    검출된 상기 직선들 및 상기 소실점을 이용하여 차선들을 결정하는 차선결정모듈
    을 포함하는 자율주행 자동차를 위한 차선 인식 시스템.
  3. 제2항에 있어서,
    상기 전처리모듈이 수행하는 상기 전처리는 그레이스케일 변환, 적응형 이진화, 모폴로지 단힘 연산 또는 미디안 블러 연산 중 적어도 하나에 해당하는 자율주행 자동차를 위한 차선 인식 시스템.
  4. 제2항에 있어서,
    상기 직선검출모듈은 외곽선 검출, 허프변환 또는 적응형 허프변환 중 적어도 하나의 방법을 이용하여 직선을 검출하는 자율주행 자동차를 위한 차선 인식 시스템.
  5. 차선 인식 시스템이 영상을 입력 받는 단계; 차선 인식 시스템이 수신한 상기 영상에 전처리를 수행하는 단계; 차선 인식 시스템이 상기 영상의 중앙에 형성되어 상기 영상을 세로로 이분하는 가상의 수직선을 기준으로 상기 영상을 좌우 영역으로 설정하는 단계; 차선 인식 시스템이 설정된 상기 좌우 영역에서 각각 직선들을 검출하는 단계; 차선 인식 시스템이 검출된 상기 직선들의 교점을 구하여 소실점을 검출하는 단계; 차선 인식 시스템이 검출된 상기 직선들 및 상기 소실점을 이용하여 차선들을 결정하는 단계; 차선 인식 시스템이 인식한 상기 차선들을 진행 차로 및 이외의 차로로 분류하는 단계; 및 차선 인식 시스템 인식한 상기 차선들의 수를 이용하여 차로들의 수를 결정하는 단계를 포함하는 자율주행 자동차를 위한 차선 인식 방법으로서,
    상기 차로들의 수를 결정하는 단계는,
    영상에 차선인식모듈이 인식한 차선을 표시하고, 상기 영상을 (x,y) 좌표로 나타내는데, 가로축을 x축으로 하고 세로축을 y축하며, x축은 기존 좌표평면과 같이 우측으로 갈수록 x좌표의 값이 커지는 형태이지만 y축은 아래쪽으로 갈수록 y좌표 값이 커지는 형태로 좌표를 나타내는 단계;
    다차선 도로인 경우 한 영역에 여러 개의 차선의 인식되어 있어 이를 구분하는 기준으로, 저장된 차선의 정보 중 영상의 모서리부분과 만나는 끝점의 y좌표 값을 이용하는 단계;
    영상의 좌측 영역에서 인식된 n개 차선의 끝점 좌표가 각각 (1x,1y), (2x,2y),(3x,3y)일 때 0< 3y < 2y < 1y 일 때, 끝점의 y좌표가 가장 큰 3y를 현재 차로 차선이라 하고, 좌측 영역에서 인식하였으므로 현재 차로의 왼쪽 차선이라 하며, 끝점의 y좌표가 두 번째로 큰 2y를 옆 차로의 차선이라 결정하는 단계;
    동일한 방법으로 영상의 우측 영역에서 차선을 구별하여 저장하는 단계; 및
    좌우 영역 모두에서 차선을 저장하고, 저장한 상기 차선의 개수를 통합하여 도로의 차로 수를 결정하는데, 상기 차로 수 결정모듈이 n개의 차선을 인식한 경우, 차로는 n-1개로 결정하는 단계;를 포함하는 것을 특징으로 하는 자율주행 자동차를 위한 차선 인식 방법.
KR1020170114942A 2017-09-08 2017-09-08 자율주행 자동차를 위한 차선 인식 시스템 및 방법 KR101951683B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114942A KR101951683B1 (ko) 2017-09-08 2017-09-08 자율주행 자동차를 위한 차선 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114942A KR101951683B1 (ko) 2017-09-08 2017-09-08 자율주행 자동차를 위한 차선 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101951683B1 true KR101951683B1 (ko) 2019-02-26

Family

ID=65562569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114942A KR101951683B1 (ko) 2017-09-08 2017-09-08 자율주행 자동차를 위한 차선 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101951683B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210031165A (ko) * 2019-09-11 2021-03-19 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
CN113903016A (zh) * 2021-12-09 2022-01-07 深圳佑驾创新科技有限公司 分岔点检测方法、装置、计算机设备和计算机程序产品
US20220033108A1 (en) * 2020-07-29 2022-02-03 The Boeing Company Systems and methods for determining a state of a stowage bin assembly within an internal cabin of a vehicle
KR20230050150A (ko) 2021-10-07 2023-04-14 현대모비스 주식회사 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템
KR102650906B1 (ko) * 2022-11-11 2024-03-27 이인텔리전스 주식회사 차선 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080008527A (ko) 2006-07-20 2008-01-24 현대모비스 주식회사 운전자의 차선인식장치
KR20140132210A (ko) * 2013-05-07 2014-11-17 숭실대학교산학협력단 차선 인식 방법 및 그 시스템
KR20160064275A (ko) * 2014-11-27 2016-06-08 연세대학교 산학협력단 차량 위치 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080008527A (ko) 2006-07-20 2008-01-24 현대모비스 주식회사 운전자의 차선인식장치
KR20140132210A (ko) * 2013-05-07 2014-11-17 숭실대학교산학협력단 차선 인식 방법 및 그 시스템
KR20160064275A (ko) * 2014-11-27 2016-06-08 연세대학교 산학협력단 차량 위치 인식 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210031165A (ko) * 2019-09-11 2021-03-19 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
KR102322815B1 (ko) * 2019-09-11 2021-11-10 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
US20220033108A1 (en) * 2020-07-29 2022-02-03 The Boeing Company Systems and methods for determining a state of a stowage bin assembly within an internal cabin of a vehicle
US11897634B2 (en) * 2020-07-29 2024-02-13 The Boeing Company Systems and methods for determining a state of a stowage bin assembly within an internal cabin of a vehicle
KR20230050150A (ko) 2021-10-07 2023-04-14 현대모비스 주식회사 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템
CN113903016A (zh) * 2021-12-09 2022-01-07 深圳佑驾创新科技有限公司 分岔点检测方法、装置、计算机设备和计算机程序产品
CN113903016B (zh) * 2021-12-09 2022-05-13 深圳佑驾创新科技有限公司 分岔点检测方法、装置、计算机设备和存储介质
KR102650906B1 (ko) * 2022-11-11 2024-03-27 이인텔리전스 주식회사 차선 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101951683B1 (ko) 자율주행 자동차를 위한 차선 인식 시스템 및 방법
Li et al. A sensor-fusion drivable-region and lane-detection system for autonomous vehicle navigation in challenging road scenarios
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
KR102371587B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR102058001B1 (ko) 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법
JP3931891B2 (ja) 車載用画像処理装置
JP4703136B2 (ja) 線図形化処理装置
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US8867792B2 (en) Environment recognition device and environment recognition method
CN111462527B (zh) 车道识别装置和车道识别方法
JP6717240B2 (ja) 物標検出装置
JP5894201B2 (ja) 境界線認識装置
JP6456682B2 (ja) 走行区画線認識装置
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
CN110163039B (zh) 判定车辆行驶状态的方法、设备、存储介质以及处理器
WO2013116598A1 (en) Low-cost lane marker detection
CN103996031A (zh) 一种自适应阈值分割的车道线检测系统及其方法
JP5011268B2 (ja) 画像検出装置及び画像検出方法
US20190003822A1 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
KR20140104516A (ko) 차선 인식 방법 및 장치
KR20130015984A (ko) 차선 인식 장치 및 그 방법
Zarbakht et al. Lane detection under adverse conditions based on dual color space
JP2019114150A (ja) 車外環境認識装置
JP2008158673A (ja) 道路区画線認識装置
Shalu et al. An intelligent lane and obstacle detection using YOLO algorithm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant