KR20170055738A - 영상 기반 주행 차로 판단 장치 및 방법 - Google Patents

영상 기반 주행 차로 판단 장치 및 방법 Download PDF

Info

Publication number
KR20170055738A
KR20170055738A KR1020150158872A KR20150158872A KR20170055738A KR 20170055738 A KR20170055738 A KR 20170055738A KR 1020150158872 A KR1020150158872 A KR 1020150158872A KR 20150158872 A KR20150158872 A KR 20150158872A KR 20170055738 A KR20170055738 A KR 20170055738A
Authority
KR
South Korea
Prior art keywords
lane
vehicle
image
driving
detecting
Prior art date
Application number
KR1020150158872A
Other languages
English (en)
Other versions
KR102372296B1 (ko
KR102372296B9 (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150158872A priority Critical patent/KR102372296B1/ko
Publication of KR20170055738A publication Critical patent/KR20170055738A/ko
Application granted granted Critical
Publication of KR102372296B1 publication Critical patent/KR102372296B1/ko
Publication of KR102372296B9 publication Critical patent/KR102372296B9/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2550/402—

Abstract

본 발명은 차량 주변의 원영상을 촬영하는 영상촬영부, 상기 영상촬영부의 영상을 합성하여 Top-View 영상으로 변환하는 AVM시스템, 주행 방향의 차선 정보를 제공하는 네비게이션부, 차량이 주행하는 도로의 정보를 인지하여 검출하는 차선 검출부, 주행 차량 주변의 차량 또는 오토바이의 바퀴를 검출하고, 주행 차량과 차량 또는 오토바이의 거리를 추정하는 차량/오토바이 검출부, 장치 전반을 제어하는 제어부, 상기 주행 차선이 인식된 경우 이를 알리는 정보를 출력하는 출력부를 포함하는 영상 기반 주행 차로 판단 장치 및 방법에 관한 것이다.

Description

영상 기반 주행 차로 판단 장치 및 방법{Apparatus and method for recognize driving lane on image}
본 발명은 주행 차로 검출 및 판단 방법에 관한 것으로, 보다 상세하게는 주행방향의 모든 도로 차선을 검출하여 현재 주행 중인 차로를 판단하여 제공하는 영상 기반 주행 차로 판단 장치 및 방법에 관한 것이다.
최근 차량에는 주행 차선을 검출하여 차량이 차선을 이탈한 경우 운전자에게 경고해주는 기술 등이 채택되고 있다. 종래 기술은 전방 영상촬영을 이용하여 주행차선을 검출하는 방법으로써 영상에서 주행 차로를 판단하는데 그 목적이 있다.
하지만, 종래 기술은 주행 차로의 존재 여부만 검출하게 구성되어 있어, 차량이 어떤 차로로 달리는지 추정하기 어려운 문제점을 가지고 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명의 일실시례에 따른 영상 기반 주행 차로 판단 장치 및 방법은, 차량 전방 영상촬영뿐 아니라 측방 영상촬영을 이용하여 주행 방향에 대한 모든 차선을 판단하고, 현재 어떤 차로를 주행하고 있는지 알 수 있다. 본 발명을 이용하여 주행 차로를 검출하게 되어, ADAS(Advanced Driver Assist System) 또는 무인 자율 주행 기술 개발을 하는 것에 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 영상 기반 주행 차로 판단 장치는 차량 주변의 영상을 촬영하는 영상촬영부, 상기 영상촬영부의 영상을 합성하여 Top-View 영상으로 변환하는 AVM시스템, 주행 방향의 차선 정보를 제공하는 네비게이션부, 상기 차량이 주행하는 도로의 정보를 인지하여 검출하는 차선 검출부, 주행 차량 주변의 차량 또는 오토바이의 바퀴를 검출하고, 주행 차량과 차량 또는 오토바이의 거리를 추정하는 차량/오토바이 검출부, 장치 전반을 제어하는 제어부, 상기 주행 차선이 검출된 경우 상기 주행 차선이 검출되었음을 알리는 정보를 출력하는 출력부를 포함한다.
본 발명의 실시례에 따른 영상 기반 주행 차로 판단 장치 및 방법은
영상촬영부의 전방 원영상 또는 AVM시스템의 Top-View 영상을 이용하여 주행 차선을 검출하는 단계, 측면 영상을 이용하여 측면 도로 차선 판단하는 단계, 측면 영상을 이용하여 차량 또는 오토바이 바퀴 검출을 통한 측면 도로 차선 판단 단계, 네비게이션부을 통한 주행 차로를 판단하는 단계를 포함한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 영상 기반 주행 차로 판단 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　주행 차선 인식에 따라 주행 차선의 위치를 추정함으로써 정확하게 주행 차로를 판단하는 장점이 있다.
둘째,　주행 차선 인식 및 위치를 판단함으로써 ADAS(Advanced Driver Assist System) 또는 무인 자율 주행시스템의 성능을 향상스킬 수 있는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 영상 기반 주행 차로 판단 장치의 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시례에 따른 전방 원영상 기반 주행 차선 인식방법의 구성을 도시한 구성도이다.
도 3은 본 발명의 일실시례에 따른 Top-View 영상 기반 주행 차선 인식방법의 예시도이다.
도 4는 본 발명의 일실시례에 따른 영상 기반 주행 차선 인식방법의 예시도이다.
도 5는 본 발명의 일실시례에 따른 측면 영상 기반 차량 또는 오토바이 바퀴 검출방법의 예시도이다.
도 6는 본 발명의 일실시례에 따른 측면 영상 기반 차량 또는 오토바이 바퀴 위치 추정방법의 예시도이다.
도 7은 본 발명의 일실시례에 따른 네비게이션을 이용한 도로 차선 판단 방법의 예시도이다.
도 8은 본 발명의 일실시례에 따른 주행 차로 검출 및 판단 방법의 흐름을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시례들에 의하여 영상 기반 주행 차로 판단 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시례에 따른 영상 기반 주행 차로 판단 장치의 구성을 도시한 구성도이다. 도 1을 참조하면, 본 발명의 일실시례에 따른 영상 기반 주행 차로 판단 장치는 영상촬영부(110), AVM시스템(120), 네비게이션부(130), 차선 검출부(140), 차량/오토바이 검출부(150), 제어부(160) 및 출력부(170)를 포함할 수 있다.
영상촬영부(110)는 주행중 차량의 전방, 좌측 및 우측의 원영상을 촬영한다. 상기 영상촬영부(110)는 차량의 전방을 촬영하는 전방 카메라와 차량의 좌측 영상을 촬영하는 좌측 카메라와 주행 차량의 좌측 영상을 촬영하는 우측 카메라를 포함하여 구성될 수 있다.
상기 전방 카메라는 차량의 중앙에 설치되어 차량의 주행 시에 차량 전방과 중앙의 도로 노면을 촬영할 수 있다. 상기 좌측 카메라는 차량의 좌측에 설치되어 차량의 주행 시에 좌측 차선과 중앙선을 촬영할 수 있다. 상기 우측 카메라는 차량의 우측에 설치되어 차량의 주행 시에 우측 차선을 촬영할 수 있다.
AVM시스템(120)은 상기 영상촬영부(110)에서 촬영된 상기 원영상을 합성하여 Top-View 영상을 출력할 수 있다. 상기 Top-View 영상은 차량의 상측에서 하측 방향으로 본 차량 주변에 대한 영상이다.
네비게이션부(130)는 상기 주행 차량의 위치를 검출하고, 상기 주행 차량의 주행 방향의 차선 정보를 제공하는 위치 검출결과를 제공 할 수 있다.
차선 검출부(140)는 상기 영상촬영부(110)의 상기 원영상에서 차선이 존재할 수 있는 영역을 관심영역으로 선정할 수 있다. 상기 영상촬영부(110)의 설치 각도 및 시야 각에 따라 촬영된 상기 원영상 내에서 차선이 존재할 수 있는 영역을 상기 관심영역으로 설정 할 수 있다.
상기 차선 검출부(140)는 상기 원영상을 이용하여 상기 주행 차량의 주행 차선, 주행 차선의 좌측 또는 우측 측면인 측면 차선과 중앙선 등을 검출할 수 있다. 또한, Top-View 영상에서 상기 주행 차량의 주행 차선, 측면 차선과 중앙선 등을 검출할 수 있다.
차량/오토바이 검출부(150)는 상기 좌측 및 우측 원영상에서 차량 또는 오토바이의 바퀴를 검출할 수 있다. 또한, 상기 검출된 차량 또는 오토바이의 바퀴의 위치를 추정할 수 있다.
제어부(160)는 상기 영상촬영부, 상기 AVM시스템, 상기 차선 검출부 및 상기 출력부등 장치 전반을 제어한다.
출력부(170)는 상기 주행 차선 정보를 운전자에게 제공할 수 있다. 상기 출력부(170)는 상기 차량에 설치된 디스플레이, 알람 중 적어도 하나 이상을 포함하여 상기 차선 정보를 출력할 수 있다.
도 2는 본 발명의 일실시례에 따른 원영상 기반 주행 차선 인식방법의 구성을 도시한 구성도이다.
차선검출부(140)는 영상촬영부(110)에서 원영상을 획득한다(S210). 상기 차선검출부(140)는 상기 원영상에서 관심영역을 선정한다(S220). 상기 차선 검출부(140)는 상기 원영상에서 차선이 존재할 수 있는 영역을 관심영역으로 지정한다. 상기 관심영역을 모폴로지 연산을 이용하여 상기 영상의 차선 추정 성분을 추출 한다(S230). 상기 차선 추정 성분을 영역 라벨링하여 상기 차선 추정 성분들의 형태를 표시한다(S240). 상기 모폴로지 연산과 영역 라벨링을 이용하여 상기 관심 영역 내에 포함된 차선 추정 성분들에 대해 소실 정보는 채우고, 배경영역 등에서 발생하는 영상잡음 성분을 제거할 수 있다.
상기 차선 추정 성분 중 차선 후보군을 검출한다(S250). 상기 차선 후보군에서 Line Fitting과정을 이용하여 주행 차선을 검출한다(S260).
도 3은 본 발명의 일실시례에 따른 Top-View 영상 기반 주행 차선 인식방법의 예시도이다.
도 3(a)을 참조하면, 차선 검출부(140)는 AVM 시스템으로부터 Top-View 영상을 받는다. 상기 Top-View 영상에서 Gray scale 영상을 출력하고 Top-Hat 필터를 이용하여 차선 중심점을 추출한다. 상기 Top-Hat 필터는 상기 Gray scale 영상에서 인접 화소 간 휘도 변화량이 최솟값이 설정된 임계치를 이상인지 판단할 수 있다. 상기 Gray scale 영상에서 인접 화소 간 휘도 변화량이 설정된 임계치 이상이면 차선 중심점을 기준으로 차선 좌/우측에 특징점(310)을 추출할 수 있다.
도 3(b)을 참조하면, 상기 차선 검출부(140)는 상기 추출된 특징점을 사용하여 Line Fitting과정을 진행한다. 상기 Line Fitting 과정은 상기 차선 좌/우측의 특징점을 기준으로 360도 방향을 탐색하여 선 성분을 추출한다. 상기 추출된 선 성분의 각도 오차를 비교하여 선 성분 유효성 검사를 진행한다. 이때, 상기 각도 오차의 제약 조건은 5도 이내이다. 상기 추출된 선 성분이 상기 유효성 검사에 만족한 경우, 상기 차선 중심점을 기준으로 차선 후보군을 표시한다. 상기 차량 기준 좌/우측 대표 차선을 검출하여 주행 차선(420)으로 판단한다.
도 3(c)을 참조하면, 상기 차선 검출부(140)은 상기 주행 차량의 좌측 영상에서 이중 Top-Hat 필터를 이용하여 중앙선을 검출할 수 있다. 상기 이중 Top-Hat 필터는 상기 Gray scale 영상에서 인접 화소 간 휘도 변화량이 최솟값이 설정된 임계치를 이상인지 판단할 수 있다. 상기 Gray scale 영상에서 인접 화소 간 휘도 변화량이 설정된 임계치 이상이면 차선 중심점을 기준으로 차선 좌측에 특징점(330)을 추출할 수 있다.
도 3(d)을 참조하면, 상기 Line Fitting과정을 이용하여 대표 선을 검출할 수 있다. 다수의 특징점이 존재할 경우 중앙선(340)으로 판단한다.
도 4는 본 발명의 일실시례에 따른 영상 기반 주행 차선 인식방법의 예시도이다.
도 4(a)를 참조하면, 영상촬영부(110)의 원영상에서 차선을 검출하여 주행 차선을 인식할 수 있다. 상기 영상촬영부(110)는 전방 카메라를 통하여 전방 원영상을 차선 검출부(140)에 출력한다.
상기 차선 검출부(140)는 원영상 기반 주행 차선 인식방법에 따라 상기 전방 원영상에서 차선(410)을 검출한다. 상기 검출된 차선을 이용하여 현재 주행 차선을 인식한다.
상기 주행 차선을 이용하여 차선 간격을 추정할 수 있다. 상기 차선 간격은 상기 전방 영상으로부터 좌측 주행차선과 우측 주행차선의 폭을 계산하여 추정할 수 있다.
도 4(b)를 참조하면, AVM시스템(120)의 Top-View 영상에서 차선을 검출하여 주행 차선을 검출할 수 있다.
상기 AVM 시스템(120)은 영상 촬영부(110)의 원영상을 Top-View 영상으로 변환하여 차선 검출부(140)로 출력한다. 상기 차선 검출부(140)는 Top-View 영상 기반 주행 차선 인식방법에 따라 상기 Top-View 영상에서 차선(420)을 검출한다. 상기 검출된 차선을 이용하여 현재 주행 차선을 인식한다. 상기 주행 차선을 이용하여 차선 간격을 추정할 수 있다.
도 4(c)를 참조하면, 영상촬영부(100)의 차량의 좌측 영상에서 차선과 중앙선을 검출하여 좌측 도로 차선을 검출할 수 있다.
상기 영상촬영부(110)는 좌측 카메라로 촬영된 상기 주행 차량의 좌측 원영상을 차선 검출부(140)로 출력한다. 상기 차선 검출부(140)는 상기 주행 차량의 좌측 영상에서 차선이 존재할 수 있는 영역을 관심영역으로 지정한다. 상기 관심영역에서 중앙선과 상기 차량의 좌측 차선(430)을 검출 할 수 있다.
상기 차선 검출부(140)는 영상 기반 주행 차선 인식방법에 따라 좌측 차선(430)을 검출한다. 또한, 상기 차선 검출부(140)는 좌측 차선에서 중앙선을 검출할 수 있다.
상기 좌측 차선(430)을 이용하여 좌측 도로 차선을 판단한다.
도 4(d)를 참조하면, 영상촬영부(100)의 차량 우측 영상에서 차선을 검출하여 우측 도로 차선을 검출할 수 있다.
상기 영상촬영부(110)는 우측 카메라로 촬영된 상기 주행 차량의 우측 영상을 차선 검출부(140)로 출력한다. 상기 차선 검출부(140)는 상기 주행 차량의 우측 영상에서 차선이 존재할 수 있는 영역을 관심영역으로 지정한다. 상기 관심영역에서 상기 차량의 우측 차선(440)을 검출 할 수 있다.
도 4(e)를 참조하면, 차선검출부(140)는 상기 주행 차선과 상기 좌측과 우측의 차선인 측면 도로 차선(450) 수를 더하여 주행 방향의 모든 도로 차선 수를 판단할 수 있다.
도 5는 본 발명의 일실시례에 따른 측면 영상 기반 차량 또는 오토바이 바퀴 검출방법의 예시도이다.
차량/오토바이 검출부(150)는 영상촬영부(110)의 좌측과 우측 원영상인 측면 영상에서 Haar-like 서술자를 사용하여 차량 또는 오토바이 바퀴의 특징을 추출할 수 있다. 상기 차량/오토바이 검출부(150)는 상기 추출된 차량 또는 오토바이 바퀴의 특징에서 adaboost 학습알고리즘을 이용하여 차량 또는 오토바이 바퀴를 유무를 검출할 수 있다.
상기 추출된 차량 또는 오토바이 바퀴의 특징은 분류기(510)에 의해 바퀴로 추정되는 영상 특징(520)과 바퀴로 추정되지 않는 영상 특징(530)으로 분류된다.
상기 영상촬영부(110)의 측면 촬영 영상 전체를 탐색하여 상기 분류기 조합 결과에 따라 상기 바퀴로 추정되는 영상 특징(520)이 검출되면 바퀴가 존재한다고 판단한다.
도 6는 본 발명의 일실시례에 따른 측면 영상 기반 차량 또는 오토바이 바퀴 위치 추정방법의 예시도이다.
차량/오토바이 검출부(150)는 영상촬영부(110)의 좌측과 우측 원영상인 측면 영상에서 차량 또는 오토바이의 바퀴가 존재한다고 판단되면, 차량 또는 오토바이 바퀴의 위치를 추정한다. 상기 차량/오토바이 검출부(150)는 상기 영상촬영부(110)와 상기 차량 또는 오토바이 바퀴의 거리 z를 검출한다.
상기 거리 z는 상기 영상촬영부(110)의 높이 H와 각도 θ를 고려하여 검출한다. 상기 높이 H는 상기 영상촬영부(110)의 설치 높이를 의미하며, 각도 θ는 상기 영상촬영부(110)의 설치 각도를 의미하고, 이러한 영상촬영부(110) 높이 H와 각도 θ는 차량 출고 시, 양산 과정에서 제공된다.
상기 차량/오토바이 검출부(150)는 상기 거리 z를 고려하여 (수학식 1)에 의해서 차량 또는 오토바이 바퀴의 위치를 검출할 수 있다.
(수학식 1)
Figure pat00001
Figure pat00002
상기 차량/오토바이 검출부(150)가 이용하는 (수학식 1)에서 (u0, v0)는 Principal point를 의미하며, f는 focal length를 의미하고, 이러한 상기 영상촬영부(110) 내부 파라메터는 차량 출고 시, 양산 과정에서 제공된다.
상기 차량/오토바이 검출부(150)는 검출된 차량 또는 오토바이 바퀴와 차량 간의 거리를 계산하여 차량 또는 오토바이 바퀴의 위치(610)를 추정할 수 있다.
상기 차량/오토바이 검출부(150)는 상기 바퀴의 위치(610)를 이용하여 주행 차량의 측면 차선을 판단할 수 있다.
도 7은 본 발명의 일실시례에 따른 네비게이션을 이용한 도로 차선 판단 방법의 예시도이다.
영상 기반 주행 차로 판단 장치에 네비게이션(130)과 추가되는 경우, 영상 기반 주행 차로 판단 장치는 상기 네비게이션부에서 주행 방향 모든 도로 차선 수를 알 수 있기 때문에 좌측과 우측 카메라를 기반으로 도로 차선 인식 결과가 일부 미인식 되어도 현재 주행하는 차로를 판단할수 있다.
도 7(a)를 참조하면, 상기 네비게이션(130)을 이용하여 주행 도로의 모든 차선 정보를 알고 있는 경우, 좌측 도로의 차선(710)만 인식해도 현재 주행하는 차로가 2차로 인걸 파악할 수 있다.
도 7(b)를 참조하면, 상기 네비게이션(130)을 이용하여 주행 도로의 모든 차선 정보를 알고 있는 경우, 우측 도로의 차선(720)만 인식해도 현재 주행하는 차로가 2차로 인걸 파악할 수 있다.
도 8는 본 발명의 일실시례에 따른 주행 차로 검출 및 판단 방법의 흐름을 도시한 흐름도이다.
영상촬영부(110)의 전방 카메라 또는 AVM시스템(120)에서 주행 차량의 전방 영상을 출력한다(800).
차선 검출부(140)는 상기 전방 영상에서 차선을 검출한다(805). 상기 영상촬영부(110)의 전방 카메라를 통한 차선 검출 방법은 원영상 획득, 관심 영역 선정, 모폴로지 연산, 영역 라벨링, 차선 후보군 검출, Line Fitting 기반 차선 검출의 단계를 통해 이루어진다.
또한 AVM시스템(120) 통한 차선 검출 방법은 Top-Hat 필터를 통한 특징점 추출, 상기 특징점을 이용하여 Line fitting, 차선 후보군 검출, 대표 차선 인식의 단계를 통해 이루어진다.
상기 차선 검출부(140)는 상기 검출된 차선에서 주행차선을 인식한다(810). 차량 기준 좌측과 우측 영역의 대표 차선을 주행 차선으로 판단할 수 있다.
상기 주행차선을 이용하여 차선 간격을 추정한다(815). 상기 차선 간격은 상기 전방 영상으로부터 좌측 주행차선과 우측 주행차선의 폭을 계산하여 추정할 수 있다.
상기 주행차선의 좌측과 우측 차선 위치를 예측한다(820). 상기 주행차선의 폭을 이용하여, 좌측과 우측 차선의 위치를 예측 할수 있다.
상기 영상촬영부(110)는 차량의 좌측과 우측 카메라로 영상을 촬영한다. (825). 상기 차선 검출부(140)는 상기 좌/우측 영상에서 관심 영역을 선정한다(830). 상기 관심 영역은 상기 주행차선의 좌측과 우측 차선 위치 예측을 통해 차선이 존재할 수 있는 영역이다.
상기 차선 검출부(140)는 상기 관심 영역에서 차선 검출한다(835). 상기 차선 검출부(140)는 상기 관심 영역에서 Top-hat 필터를 사용하여 특징점을 추출하고, 상기 특징점을 이용하여 좌/우측 차선을 검출하고, 이중 Top-hat 필터를 사용하여 중앙선을 검출할 수 있다. 상기 검출된 좌측, 우측 차선과 중앙선을 이용하여 측면 도로 차선을 판단한다(840).
차량/오토바이 검출부(150)는 상기 영상촬영부(110)의 차량의 좌측과 우측 카메라의 영상에서 차량 또는 오토바이의 바퀴를 검출한다(845). 상기 차량/오토바이 검출부(150)는 상기 차량의 좌측과 우측 영상에서 Haar-like 서술자를 사용하여 차량 또는 오토바이 바퀴의 특징을 추출하고, 상기 바퀴의 특징을 adaboost 학습알고리즘을 이용하여 차량 또는 오토바이의 바퀴를 검출할 수 있다.
상기 차량/오토바이 검출부(150)는 상기 검출된 차량 또는 오토바이 바퀴와 주행 차량 간의 거리를 계산하여, 상기 검출된 차량 또는 오토바이 바퀴 위치(610)를 추정할 수 있다(850). 상기 검출된 차량 또는 오토바이 바퀴와 주행 차량 간의 거리는 상기 영상촬영부(110)의 카메라 높이와 카메라 설치 각도를 고려하여 상기 차량 또는 오토바이 바퀴 위치를 추정할 수 있다. 상기 차량/오토바이 검출부(150)는 상기 차량 또는 오토바이 바퀴의 유무와 위치를 계산하여, 주행 차량의 측면 도로의 차선을 판단한다(855).
네비게이션부(130)에서 주행 방향의 도로의 차선 수 정보를 수신한다(860).
상기 차선 검출부(140)는 상기 네비게이션에 의해 주행 방향의 모든 차선 수를 알 수 있기 때문에 측면 영상을 기반으로 한 도로 차선 인식 결과가 미인식 되어도 현재 주행하는 차로를 판단 할 수 있다.
상기 차선 검출부(140)는 상기 주행 차선과 좌측과 우측 차선 정보를 이용하여 주행 방향의 모든 도로 차선을 판단한다(865). 상기 차선 검출부(140)는 상기 모든 도로 차선을 통해 상기 주행 차량의 주행 차로를 판단한다(870).
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 영상촬영부
120 : AVM시스템
130 : 네비게이션부
140 : 차선 검출부
150: 차량/오토바이 검출부
160 : 제어부
170: 출력부

Claims (11)

  1. 주행중 차량의 전방, 좌측 및 우측의 카메라로 원영상을 촬영하는 영상촬영부;
    상기 영상촬영부가 촬영한 상기 원영상을 합성하여 상기 차량 주변에 대한 영상인 Top- View 영상으로 변환하는 AVM시스템;
    상기 원영상 또는 상기 Top-View 영상에서 상기 차량의 주행 차선과 상기 주행 차선의 좌측 또는 우측 차선인 측면 차선을 검출하는 차선 검출부; 및
    상기 주행 차선과 상기 측면 차선의 정보를 제공하는 출력부;
    를 포함하는 영상 기반 주행 차로 판단 장치.
  2. 제 1항에 있어서,
    상기 영상촬영부의 좌측 및 우측 원영상인 측면 영상에서 상기 주행 차량 주변의 차량 또는 오토바이의 바퀴를 검출하고, 상기 주행 차량과 상기 차량 또는 상기 오토바이의 거리를 추정하는 차량/오토바이 검출부를 더 포함하는 영상 기반 주행 차로 판단 장치.
  3. 제 1항에 있어서,
    상기 차선 검출부에 상기 주행 차량의 주행 방향 차선 정보를 제공하는 네비게이션부를 더 포함하는 영상 기반 주행 차로 판단 장치.
  4. 영상촬영부의 전방 원영상을 이용하여 차선을 검출하는 단계;
    상기 차선을 이용하여 주행 차선을 인식하는 단계;
    상기 주행 차선을 이용하여 차선 간격을 추정하는 단계;
    상기 차선 간격을 이용하여 좌측과 우측 차선인 측면 차선의 위치를 예측하는 단계;
    상기 영상촬영부의 좌측과 우측 원영상인 측면 영상 내에서 상기 예측된 측면 차선의 위치를 관심영역으로 선정하는 단계;
    상기 관심영역에서 측면 차선을 검출하는 단계;
    상기 측면 차선을 이용하여 측면 도로의 차선을 판단하는 단계;
    상기 주행 차선과 상기 측면 도로의 차선 수를 더하여 주행 방향의 모든 도로 차선을 판단하는 단계; 및
    상기 모든 도로 차선을 이용하여 주행 차로를 판단하는 단계;
    를 포함하는 영상 기반 주행 차로 판단 방법.
  5. 제 4항에 있어서,
    상기 영상촬영부의 전방 원영상을 이용하여 차선을 검출하는 단계는,
    상기 영상촬영부에서 차량 전방의 원영상을 획득하는 단계;
    상기 원영상에서 관심 영역을 선정하는 단계;
    상기 관심영역에서 차선만 보이도록 모폴로지 연산을 하는 단계;
    상기 모폴로지 연산을 진행한 차선을 영역 라벨링하는 단계;
    상기 영역 라벨링된 영상에서 차선 후보군을 검출하는 단계; 및
    상기 차선 후보군에서 Line Fitting 기반으로 차선을 검출하는 단계;
    를 포함하는 영상 기반 주행 차로 판단 방법.
  6. 제 4항에 있어서,
    상기 AVM시스템의 상기 Top-View 영상을 이용하여 차선을 검출하는 단계를 더 포함하는 영상 기반 주행 차로 판단 방법.
  7. 제 6항에 있어서,
    상기 AVM시스템의 상기 Top-View 영상을 이용하여 차선을 검출하는 단계는,
    상기 Top-View 영상에서 Top-Hat 필터를 사용하여 특징점을 추출하는 단계;
    상기 특징점을 이용하여 Line fitting 단계;
    상기 Line fitting 된 차선 후보군을 검출단계, 및
    상기 차선 후보군 중에서 대표 차선을 인식하여 차선을 검출하는 단계;
    를 포함하는 영상 기반 주행 차로 판단 방법.
  8. 제 4항에 있어서,
    상기 측면 영상 이용하여 차량 또는 오토바이 바퀴 검출을 통한 측면 도로의 차선을 판단하는 단계를 더 포함하는 영상 기반 주행 차로 판단 방법.
  9. 제 8항에 있어서,
    상기 측면 영상 이용하여 차량 또는 오토바이 바퀴 검출을 통한 측면 도로의 차선을 판단하는 단계는,
    상기 측면 영상에서 Haar-like 서술자와 adaboost 학습알고리즘을 이용하여 차량 또는 오토바이 바퀴를 검출하고, 상기 검출된 차량 또는 오토바이 바퀴 위치를 추정하는 영상 기반 주행 차로 판단 방법.
  10. 제 4항에 있어서,
    상기 네비게이션부를 이용하여 주행 차로를 판단하는 단계를 더 포함하는 영상 기반 주행 차로 판단 방법.
  11. 제 10항에 있어서,
    상기 네비게이션부를 이용하여 주행 차로를 판단하는 단계는,
    상기 네비게이션부를 이용하여 상기 주행 방향 모든 도로 차선 정보를 취득하여, 상기 주행 차량의 측면 차선이 미인식되어도 현재 주행하는 차로를 판단하는 영상 기반 주행 차로 판단 방법.
KR1020150158872A 2015-11-12 2015-11-12 영상 기반 주행 차로 판단 장치 및 방법 KR102372296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150158872A KR102372296B1 (ko) 2015-11-12 2015-11-12 영상 기반 주행 차로 판단 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150158872A KR102372296B1 (ko) 2015-11-12 2015-11-12 영상 기반 주행 차로 판단 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20170055738A true KR20170055738A (ko) 2017-05-22
KR102372296B1 KR102372296B1 (ko) 2022-03-08
KR102372296B9 KR102372296B9 (ko) 2023-05-11

Family

ID=59049942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150158872A KR102372296B1 (ko) 2015-11-12 2015-11-12 영상 기반 주행 차로 판단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102372296B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200081610A (ko) * 2018-12-27 2020-07-08 (주)베라시스 카메라 모델링 정보를 이용한 다중 차선 검출 방법
KR20200119421A (ko) * 2019-04-01 2020-10-20 인천대학교 산학협력단 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
CN112020461A (zh) * 2018-04-27 2020-12-01 图森有限公司 用于确定汽车到车道距离的系统和方法
WO2020251811A1 (en) * 2019-06-13 2020-12-17 Nec Laboratories America, Inc. Scene attribute annotation of complex road typographies
CN112129313A (zh) * 2019-06-25 2020-12-25 安波福电子(苏州)有限公司 基于惯性测量单元的ar导航补偿系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196819A (ja) * 2006-01-25 2007-08-09 Niles Co Ltd 白線検出装置およびこれを用いた車線逸脱警報装置
KR20120086577A (ko) * 2011-01-26 2012-08-03 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR20140024681A (ko) * 2012-08-20 2014-03-03 하이브모션 주식회사 차선 인식 장치 및 그 방법
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
JP2015068665A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 マップマッチング装置及びこれを備えたナビゲーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196819A (ja) * 2006-01-25 2007-08-09 Niles Co Ltd 白線検出装置およびこれを用いた車線逸脱警報装置
KR20120086577A (ko) * 2011-01-26 2012-08-03 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR20140024681A (ko) * 2012-08-20 2014-03-03 하이브모션 주식회사 차선 인식 장치 및 그 방법
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
JP2015068665A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 マップマッチング装置及びこれを備えたナビゲーション装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020461A (zh) * 2018-04-27 2020-12-01 图森有限公司 用于确定汽车到车道距离的系统和方法
CN112020461B (zh) * 2018-04-27 2024-02-27 图森有限公司 用于确定汽车到车道距离的系统和方法
KR20200081610A (ko) * 2018-12-27 2020-07-08 (주)베라시스 카메라 모델링 정보를 이용한 다중 차선 검출 방법
KR20200119421A (ko) * 2019-04-01 2020-10-20 인천대학교 산학협력단 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
WO2020204350A3 (ko) * 2019-04-01 2020-12-30 인천대학교 산학협력단 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
WO2020251811A1 (en) * 2019-06-13 2020-12-17 Nec Laboratories America, Inc. Scene attribute annotation of complex road typographies
CN112129313A (zh) * 2019-06-25 2020-12-25 安波福电子(苏州)有限公司 基于惯性测量单元的ar导航补偿系统

Also Published As

Publication number Publication date
KR102372296B1 (ko) 2022-03-08
KR102372296B9 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
US10043262B2 (en) Abnormal image detection device, image processing system having abnormal image detection device, and vehicle incorporating image processing system
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
JP4714104B2 (ja) 物体傾き検出装置
US10783382B2 (en) Systems and methods for buffer-free lane detection
US20120166033A1 (en) Method and apparatus for detecting driving information of autonomous driving system
KR20170055738A (ko) 영상 기반 주행 차로 판단 장치 및 방법
US20140002656A1 (en) Lane departure warning system and lane departure warning method
US8160300B2 (en) Pedestrian detecting apparatus
JP4744537B2 (ja) 走行レーン検出装置
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
JP5097681B2 (ja) 地物位置認識装置
JP2011033594A (ja) 車両用距離算出装置
JP2007018451A (ja) 道路区画線検出装置
JP5012522B2 (ja) 路側境界面検出装置
JP6200780B2 (ja) 車線認識判定装置
JP2020126304A (ja) 車外物体検出装置
WO2018088262A1 (ja) 駐車枠認識装置
JP2014067320A (ja) ステレオカメラ装置
KR20170052234A (ko) 횡단보도 검출 및 위치추정 방법
JP6677142B2 (ja) 駐車枠認識装置
WO2019013253A1 (ja) 検出装置
US11417115B2 (en) Obstacle recognition device
JP5822866B2 (ja) 画像処理装置
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]