KR101480434B1 - 차선 이탈 경보 시스템 및 방법 - Google Patents

차선 이탈 경보 시스템 및 방법 Download PDF

Info

Publication number
KR101480434B1
KR101480434B1 KR1020130086800A KR20130086800A KR101480434B1 KR 101480434 B1 KR101480434 B1 KR 101480434B1 KR 1020130086800 A KR1020130086800 A KR 1020130086800A KR 20130086800 A KR20130086800 A KR 20130086800A KR 101480434 B1 KR101480434 B1 KR 101480434B1
Authority
KR
South Korea
Prior art keywords
vehicle
roi
captured image
lane
image
Prior art date
Application number
KR1020130086800A
Other languages
English (en)
Inventor
서창형
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130086800A priority Critical patent/KR101480434B1/ko
Application granted granted Critical
Publication of KR101480434B1 publication Critical patent/KR101480434B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors

Abstract

차선 이탈 경보 시스템 및 방법이 제공된다. 상기 차선 이탈 경보 시스템은 차량의 전방을 촬영하여 캡쳐 영상을 획득하는 카메라부, 및 상기 캡쳐 영상을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 제어부를 포함하되, 상기 제어부는 상기 캡쳐 영상 내에서 소실점(vanishing point)의 위치를 트래킹하고, 상기 소실점이 ROI(Region of Interest) 영상의 중앙에 위치하도록 상기 캡쳐 영상의 ROI를 보정하는 ROI 보정부와, 상기 보정된 ROI 영상을 이용하여 상기 차량의 상기 차선 이탈 여부를 판단하는 차선 이탈 판단부를 포함한다.

Description

차선 이탈 경보 시스템 및 방법 {LANE DEPARTURE WARNING SYSTEM AND METHOD}
본 발명은 차선 이탈 경보 시스템 및 방법에 관한 것이다.
차선 이탈 경보 시스템은(LDWS; Land Departure Warning System)은, 카메라를 이용하여 차량의 전방을 촬영한 캡쳐 영상을 획득하고, 캡쳐 영상으로부터 차량이 현재 주행 중인 차선을 검출하고, 운전자의 부주의 등으로 차량이 현재 주행 중인 차선을 이탈하는 경우 운전자에게 차선 이탈을 경보하는 안전 장치이다.
공개특허공보 제10-2013-0066242호(공개일자: 2013년06월20일)
종래의 차선 이탈 경보 시스템은, 카메라가 획득한 영상으로부터 차량이 주행 중인 차선을 검출하는데 있어서, 차량의 주행 중의 다양한 자세 변화에 따라 카메라의 지향각이 변화하게 되므로, 차선 감지 성능 및 신뢰성이 떨어지는 문제점이 있다.
본 발명이 해결하려는 과제는, 차선 감지 성능 및 신뢰성이 향상된 차선 이탈 경보 시스템을 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 차선 감지 성능 및 신뢰성이 향상된 차선 이탈 경보 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 차선 이탈 경보 시스템의 일 면(aspect)은 차량의 전방을 촬영하여 캡쳐 영상을 획득하는 카메라부, 및 상기 캡쳐 영상을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 제어부를 포함하되, 상기 제어부는 상기 캡쳐 영상 내에서 소실점(vanishing point; VP)의 위치를 트래킹하고, 상기 소실점이 ROI(Region of Interest) 영상의 중앙에 위치하도록 상기 캡쳐 영상의 ROI를 보정하는 ROI 보정부와, 상기 보정된 ROI 영상을 이용하여 상기 차량의 상기 차선 이탈 여부를 판단하는 차선 이탈 판단부를 포함한다.
몇몇 실시예에서, 상기 차선 이탈 경보 시스템은 상기 차량의 차속을 검출하는 차속 센서부, 상기 차량의 요레이트(Yaw-Rate)를 검출하는 요레이트 센서부를 더 포함하고, 상기 ROI 보정부는 상기 차량의 차속과 상기 차량의 요레이트를 이용하여 상기 차량의 직진 상태 여부를 판단하고, 상기 차량이 직진 상태인 때에 상기 캡쳐 영상 내에서 상기 소실점의 위치를 트래킹(tracking)할 수 있다.
몇몇 실시예에서, 상기 ROI 보정부는 상기 차량의 차속이 기준 차속보다 크고, 상기 차량의 요레이트가 기준 요레이트보다 작은 때에, 상기 차량이 직진 상태인 것으로 판단할 수 있다.
몇몇 실시예에서, 상기 ROI 보정부는 미리 정해진 주기마다 상기 캡쳐 영상의 상기 ROI를 보정할 수 있다.
몇몇 실시예에서, 상기 ROI 보정부는 상기 차량의 자세가 변화할 때 상기 캡쳐 영상의 상기 ROI를 보정할 수 있다.
몇몇 실시예에서, 상기 차선 이탈 경보 시스템은 상기 차량이 상기 차선을 이탈한 때에 운전자에게 차선 이탈을 경보하는 경보부를 더 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차선 이탈 경보 방법의 일 면은 차량의 전방을 촬영하여 캡쳐 영상을 획득하는 단계, 상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계, 상기 소실점이 ROI 영상의 중앙에 위치하도록 상기 캡쳐 영상의 ROI를 보정하는 단계, 및 상기 보정된 ROI 영상을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함한다.
몇몇 실시예에서, 상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계는, 상기 차량이 직진 상태인 때에 상기 캡쳐 영상 내에서 상기 소실점의 위치를 트래킹하는 것을 포함할 수 있다.
몇몇 실시예에서, 상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계는, 상기 차량의 차속이 기준 차속보다 크고, 상기 차량의 요레이트가 기준 요레이트보다 작은 때에, 상기 차량이 직진 상태인 것으로 판단하는 것을 포함할 수 있다.
몇몇 실시예에서, 상기 차선 이탈 경보 방법은 상기 차량이 상기 차선을 이탈한 때에 운전자에게 차선 이탈을 경보하는 단계를 더 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 차선 이탈 경보 시스템 및 방법의 일 면에 따르면, 차량의 주행 중의 다양한 자세 변화에 대응하여 ROI 영상의 지향각을 소프트웨어적으로 보정하므로, 차선 감지 성능 및 신뢰성이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템을 설명하기 위한 블록도이다.
도 2는 차량의 주행 중의 다양한 자세 변화에 따른 카메라의 지향각의 변화를 설명하기 위한 개념도이다.
도 3은 보정된 ROI 영상을 설명하기 위한 개념도이다.
도 4는 캡쳐 영상의 ROI 보정 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 차선 이탈 경보 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하 첨부된 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 차선 이탈 경보 시스템을 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템(100)은 카메라부(110), 경보부(120), 제어부(130), 차속 센서부(140), 요레이트 센서부(150)을 포함한다.
카메라부(110)는 차량의 전방을 촬영하여 캡쳐 영상을 획득한다. 카메라부(110)는 미리 정해진 주기로 캡쳐 영상을 획득할 수 있다. 예를 들어, 카메라부(110)는 CCD(Charge Coupled Device) 카메라 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 카메라부(110)는 하나의 카메라 장치 또는 복수의 카메라 장치를 포함할 수 있다.
경보부(120)는 제어부(130)로부터 수신되는 경보 명령에 따라 운전자에게 차선 이탈을 경보한다. 예를 들어, 경보부(120)는 디스플레이 장치, 스피커 장치 등의 출력 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 경보부(120)는 디스플레이 장치에 경보 메시지를 표시하거나, 스피커 장치에 경보 음향을 출력하는 등의 방식으로 차선 이탈을 경보할 수 있다. 운전자는 경보 메시지 또는 경보 음향 등을 통해서, 차량의 차선 이탈 사실을 인식할 수 있다.
제어부(130)는 차선 이탈 경보 시스템(100)의 동작을 전반적으로 제어한다. 제어부(130)는 카메라부(110)로부터 캡쳐 영상을 수신하고, 수신된 캡쳐 영상을 이용하여 차량의 차선 이탈 여부를 판단한다. 예를 들어, 제어부(130)는 영상 신호 처리 장치(Image Signal Processor)로 구성될 수 있다. 제어부(130)는 ROI 보정부(131)와 차선 이탈 판단부(132)를 세부 기능 요소로 포함할 수 있다.
ROI 보정부(131)는 캡쳐 영상 내에서 소실점(VP)의 위치를 트래킹할 수 있다. 여기서, 소실점(VP)은 좌측 차선과 우측 차선을 연장하여 만나는 점을 나타낼 수 있다. ROI 보정부(131)는 소실점(VP)이 ROI 영상의 중앙에 위치하도록, 캡쳐 영상의 ROI를 보정할 수 있다. 캡쳐 영상의 ROI 보정에 관한 내용은 도 3 내지 도 4에서 보다 상세하게 설명하기로 한다.
차선 이탈 판단부(132)는 보정된 ROI 영상을 이용하여 차량의 차선 이탈 여부를 판단할 수 있다. 차선 이탈 판단부(132)는 본 발명이 속하는 기술 분야에서 잘 알려진 다양한 방식을 이용하여 차량의 차선 이탈 여부를 판단할 수 있다. 차선 이탈 판단부(132)는 차량이 차선을 이탈한 것으로 판단되는 때에, 경보부(120)에 경보 명령을 송신할 수 있다.
차속 센서부(140)는 차량의 차속을 검출한다. 차속 센서부(140)는 리드 스위치식 차속 센서, 광전식 차속 센서, 전자식 차속 센서 중 적어도 하나를 포함할 수 있다.
요레이트 센서부(150)는 차량의 요레이트를 검출한다. 여기서, 요레이트는 차량의 중심을 통과하는 수직선을 기준으로 차량의 회전각이 변하는 속도를 나타낼 수 있다.
ROI 보정부(131)는 차량이 직진 상태인 때에, 캡쳐 영상 내에서 소실점(VP)의 위치를 트래킹할 수 있다. 이를 위해, ROI 보정부(131)는 차속 센서부(130)로부터 차량의 차속을 수신하고, 요레이트 센서부(150)로부터 차량의 요레이트를 수신할 수 있다. ROI 보정부(131)는 수신된 차량의 차속과 차량의 요레이트를 이용하여 차량의 직진 상태 여부를 판단할 수 있다. 예를 들어, ROI 보정부(131)는 차량의 차속이 기준 차속(Vr)보다 크고, 차량의 요레이트가 기준 요레이트(Yr)보다 작은 때에, 차량이 직진 상태인 것으로 판단할 수 있으나, 이에 한정되는 것은 아니다.
도 2는 차량의 주행 중의 다양한 자세 변화에 따른 카메라의 지향각의 변화를 설명하기 위한 개념도이다.
도 2를 참조하면, 차량이 오르막길을 주행하는 경우(a의 경우), 차체(10)의 무게가 차체(10)의 뒤쪽으로 집중될 수 있다. 이에 따라, 차체(10)의 전방에 설치된 카메라(110)의 지향각(θ1)은, 차량이 평지를 주행하는 경우보다 상승하도록 변화할 수 있다.
한편, 차량이 내리막길을 주행하는 경우(b의 경우), 차체(10)의 무게가 차체(10)의 앞쪽으로 집중될 수 있다. 이에 따라, 차체(10)의 전방에 설치된 카메라(110)의 지향각(θ2)은, 차량이 평지를 주행하는 경우보다 하강하도록 변화할 수 있다.
도 2에는 명확하게 도시하지 않았으나, 차량이 오르막길 또는 내리막길을 주행하는 경우 외에도, 차체(10)의 전방에 설치된 카메라(110)의 지향각은, 차량에 탑승한 인원 및 차량에 탑재된 물건 등에 따라서도 변화할 수 있다.
또한, 차체(10)의 전방에 설치된 카메라(110)의 지향각은, 수직축(예를 들어, 차량의 주행 방향이 x축인 경우 z축)으로 변화할 뿐만 아니라, 수평축(예를 들어, 차량의 주행 방향이 x축인 경우 y축)으로도 변화할 수 있다.
상술한 바와 같이, 차량의 주행 중의 다양한 자세 변화에 따른 카메라의 지향각의 변화를 보정하기 위해서, ROI 보정부(131)는 미리 정해진 주기마다 캡쳐 영상의 ROI를 보정할 수 있다. 또는, ROI 보정부(131)는 차량의 자세가 변화할 때 캡쳐 영상의 ROI를 보정할 수 있다. 이 경우, 차선 이탈 경보 시스템(100)은 차량의 자세 변화를 검출하기 위한 자세 센서(attitude sensor)를 더 포함할 수 있다.
도 3은 보정된 ROI 영상을 설명하기 위한 개념도이다.
도 3을 참조하면, 카메라부(110)가 획득한 캡쳐 영상(Captured Image)과 캡쳐 영상 내의 ROI(Region of Interest)가 도시된다. 카메라부(110)가 획득한 캡쳐 영상의 화각보다, 차선을 검출하기 위한 ROI 영상의 화각이 상대적으로 작을 수 있다. 여기서, ROI 영상이란 캡쳐 영상 내의 ROI에 해당하는 영상을 나타낼 수 있다.
좌측 차선(L)과 우측 차선(R)이 캡쳐 영상의 세로축을 중심으로 하여 위치할 수 있다. ROI 보정부(131)는 캡쳐 영상으로부터 좌측 차선과 우측 차선을 검출할 수 있다. 그리고, ROI 보정부(131)는 캡쳐 영상 내에서 좌측 차선과 우측 차선을 연장하여, 캡쳐 영상의 중앙부에 위치하는 소실점(VP)을 트래킹할 수 있다.
이상적인(ideal) 경우, 소실점(VP)은 캡쳐 영상의 정중앙(center)에 위치할 수 있다. 그러나, 상술한 바와 같이 차량의 주행 중의 다양한 자세 변화에 따라, 카메라의 지향각은 수직축으로 및/또는 수평축으로 변화할 수 있다. 그리고, 이는 소실점(VP)의 위치에 오차를 발생시켜, 차선 감지 성능 및 신뢰성을 떨어뜨릴 수 있다.
본 발명의 실시예에 따른 차선 이탈 경보 시스템(100)은, 캡쳐 영상을 바운더리(boundary)로 두고, 소실점(VP)이 정중앙에 위치하도록 ROI 영상의 지향각을 소프트웨어적으로 보정한다. 구체적으로, ROI 보정부(131)는, 트래킹한 소실점(VP)의 위치를 중심으로 하여 수평축으로 일정한 간격(Δx) 및 수직축으로 일정한 간격(Δy)을 갖도록 캡쳐 영상의 ROI를 보정한다. 이로써, 소실점(VP)을 ROI 영상의 중앙에 위치시키게 되므로, 차선 이탈 경보 시스템(100)의 차선 감지 성능 및 신뢰성이 향상될 수 있다.
도 4는 캡쳐 영상의 ROI 보정 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 캡쳐 영상의 ROI 보정 방법은, 먼저 차량의 차속이 기준 차속(Vr)보다 크고, 차량의 요레이트가 기준 요레이트(Yr)보다 작은지 판단한다(S410).
이어서, 차량의 차속이 기준 차속(Vr)보다 크고, 차량의 요레이트가 기준 요레이트(Yr)보다 작은 때에, 차량이 직진 상태인 것으로 판단하여, 캡쳐 영상 내에서 소실점(VP)의 위치를 트래킹한다(S420). 한편, 차량의 차속이 기준 차속(Vr)보다 크지 않거나, 차량의 요레이트가 기준 요레이트(Yr)보다 작지 않은 때에는, 캡쳐 영상의 ROI 보정을 수행하지 않는다.
이어서, 소실점(VP)이 ROI 영상의 중앙에 위치하도록 캡쳐 영상의 ROI를 보정한다(S430). 트래킹한 소실점(VP)의 위치를 중심으로 하여 수평축으로 일정한 간격(Δx) 및 수직축으로 일정한 간격(Δy)을 갖도록 캡쳐 영상의 ROI를 보정한다.
이하 첨부된 도 5를 참조하여 본 발명의 실시예에 따른 차선 이탈 경보 방법을 설명하기로 한다. 설명의 편의를 위하여, 도 1 내지 도 4와 중복되는 설명은 생략하기로 한다.
도 5는 본 발명의 일 실시예에 따른 차선 이탈 경보 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 차선 이탈 경보 방법은, 먼저 차량의 전방을 촬영하여 캡쳐 영상을 획득한다(S510). 캡쳐 영상은 미리 정해진 주기로 획득할 수 있다.
이어서, 캡쳐 영상의 ROI를 보정한다(S520). 캡쳐 영상의 ROI를 보정하는 단계(S520)는, 도 4를 참조하여 설명한 캡쳐 영상의 ROI 보정 방법의 단계들(S410~430)과 실질적으로 동일할 수 있다.
이어서, 보정된 ROI 영상을 이용하여 차량의 차선 이탈 여부를 판단한다(S530). 본 발명이 속하는 기술 분야에서 잘 알려진 다양한 방식을 이용하여 차량의 차선 이탈 여부를 판단할 수 있다.
이어서, 차량이 차선을 이탈한 때에 운전자에게 차선 이탈을 경보한다(S540). 예를 들어, 디스플레이 장치에 경보 메시지를 표시하거나, 스피커 장치에 경보 음향을 출력하는 등의 방식으로 차선 이탈을 경보할 수 있다.
본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는, 프로세서에 의해 실행되는 하드웨어 모듈, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명의 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 연결되며, 그 프로세서는 기록 매체로부터 정보를 독출할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 사용자 단말기 내에 개별 구성 요소로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 차선 이탈 경보 시스템
110: 카메라부
120: 경보부
130: 제어부
131: ROI 보정부
132: 차선 이탈 판단부
140: 차속 센서부
150: 요레이트 센서부

Claims (10)

  1. 차량의 전방을 촬영하여 캡쳐 영상을 획득하는 카메라부; 및
    상기 캡쳐 영상을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 제어부를 포함하되,
    상기 제어부는 상기 캡쳐 영상 내에서 소실점(vanishing point)의 위치를 트래킹하고, 상기 소실점이 ROI(Region of Interest) 영상의 중앙에 위치하도록 상기 캡쳐 영상의 ROI를 보정하는 ROI 보정부와,
    상기 보정된 ROI 영상을 이용하여 상기 차량의 상기 차선 이탈 여부를 판단하는 차선 이탈 판단부를 포함하되
    상기 ROI 영상은 상기 캡쳐 영상 내의 차선을 검출하기 위한 ROI에 해당하는 영상이고,
    상기 ROI 보정부는 상기 차량의 자세가 변화할 때 상기 캡쳐 영상의 상기 ROI를 보정하는,
    차선 이탈 경보 시스템.
  2. 제1항에 있어서,
    상기 차량의 차속을 검출하는 차속 센서부;
    상기 차량의 요레이트를 검출하는 요레이트 센서부를 더 포함하고,
    상기 ROI 보정부는 상기 차량의 차속과 상기 차량의 요레이트를 이용하여 상기 차량의 직진 상태 여부를 판단하고, 상기 차량이 직진 상태인 때에 상기 캡쳐 영상 내에서 상기 소실점의 위치를 트래킹하는, 차선 이탈 경보 시스템.
  3. 제2항에 있어서,
    상기 ROI 보정부는 상기 차량의 차속이 기준 차속보다 크고, 상기 차량의 요레이트가 기준 요레이트보다 작은 때에, 상기 차량이 직진 상태인 것으로 판단하는, 차선 이탈 경보 시스템.
  4. 제1항에 있어서,
    상기 ROI 보정부는 미리 정해진 주기마다 상기 캡쳐 영상의 상기 ROI를 보정하는, 차선 이탈 경보 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 차량이 상기 차선을 이탈한 때에 운전자에게 차선 이탈을 경보하는 경보부를 더 포함하는, 차선 이탈 경보 시스템.
  7. 차량의 전방을 촬영하여 캡쳐 영상을 획득하는 단계;
    상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계;
    상기 소실점이 ROI 영상의 중앙에 위치하도록 상기 캡쳐 영상의 ROI를 보정하는 단계; 및
    상기 보정된 ROI 영상을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함하되,
    상기 ROI 영상은 상기 캡쳐 영상 내의 차선을 검출하기 위한 ROI에 해당하는 영상이고,
    상기 ROI를 보정하는 단계는,
    상기 차량의 자세가 변화할 때 상기 캡쳐 영상의 상기 ROI를 보정하는 단계를 포함하는,
    차선 이탈 경보 방법.
  8. 제7항에 있어서,
    상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계는, 상기 차량이 직진 상태인 때에 상기 캡쳐 영상 내에서 상기 소실점의 위치를 트래킹하는 것을 포함하는, 차선 이탈 경보 방법.
  9. 제8항에 있어서,
    상기 캡쳐 영상 내에서 소실점의 위치를 트래킹하는 단계는, 상기 차량의 차속이 기준 차속보다 크고, 상기 차량의 요레이트가 기준 요레이트보다 작은 때에, 상기 차량이 직진 상태인 것으로 판단하는 것을 포함하는, 차선 이탈 경보 방법.
  10. 제7항에 있어서,
    상기 차량이 상기 차선을 이탈한 때에 운전자에게 차선 이탈을 경보하는 단계를 더 포함하는, 차선 이탈 경보 방법.
KR1020130086800A 2013-07-23 2013-07-23 차선 이탈 경보 시스템 및 방법 KR101480434B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130086800A KR101480434B1 (ko) 2013-07-23 2013-07-23 차선 이탈 경보 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130086800A KR101480434B1 (ko) 2013-07-23 2013-07-23 차선 이탈 경보 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101480434B1 true KR101480434B1 (ko) 2015-01-08

Family

ID=52588246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130086800A KR101480434B1 (ko) 2013-07-23 2013-07-23 차선 이탈 경보 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101480434B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645717B1 (ko) * 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
CN109204312A (zh) * 2017-07-03 2019-01-15 现代自动车株式会社 Ecu、具有其的自动驾驶车辆及控制该车辆车道变换的方法
US10646203B2 (en) 2015-10-08 2020-05-12 Samsung Medison Co., Ltd. Ultrasound diagnosis method and apparatus for analyzing contrast enhanced ultrasound image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003118616A (ja) * 2001-10-15 2003-04-23 Nissan Motor Co Ltd 車両用舵角検出装置
KR101033948B1 (ko) * 2004-02-18 2011-05-11 현대자동차주식회사 차선 이탈 경보 시스템
KR101268282B1 (ko) * 2011-01-27 2013-05-28 팅크웨어(주) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR101285075B1 (ko) * 2011-11-24 2013-07-17 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003118616A (ja) * 2001-10-15 2003-04-23 Nissan Motor Co Ltd 車両用舵角検出装置
KR101033948B1 (ko) * 2004-02-18 2011-05-11 현대자동차주식회사 차선 이탈 경보 시스템
KR101268282B1 (ko) * 2011-01-27 2013-05-28 팅크웨어(주) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR101285075B1 (ko) * 2011-11-24 2013-07-17 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645717B1 (ko) * 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
US10646203B2 (en) 2015-10-08 2020-05-12 Samsung Medison Co., Ltd. Ultrasound diagnosis method and apparatus for analyzing contrast enhanced ultrasound image
CN109204312A (zh) * 2017-07-03 2019-01-15 现代自动车株式会社 Ecu、具有其的自动驾驶车辆及控制该车辆车道变换的方法

Similar Documents

Publication Publication Date Title
US11702088B2 (en) Vehicular driving assist system with sensor offset correction
US10032369B2 (en) Vehicle vision system with traffic monitoring and alert
JP4962581B2 (ja) 区画線検出装置
US10055651B2 (en) Vehicle vision system with enhanced lane tracking
KR101219730B1 (ko) 카메라를 이용한 운전 부주의 경보 방법 및 장치
US10276040B2 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US20180082133A1 (en) Method of detecting an overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle
WO2010067770A1 (ja) 立体物出現検知装置
US20160162743A1 (en) Vehicle vision system with situational fusion of sensor data
WO2013011952A1 (ja) 車線認識装置
JP2018022234A (ja) 画像処理装置、外界認識装置
JP5054612B2 (ja) 接近物検出装置および接近物検出方法
US10671868B2 (en) Vehicular vision system using smart eye glasses
US10583779B2 (en) Parking assist system using backup camera
JP2015139128A (ja) 車両用周辺監視装置
JPWO2013161024A1 (ja) 蛇行判定装置
KR100435654B1 (ko) 자동차의 차선 이탈 방지를 위한 제어 방법
KR101480434B1 (ko) 차선 이탈 경보 시스템 및 방법
JP2010146478A (ja) 物体検出装置
JP4856525B2 (ja) 先行車両離脱判定装置
JP2009298362A (ja) 車両の車線逸脱警報装置
KR101487937B1 (ko) 차량 주변 물체 감지 장치 및 방법
US11794536B2 (en) Vehicle control system and vehicle control method for determining chance of collision
KR20150022260A (ko) 스마트 폰을 이용한 운전자 보조 시스템 및 방법
US9527467B2 (en) Control device for vehicle

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 6