KR102224234B1 - 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법 - Google Patents

운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법 Download PDF

Info

Publication number
KR102224234B1
KR102224234B1 KR1020190080531A KR20190080531A KR102224234B1 KR 102224234 B1 KR102224234 B1 KR 102224234B1 KR 1020190080531 A KR1020190080531 A KR 1020190080531A KR 20190080531 A KR20190080531 A KR 20190080531A KR 102224234 B1 KR102224234 B1 KR 102224234B1
Authority
KR
South Korea
Prior art keywords
lane
driver
state
proximity
angle
Prior art date
Application number
KR1020190080531A
Other languages
English (en)
Other versions
KR20210004302A (ko
Inventor
임상묵
박광일
김진혁
Original Assignee
(주)에이아이매틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이아이매틱스 filed Critical (주)에이아이매틱스
Priority to KR1020190080531A priority Critical patent/KR102224234B1/ko
Priority to PCT/KR2019/008213 priority patent/WO2021002520A1/ko
Priority to US16/905,505 priority patent/US11014579B2/en
Publication of KR20210004302A publication Critical patent/KR20210004302A/ko
Application granted granted Critical
Publication of KR102224234B1 publication Critical patent/KR102224234B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G06K9/00248—
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법에 관한 것으로서, (a) 차선 인식 카메라에서 촬영된 영상으로부터 차량 주변의 차선을 인식하여 차선 정보를 추출하는 단계; (b) 운전자 인식 카메라에서 촬영된 영상으로부터 운전자 안면 특징점을 추출하는 단계; (c) 상기 차선 정보로부터, 차량이 좌측 차선 또는 우측 차선을 이탈한 차선 이탈 상태, 차량이 좌측 차선 또는 우측 차선의 내측으로 소정의 제1 거리에 위치한 제1 근접선(520)을 침범하는 차선 근접도1 상태, 및 차량이 좌측 차선 또는 우측 차선의 내측으로 상기 제1 거리에 비해 큰 소정의 제2 거리에 위치한 제2 근접선(510)을 침범하는 차선 근접도2 상태 중 어느 하나의 상태인지를 판단하는 단계; (d) 상기 단계(c)에서 상기 차선 이탈 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 추출한 운전자 안면 기울기가 차량 전방을 중심축으로 하여 소정의 제1 각도를 초과하는 경우 경보를 발생시키는 단계; (e) 상기 단계(c)에서 상기 차선 근접도1 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제1 각도보다 큰 소정의 제2 각도를 초과하는 경우 경보를 발생시키는 단계; 및 (f) 상기 단계(c)에서 상기 차선 근접도2 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제2 각도보다 큰 소정의 제3 각도를 초과하는 경우 경보를 발생시키는 단계를 포함한다.
본 발명에 따르면, 차선 이탈 상태 및 차선 근접 상태를 구분하여 검출하며, 운전자의 안면 특징점을 이용하여 운전자의 안면 기울기를 측정하고, 차선 이탈 상태에서는 안면 기울기가 제1 각도를 초과하는 경우 경보를 발생시키며, 차선 근접 상태에서는 안면기울기가 제1 각도보다 큰 제2 각도를 초과하는 경우 경보를 발생시킴으로써, 불필요한 경보를 방지하는 동시에 전방 주시 태만 시에 조기 경보를 수행하여 안전 운전을 도모할 수 있도록 하는 효과가 있다.

Description

운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법{LANE DEPARTURE WARNING DETERMINATION METHOD USING DRIVER STATE MONITORING}
본 발명은 운전자 상태 모니터링을 이용하여 차선 이탈 경보 여부를 판단하는 방법에 관한 것으로서, 보다 상세하게는 운전자의 졸음 운전이나 전방 미주시 정도를 모니터링하여 차선 이탈 경보 또는 차선 근접 경보를 수행함으로써 안전 운전을 도모할 수 있도록 한 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법에 관한 것이다.
ADAS(Advanced Driver Assistance System)는 운전 중 발생할 수 있는 상황을 차량 스스로 인지하고 상황을 판단하여 구동 장치와 차량 탑재 장치 등을 제어하는 기술이다. ADAS는 복잡한 차량 제어 프로세스에서 운전자를 돕고 보완하며, 궁극적으로는 자율주행 기술의 토대를 위해 개발되었다.
ADAS 중의 하나로서 차선 이탈 경보 시스템(LDWS: Lane Departure Warning system)은 차량에 설치된 카메라에서 전방 또는 전방과 주변 도로를 촬영하여 차선을 인식하고, 차선이 이탈되는 경우 경보를 울리는 장치이다. 종래 많은 LDWS는 차선 인식 기술 및 차선 이탈 여부를 판단하는 기술 방향으로 발전되어 왔다. 대한민국 특허등록 제10-0355993호 "차선 이탈 경보장치 및 방법", 대한민국 특허등록 제10-1018033호 "차선 이탈 경보 방법 및 시스템", 대한민국 특허등록 제10-1031846호 "도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법", 대한민국 등록특허 제10-1067437호 "차선 검출방법 및 이를 이용한 차선 이탈 검출시스템", 대한민국 등록특허 제10-1392850호 "영상인식 기반의 차선 이탈 감지 방법 및 시스템" 등은 그러한 차선 인식, 차선 이탈 판단에 대하여 기재하고 있다.
그런데, 종래의 차선 이탈 경보 시스템의 문제점 중 하나는 잦은 경보이다. 예를 들어, 운전자가 정상적으로 차선을 변경하고자 하는 의도를 가질 경우, 차선 이탈 경보는 제한될 필요가 있다. 운전자의 의도에 반하는 경보는 자칫 운전 집중도를 저하시킬 수 있기 때문이다.
대부분의 완성차 업체에서는 방향 지시등이 작동하지 않는 경우에만 차선 이탈 경보를 실행하는 것으로 불필요한 경보를 제한하고 있다. 하지만, 주변에 차량이 없는 경우, 또는, 운전자들이 방향 지시등을 조작하지 않는 운전 습관을 가진 경우 등 많은 경우에 있어서 운전자의 차선 변경 의도와 수반되어 방향 지시등이 조작되지 않는 경우가 있다.
따라서 불필요한 차선 이탈 경보를 방지하는 강화된 방안이 요구되고 있다.
대한민국 특허등록 제10-0355993호 대한민국 특허등록 제10-1018033호 대한민국 특허등록 제10-1031846호 대한민국 등록특허 제10-1067437호 대한민국 등록특허 제10-1392850호
본 발명은 방향 지시등의 작동 여부와 무관하게 운전자의 상태를 모니터링하여 차선 이탈 경보를 발생시키며, 차선 이탈 상태 및 차선 근접 상태를 구분하여 검출하고, 차선 이탈 시에는 운전자의 전방 주시도를 엄격하게 판정하여 경보를 발생시키며, 차선 근접 시에는 운전자의 전방 주시도를 완화하여 판정하여 경보를 발생시킴으로써, 불필요한 경보를 방지하는 동시에 전방 주시 태만 시에 조기 경보를 수행할 수 있으며, 궁극적으로는 안전 운전을 도모할 수 있도록 한 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 제공함에 그 목적이 있다.
본 발명의 일실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, (a) 차선 인식 카메라에서 촬영된 영상으로부터 차량 주변의 차선을 인식하여 차선 정보를 추출하는 단계; (b) 운전자 인식 카메라에서 촬영된 영상으로부터 운전자 안면 특징점을 추출하는 단계; (c) 상기 차선 정보로부터, 차량이 좌측 차선 또는 우측 차선을 이탈한 차선 이탈 상태, 차량이 좌측 차선 또는 우측 차선의 내측으로 소정의 제1 거리에 위치한 제1 근접선(520)을 침범하는 차선 근접도1 상태, 및 차량이 좌측 차선 또는 우측 차선의 내측으로 상기 제1 거리에 비해 큰 소정의 제2 거리에 위치한 제2 근접선(510)을 침범하는 차선 근접도2 상태 중 어느 하나의 상태인지를 판단하는 단계; (d) 상기 단계(c)에서 상기 차선 이탈 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 추출한 운전자 안면 기울기가 차량 전방을 중심축으로 하여 소정의 제1 각도를 초과하는 경우 경보를 발생시키는 단계; (e) 상기 단계(c)에서 상기 차선 근접도1 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제1 각도보다 큰 소정의 제2 각도를 초과하는 경우 경보를 발생시키는 단계; 및 (f) 상기 단계(c)에서 상기 차선 근접도2 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제2 각도보다 큰 소정의 제3 각도를 초과하는 경우 경보를 발생시키는 단계를 포함한다.
본 발명의 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 상기 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 상기 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 상기 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함한다.
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 안면 기울기는 상기 양안 각각의 끝점 위치 정보, 상기 눈동자 위치 정보, 상기 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 상기 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정된다.
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 제1 각도는 13도 내지 17도의 범위에서 선택되며, 상기 제2 각도는 28도 내지 32도의 범위에서 선택되며, 상기 제3 각도는 38도 내지 42도의 범위에서 선택된다.
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 단계(c)에서 상기 차선 이탈 상태, 상기 차선 근접도1 상태, 및 상기 차선 근접도2 상태 중 어느 하나의 상태로 판단되는 경우, 상기 운전자의 안면 특징점으로부터 운전자가 졸음 운전 상태 또는 운전자 미인식 상태로 인식되면 경보를 발생시키는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 졸음 운전 상태는 상기 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정되거나, 상기 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 상기 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지를 판단하여 결정된다.
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 미인식 상태는 상기 운전자의 얼굴 윤곽선의 위치 정보가 허용치 이상으로 변경되는 경우 결정된다.
본 발명의 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법에 따르면, 차선 이탈 상태 및 차선 근접 상태를 구분하여 검출하며, 운전자의 안면 특징점을 이용하여 운전자의 안면 기울기를 측정하고, 차선 이탈 상태에서는 안면 기울기가 제1 각도를 초과하는 경우 경보를 발생시키며, 차선 근접 상태에서는 안면기울기가 제1 각도보다 큰 제2 각도를 초과하는 경우 경보를 발생시킴으로써, 불필요한 경보를 방지하는 동시에 전방 주시 태만 시에 조기 경보를 수행하여 안전 운전을 도모할 수 있도록 하는 효과가 있다.
도 1은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현하기 위한 장치 구성을 예시한 블록도,
도 2a 내지 2d는 차량의 차선 근접 및 차선 이탈 상태를 예시한 도면,
도 3a 및 3b는 운전자의 정상 상태 및 운전자가 미인식 되는 상태를 예시한 도면,
도 4a 및 4b는 운전자의 정상 상태 및 전방 미주시 상태를 예시한 도면,
도 5a 및 5b는 운전자의 정상 상태 및 졸음 운전 상태를 예시한 도면, 및
도 6은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 예시한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 종래 경보 억제 방법과 달리 운전자의 상태, 예컨대, 졸음 운전 상태, 운전자 미인식 상태, 운전자 전방 미주시 상태에 따라 경보 여부를 판단한다. 따라서 차량이 방향 지시등의 동작 없이 차선을 이탈하거나 차선에 근접하는 경우에도 운전자가 정상적인 주의로 운전하는 경우 경보를 억제할 수 있다.
나아가, 본 발명의 차선 이탈 경보 판단 방법은 차선 이탈 상태 및 차선 근접 상태에 따라 각기 다른 판단 기준으로 경보 발생 여부를 결정한다. 이하에서 구체적으로 설명하겠지만, 차량이 차선을 이탈한 상태에서는 엄격한 기준으로 운전자의 전방 미주시 상태를 판단한다. 실시예에서 운전자의 안면 기울기가 소정의 제1 각도(예컨대, 13 내지 17도에서 선택된 각도)를 초과하는 경우 경보를 발생시킨다. 차량이 차선에 근접되는 상태에서는 보다 완화된 기준으로 운전자의 전방 미주시 상태를 판단한다. 실시예에서 운전자의 안면 기울기가 제1 각도보다 큰 제2 각도(예컨대, 28 내지 32도에서 선택된 각도)를 초과하는 경우 경보를 발생시킨다. 따라서 불필요한 경보를 억제하는 동시에 운전자의 전방 미주시에 의한 차선 이탈 위험을 조기에 경보할 수 있게 된다.
도 1은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현하기 위한 장치 구성을 예시한 블록도이다.
도 1을 참조하면, 본 발명의 차선 이탈 경보 판단 방법을 구현하기 위해, 차량에는 차선 인식 카메라(110)와 운전자 인식 카메라(210)가 설치되며, 각 카메라에서 촬영된 영상으로부터 차선 정보를 추출하고 차선 근접도 및 이탈 여부를 판단하는 수단과 운전자 안면 특징점을 추출하고 운전자 이탈 상태, 전방 미주시 상태 졸음 운전 상태를 판단하는 수단이 구비된다.
차선 인식 카메라(110)는 차량 전방에 설치되는 카메라를 포함한다. 차량 전방에 설치된 카메라는 차량의 주행 도로 상의 도로 표면을 촬영하는 수단이다. 추가로, 차선 인식 카메라(110)는 차량 주변을 모니터링하기 위한 카메라, 예컨대, 측방 카메라 및 후방 카메라를 더 포함할 수 있다.
차선 정보 추출부(120)는 차선 인식 카메라(110)에서 촬영된 영상으로부터 차선과 관련된 정보들을 추출한다. 예컨대, 차선에 해당되는 에지 성분을 추출하고, 추출된 에지 성분들로부터 차선 후보 객체를 결정한다. 그리고, 차선 후보 객체를 허프 변환 등으로 변환하며, 필터링하여 최종 차선을 결정한다. 차선 정보 추출부(120)가 차선 정보를 추출하는 과정은 배경기술에서 열거된 선행특허들에 관련 기술이 잘 기재되어 있으며, 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현함에 있어, 차선 정보 추출 기술은 알려진 기술 중 어떤 기술을 적용하여도 무방하다.
차선 근접도 판단부(130)는 차량이 차선에 근접된 정도를 판단하는 수단이다. 예컨대, 차량의 GPS 정보를 보정하여 차선의 정확한 위치를 산출한 후에 차선의 위치에 대한 근접도를 판단할 수 있다. 다른 예로서, 차선에 대한 상대적 위치를 영상 인식을 바탕으로 연산하는 것으로 차선 근접도를 판단할 수 있다.
차선 이탈 판단부(140)는 차량이 차선을 이탈했는지 여부를 판단하는 수단이다. 차량의 좌측 바퀴가 좌측 차선을 침범했는지, 또는, 우측 바퀴가 우측 차선을 침범했는지 여부를 판단한다. 예를 들어, 차선 정보 추출부(120)에서 양측 차선의 폭을 연산하고, 차량의 폭 정보와 좌우측 차선에 대한 근접도 등을 이용하여 차선 이탈 여부를 판단할 수 있다. 그리고 차량 내 장치된 자이로 센서 등에서 검출된 차량의 기울기 상태 등을 추가로 고려하여 차선 이탈 여부를 판단할 수 있다.
도 2a 내지 2d는 차량의 차선 근접 및 차선 이탈 상태를 예시한 도면이다. 도 2a 내지 2d를 참조하여 본 발명에서 차선 근접도 및 차선 이탈 상태를 판단하는 과정에 대하여 설명한다. 도시된 예시는 차량이 양측의 차선과 충분한 공간을 두어 위치된 상태를 도시하였으나, 이는 발명의 이해를 돕기 위한 예시일 뿐이며 본 발명을 특정하는 예시는 아니다.
도 2a는 차량(500)이 양측 차선(530)의 중앙에 위치한 상태로 주행하는 상태를 예시하고 있다. 이 경우, 차선 이탈 경보는 발생되지 않는다.
도 2b는 차량(500)이 제2 근접선(510)을 침범한 상태를 예시하고 있다. 이하의 실시예에서, 차량(500)이 제2 근접선(510)을 침범한 상태를 차량이 차선 근접도2에 도달한 상태로 지칭하여 설명한다. 본 발명에서는 차량이 차선 근접도2에 도달한 상태에서 운전자의 전방 주시 상태가 매우 불량한 경우(즉, 전방 주시 상태에 대하여 완화된 제한을 두어) 경보를 발생시킨다. 따라서, 실제 차선 이탈이 일어나기 전에 조기 경보를 하여 운전자의 경각심을 일깨운다.
도 2c는 차량(500)이 제1 근접선(520)을 침범한 상태를 예시하고 있다. 이하의 실시예에서, 차량(500)이 제1 근접선(520)을 침범한 상태를 차량이 차선 근접도1에 도달한 상태로 지칭하여 설명한다. 본 발명에서는 차량이 차선 근접도1에 도달한 상태에서 운전자의 전방 주시 상태가 불량한 경우(즉, 차선 근접도2에 비해 강화된 제한을 두어) 경보를 발생시킨다. 따라서, 차선 이탈이 실제 발생할 수 있는 상황 직전에 조기 경보를 할 수 있다.
도 2d는 차량(500)이 차선(530)을 이탈한 상태를 예시하고 있다. 이와 같은 차선 이탈 상태에서는 운전자의 전방 주시 상태가 미미하게 불안한 경우(즉, 매우 엄격한 제한을 두어) 경보를 발생시킨다.
다시 도 2를 참조하면, 운전자 인식 카메라(210)는 차량 내부에서 운전자를 지향하여 설치되는 카메라로서, 운전자의 얼굴을 촬영하기 위한 수단이다.
운전자 안면 특징점 추출부(220)는 운전자 인식 카메라(210)에서 촬영된 영상으로부터 운전자 안면 특징점을 추출한다. 도 3 내지 도 5에 도시된 바와 같이, 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함한다.
운전자 이탈 판단부(230)는 운전자가 운전석에서 이탈했는지 여부를 판단하는 수단이다. 예를 들어, 운전자가 차량 바닥에 떨어진 물건을 줍기 위해 고개를 숙인 경우 등을 검출하는 수단으로, 운전자의 얼굴 윤곽선 위치 정보가 허용치 이상으로 변경되는 경우 운전자 미인식 상태로 결정한다.
도 3a는 운전자의 정상 상태를 예시하고 있는데 반해, 도 3b는 얼굴 윤곽선이 검출되어야 하는 위치에 운전자의 얼굴 윤곽선과 얼굴 윤곽선 내의 특징점이 검출되지 않는 상태를 예시하고 있다. 도 3b는 발명의 이해를 돕기 위해 운전자의 얼굴이 전혀 검출되지 않는 상태를 예시하고 있지만, 도 3b의 점선 내에 운전자의 얼굴 윤곽선이 50% 미만으로 검출되거나, 상기한 운전자 안면 특정점들 중 30% 이상이 미검출 되는 상태를 운전자 미인식 상태로 결정할 수 있다.
전방 미주시 판단부(240)는 운전자 안면 특징점을 이용하여 운전자의 전방 미주시 상태를 판단하는 수단이다. 본 발명에서 전방 미주시 상태는 운전자의 안면 기울기로 판단하며, 운전자의 안면 기울기에 따라 복수의 단계로 전방 미주시 상태를 결정한다.
운전자 안면 기울기는 운전자 안면 특징점들 중 양안 각각의 끝점 위치 정보, 눈동자 위치 정보, 코의 돌출 시작점 및 돌출 끝점 위치 정보, 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정된다.
도 4a는 운전자의 정상 상태로서, 운전자 안면 기울기가 0도인 상태를 예시하고 있다. 이와 대비하여, 도 4b는 안면 기울기가 소정 각도로 경사진 상태(운전자를 기준으로 우측으로 틀어진 상태)를 예시하고 있다.
이하의 실시예에서 운전자 안면 기울기가 제1 각도(예컨대, 15도)를 초과하는 상태를 제1 전방 미주시 상태로 지칭한다. 그리고, 운전자 안면 기울기가 제2 각도(예컨대, 30도)를 초과하는 상태를 제2 전방 미주시 상태로 지칭한다. 운전자 안면 기울기가 제3 각도(예컨대, 40도)를 초과하는 상태를 제3 전방 미주시 상태로 지칭한다.
졸음 운전 판단부(250)는 운전자의 졸음 상태 여부를 판단하는 수단이다. 졸음 운전 상태는 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정될 수 있다. 다른 예로서, 졸음 운전 상태는 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지(예를 들어, 운전자가 하품을 하는 경우 등과 같이)를 판단하여 결정될 수 있다.
도 5a에 예시된 운전자 정상 상태와 대비하여, 도 5b는 운전자가 졸음 운전을 하는 상태를 예시하고 있으며, 졸음 운전 판단부(250)는 이와 같은 운전자 졸음 상태를 검출한다.
도 6은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 예시한 흐름도이다. 도 6을 참조하여, 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 설명하면 다음과 같다.
단계 ST110에서 차선 인식 카메라(110)로 촬영된 영상으로부터 차선을 인식하는 것으로 프로세스가 시작된다(ST110). 그리고, 차선 정보 추출부(120)는 촬영된 영상으로부터 차선 정보를 추출한다(ST120). 한편, 이와 병행하여 운전자 안면 특징점 추출부(220)는 운전자 인식 카메라(210)에서 촬영된 영상으로부터 운전자 안면 특징점을 추출한다. 그리고, 운전자 이탈 판단부(230)는 운전자 미인식 상태를, 전방 미주시 판단부(240)는 상기한 제1 전방 미주시 상태 내지 제3 전방 미주시 상태를, 졸음 운전 판단부(250)는 운전자 졸음 상태를 각각 판단한다.
추출된 차선 정보를 이용하여, 차선 이탈 상태인지 여부를 판단하고(ST130), 차선 근접도1에 도달했는지 여부를 판단하고(ST140), 차선 근접도2에 도달했는지 여부를 판단한다(ST150).
차선 이탈 상태, 차선 근접도1 상태, 차선 근접도2 상태 중 어느 하나의 상태에 도달한 경우에도 졸음 운전이 검출되거나 운전자 미인식 상태가 검출되면(ST160, ST170, ST180), 경보를 발생시킨다(ST230). 만약, 졸음 운전 상태나 운전자 미인식 상태가 검출되지 않는다면 다음 단계(ST190, ST210, ST220)로 진행된다.
본 발명에서는 운전자의 안면 기울기에 따라 각기 다른 경보 억제 기준을 갖는다. 먼저, 차선 이탈 상태에서 안면 기울기가 제1 각도를 초과했는지 여부를 판단한다(ST190). 안면 기울기가 약간이라도 변경된다면 단계 ST230으로 진행하여 경보를 발생시킨다. 즉, 차선 이탈 상태에서는 경보 발생 기준을 엄격하게 한다.
만약, 차량이 차선 근접도1에 도달한 상태라면, 안면 기울기가 제2 각도를 초과했는지 여부를 판단하고(ST210), 판단 결과 '예'로 판단되면 경보를 발생시킨다(ST230). 제2 각도는 제1 각도에 비해 큰 값을 갖는 각도로서, 운전자의 안면 기울기가 좀 더 틀어진 경우에, 즉, 차선 이탈 상태에 비해 좀 더 완화된 기준을 가지고 경보를 발생시킨다.
만약, 차량이 차선 근접도2에 도달한 상태라면, 안면 기울기가 제3 각도를 초과했는지 여부를 판단하고(ST220), 판단 결과 '예'로 판단되면 경보를 발생시킨다(ST230). 제3 각도는 제2 각도에 비해 큰 값을 갖는 각도로서, 운전자의 안면 기울기가 상당히 틀어진 경우에, 조기 경보를 하여 실체 차선 이탈이 발생되기 전에 경보가 발생될 수 있도록 한다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.
110 : 차선 인식 카메라 120 : 차선 정보 추출부
130 : 차선 근접도 판단부 140 : 차선 이탈 판단부
210 : 운전자 인식 카메라 220 : 운전자 안면 특징점 추출부
230 : 운전자 이탈 판단부 240 : 전방 미주시 판단부
250 : 졸음 운전 판단부 300 : 경고부
500 : 차량 510 : 제2 근접선
520 : 제1 근접선 530 : 차선

Claims (7)

  1. (a) 차선 인식 카메라에서 촬영된 영상으로부터 차량 주변의 차선을 인식하여 차선 정보를 추출하는 단계;
    (b) 운전자 인식 카메라에서 촬영된 영상으로부터 운전자 안면 특징점을 추출하는 단계;
    (c) 상기 차선 정보로부터, 차량이 좌측 차선 또는 우측 차선을 이탈한 차선 이탈 상태, 차량이 좌측 차선 또는 우측 차선의 내측으로 소정의 제1 거리에 위치한 제1 근접선(520)을 침범하는 차선 근접도1 상태, 및 차량이 좌측 차선 또는 우측 차선의 내측으로 상기 제1 거리에 비해 큰 소정의 제2 거리에 위치한 제2 근접선(510)을 침범하는 차선 근접도2 상태 중 어느 하나의 상태인지를 판단하는 단계;
    (d) 상기 단계(c)에서 상기 차선 이탈 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 추출한 운전자 안면 기울기가 차량 전방을 중심축으로 하여 소정의 제1 각도를 초과하는 경우 경보를 발생시키는 단계;
    (e) 상기 단계(c)에서 상기 차선 근접도1 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제1 각도보다 큰 소정의 제2 각도를 초과하는 경우 경보를 발생시키는 단계; 및
    (f) 상기 단계(c)에서 상기 차선 근접도2 상태로 판단되는 경우, 상기 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제2 각도보다 큰 소정의 제3 각도를 초과하는 경우 경보를 발생시키는 단계
    를 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  2. 제1항에 있어서,
    상기 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 상기 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 상기 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 상기 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  3. 제2항에 있어서,
    상기 운전자 안면 기울기는 상기 양안 각각의 끝점 위치 정보, 상기 눈동자 위치 정보, 상기 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 상기 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  4. 제3항에 있어서,
    상기 제1 각도는 13도 내지 17도의 범위에서 선택되며, 상기 제2 각도는 28도 내지 32도의 범위에서 선택되며, 상기 제3 각도는 38도 내지 42도의 범위에서 선택되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 단계(c)에서 상기 차선 이탈 상태, 상기 차선 근접도1 상태, 및 상기 차선 근접도2 상태 중 어느 하나의 상태로 판단되는 경우, 상기 운전자의 안면 특징점으로부터 운전자가 졸음 운전 상태 또는 운전자 미인식 상태로 인식되면 경보를 발생시키는 단계를 더 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  6. 제5항에 있어서,
    상기 졸음 운전 상태는 상기 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정되거나, 상기 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 상기 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지를 판단하여 결정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
  7. 제5항에 있어서,
    상기 운전자 미인식 상태는 상기 운전자의 얼굴 윤곽선의 위치 정보가 허용치 이상으로 변경되는 경우 결정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
KR1020190080531A 2019-07-04 2019-07-04 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법 KR102224234B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190080531A KR102224234B1 (ko) 2019-07-04 2019-07-04 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법
PCT/KR2019/008213 WO2021002520A1 (ko) 2019-07-04 2019-07-04 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법
US16/905,505 US11014579B2 (en) 2019-07-04 2020-06-18 Lane departure warning determination method using driver state monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080531A KR102224234B1 (ko) 2019-07-04 2019-07-04 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법

Publications (2)

Publication Number Publication Date
KR20210004302A KR20210004302A (ko) 2021-01-13
KR102224234B1 true KR102224234B1 (ko) 2021-03-08

Family

ID=74065172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080531A KR102224234B1 (ko) 2019-07-04 2019-07-04 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법

Country Status (3)

Country Link
US (1) US11014579B2 (ko)
KR (1) KR102224234B1 (ko)
WO (1) WO2021002520A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004437A1 (en) * 2019-07-05 2021-01-14 Huawei Technologies Co., Ltd. Method and system for predictive control of vehicle using digital images
US20220297683A1 (en) * 2021-03-19 2022-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle guard rail system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150307096A1 (en) 2010-12-15 2015-10-29 Toyota Jidosha Kabushiki Kaisha Driving support apparatus, driving support method, and vehicle
JP6304785B2 (ja) 2014-05-23 2018-04-04 本田技研工業株式会社 走行支援装置及び走行支援装置の制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355993B1 (ko) 2000-03-02 2002-10-12 엔알디테크 주식회사 차선 이탈 경보장치 및 방법
KR100355933B1 (ko) 2000-12-16 2002-10-12 삼성전기주식회사 Ｘ7ｒ 특성 적층 칩캐퍼시터용 티탄산바륨 파우더 제조방법
KR101018033B1 (ko) 2009-01-20 2011-03-02 (주)아이머큐리 차선 이탈 경보 방법 및 시스템
KR101067437B1 (ko) 2009-10-29 2011-09-27 한국기술교육대학교 산학협력단 차선검출방법 및 이를 이용한 차선이탈검출시스템
KR101500016B1 (ko) * 2009-12-03 2015-03-09 현대자동차주식회사 차선 이탈 경보 방법
KR101031846B1 (ko) 2010-07-05 2011-05-02 (주)베라시스 도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법
KR20120074820A (ko) * 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
KR101344885B1 (ko) * 2011-11-14 2013-12-26 주식회사 만도 차량의 안전 주행 장치 및 그 제어 방법
KR20130053783A (ko) * 2011-11-16 2013-05-24 엘지이노텍 주식회사 운전자 상태 인식 카메라 모듈
KR101392850B1 (ko) 2012-04-04 2014-05-09 모본주식회사 영상인식 기반의 차선 이탈 감지 방법 및 시스템
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR102433791B1 (ko) * 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법
KR101950476B1 (ko) * 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
US10867195B2 (en) * 2018-03-12 2020-12-15 Microsoft Technology Licensing, Llc Systems and methods for monitoring driver state

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150307096A1 (en) 2010-12-15 2015-10-29 Toyota Jidosha Kabushiki Kaisha Driving support apparatus, driving support method, and vehicle
JP6304785B2 (ja) 2014-05-23 2018-04-04 本田技研工業株式会社 走行支援装置及び走行支援装置の制御方法

Also Published As

Publication number Publication date
US11014579B2 (en) 2021-05-25
US20210001875A1 (en) 2021-01-07
KR20210004302A (ko) 2021-01-13
WO2021002520A1 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
EP2908726B1 (en) Method and device for detecting decreased attentiveness of vehicle driver
US9542847B2 (en) Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
US20150371542A1 (en) Warning device and travel control device
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
US20150294547A1 (en) Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
JP3818641B2 (ja) 車両用走路判定装置および車両制御装置
JP2010125923A (ja) 緊急退避装置
KR102224234B1 (ko) 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법
US20180190121A1 (en) Method and apparatus for pedestrian collision mitigation
JP2009294753A (ja) 画像処理装置および画像処理方法
CN112119438A (zh) 车辆用后侧方警报装置和车辆用后侧方警报方法
US20170073006A1 (en) Vehicle behavior detection device
JP2009298362A (ja) 車両の車線逸脱警報装置
WO2018168097A1 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
KR101480431B1 (ko) 차선 이탈 경고 장치 및 방법
JP6398182B2 (ja) 信号情報提示装置
JP2006146956A (ja) 車両用走路判定装置
JP4066869B2 (ja) 車両用画像処理装置
JP6500813B2 (ja) 車両用運転評価装置
KR101499455B1 (ko) 차량의 차선 이탈 경보 장치 및 방법
KR20180024479A (ko) 전방 차량과의 거리 표시장치
JP2018147232A (ja) 報知装置
JP2021077137A (ja) 運転者状態推定装置
KR20200040153A (ko) 후방 경보 장치, 그 방법 및 제어 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant