KR101344885B1 - 차량의 안전 주행 장치 및 그 제어 방법 - Google Patents

차량의 안전 주행 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101344885B1
KR101344885B1 KR1020110118282A KR20110118282A KR101344885B1 KR 101344885 B1 KR101344885 B1 KR 101344885B1 KR 1020110118282 A KR1020110118282 A KR 1020110118282A KR 20110118282 A KR20110118282 A KR 20110118282A KR 101344885 B1 KR101344885 B1 KR 101344885B1
Authority
KR
South Korea
Prior art keywords
driver
driving
information
vehicle
image
Prior art date
Application number
KR1020110118282A
Other languages
English (en)
Other versions
KR20130052930A (ko
Inventor
김명우
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020110118282A priority Critical patent/KR101344885B1/ko
Publication of KR20130052930A publication Critical patent/KR20130052930A/ko
Application granted granted Critical
Publication of KR101344885B1 publication Critical patent/KR101344885B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자의 3차원 얼굴 영상을 검출하는 제1영상 검출부; 차량의 전방 영상을 검출하는 제2영상 검출부; 3차원 얼굴 영상 및 전방 영상 중 적어도 하나의 영상에 기초하여 운전자의 운전 상태를 판단하는 판단부; 운전 상태가 비정상이면 차선 및 차간 거리를 유지 제어하는 주행 제어부를 포함한다.
본 발명은 3차원의 얼굴 영상을 이용하여 운전자 얼굴의 정확한 위치와 눈, 코, 입, 안경 등의 다양한 정보를 얻을 수 있어 비정상적인 운행을 용이하게 판단할 수 있다.

Description

차량의 안전 주행 장치 및 그 제어 방법 {The apparatus of safety driving for vehicle and method for controlling the same}
본 발명은 운전자의 상황 및 차량의 주행 상황을 인식하여 안전적인 주행을 유지하기 위한 차량의 안전 주행 장치 및 그 제어 방법에 관한 것이다.
차량에는 운전자 및 탑승자의 안전을 위하여 여러 가지 안전장치들이 마련되어 있으며, 각 안전장치들은 독립적으로 해당 기능을 수행한다.
차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 제어하는 차량자세 안정 제어 장치(ESC: Electronic Stability Control), 각 차륜의 타이어의 내구성ㅇ승차감ㅇ제동력 향상을 위해 각 타이어의 압력 및 온도 정보를 운전자에게 알려 주는 타이어 압력 모니터링 장치(TPMS: Tire pressure monitoring system) 등 여러 종류의 안전장치들이 있다.
이 중 에어백 제어 장치는 자동차의 운전자를 충돌 충격 등으로부터 보호하기 위해 스티어링 휠의 내부에 에어백이 장착되는 구조를 갖는다.
이와 같은 에어백 제어 장치는 차량이 일정 강도 이상으로 충돌하면 팽창기에서 가스를 분사하여 에어백을 팽창시켜 커버체로부터 에어백이 돌출되도록 한 다음, 탑승자의 전방으로 팽창 전개됨으로써 앞좌석에 탑승한 탑승자가 스티어링 휠이나 대쉬 보드에 충돌하는 상황이 발생하지 않도록 한다.
그리고 차량의 자세 안정 제어 장치(ESC: Electronic Stability Control)는 가속 시나 제동 시 또는 코너링시의 극도의 불안정한 상황에서 발생하는 차량의 미끄러짐을 앞, 뒤, 좌, 우 필요한 제동의 바퀴를 선택적으로 작동시켜, 차량의 자세를 안정적으로 잡아주고 운전자의 실수까지도 보정해주는 장치이다.
또한 최근에는 차선 이탈 경고 장치(LDWS : Lane Departure Warning System)이나 차선유지 장치, 졸음운전 방지 장치와 같은 안전 운전 보조시스템 및 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다.
이러한 차선유지 장치 또는 차간거리 유지 장치는 운전자의 의지에 따라 동작함으로써 운전자에게 편의만 제공하였다.
또한, 졸음운전 방지 장치는 2차원 카메라를 이용하여 단순히 운전자의 얼굴을 검출하고 검출된 얼굴에서 눈을 검출하여 졸음운전 여부를 판단함으로써 낮/밤/터널/역광 등 다양한 조도 환경과 운전자 개개인의 외모특성에 많은 영향을 받았다. 이에 의해 졸음운전 판단에 대한 신뢰성에 큰 영향을 주었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 3D 카메라를 이용하여 얼굴 인식의 정확도를 높일 수 있어 운전자의 운전 상태를 용이하게 판단하는 차량의 안전 주행 장치 및 그 제어 방법을 제공하는 데 있다.
본 발명의 다른 목적은 전방의 영상 검출, 전파 검출 및 조향각 검출 중 적어도 하나에 기초하여 운전자의 운전 상태를 판단하는 차량의 안전 주행 장치 및 그 제어 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 운전자의 상황 및 차량의 주행 상황에 기초하여 비정상 운전으로 판단되면 안전 주행 제어 및 운전자에게 경고하는 차량의 안전 주행 장치 및 그 제어 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 차량의 운전 상태에 기초하여 차간거리 유지 및 차선 유지에 대한 제어권을 차량에 부여하거나 차량으로부터 회수하는 차량의 안전 주행 장치 및 그 제어 방법을 제공하는 데 있다.
본 발명의 일 측면에 따른 차량의 안전 주행 장치의 제어 방법은, 차량의 주행 중 운전자의 3차원 얼굴 영상을 검출하고, 3차원 얼굴 영상을 이용하여 운전자의 운전 상태를 판단하고, 운전자의 운전 상태가 비정상이면 차선 및 차간 거리를 유지 제어한다.
차선을 유지 제어하는 것은, 차량의 2차원 전방 영상을 검출하여 차선을 인식하고, 인식된 차선에 기초하여 차선을 유지 제어하는 것을 더 포함한다.
운전자의 운전 상태를 판단하는 것은, 차량의 조향 각을 검출하고, 검출된 조향각과 인식된 차선에 기초하여 운전 상태를 판단하는 것을 포함한다.
차간 거리를 유지 제어하는 것은, 전파를 출력하고, 선행 차량로부터 반사된 전파를 검출하고, 전파가 출력된 시간과 검출된 시간에 기초하여 선행 차량과의 거리를 유지 제어하는 것을 포함한다.
차선 및 차간 거리를 유지 제어하는 하는 것은, 차량의 차선 유지 및 차간 거리 유지 제어의 제어권을 제한한다.
차량의 안전 주행 장치의 제어 방법은 운전 상태가 비정상이라고 판단되면 경고음을 출력하는 것을 더 포함한다.
차량의 안전 주행 장치의 제어 방법은 운전자의 3차원 얼굴 영상 및 경고음이 출력된 시간 중 적어도 하나에 기초하여 운전자의 운전 상태를 재판단하고, 운전 상태가 정상 운전이라고 판단되면 운전자에게 차량 주행의 제어권을 부여한다.
운전자의 3차원 얼굴 영상을 검출하는 것은, 3차원의 영상을 검출하고, 3차원의 영상의 깊이 정보를 이용하여 얼굴과 배경을 분리하고, 분리된 얼굴의 영상에서 얼굴 요소를 검출하는 것을 포함한다.
운전자의 운전 상태를 판단하는 것은, 검출된 얼굴 요소와 미리 등록된 운전자의 영상 정보를 비교하여 운전자의 진위 여부를 판단하고, 운전자가 미리 등록된 운전자이면 검출된 얼굴 요소의 위치 및 상태 변화에 기초하여 운전자의 운전 상태를 판단하는 것을 포함한다.
차량의 안전 주행 장치는 운전자의 3차원 얼굴 영상을 검출하는 제1영상 검출부; 차량의 전방 영상을 검출하는 제2영상 검출부; 3차원 얼굴 영상 및 전방 영상 중 적어도 하나의 영상에 기초하여 운전자의 운전 상태를 판단하는 판단부; 운전 상태가 비정상이면 차선 및 선행 차량과의 차간 거리를 유지 제어하는 주행 제어부를 포함한다.
판단부는, 전방 영상에 기초하여 차선을 인식하고, 주행 제어부는, 차선의 변화에 기초하여 운전 상태를 판단하고, 인식된 차선에 기초하여 차선 유지를 제어한다.
차량의 안전 주행 장치는, 차량의 조향각을 검출하는 조향 각 검출부를 더 포함하고, 판단부는 검출된 조향각과 인식된 차선에 기초하여 운전 상태를 판단한다.
차량의 안전 주행 장치는, 전파를 출력 후 검출하여 선행 차량과의 거리를 검출하는 거리 검출부를 더 포함하고, 주행 제어부는, 선행 차량과의 거리에 기초하여 선행 차량과의 차간 거리를 제어한다.
차량의 안전 주행 장치는 운전 상태가 비정상이라고 판단되면 경고음을 출력하는 사운드 출력부를 더 포함한다.
판단부는, 운전 상태에 대응하여 차선 유지 및 차간 거리 유지에 대한 제어권을 주행 제어부에게 부여하거나 주행 제어부로부터 회수한다.
차량의 안전 주행 장치는 운전 상태, 차선의 정보, 차간 거리의 정보를 출력하는 인터페이스를 더 포함하는 차량의 안전 주행 장치.
본 발명에 따르면 3차원(3D) 영상 검출부를 이용하여 운전자의 3차원 얼굴 영상을 검출하고, 검출된 3차원 얼굴 영상을 통해 운전자의 얼굴을 인식함으로써 용이하게 얼굴을 인식할 수 있고, 그 정확도를 높일 수 있다.
또한 인식된 얼굴 영상을 통해 졸음운전 여부를 판단함으로써 운전자의 상황 판단의 신뢰성을 높일 수 있고, 운전자 상황 정보와 조향각 정보에 기초하여 차선 인식을 수행함으로써 비정상적인 운전 상태를 용이하게 판단할 수 있다.
또한 운전자의 운전 상태가 비정상일 경우 차량 주행에 대한 제어권을 운전자로부터 회수함으로써 차량 스스로 차간 거리 및 차선 유지를 제어하면서 주행하도록 하고 운전자의 운전 상태가 정상일 경우 차량 주행에 대한 제어권을 운전자에게 부여함으로써 운전자의 의지에 따라 차량이 주행되도록 한다.
이로써, 차량 주행의 안전성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 안전 주행 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 안전 주행 장치의 상세 구성도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 안전 주행 방법의 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 차량의 안전 주행 장치의 구성도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량의 안전 주행 장치의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 안전 주행 장치의 상세 구성도로, 차량의 안전 주행 장치는 검출부(110), 상황 판단부(120), 주행 유지부(130), 인터페이스부(140), 구동/제동부(150)를 포함한다.
검출부(110)는 운전자의 상황 및 차량의 주행 상황을 검출하기 위한 것으로, 거리 검출부(111), 제1영상 검출부(112), 제2영상검출부(113) 및 조향각 검출부(114)를 포함한다. 이를 도 2를 참조하여 설명한다.
거리 검출부(111)는 차량의 전면에 마련되어, 자 차량의 전방에서 주행 중인 선행 차량과의 거리를 검출한다.
이러한 거리 검출부(111)는 레이더를 이용 가능하다.
레이더는 차량의 주행 전방 측에 일정각도 이내의 범위로 마이크로파를 출력한 후 선행 차량으로부터 반사된 반사파를 검출한다.
여기서 반사파는 선행 차량과의 각도, 상대거리, 상대속도 등을 산출하는데 필요한 정보를 포함한다.
아울러, 거리 검출부(111)로 초음파 센서를 이용하는 것도 가능하다.
제1영상 검출부(112)는 운전석 앞에 운전석을 바라보도록 설치되어 운전자의 얼굴 주변의 영상을 검출한다. 이러한 제1영상 검출부(112)는 3차원(3D) 카메라로, 운전자 얼굴 주변의 영상을 3차원으로 검출한다.
여기서 제1영상 검출부(112)는 적외선 3차원(3D) 카메라를 이용 가능하다.
제2영상 검출부(113)는 차량의 전방에 위치하여 차량의 전방 영상을 검출한다.
여기서 제2영상 검출부(113)는 CCD(Charge coupled device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 영상 센서 등으로, 2차원(2D)의 도로 영상을 검출한다.
이러한 제2영상 검출부(113)에서 검출된 2차원의 도로 영상을 이용하여 차선을 검출한다. 아울러 전방에 위치한 선행 차량과의 거리를 검출하는 것도 가능하다. 이와 같이 도로 영상을 통해 선행 차량과의 거리를 검출함으로써 거리 검출부만을 이용하여 선행 차량과의 거리를 검출하였을 때보다 선행 차량과의 거리 검출의 정확도를 높일 수 있다.
조향각 검출부(114)는 차량의 조향 장치(미도시)에 마련되어 스티어링 휠의 조향 각을 검출한다.
판단부(120)는 제1 영상 검출부(112)에서 전송된 3차원 얼굴 영상 정보, 조향각 검출부에서 전송된 조향각 정보, 차선 유지부에서 전송된 차선 정보에 기초하여 운전자의 운전 상태를 판단한다.
이러한 판단부(120)는 운전자 상황 판단부(121) 및 주행 상황 판단부(122)를 포함한다.
운전자 상황 판단부(121)는 제1 영상 검출부(112)에서 전송된 3차원 얼굴 영상을 입력받아 이미지 프로세싱(Image Processing)하고 이를 신호 처리하여 운전자의 얼굴을 인식하고, 인식된 운전자의 얼굴 영상에 기초하여 운전자의 운전 상태를 판단한다.
좀 더 구체적으로 운전자 상황 판단부(121)는 3차원 영상에서 운전자의 얼굴과 배경을 분리하고, 분리된 영상 중 운전자의 얼굴 영상에서 3D 입체 정보를 통해 얼굴뿐만 아니라 눈, 코, 입, 귀, 안경 등의 얼굴 요소를 분리한다.
그리고 운전자 상황 판단부(121)는 얼굴의 방향, 회전각, 얼굴의 움직임(예를 들어 끄덕임), 시선, 눈의 생김새, 눈 개폐 정도, 눈 개폐 빈도에 따른 운전자의 상황(예를 들어 졸음운전, 시선 이탈 등)을 판단한다.
또한 운전자 상황 판단부(121)는 운전자의 얼굴 요소와 미리 등록된 운전자의 얼굴 정보를 비교하여 현재 인식된 운전자의 진위 여부를 판단하고, 진위 여부 판단 결과 미리 등록된 운전자일 경우에만 운전자의 상황을 판단한다.
이에 따라 3차원 얼굴 영상을 통해 얼굴의 정확한 위치와 얼굴 요소를 용이하게 획득할 수 있어 얼굴 인식의 신뢰도를 향상시킬 수 있다.
이로써 운전자 상황 판단의 신뢰성을 높일 수 있고, 운전자의 생명을 보호하는데 큰 도움을 줄 수 있다.
주행 상황 판단부(122)는 운전자 상황 판단부(121)에서 전송된 운전자 상황 정보, 조향각 검출부(114)에서 전송된 조향각 정보 및 차선 유지부(132)에서 전송된 차선 정보의 비교 알고리즘을 통해 운전 상태를 판단한다. 이로써 운성 상태의 판단 정확도를 향상시킬 수 있다.
아울러 주행 상황 판단부(122)는 전자식 주차 브레이크 장치(EPB)로부터 브레이크 정보 등을 전송받아 브레이크 정보로부터 운전 상태를 판단하는 것도 가능하다.
여기서 운전 상태는 정상 운전 또는 졸음 및 시선 이탈 등과 같은 비정상 운전이다.
주행 상황 판단부(122)는 운전 상태가 비정상이라고 판단되면 주행 제어부(130)에게 차간 거리 유지 및 차선 유지 제어에 대한 제어권을 부여함으로써, 운전 상태가 비정상일 때에도 차량 스스로 안전 주행을 수행하여 안전 주행이 이루어진다.
또한 주행 상황 판단부(122)는 운전 상태가 비정상인 상태에서 운전 상태 재판단 후 운전 상태가 정상이라고 판단되면 주행 제어부(130)로부터 차간 거리 유지 및 차선 유지 제어에 대한 제어권을 회수한다. 이로써 운전자의 운전상태가 정상일 때 운전자의 의지에 따라 주행 가능하도록 한다.
또한 주행 상황 판단부(122)는 판단 결과를 인터페이스(140)에 전송한다.
이러한 판단부(120)는 운전자가 더 이상 운전할 수 있는 상황이 아니라 판단될 시 차선유지 및 차간거리 유지 제어를 자동으로 실행시켜 운전자의 안전을 보장한다.
주행 제어부(130)는 판단부(120)로부터 제어권이 부여되면 구동 및 제동부(150)를 제어하여 차간 거리 및 차선이 유지되도록 하고, 판단부(120)에서 제어권을 회수하면 차간 거리 유지 제어 및 차선 유지 제어를 중단한다. 이때 운전자의 의지에 대응하여 구동 및 제동부(150)가 제어되고 이에 의해 차량은 주행한다.
여기서 제어권 부여는 스마트 크루즈 컨트롤 등의 선택에 의해 이루어지는 것도 가능하다.
이러한 주행 제어부(130)는 선행 차량을 인식하여 차간 거리를 유지해 주는 차간 거리 유지부(131)와, 차선을 인식하여 차선을 유지해 주는 차선 유지부(132)를 포함한다.
좀 더 구체적으로 차간 거리 유지부(131)는 운전 상태가 비정상이면 거리 검출부(111)에서 출력 후 검출된 반사파의 정보에 기초하여 전방에 위치한 차량(선행 차량)과의 차간 거리를 산출하고, 산출된 차간 거리에 기초하여 차간 거리가 유지되도록 차량의 주행을 제어한다.
차간 거리 유지부(131)는 선행 차량과의 차간 거리와 미리 설정된 기준 거리를 비교하고, 비교된 거리에 따라 EPB 액추에이터(미도시) 또는 ESC 액추에이터(미도시)의 구동을 제어함으로써 차간 거리를 유지 제어한다.
차선 유지부(132)는 제2영상 검출부(113)에서 검출된 도로 영상을 입력받아 영상 프로세싱(Image Processing)하고 이를 신호 처리하여 도로의 차선을 인식하고, 인식된 차선의 정보를 주행 상황 판단부(122)에 전송하고 또한 운전 상태가 비정상이면 인식된 도로의 차선에 기초하여 자 차량이 차선을 이탈하지 않도록 차량의 주행을 제어한다.
이와 같이 차간거리 유지 및 차선 유지에 대한 제어권을 운전 상태에 따라 주행 제어부(130)에 부여 또는 회수함으로써 지능형 안전 제어를 수행할 수 있다.
인터페이스부(140)는 운전자의 상황, 차선 정보, 차간 거리 정보 등의 주행 상태를 표시하고, 운전자로부터 각종 정보를 입력받는다.
이러한 인터페이스부(140)는 입출력 제어부(141), 표시부(142), 사운드부(143) 및 입력부(144)를 포함한다.
입출력 제어부(141)는 주행 상황 판단부(122)로부터 전송된 운전자의 운전 상태의 표시를 제어하고, 운전자의 운전 상태가 비정상이면 경고음의 출력을 제어한다.
입출력 제어부(141)는 차선 유지부(132)로부터 전송된 차선 정보와 조향각 검출부에서 전송된 조향각의 정보에 기초하여 차선 이탈을 판단하고, 차간 거리에 기초하여 충동 여부를 판단하고, 차선 이탈이나 충돌 등의 정보가 표시되도록 표시부의 구동을 제어한다.
또한 입출력 제어부(141)는 선행 차량과의 거리를 산출하고, 산출된 거리에 따라 좌우측에 위치한 차량과의 충돌 가능성을 판단하고, 충돌 가능성이 있으면 사운드부(143)의 구동을 제어하여 경고음이 출력되도록 하고, 또한 차선 이탈 가능성이 있으면 사운드부(143)의 구동을 제어하여 경고음이 출력되도록 한다.
이와 같이 인터페이스부(140)는 비정상 운전 시 위험을 알리는 경고음이 출력되도록 한다.
표시부(142)는 입출력 제어부(141)의 명령에 대응하여 운전자의 운전 상태 정보, 차선 정보, 차간 거리 정보 등을 표시한다.
사운드부(143)는 입출력 제어부(141)의 명령에 대응하여 운전 상태가 비정상일 때 경고음을 출력하고 차선 이탈 경고음 및 충돌 경고음 등을 출력한다.
입력부(144)는 운전자로부터 각종 정보를 입력받는다.
여기서 각종 정보는 운전자 등록, 스마트 크루즈 컨트롤 수행 시 설정 차속, 운전자의 경고 인지 정보 등이다. 여기서 운전자에 의해 입력된 정보를 표시하는 것도 가능하다.
구동 및 제동부(150)는 차량에 구동력을 인가하거나 차량에 제동력을 인가하는 장치로, EPB 및 ESC 등으로 이루어진다.
여기서 EPB(Electrical Parking Brake: 전자식 주차 브레이크)는 브레이크의 제동을 전자적으로 제어하는 장치이고, 자세 안정 제어(ESC)는 각 차륜의 휠 실린더에 공급되는 유압을 조절하여, 각 차륜에 공급되는 브레이크액 압을 제어함으로써 차량의 주행상태를 안정적으로 유지시키는 장치이다.
도 3은 본 발명의 일 실시예에 따른 차량의 안전 주행 장치의 제어 순서도로 도 2를 참조하여 설명한다.
안전 주행 장치는 3차원의 운전석 영상, 2차원의 도로 영상, 조향각 등을 검출(201)한다.
다음 안전 주행 장치는 검출된 3차원 영상에서 운전자의 얼굴과 배경을 분리(202)하고, 분리된 영상 중 운전자의 얼굴 영상에서 3차원(3D) 입체 정보를 통해 얼굴, 눈, 코, 입, 귀, 안경 등의 얼굴 요소를 추출한다.
이를 좀 더 구체적으로 설명한다.
3차원 운전석 영상에서 복수의 얼굴 요소 중 인식하고자 하는 하나의 얼굴 요소를 제외한 나머지 얼굴 요소가 제거된 관심영역을 지정한다. 이와 같이 얼굴 요소별로 관심 영역(ROI)을 지정(203)하여 얼굴 요소를 분리 인식하고, 분리된 얼굴 요소에 기초하여 현재 운전석의 운전자 얼굴을 인식(204)한다.
여기서 관심영역(ROI: Region of Interest)은 어느 하나의 얼굴 요소를 인식하는 범위로서, 얼굴 요소의 인식 범위가 최소화되고 얼굴 영상을 나타낼 수 있도록 설정되어야 한다.
다음 안전 주행 장치는 현재 인식된 운전자의 얼굴 영상 정보와 미리 등록된 운전자의 얼굴 영상을 비교하여 현재 운전석에 있는 운전가가 미리 등록된 운전자인지 진위 여부를 판단한다.
다음, 현재 인식된 운전자가 미리 등록된 운전자이면 얼굴의 방향, 회전각, 얼굴의 움직임(예를 들어 끄덕임), 시선을 획득(205)하고, 눈 개폐 정도, 눈 개폐 빈도를 획득(206)한다.
다음 얼굴의 방향, 회전각, 얼굴의 움직임(예를 들어 끄덕임), 시선, 눈 개폐 정도, 눈 개폐 빈도에 기초하여 운전자의 상황(예를 들어 졸음운전, 시선 이탈 등)을 판단(207)한다.
즉, 얼굴의 방향 및 시선의 유지 시간과 미리 정해진 시간을 비교하여 운전자의 시선 이탈 또는 집중력 저하 등을 판단하고, 얼굴의 상하 회전각의 변화나 움직임에 기초하여 졸음 여부를 판단한다.
또한, 눈의 개폐 정도와 빈도 중 적어도 하나에 기초하여 졸음 여부를 판단하는 것도 가능하다.
이와 같이 안전 주행 장치는 운전자의 상황이 졸음운전이나 시선 이탈로 판단되면 조향각을 검출하고 또한 2차원의 도로 영상을 검출한다. 이때 도로의 영상의 이미지 프로세싱하고 신호처리하여 도로의 영상에서 차선을 인식한다.
다음 조향각 정보 및 차선 정보에 기초하여 운전자의 운전 상태를 판단(208)한다. 이때 운전자의 운전 상태가 정상인지 확인(209)하고 운전자의 운전 상태가 정상이면 운전자의 의지에 기초하여 구동 및 제동부의 구동을 제어한다.
반면 운전자의 운전상태가 비정상이면 비정상 운전에 대한 경고음을 출력하고 주행 제어부에 제어권을 부여한다.
이에 따라 거리 검출부(111)에서 검출된 선행 차량과의 차간 거리를 이용하여 차간 거리 유지 제어를 수행하고 2차원의 도로 영상에 기초하여 차선 유지 제어를 수행(210)한다.
이때 운전 주행 장치는 운전 상태 정보, 차선 정보 및 차간 정보를 인터페이스부(140)를 통해 표시한다.
다음, 3차원의 얼굴 영상 정보, 차선 정보 및 조향각 정보에 기초하여 비정상의 운전 상태에서 정상 운전 상태로 전환되었는지 재판단한다.
이때 운전 상태가 정상이라고 판단되면 차간 거리 유지 및 차선 유지 제어에 대한 제어권을 회수한다. 이로써 운전자의 운전상태가 정상일 때 운전자의 의지에 따라 주행 가능하도록 한다.
여기서 운전자의 운전 상태를 재판단 하는 것은, 경보음의 출력 시간이 미리 정해진 시간인지 판단하는 것으로 대체 가능하다.
즉, 미리 정해진 시간동안 출력된 경보음에 의해 운전자가 잠에서 깨거나 정신을 차렸다고 본다.
아울러 안전 주행 장치는 실시간으로 도로의 영상을 획득하고, 획득된 도로 영상을 신호 처리하며, 도로 영상에서 장애 요소를 제거하여 도로의 차선만을 인식하고, 인식된 차선의 이탈 방지 제어를 수행하고, 차선 이탈 시 경고음을 출력하는 것도 가능하다. 또한 선행차량과의 차간 거리에 기초하여 충돌 위험에 대한 경고음을 출력하는 것도 가능하다.
여기서 장애 요소는 도로 영역 내에서 차선 인식에 방해가 되는 가로등, 가로수, 지시문, 횡단보도 등이다.
이와 같이, 3차원(3D) 영상 검출부를 이용하여 운전자의 3차원 얼굴 영상을 검출하고, 검출된 3차원 얼굴 영상을 통해 운전자의 얼굴을 인식함으로써 용이하게 얼굴을 인식할 수 있고, 그 정확도를 높일 수 있다.
또한 인식된 얼굴 영상을 통해 졸음운전 여부를 판단함으로써 운전자의 상황 판단의 신뢰성을 높일 수 있고, 운전자 상황 정보와 조향각 정보에 기초하여 차선 인식을 수행함으로써 비정상적인 운전 상태를 용이하게 판단할 수 있다.
또한 운전자의 운전 상태가 비정상일 경우 차량 주행에 대한 제어권을 운전자로부터 회수함으로써 차량 스스로 차간 거리 및 차선 유지를 제어하면서 주행하도록 하고 운전자의 운전 상태가 정상일 경우 차량 주행에 대한 제어권을 운전자에게 부여함으로써 운전자의 의지에 따라 차량이 주행되도록 한다. 이로써, 차량 주행의 안전성을 높일 수 있다.
도 4는 본 발명의 다른 실시예에 따른 차량의 안전 주행 장치의 구성도로, 차량의 안전 주행 장치는 검출부(110), 상황 판단부(120), 주행 유지부(130), 인터페이스부(140), 구동/제동부(150), 인식부(160), 통신부(170), 저장부(180)를 포함한다.
검출부(110)는 운전자의 상황 및 차량의 주행 상황을 검출하기 위한 것으로, 거리 검출부(111), 제1영상 검출부(112), 제2영상검출부(113) 및 조향각 검출부(114)를 포함하며, 각 검출부의 구성은 일 실시예와 동일하여 설명을 생략한다.
아울러, 검출부(110)는 차량에 마련된 복수의 휠의 속도를 각각 검출하는 복수의 휠 속도 검출부를 더 포함하고, 이 복수의 휠 속도 검출부는 검출된 각 휠을 속도를 인터페이스부(140)에 전송한다.
판단부(120)는 제1 영상 검출부(112)에서 전송된 3차원 얼굴 영상 정보, 조향각 검출부에서 전송된 조향각 정보, 차선 유지부에서 전송된 차선 정보에 기초하여 운전자의 운전 상태를 판단한다.
이러한 판단부(120)는 운전자 상황 판단부(121) 및 주행 상황 판단부(122)를 포함하며, 각 판단부의 구성은 일 실시예와 동일하여 설명을 생략한다.
판단부(120)는 제1 영상 검출부(112)에서 전송된 3차원 얼굴 영상 정보에 기초하여 운전자의 얼굴을 인식하고, 인식된 운전자의 얼굴로부터 운전자의 신원을 판단한다.
아울러 판단부(120)는 인식부(160)로부터 음성 인식 결과가 전송된 경우, 3차원 얼굴 영상 정보에 기초한 얼굴 인식 결과와 인식부(160)에서 전송된 음성 인식 결과에 기초하여 운전자의 신원을 판단함으로써, 운전자 신원 판단의 정확도를 향상시킬 수 있다.
주행 제어부(130)는 판단부(120)로부터 제어권이 부여되면 구동 및 제동부(150)를 제어하여 차간 거리 및 차선이 유지되도록 하고, 판단부(120)에서 제어권을 회수하면 차간 거리 유지 제어 및 차선 유지 제어를 중단한다. 이때 운전자의 의지에 대응하여 구동 및 제동부(150)가 제어되고 이에 의해 차량은 주행한다.
여기서 제어권 부여는 스마트 크루즈 컨트롤 등의 선택에 의해 이루어지는 것도 가능하다.
이러한 주행 제어부(130)는 선행 차량을 인식하여 차간 거리를 유지해 주는 차간 거리 유지부(131)와, 차선을 인식하여 차선을 유지해 주는 차선 유지부(132)를 포함하며 각 유지부의 구성은 일 실시예와 동일하여 설명을 생략한다.
주행 제어부(130)는 인터페이스부(140)로부터 전송된 졸음 운전 여부에 따라 차량의 주행을 제어하고, 인터페이스부(140)로부터 전송된 연비 향상을 위한 속도 정보에 따라 차량의 속도를 제어하는 것도 가능하다.
인터페이스부(140)는 운전자의 상황, 차선 정보, 차간 거리 정보 등의 주행 상태를 표시하고, 운전자로부터 각종 정보를 입력받는다.
이러한 인터페이스부(140)는 입출력 제어부(141), 표시부(142), 사운드부(143) 및 입력부(144)를 포함한다.
입출력 제어부(141)는 주행 상황 판단부(122)로부터 전송된 운전자의 운전 상태의 표시를 제어하고, 운전자의 운전 상태가 비정상이면 경고음의 출력을 제어한다.
입출력 제어부(141)는 차선 유지부(132)로부터 전송된 차선 정보와 조향각 검출부에서 전송된 조향각의 정보에 기초하여 차선 이탈을 판단하고, 차간 거리에 기초하여 충동 여부를 판단하고, 차선 이탈이나 충돌 등의 정보가 표시되도록 표시부의 구동을 제어한다.
또한 입출력 제어부(141)는 선행 차량과의 거리를 산출하고, 산출된 거리에 따라 좌우측에 위치한 차량과의 충돌 가능성을 판단하고, 충돌 가능성이 있으면 사운드부(143)의 구동을 제어하여 경고음이 출력되도록 하고, 또한 차선 이탈 가능성이 있으면 사운드부(143)의 구동을 제어하여 경고음이 출력되도록 한다.
이와 같이 입출력 제어부(141)는 비정상 운전 시 위험을 알리는 경고음이 출력되도록 한다.
입출력 제어부(141)는 통신부(170)와 통신을 수행하여 통신부(170)를 통해 내비게이션(300) 및 교통 정보 서버(400)의 정보를 획득한다.
아울러 인터페이스부(140)의 내부에 통신부가 마련되어 내비게이션(300) 및 교통 정보 서버(400)와 직접 통신을 수행하는 것도 가능하다.
입출력 제어부(141)는 판단부(120)를 통해 운전자의 신원이 판단되면 운전자의 신원에 대응되는 운전 환경 정보를 저장부(180)로부터 검색한다.
여기서 운전 환경 정보는, 내비게이션(200)에서 전송된 운전자별 목적지 정보, 운전자별 선호 뮤직 정보, 운전석의 위치 및 기울기, 공조 온도, 사이드 미러 및 백 미러의 위치 정보 등을 포함한다.
즉, 입출력 제어부(141)는 운전자의 신원에 따라 목적지 정보 및 선호 뮤직 정보가 표시되도록 표시부(142)를 제어하고, 또는 선호 뮤직이 출력되도록 음향 기기(미도시)의 구동을 제어하며, 공조기(미도시)의 목표 온도를 제어하고, 운전석의 위치 및 기울기가 조정되도록 운전석 조정 장치(미도시)의 구동을 제어하며, 사이드 미러 및 백 미러의 위치가 조정되도록 미러 조정 장치(미도시)의 구동을 제어한다.
입출력 제어부(140)는 통신부(170)를 통해 내비게이션(300)으로부터 목적지 정보 및 목적지까지의 경로 정보를 제공받고, 경로 정보에 포함된 지점별 조향각 및 브레이크 정보와 현재의 조향각 및 브레이크 정보를 각각 비교하여 졸음 운전 여부를 판단하고 졸음 운전으로 판단 시 이 정보를 주행 제어부(130)에 전송하고, 경로 정보에 포함된 지점별 차속 정보에 기초하여 지점별 연비 향상을 위한 속도 정보가 표시되도록 함으로서, 에코 드라이빙이 가능하도록 한다.
아울러 입출력 제어부(141)는 지점별 연비 향상을 위한 속도 정보를 주행제어부(130)에 전송함으로써 주행 제어부(130)에서 자동으로 차량 속도를 제어하게 하는 것도 가능하다.
입출력 제어부(141)는 통신부(170)를 통해 교통 정보 서버(400)로부터 교통 정보를 전송받고, 전송된 교통 정보에 기초하여 목적지까지의 복수 경로 중 가장 빨리 도착할 수 있는 경로를 확인하고, 확인된 경로가 표시부(142)를 통해 표시되도록 한다.
아울러 입출력 제어부(141)는 목적지까지의 복수 경로 중 가장 빨리 도착할 수 있는 경로를 내비게이션(300)에 전송함으로써, 내비게이션(300)에서 자동으로 경로가 설정되도록 하는 것도 가능하다.
여기서 차속 정보는 복수의 휠 속도 검출부로부터 전송된 복수의 휠 속도를 기초로 획득된 것이다.
표시부(142)는 입출력 제어부(141)의 명령에 대응하여 운전자의 운전 상태 정보, 차선 정보, 차간 거리 정보 등을 표시한다.
또한 표시부(142)는 운전자의 신원에 대응되는 목적지 정보 및 선호 뮤직 정보를 표시한다.
또한 표시부(142)는 운전석, 백미러, 사이드 미러, 공조기 등의 조정 정보를 표시하고, 운전자가 내비게이션(300)을 통해 목적지까지의 복수 경로 중 어느 하나의 경로를 용이하게 선택할 수 있도록 추천 경로를 표시하는 것도 가능하고, 지점별 연비 향상을 위한 속도를 표시하는 것도 가능하다.
사운드부(143)는 입출력 제어부(141)의 명령에 대응하여 운전 상태가 비정상일 때 경고음을 출력하고 차선 이탈 경고음 및 충돌 경고음 등을 출력한다.
사운드부(142)는 운전자의 신원에 대응되는 선호 뮤직을 출력하는 것도 가능하다.
입력부(144)는 운전자로부터 각종 정보를 입력받는다.
여기서 각종 정보는 운전자 등록, 스마트 크루즈 컨트롤 수행 시 설정 차속, 운전자의 경고 인지 정보 등이다. 여기서 운전자에 의해 입력된 정보를 표시하는 것도 가능하다.
또한 입력부(144)는 표시부(142)를 통해 표시된 목적지 및 선호 뮤직 중 적어도 하나의 정보를 입력받는다.
또한 입력부(144)는 운전석, 백미러, 사이드 미러, 공조기 등을 조정할 것인지에 대한 선택 사항을 입력받는 것도 가능하다.
구동 및 제동부(150)는 차량에 구동력을 인가하거나 차량에 제동력을 인가하는 장치로, EPB 및 ESC 등으로 이루어진다.
인식부(160)는 운전자의 음성을 검출하고 검출된 음성을 인식하는 음성인식부로, 음성 인식 결과를 판단부(120)에 전송한다.
통신부(170)는 내비게이션(300) 및 도로별 교통 상황 등의 정보를 제공해주는 교통 정보 서버(400)와 인터페이스부(140) 사이의 통신을 수행한다.
저장부(180)는 운전자별 3차원 얼굴 정보, 음성 정보, 신원 정보를 저장하고, 운전자별 목적지, 선호 뮤직, 공조 온도, 운전석 위치 및 기울기, 사이드 미러 및 백 미러의 위치 정보 등을 저장한다.
저장부(180)는 각 운전자의 목적지까지의 경로에 위치된 지점별 조향각 정보, 브레이크 정보, 속도 정보 등을 저장하고, 운전자 정보, 내비게이션(300)의 현재 경로 정보와 각 지점별 운전 정보를 매칭시켜 저장한다.
여기서 통신부(170), 저장부(180)는 인터페이스부에 마련되는 것도 가능하다.
110: 검출부 120: 판단부
130: 주행 제어부 140: 인터페이스부
150: 구동/제동부 160: 인식부
170: 통신부 180: 저장부

Claims (22)

  1. 차량의 주행 중 운전자의 3차원 얼굴 영상을 검출하고,
    상기 차량의 2차원 전방 영상을 검출하며,
    상기 차량의 조향 각을 검출하고,
    상기 검출된 3차원 얼굴 영상과 상기 검출된 조향 각 및 상기 검출된 2차원 전방 영상에 해당하는 차선에 기초하여 상기 운전자의 운전 상태를 판단하며,
    상기 운전 상태가 비정상이면 경고음을 출력하면서 상기 차선 및 선행 차량과의 차간 거리를 유지 제어하되, 상기 검출된 2차원 전방 영상에 해당하는 차선을 인식하고, 상기 인식된 차선에 기초하여 상기 차선을 유지 제어하고;
    상기 운전자의 운전 상태와 상기 차선 및 상기 선행 차량과의 차간 거리의 정보중 적어도 하나를 출력하고, 상기 판단된 운전자의 신원에 기초하여 운전 환경인 운전석의 위치와 기울기 및 차량 내부의 공조 온도와 사이드 미러 및 백 미러의 위치중 적어도 하나를 조정하고, 목적지 정보와 뮤직 정보중 적어도 하나를 출력하는 차량의 안전 주행 장치의 제어 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 차간 거리를 유지 제어하는 것은,
    전파를 출력하고,
    상기 선행 차량으로부터 반사된 전파를 검출하고,
    상기 전파가 출력된 시간과 검출된 시간에 기초하여 상기 선행 차량과의 거리를 유지 제어하는 것을 포함하는 차량의 안전 주행 장치의 제어 방법.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 운전자의 3차원 얼굴 영상 및 상기 경고음이 출력된 시간 중 적어도 하나에 기초하여 상기 운전자의 운전 상태를 재판단하고,
    상기 운전 상태가 정상 운전이라고 판단되면 상기 운전자에게 차량 주행의 제어권을 부여하는 것을 더 포함하는 차량의 안전 주행 장치의 제어 방법.
  8. 제 1 항에 있어서, 상기 운전자의 3차원 얼굴 영상을 검출하는 것은,
    3차원의 영상을 검출하고,
    상기 3차원의 영상의 깊이 정보를 이용하여 얼굴과 배경을 분리하고,
    상기 분리된 얼굴의 영상에서 얼굴 요소를 검출하는 것을 포함하는 차량의 안전 주행 장치의 제어 방법.
  9. 제 1 항에 있어서, 상기 운전자의 3차원 얼굴 영상을 검출하는 것은,
    3차원의 영상을 검출하고,
    상기 3차원의 영상의 깊이 정보를 이용하여 얼굴과 배경을 분리하고,
    상기 분리된 얼굴의 영상에서 얼굴 요소를 검출하고;
    상기 운전자의 운전 상태를 판단하는 것은,
    상기 검출된 얼굴 요소와 미리 등록된 운전자의 영상 정보를 비교하여 운전자의 진위 여부를 판단하고,
    상기 운전자가 상기 미리 등록된 운전자이면 상기 검출된 얼굴 요소의 위치 및 상태 변화에 기초하여 상기 운전자의 운전 상태를 판단하는 것을 포함하는 차량의 안전 주행 장치의 제어 방법.
  10. 운전자의 3차원 얼굴 영상을 검출하는 제1영상 검출부;
    차량의 2차원 전방 영상을 검출하는 제2영상 검출부;
    상기 차량의 조향 각을 검출하는 조향 각 검출부;
    상기 검출된 3차원 얼굴 영상과 상기 검출된 조향 각 및 상기 검출된 2차원 전방 영상에 해당하는 차선에 기초하여 상기 운전자의 운전 상태를 판단하는 판단부;
    상기 운전 상태가 비정상이라고 판단되면 경고음을 출력하는 사운드 출력부;
    상기 운전 상태가 비정상이면 상기 경고음을 출력하면서 상기 차선 및 선행 차량과의 차간 거리를 유지 제어하되, 상기 제2영상 검출부로부터 검출된 2차원 전방 영상에 해당하는 차선을 인식하고, 상기 인식된 차선에 기초하여 상기 차선을 유지 제어하는 주행 제어부;
    상기 운전 상태와 상기 차선 및 상기 선행 차량과의 차간 거리의 정보중 적어도 하나를 출력하고, 상기 판단된 운전자의 신원에 기초하여 운전 환경인 운전석의 위치와 기울기 및 차량 내부의 공조 온도와 사이드 미러 및 백 미러의 위치중 적어도 하나를 조정하고, 목적지 정보와 뮤직 정보중 적어도 하나를 출력하는 인터페이스부를 포함하는 차량의 안전 주행 장치.
  11. 삭제
  12. 삭제
  13. 제 10 항에 있어서,
    전파를 출력 후 검출하여 상기 선행 차량과의 차간 거리를 검출하는 거리 검출부를 더 포함하고,
    상기 주행 제어부는, 상기 선행 차량과의 차간 거리에 기초하여 상기 선행 차량과의 차간 거리를 제어하는 차량의 안전 주행 장치.
  14. 삭제
  15. 제 10 항에 있어서, 상기 판단부는,
    상기 운전 상태에 대응하여 상기 차선 유지 및 차간 거리 유지에 대한 제어권을 상기 주행 제어부에게 부여하거나 상기 주행 제어부로부터 회수하는 차량의 안전 주행 장치.
  16. 삭제
  17. 삭제
  18. 제 10 항에 있어서,
    음성을 인식하는 인식부를 더 포함하고,
    상기 판단부는, 상기 인식된 음성에 기초하여 운전자 신원을 판단하는 차량의 안전 주행 장치.
  19. 제 10 항에 있어서,
    내비게이션과 통신을 수행하는 통신부;
    상기 운전자의 신원과 상기 내비게이션으로부터 전송된 목적지 정보 및 목적지까지의 운전 정보중 적어도 하나를 매칭시켜 저장하되 상기 운전자 신원별로 구분지어 저장하는 저장부를 더 포함하는 차량의 안전 주행 장치.
  20. 제 10 항에 있어서,
    내비게이션과 통신을 수행하는 통신부;
    상기 운전자의 신원과 상기 내비게이션으로부터 전송된 목적지 정보 및 목적지까지의 운전 정보중 적어도 하나를 매칭시켜 저장하되 상기 운전자 신원별로 구분지어 저장하는 저장부를 더 포함하며,
    상기 목적지 정보는 목적지까지의 각 경로의 지점별 속도 정보를 저장하고,
    상기 인터페이스부는, 상기 지점별 속도 정보에 기초하여 상기 지점별 연비 향상을 위한 속도를 출력하는 차량의 안전 주행 장치.
  21. 제 10 항에 있어서,
    내비게이션과 통신을 수행하는 통신부;
    상기 운전자의 신원과 상기 내비게이션으로부터 전송된 목적지 정보 및 목적지까지의 운전 정보중 적어도 하나를 매칭시켜 저장하되 상기 운전자 신원별로 구분지어 저장하는 저장부를 더 포함하며,
    상기 목적지 정보는 목적지까지의 각 경로의 지점별 조향각 정보 및 브레이크 정보를 저장하고,
    상기 인터페이스부는, 현재 지점에서의 미리 저장된 조향각 정보 및 브레이크 정보와 외부에서 전송된 현재의 조향각 정보 및 브레이크 정보를 각각 비교하여 졸음 운전 여부를 판단하는 차량의 안전 주행 장치.
  22. 제 10 항에 있어서,
    내비게이션과 통신을 수행하는 통신부;
    상기 운전자의 신원과 상기 내비게이션으로부터 전송된 목적지 정보 및 목적지까지의 운전 정보중 적어도 하나를 매칭시켜 저장하되 상기 운전자 신원별로 구분지어 저장하는 저장부를 더 포함하며,
    상기 통신부는 교통 정보 서버와 통신을 수행하고,
    상기 인터페이스부는, 상기 교통 정보 서버로부터 전송된 교통 정보에 기초하여 목적지까지의 경로 중 가장 빠른 경로를 출력하는 차량의 안전 주행 장치.
KR1020110118282A 2011-11-14 2011-11-14 차량의 안전 주행 장치 및 그 제어 방법 KR101344885B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110118282A KR101344885B1 (ko) 2011-11-14 2011-11-14 차량의 안전 주행 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110118282A KR101344885B1 (ko) 2011-11-14 2011-11-14 차량의 안전 주행 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20130052930A KR20130052930A (ko) 2013-05-23
KR101344885B1 true KR101344885B1 (ko) 2013-12-26

Family

ID=48662272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110118282A KR101344885B1 (ko) 2011-11-14 2011-11-14 차량의 안전 주행 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101344885B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
KR102224234B1 (ko) * 2019-07-04 2021-03-08 (주)에이아이매틱스 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법
KR20210070477A (ko) * 2019-12-04 2021-06-15 현대자동차주식회사 차량 고장 판단 장치 및 방법
CN112622921B (zh) * 2020-09-29 2022-09-30 广州宸祺出行科技有限公司 一种检测司机异常驾驶行为的方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010100120A (ja) * 2008-10-22 2010-05-06 Fuji Heavy Ind Ltd 車線逸脱防止装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010100120A (ja) * 2008-10-22 2010-05-06 Fuji Heavy Ind Ltd 車線逸脱防止装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置

Also Published As

Publication number Publication date
KR20130052930A (ko) 2013-05-23

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US10338584B2 (en) Autonomous driving control system for vehicle
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
EP3128462B1 (en) Driver assistance apparatus and control method for the same
US10800428B2 (en) Vehicle driving assistance method and vehicle
US10065656B2 (en) Autonomous driving device and vehicle control device
US10071741B2 (en) Driver assistance apparatus for vehicle and vehicle having the same
US9248821B2 (en) Assistance system for a motor vehicle and method for controlling a motor vehicle
US10029639B2 (en) Driver assistance apparatus for vehicle and vehicle
US10501114B2 (en) Steering input apparatus and vehicle
US20150294547A1 (en) Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
CN107428374A (zh) 机动车中的驾驶员辅助系统
KR101698781B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
JP6948790B2 (ja) ドライバを支援するための方法および装置
CN110281934B (zh) 车辆控制装置、车辆控制方法及存储介质
KR101344885B1 (ko) 차량의 안전 주행 장치 및 그 제어 방법
JP6398182B2 (ja) 信号情報提示装置
WO2017138343A1 (ja) 運転教示装置
JP2010015386A (ja) 車両の運転支援装置
KR102480989B1 (ko) 차량용 디스플레이 장치 및 그 동작 방법
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR102217973B1 (ko) 차로 가이드 장치 및 차로 가이드 방법
JP2020032784A (ja) 停車支援装置
WO2023243066A1 (ja) 異常姿勢判定装置、異常姿勢判定方法、および、車両制御システム
US20230147987A1 (en) Vehicle control system, vehicle control method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 7