KR20150061943A - Device for detecting the status of the driver and method thereof - Google Patents

Device for detecting the status of the driver and method thereof Download PDF

Info

Publication number
KR20150061943A
KR20150061943A KR20130146346A KR20130146346A KR20150061943A KR 20150061943 A KR20150061943 A KR 20150061943A KR 20130146346 A KR20130146346 A KR 20130146346A KR 20130146346 A KR20130146346 A KR 20130146346A KR 20150061943 A KR20150061943 A KR 20150061943A
Authority
KR
Grant status
Application
Patent type
Prior art keywords
load
driver
information
operation
running
Prior art date
Application number
KR20130146346A
Other languages
Korean (ko)
Inventor
이상권
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS, IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Abstract

본 발명은 차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하는 획득부, 획득된 상기 주행 조작 정보를 이용하여 주행 조작 부하량, 획득된 상기 부주의 상태 정보를 이용하여 주행 방해 부하량을 계산하고, 상기 주행 조작 부하량과 상기 주행 방해 부하량을 서로 비교하여 상기 운전자의 안전운전 상태를 판단하며, 판단 결과 상기 운전자가 안전운전 상태가 아닌 것으로 판단되면 경고 정보가 출력되도록 출력부를 제어는 제어부, 및 화면 출력 및 경고음 출력 중 적어도 하나의 출력 동작을 수행하여 상기 경고 정보를 출력하는 상기 출력부를 포함하는 운전자 상태 감지 장치 및 그 방법에 관한 것이다. The present invention calculates the running disturbance load by using the traveling control information and the running operation load, the obtained inadvertent status information using the inadvertent state obtaining section for obtaining information, the obtained driving operation information of the driver of the vehicle, wherein driving operation load and the traveling and compares the interference load judges safe driving condition of the driver, determined that the driver control an output to the warning information output If it is determined that a non-secure operating condition controller, and screen output, and to perform at least one of the output operation of the warning sound output according to the driver condition sensing apparatus and method which includes the output section and outputting the warning information.

Description

운전자 상태 감지 장치 및 그 방법{Device for detecting the status of the driver and method thereof} Driver state detection apparatus and method {Device for detecting the status of the driver and method thereof}

본 발명은 안전운전 지원 시스템에 관한 것으로, 특히 운전자의 상태를 감지하여 안전운전을 유도하는 기술에 관한 것이다. The present invention relates to a technique for deriving the safe operation by detecting the condition of the driver, especially relates to a safe driving support system.

최근 들어, 자동차와 ICT(Information & Communication Technology)의 기술 융합으로 점차 차량의 지능화, 고도화가 이루어지고 있고, 이에 따라 자동차 내 구현된 안전운전 지원 시스템은 도 1에 도시된 바와 같이 위험 상황을 인지하고, 이에 대해 운전자에게 알리는 동작을 수행한다. In recent years, there are increasingly intelligent, advancement of the vehicle in the car and the technological convergence of ICT (Information & Communication Technology) is made, whereby the car in implementing a safety driving support system recognizes the dangerous situation as shown in Figure 1 and it performs an operation to inform the driver about it. 자동차의 안전운전 지원 시스템이 위험 상황을 인지하는 방식은 주로 외부 센서(레이더, 카메라, 라이다 등)를 통해 정보를 수집하여 위험 여부(차선 이탈, 충돌 예상 등)를 판단하는 형태로 이루어진다. How to recognize the car driving safety support systems risk situation is primarily to gather information from external sensors (radar, cameras, LIDAR, etc.) is made in the form of determining whether or not the risk (lane departure, collision prediction, etc.). 또한, 이를 운전자에게 알리는 방법은 위험 상황을 표시 장치(예를 들어, 경고등 등 표시 장치 점멸)에 표시하거나 음성으로 안내하는 방법이 있다. In addition, how to inform it to the operator is a method of displaying a risk situation display device (e.g., warning lights such as flashing display) or voice guidance.

그러나, 경고등 등 표시 장치 점멸이나 음성 알림 등으로 운전자에게 경고하는 시스템은 고속주행에 따른 소음에 묻히거나, 전방을 주시하여 운전에 집중하거나 졸음운전의 경우 시청각적으로 인지하기 어려운 경우가 많다. However, the system warns the driver with warning devices such as display flickering or audio alerts, etc. are often buried by, or notice the noise in front of the high-speed driving is difficult to recognize a case of concentrating on driving or drowsiness audiovisual.

또한, 안전운전을 위해서는 차량 외부의 센서를 통한 위험 인지뿐만 아니라 운전자의 정신적/신체적 건강 상태를 파악하는 것도 중요한 요소이나 차량에서는 운전중인 사람의 신체 정보를 취득하는 것이 번거롭거나 제한적이고 비용 또한 많이 들 수 있다. In addition, also be cumbersome and limited and cost in anything important or vehicle to grasp the mental / physical health condition of the driver, as well as what risks through the vehicle outside sensor acquires the physical information of the person that you are driving a lot in order to drive safely the can.

본 발명은 운전자의 상태를 파악하여 안전운전을 유도할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다. It is an object of the present invention to provide a technical scheme to allow induction safe operation to determine the condition of the driver.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 운전자 상태 감지 장치는 차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하는 획득부, 획득된 상기 주행 조작 정보를 이용하여 주행 조작 부하량, 획득된 상기 부주의 상태 정보를 이용하여 주행 방해 부하량을 계산하고, 상기 주행 조작 부하량과 상기 주행 방해 부하량을 서로 비교하여 상기 운전자의 안전운전 상태를 판단하며, 판단 결과 상기 운전자가 안전운전 상태가 아닌 것으로 판단되면 경고 정보가 출력되도록 출력부를 제어는 제어부, 및 화면 출력 및 경고음 출력 중 적어도 하나의 출력 동작을 수행하여 상기 경고 정보를 출력하는 상기 출력부를 포함한다. The driver condition in accordance with an aspect of the present invention for achieving the above-described problem sensing device traveling operation loading, obtained using the traveling control information and careless state obtaining section for obtaining information, the obtained driving operation information of the driver of the vehicle judged to be the inadvertent state using information calculating a running interrupt load, and judges safe operating state of the driver by comparing the driving operation load and the running disturbance load to each other, it determined that the driver is not a safe operating state When the warning information is output to the output control section includes the output section for outputting a control, and screen output, and the warning information by performing at least one of the output operation of the alarm output.

여기서, 상기 획득부는 상기 차량의 가속도 패달 조작, 브레이크 패달 조작, 클러치 패달 조작, 멀티펑션 스위치 조작 및 조향핸들 조작 중 적어도 하나의 항목을 포함하여 상기 주행 조작 정보를 획득하며, 상기 제어부는 상기 주행 조작 정보에 포함된 상기 항목의 조작 시간 정보, 조작 횟수 정보 중 적어도 하나의 정보와 각 항목에 기설정된 가중치를 연산하여 상기 주행 부하량을 계산한다. Here, the acquisition unit acceleration pedal operation of the vehicle, the brake pedal operation, the clutch pedal operation, including at least one entry of the multifunction switch operation and the steering operation, and obtaining the traveling operation information, the control unit the driving operation information by calculating at least one of the information and a predetermined weight to each item of the operation time information, operation information on the number of the items included in calculates the running load.

또한, 상기 획득부는 주변기기 조작, 상기 운전자의 운전자 음성, 얼굴 영상 및 눈 영역 영상 중 적어도 하나의 항목을 이용하여 상기 부주의 상태 정보를 획득하며, 상기 제어부는 상기 부주의 상태 정보에 포함된 항목의 정보를 고려하여 상기 운전자의 졸음 부하, 주시 태만 부하, 음성 부하 및 주변기기 조작 부하 중 적어도 하나의 부하 정보를 이용하여 상기 주행 방해 부하량을 계산한다. Also, the acquisition unit using at least one entry of the peripheral operation, the operator voice, face image and the eye region image of the driver, and obtains the inadvertent status information, the control unit the information of the items contained in the inadvertent status information considered to calculate the running disturbance load by using the load sleepiness, eye failure load, the voice load operation and peripheral device of the at least one load of the load information of the driver.

나아가, 상기 제어부는 상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값이 기설정된 여유 부하량의 임계값 이하인 경우, 상기 운전자가 안전운전 상태가 아닌 것으로 판단하며, 상기 부주의 상태 정보에 포함된 항목 중 상기 눈 영역 영상을 이용하여 상기 운전자가 소정 시간 이상 눈을 감은 것으로 확인되면, 상기 경고음이 출력되도록 상기 출력부를 제어한다. Furthermore, the controller is not more than the threshold of free load minus the traveling disturbance load a preset from the running load, the driver and determined to not be safe driving conditions, the of the items included in the careless status eye When using an area image to determine the sense of the operator is equal to or greater than a predetermined time, the eyes, and controls the output section such that the alarm sound is output.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 운전자 상태 감지 장치에 의한 운전자 상태 감지 방법은 차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하는 단계, 획득된 상기 주행 조작 정보를 이용하여 주행 조작 부하량, 상기 부주의 상태 정보를 이용하여 주행 방해 부하량을 계산하는 단계, 상기 주행 조작 부하량과 상기 주행 방해 부하량 및 기설정된 여유 부하량을 비교하는 단계, 및 상기 비교 결과에 따라 상기 운전자에게 정보를 달리 제공하는 단계를 포함하는 운전자 상태 감지 방법. On the other hand, the driver condition detection method traveling control information and careless state obtaining information, the obtained driving operation information of the driver of the vehicle by the driver condition in accordance with an aspect of the present invention for achieving the above-described problem detection device calculating the running disturbance load by using the driving operation load, the inadvertent presence, comparing the driving operation load and the running disturbance load and a predetermined margin load, and information to the driver in accordance with the result of the comparison driver status detection method comprising the steps of: providing a contrast.

여기서, 상기 획득하는 단계는 상기 차량의 가속도 패달 조작, 브레이크 패달 조작, 클러치 패달 조작, 멀티펑션 스위치 조작 및 조향핸들 조작 중 적어도 하나의 항목을 포함하는 상기 주행 조작 정보를 획득하는 단계, 및 주변기기 조작, 상기 운전자의 운전자 음성, 얼굴 영상 및 눈 영역 영상 중 적어도 하나의 항목을 포함하여 상기 부주의 상태 정보를 획득하는 단계를 포함하며, 상기 계산하는 단계는 상기 주행 조작 정보에 포함된 상기 항목의 조작 시간 정보, 조작 횟수 정보 중 적어도 하나의 정보와 각 항목에 기설정된 가중치를 연산하여 상기 주행 부하량을 계산하는 단계, 및 상기 부주의 상태 정보에 포함된 항목의 정보를 고려하여 상기 운전자의 졸음 부하, 주시 태만 부하, 음성 부하 및 주변기기 조작 부하 중 적어도 하나의 부하 정보를 이 Here, the method comprising the acquisition step of acquiring the traveling operation information including the acceleration pedal operation, brake pedal operation, the clutch pedal operation, at least one item of the multifunction switch operation, and the steering wheel operation of the vehicle, and the peripheral operation the step of including at least one entry in the driver's voice and face image and the eye region image of the driver comprises the step of obtaining the inadvertent status information, the calculated operation time of the item included in the driving operation information, information, the method of the operated number of times information by calculating at least one of information and weights are set based on each item to calculate the traveling load, and drowsiness load of the driver in consideration of the information of the items contained in the inadvertent presence, considered neglect load, the voice load, and peripherals operate at least one load of the load information of the 하여 상기 주행 방해 부하량을 계산하는 단계를 포함한다. And a step of calculating the running disturbance load.

또한, 상기 비교하는 단계는 상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값인 현재 부하량이 상기 여유 부하량 이하인지 비교하는 단계를 포함하고, 상기 달리 제공하는 단계는 상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값인 현재 부하량이. Further, the comparing step comprises the steps of: the current load value obtained by subtracting the running disturbance load in the driving load includes the step of comparing is less than or equal to the reserve load, provided, unlike the above is a value obtained by subtracting the running disturbance load in the running load the current load. 상기 여유 부하량 이하이면 상기 정보를 적색으로 표시하여 상기 운전자에게 제공하며, 상기 여유 부하량 초과이면 상기 정보를 녹색으로 표시하여 상기 운전자에게 제공하는 단계를 포함한다. If the free loading or less, and to display the information provided to the driver in red, when the spare load exceeds comprises the step of displaying the information in the green provided to the driver.

나아가, 상기 운전자 상태 감지 방법은 상기 부주의 상태 정보에 포함된 항목 중 상기 눈 영역 영상을 이용하여 상기 운전자가 소정 시간 이상 눈을 감은 것으로 확인되면, 상기 경고음을 출력하여 상기 운전자에게 경고하는 단계를 더 포함한다. Further, when the driver condition detection methods confirms that the driver eyes closed more than a predetermined time by using the eye region image of the items contained in the inadvertent status information, further the step of warning to the driver to output the warning It includes.

본 발명에 따르면, 차량 주행에 따라 발생하는 주행 부하량과 주변기기 및 운전자의 졸음 등과 같이 주행에 방해되는 주행 방해 부하량을 비교하여 운전자의 안전운전 상태를 확인하며, 차량 운전에 방해되는 부하량이 높은 경우 운전자에게 경고하며, 경우에 따라서는 차량 주행에 필수적이지 않은 요소(예를 들어, 주변기기)의 동작을 강제적으로 정지시켜 차량 운전에 방해가 되는 주행 방해 부하량을 감소시켜 운전자가 안전운전을 할 수 있도록 하는 효과를 창출한다. According to the present invention, and confirm the safe driving condition of the driver compared to the running disturbance load which interfere with the running, such as generating the traveling load and the peripheral devices and drowsiness of the driver in accordance with the vehicle running, when the load that is interfering with a vehicle driving high driver and warn, cases, forcibly stopping the operation of the elements that are not essential to driving (e.g., peripheral devices) to reduce the driving disturbance load in the way the vehicle driver that enables the driver to drive safely to create the effect.

도 1은 본 발명의 실시예에 따른 운전자 상태 감지 장치 블록도. Figure 1 is a driver condition detecting device block according to an embodiment of the invention.
도 2는 본 발명에 따른 획득 정보들의 장치를 나타내는 도면. Figure 2 is a view showing a device of the acquired information according to the present invention.
도 3은 본 발명에 따른 운전자의 눈감음을 확인하는 방법을 설명하기 위한 도면. Figure 3 is a view for explaining how to determine the winding eyes of the driver in accordance with the present invention.
도 4는 본 발명에 따른 주행 방해 부하 중 운전자의 졸음 부하의 설명을 위한 도면. Figure 4 is a diagram for driving the load disturbance of the load of the driver drowsiness described in accordance with the present invention.
도 5는 본 발명에 따른 w주행 방해 부하 중 운전자의 졸음 부하의 설명을 위한 흐름도. Figure 5 is a flow chart for explanation of drowsiness of the load w of the running disturbance load driver according to the present invention.
도 6는 본 발명에 따른 주행 방해 부하 중 운전자의 주시 태만 부하의 설명을 위한 도면. Figure 6 is a diagram for driving the load disturbance of the failure load eye of the driver described in accordance with the present invention.
도 7은 본 발명에 따른 화면 출력을 예시한 도면. 7 is a diagram illustrating a display output in accordance with the present invention.
도 8은 본 발명의 실시예에 따른 운전자 상태 감지 방법 흐름도. 8 is a flowchart illustrating the driver condition detection method according to an embodiment of the invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. Above, and a further aspect of the present invention will become more apparent through preferred embodiments described with reference to the accompanying drawings. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다. Hereinafter will be described in detail to those skilled in the art to easily understand the present invention through this embodiment to reproduce.

도 1은 본 발명의 실시예에 따른 운전자 상태 감지 장치 블록도이다. Figure 1 is a driver condition detecting device block diagram according to an embodiment of the invention. 도시된 바와 같이, 운전자 상태 감지 장치(10)는 획득부(100), 제어부(200) 및 출력부(300)를 포함한다. , The driver condition sensing apparatus 10 as shown includes an acquisition section 100, control section 200 and output section 300.

획득부(100)는 차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하기 위한 구성이다. Obtaining unit 100 is configured to acquire traveling control information and status information of a careless operator of the vehicle. 이때, 획득부(100)는 주행 조작 감지부(110) 및 부주의 상태 감지부(120)를 포함하여, 각각을 통해 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득할 수 있다. In this case, the acquiring unit 100 may acquire the state information of careless driving operation information, and the operator through each, including the traveling operation detecting portion (110) and inadvertently state detecting section 120.

그 중, 주행 조작 감지부(110)는 차량이 주행하기 위해 필수적으로 동작하는 제어 유닛의 조작을 감지하기 위한 구성으로, 차량의 전자 제어 유닛(Electronic Control Unit, ECU)이거나, 전자 제어 유닛 내의 별도의 모듈일 수 있다. Among them, the traveling operation detecting portion (110) configured to detect an operation of the control unit essentially operates as to the vehicle is running, or the electronic control unit (Electronic Control Unit, ECU) of the vehicle, separately in the electronic control unit the module can be.

주행 조작 감지부(110)에는 가속도 패달 조작 감지부(d1), 브레이크 패달 조작 감지부(d2), 멀티펑션 조작 감지부(d3), 조향핸들 조작 감지부(d4)과 같은 다수의 조작 감지부를 포함할 수 있다. In the traveling operation detecting portion (110) the acceleration pedal operation detection portion (d1), the brake pedal operation detection portion (d2), the multifunction operation detector (d3), the steering wheel operation detection part section detects a plurality of operations, such as (d4) It can be included. 도 2의 (a)에서 보는 바와 같이, 주행 조작 감지부(110)의 다수의 조작 감지부는 차량의 주행을 위한 조작을 감지하며, 가속도 패달(ACC pad) 조작, 브레이크 패달(Break pad) 조작, 멀티펑션 스위치(Multi function S/W) 조작, 조향 핸들(Steering wheel) 조작 중 적어도 하나의 항목의 주행 조작을 감지한다. As shown in FIG. 2 (a), detecting a number of operation of the traveling operation detecting portion (110) unit detects the operation for the drive of the vehicle, and the acceleration pedal (ACC pad) operation, a brake pedal (Break pad) operation, and at least detects the traveling operation of one entry of the multifunction switch (multi function S / W) operation, a steering wheel (steering wheel) operation. 나아가, 주행 조작 감지부(110)는 수동 기어 차량의 클러치 패달 조작 또는 변속기 조작 항목을 더 포함하여 주행 조작 정보를 획득할 수 있다. Further, the traveling operation detecting unit 110 may further include a clutch pedal operation or transmission operation items of the manual transmission vehicle obtaining driving operation information. 이때, 주행 조작 감지부(110)는 차량의 속도를 확인하여, 차량의 속도가 일정 속도(예를 들어, 10km/h) 이상인 경우에 주행 조작 정보를 획득할 수 있다. At this time, the traveling operation detecting portion 110 may obtain the information on the traveling operation or more to determine the speed of the vehicle, the speed of the vehicle constant speed (e.g., 10km / h).

일 예로, 주행 조작 감지부(110)는 소정 시간 동안 일정 시간마다 운전자에 의해 조작되는 가속도 패달의 작동 횟수( For example, traveling operation detection unit 110 operating frequency of the acceleration pedal operated by the driver at the predetermined time for a predetermined period of time (

Figure pat00001
)를 감지한다. ) Senses. 예를 들어, 주행 조작 감지부(110)는 200ms 동안 50ms 마다 가속도 패달이 작동(ON)하는지 지속적으로 확인한다. For example, a traveling operation detection unit 110 continuously checks whether the acceleration pedal 50ms every 200ms during the operation (ON). 이와 마찬가지로, 주행 조작 감지부(110)는 브레이크 패달 및 클러치 패달 또한 일정 시간마다 조작되는 작동 횟수(각각, Likewise, the traveling operation detecting section 110 (each of the brake pedal and the clutch pedal also work number to be operated at regular intervals,
Figure pat00002
)를 감지할 수 있다. ) It can be detected.

다른 예로, 주행 조작 감지부(110)는 소정 시간 동안 운전자에 의해 조작되는 멀티펑션의 각 스위치의 작동 횟수( As another example, the traveling operation detecting portion (110) the number of operation of the switches of the multifunction operated by the driver for a predetermined period of time (

Figure pat00003
)를 감지한다. ) Senses. 여기서 멀티펑션 스위치란, 차량의 와이퍼, 방향 지시등 등과 같은 차량 램프를 동작시키기 위한 스위치일 수 있다. The multifunction switch means may be a switch for operating a vehicle lamp, such as wipers, turn signal lamp of a vehicle. 예를 들어, 주행 조작 감지부(110)는 200ms 동안 멀티펑션의 스위치가 조작하는 동작 횟수를 카운트한다. For example, the traveling operation detecting unit 110 counts the number of operating cycles that the switch of the multifunction operation for 200ms.

또 다른 예로, 주행 조작 감지부(110)는 소정 시간 동안 운전자에 의해 조작되는 스티어링 휠의 각속도( As another example, the traveling operation detecting unit 110 is the angular velocity of a steering wheel operated by the driver for a predetermined period of time (

Figure pat00004
)를 감지한다. ) Senses. 이때, 주행 조작 감지부(110)는 별도로 각속도를 측정하지 않고, 소정 시간 동안 일정 시간마다 스티어링 휠의 각 변화량을 측정하여 각 속도를 산출할 수 있다. At this time, the traveling operation detecting portion 110 may not separately measure the angular speed, for a predetermined time at predetermined time intervals by measuring each amount of change of the steering wheel, calculating the angular velocity. 예를 들어, 주행 조작 감지부(110)는 200ms 동안 50ms 마다 스티어링 휠의 각 변화량을 측정하여 각속도를 산출할 수 있다. For example, the traveling operation detecting portion 110 may calculate an angular velocity by measuring each amount of change of the steering wheel for each 50ms 200ms.

부주의 상태 감지부(120)는 차량의 주행 시 부가적으로 동작되는 제어 유닛의 조작 및 운전자의 동작을 감지하기 위한 구성이다. Carelessness state detection unit 120 is configured to detect the driver's operation and the operation of the control unit is operated during running of the vehicle by adding ever. 제어 유닛의 조작(Manual Factor)을 감지하기 위해, 부주의 상태 감지부(120)는 오디오 신호입력 감지부(T1), 공조 신호 입력 감지부(T2), 내비게이션 신호 입력 감지부(T3) 등과 같은 다수의 감지부를 포함할 수 있다. Multiple, such as to detect the operation (Manual Factor) of the control unit, inadvertently state detection unit 120, an audio signal input detection unit (T1), the air conditioning signal input detection unit (T2), the navigation signal input detector (T3) detection may include a. 또한, 부주의 상태 감지부(120)는 운전자의 동작(Visual Factor, Verbal Factor)을 감지하기 위해, 졸음지수 측정부(P), 시선 방향 측정부(E) 및 음성 감지부(V)를 포함할 수 있다. Further, careless state detection unit 120 include a drowsiness index measurer (P), gaze direction measuring unit (E) and the voice detection unit (V) to detect motion (Visual Factor, Verbal Factor) of the driver can. 이와 같은 부주의 상태 감지부(120)에 포함된 다수의 감지부 및 측정부는 도 2에 예시된 바와 같이, 차량의 소정 위치에 구현되어 주변기기 조작, 운전자의 얼굴 영상, 운전자의 음성 중 적어도 하나의 항목의 정보를 이용하여 부주의 상태 정보를 획득할 수 있다. Such inadvertent state detection unit 120, a plurality of sensing unit and the measuring unit also, implement to a predetermined position the peripheral operation of the vehicle, as illustrated in Figure 2, the driver's facial image, at least one item in the voice of the driver that are included in using the information it is able to obtain status information inadvertently.

일 예로, 부주의 상태 감지부(120)는 차량 주행 중 운전자에 의해 주변 기기가 조작되는 횟수( For example, inadvertent state detection unit 120 is the number of times that the peripheral device operated by the driver of the vehicle (

Figure pat00005
)를 감지할 수 있다. ) It can be detected. 여기서, 주변 기기는 차량용 AVN(Audio, Video, Navigation), 차량 공조 장치 등과 같이 차량 주행에 필수적인 장치는 아니나, 운전자의 편의나 차량 실내 환경을 위해 조작될 수 있는 차량 제어 유닛들일 수 있다. Here, the peripheral device is essential to driving the vehicle such as AVN (Audio, Video, Navigation), vehicle air conditioning system include, but are not, may be a vehicle control unit which can be operated for operator convenience and the vehicle interior environment. 예를 들어, 부주의 상태 감지부(120)는 차량이 소정 속도(예를 들어, 10km/h) 이상으로 주행 중, 일정 시간(예를 들어, 200ms) 동안 운전자에 의해 조작되는 주변 기기들의 동작 스위치 입력 횟수를 감지하여 부주의 상태 정보로 획득할 수 있다. For example, inadvertent state detection unit 120, the vehicle is a predetermined speed (e.g., 10km / h) of the above driving, the predetermined period of time (e.g., 200ms), the operation switch of the peripheral device to be operated by the driver while detects the input number can be obtained inadvertently status information.

다른 예로, 부주의 상태 감지부(120)는 차량 내 소정 위치에 장착된 마이크를 통해 운전자의 음성을 감지할 수 있다. As another example, carelessness state detection unit 120 may detect the voice of the driver through a microphone attached to a predetermined position within the vehicle. 예를 들어, 부주의 상태 감지부(120)는 마이크로부터 일정 시간 동안 수신되는 음성 데이터의 펄스 크기(음성 크기) 및 음성 발생 시간을 확인할 수 있다. For example, inadvertent state sensing unit 120 may determine the pulse amplitude (voice volume) and an audio generation time of audio data is received for a predetermined time from the microphone. 바람직하게, 부주의 상태 감지부(120)는 메모리에 기저장된 펄스 임계값을 이용하여 소정 시간(예를 들어, 200ms) 동안 펄스 임계값 이상의 펄스 크기의 음성 데이터가 수신되는 시간을 감지하여 부주의 상태 정보로 획득할 수 있다. Preferably, careless state detection unit 120 is a predetermined time by using a previously stored pulse threshold in a memory (e.g., 200ms) inadvertently state information by detecting the pulse threshold or more pulse amplitudes time that audio data is received over the It can be obtained at.

또 다른 예로, 부주의 상태 감지부(120)는 차량 소정 위치에 장착된 카메라를 통해 운전자의 얼굴 영상을 수신하여 운전자의 눈감음 정보 및 주시 태만 정보를 획득할 수 있다. As another example, carelessness state detection unit 120 may obtain a winding eye and give information omission information of the driver receives the face image of the driver through a camera mounted on the vehicle a predetermined position. 이때, 카메라는 주간 및 야간에 영상을 기록할 수 있도록 도 2의 (b)와 같이 근적외선 LED (Near Infrared LED)를 포함할 수 있다. In this case, the camera may include a near-infrared LED (Near Infrared LED) as shown in (b) of Figure 2 to record the image on a day and night. 바람직하게, 부주의 상태 감지부(120)는 운전자의 얼굴 영상에서 운전자의 눈 영역 영상을 별도로 추출할 수 있다. Preferably, careless state detection unit 120 may extract the eye region image of the operator separately from the face image of the driver. 이때, 운전자의 얼굴 영상은 영상 처리되어 눈 영역 영상이 추출될 수 있다. In this case, the facial image of the operator is an image processing there is a eye region image can be extracted. 즉, 부주의 상태 감지부(120)는 카메라로부터 수신되는 운전자의 얼굴 영상 및 눈 영역 영상을 이용하여 운전자가 눈감음 정보 및 주시 태만 정보와 같은 부주의 상태 정보를 획득할 수 있다. In other words, neglect the state detection unit 120 may, using the face image and the eye region image of the driver that is received from the camera to the operator inadvertently obtaining status information, such as eye winding information, and failure information notice.

부주의 상태 감지부(120)는 운전자의 얼굴 영상에서 추출되는 눈 영역 영상을 이용하여 운전자의 눈감음 정보를 획득할 수 있다. Carelessness state detection unit 120 may obtain the information of a driver winding eye using an eye region image extracted in the facial image of the driver. 도 3을 참조하면, 부주의 상태 감지부(120)는 눈 영역 영상에서 눈꺼풀 영역을 감지하여 눈꺼풀의 각도인 ∠A와 ∠B의 합이 기설정된 소정의 임계 각도값인 ∠C 이하(∠A + ∠B ≤ ∠C)인 경우, 운전자가 눈을 감은 것으로 확인한다. 3, the careless state detection unit 120 may group the predetermined threshold angle value is less than the sum of ∠A ∠C set the angle of the eyelid region by detecting the eyelid in the eye region image and ∠B (∠A + If ∠B ≤ ∠C), confirms that the driver has eyes closed.

부주의 상태 감지부(120)는 일정 시간 동안마다 눈꺼풀의 각도를 확인하여 운전자가 눈을 감은 횟수를 감지하여, 소정 시간 동안 눈을 감은 횟수와 일정 시간값을 연산하여 운전자의 졸음 시간(졸음 지수)을 획득할 수 있다. Carelessness state detection unit 120 is a period of time determine the angle of the lid each during to detect the number of times the driver eyes closed, a predetermined period of time by calculating the eyes closed many times with a predetermined time value drowsiness time of a driver for (drowsiness index) a it can be obtained. 예를 들어, 부주의 상태 감지부(120)는 1초 내 250ms 구간으로 나누어 눈 감은 횟수를 측정(카운트)하며, 카운트가 3인 경우, 운전자가 눈을 감은 시간(졸음 시간)은 750ms로 획득할 수 있다. For example, inadvertent state detection unit 120 in divided into a 250ms interval measures the number of turns eye (count) per second and, when the count is 3, the time (drowsiness time) the driver eyes closed is to obtain a 750ms can.

또한, 부주의 상태 감지부(120)는 운전자의 얼굴 영상 및 눈 영역 영상을 이용하여 운전자의 주시 태만 정보를 획득할 수 있다. Further, careless state detection unit 120 can obtain the failure information notice of the driver by using the face image and the eye region image of the driver. 도 6를 참조하면, 주시 태만의 범위는 스티어링 휠의 각도가 아닌 차량 바퀴의 각도 즉, 차량 중앙에서 바퀴의 변화 각도량(도 6의 (a)의 ΘA 혹은 ΘB 와 같은 예시)를 근거로 하여, 차량 주행 시 부하가 없는 가시거리(η)에 운전자의 시야 범위가 있는지의 여부(시선 방향)를 확인하여 주시 태만 정보를 획득한다. Referring to Figure 6, the range of the eye omission is on the basis of (illustrated as ΘA or ΘB of Figure 6 (a)) of steering change in the wheel at an angle that is, the vehicle center of the vehicle wheel, not the angle of the wheel angle metrology determine (gaze direction) that the field of view of the driver, the vehicle line-of-sight (η) with no-load running to acquire the information considered negligent. 시야 범위는 카메라로부터 획득되는 운전자의 얼굴 영상에서 얼굴의 각도(도 6의 (b)의 α)를 산출한 다음, 눈 영역 영상에서 눈동자의 위치(동공의 방향)(도 6의 (c)의 (β)를 측정하여 확인할 수 있다. Field of view is the one following, the position of the pupil in the eye region image (in the direction of the cavity) ((c in FIG. 6) calculates the (α, (b) in Fig. 6) the angle of the face in the face image of the driver that are obtained from a camera can be confirmed by measuring the (β).

구체적으로, 부주의 상태 감지부(120)는 스티어링 휠 각도가 소정 각도 이내에서 변속기의 레버가 D단 또는 N단의 경우, 일정 시간 이상 운전자의 시선이 주행 무부하 가시 범위(a, b)에 미진입시, 주시 태만으로 판단 및 그 시간을 확인하여 주시 태만 정보를 획득할 수 있다. Specifically, careless state detection section 120 entrance the steering wheel angle secluded to the transmission lever is in D-range, or if the N-range, line of sight is running without load the visible range of more than a certain amount of time the driver (a, b) within a predetermined angle , to make a judgment and a time to give omissions can obtain the failure information notice. 예를 들어, 부주의 상태 감지부(120)는 차량의 속도가 10Km 이상에서 변속기 레버 D 또는 N 시 스티어링휠 각도 ±15˚이내일 경우, 1.5초 이상 운전자의 시선이 주행 무부하 가시범위(a, b)에 미진입시 차량 전방에 대한 주시 태만으로 판단할 수 있다. For example, inadvertent state detection unit 120 is the transmission lever in the speed of the vehicle over 10Km D or N when the steering wheel angle within ± if 15˚, driving the line of sight of the driver longer than 1.5 s no-load the visible range (a, b ) it can be determined by watching negligence on the front of the vehicle entrance to the secluded.

제어부(200)는 운전자 상태 감지 장치(10)의 전반적인 동작을 수행하기 위한 구성으로서, 전자 제어 유닛일 수 있다. Controller 200 may be a configuration for performing the overall operation of a driver state detection device 10, the electronic control unit. 예를 들어, 제어부(200)는 DWC(Driving Workload Compute Unit)라고 지칭할 수 있다. For example, controller 200 may be referred to as (Driving Workload Compute Unit) DWC.

구체적으로, 제어부(200)는 획득부(100)로부터 획득된 주행 조작 정보 및 부주의 상태 정보를 이용하여 주행 조작 부하량 및 주행 방해 부하량을 계산한다. Specifically, the controller 200 calculates the driving operation load and the running disturbance load by using the traveling control information and the status information obtained from inadvertently obtaining unit 100. 또한, 주행 조작 부하량과 주행 방해 부하량을 서로 비교하여 운전자의 안전운전 상태를 판단하고, 판단 결과 안전운전 상태가 아닌 것으로 판단되면 경고 정보가 출력되도록 출력부(300)를 제어한다. Moreover, comparing the driving operation load and the running load interfere with each other and controls the output unit 300 so that warning information is output if it is determined that a non-secure operating condition is determined, and determined that the safe driving condition of the driver.

먼저, 제어부(200)는 획득부(100)로부터 획득된 주행 조작 정보 및 부주의 상태 정보를 이용하여 주행 조작 부하량 및 주행 방해 부하량을 계산한다. First, the controller 200 calculates the driving operation load and the running disturbance load by using the traveling control information and the status information obtained from inadvertently obtaining unit 100.

일 예로, 제어부(200)는 획득부(100)의 주행 조작 감지부(110)로부터 획득되는 주행 조작 정보를 이용하여 주행 조작 부하량( In one embodiment, controller 200 is traveling operation loads by using a driving operation information obtained from the traveling operation detecting portion 110 of the acquisition unit 100 (

Figure pat00006
)을 계산한다. ) To be calculated. 구체적으로, 제어부(200)는 주행 조작 감지부(110)로부터 획득되는 주행 조작 정보와, 주행 조작 정보의 항목별 가중치를 메모리로부터 불러와 주행 조작 부하량을 계산한다. Specifically, the controller 200 calculates a load up and traveling operation of the traveling operation information, the per item weight of the driving operation information obtained from the traveling operation detecting portion (110) from the memory.

여기서, 가중치는 사전에 다양한 실험을 통해 주행 조작 정보의 항목별로 추출되어 기설정된 값 일 수 있다. Here, the weight may be a predetermined value is extracted for each item in the traveling operation information through a variety of experiments in advance. 또는, 가중치는 사전에 작업자에 의해 항목별로 임의로 기설정된 값일 수 있다. Alternatively, weights may be a value predetermined for each item arbitrarily by an operator in advance. 또한, 메모리는 데이터를 저장하기 위한 저장 수단으로서, 비휘발성 메모리일 수 있다. In addition, the memory may be a storage means for storing data, a non-volatile memory.

바람직하게, 제어부(200)는 주행 조작 정보에 포함된 항목 및 그 항목에 대응되는 가중치를 이용하여 각 항목에 대한 부하량을 계산할 수 있다. Preferably, the control unit 200 using a weight corresponding to the item and the item contained in the traveling operation information one can calculate the load of each item. 예를 들어, 획득부(100)로부터 가속도 패달 조작, 브레이크 패달 조작, 멀티펑션 스위치 조작 및 조향 핸들 조작의 주행 조작 정보가 획득되는 경우, 제어부(200)는 메모리로부터 가속도 패달 조작에 대한 가중치( For example, the acceleration pedal operation from the acquisition unit 100, a brake pedal operation, when the driving operation information of the multifunction switch operation and steering operation obtained, the control unit 200 weights for the acceleration pedal operation from the memory (

Figure pat00007
,) 브페이크 패달 조작에 대한 가중치( ,) Probe weight for fake pedal operation (
Figure pat00008
), 멀티펑션 스위치 조작에 대한 가중치( ), The weight of the multi-function switch operation (
Figure pat00009
) 및 조향 핸들 조작에 대한 가중치(θ)를 메모리로부터 불러올 수 있다. ) And the weight (θ) of the steering wheel operation can be called up from the memory.

만약, 획득부(100)에서 200ms 동안 50ms 단위로 각 항목들의 시간 및 횟수 정보를 획득되는 경우, 제어부(200)에 의해 계산되는 200ms 동안의 주행 조작 부하량( If, when the acquire time and frequency information of each item to 50ms 200ms unit for the acquisition unit 100, a driving operation load for 200ms, which is calculated by the controller 200 (

Figure pat00010
)은 수학식 1과 같이 나타낼 수 있다. ) Can be expressed as Equation (1).

Figure pat00011

이러한 주행 조작 정보에 포함된 각 항목들은 경우에 따라 가감될 수 있다. Each contained in such traveling control information items can be acceleration in some cases. 만약, 차량의 종류에 따라 주행 조작 정보에 클러치 패달 조작 및 변속기 조작이 포함된 경우, 제어부(200)는 클러치 패달 조작에 대한 가중치 및 변속기 조작에 대한 가중치를 더 고려하여 주행 조작 부하량을 계산할 수 있다. If, when the driving operation information in accordance with the type of vehicle including the clutch pedal operation and a transmission operation, the controller 200 may calculate a driving operation load to further consideration of the weights for the weight and the transmission operation to the clutch pedal operation .

다른 예로, 제어부(200)는 획득부(100)의 부주의 상태 감지부(120)로부터 획득되는 부주의 상태 정보를 이용하여 주행 방해 부하량( As another example, the controller 200 may interrupt the running load using an inadvertent state information obtained from inadvertent status detecting unit 120 of the acquisition unit 100 (

Figure pat00012
)을 계산한다. ) To be calculated. 구체적으로, 제어부(200)는 부주의 상태 감지부(120)로부터 획득되는 부주의 상태 정보에 포함된 각 항목들에 대한 부하량을 구할 수 있으며, 구해진 각 항목들의 부하량의 합하여 주행 방해 부하량을 계산할 수 있다. Specifically, the control unit 200 may obtain the load for each item in the inadvertent status information obtained from inadvertently state detection unit 120 can calculate a running interference loadings were combined in the load of the respective items obtained.

제어부(200)는 획득부(100)의 부주의 상태 감지부(120)로부터 획득되는 주변기기 조작의 횟수를 이용하여 주변 기기 조작 부하량(T(n))을 산출할 수 있다. Controller 200 may calculate the peripheral operation load (T (n)) by using a number of peripheral operations is obtained from inadvertent status detecting unit 120 of the acquisition unit 100. The 예를 들어, 제어부(200)는 메모리에 기저장된 주변 기기 조작에 대한 가중치를 더 고려하여 주변 기기 조작 부하량을 계산할 수 있다. For example, the controller 200 can calculate the peripheral operation load by further consideration of the weights for the pre-stored in the memory peripheral operation. 만약, 획득부(100)에서 200ms 동안 운전자에 의한 주변기기 조작의 입력 횟수를 획득하는 경우, 제어부(200)는 주변기기 조작 입력 횟수와 가중치를 연산하여 주변 기기 조작 부하량(T(n))을 산출할 수 있다. If, for 200ms in the acquisition unit 100, when obtaining the type number of peripheral device operation by the driver, the controller 200 calculates the peripheral operation stroke count and weight to calculate the peripheral operation load (T (n)) can.

나아가, 제어부(200)는 획득부(100)의 부주의 상태 감지부(120)로부터 획득되는 운전자의 음성 데이터를 이용하여 음성 부하량(V(n))을 산출할 수 있다. Further, the controller 200 may calculate the audio load (V (n)) by using the audio data obtained from the driver's carelessness state detection unit 120 of the acquisition unit 100. The 구체적으로, 제어부(200)는 메모리에 저장된 음성 데이터의 펄스 임계값을 고려하여 음성 부하량을 계산할 수 있다. Specifically, the control unit 200 may compute a negative load in consideration of the pulses the threshold value of the speech data stored in the memory. 예를 들어, 제어부(200)는 획득부(100)의 부주의 상태 감지부(120)로부터 일정 시간(예를 들어, 200ms) 동안 획득되는 운전자의 음성 데이터에서 펄스 임계값 이상의 음성 데이터가 수신되는 시간을 연산하여 음성 부하량(V(t))을 산출할 수 있다. For example, the control unit 200 are the time a certain period of time from inadvertently state detection unit 120 or more pulse threshold in the audio data of the operator is obtained for (e.g., 200ms), the audio data acquisition unit 100 is received the calculated can be used to calculate the voice load (V (t)).

또한, 제어부(200)는 획득부(100)의 부주의 상태 감지부(120)에서 획득되는 부주의 상태 정보 중 눈감음 정보 및 주시 태만 정보를 이용하여 졸음 부하량(P(t)) 및 주행 주시 태만 부하량(E(t))을 산출할 수 있다. In addition, the controller 200 may neglect the state information of the eye winding information, and using the involved neglect information drowsiness load (P (t)) and the travel involved failure load is obtained from inadvertent status detecting unit 120 of the acquisition unit 100 the (E (t)) can be calculated.

도 4의 그래프를 참조하면, 운전자가 지각 상태일 때는 상당히 안정적으로 그래프의 변동 폭이 좁으며, 반면에 졸음 상태일 때의 PERCLOS값은 변화가 상당히 심하며 전체적인 수치가 지각 상태보다 높게 나타난다. Referring to the graph of Figure 4, the driver perceive the state it indicates quite stable was the variation width of the graph narrow, PERCLOS value when, while the nap state is shown in the overall value higher than the perceived change of state is significantly simhamyeo. 여기서 PERCLOS 값은 수학식 2와 같이 나타낼 수 있다. The PERCLOS value can be expressed by equation (2).

Figure pat00013

도 4의 그래프에 근거하여 제어부(200)에 의해, PERCLOS의 값이 소정 퍼센트(30%) 이상으로 확인되는 경우, 즉, 부주의 상태 감지부(120)를 통해 소정 시간(예를 들어, 250초)를 기준으로 일정 시간(예를 들어, 약 75초) 운전자가 눈을 감은 것으로 확인되는 경우, 제어부(200)는 차량 경보음이 출력되도록 출력부(300)를 제어한다. By the controller 200 on the basis of the graph of Figure 4, when the value of the PERCLOS confirmed by more than a predetermined percentage (30%), that is, for a predetermined time (for example, through carelessness state detection unit 120, 250 seconds ) for a period of time (for example, by example, when it is identified as the wound to about 75 seconds) the driver eyes, the control unit 200 controls the output unit 300 so that the vehicle alarm sound output. 이는, 졸음 운전이 차량 주행중 가장 높은 위험 요소이므로 일정 시간 이상 운전자가 눈을 감은 것으로 확인되면 운전자가 졸음 운전 중인 것으로 판단하여 즉각적으로 경보음이 출력되어 운전자에게 경고하기 위함이다. This is because when the drowsiness while driving the vehicle the highest risk was found to be longer than a certain period of time a driver is closing your eyes immediately the alarm output is judged to be in the driver asleep at the wheel in order to alert the driver.

이때, 제어부(200)는 도 5의 흐름도를 참조하여 운전자의 눈감음 확인 동작을 수행할 수 있다. At this time, the controller 200 may perform the winding operation for confirming the driver's eyes with reference to the flowchart of FIG. 구체적으로, 제어부(200)는 차량 속도(V)가 소정 속도 이상(예를 들어, V≥10Km/h)에서, 부주의 상태 감지부(120)를 통해 소정의 측정 시간(N) 동안 일정 시간(x)(예를 들어, 250ms 또는 0.25s로 나타냄) 마다 눈꺼풀의 각도를 통해 눈감은 횟수(y)를 확인하여 운전자가 눈감은 시간(졸음 시간)을 산출할 수 있다. Predetermined times during Specifically, the control unit 200 are the vehicle speed (V) is a predetermined speed or more (e.g., V≥10Km / h) in a predetermined measuring time (N) through an inadvertent state detection unit 120 ( x) (e. g., by using the angle of each eyelid 250ms or indicated by 0.25s) determine the number of eyes-closed (y) it can be used to calculate the time (winding time sleepiness driver eye). 이때, 부주의 상태 감지부(120)는 눈꺼풀의 각도가 ∠A+∠B≤∠C이면, 눈을 감은 것으로 판단하여 눈감은 횟수를 카운트(y++)한다. In this case, inadvertent state detection unit 120, if the angle of the eyelid ∠A + ∠B≤∠C, it is determined that the closed eyes and the number of turns eye count (y ++). 제어부(200)는 일정 시간(x)마다 눈감은 횟수(y)를 카운트하여(x+=0.25, y++), 1초 동안 눈 감은 횟수가 3회(x=1, y=3)이면, 제어부(200)는 환산 인자(P)값을 카운트(P++)한다. If the control unit 200 a predetermined time (x) eye to sense counts the number (y) (x + = 0.25, y ++), the number of turns the eye three times for one second (x = 1, y = 3), each controller ( 200) is converted to factor (P) a count value (P ++). 측정 시간을 늘리면서(N++) 위와 같은 과정을 반복할 수 있으며, 만약, 250초의 측정 시간 이내에서 환산인자(P)가 100 이상이 되는 순간(N≥250, P≥100), 제어부(200)는 경고(WARNING)를 발생할 수 있도록 출력부(300)를 제어한다. To repeat the process above, the measurement time neulrimyeonseo (N ++), and if, which is the conversion factor (P) is above 100 in less than 250 seconds of measurement time instant (N≥250, P≥100), control unit 200 to generate a warning (wARNING) controls the output unit 300. 또한, 제어부(200)는 환산 인자(P)값을 99로 변경하고, 측정시간(N)을 1초 감소시킨 후(P=99, N-=1), 위와 같은 과정을 반복하여 운전자가 눈감은 시간(졸음 시간)을 산출할 수 있다. Further, the control unit 200 are conversion factors (P) then change the value to 99, and reducing the measuring time (N) cho 1 (P = 99, = N- 1), by repeating the above process the operator eye sense can be used to calculate the time (time drowsiness). 나아가, 제어부(200)는 일정 시간 동안 PERCLOS 값이 30% 이상인 경우를 확인하여 졸음 부하량(P(t))을 산출할 수 있다. Further, the control unit 200 to determine if more than PERCLOS value is 30% for a period of time can be calculated drowsiness load (P (t)).

또한, 제어부(200)는 부주의 상태 감지부(120)에서 획득되는 주시 태만 정보를 이용하여 주시 태만 부하량(E(t))을 산출한다. In addition, the controller 200 calculates the failure notice by failure notice the information obtained from inadvertently state detection unit 120 loads (E (t)). 도 6에서와 같이 시야 범위가 주행 무부하 가시거리(η)에서 벗어난다면, 벗어난 범위에 따라 부하 인자(V)의 인자값이 달라질 수 있다. Even if the field of view as in 6 out of the no-load running of sight (η), according to the factor value out of range, the load factor (V) may vary. 도 6의 (a)에서 a' 혹은 b'와 같이 벗어난 범위는 별도로 기설정되며, 현재 운전자의 시야 범위가 해당하는 범위별로 부하 인자의 인자값을 메모리로부터 불러내어 주시 태만 부하량(E(t))을 산출할 수 있다. In (a) range out as a 'or b' of Fig. 6 is set group additionally, the parameter value of the load factor for each range in which the field of view of a current driver that control recall from the memory involved omission load (E (t) ) it can be calculated.

제어부(200)는 이렇게 산출된 주변 기기 조작 부하량(T(n)), 음성 부하량(V(t)), 졸음 부하량(P(t)) 및 주시 태만 부하량(E(t))을 연산하여 주행 방해 부하량( The controller 200 is traveling by calculating the peripheral operation load (T (n)), negative load (V (t)), drowsiness load (P (t)) and give omission load (E (t)), calculating this disturbing loads (

Figure pat00014
)으로 계산할 수 있다. ) And it can be calculated. 또한, 차량의 상태 및 경우에 따라서는 부주의 상태 정보를 이용하여 획득된 부하량들 중 주행 방해 부하량의 계산에 고려되지 않는 부하량이 있을 수도 있다. In addition, in some cases, the state of the vehicle and may be a load that is not considered in the calculation of the running disturbance load of the load obtained by the inadvertent status information.

제어부(200)는 주행 부하량( Control unit 200 running load (

Figure pat00015
)과 주행 방해 부하량( ) Interfere with the running load (
Figure pat00016
)을 서로 비교하여 운전자의 안전운전 상태를 판단한다. ) Compared to each other to determine a safe driving condition of the driver. 구체적으로, 제어부(200)는 주행 부하량( Specifically, control unit 200 running load (
Figure pat00017
)에서 주행 방해 부하량( ) Interfere with the running load in (
Figure pat00018
)을 뺀 값이 기설정된 여유 부하량( ) To afford the predetermined load value, minus (
Figure pat00019
) 이하인 경우 운전자가 안전운전 상태가 아닌 것으로 판단한다. If) or less determines that the driver is not a safe operation. 여기서, 여유 부하량( Here, the extra load (
Figure pat00020
)은 주행부하량, 주행정보(변속기어상태, 차량가속도, 조향진행 등)으로부터 피실험자의 조건에 따른 실험을 통해 추출되어 메모리에 기저장된 값이며, 주행 조건에 따라 가변( ) Is variable according to the running load, the running information (transmission control state, is extracted through an experiment according to the condition of the subject from a vehicle acceleration, a steering progress, etc.), with a pre-stored value in the memory, driving conditions (
Figure pat00021
)될 수 있다. ) It can be.

즉, 운전자가 안전운전 상태로 판단되려면, 수학식 3의 조건을 만족해야 한다. In other words, in order to determine the driver safe driving conditions, it must satisfy the condition of Equation (3).

Figure pat00022

여기서, t는 시간 값이며, n은 횟수값이다. Here, t is the time values, n is the number of values.

출력부(300)는 화면 출력 및 경보음 출력을 위한 구성으로서, 액정 표시 장치(LCD) 및 스피커를 포함한다. An output unit 300 as a configuration for the screen output and the alarm output, and a liquid crystal display (LCD) and a speaker. 바람직하게, 출력부(300)는 도 8의 (b)에서와 같이 클러스터를 통해 화면 출력할 수 있다. Preferably, the output unit 300 may output the screen through the cluster, as shown in (b) of Fig. 또는, 출력부(300)는 오디오 디스플레이를 통해 화면 출력할 수도 있다. Alternatively, the output unit 300 may be output through the audio display screen. 나아가, 출력부(300)는 제어부(200)의 안전운전 상태 판단 결과 및 그 결과값을 도 8의 (a)와 같이 막대 그래프 형식 및 색상을 달리하여 화면 표시할 수 있다. Further, the output unit 300 may display by changing the bar graph format, and colors, such as security operation state judgment result and the result of the value of FIG. 8 (a) of the controller 200.

구체적으로, 제어부(200)는 주행 부하량과 주행 방해 부하량의 차에 따른 현재 부하량의 정보를 막대 그래프로 화면 표시할 수 있도록 출력부(300)를 제어할 수 있다. Specifically, the controller 200 may control the output unit 300 the information on the current load in accordance with the difference between the driving load and the running load disturbance to display a bar graph. 예를 들어, 제어부(200)에 의해 계산된 주행 부하량( For example, the running load calculated by the controller 200 (

Figure pat00023
)과 주행 방해 부하량( ) Interfere with the running load (
Figure pat00024
)의 차를 여유 부하량( ) Loads of free car (
Figure pat00025
)으로 나눈 결과 값(C)을 막대 그래프의 퍼센트 단위로 나타낼 수 있다. ) The result (C) divided by a can be expressed as a percentage of its histogram. 만약, 차량 주행이 어려워지는 순간을 75%로 기설정된 경우, 제어부(200)는 결과값(C)이 75% 이상인 경우 막대 그래프의 색상을 적색으로 화면 표시되도록 나아가 막대 그래프가 점멸되도록 출력부(300)를 제어하여 운전자에게 차량 주행의 위험을 상기시킬 수 있다. If the vehicle when traveling is the to be difficult time preset as 75%, the controller 200 may result (C) output such that not less than 75% go to display the color of the bar graph in red histogram is flashing portion ( controls 300) may be the risk of the vehicle running on the driver. 또한, 이러한 경우 제어부(200)는 경보음이 출력되도록 출력부(300)를 제어하여 운전자에게 경고할 수 있다. Also, in this case controller 200 controls the output unit 300 so that the alarm sound is output to alert the driver. 결과값(C)이 75% 미만인 경우에는 막대 그래프가 녹색으로 표시되어 운전자에게 안전한 상태임을 알릴 수 있다. If the result value (C) is less than 75%, there can demonstrate a safe state to the driver, the bar graph is displayed in green.

나아가, 제어부(200)는 주행 부하량( Further, the control unit 200 running load (

Figure pat00026
)과 주행 방해 부하량( ) Interfere with the running load (
Figure pat00027
)의 차를 여유 부하량( ) Loads of free car (
Figure pat00028
)으로 나눈 결과 값(C)이 일정 수준(예를 들어, 85%)이상인 경우, 차량 주행의 안전에는 지장이 없는 AVN의 전원을 강제적으로 오프(OFF)시킬 수 있다. ) The result (C) divided by this it is possible to a certain level (for example, not less than 85%), is forcibly turned off the power to the safety of the vehicle running does not interfere AVN (OFF). 덧붙여, 제어부(200)는 출력부(300)를 통해 출력되는 경보음의 음량을 결과값(C)에 거듭 제곱 비례하도록 높여 운전자에게 주행 위험을 강하게 경고할 수 있다. In addition, the controller 200 may alert a strong driving hazard to the operator so as to increase a power proportional to the volume of the alarm sound outputted through the output unit 300 to the result (C).

이와 같이 본 발명에 따르면, 차량 주행에 따라 발생하는 주행 부하량과 주변기기 및 운전자의 졸음 등과 같이 주행에 방해되는 주행 방해 부하량을 비교하여 운전자의 안전운전 상태를 확인하며, 차량 운전에 방해되는 부하량이 높은 경우 운전자에게 경고하며, 경우에 따라서는 차량 주행에 필수적이지 않은 요소(예를 들어, 주변기기)의 동작을 강제적으로 정지시켜 차량 운전에 방해가 되는 주행 방해 부하량을 감소시켜 운전자가 안전운전을 할 수 있도록 하는 효과를 창출한다. Thus, according to the present invention, and confirm the safe driving condition of the driver compared to the running disturbance load which interfere with the running, such as generating the traveling load and the peripheral devices and drowsiness of the driver in accordance with the vehicle running, the high loadings which interfere with the vehicle driving in some cases, and alert the driver, the elements that are not essential to the vehicle running forcibly stop the operation of (for example, a peripheral device) by reducing the running disturbance load that might interfere with the vehicle driving the driver can drive safely when It creates the effect of allowing.

도 8은 본 발명의 실시예에 따른 운전자 상태 감지 방법 흐름도이다. 8 is a flowchart illustrating the driver condition detection method according to an embodiment of the invention.

먼저, 운전자 상태 감지 장치(10)는 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득한다(S100). First, the driver state detection device 10 obtains the state information of careless driving operation information and the operator (S100).

구체적으로, 운전자 상태 감지 장치(10)는 차량 주행에 필수적인 주행 제어 유닛들의 주행 조작을 감지하여 주행 조작 정보를 획득한다. Specifically, the driver state detection device 10 obtains the traveling control information by detecting the traveling operation of the integral drive control unit in the vehicle running. 예를 들어, 운전자 상태 감지 장치(10)는 가속도 패달(ACC pad) 조작, 브레이크 패달(Break pad) 조작, 멀티펑션 스위치(Multi function S/W) 조작, 조향 핸들(Steering wheel) 조작 중 적어도 하나의 항목의 주행 조작을 감지하여 주행 조작 정보를 획득한다. For example, the driver condition detection device 10 is an acceleration pedal (ACC pad) operation, a brake pedal (Break pad) operation, the multifunction switch (Multi function S / W) operation, at least one of the steering wheel (Steering wheel) operation sensing a traveling operation of the item and to obtain the driving operation information. 이때, 운전자 상태 감지 장치(10)는 차량의 속도를 확인하여 차량의 속도가 일정 속도(예를 들어, 10km/h) 이상인 경우에 주행 조작 정보를 획득할 수 있다. At this time, the driver condition sensor 10 may obtain the information on the driving operation, if more than the speed of the vehicle to make the speed of the vehicle constant speed (e.g., 10km / h).

일 예로, 운전자 상태 감지 장치(10)는 소정 시간 동안 일정 시간마다 운전자에 의해 조작되는 가속도 패달의 작동 횟수( For example, the driver condition sensing apparatus 10 is operated number of times of the acceleration pedal operated by the driver at the predetermined time for a predetermined period of time (

Figure pat00029
)를 감지한다. ) Senses. 이와 마찬가지로, 운전자 상태 감지 장치(10)는 브레이크 패달 및 클러치 패달 또한 일정 시간마다 조작되는 작동 횟수(각각, Likewise, the driver state detection device 10 (each of the brake pedal and the clutch pedal also work number to be operated at regular intervals,
Figure pat00030
)를 감지할 수 있다. ) It can be detected.

다른 예로, 운전자 상태 감지 장치(10)는 소정 시간 동안 운전자에 의해 조작되는 멀티펑션의 각 스위치의 작동 횟수( As another example, the driver condition sensing apparatus 10 is operated number of times of the switches of the multifunction operated by the driver for a predetermined period of time (

Figure pat00031
)를 감지한다. ) Senses. 여기서 멀티펑션 스위치란, 차량의 와이퍼, 방향 지시등 등과 같은 차량 램프를 동작시키기 위한 스위치일 수 있다. The multifunction switch means may be a switch for operating a vehicle lamp, such as wipers, turn signal lamp of a vehicle.

또 다른 예로, 운전자 상태 감지 장치(10)는 소정 시간 동안 운전자에 의해 조작되는 스티어링 휠의 각속도( As another example, the driver condition sensing apparatus 10 is an angular velocity of a steering wheel operated by the driver for a predetermined period of time (

Figure pat00032
)를 감지한다. ) Senses. 이때, 운전자 상태 감지 장치(10)는 별도로 각속도를 측정하지 않고, 소정 시간 동안 일정 시간마다 스티어링 휠의 각 변화량을 측정하여 각 속도를 산출할 수 있다. At this time, the driver condition sensing apparatus 10 without separately measuring the angular speed, at the predetermined time for a predetermined time by measuring each amount of change of the steering wheel, it is possible to calculate the angular velocity.

나아가, 운전자 상태 감지 장치(10)는 차량 주행 중 선택적으로 운전자에 의해 제어되는 주변 기기, 운전자의 음성 및 얼굴 정보를 통해 부주의 상태 정보를 획득한다. Further, the driver state detection device 10 obtains the inadvertent status information via the voice and face information of a peripheral device, a driver that is controlled by the driver by selective driving of the vehicle.

일 예로, 운전자 상태 감지 장치(10)는 차량 주행 중 운전자에 의해 주변 기기가 조작되는 횟수( For example, the driver condition sensing apparatus 10 is the number of times that the peripheral device operated by the driver of the vehicle (

Figure pat00033
)를 감지할 수 있다. ) It can be detected. 여기서, 주변 기기는 차량용 AVN(Audio, Video, Navigation), 차량 공조 장치 등과 같이 차량 주행에 필수적인 장치는 아니나, 운전자의 편의나 차량 실내 환경을 위해 조작될 수 있는 차량 제어 유닛들일 수 있다. Here, the peripheral device is essential to driving the vehicle such as AVN (Audio, Video, Navigation), vehicle air conditioning system include, but are not, may be a vehicle control unit which can be operated for operator convenience and the vehicle interior environment.

다른 예로, 운전자 상태 감지 장치(10)는 차량 내 소정 위치에 장착된 마이크를 통해 운전자의 음성을 감지할 수 있다. As another example, the driver condition sensing device 10 may detect the voice of the driver through a microphone attached to a predetermined position within the vehicle. 예를 들어, 운전자 상태 감지 장치(10)는 마이크로부터 일정 시간 동안 수신되는 음성 데이터의 펄스 크기(음성 크기) 및 음성 발생 시간을 확인할 수 있다. For example, the driver condition sensing apparatus 10 can determine the pulse amplitude (voice volume) and an audio generation time of audio data is received for a predetermined time from the microphone.

또 다른 예로, 운전자 상태 감지 장치(10)는 차량 소정 위치에 장착된 카메라를 통해 운전자의 얼굴 영상을 수신하여 운전자의 눈감음 정보 및 주시 태만 정보를 획득할 수 있다. As another example, the driver condition sensor 10 may obtain a winding eye and give information omission information of the driver receives the face image of the driver through a camera mounted on the vehicle a predetermined position. 이때, 카메라는 주간 및 야간에 영상을 기록할 수 있도록 도 2의 (b)와 같이 근적외선 LED (Near Infrared LED)를 포함할 수 있다. In this case, the camera may include a near-infrared LED (Near Infrared LED) as shown in (b) of Figure 2 to record the image on a day and night.

바람직하게, 운전자 상태 감지 장치(10)는 운전자의 얼굴 영상에서 운전자의 눈 영역 영상을 별도로 추출할 수 있다. Preferably, the driver state detection device 10 may be extracted eye region image of the operator separately from the face image of the driver. 이때, 운전자의 얼굴 영상은 영상 처리되어 눈 영역 영상이 추출될 수 있다. In this case, the facial image of the operator is an image processing there is a eye region image can be extracted. 즉, 운전자 상태 감지 장치(10)는 카메라로부터 수신되는 운전자의 얼굴 영상 및 눈 영역 영상을 이용하여 운전자가 눈감음 정보 및 주시 태만 정보와 같은 부주의 상태 정보를 획득할 수 있다. That is, the driver state detection device 10 may use the face image and the eye region image of the driver that is received from the camera to the operator inadvertently obtaining status information, such as eye winding information, and failure information notice.

운전자 상태 감지 장치(10)는 운전자의 얼굴 영상에서 추출되는 눈 영역 영상을 이용하여 운전자의 눈감음 정보를 획득할 수 있다. The driver condition detection device 10 may use the eye region image extracted in the facial image of the operator to obtain a winding eye information of the driver. 도 3을 참조하면, 운전자 상태 감지 장치(10)는 눈 영역 영상에서 눈꺼풀 영역을 감지하여 눈꺼풀의 각도인 ∠A와 ∠B의 합이 기설정된 소정의 임계 각도값인 ∠C 이하(∠A + ∠B ≤ ∠C)인 경우, 운전자가 눈을 감은 것으로 확인한다. 3, the driver condition sensing apparatus 10 is the group a predetermined threshold angle value is less than the sum of ∠A ∠C set the angle of the eyelid region by detecting the eyelid in the eye region image and ∠B (∠A + If ∠B ≤ ∠C), confirms that the driver has eyes closed. 운전자 상태 감지 장치(10)는 일정 시간 동안마다 눈꺼풀의 각도를 확인하여 운전자가 눈을 감은 횟수를 감지하여, 소정 시간 동안 눈을 감은 횟수와 일정 시간값을 연산하여 운전자의 눈감음 정보(졸음 시간)를 획득할 수 있다. The driver condition detection device 10 is a predetermined time for each check the angle of the eyelid to detect the number of times the driver eyes closed, by calculating the eyes closed many times with a predetermined time value eye winding information of the driver for a predetermined time while (drowsiness time ) it can be attained.

또한, 운전자 상태 감지 장치(10)는 운전자의 얼굴 영상 및 눈 영역 영상을 이용하여 운전자의 주시 태만 정보를 획득할 수 있다. Also, the driver condition sensing device 10 may be by using a face image and the eye region image of the operator to obtain a watch omission information of the driver. 도 6를 참조하면, 주시 태만의 범위는 스티어링 휠의 각도가 아닌 차량 바퀴의 각도 즉, 차량 중앙에서 바퀴의 변화 각도량(도 6의 (a)의 ΘA 혹은 ΘB 와 같은 예시)를 근거로 하여, 차량 주행 시 부하가 없는 가시거리(η)에 운전자의 시야 범위가 있는지의 여부를 확인하여 주시 태만 정보를 획득한다. Referring to Figure 6, the range of the eye omission is on the basis of (illustrated as ΘA or ΘB of Figure 6 (a)) of steering change in the wheel at an angle that is, the vehicle center of the vehicle wheel, not the angle of the wheel angle metrology , by checking whether the driver's field of view of the line-of-sight (η) do not have a car-load driving obtains information considered negligent. 여기서, 시야 범위는 카메라로부터 획득되는 운전자의 얼굴 영상에서 얼굴의 각도(도 6의 (b)의 α)를 산출한 다음, 눈 영역 영상에서 눈동자의 위치(동공의 방향)(도 6의 (c)의 (β)를 측정하여 확인할 수 있다. Here, the field of view are calculated to (α in (b) in Fig. 6) the angle of the face in the face image of the driver that are obtained from a camera, and then, the position of the pupil in the eye region image (in the direction of the cavity) ((c in FIG. 6 ) can be confirmed by measuring the (β).

구체적으로, 스티어링 휠 각도가 소정 각도 이내에서 변속기의 레버가 D단 또는 N단의 경우, 일정 시간 이상 운전자의 시선이 주행 무부하 가시 범위(a, b)에 미진입시, 운전자 상태 감지 장치(10)는 주시 태만으로 판단 및 그 시간을 확인하여 주시 태만 정보를 획득할 수 있다. More specifically, if the steering wheel angle of the transmission lever is in D-range or N-range within a predetermined angle, the entrance, the driver state detection device 10, secluded in the line of sight of a certain time or more drivers running without load the visible range (a, b) by confirming the judgment and the time involved negligence can obtain information considered negligent.

운전자 상태 감지 장치(10)는 단계 S100에서 획득된 주행 조작 정보 및 부주의 상태 정보를 이용하여 주행 조작 부하량 및 주행 방해 부하량을 계산한다(S200). The driver condition sensing apparatus 10 by using the traveling control information and inadvertent status information obtained in step S100 and calculates the driving operation load and the running disturbance load (S200).

일 예로, 운전자 상태 감지 장치(10)는 주행 조작 정보를 이용하여 주행 조작 부하량( For example, the driver condition sensing apparatus 10 is traveling operation loads by using a traveling operation information (

Figure pat00034
)을 계산한다. ) To be calculated. 구체적으로, 운전자 상태 감지 장치(10)는 주행 조작 정보와, 주행 조작 정보의 항목별 가중치를 메모리로부터 불러와 주행 조작 부하량을 계산한다. Specifically, the driver state detection device 10 calculates the load and the running load operation the traveling control information and the item-specific weight for the driving operation information from the memory.

여기서, 가중치는 사전에 다양한 실험을 통해 주행 조작 정보의 항목별로 추출되어 기설정된 값 일 수 있다. Here, the weight may be a predetermined value is extracted for each item in the traveling operation information through a variety of experiments in advance. 또는, 가중치는 사전에 작업자에 의해 항목별로 임의로 기설정된 값일 수 있다. Alternatively, weights may be a value predetermined for each item arbitrarily by an operator in advance.

바람직하게, 운전자 상태 감지 장치(10)는 주행 조작 정보에 포함된 항목 및 그 항목에 대응되는 가중치를 이용하여 각 항목에 대한 부하량을 계산할 수 있다. Preferably, the driver state detection device 10 using the weight corresponding to the item and the item contained in the traveling operation information one can calculate the load of each item. 예를 들어,운전자 상태 감지 장치(10)는 가속도 패달 조작, 브레이크 패달 조작, 멀티펑션 스위치 조작 및 조향 핸들 조작의 주행 조작 정보가 획득되는 경우, 운전자 상태 감지 장치(10)는 기저장되어 있는 가속도 패달 조작에 대한 가중치( For example, the driver condition sensing apparatus 10 is the acceleration pedal operation, brake pedal operation, when the driving operation information of the multifunction switch operation and steering operation obtained, the acceleration which the driver condition sensing apparatus 10 is the reservoir weights for pedal operations (

Figure pat00035
,) 브페이크 패달 조작에 대한 가중치( ,) Probe weight for fake pedal operation (
Figure pat00036
), 멀티펑션 스위치 조작에 대한 가중치( ), The weight of the multi-function switch operation (
Figure pat00037
) 및 조향 핸들 조작에 대한 가중치(θ)를 불러올 수 있다. ) And it may be called up weights (θ) of the steering wheel operation. 만약, 200ms 동안 50ms 단위로 주행 조작 정보에 포함된 각 항목들의 시간 및 횟수 정보가 획득되는 경우, 200ms 동안의 주행 조작 부하량( If, when the time and frequency information for each item in the traveling control unit for the information to 50ms 200ms is obtained, the running operation of the load during 200ms (
Figure pat00038
)은 수학식 1과 같이 나타낼 수 있다. ) Can be expressed as Equation (1).

다른 예로, 운전자 상태 감지 장치(10)는 부주의 상태 정보를 이용하여 주행 방해 부하량( As another example, the driver condition sensing apparatus 10 is running disturbance load by using the inadvertent status information (

Figure pat00039
)을 계산한다. ) To be calculated. 구체적으로, 운전자 상태 감지 장치(10)는 부주의 상태 정보에 포함된 각 항목들에 대한 부하량을 구할 수 있으며, 구해진 각 항목들의 부하량의 합하여 주행 방해 부하량을 계산할 수 있다. More specifically, the driver condition sensing apparatus 10 can obtain the load for each item in the inadvertent status information, it is possible to calculate a running sum of the disturbance load load of the respective items obtained.

운전자 상태 감지 장치(10)는 주변기기 조작의 횟수를 이용하여 주변 기기 조작 부하량(T(n))을 산출할 수 있다. The driver condition detection device 10 may be used to calculate the peripheral operation load (T (n)) by using a number of peripheral operation. 예를 들어, 운전자 상태 감지 장치(10)는 기저장된 주변 기기 조작에 대한 가중치를 더 고려하여 주변 기기 조작 부하량을 계산할 수 있다. For example, the driver condition sensing apparatus 10 can calculate the peripheral operation load by further consideration of the weights for the pre-stored peripheral operation. 만약, 소정 시간 동안 운전자에 의한 주변기기 조작의 입력 횟수를 획득하는 경우, 운전자 상태 감지 장치(10)는 주변기기 조작 입력 횟수와 가중치를 연산하여 주변 기기 조작 부하량(T(n))을 산출할 수 있다. If, in the case of obtaining the type number of peripheral device operation by the driver for a predetermined time, the driver condition sensing apparatus 10 may be used to calculate the peripheral operation load (T (n)) by calculating the peripheral operation stroke count and weight .

나아가, 운전자 상태 감지 장치(10)는 운전자의 음성 데이터를 이용하여 음성 부하량(V(n))을 산출할 수 있다. Further, the driver state detection device 10 may output a voice load (V (n)) by using the voice data of the operator. 구체적으로, 운전자 상태 감지 장치(10)는 기저장된 음성 데이터의 펄스 임계값을 고려하여 음성 부하량을 계산할 수 있다. More specifically, the driver condition sensing device 10 may calculate the sound load in consideration of the pulses the threshold value of a previously stored voice data. 예를 들어, 운전자 상태 감지 장치(10)는 소정 시간 동안 획득되는 운전자의 음성 데이터에서 펄스 임계값 이상의 음성 데이터가 수신되는 시간을 연산하여 음성 부하량(V(t))을 산출할 수 있다. For example, the driver condition sensing apparatus 10 may output a voice load (V (t)) by calculating the time at which the audio data over a pulse threshold in the voice data of the operator that is obtained for a predetermined time is received.

또한, 운전자 상태 감지 장치(10)는 부주의 상태 정보 중 눈감음 정보 및 주시 태만 정보를 이용하여 졸음 부하량(P(t)) 및 주행 주시 태만 부하량(E(t))을 산출할 수 있다. Also, the driver condition sensing device 10 may calculate the drowsiness load (P (t)) and a running load failure notice (E (t)) by using a winding eye and give information of the failure information inadvertent status information.

이때, 운전자 상태 감지 장치(10)는 도 5의 흐름도를 참조하여 운전자의 눈감음 확인 동작을 수행할 수 있으며, 차량 속도(V)가 소정 속도 이상에서 소정 시간(N) 동안 일정 시간(x) 마다 눈꺼풀의 각도를 통해 눈감은 횟수(y)를 확인하여 운전자가 눈감은 시간(졸음 시간)을 산출할 수 있다. At this time, the driver condition sensing apparatus 10 is a predetermined time (x) for the above reference to Figure 5 a flow diagram of the can to perform eye winding operation check of the driver, a predetermined speed a vehicle speed (V) a predetermined time (N) each check your eyes closed number (y) from the angle of the eyelids can be used to calculate the time (time sleepiness) closed driver's eyes. 나아가, 일정 시간 동안 PERCLOS 값이 30% 이상인 경우를 카운트(P)한 값을 부하 인자로 환산시켜 졸음 부하량(P(t))을 산출할 수 있다. Further, by converting not less than a period of time PERCLOS value is 30% of a count value (P) to the load factor can be calculated drowsiness load (P (t)).

또한, 운전자 상태 감지 장치(10)는 부주의 상태 정보 중 주시 태만 정보를 이용하여 주시 태만 부하량(E(t))을 산출한다. In addition, the driver state detection device 10 calculates the load failure (E (t)) considered with regard to inadvertent omission of the information status information. 도 6에서와 같이, 시야 범위가 주행 무부하 가시거리(η)에서 벗어난다면, 벗어난 범위에 따라 부하 인자(V)의 인자값이 달라질 수 있다. As in Figure 6, if the field of view out of the no-load running of sight (η), according to the outside of the range may vary the parameters for the load factor (V). 도 6의 (a)에서 a' 혹은 b'와 같이 벗어난 범위는 별도로 기설정되며, 현재 운전자의 시야 범위가 해당하는 범위별로 부하 인자의 인자값을 메모리로부터 불러내어 주시 태만 부하량(E(t))을 산출할 수 있다. In (a) range out as a 'or b' of Fig. 6 is set group additionally, the parameter value of the load factor for each range in which the field of view of a current driver that control recall from the memory involved omission load (E (t) ) it can be calculated.

운전자 상태 감지 장치(10)는 이렇게 산출된 주변 기기 조작 부하량(T(n)), 음성 부하량(V(t)), 졸음 부하량(P(t)) 및 주시 태만 부하량(E(t))을 연산하여 주행 방해 부하량( The driver condition detection device 10 is a peripheral operation load (T (n)), negative load (V (t)), drowsiness load (P (t)) and give omission load (E (t)), calculating this calculated by the running disturbance load (

Figure pat00040
)으로 계산할 수 있다. ) And it can be calculated.

운전자 상태 감지 장치(10)는 주행 조작 부하량( The driver condition detection device 10 is driving operation load (

Figure pat00041
)과 주행 방해 부하량( ) Interfere with the running load (
Figure pat00042
)의 차와 여유 부하량( Loads of tea and free) (
Figure pat00043
)을 비교한다(S300). ) Compares (S300).

구체적으로, 운전자 상태 감지 장치(10)는 주행 부하량( More specifically, the driver condition sensing apparatus 10 is the running load (

Figure pat00044
)에서 주행 방해 부하량( ) Interfere with the running load in (
Figure pat00045
)을 뺀 값이 기설정된 여유 부하량( ) To afford the predetermined load value, minus (
Figure pat00046
) 이하인지 확인한다. ) Confirms whether or less. 여기서, 여유 부하량( Here, the extra load (
Figure pat00047
)은 주행부하량, 주행정보(변속기어상태, 차량가속도, 조향진행 등)으로부터 피실험자의 조건에 따른 실험을 통해 추출되어 메모리에 기저장된 값이며, 주행 조건에 따라 가변( ) Is variable according to the running load, the running information (transmission control state, is extracted through an experiment according to the condition of the subject from a vehicle acceleration, a steering progress, etc.), with a pre-stored value in the memory, driving conditions (
Figure pat00048
)될 수 있다. ) It can be. 이때, 운전자 상태 감지 장치(10)는 주행 부하량( At this time, the driver condition sensing apparatus 10 is the running load (
Figure pat00049
)과 주행 방해 부하량( ) Interfere with the running load (
Figure pat00050
)의 차를 여유 부하량( ) Loads of free car (
Figure pat00051
)으로 나눈 결과 값(C)을 산출할 수 있다. ) It can be calculated with the results (C) obtained by dividing.

만약, 차량 주행이 어려워지는 순간을 임계 퍼센트값으로 기설정되어 있고, 단게 S300의 비교 결과값(C)이 임계 퍼센트값 이상이면, 운전자 상태 감지 장치(10)는 운전자에게 경고한다(S400). If, the moment that the vehicle is traveling more difficult, and is previously set as a threshold percentage, and if the comparison result (C) of Tange S300 is greater than a threshold percentage, the driver state detection device 10 warns the driver (S400).

차량 주행이 어려워지는 순간이 75%로 기설정되고, 단계 S300의 비교 결과값(C)이 75% 이상이면, 운전자 상태 감지 장치(10)는 운전자에게 경고한다 예를 들어, 운전자 상태 감지 장치(10)는 현재 부하량을 나타내는 막대 그래프의 색상을 적색으로 화면 표시하며, 나아가 막대 그래프를 점멸하여 운전자에게 차량 주행의 위험을 상기시킬 수 있다. The moment that the vehicle running hard group set to 75% and, if the comparison result (C) of step S300 is not less than 75%, the driver state detection device 10 warns the driver, for example, the driver condition sensing apparatus ( 10) the current display color of the bar graph representing the load and display in red, and further blink a histogram can be the risk of the vehicle running on the driver. 또한, 이러한 경우 운전자 상태 감지 장치(10)는 경보음을 출력하여 운전자에게 경고할 수 있다. Also, in this case, the driver condition sensing apparatus 10 is to output a warning sound may alert the operator.

만약, 단계 S300의 비교 결과값(C)이 75% 미만인 경우, 운전자 상태 감지 장치(10)는 현재 부하량을 나타내는 막대 그래프를 녹색으로 표시하여 운전자에게 안전한 상태임을 알릴 수 있다(S500). If, when the comparison value (C) of the step S300 is less than 75%, it is possible to notify the driver that the condition sensing apparatus 10 includes a secure state to the operator by displaying a bar graph indicating the current load in green (S500).

이와 같이 본 발명에 따르면, 차량 주행에 따라 발생하는 주행 부하량과 주변기기 및 운전자의 졸음 등과 같이 주행에 방해되는 주행 방해 부하량을 비교하여 운전자의 안전운전 상태를 확인하며, 차량 운전에 방해되는 부하량이 높은 경우 운전자에게 경고하며, 경우에 따라서는 차량 주행에 필수적이지 않은 요소(예를 들어, 주변기기)의 동작을 강제적으로 정지시켜 차량 운전에 방해가 되는 주행 방해 부하량을 감소시켜 운전자가 안전운전을 할 수 있도록 하는 효과를 창출한다. Thus, according to the present invention, and confirm the safe driving condition of the driver compared to the running disturbance load which interfere with the running, such as generating the traveling load and the peripheral devices and drowsiness of the driver in accordance with the vehicle running, the high loadings which interfere with the vehicle driving in some cases, and alert the driver, the elements that are not essential to the vehicle running forcibly stop the operation of (for example, a peripheral device) by reducing the running disturbance load that might interfere with the vehicle driving the driver can drive safely when It creates the effect of allowing.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. So far I looked at the center of the preferred embodiment relative to the present invention. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. One of ordinary skill in the art will appreciate that the invention may be implemented without departing from the essential characteristics of the invention in a modified form. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. The exemplary embodiments should be considered in a descriptive sense only and not for purposes of limitation. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. The scope of the invention, not by the detailed description given in the appended claims, and all differences within the equivalent scope will be construed as being included in the present invention.

10 : 운전자 상태 감지 장치 100 : 획득부 10: driver condition detecting device 100: an acquiring unit
110 : 주행 조작 감지부 120 : 부주의 상태 감지부 110: traveling operation detecting unit 120: inadvertent state sensing unit
200 : 제어부 300 : 출력부 200: control unit 300: output unit

Claims (13)

  1. 차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하는 획득부; An acquiring unit for acquiring the traveling operation information and state information of the careless operator of the vehicle;
    획득된 상기 주행 조작 정보를 이용하여 주행 조작 부하량, 획득된 상기 부주의 상태 정보를 이용하여 주행 방해 부하량을 계산하고, 상기 주행 조작 부하량과 상기 주행 방해 부하량을 서로 비교하여 상기 운전자의 안전운전 상태를 판단하며, 판단 결과 상기 운전자가 안전운전 상태가 아닌 것으로 판단되면 경고 정보가 출력되도록 출력부를 제어는 제어부; Determining a safe operating state of the driver by using the obtained driving operation information, by using a driving operation load, the obtained inadvertent status information calculating a running interrupt load, and comparing the driving operation load and the running disturbance load each other , and it determined that the driver has an output control so that the warning information is output if it is determined that a non-secure operating condition control unit; And
    화면 출력 및 경고음 출력 중 적어도 하나의 출력 동작을 수행하여 상기 경고 정보를 출력하는 상기 출력부; The output section to perform at least one of the output operation of the screen output and the alarm output section for outputting the warning information;
    를 포함하는 운전자 상태 감지 장치. Driver condition detecting device comprising a.
  2. 제1항에 있어서, According to claim 1,
    상기 획득부는 상기 차량의 가속도 패달 조작, 브레이크 패달 조작, 클러치 패달 조작, 멀티펑션 스위치 조작 및 조향핸들 조작 중 적어도 하나의 항목을 포함하여 상기 주행 조작 정보를 획득하는 것인 운전자 상태 감지 장치. The acquisition portion of the driver condition sensing apparatus is to obtain the driving operation information, including the acceleration pedal operation, brake pedal operation, the clutch pedal operation, the multifunction switch operation, and at least one entry of the steering wheel operation of the vehicle.
  3. 제2항에 있어서, 3. The method of claim 2,
    상기 제어부는 상기 주행 조작 정보에 포함된 상기 항목의 조작 시간 정보, 조작 횟수 정보 중 적어도 하나의 정보와 각 항목에 기설정된 가중치를 연산하여 상기 주행 부하량을 계산하는 것인 운전자 상태 감지 장치. The control unit of the driver condition detection device to calculate the traveling load by calculating at least one of the information and a predetermined weight to each item of the operation time information, operation information on the number of the items included in the driving operation information.
  4. 제1항에 있어서, According to claim 1,
    상기 획득부는 주변기기 조작, 상기 운전자의 운전자 음성, 얼굴 영상 및 눈 영역 영상 중 적어도 하나의 항목을 이용하여 상기 부주의 상태 정보를 획득하는 것인 운전자 상태 감지 장치. The acquisition portion of the driver condition to using at least one item in the operation of the peripheral device, the driver voice, face image and the eye region image of the driver inadvertently obtaining the status information detecting device.
  5. 제4항에 있어서, 5. The method of claim 4,
    상기 제어부는 상기 부주의 상태 정보에 포함된 항목의 정보를 고려하여 상기 운전자의 졸음 부하, 주시 태만 부하, 음성 부하 및 주변기기 조작 부하 중 적어도 하나의 부하 정보를 이용하여 상기 주행 방해 부하량을 계산하는 것인 운전자 상태 감지 장치. Wherein the controller is to calculate the running disturbance load by using the inadvertent status information at least one of the load information of the driver's drowsiness load, considered neglect load, the voice load, and peripherals operate the load taking into account the information of the items in the driver condition sensing apparatus.
  6. 제1항에 있어서, According to claim 1,
    상기 제어부는 상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값이 기설정된 여유 부하량의 임계값 이하인 경우, 상기 운전자가 안전운전 상태가 아닌 것으로 판단하는 것인 운전자 상태 감지 장치. The control unit of the driver condition sensing device to not more than the threshold value of the spare load the value obtained by subtracting the running disturbance a predetermined load in the traveling load, the driver is judged as not being a safe operating state.
  7. 제5항에 있어서, 6. The method of claim 5,
    상기 제어부는 상기 부주의 상태 정보에 포함된 항목 중 상기 눈 영역 영상을 이용하여 상기 운전자가 소정 시간 이상 눈을 감은 것으로 확인되면, 상기 경고음이 출력되도록 상기 출력부를 제어하는 것인 운전자 상태 감지 장치. The control unit of the driver condition sensing apparatus to control the output unit so that the warning sound is outputted when determined that the wound state is carelessly information the driver by using the eye region image of the items in the eye more than a predetermined time.
  8. 운전자 상태 감지 장치에 의한 운전자 상태 감지 방법으로서, A driver condition detection method according to the driver condition sensing apparatus,
    차량의 주행 조작 정보 및 운전자의 부주의 상태 정보를 획득하는 단계; Obtaining driving operation information and state information of a careless operator of the vehicle;
    획득된 상기 주행 조작 정보를 이용하여 주행 조작 부하량, 상기 부주의 상태 정보를 이용하여 주행 방해 부하량을 계산하는 단계; Using the obtained driving operation information traveling operation loading, calculating a running disturbance load by using the inadvertent status information;
    상기 주행 조작 부하량과 상기 주행 방해 부하량 및 기설정된 여유 부하량을 비교하는 단계; Comparing the driving operation load and the traveling load disturbance and a predetermined margin load; And
    상기 비교 결과에 따라 상기 운전자에게 정보를 달리 제공하는 단계; The method comprising: providing different information to the driver in accordance with the comparison result;
    를 포함하는 운전자 상태 감지 방법. Driver state sensor comprises a.
  9. 제8항에 있어서, 상기 획득하는 단계는 : 9. The method of claim 8, wherein said acquiring comprises:
    상기 차량의 가속도 패달 조작, 브레이크 패달 조작, 클러치 패달 조작, 멀티펑션 스위치 조작 및 조향 핸들 조작 중 적어도 하나의 항목을 포함하는 상기 주행 조작 정보를 획득하는 단계; Obtaining the traveling operation information including the acceleration pedal operation, brake pedal operation, the clutch pedal operation, the multifunction switch operation, and at least one entry of the steering wheel operation of the vehicle; And
    주변기기 조작, 상기 운전자의 운전자 음성, 얼굴 영상 및 눈 영역 영상 중 적어도 하나의 항목을 포함하여 상기 부주의 상태 정보를 획득하는 단계; Peripheral operation, the method comprising: including at least one entry in the driver's voice and face image and the eye region image of the driver inadvertently obtaining the status information;
    를 포함하는 것인 운전자 상태 감지 방법. The driver condition detection method comprises.
  10. 제9항에 있어서, 상기 계산하는 단계는 : 10. The method of claim 9, wherein said calculating comprises:
    상기 주행 조작 정보에 포함된 상기 항목의 조작 시간 정보, 조작 횟수 정보 중 적어도 하나의 정보와 각 항목에 기설정된 가중치를 연산하여 상기 주행 부하량을 계산하는 단계; A step of calculating the traveling operation information weights set up in the at least one information item and each of the operating time information, operation information on the number of the items included in the calculation of the running load; And
    상기 부주의 상태 정보에 포함된 항목의 정보를 고려하여 상기 운전자의 졸음 부하, 주시 태만 부하, 음성 부하 및 주변기기 조작 부하 중 적어도 하나의 부하 정보를 이용하여 상기 주행 방해 부하량을 계산하는 단계; Calculating the running disturbance load by using the inadvertent status information at least one of the load information of the load of the driver drowsiness, considered neglect load, negative load operation and peripheral load in consideration of the information of the items in the;
    를 포함하는 것인 운전자 상태 감지 방법. The driver condition detection method comprises.
  11. 제8항에 있어서, 상기 비교하는 단계는 : The method of claim 8 wherein the comparing step comprises:
    상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값인 현재 부하량이 상기 여유 부하량 이하인지 비교하는 단계를 포함하는 것인 운전자 상태 감지 방법. The driver condition detection method in the running load current load value by subtracting the running load disturbance comprises the step of comparing is less than or equal to the reserve loadings.
  12. 제11항에 있어서, 상기 달리 제공하는 단계는 : 12. The method of claim 11, wherein the step of providing the contrast is:
    상기 주행 부하량에서 상기 주행 방해 부하량을 뺀 값인 현재 부하량이. In the running load current load value by subtracting the running load disturbance.
    상기 여유 부하량 이하이면 상기 정보를 적색으로 표시하여 상기 운전자에게 제공하며, 상기 여유 부하량 초과이면 상기 정보를 녹색으로 표시하여 상기 운전자에게 제공하는 단계를 포함하는 것인 운전자 상태 감지 방법. The driver condition detection method is less than the free loading and to display the information provided to the driver in red, when the spare load excess to display the information in the green comprises the step of providing to the driver.
  13. 제9항에 있어서, 10. The method of claim 9,
    상기 부주의 상태 정보에 포함된 항목 중 상기 눈 영역 영상을 이용하여 상기 운전자가 소정 시간 이상 눈을 감은 것으로 확인되면, 상기 경고음을 출력하여 상기 운전자에게 경고하는 단계; Further comprising: if the status information of the operator inadvertently using the eye region image of the items contained in the confirmation that the eyes closed more than a predetermined time, and outputs the warning sound to alert the driver;
    를 더 포함하는 것인 운전자 상태 감지 방법. The driver condition detection method further comprises a.
KR20130146346A 2013-11-28 2013-11-28 Device for detecting the status of the driver and method thereof KR20150061943A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130146346A KR20150061943A (en) 2013-11-28 2013-11-28 Device for detecting the status of the driver and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130146346A KR20150061943A (en) 2013-11-28 2013-11-28 Device for detecting the status of the driver and method thereof
CN 201410355390 CN104665848B (en) 2013-11-28 2014-07-24 Driver condition sensing apparatus and method

Publications (1)

Publication Number Publication Date
KR20150061943A true true KR20150061943A (en) 2015-06-05

Family

ID=53301821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130146346A KR20150061943A (en) 2013-11-28 2013-11-28 Device for detecting the status of the driver and method thereof

Country Status (2)

Country Link
KR (1) KR20150061943A (en)
CN (1) CN104665848B (en)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
EP2314207A1 (en) * 2002-02-19 2011-04-27 Volvo Technology Corporation Method for monitoring and managing driver attention loads
US6998972B2 (en) * 2002-10-31 2006-02-14 General Motors Corporation Driving workload estimation
JP2004178367A (en) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc Attention allocation control device
CN1537512A (en) * 2003-03-07 2004-10-20 安徽三联事故预防研究所 System for screening drivers with accident tendentious and method therefor
JP4581356B2 (en) * 2003-09-10 2010-11-17 株式会社豊田中央研究所 Driver psychosomatic state determination device and driver of the driving support device
EP2072010A3 (en) * 2003-11-30 2009-10-14 Volvo Technology Corporation Method and system for recognizing workload of a person
JP4852851B2 (en) * 2005-02-07 2012-01-11 日産自動車株式会社 Vehicle equipped with a driving intention estimator, driving assist system and a vehicle driving assist system for a vehicle
JP4922715B2 (en) * 2006-09-28 2012-04-25 タカタ株式会社 Occupant detection system, alarm system, braking system, the vehicle
CN201067406Y (en) * 2007-02-14 2008-06-04 中国科学院心理研究所 Device for monitoring psychology and behavior of a driver
CN100462047C (en) * 2007-03-21 2009-02-18 汤一平 Safe driving auxiliary device based on omnidirectional computer vision
JP5074910B2 (en) * 2007-12-14 2012-11-14 トヨタ自動車株式会社 Psychological state prediction device
JP2009175929A (en) * 2008-01-23 2009-08-06 Toyota Central R&D Labs Inc Driver condition estimating device and program
EP2312551A4 (en) * 2008-08-05 2014-10-15 Panasonic Corp Driver awareness degree judgment device, method, and program
WO2010032491A1 (en) * 2008-09-19 2010-03-25 パナソニック株式会社 Inattentiveness detecting device, inattentiveness detecting method, and computer program
JP2012061222A (en) * 2010-09-17 2012-03-29 Oguri Koji Driver condition estimating device
JP5720462B2 (en) * 2011-07-20 2015-05-20 日産自動車株式会社 Driver fatigue estimation device

Also Published As

Publication number Publication date Type
CN104665848B (en) 2017-10-20 grant
CN104665848A (en) 2015-06-03 application

Similar Documents

Publication Publication Date Title
US8384534B2 (en) Combining driver and environment sensing for vehicular safety systems
US20100214087A1 (en) Anti-drowsing device and anti-drowsing method
US20050030184A1 (en) Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7202793B2 (en) Apparatus and method of monitoring a subject and providing feedback thereto
US20130131907A1 (en) System and method for managing misuse of autonomous driving
US20130335213A1 (en) Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
US20140139341A1 (en) System and method for auto-correcting an autonomous driving system
US20080105482A1 (en) Dialogue System
Pohl et al. A driver-distraction-based lane-keeping assistance system
US8874301B1 (en) Autonomous vehicle with driver presence and physiological monitoring
US20140125474A1 (en) Adaptive actuator interface for active driver warning
US20130073115A1 (en) System And Method For Improving A Performance Estimation Of An Operator Of A Vehicle
US20090303078A1 (en) Travel information providing device
US8698639B2 (en) System and method for responding to driver behavior
US7391305B2 (en) Driver warning device
US20130226408A1 (en) Coordinated vehicle response system and method for driver behavior
JP2007265377A (en) Driver state determining device and driving support device
US20060044119A1 (en) Warning device in a vehicle
US20110193707A1 (en) Vehicle operator alertness monitoring system
JPH11314534A (en) Caution ability reduction preventive device for vehicle
US20140135598A1 (en) Method and Device to Monitor at Least One Vehicle Passenger and Method to Control at Least One Assistance Device
US20120200490A1 (en) Gaze detection apparatus and method
US20140121927A1 (en) Vehicle emergency evacuation device
JP2003317197A (en) Alarm system
US20150379362A1 (en) Imaging device based occupant monitoring system supporting multiple functions