WO2024053751A1 - 차량의 운전자 모니터링 장치 및 그것의 동작방법 - Google Patents

차량의 운전자 모니터링 장치 및 그것의 동작방법 Download PDF

Info

Publication number
WO2024053751A1
WO2024053751A1 PCT/KR2022/013300 KR2022013300W WO2024053751A1 WO 2024053751 A1 WO2024053751 A1 WO 2024053751A1 KR 2022013300 W KR2022013300 W KR 2022013300W WO 2024053751 A1 WO2024053751 A1 WO 2024053751A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
gaze
driving
area
Prior art date
Application number
PCT/KR2022/013300
Other languages
English (en)
French (fr)
Inventor
고민수
박민근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/013300 priority Critical patent/WO2024053751A1/ko
Publication of WO2024053751A1 publication Critical patent/WO2024053751A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Definitions

  • the present invention relates to a driver monitoring device for a vehicle and a method of operating the same. More specifically, the present invention relates to a driver monitoring device for a vehicle implemented to monitor the driver's condition based on the distribution of gaze in the driver's gaze area while the vehicle is driving. It relates to devices and their operating methods.
  • vehicle functions are becoming more diverse. These vehicle functions can be divided into convenience functions to promote driver convenience, and safety functions to promote driver and/or pedestrian safety.
  • Convenience functions of a vehicle have a motive for development related to driver convenience, such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • driver convenience such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • ACC adaptive cruise control
  • SPAS smart0020parking assist system
  • NV night vision
  • HUD head up display
  • AHS adaptive headlight system
  • vehicle safety functions are technologies that ensure driver safety and/or pedestrian safety, such as lane departure warning system (LDWS), lane keeping assist system (LKAS), and automatic emergency There is an autonomous emergency braking (AEB) function.
  • LDWS lane departure warning system
  • LKAS lane keeping assist system
  • AEB autonomous emergency braking
  • driver drowsiness prevention technology is being commercialized, which analyzes images of the driver to recognize the driver's drowsiness and outputs an alert to the driver accordingly.
  • the Driver Monitoring System uses a camera mounted on the vehicle's dashboard to detect drowsiness or loss of attention in the driver and sends notifications such as audio alarms and warning lights to help the driver concentrate on driving. It is a safety system that outputs.
  • E-NCAP Euro NCAP
  • the recent Euro NCAP mandated that all new vehicles be equipped with a DMS system from 2024.
  • Dispersion of the driver's gaze is an alarm function for the driver required by Euro NCAP.
  • the standard for judging gaze divergence required by Euro NCAP is to generate an alarm when gaze divergence occurs for 3 consecutive seconds or cumulatively for more than 10 seconds during 30 seconds while driving at a speed of 10 km/h or higher.
  • Korean Patent No. 1078466 discloses a technology that captures the driver's face and determines the driver's arousal state based on analysis of the driver's blinking patterns.
  • the standard for judging the driver's gaze distribution all depends on whether the driver's gaze direction remains within the area of the vehicle's driving direction, so when it is necessary to look somewhere else while driving (e.g., when looking at the rear-view mirror or side mirror) etc.), false alarms or frequent alarms may occur. This can increase driver fatigue and become a driving hindrance.
  • the present invention aims to solve the above-mentioned problems and other problems.
  • a driver monitoring device for a vehicle and a method of operating the same that can provide a DMS notification without mistaking the driver's reaction to various driving environments while driving the vehicle as a distraction.
  • a driver monitoring device for a vehicle and a method of operating the same that can provide a DMS notification without mistaking the driver's reaction to various driving environments while driving the vehicle as a distraction.
  • a vehicle driver monitoring device and a method of operating the same are provided in which malfunction of the notification or frequent occurrence of notifications is eliminated in monitoring the driver's condition while the vehicle is driving and operating the DMS notification.
  • a driver monitoring device for a vehicle capable of determining the driver's condition such as inattention by adaptively changing the area for monitoring the driver's gaze direction when necessary depending on the driving environment, and a driver monitoring device thereof The purpose is to provide an operation method.
  • a driver monitoring device and device for a vehicle capable of determining the driver's state such as drowsiness or inattention by applying the sensitivity of the driver's gaze distribution differently when necessary to suit various driving environments, and the same.
  • the purpose is to provide an operation method.
  • the vehicle driver monitoring according to the present invention can monitor the driver's condition by receiving driving information of the vehicle and adaptively varying the driver's gaze area and the sensitivity of gaze distribution to the gaze area. Accordingly, it is possible to continuously monitor the driver's condition, such as drowsiness, and eliminate driving distractions caused by frequent warnings based on consistent standards.
  • driver monitoring of a vehicle may change the gaze area for monitoring the driver based on driving information sensed from outside the vehicle and/or driving information such as the operation of the vehicle's internal components. .
  • the driver's attention to the driving attention area can be applied more strictly for safe driving. there is.
  • a vehicle driver monitoring device includes a receiver that receives driving information of a running vehicle; A sensor installed in the vehicle to detect the face and gaze direction of the driving driver; Monitors the driver's gaze distribution in the gaze area using the sensor, determines whether to change the gaze area based on the received driving information, and determines the driver's state corresponding to the gaze distribution according to the decision. It may include a processor that Additionally, the processor may adjust the sensitivity of the driver's gaze distribution to the gaze area based on the received driving information.
  • the change in the gaze area may be one or more of a change in the location, size, number of gaze areas, and a change in the time during which the driver's gaze is fixed, and the processor may determine the direction of the driver's gaze within the gaze area.
  • the degree of driver's gaze dispersion can be determined based on the time or frequency of stay.
  • the driving information includes noise information around the vehicle collected through the vehicle's microphone
  • the processor determines whether to expand the gaze area based on the collected noise information around the vehicle, Based on the above decision, the driver's condition corresponding to the degree of distraction of the driver's gaze can be monitored.
  • the processor increases the sensitivity of the driver's gaze distribution to the expanded gaze area by a certain range or more, and increases the sensitivity of the driver's gaze distribution to the expanded gaze area. You can monitor the status of
  • the processor changes the sensitivity of the driver's gaze variance based on the driving information, and then adjusts the sensitivity of the gaze area and the gaze variance in response to the release of the cause of the sensitivity change being recognized. It can be restored to its original state.
  • the senor is a DSM camera installed at the front of the vehicle and recognizes the driver's face and gaze direction, and the processor determines that careful driving is necessary according to the determined driver's condition, A notification signal corresponding to one or more output means can be transmitted.
  • the driving information of the vehicle includes an operating state of the infotainment system of the vehicle
  • the processor recognizes that the gaze area includes an area of the infotainment system and, while operating the infotainment system,
  • the type of content output to the infotainment system can be analyzed, and the sensitivity of the driver's gaze distribution can be adjusted differently based on the analysis.
  • the processor may determine whether the sensitivity of the driver's gaze is reduced depending on whether the content is classified as content that aids driving.
  • the driving information of the vehicle includes the on state of the BSD (Blind Spot Detection) notification display, and the processor distributes the driver's gaze to the BSD area where the notification display is in the on state. can reduce the sensitivity.
  • BSD Breast Spot Detection
  • the driving information includes information on the accumulated driving time of the vehicle
  • the processor determines the distribution of the driver's gaze with respect to the gaze area when the accumulated driving time detected after the start of driving of the vehicle reaches a predetermined range. Sensitivity can be increased.
  • the driving information includes driving speed information of the vehicle
  • the processor increases the sensitivity of the driver's gaze distribution to the gaze area when the driving speed of the vehicle exceeds a certain range, and the sensitivity can be adjusted to increase in proportion to the driving speed of the vehicle.
  • the driving information includes angle information of the steering wheel of the vehicle, and when the processor recognizes that the angle of the steering wheel of the vehicle is greater than a certain range, the processor determines the gaze area in response to the driving direction of the vehicle.
  • the driver's condition can be monitored by expanding and reducing the sensitivity of the driver's gaze distribution to the expanded gaze area.
  • the processor may increase the sensitivity of the driver's gaze distribution to the vehicle's infotainment system and cluster area while the angle of the steering wheel of the vehicle is recognized as being above a certain range.
  • the driving information includes information on the driving inclination angle of the vehicle
  • the processor expands the gaze area in response to recognizing that the driving inclination angle of the vehicle is outside a certain range, and the driving inclination angle of the vehicle is set to a constant range.
  • the sensitivity of the driver's gaze distribution to the expanded gaze area can be reduced.
  • the viewing area may be expanded to face the vehicle's infotainment system and cluster area.
  • a method of operating a driver monitoring device includes receiving driving information of a running vehicle; Based on the received driving information, determining whether to change the gaze area; adjusting the sensitivity of the driver's gaze distribution with respect to the determined gaze area; It may include determining whether careful driving is necessary according to the driver's condition corresponding to the driver's gaze distribution, and outputting a notification based on the determination.
  • various driving information that changes in real time while driving a vehicle is collected, and the gaze area or gaze dispersion sensitivity for determining the driver's condition is adaptively adjusted to determine the driver's condition as needed when driving. It is possible to distinguish whether gaze has shifted or gaze has been diverted due to inattention. Accordingly, it is possible to more accurately determine the driver's condition and provide DMS notifications.
  • the driving gaze area and gaze dispersion sensitivity which are judgment criteria for determining the driver's condition
  • the driving situation that caused it ends or another situation occurs, By restoring it to its original state, safe driving functions can be reliably provided.
  • FIG. 1 is a diagram illustrating an example of a vehicle related to an embodiment of the present invention.
  • Figure 2 is a view of a vehicle related to an embodiment of the present invention viewed from various angles.
  • 3 and 4 are diagrams showing the interior of a vehicle related to an embodiment of the present invention.
  • 5 and 6 are diagrams referenced for explaining various objects related to driving of a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram referenced in explaining a vehicle related to an embodiment of the present invention.
  • Figure 8 is a block diagram showing an example configuration of a driver monitoring device related to an embodiment of the present invention.
  • FIGS. 9, 10, 11, and 12 are diagrams showing various examples of changing the gaze area, which is the standard for monitoring the driver's condition, according to the operation of the driver monitoring device related to the embodiment of the present invention.
  • Figure 13 is an example of changing the gaze area based on noise information around the vehicle in the driver monitoring device related to an embodiment of the present invention.
  • Figure 14 is an example flowchart of adjusting the sensitivity of the driver's gaze distribution when looking at a vehicle infotainment system in a driver monitoring device related to an embodiment of the present invention.
  • Figure 15 is an example diagram of adjusting the sensitivity of the driver's gaze distribution when the vehicle's BSD (Blind Spot Detection) notification display is on in the driver monitoring device related to an embodiment of the present invention.
  • BSD Blind Spot Detection
  • Figure 16 is an example flowchart of adjusting the driver's gaze dispersion sensitivity based on the accumulated driving time of the vehicle in the driver monitoring device related to an embodiment of the present invention.
  • Figure 17 is an example flowchart of adjusting the sensitivity of the driver's gaze distribution based on the driving speed of the vehicle in the driver monitoring device related to the embodiment of the present invention.
  • Figure 18 is an example diagram of adjusting the sensitivity of the driver's gaze distribution according to the steering direction of the vehicle in the driver monitoring device related to the embodiment of the present invention.
  • Figure 19 is an example diagram of adjusting the sensitivity of driver's gaze distribution when a vehicle makes a U-turn in a driver monitoring device related to an embodiment of the present invention.
  • Figure 20 is an example diagram of adjusting the range of the driver's driving gaze area while the vehicle is driving on an incline in the driver monitoring device related to an embodiment of the present invention.
  • the vehicle described in this specification may include a car and a motorcycle. Below, description of vehicles will focus on automobiles.
  • the vehicle described in this specification may be a concept that includes all internal combustion engine vehicles having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle refers to the left side of the vehicle's traveling direction
  • the right side of the vehicle refers to the right side of the vehicle's traveling direction
  • Vehicle driving information disclosed in this specification includes driving operation data and driving environment data of the vehicle.
  • driving motion data is collected from the vehicle while driving, such as vehicle speed, steering angle control, brake operation, gear operation, accumulated driving time, vehicle location, operation of the vehicle infotainment system, and operation of devices related to safety functions. It can contain a variety of data. Additionally, the driving environment data may include road geometry information of the road on which the vehicle travels, traffic information such as traffic volume and speed of the road on which the vehicle travels, weather information, and surrounding environment data such as sounds and lights around the vehicle.
  • gaze area or “driving gaze area” disclosed in this specification may refer to an area where the driver's gaze remains while driving or an area where the gaze must remain for safe driving.
  • gaze area or “driving gaze area” may refer to a gaze area that is monitored to determine the driver's status. In this case, for example, the degree of dispersion of the driver's gaze can be determined by monitoring whether the driver's gaze direction is within the “gazing area” or “driving gaze area.”
  • the “driver's state” disclosed in this specification may mean determining whether the driver is in one or more of the driver's awakening state (degree of awakening), drowsiness predicted state, and inattentive driving state.
  • the “driver's state” can be determined continuously, cumulatively, and in real time while the vehicle is driving.
  • FIGS. 1 and 2 are diagrams showing the exterior of a vehicle related to an embodiment of the present invention
  • FIGS. 3 and 4 are diagrams showing the interior of a vehicle related to an embodiment of the present invention.
  • 5 and 6 are diagrams showing various objects related to driving of a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram referenced in explaining a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram used to describe a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the moving direction of the vehicle 100.
  • Vehicle 100 may be an autonomous vehicle.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on user input.
  • the vehicle 100 switches from manual mode to autonomous driving mode based on user input received through the user interface device (hereinafter, referred to as 'user terminal') 200, or It can be switched from autonomous driving mode to manual mode.
  • 'user terminal' user interface device
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on driving situation information.
  • Driving situation information may be generated based on object information provided by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information generated by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information received through the communication device 400.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode or from autonomous driving mode to manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle 100 may be driven based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710, the parking system 740, and the parking system 750.
  • the autonomous vehicle 100 may receive user input for driving through the driving control device 500. Based on user input received through the driving control device 500, the vehicle 100 may be driven.
  • the overall length refers to the length from the front to the rear of the vehicle 100
  • the overall width refers to the width of the vehicle 100
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) is the direction that is the standard for measuring the overall length of the vehicle 100
  • the overall width direction (W) is the direction that is the standard for measuring the overall width of the vehicle 100
  • the overall height direction (H) is the direction that is the standard for measuring the overall width of the vehicle 100. It may refer to the direction that serves as the standard for measuring the total height of (100).
  • the vehicle 100 includes a user interface device (hereinafter referred to as a 'user terminal') 200, an object detection device 300, a communication device 400, and a driving operation device. (500), vehicle driving device 600, driving system 700, navigation system 770, sensing unit 120, vehicle interface unit 130, memory 140, control unit 170, and power supply unit 190 ) may include.
  • the vehicle 100 may further include other components in addition to the components described in this specification, or may not include some of the components described.
  • the user interface device 200 is a device for communication between the vehicle 100 and the user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through a user interface device (hereinafter referred to as a 'user terminal') 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detection unit 230, an output unit 250, and a processor 270. Depending on the embodiment, the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 210 is used to receive information from the user, and the data collected by the input unit 120 can be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 210 may be placed inside the vehicle.
  • the input unit 210 is an area of the steering wheel, an area of the instrument panel, an area of the seat, an area of each pillar, and a door.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input. Depending on the embodiment, the gesture input unit 212 may detect a user's 3D gesture input. To this end, the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can convert the user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be formed integrally with the display unit 251 to implement a touch screen. This touch screen can provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be placed on a steering wheel, center fascia, center console, cockpit module, door, etc.
  • the internal camera 220 can acquire images inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may obtain the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a user's gesture from an image inside the vehicle.
  • the biometric detection unit 230 can acquire the user's biometric information.
  • the biometric detection unit 230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sensation.
  • the output unit 250 may include at least one of a display unit 251, an audio output unit 252, and a haptic output unit 253.
  • the display unit 251 can display graphic objects corresponding to various information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a display, a 3D display, and an e-ink display.
  • the display unit 251 and the touch input unit 213 may form a layered structure or be formed as one piece, thereby implementing a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 is equipped with a projection module and can output information through an image projected on a windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • a transparent display can display a certain screen while having a certain transparency.
  • transparent displays include transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transparent transparent display, and transparent LED (Light Emitting Diode) display. It may include at least one of: The transparency of a transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area of the instrument panel (521a, 251b, 251e), one area of the seat (251d), one area of each pillar (251f), and one area of the door ( 251g), may be placed in an area of the center console, an area of the headlining, or an area of the sun visor, or may be implemented in an area of the windshield (251c) or an area of the window (251h).
  • the audio output unit 252 converts the electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to vibrate the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR so that the user can perceive the output.
  • the processor (hereinafter referred to as a 'control unit') 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the user interface device 200 may be called a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detection device 300 is a device for detecting objects located outside the vehicle 100. Objects may be various objects related to the operation of the vehicle 100. 5 and 6, the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), light, a road, a structure, Can include speed bumps, landmarks, animals, etc.
  • Lane OB10 may be a driving lane, a lane next to a driving lane, or a lane in which an oncoming vehicle travels. Lane OB10 may be a concept that includes left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • a pedestrian OB12 may be a person located on a sidewalk or roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle located around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle with two wheels located within a predetermined distance from the vehicle 100.
  • the two-wheeled vehicle OB13 may be a motorcycle or bicycle located on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and patterns or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from street lights.
  • the light may be sunlight.
  • a road may include a road surface, a curve, a slope such as uphill or downhill, etc.
  • the structure may be an object located near the road and fixed to the ground.
  • structures may include streetlights, trees, buildings, electric poles, traffic lights, and bridges.
  • Landforms may include mountains, hills, etc.
  • objects can be classified into moving objects and fixed objects.
  • a moving object may be a concept that includes other vehicles and pedestrians.
  • a fixed object may be a concept including a traffic signal, road, or structure.
  • the object detection device 300 may include a camera 310, radar 320, lidar 330, ultrasonic sensor 340, infrared sensor 350, and processor 370.
  • the object detection apparatus 300 may further include other components in addition to the components described, or may not include some of the components described.
  • the camera 310 may be located in an appropriate location outside the vehicle to obtain images of the exterior of the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an Around View Monitoring (AVM) camera 310b, or a 360-degree camera.
  • AVM Around View Monitoring
  • camera 310 may be placed close to the front windshield, inside the vehicle, to obtain an image of the front of the vehicle.
  • the camera 310 may be placed around the front bumper or radiator grill.
  • the camera 310 may be placed close to the rear windshield in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the camera 310 may be placed around the rear bumper, trunk, or tailgate.
  • the camera 310 may be placed close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera 310 may be placed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • Radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented as a pulse radar or continuous wave radar based on the principle of transmitting radio waves.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method depending on the signal waveform among the continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object using electromagnetic waves based on a Time of Flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • TOF Time of Flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the radar 320 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • LiDAR 330 may include a laser transmitter and a receiver. LiDAR 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • LiDAR 330 may be implemented as a driven or non-driven type.
  • the LIDAR 330 When implemented in a driven manner, the LIDAR 330 is rotated by a motor and can detect objects around the vehicle 100.
  • the LIDAR 330 can detect objects located within a predetermined range based on the vehicle 100 through optical steering.
  • the vehicle 100 may include a plurality of non-driven LIDARs 330.
  • the LIDAR 330 detects an object via laser light based on a time of flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • Lidar 330 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect an object based on ultrasonic waves and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 can detect an object based on infrared light, and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the infrared sensor 350 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection device 300.
  • the processor 370 can detect and track an object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor 370 can detect and track an object based on reflected electromagnetic waves that are transmitted when the electromagnetic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object, based on electromagnetic waves.
  • the processor 370 may detect and track an object based on reflected laser light that is returned after the transmitted laser is reflected by the object.
  • the processor 370 may perform operations such as calculating the distance to the object and calculating the relative speed to the object, based on the laser light.
  • the processor 370 may detect and track an object based on reflected ultrasonic waves in which the transmitted ultrasonic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the processor 370 may detect and track an object based on the reflected infrared light that is returned after the transmitted infrared light is reflected by the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on infrared light.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may each individually include a processor.
  • the object detection device 300 may be operated under the control of the processor or control unit 170 of the device in the vehicle 100.
  • the object detection device 400 may be operated under the control of the control unit 170.
  • the communication device 400 is a device for communicating with an external device.
  • the external device may be another vehicle, mobile terminal, or server.
  • the communication device 400 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • -Fidelity Wi-Fi Direct
  • Wireless USB Wireless Universal Serial Bus
  • the short-range communication unit 410 may form a wireless area network and perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for acquiring location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P) protocols.
  • the optical communication unit 440 is a unit for communicating with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • Broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the processor 470 may control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving control device 500 is a device that receives user input for driving.
  • the vehicle 100 may be operated based on signals provided by the driving control device 500.
  • the driving control device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of the direction of travel of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, touch pad, or button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from the user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. Depending on the embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, touch pad, or button.
  • the driving control device 500 may be operated under the control of the control unit 170.
  • the vehicle driving device 600 is a device that electrically controls the operation of various devices in the vehicle 100.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. You can.
  • the vehicle driving device 600 may further include other components in addition to the components described, or may not include some of the components described.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the power train driver 610 can control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source driver 611 may control the power source of the vehicle 100.
  • the power source driver 610 may perform electronic control of the engine. Thereby, the output torque of the engine, etc. can be controlled.
  • the power source driving unit 611 can adjust the engine output torque according to the control of the control unit 170.
  • the power source driver 610 may control the motor.
  • the power source driving unit 610 can adjust the rotational speed and torque of the motor according to the control of the control unit 170.
  • the transmission drive unit 612 can control the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission drive unit 612 can adjust the gear engagement state in the forward (D) state.
  • the chassis driver 620 can control the operation of the chassis device.
  • the chassis drive unit 620 may include a steering drive unit 621, a brake drive unit 622, and a suspension drive unit 623.
  • the steering drive unit 621 may perform electronic control of the steering apparatus within the vehicle 100.
  • the steering drive unit 621 can change the moving direction of the vehicle.
  • the brake driver 622 may perform electronic control of the brake apparatus within the vehicle 100. For example, the speed of the vehicle 100 can be reduced by controlling the operation of the brakes disposed on the wheels.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driver 622 can control braking force applied to a plurality of wheels differently.
  • the suspension drive unit 623 may perform electronic control of the suspension apparatus within the vehicle 100. For example, when the road surface is curved, the suspension drive unit 623 may control the suspension device to reduce vibration of the vehicle 100. Meanwhile, the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of the door apparatus or window apparatus within the vehicle 100.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driver 631 can control the door device.
  • the door driver 631 can control the opening and closing of a plurality of doors included in the vehicle 100.
  • the door driver 631 can control the opening or closing of the trunk or tail gate.
  • the door driver 631 can control the opening or closing of the sunroof.
  • the window driver 632 may perform electronic control of a window apparatus. It is possible to control the opening or closing of a plurality of windows included in the vehicle 100.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driver 640 may include an airbag driver 641, a seat belt driver 642, and a pedestrian protection device driver 643.
  • the airbag driving unit 641 may perform electronic control of the airbag apparatus within the vehicle 100.
  • the airbag driving unit 641 may control the airbag to be deployed when danger is detected.
  • the seat belt drive unit 642 may perform electronic control of the seat belt appartus in the vehicle 100. For example, when danger is detected, the seat belt drive unit 642 can control the passenger to be fixed to the seat (110FL, 110FR, 110RL, 110RR) using the seat belt.
  • the pedestrian protection device driving unit 643 may perform electronic control of the hood lift and pedestrian airbag. For example, the pedestrian protection device driving unit 643 may control the hood to lift up and the pedestrian airbag to deploy when a collision with a pedestrian is detected.
  • the lamp driver 650 may perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driver 660 may perform electronic control of the air conditioning device (air cinditioner) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the vehicle driving device 600 may be operated under the control of the control unit 170.
  • the operation system 700 is a system that controls various operations of the vehicle 100.
  • the navigation system 700 may be operated in autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may further include other components in addition to the components described, or may not include some of the components described.
  • the navigation system 700 may include a processor. Each unit of the navigation system 700 may individually include a processor.
  • the navigation system 700 when the navigation system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the navigation system 700 includes at least one of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170. It may be an inclusive concept.
  • the driving system 710 can drive the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the parking system 740 can remove the vehicle 100.
  • the parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 750 can park the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may park the vehicle 100 by receiving a signal from an external device through the communication device 400 and providing a control signal to the vehicle driving device 600.
  • the navigation system 770 may provide navigation information.
  • Navigation information may include at least one of map information, set destination information, route information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include memory and a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified as a sub-component of the user interface device 200.
  • the sensing unit 120 can sense the status of the vehicle.
  • the sensing unit 120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, speed sensor, and inclination sensor.
  • Sensor weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a rotational steering sensor, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc.
  • the sensing unit 120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, and battery. Obtain sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. can do.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), etc. may be further included.
  • the vehicle interface unit 130 may serve as a passageway for various types of external devices connected to the vehicle 100.
  • the vehicle interface unit 130 may have a port that can be connected to a mobile terminal, and can be connected to a mobile terminal through the port. In this case, the vehicle interface unit 130 can exchange data with the mobile terminal.
  • the vehicle interface unit 130 may serve as a conduit for supplying electrical energy to a connected mobile terminal.
  • the vehicle interface unit 130 may provide electrical energy supplied from the power supply unit 190 to the mobile terminal under the control of the control unit 170. .
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as programs for processing or controlling the control unit 170.
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170.
  • the control unit 170 may control the overall operation of each unit within the vehicle 100.
  • the control unit 170 may be named ECU (Electronic Control Unit).
  • the power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control units 170 included in the vehicle 100 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the driver monitoring device 800 which is included in or detachably mounted on the vehicle 100, monitors the driver's distraction, determines the driver's condition (e.g., drowsiness, inattention, etc.), and issues a warning based on this. It is implemented to output .
  • the driver's condition e.g., drowsiness, inattention, etc.
  • Driver monitoring device 800 may also be referred to as an enhanced Driver Monitoring System (DMS) device or system.
  • DMS Driver Monitoring System
  • the driver monitoring device 800 may determine the driver's status by changing the gaze area toward which the driver's gaze is directed based on the vehicle's driving information, specifically, the vehicle's driving motion data and driving environment data.
  • the driver monitoring device 800 may monitor the driver's status by changing one or more judgment criteria among the size, location, and number of gaze areas, and the time during which the driver's gaze must be fixed.
  • the driver monitoring device 800 differently adjusts the sensitivity of the driver's gaze distribution to the gaze area based on at least one of the vehicle's driving information, more specifically, the vehicle's driving motion data and driving environment data to determine the driver's condition. can be judged.
  • the driver monitoring device 800 detects the vehicle's driving information, lowers the sensitivity of the driver's gaze distribution to the gaze area if the driver's gaze distribution is helpful for driving, and reduces the driver's gaze distribution to the gaze area. If it interferes with driving, the sensitivity can be increased to monitor the driver's condition.
  • the driver monitoring device 800 can learn about the sensitivity of the gaze area and gaze distribution, which are judgment criteria that are variably applied based on the vehicle's driving information. Accordingly, even when the same driving information is input, the sensitivity value of the gaze area and/or gaze distribution may be applied differently for each driver.
  • Figure 8 is a block diagram showing an example configuration of a driver monitoring device related to an embodiment of the present invention.
  • the driver monitoring device 800 may include a sensor 810, a processor 820, and a memory 830, and various output means 252 of the vehicle for warning alarms. It can operate in conjunction.
  • the driver monitoring device 800 can change the gaze area where the driver's gaze is directed based on the vehicle's driving information and adjust the sensitivity of the driver's gaze distribution with respect to the gaze area.
  • the driver monitoring device 800 can adaptively determine the degree of driver's gaze dispersion by adjusting the sensitivity of the variable gaze area and/or the driver's gaze dispersion. Accordingly, it can help drivers drive safely while eliminating malfunctions or frequent movements of the distraction alarm.
  • the sensor 810 may include a DSM camera installed at the front of the vehicle and configured to recognize the driver's face and gaze direction.
  • the sensor 810 may obtain driver image data by photographing the driver's face in order to monitor the driver's condition.
  • the DSM camera can acquire an image of the driver's face and analyze the acquired image to check the driver's gaze direction and whether the driver is drowsy.
  • the sensor 810 may additionally include other sensors in the vehicle to more accurately determine the driver's condition, such as a microphone, a biometric sensor, a breathing sensor, or a posture sensor.
  • the degree of gaze dispersion in the gaze area which is a criterion for determining the driver's condition, can be determined through analysis of images obtained through the above-described DSM camera or other vision sensor.
  • the processor 820 may receive driving information of the vehicle through either a receiver (not shown) or a sensor 810.
  • Receivable driving information of the vehicle may include driving motion data and driving environment data of the vehicle.
  • the driving operation data includes vehicle speed, steering angle control, brake operation, gear operation, accumulated driving time, vehicle location, operation of the vehicle infotainment system, and operation of devices related to safety functions, etc. It can include a variety of data being collected.
  • the driving environment data may include road geometry information of the road on which the vehicle travels, traffic information such as traffic volume and speed of the road on which the vehicle travels, weather information, and surrounding environment data such as sounds and lights around the vehicle.
  • the road geometry information may include road longitudinal slope, road cross slope, and road curvature, and may be pre-stored in a designated service server (not shown).
  • the road traffic information may be provided, for example, from a traffic information providing server (not shown).
  • the driver monitoring device 800 may include a communication unit (not shown) that receives driving information of the vehicle and transmits a control signal corresponding to the driver's condition to the output means 252.
  • the communication unit for example, LAN (local area network), MAN (metropolitan area network), wide area network (WAN), Internet, 2G, 3G, 4G, LTE mobile communication network, Bluetooth, Wi-Fi (Wi-Fi) It may include LPWA (Low Power Wide Area) networks such as Fi), Wibro, satellite communication networks, LoRa, and Sigfox, and may include any communication method among wired and wireless communication methods.
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • Internet 2G, 3G, 4G
  • LTE mobile communication network 2G, 3G, 4G, LTE mobile communication network
  • Bluetooth Wi-Fi (Wi-Fi)
  • Wi-Fi Wi-Fi
  • It may include LPWA (Low Power Wide Area) networks such as Fi), Wibro, satellite communication networks, LoRa, and Sigfox, and may include any communication method among wired and wireless communication methods.
  • LPWA Low Power Wide Area
  • Fi Low Power Wide Area
  • Wibro Wireless Fidelity
  • the vehicle's driving information may be received through the vehicle's OBD (On-Board Diagnostics) interface (not shown) or a GNSS reception module.
  • OBD On-Board Diagnostics
  • the processor 820 may adaptively vary and apply judgment criteria for determining the driver's state based on the received driving information.
  • the processor 820 may adaptively change the gaze area to be monitored based on the received driving information. Specifically, the processor 820 may change one or more of the location, size, number, and time during which the driver's gaze is fixed on the gaze area to be monitored based on the received driving information, and change the direction of the driver's gaze in the gaze area. The degree of driver's gaze dispersion can be determined based on the time or frequency of stay.
  • the processor 820 may adaptively adjust the sensitivity of the driver's gaze distribution to the gaze area based on the received driving information.
  • the processor 820 When the sensitivity of gaze distribution is adjusted by the processor 820 to be reduced from the initial value based on the received driving information, the processor 820 further reduces the time required to fix gaze on the driver's gaze area or fixes gaze. By reducing the number of times necessary, it is possible to monitor conditions such as driver's distraction.
  • the processor 820 When the sensitivity of gaze distribution is adjusted by the processor 820 to increase from the initial value based on the received driving information, the processor 820 further increases the time required to fix gaze on the driver's gaze area or fixes gaze. By increasing the number of times necessary, it is possible to monitor conditions such as driver's distraction.
  • the processor 820 may adjust gaze distribution sensitivity for each gaze area differently. For example, the driver's gaze dispersion sensitivity values for the front driving gaze area and the rear-view mirror gaze area can be adjusted differently.
  • the memory 830 can store various information, data, and programs related to the operation of the driver monitoring device 800.
  • the memory 830 may store driver monitoring data acquired through the sensor 810, vehicle driving information, data, and programs received through the receiver (or sensor 810, communication unit, OBD interface, etc.). Additionally, the memory 830 can learn a state prediction model for each driver according to the variable decision criteria using various information, data, and programs related to the above-described adaptive decision criteria. At this time, big data including a large number of data related to vehicles, traffic, environment, etc. can be additionally utilized to learn a state prediction model for each driver according to variable judgment criteria.
  • the processor 820 may generate a control signal to output an alarm to call the driver's attention according to the driver's state determined according to the above-described adaptive judgment criteria.
  • the output means 252 may include, for example, one or more of a speaker in the vehicle, a warning alarm light on the dashboard, a horn, and a display.
  • the output means 252 may output a notification signal requesting an interactive response from the driver based on the control signal generated by the processor 820.
  • Notification signals requiring an interactive response from the driver may mean, for example, auditory or visual notification signals that elicit a feedback response from the driver to focus on driving (e.g., opening and closing the mouth, answering random questions). You can.
  • the processor 820 responds to recognizing that the cause of the sensitivity change has been released, and the changed gaze area and the sensitivity of the gaze distribution (e.g., Initial settings) can be restored to their original state.
  • the changed gaze area and the sensitivity of the gaze distribution e.g., Initial settings
  • FIGS. 9, 10, 11, and 12 are diagrams showing various examples of changing the gaze area, which is the standard for monitoring the driver's condition, according to the operation of the driver monitoring device related to the embodiment of the present invention.
  • the driver monitoring device 800 monitors the degree of dispersion of the driver's gaze by monitoring whether the driver's gaze direction is within the gaze area (or driving gaze area).
  • the gaze area is set to a predetermined area and location in relation to the DMS notification, for example, the middle area of the front windshield corresponding to the driver's seat of the vehicle.
  • the driver monitoring device 800 can adaptively change the gaze area that serves as a standard for monitoring the driver's condition based on the received driving information of the vehicle.
  • the driver monitoring device 800 may change one or more of the location, size, and number of gaze areas, and the time during which the driver's gaze is fixed, based on the received driving information of the vehicle. Then, the driver monitoring device 800 can monitor the driver's state, such as drowsiness or inattention, by determining the degree of distraction of the driver's gaze based on the time or frequency that the driver's gaze direction remains within the gaze area.
  • the driver's state such as drowsiness or inattention
  • Figure 9 is an example in which the position of the gaze area is changed based on the vehicle's driving information.
  • the gaze area hereinafter referred to as 'initial gaze area'
  • Figure 9(a) the gaze area set to the middle area of the front windshield corresponding to the driver's seat
  • the position may be changed to the middle area 920 of the front windshield corresponding to the passenger seat.
  • the change in position of the gaze area as shown in (b) of Figure 9 occurs in a situation where the driver is looking at the front right side of the vehicle, for example, when an object approaching from the front right side of the vehicle is detected with the received driving information. It can be done. At this time, if the object moves away from the vicinity of the vehicle or moves toward the front left side of the vehicle, the changed gaze area will be restored to the original position as shown in (a) of FIG. 9.
  • Figure 10 is an example in which the size of the gaze area is changed based on vehicle driving information.
  • the initial viewing area 1010 shown in (a) of FIG. 10 is the front windshield corresponding to the passenger seat from the initial viewing area, as shown in (b) of FIG. 10, according to the driving information of the vehicle. It can be changed to an extended gaze area (1020).
  • Figure 11 is an example in which the number of gaze areas is changed (e.g., increased) based on vehicle driving information.
  • the initial gaze area 1110 shown in (a) of FIG. 11 is a first gaze area ( The number can be increased to 1120a) and a second viewing area 1120b matching the middle area of the front windshield corresponding to the passenger seat.
  • Changing the number of gaze areas as shown in (b) of FIG. 11 can be performed in a situation where the driver must look at both the front and the side (left or right) of the vehicle. At this time, when the situation in which the driver must look at both the front and sides of the vehicle ends, the gaze areas with an increased number can be restored to the initial gaze area 1110, as shown in (a) of FIG. 11.
  • Figure 12 shows various areas where the driver's gaze can be directed while being monitored while driving the vehicle. Some of these may be added as gaze areas to be monitored, based on the aforementioned driving information, and in such cases, gaze dispersion sensitivity may be set differently.
  • possible gaze areas include, in addition to the initial gaze area 1210, the vehicle's left side mirror area 1201 and right side mirror area 1205, a cluster area 1202 where the vehicle instrument panel is displayed, It may include a rearview mirror area 1203 of the vehicle, and an AVNT (Audio Video Navigation Telematics) system area 1204 of the vehicle.
  • AVNT Audio Video Navigation Telematics
  • the possible viewing areas shown in FIG. 12 are examples and may include more or fewer areas.
  • the driver monitoring device 800 may change the gaze area to be monitored among the available gaze areas 1210, 1201, 1202, 1203, 1204, and 1205 based on driving information.
  • the driver monitoring device 800 can adjust the sensitivity of the driver's gaze distribution with respect to the gaze area determined among the possible gaze areas 1210, 1201, 1202, 1203, 1204, and 1205. At this time, if there are multiple determined gaze areas, the sensitivity of gaze distribution may be applied differently to each gaze area.
  • the driver monitoring device 800 can determine whether careful driving is necessary by determining the driver's condition based on the changed gaze area and/or sensitivity of gaze distribution, and in such case, sends a notification signal corresponding to one or more output means in the vehicle. (e.g. control signal for DMS warning notification) can be transmitted.
  • a notification signal corresponding to one or more output means in the vehicle. (e.g. control signal for DMS warning notification) can be transmitted.
  • the driver monitoring device 800 may recognize that the cause of the change in sensitivity of the gaze area and/or gaze distribution has been canceled and restore the sensitivity value of the gaze area and/or gaze distribution to its original state. Accordingly, the initial gaze area 1210 and the initial gaze dispersion value in the initial gaze area 1210 become a judgment standard for determining the driver's status.
  • raising (increasing) the gaze dispersion sensitivity means setting a shorter allowable threshold time for the driver not to look at the determined gaze area when determining driving inattention, or setting the allowable threshold time for a certain period of time with eyes closed. This means setting the accumulation time shorter.
  • the initial value of the allowable threshold time for monitoring that the driver is not looking ahead was 3 seconds (Euro NCAP standard)
  • increasing (increasing) the gaze dispersion sensitivity is less than 3 seconds (e.g., 2 seconds, 2.5 seconds). It may be adjusted to the value of seconds).
  • the initial value of the allowable critical cumulative time for monitoring that the driver is not looking ahead was 10 seconds in 30 seconds (Euro NCAP standard)
  • raising (increasing) the gaze drift sensitivity would be 10 seconds in 30 seconds. It may be adjusted to a value less than a second (e.g., 9 seconds, 9.5 seconds).
  • lowering (decreasing) the gaze dispersion sensitivity means setting a longer allowable threshold time during which the driver does not focus on the determined gaze area when determining driving inattention, or setting the allowable threshold time for a certain period of time with eyes closed. This means setting the accumulation time longer.
  • lowering (reducing) the gaze dispersion sensitivity means exceeding 3 seconds (e.g., 3.5 seconds). It may be controlled by .
  • the initial value of the allowable critical cumulative time for monitoring that the driver is not looking ahead was 10 seconds in 30 seconds (Euro NCAP standard)
  • lowering (reducing) the gaze dispersion sensitivity would be 10 seconds in 30 seconds. It may be adjusted to a value exceeding seconds (e.g., 10.5 seconds, 11 seconds).
  • Figure 13 is an example of changing the gaze area based on noise information around the vehicle in the driver monitoring device related to an embodiment of the present invention.
  • the driver monitoring device 800 may receive noise information around the vehicle collected using one or more microphones or directional microphones mounted inside or outside the vehicle.
  • the directional microphone refers to a microphone implemented to selectively collect only sounds from a narrow angle coming from a specific direction.
  • the driver monitoring device 800 can determine whether to expand the gaze area based on the collected noise around the vehicle, and monitor the driver's condition corresponding to the degree of driver's gaze dispersion based on the decision.
  • the driver monitoring device 800 may expand the gaze area to correspond to the direction in which the noise occurred. This is because it is expected that the time drivers spend looking in the direction where the noise originates will increase to determine the cause of the noise.
  • the driver monitoring device 800 responds to a loud noise (horn sound, ambulance, siren sound of a police car) generated from the rear of the vehicle, classifies the type of noise, and based on this, sets the rearview mirror area as the observation area.
  • a loud noise horn sound, ambulance, siren sound of a police car
  • the driver's condition can be monitored.
  • the side e.g., left/right
  • one area selected based on the type of classified noise for example, the area where the ambulance sound is heard, is selected. Only the side mirror area corresponding to the left side can be expanded into the viewing area.
  • the rear-view mirror area 1320 is included in the expanded looking area.
  • this is performed through a DMS control algorithm by the processor 820 of the driver monitoring device 800, and there is no need for the driver to recognize whether the driving area is expanded, so it is not displayed externally.
  • the gaze area when the gaze area is enlarged or restored, it may be displayed externally through a notification light.
  • the processor 820 of the driver monitoring device 800 increases the sensitivity of the driver's gaze distribution to the expanded gaze area by a certain range or more. , the driver's condition can be monitored with increased sensitivity of gaze dispersion. This is to allow the driver to focus on an expanded gaze area that matches the direction in which the noise occurred.
  • the processor 820 of the driver monitoring device 800 operates to monitor the driver's condition by applying a sensitivity value adjusted for the distribution of the driver's gaze with respect to the expanded gaze area 1320. Accordingly, if the driver does not focus on the expanded gaze area as much as meets the judgment criteria of the changed sensitivity value, a DMS notification may be output. However, DMS notifications due to the distribution of the driver's gaze in this expanded gaze area may be in the form of lower-level notifications (e.g., low-volume warning sounds, notification lights, etc.).
  • lower-level notifications e.g., low-volume warning sounds, notification lights, etc.
  • the processor 820 of the driver monitoring device 800 operates to monitor the driver's condition by reducing the sensitivity value adjusted for the driver's gaze distribution for the initial gaze area 1310 compared to before. This is because the driver cannot focus on the initial gaze area 1310 as long as he or she watches the expanded gaze area 1320 in order to determine the cause of the noise generated from the rear of the vehicle.
  • the description above focuses on the case where the rear-view mirror area is included as the expanded viewing area 1320, but depending on the direction in which noise around the vehicle occurs, the left side mirror area 1201 and/or the right side mirror area 1205 ) may be included as an expanded gaze area.
  • the rearview mirror area 1320 which is the expanded gaze area, is excluded as the monitored gaze area and the initial gaze area is excluded. It will be restored so that only area 1310 remains.
  • Figure 14 is an example flowchart of adjusting the sensitivity of the driver's gaze distribution according to the content type when the driver looks at the vehicle infotainment system while driving.
  • the processor 820 of the driver monitoring device 800 recognizes the gaze area that serves as a judgment standard for monitoring the driver's gaze distribution while the vehicle is driving (1401).
  • the processor 820 communicates with the received driving information of the vehicle or the vehicle's infotainment system (AVNT, Audio Video Navigation Telematics), so that the vehicle's infotainment system (AVNT) (hereinafter referred to as 'AVNT') operates. You can recognize that it is in progress.
  • AVNT Vehicle's infotainment system
  • 'AVNT' vehicle's infotainment system
  • AVNT adds telematics, a communication service, to the AVN (Audio Video Navigation) system, an existing vehicle infotainment system, and additionally provides real-time automatic updates and content utilization functions.
  • AVN Audio Video Navigation
  • the processor 820 may determine whether the AVNT area is included in the gaze area where the driver's gaze resides (1402). Specifically, the processor 820 determines whether the driver's gaze is within the gaze area in front of the vehicle or within the AVNT area (hereinafter, 'AVNT area') based on the driver's face and gaze direction recognized through the DSM camera. You can.
  • the driver's gaze distribution is monitored by including it as a gaze area.
  • the AVNT is operating while the vehicle is running but the driver's gaze continues to look ahead or the AVNT is turned off, the AVNT area is not included in the gaze area and the driver's gaze distribution is monitored only through the initial gaze area. .
  • the processor 820 can confirm the content type by analyzing the content output from the AVNT as driving information of the vehicle (1403). This is to adjust the sensitivity of the driver's gaze distribution to the AVNT area for each content type.
  • the processor 820 may determine whether to reduce the sensitivity of the driver's gaze distribution depending on whether the content output to the AVNT is classified as content helpful for driving.
  • the processor 820 increases the value or level of the driver's gaze distraction sensitivity for the AVNT area (1404). This is to prevent the driver from looking at the AVNT area, which may interfere with driving, for safety reasons.
  • the type of content that interferes with driving refers to content classified as including entertainment elements such as TV, video, video, image, sound source play, and movie.
  • the processor 820 lowers the value or level of the driver's gaze dispersion sensitivity for the AVNT area (1404). Accordingly, at this time, even if the driver looks at the AVNT area, it will not be mistaken for gaze distraction. This is to prevent DMS notifications from occurring even when the driver needs to keep an eye on the AVNT area while driving.
  • the type of content helpful for driving refers to content classified as including driving-related elements such as a navigation function and an around view image display function.
  • the value or level of gaze dispersion sensitivity for the initial gaze area and AVNT area will be restored to the original.
  • Figure 15 is an example diagram of adjusting the sensitivity of the driver's gaze distribution when the vehicle's BSD (Blind Spot Detection) notification display is on in the driver monitoring device related to an embodiment of the present invention.
  • BSD Blind Spot Detection
  • the driver monitoring device 800 can recognize the on state of the BSD (Blind Spot Detection) notification display as driving information of the vehicle 100.
  • BSD Breast Spot Detection
  • BSD Blind Spot Detection
  • the BSD warning indicator lights up in the right side mirror area and detects an object approaching from the left side.
  • the BSD notification indicator lights up in the left side mirror area.
  • the driver monitoring device 800 When the driver monitoring device 800 recognizes that the BSD notification display is on, it can reduce the sensitivity of the driver's gaze to the BSD area where the notification display is on.
  • an object e.g., another vehicle, Two-wheeled vehicle, electric kickboard, etc.
  • one of the objects (OB1 and OB2) detected in the left area (1501) approaches the vehicle within a certain distance, and is detected in the left side mirror area (1503).
  • the BSD notification display of is turned on, the left side mirror area 1503 where the BSD alert display is on is included in the gaze area, and the sensitivity of the driver's gaze is reduced compared to before, causing inattention. You can judge the condition of your back.
  • the driver monitoring device 800 can monitor the driver's condition by adaptively relaxing the judgment criteria.
  • the gaze area includes the right side mirror area with the BSD alert display turned on, By reducing the sensitivity of the driver's gaze distribution, it is possible to determine conditions such as inattention.
  • the driver monitoring device 800 turns off the left side mirror area 1503.
  • the sensitivity of the driver's gaze distribution is restored to its original state and the driver's status is monitored as default.
  • Figure 16 is an example flowchart of adjusting the driver's gaze dispersion sensitivity based on the accumulated driving time of the vehicle in the driver monitoring device related to an embodiment of the present invention.
  • the accumulated driving time of the vehicle is recorded and may be received, for example, by the driver monitoring device 800 through a GNSS reception module.
  • the accumulated driving distance may be received by the driver monitoring device 800 through the NSS receiving module.
  • the driver monitoring device 800 detects that after the vehicle starts driving or after the vehicle drives at a certain speed (e.g., 10 km/h) or higher, the received accumulated driving time (or accumulated driving distance) is within a certain range (e.g., 1 hour or more). ), the sensitivity of the driver's gaze distribution to the gaze area can be increased.
  • the driver monitoring device 800 may receive the vehicle's driving time measurement result as driving information (1601).
  • the driver monitoring device 800 determines whether the accumulated driving time (or driving distance) exceeds a set range while the vehicle is driving at a certain speed or higher (1602).
  • the predetermined range is set as a default value (e.g., more than 1 hour), and can be varied (increased) within a predetermined range based on situational information such as traffic volume, road conditions, difficulty of the driving route, and remaining driving time to the destination. / can be reduced).
  • the driver monitoring device 800 may upwardly adjust the gaze dispersion sensitivity, which is a criterion for determining careless driving (1604). This is to further strengthen the driver's obligation to look ahead in order to prevent accidents from occurring due to increased driving fatigue when the driver drives the vehicle for a long time.
  • the gaze dispersion sensitivity is proportionally increased whenever a certain driving time (or driving distance) (e.g., 30 minutes) is reached. It can be adjusted. At this time, the maximum upward value of gaze dispersion sensitivity may be set in advance.
  • the size of the gaze area is reduced every time a certain driving time (or driving distance) is reached, thereby substantially allowing the driver to It can make you pay more attention to the front.
  • the gaze area changes based on the reception of other driving information (e.g., U-turn, lane change, BSD notification display on when detecting an object approaching the vehicle).
  • other driving information e.g., U-turn, lane change, BSD notification display on when detecting an object approaching the vehicle.
  • the gaze distribution sensitivity may be adjusted downward.
  • the driver monitoring device 800 assigns high priority to driving information that is highly related to the safe driving of the vehicle or gaze movement required for driving, and determines the gaze area and gaze. It can be operated to vary the distributed sensitivity value.
  • the priority may be promoted whenever the accumulated driving time (or driving distance) reaches a certain driving time (or driving distance) (e.g., 30 minutes) after exceeding the set range.
  • a certain driving time e.g. 30 minutes
  • the gaze dispersion sensitivity value can be temporarily lowered, so that the driving information such as lane change or U-turn is Higher priority can be given.
  • the driver monitoring device 800 sets the gaze dispersion sensitivity as the default setting and monitors states such as inattention.
  • the gaze area and/or gaze dispersion sensitivity values are adjusted according to the reception of other high-priority driving information (e.g., U-turn, lane change, BSD notification display upon detection of an object approaching the vehicle). This could be adjusted.
  • Figure 17 is an example flowchart of adjusting the sensitivity of the driver's gaze distribution based on the driving speed of the vehicle in the driver monitoring device related to the embodiment of the present invention.
  • the driver monitoring device 800 can monitor conditions such as inattention by increasing the gaze dispersion sensitivity value so that the driver looks more forward when the vehicle is driving at a high speed. This means that when a vehicle is traveling at high speed, even a brief distraction of gaze can lead to a serious accident, so the criteria for judging gaze divergence are strictly applied.
  • the driving speed of the vehicle may be displayed on the dashboard of the vehicle's cluster area 1202, and for example, information about the driving speed of the vehicle may be received by the driver monitoring device 800 through a GNSS reception module (1701). .
  • the driver monitoring device 800 may determine whether the vehicle is traveling above a certain driving speed while driving (1702).
  • the constant driving speed may be, for example, 100 km/h, but is not limited thereto.
  • the constant driving speed may be varied based on the speed limit of the driving road. For example, in a speed limit display area, the constant driving speed is set to a limited speed value (e.g., 20 km/h in the case of a child protection zone), and on a highway, the constant driving speed is set to a value within the maximum allowable driving speed (e.g. , can be set to 100 km/h or more and within 110 km/h).
  • the driver monitoring device 800 may receive driving information including the speed limit value on the relevant driving road.
  • the driver monitoring device 800 adjusts upward the sensitivity of the driver's gaze distribution to the gaze area ( 1704).
  • the upward degree of sensitivity to gaze dispersion may increase depending on the extent to which the vehicle's driving speed exceeds a certain driving speed. Additionally, the upward degree of sensitivity to gaze dispersion depending on the degree to which a certain driving speed is exceeded may be adjusted based on information about the speed limit of the driving road.
  • the driver monitoring device 800 monitors the driver's status by monitoring gaze dispersion at the default setting (1703).
  • the driver monitoring device 800 restores the gaze divergence sensitivity back to the default setting and the driver Monitor the status of
  • the driving direction of the vehicle is changed according to the shape of the road encountered while driving the vehicle, or as needed during driving, such as changing lanes, turns, U-turns, etc., so that the forward gaze can naturally shift to the gaze in the changed driving direction.
  • the driver's gaze is monitored using the same judgment criteria, it may be misunderstood as the driver's gaze being dispersed.
  • Figure 18 is an example diagram of adjusting the sensitivity of the driver's gaze distribution according to the steering direction of the vehicle in the driver monitoring device related to the embodiment of the present invention.
  • Figure 19 is an example diagram of adjusting the sensitivity of driver's gaze distribution when a vehicle makes a U-turn in a driver monitoring device related to an embodiment of the present invention.
  • Figure 20 is a diagram of adjusting the range of the driver's driving gaze area while the vehicle is driving on an incline in the driver monitoring device related to an embodiment of the present invention.
  • the driver monitoring device 800 may receive steering wheel angle information from the vehicle as driving information while the vehicle is driving.
  • the driver monitoring device 800 may recognize that the angle of the steering wheel of the vehicle 100 is within a certain range or more.
  • the angle value of the steering wheel over a certain range may mean the angle value of a normal wheel that changes when the vehicle changes lanes, drives on a curve, or performs a U-turn.
  • the gaze area is set in consideration of the driver's gaze movement to monitor the approach of objects (OB1, OB2, OB3) around the vehicle. This is added.
  • the expanded front gaze area, rear, and side mirror areas corresponding to the left and right sides may be recognized as gaze areas 1801, 1802, 1803, and 1804.
  • the reason the front look area is expanded is because the driver steers while paying attention to the steering direction of the vehicle, and the reason the rear and side look areas are added is because the driver uses the rearview mirror for defensive driving while steering. This is because we briefly and repeatedly look at the side mirrors.
  • the added gaze area is determined in response to the changing driving direction. For example, when the vehicle turns right, the right side mirror area may be added as the gaze area. Also, for example, when the vehicle turns left, the left side mirror area may be added as the gaze area.
  • the driver monitoring device 800 can expand the gaze area in response to the driving direction of the vehicle and monitor the driver's condition by reducing the sensitivity of the driver's gaze distribution to the expanded gaze area.
  • the sensitivity value of gaze dispersion for a gaze area related to a change in the driving direction of the vehicle is reduced, but the sensitivity value of gaze to an area unrelated to a change in the driving direction of the vehicle may be increased.
  • the driver monitoring device 800 recognizes the angle of the steering wheel of the vehicle above a certain range, the sensitivity of the driver's gaze distribution to the vehicle's infotainment system, that is, the AVNT area and the cluster area, can be conversely increased. there is. This is because allowing the driver to move his gaze only to the expanded or added gaze area contributes to safe driving.
  • the angle information of the steering wheel displayed on the driver monitoring device 800 falls within a certain range, the expanded gaze area and lowered gaze dispersion sensitivity are restored to their original values. .
  • the driver monitoring device 800 is located within a certain distance from the U-turn point of the vehicle 100, and information on the turn signal (e.g., left turn signal or pedestrian signal on) and the angle/direction of the steering wheel (hereinafter, ' ‘U-turn related information’) can be input as driving information.
  • information on the turn signal e.g., left turn signal or pedestrian signal on
  • the angle/direction of the steering wheel hereinafter, ' ‘U-turn related information’
  • the driver monitoring device 800 expands the driving gaze area according to the change in the driving angle of the vehicle 100 and adjusts the gaze distribution sensitivity to monitor the driver's condition. You can.
  • the driver monitoring device 800 determines the distribution of gaze based on the initial gaze area (1).
  • the driver monitoring device 800 expands or adds an additional viewing area (2-1, Monitor the distribution of gaze based on 2-2).
  • the driver monitoring device 800 displays the gaze area (3-1, 3-) expanded or added compared to before. Monitor the distribution of gaze based on 2).
  • the driver monitoring device 800 restores the sensitivity of the changed gaze area and/or gaze dispersion to the original value. Next, monitor the driver's gaze.
  • the gaze distribution sensitivity for the cluster area and AVNT area of the vehicle 100 may be adjusted upward. This is to prevent attention from being diverted to vehicle devices unrelated to driving while performing a U-turn. Even in this case, when the U-turn is completed, the driver's gaze dispersion sensitivity is restored to its original value.
  • the driver's gaze looks in a direction corresponding to the slope direction. For example, in a section with a steep upward slope, the driver drives by moving his gaze upward from his usual gaze area, and in a section with a severe downward slope, the driver drives by moving his gaze downward from his usual gaze area.
  • the driver monitoring device 800 receives driving inclination angle information input through a device/module mounted on the vehicle 100, for example, an INS (Inertial Navigation System) module, and selects a gaze area based on the received driving inclination angle. can be changed (e.g. expanded) or the sensitivity of the driver's gaze distribution can be adjusted.
  • INS Inertial Navigation System
  • Figure 20 (a) shows the driving gaze area 2010 in the basic state and the areas 1201, 1202, 1203, and 1204 within the vehicle where the driver's gaze can be directed when the driving inclination angle is gentle or within a certain range. , 1205).
  • the driver monitoring device 800 may change the gaze area to further expand the upper part of the driving gaze area 2010. This prevents the DMS warning notification from malfunctioning due to unintentionally leaving the driving gaze area 2010 for several seconds as the driver's gaze turns upward while the vehicle is passing uphill.
  • the driver monitoring device 800 When the vehicle's driving inclination angle is downward, that is, when the driving path is downhill, the driver monitoring device 800 further expands the lower part of the driving gaze area 2010, as shown in (b) of FIG. 20.
  • the changed gaze area (2010') can be used as a standard for driver monitoring. This prevents the DMS warning notification from malfunctioning due to unintentionally leaving the driving gaze area 2010 for a few seconds or being misunderstood as heading toward the cluster area as the driver's gaze is directed downward while the vehicle is passing down a hill.
  • the range of the expanded gaze area 2010' may extend to the rearview mirror area 2020.
  • the gaze judgment range of the cluster area 2030a and the AVNT area 2030b can be varied. That is, the direction of expansion of the gaze area can be adjusted to face the vehicle's infotainment system and cluster area. Accordingly, the size of the gaze area of the cluster area 2030a and the AVNT area 2030b may be temporarily reduced. This is based on the premise that the driver's gaze can change up and down significantly while the vehicle is driving on an incline.
  • the driver monitoring device 800 distributes the driver's gaze to the expanded gaze area in response to recognizing that the driving inclination angle of the vehicle is outside a certain range, depending on the degree to which the driving inclination angle of the vehicle is outside the certain range. can reduce the sensitivity. This is because, when the driver's gaze changes up and down significantly, the driver's gaze may deviate from the expanded gaze area despite the expansion of the gaze area.
  • the changed gaze area is restored to its original state and the driver's gaze is monitored.
  • various driving information that changes in real time while driving a vehicle is collected, and the gaze area or gaze dispersion sensitivity to determine the driver's condition is adaptively adjusted, It is possible to distinguish whether the driver's gaze has shifted out of necessity while driving or whether gaze has been diverted due to inattention. Accordingly, it is possible to more accurately determine the driver's condition and provide DMS notifications.
  • the driving gaze area and gaze distribution sensitivity which are the criteria for determining the driver's condition, are changed and applied according to the situation, and then restored to their original state when the driving situation that caused it ends or another situation occurs, thereby improving the safe driving function. We can definitely provide it. Additionally, when the driver naturally moves his/her gaze while driving, this is not mistaken for distraction or careless driving, thereby preventing false alarms or frequent alarms from occurring. Accordingly, increased fatigue or driving interruption caused by false alarms or frequent alarms of DMS are eliminated.
  • the above-described present invention can be implemented as computer-readable code (or application or software) on a program-recorded medium.
  • the control method of the self-driving vehicle described above can be implemented using codes stored in memory, etc.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Additionally, the computer may include a processor or control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Abstract

차량의 운전자 모니터링 장치 및 그것의 동작방법이 개시된다. 본 발명에 따른 차량의 운전자 모니터링 장치는, 주행중인 차량의 주행 정보를 수신하고 센서를 통해 차량 내에 장착되어 주행중인 운전자의 얼굴 및 시선방향을 모니터링할 수 있다. 이때, 수신된 차량의 주행정보에 근거하여 운전자의 주시영역과 주시영역에 대한 시선 분산 민감도를 적응적으로 가변 적용하여 운전자의 상태를 감시할 수 있다. 그에 따라, 졸음 등의 운전자의 상태 감시는 지속적으로 수행하면서 일관적 기준에 따른 잦은 경고로 인한 운전 방해 요소를 제거할 수 있다.

Description

차량의 운전자 모니터링 장치 및 그것의 동작방법
본 발명은 차량의 운전자 모니터링 장치 및 그것의 동작방법에 관한 것으로, 보다 구체적으로, 차량의 주행동안 운전자의 주시영역에 대한 시선 분산에 근거하여 운전자의 상태를 감시할 수 있도록 구현된 차량의 운전자 모니터링 장치 및 그것의 동작방법에 관한 것이다.
차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다. 이러한 차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.
차량의 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart0020parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.
또한, 차량의 안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.
한편, 차량의 안전 기능의 하나로, 운전자를 촬영한 영상을 분석하여 운전자 졸음 상태를 인식하고, 그에 따라 운전자에게 경보를 출력하는 운전자 졸음 방지 기술이 상용화되고 있다.
구체적으로, 운전자 모니터링 시스템(Driver Monitoring System, DMS)은 차량의 대시보드에 장착된 카메라를 사용하여, 운전자의 졸음이나 주의력 상실을 감지하고, 운전자가 운전에 집중할 수 있도록 오디오 알람, 경고등 등의 알림을 출력하는 안전 시스템이다.
또한, 최근 유로 NCAP(E-NCAP)에서는 2024년부터 모든 신규 차량에 DMS 시스템의 탑재를 의무화하도록 하였다. 운전자의 시선 분산은, 유로 NCAP에서 요구하는 운전자에의 알람 기능이다. 예를 들어, 유로 NCAP에서 요구하는 시선 분산의 판단기준은 시속 10km/h 이상으로 주행하는 동안 연속 3초간 또는 30초동안 10초 이상 누적적으로 시선 분산 발생시, 알람을 발생하도록 한다.
또한, 한국등록특허 제1078466호는 운전자의 얼굴을 촬영하여, 운전자의 눈깜빡임 패턴 등의 분석에 따라 운전자의 각성 상태를 파악하는 기술을 개시하고 있다.
그러나, 운전자의 시선 분산의 판단기준이 모두 운전자의 주시 방향이 차량의 주행 방향의 영역 내에 머무는지 여부에 달려있어서, 주행시 필요하여 다른 곳을 주시하는 경우(예, 백미러 또는 사이드 미러를 주시하는 경우 등)에도 오알람 또는 잦은 알람이 발생하는 경우가 발생한다. 이는, 운전자의 피로감을 증가시키고 오히려 운전 방해 요소가 될 수 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일부 실시 예에 따르면, 차량을 주행하는 동안 다양한 주행 환경에 대한 운전자의 반응을 시선 분산으로 오인하지 않고 DMS 알림을 제공할 수 있는 차량의 운전자 모니터링 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
본 발명의 일부 실시 예에 따르면, 차량의 주행동안 운전자의 상태를 모니터링하여 DMS 알림을 작동하는데 있어서, 알림의 오작동이나 잦은 알림 발생이 제거된 차량의 운전자 모니터링 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 주행 환경에 따라 필요한 경우 운전자의 시선 방향을 모니터링하는 영역을 적응적으로 변경하여서 부주의 등의 운전자의 상태를 판단할 수 있는 차량의 운전자 모니터링 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 다양한 주행 환경에 적합하도록 필요시 운전자의 시선 분산의 민감도를 다르게 적용하여, 졸음 또는 부주의 등의 운전자의 상태를 판단할 수 있는 차량의 운전자 모니터링 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
이를 위해, 본 발명에 따른 차량의 운전자 모니터링는, 차량의 주행정보를 수신하여, 운전자의 주시영역과 주시영역에 대한 시선 분산 민감도를 적응적으로 가변 적용하여 운전자의 상태를 감시할 수 있다. 그에 따라, 졸음 등의 운전자의 상태 감시는 지속적으로 수행하면서 일관적 기준에 따른 잦은 경고로 인한 운전 방해 요소를 제거할 수 있다.
예를 들어, 본 발명에 따른 차량의 운전자 모니터링은, 차량의 외부에서 감지되는 주행 정보 및/또는 차량의 내부 구성품의 동작과 같은 주행 정보에 근거하여, 운전자를 모니터링하기 위한 주시영역을 변경할 수 있다.
또, 예를 들어, 운전자가 주행 경로를 주행하는 동안, 차선 변경, U턴, 경사로 주행 등의 주행 상황을 감지하여, 운전자가 현재 주시하는 영역에 대한 시선 분산의 민감도를 적응적으로 조절할 수 있다. 그에 따라, 주행에 따른 운전자의 자연스러운 시선 이동을 단순 시선 분산으로 오인하지 않게 된다.
또, 예를 들어, 운전자가 주행하는 동안, 누적된 주행거리, 주행속도에 따라 운전자의 주의 집중이 더 필요한 상황에서는, 안전 운전을 위해 주행 주시영역에 대한 운전자의 주시를 보다 엄격하게 적용할 수 있다.
구체적으로, 본 발명의 실시 예에 따른 차량의 운전자 모니터링 장치는, 주행중인 차량의 주행 정보를 수신하는 수신부; 차량 내에 장착되어 주행중인 운전자의 얼굴 및 시선방향을 검출하는 센서; 상기 센서를 이용하여 주시영역에 대한 운전자의 시선 분산을 모니터링하고, 상기 수신된 주행 정보에 근거하여 상기 주시영역의 변경 여부를 결정하고, 상기 결정에 따라 상기 시선 분산에 대응되는 운전자의 상태를 결정하는 프로세서를 포함할 수 있다. 또한, 상기 프로세서는, 상기 수신된 주행 정보에 근거하여 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 조절할 수 있다.
실시 예에 따라, 상기 주시영역의 변경은, 주시영역의 위치, 크기, 개수, 및 운전자의 시선이 고정되는 시간의 변경 중 하나 이상이고, 상기 프로세서는, 상기 운전자의 시선 방향이 상기 주시영역 내에 머무르는 시간 또는 빈도수에 근거하여 운전자의 시선 분산의 정도를 판단할 수 있다.
실시 예에 따라, 상기 주행 정보는 차량의 마이크로폰을 통해 수집되는 차량 주변의 소음 정보를 포함하고, 상기 프로세서는, 상기 수집된 차량 주변의 소음 정보에 근거하여 상기 주시영역의 확장여부를 결정하고, 상기 결정에 근거하여 운전자의 시선 분산의 정도에 대응되는 운전자의 상태를 감시할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 결정에 따라 주시영역이 하나 이상 확장되는 경우, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 일정범위 이상 증가시키고, 증가된 시선 분산의 민감도로 상기 운전자의 상태를 감시할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 주행 정보에 근거하여 운전자의 시선 분산의 민감도가 변경되고, 이 후 민감도 변경의 원인의 해제가 인지된 것에 응답하여, 상기 주시영역 및 상기 시선 분산의 민감도를 원래대로 복원시킬 수 있다.
실시 예에 따라, 상기 센서는, 차량의 내부 전방에 설치되어 상기 운전자의 얼굴 및 시선방향을 인식하는 DSM 카메라이고, 상기 프로세서는, 상기 결정된 운전자의 상태에 따라 주의 운전이 필요한 것으로 판단된 경우, 하나 이상의 출력수단에 대응되는 알림신호를 전달할 수 있다.
실시 예에 따라, 상기 차량의 주행 정보는 차량의 인포테인먼트 시스템의 동작 상태를 포함하고, 상기 프로세서는, 상기 주시영역에 상기 인포테인먼트 시스템의 영역이 포함된 것을 인지하고, 상기 인포테인먼트 시스템의 동작하는 동안, 상기 인포테인먼트 시스템에 출력되는 컨텐츠의 타입을 분석하고, 상기 분석에 근거하여 상기 운전자의 시선 분산의 민감도를 다르게 조절할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 컨텐츠가 주행에 도움을 주는 컨텐츠로 분류되는지 여부에 따라 상기 운전자의 시선 분산의 민감도의 감소 여부를 결정할 수 있다.
실시 예에 따라, 상기 차량의 주행 정보는 BSD(Blind Spot Detection) 알림 표시의 온(on) 상태를 포함하고, 상기 프로세서는, 알림 표시가 온(on) 상태인 BSD 영역에 대한 운전자의 시선 분산의 민감도를 감소시킬 수 있다.
실시 예에 따라, 상기 주행 정보는 차량의 주행 누적시간 정보를 포함하고, 상기 프로세서는, 차량의 주행 개시 후 감지된 주행 누적시간이 정해진 범위에 도달한 경우 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 증가시킬 수 있다.
실시 예에 따라, 상기 주행 정보는 차량의 주행 속도 정보를 포함하고, 상기 프로세서는, 차량의 주행 속도가 일정범위를 초과하는 경우 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 증가시키고, 상기 민감도가 상기 차량의 주행 속도에 비례하여 증가하도록 조절할 수 있다.
실시 예에 따라, 상기 주행 정보는 차량의 스티어링 휠의 각도 정보를 포함하고, 상기 프로세서는, 차량의 스트리어링 휠의 각도가 일정범위 이상인 것으로 인지되면, 차량의 주행방향에 대응하여 상기 주시영역을 확장하고, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시켜서 운전자의 상태를 감시할 수 있다.
실시 예에 따라, 상기 프로세서는, 차량의 스트리어링 휠의 각도가 일정범위 이상으로 인지되는 동안, 차량의 인포테인먼트 시스템 및 클러스터 영역에 대한 운전자의 시선 분산의 민감도는 증가시킬 수 있다.
실시 예에 따라, 상기 주행 정보는 차량의 주행 경사각 정보를 포함하고, 상기 프로세서는, 차량의 주행 경사각이 일정범위를 벗어난 것이 인지된 것에 응답하여 상기 주시영역을 확장하고, 차량의 주행 경사각이 일정범위를 벗어난 정도에 따라 상기 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시킬 수 있다.
실시 예에 따라, 상기 주시영역은 차량의 인포테인먼트 시스템 및 클러스터 영역을 향하도록 확장될 수 있다.
또한, 본 발명의 실시 예에 따른 운전자 모니터링 장치의 동작 방법은, 주행중인 차량의 주행 정보를 수신하는 단계; 상기 수신된 주행 정보에 근거하여, 주시영역의 변경 여부를 결정하는 단계; 상기 결정된 주시영역에 대한 운전자의 시선 분산의 민감도를 조절하는 단계; 상기 운전자의 시선 분산에 대응되는 운전자의 상태에 따라 주의 운전이 필요한지를 판단하고, 상기 판단에 근거하여 알림을 출력하는 단계를 포함할 수 있다 .
본 발명에 따른 차량의 운전자 모니터링 장치 및 그것의 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 일부 실시 예에 의하면, 차량을 주행하는 동안 실시간으로 변화하는 다양한 주행 정보를 수집하여, 운전자의 상태를 판단하기 위한 주시영역이나 시선 분산 민감도를 적응적으로 조절함으로써, 운전자가 주행시 필요하여 시선 이동한 것인지 또는 부주의로 인한 시선 분산인지를 구별할 수 있다. 그에 따라, 보다 정확하게 운전자의 상태를 파악하여 DMS 알림을 제공해줄 수 있다.
또한, 본 발명의 일부 실시 예에 의하면, 운전자의 상태 파악을 위한 판단기준이 되는 주행 주시영역과 시선 분산 민감도를 상황에 맞게 변경 적용한 후, 그 원인이된 주행 상황이 종료되거나 다른 상황이 발생하면 원래대로 복원함으로써, 안전 운전 기능을 확실하게 제공해줄 수 있다.
또한, 본 발명의 일부 실시 예에 의하면, 운전자가 주행하면서 자연스럽게 시선을 이동하는 경우에, 이를 시선 분산 또는 운전 부주의로 오인하지 않음으로써, 오알람이나 잦은 알람 발생이 미연에 방지된다. 그에 따라, DMS의 오알람이나 잦은 알람으로 인한 피로감 증가나 운전 방해가 제거된다.
도 1은 본 발명의 실시예와 관련된 차량의 예시를 도시한 도면이다.
도 2는 본 발명의 실시예와 관련된 차량을 다양한 각도에서 본 도면이다.
도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 및 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예와 관련된 운전자 모니터링 장치의 예시 구성을 보인 블록도이다.
도 9, 도 10, 도 11, 도 12는 본 발명의 실시예와 관련된 운전자 모니터링 장치의 동작에 따라, 운전자의 상태를 모니터링하는 기준이되는 주시영역을 변경하는 다양한 예시를 보인 도면들이다.
도 13은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량 주변의 소음 정보에 근거하여 주시영역을 변경하는 예시이다.
도 14는 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량용 인포테인먼트 시스템을 주시하는 경우 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
도 15는 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 BSD(Blind Spot Detection) 알림 표시가 온(on) 상태인 경우 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
도 16은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 주행 누적시간에 근거하여 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
도 17은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 주행속도에 근거하여 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
도 18은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 조향 방향에 따른 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
도 19는 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 U턴시 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
도 20은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량이 경사로를 주행하는 동안 운전자의 주행 주시영역의 범위를 조절하는 예시 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
본 명세서에 개시된 "차량의 주행 정보"는 차량의 주행 동작 데이터 및 주행 환경 데이터를 포함한다.
여기에서, 주행 동작 데이터는, 차량의 속도, 조향각 제어, 브레이크 조작, 기어 조작, 주행 누적시간, 차량의 위치, 차량용 인포테인먼트 시스템의 동작, 안전 기능과 관련된 장치의 동작 등 차량의 주행 중에 차량에서 수집되는 다양한 데이터를 포함할 수 있다. 또한, 상기 주행 환경 데이터는, 차량의 주행 도로의 도로 기하 정보, 주행 도로의 통행량, 통행 속도 등의 트래픽 정보, 날씨 정보, 차량 주변의 소리, 빛 등의 주변환경 데이터를 포함할 수 있다.
또한, 본 명세서에 개시된 "주시영역" 또는 "주행 주시영역"은 운전자가 주행하는 동안 시선이 머무르는 영역이나 안전 운전을 위해 시선이 머물러야하는 영역을 의미할 수 있다. 본 명세서에 대부분에서는, "주시영역" 또는 "주행 주시영역"은 운전자의 상태를 파악하기 위해 모니터링되는 시선 영역을 의미할 수 있다. 이러한 경우, 예를 들어, 운전자의 시선방향이 "주시영역" 또는 "주행 주시영역" 내인지 여부를 모니터링함으로써, 운전자의 시선 분산 정도를 파악할 수 있다.
또한, 본 명세서에 개시된 "운전자의 상태"는 운전자의 각성 상태(각성 정도), 졸음 예측 상태, 및 운전 부주의 상태 중 하나 이상에 해당하는지를 판단하는 것을 의미할 수 있다. 상기 "운전자의 상태"는 차량이 주행중인 동안 지속적, 누적적, 실시간으로 판단될 수 있다.
도 1 및 도 2는 본 발명의 실시 예와 관련된 차량의 외관이고, 도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 도시한 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다. 도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다. 차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다. 예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다. 예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(이하, '제어부'로 명명될 수 있음)(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다. 사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다. 변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
또한, 차량(100)에 포함되거나 또는 탈착가능하도록 장착되는, 운전자 모니터링 장치(800)는 운전자의 시선 분산을 모니터링하여, 운전자의 상태(예, 졸음, 부주의 등)를 결정하고 이에 근거하여 경고 알람을 출력하도록 구현된다.
운전자 모니터링 장치(800)는 향상된 DMS(Advanced Driver Monitering System) 장치 또는 시스템으로도 명명될 수 있다.
운전자 모니터링 장치(800)는, 차량의 주행 정보, 구체적으로 차량의 주행 동작 데이터와 주행 환경 데이터에 근거하여 운전자의 시선이 향하는 주시영역을 변경하여 운전자의 상태를 판단할 수 있다.
예를 들어, 운전자 모니터링 장치(800)는, 주시영역의 크기, 위치, 개수, 운전자의 시선이 고정되어야하는 시간 중 하나 이상의 판단기준을 변경하여, 운전자의 상태를 모니터링할 수 있다.
또한, 운전자 모니터링 장치(800)는, 차량의 주행 정보, 보다 구체적으로 차량의 주행 동작 데이터 및 주행 환경 데이터 중 적어도 하나에 근거하여 주시영역에 대한 운전자의 시선 분산의 민감도를 다르게 조절하여 운전자의 상태를 판단할 수 있다.
예를 들어, 운전자 모니터링 장치(800)는, 차량의 주행 정보를 감지하여, 운전자의 시선 분산이 운전에 도움이 되는 경우라면 주시영역에 대한 운전자의 시선 분산의 민감도를 낮추고, 운전자의 시선 분산이 운전에 방해가 되는 경우라면 민감도를 증가시켜서, 운전자의 상태를 모니터링할 수 있다.
또한, 운전자 모니터링 장치(800)는, 이와 같이 차량의 주행 정보에 근거하여 가변 적용되는 판단기준인 주시영역과 시선 분산의 민감도에 대한 학습을 수행할 수 있다. 그에 따라, 동일한 주행 정보가 입력된 경우라도, 운전자별로 주시영역 및/또는 시선 분산의 민감도 값이 다르게 적용될 수 있다.
도 8은 본 발명의 실시예와 관련된 운전자 모니터링 장치의 예시 구성을 보인 블록도이다.
도 8을 참조하면, 운전자 모니터링 장치(800)에 포함되는 구성으로 센서(810), 프로세서(820), 메모리(830)를 포함할 수 있고, 경고 알람을 위해 차량의 다양한 출력수단(252)와 연동하여 동작할 수 있다.
운전자 모니터링 장치(800)는 차량의 주행 정보에 근거하여, 운전자의 시선이 향하는 주시영역을 가변할 수 있고, 주시영역에 대한 운전자의 시선 분산의 민감도를 조절할 수 있다.
운전자 모니터링 장치(800)는, 이와 같이 주시영역의 가변 및/또는 운전자의 시선 분산의 민감도를 조절하여, 적응적으로 운전자의 시선 분산 정도를 판단할 수 있다. 그에 따라, 시선 분산 알람의 오작동이나 잦은 동작은 제거하면서 운전자의 안전 주행에 도움을 줄 수 있다.
센서(810)는 차량의 내부 전방에 설치되어 상기 운전자의 얼굴 및 시선방향을 인식하도록 구현된 DSM 카메라를 포함할 수 있다. 센서(810)는 운전자의 상태를 모니터링하기 위해, 운전자의 얼굴을 촬영하여 운전자 영상 데이터를 획득할 수 있다. 예를 들어, DSM 카메라는 운전자의 얼굴 이미지를 획득하고, 획득된 이미지를 분석하여, 운전자의 시선 방향 및 졸음 여부를 확인할 수 있다.
실시 예에 따라, 센서(810)는 운전자의 상태를 보다 정확히 파악하기 위한 차량내 다른 센서들, 예를 들어 마이크로폰, 생체감지센서, 호흡감지센서, 자세감지센서 등을 추가로 포함할 수 있다. 다만, 본 발명에서, 운전자의 상태를 파악하기 위한 판단기준인 주시영역에 대한 시선 분산 정도는, 전술한 DSM 카메라나 다른 비전센서를 통해 획득된 이미지 분석을 통해 이루어질 수 있을 것이다.
프로세서(820)는 수신부(미도시) 또는 센서(810) 중 하나를 통해 차량의 주행 정보를 수신할 수 있다.
수신가능한 차량의 주행 정보는 차량의 주행 동작 데이터 및 주행 환경 데이터를 포함할 수 있다. 여기에서, 상기 주행 동작 데이터는, 차량의 속도, 조향각 제어, 브레이크 조작, 기어 조작, 주행 누적시간, 차량의 위치, 차량용 인포테인먼트 시스템의 동작, 안전 기능과 관련된 장치의 동작 등 차량의 주행 중에 차량에서 수집되는 다양한 데이터를 포함할 수 있다. 또한, 상기 주행 환경 데이터는, 차량의 주행 도로의 도로 기하 정보, 주행 도로의 통행량, 통행 속도 등의 트래픽 정보, 날씨 정보, 차량 주변의 소리, 빛 등의 주변환경 데이터를 포함할 수 있다. 상기 도로 기하 정보는 도로 종단 기울기, 도로 횡단 기울기 및 도로 곡률 등을 포함할 수 있으며, 정해진 서비스 서버(미도시)에 미리 저장되어 있을 수 있다. 또, 상기 도로 트래픽 정보는 예를 들어, 교통 정보 제공 서버(미도시)로부터 제공받을 수 있다.
운전자 모니터링 장치(800)는, 차량의 주행 정보를 수신하고, 운전자의 상태에 대응되는 제어신호를 출력수단(252)에 전달하는 기능을 수행하는 통신부(미도시)를 포함할 수 있다.
상기 통신부는, 예를 들어, LAN(local area network), MAN(metropolitan area network), 광역 통신망(wide area network, WAN), 인터넷, 2G, 3G, 4G, LTE 이동 통신망, 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 위성 통신망, LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크 등을 포함할 수 있으며, 유무선 통신방식 중 어떠한 통신 방식도 포함할 수 있다.
실시 예에 따라, 상기 차량의 주행 정보는 차량의 OBD(On-Board Diagnostics) 인터페이스(미도시)나 GNSS 수신 모듈 등을 통해 수신될 수도 있다.
프로세서(820)는 수신된 주행 정보에 근거하여, 운전자의 상태를 결정하기 위한 판단기준을 적응적으로 가변 적용할 수 있다.
구체적으로, 프로세서(820)는 수신된 주행 정보에 근거하여 모니터링할 주시영역을 적응적으로 가변할 수 있다. 구체적으로, 프로세서(820)는 수신된 주행 정보에 근거하여 모니터링할 주시영역의 위치, 크기, 개수, 및 운전자의 시선이 고정되는 시간의 변경 중 하나 이상를 변경할 수 있고, 운전자의 시선 방향이 주시영역 에 머무르는 시간 또는 빈도수에 근거하여 운전자의 시선 분산의 정도를 판단할 수 있다.
또한, 프로세서(820)는 수신된 주행 정보에 근거하여 주시영역에 대한 운전자의 시선 분산의 민감도를 적응적으로 조절할 수 있다.
프로세서(820)에 의해, 수신된 주행 정보에 근거하여 시선 분산의 민감도가 초기값보다 감소되도록 조절된 경우, 프로세서(820)는 운전자의 주시영역에 대한 시선 고정 필요시간을 보다 감소시키거나 시선 고정 필요횟수를 감소시켜서, 운전자의 시선 분산 등의 상태를 감시할 수 있다.
프로세서(820)에 의해, 수신된 주행 정보에 근거하여 시선 분산의 민감도가 초기값보다 증가되도록 조절된 경우, 프로세서(820)는 운전자의 주시영역에 대한 시선 고정 필요시간을 보다 증가시키거나 시선 고정 필요횟수를 증가시켜서, 운전자의 시선 분산 등의 상태를 감시할 수 있다.
프로세서(820)는, 주시영역이 복수인 경우, 각각의 주시영역에 대한 시선 분산 민감도를 서로 다르게 조절할 수 있다. 예를 들어, 전방의 주행 주시영역과 백미러 주시영역에 대한 운전자의 시선 분산 민감도 값을 다르게 조절할 수 있다.
메모리(830)는 운전자 모니터링 장치(800)의 동작과 관련된 각종 정보, 데이터 및 프로그램과을 저장할 수 있다. 메모리(830)는 센서(810)를 통해 획득된 운전자 모니터링 데이터, 수신부(또는, 센서(810), 통신부, OBD 인터페이스 등)를 통해 수신된 차량의 주행 정보, 데이터 및 프로그램을 저장할 수 있다. 또한, 메모리(830)는 전술한 적응적 판단기준과 관련된 다양한 정보, 데이터, 프로그램을 이용하여 가변된 판단기준에 따른 운전자별로 상태 예측 모델을 학습할 수 있다. 이때, 차량, 교통, 환경 등 관련된 다수의 데이터를 포함한 빅데이터를 추가로 활용하여 가변된 판단기준에 따른 운전자별로 상태 예측 모델을 학습할 수도 있다.
프로세서(820)는 전술한 적응적 판단기준에 따라 결정된 운전자의 상태에 따라, 운전자의 주의를 환기시키기 위한 알람을 출력하도록, 제어신호를 생성할 수 있다.
출력수단(252)은 예를 들어 차량내 스피커, 대쉬보드의 경고 알람등, 경적, 디스플레이 중 하나 이상을 포함할 수 있다. 상기 출력수단(252)은, 프로세서(820)에 의해 생성된 제어신호에 근거하여, 운전자에게 상호작용 응답을 요구하는 알림 신호를 출력할 수도 있다. 운전자에게 상호작용 응답을 요구하는 알림 신호란, 예를 들어 주행에 집중하기 위한 운전자의 피드백 반응(예, 입벌렸다가 다물기, 임의 질문에 답하기)을 유도하는 청각적 또는 시각적 알림 신호를 의미할 수 있다.
한편, 프로세서(820)는 수신된 주행 정보에 근거하여 운전자의 시선 분산의 민감도가 변경된 후, 민감도 변경의 원인이 해제되었음이 인지된 것에 응답하여, 가변된 주시영역과 시선 분산의 민감도(예, 초기 설정값)를 원래대로 복원시킬 수 있다.
도 9, 도 10, 도 11, 도 12는 본 발명의 실시예와 관련된 운전자 모니터링 장치의 동작에 따라, 운전자의 상태를 모니터링하는 기준이되는 주시영역을 변경하는 다양한 예시를 보인 도면들이다.
본 발명에 따른 운전자 모니터링 장치(800)는 운전자의 시선방향이 주시영역 (또는, 주행 주시영역)내인지 여부를 모니터링함으로써, 운전자의 시선 분산 정도를 감시한다. 통상의 경우, 상기 주시영역은 DMS 알림과 관련하여 미리 정해진 영역 및 위치, 예를 들어 차량의 운전자석에 대응되는 전방 윈드쉴드의 중간영역로 설정된다.
본 발명에 따른 운전자 모니터링 장치(800)는 수신된 차량의 주행 정보에 근거하여, 운전자의 상태를 모니터링하는 기준이 되는 주시영역을 적응적으로 변경할 수 있다.
운전자 모니터링 장치(800)는 수신된 차량의 주행 정보에 근거하여, 주시영역의 위치, 크기, 개수, 및 운전자의 시선이 고정되는 시간의 변경 중 하나 이상을 변경할 수 있다. 그런 다음, 운전자 모니터링 장치(800)는 운전자의 시선 방향이 주시영역 내에 머무르는 시간 또는 빈도수에 근거하여 운전자의 시선 분산의 정도를 판단함으로서, 졸음, 부주의 등의 운전자의 상태를 감시할 수 있다.
도 9는, 차량의 주행 정보에 근거하여 주시영역의 위치가 변경된 한 예시이다. 예를 들어, 도 9의 (a)에 도시된, 운전자석에 대응되는 전방 윈드쉴드의 중간영역으로 설정된 주시영역(이하, '초기 주시영역'으로 명명함)(910)이 차량의 주행 정보에 따라 도 9의 (b)에 도시된 바와 같이 보조석에 대응되는 전방 윈드쉴드의 중간영역(920)으로 위치 변경될 수 있다.
도 9의 (b)와 같은 주시영역의 위치 변경은, 예를 들어, 수신된 주행 정보로 차량의 전방 우측으로부터 접근하는 오브젝트가 검출된 경우와 같이 운전자가 차량의 전방 우측을 주시하게 되는 상황에서 수행될 수 있다. 이때, 오브젝트가 차량 주변에서 멀어지거나 차량의 전방 좌측을 향해 움직이면, 변경된 주시영역이 도 9의 (a)와 같이 원래 위치의 주시영역으로 복원될 것이다.
도 10은 차량의 주행 정보에 근거하여 주시영역의 크기가 변경된 한 예시이다. 예를 들어, 도 10의 (a)에 도시된, 초기 주시영역(1010)은 차량의 주행 정보에 따라 도 10의 (b)에 도시된 바와 같이, 초기 주시영역으로부터 보조석에 대응되는 전방 윈드쉴드까지 확장된 주시영역(1020)으로 변경될 수 있다.
도 10의 (b)와 같은 주시영역의 확장은, 예를 들어, 수신된 주행 정보로 차량의 조향각이 일정범위 이상으로 변경되는 경우, 좌회전(우회전)이나 U턴과 같이 주행방향을 크게 변경하는 경우, 차선 변경을 시도하는 경우와 같이, 운전자가 차량의 전방과 측방(왼쪽 또는 오른쪽)을 번갈아가면서 주시하는 상황에서 수행될 수 있다. 이때, 차량의 조향각이 다시 일정범위 미만으로 감소하거나, 주행방향의 변경, 또는 차선변경이 완료되면, 확장된 주시영역이 도 10의 (a)와 같이 원래 크기의 주시영역으로 복원될 것이다.
도 11은 차량의 주행 정보에 근거하여 주시영역의 개수가 변경(예, 개수 증가)된 한 예시이다. 예를 들어, 도 11의 (a)에 도시된, 초기 주시영역(1110)은 차량의 주행 정보에 따라 도 11의 (b)에 도시된 바와 같이, 초기 주시영역에 매치되는 제1주시영역(1120a)과 보조석에 대응되는 전방 윈드쉴의 중간영역에 매치되는 제2주시영역(1120b)으로 개수가 증가될 수 있다.
도 11의 (b)와 같은 주시영역의 개수 변경은, 운전자가 차량의 전방과 측방(왼쪽 또는 오른쪽)을 모두 주시해야하는 상황에서 수행될 수 있다. 이때, 운전자가 차량의 전방과 측방을 모두 주시해야하는 상황이 종료되면, 개수가 증가된 주시영역은 도 11의 (a)와 같이 초기 주시영역(1110)으로 복원될 수 있다.
한편, 도 12는 차량의 주행동안 모니터링되는 운전자의 시선이 향할 수 있는 다양한 영역을 도시한 것이다. 이들 중 일부는 전술한 주행 정보에 근거하여, 모니터링될 주시영역으로 추가될 수 있고, 그러한 경우 시선 분산 민감도가 다르게 설정될 수 있다.
도 12에 도시된 바와 같이, 가능한 주시영역으로, 초기 주시영역(1210) 외에, 차량의 좌측 사이드 미러 영역(1201)과 우측 사이드 미러 영역(1205), 차량 계기판이 디스플레이되는 클러스터 영역(1202), 차량의 백미러 영역(1203), 및 차량의 AVNT(Audio Video Navigation Telematics) 시스템 영역(1204)을 포함할 수 있다. 다만, 도 12에 도시된 가능한 주시영역은 예시로서, 이보다 많거나 또는 적은 경우를 포함할 수 있다.
운전자 모니터링 장치(800)는, 주행 정보에 근거하여, 가능한 주시영역(1210, 1201, 1202, 1203, 1204, 1205)을 대상으로 모니터링될 주시영역을 변경할 수 있다. 또, 운전자 모니터링 장치(800)는, 가능한 주시영역(1210, 1201, 1202, 1203, 1204, 1205) 중 결정된 주시영역에 대한 운전자의 시선 분산의 민감도를 조절할 수 있다. 이때, 결정된 주시영역이 복수인 경우, 각각의 주시영역에 대하여 시선 분산의 민감도를 다르게 적용할 수 있다.
운전자 모니터링 장치(800)는 변경된 주시영역 및/또는 시선 분산의 민감도를 기준으로 운전자의 상태를 파악하여, 주의 운전이 필요한지 여부를 결정할 수 있고, 그러한 경우 차량내 하나 이상의 출력수단에 대응되는 알림신호(예, DMS 경고 알림을 위한 제어신호)을 전달할 수 있다.
운전자 모니터링 장치(800)는 주시영역 및/또는 시선 분산의 민감도 변경의 원인이 해제된 것을 인지하고, 상기 주시영역 및/또는 시선 분산의 민감도의 값을 원래대로 복원할 수 있다. 그에 따라, 초기 주시영역(1210) 및 초기 주시영역(1210)에 초기의 시선 분산도 값이, 운전자의 상태를 결정하기 위한 판단기준이 된다.
한편, 본 명세서에서, 시선 분산 민감도를 상향(증가)한다는 것은, 운전 부주의 판단시, 운전자가 결정된 주시영역을 주시하지 않는 허용임계시간을 더 짧게 설정하거나 또는 눈을 감고 일정시간동안의 허용되는 임계누적시간을 더 짧게 설정하는 것을 의미한다.
예를 들어, 운전자가 전방을 주시하지 않는 것으로 모니터링되는 허용임계시간의 초기값이 3초였다면(유로 NCAP 기준), 시선 분산 민감도를 상향(증가)하는 것은 3초 미만(예, 2초, 2.5초)의 값으로 조절되는 것일 수 있다. 또는, 예를 들어, 운전자가 전방을 주시하지 않는 것으로 모니터링되는 허용 임계누적시간의 초기값이 30초내에 10초 였다면(유로 NCAP 기준), 시선 분산 민감도를 상향(증가)하는 것은 30초내에 10초 미만값(예, 9초, 9.5초)의 값으로 조절되는 것일 수 있다.
또한, 본 명세서에서, 시선 분산 민감도를 하향(감가)한다는 것은, 운전 부주의 판단시, 운전자가 결정된 주시영역을 주시하지 않는 허용임계시간을 더 길게 설정하거나 또는 눈을 감고 일정시간동안의 허용되는 임계누적시간을 더 길게 설정하는 것을 의미한다.
예를 들어, 운전자가 전방을 주시하지 않는 것으로 모니터링되는 허용임계시간의 초기값이 3초였다면(유로 NCAP 기준), 시선 분산 민감도를 하향(감소)하는 것은 3초 초과(예, 3.5초) 값으로 조절되는 것일 수 있다. 또는, 예를 들어, 운전자가 전방을 주시하지 않는 것으로 모니터링되는 허용 임계누적시간의 초기값이 30초내에 10초 였다면(유로 NCAP 기준), 시선 분산 민감도를 하향(감소)하는 것은 30초내에 10초 초과 값(예, 10.5초, 11초)의 값으로 조절되는 것일 수 있다.
이하에서는, 차량의 다양한 주행 정보 및 상황에 따라, 주시영역과 시선 분산의 민감도를 적응적으로 가변시키는 예시들을 구체적으로 설명하기로 한다.
도 13은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량 주변의 소음 정보에 근거하여 주시영역을 변경하는 예시이다.
운전자 모니터링 장치(800)는 차량의 내부 또는 외부에 장착된 하나 이상의 마이크로폰 또는 지향성 마이크로폰을 이용하여 수집되는 차량 주변의 소음 정보를 수신할 수 있다. 상기 지향성 마이크로폰(directional microphone)은 특정 방향에서 들려오는 좁은 각도의 소리만 선택적으로 수집할 수 있도록 구현된 마이크로폰을 의미한다.
운전자 모니터링 장치(800)는 수집된 차량 주변의 소음에 근거하여, 주시영역의 확장여부를 결정하고, 그 결정에 근거하여 운전자의 시선 분산의 정도에 대응되는 운전자의 상태를 감시할 수 있다.
구체적으로, 운전자 모니터링 장치(800)는 수집된 차량 주변의 소음이 일정범위(예, 90dB~100dB)를 초과하는 경우, 소음이 발생한 방향에 대응되도록 주시영역을 확장할 수 있다. 이는, 운전자가 소음이 발생한 원인을 확인하기 위해 소음이 발생한 방향을 주시하는 시간이 증가할 것으로 예측되기 때문이다.
예를 들어, 운전자 모니터링 장치(800)는 차량의 후면에서 발생된 큰 소음(경적소리, 앰블런스, 경찰차의 사이렌 소리)에 응답하여, 소음의 타입을 분류하고, 이를 기초로 백미러 영역을 주시영역으로 확장하여 운전자의 상태를 모니터링할 수 있다. 이때, 전술한 큰 소음이 차량의 여러 방면, 예를 들어 측면(예, 좌측/우측)과 후면에서 동시에 발생했다면, 분류된 소음의 타입을 기준으로 선택된 하나의 영역, 예를 들어 앰블런스 소리가 들리는 좌측면에 대응되는 사이드 미러 영역만 주시영역으로 확장될 수 있다.
도 13을 참조하면, 운전자가 전방의 초기 주시영역(1310)는 동안 차량의 후면에서 소음이 발생함에 따라, 백미러 영역(1320)이 확장된 주시영역으로 포함된 것을 확인할 수 있다. 다만, 이는 운전자 모니터링 장치(800)의 프로세서(820)에 의한 DMS 제어 알고리즘을 통해 수행되는 것으로서, 주행영역의 확장 여부를 운전자가 인지할 필요 없으므로, 외부에 표시되지 않는다. 실시 예에 따라서는, 주시영역의 확대 또는 복원시, 알림점등의 방식을 통해 외부에 표시할 수도 있을 것이다.
이와 같이, 차량의 주행 정보에 근거하여 주시영역이 하나 이상 확장되는 경우, 운전자 모니터링 장치(800)의 프로세서(820)는, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 일정범위 이상 증가시키고, 증가된 시선 분산의 민감도로 상기 운전자의 상태를 감시할 수 있다. 이는, 운전자가 소음이 발생한 방향에 매치되는 확장된 주시영역을 주시하도록 하기 위함이다.
운전자 모니터링 장치(800)의 프로세서(820)는 확장된 주시영역(1320)에 대한 운전자의 시선 분산에 대해 조절된 민감도 값을 적용하여, 운전자의 상태를 모니터링하도록 동작한다. 그에 따라, 운전자가 확장된 주시영역을 변경된 민감도 값의 판단기준에 부합하는만큼 주시하지 않으면, DMS 알림을 출력하도록 동작할 수 있다. 다만, 이와 같이 확장된 주시영역에 대한 운전자의 시선 분산에 따른 DMS 알림은, 보다 낮은 레벨의 알림 형태(예, 낮은 볼륨의 경고음, 알림점등 등)일 수 있다.
운전자 모니터링 장치(800)의 프로세서(820)는 초기 주시영역(1310)에 대해서는 운전자의 시선 분산에 대해 조절된 민감도 값을 이전보다 감소시켜서, 운전자의 상태를 모니터링하도록 동작한다. 이는, 운전자가 차량의 후면에서 발생하는 소음의 원인을 파악하기 위하여 확장된 주시영역(1320)을 주시하는 시간만큼 초기 주시영역(1310)을 주시하지 못하기 때문이다.
한편, 위에서는 확장된 주시영역(1320)로서, 백미러 영역이 포함되는 경우를 위주로 설명하였으나, 차량 주변의 소음이 발생하는 방향에 따라 좌측 사이드 미러 영역(1201) 및/또는 우측 사이드 미러 영역(1205)이 확장된 주시영역으로 포함될 수 있을 것이다.
또한, 주시영역이 확장된 원인이 되는 상황이 해제된 경우, 예를 들어 앰블런스가 차량의 현재 위치로부터 멀어진 경우, 모니터링되는 주시영역으로서, 확장된 주시영역인 백미러 영역(1320)은 배제되고 초기 주시영역(1310)만 남도록 복원될 것이다.
도 14는 운전자가 주행중에 차량용 인포테인먼트 시스템을 주시하는 경우, 컨텐츠 타입에 따라 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
도 14를 참조하면, 운전자 모니터링 장치(800)의 프로세서(820)에 의해, 차량이 주행하는 동안, 운전자의 시선 분산을 모니터링하기 위한 판단기준이 되는 주시영역을 인식한다(1401).
계속해서, 프로세서(820)는, 수신된 차량의 주행 정보 또는 차량의 인포테인먼트 시스템(AVNT, Audio Video Navigation Telematics)과 통신하여, 차량의 인포테인먼트 시스템(AVNT)(이하, 'AVNT'라 함)이 동작중임을 인지할 수 있다.
AVNT는, 기존의 차량용 인포테인먼트인 AVN(Audio Video Navigation) 시스템에 통신 서비스인 텔레매틱스(Telematics)를 추가한 것으로, 실시간 자동 업데이트 및 컨텐츠 활용 기능을 추가로 제공한다.
프로세서(820)는 운전자의 시선이 머무르는 주시영역으로 AVNT 영역이 포함되는지 여부를 판단할 수 있다(1402). 구체적으로, 프로세서(820)는 DSM 카메라를 통해 인식된 운전자의 얼굴 및 시선방향에 근거하여, 운전자의 시선이 주행 전방의 주시영역 내인지 또는 AVNT 영역(이하, 'AVNT 영역') 내인지를 결정할 수 있다.
예를 들어, 차량의 주행중에 AVNT가 동작중이고 운전자의 시선이 AVNT 영역 내인 경우, 주시영역으로 포함하여 운전자의 시선 분산을 모니터링한다. 반면, 예를 들어, 차량의 주행중에 AVNT가 동작중이나 운전자의 시선이 전방을 계속 주시하거나 또는 AVNT가 꺼진 상태이면, AVNT 영역을 주시영역에 포함하지 않고 초기 주시영역만으로 운전자의 시선 분산을 모니터링한다.
AVNT 영역이 모니터링될 주시영역에 포함되면, 프로세서(820)는 차량의 주행 정보로서 AVNT 로부터 출력되는 컨텐츠를 분석하여 컨텐츠 타입을 확인할 수 있다(1403). 이는, 컨텐츠 타입별로 AVNT 영역에 대한 운전자의 시선 분산의 민감도를 조절하기 위함이다.
프로세서(820)는, AVNT에 출력되는 컨텐츠가 주행에 도움을 주는 컨텐츠로 분류되는지 여부에 따라 운전자의 시선 분산의 민감도의 감소 여부를 결정할 수 있다.
컨텐츠 타입이 운전에 방해되는 컨텐츠이면, 프로세서(820)는 AVNT 영역에 대한 운전자의 시선 분산 민감도의 값 또는 레벨을 상향 조정한다(1404). 이는, 안전을 위해, 운전자가 운전에 방해가 되는 AVNT 영역을 주시하지 못하도록 하기 위함이다.
여기에서, 운전에 방해되는 컨텐츠 타입이란, TV, 비디오, 영상, 이미지, 음원 플레이, 영화 등과 같은 엔터테이먼트 요소를 포함하는 것으로 분류된 컨텐츠들을 의미한다.
한편, 컨텐츠 타입이 운전에 도움되는 컨텐츠이면, 프로세서(820)는 AVNT 영역에 대한 운전자의 시선 분산 민감도의 값 또는 레벨을 하향 조정한다(1404). 그에 따라, 이때에는 운전자가 AVNT 영역을 주시하더라도 시선 분산으로 오인하지 않게 된다. 이는, 운전자가 주행시 필요하여 AVNT 영역을 주시하는 경우에까지 DMS 알림이 발생하는 것을 방지하기 위함이다.
여기에서, 운전에 도움되는 컨텐츠 타입이란, 내비게이션 기능, 어라운드 뷰 영상 디스플레이 기능 등과 같은 주행 관련 요소를 포함하는 것으로 분류된 컨텐츠들을 의미한다.
한편, AVNT가 동작중이나 운전자의 시선이 전방을 일정시간 이상 지속적으로 주시하거나 또는 AVNT가 꺼진 상태이면, 초기 주시영역 및 AVNT 영역에 대한 시선 분산 민감도의 값 또는 레벨이 원래대로 복원될 것이다.
도 15는 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 BSD(Blind Spot Detection) 알림 표시가 온(on) 상태인 경우 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
운전자 모니터링 장치(800)는 차량(100)의 주행 정보로서, BSD(Blind Spot Detection) 알림 표시의 온(on) 상태를 인지할 수 있다.
BSD(Blind Spot Detection)는, 차량의 후측방 사각지대 경보장치로서, 차량의 주행차선을 기준으로 우측에 접근하는 오브젝트가 검출되는 경우 우측 사이드 미러 영역에 BSD 알림 표시를 점등하고, 좌측에 접근하는 오브젝트가 검출되는 경우 좌측 사이드 미러 영역에 BSD 알림 표시를 점등한다.
운전자 모니터링 장치(800)는 BSD 알림 표시가 온(on) 상태임이 인지되면, 알림 표시가 온(on) 상태인 BSD 영역에 대한 운전자의 시선 분산의 민감도를 감소시킬 수 있다.
구체적으로, 예를 들어 도 15에서 차량(100)이 주행하는 동안, 차량(100)의 주행차선을 기준으로 사각지대인 좌측 영역(1501)과 우측 영역(1502)에 오브젝트(예, 다른 차량, 이륜차, 전동 킥보드 등)가 존재하는지 여부를 감시하고, 좌측 영역(1501)에서 감지된 오브젝트(OB1, OB2) 중 하나의 오브젝트(OB2)가 차량에 일정거리 내로 접근하여, 좌측 사이드 미러 영역(1503)의 BSD 알림 표시가 온(on) 상태가 되면, BSD 알림 표시가 온(on)된 좌측 사이드 미러 영역(1503)을 주시영역에 포함하고, 운전자의 시선 분산의 민감도를 이전보다 감소시켜서, 부주의 등의 상태를 판단할 수 있다.
이와 같이 BSD 경고등이 온(on) 상태인 동안 운전자의 시선 분산의 민감도를 감소시키는 것은, 운전자가 차량에 근접한 오브젝트를 주의하기 위해 사이드 미러 영역을 주시하면서 주행하기 때문이다. 따라서, 이러한 경우에까지 DMS 알림이 발생하지 않도록, 운전자 모니터링 장치(800)는 스스로 판단기준을 적응적으로 완화하여 운전자의 상태를 감시할 수 있다.
비록 도시되지 않았으나, 오브젝트가 차량의 우측에 접근하여 우측 사이드 미러 영역에 BSD 알림 표시가 온(on)된 경우라면, BSD 알림 표시가 온(on)된 우측 사이드 미러 영역을 주시영역에 포함하고, 운전자의 시선 분산의 민감도를 이전보다 감소시켜서, 부주의 등의 상태를 판단할 수 있다.
한편, 차량의 좌측으로부터 접근하는 오브젝트(OB2)가 차량으로부터 멀어짐에 따라, 좌측 사이드 미러 영역(1503)에 BSD 경고등이 오프(off)되면, 운전자 모니터링 장치(800)는 좌측 사이드 미러 영역(1503)에 대한 운전자의 시선 분산의 민감도를 다시 원래대로 복원하여, 기본값으로 운전자의 상태를 모니터링한다.
도 16은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 주행 누적시간에 근거하여 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
차량이 시동이 온(on)되면, 차량의 주행 누적시간이 기록되며, 예를 들어 GNSS 수신 모듈을 통해 운전자 모니터링 장치(800)에 수신될 수 있다. 경우에 따라서는 차량의 주행 누적시간 대신 주행 누적거리가 NSS 수신 모듈을 통해 운전자 모니터링 장치(800)에 수신될 수도 있다.
운전자 모니터링 장치(800)는 차량의 주행 개시 후 또는 차량이 일정속도(예, 10km/h) 이상으로 주행 후, 수신된 주행 누적시간(또는, 주행 누적거리)가 정해진 범위(예, 1시간 이상)에 도달한 것이 인지되면, 주시영역에 대한 운전자의 시선 분산의 민감도를 증가시킬 수 있다.
이는, 장시간 운전하는 경우, 전방 주시의무를 더욱 강화함으로써, 안전 주행 효과를 보다 증대시키기 위함이다.
도 16을 참조하면, 먼저 운전자 모니터링 장치(800)는 차량의 운전 시간 측정 결과를 주행 정보로 수신할 수 있다(1601).
운전자 모니터링 장치(800)는 수신된 주행정보에 근거하여, 차량이 일정속도 이상으로 주행하는 동안 누적 주행시간(또는, 주행거리)가 정해진 범위를 초과하는지를 판단한다(1602). 이때, 상기 정해진 범위는 미리 정해진 값(예, 1시간 이상)을 기본값으로 하고, 교통량, 도로상황, 주행로의 난이도, 도착지까지 남은 주행시간 등의 상황정보에 기초하여 소정범위 내에서 가변(증가/감소)될 수 있다.
누적 주행시간(또는, 주행거리)이 상기 정해진 범위를 초과하면, 운전자 모니터링 장치(800)는 부주의 운전의 판단기준이 되는 시선 분산 민감도를 상향 조정할 수 있다(1604). 이는, 운전자가 장시간 차량을 운전하는 경우, 운전 피로도 증가로 인해 사고가 발생하는 것을 방지하기 위해, 운전자의 전방 주시 의무를 더욱 강화하는 것이다.
실시 예에서는, 누적 주행시간(또는, 주행거리)이 상기 정해진 범위를 초과한 후, 일정 주행시간(또는, 주행거리)(예, 30분)에 도달할때마다 시선 분산 민감도를 비례적으로 상향 조정할 수 있다. 이때, 시선 분산 민감도의 최대 상향값이 미리 설정될 수 있다.
또 다른 실시 예에서는, 누적 주행시간(또는, 주행거리)이 상기 정해진 범위를 초과한 후, 일정 주행시간(또는, 주행거리)에 도달할때마다 주시영역의 크기를 감소시킴으로써, 실질적으로 운전자가 전방을 더욱 주시하게끔 할 수 있다.
이와 같이 시선 분산 민감도가 상향 조정된 후라도, 또 다른 주행 정보(예, U턴, 차선변경, 차량에 접근하는 오브젝트 감지에 따른 BSD 의 알림표시 온(on))의 수신에 근거하여 주시영역이 가변되거나 시선 분산 민감도가 하향 조정될 수 있다.
이와 관련하여, 복수의 주행 정보가 수신된 경우, 운전자 모니터링 장치(800)는 차량의 안전 주행과 관련성이 높은 주행 정보나 또는 주행에 필요한 시선 이동인 경우높은 우선순위를 부여하여, 주시영역 및 시선 분산 민감도 값을 가변하도록 동작할 수 있다.
예를 들어, 누적 주행시간(또는, 주행거리)이 상기 정해진 범위를 초과한 후 일정 주행시간(또는, 주행거리)(예, 30분)에 도달할때마다, 우선순위를 증진시킬 수 있다. 다만, 예를 들어 차선변경, U턴을 위해 시선 이동이 필요한 경우와 같이 주행에 필요하고 일시적인 이벤트인 경우, 시선 분산 민감도 값을 일시적으로 하향할 수 있도록, 차선변경, U턴 등의 주행 정보에 보다 높은 우선순위를 부여할 수 있을 것이다.
한편, 누적 주행시간(또는, 주행거리)이 상기 정해진 범위 이내인 동안에는, 운전자 모니터링 장치(800)가 시선 분산 민감도를 기본 설정값으로 하여, 부주의 등의 상태를 모니터링한다. 다만, 이때에도 우선순위가 높은 다른 주행 정보(예, U턴, 차선변경, 차량에 접근하는 오브젝트 감지에 따른 BSD 의 알림표시 온(on))의 수신에 따라 주시영역 및/또는 시선 분산 민감도 값이 조정될 수 있을 것이다.
도 17은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 주행속도에 근거하여 운전자의 시선 분산 민감도를 조절하는 예시 흐름도이다.
운전자 모니터링 장치(800)는 차량이 빠른 속도로 주행시, 운전자가 보다 전방을 주시하도록, 시선 분산 민감도의 값을 증가시켜서, 부주의 등의 상태를 감시할 수 있다. 이는, 차량의 고속으로 주행하는 경우 잠깐의 시선 분산이라도 큰 사고로 이어질 수 있으므로, 시선 분산의 판단기준을 엄격하게 적용하는 것이다.
차량의 주행속도는 차량의 클러스터 영역(1202)의 계기판 표시될 수 있고, 예를 들어 GNSS 수신 모듈을 통해, 차량의 주행속도에 관한 정보가 운전자 모니터링 장치(800)에 수신될 수 있다(1701).
운전자 모니터링 장치(800)는 차량이 주행하는 동안 일정 주행속도 이상으로 주행하는지 여부를 판단할 수 있다(1702).
이때, 상기 일정 주행속도는 예를 들어 100km/h일 수 있으나, 이에 한정되지는 않는다. 실시 예에서, 상기 일정 주행속도는 주행도로의 제한속도에 근거하여 가변될 수 있다. 예를 들어, 속도제한표시구역에서는 상기 일정 주행속도가 제한된 속도값(예, 어린이 보호구역의 경우 20km/h)으로 설정되며, 고속도로에서는 상기 일정 주행속도가 허용되는 최대주행속도 이내의 값(예, 100km/h 이상 110km/h 이내)으로 설정될 수 있다. 이를 위해, 운전자 모니터링 장치(800)는 해당 주행 도로상의 속도제한값을 포함하여 주행 정보를 수신할 수 있다.
수신된 차량의 주행속도가 일정 주행속도(예, 100km/h)에 도달하거나 또는 이를 초과하는 것이 인지되면, 운전자 모니터링 장치(800)는 주시영역에 대한 운전자의 시선 분산의 민감도를 상향 조정한다(1704).
실시 예에 따라, 차량의 주행속도가 일정 주행속도를 초과한 정도에 따라 시선 분산의 민감도의 상향 정도가 증가할 수 있다. 또한, 일정 주행속도를 초과한 정도에 따른 시선 분산의 민감도의 상향 정도는, 주행도로의 제한속도에 관한 정보에 근거하여 가감될 수 있다.
한편, 수신된 차량의 주행속도가 일정 주행속도(예, 100km/h) 이내이면, 운전자 모니터링 장치(800)는 기본 설정값으로 시선 분산을 감시하여 운전자의 상태를 모니터링한다(1703).
또한, 비록 도시되지는 않았지만, 시선 분산 민감도가 상향 조정된 후 차량의 주행속도가 다시 일정 주행속도 이내로 감소한 것이 인지되면, 운전자 모니터링 장치(800)는 시선 분산 민감도를 다시 기본 설정값으로 복구하여 운전자의 상태를 모니터링한다.
한편, 차량을 주행동안 만나는 도로의 형상에 따라, 또는 차선 변경, 회전, U턴 등과 같이 주행시 필요에 따라 차량의 주행방향이 변경되어, 전방 주시가 변경된 주행방향에 대한 주시로 자연스럽게 이동할 수 있다. 이러한 경우, 동일한 판단기준으로 운전자의 시선을 모니터링할 경우, 운전자의 시선 분산으로 오해할 수 있다.
이에, 도 18은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 조향 방향에 따른 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
도 19는 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량의 U턴시 운전자의 시선 분산 민감도를 조절하는 예시 도면이다.
또한, 도 20은 본 발명의 실시예와 관련된 운전자 모니터링 장치에서, 차량이 경사로를 주행하는 동안 운전자의 주행 주시영역의 범위를 조절하는 도면이다.
먼저, 도 18을 참조하면, 운전자 모니터링 장치(800)는 차량의 주행 동안, 차량으로부터 차량의 스티어링 휠의 각도 정보를 주행 정보로 수신할 수 있다.
도 18과 같은 커브(curb) 형상의 도로를 주행하는 경우, 운전자 모니터링 장치(800)는 차량(100)의 스트리어링 휠의 각도가 일정범위 이상인 것을 인지할 수 있다. 이때, 일정범위 이상의 스트리어링 휠의 각도의 값은, 차량의 차선변경, 커브 주행, U턴의 수행시 변화하는 통상의 휠의 각도값을 의미할 수 있다.
이와 같이 차량의 스트리어링 휠의 각도가 일정범위 이상이면, 도 18에 도시된 바와 같이, 차량 주변의 오브젝트(OB1, OB2, OB3)의 접근을 감시하기 위한 운전자의 시선 이동을 고려하여, 주시영역이 추가된다. 예를 들어, 전방의 확장된 주시영역, 후방, 및 좌우측에 대응되는 사이드 미러영역이 주시영역들(1801, 1802, 1803, 1804)로 인지될 수 있다.
이와 같이, 전방의 주시영역이 확장되는 이유는 운전자가 차량의 조향방향을 주시하면서 조향을 진행하기 때문이며, 후방과 측면의 주시영역이 추가되는 이유는 조향을 진행하는 동안 방어운전을 위해 운전자가 백미러와 사이드 미러를 짧게 반복적으로 주시하기 때문이다.
또한, 추가되는 주시영역은 변경되는 주행방향에 대응하여 결정된다. 예를 들어, 차량이 우회전하는 경우에는 우측 사이드 미러 영역이 주시영역으로 추가될 수 있다. 또, 예를 들어, 차량이 좌회전하는 경우에는 좌측 사이드 미러 영역이 주시영역으로 추가될 수 있다.
운전자 모니터링 장치(800)는 이와 같이 차량의 주행방향에 대응하여 주시영역을 확장할 수 있고, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시켜서 운전자의 상태를 감시한다.
실시 예에서, 차량의 주행방향의 변경 관련된 주시영역에 대한 시선 분산의 민감도 값은 감소되지만, 주행방향의 변경과 관련없는 영역에 대한 주시는 민감도 값을 증가시킬 수 있다.
구체적으로, 운전자 모니터링 장치(800)는 차량의 스트리어링 휠의 각도가 일정범위 이상으로 인지되는 동안, 차량의 인포테인먼트 시스템, 즉 AVNT 영역과 클러스터 영역에 대한 운전자의 시선 분산의 민감도는 반대로 증가시킬 수 있다. 이는, 확장 또는 추가된 주시영역에 대해서만 운전자가 시선 이동하도록 하는 것이 안전 운전에 기여하기 때문이다.
한편, 차량이 직진 도로에 진입함에 따라, 운전자 모니터링 장치(800)에 수시된 스트리어링 휠의 각도 정보가 일정범위 이내가 되면, 확장된 주시영역과 하향된 시선 분산 민감도가 원래의 값으로 복원된다.
이는, 차량의 주행방향이 변경되는 동안에는 일시적으로 시선 분산 민감도를 낮추었다가, 주행방향 변경이 완료되면 다시 초기 설정된 판단기준으로 부주의 등의 운전자 상태를 파악하기 위함이다.
다음, 도 19를 참조하여, 차량의 U턴에 따라 운전자의 시선 분산 민감도를 조정하는 것을 보다 구체적으로 설명하겠다.
U턴과 같이 조향방향의 변경이 매우 크게 발생하는 경우에는, 차량의 진행방향에 대한 주시와 함께 마주보는 반대방향 차선에 대한 오브젝트에 대한 감시가 동시에 필요하다. 이는, 특히 도로의 형상이나 상황에 따라 운전자의 시선 이동 횟수가 증가할 수 있음을 고려해야할 것이다.
운전자 모니터링 장치(800)는 차량(100)이 U턴 지점으로부터 일정거리 내에 위치하고, 턴 신호(예, 좌회전 신호점등 또는 보행자신호 점등)와 스트리어링 휠의 각도/진행방향에 관한 정보(이하, 'U턴 관련 정보')를 주행 정보로서 입력받을 수 있다 .
운전자 모니터링 장치(800)는 수신된 U턴 관련 정보에 근거하여, 차량(100)의 주행각도의 변화에 따른 주행 주시영역을 확장하고, 이에 대한 시선 분산 민감도를 조절하여, 운전자의 상태를 감시할 수 있다.
예를 들어, 도 19에서 차량(100)이 U턴 지점에 진입하였으나 아직 직진방향이면 운전자 모니터링 장치(800)는 초기 주시영역(①)을 기준으로 시선 분산을 파악한다. 다음, U턴을 위해 차량이 왼쪽으로 회전하면서 주행각도가 변경되는 경우, 운전자가 마주오는 반대방향 차선의 오브젝트를 확인할 수 있도록, 운전자 모니터링 장치(800)는 확장 또는 추가 주시영역(②-1, ②-2)을 기준으로 시선 분산을 감시한다. 계속해서, 차량(100)이 더욱 회전하여 반대방향 차선에 접근함에 따라 조향방향의 변경이 최대가 되는 경우, 운전자 모니터링 장치(800)는 이전보다 확장 또는 추가된 주시영역(③-1, ③-2)을 기준으로 시선 분산을 감시한다. 이후, 차량이 반대방향의 차선에 완전히 진입하여, 주행방향이 차선과 일치되면(U턴 종료), 운전자 모니터링 장치(800)는 변경된 주시영역 및/또는 시선 분산의 민감도를 원래의 값으로 복원한 다음, 운전자의 시선을 모니터링한다.
실시 예에 따라, 실질적으로 U턴이 수행되는 구간, 즉 주시영역이 가변 적용되는 구간에서, 차량(100)의 클러스터 영역 및 AVNT 영역에 대한 시선 분산 민감도는 반대로 상향 조정될 수 있다. 이는, U턴을 수행하는 동안 주행과 관련 없는 차량기기에 시선이 분산되지 않도록 하기 위함이다. 이러한 경우에도 U턴이 종료되면, 운전자의 시선 분산 민감도는 원래의 값으로 복원된다.
계속해서, 도 20을 참조하여, 차량이 경사로를 주행하는 동안 운전자의 주행 주시영역의 범위를 조절하는 것을 구체적으로 설명하겠다.
차량(100)이 경사도가 심한 구간에서 주행하는 경우, 운전자의 시선은 경사방향에 대응되는 방향을 바라보게 된다. 예를 들어, 위로 경사가 심한 구간에서는 운전자가 평소 주시영역보다 위로 시선을 이동하여 주행하게 되고, 아래로 경사가 심한 구간에서는 운전자가 평소 주시영역보다 아래로 시선을 이동하여 주행하게 된다.
이에, 운전자 모니터링 장치(800)는 차량(100)에 탑재된 기기/모듈, 예를 들어 INS(Inertial Navigation System) 모듈을 통해 입력된 주행 경사각 정보를 수신하고, 수신된 주행 경사각에 근거하여 주시영역을 변경(예, 확장)하거나 운전자의 시선 분산 민감도를 조정할 수 있다.
도 20의 (a)는 주행 경사각이 완만하거나 또는 일정범위 이내인 경우, 즉 기본 상태에서의 주행 주시영역(2010)과 운전자의 시선이 향할 수 있는 차량내 영역들(1201, 1202, 1203, 1204, 1205)을 도시한 것이다.
한편, 차량의 주행 경사각이 위를 향하는 경우, 즉 주행로가 오르막길인 경우, 운전자 모니터링 장치(800)는 주행 주시영역(2010)의 위쪽을 더욱 확장하도록 주시영역을 변경할 수 있다. 이는, 차량이 오르막길을 지나는 동안 운전자의 시선이 위로 향함에 따라 주행 주시영역(2010)을 비의도적으로 수초간 벗어나서, DMS 경고 알림이 오작동하는 것을 방지한다.
차량의 주행 경사각이 아래를 향하는 경우, 즉 주행로가 내르막길인 경우, 운전자 모니터링 장치(800)는 도 20의 (b)에 도시된 바와 같이, 주행 주시영역(2010)의 아래쪽을 더욱 확장하도록 변경된 주시영역(2010')을 운전자 모니터링 기준으로 할 수 있다. 이는, 차량이 내르막길을 지나는 동안 운전자의 시선이 아래로 향함에 따라 주행 주시영역(2010)을 비의도적으로 수초간 벗어나거나 클러스터 영역을 향하는 것으로 오인하여, DMS 경고 알림이 오작동하는 것을 방지한다.
이때, 확장된 주시영역(2010')의 범위는 백미러 영역(2020)까지 확장될 수 있다.
또한, 확장된 주시영역(2010')으로 인해 클러스터 영역(2030a)과 AVNT 영역(2030b)의 주시 판단범위를 가변시킬 수 있다. 즉, 주시영역의 확장 방향은 차량의 인포테인먼트 시스템 및 클러스터 영역을 향하도록 조절될 수 있다. 그에 따라, 일시적으로 클러스터 영역(2030a)과 AVNT 영역(2030b)의 주시영역의 크기가 감소될 수 있다. 이는, 차량이 경사로를 주행하는 동안, 운전자의 시선이 상하 큰 폭으로 변화할 수 있음을 전제한 것이다.
실시 예에 따라, 운전자 모니터링 장치(800)는 차량의 주행 경사각이 일정범위를 벗어난 것이 인지된 것에 응답하여 차량의 주행 경사각이 일정범위를 벗어난 정도에 따라, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시킬 수 있다. 이는, 운전자의 시선이 상하 큰 폭으로 변화할 경우, 주시영역의 확장에도 불구하고 운전자의 시선이 확장된 주시영역을 벗어날 수 있기 때문이다.
이후, 차량이 경사로를 지나 다시 완만한 주행로나 평지에 진입하면, 가변된 주시영역을 원래대로 복원하여, 운전자의 시선을 모니터링한다.
이상에서 살펴본 바와 같이 본 발명의 일부 실시 예에 의하면, 차량을 주행하는 동안 실시간으로 변화하는 다양한 주행 정보를 수집하여, 운전자의 상태를 판단하기 위한 주시영역이나 시선 분산 민감도를 적응적으로 조절함으로써, 운전자가 주행시 필요하여 시선 이동한 것인지 또는 부주의로 인한 시선 분산인지를 구별할 수 있다. 그에 따라, 보다 정확하게 운전자의 상태를 파악하여 DMS 알림을 제공해줄 수 있다. 또한, 운전자의 상태 파악을 위한 판단기준이 되는 주행 주시영역과 시선 분산 민감도를 상황에 맞게 변경 적용한 후, 그 원인이된 주행 상황이 종료되거나 다른 상황이 발생하면 원래대로 복원함으로써, 안전 운전 기능을 확실하게 제공해줄 수 있다. 또한, 운전자가 주행하면서 자연스럽게 시선을 이동하는 경우에, 이를 시선 분산 또는 운전 부주의로 오인하지 않음으로써, 오알람이나 잦은 알람 발생이 미연에 방지된다. 그에 따라, DMS의 오알람이나 잦은 알람으로 인한 피로감 증가나 운전 방해가 제거된다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (16)

  1. 주행중인 차량의 주행 정보를 수신하는 수신부; 및
    차량 내에 장착되어 주행중인 운전자의 얼굴 및 시선방향을 검출하는 센서;
    상기 센서를 이용하여 주시영역에 대한 운전자의 시선 분산을 모니터링하고, 상기 수신된 주행 정보에 근거하여 상기 주시영역의 변경 여부를 결정하고, 상기 결정에 따라 상기 시선 분산에 대응되는 운전자의 상태를 결정하는 프로세서를 포함하고,
    상기 프로세서는, 상기 수신된 주행 정보에 근거하여 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 조절하는,
    운전자 모니터링 장치.
  2. 제1항에 있어서,
    상기 주시영역의 변경은, 주시영역의 위치, 크기, 개수, 및 운전자의 시선이 고정되는 시간의 변경 중 하나 이상이고,
    상기 프로세서는,
    상기 운전자의 시선 방향이 상기 주시영역 내에 머무르는 시간 또는 빈도수에 근거하여 운전자의 시선 분산의 정도를 판단하는,
    운전자 모니터링 장치.
  3. 제1항에 있어서,
    상기 주행 정보는 차량의 마이크로폰을 통해 수집되는 차량 주변의 소음 정보를 포함하고,
    상기 프로세서는,
    상기 수집된 차량 주변의 소음 정보에 근거하여 상기 주시영역의 확장여부를 결정하고, 상기 결정에 근거하여 운전자의 시선 분산의 정도에 대응되는 운전자의 상태를 감시하는,
    운전자 모니터링 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 결정에 따라 주시영역이 하나 이상 확장되는 경우, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 일정범위 이상 증가시키고, 증가된 시선 분산의 민감도로 상기 운전자의 상태를 감시하는,
    운전자 모니터링 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 주행 정보에 근거하여 운전자의 시선 분산의 민감도가 변경되고, 이 후 민감도 변경의 원인의 해제가 인지된 것에 응답하여, 상기 주시영역 및 상기 시선 분산의 민감도를 원래대로 복원시키는,
    운전자 모니터링 장치.
  6. 제1항에 있어서,
    상기 센서는, 차량의 내부 전방에 설치되어 상기 운전자의 얼굴 및 시선방향을 인식하는 DMS 카메라이고,
    상기 프로세서는,
    상기 결정된 운전자의 상태에 따라 주의 운전이 필요한 것으로 판단된 경우, 하나 이상의 출력수단에 대응되는 알림신호를 전달하는,
    운전자 모니터링 장치.
  7. 제1항에 있어서,
    상기 차량의 주행 정보는 차량의 인포테인먼트 시스템의 동작 상태를 포함하고,
    상기 프로세서는,
    상기 주시영역에 상기 인포테인먼트 시스템의 영역이 포함된 것을 인지하고, 상기 인포테인먼트 시스템의 동작하는 동안, 상기 인포테인먼트 시스템에 출력되는 컨텐츠의 타입을 분석하고, 상기 분석에 근거하여 상기 운전자의 시선 분산의 민감도를 다르게 조절하는,
    운전자 모니터링 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 컨텐츠가 주행에 도움을 주는 컨텐츠로 분류되는지 여부에 따라 상기 운전자의 시선 분산의 민감도의 감소 여부를 결정하는,
    운전자 모니터링 장치.
  9. 제1항에 있어서,
    상기 차량의 주행 정보는 BSD(Blind Spot Detection) 알림 표시의 온(on) 상태를 포함하고,
    상기 프로세서는, 알림 표시가 온(on) 상태인 BSD 영역에 대한 운전자의 시선 분산의 민감도를 감소시키는,
    운전자 모니터링 장치.
  10. 제1항에 있어서,
    상기 주행 정보는 차량의 주행 누적시간 정보를 포함하고,
    상기 프로세서는,
    차량의 주행 개시 후 감지된 주행 누적시간이 정해진 범위에 도달한 경우 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 증가시키는,
    운전자 모니터링 장치.
  11. 제1항에 있어서,
    상기 주행 정보는 차량의 주행 속도 정보를 포함하고,
    상기 프로세서는,
    차량의 주행 속도가 일정범위를 초과하는 경우 상기 주시영역에 대한 운전자의 시선 분산의 민감도를 증가시키고, 상기 민감도가 상기 차량의 주행 속도에 비례하여 증가하도록 조절하는,
    운전자 모니터링 장치.
  12. 제1항에 있어서,
    상기 주행 정보는 차량의 스티어링 휠의 각도 정보를 포함하고,
    상기 프로세서는,
    차량의 스트리어링 휠의 각도가 일정범위 이상인 것으로 인지되면, 차량의 주행방향에 대응하여 상기 주시영역을 확장하고, 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시켜서 운전자의 상태를 감시하는,
    운전자 모니터링 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    차량의 스트리어링 휠의 각도가 일정범위 이상으로 인지되는 동안, 차량의 인포테인먼트 시스템 및 클러스터 영역에 대한 운전자의 시선 분산의 민감도는 증가시키는.
    운전자 모니터링 장치.
  14. 제1항에 있어서,
    상기 주행 정보는 차량의 주행 경사각 정보를 포함하고,
    상기 프로세서는,
    차량의 주행 경사각이 일정범위를 벗어난 것이 인지된 것에 응답하여 상기 주시영역을 확장하고, 차량의 주행 경사각이 일정범위를 벗어난 정도에 따라 상기 확장된 주시영역에 대한 운전자의 시선 분산의 민감도를 감소시키는,
    운전자 모니터링 장치.
  15. 제14항에 있어서,
    상기 주시영역의 확장은 차량의 인포테인먼트 시스템 및 클러스터 영역을 향하도록 조절되는,
    운전자 모니터링 장치.
  16. 주행중인 차량의 주행 정보를 수신하는 단계;
    상기 수신된 주행 정보에 근거하여, 주시영역의 변경 여부를 결정하는 단계;
    상기 수신된 주행 정보에 근거하여, 상기 결정된 주시영역에 대한 운전자의 시선 분산의 민감도를 조절하는 단계;
    상기 운전자의 시선 분산에 대응되는 운전자의 상태에 따라 주의 운전이 필요한지를 판단하고, 상기 판단에 근거하여 알림을 출력하는 단계를 포함하는,
    운전자 모니터링 장치의 동작 방법.
PCT/KR2022/013300 2022-09-06 2022-09-06 차량의 운전자 모니터링 장치 및 그것의 동작방법 WO2024053751A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/013300 WO2024053751A1 (ko) 2022-09-06 2022-09-06 차량의 운전자 모니터링 장치 및 그것의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/013300 WO2024053751A1 (ko) 2022-09-06 2022-09-06 차량의 운전자 모니터링 장치 및 그것의 동작방법

Publications (1)

Publication Number Publication Date
WO2024053751A1 true WO2024053751A1 (ko) 2024-03-14

Family

ID=90191431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013300 WO2024053751A1 (ko) 2022-09-06 2022-09-06 차량의 운전자 모니터링 장치 및 그것의 동작방법

Country Status (1)

Country Link
WO (1) WO2024053751A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2010067164A (ja) * 2008-09-12 2010-03-25 Denso Corp 緊急車両認知支援装置
KR20180051109A (ko) * 2016-11-08 2018-05-16 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
KR20190066114A (ko) * 2017-12-05 2019-06-13 현대자동차주식회사 차량 및 그 제어방법
KR20210052634A (ko) * 2019-10-29 2021-05-11 엘지전자 주식회사 운전자의 부주의를 판단하는 인공 지능 장치 및 그 방법
US20210403018A1 (en) * 2019-07-18 2021-12-30 Lg Electronics Inc. Method for providing rest information based on driver rest pattern and apparatus therefor
KR102433668B1 (ko) * 2021-07-20 2022-08-18 (주)딥인사이트 운전자 모니터링 시스템 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2010067164A (ja) * 2008-09-12 2010-03-25 Denso Corp 緊急車両認知支援装置
KR20180051109A (ko) * 2016-11-08 2018-05-16 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
KR20190066114A (ko) * 2017-12-05 2019-06-13 현대자동차주식회사 차량 및 그 제어방법
US20210403018A1 (en) * 2019-07-18 2021-12-30 Lg Electronics Inc. Method for providing rest information based on driver rest pattern and apparatus therefor
KR20210052634A (ko) * 2019-10-29 2021-05-11 엘지전자 주식회사 운전자의 부주의를 판단하는 인공 지능 장치 및 그 방법
KR102433668B1 (ko) * 2021-07-20 2022-08-18 (주)딥인사이트 운전자 모니터링 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018056538A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2017155219A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2019221390A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018088647A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2017030240A1 (ko) 차량 보조 장치 및 차량
WO2018110762A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020017716A1 (ko) 차량용 로봇 및 상기 로봇의 제어 방법
WO2018110789A1 (en) Vehicle controlling technology
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2018139708A1 (ko) 차량용 전자 디바이스 해킹 테스트 장치
WO2020017677A1 (ko) 영상 출력 장치
WO2018235979A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019013399A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018236012A1 (ko) 입출력 장치
EP3426536A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법
WO2020246627A1 (ko) 영상 출력 장치
WO2020226192A1 (ko) 자율 주행 차량을 위한 보험 안내 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958206

Country of ref document: EP

Kind code of ref document: A1