WO2025100604A1 - 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량 - Google Patents

차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량 Download PDF

Info

Publication number
WO2025100604A1
WO2025100604A1 PCT/KR2023/018057 KR2023018057W WO2025100604A1 WO 2025100604 A1 WO2025100604 A1 WO 2025100604A1 KR 2023018057 W KR2023018057 W KR 2023018057W WO 2025100604 A1 WO2025100604 A1 WO 2025100604A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driving
information
passenger
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2023/018057
Other languages
English (en)
French (fr)
Inventor
심우진
김민규
박영경
노희준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to PCT/KR2023/018057 priority Critical patent/WO2025100604A1/ko
Publication of WO2025100604A1 publication Critical patent/WO2025100604A1/ko
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Definitions

  • the present invention relates to a personal driving control method for a vehicle, and more specifically, to a personal driving control method for a vehicle that takes into account the emotional state of a passenger, a personal driving control system, and a vehicle that provides a personal driving control service.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is an automobile.
  • ADAS Advanced Driver Assistance Systems
  • Autonomous driving of a vehicle refers to a system that allows the vehicle to drive by making its own decisions. This type of autonomous driving can be divided into gradual stages from non-automation to full automation depending on the degree to which the system is involved in driving and the degree to which the driver controls the vehicle.
  • the driver assistance system is used to assist the driver in driving or the vehicle performs fully automated autonomous driving depending on the degree of involvement of the system, the driving may feel unfamiliar because the individual status of the driver or passengers is not taken into account.
  • WO1999FR002571 discloses a method of detecting changes in the shape of the driver’s eyes or eyelids to determine whether the driver is drowsy, and accordingly warning the driver of the surroundings or situation.
  • prior document 1 has a limitation in that it only warns the driver of the driver’s condition and does not intervene in driving control.
  • Prior document 2 discloses a technology for determining a vehicle driving mode through sensor information of the vehicle, and including driving modes such as ride comfort/time arrival priority/fuel efficiency priority as each vehicle driving mode.
  • prior document 2 has limitations in reflecting individual differences between passengers.
  • prior document 2 drives according to a predetermined driving mode in a matching driving situation, so it is difficult to perform personalized driving for a specific driving situation.
  • the present invention aims to solve the above-mentioned problems and other problems.
  • the purpose is to provide a vehicle personal driving control method, a personal driving system, and a vehicle providing a personal driving control service that can minimize the driving discomfort felt by a driver or passenger during autonomous driving of the vehicle.
  • the purpose is to provide a vehicle providing a personal driving control method, a personal driving system, and a personal driving control service, which can adaptively control driving by reflecting the emotional state felt by a driver or passenger during autonomous driving of the vehicle.
  • the purpose is to provide a vehicle providing a personal driving control method, a personal driving system, and a personal driving control service that can generate a personalized driving model by reflecting the emotional state of a driver or passenger of the vehicle.
  • a personal driving control method of a vehicle can adaptively control the driving of the vehicle or change the route by reflecting the emotional state of the driver/passenger with respect to information recognized while driving the vehicle.
  • control results reflecting the emotional state of the driver/passenger regarding the recognized information can be used as selected input data to train the driving model. Accordingly, it is possible to manage the driving model tailored to each driver/passenger.
  • a personal driving control method of a vehicle may include the following steps.
  • the personal driving control method may include a step of recognizing information about objects and driving situations around the vehicle based on sensors of the vehicle and external map information while the vehicle is driving, a step of monitoring a passenger's gaze and emotional state with respect to the recognized information and the driving of the vehicle, and a step of controlling at least one of the driving and path of the vehicle to reflect the emotional state of the passenger based on the monitoring.
  • the personal driving control method may further include a step of learning a vehicle driving model based on a control result reflecting the emotional state of the passenger.
  • the monitoring step may include: a step of collecting data related to the gaze and emotional state of the passenger using at least one of the DMS and the IMS included in the vehicle; and a step of determining, based on the collected data, whether each recognized information and the emotional state of the passenger with respect to the driving of the vehicle are in a state of stress.
  • the monitoring step may include a step of monitoring the emotional state based on data related to the passenger's gaze if the recognized information is related to an object around the vehicle, and a step of monitoring the emotional state based on data related to changes in the passenger's facial temperature and heart rate if the recognized information is related to a different attribute from the object around the vehicle.
  • the monitoring step may include a step of determining that the perceived information matching the stress state includes composite information.
  • controlling step may be a step of controlling each driving or route of the vehicle matching each of the composite information in a direction of alleviating the stress state of the passenger.
  • controlling step may be a step of weighting the driving or route of the vehicle matching one selected from the composite information in a direction that alleviates the stress state of the passenger.
  • the step of learning the driving model may include a step of learning a driving model differently based on the control result depending on the attribute of the recognized information.
  • the step of learning the driving model may include the step of generating first driving information based on the recognized information using a pre-learned driving model, generating second driving information related to the first driving information based on the passenger's emotional state with respect to the first driving information, and learning the driving model based on the second driving information.
  • the monitoring step may include a step of recognizing the presence of another vehicle driving in parallel with the driving lane of the vehicle, and monitoring a stress emotional state of a passenger in response to the recognized information
  • the controlling step may include a step of adjusting an offset of the vehicle with respect to the driving road in a direction away from the other vehicle while the other vehicle is driving in parallel; and a step of reverting the offset of the vehicle with respect to the driving road to a previous state and driving when it is recognized that the other vehicle is no longer driving in parallel.
  • the monitoring step may include a step of recognizing that the vehicle is driving in a section satisfying a first condition and monitoring a passenger's stress feeling with respect to the recognized information
  • the controlling step may include a step of changing a driving path of the vehicle so that the vehicle avoids the section satisfying the first condition or additionally adjusting at least one of a driving interval and a driving speed while driving in the section satisfying the first condition.
  • the monitoring step may include a step of monitoring a stress feeling of a passenger while the vehicle is driving on a steep road
  • the controlling step may include a step of further reducing a driving speed of the vehicle in response to a degree of stress feeling of the passenger.
  • the monitoring step may include a step of monitoring a stress feeling of a passenger of the vehicle toward a vehicle ahead of the vehicle
  • the controlling step may include a step of driving by resetting the gap between the vehicle and the vehicle ahead to narrow the gap so as to reflect the stress feeling of the passenger.
  • a personal driving system of a vehicle may include an interface unit that receives sensing data of a sensor of a vehicle and external map information while the vehicle is driving, a recognition unit that recognizes information on objects around the vehicle and a driving situation based on the received sensing data and external map information, a determination unit, and a control unit.
  • the determination unit may monitor the recognized information and the gaze and emotional state of a passenger with respect to the driving of the vehicle, and determine whether to change at least one of the driving and the route of the vehicle based on the emotional state of the passenger.
  • the control unit may control at least one of the driving and the route of the vehicle according to the determination, and learn a driving model based on a control result reflecting the emotional state of the passenger.
  • a computer program recorded on a recording medium may be combined with a computing device comprising a memory; a transceiver; and a processor for processing instructions stored in the memory, and cause the processor to perform the following operations.
  • the operations may include: a step of recognizing information about objects and driving situations around the vehicle based on sensors of the vehicle and external map information while the vehicle is driving; a step of monitoring a passenger's gaze and emotional state with respect to the recognized information and the driving of the vehicle; a step of controlling at least one of the driving and path of the vehicle to reflect the passenger's emotional state based on the monitoring; and a step of learning a driving model based on a control result reflecting the passenger's emotional state.
  • the driving or route can be adjusted by reflecting the emotional state of the driver or passenger in relation to the driving situation recognition during autonomous driving of the vehicle, thereby minimizing the sense of incongruity in the driving.
  • the driver or passenger by updating the driving model based on the results reflecting the emotional state of the driver or passenger with respect to the driving situation recognition during autonomous driving, the driver or passenger can experience a more personalized driving experience.
  • a personalized driving model can be managed for each driver or passenger, so that a personalized driving experience can be experienced with only driver/passenger information regardless of the vehicle.
  • FIG. 1 is a drawing illustrating an example of a vehicle related to an embodiment of the present invention.
  • FIG. 2 is a drawing of a vehicle related to an embodiment of the present invention viewed from various angles.
  • FIGS. 3 and 4 are drawings illustrating the interior of a vehicle related to an embodiment of the present invention.
  • FIGS. 5 and 6 are drawings for reference in explaining various objects related to driving of a vehicle according to an embodiment of the present invention.
  • FIG. 7 is a block diagram that is referenced in explaining a vehicle and a personal driving system related to an embodiment of the present invention.
  • FIG. 8 is a block diagram for explaining the conceptual configuration of a personal driving system related to an embodiment of the present invention.
  • FIG. 9 is a representative flowchart for explaining a personal driving control method of a vehicle related to an embodiment of the present invention.
  • FIGS. 10A and 10B are drawings specifically explaining how to recognize a passenger's stress emotional state and reflect it in the driving control of a vehicle according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of matching complex cognitive information and passenger emotional state related to an embodiment of the present invention.
  • FIGS. 12a, 12b, 13a, 13b, 13c, 14a, 14b, 15a, 15b, 16a, and 16b are drawings of various embodiments of controlling driving or path of a vehicle with feedback on the emotional state of a passenger in various driving situations.
  • FIG. 17 is a drawing for explaining a method for determining a passenger to reflect an emotional state when controlling driving or route of a vehicle when there are multiple passengers according to an embodiment of the present invention.
  • FIGS. 1 and 2 are views showing the exterior of a vehicle related to an embodiment of the present invention
  • FIGS. 3 and 4 are views showing the interior of a vehicle related to an embodiment of the present invention.
  • FIGS. 5 and 6 are drawings illustrating various objects related to driving of a vehicle according to an embodiment of the present invention.
  • FIG. 7 is a block diagram for reference in explaining a vehicle related to an embodiment of the present invention.
  • FIG. 7 is a block diagram for reference in explaining a vehicle according to an embodiment of the present invention.
  • the vehicle (100) may include wheels that rotate by a power source and a steering input device (510) for controlling the direction of travel of the vehicle (100).
  • the vehicle (100) may be an autonomous vehicle.
  • the vehicle (100) may be switched between an autonomous driving mode and a manual mode based on a user input.
  • the vehicle (100) may be switched from a manual mode to an autonomous driving mode, or may be switched from an autonomous driving mode to a manual mode, based on a user input received through a user interface device (hereinafter, referred to as a 'user terminal') (200).
  • a 'user terminal' a user interface device
  • the vehicle (100) can be switched to an autonomous driving mode or a manual mode based on driving situation information.
  • the driving situation information can be generated based on object information provided by the object detection device (300).
  • the vehicle (100) can be switched from a manual mode to an autonomous driving mode or from an autonomous driving mode to a manual mode based on the driving situation information generated by the object detection device (300).
  • the vehicle (100) can be switched from a manual mode to an autonomous driving mode or from an autonomous driving mode to a manual mode based on driving situation information received through a communication device (400).
  • the vehicle (100) can be switched from manual mode to autonomous driving mode or from autonomous driving mode to manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle (100) When the vehicle (100) is operated in autonomous driving mode, the autonomous vehicle (100) may be operated based on the driving system (700). For example, the autonomous vehicle (100) may be operated based on information, data, or signals generated from the driving system (710), the exit system (740), and the parking system (750).
  • the autonomous vehicle (100) can receive user input for driving through the driving control device (500). Based on the user input received through the driving control device (500), the vehicle (100) can be driven.
  • the overall length refers to the length from the front to the rear of the vehicle (100)
  • the overall width refers to the width of the vehicle (100)
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) may refer to a direction that serves as a reference for measuring the overall length of the vehicle (100)
  • the overall width direction (W) may refer to a direction that serves as a reference for measuring the overall width of the vehicle (100)
  • the overall height direction (H) may refer to a direction that serves as a reference for measuring the overall height of the vehicle (100).
  • the vehicle (100) may include a user interface device (hereinafter, referred to as a 'user terminal') (200), an object detection device (300), a communication device (400), a driving operation device (500), a vehicle driving device (600), a driving system (700), a navigation system (770), a sensing unit (120), a vehicle interface unit (130), a memory (140), a control unit (170), and a power supply unit (190).
  • a user interface device hereinafter, referred to as a 'user terminal'
  • an object detection device 300
  • a communication device 400
  • a driving operation device 500
  • a vehicle driving device 600
  • a driving system 700
  • a navigation system a navigation system
  • sensing unit 120
  • vehicle interface unit 130
  • a memory 140
  • control unit (170 control unit
  • 190 power supply unit
  • the vehicle (100) may include additional components other than the components described herein, or may not include some of the components described herein.
  • the user interface device (200) is a device for communication between a vehicle (100) and a user.
  • the user interface device (200) can receive user input and provide information generated in the vehicle (100) to the user.
  • the vehicle (100) can implement UI (User Interfaces) or UX (User Experience) through the user interface device (hereinafter, referred to as a 'user terminal') (200).
  • UI User Interfaces
  • UX User Experience
  • the user interface device (200) may include an input unit (210), an internal camera (220), a biometric detection unit (230), an output unit (250), and a processor (270).
  • the user interface device (200) may include other components in addition to the described components, or may not include some of the described components.
  • the input unit (210) is for receiving information from a user, and data collected from the input unit (210) can be analyzed by a processor (270) and processed as a user's control command.
  • the input unit (210) may be placed inside the vehicle.
  • the input unit (210) may be placed in an area of a steering wheel, an area of an instrument panel, an area of a seat, an area of each pillar, an area of a door, an area of a center console, an area of a head lining, an area of a sun visor, an area of a windshield, or an area of a window.
  • the input unit (210) may include a voice input unit (211), a gesture input unit (212), a touch input unit (213), and a mechanical input unit (214).
  • the voice input unit (211) can convert a user's voice input into an electrical signal.
  • the converted electrical signal can be provided to a processor (270) or a control unit (170).
  • the voice input unit (211) can include one or more microphones.
  • the gesture input unit (212) can convert a user's gesture input into an electrical signal.
  • the converted electrical signal can be provided to a processor (270) or a control unit (170).
  • the gesture input unit (212) may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input. According to an embodiment, the gesture input unit (212) may detect a user's three-dimensional gesture input. To this end, the gesture input unit (212) may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit (212) can detect a user's 3D gesture input through a TOF (Time of Flight) method, a structured light method, or a disparity method.
  • TOF Time of Flight
  • the touch input unit (213) can convert a user's touch input into an electrical signal.
  • the converted electrical signal can be provided to a processor (270) or a control unit (170).
  • the touch input unit (213) may include a touch sensor for detecting a user's touch input. According to an embodiment, the touch input unit (213) may be formed integrally with the display unit (251), thereby implementing a touch screen. Such a touch screen may provide an input interface and an output interface between the vehicle (100) and the user.
  • the mechanical input unit (214) may include at least one of a button, a dome switch, a jog wheel, and a jog switch. An electrical signal generated by the mechanical input unit (214) may be provided to a processor (270) or a control unit (170).
  • the mechanical input unit (214) may be placed on a steering wheel, a center fascia, a center console, a cockpit module, a door, and the like.
  • the internal camera (220) can obtain an image of the inside of the vehicle.
  • the processor (270) can detect the user's condition based on the image of the inside of the vehicle.
  • the processor (270) can obtain information of the user's gaze from the image of the inside of the vehicle.
  • the processor (270) can detect the user's gesture from the image of the inside of the vehicle.
  • the biometric detection unit (230) can obtain the user's biometric information.
  • the biometric detection unit (230) includes a sensor that can obtain the user's biometric information, and can obtain the user's fingerprint information, heartbeat information, etc. using the sensor.
  • the biometric information can be used for user authentication.
  • the output unit (250) is for generating output related to vision, hearing, or tactile sensations.
  • the output unit (250) may include at least one of a display unit (251), an audio output unit (252), and a haptic output unit (253).
  • the display unit (251) can display graphic objects corresponding to various pieces of information.
  • the display unit (251) can include at least one of a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display a 3D display
  • 3D display 3D display
  • e-ink display e-ink display
  • the display unit (251) can implement a touch screen by forming a mutual layer structure with the touch input unit (213) or forming it as an integral part.
  • the display unit (251) may be implemented as a HUD (Head Up Display).
  • the display unit (251) may be equipped with a projection module to output information through an image projected onto a windshield or window.
  • the display unit (251) may include a transparent display.
  • the transparent display may be attached to a windshield or a window.
  • the transparent display may have a predetermined transparency and display a predetermined screen.
  • the transparent display may include at least one of a transparent TFEL (Thin Film Elecroluminescent), a transparent OLED (Organic Light-Emitting Diode), a transparent LCD (Liquid Crystal Display), a transparent display, and a transparent LED (Light Emitting Diode) display.
  • the transparency of the transparent display may be adjusted.
  • the user interface device (200) may include a plurality of display units (251a to 251g).
  • the display unit (251) may be arranged in one area of a steering wheel, one area of an instrument panel (521a, 251b, 251e), one area of a seat (251d), one area of each pillar (251f), one area of a door (251g), one area of a center console, one area of a head lining, one area of a sun visor, or may be implemented in one area of a windshield (251c), one area of a window (251h).
  • the audio output unit (252) converts an electric signal provided from a processor (270) or a control unit (170) into an audio signal and outputs it. To this end, the audio output unit (252) may include one or more speakers.
  • the haptic output unit (253) generates a tactile output.
  • the haptic output unit (253) can operate by vibrating a steering wheel, a seat belt, or a seat (110FL, 110FR, 110RL, 110RR) so that the user can recognize the output.
  • the processor (hereinafter, referred to as a 'control unit') (270) can control the overall operation of each unit of the user interface device (200).
  • the user interface device (200) may include a plurality of processors (270) or may not include a processor (270).
  • the user interface device (200) may be operated under the control of a processor or control unit (170) of another device in the vehicle (100).
  • the user interface device (200) may be named a vehicle display device.
  • the user interface device (200) may be operated under the control of the control unit (170).
  • the object detection device (300) is a device for detecting an object located outside the vehicle (100).
  • the object may be various objects related to the operation of the vehicle (100).
  • the object (O) may include a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), a light, a road, a structure, a speed bump, a terrain, an animal, etc.
  • Lane (OB10) may be a driving lane, a lane next to a driving lane, or a lane in which an opposing vehicle is driving. Lane (OB10) may be a concept that includes left and right lines forming a lane.
  • Another vehicle (OB11) may be a vehicle driving around the vehicle (100).
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle (100).
  • the other vehicle (OB11) may be a vehicle preceding or following the vehicle (100).
  • a pedestrian (OB12) may be a person located around a vehicle (100).
  • a pedestrian (OB12) may be a person located within a predetermined distance from a vehicle (100).
  • a pedestrian (OB12) may be a person located on a sidewalk or a roadway.
  • a two-wheeled vehicle may refer to a vehicle that is positioned around a vehicle (100) and moves using two wheels.
  • the two-wheeled vehicle (OB12) may be a vehicle with two wheels that is positioned within a predetermined distance from the vehicle (100).
  • the two-wheeled vehicle (OB13) may be a motorcycle or bicycle positioned on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and patterns or text painted on the road surface.
  • the light may be light generated from a lamp installed in another vehicle.
  • the light may be light generated from a streetlight.
  • the light may be sunlight.
  • a road may include slopes such as road surfaces, curves, uphills, downhills, etc.
  • Structures may be objects located along a roadway and fixed to the ground.
  • structures may include streetlights, street trees, buildings, utility poles, traffic lights, and bridges.
  • Landmarks may include mountains, hills, etc.
  • objects can be classified into moving objects and fixed objects.
  • moving objects can be concepts including other vehicles and pedestrians.
  • fixed objects can be concepts including traffic signals, roads, and structures.
  • the object detection device (300) may include a camera (310), a radar (320), a lidar (330), an ultrasonic sensor (340), an infrared sensor (350), and a processor (370).
  • the object detection device (300) may include additional components other than the described components, or may not include some of the described components.
  • the camera (310) may be positioned at an appropriate location outside the vehicle to obtain an exterior image of the vehicle.
  • the camera (310) may be a mono camera, a stereo camera (310a), an AVM (Around View Monitoring) camera (310b), or a 360-degree camera.
  • the camera (310) may be placed inside the vehicle, close to the front windshield, to obtain an image of the front of the vehicle.
  • the camera (310) may be placed around the front bumper or radiator grill.
  • the camera (310) may be placed inside the vehicle, close to the rear glass, to obtain an image of the rear of the vehicle.
  • the camera (310) may be placed around the rear bumper, trunk, or tailgate.
  • the camera (310) may be positioned close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera (310) may be positioned around a side mirror, a fender, or a door.
  • the camera (310) can provide the acquired image to the processor (370).
  • the radar (320) may include an electromagnetic wave transmitter and receiver.
  • the radar (320) may be implemented in a pulse radar or continuous wave radar mode based on the principle of radio wave transmission.
  • the radar (320) may be implemented in an FMCW (Frequency Modulated Continuous Wave) mode or an FSK (Frequency Shift Keyong) mode depending on the signal waveform.
  • FMCW Frequency Modulated Continuous Wave
  • FSK Frequency Shift Keyong
  • Radar (320) can detect objects using electromagnetic waves based on a TOF (Time of Flight) method or a phase-shift method, and can detect the location of the detected object, the distance to the detected object, and the relative speed.
  • TOF Time of Flight
  • phase-shift method can detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the radar (320) can be placed at an appropriate location outside the vehicle to detect objects located in front, rear, or to the side of the vehicle.
  • the lidar (330) may include a laser transmitter and receiver.
  • the lidar (330) may be implemented in a TOF (Time of Flight) method or a phase-shift method.
  • the lidar (330) can be implemented as a driven or non-driven type.
  • the lidar (330) When implemented as a drive type, the lidar (330) is rotated by a motor and can detect objects around the vehicle (100).
  • the lidar (330) can detect an object located within a predetermined range relative to the vehicle (100) by means of optical steering.
  • the vehicle (100) can include a plurality of non-driven lidars (330).
  • Lidar can detect an object based on a TOF (Time of Flight) method or a phase-shift method using laser light as a parameter, and can detect the position of the detected object, the distance to the detected object, and the relative speed.
  • TOF Time of Flight
  • phase-shift method using laser light as a parameter
  • the lidar (330) can be placed at an appropriate location outside the vehicle to detect objects located in front, rear, or to the side of the vehicle.
  • the ultrasonic sensor (340) may include an ultrasonic transmitter and receiver.
  • the ultrasonic sensor (340) may detect an object based on ultrasonic waves, and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor (340) can be placed at an appropriate location outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the infrared sensor (350) may include an infrared transmitter and a receiver.
  • the infrared sensor (340) may detect an object based on infrared light, and may detect the position of the detected object, the distance to the detected object, and the relative speed.
  • An infrared sensor (350) can be placed at an appropriate location outside the vehicle to detect objects located in front, rear, or to the side of the vehicle.
  • the processor (370) can control the overall operation of each unit of the object detection device (300).
  • the processor (370) can detect and track an object based on the acquired image.
  • the processor (370) can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor (370) can detect and track an object based on the reflected electromagnetic waves that are returned when the transmitted electromagnetic waves are reflected by the object.
  • the processor (370) can perform operations such as calculating the distance to the object and calculating the relative speed to the object based on the electromagnetic waves.
  • the processor (370) can detect and track an object based on the reflected laser light that is reflected back by the transmitted laser from the object.
  • the processor (370) can perform operations such as calculating the distance to the object and calculating the relative speed to the object based on the laser light.
  • the processor (370) can detect and track an object based on reflected ultrasonic waves that are returned after the transmitted ultrasonic waves are reflected by the object.
  • the processor (370) can perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the processor (370) can detect and track an object based on reflected infrared light that is reflected back by the transmitted infrared light from the object.
  • the processor (370) can perform operations such as calculating a distance to the object and calculating a relative speed to the object based on the infrared light.
  • the object detection device (300) may include a plurality of processors (370) or may not include a processor (370).
  • processors 370
  • each of the camera (310), radar (320), lidar (330), ultrasonic sensor (340), and infrared sensor (350) may individually include a processor.
  • the object detection device (300) does not include a processor (370), the object detection device (300) can be operated under the control of a processor or control unit (170) of a device in the vehicle (100).
  • the object detection device (400) can be operated under the control of the control unit (170).
  • the communication device (400) is a device for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal, or a server.
  • the communication device (400) may include at least one of a transmitting antenna, a receiving antenna, an RF (Radio Frequency) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF Radio Frequency
  • the communication device (400) may include a short-range communication unit (410), a location information unit (420), a V2X communication unit (430), an optical communication unit (440), a broadcast transmission/reception unit (450), and a processor (470).
  • a short-range communication unit 410
  • a location information unit 420
  • a V2X communication unit 430
  • an optical communication unit 440
  • a broadcast transmission/reception unit 450
  • a processor 470
  • the communication device (400) may include additional components other than the described components, or may not include some of the described components.
  • the short-range communication unit (410) is a unit for short-range communication.
  • the short-range communication unit (410) can support short-range communication using at least one of BluetoothTM, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • the short-range communication unit (410) can form a short-range wireless communication network (Wireless Area Networks) to perform short-range communication between the vehicle (100) and at least one external device.
  • a short-range wireless communication network Wireless Area Networks
  • the location information unit (420) is a unit for obtaining location information of the vehicle (100).
  • the location information unit (420) may include a GPS (Global Positioning System) module or a DGPS (Differential Global Positioning System) module.
  • GPS Global Positioning System
  • DGPS Different Global Positioning System
  • the V2X communication unit (430) is a unit for performing wireless communication with a server (V2I: Vehicle to Infrastructure), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit (430) may include an RF circuit capable of implementing protocols for communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P).
  • the optical communication unit (440) is a unit for communicating with an external device using light.
  • the optical communication unit (440) may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts a received optical signal into an electrical signal.
  • the light transmitting unit may be formed integrally with a lamp included in the vehicle (100).
  • the broadcast transceiver (450) is a unit for receiving broadcast signals from an external broadcast management server through a broadcast channel, or transmitting broadcast signals to the broadcast management server.
  • the broadcast channels may include satellite channels and terrestrial channels.
  • the broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the processor (470) can control the overall operation of each unit of the communication device (400).
  • the communication device (400) may include a plurality of processors (470) or may not include a processor (470).
  • the communication device (400) may be operated under the control of a processor or control unit (170) of another device in the vehicle (100).
  • the communication device (400) may implement a vehicle display device together with the user interface device (200).
  • the vehicle display device may be named a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device (400) can be operated under the control of the control unit (170).
  • the driving control device (500) is a device that receives user input for driving.
  • the vehicle (100) When in manual mode, the vehicle (100) can be driven based on signals provided by the driving control device (500).
  • the driving control device (500) may include a steering input device (510), an acceleration input device (530), and a brake input device (570).
  • the steering input device (510) can receive input of the direction of travel of the vehicle (100) from the user. It is preferable that the steering input device (510) be formed in the shape of a wheel so that steering input can be made by rotation. According to an embodiment, the steering input device may be formed in the shape of a touch screen, a touch pad, or a button.
  • the acceleration input device (530) can receive an input for acceleration of the vehicle (100) from a user.
  • the brake input device (570) can receive an input for deceleration of the vehicle (100) from a user. It is preferable that the acceleration input device (530) and the brake input device (570) are formed in the form of a pedal. According to an embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving operation device (500) can be operated under the control of the control unit (170).
  • the vehicle driving device (600) is a device that electrically controls the driving of various devices in the vehicle (100).
  • the vehicle driving device (600) may include a power train driving unit (610), a chassis driving unit (620), a door/window driving unit (630), a safety device driving unit (640), a lamp driving unit (650), and an air conditioning driving unit (660).
  • the vehicle drive device (600) may include additional components other than the described components, or may not include some of the described components.
  • the vehicle driving device (600) may include a processor. Each unit of the vehicle driving device (600) may individually include a processor.
  • the power train drive unit (610) can control the operation of the power train device.
  • the power train drive unit (610) may include a power source drive unit (611) and a transmission drive unit (612).
  • the power source driving unit (611) can perform control over the power source of the vehicle (100).
  • the power source drive unit (610) can perform electronic control of the engine. Accordingly, the output torque of the engine, etc. can be controlled.
  • the power source drive unit (611) can adjust the engine output torque according to the control of the control unit (170).
  • the power source driving unit (610) can perform control over the motor.
  • the power source driving unit (610) can adjust the rotation speed, torque, etc. of the motor according to the control of the control unit (170).
  • the transmission drive unit (612) can perform control of the transmission.
  • the transmission drive unit (612) can adjust the state of the transmission.
  • the transmission drive unit (612) can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or parking (P).
  • the transmission drive unit (612) can adjust the gear engagement state in the forward (D) state.
  • the chassis drive unit (620) can control the operation of the chassis device.
  • the chassis drive unit (620) can include a steering drive unit (621), a brake drive unit (622), and a suspension drive unit (623).
  • the steering drive unit (621) can perform electronic control of a steering apparatus within a vehicle (100).
  • the steering drive unit (621) can change the direction of travel of the vehicle.
  • the brake drive unit (622) can perform electronic control of a brake apparatus within the vehicle (100). For example, the speed of the vehicle (100) can be reduced by controlling the operation of a brake placed on a wheel.
  • the brake driving unit (622) can individually control each of the plurality of brakes.
  • the brake driving unit (622) can control the braking force applied to the plurality of wheels differently.
  • the suspension driving unit (623) can perform electronic control of the suspension apparatus within the vehicle (100). For example, the suspension driving unit (623) can control the suspension apparatus when there is a curve in the road surface, thereby reducing vibration of the vehicle (100). Meanwhile, the suspension driving unit (623) can individually control each of the plurality of suspensions.
  • the door/window actuator (630) can perform electronic control of a door apparatus or window apparatus in a vehicle (100).
  • the door/window driving unit (630) may include a door driving unit (631) and a window driving unit (632).
  • the door driving unit (631) can perform control over the door device.
  • the door driving unit (631) can control the opening and closing of a plurality of doors included in the vehicle (100).
  • the door driving unit (631) can control the opening or closing of a trunk or a tail gate.
  • the door driving unit (631) can control the opening or closing of a sunroof.
  • the window driving unit (632) can perform electronic control of a window apparatus. It can control the opening or closing of a plurality of windows included in the vehicle (100).
  • the safety device driving unit (640) can perform electronic control of various safety devices in the vehicle (100).
  • the safety device drive unit (640) may include an airbag drive unit (641), a seat belt drive unit (642), and a pedestrian protection device drive unit (643).
  • the airbag driving unit (641) can perform electronic control of an airbag apparatus within a vehicle (100). For example, the airbag driving unit (641) can control an airbag to be deployed when a danger is detected.
  • the seat belt drive unit (642) can perform electronic control of the seat belt apparatus in the vehicle (100). For example, the seat belt drive unit (642) can control the passenger to be fixed to the seat (110FL, 110FR, 110RL, 110RR) using the seat belt when a danger is detected.
  • the pedestrian protection device driving unit (643) can perform electronic control of the hood lift and the pedestrian airbag.
  • the pedestrian protection device driving unit (643) can control the hood lift up and the pedestrian airbag to be deployed when a collision with a pedestrian is detected.
  • the lamp driving unit (650) can perform electronic control of various lamp apparatuses within the vehicle (100).
  • the air conditioning drive unit (660) can perform electronic control of an air conditioning device (air cinditioner) in the vehicle (100).
  • the air conditioning drive unit (660) can control the air conditioning device to operate and supply cold air to the vehicle when the temperature inside the vehicle is high.
  • the vehicle driving device (600) may include a processor. Each unit of the vehicle driving device (600) may individually include a processor.
  • the vehicle driving device (600) can be operated under the control of the control unit (170).
  • the driving system (700) is a system that controls various operations of the vehicle (100).
  • the driving system (700) can be operated in an autonomous driving mode.
  • the driving system (700) may include a driving system (710), an exiting system (740), and a parking system (750).
  • the driving system (700) may include additional components other than the described components, or may not include some of the described components.
  • the driving system (700) may include a processor. Each unit of the driving system (700) may individually include a processor.
  • the driving system (700) is implemented in software, it may be a subordinate concept of the control unit (170).
  • the driving system (700) may be a concept including at least one of a user interface device (200), an object detection device (300), a communication device (400), a vehicle driving device (600), and a control unit (170).
  • the driving system (710) can drive the vehicle (100).
  • the driving system (710) can receive navigation information from the navigation system (770) and provide a control signal to the vehicle driving device (600) to drive the vehicle (100).
  • the driving system (710) can receive object information from the object detection device (300) and provide a control signal to the vehicle driving device (600) to drive the vehicle (100).
  • the driving system (710) can receive a signal from an external device through the communication device (400) and provide a control signal to the vehicle driving device (600) to drive the vehicle (100).
  • the exit system (740) can perform exit of a vehicle (100).
  • the exit system (740) can receive navigation information from the navigation system (770) and provide a control signal to the vehicle driving device (600) to perform exit of the vehicle (100).
  • the exit system (740) can receive object information from the object detection device (300) and provide a control signal to the vehicle driving device (600) to perform exit of the vehicle (100).
  • the exit system (740) can receive a signal from an external device through the communication device (400) and provide a control signal to the vehicle driving device (600) to perform exit of the vehicle (100).
  • the parking system (750) can perform parking of a vehicle (100).
  • the parking system (750) can perform parking of the vehicle (100) by receiving navigation information from the navigation system (770) and providing a control signal to the vehicle driving device (600).
  • the parking system (750) can perform parking of the vehicle (100) by receiving object information from the object detection device (300) and providing a control signal to the vehicle driving device (600).
  • the parking system (750) can perform parking of the vehicle (100) by receiving a signal from an external device through the communication device (400) and providing a control signal to the vehicle driving device (600).
  • the navigation system (770) can provide navigation information.
  • the navigation information can include at least one of map information, set destination information, route information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system (770) may include a memory and a processor.
  • the memory may store navigation information.
  • the processor may control the operation of the navigation system (770).
  • the navigation system (770) may receive information from an external device via the communication device (400) and update previously stored information.
  • the navigation system (770) may be classified as a sub-component of the user interface device (200).
  • the sensing unit (120) can sense the status of the vehicle.
  • the sensing unit (120) can include a posture sensor (e.g., a yaw sensor, a roll sensor, a pitch sensor), a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight detection sensor, a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward/backward sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, an ultrasonic sensor, an illuminance sensor, an accelerator pedal position sensor, a brake pedal position sensor, etc.
  • a posture sensor e.g., a yaw sensor, a roll sensor, a pitch sensor
  • a collision sensor e.g., a yaw sensor, a roll sensor, a pitch sensor
  • a collision sensor e.g.,
  • the sensing unit (120) can obtain sensing signals for vehicle attitude information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle inclination information, vehicle forward/backward information, battery information, fuel information, tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illumination, pressure applied to an accelerator pedal, pressure applied to a brake pedal, etc.
  • GPS information vehicle location information
  • vehicle angle information vehicle speed information
  • vehicle acceleration information vehicle acceleration information
  • vehicle inclination information vehicle forward/backward information
  • battery information fuel information, tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illumination, pressure applied to an accelerator pedal, pressure applied to a brake pedal, etc.
  • the sensing unit (120) may further include, in addition, an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), a throttle position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), etc.
  • an accelerator pedal sensor a pressure sensor
  • an engine speed sensor an air flow sensor
  • an intake temperature sensor ATS
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC sensor crank angle sensor
  • the vehicle interface unit (130) can serve as a passageway for various types of external devices connected to the vehicle (100).
  • the vehicle interface unit (130) can be equipped with a port that can be connected to a mobile terminal, and can be connected to the mobile terminal through the port. In this case, the vehicle interface unit (130) can exchange data with the mobile terminal.
  • the vehicle interface unit (130) can serve as a passage for supplying electric energy to a connected mobile terminal.
  • the vehicle interface unit (130) can provide electric energy supplied from the power supply unit (190) to the mobile terminal under the control of the control unit (170).
  • the memory (140) is electrically connected to the control unit (170).
  • the memory (140) can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory (140) can be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware.
  • the memory (140) can store various data for the operation of the entire vehicle (100), such as programs for processing or controlling the control unit (170).
  • the memory (140) may be formed integrally with the control unit (170) or implemented as a sub-component of the control unit (170).
  • the control unit (170) can control the overall operation of each unit within the vehicle (100).
  • the control unit (170) can be named an ECU (Electronic Control Unit).
  • the power supply unit (190) can supply power required for the operation of each component under the control of the control unit (170).
  • the power supply unit (190) can receive power from a battery inside the vehicle, etc.
  • One or more processors and control units (170) included in the vehicle (100) may be implemented using at least one of application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • 'driver', 'passenger', 'driver or passenger (driver/passenger)' means a driver, passenger, co-passenger, occupant, etc. riding in a vehicle capable of performing personal driving control according to an embodiment of the present invention, and may be one or more persons.
  • the term 'vehicle' is used to mean a vehicle capable of autonomous driving by artificial intelligence (AI) or a vehicle capable of receiving such a service.
  • AI artificial intelligence
  • the term 'personal driving system' is used to mean a system that includes all of an Advanced Driver Assistance System (ADAS), an Autonomous Driving System (ADS), and/or a Full Self Driving System (FSD) included in a vehicle, or a system that is linked with a separate system/device/server that can provide such services.
  • ADAS Advanced Driver Assistance System
  • ADS Autonomous Driving System
  • FSD Full Self Driving System
  • a personal driving system (800) may be provided in a vehicle (100).
  • the personal driving system (800) can operate to adjust the driving or route of the vehicle by reflecting the emotional state of the passenger monitored while the vehicle (100) is performing autonomous driving. In addition, the personal driving system (800) operates to learn or update the driving model of the vehicle (100) based on the control result reflecting the emotional state of the passenger.
  • the personal driving system (800) may be one of the aforementioned ADAS systems, ADS systems, and FSD systems, or some configuration thereof.
  • the personal driving system (800) may include a pre-learned driving model or may operate in conjunction with the pre-learned driving model to perform driving model learning.
  • the above-mentioned pre-learned driving model may be a driving model trained for autonomous driving technology through machine learning of artificial intelligence (AI), reinforcement learning (e.g., high-density deep reinforcement learning using deep learning technology, reinforcement learning using a simulator, etc.), end-to-end learning, etc.
  • AI artificial intelligence
  • reinforcement learning e.g., high-density deep reinforcement learning using deep learning technology, reinforcement learning using a simulator, etc.
  • end-to-end learning etc.
  • the above-mentioned pre-learned driving model may be trained using a learning method other than the learning method described herein.
  • Data used for machine learning of artificial intelligence (AI) that can be used for autonomous driving of a vehicle (100) may include sensor values collected by various types of sensors installed in the vehicle (100).
  • data used for machine learning of artificial intelligence (AI) that can be used for autonomous driving of the vehicle may include cameras, radars, lidars, ultrasonic sensors, etc. installed in the vehicle.
  • the personal driving system (800) monitors the emotional state of the passenger that matches the information recognized based on sensors within the vehicle (100) and external data related to driving.
  • monitoring the emotional state of the passenger means detecting the stress state of the passenger that is detected through sensors within the vehicle while driving the vehicle (100) according to the recognized information.
  • the personal driving system (800) monitors the emotional state of the passenger and selects and determines information that causes the passenger to feel stressed among the recognized information.
  • the personal driving system (800) operates to control the driving and/or route of the vehicle (100) according to the determination so as to alleviate the passenger's feeling of stress.
  • controlling driving and/or path of the vehicle (100) may include generating and/or changing driving control values related to driving of the vehicle via the personal driving system (800) and/or detouring/avoiding at least part of the current driving path of the vehicle or generating a new path.
  • the personal driving system (800) can learn the previously learned driving model by using the result of controlling the driving and/or route of the vehicle (100) by reflecting the emotional state of the passenger as an input value.
  • the driving model additionally learned to reflect the emotional state of the passenger in this way is named a 'personal driving model' in the present invention.
  • the 'personal driving model' can be said to use end-to-end learning of artificial intelligence (AI) in that it learns to immediately reflect the emotional state of the passenger.
  • AI artificial intelligence
  • the 'personal driving model' can be said to use high-density deep reinforcement learning (D2RL), which is an advanced form of deep learning technology, in that it does not use all perceived information, but uses cognitive information that matches the stress state of the passenger as selected data.
  • D2RL high-density deep reinforcement learning
  • this does not mean that the learning of the 'personal driving model' is limited to the aforementioned learning method.
  • the personal driving system (800) can store and manage passenger information and personal driving models by matching them. Accordingly, even if the passenger drives/boards another vehicle, the passenger can experience driving according to the personalized driving model based only on the passenger's perception.
  • Fig. 8 is a block diagram for explaining the conceptual configuration of a personal driving system (800) related to an embodiment of the present invention.
  • the personal driving system (800) of Fig. 8 may be implemented in a vehicle (100) as illustrated in Fig. 7, but of course, it may be implemented as a system separate from the vehicle (100).
  • the personal driving system (800) operates to adaptively adjust the driving style and driving route of the vehicle by reflecting the emotional state of the driver/passenger in the autonomous vehicle.
  • the personal driving system (800) may largely include a recognition unit (A), a judgment unit (B), and a control unit (C).
  • the personal driving system (800) may include an interface unit (not shown) for receiving/transmitting data/information from/to the outside.
  • the cognitive unit (A) may include a passenger cognitive module (10) and a driving situation cognitive module (20).
  • the passenger cognitive module (10) recognizes information about passengers and the emotional state of passengers
  • the driving situation cognitive module (20) recognizes information related to the driving of the vehicle.
  • the cognitive unit (A) receives data collected by the passenger cognitive module (10) and the driving situation cognitive module (20) during vehicle driving from the vehicle (100) or the outside through the interface unit.
  • the passenger recognition module (10) can recognize passenger information, the gaze of the passenger while driving, and the emotional state of the passenger while driving by using sensors inside/outside the vehicle. Specifically, the passenger recognition module (10) can recognize the emotional state of the driver/passenger based on the information, gaze, behavior, and facial expression change of the driver/passenger in the vehicle, facial blood flow-based heart rate, and/or other bio-signals by using the DMS (Driver monitoring system) and/or IMS (Interior monitoring system) inside the vehicle.
  • DMS Driver monitoring system
  • IMS Interior monitoring system
  • the occupant recognition module (10) may also recognize the emotional state of the driver by monitoring the driver's behavior monitored through other additional sensors inside the vehicle. For example, by combining the strength, number of times, and interval of the driver's handle grip/touch detected through the grip/touch sensor installed on the steering wheel (handle) of the vehicle, if it is determined that the driver suddenly grabs the steering wheel, it may be determined that the driver is in a tense state. Or, for example, by combining the strength, number of times, and interval of the number of times the driver steps on the brake of the vehicle, it may be determined that the driver is in a tense state if it is determined that the driver suddenly steps on the brake. This helps to recognize the tense state of the driver that is not monitored by the DMS and/or IMS alone.
  • the DMS Driver monitoring system
  • IMS Interior monitoring system
  • DMS Driver monitoring system
  • IMS Interior monitoring system
  • driver/passenger monitoring systems that can check the driver/passenger's face and track the eye movements, for example, by using driver/passenger cameras equipped with LED light sources or lasers.
  • the passenger recognition module (10) verifies the registered information by verifying the driver/passenger's face using the DMS and/or IMS, and if the driver/passenger is registered, it can check whether there is a stored personal driving model and call it. If the driver/passenger's face is not registered as a result of verifying it, it can check the driver/passenger's basic information such as gender, age (e.g., elderly, child, etc.) and status (e.g., working, sleepy, etc.) to call a pre-learned basic driving model or check and call a similar personal driving style.
  • gender e.g., elderly, child, etc.
  • status e.g., working, sleepy, etc.
  • the DMS and/or IMS can monitor the driver/passenger condition based on data collected via the driver/passenger camera (e.g., blinking, head angle, facial blood flow, forward gaze, yawning, drowsiness, smoking, or distraction).
  • the DMS and/or IMS can monitor the emotional state of the identified driver/passenger, such as tension, fear, or stress, based on changes in facial expression and facial blood flow.
  • the driving situation recognition module (20) can recognize information about objects around the vehicle and the driving situation by using external vehicle sensors and externally provided data.
  • the driving situation recognition module (20) can recognize objects (e.g., vehicles, pedestrians, motorcycles, lanes, guardrails, traffic lights, traffic signs, etc.) around the vehicle while driving by using a camera and Lidar outside the vehicle.
  • objects e.g., vehicles, pedestrians, motorcycles, lanes, guardrails, traffic lights, traffic signs, etc.
  • the lidar is installed on the vehicle (100) to emit a laser pulse around the vehicle (100) and detect light reflected by an object located around the vehicle (100) to generate a three-dimensional image (more precisely, 3D point group data corresponding thereto) of the surroundings of the vehicle (100).
  • a plurality of external cameras may be installed on the vehicle (100) to obtain a two-dimensional image of the surroundings of the vehicle (100).
  • sensors included in ADAS Advanced Driver Assistance Systems
  • ADAS Advanced Driver Assistance Systems
  • radar, ultrasound, lidar, and cameras may all be used as the external sensors of the vehicle.
  • the driving situation recognition module (20) can recognize driving/traffic related information through external map related information such as MAP (ADASIS) and/or vehicle networking applications such as V2X, 5G, etc.
  • MAP ADASIS
  • vehicle networking applications such as V2X, 5G, etc.
  • the driving situation recognition module (20) can recognize traffic accident high-incidence area information, live traffic information, construction section information, disaster information, and traffic control information due to events (e.g., festivals/marathons, etc.) using MAP (ADASIS), V2X, 5G, etc.
  • the driving situation recognition module (20) can recognize not only driving related information such as information on the presence or absence of a shoulder, time, traffic volume and driving speed, sudden stops and traffic congestion, and emergency light information, but also weather information (e.g., snow/rain (wiper/black ice detection), etc.) using MAP (ADASIS), V2X, 5G, etc.
  • driving related information such as information on the presence or absence of a shoulder, time, traffic volume and driving speed, sudden stops and traffic congestion, and emergency light information, but also weather information (e.g., snow/rain (wiper/black ice detection), etc.) using MAP (ADASIS), V2X, 5G, etc.
  • the judgment unit (B) can determine whether to change the driving style reflecting the emotional state of the passenger based on the information recognized through the recognition unit (A) and the monitoring (820) of the passenger's gaze and emotional state regarding the driving (or driving mode/scenario) of the vehicle (100).
  • the change in driving style means changing at least one of the driving method of the vehicle (e.g., driving speed, distance from the vehicle in front, distance from the next lane/guardrail, etc.) or the driving path so that the emotional state of the passenger can be alleviated.
  • the judgment unit (B) can perform monitoring (820) to determine whether the gaze and emotional state of the monitored passenger is in a state of stress or comfort by matching the information recognized through the recognition unit (A) with the driving of the vehicle.
  • a stress state means a state in which the sympathetic nervous system is activated, and a negative emotional state such as anxiety, discomfort, tension, anger, annoyance, fear, etc. of the passenger (e.g., based on the passenger's facial blood flow). For example, when an increase in the driver's/passenger's facial blood flow monitored through the DMS and/or IMS, anxious eye movement, sudden steering wheel grip, or braking operation detected through additional sensors occurs (however, if such an event is monitored a certain number of times or more, it can be recognized as a stress state).
  • a comfortable state means a normal state in which the parasympathetic nervous system of the autonomic nervous system is activated, and the passenger is not in the aforementioned negative emotional state.
  • the judgment unit (B) fuses the information recognized by the cognitive unit (A), i.e., the object/driving situation information around the vehicle and the monitoring results of the driver/passenger’s gaze and emotional state, to obtain the driver/passenger’s emotional state (e.g., stress state based on blood flow, etc.) for a specific object or specific driving situation. Based on the obtained results, the judgment unit (B) can decide whether to change the current driving style.
  • the cognitive unit (A) i.e., the object/driving situation information around the vehicle and the monitoring results of the driver/passenger’s gaze and emotional state
  • the judgment unit (B) can decide whether to change the current driving style.
  • the control unit (C) can operate to control at least one of the driving and path of the vehicle according to the above decision (830).
  • the control unit (C) can control the driving model to perform artificial intelligence (AI) learning based on the control result reflecting the emotional state of the driver/passenger (850).
  • AI artificial intelligence
  • control unit (C) controls the driving/route of the vehicle based on selected information that monitors the emotional state of the passenger as being in a state of stress among objects around the vehicle (100) and external information, and learns the driving model based on this to create or update a personal driving model.
  • the driving model is a pre-learned driving model, and reinforcement learning is performed based on selected information rather than all recognized information, so it does not require a large amount of input data.
  • the selected information may be input data for performing end-to-end learning that immediately changes the driving style of the vehicle based on this.
  • the selected information does not simply mean a sensor or external data, but is personalized information that means a driving control value or a path control value adjusted according to the passenger's gaze and emotional state. Therefore, the selected information is different from a specific control value or a control value of a specific driving mode based on the same sensing value/external data value.
  • the personalized driving model may be learned by learning some of a plurality of network neural networks connected to a large neural network or an updated version of the original version.
  • the personalized driving model may be managed in such a way that it is transmitted together with the passenger information or deleted together with the passenger information.
  • FIG. 9 is a representative flowchart for explaining a personal driving control method of a vehicle related to an embodiment of the present invention.
  • Each step illustrated in FIG. 9 may be performed by each component of the personal driving system (800) (the recognition unit (A), the judgment unit (B), the control unit (C) of FIG. 8, or the controller/processor (not shown)), the processor of the vehicle (100) providing the personal driving control service, or the service platform providing the personal driving control service.
  • the personal driving system (800) is described below.
  • the personal driving control method illustrated in FIG. 9 may be performed on the premise that the driving mode of the vehicle (100) is activated to operate in the personal driving mode.
  • a personal driving method includes a step of recognizing driving-related information (910), a step of monitoring a passenger's emotional state (920), a step of controlling driving/route based on fusion of the recognized information and the passenger's emotional state (930), and a step of learning a driving model based on the control result (940).
  • the driving-related information recognition step (910) performs a step (910) of recognizing information about objects and driving situations around the vehicle based on the vehicle's sensors and external map-related information while the vehicle is driving.
  • the vehicle can perform autonomous driving using a pre-learned artificial intelligence (AI) driving model.
  • AI artificial intelligence
  • the vehicle can drive on its own in a driving manner that matches the above-mentioned recognized information according to the performance of the autonomous driving mode.
  • the vehicle can recognize various information about objects around the vehicle and the driving situation using external sensors and externally provided data.
  • objects e.g., vehicles, pedestrians, motorcycles, lanes, guardrails, traffic lights, traffic signs, etc.
  • information about the driving situation related to driving/traffic can be recognized using external map-related information such as MAP (ADASIS) and vehicle networking applications such as V2X and 5G.
  • MAP ADASIS
  • V2X and 5G vehicle networking applications
  • the vehicle when the vehicle detects the presence of a passenger, the vehicle may recognize passenger information through an internal sensor (e.g., IMS, etc.). For example, based on the face of the passenger identified through the internal sensor of the vehicle, it may be determined whether the passenger is a registered driver/passenger.
  • the memory of the personal driving system (800) or the memory of a device/server/system linked thereto may store face information, etc., previously saved by the user.
  • the personal driving system (800) performs a step (920) of monitoring information recognized during driving of the vehicle and the passenger's gaze and emotional state regarding the driving of the vehicle. This can be performed simultaneously with the recognition of information about objects around the vehicle and the driving situation described above.
  • the step (920) of monitoring the passenger's gaze and emotional state may determine the passenger's emotional state for a specific object or a specific driving situation by fusing the above-described recognized information and the result of monitoring the passenger's gaze and emotional state. That is, the determination of the passenger's emotional state may be determined by fusing the above-described recognized information and the result of monitoring the passenger's gaze and emotional state.
  • Fusion refers to a method of combining vehicle surrounding objects and driving/traffic-related information acquired from different sensors inside/outside the vehicle and the results of monitoring the emotional state of passengers regarding the driving of the vehicle.
  • passenger reaction information regarding vehicle surrounding objects and driving/traffic-related information acquired by various sensors can be fused to select information that causes a stress emotional state of the passenger.
  • the fusion described above may include an operation of combining various pieces of information according to a known algorithm to produce selected information that causes a stress emotional state of a specific passenger, and may be used in other terms such as combination, blending, fusion, and matching.
  • the personal driving system (800) can determine the passenger's gaze and emotional state (e.g., stress state, tension state, etc.) for a specific object and/or specific driving situation by measuring the passenger's behavior, gaze and pupil, facial expression and emotional change, heart beat based on facial blood flow, etc. through the DMS (Driver monitoring), IMS (Interior monitoring system), OMS (Occupant monitoring system), etc. inside the vehicle.
  • DMS Driver monitoring
  • IMS Interior monitoring system
  • OMS Olecupant monitoring system
  • Heart rate measurement based on facial blood flow is obtained by shining light on the passenger's face, reflecting the light back onto the passenger's face, and obtaining information on the diffuse reflection of facial blood flow using cameras, lidar, etc. included in the DMS, IMS, and OMS, for example.
  • HRV heart rate variability
  • the personal driving system (800) may determine that the passenger's emotion regarding the appearance of the object is a state of stress. Or, for example, if it is determined that the driver's heart rate based on facial blood flow monitored through the DMS and IMS, etc. while the vehicle is being driven matches with the fused information of the gradient of the driving path and the current driving speed, the passenger's emotion regarding such driving style may be determined to be a state of tension.
  • the personal driving system (800) may match information recognized a predetermined time before the time at which the passenger's gaze and emotional state are determined to be in a stressful state with the passenger's gaze and emotional state as being in a stressful or tense state. This assumes that the occurrence of the passenger's stressful state can be monitored a predetermined time after the occurrence of a specific object or a specific situation.
  • the personal driving system (800) may perform a step (930) of controlling at least one of the driving and route of the vehicle to reflect the emotional state of the passenger based on the monitoring.
  • the personal driving system (800) may operate to change one or more of the driving style or driving route associated with a particular object or driving situation, based on the monitoring that the rider is in a state of stress related to that situation.
  • the gap between the vehicle and the vehicle ahead can be set to be shorter than before.
  • the route can be changed to detour to a place with a gentle slope and/or the vehicle’s driving speed can be changed to be driven at a speed lower than the set speed.
  • the personal driving system (800) can further perform a step (940) of learning a vehicle driving model based on the control result reflecting the emotional state of the passenger.
  • the vehicle driving model may be a driving model learned in advance through artificial intelligence (AI) machine learning or reinforcement learning.
  • AI artificial intelligence
  • the input data used in the step (940) of learning the vehicle driving model is selected specific information rather than all recognized information, so it does not require a large amount of input data.
  • end-to-end learning is trained using reinforcement learning of artificial intelligence (AI), so that the control results according to the selected information can be immediately reflected in the driving model. Accordingly, a personalized personal driving model for each passenger can be created and updated.
  • AI artificial intelligence
  • FIGS. 10a and 10b are examples for specifically explaining how to recognize a passenger's stress emotional state and reflect it in the driving control of the vehicle.
  • the personal driving system (800) can collect data related to the passenger's gaze and emotional state by using at least one of the DMS and IMS included in the vehicle (100).
  • the personal driving system (800) can determine whether the passenger's emotional state regarding the actual driving of the vehicle is a state of stress based on the data collected in this manner, the information recognized based on the vehicle's sensors and data provided from the outside, and the actual driving of the vehicle.
  • the above-described information may include various objects around the vehicle and various driving/traffic-related information. For example, it may include situations in which a vehicle is passing next to the vehicle, traffic congestion, a stopped situation at an intersection, pedestrians crossing, a vehicle parked on the shoulder, road surface and weather conditions, a car-free road, guardrails, and large vehicles such as trucks.
  • the driver's gaze (R1) toward a large vehicle in front of the vehicle while driving the vehicle is monitored, for example, by a DMS, i.e., a driver monitoring system (R2) inside the vehicle.
  • the DMS can monitor whether the driver's gaze frequently toward a large vehicle in front of the vehicle and an increase in heart rate based on facial blood flow using a camera equipped with an LED light source or a laser.
  • the personal driving system (800) can identify the emotional state of the driver by fusing the driver information and emotional state with information of a large vehicle recognized as an object around the vehicle. For example, referring to (B) of Fig. 10a, various emotions, such as happiness, anger, sadness, and disgust, can be identified by recognizing changes in facial expressions based on a camera. For example, if anger or disgust is recognized, it can be matched that the driver's emotion is a state of stress.
  • information and emotional state about a specific object being monitored by the driver can be acquired and matched. This can be input as selected information for learning a pre-learned driving model as a personal driving model.
  • the vehicle's driving/route can be controlled to reflect the driver's emotional state.
  • vehicle driving control may include Longitudinal/Lateral Acceleration (Automatic Aggressive/Comfort/Eco), Desired Distance, Driving Speed, Auto lane change, and Lane Offset driving.
  • Examples of vehicle route control may include rolling, motion sickness (traffic light) minimization, and pedestrian minimization.
  • driving control can be performed in stages.
  • Fig. 10b shows an example of step-by-step driving control (1001, 1002, 1003) for the driver's stress emotional state felt by the driver according to the surrounding objects or the vehicle driving situation while looking ahead of the vehicle while driving the vehicle. That is, driving control is performed step-by-step by continuously monitoring whether the driver's stress state is alleviated.
  • Each step can confirm the difference in the driving sensation/acceleration of the vehicle and the degree of change when turning left/right.
  • Fig. 10b it is shown that as the level of driving control increases, the degree of driving sensation/acceleration increases and the degree of change when turning left/right decreases, but this is not limited to this and it is obvious that it can be changed to a different control method/degree.
  • this does not mean controlling driving with a specific value, but means changing the driving control value step by step to find a customized driving style for each driver.
  • the driving can be performed by changing to the second level (1002) driving control. Thereafter, if the emotional state of the driver being continuously monitored is alleviated, the second level (1002) driving control can be maintained, and if not, the driving control can be changed to the third level (1003).
  • FIG. 11 is a flowchart for explaining a method of matching complex cognitive information and passenger emotional state information according to the operation of a personal driving system (800).
  • the data to be used to determine the emotional state of the passenger may vary. Also, if multiple/composite pieces of information are perceived at the same time, the information to be used as the basis for driving/route of the vehicle or how to reflect it when driving/controlling the vehicle may vary.
  • the personal driving system (800) determines whether information recognized based on the vehicle's sensors or external data is related to an object around the vehicle (1101).
  • the emotional state can be monitored based on data related to the passenger's gaze (1102).
  • the personal driving system (800) can determine whether the passenger is in a state of tension by assigning weight to the score of the monitoring result of the passenger's gaze.
  • the emotional state can be monitored based on data related to changes in the passenger's facial temperature and heart rate (1103).
  • the personal driving system (800) can determine whether the passenger is in a stress state by assigning weights to scores for monitoring results of the passenger's facial blood flow-based heart rate.
  • a stress index matching the monitored heart rate can be stored in advance in the form of a table or the like, and the personal driving system (800) can determine the passenger's stress state/degree by matching the weighted scores by stress index.
  • the embodiment may include a step (1104) of determining whether the perceived information matching the stress state of the passenger includes composite information.
  • the vehicle can be controlled in a specific driving manner determined by fusing the specific information and the emotional state or the route can be controlled (1106). For example, by reflecting the combined irritated emotional state regarding the forward overtaking situation of another vehicle, the gap between the vehicle (100) and the preceding vehicle can be set narrower, thereby resolving the forward overtaking situation of another vehicle.
  • the driving/route of the vehicle can be controlled according to the A action (1105).
  • the embodiments of the A action (1105) may vary.
  • the personal driving system (800) can control each driving or route of the vehicle, which matches each piece of recognized complex information, in a direction that alleviates the stress state of the passenger. For example, when the vehicle (100) is driving on a section where there are many vehicles parked on the shoulder ('recognition information 1') and the section is a steep downhill road ('recognition information 2'), if it is determined that the passenger is in a stressed state, the offset distance from the adjacent lane can be set wider ('control 1') and the driving speed of the vehicle can be reduced from the allowable driving speed ('control 2').
  • the personal driving system (800) can selectively weight-control the driving or route of the vehicle that matches one of the recognized composite pieces of information in a direction that alleviates the stress state of the passenger. For example, in the situation of the recognized information 1 and 2 of the above example, control 2 can be selected, and at this time, the reduction in the driving speed of the vehicle can be weight-controlled more.
  • operation A (1105) it is also possible to control driving/route in an optimal manner by monitoring the degree of stress relief of the passenger while performing multiple different control methods.
  • a personal driving model can be created or updated by learning a pre-learned driving model to reflect the results of operation A (1105) or driving/control (1106) of a vehicle.
  • the pre-learned driving model can be pre-trained as learning data required for autonomous driving by processing data collected through various open datasets, for example, various sensors installed in autonomous vehicles, such as cameras and lidars. Accordingly, the vehicle (100) can automatically generate the location, direction, class, properties, etc. of various object images, such as other vehicles, pedestrians, traffic lights, and signs, using the pre-learned driving model.
  • the personal driving model is a driving model generated or updated based on the previously learned driving model described above, and can be trained based on high-density deep reinforcement learning that selectively learns new information (i.e., selected information) based on the passenger's emotional state with respect to perceived information.
  • Such a personal driving model could be an individual driving model learned based on the emotional state of the passenger in response to perceived information, or it could be one of many smaller models linked to a complex model/base model (e.g., a large neural network model for autonomous driving).
  • these personal driving models can be multiple.
  • each of the multiple personal driving models can train each other.
  • multiple versions of personal driving models trained in different ways for one basic driving model can also be generated.
  • a personal driving model can be generated or updated by learning the driving model differently based on a control result that reflects the emotional state of the passenger, depending on the properties of the perceived information.
  • the results after control according to the reflection of the emotional state of the passenger can be compared and determined as input data for updating the driving model.
  • the emotional state of the passenger can be distinguished between cases where it is immediate and one-time (e.g., a sudden appearance of an object) and cases where it persists (e.g., a large vehicle driving side by side in the adjacent lane), and the vehicle driving/route can be reflected differently or whether to update the personal driving model can be determined differently.
  • the personal driving system (800) generates first driving information based on recognized information using a pre-learned driving model.
  • the first driving information includes all control information (e.g., driving speed, driving interval from a preceding vehicle, automatic lane change, etc.) of autonomous driving according to a common autonomous driving mode or a selected driving mode (e.g., ride comfort priority mode, fuel efficiency priority mode).
  • the personal driving system (800) may generate second driving information related to the first driving information based on the emotional state of the passenger with respect to the first driving information, and may learn a previous driving model based on the generated second driving information.
  • the second driving information includes all of the control information (e.g., reduction/increase of driving speed, reduction of driving interval with the preceding vehicle, adjustment of offset interval with the adjacent lane, etc.) changed according to information selected based on the emotional state of the passenger with respect to specific cognitive information.
  • the above-mentioned changed control information means a specific control value for each specific cognitive information.
  • the above-mentioned changed control information can be set to have different specific control values according to the results of continuous monitoring according to the degree of alleviation in the future even for the same stress state of the passenger for the same cognitive information. Accordingly, it is possible to create an autonomous driving and driving model that suits the driving style of each passenger, rather than for a specific purpose (e.g., priority on ride comfort, priority on fuel efficiency, etc.) or a stable average control.
  • FIGS. 12a, 12b, 13a, 13b, 13c, 14a, 14b, 15a, 15b, 16a, and 16b are drawings of various embodiments of controlling driving or path of a vehicle with feedback on the emotional state of a passenger in various driving situations.
  • FIGS. 12a and 12b are specific examples of controlling the driving of a vehicle by reflecting the feeling of threat felt by a vehicle passenger in a situation where a large vehicle is driving side by side in front of the vehicle (100).
  • the personal driving system (800) can recognize information that a large vehicle (1210) is driving in the lane next to the driving lane (1201) of the vehicle (100) through the front camera and radar of the vehicle.
  • the personal driving system (800) can determine, for example, based on the recognized information, that the emotional state of the passenger monitored through the DMS and/or IMS is a state of feeling threatened (e.g., gaze toward the large vehicle (1210) and/or increased heart rate based on facial blood flow, etc.).
  • the personal driving system (800) controls the driving by increasing the offset for the driving lane (1201) according to the determination to widen the gap with the large vehicle (1210), that is, to drive by adjusting the gap in the direction of moving away from the large vehicle (1210).
  • the personal driving system (800) can control driving using a local path planning technique.
  • the local path planning method is a path planning technique (Path Planner) that plans a local path when a Global Path is given or a local goal is set, and is mainly used for evasive driving or deviating driving.
  • Path Planner path planning technique
  • a vehicle (100) is driving autonomously, there may be a case where a cone, etc. blocks the middle of the road due to construction, or a vehicle blocks a part of the driving road due to illegal parking. In such a case, the vehicle can stop and follow the Global Path again after the situation is over, but it is preferable to use local path planning for immediate situation resolution and flexible response.
  • the personal driving system (800) can then determine whether the emotional state of the monitored passenger has been alleviated (e.g., a decrease in the passenger's gaze and/or a decrease in heart rate based on facial blood flow, etc.), and based on the determination, can generate (store) or update a control result according to a local path planning technique as a personal driving model.
  • the emotional state of the monitored passenger e.g., a decrease in the passenger's gaze and/or a decrease in heart rate based on facial blood flow, etc.
  • the personal driving system (800) can restore driving by changing the offset of the vehicle (100) to its previous state when it is recognized that the large vehicle (1210) is no longer driving parallel to the vehicle after control according to the local path planning technique.
  • FIGS. 13a to 13c and FIGS. 15a and 15b show specific embodiments of controlling driving/route based on the emotional state of a monitored passenger while the vehicle is driving a specific section.
  • the personal driving system (800) can recognize that the vehicle (100) is driving in a section that satisfies a specific condition, for example, a first condition, and can determine that the passenger is in a state of stress based on the fusion of the monitoring results of the passenger's emotional state with respect to the recognized information.
  • a specific condition for example, a first condition
  • the section that satisfies the first condition can include various cases where a specific situation occurs in a certain section, such as a section with a lot of parking on the shoulder, a section in a narrow alley, a section with a guardrail next to the driving lane, etc.
  • the personal driving system (800) can change the driving route of the vehicle so that the vehicle drives to avoid the section that satisfies the first condition.
  • the personal driving system (800) can take measures to alleviate the stress felt by the passenger by additionally adjusting at least one of the driving interval and driving speed of the vehicle while driving the section that satisfies the first condition.
  • the personal driving system (800) may set an avoidance route (1322) for the driving route (1321) to preferentially select a road with fewer pedestrians, as shown in FIG. 13b, based on this fusion information.
  • the personal driving system (800) may accompany an action of asking the driver/passenger whether to change the driving route to the avoidance route (1322) through a display in the vehicle (100), etc.
  • the avoidance path (1322) may be a path modification by the Global Path Planning technique.
  • Global Path Planning is a path planning technique from the current location of the vehicle to the driving target point, and the vehicle plans and sets a preliminary path by the global planner whenever a new path is planned.
  • the personal driving system (800) may adjust the direction to increase the offset (1324) between the shoulder (1302) and the driving lane (1301) as shown in FIG. 13c instead of changing the driving path according to the Global Path Planning technique and/or further reduce the driving speed (1323) of the vehicle (100).
  • the personal driving system (800) can determine whether a specific situation determined as the passenger's stress state is for a section satisfying the first condition described above by integrating the emotional states of the passenger monitored at the time when the vehicle (100) enters a section satisfying the first condition (or, first location), at the time when a certain amount of time has passed after entering the section (or, second location), and at the time when the vehicle exits the section (or, third location). In this case, the personal driving system (800) can then specify the section or a similar section and reflect it in the personal driving model so as not to include it in the driving route setting.
  • FIG. 15a illustrates that while a vehicle (100) is driving next to a guardrail (1511) (a), it is determined that the occupant of the vehicle is in a stressed state, and thus the distance between the vehicle and the guardrail (1511), i.e., the offset, is increased from a first distance (1521) to a second distance (1522) (b).
  • the second distance (1522) means that the distance of the vehicle's driving lane (1501) from the guardrail (1511) is increased compared to the first distance (1521).
  • the personal driving system (800) can adjust the offset to the second interval (1522) and, if the emotional state of the passenger is monitored as being alleviated while driving, reflect the adjustment result and store it as a personal driving model.
  • the personal driving system (800) can update the Local Path Planning Model of the vehicle so that, when driving next to a guardrail with the same passenger on board in the future, the offset is automatically adjusted and driven.
  • FIG. 15b is an example of controlling the driving of a vehicle by monitoring the uncomfortable emotional state of a driver/passenger that matches a curve situation while the vehicle (100) is driving.
  • the personal driving system (800) can control driving by adjusting the offset (1523) while it is recognized that it is a curve section (a).
  • the personal driving system (800) can further reduce the driving speed while the vehicle (100) is driving the corresponding curve section, and further reduce the diagram (G-G Diagram) limit value when turning left or right.
  • FIGS. 14a and 14b illustrate embodiments of controlling driving of a vehicle based on the emotional state of a passenger monitored in a complex situation, such as driving on a steep road and a situation where many vehicles are parked on the shoulder.
  • the personal driving system (800) may further reduce the driving speed (e.g., 40 km/h) by reflecting the emotional state of the passenger.
  • the recognition (1412) of whether the road is steep may be estimated, for example, through external data such as a map, or sensing data such as an ESP ECU or an Ineria sensor of the vehicle (100).
  • the vehicle in a complex situation (1411) where a vehicle (100) is driving on a steep road and there are many vehicles parked on the shoulder, 1) the vehicle can drive by reflecting control values for each complex situation, or 2) the vehicle can drive by weighting the control value for one selected situation.
  • the vehicle offset adjustment and driving speed adjustment may be performed together, and the results may be reflected in the personal driving model.
  • the reduction may be further increased through weighting to enable driving. For example, if the driving speed was reduced to 40 km/h in one situation in the above embodiment, the driving speed may be further reduced to 30 km/h or less in a complex situation.
  • Figures 16a and 16b show examples of vehicle driving control in a traffic jam situation when the emotional state of the passenger is matched with feeling uncomfortable based on the perceived information of a vehicle passing in front of the vehicle.
  • the personal driving system (800) can recognize a situation in which an overtaking vehicle (1610) continuously occurs in a traffic jam situation, and can check the uncomfortable emotional state of the driver/passenger monitored through the DMS and IMS of the vehicle.
  • the personal driving system (800) can drive by adjusting the distance between the vehicle (100) and the preceding vehicle (1620) from the first distance (1621) to the second distance (1622), and can reflect this result in the personal driving model.
  • the second distance (1622) is obtained by decreasing the first distance (1621) by a certain value.
  • FIG. 17 illustrates a method for determining a passenger whose emotional state is to be reflected when driving or controlling a route of a vehicle when there are multiple passengers according to an embodiment of the present invention.
  • the personal driving system (800) can determine which passenger's emotional state to reflect.
  • the personal driving system (800) generates a driving model for each passenger when a number of passengers (1701, 1702, 1703, 1704) including the driver are on board the vehicle.
  • the personal driving system (800) can perform vehicle control based on a selected passenger according to specific criteria when multiple passengers (1701, 1702, 1703, 1704) are riding at the same time.
  • the specific criteria can include giving priority to vulnerable groups such as children/elderly people, specific seat criteria, etc.
  • the personal driving system (800) may perform vehicle driving with a weighted control value or based on an average value by considering the emotional states of all passengers.
  • the driving or route can be adjusted by reflecting the emotional state of the driver or passenger regarding the driving situation recognition during autonomous driving of the vehicle, thereby minimizing the sense of incongruity in driving.
  • the driving model can experience a more personalized driving experience.
  • a personalized driving model for each driver or passenger can be managed, a personalized driving can be experienced with only the driver/passenger information regardless of the vehicle.
  • the above-described present invention can be implemented as a computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices that store data that can be read by a computer system. Examples of the computer-readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, etc., and also includes a medium implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • the computer may include a controller/processor of the personal driving system (800).

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 차량의 퍼스널 주행 제어 방법은, 차량의 주행 동안, 차량의 센서 및 외부 맵 관련 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계로 개시된다. 또, 상기 퍼스널 주행 제어 방법은, 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계와, 모니터링에 근거하여 탑승자의 감정 상태를 반영하도록 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계를 포함한다. 또, 상기 퍼스널 주행 제어 방법은, 탑승자의 감정 상태를 반영한 제어 결과를 근거로 차량 주행 모델을 학습하는 단계를 포함한다. 그에 따라, 운전자 또는 탑승자는 보다 개인화된 주행 승차감을 경험할 수 있고, 차량에 관계없이 운전자/탑승자 정보만으로 퍼스널라이즈된 주행 모델을 관리할 수 있다.

Description

차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량
본 발명은 차량의 퍼스널 주행 제어 방법에 관한 것으로, 보다 구체적으로는 탑승자의 감정 상태를 고려한 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 제어 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
차량의 자율주행(automatic driving)은 차량 스스로 판단하여 주행할 수 있는 시스템을 의미한다. 이와 같은, 자율주행은 시스템이 주행에 관여하는 정도와 운전차가 차량을 제어하는 정도에 따라 비자동화부터 완전 자동화까지 점진적인 단계로 구분될 수 있다.
그러나, 이와 같이 시스템의 관여 정도에 따라 운전자 보조 시스템을 사용하여 운전자의 주행을 돕거나 또는 차량이 완전 자동화된 자율주행을 수행하더라도, 운전자나 탑승자의 개별 상태를 고려하지는 않으므로 주행의 이질감이 발생할 수 있다.
예를 들어, 차량이 주행하는 동안 갓길에 출연하는 보행자 등에 지속적으로 노출되는 경우, 운전자나 탑승자에 따라서는 불안감을 더 크게 느끼는 경우가 있다. 또는, 예를 들어, 어떤 운전자나 탑승자는 다른 차량이 차량을 추월하는 상황에 대해 지속적으로 불쾌한 감정을 더 크게 느끼는 경우가 있을 것이다. 또는, 예를 들어, 차량이 법규 규정 속도를 주행하는 경우라도 운전자나 탑승자가 무서움을 더 크게 느끼는 경우가 있을 수 있다.
이와 관련하여, WO1999FR002571 (이하, '선행문헌 1'이라 함)은 운전자의 눈모양이나 눈꺼풀의 변화를 감지하여 운전자 졸음여부를 판단하고, 그에 따라 운전 주위 또는 상황 판단을 경고하는 것에 관해 개시한다. 그러나, 선행문헌 1은 운전자의 상태에 대하여 경고를 해줄 뿐이며, 주행 제어에는 관여하지 않는다는 한계가 있다.
또 다른 문헌, US 2022/0126863 (이하, '선행문헌 2'라 함)은 차량의 센서 정보를 통해 차량 주행 모드를 결정하는 기술과, 각 차량 주행 모드로서 승차감/시간도달 우선/연비 우선 등의 주행 모드를 포함하는 것을 개시한다.
그러나, 선행문헌 2는 탑승자 개인차를 반영하는데 한계가 있다. 또, 선행문헌 2는 매칭되는 주행 상황에서 미리정해진 주행 모드에 따라 주행하는 것이여서 특정 주행 상황에 대하여 개인화된 주행을 수행하기에는 어려움이 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일부 실시 예에 따르면, 차량의 자율주행시 운전자 또는 탑승자가 느낄 수 있는 주행 이질감을 최소화할 수 있는 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 차량의 자율주행동안 운전자 또는 탑승자가 느끼는 감정 상태를 반영하여 적응적으로 주행을 제어할 수 있는 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 차량의 운전자 또는 탑승자의 감정 상태를 반영하여 개인화된 주행 모델을 생성할 수 있는 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량을 제공하는데 그 목적이 있다.
이를 위해, 본 발명의 실시 예에 따른 차량의 퍼스널 주행 제어 방법은, 차량의 주행 동안 인식된 정보에 대한 운전자/탑승자의 감정 상태를 반영하여, 차량의 주행을 적응적으로 조절하거나 경로를 변경할 수 있다.
또한, 인식된 정보에 대한 운전자/탑승자의 감정 상태를 반영한 제어 결과를 선별된 입력 데이터로 사용하여 주행 모델을 학습시킬 수 있다. 그에 따라, 운전자/탑승자별 맞춤 주행 모델로 관리가 가능하다.
구체적으로, 본 발명의 실시 예에 따른 차량의 퍼스널 주행 제어 방법은, 다음의 단계를 포함할 수 있다. 상기 퍼스널 주행 제어 방법은, 차량의 주행 동안, 차량의 센서 및 외부 맵 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계와, 상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계; 상기 모니터링에 근거하여, 상기 탑승자의 감정 상태를 반영하도록 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계를 포함할 수 있다. 또한, 상기 퍼스널 주행 제어 방법은, 상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 차량 주행 모델을 학습하는 단계를 더 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링하는 단계는, 상기 차량에 포함된 DMS 및 IMS 중 적어도 하나를 이용하여 탑승자의 시선 및 감정 상태와 관련된 데이터를 수집하는 단계; 및 상기 수집된 데이터에 근거하여, 각 인지된 정보와 차량의 주행에 대한 탑승자의 감정 상태가 스트레스 상태인지를 판단하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링하는 단계는, 상기 인지된 정보가 차량 주변의 오브젝트와 관련된 것이면 탑승자의 시선과 관련된 데이터에 근거하여 감정 상태를 모니터링하고, 상기 인지된 정보가 차량 주변의 오브젝트와 다른 속성에 관한 것이면 탑승자의 얼굴 온도 변화 및 심박수와 관련된 데이터에 근거하여 감정 상태를 모니터링하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링하는 단계는, 상기 스트레스 상태에 매칭되는 인지된 정보가 복합적 정보를 포함하는 것으로 결정하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 제어하는 단계는, 상기 복합적 정보 각각에 매칭되는 차량의 주행 또는 경로 각각을, 상기 탑승자의 스트레스 상태를 완화하는 방향으로 제어하는 단계일 수 있다.
또한, 실시 예에 따라, 상기 제어하는 단계는, 상기 복합적 정보 중 선택된 하나에 매칭되는 차량의 주행 또는 경로를, 상기 탑승자의 스트레스상태를 완화하는 방향으로 가중 제어하는 단계일 수 있다.
또한, 실시 예에 따라, 상기 주행 모델을 학습하는 단계는, 상기 인지된 정보의 속성에 따라 상기 제어 결과를 기초로 하는 주행 모델을 다르게 학습하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 주행 모델을 학습하는 단계는, 미리 학습된 주행 모델을 사용하여 상기 인지된 정보를 기초로 하는 제1주행정보를 생성하고, 상기 제1주행정보에 대한 탑승자의 감정 상태를 기초로 상기 제1주행정보와 관련된 제2주행정보를 생성하고, 상기 제2주행정보를 기초로 상기 주행 모델을 학습하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링 하는 단계는, 상기 차량의 주행차선과 나란히 주행하는 다른 차량의 존재를 인지하고, 인지된 정보에 대한 탑승자의 스트레스 감정 상태를 모니터링하는 단계를 포함하고, 상기 제어하는 단계는, 상기 다른 차량이 나란히 주행하는 동안 상기 차량의 주행도로에 대한 오프셋을 상기 다른 차량과 멀어지는 방향으로 조절하는 단계; 및 상기 다른 차량이 더 이상 나란히 주행하지 않는 것으로 인지되면 상기 차량의 주행도로에 대한 오프셋을 이전 상태로 전환하여 주행하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링 하는 단계는, 상기 차량이 제1조건을 만족하는 구간을 주행하는 것을 인지하고, 인지된 정보에 대한 탑승자의 스트레스 감정을 모니터링하는 단계를 포함할 수 있고, 상기 제어하는 단계는, 상기 차량이 상기 제1조건을 만족하는 구간을 피하여 주행하도록 상기 차량의 주행 경로를 변경하거나 상기 제1조건을 만족하는 구간을 주행하는 동안 주행간격 및 주행속도 중 적어도 하나를 추가로 조절하는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링하는 단계는, 상기 차량이 경사가 급한 도로를 주행하는 동안 탑승자의 스트레스 감정을 모니터링하는 단계를 포함할 수 있고, 상기 제어하는 단계는, 상기 탑승자의 스트레스 감정의 정도에 대응하여 상기 차량의 주행 속도를 추가로 감소시키는 단계를 포함할 수 있다.
또한, 실시 예에 따라, 상기 모니터링하는 단계는, 상기 차량의 전방 추월차량에 대한 탑승자의 스트레스 감정을 모니터링하는 단계를 포함하고, 상기 제어하는 단계는, 상기 탑승자의 스트레스 감정을 반영하도록, 상기 차량과 앞차량 간의 간격을 좁게 재설정하여 주행하는 단계를 포함할 수 있다.
또한 본 발명의 실시 예에 따른 차량의 퍼스널 주행 시스템은, 차량의 주행 동안 차량의 센서의 센싱 데이터 및 외부 맵 정보를 수신하는 인터페이스부와, 상기 수신된 센싱 데이터 및 외부 맵 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 인지부와, 판단부, 및 제어부를 포함할 수 있다. 여기서, 상기 판단부는, 상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하고 상기 모니터링에 근거하여 상기 탑승자의 감정 상태를 반영하여 차량의 주행 및 경로 중 적어도 하나의 변경 여부를 결정할 수 있다. 또, 상기 제어부는, 상기 결정에 따라 차량의 주행 및 경로 중 적어도 하나의 제어하고, 상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 주행 모델을 학습하도록 제어할 수 있다.
또한, 본 발명의 실시 예에 따른 기록매체에 기록된 컴퓨터 프로그램은, 메모리; 송수신기; 상기 메모리에 저장된 명령어를 처리하는 프로세서를 포함하여 구성된 컴퓨팅 장치와 결합되어, 상기 프로세서로 하여금 다음의 동작들을 수행하도록 할 수 있다. 상기 동작들은, 차량의 주행 동안, 차량의 센서 및 외부 맵 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계; 상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계; 상기 모니터링에 근거하여 상기 탑승자의 감정 상태를 반영하도록, 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계; 상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 주행 모델을 학습하는 단계를 포함할 수 있다.
본 발명에 따른 차량의 퍼스널 주행 제어 방법, 시스템, 및 컴퓨터 기록매체의 효과에 대해 설명하면 다음과 같다.
본 발명의 적어도 일부 실시 예에 따르면, 차량의 자율주행시 주행 상황 인식에 대한 운전자 또는 탑승자의 감정 상태를 반영하여 주행 또는 경로를 조절함으로써, 주행의 이질감을 최소화할 수 있다.
또한, 본 발명의 적어도 일부 실시 예에 따르면, 자율주행시 주행 상황 인식에 대한 운전자 또는 탑승자의 감정 상태를 반영한 결과를 기초로 주행 모델을 업데이트함으로써, 운전자 또는 탑승자는 보다 개인화된 주행 승차감을 경험할 수 있다.
또한, 본 발명의 적어도 일부 실시 예에 따르면, 운전자 또는 탑승자별 퍼스널라이즈된 주행 모델을 관리할 수 있으므로, 차량에 관계없이 운전자/탑승자 정보만으로 퍼스널라이즈된 주행을 경험할 수 있다.
도 1은 본 발명의 실시예와 관련된 차량의 예시를 도시한 도면이다.
도 2는 본 발명의 실시예와 관련된 차량을 다양한 각도에서 본 도면이다.
도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 및 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예와 관련된 차량과 퍼스널 주행 시스템을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예에 관련된 퍼스널 주행 시스템의 개념적인 구성을 설명하기 위한 블럭도이다.
도 9는 본 발명의 실시예에 관련된 차량의 퍼스널 주행 제어 방법을 설명하기 위한 대표 흐름도이다.
도 10a 및 도 10b는 본 발명의 실시예에 관련된 탑승자의 스트레스 감정 상태를 인지하여 차량의 주행 제어에 반영하는 것을 구체적으로 설명하기 위한 도면들이다.
도 11은 본 발명의 실시예에 관련된 복합적 인지 정보와 탑승자 감정 상태를 매칭시키는 방법을 설명하기 위한 흐름도이다.
도 12a, 도 12b, 도 13a, 도 13b, 도 13c, 도 14a, 도 14b, 도 15a, 도 15b, 도 16a, 도 16b는 다양한 주행 상황에서 탑승자의 감정 상태에 대한 피드백으로 차량의 주행 또는 경로를 제어하는 다양한 실시 예들에 관한 도면들이다.
도 17은 본 발명의 실시예에 따라 탑승자가 다수인 경우, 차량의 주행 또는 경로의 제어시 감정 상태를 반영할 탑승자를 결정하는 방법을 설명하기 위한 도면이다.
도 1 및 도 2는 본 발명의 실시 예와 관련된 차량의 외관이고, 도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 도시한 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다. 도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다. 차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다. 예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다. 예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(210)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(이하, '제어부'로 명명될 수 있음)(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다. 사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다. 변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명의 실시 예들에서, '운전자', '탑승자', '운전자 또는 탑승자(운전자/탑승자)'는 본 발명의 실시 예에 따라 퍼스널 주행 제어를 수행할 수 있는 차량에 탑승한 운전자, 승객, 동승자, 탑승자 등을 의미하며, 한명 이상일 수 있다.
또한, 본 발명의 실시 예들에서, '차량'은 인공지능(AI)에 의해 자율주행을 수행할 수 있는 차량 또는 그러한 서비스를 제공받을 수 있는 차량을 의미하는 것으로 사용되었다.
또한, 본 발명의 실시 예들에서, '퍼스널 주행 시스템'은 차량에 포함된 지능형 운전자 보조 시스템(ADAS, Advanced Driver Assistance Systems), 자율주행 시스템(ADS, Autonomous Driving System), 및/또는 완전자율주행시스템(FSD, Full Self Driving)을 모두 포함하거나 이러한 서비스를 제공할 수 있는 별도 시스템/장치/서버 등과 연동하는 시스템을 의미하는 것으로 사용되었다.
도 7에 도시된 바와 같이, 본 발명의 실시 예에 따른 퍼스널 주행 시스템(800)은 차량(100) 내에 제공될 수 있다.
퍼스널 주행 시스템(800)은 차량(100)이 자율주행을 수행하는 동안 모니터링되는 탑승자의 감정 상태를 반영하여 차량의 주행이나 경로를 조절하도록 동작할 수 있다. 또한, 퍼스널 주행 시스템(800)은 탑승자의 감정 상태를 반영한 제어 결과를 기초로 차량(100)의 주행 모델을 학습하거나 업데이트하도록 동작한다.
실시 예에 따라, 퍼스널 주행 시스템(800)은 전술한 ADAS 시스템, ADS 시스템, FSD 시스템 중 어느 하나이거나 이에 포함되는 일부 구성일 수 있다.
퍼스널 주행 시스템(800)은 미리 학습된 주행 모델을 포함하거나 또는 이와 연동하여 주행 모델 학습을 수행하도록 동작할 수 있다.
여기서, 상기 미리 학습된 주행 모델은, 인공지능(AI)의 기계 학습, 강화 학습(예, 딥러닝 기술을 이용한 고밀도 심층 강화 학습, 시뮬레이터를 활용한 강화 학습 등), 종단간 학습(end-to -end learning) 등을 통해 자율 주행 기술을 훈련한 주행 모델일 수 있다. 다만, 상기 미리 학습된 주행 모델이 여기에 기술된 학습 방식 이외에 다른 학습 방식을 이용하여 훈련될 수 있음은 물론이다.
차량(100)의 자율주행에 사용될 수 있는 인공지능(AI)의 기계 학습에 사용되는 데이터로 차량(100)에 설치된 다양한 종류의 센서에 의해 수집된센서값들이 포함될 수 있다. 예를 들어, 상기 차량의 자율주행에 사용될 수 있는 인공지능(AI)의 기계 학습에사용되는 데이터들로 차량에 설치된 카메라(camera), 레이더(radar), 라이다(lidar), 초음파 센서(ultrasonic sensor) 등이 포함될 수 있다.
퍼스널 주행 시스템(800)은 차량(100) 내 센서, 주행과 관련된 외부 데이터에 기초하여 인지된 정보와 매칭되는 탑승자의 감정 상태를 모니터링한다. 여기에서, 탑승자의 감정 상태의 모니터링은 인지된 정보에 따라 차량(100)을 주행하는 동안 차량 내부의 센서를 통해 감지되는 탑승자의 스트레스 상태를 검출하는 것을 의미한다.
퍼스널 주행 시스템(800)은 탑승자의 감정 상태를 모니터링하여, 상기 인지된 정보 중 탑승자의 스트레스 감정을 야기하는 정보를 선별하고 결정한다. 퍼스널 주행 시스템(800)은 상기 결정에 따라 탑승자의 스트레스 감정을 완화할 수 있도록 차량(100)의 주행 및/또는 경로를 조절하도록 동작한다.
여기에서, 차량(100)의 주행 및/또는 경로를 조절하는 것은, 퍼스널 주행 시스템(800)을 통해 차량의 주행과 관련된 주행 제어값을 생성 및/또는 변경하거나 그리고/또는 차량의 현재 주행 경로를 적어도 일부 우회/회피하거나 새로운 경로를 생성하는 것을 모두 포함할 수 있다.
퍼스널 주행 시스템(800)은 탑승자의 감정 상태를 반영하여 차량(100)의 주행 및/또는 경로를 제어한 결과를 입력값으로 하여, 상기 미리 학습된 주행 모델을 학습시킬 수 있다. 이와 같이 탑승자의 감정 상태를 반영하도록 추가 학습된 주행 모델을 본 발명에서는 '퍼스널 주행 모델'로 명명하기로 한다.
'퍼스널 주행 모델'은 탑승자의 감정 상태를 즉각 반영하도록 학습되는 점에서 인공지능(AI)의 종단간 학습을 사용한다고 말할 수 있다. 또, '퍼스널 주행 모델'은 모든 인지된 정보를 사용하는 것이 아니라, 탑승자의 스트레스 상태와 매칭되는 인지 정보를 선별 데이터로 사용하는 점에서 딥러닝 기술을 고도화한 고밀도 심층 강화 학습(D2RL)을 사용한다고 말할 수 있다. 다만, '퍼스널 주행 모델'의 학습이 전술한 학습 방법에 제한되는 것을 의미하지 않는다.
퍼스널 주행 시스템(800)은 탑승자 정보와 퍼스널 주행 모델을 매칭하여 저장 및 관리할 수 있다. 그에 따라, 탑승자가 다른 차량에서 주행/탑승하더라도 탑승자의 인식만으로 퍼스널라이즈된 주행 모델에 따른 주행을 경험할 수 있다.
도 8은 본 발명의 실시예에 관련된 퍼스널 주행 시스템(800)의 개념적인 구성을 설명하기 위한 블럭도이다. 도 8의 퍼스널 주행 시스템(800)은 도 7에 도시된 바와 같이 차량(100) 내에 구현될 수도 있으나, 차량(100)과 별개의 시스템으로 구현될 수 있음은 물론이다.
퍼스널 주행 시스템(800)은, 자율주행차량에 탑승한 운전자/탑승자의 감정상태를 반영하여 차량의 주행 스타일 및 주행 경로를 적응적으로 조절할 수 있도록 동작한다. 이를 위해, 퍼스널 주행 시스템(800)은 크게 인지부(A), 판단부(B), 및 제어부(C)를 포함할 수 있다. 또, 퍼스널 주행 시스템(800)은 외부로부터/외부로 데이터/정보를 수신하거나/전송하기 위한 인터페이스부(미도시)를 포함할 수 있다.
인지부(A)는 탑승자 인지 모듈(10)과 주행 상황 인지 모듈(20)을 포함할 수 있다. 탑승자 인지 모듈(10)은 탑승자에 관한 정보와 탑승자의 감정 상태를 인지하고, 주행 상황 인지 모듈(20)은 차량의 주행과 관련된 정보를 인지한다.
이를 위해, 인지부(A)는 인터페이스부를 통해, 차량 주행 동안 탑승자 인지 모듈(10)과 주행 상황 인지 모듈(20)에 의해 수집되는 데이터를 차량(100)이나 외부로부터 수신한다.
탑승자 인지 모듈(10)은 차량 내부/외부 센서를 이용하여 탑승자 정보, 주행중 탑승자의 시선, 주행중 탑승자의 감정 상태를 인지할 수 있다. 구체적으로, 탑승자 인지 모듈(10)은 차량 내부의 DMS(Driver monitoring system) 및/또는 IMS(Interior monitoring system)를 이용하여, 차량에 탑승한 운전자/탑승자의 정보, 시선, 행동, 및 표정변화, 얼굴 혈류량 기반 심박수, 및/또는 기타 다른 생체신호에 기반하여 운전자/탑승자의 감정 상태를 인지할 수 있다.
또한, 비록 자세히 도시되지는 않았지만, 탑승자 인지 모듈(10)은 차량 내부의 다른 추가 센서를 통해 모니터링되는 운전자의 행동을 모니터링하여 운전자의 감정 상태를 인지할 수도 있다. 예를 들어, 차량의 스티어링 휠(핸들)에 설치된 그립/터치센서를 통해 감지되는 운전자의 핸들 그립/터치의 강도, 횟수, 간격 등을 결합하여, 운전자가 갑작스럽게 핸들을 잡는 경우로 판단된 경우 긴장 상태인 것으로 결정할 수 있다. 또는, 예를 들어 차량의 브레이크를 밟는 횟수 강도, 횟수, 간격 등을 결합하여, 운전자가 갑자기 브레이크를 밟는 것으로 판단되는 경우 긴장 상태인 것으로 결정할 수 있을 것이다. 이는, DMS 및/또는 IMS만으로는 모니터링되지 않는 운전자의 긴장 상태를 인지하도록 돕는다.
한편, DMS(Driver monitoring system) 및/또는 IMS(Interior monitoring system)는 운전자/탑승자 모니터링 시스템으로, 예를 들어 LED 광원 또는 레이저가 장착된 운전자용/탑승자용 카메라를 사용하여 운전자/탑승자의 얼굴을 확인하고 눈동자를 추적할 수 있다.
탑승자 인지 모듈(10)은 DMS 및/또는 IMS를 이용하여 운전자/탑승자 얼굴을 확인하여 등록된 정보를 확인하고, 등록된 운전자/탑승자인 경우 저장된 퍼스널 주행 모델이 있는지를 확인하여 호출할 수 있다. 운전자/탑승자의 얼굴을 확인한 결과 미등록된 경우이면, 운전자/탑승자의 성별, 나이대(예, 노인, 어린이 등) 등의 기본 정보와 상태(예, 업무중인지, 졸린 상태인지 등)를 확인함으로써, 미리 학습된 기본 주행 모델을 호출하거나 또는 유사한 퍼스널 주행 스타일을 확인하여 호출할 수 있다.
DMS 및/또는 IMS는 운전자용/탑승자용 카메라를 통해 수집된 데이터(예, 눈깜빡임, 머리각도, 얼굴 혈류량, 전방주시여부, 하품, 졸음, 흡연, 또는 산만한 상태여부 등)를 기초로 운전자/탑승자의 상태를 모니터링할 수 있다. 예를 들어, DMS 및/또는 IMS는 확인된 운전자/탑승자의 얼굴 표정 변화 및 얼굴 혈류량에 기반하여 긴장, 무서움, 스트레스 등의 감정 상태를 모니터링할 수 있다.
주행 상황 인지 모듈(20)은 차량 외부 센서 및 외부 제공 데이터를 이용하여, 차량 주변 오브젝트와 주행 상황에 대한 정보를 인지할 수 있다.
구체적으로, 주행 상황 인지 모듈(20)은 차량 외부의 카메라(Camera) 및 라이다(Lidar)를 이용하여 주행중 차량 주변의 오브젝트(예, 차량, 보행자, 오토바이, 차선, 가드레일, 신호등, 교통표지판 등)를 인지할 수 있다.
여기에서, 상기 라이다는 차량(100)에 설치되어 차량(100)의 주위에 레이저 펄스(laser pulse)를 방사하고, 차량(100) 주변에 위치한 오브젝트에 의해 반사되어 돌아온 빛을 감지함으로써, 차량(100) 주변에 대한 3차원 이미지(보다 정확하게는 그에 대응하는 3D 포인트 그룹 데이터)를 생성할 수 있다. 또한, 상기 외부의 카메라는 차량(100)에 복수개 설치되어 차량(100)의 주변에 대한 2차원 이미지를 획득할 수 있다. 다른 실시 예에서는, 상기 차량 외부 센서로, ADAS(Advanced Driver Assistance Systems)에 포함되는 센서들, 예를 들어 레이더, 초음파, 라이다, 카메라가 모두 사용될 수도 있을 것이다.
또한, 주행 상황 인지 모듈(20)은 MAP(ADASIS) 등에 의한 외부 맵 관련 정보와 그리고/또는 V2X, 5G 등에 의한 차량 네트워킹 애플리케이션을 통해 주행/교통 관련 정보를 인지할 수 있다. 예를 들어, 주행 상황 인지 모듈(20)은 MAP(ADASIS), V2X, 5G 등을 이용하여, 교통사고 다발지역 정보, Live Traffic 정보, 공사 구간 정보, 재난 정보, 행사로 인한 교통 통제 정보(예, 축제/마라톤 등)를 인지할 수 있다. 또, 예를 들어, 주행 상황 인지 모듈(20)은 MAP(ADASIS), V2X, 5G 등을 이용하여, 갓길 유무 여부에 대한 정보, 시간, 통행량 및 주행 속도, 급정거 및 교통체증, 비상등 정보 등의 주행 관련 정보 뿐만 아니라, 날씨 정보(예, 눈/비(wiper/Black ice 탐지) 등)를 인지할 수도 있다.
판단부(B)는, 이와 같이 인지부(A)를 통해 인지된 정보와 차량(100)의 주행(또는 주행 모드/시나리오)에 대한 탑승자의 시선 및 감정 상태의 모니터링(820)에 근거하여 탑승자의 감정 상태를 반영한 주행 스타일의 변경 여부를 결정할 수 있다. 여기에서, 주행 스타일의 변경이란 차량의 주행 방식(예, 주행 속도, 앞차와의 간격, 옆 차선/가드레일과의 간격 등)이나 주행 경로 중 적어도 하나를 탑승자의 감정 상태가 완화될 수 있도록 변경하는 것을 의미한다.
판단부(B)는 인지부(A)를 통해 인지된 정보와 차량의 주행에 매칭하여 모니터링된 탑승자의 시선 및 감정 상태가 스트레스 상태 또는 편안한 상태인지를 판단하는 모니터링(820)을 수행할 수 있다.
여기에서, 스트레스 상태란, 교감 신경계가 활성화된 상태로서, (예를 들어, 탑승자 얼굴 혈류량에 기반한) 탑승자의 불안, 불쾌, 긴장, 화남, 짜증, 무서움 등과 같은 부정적인 감정 상태인 것을 의미한다. 예를 들어, DMS 및/또는 IMS 를 통해 모니터링되는 운전자/탑승자의 얼굴 혈류량 증가, 불안한 시선 움직임, 추가 센서를 통해 감지되는 급작스런 핸들 그립, 브레이크 동작 등에 발생시 (다만, 이러한 이벤트 발생이 일정 횟수 이상 모니터링되는 경우 스트레스 상태로 인지하도록 동작할 수 있음) 스트레스 상태에 놓여있는 것으로 인지될 수 있다. 또, 편안한 상태란, 자율신경계의 부교감 신경계가 활성화된 상태로서, 탑승자가 전술한 부정적인 감정 상태에 놓이지 않은 평상시 상태를 의미한다.
판단부(B)는 인지부(A)를 통해 인지된 정보들, 즉 차량 주변의 오브젝트/주행 상황 정보와 운전자/탑승자의 시선 및 감정 상태의 모니터링 결과 융합하여, 운전자/탑승자의 특정 오브젝트나 특정 주행 상황에 대한 감정 상태(예, 혈류량 기반의 스트레스 상태 등)를 획득한다. 판단부(B)는 획득된 결과를 근거로 현재 주행 스타일의 변경 여부를 결정할 수 있다.
제어부(C)는, 상기 결정에 따라 차량의 주행 및 경로 중 적어도 하나를 제어하도록 동작할 수 있다(830). 또, 제어부(C)는 운전자/탑승자의 감정 상태를 반영한 제어 결과를 근거로 주행 모델을 인공지능(AI)의 학습을 수행하도록 제어할 수 있다(850).
구체적으로, 제어부(C)는, 차량(100) 주변 오브젝트와 외부 정보 중 탑승자의 감정 상태가 스트레스 상태인 것으로 모니터링된 선별된 정보를 기초로 차량의 주행/경로를 제어하고, 이를 기초로 주행 모델을 학습하여 퍼스널 주행 모델을 생성하거나 업데이트할 수 있다.
이때, 주행 모델은 미리 학습된 주행 모델이며, 인식된 모든 정보가 아닌 선별된 정보를 기초로 강화학습을 수행하므로 방대한 양의 입력 데이터를 요구하지 않는다. 이때, 선별된 정보는, 이를 기초로 차량의 주행 스타일을 즉시 변경하는 종단간 학습(end-to-end learning)을 수행하기 위한 입력데이터일 수 있다. 즉, 선별된 정보란, 단순히 센서나 외부 데이터를 의미하는 것이 아니라 이에 대한 탑승자의 시선 및 감정 상태에 따라 조절된 주행 제어값 또는 경로 제어값을 의미하는 퍼스널라이즈된 정보이다. 따라서, 상기 선별된 정보는, 동일한 센싱값/외부 데이터값을 기초로 특정 제어값 또는 특정 주행 모드의 제어값과는 다르다.
이와 같이 본 발명의 실시 예에 따른 퍼스널 주행 시스템(800)에 의하면, 운전자/탑승자별 퍼스널라이즈된 주행 모델을 학습시킨다는 점에서 승차 이질감 해소가 가능하다. 다만, 퍼스널라이즈된 주행 모델은, 거대 신경망과 연결된 다수의 네트워크 신경망 중 일부를 학습하거나 또는 오리지널 버전의 업데이트 버전을 학습한 것일 수 있다. 이러한 경우, 퍼스널라이즈된 주행 모델은, 탑승자 정보 전송시 함께 전송되거나, 탑승자 정보 삭제시 함께 삭제되는 방식으로 관리될 수 있을 것이다.
도 9는 본 발명의 실시예에 관련된 차량의 퍼스널 주행 제어 방법을 설명하기 위한 대표 흐름도이다.
도 9에 도시된 각 단계들은, 퍼스널 주행 시스템(800)의 각 구성(도 8의 인지부(A), 판단부(B), 제어부(C) 또는 컨트롤서/프로세서(미도시)), 퍼스널 주행 제어 서비스를 제공하는 차량(100)의 프로세서, 또는 퍼스널 주행 제어 서비스를 제공하는 서비스 플랫폼에 의해 수행될 수 있다. 다만, 이하에서는 설명의 편의를 위해 퍼스널 주행 시스템(800)으로 기술하였다. 또한, 도 9에 도시된 퍼스널 주행 제어 방법은 차량(100)의 주행 모드가 퍼스널 주행 모드로 동작하도록 활성화된 것을 전제로 수행될 수 있다.
본 발명의 실시 예에 따른 퍼스널 주행 방법은, 주행 관련 정보의 인지 단계(910), 탑승자 감정 상태의 모니터링 단계(920), 인지된 정보와 탑승자 감정 상태의 퓨전에 기초한 주행/경로 제어 단계(930), 및 제어 결과를 기초로 한 주행 모델 학습 단계(940)를 포함한다.
주행 관련 정보의 인지 단계(910)는, 차량의 주행 동안, 차량의 센서 및 외부 맵 관련 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계(910)를 수행한다.
차량은 미리 학습된 인공지능(AI)의 주행 모델을 이용하여 자율주행을 수행할 수 있다. 또한, 차량은 자율주행모드의 수행에 따라 상기 인지된 정보에 매칭되는 주행 방식대로 스스로 주행을 수행할 수 있다.
또한, 차량은 주행을 수행하는 동안, 차량 외부 센서 및 외부 제공 데이터를 이용하여 차량 주변의 오브젝트와 주행 상황에 대한 다양한 정보를 인지할 수 있다. 구체적으로, 차량(100)의 외부 카메라(Camera) 및 라이다(Radar)를 이용하여 차량 주변의 오브젝트(예, 차량, 보행자, 오토바이, 차선, 가드레일, 신호등, 교통표지판 등)를 인지할 수 있다. 또, MAP(ADASIS) 등을 통한 외부 맵 관련 정보와 V2X, 5G 등에 의한 차량 네트워킹 애플리케이션을 통해 주행/교통과 관련된 주행 상황에 대한 정보를 인지할 수 있다.
실시 예에 따라, 차량은 탑승자의 탑승이 감지되면, 차량 내부 센서(예, IMS 등)를 통해 탑승자 정보를 인지할 수 있다. 예를 들어, 차량 내부 센서를 통해 확인된 탑승자의 얼굴을 기초로, 기등록된 운전자/탑승자인지를 판단할 수 있다. 이를 위해, 퍼스널 주행 시스템(800)의 메모리 또는 이와 연동된 장치/서버/시스템의 메모리에는 사용자에 의해 미리 저장된 얼굴 정보 등이 저장될 수 있을 것이다.
계속해서, 퍼스널 주행 시스템(800)은 차량의 주행 동안 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계(920)를 수행한다. 이는, 전술한 차량 주변의 오브젝트 및 주행 상황에 대한 정보의 인지와 동시에 수행될 수 있다.
실시 예에 따라, 탑승자의 시선 및 감정 상태를 모니터링하는 단계(920)는 상기 인지된 정보와 탑승자의 시선 및 감정 상태의 모니터링 결과를 퓨전(융합)하여, 탑승자의 특정 오브젝트나 특정 주행 상황에 대한 감정 상태를 결정할 수 있다. 즉, 탑승자의 감정 상태의 결정은, 전술한 인지된 정보와 탑승자의 시선 및 감정 상태 모니터링 결과를 퓨전(융합)하여 결정될 수 있다.
퓨전(융합)은 차량/외부의 서로 다른 센서로부터 획득된 차량 주변 오브젝트 및 주행/교통 관련 정보와 차량의 주행에 대한 탑승자의 감정 상태 모니터링 결과를 결합하는 방식을 의미한다. 상기 퓨전(융합) 방식에 따라 다양한 센서에 의해 파악되는 차량 주변 오브젝트 및 주행/교통 관련 정보에 대한 탑승자의 반응 정보를 퓨전하여, 탑승자의 스트레스 감정 상태를 야기하는 정보를 선별할 수 있다. 한편, 전술한 퓨전(융합)은 다양한 다수의 정보들을 알려진 알고리즘에 따라 결합하여, 특정 탑승자의 스트레스 감정 상태를 발생시키는 선별된 정보로 산출하는 동작을 포함할 수 있으며, 결합, 조합, 융합, 정합 등의 다른 용어로 사용될 수 있다.
한편, 퍼스널 주행 시스템(800)은, 차량 내부의 DMS(Driver monitoring), IMS(Interior monitoring system), OMS(Occupant monitoring system) 등을 통해 탑승자 행동, 시선 및 동공, 얼굴표정 및 감정변화, 얼굴 혈류량 기반의 심박수(Heart beat) 등을 측정함으로써, 특정 오브젝트 및/또는 특정 주행 상황에 탑승자의 시선 및 감정 상태(예, 스트레스 상태, 긴장 상태 등)를 결정할 수 있다.
얼굴 혈류량 기반의 심박수(Heart beat) 측정은, 예를 들어 DMS, IMS, OMS에 포함된 카메라, 라이다 등을 이용하여, 탑승자의 얼굴에 빛을 비추고, 탑승자 얼굴에 빛을 정반사시켜서, 얼굴의 혈류가 확산 반사시키는 정보를 통해 획득된다.
이러한 비접촉식 방식의 심박수 데이터가 획득되면, 시간에 따른 심장박동의 주기적 변화인 심장박동변이도(HRV)를 확인할 수 있는데, 이를 통해 탑승자의 감정 상태가 스트레스 상태인지를 결정할 수 있다.
일반적으로, 사람이 스트레스를 받게 되면 교감 신경계가 활성화되며, 교감 신경계 활성화시에는 심박수가 높아지는 현상을 보인다. 또한, 건강한 사람의 경우, HRV 변동성이 크고 복잡하게 나타나지만, 스트레스가 높은 상태에서는 복잡도가 현저히 감소한다. 따라서, 심박수 증가와 HRV의 변동성 및 복잡도가 감소하게 되면, 탑승자가 스트레스 상태인 것으로 결정할 수 있을 것이다.
예를 들어, 퍼스널 주행 시스템(800)은, 차량의 주행 동안 DMS 및 IMS 등을 통해 모니터링되는 운전자의 시선과 차량 전방 카메라를 통한 오브젝트의 위치가 일정시간/횟수 이상 일치(매칭)되고, 얼굴 혈류량 기반의 심박수 증가가 검출되면, 해당 오브젝트 출연에 대한 탑승자의 감정이 스트레스 상태인 것으로 판단할 수 있다. 또는, 예를 들어, 차량의 주행 동안 DMS 및 IMS 등을 통해 모니터링되는 운전자의 얼굴 혈류량 기반의 심박수 증가와 주행 경로의 경사도 및 현재 주행 속도의 융합된 정보가 매칭되는 것으로 결정되는 경우, 그러한 주행 스타일에 대한 탑승자의 감정이 긴장 상태인 것으로 판단할 수 있다.
한편, 레이더를 활용한 방식은 FMCW(Frequency-Modulated Continuous Wave) 방식이나, PPG(Photoplethysmogram) 센서를 이용한 방식, 특징점 추출 기법인 Blaze Face를 이용한 다양한 방식을 통해 얼굴 혈류량 기반의 심박수 측정이 가능하다. 또한, 여기에 언급되지 않은 다른 센서/알고리즘 등을 사용하여 탑승자의 감정 상태가 스트레스 상태인지를 결정할 수도 있을 것이다.
또 다른 실시 예에서, 퍼스널 주행 시스템(800)은, 탑승자의 시선 및 감정 상태가 스트레스 상태인 것으로 결정된 시점을 기준으로 소정 시간 이전에 인지된 정보를 탑승자의 시선 및 감정 상태가 스트레스 또는 긴장 상태인 것으로 매칭시킬 수 있다. 이는, 탑승자의 스트레스 상태의 발생이 실제 특정 오브젝트나 특정 상황의 발생 후 일정 시간 후에 모니터링될 수 있음을 전제한 것이다.
계속해서, 퍼스널 주행 시스템(800)은, 상기 모니터링에 근거하여, 탑승자의 감정 상태를 반영하도록 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계(930)를 수행할 수 있다.
구체적으로, 퍼스널 주행 시스템(800)은 탑승자가 특정 오브젝트나 특정 주행 상황에 스트레스 상태인 것으로 모니터링된 것에 근거하여, 해당 상황과 관련된 주행 스타일이나 주행 경로 중 하나 이상을 변경하도록 동작할 수 있다.
예를 들어, 차량 전방에 추월 차량이 자주 출연하는 상황에 대해 탑승자가 스트레스 상태인 것으로 모니터링된 것에 근거하여, 차량과 앞차와의 간격을 이전보다 더 짧게 설정 변경할 수 있다. 또, 예를 들어, 차량이 경사가 있는 내리막길에서 규정 속도대로 운전하고 있으나, 탐승자가 긴장 상태인 것으로 모니터링된 것에 근거하여, 이후에는 경사가 완만한 곳으로 우회하도록 경로를 수정하거나 그리고/또는 차량의 주행속도를 규정 속도보다 더 감소시켜서 주행하도록 변경할 수 있다.
계속해서, 퍼스널 주행 시스템(800)은 탑승자의 감정 상태를 반영한 제어 결과를 근거로 차량 주행 모델을 학습하는 단계(940)를 더 수행할 수 있다.
여기에서, 상기 차량 주행 모델은 인공지능(AI)의 기계학습이나 강화학습 등을 통해 미리 학습된 주행 모델일 수 있다.
차량 주행 모델을 학습하는 단계(940)에서 사용되는 입력 데이터는, 인식된 모든 정보가 아닌 선별된 특정 정보이므로 방대한 양의 입력 데이터를 요구하지 않는다. 또한, 차량 주행 모델을 학습하는 단계(940)에서는 인공지능(AI)의 강화학습으로 종단간 학습(end-to-end learning)을 통해 훈련되어, 선별된 정보에 따른 제어결과가 즉시 주행 모델에 반영될 수 있다. 그에 따라, 탑승자별로 퍼스널라이즈된 퍼스널 주행 모델이 생성 및 업데이트될 수 있다.
이하, 도 10a 및 도 10b는 탑승자의 스트레스 감정 상태를 인지하여 차량의 주행 제어에 반영하는 것을 구체적으로 설명하기 위한 예시도들이다.
퍼스널 주행 시스템(800)은 차량(100)에 포함된 DMS 및 IMS 중 적어도 하나를 이용하여 탑승자의 시선 및 감정 상태와 관련된 데이터를 수집할 수 있다.
퍼스널 주행 시스템(800)은 이와 같이 수집된 데이터에 근거하여, 차량의 센서와 외부에서 제공된 데이터를 기초로 인지된 정보와 차량의 실제 주행에 대한 탑승자의 감정 상태가 스트레스 상태인지를 판단할 수 있다.
상기 인지된 정보로, 차량 주변의 다양한 오브젝트와 다양한 주행/교통 관련 정보가 포함될 수 있다. 예를 들어 차량의 옆 차량의 추월 상황, 교통 체증, 교차로에 정차 상황, 보행자 횡단, 갓길에 주차된 차량, 도로 노면 및 날씨 상황, 차 없는 도로, 가드레일, 트럭과 같은 큰 차량 등이 포함될 수 있다.
도 10a의 (A)를 참조하면, 차량 주행 동안 차량의 운전자가 차량 전방의 큰 차량를 주시하는 시선(R1)이, 예를 들어 DMS, 즉 차량 내부의 운전자 모니터링 시스템(R2)을 통해 모니터링되는 것을 확인할 수 있다. DMS는 LED 광원 또는 레이저가 장착된 카메라를 사용하여 운전자의 시선이 차량 전방의 큰 차량을 자주 주시하는 것과 얼굴 혈류량 기반의 심박수가 증가하는 것을 모니터링할 수 있다.
퍼스널 주행 시스템(800)은 운전자 정보와 감정 상태를 차량 주변 오브젝트로 인지된 큰 차량의 정보와 퓨전하여, 운전자의 감정 상태를 파악할 수 있다. 예를 들어 도 10a의 (B)를 참조하면, 카메라 기반의 얼굴 표정 변화를 인지를 통해 다양한 감정, 예를 들어 기쁨(Happiness), 화남(Anger), 슬픔(Sadness), 불쾌함(Disgust) 등의 감정 상태를 파악할 수 있다. 에를 들어, 화남(Anger) 또는 불쾌함(Disgust)이 인지되는 경우, 운전자의 감정이 스트레스 상태인 것을 매칭시킬 수 있다.
즉, 운전자의 시선 정보와 차량 전방 오브젝트의 인식 결과의 융합을 통해, 운전자가 모니터링하고 있는 특정 오브젝트에 대한 정보와 감정 상태를 획득하고 매칭할 수 있다. 이는, 미리 학습된 주행 모델을 퍼스널 주행 모델로 학습하기 위한 선별된 정보로 입력될 수 있다.
운전자 정보와 감정 상태를 차량 주변 오브젝트로 인지된 큰 차량의 정보와 퓨전하여, 운전자의 감정 상태를 반영하도록 차량의 주행/경로를 제어할 수 있다.
차량 주행 제어의 예시로, Longitudinal/Lateral Acceleration(Automatic Aggressive/Comfort/Eco), 차간의 유지거리(Desired Distance), 주행속도(Driving Speed), Auto lane change, Lane Offset driving 등이 포함될 수 있다.
차량 경로 제어의 예시로는, 커브길(Rolling), 멀미(신호등) 최소화 루트 선정, 보행자 최소화 루트 선정 등이 포함될 수 있다.
구체적으로, 예를 들어 위험을 야기시킬 수 있는 차량(예, 앞/뒤 트럭, 음주/졸음 운전 차량)에 대한 운전자의 감정 상태를 반영하여, 자동으로 차선 변경을 수행하여 회피할 수 있을 것이다. 또, 예를 들어, 갓길에 위치한 보행자 또는 무단 횡단하는 오브젝트 검출에 대한 운전자의 감정 상태를 반영하여, 주행 속도를 감소하거나 경로를 변경할 수 있을 것이다.
이와 같은 차량의 주행/경로 제어 이후에도 운전자의 시선 및 감정 상태의 모니터링은 지속적으로 수행된다. 운전자의 스트레스 상태가 완화되지 않은 경우 단계적으로 주행 제어가 수행될 수 있다.
이와 관련하여 도 10b는, 차량의 주행동안 차량 전방 주시 중 주변 오브젝트나 차량 주행 상황별로 느끼는 운전자의 스트레스 감정 상태에 대하여 단계별 주행 제어(1001, 1002, 1003)의 예시를 보여준다. 즉, 운전자의 스트레스 상태가 완화되는지 여부를 지속적으로 모니터링하여, 단계적으로 주행 제어를 수행하는 것이다.
각 단계는 차량의 주행 감/가속도와 좌/우회전시 변경폭 정도가 다름을 확인할 수 있다. 도 10b에서는 주행 제어의 레벨이 증가할수록 주행 감/가속도의 정도는 증가하고 좌/우회전시 변경폭은 감소하는 것으로 도시하였으나, 이에 한정되지 않으며 다른 제어 방식/정도로 변경할 수 있음을 물론이다. 또한, 이는 특정값으로 주행을 제어하는 것을 의미하지 않으며, 운전자별 맞춤형 주행 스타일을 찾기 위해 단계적으로 주행 제어값을 변경해보는 것을 의미한다.
예를 들어, 제1레벨(1001) 주행 제어시 모니터링되는 운전자의 감정 상태가 높은 스트레스 지수로 관찰되면, 제2레벨(1002) 주행 제어로 변경하여 주행을 수행할 수 있다. 이후, 지속적으로 모니터링되는 운전자의 감정 상태가 완화된 경우에는 제2레벨(1002) 주행 제어를 유지하고, 그렇지 않으면 제3레벨(1003) 주행 제어로 변경할 수 있다.
도 11은 퍼스널 주행 시스템(800)의 동작에 따라, 복합적 인지 정보와 탑승자 감정 상태 정보를 매칭시키는 방법을 설명하기 위한 흐름도이다.
인지된 정보의 타입/속성에 따라 어떤 데이터를 중심으로 탑승자의 감정 상태를 판단할지가 달라질 수 있다. 또, 동시에 인지된 정보가 복수/복합된 경우, 어떤 정보를 기초로 차량의 주행/경로를 수행할지 또는 차량의 주행/제어시 어떻게 반영할지가 달라질 수 있다.
도 11을 참조하면, 퍼스널 주행 시스템(800)은 차량의 센서 또는 외부 데이터를 기초로 인지된 정보가 차량 주변 오브젝트에 관한 것인지를 결정한다(1101).
실시 예에 따라, 량의 센서 또는 외부 데이터를 기초로 인지된 정보가 차량 주변의 오브젝트와 관련된 것이면 탑승자의 시선과 관련된 데이터에 근거하여 감정 상태를 모니터링할 수 있다(1102).
예를 들어, 퍼스널 주행 시스템(800)은 탑승자의 시선의 모니터링 결과에 대한 스코어에 가중치를 부여하여, 탑승자의 긴장 상태 여부를 결정할 수 있다.
한편, 실시 예에 따라, 상기 차량의 센서 또는 외부 데이터를 기초로 인지된 정보가 차량 주변의 오브젝트와 다른 속성에 관한 것이면 탑승자의 얼굴 온도 변화 및 심박수와 관련된 데이터에 근거하여 감정 상태를 모니터링할 수 있다(1103).
예를 들어, 퍼스널 주행 시스템(800)은 탑승자의 얼굴 혈류량 기반 심박수의 모니터링 결과에 대한 스코어에 가중치를 부여하여, 탑승자의 스트레스 상태 여부를 결정할 수 있다. 이때, 모니터링되는 심박수에 매칭되는 스트레스지수가 테이블 등의 형태로 미리 저장될 수 있고, 퍼스널 주행 시스템(800)은 스트레스지수별로 가중된 스코어를 매칭하여 탑승자의 스트레스 상태/정도를 결정할 수 있다.
계속해서, 실시 예에 따라 탑승자의 스트레스 상태에 매칭되는 인지된 정보가 복합적 정보를 포함하는지를 결정하는 단계(1104)를 포함할 수 있다.
상기 결정(1104)에 따라 인지된 정보 및 탑승자의 감정 상태가 복합이 아니면, 그 특정된 정보와 감정 상태를 퓨전하여 결정된 특정 주행 방식으로 차량을 제어하거나 경로를 제어(1106)할 수 있다. 예를 들어, 다른 차량의 전방 추월상황에 대해 결합된 짜증난 감정 상태를 반영하여, 차량(100)과 앞차와의 간격을 더 좁게 설정함으로써, 다른 차량의 전방 추월상황을 해소할 수 있다.
한편, 상기 결정(1104)에 따라 인지된 정보 및 탑승자의 감정 상태가 복합인 경우, A 동작(1105)에 따라 차량의 주행/경로를 제어할 수 있다. 상기 A 동작(1105)의 실시 예는 다양할 수 있다.
A 동작(1105) 실시 예의 하나로, 퍼스널 주행 시스템(800)은 인지된 복합적 정보 각각에 매칭되는 차량의 주행 또는 경로 각각을, 탑승자의 스트레스 상태를 완화하는 방향으로 제어할 수 있다. 예를 들어, 차량(100)이 갓길에 주차된 차량이 많은 구간에서 주행하면서('인지 정보 1') 해당 구간이 경사도가 심한 내리막길인 경우('인지 정보 2'), 탑승자가 스트레스 상태인 것으로 결정되면 옆 차선과의 오프셋 간격을 보다 넓게 설정함('제어 1')과 함께 차량의 주행 속도를 주행중인 허용속도보다 감소시킬 수 있다('제어 2').
A 동작(1105)의 또 다른 실시 예의 하나로, 퍼스널 주행 시스템(800)은 인지된 복합적 정보 중 선택된 하나에 매칭되는 차량의 주행 또는 경로를, 탑승자의 스트레스상태를 완화하는 방향으로 선택적으로 가중 제어할 수 있다. 예를 들어, 위의 예시의 인지 정보 1 및 2의 상황에서 제어 2를 선택하고, 이때 차량의 주행 속도의 감소폭을 더 가중제어할 수 있다.
A 동작(1105)의 또 다른 실시 예의 하나로, 서로 다른 복수의 제어 방식으로 수행하면서 탑승자의 스트레스 완화 정도를 모니터링하여 선택된 최적의 방식으로 주행/경로를 제어하는 방식도 가능하다.
한편, 본 발명의 실시 예에 따라, 미리 학습된 주행 모델을 A 동작(1105) 또는 차량의 주행/제어(1106)의 결과를 반영하도록 학습함으로써, 퍼스널 주행 모델을 생성하거나 업데이트할 수 있다.
미리 학습된 주행 모델은, 다양한 오픈 데이터셋, 예를 들어 자율주행차량에 설치된 다양한 센서, 예를 들어 카메라, 라이다 등을 통해 수집된 데이터를 가공하여 자율주행에 필요한 학습 데이터로서 미리 훈련될 수 있다. 그에 따라, 차량(100)은 미리 학습된 주행 모델을 이용하여 다른 차량, 보행자, 신호등, 표지판 등의 다양한 오브젝트 이미지의 위치, 방향, 클래스, 속성 등을 자동으로 생성할 수 있다.
퍼스널 주행 모델은, 전술한 미리 학습된 주행 모델을 기초로 생성 또는 업데이트된 주행 모델로서, 인지된 정보에 대한 탑승자의 감정 상태를 기초로 새로운 정보(즉, 선별된 정보)를 선택적으로 학습하는 고밀도 심층 강화 학습을 기초로 훈련될 수 있다.
이러한 퍼스널 주행 모델은, 인지된 정보에 대한 탑승자의 감정 상태를 기초로 학습한 개별 주행 모델일 수 있고, 복잡한 모델/기본 모델(예, 자율주행을 위한 거대 신경망 모델)과 연결된 다수의 작은 모델 중 하나일 수 있다.
또한, 이러한 퍼스널 주행 모델은 복수일 수 있다. 이러한 경우, 복수의 퍼스널 주행 모델 각각이 서로를 훈련시킬 수 있다. 퍼스널 주행 모델이 하나인 경우, 하나의 기본 주행 모델에 대해 서로 다른 방식으로 학습된 복수 버전의 퍼스널 주행 모델들이 생성될 수도 있다.
실시 예에 따라, 퍼스널 주행 모델은, 인지된 정보의 속성에 따라, 탑승자의 감정 상태를 반영한 제어 결과를 기초로 주행 모델을 다르게 학습하여 생성 또는 업데이트될 수 있다.
예를 들어, 인지된 정보에 대한 즉각 제어 후, 탑승자의 감정 상태의 반영에 따른 제어후 결과를 비교하여, 주행 모델 업데이트를 위한 입력데이터로 결정할 수 있다. 또, 예를 들어, 인지된 정보의 종류/특성에 따라 탑승자의 감정 상태가 즉각적으로 일회성인 경우(예, 갑작스런 오브젝트 출현)와, 지속되는 경우(예, 옆차선에 큰 차량이 나란히 주행하는 경우)를 구별하여 차량 주행/경로에 다르게 반영하거나 퍼스널 주행 모델의 업데이트 여부를 다르게 결정할 수 있다.
실시 예에 따라, 퍼스널 주행 시스템(800)은 미리 학습된 주행 모델을 사용하여 인지된 정보를 기초로 하는 제1주행정보를 생성한다. 여기에서, 제1주행정보는 공통된 자율주행모드 또는 선택된 주행모드(예, 승차감 우선 모드, 연비 우선 모드)에 따른 자율주행의 제어정보(예, 주행속도, 앞차와의 주행간격, 자동 차선변경 등)를 모두 포함한다.
실시 예에 따라, 퍼스널 주행 시스템(800)은 상기 제1주행정보에 대한 탑승자의 감정 상태를 기초로 제1주행정보와 관련된 제2주행정보를 생성할 수 있고, 생성된 제2주행정보를 기초로 이전 주행 모델을 학습할 수 있다. 여기에서, 제2주행정보는 특정 인지 정보에 대한 탑승자의 감정 상태를 기초로 선별된 정보에 따라 변경된 제어정보(예, 주행속도의 감소폭/증가폭, 앞차와의 주행간격 감소, 옆차선과의 오프셋 간격 조정 등)를 모두 포함한다.
이때, 상기 변경된 제어정보는 각 특정 인지 정보에 대한 특정 제어값을 의미한다. 또한, 상기 변경된 제어정보는 동일한 인지 정보에 대해 탑승자의 동일한 스트레스 상태에 대한 경우에도 추후 완화정도에 따른 지속적인 모니터링 결과에 따라 서로 다른 특정 제어값을 갖도록 설정될 수 있다. 그에 따라, 특정 목적(예, 승차감 우선, 연비 우선 등)을 위해서 또는 안정적인 평균 제어가 아닌 탑승자별 주행 스타일에 맞는 자율주행 및 주행 모델 생성이 가능하다.
도 12a, 도 12b, 도 13a, 도 13b, 도 13c, 도 14a, 도 14b, 도 15a, 도 15b, 도 16a, 도 16b는 다양한 주행 상황에서 탑승자의 감정 상태에 대한 피드백으로 차량의 주행 또는 경로를 제어하는 다양한 실시 예들에 관한 도면들이다.
구체적으로, 도 12a 및 도 12b는 차량(100)의 전방에 큰 차량이 나란히 주행하는 상황에서, 차량 탑승자가 위협을 느끼는 감정을 반영하여 차량의 주행을 제어하는 구체적인 실시 예이다.
퍼스널 주행 시스템(800)은, 차량의 전방 카메라와 라이다(Radar) 등을 통해 차량(100)의 주행 차선(1201)의 옆차선에서 나란히 주행하는 큰 차량(1210)이 존재하는 정보를 인지할 수 있다. 퍼스널 주행 시스템(800)은, 상기 인지된 정보에 대하여, 예를 들어 DMS 및/또는 IMS 등을 통해 모니터링된 탑승자의 감정 상태가 위협을 느끼는 상태임(예, 큰 차량(1210)을 향한 시선 및/또는 얼굴 혈류량 기반의 심박수 증가 등)을 결정할 수 있다. 퍼스널 주행 시스템(800)은, 상기 결정에 따라 주행 차선(1201)에 대한 오프셋(offset)을 증가시켜서, 큰 차량(1210)과의 간격을 수 넓게하여, 즉 큰 차량(1210)과 멀어지는 방향으로 간격을 조절하여 주행하도록 제어한다.
이를 위해, 퍼스널 주행 시스템(800)은 local path planning 기법을 사용하여 주행을 제어할 수 있다. local path planning 방식이란, Global Path가 주어지거나 또는 국소적 목표가 설정되어있을때, 국소적인 경로를 계획하는 경로 계획 기법(Path planner)으로, 주로 회피주행이나 편향주행에 사용된다. 예를 들어, 차량(100)의 자율주행시 공사로 인해 라바콘 등이 도로 한복판을 가로막고 있던지 또는 불법주차로 인해 주행 도로의 일부를 차량이 가로막고 있는 경우가 있을 수 있다. 이러한 경우 차량이 정지후 그 상황이 종료된 후 다시 Global Path를 따라가도 되지만, local path planning을 사용하는 것이 즉각적인 상황 해결과 유연한 대처에 바람직하다.
퍼스널 주행 시스템(800)은, 이후 모니터링되는 탑승자의 감정 상태가 완화되었는지 여부(예, 탑승자의 시선 응시 감소 및/또는 얼굴 혈류량 기반의 심박수 감소 등)를 결정하고, 상기 결정을 기초로 local path planning 기법에 따른 제어 결과를 퍼스널 주행 모델로서 생성(저장)하거나 업데이트할 수 있다.
퍼스널 주행 시스템(800)은, local path planning 기법에 따른 제어 후 큰 차량(1210)이 더 이상과 차량와 나란히 주행하지 않는 것으로 인지되면 차량(100)의 오프셋을 이전 상태로 전환하여 주행하도록 복원할 수 있다.
또 다른 실시 예들로, 도 13a 내지 도 13c와 도 15a 및 도 15b는 차량이 특정 구간을 주행하는 동안에 모니터링된 탑승자의 감정 상태를 기초로 주행/경로를 제어하는 것의 구체적인 실시 예들을 보여준다.
퍼스널 주행 시스템(800)은, 차량(100)이 특정 조건, 예를 들어 제1조건을 만족하는 구간을 주행하는 것을 인지하고, 인지된 정보에 대한 탑승자의 감정 상태의 모니터링 결과의 융합에 따라, 탑승자가 스트레스 감정 상태인 것을 결정할 수 있다. 여기에서, 상기 제1조건을 만족하는 구간이란, 갓길에 주차가 많거나 또는 좁은 골목길 구간, 주행차선 옆에 가드레일이 존재하는 구간 등과 같이 일정구간에서 특정 상황이 발생한 다양한 경우를 모두 포함할 수 있다.
이러한 경우, 퍼스널 주행 시스템(800)은, 차량이 상기 제1조건을 만족하는 구간을 피하여 주행하도록 상기 차량의 주행 경로를 변경할 수 있다. 또는, 퍼스널 주행 시스템(800)은, 상기 제1조건을 만족하는 구간을 주행하는 동안 차량의 주행간격 및 주행속도 중 적어도 하나를 추가로 조절함으로써, 탑승자가 느끼는 스트레스 상태를 완화하도록 조처할 수 있다.
도 13a 내지 도 13c를 참조하면, 차량(100)이 주행하는 중, 갓길에 출현하는 보행자(P1) 또는 불법 주차 차량들(1311, 1312, 1313)에 지속적으로 노출되어 운전자/탑승자가 불안감을 느끼는 것으로 결정되면, 퍼스널 주행 시스템(800)은 이러한 융합 정보를 기반으로 도 13b와 같이 보행자가 적은 도로를 우선적으로 선택하도록 주행 경로(1321)에 대한 회피 경로(1322)를 설정할 수 있다. 이때, 퍼스널 주행 시스템(800)은, 차량(100) 내 디스플레이 등을 통해 회피 경로(1322)로 주행경로를 변경할지 여부를 운전자/탑승자에게 문의하는 동작을 동반할 수 있다.
여기에서, 회피 경로(1322)는 Global Path Planning 기법에 의한 경로 수정일 수 있다. Global Path Planning 이란, 차량의 현재 위치에서 주행 목표 지점까지의 경로 계획 기법으로, 차량은 새로운 경로가 계획될 때마다 global planner에 의해 전제 경로를 계획 및 설정한다.
또는, 퍼스널 주행 시스템(800)은, Global Path Planning 기법에 따라 주행 경로를 변경하는 대신에 도 13c와 같이 갓길(1302)과 주행차선(1301) 간의 오프셋(1324)을 증가시키는 방향으로 조정하거나 그리고/또는 차량(100)의 주행속도(1323)를 더욱 감소시킬 수 있다.
한편, 퍼스널 주행 시스템(800)은 탑승자의 스트레스 상태로 결정된 특정 상황이 전술한 제1조건을 만족하는 구간에 대한 것인지를 결정하기 위해 차량(100)이 제1조건을 만족하는 구간에 진입한 시점(또는, 제1위치)과 상기 구간의 진입 후 일정 시간이 경과한 시점(또는, 제2위치), 및 상기 구간을 빠져나간 시점(또는, 제3위치)에서 모니터링된 탑승자의 각 감정 상태를 융합하여 결정할 수 있다. 이러한 경우, 퍼스널 주행 시스템(800)은 이 후 해당 구간 또는 유사 구간에 대해 특정화하여, 주행 경로 설정에 포함하지 않도록 퍼스널 주행 모델에 반영시킬 수 있다.
도 15a 는 차량(100)이 가드레일(1511) 옆을 주행하는 동안(a), 차량의 탑승자가 스트레스 상태인 것으로 결정하여, 차량과 가드레일(1511) 과의 간격, 즉 오프셋을 제1간격(1521)에서 제2간격(1522)으로 증가시킨 것(b)을 도시한 것이다. 여기서, 제2간격(1522)은 차량의 주행 차선(1501)이 가드레일(1511)로부터 멀어지는 정도가 제1간격(1521) 보다 증가된 것을 의미한다.
퍼스널 주행 시스템(800)은 오프셋을 제2간격(1522)으로 조정하여 주행하는 동안 탑승자의 감정 상태가 완화된 것으로 모니터링되면, 해당 조정 결과를 반영하여 퍼스널 주행 모델로 저장할 수 있다. 또는, 퍼스널 주행 시스템(800)은 차량의 Local Path Planning Model을 업데이트하여, 추후 동일 탑승자를 태운 상태에서 가드레일 옆을 주행할 때에는 오프셋을 자동 조정하여 주행하도록 업데이트할 수 있다.
도 15b는 차량(100)의 주행 동안, 커브 상황과 매칭되는 운전자/탑승자의 불편한 감정 상태가 모니터링되어, 차량의 주행을 제어하는 예시이다. 퍼스널 주행 시스템(800)은 커브 구간임이 인지된 동안 오프셋(1523)을 조정하여 주행하도록 제어할 수 있다(a). 또는, 퍼스널 주행 시스템(800)은 차량(100)의 해당 커브 구간을 주행하는 동안 주행 속도를 더욱 감소시키고, 좌회전 및 우회전시 다이어그램(G-G Diagram) 제한값을 더 감소시키는 방향으로 조정할 수 있다.
또 다른 실시 예로, 도 14a 및 도 14b는 경사가 급한 도로를 주행하고 갓길에 많은 차량이 주차된 상황과 같이 복합된 상황에서 모니터링되는 탑승자의 감정 상태를 기초로 차량의 주행을 제어하는 실시 예이다.
차량(100)이 경사가 급한 도로(또는, 야간 주행의 경우에도 마찬가지로 적용가능함)에서 안전 속도(예, 60 km/h)로 차량이 주행하는 동안에도 탑승자가 스트레스 감정을 느끼는 것으로 모니터링되면, 퍼스널 주행 시스템(800)은 탑승자의 감정 상태를 반영하여 주행 속도를 더 감소(예, 40 km/h)시킬 수 있을 것이다. 여기서, 경사가 급한 도로인지에 대한 인지(1412)는, 예를 들어 Map 을 통한 외부 데이터나, 차량(100)의 ESP ECU, Ineria sensor 등의 센싱 데이터를 통해 추정될 수 있을 것이다.
한편, 도 14a를 참조하면, 차량(100)이 경사가 급한 도로를 주행시 갓길에 주차된 차량들도 많은 복합된 상황(1411)에서는, 1)복합된 상황 각각에 대한 제어값들을 반영하여 주행하거나, 또는 2)하나의 선택된 상황에 대한 제어값을 가중 적용하여 주행할 수 있다.
1)의 경우, 차량의 오프셋 조정과 주행 속도 조정을 함께 수행하고, 그 결과를 퍼스널 주행 모델에 반영하는 방식으로 수행될 수 있을 것이다. 2)의 경우, 도 14b에 도시된 바와 같이, 차량 주행 속도(1420)만을 감소시키되, 가중 적용을 통해 감소폭을 더욱 증가시켜서 주행할 수 있다. 예를 들어, 위의 실시 예에서 하나의 상황에서 주행속도를 40 km/h으로 감소시켰다면, 복합된 상황에서는 주행속도를 30 km/h 또는 그 미만으로 더욱 감소시켜서 주행할 수 있을 것이다.
도 16a 및 도 16b는 교통체증(Traffic Jam) 상황에서 차량의 전방 추월차량을 인지된 정보로 하여 탑승자의 감정 상태가 불편함을 느끼는 것으로 매칭된 경우, 차량의 주행 제어의 예시를 보인 것이다.
구체적으로, 퍼스널 주행 시스템(800)은 교통체증(Traffic Jam) 상황에서 추월 차량(1610)이 지속적으로 발생하는 상황을 인지하고, 차량의 DMS 및 IMS을 통해 모니터링되는 운전자/탑승자의 불편한 감정 상태를 확인할 수 있다. 이러한 경우, 퍼스널 주행 시스템(800)은 차량(100)과 앞차(1620)와의 간격을 제1간격(1621)에서 제2간격(1622)으로 조정하여 주행하고, 이러한 결과를 퍼스널 주행 모델에 반영할 수 있다. 여기서, 제2간격(1622)은 제1간격(1621) 보다 일정값 감소시켜서 획득된다.
도 17은 본 발명의 실시예에 따라 탑승자가 다수인 경우, 차량의 주행 또는 경로의 제어시 감정 상태를 반영할 탑승자를 결정하는 방법을 도시한 것이다.
본 발명의 실시 예에 따라 인지된 정보와 탑승자의 감정 상태의 융합시, 탑승자가 다수인 경우, 퍼스널 주행 시스템(800)은 어떤 탑승자의 감정 상태를 반영할지를 결정할 수 있다.
퍼스널 주행 시스템(800)은 운전자가 탑승하고 차량이 반자율주행모드로 주행시, 운전자의 감정 상태를 반영한 차량 제어를 추천하거나 알림 표시해줄 수 있다. 퍼스널 주행 시스템(800)은 탑승자만 탑승하고 차량이 자율주행모드로 주행시(예, 자율주행택시), 탑승자의 감정 상태를 반영한 차량 제어를 수행할 수 있다.
실시 예에 따라, 퍼스널 주행 시스템(800)은 차량에 운전자를 포함한 다수의 탑승자(1701, 1702 ,1703, 1704)가 탑승한 경우, 각 탑승자별 주행 모델을 생성하고 있다.
퍼스널 주행 시스템(800)은 동시에 다수의 탑승자(1701, 1702 ,1703, 1704)가 승차한 경우, 특정 기준에 따라 선택된 탑승자를 기준으로 차량 제어를 수행할 수 있다. 여기에서, 상기 특정 기준은 아이/노약자 등 취약계층 우선, 특정 좌석 기준 등을 포함할 수 있다.
다른 실시 예에서, 퍼스널 주행 시스템(800)은 동시에 다수의 탑승자(1701, 1702 ,1703, 1704)가 승차한 경우, 모든 탑승자의 감정 상태를 고려하여, 가중된 제어값으로 차량 주행을 수행하거나 또는 평균치를 기준으로 차량 주행을 수행할 수도 있다.
이상에서 살펴본 바와 같이 본 발명의 실시 예에 따른 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량에 의하면, 차량의 자율주행시 주행 상황 인식에 대한 운전자 또는 탑승자의 감정 상태를 반영하여 주행 또는 경로를 조절함으로써, 주행의 이질감을 최소화할 수 있다. 또한, 자율주행시 주행 상황 인식에 대한 운전자 또는 탑승자의 감정 상태를 반영한 결과를 기초로 주행 모델을 업데이트함으로써, 운전자 또는 탑승자는 보다 개인화된 주행 승차감을 경험할 수 있다. 나아가, 운전자 또는 탑승자별 퍼스널라이즈된 주행 모델을 관리할 수 있으므로, 차량에 관계없이 운전자/탑승자 정보만으로 퍼스널라이즈된 주행을 경험할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 퍼스널 주행 시스템(800)의 컨트롤러/프로세서를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (16)

  1. 차량의 주행 동안, 차량의 센서 및 외부 맵 관련 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계;
    상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계;
    상기 모니터링에 근거하여, 상기 탑승자의 감정 상태를 반영하도록 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계; 및
    상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 차량 주행 모델을 학습하는 단계를 포함하는,
    차량의 퍼스널 주행 제어 방법.
  2. 제1항에 있어서,
    상기 모니터링하는 단계는,
    상기 차량에 포함된 DMS 및 IMS 중 적어도 하나를 이용하여 탑승자의 시선 및 감정 상태와 관련된 데이터를 수집하는 단계; 및
    상기 수집된 데이터에 근거하여, 각 인지된 정보와 차량의 주행에 대한 탑승자의 감정 상태가 스트레스 상태인지를 판단하는 단계를 포함하는,
    차량의 퍼스널 주행 제어 방법.
  3. 제2항에 있어서,
    상기 인지된 정보가 차량 주변의 오브젝트와 관련된 것이면 탑승자의 시선과 관련된 데이터에 근거하여 감정 상태를 모니터링하고,
    상기 인지된 정보가 차량 주변의 오브젝트와 다른 속성에 관한 것이면 탑승자의 얼굴 온도 변화 및 심박수와 관련된 데이터에 근거하여 감정 상태를 모니터링하는 단계를 포함하는,
    차량의 퍼스널 주행 제어 방법.
  4. 제3항에 있어서,
    상기 모니터링하는 단계는, 상기 스트레스 상태에 매칭되는 인지된 정보가 복합적 정보를 포함하는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  5. 제4항에 있어서,
    상기 제어하는 단계는,
    상기 복합적 정보 각각에 매칭되는 차량의 주행 또는 경로 각각을, 상기 탑승자의 스트레스 상태를 완화하는 방향으로 제어하는 단계인 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  6. 제4항에 있어서,
    상기 제어하는 단계는,
    상기 복합적 정보 중 선택된 하나에 매칭되는 차량의 주행 또는 경로를, 상기 탑승자의 스트레스상태를 완화하는 방향으로 가중 제어하는 단계인 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  7. 제1항에 있어서,
    상기 주행 모델을 학습하는 단계는,
    상기 인지된 정보의 속성에 따라 상기 제어 결과를 기초로 하는 주행 모델을 다르게 학습하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  8. 제1항에 있어서,
    상기 주행 모델을 학습하는 단계는,
    미리 학습된 주행 모델을 사용하여 상기 인지된 정보를 기초로 하는 제1주행정보를 생성하고
    상기 제1주행정보에 대한 탑승자의 감정 상태를 기초로 상기 제1주행정보와 관련된 제2주행정보를 생성하고, 상기 제2주행정보를 기초로 상기 주행 모델을 학습하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  9. 제1항에 있어서,
    상기 모니터링 하는 단계는,
    상기 차량의 주행차선과 나란히 주행하는 다른 차량의 존재를 인지하고, 인지된 정보에 대한 탑승자의 스트레스 감정 상태를 모니터링하는 단계를 포함하고,
    상기 제어하는 단계는,
    상기 다른 차량이 나란히 주행하는 동안 상기 차량의 주행도로에 대한 오프셋을 상기 다른 차량과 멀어지는 방향으로 조절하는 단계; 및
    상기 다른 차량이 더 이상 나란히 주행하지 않는 것으로 인지되면 상기 차량의 주행도로에 대한 오프셋을 이전 상태로 전환하여 주행하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  10. 제1항에 있어서,
    상기 모니터링 하는 단계는,
    상기 차량이 제1조건을 만족하는 구간을 주행하는 것을 인지하고, 인지된 정보에 대한 탑승자의 스트레스 감정을 모니터링하는 단계를 포함하고,
    상기 제어하는 단계는,
    상기 차량이 상기 제1조건을 만족하는 구간을 피하여 주행하도록 상기 차량의 주행 경로를 변경하거나 상기 제1조건을 만족하는 구간을 주행하는 동안 주행간격 및 주행속도 중 적어도 하나를 추가로 조절하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  11. 제1항에 있어서,
    상기 모니터링하는 단계는,
    상기 차량이 경사가 급한 도로를 주행하는 동안 탑승자의 스트레스 감정을 모니터링하는 단계를 포함하고,
    상기 제어하는 단계는,
    상기 탑승자의 스트레스 감정의 정도에 대응하여 상기 차량의 주행 속도를 추가로 감소시키는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  12. 제1항에 있어서,
    상기 모니터링하는 단계는,
    상기 차량의 전방 추월차량에 대한 탑승자의 스트레스 감정을 모니터링하는 단계를 포함하고,
    상기 제어하는 단계는,
    상기 탑승자의 스트레스 감정을 반영하도록, 상기 차량과 앞차량 간의 간격을 좁게 재설정하여 주행하는 단계를 포함하는 것을 특징으로 하는,
    차량의 퍼스널 주행 제어 방법.
  13. 차량의 퍼스널 주행 시스템으로서,
    차량의 주행 동안 차량 센서의 센싱 데이터 및 외부 맵 관련 정보를 수신하는 인터페이스부;
    상기 수신된 센싱 데이터 및 외부 맵 관련 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 인지부;
    상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하고, 상기 모니터링에 근거하여 상기 탑승자의 감정 상태를 반영하도록 차량의 주행 및 경로 중 적어도 하나의 변경할지를 결정하는 판단부; 및
    상기 결정에 따라 차량의 주행 및 경로 중 적어도 하나를 제어하고, 상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 차량 주행 모델을 학습하도록 제어하는 제어부를 포함하는,
    차량의 퍼스널 주행 시스템.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 인지된 정보의 속성에 따라 상기 제어 결과를 기초로 하는 주행 모델을 다르게 학습하도록 제어하는 것을 특징으로 하는,
    차량의 퍼스널 주행 시스템.
  15. 제13항에 있어서,
    상기 제어부는,
    미리 학습된 주행 모델을 사용하여 상기 인지된 정보를 기초로 하는 제1주행정보를 생성하고,
    상기 제1주행정보에 대한 탑승자의 감정 상태를 기초로 상기 제1주행정보와 관련된 제2주행정보를 생성하고,
    상기 제2주행정보를 기초로 상기 주행 모델을 학습하도록 제어하는 것을 특징으로 하는,
    차량의 퍼스널 주행 시스템.
  16. 메모리;
    송수신기;
    상기 메모리에 저장된 명령어를 처리하는 프로세서를 포함하여 구성된 컴퓨팅 장치와 결합되어, 상기 프로세서가:
    차량의 주행 동안, 차량의 센서 및 외부 맵 관련 정보에 기초하여 차량 주변의 오브젝트 및 주행 상황에 대한 정보를 인지하는 단계;
    상기 인지된 정보와 차량의 주행에 대한 탑승자의 시선 및 감정 상태를 모니터링하는 단계;
    상기 모니터링에 근거하여 상기 탑승자의 감정 상태를 반영하도록, 차량의 주행 및 경로 중 적어도 하나를 제어하는 단계; 및
    상기 탑승자의 감정 상태를 반영한 제어 결과를 근거로 주행 모델을 학습하는 단계를 수행하도록 하는 것을 특징으로 하는,
    기록매체에 기록된 컴퓨터 프로그램.
PCT/KR2023/018057 2023-11-10 2023-11-10 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량 Pending WO2025100604A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/018057 WO2025100604A1 (ko) 2023-11-10 2023-11-10 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/018057 WO2025100604A1 (ko) 2023-11-10 2023-11-10 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량

Publications (1)

Publication Number Publication Date
WO2025100604A1 true WO2025100604A1 (ko) 2025-05-15

Family

ID=95696157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/018057 Pending WO2025100604A1 (ko) 2023-11-10 2023-11-10 차량의 퍼스널 주행 제어 방법, 퍼스널 주행 시스템, 및 퍼스널 주행 제어 서비스를 제공하는 차량

Country Status (1)

Country Link
WO (1) WO2025100604A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200001553A (ko) * 2018-06-27 2020-01-06 하만인터내셔날인더스트리스인코포레이티드 탑승자 거동에 기초한 자율 주행 차량 제어
KR20220036870A (ko) * 2020-09-15 2022-03-23 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
KR20230034973A (ko) * 2020-07-02 2023-03-10 퀄컴 인코포레이티드 자율 주행 차량들용 멀미 검출 시스템
US20230202485A1 (en) * 2018-12-19 2023-06-29 Waymo Llc Systems And Methods For Detecting And Dynamically Mitigating Driver Fatigue
JP2023541477A (ja) * 2020-09-17 2023-10-02 華為技術有限公司 自動運転方法、ａｄｓ、および自動運転車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200001553A (ko) * 2018-06-27 2020-01-06 하만인터내셔날인더스트리스인코포레이티드 탑승자 거동에 기초한 자율 주행 차량 제어
US20230202485A1 (en) * 2018-12-19 2023-06-29 Waymo Llc Systems And Methods For Detecting And Dynamically Mitigating Driver Fatigue
KR20230034973A (ko) * 2020-07-02 2023-03-10 퀄컴 인코포레이티드 자율 주행 차량들용 멀미 검출 시스템
KR20220036870A (ko) * 2020-09-15 2022-03-23 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
JP2023541477A (ja) * 2020-09-17 2023-10-02 華為技術有限公司 自動運転方法、ａｄｓ、および自動運転車両

Similar Documents

Publication Publication Date Title
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2017003052A1 (ko) 차량 운전 보조 방법 및 차량
WO2017034282A1 (en) Driver assistance apparatus and method for controlling the same
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
WO2020166749A1 (ko) 차량을 이용한 정보 표시 방법 및 시스템
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
WO2021182655A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2021002487A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2017039047A1 (ko) 차량 및 그 제어방법
WO2021091039A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2020116694A1 (ko) 차량용 장치 및 제어 방법
WO2020159247A1 (ko) 영상 출력 장치
WO2020235714A1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2020145442A1 (ko) 자율 주행 차량의 제어 권한 이양 장치 및 방법
WO2023229055A1 (ko) 차량 감시 장치, 및 이를 포함하는 차량 및 차량의 동작방법
WO2020017677A1 (ko) 영상 출력 장치
WO2022119267A1 (ko) 경로 안내 장치 및 경로 안내 시스템
WO2020226192A1 (ko) 자율 주행 차량을 위한 보험 안내 시스템 및 방법
WO2020159244A1 (ko) 영상 출력 장치
WO2020246627A1 (ko) 영상 출력 장치
WO2024010155A1 (ko) 광 검출 장치 및 이를 포함하는 차량용 기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23958403

Country of ref document: EP

Kind code of ref document: A1