KR20200085525A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20200085525A
KR20200085525A KR1020190001742A KR20190001742A KR20200085525A KR 20200085525 A KR20200085525 A KR 20200085525A KR 1020190001742 A KR1020190001742 A KR 1020190001742A KR 20190001742 A KR20190001742 A KR 20190001742A KR 20200085525 A KR20200085525 A KR 20200085525A
Authority
KR
South Korea
Prior art keywords
mode
feedback device
user
vehicle
emotion
Prior art date
Application number
KR1020190001742A
Other languages
English (en)
Inventor
이진모
이강덕
유정근
김중관
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190001742A priority Critical patent/KR20200085525A/ko
Priority to US16/513,304 priority patent/US11623065B2/en
Publication of KR20200085525A publication Critical patent/KR20200085525A/ko
Priority to US17/132,718 priority patent/US11723571B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00814—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
    • B60H1/00821—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being ventilating, air admitting or air distributing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00985—Control systems or circuits characterised by display or indicating devices, e.g. voice simulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H3/00—Other air-treating devices
    • B60H3/0007—Adding substances other than water to the air, e.g. perfume, oxygen
    • B60H3/0035—Adding substances other than water to the air, e.g. perfume, oxygen characterised by the control methods for adding the substance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/74—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for overall compartment lighting; for overall compartment lighting in combination with specific lighting, e.g. room lamps with reading lamps
    • B60Q3/745—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for overall compartment lighting; for overall compartment lighting in combination with specific lighting, e.g. room lamps with reading lamps using lighting panels or mats, e.g. electro-luminescent panels, LED mats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0066—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with heating or cooling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3375—Acoustical, e.g. ultrasonic, measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/505—Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52—General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/14—Electro-oculogram [EOG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/30—Blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/50—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B60N2002/981—Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Anesthesiology (AREA)
  • Social Psychology (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Pain & Pain Management (AREA)
  • Thermal Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)

Abstract

차량 내 사용자의 감정 상태를 긍정도 및 흥분도로 판단하고, 판단된 긍정도 및 흥분도에 따라 흥분도가 감소하도록 피드백 장치를 제어하는 모드 및 긍정도가 증가하도록 피드백 장치를 제어하는 모드 사이의 동작 비율을 결정할 수 있는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 피드백 장치; 사용자의 생체신호를 측정하는 생체신호 센서; 및 상기 생체신호에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하고, 상기 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 상기 사용자의 흥분도가 감소하도록 상기 피드백 장치를 제어하는 제1 모드 및 상기 사용자의 긍정도가 증가하도록 상기 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하고, 상기 동작 비율에 기초하여 미리 정해진 시간 동안 상기 피드백 장치를 제어하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
본 발명은 차량 내 사용자의 감정에 기초하여 차량의 구성 요소를 제어하는 차량 및 그 제어방법에 관한 것이다.
최근 차량 내 사용자의 감정 상태를 판단하는 기술이 활발하게 연구되고 있다. 또한, 이를 이용하여 차량 내 사용자의 긍정적인 감정을 유발할 수 있는 기술에 대한 연구 역시 활발히 진행되고 있다.
다만, 최근의 기술은, 단순히 차량 내 사용자의 감정 상태가 긍정적인지 또는 부정적인지 여부를 판단하고, 판단된 감정 상태의 긍정 또는 부정 여부에 기초하여 차량 내 구성 요소의 출력을 조절하는 피드백을 제공할 뿐이다.
차량 내 사용자의 감정 상태를 긍정도 및 흥분도로 판단하고, 판단된 긍정도 및 흥분도에 따라 흥분도가 감소하도록 피드백 장치를 제어하는 모드 및 긍정도가 증가하도록 피드백 장치를 제어하는 모드 사이의 동작 비율을 결정할 수 있는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 피드백 장치; 사용자의 생체신호를 측정하는 생체신호 센서; 및 상기 생체신호에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하고, 상기 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 상기 사용자의 흥분도가 감소하도록 상기 피드백 장치를 제어하는 제1 모드 및 상기 사용자의 긍정도가 증가하도록 상기 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하고, 상기 동작 비율에 기초하여 미리 정해진 시간 동안 상기 피드백 장치를 제어하는 제어부;를 포함한다.
상기 제어부는, 상기 동작 비율에 기초하여, 상기 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 상기 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 현재 감정 상태 및 상기 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고, 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 현재 감정 상태 및 상기 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고, 상기 결정된 모드 전환 횟수 및 상기 결정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 현재 감정 상태가 나타내는 상기 사용자의 흥분도 및 상기 사용자의 긍정도를 비교하고, 비교 결과에 기초하여 상기 제1 모드 및 상기 제2 모드 중 어느 하나를 수행하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 현재 감정 상태 및 상기 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 상기 제1 모드 및 상기 제2 모드 사이의 상기 동작 비율을 결정할 수 있다.
상기 피드백 장치는, 상기 차량에 마련된 스피커, 디스플레이, 공조 장치 및 상기 차량의 시트에 마련된 진동 소자 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고, 상기 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 상기 피드백 장치를 제어하고, 상기 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드, 영상 및 진동 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 사운드, 상기 사운드에 대응하는 주파수를 갖는 진동 및 영상 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 제어부는, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어할 수 있다.
상기 차량은, 사용자에 대한 영상 데이터를 획득하는 카메라;를 더 포함하고, 상기 제어부는, 상기 영상 데이터 및 상기 생체신호 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정할 수 있다.
상기 차량은, 상기 목표 감정 상태에 대한 정보를 상기 사용자로부터 입력 받는 입력부;를 더 포함할 수 있다.
피드백 장치 및 사용자의 생체신호를 측정하는 생체신호 센서를 포함하는 일 실시예에 따른 차량의 제어방법은, 상기 생체신호에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하고; 상기 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 상기 사용자의 흥분도가 감소하도록 상기 피드백 장치를 제어하는 제1 모드 및 상기 사용자의 긍정도가 증가하도록 상기 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하고; 상기 동작 비율에 기초하여 미리 정해진 시간 동안 상기 피드백 장치를 제어하는 것;을 포함한다.
상기 피드백 장치를 제어하는 것은, 상기 동작 비율에 기초하여, 상기 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 상기 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 현재 감정 상태 및 상기 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고; 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 현재 감정 상태 및 상기 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고; 상기 결정된 모드 전환 횟수 및 상기 결정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 현재 감정 상태가 나타내는 상기 사용자의 흥분도 및 상기 사용자의 긍정도를 비교하고; 비교 결과에 기초하여 상기 제1 모드 및 상기 제2 모드 중 어느 하나를 수행하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 동작 비율을 결정하는 것은, 상기 현재 감정 상태 및 상기 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 상기 제1 모드 및 상기 제2 모드 사이의 상기 동작 비율을 결정하는 것;을 포함할 수 있다.
상기 피드백 장치는, 상기 차량에 마련된 스피커, 디스플레이, 공조 장치 및 상기 차량의 시트에 마련된 진동 소자 중 적어도 하나를 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고; 상기 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 상기 피드백 장치를 제어하고; 상기 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드, 영상 및 진동 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 사운드, 상기 사운드에 대응하는 주파수를 갖는 진동 및 영상 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 피드백 장치를 제어하는 것은, 상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 것;을 포함할 수 있다.
상기 차량은, 사용자에 대한 영상 데이터를 획득하는 카메라;를 더 포함하고, 상기 영상 데이터 및 상기 생체신호 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하는 것;을 더 포함할 수 있다.
상기 차량은, 상기 목표 감정 상태에 대한 정보를 상기 사용자로부터 입력 받는 입력부;를 더 포함할 수 있다.
일 측면에 따른 차량 및 그 제어방법에 따르면, 차량 내 사용자의 감정 상태를 긍정도 및 흥분도로 판단하고, 판단된 긍정도 및 흥분도에 따라 흥분도가 감소하도록 피드백 장치를 제어하는 모드 및 긍정도가 증가하도록 피드백 장치를 제어하는 모드 사이의 동작 비율을 결정함으로써, 보다 신속하게 사용자의 감정이 목표 감정으로 유발될 수 있도록 한다.
도 1은 일 실시예에 따른 차량의 제어 블록도이다.
도 2는 일 실시예에 따른 생체신호와 감정 인자 간의 상관관계 정보를 나타내는 도면이다.
도 3은 일 실시예에 따른 얼굴 표정과 감정 인자 간의 상관관계 정보를 나타내는 도면이다.
도 4는 일 실시예에 따른 감정 모델을 나타내는 도면이다.
도 5는 일 실시예에 따른 현재 감정 상태 및 목표 감정 상태 사이의 차이값을 나타내는 도면이다.
도 6은 일 실시예에 따른 피드백 장치의 모드 전환을 나타내는 도면이다.
도 7은 일 실시예에 따른 차량에서 각 모드에 따른 피드백 장치의 제어를 나타내는 도면이다.
도 8은 일 실시예에 따른 차량의 제어방법 중 피드백 장치를 제어하는 경우를 도시한 순서도이다.
도 9는 일 실시예에 따른 차량의 제어방법 중 피드백 장치를 제어하는 경우를 도시한 다른 순서도이다
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(Field-Programmable Gate Array) / ASIC(Application Specific Integrated Circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량의 제어 블록도이다.
도 1을 참조하면, 일 실시예에 따른 차량(10)은, 차량(10)에 탑승한 사용자를 촬영하여 사용자에 대한 영상 데이터를 획득하는 카메라(110), 사용자의 생체신호를 측정하는 생체신호 센서(120), 사용자로부터 입력을 수신하는 입력부(130), 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 사용자의 현재 감정 상태를 결정하고, 결정된 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 사용자의 흥분도가 감소하도록 피드백 장치를 제어하는 제1 모드 및 사용자의 긍정도가 증가하도록 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하는 제어부(140), 차량(10) 내부에 마련되어 제어부(140)의 제어에 따라 사용자의 감정을 목표 감정으로 유발하는 피드백을 출력하는 피드백 장치(150) 및 차량(10)의 제어에 필요한 각종 정보를 저장하는 저장부(160)를 포함할 수 있다.
일 실시예에 따른 카메라(110)는, 차량(10) 내 사용자를 촬영하고, 사용자에 대한 영상 데이터를 획득할 수 있다. 이 때, 사용자에 대한 영상 데이터는, 사용자의 얼굴 표정 즉, 얼굴 신체 구성의 움직임에 대한 정보를 포함할 수 있다.
카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
또한, 카메라(110)는 야간 주행에서의 사용자를 촬영하기 위하여 적외선 카메라로 마련될 수도 있다. 이 경우에도, 사용자에 대한 영상 데이터는, 사용자의 얼굴 표정에 대한 정보를 포함할 수 있다.
카메라(110)는, 차량(10)의 대시 보드, 전면유리 또는 시트 등의 위치에 설치될 수 있고, 설치 위치 및 개수에 제한은 없다. 카메라(110)에 의해 획득된 사용자에 대한 영상 데이터는 제어부(140)가 사용자의 얼굴 표정, 사용자의 위치를 식별하는데 이용되므로, 카메라(110)는 사용자의 정면 위치에 설치되는 것이 바람직하다.
이 때, 사용자는, 차량(10)의 운전자 및 탑승자를 모두 포함할 수 있으며, 카메라(110)는, 차량(10) 내에 위치하는 사용자 각각에 대한 영상 데이터를 획득할 수 있다.
일 실시예에 따른 생체신호 센서(120)는, 차량 내 사용자 각각의 생체신호를 측정할 수 있다. 측정된 사용자의 생체신호는 제어부(140)로 전송될 수 있고, 저장부(160)에 저장될 수 있다.
생체신호 센서(121)는, 차량(10) 내의 다양한 위치에 설치될 수 있다. 예를 들면, 생체신호 센서(121)는, 시트, 안전벨트, 스티어링휠 및 도어에 마련되는 손잡이 등에 마련될 수 있다.
또한, 생체신호 센서(121)는, 차량(10)에 탑승하는 사용자가 착용할 수 있는 웨어러블 장치(wearable device)의 일종으로 마련될 수도 있다.
생체신호 센서(121)는, 사용자의 땀분비량에 따라 달라지는 피부 전기 전도도를 측정하는 전기 피부 반응(Galvanic Skin Response, GSR) 센서, 사용자의 피부 온도를 측정하는 피부 온도(Skin temperature) 센서, 사용자의 심장 박동수를 측정하는 심장 박동(Heart Rate, HR) 센서, 사용자의 뇌파를 측정하는 뇌파(Electroencephalogram, EEG) 센서, 사용자의 음성 신호를 측정하는 음성 인식 센서, 사용자의 혈압을 측정하는 혈압 측정 센서 및 눈동자의 위치를 추적할 수 있는 아이 트랙커(Eye Tracker) 중 적어도 하나를 포함할 수 있다. 생체신호 센서(121)에 포함될 수 있는 센서가 위 센서들로 한정되는 것은 아니며, 사람의 생체신호를 측정 또는 수집할 수 있는 센서들이 모두 포함될 수 있다.
일 실시예에 따른 입력부(130)는, 사용자로부터 입력을 수신할 수 있다. 구체적으로, 입력부(130)는, 사용자로부터 목표 감정 상태에 대한 입력, 피드백 장치(150)의 구동 모드(예: 제1 모드 및 제2 모드)에 대한 입력 및 모드 전환 패턴(예: 모드 전환 횟수, 모드 유지 시간)에 대한 입력 등을 수신할 수 있다.
이를 위해, 입력부(130)는, 대시 보드의 중앙에 설치된 센터페시아에 마련될 수 있으며, 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현된 것일 수 있다. 이 때, 터치 스크린으로 마련된 입력부(130)는, 차량(10) 내부에 마련되는 디스플레이(152) 상에 마련되는 것일 수 있다. 다만, 입력부(130)의 위치 및 구현 방식은, 상기한 예에 한정되는 것은 아니며, 사용자의 입력을 수신할 수 있는 위치 및 구현 방식이면 제한 없이 포함될 수 있다.
일 실시예에 따른 제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 사용자의 현재 감정 상태를 결정하고, 결정된 현재 감정 상태에 기초하여 피드백 장치(150)를 제어할 수 있다.
구체적으로, 제어부(140)는, 사용자에 대한 영상 데이터에 기초하여 사용자의 얼굴 표정을 판단하고, 판단된 얼굴 표정에 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 영상 데이터에 기초한 사용자의 감정 상태에 대한 정보를 획득하는 구성은 뒤에서 다시 자세하게 설명하기로 한다.
또한, 제어부(140)는 사용자의 생체신호에 기초하여 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 생체신호에 기초한 사용자의 감정 상태에 대한 정보를 획득하는 구성은 뒤에서 다시 자세하게 설명하기로 한다.
일 실시예에 따른 제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 판단된 사용자의 현재 감정 상태에 기초하여 피드백 장치(150)를 제어할 수 있다.
구체적으로, 일 실시예에 따른 제어부(140)는, 현재 감정 상태가 나타내는 사용자의 흥분도 및 사용자의 긍정도를 비교하고, 비교 결과에 기초하여 사용자의 흥분도가 감소하는 방향으로 피드백 장치(150)를 제어하는 제1 모드 및 긍정도가 증가하는 방향으로 피드백 장치(150)를 제어하는 제2 모드 중 어느 하나를 선택할 수 있다.
즉, 제어부(140)는, 사용자에 대한 현재 감정 상태를 흥분도 및 긍정도를 수치화하여 판단할 수 있다. 이에 대한 설명은 뒤에서 다시 자세하게 설명하도록 한다.
이 경우, 제어부(140)는, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 높은 경우, 제1 모드로 동작하도록 피드백 장치(150)를 제어할 수 있으며, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 낮은 경우, 제2 모드로 동작하도록 피드백 장치(150)를 제어할 수 있다.
이 때, 부정도의 수치값은, 음의 값을 갖는 긍정도의 수치값에 해당할 수 있으며, 흥분도의 수치값과 부정도의 수치값의 비교에서는, 각 수치값의 절대값에 기초하여 비교하는 것을 전제로 한다.
또한, 일 실시예에 따른 제어부(140)는, 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 제1 모드 및 제2 모드 사이의 동작 비율을 결정하고, 미리 정해진 시간 동안 결정된 동작 비율에 기초하여 피드백 장치(150)를 제어할 수 있다.
제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 판단된 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값을 판단할 수 있다. 이 때, 목표 감정 상태는, 차량(10)의 설계 단계에서 미리 설정되거나, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수도 있다.
사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값은, 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 포함한다. 즉, 제어부(140)는, 판단된 흥분도 및 판단된 긍정도에 기초하여 목표 감정 상태의 흥분도 및 긍정도와 각각 비교하여 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 판단할 수 있다.
이 때, 제어부(140)는, 현재 감정 상태 및 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 제1 모드 및 제2 모드 사이의 동작 비율을 결정할 수 있다.
이후, 제어부(140)는, 결정된 동작 비율에 기초하여, 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 피드백 장치(150)를 제어할 수 있다.
이 때, 미리 정해진 시간은, 차량(10)의 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다. 또한, 미리 정해진 시간은, 입력부(130)를 통한 사용자의 목적지 입력에 따라 제어부(140)에 의하여 산출된 목적지까지의 예상 주행 시간에 해당할 수 있다.
제어부(140)는, 실시예에 따라, 미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간은, 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다.
즉, 제어부(140)는, 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있으며, 이 때, 제1 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간에 해당하며, 제2 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간을 제외한 시간에 해당할 수 있다.
또한, 제어부(140)는, 실시예에 따라, 현재 감정 상태 및 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 현재 감정 상태 및 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고, 결정된 모드 전환 횟수 및 결정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
구체적으로, 제어부(140)는, 판단된 현재 감정 상태 및 목표 감정 상태에 대해 신경망(Neural Network)을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 피드백 장치(150)의 동작 패턴을 판단할 수 있다.
이 때, 피드백 장치(150)의 동작 패턴은, 미리 정해진 시간 동안 동작 모드가 전환되는 횟수 및 모드 별 유지 시간에 기초한 미리 정해진 시간 동안 피드백 장치(150)가 모드를 전환하며 동작하는 양태에 해당할 수 있다.
이 때, 신경망을 통한 연산 수행에 따른 정보는, 미리 정해진 시간 중 모드가 전환되는 횟수를 나타내는 모드 전환 횟수에 대한 정보 및 전환되는 모드 별 모드가 유지되는 시간을 나타내는 모드 별 유지 시간에 대한 정보를 포함할 수 있다.
전술한 신경망은 딥 러닝(Deep learning)을 수행할 수 있는 신경 구조를 형상화한 기계 학습을 지칭하므로, 신경망의 구성에 해당하는 가중치(weight) 및 바이어스(bias)가 계속적으로 변화하면서 학습의 신뢰도를 향상시킨다.
구체적으로, 차량(10)은, 현재 감정 상태 및 목표 감정 상태와 피드백 장치(150)의 패턴에 따른 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보에 기초하여 신경망에 포함된 가중치(weight), 바이어스(bias) 및 전달함수(activation function)를 계속적으로 갱신시킴으로써, 신경망의 추론(inference) 결과를 향상시킬 수 있다. 즉, 차량(10)은, 주행하는 경우마다, 결정된 패턴 및 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보를 저장할 수 있으며, 저장된 결정된 패턴 및 도달 시간에 대한 정보에 기초하여 저장된 신경망을 지속적으로 갱신할 수 있다.
이 때, 신경망은, 컴퓨터 프로그램 형태로 저장부(160)에 저장될 수 있다. 이하에서는 컴퓨터 프로그램의 코딩 형태로 신경망이 처리하는 연산 수행을 설명하지만, 반드시 신경망이 저장된 컴퓨터 프로그램에 한정되는 것은 아니다.
한편, 신경망은, 현재 감정 상태 및 목표 감정 상태를 컨볼루션(convolution)하여 출력되는 특징 맵(features map)을 생성하고, 상기 특징 맵을 신경망으로 입력시키는 CNN(convolution neural network)를 포함할 수 있으나, 이에 한정되는 것은 아니며, RNN(Recurrent Neural Networks)을 포함한 다른 딥 러닝의 알고리즘으로 수행될 수도 있다.
이와 같이, 차량(10)은, 사용에 따라 지속적으로 갱신되는 신경망을 통하여 현재 감정 상태 및 목표 감정 상태에 기초하여 가장 적합한 피드백 장치(150)의 동작 패턴을 판단할 수 있다. 즉, 제어부(140)는, 현재 감정 상태 및 목표 감정 상태에 기초하여 사용자의 감정이 목표 감정으로 신속하게 도달할 수 있는 모드 전환 횟수 및 모드 별 유지 시간을 결정할 수 있다.
다만, 제어부(140)는, 실시예에 따라, 입력부(130)를 통한 사용자의 입력에 기초하여 제1 모드 및 제2 모드 중 어느 하나의 모드로 동작하도록 피드백 장치(150)를 제어할 수 있다.
일 실시예에 따른 제어부(140)는, 차량(10) 내 복수의 사용자가 탑승한 경우, 입력부(130)를 통하여 선택된 어느 하나의 사용자의 감정에 기초하여 피드백 장치(150)를 제어할 수 있다.
또한, 제어부(140)는, 실시예에 따라, 차량(10) 내 복수의 사용자 각각의 현재 감정 상태에 기초하여 목표 감정 상태와 차이값이 가장 높은 현재 감정 상태에 대응하는 사용자의 감정에 기초하여 피드백 장치(150)를 제어할 수 있다.
이하에서는, 모드에 따른 제어부(140)의 피드백 장치(150)에 대한 제어를 구체적으로 설명하도록 한다.
일 실시예에 따른 제어부(140)는, 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고, 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 피드백 장치(150)를 제어하고, 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 피드백 장치(150)를 제어할 수 있다.
피드백 장치(150)는, 차량(10)에 마련된 스피커(151), 디스플레이(152), 공조 장치(154) 및 차량(10)의 시트에 마련된 진동 소자(153) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 스피커(151)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드를 차량(10)의 내부에 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드를 차량(10)의 내부에 출력할 수 있다.
즉, 제어부(140)는, 목표 감정 상태일 때의 호흡 주기 및 심박 주기 각각을 목표 호흡 주기 및 목표 심박 주기로 설정하고, 제1 모드에서 사용자의 흥분도가 감소하도록 목표 호흡 주기 또는 목표 호흡 주기에 대응하는 사운드를 차량(10)의 내부에 출력하도록 스피커(151)를 제어할 수 있다. 이에 따라, 차량(10)은, 사용자의 호흡의 주기가 목표 호흡 주기로 유도되거나, 사용자의 심박의 주기가 목표 심박 주기로 유도되도록 할 수 있다.
이 때, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 설계 단계에서 미리 정해질 수 있으며, 사용자가 긍정적인 감정을 느낄 수 있는 사운드의 크기, 장르, 이퀄라이저(Equalizer), 음색 및 음파 영역대 중 적어도 하나를 갖는 사운드에 해당할 수 있다. 예를 들어, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 사용자가 긍정적인 감정을 느낄 수 있는 힙합 음악, 클래식 음악 및 최신 유행 음악 등이 포함될 수 있다. 다만, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다. 즉, 사용자는, 들었을 때 긍정적인 감정이 유발되었던 사운드를 긍정도에 대응하는 감정 인자를 증가시키는 사운드로 설정해놓을 수 있으며, 설정된 사운드는, 저장부(160)에 저장될 수 있다.
이를 위해, 스피커(151)는, 차량(10)의 내부에 마련될 수 있으며, 차량(10)의 사용자가 출력되는 사운드를 청취할 수 있는 위치이면 제한없이 마련될 수 있다.
일 실시예에 따른 디스플레이(152)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 영상을 차량(10)의 내부에 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수를 갖는 영상을 차량(10)의 내부에 출력할 수 있다.
구체적으로, 제어부(140)는, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수에 따라 출력되는 빛의 세기가 증가 또는 감소하도록 디스플레이(152)를 제어하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수에 따라 출력되는 빛의 세기가 증가 또는 감소하도록 디스플레이(152)를 제어할 수 있다.
또한, 디스플레이(152)는, 실시예에 따라, 제어부(140)의 제어에 기초하여, 제1 모드에서 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력할 수 있다.
이 때, 흥분도에 대응하는 감정 인자를 감소시키는 색상 및 긍정도에 대응하는 감정 인자를 증가시키는 색상은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 색상 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다.
이를 위해, 디스플레이(152)는, 차량(10) 내부에 마련될 수 있으며, 패널을 포함할 수 있다. 예를 들어, 디스플레이(152)는, 클러스터에 마련될 수 있으며, 클러스터 및 센터페시아를 가로질러 마련될 수도 있으며, 차량(10) 내부의 천장에 마련될 수도 있으며, 차량(10) 내부의 도어에 마련될 수도 있다.
패널은 음극선관(Cathode Ray Tube, CRT) 패널, 액정 디스플레이(Liquid Crystal Display, LCD) 패널, 발광 다이오드(Light Emitting Diode, LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 전계 방출 디스플레이(Field Emission Display, FED) 패널 중 어느 하나일 수 있다.
디스플레이(152)가 마련되는 위치 및 개수는, 차량(10)의 사용자에게 정보를 시각적으로 전달할 수 있는 위치 및 개수이면 제한 없이 포함될 수 있다.
일 실시예에 따른 진동 소자(153)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 진동을 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수를 갖는 진동을 출력할 수 있다.
이 때, 출력된 진동은, 차량(10) 내부에 마련된 시트가 진동하도록 하며, 시트를 통하여 시트 상에 위치하는 사용자에게 전달될 수 있다.
이를 위해, 진동 소자(153)는, 차량(10) 내부에 마련된 시트 내부에 마련될 수 있으며, 제어부(140)의 제어에 따라 구동되는 모터에 해당할 수 있다.
이 때, 진동 소자(153)는, 제어부(140)로부터 전달받은 주파수에 대응하도록 회전하여 시트 상의 사용자에게 주파수에 대응하는 진동을 전달할 수 있다.
또한, 실시예에 따라, 진동 소자(153)는, 진동을 증폭하기 위한 진동판을 더 포함할 수도 있다.
일 실시예에 따른 공조 장치(154)는, 제어부(140)의 제어에 따라, 제1 모드에서 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력할 수 있으며, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력할 수도 있다.
이 때, 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 향기 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다. 예를 들어, 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람은, 각각 쟈스민 향기 및 산들 바람에 해당할 수 있다. 다만, 이에 한정되는 것은 아니며, 흥분도에 대응하는 감정 인자를 감소시킬 수 있는 향기이면 제한없이 포함될 수 있다. 또한, 흥분도에 대응하는 감정 인자를 감소시키는 바람은, 흥분도를 낮출 수 있는 풍향, 세기 및 온도 중 적어도 하나를 갖는 바람에 해당할 수 있다.
또한, 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 향기 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다. 예를 들어, 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람은, 각각 레몬 향기 및 시원한 바람에 해당할 수 있다. 다만, 이에 한정되는 것은 아니며, 긍정도에 대응하는 감정 인자를 증가시킬 수 있는 향기이면 제한없이 포함될 수 있다. 또한, 긍정도에 대응하는 감정 인자를 증가시키는 바람은, 긍정도를 높일 수 있는 풍향, 세기 및 온도 중 적어도 하나를 갖는 바람에 해당할 수 있다.
이를 위해, 공조 장치(154)는, 차량(10) 내에 마련되며 제어부(140)의 제어에 따라 차량(10) 내 실내 공간 상에 바람(온기 또는 냉기)을 송풍할 수 있다.
구체적으로, 공조 장치(154)는, 압축기(compressor), 응축기(condenser), 팽창 밸브 및 열 교환기를 포함할 수 있으며, 압축기, 응축기 팽창 밸브 및 열 교환기는, 상호 적어도 하나의 냉매 유로를 통해 연결될 수 있다. 냉매는, 냉매 유로를 따라 압축기, 응축기, 팽창 밸브 및 열 교환기를 유동하고, 유동하는 냉매의 상태 변화에 따라, 공조 장치(154)는, 냉기 또는 온기를 획득할 수 있다. 획득된 냉기 또는 온기는 팬을 통해 차량(10)의 실내 공간에 제공될 수 있다.
또한, 공조 장치(154)는, 차량(10)의 실내 공간에 송풍되는 바람을 생성하는 팬을 구동하는 모터를 포함하며, 송풍되는 바람의 풍향을 조절하기 위하여 송풍구에 마련되는 윙 부재를 조정하는 모터를 포함할 수 있다.
이에 더하여, 공조 장치(154)는, 실내 공간에 송풍되는 바람에 향 물질을 분사하는 향 액츄에이터를 포함하며, 향 액츄에이터는, 다양한 종류의 향 물질을 저장하는 복수의 저장 탱크, 향 물질을 분사하는 분사구 및 분사구를 통하여 향 물질이 분사되도록 하는 모터를 포함할 수 있다.
이와 같이, 제어부(140)는, 피드백 장치(150)에 해당하는 스피커(151), 디스플레이(152), 진동 소자(153) 및 공조 장치(154) 중 적어도 하나의 장치를 제어하여 사용자의 긍정적인 감정을 유도하면서도, 사용자의 흥분도를 낮출 수 있다.
제어부(140)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서를 포함할 수 있다. 메모리와 프로세서가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다.
일 실시예에 따른 저장부(160)는, 차량(10)의 제어에 필요한 각종 정보를 저장할 수 있다.
예를 들어, 저장부(160)는, 카메라(110)가 획득한 영상 데이터, 생체신호 센서(120)가 획득한 측정값, 사용자의 생체신호와 감정 인자 간 상관관계 정보, 사용자의 얼굴 표정과 감정 인자 간의 상관관계 정보, 사용자의 감정 상태에 대한 정보, 감정 모델 및 신경망에 대한 정보 등을 저장할 수 있다. 이 때, 저장부(160)에 저장된 데이터는 제어부(140)로 전송될 수 있다.
저장부(160)는, 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(Hard Disk Drive, HDD), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나, 이에 한정되지는 않는다. 저장부(160)는 별개의 칩으로 구현된 메모리일 수 있고, 제어부(140)에 대응하는 프로세서와 단일 칩으로 구현될 수도 있다.
이하에서는, 차량(10)이 카메라(110)를 통하여 획득한 영상 데이터 및 생체신호 센서(120)를 통하여 획득한 생체신호에 기초하여 사용자의 감정 상태에 대한 정보를 획득하는 것에 대하여 자세하게 살펴본다.
도 2는 일 실시예에 따른 생체신호와 감정 인자 간의 상관관계 정보를 나타내는 도면이고, 도 3은 일 실시예에 따른 얼굴 표정과 감정 인자 간의 상관관계 정보를 나타내는 도면이고, 도 4는 일 실시예에 따른 감정 모델을 나타내는 도면이다.
도 2를 참조하면, 일 실시예에 따른 생체신호와 감정 인자 간의 상관관계 정보(200)는, 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보를 포함할 수 있다.
도 2에 도시된 바와 같이, GSR 신호는 혐오스러운(Disgust) 감정 인자나 화난(Anger) 감정 인자와의 상관관계 값이 각각 0.875, 0.775로, 혐오스러운 감정 인자나 화난 감정 인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, GSR 센서에 의해 수집된 사용자의 생체신호는, 사용자의 감정이 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있는 기초가 된다.
즐거운(Joy) 감정 인자의 경우 GSR 신호와의 상관 관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정 인자는 GSR 신호와 관련성이 적다고 할 수 있다.
EEG 신호는, 화난 감정 인자나 두려운(Fear) 감정 인자와의 상관관계 값이 각각 0.864, 0.878로, 다른 감정 인자보다 화난 감정 인자나 두려운 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, EEG 센서에 의해 수집된 생체신호는, 사용자의 감정이 화난 감정이나 두려운 감정이라고 판단할 수 있는 기초가 된다.
이와 같이, 제어부(140)는 생체신호와 감정 인자 간 상관관계 정보(200)를 이용하여 사용자 각각의 감정 상태에 대한 정보를 획득할 수 있다. 도 2에 도시된 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.
또한, 도 2는, 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보만을 도시하였으나, 생체신호와 감정 인자 간 상관관계 정보(200)는 차량(10)에 마련되는 센서로부터 측정되는 생체신호의 종류에 따라 각 생체신호와 감정 인자 간 상관관계 정보를 포함할 수 있다.
도 3을 참조하면, 일 실시예에 따른 제어부(140)는, 카메라(110)에 의해 촬영된 사용자 각각의 영상에 나타내는 사용자 각각의 얼굴 표정을 판단할 수 있으며, 사용자 각각의 얼굴 표정에 얼굴 움직임 부화화 시스템(Facial Action Coding System, FACS)을 적용하여 사용자 각각의 감정 상태에 대한 정보를 획득할 수 있다.
구체적으로, 제어부(140)는, 사용자의 얼굴에서 특징점을 추출하고, 추출된 특징점을 이용하여 복수의 얼굴요소를 추출할 수 있다. 복수의 얼굴요소는 눈썹, 눈, 코, 입 등을 포함할 수 있다. 제어부(140)는, 추출된 복수의 얼굴요소 각각에 대한 패턴을 조합하고, 조합된 패턴을 저장부(160)에 저장된 얼굴 표정과 감정인자 간의 상관관계 정보(300)와 비교할 수 있다. 얼굴 표정과 감정인자 간의 상관관계 정보(300)는 얼굴 표정과 감정과의 관계를 나타내는 정보에 해당한다.
제어부(140)는 얼굴 표정과 감정인자 간의 상관관계 정보(300) 중 사용자의 조합된 패턴과 동일한 패턴 또는 가장 유사한 패턴에 대응하는 얼굴 표정을 사용자의 얼굴 표정으로 판단할 수 있다.
또한, 제어부(140)는 판단된 사용자의 얼굴 표정에 대한 얼굴 표정과 감정인자 간의 상관관계 정보(300) 상의 상관관계 값을 고려하여 사용자의 감정을 나타내는 감정 상태에 대한 정보를 획득할 수 있다.
예를 들어, 제어부(140)는 사용자의 판단된 표정이 얼굴 표정과 감정인자 간의 상관관계 정보(300) 상의 표정 2에 해당하는 경우 상관관계 값이 가장 높은 즐거운 감정이 사용자의 감정임을 나타내는 감정 상태에 대한 정보를 획득할 수 있다.
도 3에 도시된 얼굴 표정과 감정인자 간의 상관관계 정보(300)는, 표정 1, 표정 2 및 표정 3만을 도시하고 있으나, 사용자의 감정을 분류할 수 있는 얼굴 표정이면 제한 없이 포함할 수 있다.
이와 같이, 제어부(140)는 카메라(110)로 촬영된 차량 내부 영상을 분석하여 차량 내 탑승한 사용자 각각의 얼굴 표정을 판단하고, 판단된 얼굴 표정에 기초하여 사용자 각각의 감정 상태에 대한 정보를 획득할 수 있다.
도 4를 참조하면, 감정 모델(400)은, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 따라 나타나는 사용자의 감정을 그래프 상에 분류해 놓은 것이다.
감정 모델(400)은 미리 설정된 감정축을 기준으로 사용자의 감정을 분류한다. 감정축은 사용자에 대한 영상 데이터 또는 사용자의 생체신호에 의해 측정된 감정을 기준으로 정해질 수 있다. 예를 들면, 감정축1은 탑승자의 음성이나 얼굴 표정으로 측정 가능한 긍정도 또는 부정도가 될 수 있고, 감정축2는 GSR이나 EEG로 측정 가능한 흥분도 또는 활성도가 될 수 있다.
사용자의 감정이 높은 긍정도와 높은 흥분도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 사용자의 감정이 음(-)의 긍정도 즉, 부정도를 갖고 높은 흥분도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.
이러한 감정 모델은 러셀(Russell)의 감정 모델일 수 있다. 러셀(Russell)의 감정 모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.
이와 같이, 제어부(140)는 사용자 각각의 얼굴 표정 및 생체신호와, 생체신호와 감정 인자 간 상관 관계 정보(200), 얼굴 표정과 감정인자 간의 상관관계 정보(300) 및 감정 모델(400)을 이용하여 사용자 각각의 감정 상태에 대한 정보를 획득할 수 있다.
이 때, 획득된 감정 상태에 대한 정보는, 감정의 정도에 따라 긍정도 및 흥분도 각각에 대하여 수치값으로 정의될 수도 있다. 구체적으로, 긍정도 및 흥분도 각각은, 그 정도에 따라 -100과 100사이의 값으로 수치화되어 표현될 수 있다. 다만, 정도에 따른 수치값은 일 실시예에 불과할 뿐, 정도를 나타낼 수 있는 수치값에 해당하면 제한없이 포함될 수 있다.
이하, 일 실시예에 따른 차량(10)이 피드백 장치(150)를 제어하는 양태에 대하여 자세히 살펴보도록 한다.
도 5는 일 실시예에 따른 현재 감정 상태 및 목표 감정 상태 사이의 차이값을 나타내는 도면이고, 도 6은 일 실시예에 따른 피드백 장치(150)의 모드 전환을 나타내는 도면이고, 도 7은 일 실시예에 따른 차량에서 각 모드에 따른 피드백 장치(150)의 제어를 나타내는 도면이다.
도 5를 참조하면, 일 실시예에 따른 제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다.
예를 들어, 판단된 사용자의 현재 감정 상태는, 흥분도가 높고, 부정도가 높은 감정 상태인 감정 8로 분류될 수 있다. 즉, 현재 감정 상태에 대한 정보는, 양의 흥분도 및 음의 긍정도를 나타낼 수 있으며, 긍정도 및 흥분도 각각이 그 정도에 따라 수치화되어 수치값으로 표현될 수 있다.
일 실시예에 따른 제어부(140)는, 판단된 현재 감정 상태에 기초하여 피드백 장치(150)를 제어할 수 있다.
구체적으로, 일 실시예에 따른 제어부(140)는, 현재 감정 상태가 나타내는 사용자의 흥분도 및 사용자의 긍정도를 비교하고, 비교 결과에 기초하여 사용자의 흥분도가 감소하는 방향으로 피드백 장치(150)를 제어하는 제1 모드 및 긍정도가 증가하는 방향으로 피드백 장치(150)를 제어하는 제2 모드 중 어느 하나를 선택할 수 있다.
이 경우, 제어부(140)는, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 높은 경우, 제1 모드로 동작하도록 피드백 장치(150)를 제어할 수 있으며, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 낮은 경우, 제2 모드로 동작하도록 피드백 장치(150)를 제어할 수 있다.
이 때, 부정도의 수치값은, 음의 값을 갖는 긍정도의 수치값에 해당할 수 있으며, 감정 모델(400) 상에서 2사분면 및 3사분면 상에 감정 상태가 위치하는 경우에 해당하는 경우의 긍정도의 수치값에 해당할 수 있다. 또한, 흥분도의 수치값과 부정도의 수치값의 비교에서는, 각 수치값의 절대값에 기초하여 비교하는 것을 전제로 한다.
또한, 일 실시예에 따른 제어부(140)는, 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 제1 모드 및 제2 모드 사이의 동작 비율을 결정하고, 미리 정해진 시간 동안 결정된 동작 비율에 기초하여 피드백 장치(150)를 제어할 수 있다.
제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 판단된 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값을 판단할 수 있다. 이 때, 목표 감정 상태는, 차량(10)의 설계 단계에서 미리 설정되거나, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수도 있다. 예를 들어, 목표 감정 상태는, 흥분도가 낮고, 긍정도가 높은 감정 2에 해당할 수 있다.
도 5에 도시된 바와 같이, 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값은, 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 포함한다. 즉, 제어부(140)는, 판단된 흥분도 및 판단된 긍정도에 기초하여 목표 감정 상태의 흥분도 및 긍정도와 각각 비교하여 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 판단할 수 있다.
이 때, 제어부(140)는, 현재 감정 상태 및 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 제1 모드 및 제2 모드 사이의 동작 비율을 결정할 수 있다.
이후, 제어부(140)는, 결정된 동작 비율에 기초하여, 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 피드백 장치(150)를 제어할 수 있다.
즉, 제1 시간 및 미리 정해진 시간에서 제1 시간을 제외한 시간의 비율은, 제어부(140)에 의하여 결정된 동작 비율에 대응할 수 있다.
예를 들어, 도 6을 참조하면, 피드백 장치(150)가 제1 모드로 동작하는 제1 구간(610) 및 제3 구간(630) 각각이 수행되는 시간의 합은 제1 시간일 수 있으며, 피드백 장치(150)가 제2 모드로 동작하는 제2 구간(620) 및 제4 구간(640) 각각이 수행되는 시간의 합은 미리 정해진 시간에서 제1 시간을 제외한 시간일 수 있다.
이 때, 미리 정해진 시간은, 차량(10)의 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다. 또한, 미리 정해진 시간은, 입력부(130)를 통한 사용자의 목적지 입력에 따라 제어부(140)에 의하여 산출된 목적지까지의 예상 주행 시간에 해당할 수 있다.
제어부(140)는, 실시예에 따라, 미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간은, 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다.
예를 들어, 도 6을 참조하면, 미리 설정된 모드 전환 횟수는, '3'에 해당할 수 있으며, 모드 별 유지 시간은, 각 구간(610, 620, 630, 640)로 상이하게 설정될 수 있다. 다만, 모드 별 총 동작 시간의 비율은, 제어부(140)에 의하여 결정된 동작 비율에 대응한다. 다만, 도 6에 도시된 피드백 장치(150)의 동작 패턴은 일 예에 불과할 뿐이며, 설정에 따라 다양한 동작 패턴이 마련될 수 있다.
즉, 제어부(140)는, 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있으며, 이 때, 제1 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간에 해당하며, 제2 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간을 제외한 시간에 해당할 수 있다.
또한, 제어부(140)는, 실시예에 따라, 현재 감정 상태 및 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 현재 감정 상태 및 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고, 결정된 모드 전환 횟수 및 결정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
구체적으로, 제어부(140)는, 판단된 현재 감정 상태 및 목표 감정 상태에 대해 신경망(Neural Network)을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 피드백 장치(150)의 동작 패턴을 판단할 수 있다.
이 때, 피드백 장치(150)의 동작 패턴은, 미리 정해진 시간 동안 동작 모드가 전환되는 횟수 및 모드 별 유지 시간에 기초한 미리 정해진 시간 동안 피드백 장치(150)가 모드를 전환하며 동작하는 양태에 해당할 수 있다.
이 때, 신경망을 통한 연산 수행에 따른 정보는, 미리 정해진 시간 중 모드가 전환되는 횟수를 나타내는 모드 전환 횟수에 대한 정보 및 전환되는 모드 별 모드가 유지되는 시간을 나타내는 모드 별 유지 시간에 대한 정보를 포함할 수 있다.
전술한 신경망은 딥 러닝(Deep learning)을 수행할 수 있는 신경 구조를 형상화한 기계 학습을 지칭하므로, 신경망의 구성에 해당하는 가중치(weight) 및 바이어스(bias)가 계속적으로 변화하면서 학습의 신뢰도를 향상시킨다.
구체적으로, 차량(10)은, 현재 감정 상태 및 목표 감정 상태와 피드백 장치(150)의 패턴에 따른 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보에 기초하여 신경망에 포함된 가중치(weight), 바이어스(bias) 및 전달함수(activation function)를 계속적으로 갱신시킴으로써, 신경망의 추론(inference) 결과를 향상시킬 수 있다. 즉, 차량(10)은, 주행하는 경우마다, 결정된 패턴 및 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보를 저장할 수 있으며, 저장된 결정된 패턴 및 도달 시간에 대한 정보에 기초하여 저장된 신경망을 지속적으로 갱신할 수 있다.
한편, 신경망은, 현재 감정 상태 및 목표 감정 상태를 컨볼루션(convolution)하여 출력되는 특징 맵(features map)을 생성하고, 상기 특징 맵을 신경망으로 입력시키는 CNN(convolution neural network)를 포함할 수 있으나, 이에 한정되는 것은 아니며, RNN(Recurrent Neural Networks)을 포함한 다른 딥 러닝의 알고리즘으로 수행될 수도 있다.
이와 같이, 차량(10)은, 사용에 따라 지속적으로 갱신되는 신경망을 통하여 현재 감정 상태 및 목표 감정 상태에 기초하여 가장 적합한 피드백 장치(150)의 동작 패턴을 판단할 수 있다. 즉, 제어부(140)는, 현재 감정 상태 및 목표 감정 상태에 기초하여 사용자의 감정이 목표 감정으로 신속하게 도달할 수 있는 모드 전환 횟수 및 모드 별 유지 시간을 결정할 수 있다.
다만, 제어부(140)는, 실시예에 따라, 입력부(130)를 통한 사용자의 입력에 기초하여 제1 모드 및 제2 모드 중 어느 하나의 모드로 동작하도록 피드백 장치(150)를 제어할 수 있다.
이하에서는, 모드에 따른 제어부(140)의 피드백 장치(150)에 대한 제어를 구체적으로 설명하도록 한다.
일 실시예에 따른 제어부(140)는, 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고, 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 피드백 장치(150)를 제어하고, 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 피드백 장치(150)를 제어할 수 있다.
도 7을 참조하면, 피드백 장치(150)는, 차량(10)에 마련된 스피커(151), 디스플레이(152), 공조 장치(154) 및 차량(10)의 시트에 마련된 진동 소자(153) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 스피커(151)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드를 차량(10)의 내부에 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드를 차량(10)의 내부에 출력할 수 있다.
즉, 제어부(140)는, 목표 감정 상태일 때의 호흡 주기 및 심박 주기 각각을 목표 호흡 주기 및 목표 심박 주기로 설정하고, 제1 모드에서 사용자의 흥분도가 감소하도록 목표 호흡 주기 또는 목표 호흡 주기에 대응하는 사운드를 차량(10)의 내부에 출력하도록 스피커(151)를 제어할 수 있다. 이에 따라, 차량(10)은, 사용자의 호흡의 주기가 목표 호흡 주기로 유도되거나, 사용자의 심박의 주기가 목표 심박 주기로 유도되도록 할 수 있다.
이 때, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 설계 단계에서 미리 정해질 수 있으며, 사용자가 긍정적인 감정을 느낄 수 있는 사운드의 크기, 장르, 이퀄라이저(Equalizer), 음색 및 음파 영역대 중 적어도 하나를 갖는 사운드에 해당할 수 있다. 예를 들어, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 사용자가 긍정적인 감정을 느낄 수 있는 힙합 음악, 클래식 음악 및 최신 유행 음악 등이 포함될 수 있다. 다만, 긍정도에 대응하는 감정 인자를 증가시키는 사운드는, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다. 즉, 사용자는, 들었을 때 긍정적인 감정이 유발되었던 사운드를 긍정도에 대응하는 감정 인자를 증가시키는 사운드로 설정해놓을 수 있으며, 설정된 사운드는, 저장부(160)에 저장될 수 있다.
일 실시예에 따른 디스플레이(152)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 영상을 차량(10)의 내부에 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수를 갖는 영상을 차량(10)의 내부에 출력할 수 있다.
구체적으로, 제어부(140)는, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수에 따라 출력되는 빛의 세기가 증가 또는 감소하도록 디스플레이(152)를 제어하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수에 따라 출력되는 빛의 세기가 증가 또는 감소하도록 디스플레이(152)를 제어할 수 있다.
또한, 디스플레이(152)는, 실시예에 따라, 제어부(140)의 제어에 기초하여, 제1 모드에서 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력할 수 있다.
이 때, 흥분도에 대응하는 감정 인자를 감소시키는 색상 및 긍정도에 대응하는 감정 인자를 증가시키는 색상은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 색상 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다.
일 실시예에 따른 진동 소자(153)는, 제어부(140)의 제어에 따라, 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 진동을 출력하거나, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 사운드에 대응하는 주파수를 갖는 진동을 출력할 수 있다.
이 때, 출력된 진동은, 차량(10) 내부에 마련된 시트가 진동하도록 하며, 시트를 통하여 시트 상에 위치하는 사용자에게 전달될 수 있다.
일 실시예에 따른 공조 장치(154)는, 제어부(140)의 제어에 따라, 제1 모드에서 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력할 수 있으며, 제2 모드에서 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력할 수도 있다.
이 때, 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 향기 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다. 예를 들어, 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람은, 각각 쟈스민 향기 및 산들 바람에 해당할 수 있다. 다만, 이에 한정되는 것은 아니며, 흥분도에 대응하는 감정 인자를 감소시킬 수 있는 향기이면 제한없이 포함될 수 있다. 또한, 흥분도에 대응하는 감정 인자를 감소시키는 바람은, 흥분도를 낮출 수 있는 풍향, 세기 및 온도 중 적어도 하나를 갖는 바람에 해당할 수 있다.
또한, 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람은, 설계 단계에서 설정될 수 있으며, 외부 서버로부터 획득한 향기 및 감정 인자 간의 상관관계 정보에 기초하여 제어부(140)가 설정할 수 있으며, 입력부(130)를 통하여 사용자가 설정할 수도 있다. 예를 들어, 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람은, 각각 레몬 향기 및 시원한 바람에 해당할 수 있다. 다만, 이에 한정되는 것은 아니며, 긍정도에 대응하는 감정 인자를 증가시킬 수 있는 향기이면 제한없이 포함될 수 있다. 또한, 긍정도에 대응하는 감정 인자를 증가시키는 바람은, 긍정도를 높일 수 있는 풍향, 세기 및 온도 중 적어도 하나를 갖는 바람에 해당할 수 있다.
이와 같이, 제어부(140)는, 피드백 장치(150)에 해당하는 스피커(151), 디스플레이(152), 진동 소자(153) 및 공조 장치(154) 중 적어도 하나의 장치를 제어하여 사용자의 긍정적인 감정을 유도하면서도, 사용자의 흥분도를 낮출 수 있다.
이하, 일 실시예에 따른 차량(10)의 제어방법을 설명하기로 한다. 후술하는 차량(10)의 제어방법에는 전술한 실시예에 따른 차량(10)이 적용될 수 있다. 따라서, 앞서 도 1 내지 도 7을 참조하여 설명한 내용은 특별한 언급이 없더라도 일 실시예에 따른 차량(10)의 제어방법에도 동일하게 적용 가능하다.
도 8은 일 실시예에 따른 차량(10)의 제어방법 중 피드백 장치(150)를 제어하는 경우를 도시한 순서도이다.
도 8을 참조하면, 일 실시예에 따른 차량(10)은, 생체신호 및 영상 정보 중 적어도 하나에 기초하여 사용자의 현재 감정 상태에 대한 정보를 결정할 수 있다(810).
구체적으로, 제어부(140)는, 사용자에 대한 영상 데이터에 기초하여 사용자의 얼굴 표정을 판단하고, 판단된 얼굴 표정에 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 이 때, 영상 정보는, 차량(10) 내부에 마련된 카메라(110)에 의하여 획득될 수 있다.
또한, 제어부(140)는, 사용자의 생체신호에 기초하여 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 이 때, 생체신호는, 차량(10) 내부에 마련된 생체신호 센서(120)에 의하여 획득될 수 있다.
이 때, 현재 감정 상태에 대한 정보는, 긍정도 및 흥분도 각각이 그 정도에 따라 수치화되어 수치값으로 표현될 수 있다.
일 실시예에 따른 차량(10)은, 현재 감정 상태가 나타내는 사용자의 흥분도 및 사용자의 긍정도를 비교할 수 있다(820).
구체적으로, 제어부(140)는, 현재 감정 상태에 대한 정보에 기초하여 사용자의 흥분도에 대한 수치값과 사용자의 부정도 즉, 음의 긍정도에 대한 수치값을 비교할 수 있다.
이 때, 부정도의 수치값은, 음의 값을 갖는 긍정도의 수치값에 해당할 수 있으며, 감정 모델(400) 상에서 2사분면 및 3사분면 상에 감정 상태가 위치하는 경우에 해당하는 경우의 긍정도의 수치값에 해당할 수 있다. 또한, 흥분도의 수치값과 부정도의 수치값의 비교에서는, 각 수치값의 절대값에 기초하여 비교하는 것을 전제로 한다.
일 실시예에 따른 차량(10)은, 비교 결과에 기초하여 사용자의 흥분도가 감소하는 방향으로 피드백 장치(150)를 제어하는 제1 모드 및 긍정도가 증가하는 방향으로 피드백 장치(150)를 제어하는 제2 모드 중 어느 하나를 선택할 수 있다(830).
이 경우, 제어부(140)는, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 높은 경우, 제1 모드로 동작하도록 피드백 장치(150)를 제어할 수 있으며, 현재 감정 상태가 나타내는 흥분도의 수치값이 현재 감정 상태가 나타내는 부정도의 수치값에 비하여 낮은 경우, 제2 모드로 동작하도록 피드백 장치(150)를 제어할 수 있다.
또한, 일 실시에에 따른 차량(10)은, 선택된 모드에 기초하여 피드백 장치(150)를 제어할 수 있다(840).
즉, 제어부(140)는, 피드백 장치(150)에 해당하는 스피커(151), 디스플레이(152), 진동 소자(153) 및 공조 장치(154) 중 적어도 하나의 장치를 제어하여 사용자의 긍정적인 감정을 유도하거나, 사용자의 흥분도를 낮출 수 있다.
제어부(140)가 피드백 장치(150)를 제어하는 구성은, 앞서 설명한 바와 동일하므로, 자세한 설명은 생략하기로 한다.
이하에서는, 차량(10)이, 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 제1 모드 및 제2 모드 사이의 동작 비율을 결정하고, 미리 정해진 시간 동안 결정된 동작 비율에 기초하여 피드백 장치(150)를 제어하는 경우에 대한 차량(10)의 제어방법을 설명한다.
도 9는 일 실시예에 따른 차량(10)의 제어방법 중 피드백 장치(150)를 제어하는 경우를 도시한 다른 순서도이다.
도 9를 참조하면, 일 실시예에 따른 차량(10)은, 생체신호 및 영상 정보 중 적어도 하나에 기초하여 사용자의 현재 감정 상태에 대한 정보를 결정할 수 있다(910).
구체적으로, 제어부(140)는, 사용자에 대한 영상 데이터에 기초하여 사용자의 얼굴 표정을 판단하고, 판단된 얼굴 표정에 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 이 때, 영상 정보는, 차량(10) 내부에 마련된 카메라(110)에 의하여 획득될 수 있다.
또한, 제어부(140)는, 사용자의 생체신호에 기초하여 대응하는 감정 상태에 대한 정보를 획득할 수 있다. 이 때, 생체신호는, 차량(10) 내부에 마련된 생체신호 센서(120)에 의하여 획득될 수 있다.
이 때, 현재 감정 상태에 대한 정보는, 긍정도 및 흥분도 각각이 그 정도에 따라 수치화되어 수치값으로 표현될 수 있다.
또한, 일 실시예에 따른 차량(10)은, 현재 감정 상태 및 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 판단할 수 있다(920).
즉, 제어부(140)는, 사용자에 대한 영상 데이터 및 생체신호 중 적어도 하나에 기초하여 판단된 사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값을 판단할 수 있다. 이 때, 목표 감정 상태는, 차량(10)의 설계 단계에서 미리 설정되거나, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수도 있다. 예를 들어, 목표 감정 상태는, 흥분도가 낮고, 긍정도가 높은 감정 2에 해당할 수 있다.
사용자의 현재 감정 상태 및 목표 감정 상태 사이의 차이값은, 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 포함한다. 즉, 제어부(140)는, 판단된 흥분도 및 판단된 긍정도에 기초하여 목표 감정 상태의 흥분도 및 긍정도와 각각 비교하여 흥분도에 대한 차이값 및 긍정도에 대한 차이값을 판단할 수 있다.
일 실시예에 따른 차량(10)은, 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 제1 모드 및 제2 모드 사이의 동작 비율을 결정할 수 있다(930).
또한, 일 실시예에 따른 차량(10)은, 결정된 동작 비율에 기초하여 미리 정해진 시간 동안 피드백 장치(150)를 제어할 수 있다(940).
구체적으로, 제어부(140)는, 결정된 동작 비율에 기초하여, 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 피드백 장치(150)를 제어할 수 있다.
즉, 제1 시간 및 미리 정해진 시간에서 제1 시간을 제외한 시간의 비율은, 제어부(140)에 의하여 결정된 동작 비율에 대응할 수 있다.
이 때, 미리 정해진 시간은, 차량(10)의 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다. 또한, 미리 정해진 시간은, 입력부(130)를 통한 사용자의 목적지 입력에 따라 제어부(140)에 의하여 산출된 목적지까지의 예상 주행 시간에 해당할 수 있다.
제어부(140)는, 실시예에 따라, 미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간은, 설계 단계에서 설정된 것일 수 있으며, 입력부(130)를 통한 사용자의 입력에 기초하여 설정될 수 있다.
즉, 제어부(140)는, 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있으며, 이 때, 제1 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간에 해당하며, 제2 모드로 피드백 장치(150)가 동작하는 총 시간은 미리 정해진 시간 중 제1 시간을 제외한 시간에 해당할 수 있다.
또한, 제어부(140)는, 실시예에 따라, 현재 감정 상태 및 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 현재 감정 상태 및 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고, 결정된 모드 전환 횟수 및 결정된 모드 별 유지 시간에 기초하여 제1 모드 및 제2 모드가 교대로 반복되도록 피드백 장치(150)를 제어할 수 있다.
구체적으로, 제어부(140)는, 판단된 현재 감정 상태 및 목표 감정 상태에 대해 신경망(Neural Network)을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 피드백 장치(150)의 동작 패턴을 판단할 수 있다.
이 때, 피드백 장치(150)의 동작 패턴은, 미리 정해진 시간 동안 동작 모드가 전환되는 횟수 및 모드 별 유지 시간에 기초한 미리 정해진 시간 동안 피드백 장치(150)가 모드를 전환하며 동작하는 양태에 해당할 수 있다.
이 때, 신경망을 통한 연산 수행에 따른 정보는, 미리 정해진 시간 중 모드가 전환되는 횟수를 나타내는 모드 전환 횟수에 대한 정보 및 전환되는 모드 별 모드가 유지되는 시간을 나타내는 모드 별 유지 시간에 대한 정보를 포함할 수 있다.
전술한 신경망은 딥 러닝(Deep learning)을 수행할 수 있는 신경 구조를 형상화한 기계 학습을 지칭하므로, 신경망의 구성에 해당하는 가중치(weight) 및 바이어스(bias)가 계속적으로 변화하면서 학습의 신뢰도를 향상시킨다.
구체적으로, 차량(10)은, 현재 감정 상태 및 목표 감정 상태와 피드백 장치(150)의 패턴에 따른 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보에 기초하여 신경망에 포함된 가중치(weight), 바이어스(bias) 및 전달함수(activation function)를 계속적으로 갱신시킴으로써, 신경망의 추론(inference) 결과를 향상시킬 수 있다. 즉, 차량(10)은, 주행하는 경우마다, 결정된 패턴 및 사용자의 감정의 목표 감정으로의 도달 시간에 대한 정보를 저장할 수 있으며, 저장된 결정된 패턴 및 도달 시간에 대한 정보에 기초하여 저장된 신경망을 지속적으로 갱신할 수 있다.
이와 같이, 차량(10)은, 사용에 따라 지속적으로 갱신되는 신경망을 통하여 현재 감정 상태 및 목표 감정 상태에 기초하여 가장 적합한 피드백 장치(150)의 동작 패턴을 판단할 수 있다. 즉, 제어부(140)는, 현재 감정 상태 및 목표 감정 상태에 기초하여 사용자의 감정이 목표 감정으로 신속하게 도달할 수 있는 모드 전환 횟수 및 모드 별 유지 시간을 결정할 수 있다.
다만, 제어부(140)가 피드백 장치(150)를 제어하는 구성은, 앞서 설명한 바와 동일하므로, 자세한 설명은 생략하기로 한다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10: 차량 110: 카메라
120: 생체신호 센서 130: 입력부
140: 제어부 150: 피드백 장치
151: 스피커 152: 디스플레이
153: 진동 소자 154: 공조 장치
160: 저장부

Claims (32)

  1. 피드백 장치;
    사용자의 생체신호를 측정하는 생체신호 센서; 및
    상기 생체신호에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하고, 상기 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 상기 사용자의 흥분도가 감소하도록 상기 피드백 장치를 제어하는 제1 모드 및 상기 사용자의 긍정도가 증가하도록 상기 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하고, 상기 동작 비율에 기초하여 미리 정해진 시간 동안 상기 피드백 장치를 제어하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 동작 비율에 기초하여, 상기 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 상기 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 상기 피드백 장치를 제어하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 차량.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 현재 감정 상태 및 상기 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고, 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 현재 감정 상태 및 상기 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고, 상기 결정된 모드 전환 횟수 및 상기 결정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 차량.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 현재 감정 상태가 나타내는 상기 사용자의 흥분도 및 상기 사용자의 긍정도를 비교하고, 비교 결과에 기초하여 상기 제1 모드 및 상기 제2 모드 중 어느 하나를 수행하도록 상기 피드백 장치를 제어하는 차량.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 현재 감정 상태 및 상기 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 상기 제1 모드 및 상기 제2 모드 사이의 상기 동작 비율을 결정하는 차량.
  7. 제1항에 있어서,
    상기 피드백 장치는,
    상기 차량에 마련된 스피커, 디스플레이, 공조 장치 및 상기 차량의 시트에 마련된 진동 소자 중 적어도 하나를 포함하는 차량.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고, 상기 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 상기 피드백 장치를 제어하고, 상기 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 상기 피드백 장치를 제어하는 차량.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드, 영상 및 진동 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 차량.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 차량.
  11. 제8항에 있어서,
    상기 제어부는,
    상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 차량.
  12. 제8항에 있어서,
    상기 제어부는,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 사운드, 상기 사운드에 대응하는 주파수를 갖는 진동 및 영상 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 차량.
  13. 제8항에 있어서,
    상기 제어부는,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 차량.
  14. 제8항에 있어서,
    상기 제어부는,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 차량.
  15. 제1항에 있어서,
    상기 차량은,
    사용자에 대한 영상 데이터를 획득하는 카메라;를 더 포함하고,
    상기 제어부는,
    상기 영상 데이터 및 상기 생체신호 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하는 차량.
  16. 제 1항에 있어서,
    상기 차량은,
    상기 목표 감정 상태에 대한 정보를 상기 사용자로부터 입력 받는 입력부;를 더 포함하는 차량.
  17. 피드백 장치 및 사용자의 생체신호를 측정하는 생체신호 센서를 포함하는 차량의 제어방법에 있어서,
    상기 생체신호에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하고;
    상기 현재 감정 상태 및 목표 감정 상태 사이의 차이값에 기초하여 상기 사용자의 흥분도가 감소하도록 상기 피드백 장치를 제어하는 제1 모드 및 상기 사용자의 긍정도가 증가하도록 상기 피드백 장치를 제어하는 제2 모드 사이의 동작 비율을 결정하고;
    상기 동작 비율에 기초하여 미리 정해진 시간 동안 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  18. 제17항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 동작 비율에 기초하여, 상기 미리 정해진 시간 중 제1 시간 만큼 제1 모드를 수행하며 상기 미리 정해진 시간 중 상기 제1 시간 이외의 시간 만큼 제2 모드를 수행하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  19. 제18항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    미리 설정된 모드 전환 횟수 및 미리 설정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  20. 제18항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 현재 감정 상태 및 상기 목표 감정 상태에 대해 신경망을 통한 연산을 수행하고;
    상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 현재 감정 상태 및 상기 목표 감정 상태에 대응하는 모드 전환 횟수 및 모드 별 유지 시간을 결정하고;
    상기 결정된 모드 전환 횟수 및 상기 결정된 모드 별 유지 시간에 기초하여 상기 제1 모드 및 상기 제2 모드가 교대로 반복되도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  21. 제17항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 현재 감정 상태가 나타내는 상기 사용자의 흥분도 및 상기 사용자의 긍정도를 비교하고;
    비교 결과에 기초하여 상기 제1 모드 및 상기 제2 모드 중 어느 하나를 수행하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  22. 제17항에 있어서,
    상기 동작 비율을 결정하는 것은,
    상기 현재 감정 상태 및 상기 목표 감정 상태 사이의 흥분도에 대한 차이값 및 긍정도에 대한 차이값의 비율에 대응하도록 상기 제1 모드 및 상기 제2 모드 사이의 상기 동작 비율을 결정하는 것;을 포함하는 차량의 제어방법.
  23. 제17항에 있어서,
    상기 피드백 장치는,
    상기 차량에 마련된 스피커, 디스플레이, 공조 장치 및 상기 차량의 시트에 마련된 진동 소자 중 적어도 하나를 포함하는 차량의 제어방법.
  24. 제17항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 사용자의 현재 감정 상태에 영향을 주는 감정 인자를 추출하고;
    상기 제1 모드에서 상기 추출된 감정 인자 중 흥분도에 대응하는 감정 인자를 감소시키는 방향으로 상기 피드백 장치를 제어하고;
    상기 제2 모드에서 상기 추출된 감정 인자 중 긍정도에 대응하는 감정 인자를 증가시키는 방향으로 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  25. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제1 모드에서 목표 호흡 주기 또는 목표 심박 주기에 대응하는 주파수를 갖는 사운드, 영상 및 진동 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  26. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  27. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제1 모드에서 상기 흥분도에 대응하는 감정 인자를 감소시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  28. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 사운드, 상기 사운드에 대응하는 주파수를 갖는 진동 및 영상 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  29. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 향기 및 바람 중 적어도 하나를 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  30. 제24항에 있어서,
    상기 피드백 장치를 제어하는 것은,
    상기 제2 모드에서 상기 긍정도에 대응하는 감정 인자를 증가시키는 색상의 영상을 출력하도록 상기 피드백 장치를 제어하는 것;을 포함하는 차량의 제어방법.
  31. 제17항에 있어서,
    상기 차량은,
    사용자에 대한 영상 데이터를 획득하는 카메라;를 더 포함하고,
    상기 영상 데이터 및 상기 생체신호 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태에 대한 정보를 결정하는 것;을 더 포함하는 차량의 제어방법.
  32. 제 17항에 있어서,
    상기 차량은,
    상기 목표 감정 상태에 대한 정보를 상기 사용자로부터 입력 받는 입력부;를 더 포함하는 차량의 제어방법.
KR1020190001742A 2019-01-07 2019-01-07 차량 및 그 제어방법 KR20200085525A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190001742A KR20200085525A (ko) 2019-01-07 2019-01-07 차량 및 그 제어방법
US16/513,304 US11623065B2 (en) 2019-01-07 2019-07-16 Vehicle and method for controlling the same
US17/132,718 US11723571B2 (en) 2019-01-07 2020-12-23 Vehicle and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001742A KR20200085525A (ko) 2019-01-07 2019-01-07 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200085525A true KR20200085525A (ko) 2020-07-15

Family

ID=71403868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001742A KR20200085525A (ko) 2019-01-07 2019-01-07 차량 및 그 제어방법

Country Status (2)

Country Link
US (2) US11623065B2 (ko)
KR (1) KR20200085525A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3856596A4 (en) 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC INTELLIGENT TRANSPORT SYSTEMS
US11072344B2 (en) * 2019-03-18 2021-07-27 The Regents Of The University Of Michigan Exploiting acoustic and lexical properties of phonemes to recognize valence from speech
US11393144B2 (en) * 2019-04-11 2022-07-19 City University Of Hong Kong System and method for rendering an image
GB2597092A (en) * 2020-07-15 2022-01-19 Daimler Ag A method for determining a state of mind of a passenger, as well as an assistance system
CN112937257A (zh) * 2021-03-02 2021-06-11 恒大新能源汽车投资控股集团有限公司 车载香氛投放方法、装置及计算机可读存储介质
KR20230033526A (ko) * 2021-09-01 2023-03-08 현대자동차주식회사 차량의 주행음 생성 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US9734685B2 (en) * 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
WO2016065411A1 (en) * 2014-10-27 2016-05-06 Resmed Limited Method and apparatus for treating hyperarousal disorders
US20170352283A1 (en) * 2016-06-07 2017-12-07 Cerekinetic, Inc. Self-administered evaluation and training method to improve mental state

Also Published As

Publication number Publication date
US11723571B2 (en) 2023-08-15
US20210146090A1 (en) 2021-05-20
US20200215294A1 (en) 2020-07-09
US11623065B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
KR20200085525A (ko) 차량 및 그 제어방법
CN110520824B (zh) 多模式眼睛跟踪
CN107791893B (zh) 车辆座椅
US11260879B2 (en) Vehicle and method for controlling the same
US11203292B2 (en) Vehicle and control method for the same
WO2019180452A1 (en) Emotion data training method and system
CN110774996B (zh) 车内环境的调节方法、装置和系统
JP6937480B2 (ja) 覚醒誘導システム
JP7262002B2 (ja) 覚醒誘導システム
KR20200029663A (ko) 감정 인식 장치 및 그 제어방법
US11279204B2 (en) Vehicle and method for controlling the same
US20220330848A1 (en) Method, Computer Program, and Device for Determining Vehicle Occupant Respiration
CN112433600A (zh) 信息处理装置、存储介质及信息处理方法
US20220032922A1 (en) Vehicle and method of controlling the same
JP6954503B2 (ja) 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム
WO2021083512A1 (en) Measuring an attentional state and providing automatic feedback during a technical system interaction
US20240041320A1 (en) Device for a Surgical Imaging System, Surgical Imaging System, Method and Computer Program
JP2023054614A (ja) 環境制御システム
KR102613180B1 (ko) 차량 및 그 제어방법
US20230012769A1 (en) Interactive system and associated interaction method
US20230380684A1 (en) Systems and methods for improved eye-tracking devices and associated user interfaces
Ruttenberg et al. In Defence of ML/CNN for the SensorAble Research Project
Ruttenberg et al. PhD Study# 3: In Defence of ML/CNN for the SensorAble Research Project
KR20220051061A (ko) 차량 승객의 멀미 저감 시스템 및 방법
Harris et al. Eye tracking for affective computing in virtual reality healthcare applications

Legal Events

Date Code Title Description
A201 Request for examination