KR20220075133A - 탑승자 의사 전달 장치 및 그 방법 - Google Patents

탑승자 의사 전달 장치 및 그 방법 Download PDF

Info

Publication number
KR20220075133A
KR20220075133A KR1020200163222A KR20200163222A KR20220075133A KR 20220075133 A KR20220075133 A KR 20220075133A KR 1020200163222 A KR1020200163222 A KR 1020200163222A KR 20200163222 A KR20200163222 A KR 20200163222A KR 20220075133 A KR20220075133 A KR 20220075133A
Authority
KR
South Korea
Prior art keywords
occupant
touch
vehicle
information
passenger
Prior art date
Application number
KR1020200163222A
Other languages
English (en)
Inventor
김태승
김균하
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200163222A priority Critical patent/KR20220075133A/ko
Publication of KR20220075133A publication Critical patent/KR20220075133A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • B60K37/06—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N3/00—Arrangements or adaptations of other passenger fittings, not otherwise provided for
    • B60N3/02—Arrangements or adaptations of other passenger fittings, not otherwise provided for of hand grips or straps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Thermal Sciences (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명은 차량의 탑승자가 운전자에게 의사를 전달하기 위한 장치 및 그 방법에 관한 것으로, 차량의 어시스트 그립을 포함하는 차량 내의 손잡이의 터치에 대한 정보 및 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하고, 터치에 대한 정보 및 생체정보 중 적어도 하나 이상을 기반으로 탑승자의 상태를 판단하여, 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다. 본 발명에 따르면 탑승자가 어시스트 그립 등의 손잡이를 잡는 경우, 운전자에게 탑승자의 불안함 또는 불편함에 대한 정보를 전달하여 탑승자가 직접 말하지 않고도 의사를 전달할 수 있는 효과를 제공할 수 있다.

Description

탑승자 의사 전달 장치 및 그 방법{APPARATUS FOR PASSENGER COMMUNICATION AND METHOD THEREOF}
본 발명은 탑승자 의사 전달 장치 및 그 방법에 관한 것으로, 보다 상세하게는 차량의 탑승자가 운전자에게 의사를 전달하기 위한 장치 및 그 방법에 관한 것이다.
차량의 좌석에는 차량이 흔들리거나 급정거하는 경우 안전을 위해 탑승자가 잡을 수 있도록 구비된 어시스트 그립과 같은 손잡이가 존재한다. 보통 탑승자는 어시스트 그립을 과속, 차선 이탈, 급정거, 경사로나 커브길에서의 불안정한 운전 등의 상태로 인한 불안함 또는 주행 중 갑작스러운 건강 이상, 멀미에 의한 구토, 음악 볼륨 등에 대한 불편함을 느끼는 경우에 잡게 된다.
또한, RV(Recreational Vehicle) 차량, 택시 또는 카풀(carpool) 등의 서비스 환경에서 후석에 승차한 탑승자가 불안함 또는 불편함을 느끼지만 의사 전달을 하기 어려울 경우가 있을 수 있다.
본 발명은 이런 경우에 탑승자가 직접 말하지 않아도, 차량의 손잡이를 잡는 상황을 통해 운전자에게 탑승자가 불안함 또는 불편함을 느끼고 있다는 신호를 전달할 수 있는 기술이다.
본 발명의 실시 예는, 탑승자가 어시스트 그립 등의 손잡이를 잡는 경우, 운전자에게 탑승자의 불안함 또는 불편함에 대한 정보를 전달하는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 탑승자의 불안함 또는 불편함에 대한 정보를 운전자에게 전달함으로써, 운전자가 스스로 주행 상태를 조정하여 탑승자에게 편의를 제공할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, RV 차량과 같이 후석 탑승자와 운전자 사이의 거리가 멀어 의사소통에 어려움이 있을 수 있는 경우, 탑승자가 직접 말하지 않고, 손잡이를 잡음으로써 운전자에게 탑승자의 상태를 전달할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 택시 또는 카풀 등의 상황과 같이 탑승자와 운전자 간의 직접적인 의사소통이 부담스러울 수 있는 경우, 탑승자가 직접 말하지 않고, 손잡이를 잡음으로써 운전자에게 탑승자의 상태를 전달할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 탑승자가 손잡이를 잡는 경우, 긴장도와 땀을 측정하여 이를 바탕으로 탑승자의 긴장을 완화시킬 수 있도록 시트의 공기압 및 공조 시스템을 제어하여 탑승자에게 편의를 제공할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 탑승자 의사 전달 장치가 구비된 차량의 탑승자들의 터치에 대한 정보 및 생체정보를 수집하여, 이를 이용하여 딥러닝 기반의 학습 모델을 학습시키고, 학습된 딥러닝 기반의 학습 모델을 적용하여, 더 정확하게 탑승자의 상태를 판단할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 탑승자 의사 전달 장치는, 차량의 어시스트 그립을 포함하는 차량 내의 손잡이에 구비되어, 상기 손잡이의 터치에 대한 정보 및 상기 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하는 제 1 센서부, 및 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상을 기반으로 상기 탑승자의 상태를 판단하여, 상기 차량의 운전자에게 상기 탑승자에 대한 확인을 요청하는 제어부를 포함할 수 있다.
일 실시 예에 있어서, 상기 제 1 센서부는, 상기 어시스트 그립의 내측 또는 외측에 구비되는 터치 센서, 및 상기 어시스트 그립의 내측 또는 외측에 구비되는 GSR(Galvanic Skin Response) 센서를 포함할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 차량의 AVN 및 클러스터 중 적어도 하나 이상을 통해 상기 탑승자에 대한 확인을 요청할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 탑승자에 대한 1차 확인을 요청하고, 상기 1차 확인 후, 상기 탑승자의 터치가 계속되면, 상기 탑승자에 대한 2차 확인을 요청하고, 상기 1차 확인 후, 상기 탑승자의 터치가 종료되면, 상기 터치에 대한 정보를 초기화할 수 있다.
일 실시 예에 있어서, 상기 터치에 대한 정보는, 터치 시간을 포함하고, 상기 제어부는, 상기 터치 시간이 기준 시간을 초과하는지 여부를 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 심박수가 기준 심박수를 초과하는지 여부, 상기 땀이 기준치를 초과하는지 여부 및 상기 긴장도가 기준 긴장도를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단할 수 있다.
일 실시 예에 있어서, 상기 차량에 구비되어, 상기 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득하는 제 2 센서부를 더 포함하고, 상기 제어부는, 상기 속도가 기준 속도를 초과하는지 여부 및 상기 차선이탈 횟수가 기준 횟수를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 탑승자 의사 전달 기능의 활성화 신호가 입력되면, 상기 센서부를 활성화할 수 있다.
일 실시 예에 있어서, 상기 터치에 대한 정보는, 터치 위치, 터치 빈도, 터치 시간 및 터치 압력 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상의 데이터를 이용하여, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 학습시킬 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상에 상기 학습된 딥러닝 기반의 학습 모델을 적용하여, 탑승자의 상태를 판단할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 탑승자의 터치가 감지되면, 상기 생체정보를 기반으로, 상기 탑승자의 시트의 공기압 및 상기 차량의 공조 시스템 중 적어도 하나 이상을 제어할 수 있다.
본 발명의 다른 일 실시 예에 따른 탑승자 의사 전달 방법은, 차량의 어시스트 그립을 포함하는 차량 내의 손잡이의 터치에 대한 정보 및 상기 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하는 단계, 및 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상을 기반으로 상기 탑승자의 상태를 판단하여, 상기 차량의 운전자에게 상기 탑승자에 대한 확인을 요청하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 탑승자에게 확인을 요청하는 단계는, 상기 차량의 AVN 및 클러스터 중 적어도 하나 이상을 통해 상기 탑승자에 대한 확인을 요청하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 탑승자에게 확인을 요청하는 단계는, 상기 탑승자에 대한 1차 확인을 요청하는 단계, 상기 1차 확인 후, 상기 탑승자의 터치가 계속되면, 상기 탑승자에 대한 2차 확인을 요청하는 단계, 및 상기 1차 확인 후, 상기 탑승자의 터치가 종료되면, 상기 터치에 대한 정보를 초기화하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 터치에 대한 정보는, 터치 시간을 포함하고, 상기 탑승자의 상태를 판단하는 단계는, 상기 터치 시간이 기준 시간을 초과하는지 여부, 상기 심박수가 기준 심박수를 초과하는지 여부, 상기 땀이 기준치를 초과하는지 여부 중 및 상기 긴장도가 기준 긴장도를 초과하는지 여부 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득하는 단계를 더 포함하고, 상기 탑승자의 상태를 판단하는 단계는, 상기 속도가 기준 속도를 초과하는지 여부 및 상기 차선이탈 횟수가 기준 횟수를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상의 데이터를 이용하여, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 학습시키는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 탑승자의 상태를 판단하는 단계는, 상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상에 상기 학습된 딥러닝 기반의 학습 모델을 적용하여, 탑승자의 상태를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 탑승자의 터치가 감지되면, 상기 생체정보를 기반으로, 상기 탑승자의 시트의 공기압 및 상기 차량의 공조 시스템 중 적어도 하나 이상을 제어하는 단계를 더 포함할 수 있다.
본 발명에 따른 탑승자 의사 전달 장치 및 그 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 탑승자가 어시스트 그립 등의 손잡이를 잡는 경우, 운전자에게 탑승자의 불안함 또는 불편함에 대한 정보를 전달하는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 탑승자의 불안함 또는 불편함에 대한 정보를 운전자에게 전달함으로써, 운전자가 스스로 주행 상태를 조정하여 탑승자에게 편의를 제공할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, RV 차량과 같이 후석 탑승자와 운전자 사이의 거리가 멀어 의사소통에 어려움이 있을 수 있는 경우, 탑승자가 직접 말하지 않고, 손잡이를 잡음으로써 운전자에게 탑승자의 상태를 전달할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 택시 또는 카풀 등의 상황과 같이 탑승자와 운전자 간의 직접적인 의사소통이 부담스러울 수 있는 경우, 탑승자가 직접 말하지 않고, 손잡이를 잡음으로써 운전자에게 탑승자의 상태를 전달할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 탑승자가 손잡이를 잡는 경우, 긴장도와 땀을 측정하여 이를 바탕으로 탑승자의 긴장을 완화시킬 수 있도록 시트의 공기압 및 공조 시스템을 제어하여 탑승자에게 편의를 제공할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 탑승자 의사 전달 장치가 구비된 차량의 탑승자들의 터치에 대한 정보 및 생체정보를 수집하여, 이를 이용하여 딥러닝 기반의 학습 모델을 학습시키고, 학습된 딥러닝 기반의 학습 모델을 적용하여, 더 정확하게 탑승자의 상태를 판단할 수 있는 탑승자 의사 전달 장치 및 그 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 제 1 센서부가 구비된 어시스트 그립을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 제 1 센서부가 구비될 수 있는 손잡이를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 AVN(Audio, Video, Navigation) 및 클러스터와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 공조 시스템 및 시트와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 활성화 버튼/메뉴와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 방법을 구체적으로 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 방법을 나타내는 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 8을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 장치를 나타내는 블록도이다.
도 1을 참조하면, 탑승자 의사 전달 장치(100)는 제 1 센서부(110) 및 제어부(120)를 포함할 수 있다.
일 예로, 탑승자 의사 전달 장치(100)는 RV(Recreational Vehicle) 차량, 택시 또는 카풀(carpool) 등과 같은 상황에서 활용되어, 탑승자가 직접 의사표현을 하기 어려운 경우에 운전자에게 탑승자의 의사를 전달할 수 있다.
제 1 센서부(110)는 차량의 어시스트 그립을 포함하는 차량 내의 손잡이에 구비되어, 손잡이의 터치에 대한 정보 및 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득할 수 있다.
일 예로, 제 1 센서부(110)는 차량의 어시스트 그립에 한정되지 않고, 탑승자가 불안함 또는 불편함을 느끼는 상황에서 잡을 수 있는 차량의 내부의 손잡이에 구비될 수 있다.
일 예로, 제 1 센서부(110)는 손잡이의 터치에 대한 정보를 획득할 수 있는 터치 센서 또는 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보를 획득할 수 있는 GSR(Galvanic Skin Response) 센서 또는 심박 센서를 포함하여 구현될 수 있다.
제어부(120)는 차량의 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행할 수 있다. 이러한 제어부(120)는 하드웨어의 형태로 구현되거나, 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(120)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다. 또한, 제어부(120)는 후술하는 다양한 데이터 처리 및 계산 등을 수행할 수 있다.
제어부(120)는 터치에 대한 정보 및 생체정보 중 적어도 하나 이상을 기반으로 탑승자의 상태를 판단하여, 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다.
일 예로, 제어부(120)는 제 1 센서부(110)와 무선 또는 유선 통신을 통해 직접 또는 간접적으로 연결되어 있을 수 있다. 구체적으로, 제어부(120)는 제 1 센서부(110)로부터 센싱한 터치에 대한 정보 및 생체정보 중 적어도 하나 이상을 전달받을 수 있다.
일 예로, 제어부(120)는 차량의 AVN(Audio, Video, Navigation) 및 클러스터 중 적어도 하나 이상과 연결되어, AVN 및 클러스터 중 적어도 하나 이상을 전기적으로 제어할 수 있다. 구체적으로, 제어부(120)는 차량의 AVN 및 클러스터 중 적어도 하나를 통해, 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다.
일 예로, 제어부(120)는 차량의 시트 및 차량의 공조 시스템 중 적어도 하나 이상과 연결되어, 차량의 시트 및 차량의 공조 시스템 중 적어도 하나 이상을 제어할 수 있다. 구체적으로 제어부(120)는 차량의 시트의 공기압 또는 차량의 에어컨, 히터 또는 공기 정화 장치 등을 포함하는 공조 시스템을 제어할 수 있다.
일 예로, 제어부(120)는 딥러닝 기반의 학습 모델을 학습시킬 수 있고, 값이 입력되면 학습된 학습 모델을 적용하여 결과를 출력할 수 있다. 구체적으로, 제어부(120)는 터치에 대한 정보 및 생체정보 중 적어도 하나 이상을 입력 값으로 하고, 탑승자의 상태를 출력 값으로 하는 학습 모델을 학습시키고, 적용할 수 있다.
구체적으로, 제어부(120)는 터치 위치, 터치 빈도, 터치 시간 및 터치 압력 중 적어도 하나 이상을 포함하는 터치 정보와 생체정보를 입력받아, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 제 1 센서부(110)를 통해 획득한 데이터를 통해 학습시킬 수 있다.
그리고, 제어부(120)는 제 1 센서부(110)를 통해 획득한 데이터에 학습된 딥러닝 기반의 학습 모델을 적용시켜 탑승자의 상태를 판단할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 제 1 센서부가 구비된 어시스트 그립을 나타내는 도면이다.
도 2를 참조하면, 제 1 센서부(110)는 차량의 어시스트 그립(201)의 내측 또는 외측에 구비되는 터치 센서(202) 및 어시스트 그립(201)의 내측 또는 외측에 구비되는 GSR 센서(203)를 포함하여 구현될 수 있다.
일 예로, 도 2에 도시된 대로, 터치 센서(202)가 어시스트 그립(201)의 내측에 구비되고, GSR 센서(203)가 어시스트 그립(201)의 외측에 구비될 수 있다.
도 2에는 터치 센서(202)가 어시스트 그립(201)의 내측에 구비되고, GSR 센서(203)가 어시스트 그립(201)의 외측에 구비된 형태로 도시되어 있지만, 이에 제한되지 않고, 터치 센서(202)가 어시스트 그립(201)의 외측에 구비되고, GSR 센서(203)가 어시스트 그립(201)의 내측에 구비될 수도 있다.
터치 센서(202)는 손잡이의 터치에 대한 정보를 획득할 수 있다. 구체적으로, 터치 센서(202)는 탑승자의 손잡이 터치 여부, 터치 시간 및 터치 빈도 중 적어도 하나 이상을 포함하는 터치에 대한 정보를 획득할 수 있다.
도시되지는 않았지만, 어시스트 그립(201)에 터치 센서(202) 대신에 압력 센서가 구비되어, 압력 센서를 포함하는 제 1 센서부(110)는 터치 압력을 포함하는 터치에 대한 정보를 획득할 수도 있다.
GSR 센서(203)는 심박수 및 땀에 대한 정보를 포함하는 생체정보를 획득할 수 있다.
도시되지는 않았지만, 어시스트 그립(201)에 심박 센서가 구비되어, 심박 센서를 포함하는 제 1 센서부(110)는 심박수에 대한 정보를 획득할 수도 있다.
제 1 센서부(110)는 상기 센서들로 한정되는 것은 아니며, 터치에 대한 정보 및 생체정보를 획득할 수 있는 센서들이 모두 포함될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 제 1 센서부가 구비될 수 있는 손잡이를 나타내는 도면이다.
도 3은 차량의 내부의 구조의 변화에 따라서, 어시스트 그립에 한정되지 않고, 다른 손잡이에도 제 1 센서부(110)가 구비될 수 있는 예시를 나타내기 위해, 미래형 차량의 내부 구조를 도시한 도면이다.
예시적으로 도시된 미래형 차량의 내부는 차량의 좌석이 회전이 가능한 형태로 구비될 수 있고, 좌석에 팔 받침대 및 발 받침대가 구비될 수 있다. 또한, 예시적으로 도시된 미래형 차량의 내부에는 좌석의 측면에 탑승자에게 안정감을 줄 수 있도록 측면 받침이 구비될 수 있다.
제 1 센서부(110)는 어시스트 그립(201)을 포함하는 차량 내의 손잡이에 구비될 수 있다.
일 예로, 제 1 센서부(110)는 어시스트 그립에 한정되지 않고, 차량 내의 그립, 지지대 또는 거치대 등의 손으로 잡을 수 있는 손잡이에 구비될 수 있다.
일 예로, 제 1 센서부(110)는 도 3에 도시된 대로, 차량의 도어의 내측에 구비된 도어캐치에도 구비될 수 있다.
일 예로, 제 1 센서부(110)는 도 3에 도시된 대로, 차량의 시트의 측면 받침의 경계를 손으로 잡을 수 있는 부분에 구비될 수도 있다.
이에 한정되지 않고, 제 1 센서부(110)는 시트의 팔 받침대, 차량 내부의 지지대 또는 거치대 등과 같이 탑승자가 손으로 잡을 수 있는 모든 구성에 구비될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 AVN(Audio, Video, Navigation) 및 클러스터와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 4를 참조하면, 제어부(430)는 제 1 센서부(410), 제 2 센서부(420), AVN(440) 및 클러스터(450)와 연결되어 구현될 수 있다.
제 2 센서부(420)는, 차량에 구비되어, 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득할 수 있다.
일 예로, 제 2 센서부(420)는 차량의 속도를 획득하는 차속 센서, 차량의 차선이탈 여부를 확인하기 위해 차량 주변의 영상을 획득하는 카메라 및 차량의 차선이탈 여부를 획득하는 LKAS(Lane Keeping Assist System)의 일부 모듈 중 적어도 하나 이상을 포함하여 구현될 수 있다.
제어부(430)는 제 1 센서부(410) 및 제 2 센서부(420)과 무선 또는 유선 통신을 통해 직접 또는 간접적으로 연결되어, 센싱된 정보들을 전달받을 수 있다.
그리고 제어부(430)는 AVN(440) 및 클러스터(450) 중 적어도 하나 이상과 무선 또는 유선 통신을 통해 직접 또는 간접적으로 연결되어, AVN(440) 및 클러스터(450) 중 적어도 하나 이상을 통해 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다.
일 예로, 제어부(430)는 AVN(440)을 통해, 화면에 팝업 메시지를 디스플레이하거나, 또는 소리를 출력하여, 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다. 예시적으로, 제어부(430)는 AVN(440)을 통해, “후석 탑승자를 확인하십시오.”라는 내용의 음성을 출력할 수 있다.
일 예로, 제어부(430)는 클러스터(450)를 통해, 후석을 나타내는 아이콘을 디스플레이하여, 차량의 운전자에게 탑승자에 대한 확인을 요청할 수 있다. 다만, 제어부(430)는 후석을 나타내는 아이콘에 한정되지 않고, 클러스터(450)의 GUI(Graphical User Interface)를 이용하여 탑승자의 확인을 요청할 수 있다.
일 예로, 제어부(430)는 AVN(440) 및 클러스터(450) 중 적어도 하나 이상을 통해, 운전자에게 운행 페이스에 대한 피드백을 제공할 수도 있다. 구체적으로, 제어부(430)는 파악한 탑승자의 상태, 차량의 속도, 차선이탈 여부 및 급정거 여부 등을 고려하여, AVN(440) 및 클러스터(450)를 통해, 운전자에게 운행 페이스에 대한 피드백을 제공하여, 탑승자의 편의를 도모할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 공조 시스템 및 시트와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 5를 참조하면, 제어부(520)는 제 1 센서부(510), 공조 시스템(530) 및 시트(540)와 연결되어 구현될 수 있다.
일 예로, 제어부(520)는 공조 시스템(530) 및 시트(540)와 유선 또는 무선 통신을 통해, 직접 또는 간접적으로 연결되어, 공조 시스템(530) 및 시트(540)를 제어할 수 있다.
공조 시스템(530)은 차량의 에어컨, 히터 또는 공기 정화 장치 등을 포함할 수 있고, 차량의 에어컨, 히터 또는 공기 정화 장치 등을 제어하는 제어 모듈을 포함할 수 있다.
시트(540)는 시트(540)의 공기압을 조절하여 탑승자의 긴장을 완화시켜줄 수 있다. 시트(540)는 시트(540)의 공기압을 제어하는 제어 모듈을 포함할 수 있다.
제어부(520)는 탑승자의 터치가 감지되면, 생체정보를 기반으로, 탑승자의 시트(540)의 공기압 및 차량의 공조 시스템(530) 중 적어도 하나 이상을 제어할 수 있다.
일 예로, 제어부(520)는 직접 공조 시스템(530) 및 시트(540)의 공기압 중 적어도 하나 이상을 제어할 수도 있고, 또는 공조 시스템(530) 및 시트(540)의 공기압 중 적어도 하나 이상을 제어할 수 있는 제어 모듈에 제어 신호를 전달하는 방식으로 간접적으로 공조 시스템(530) 및 시트(540)의 공기압 중 적어도 하나 이상을 제어할 수도 있다.
일 예로, 제어부(520)는 제 1 센서부(510)를 통해 터치가 감지되면, 제 1 센서부(510)를 통해 획득한 땀에 대한 정보를 통해 탑승자의 긴장도를 파악할 수 있다. 그리고, 제어부(520)는 파악한 탑승자의 긴장도를 기반으로, 탑승자의 긴장을 완화시켜줄 수 있도록, 공조 시스템(530)을 제어하여 차량의 실내를 적절한 온도로 유지하고, 환기를 시켜 공기를 정화시킬 수 있다.
도 6은 본 발명의 일 실시 예에 따른 활성화 버튼/메뉴와 연결된 탑승자 의사 전달 장치를 나타내는 도면이다.
도 6을 참조하면, 제어부(620)는 제 1 센서부(610) 및 활성화 버튼/메뉴(630)과 연결되어 구현될 수 있다.
일 예로, 활성화 버튼/메뉴(630)는 차량에 구비되어, 버튼 또는 AVN 등과 같은 차량의 구성에 탑재된 UI(User Interface)의 메뉴로 구현될 수 있다.
일 예로, 제어부(620)는 활성화 버튼/메뉴(630)로부터 유선 또는 무선 통신을 통해, 직적 또는 간접적으로 활성화 또는 비활성화 신호를 전달받을 수 있다.
제어부(620)는 활성화 버튼/메뉴(630)를 통해 탑승자 의사 전달 기능의 활성화 신호가 입력되면, 제 1 센서부(610)를 활성화시킬 수 있다.
일 예로, 운전자는 후석의 탑승자와 의사소통이 어려울 때, 탑승자의 의사를 효과적으로 전달받기 위해 활성화 버튼/메뉴(630)를 통해 탑승자 의사 전달 기능을 활성화시킬 수 있다.
일 예로, 운전자는 탑승자가 의사를 전달하려는 의도가 아닌 경우에도 어시스트 그립을 포함하는 차량 내의 손잡이를 잡는 경우를 고려하여, 언제든 활성화 버튼/메뉴(630)를 통해 탑승자 의사 전달 기능을 비활성화시킬 수 있다.
도 7은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 방법을 구체적으로 나타내는 흐름도이다.
도 7을 참조하면, 탑승자 의사 전달 장치(100)는 활성화 신호가 입력 되었는지 확인할 수 있다(S701).
일 예로, 탑승자 의사 전달 장치(100)는 제어부(120)를 통해, 활성화 버튼/메뉴(630)로부터 활성화 신호가 전달되었는지 파악하여, 활성화 신호가 입력되었는지 확인할 수 있다.
탑승자 의사 전달 장치(100)는 활성화 신호가 입력된 경우, 탑승자 터치 정보 및 생체정보를 인식할 수 있다(S702).
일 예로, 탑승자 터치 정보는 터치 여부, 터치 위치, 터치 압력, 터치 빈도 및 터치 시간 중 적어도 하나 이상의 정보를 포함할 수 있다.
일 예로, 생체정보는 심박수, 땀 및 긴장도 중 적어도 하나 이상의 정보를 포함할 수 있다.
일 예로, 제어부(120)는 탑승자 터치 정보 및 생체정보를 이용하여, 딥러닝 기반의 학습 모델을 학습시킬 수 있다.
탑승자 의사 전달 장치(100)는 탑승자 터치 정보 및 생체정보를 인식한 후, 터치 시간이 기준 시간을 초과하는지 확인할 수 있다(S703).
탑승자 의사 전달 장치(100)는 터치 시간이 기준 시간을 초과하지 않는 경우, 센싱 정보를 초기화할 수 있다(S710).
일 예로, 기준 시간은 사전에 실험을 통해 얻어진 값일 수 있으며, 제어부(120)는 차량이 획득한 터치 정보 및 생체정보를 이용하여 학습 모델을 학습시킨 후, 학습 모델을 적용시켜 기준 시간을 업데이트할 수 있다.
탑승자 의사 전달 장치(100)는 터치 시간이 기준 시간을 초과하는 경우, 탑승자 심박수가 기준 심박수를 초과하거나,, 땀이 기준치를 초과하거나, 또는 긴장도가 기준 긴장도를 초과하는지 확인할 수 있다(S704).
일 예로, 기준 심박수 또는 기준치는 사전에 실험을 통해 얻어진 값일 수 있으며, 제어부(120)는 차량이 획득한 터치 정보 및 생체정보를 이용하여 학습 모델을 학습시킨 후, 학습 모델을 적용시켜 기준 심박수 또는 기준치를 업데이트할 수 있다.
탑승자 의사 전달 장치(100)는 탑승자 심박수가 기준 심박수를 초과하거나,, 땀이 기준치를 초과하거나, 또는 긴장도가 기준 긴장도를 초과하는 경우, AVN(440)을 통해 1차 알림을 전달할 수 있다(S706).
탑승자 의사 전달 장치(100)는 탑승자 심박수가 기준 심박수를 초과하지 않고, 땀이 기준치를 초과하지 않고, 긴장도가 기준 긴장도를 초과하지 않는 경우, 차량의 속도가 기준 속도를 초과하고, 차선 이탈 횟수가 기준 횟수를 초과하는지 확인할 수 있다(S705).
일 예로, 기준 속도 또는 기준 횟수는 사전에 실험을 통해 얻어진 값일 수 있으며, 제어부(120)는 차량이 획득한 터치 정보 및 생체정보를 이용하여 학습 모델을 학습시킨 후, 학습 모델을 적용시켜 기준 속도 또는 기준 횟수를 업데이트할 수 있다.
탑승자 의사 전달 장치(100)는 차량의 속도가 기준 속도를 초과하지 않거나, 또는 차선 이탈 횟수가 기준 횟수를 초과하지 않는 경우, 센싱 정보를 초기화할 수 있다(S710).
탑승자 의사 전달 장치(400)는 차량의 속도가 기준 속도를 초과하고, 차선 이탈 횟수가 기준 횟수를 초과하는 경우, AVN(440)을 통해 1차 알림을 전달할 수 있다(S706).
탑승자 의사 전달 장치(400)는 AVN(440)을 통해 1차 알림을 전달한 후, 터치가 계속되는지 확인할 수 있다(S707).
탑승자 의사 전달 장치(100)는 터치가 종료되는 경우, 센싱 정보를 초기화할 수 있다(S710).
일 예로, 탑승자 의사 전달 장치(100)는 터치가 종료되는 경우, 운전자가 확인한 것으로 가정하여, 센싱 정보를 초기화할 수 있다.
탑승자 의사 전달 장치(100)는 터치가 계속되는 경우, 클러스터(450)를 통해 2차 알림을 전달할 수 있다(S708).
일 예로, 탑승자 의사 전달 장치(100)는 터치가 계속되는 경우, 클러스터(450)를 통해 2차 알림을 전달하는 동시에, 기존의 1차 알림 또한 지속적으로 전달할 수 있다.
도시되지는 않았지만, 탑승자 의사 전달 장치(400)는 클러스터(450)를 통해 1차 알림을 전달하고, AVN(440)을 통해 2차 알림을 전달하거나, 클러스터(450) 및 AVN(440)을 통해 1차 알림 또는 2차 알림을 전달할 수도 있다.
탑승자 의사 전달 장치(400)는 클러스터(450)를 통해 2차 알림을 전달한 후, 터치가 계속되는지 확인할 수 있다(S709).
탑승자 의사 전달 장치(100)는 터치가 종료되는 경우, 센싱 정보를 초기화할 수 있다(S710).
탑승자 의사 전달 장치(400)는 터치가 계속되는 경우, 클러스터(450)를 통해 2차 알림을 계속 전달할 수 있다(S708).
운전자는 S701 내지 S710을 수행하는 과정에서 언제든지 활성화 버튼/메뉴(630)를 통해 비활성화 신호를 입력하여, 탑승자 의사 전달 기능을 비활성화시킬 수 있다.
도 8은 본 발명의 일 실시 예에 따른 탑승자 의사 전달 방법을 나타내는 흐름도이다.
도 8을 참조하면, 탑승자 의사 전달 방법은, 차량의 어시스트 그립을 포함하는 차량 내의 손잡이의 터치에 대한 정보 및 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하는 단계, 및 터치에 대한 정보 및 생체정보 중 적어도 하나 이상을 기반으로 탑승자의 상태를 판단하여, 차량의 운전자에게 탑승자에 대한 확인을 요청하는 단계를 포함할 수 있다.
일 예로, 터치에 대한 정보는, 터치 위치, 터치 빈도, 터치 시간 및 터치 압력 중 적어도 하나 이상을 포함할 수 있다.
일 예로, 탑승자의 상태를 판단하는 단계는, 터치 시간이 기준 시간을 초과하는지 여부, 심박수가 기준 심박수를 초과하는지 여부, 땀이 기준치를 초과하는지 여부 및 긴장도가 기준 긴장도를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 포함할 수 있다.
일 예로, 탑승자에게 확인을 요청하는 단계는, 탑승자에 대한 1차 확인을 요청하는 단계, 1차 확인 후, 탑승자의 터치가 계속되면, 탑승자에 대한 2차 확인을 요청하는 단계, 및 1차 확인 후, 탑승자의 터치가 종료되면, 터치에 대한 정보를 초기화하는 단계를 포함할 수 있다.
일 예로, 탑승자 의사 전달 방법은, 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득하는 단계를 더 포함할 수 있고, 탑승자의 상태를 판단하는 단계는, 속도가 기준 속도를 초과하는지 여부 및 차선이탈 횟수가 기준 횟수를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 더 포함할 수 있다.
일 예로, 탑승자 의사 전달 방법은, 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상의 데이터를 이용하여, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 학습시키는 단계를 더 포함할 수 있다.
구체적으로, 탑승자 의사 전달 장치(100)는 탑승자 의사 전달 장치(100)가 구비된 차량의 탑승자들의 터치에 대한 정보 및 생체정보를 수집하여, 이를 이용하여 딥러닝 기반의 학습 모델을 학습시킬 수 있다. 탑승자 의사 전달 장치(100)는 데이터가 누적됨에 따라, 학습의 양이 늘어나고, 학습된 딥러닝 기반의 학습 모델을 적용하여, 더 정확도 높게 탑승자의 상태를 판단할 수 있다.
일 예로, 탑승자 의사 전달 장치(100)는 수집한 데이터를 서버로 전달하여, 서버에 저장된 딥러닝 기반의 학습 모델을 학습시킬 수 있다.
특히, RV차량, 택시 또는 카풀 등과 같이 다수의 탑승자가 있는 상황에서 탑승자의 터치에 대한 정보 및 생체정보 데이터가 많이 수집되어, 딥러닝 기반의 학습 모델의 학습 양이 많아지고, 성능 좋은 학습 모델을 생성할 수 있다.
일 예로, 탑승자의 상태를 판단하는 단계는, 터치에 대한 정보 및 생체정보 중 적어도 하나 이상에 학습된 딥러닝 기반의 학습 모델을 적용하여, 탑승자의 상태를 판단하는 단계를 포함할 수 있다.
일 예로, 탑승자 의사 전달 장치(100)는 업데이트된 딥러닝 기반의 학습 모델을 서버로부터 전달받아, 획득한 터치에 대한 정보 및 생체정보 중 적어도 하나 이상에 업데이트된 딥러닝 기반의 학습 모델을 적용하여 정확도 높게 탑승자의 상태를 판단할 수 있다.
일 예로, 탑승자 의사 전달 방법은 탑승자의 터치가 감지되면, 생체정보를 기반으로, 탑승자의 시트(540)의 공기압 및 차량의 공조 시스템(530) 중 적어도 하나 이상을 제어하는 단계를 더 포함할 수 있다.
구체적으로, 탑승자 의사 전달 장치(500)는 탑승자의 긴장을 완화시켜줄 수 있도록, 탑승자의 시트(540)의 공기압 및 차량의 공조 시스템(530) 중 적어도 하나 이상을 제어할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 차량의 어시스트 그립을 포함하는 차량 내의 손잡이에 구비되어, 상기 손잡이의 터치에 대한 정보 및 상기 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하는 제 1 센서부; 및
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상을 기반으로 상기 탑승자의 상태를 판단하여, 상기 차량의 운전자에게 상기 탑승자에 대한 확인을 요청하는 제어부를 포함하는 탑승자 의사 전달 장치.
  2. 제 1 항에 있어서,
    상기 제 1 센서부는,
    상기 어시스트 그립의 내측 또는 외측에 구비되는 터치 센서; 및
    상기 어시스트 그립의 내측 또는 외측에 구비되는 GSR(Galvanic Skin Response) 센서를 포함하는 탑승자 의사 전달 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량의 AVN 및 클러스터 중 적어도 하나 이상을 통해 상기 탑승자에 대한 확인을 요청하는 탑승자 의사 전달 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 탑승자에 대한 1차 확인을 요청하고,
    상기 1차 확인 후, 상기 탑승자의 터치가 계속되면, 상기 탑승자에 대한 2차 확인을 요청하고,
    상기 1차 확인 후, 상기 탑승자의 터치가 종료되면, 상기 터치에 대한 정보를 초기화하는 탑승자 의사 전달 장치.
  5. 제 1 항에 있어서,
    상기 터치에 대한 정보는,
    터치 시간을 포함하고,
    상기 제어부는,
    상기 터치 시간이 기준 시간을 초과하는지 여부를 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 탑승자 의사 전달 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 심박수가 기준 심박수를 초과하는지 여부, 상기 땀이 기준치를 초과하는지 여부 및 상기 긴장도가 기준 긴장도를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 탑승자 의사 전달 장치.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 차량에 구비되어, 상기 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득하는 제 2 센서부를 더 포함하고,
    상기 제어부는,
    상기 속도가 기준 속도를 초과하는지 여부 및 상기 차선이탈 횟수가 기준 횟수를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 탑승자 의사 전달 장치.
  8. 제 1 항에 있어서,
    상기 제어부는,
    탑승자 의사 전달 기능의 활성화 신호가 입력되면, 상기 센서부를 활성화하는 탑승자 의사 전달 장치.
  9. 제 1 항에 있어서,
    상기 터치에 대한 정보는,
    터치 위치, 터치 빈도, 터치 시간 및 터치 압력 중 적어도 하나 이상을 포함하는 탑승자 의사 전달 장치.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상의 데이터를 이용하여, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 학습시키는 탑승자 의사 전달 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상에 상기 학습된 딥러닝 기반의 학습 모델을 적용하여, 탑승자의 상태를 판단하는 탑승자 의사 전달 장치.
  12. 제 1 항에 있어서,
    상기 제어부는,
    상기 탑승자의 터치가 감지되면, 상기 생체정보를 기반으로, 상기 탑승자의 시트의 공기압 및 상기 차량의 공조 시스템 중 적어도 하나 이상을 제어하는 탑승자 의사 전달 장치.
  13. 차량의 어시스트 그립을 포함하는 차량 내의 손잡이의 터치에 대한 정보 및 상기 손잡이를 잡은 탑승자의 심박수, 땀 또는 긴장도에 대한 정보를 포함하는 생체정보 중 적어도 하나 이상을 획득하는 단계; 및
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상을 기반으로 상기 탑승자의 상태를 판단하여, 상기 차량의 운전자에게 상기 탑승자에 대한 확인을 요청하는 단계를 포함하는 탑승자 의사 전달 방법.
  14. 제 13 항에 있어서,
    상기 탑승자에게 확인을 요청하는 단계는,
    상기 차량의 AVN 및 클러스터 중 적어도 하나 이상을 통해 상기 탑승자에 대한 확인을 요청하는 탑승자 의사 전달 방법.
  15. 제 13 항에 있어서,
    상기 탑승자에게 확인을 요청하는 단계는,
    상기 탑승자에 대한 1차 확인을 요청하는 단계;
    상기 1차 확인 후, 상기 탑승자의 터치가 계속되면, 상기 탑승자에 대한 2차 확인을 요청하는 단계; 및
    상기 1차 확인 후, 상기 탑승자의 터치가 종료되면, 상기 터치에 대한 정보를 초기화하는 단계를 포함하는 탑승자 의사 전달 방법.
  16. 제 13 항에 있어서,
    상기 터치에 대한 정보는,
    터치 시간을 포함하고,
    상기 탑승자의 상태를 판단하는 단계는,
    상기 터치 시간이 기준 시간을 초과하는지 여부, 상기 심박수가 기준 심박수를 초과하는지 여부, 상기 땀이 기준치를 초과하는지 여부 및 상기 긴장도가 기준 긴장도를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 포함하는 탑승자 의사 전달 방법.
  17. 제 16 항에 있어서,
    상기 차량의 속도 및 차량의 차선이탈 횟수 중 적어도 하나 이상을 획득하는 단계를 더 포함하고,
    상기 탑승자의 상태를 판단하는 단계는,
    상기 속도가 기준 속도를 초과하는지 여부 및 상기 차선이탈 횟수가 기준 횟수를 초과하는지 여부 중 적어도 하나 이상을 기반으로, 상기 탑승자가 불안하거나 또는 불편한 상태를 판단하는 단계를 더 포함하는 탑승자 의사 전달 방법.
  18. 제 13 항에 있어서,
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상의 데이터를 이용하여, 탑승자의 상태를 출력하는 딥러닝 기반의 학습 모델을 학습시키는 단계를 더 포함하는 탑승자 의사 전달 방법.
  19. 제 18 항에 있어서,
    상기 탑승자의 상태를 판단하는 단계는,
    상기 터치에 대한 정보 및 상기 생체정보 중 적어도 하나 이상에 상기 학습된 딥러닝 기반의 학습 모델을 적용하여, 탑승자의 상태를 판단하는 단계를 포함하는 탑승자 의사 전달 방법.
  20. 제 13 항에 있어서,
    상기 탑승자의 터치가 감지되면, 상기 생체정보를 기반으로, 상기 탑승자의 시트의 공기압 및 상기 차량의 공조 시스템 중 적어도 하나 이상을 제어하는 단계를 더 포함하는 탑승자 의사 전달 방법.
KR1020200163222A 2020-11-27 2020-11-27 탑승자 의사 전달 장치 및 그 방법 KR20220075133A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200163222A KR20220075133A (ko) 2020-11-27 2020-11-27 탑승자 의사 전달 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163222A KR20220075133A (ko) 2020-11-27 2020-11-27 탑승자 의사 전달 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220075133A true KR20220075133A (ko) 2022-06-07

Family

ID=81987065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163222A KR20220075133A (ko) 2020-11-27 2020-11-27 탑승자 의사 전달 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220075133A (ko)

Similar Documents

Publication Publication Date Title
US11940792B2 (en) Device for controlling longitudinal guidance of a vehicle designed to be driven in an at least partly automated manner
US10099636B2 (en) System and method for determining a user role and user settings associated with a vehicle
US9969268B2 (en) Controlling access to an in-vehicle human-machine interface
JP6581128B2 (ja) 最適車両部品設定を決定するためのシステムおよび方法
JP5527411B2 (ja) 車両の緊急退避装置
US20180040093A1 (en) Vehicle request using wearable earpiece
US20180345909A1 (en) Vehicle with wearable for identifying one or more vehicle occupants
US20190016344A1 (en) Method for adjusting at least one operating parameter of a transportation vehicle, system for adjusting at least one operating parameter of a transportation vehicle, and transportation vehicle
KR102026806B1 (ko) 차량에서 탑승자 건강상태 측정을 통한 헬스 케어 장치
JPWO2013008300A1 (ja) 車両の緊急退避装置
US11386678B2 (en) Driver authentication for vehicle-sharing fleet
JP2016088497A (ja) 作業能力制御システム
JP2017021651A (ja) 車両制御装置
US20200247422A1 (en) Inattentive driving suppression system
KR20160112213A (ko) 차량, 및 차량의 제어방법
CN113491519A (zh) 基于情感-认知负荷的数字助理
WO2016067594A1 (ja) 作業能力制御システム
US11511703B2 (en) Driver personalization for vehicle-sharing fleet
KR20190100129A (ko) 차량에서 탑승자 건강상태 측정을 통한 헬스 케어 방법
KR20220075133A (ko) 탑승자 의사 전달 장치 및 그 방법
WO2020039994A1 (ja) カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法
JP2018194961A (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP2009254544A (ja) 乗員情報取得装置及び乗員情報取得システム、並びにこれを用いた車両制御装置及び車両制御システム
JP7331781B2 (ja) 情報処理装置、情報処理システム、プログラム、及び車両
US20240124013A1 (en) Monitoring system, storage medium storing computer program for monitoring and method for monitoring