KR20210015323A - 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법 - Google Patents

운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법 Download PDF

Info

Publication number
KR20210015323A
KR20210015323A KR1020190094001A KR20190094001A KR20210015323A KR 20210015323 A KR20210015323 A KR 20210015323A KR 1020190094001 A KR1020190094001 A KR 1020190094001A KR 20190094001 A KR20190094001 A KR 20190094001A KR 20210015323 A KR20210015323 A KR 20210015323A
Authority
KR
South Korea
Prior art keywords
driver
state
ultrasonic beam
corresponds
transmit
Prior art date
Application number
KR1020190094001A
Other languages
English (en)
Inventor
김주혁
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190094001A priority Critical patent/KR20210015323A/ko
Priority to US16/788,654 priority patent/US11007932B2/en
Priority to DE102020202094.9A priority patent/DE102020202094A1/de
Publication of KR20210015323A publication Critical patent/KR20210015323A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/02—General characteristics of the apparatus characterised by a particular materials
    • A61M2205/0272—Electro-active or magneto-active materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/02—General characteristics of the apparatus characterised by a particular materials
    • A61M2205/0272—Electro-active or magneto-active materials
    • A61M2205/0294—Piezoelectric materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/14—Electro-oculogram [EOG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/60—Muscle strain, i.e. measured on the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • B60Y2400/902—Driver alarms giving haptic or tactile signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Hematology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Anesthesiology (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 발명은 운전자가 졸음 상태 또는 부주의 상태에 있을 때, 초음파 신호를 이용하여 운전자에게 햅틱 자극을 비접촉식으로 제공함으로써 효과적이고 직접적으로 안전 운전을 유도할 수 있는 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법을 제공한다.
일 실시예에 따른 운전자 상태 경고 장치는, 운전자의 상태와 관련된 정보를 획득하는 감지부; 초음파 빔을 생성하고, 상기 생성된 초음파 빔을 송출하는 햅틱 자극 발생부; 상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 상기 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부;를 포함한다.

Description

운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법{DRIVER STATE WARNING APPARATUS, VEHICLE AND WARNING METHOD FOR DRIVER STATE}
개시된 발명은 운전자 상태 경고 장치, 이를 포함하는 차량 및 운전자 상태 경고 방법에 관한 것이다.
운전자의 졸음, 전방 주시 태만, 운전 중 휴대전화 조작 등 운전에 집중하지 않는 운전자의 상태는 교통사고를 유발하는 주요 원인 중 하나이다. 따라서, 최근에는 운전자의 상태를 감지하고, 운전자가 운전에 집중하지 않는 상태에 있으면 이에 대한 경고를 출력함으로써 안전 운전을 유도하는 운전자 상태 경고(Driver State Warning)에 관한 기술이 개발 중에 있다.
그러나, 기존의 운전자 상태 경고 기술은 경고를 출력하는 방식에 한계가 있고, 기존의 경고 출력 방식에 익숙해진 운전자는 경고가 출력되더라도 이를 무시하는 경우가 빈번하다.
따라서, 이러한 제한적인 경고의 출력으로는 운전자의 안전 운전을 효과적으로 유도하기 어렵다.
개시된 발명은 운전자가 졸음 상태 또는 부주의 상태에 있을 때, 초음파 신호를 이용하여 운전자에게 햅틱 자극을 비접촉식으로 제공함으로써 효과적이고 직접적으로 안전 운전을 유도할 수 있는 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법을 제공한다.
일 실시예에 따른 운전자 상태 경고 장치는, 운전자의 상태와 관련된 정보를 획득하는 감지부; 초음파 빔을 생성하고, 상기 생성된 초음파 빔을 송출하는 햅틱 자극 발생부; 상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 상기 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부;를 포함한다.
상기 햅틱 자극 발생부는, 전기 신호를 초음파 신호로 변환하는 트랜스듀서 어레이를 포함할 수 있다.
상기 감지부는, 상기 운전자의 영상을 촬영하는 카메라;를 포함할 수 있다.
상기 제어부는, 상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고, 상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 트랜스듀서 어레이를 제어할 수 있다.
상기 트랜스듀서 어레이를 구성하는 복수의 트랜스듀서 소자는, 상기 운전자의 신체 부위에 따라 복수의 그룹으로 나뉘고, 상기 제어부는, 상기 타겟 위치에 포함된 신체 부위에 대응되는 그룹의 트랜스듀서 소자들에 제어 신호를 전송할 수 있다.
상기 제어부는, 상기 운전자의 영상의 위치 정보와 상기 트랜스듀서 어레이의 위치 정보를 매칭시켜 저장하고, 상기 타겟 위치에 매칭된 위치의 트랜스듀서 소자들에 제어 신호를 전송할 수 있다.
상기 제어부는, 상기 타겟 위치를 향하는 지향성 초음파 빔을 생성하도록 상기 트랜스듀서 어레이를 제어할 수 있다.
상기 제어부는, 상기 운전자의 영상에 기초하여 상기 운전자의 상태가 졸음 상태 및 부주의 상태 중 적어도 하나의 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 신체 부위 중 적어도 하나를 향해 상기 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 운전자의 상태가 상기 졸음 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 눈을 향해 상기 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 운전자의 눈에 진동 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 단파 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 운전자의 영상에 기초하여 상기 운전자의 상태가 상기 부주의 상태에 대응되는지 여부를 판단할 수 있다.
상기 제어부는, 상기 운전자의 상태가 상기 부주의 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 얼굴이 향하는 방향으로부터 상기 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 운전자의 얼굴이 현재 향하고 있는 방향에서 반대 방향으로 저항력 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 장파 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 운전자의 상태가 부주의 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 눈을 향해 상기 초음파 빔을 송출할 수 있다.
상기 제어부는, 상기 초음파 빔의 송출을 시작한 이후에 상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되지 않으면, 상기 초음파 빔의 송출을 중단할 수 있다.
일 실시예에 따른 차량은, 운전자의 상태와 관련된 정보를 획득하는 감지부; 초음파 빔을 생성하고, 상기 생성된 초음파 빔을 송출하는 햅틱 자극 발생부; 상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 상기 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부;를 포함한다.,
상기 햅틱 자극 발생부는, 전기 신호를 초음파 신호로 변환하는 트랜스듀서 어레이를 포함할 수 있다.
상기 감지부는, 상기 운전자의 영상을 촬영하는 카메라;를 포함할 수 있다.
상기 제어부는, 상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고, 상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 트랜스듀서 어레이를 제어할 수 있다.
일 실시예에 따른 운전자 상태 경고 방법은, 운전자의 상태와 관련된 정보를 획득하고; 상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태를 판단하고; 상가 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고; 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 복수의 트랜스듀서 소자를 포함하는 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 것;을 포함한다.
상기 운전자의 상태와 관련된 정보를 획득하는 것은, 카메라를 이용하여 상기 운전자의 영상을 촬영하는 것을 포함할 수 있다.
상기 운전자를 향해 초음파 빔을 송출하는 것은, 상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고; 상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 복수의 트랜스듀서 소자를 제어하는 것;을 포함할 수 있다.
상가 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하는 것은, 상기 운전자의 영상에 기초하여 상기 운전자의 상태가 졸음 상태 및 부주의 상태 중 적어도 하나의 상태에 대응되는지 여부를 판단하는 것을 포함할 수 있다.
상기 운전자를 향해 초음파 빔을 송출하는 것은, 상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 신체 부위 중 적어도 하나를 향해 상기 초음파 빔을 송출하는 것;을 포함할 수 있다.
상기 운전자를 향해 초음파 빔을 송출하는 것은, 상기 운전자의 상태가 상기 졸음 상태에 대응되면, 상기 운전자의 눈에 진동 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 단파 초음파 빔을 송출하는 것;을 포함할 수 있다.
상기 운전자를 향해 초음파 빔을 송출하는 것은, 상기 운전자의 상태가 부주의 상태에 대응되는 것으로 판단되면, 상기 운전자의 얼굴이 향하는 방향에서 반대 방향으로 저항력을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 장파 초음파 빔을 송출하는 것;을 포함할 수 있다.
상기 방법은, 상기 운전자를 향해 초음파 빔을 송출한 후 기준 시간이 경과하면 다시 운전자의 상태를 판단하고; 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되면, 상기 송출되는 초음파 빔의 세기를 증가시키는 것;을 포함할 수 있다.
상기 운전자를 향해 초음파 빔을 송출하는 것은, 상기 운전자의 상태가 졸음 상태에 대응되는 경우에 송출되는 초음파 빔의 세기를 상기 운전자의 상태가 부주의 상태에 대응되는 경우에 송출되는 초음파 빔의 세기보다 크게 제어하는 것;을 포함할 수 있다.
일 측면에 따른 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법에 의하면, 운전자가 졸음 상태 또는 부주의 상태에 있을 때, 초음파 신호를 이용하여 운전자에게 햅틱 자극을 비접촉식으로 제공함으로써 효과적이고 직접적으로 안전 운전을 유도할 수 있다.
도 1은 일 실시예에 따른 운전자 상태 경고 장치에 관한 제어 블록도이다.
도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 3 및 도 4는 일 실시예에 따른 운전자 상태 경고 장치에 적용되는 햅틱 자극 발생부의 예시를 나타낸 도면이다.
도 5 는 일 실시예에 따른 운전자 상태 경고 장치에 포함되는 트랜스듀서 어레이와 운전자 영상의 위치 대응 관계를 나타내는 도면이다.
도 6 및 도 7은 일 실시예에 따른 운전자 상태 경고 장치에 있어서, 복수의 트랜스듀서 소자가 운전자의 신체 부위에 따라 복수의 그룹으로 나뉘는 예시를 나타낸 도면이다.
도 8 내지 도 13은 개별 트랜스듀서 소자에 입력되는 신호의 예시를 나타낸 도면이다.
도 14및 도 15는 일 실시예에 따른 운전자 상태 경고 장치가 운전자에게 햅틱 자극을 제공하는 방식의 예시를 나타낸 도면이다.
도 16은 일 실시예에 따른 운전자 상태 경고 방법에 관한 순서도이다.
도 17은 일 실시예에 따른 운전자 상태 경고 방법에 관한 다른 순서도이다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array)/ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법에 관한 실시예를 상세하게 설명하기로 한다.
도 1은 일 실시예에 따른 운전자 상태 경고 장치에 관한 제어 블록도이고, 도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이며, 도 3 및 도 4는 일 실시예에 따른 운전자 상태 경고 장치에 적용되는 햅틱 자극 발생부의 예시를 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 운전자 상태 경고 장치(100)는 운전자의 상태와 관련된 정보를 획득하는 감지부(110); 초음파 신호를 생성하고, 생성된 초음파 신호를 송출하는 햅틱 자극 발생부(120); 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 햅틱 자극 발생부(120)를 제어하여 상기 운전자를 향해 상기 초음파 신호를 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부(130);를 포함한다.
감지부(110)는 운전자의 상태와 관련된 정보를 획득할 수 있는 다양한 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, 감지부(110)는 운전자의 영상을 촬영하는 이미지 센서, 즉 카메라(111)를 포함할 수 있다. 카메라는 적외선 카메라일 수도 있고 일반 가시광선 카메라일 수도 있다. 또한, 카메라(111)는 동영상을 촬영할 수도 있고, 정해진 주기에 따라 정지 영상을 촬영할 수도 있다.
또한, 카메라(111)는 깊이 정보를 획득할 수 있는 스테레오 카메라일 수도 있다.
일 실시예에 따른 차량(1)은 전술한 운전자 상태 경고 장치(100)를 포함한다. 이하, 운전자 상태 경고 장치(100)의 구성들이 차량(1) 내에 마련되는 위치의 예시를 함께 설명한다.
카메라(111)는 운전자의 영상을 촬영할 수 있는 위치에 마련될 수 있는바, 도 2를 참조하면, 운전자를 마주보는 클러스터 영역(50)에 마련될 수도 있고, 룸미러(32)에 마련될 수도 있으며, 전면 유리(36), 헤드라이닝(34) 또는 센터페시아(31)에 마련될 수도 있다. 운전자의 얼굴 또는 운전자의 얼굴과 손이 포함되는 영상을 촬영할 수 있는 위치이면 되고, 다른 제한은 두지 않는다.
또한, 감지부(110)는 운전자의 생체 신호를 감지하는 생체 신호 센서를 포함하는 것도 가능하다. 생체 신호 센서로는 뇌파(EEG: Electroencephalogram), 근전도(EMG: Electromyogram), 심전도(ECG: Electrocardiogram), 안전도(EOG: Electrooculogram) 등의 신호를 측정하는 센서가 채용될 수 있다.
이러한 생체 신호 센서는 그 측정 항목에 따라 스티어링 휠(35)에 마련될 수도 있고, 별도의 웨어러블 디바이스에 마련될 수도 있다.
감지부(110)가 전술한 예시에 한정되는 것은 아니며, 운전자의 상태에 관한 정보를 획득할 수만 있으면 되고 감지부(110)의 종류에 다른 제한은 두지 않는다.
햅틱 자극 발생부(120)는 초음파 신호를 이용하여 운전자에게 비적촉식으로 햅틱 자극을 제공할 수 있다. 초음파 신호는 인간의 가청 범위를 넘는 주파수를 갖는 인간이 들을 수 없는 음역대의 신호를 의미한다. 일반적으로 20kHz를 넘는 주파수를 갖는 신호를 초음파 신호라 한다.
햅틱 자극 발생부(120)에서 발생되는 초음파 신호의 주파수는 인간의 피부의 감각 수용체들이 감각을 느낄 수 있는 범위를 고려하여 결정될 수 있다. 일 예로, 햅틱 자극 발생부(120)는 40kHz 이상의 초음파 신호를 공기 중에 송출할 수 있고, 초음파 신호에 의한 진동은 공기를 매개체로 하여 전달된다.
도 3의 예시를 참조하면, 햅틱 자극 발생부(120)는 전기 신호를 초음파 신호로 변환하는 트랜스듀서 어레이(121)를 포함할 수 있다. 복수의 트랜스듀서 소자(121a)가 2차원 트랜스듀서 어레이(121)를 구성한다.
복수의 트랜스듀서 소자(121a)는 초음파 신호를 발생시키는 다양한 방식 중 적어도 하나를 채용할 수 있다. 예를 들어, 트랜스듀서 소자(121a)는 자성체의 자왜효과를 이용하는 자왜 초음파 트랜스듀서(Magnetostrictive Ultrasonic Transducer: MUT), 압전 물질의 압전 효과를 이용하는 압전 초음파 트랜스듀서(Piezoelectric Ultrasonic Transducer: PUT) 또는 압전형 미세가공 초음파 트랜스듀서(piezoelectric micromachined ultrasonic transducer: pMUT) 등으로 구현될 수 있으며, 미세 가공된 수백 또는 수천 개의 박막의 진동을 이용하여 초음파를 발생시키는 정전용량형 미세가공 초음파 트랜스듀서(Capacitive Micromachined Ultrasonic Transducer: cMUT)로 구현되는 것도 가능하다. 초음파를 발생시킬 수만 있으면 되고, 트랜스듀서 소자(121a)의 초음파 발생 방식에 대해 다른 제한은 두지 않는다.
도 4에 도시된 바와 같이, 제어부(130)는 복수의 트랜스듀서 소자(121a)에서 송출되는 초음파 신호가 타겟 위치(TG)에 포커싱되어 동시에 도달하도록 위상과 진폭을 조절하여 초음파 빔을 형성할 수 있다. 타겟 위치(TG)에 초음파 빔이 도달하면 타겟 위치(TG)에 있는 운전자의 신체 부위는 햅틱 자극을 느낄 수 있게 된다. 즉, 운전자가 트랜스듀서 소자(121a)에 직접 접촉하지 않고서도 공기를 매개체로 하여 전달된 진동을 느낄 수 있다.
햅틱 자극 발생부(120)가 운전자에게 햅틱 자극을 제공하는 더 구체적인 방식에 대해서는 후술하기로 한다.
제어부(130)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램과 프로그램 실행에 필요한 각종 데이터가 저장되는 적어도 하나의 메모리(131) 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서(132)를 포함한다. 메모리(131)와 프로세서(132)는 하나의 칩(chip) 상에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다.
또한, 메모리(131)와 프로세서(132)가 복수 개 구비되는 경우에는, 복수의 메모리(131) 및 복수의 프로세서(132)가 하나의 칩 상에 집적되거나 또는 하나의 모듈에 포함되는 것도 가능하고, 다른 칩 상에 집적되거나 다른 모듈에 포함되는 등 물리적으로 분리되는 것도 가능하다.
제어부(130)는 감지부(110)가 획득한 운전자의 상태와 관련된 정보에 기초하여 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단할 수 있다. 미리 정해진 경고 대상 상태는 졸음 상태와 부주의 상태를 포함할 수 있고, 부주의 상태는 운전자의 고개가 정해진 시간 이상 전방을 향하지 않는 상태나 운전자의 동공이 정해진 시간 이상 전방을 향하지 않는 상태와 같이 전방을 주시하지 않는 상태(전방 주시 태만) 및 운전자가 전방은 주시하고 있으나 운전자의 양 손 또는 한 손이 스티어링 휠(35)에서 정해진 시간 이상 떨어져 있는 상태 중 적어도 하나를 포함할 수 있다.
예를 들어, 감지부(110)가 카메라(111)를 포함하는 경우에는, 카메라가 촬영한 운전자의 영상에 기초하여 운전자의 상태가 졸음 상태에 대응되는지 여부 또는 운전자의 상태가 부주의 상태에 대응되는지 여부를 판단할 수 있다.
제어부(130)는 운전자의 영상을 분석하여 운전자의 동공이 정해진 시간 이상 보이지 않는지 여부를 판단할 수 있다. 이를 위해, 제어부(130)는 운전자의 영상에 객체 인식 알고리즘을 적용하여 동공을 검출하고, 검출된 동공이 정해진 시간 이상 보이지 않으면 운전자의 상태가 졸음 상태인 것으로 판단할 수 있다. 또는, 정해진 시간 이상 동공이 검출되지 않으면 운전자의 상태가 졸음 상태인 것으로 판단할 수도 있다.
또는, 제어부(130)는 운전자의 영상을 분석하여 운전자의 고개가 정해진 패턴에 따라 움직이는지 여부를 판단할 수도 있다. 졸고 있는 사람의 고개는 특정 패턴에 따라 움직일 수 있다. 따라서, 제어부(130)는 이러한 특정 패턴을 저장하고, 운전자의 영상에 나타난 운전자의 고개의 움직임 패턴이 저장된 특정 패턴에 대응되면 운전자의 상태가 졸음 상태인 것으로 판단할 수 있다.
다른 예로, 감지부(110)가 생체 신호 센서를 포함하는 경우에는, 생체 신호 센서가 출력하는 생체 신호 값이 사람이 졸고 있을 때 나타나는 생체 신호 값에 대응되면 운전자의 상태가 졸음 상태에 대응되는 것으로 판단할 수 있다.
또한, 제어부(130)는 운전자의 영상을 분석하여 운전자의 상태가 부주의 상태에 대응되는지 여부를 판단할 수 있다. 예를 들어, 운전자의 영상에서 운전자의 동공을 검출하고, 검출된 동공의 위치에 기초하여 운전자의 시선이 전방을 향하는지 여부를 판단할 수 있다. 운전자의 시선이 전방을 향하지 않는 것으로 판단되면, 운전자의 상태가 부주의 상태에 대응되는 것으로 판단할 수 있다. 또는, 운전자의 시선이 전방을 향하지 않는 상태가 정해진 시간 이상 지속되었을 때 운전자의 상태가 부주의 상태에 대응되는 것으로 판단하는 것도 가능하다.
다른 예로, 제어부(130)는 운전자의 영상에서 운전자의 얼굴을 검출하고 검출된 얼굴의 윤곽이나 얼굴 내에서 눈, 코, 입의 위치 또는 얼굴의 움직임에 기초하여 운전자의 고개가 전방을 향하는지 여부를 판단할 수 있다. 운전자의 고개가 전방을 향하지 않는 것으로 판단되면, 운전자의 상태가 부주의 상태에 대응되는 것으로 판단할 수 있다. 또는, 운전자의 고개가 전방을 향하지 않는 상태가 정해진 시간 이상 지속되었을 때 운전자의 상태가 부주의 상태에 대응되는 것으로 판단하는 것도 가능하다.
또 다른 예로, 제어부(130)는 운전자의 영상에서 운전자의 손을 검출하고 검출된 운전자의 손이 정해진 시간 이상 스티어링 휠(35)에서 떨어져 있으면 운전자의 상태가 부주의 상태에 대응되는 것으로 판단할 수 있다.
한편, 운전자의 상태가 부주의 상태에 대응되는 것으로 판단할 때 정해진 시간만큼의 유예 시간을 주면 룸미러(32), 사이드 미러(51) 또는 차량(1)의 윈도우(52)를 통해 주변 상황을 확인하는 경우는 부주의 상태에서 제외시킬 수 있다.
제어부(130)는 운전자의 상태가 졸음 상태 또는 부주의 상태에 대응되는 것으로 판단되면, 햅틱 자극 발생부(120)를 제어하여 운전자에게 햅틱 자극을 제공하는 방식으로 경고를 출력할 수 있다.
전술한 바와 같이, 햅틱 자극 발생부(120)는 타겟 위치로 집속된 초음파 빔을 송출하고, 송출된 초음파 빔에 의한 진동은 공기를 매개체로 하여 타겟 위치에 도달할 수 있다. 이로써, 타겟 위치의 운전자는 햅틱 자극 발생부(120)에 접촉하지 않고서도 비접촉식으로 햅틱 자극을 느낄 수 있게 된다.
청각이나 시각으로 운전자에게 경고를 출력하는 기존의 방식은 운전자가 경고 자체에 주의를 기울이지 않거나 경고에 익숙해지는 등의 원인으로 안전 운전을 효과적으로 유도하기가 어려웠다. 또한, 일반적인 햅틱 자극은 접촉식으로 전달되기 때문에 운전자에게 햅틱 자극을 주기 위해서는 특정 장비를 착용하는 등의 불편함이 수반되어 운전 환경에서의 적용이 어려웠다.
그러나, 일 실시예에 따른 운전자 상태 경고 장치(100)에 의하면, 운전자에게 비접촉식으로 햅틱 자극을 제공함으로써 운전자의 주의를 효과적으로 환기시킬 수 있고, 후술하는 바와 같이 햅틱 자극의 방향을 조절함으로써 직접적인 안전 운전의 유도 효과를 얻을 수 있다. 구체적인 햅틱 자극 제공 방식에 대해서는 후술하도록 한다.
도 5 는 일 실시예에 따른 운전자 상태 경고 장치에 포함되는 트랜스듀서 어레이와 운전자 영상의 위치 대응 관계를 나타내는 도면이다.
도 5에 도시된 바와 같이, 햅틱 자극 발생부(120)는 mxn(m, n은 2 이상의 정수)이 2차원 어레이를 구성하는 복수의 트랜스듀서 소자(121a)로 이루어질 수 있다.
제어부(130)는 개별 트랜스듀서 소자(121a)의 위치 정보를 운전자의 영상(IM)의 위치 정보와 매칭시키는 캘리브레이션을 수행할 수 있다. 구체적으로, 운전자의 영상(IM)의 위치와 개별 트랜스듀서 소자(121a)의 위치는 모두 2차원 좌표로 나타낼 수 있고, 운전자의 영상(IM)의 위치 별로, 해당 위치에 대응되는 트랜스듀서 소자(121a)의 위치를 매칭시킬 수 있다. 여기서, 운전자의 영상(IM)의 위치에 대응되는 트랜스듀서 소자(121a)의 위치는, 해당 위치에 대응되는 실제 공간에 초음파 빔을 송출하기 위해 사용되는 트랜스듀서 소자(121a)의 위치를 의미할 수 있다.
또는, 이러한 위치 대응 관계가 메모리(131)에 미리 저장될 수도 있다.
운전자의 영상(IM) 내의 하나의 위치에 대응되는 트랜스듀서 소자(121a)가 복수 개일 수 있고, 하나의 트랜스듀서 소자(121a)가 운전자의 영상(IM) 내의 여러 위치에 대응될 수 있다.
도 5의 예시와 같이, 제어부(130)가 운전자의 영상(IM)에서 운전자의 눈에 해당하는 영역을 검출할 수 있고, 검출된 영역의 위치는 2차원 좌표로 표현될 수 있다. 제어부(130)는 캘리브레이션 결과에 기초하여 해당 위치에 매칭된 트랜스듀서 소자(121a)의 위치를 획득할 수 있다.
제어부(130)는 운전자의 영상(IM)에 기초하여 운전자의 상태가 졸음 상태에 대응되는 것으로 판단하면, 운전자의 영상(IM)에서 눈의 위치에 매칭된 위치의 트랜스듀서 소자(121a)가 초음파 신호를 송출하도록 햅틱 자극 발생부(120)에 제어 신호를 전송할 수 있다.
이러한 캘리브레이션은 운전자 상태 경고 장치(100)의 제조 단계에서 이루어져 위치 대응 관계가 메모리(131)에 저장될 수도 있고, 최초 설치 또는 최초 사용 시에 제어부(130)에 의해 이루어질 수도 있으며, 카메라(111)와 햅틱 자극 발생부(120) 사이의 상대적인 위치가 바뀌면 재수행될 수도 있다.
또는, 트랜스듀서 어레이(121)를 구성하는 복수의 트랜스듀서 소자(121a)는 운전자의 신체 부위에 따라 복수의 그룹으로 나뉘는 것도 가능하다.
도 6 및 도 7은 일 실시예에 따른 운전자 상태 경고 장치에 있어서, 복수의 트랜스듀서 소자가 운전자의 신체 부위에 따라 복수의 그룹으로 나뉘는 예시를 나타낸 도면이다.
운전자는 운전석에 앉은 자세로 운전을 하기 때문에 운전 중에는 운전자의 위치가 크게 변하지 않는다. 따라서, 도 6 및 도 7에 도시된 바와 같이, 복수의 트랜스듀서 소자(121a)를 운전자의 신체 부위에 따라 복수의 그룹(G1, G2, G3, G4)으로 나누고, 어느 부위에 햅틱 자극을 제공할지 결정되면, 해당 부위에 대응되는 그룹의 트랜스듀서 소자(121a)들이 초음파 신호를 송출하도록 제어할 수 있다.
예를 들어, 운전자의 상태에 따라 초음파 신호의 송출 대상이 되는 신체 부위가 눈, 턱, 오른쪽 볼 및 왼쪽 볼인 경우에, 복수의 트랜스듀서 소자(121a)를 눈에 대응되는 제1그룹(G1), 턱에 대응되는 제2그룹(G2), 오른쪽 볼에 대응되는 제3그룹(G3) 및 왼쪽 볼에 대응되는 제4그룹(G4)으로 나눌 수 있다.
제1그룹(G1)에 포함된 복수의 트랜스듀서 소자(121a)는 운전자의 눈에 초음파 신호를 송출하는데 사용되고, 제2그룹(G2)에 포함된 복수의 트랜스듀서 소자(121a)는 운전자의 턱에 초음파 신호를 송출하는데 사용되며, 제3그룹(G3)에 포함된 복수의 트랜스듀서 소자(121a)는 운전자의 오른쪽 볼에 초음파 신호를 송출하는데 사용되고, 제4그룹(G4)에 포함된 복수의 트랜스듀서 소자(121a)는 운전자의 왼쪽 볼에 초음파 신호를 송출하는데 사용된다. 이 때, 각각의 그룹이 공통된 트랜스듀서 소자(121a)를 공유하는 것도 가능하다.
필요에 따라 운전자의 팔이나 손 등 다른 신체 부위에 대응되는 그룹을 더 추가하는 것도 가능하다.
한편, 햅틱 자극 발생부(121)는 운전자 상태 경고 장치(100)의 나머지 구성요소들과 물리적으로 분리되어, 운전자의 특정 신체 부위에 초음파 신호를 송출하기 적절한 위치에 마련될 수 있다. 일 예로, 도 6의 예시와 같이, 운전자와 마주보는 스티어링 휠(35)에 마련될 수 있다. 또한, A 필러(33)에 마련되는 것도 가능하고, 클러스터 영역(50)이나 전면 유리(36) 또는 센터페시아(31) 등 운전자를 향해 초음파 빔을 송출할 수 있는 위치이면 어디든 햅틱 자극 발생부(121)가 마련될 수 있다.
또는, 햅틱 자극 발생부(121)와 나머지 구성요소들이 하나의 물리적인 모듈을 구성하는 것도 가능하다. 이 경우, 도 7에 도시된 바와 같이 트랜스듀서 어레이(121)를 구성하는 복수의 트랜스듀서 소자(121a)가 운전자 상태 경고 장치(100)를 구성하는 물리적인 모듈의 주위를 둘러싸는 형태로 배치될 수 있고, 이 경우에도 복수의 트랜스듀서 소자(121a)가 제1그룹(G1), 제2그룹(G2), 제3그룹(G3) 및 제4그룹(G4)으로 나뉠 수 있다.
도 8 내지 도 13은 개별 트랜스듀서 소자에 입력되는 신호의 예시를 나타낸 도면이다.
트랜스듀서 어레이(121)를 구성하는 복수의 트랜스듀서 소자(121a)는 개별적으로 제어가 가능하다. 따라서, 개별 트랜스듀서 소자(121a)로부터 발생되는 초음파 신호의 주파수 별로 위상, 세기(진폭) 등을 다르게 조절할 수 있다.
도 8에 도시된 바와 같이 중심에서 주변부로 갈수록 초음파 송출에 시간 지연을 주어 위상을 다르게 제어함으로써 중심부로 신호가 포커싱되는 초음파 빔을 생성할 수 있다.
또한, 도 9에 도시된 바와 같이 개별 트랜스듀서 소자(121a) 별로 초음파 신호의 세기도 다르게 조절할 수도 있는바, 중심부의 신호의 세기를 가장 세게 하고 주변부로 갈수록 신호의 세기를 약하게 할 수 있다.
전술한 예시에서는 각각의 신체 부위에 할당된 트랜스듀서 소자(121a)를 이용하여 원하는 신체 부위에 초음파 신호를 송출하는 경우를 예로 들었으나, 각 트랜스듀서 소자(121a)에서 초음파 신호를 송출하는 타이밍을 조절하여 초음파 위상을 제어함으로써 원하는 신체 부위를 향하는 지향성 초음파 빔을 생성하도록 제어하는 것도 가능하다.
한편, 펄스 제어에 의해 초음파 신호를 발생시키는 경우, 도 10에 도시된 바와 같이 트랜스듀서 소자(121a)에 단파를 인가하여 톡톡 치는 것과 같은 느낌의 진동 자극을 제공할 수 있다.
또는 도 11에 도시된 바와 같이 트랜스듀서 소자(121a)에 장파를 인가하여 밀어내는 것과 같은 느낌의 저항력 자극을 제공할 수 있다.
또한, 도 12 및 도 13에 도시된 바와 같이 개별 트랜스듀서 소자(121a)에 인가되는 펄스의 세기를 약하게 조절하거나 강하게 조절하여 초음파 신호의 세기를 제어할 수도 있다.
즉, 제어부(130)는 복수의 트랜스듀서 소자(121a)에 대해 초음파 신호의 위상, 세기, 속도 등을 개별적으로 제어함으로써 운전자의 상태에 맞는 적절한 햅틱 자극을 생성할 수 있다.
도 14 및 도 15는 일 실시예에 따른 운전자 상태 경고 장치가 운전자에게 햅틱 자극을 제공하는 방식의 예시를 나타낸 도면이다. 당해 예시에서는 햅틱 자극 발생부(120)가 스티어링 휠(35)에 장착된 경우를 예로 든다.
제어부(130)가 운전자의 영상(IM)을 분석하여 운전자의 상태가 졸음 상태에 대응되는 것으로 판단한 경우, 도 14에 도시된 바와 같이 햅틱 자극 발생부(120)를 제어하여 운전자의 눈을 향해 초음파 빔을 송출한다. 전술한 바와 같이, 운전자의 영상(IM)에서 눈 영역을 검출하고, 검출된 눈 영역의 위치에 대응되는 위치의 트랜스듀서 소자(121a)에 제어 신호를 인가하여 초음파 빔을 송출하도록 할 수 있다. 이 때, 단파 초음파 빔을 송출함으로써 운전자의 눈이 진동 자극을 느끼도록 할 수 있다.
또한, 전술한 도 6에 도시된 바와 같이, 햅틱 자극 발생부(120)가 운전자의 신체 부위에 따라 복수의 그룹(G1, G2, G3, G4)으로 나누어진 경우, 제어부(130)는 운전자의 눈에 대응되는 제1그룹(G1)의 트랜스듀서 소자(121a)들에 제어 신호를 인가할 수 있다.
또한, 제어부(130)가 운전자의 영상(IM)을 분석하여 운전자의 상태가 부주의 상태이고, 운전자의 고개가 전방을 향하지 않고 좌측(운전자 기준)을 향하고 있는 것으로 판단한 경우, 도 15에 도시된 바와 같이 햅틱 자극 발생부(120)를 제어하여 운전자의 왼쪽 볼에 초음파 빔을 송출한다. 즉, 운전자의 얼굴이 향하는 방향으로부터 초음파 빔을 송출할 수 있다.
이를 위해, 운전자의 영상(IM)에서 왼쪽 볼 영역을 검출하고, 검출된 왼쪽 볼 영역의 위치에 대응되는 위치의 트랜스듀서 소자(121a)에 제어 신호를 인가하여 초음파 빔을 송출하도록 할 수 있다. 이 때, 초음파 빔은 운전자의 왼쪽 볼에 입사되지만 그 방향은 운전자의 오른쪽을 향하도록 제어할 수 있다. 또한, 장파 초음파 빔을 송출함으로써 운전자가 오른쪽 방향으로 저항력을 느끼도록 할 수 있다. 즉, 운전자의 얼굴이 현재 향하고 있는 방향에서 반대 방향으로 저항력을 느낄 수 있도록 한다.
또한, 전술한 도 6에 도시된 바와 같이, 햅틱 자극 발생부(120)가 운전자의 신체 부위에 따라 복수의 그룹(G1, G2, G3, G4)으로 나누어진 경우, 제어부(130)는 운전자의 왼쪽 볼에 대응되는 제4그룹(G4)의 트랜스듀서 소자(121a)들에 제어 신호를 인가할 수 있다.
또한, 제어부(130)는 운전자의 고개가 아래를 향하고 있는 것으로 판단한 경우에는, 햅틱 자극 발생부(120)를 제어하여 운전자의 턱에 초음파 빔을 송출할 수 있다.
또한, 제어부(130)는 운전자의 고개는 전방을 향하고 있으나 시선이 전방을 향하지 않는 것으로 판단한 경우에는 햅틱 자극 발생부(120)를 제어하여 운전자의 눈에 초음파 빔을 송출할 수 있다.
제어부(130)가 햅틱 자극 발생부(120)를 제어하여 초음파 빔을 생성함에 있어서, 햅틱 자극 발생부(120)와 타겟 위치, 즉 운전자 사이의 거리도 함께 고려할 수 있다. 이 때, 햅틱 자극 발생부(120)와 운전자 사이의 거리에 관한 정보는 스테레오 카메라가 획득한 영상으로부터 얻을 수도 있고, 운전석(72)의 위치에 관한 정보에 기초하여 얻을 수도 있다.
제어부(130)는 실시간으로 또는 주기적으로 운전자의 상태를 판단할 수 있고, 햅틱 자극의 제공이 시작된 이후 운전자가 졸음에서 깨거나 전방을 주시하는 등 운전자의 상태가 더 이상 경고 대상 상태에 대응되지 않으면, 햅틱 자극의 제공을 중단할 수 있다. 즉, 초음파 빔의 송출을 중단할 수 있다.
제어부(130)는 햅틱 자극의 제공이 시작된 이후 기준 시간이 경과했음에도 운전자의 상태가 여전히 경고 대상 상태에 대응되면, 초음파 빔의 세기를 증가시킬 수 있다. 예를 들어, 초음파 빔의 세기를 1단계, 2단계 및 3단계로 나누고, 1단계에서 3단계로 갈수록 초음파 빔의 세기가 커지도록 설정할 수 있다. 햅틱 자극의 최초 제공은 초음파 빔의 세기를 1단계로 설정할 수 있고, 햅틱 자극의 제공이 시작된 이후 운전자의 상태를 처음 다시 판단했을 때 여전히 경고 대상 상태에 대응되면 초음파 빔의 세기를 2단계로 증가시킬 수 있으며, 그 이후에 다시 판단했을 때에도 여전히 경고 대상 상태에 대응되면 초음파 빔의 세기를 3단계로 증가시킬 수 있다.
또한, 제어부(130)는 운전자의 상태가 졸음 상태에 대응되는 경우에, 부주의 상태에 대응되는 경우보다 더 센 초음파 빔을 송출하도록 햅틱 자극 발생부(120)를 제어하는 것도 가능하다.
이하, 일 실시예에 따른 운전자 상태 경고 방법에 대하여 설명한다. 일 실시예에 따른 운전자 상태 경고 방법에는 전술한 운전자 상태 경고 장치(100) 및 이를 포함하는 차량(1)이 적용될 수 있다. 따라서, 앞서 도 1 내지 도 15를 참조하여 설명한 내용은 별도의 언급이 없더라도 운전자 상태 경고 방법의 실시예에도 적용될 수 있다.
도 16은 일 실시예에 따른 운전자 상태 경고 방법에 관한 순서도이다.
도 16에 도시된 운전자 상태 경고 방법의 실시예에 따르면, 운전자의 상태를 판단한다(310). 운전자의 상태는 운전자의 상태와 관련된 정보를 획득하는 감지부(110)의 출력 값에 기초하여 제어부(130)가 판단할 수 있다. 예를 들어, 감지부(110)는 운전자의 영상을 촬영하는 카메라(111)를 포함할 수 있고, 생체 신호 센서를 포함할 수도 있다. 감지부(1110)에 관한 설명은 앞서 설명한 바와 같다.
카메라(111)가 촬영한 운전자의 영상에 기초하여 운전자의 상태를 판단하는 경우, 제어부(130)는 운전자의 상태가 졸음 상태에 대응되는지 또는 부주의 상태에 대응되는지 여부를 판단할 수 있다. 졸음 상태와 부주의 상태는 운전자에게 햅틱 자극을 제공하여 경고를 출력해야 하는 상태, 즉 경고 대상 상태에 포함된다.
운전자의 상태가 경고 대상 상태에 대응되면(311의 예), 운전자를 향해 초음파 빔을 송출한다(312). 운전자를 향해 초음파 빔을 송출하는 것은, 제어부(130)가 운전자의 영상에서 초음파 빔을 송출할 타겟 위치를 결정하는 것을 포함할 수 있다. 예를 들어, 운전자의 상태가 졸음 상태에 대응되면 타겟 위치는 운전자의 눈의 위치가 될 수 있고, 운전자의 상태가 부주의 상태에 대응되면 타겟 위치는 운전자의 고개가 향하는 방향에 따라 결정될 수 있다.
한편, 초음파 신호의 속도를 조절하여 햅틱 자극의 종류를 다르게 할 수 있는바, 단파 초음파 신호를 송출함으로써 운전자에게 진동 자극을 제공할 수 있고 장파 초음파 신호를 송출함으로써 운전자에게 저항력 자극을 제공할 수 있다.
또한, 운전자를 향해 초음파 빔을 송출하는 것은, 제어부(130)가 타겟 위치에 초음파 빔을 송출하도록 트랜스듀서 어레이(121)를 제어하는 것을 더 포함할 수 있다. 구체적으로, 제어부(130)는 타겟 위치에 대응되는 트랜스듀서 소자(121a)의 위치를 결정하고, 결정된 위치의 트랜스듀서 소자(121a)에 제어 신호를 전송함으로써 타겟 위치의 신체 부위에 햅틱 자극을 제공할 수 있다.
전술한 바와 같이, 복수의 트랜스듀서 소자(121a)가 운전자의 신체 부위(눈, 왼쪽 볼, 오른쪽 볼, 턱 등)에 따라 복수의 그룹으로 나뉘고, 제어부(130)가 타겟 위치에 포함된 신체 부위에 대응되는 그룹의 트랜스듀서 소자(121a)에 제어 신호를 전송하여 초음파 빔을 생성하도록 할 수 있다.
또는, 운전자의 영상의 위치 정보와 트랜스듀서 어레이(121)의 위치 정보를 매칭시켜 저장하고, 타겟 위치에 매칭된 트랜스듀서 소자(121a)들에 제어 신호를 전송하는 것도 가능하다.
또는, 타겟 위치 별로 사용되는 트랜스듀서 소자(121a)의 위치를 바꾸지 않고, 각 트랜스듀서 소자(121a)에서 생성하는 초음파 신호의 위상을 제어하여 타겟 위치에 집속된 지향성 초음파 빔을 생성하는 것도 가능하다.
도 17은 일 실시예에 따른 운전자 상태 경고 방법에 관한 다른 순서도이다.
도 17을 참조하면, 일 실시예에 따른 운전자 상태 경고 방법은, 운전자의 상태를 판단하고(320), 운전자의 상태가 경고 대상 상태에 대응되면(321의 예), 운전자를 향해 초음파 빔을 송출(322)하는 것을 포함한다. 여기까지는 앞서 도 16에서 설명한 310 내지 312 단계에서 설명한 내용과 동일하다.
다만, 당해 실시예에서는 운전자를 향해 송출하는 초음파 빔의 세기가 단계 별로 달라질 수 있다. 햅틱 자극의 제공이 시작된 이후 정해진 시간이 경과했음에도 운전자의 상태가 여전히 경고 대상 상태에 대응되면, 초음파 빔의 세기를 증가시킬 수 있다. 예를 들어, 초음파 빔의 세기를 1단계, 2단계 및 3단계로 나누고, 1단계에서 3단계로 갈수록 초음파 빔의 세기가 커지도록 설정할 수 있다.
초음파 빔의 최초 송출 시에는 1단계의 초음파 빔을 송출하고(322), 기준 시간이 경과하면(323의 예), 운전자의 상태를 다시 판단한다(324).
운전자의 상태가 여전히 경고 대상 상태에 대응되면(325의 예), 운전자를 향해 제2단계의 초음파 빔을 송출한다(326). 다시 기준 시간이 경과하면(327의 예), 운전자의 상태를 다시 판단하고(328), 운전자의 상태가 여전히 경고 대상 상태에 대응되면(329의 예), 운전자를 향해 제3단계의 초음파 빔을 송출한다(330). 327단계에서의 기준 시간은 323 단계에서의 기준 시간과 동일할 수도 있고, 더 짧을 수도 있고, 더 길 수도 있다.
어느 단계에서든지 운전자의 상태가 더 이상 경고 대상 상태에 대응되지 않으면(325의 아니오, 329의 아니오), 초음파 빔의 송출을 중단할 수 있다.
또는, 운전자의 상태가 졸음 상태에 대응되는 경우와 부주의 상태에 대응되는 경우에 초음파 빔의 세기를 다르게 제어하는 것도 가능하다. 예를 들어, 운전자의 상태가 졸음 상태에 대응되는 경우에, 부주의 상태에 대응되는 경우보다 더 센 초음파 빔을 송출하도록 햅틱 자극 발생부(120)를 제어할 수 있다.
전술한 실시예에 따른 운전자 상태 경고 장치, 이를 포함하는 차량 및 운전자 상태 경고 방법에 의하면, 졸음 상태 또는 부주의 상태에 있는 운전자에게 비접촉식으로 햅틱 자극을 제공함으로써 효과적이고 직접적으로 주의를 환기시킴으로써 안전 운전을 유도할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 운전자 상태 경고 장치
110: 감지부
120: 햅틱 자극 발생부
130: 제어부
1: 차량

Claims (28)

  1. 운전자의 상태와 관련된 정보를 획득하는 감지부;
    초음파 빔을 생성하고, 상기 생성된 초음파 빔을 송출하는 햅틱 자극 발생부;
    상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 상기 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부;를 포함하는 운전자 상태 경고 장치.
  2. 제 1항에 있어서,
    상기 햅틱 자극 발생부는,
    전기 신호를 초음파 신호로 변환하는 트랜스듀서 어레이를 포함하는 운전자 상태 경고 장치.
  3. 제 2 항에 있어서,
    상기 감지부는,
    상기 운전자의 영상을 촬영하는 카메라;를 포함하는 운전자 상태 경고 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고, 상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 트랜스듀서 어레이를 제어하는 운전자 상태 경고 장치.
  5. 제 4 항에 있어서,
    상기 트랜스듀서 어레이를 구성하는 복수의 트랜스듀서 소자는,
    상기 운전자의 신체 부위에 따라 복수의 그룹으로 나뉘고,
    상기 제어부는,
    상기 타겟 위치에 포함된 신체 부위에 대응되는 그룹의 트랜스듀서 소자들에 제어 신호를 전송하는 운전자 상태 경고 장치.
  6. 제 4 항에 있어서,
    상기 제어부는,
    상기 운전자의 영상의 위치 정보와 상기 트랜스듀서 어레이의 위치 정보를 매칭시켜 저장하고, 상기 타겟 위치에 매칭된 트랜스듀서 소자들에 제어 신호를 전송하는 운전자 상태 경고 장치.
  7. 제 4 항에 있어서,
    상기 제어부는,
    상기 타겟 위치를 향하는 지향성 초음파 빔을 생성하도록 상기 트랜스듀서 어레이를 제어하는 운전자 상태 경고 장치.
  8. 제 3 항에 있어서,
    상기 제어부는,
    상기 운전자의 영상에 기초하여 상기 운전자의 상태가 졸음 상태 및 부주의 상태 중 적어도 하나의 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 신체 부위 중 적어도 하나를 향해 상기 초음파 빔을 송출하는 운전자 상태 경고 장치.
  9. 제 8 항에 있어서,
    상기 제어부는,
    상기 운전자의 상태가 상기 졸음 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 눈을 향해 상기 초음파 빔을 송출하는 운전자 상태 경고 장치.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 운전자의 눈에 진동 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 단파 초음파 빔을 송출하는 운전자 상태 경고 장치.
  11. 제 3 항에 있어서,
    상기 제어부는,
    상기 운전자의 영상에 기초하여 상기 운전자의 상태가 상기 부주의 상태에 대응되는지 여부를 판단하는 운전자 상태 경고 장치.
  12. 제 11 항에 있어서,
    상기 제어부는,
    상기 운전자의 상태가 상기 부주의 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 얼굴이 향하는 방향으로부터 상기 초음파 빔을 송출하는 운전자 상태 경고 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 운전자의 얼굴이 현재 향하고 있는 방향에서 반대 방향으로 저항력 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 장파 초음파 빔을 송출하는 운전자 상태 경고 장치.
  14. 제 11 항에 있어서,
    상기 제어부는,
    상기 운전자의 상태가 부주의 상태에 대응되면, 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 눈을 향해 상기 초음파 빔을 송출하는 운전자 상태 경고 장치.
  15. 제 8 항에 있어서,
    상기 제어부는,
    상기 초음파 빔의 송출을 시작한 이후에 상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되지 않으면, 상기 초음파 빔의 송출을 중단하는 운전자 상태 경고 장치.
  16. 운전자의 상태와 관련된 정보를 획득하는 감지부;
    초음파 빔을 생성하고, 상기 생성된 초음파 빔을 송출하는 햅틱 자극 발생부;
    상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고, 상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 상기 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 제어부;를 포함하는 차량.
  17. 제 16항에 있어서,
    상기 햅틱 자극 발생부는,
    전기 신호를 초음파 신호로 변환하는 트랜스듀서 어레이를 포함하는 차량.
  18. 제 17 항에 있어서,
    상기 감지부는,
    상기 운전자의 영상을 촬영하는 카메라;를 포함하는 차량.
  19. 제 18 항에 있어서,
    상기 제어부는,
    상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고, 상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 트랜스듀서 어레이를 제어하는 차량.
  20. 운전자의 상태와 관련된 정보를 획득하고;
    상기 획득된 운전자의 상태와 관련된 정보에 기초하여 상기 운전자의 상태를 판단하고;
    상가 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하고;
    상기 운전자의 상태가 상기 경고 대상 상태에 대응되면 복수의 트랜스듀서 소자를 포함하는 햅틱 자극 발생부를 제어하여 상기 운전자를 향해 초음파 빔을 송출함으로써 비접촉 햅틱 자극을 제공하는 것;을 포함하는 운전자 상태 경고 방법.
  21. 제 20 항에 있어서,
    상기 운전자의 상태와 관련된 정보를 획득하는 것은,
    카메라를 이용하여 상기 운전자의 영상을 촬영하는 것을 포함하는 운전자 상태 경고 방법.
  22. 제 21 항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출하는 것은,
    상기 운전자의 영상에서 상기 초음파 빔을 송출할 타겟 위치를 결정하고;
    상기 타겟 위치에 상기 초음파 빔을 송출하도록 상기 복수의 트랜스듀서 소자를 제어하는 것;을 포함하는 운전자 상태 경고 방법.
  23. 제 21 항에 있어서,
    상가 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되는지 여부를 판단하는 것은,
    상기 운전자의 영상에 기초하여 상기 운전자의 상태가 졸음 상태 및 부주의 상태 중 적어도 하나의 상태에 대응되는지 여부를 판단하는 것을 포함하는 운전자 상태 경고 방법.
  24. 제 23 항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출하는 것은,
    상기 운전자의 상태가 상기 졸음 상태 및 상기 부주의 상태 중 적어도 하나에 대응되면 상기 햅틱 자극 발생부를 제어하여 상기 운전자의 신체 부위 중 적어도 하나를 향해 상기 초음파 빔을 송출하는 것;을 포함하는 운전자 상태 경고 방법.
  25. 제 23 항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출하는 것은,
    상기 운전자의 상태가 상기 졸음 상태에 대응되면, 상기 운전자의 눈에 진동 자극을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 단파 초음파 빔을 송출하는 것;을 포함하는 운전자 상태 경고 방법.
  26. 제 23항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출하는 것은,
    상기 운전자의 상태가 상기 부주의 상태에 대응되면, 상기 운전자의 얼굴이 향하는 방향에서 반대 방향으로 저항력을 제공하기 위해 상기 햅틱 자극 발생부를 제어하여 장파 초음파 빔을 송출하는 것;을 포함하는 운전자 상태 경고 방법.
  27. 제 20 항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출한 후 기준 시간이 경과하면 다시 운전자의 상태를 판단하고;
    상기 운전자의 상태가 미리 정해진 경고 대상 상태에 대응되면, 상기 송출되는 초음파 빔의 세기를 증가시키는 것;을 포함하는 운전자 상태 경고 방법.
  28. 제 20 항에 있어서,
    상기 운전자를 향해 초음파 빔을 송출하는 것은,
    상기 운전자의 상태가 졸음 상태에 대응되는 경우에 송출되는 초음파 빔의 세기를 상기 운전자의 상태가 부주의 상태에 대응되는 경우에 송출되는 초음파 빔의 세기보다 크게 제어하는 것;을 포함하는 운전자 상태 경고 방법.
KR1020190094001A 2019-08-01 2019-08-01 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법 KR20210015323A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190094001A KR20210015323A (ko) 2019-08-01 2019-08-01 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법
US16/788,654 US11007932B2 (en) 2019-08-01 2020-02-12 Driver state warning apparatus, vehicle and warning method for driver state
DE102020202094.9A DE102020202094A1 (de) 2019-08-01 2020-02-19 Fahrerzustands-warneinrichtung, fahrzeug und warnverfahren für einen fahrerzustand

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094001A KR20210015323A (ko) 2019-08-01 2019-08-01 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법

Publications (1)

Publication Number Publication Date
KR20210015323A true KR20210015323A (ko) 2021-02-10

Family

ID=74174842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094001A KR20210015323A (ko) 2019-08-01 2019-08-01 운전자 상태 경고 장치, 차량 및 운전자 상태 경고 방법

Country Status (3)

Country Link
US (1) US11007932B2 (ko)
KR (1) KR20210015323A (ko)
DE (1) DE102020202094A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240070216A (ko) 2022-11-14 2024-05-21 현대자동차주식회사 햅틱 자극 제공 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407081B1 (ko) * 2019-11-26 2022-06-13 한국전자통신연구원 운전자 활성도 검출 시스템 및 방법
US11518391B1 (en) 2020-05-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using semi-supervised clustering
US11810198B2 (en) 2020-05-26 2023-11-07 BlueOwl, LLC Systems and methods for identifying distracted driving events using common features
US11518392B1 (en) * 2020-06-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using unsupervised clustering
US11433916B1 (en) * 2021-07-12 2022-09-06 Mirza Faizan System to generate an alert to wake a driver of a vehicle and a method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
WO2016113345A1 (en) * 2015-01-14 2016-07-21 Jaguar Land Rover Limited Vehicle interface device
KR20170036428A (ko) * 2015-09-24 2017-04-03 삼성전자주식회사 웨어러블 디바이스를 이용한 운전자 모니터링 방법 및 장치
JP6289439B2 (ja) * 2015-12-16 2018-03-07 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US9826500B1 (en) * 2016-05-11 2017-11-21 International Business Machines Corporation Preventing driver distraction from incoming notifications
WO2017222997A1 (en) * 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240070216A (ko) 2022-11-14 2024-05-21 현대자동차주식회사 햅틱 자극 제공 장치 및 방법

Also Published As

Publication number Publication date
DE102020202094A1 (de) 2021-02-04
US11007932B2 (en) 2021-05-18
US20210031687A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US11007932B2 (en) Driver state warning apparatus, vehicle and warning method for driver state
US10752252B2 (en) System and method for responding to driver state
CN107791893B (zh) 车辆座椅
CN106462027B (zh) 控制机动车辆中的车辆系统的方法
JP6343808B2 (ja) 視野算出装置および視野算出方法
US11447140B2 (en) Cognitive tunneling mitigation device for driving
JP5538777B2 (ja) 情報提示装置及び情報提示システム並びにプログラム
JP2012173803A (ja) 安全運転支援装置及び安全運転支援方法
US20150158494A1 (en) Method and apparatus for determining carelessness of driver
US20200211354A1 (en) System and method for adjusting reaction time of a driver
US20200122746A1 (en) Vehicle driving control system and vehicle driving control method
JP2006215900A (ja) 車両周辺情報伝達装置
JP6776681B2 (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
JP2005253590A (ja) 運転支援装置
US11556175B2 (en) Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP2019200544A (ja) 安全運転支援装置
JP5288251B2 (ja) 緊急車両認知支援装置
JP2016115119A (ja) 開閉眼判定装置、及び開閉眼判定方法
JP2018013812A (ja) ドライバ状態誘導装置、及びドライバ状態誘導プログラム
US20200210737A1 (en) System and method for monitoring driver inattentiveness using physiological factors
CN111586395A (zh) 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置
JP7091643B2 (ja) 違和感判別方法及び違和感判別装置
WO2023026553A1 (ja) 交通流シミュレーションシステムおよび交通流シミュレーション方法
KR102507038B1 (ko) 안전을 위한 운전자 감시 시스템

Legal Events

Date Code Title Description
A201 Request for examination