KR102653323B1 - 헬멧 및 헬멧의 제어 방법 - Google Patents

헬멧 및 헬멧의 제어 방법 Download PDF

Info

Publication number
KR102653323B1
KR102653323B1 KR1020180045996A KR20180045996A KR102653323B1 KR 102653323 B1 KR102653323 B1 KR 102653323B1 KR 1020180045996 A KR1020180045996 A KR 1020180045996A KR 20180045996 A KR20180045996 A KR 20180045996A KR 102653323 B1 KR102653323 B1 KR 102653323B1
Authority
KR
South Korea
Prior art keywords
brain
brain wave
user
helmet
brain waves
Prior art date
Application number
KR1020180045996A
Other languages
English (en)
Other versions
KR20190122350A (ko
Inventor
이정엄
장동선
신동수
김선아
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180045996A priority Critical patent/KR102653323B1/ko
Priority to US16/164,993 priority patent/US20190320978A1/en
Publication of KR20190122350A publication Critical patent/KR20190122350A/ko
Application granted granted Critical
Publication of KR102653323B1 publication Critical patent/KR102653323B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/042—Optical devices
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A42B3/0466—Means for detecting that the user is wearing a helmet
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/18—Face protection devices
    • A42B3/22—Visors
    • A42B3/221—Attaching visors to helmet shells, e.g. on motorcycle helmets
    • A42B3/222—Attaching visors to helmet shells, e.g. on motorcycle helmets in an articulated manner, e.g. hinge devices
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/30—Mounting radio sets or communication systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0204—Operational features of power management
    • A61B2560/0209—Operational features of power management adapted for power saving
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Dermatology (AREA)
  • Software Systems (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)

Abstract

본 발명의 헬멧은 사용자의 뇌파를 검출하는 뇌파 검출부; 사운드를 입력받는 사운드 입력부; 사운드를 출력하는 사운드 출력부; 및 사용자의 뇌파가 수신되면 수신된 뇌파와 미리 저장된 뇌파와 비교하고 수신된 뇌파가 미리 저장된 뇌파와 일치하면 대화 모드로 진입을 제어하고, 사운드 입력부에 입력된 사운드에서 음성을 인식하고 인식된 음성에 기초하여 대화 음성을 생성하고 생성된 대화 음성이 사운드 출력부를 통해 출력되도록 제어하는 제어부를 포함한다.

Description

헬멧 및 헬멧의 제어 방법{Helmet and method for controlling the helmet}
본 발명은 추락이나 물체의 충격으로부터 머리를 보호하고 사용자의 영상과 뇌파를 획득하고 획득된 영상과 뇌파에 기초하여 사용자의 생체 신호에 대응하는 정보를 출력하는 헬멧 및 헬멧의 제어 방법에 관한 것이다.
환경 규제와 대도시 증가에 따라 퍼스널 모빌리티라는 1인용 차량의 개발이 증대되고 있다. 이러한 퍼스널 모빌리티는 전기 충전 및 동력 기술이 융합된 중/근거리 소형 이동 장치로, 스마트 모빌리티, 마이크로 모빌리티라고도 한다.
퍼스널 모빌리티는 동력이 전기이기 때문에 환경 오염물질을 배출하지 않는다. 또한 퍼스널 모빌리티는 휴대가 간편하고 교통 체증 및 주차 문제를 해소할 수 있는 이동 장치로 각광받고 있다.
이러한 퍼스널 모빌리티를 이용하여 이동할 때 다른 물체와의 충돌 또는 바퀴의 미끄러짐에 의해 사고가 발생될 수 있다. 이와 같이 불시에 발생할 수 있는 사고에 의한 사용자의 머리 손상을 최소화하기 위해서 충격으로부터 사용자의 머리를 보호하기 위한 헬멧의 착용 사용량이 늘어나고 있다.
최근에는 헬멧의 사용량 증가에 따라 헬멧에 카메라, 뇌파 센서 및 스피커 등을 설치함으로써 헬멧을 통해 사용자에게 다양한 기능을 제공하는 기술들이 개발되고 있다.
여기서 다양한 기능의 예로, 영상 촬영 및 뇌파 검출을 통해 사용자의 생체 신호를 획득하고 획득된 생체 신호에 기초하여 사용자에게 안전 주행을 유도하기 위한 정보를 사운드로 출력하는 기능과, 스피커를 통해 음악을 재생하는 기능 등이 있을 수 있다.
일 측면은 사용자와 대화를 수행하는 헬멧 및 헬멧의 제어 방법을 제공한다.
다른 측면은 뇌파를 인식하여 퍼스널 모빌리티에 시동 온 명령을 전송하고 대화 제어부를 웨이크 업시키는 헬멧 및 헬멧의 제어 방법을 제공한다.
또 다른 측면은 사용자의 뇌파, 표정 및 음성 중 적어도 하나에 기초하여 사용자의 감정을 인식하고 인식된 감정에 기초하여 퍼스널 모빌리티의 제어권을 변경하고 대화 제어부의 출력을 제어하는 헬멧 및 헬멧의 제어 방법을 제공한다.
일 측면에 따른 헬멧은 사용자의 뇌파를 검출하는 뇌파 검출부; 사운드를 입력받는 사운드 입력부; 사운드를 출력하는 사운드 출력부; 및 사용자의 뇌파가 수신되면 수신된 뇌파와 미리 저장된 뇌파와 비교하고 수신된 뇌파가 미리 저장된 뇌파와 일치하면 대화 모드로 진입을 제어하고, 사운드 입력부에 입력된 사운드에서 음성을 인식하고 인식된 음성에 기초하여 대화 음성을 생성하고 생성된 대화 음성이 사운드 출력부를 통해 출력되도록 제어하는 제어부를 포함한다.
일 측면에 따른 헬멧은 사용자와 대화를 수행하도록 하는 대화 제어부를 포함하고, 제어부는 대화 모드로 진입 시에 대화 제어부에 웨이크 업 명령을 전송하는 것을 포함한다.
일 측면에 따른 헬멧의 미리 저장된 뇌파는, 대화 대상인 대화 제어부를 호출하는 호출어의 발화 전에 사용자의 뇌에서 발생되는 뇌파를 포함한다.
일 측면에 따른 헬멧의 미리 저장된 뇌파는, 사용자의 발화 전에 대화를 수행하기 위한 객체 연상 시에 사용자의 뇌에서 발생되는 뇌파를 포함한다.
일 측면에 따른 헬멧은 퍼스널 모빌리티와 통신을 수행하는 통신부를 더 포함하고, 제어부는 수신된 뇌파가 미리 저장된 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하는 것을 포함한다.
일 측면에 따른 헬멧의 제어부는, 퍼스널 모빌리티의 인증 뇌파의 등록 명령이 수신되면 객체 연상 요청에 대한 음성을 출력하고, 객체 연상 요청에 대한 음성을 출력한 시점부터 인식된 뇌파를 인증 뇌파로 등록하는 것을 포함한다.
일 측면에 따른 헬멧은 사용자의 영상을 입력받는 영상 입력부를 더 포함하고, 제어부는 입력된 영상에서 사용자의 얼굴의 영상을 획득하고 획득된 얼굴의 영상에서 사용자의 표정을 인식하고 인식된 표정에 기초하여 사용자의 감정 상태를 인식하고 인식된 사용자의 감정 상태에 기초하여 퍼스널 모빌리티의 목표 속도를 제한하는 것을 더 포함한다.
일 측면에 따른 헬멧의 제어부는, 사용자의 감정 상태 인식 시 사용자의 뇌파와 사용자의 음성을 이용하는 것을 더 포함한다.
일 측면에 따른 헬멧은 단말기와 통신을 수행하는 통신부를 더 포함하고, 제어부는 인식된 음성이 단말기의 기능 제어 명령이면 단말기에 기능 제어 명령을 전송하도록 하고, 단말기의 기능 수행 정보가 수신되면 수신된 기능 수행 정보의 출력을 제어하는 것을 포함한다.
일 측면에 따른 헬멧은 단말기의 기능 제어 명령의 전송 및 단말기의 기능 수행 정보의 수신에 대응하여 진동을 발생시키는 진동부를 더 포함한다.
일 측면에 따른 헬멧은 뇌파 검출부, 사운드 입력부, 사운드 출력부가 마련되는 몸체; 몸체에서 기어 축을 중심으로 회전 이동하는 바이저를 더 포함한다.
일 측면에 따른 헬멧은 바이저에 마련되고 영상을 출력하는 영상 출력부를 더 포함한다.
일 측면에 따른 헬멧은 바이저에 영상이 반사되도록 바이저에 영상을 투영시키는 영상 출력부를 더 포함한다.
일 측면에 따른 헬멧의 제어부는 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이 수신되면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고, 객체 연상 요청에 대한 음성을 출력한 시점부터 수신된 뇌파를 호출어 뇌파로 등록하는 것을 포함한다.
다른 측면에 따른 헬멧은 사용자의 뇌파를 검출하는 뇌파 검출부; 사운드를 입력받는 사운드 입력부; 사운드를 출력하는 사운드 출력부; 대화를 수행하는 외부 장치와 통신을 수행하는 통신부; 및 사용자의 뇌파가 수신되면 수신된 뇌파와 미리 저장된 뇌파와 비교하고 수신된 뇌파가 미리 저장된 뇌파와 일치하면 대화 모드의 진입 명령을 외부 장치에 전송하고, 사운드 입력부에 사운드가 입력되면 입력된 사운드의 신호를 외부 장치에 전송하고, 외부 장치에서 전송된 음성의 신호가 출력되도록 사운드 출력부의 동작을 제어하는 제어부를 포함한다.
다른 측면에 따른 헬멧의 미리 저장된 뇌파는, 대화 대상인 대화 제어부를 호출하는 호출어의 발화 전에 사용자의 뇌에서 발생되는 뇌파를 포함한다.
다른 측면에 따른 헬멧의 제어부는 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고, 객체 연상 요청에 대한 음성을 출력한 시점부터 수신된 뇌파를 호출어 뇌파로 등록하는 것을 포함한다.
다른 측면에 따른 헬멧의 미리 저장된 뇌파는, 사용자의 발화 전에 대화를 수행하기 위한 객체 연상 시에 사용자의 뇌에서 발생되는 뇌파를 포함한다.
또 다른 측면에 따른 헬멧의 제어 방법은, 사용자의 뇌파를 검출하고, 검출된 뇌파를 인식하고, 인식된 뇌파와 미리 저장된 뇌파를 비교하고, 인식된 뇌파가 미리 저장된 뇌파와 일치하면 대화 모드로 진입을 제어하고, 사운드 입력부에 입력된 사운드에서 음성을 인식하고, 인식된 음성에 기초하여 대화 음성을 생성하고, 생성된 대화 음성을 사운드 출력부를 통해 출력한다.
대화 모드로 진입을 제어하는 것은, 대화 수행을 위한 대화 제어부에 웨이크 업 명령을 전송하는 것을 포함한다.
헬멧의 제어 방법은 수신된 뇌파가 미리 저장된 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하는 것을 더 포함한다.
헬멧의 제어 방법은 퍼스널 모빌리티의 인증 뇌파의 등록 명령이 수신되면 객체 연상 요청에 대한 음성을 출력하고, 객체 연상 요청에 대한 음성을 출력한 시점부터 뇌파를 검출하고, 검출된 뇌파를 인식하고, 인식된 뇌파를 인증 뇌파로 등록하는 것을 포함한다.
헬멧의 제어 방법은, 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이 수신되면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고, 객체 연상 요청에 대한 음성을 출력한 시점부터 뇌파를 검출하고, 검출된 뇌파를 인식하고, 인식된 뇌파를 호출어 뇌파로 등록하는 것을 포함한다.
헬멧의 제어 방법은, 인식된 음성이 단말기의 기능 제어 명령이면 단말기에 기능 제어 명령을 전송하고, 단말기의 기능 수행 정보가 수신되면 수신된 기능 수행 정보를 출력하는 것을 더 포함한다.
본 발명은 사용자의 뇌파를 이용하여 사용자와 대화하기 전에 대화 제어부를 웨이크업시킬 수 있고 이로 인해 대화 초기에 호출어와 함께 입력되는 사용자의 음성이 미 인식되는 것을 방지할 수 있어 대화 수행율을 높일 수 있고 사용자의 만족도를 향상시킬 수 있다.
또한 본 발명은 대화 제어부를 실시간으로 실행시키지 않아도 되기 때문에 헬멧에서 수행되는 각종 기능의 실행에 따른 부하 및 전력 소모를 줄일 수 있다.
또한 본 발명은 헬멧 착용 시 사용자의 뇌파에 의해 퍼스널 모빌리티의 시동이 온되도록 하고, 사용자가 헬멧을 벗거나 헬멧 착용 상태에서 퍼스널 모빌리티에서 하차하였을 때 퍼스널 모빌리티의 시동을 오프시킴으로써 사용자의 편의성을 향상시킬 수 있다.
또한 본 발명은 헬멧 착용 시에만 퍼스널 모빌리티에 시동이 걸릴 수 있도록 할 수 있다.
또한 본 발명은 사용자가 퍼스널 모빌리티를 이용하여 이동 중 대화를 통해 단말기의 복수 기능 중 적어도 하나를 용이하게 제어할 수 있다.
또한 본 발명은 헬멧과 퍼스널 모빌리티 간의 인증을 수행함으로써 퍼스널 모빌리티의 도난을 방지할 수 있고, 퍼스널 모빌리티의 도난 시 다른 사람이 퍼스널 모빌리티를 사용하지 못하도록 할 수 있다.
또한 본 발명은 사용자의 표정, 음성 및 뇌파 중 적어도 하나를 이용하여 사용자의 감정을 인식하고 인식된 감정에 기초하여 퍼스널 모빌리티의 제어권을 갖는 대상을 변경하거나, 대화 제어부에 의해 출력되는 음성의 톤이나 목소리를 변경하고, 대화 제어부에서 출력되는 대화의 내용을 변경함으로써 사용자의 안전성을 향상시킬 수 있고 사용자의 감정이 빠르게 변화되도록 할 수 있다.
이와 같이 본 발명은 헬멧과 퍼스널 모빌리티의 인터랙션의 편의성을 향상킴으로써 헬멧과 퍼스널 모빌리티의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 제품의 경쟁력을 확보할 수 있다.
도 1은 일 실시 예에 따른 헬멧의 외관 예시도이다.
도 2는 일 실시 예에 따른 헬멧의 제어 구성도이다.
도 3은 일 실시 예에 따른 헬멧의 제어부의 상세 구성도이다.
도 4는 일 실시 예에 따른 헬멧과 퍼스널 모빌리티의 인증을 위한 인증 뇌파의 등록 순서도이다.
도 5는 일 실시 예에 따른 헬멧을 이용하여 퍼스널 모빌리티의 시동을 제어하는 제어 순서도이다.
도 6은 일 실시 예에 따른 헬멧을 이용하여 퍼스널 모빌리티의 동작을 제어하는 제어 순서도이다.
도 7은 일 실시 예에 따른 헬멧을 이용하여 대화 모드 시, 호출어 뇌파의 등록 순서도이다.
도 8은 일 실시 예에 따른 헬멧을 이용하여 대화 모드 시, 대화 모드의 진입의 순서도이다.
도 9는 다른 실시 예에 따른 헬멧의 제어 구성도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 부재'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 부재'가 하나의 구성요소로 구현되거나, 하나의 '부, 부재'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
명세서 전체에서, 어떤 부재가 다른 부재 "에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 일 실시 예에 따른 헬멧의 외관 예시도이다.
헬멧(1)은 사용자의 머리를 보호하기 위해 사용자가 머리에 착용하는 것이다.
이러한 헬멧의 종류는 용도에 따라 퍼스널 모빌리티용 헬멧, 오토바이용 헬멧, 자전거용 헬멧, 보드용 헬멧, 스키용 헬멧, 스케이트용 헬멧 및 안전모(safety helmet)로 구분될 수 있다. 본 실시 예는 퍼스널 모빌리티용 헬멧에 대해 설명한다.
헬멧(1)은 사용자의 머리 수용이 가능하고, 수용된 사용자의 머리를 감쌀 수 있도록 형성된 몸체(100)를 포함한다.
몸체(100)는 외부의 쉘(101), 충격 흡수부(102) 및 내부의 패드(103)를 포함한다.
외부 쉘(101)은 물체와 충돌 시 일차적으로 충격을 흡수한다.
충격 흡수부(102)는 외부 셀(101)과 패드(103) 사이에 마련되고, 이차적으로 충격을 흡수함으로써 사용자에게 전달되는 충격량을 줄여 준다.
이러한 충격 흡수부(102)는 가볍고 충격 흡수율이 뛰어나고 성형이 용이하며 고온 및 저온 등 온도와 무관하게 안정된 성능을 발휘하는 스티로폼(EPS)층을 포함할 수 있다.
패드(103)는 헬멧의 무게를 분산시켜 주며 착용감을 향상시켜 준다. 즉 패드는 부드럽고 탄력이 좋은 소재로 이루어진다.
헬멧(1)은 몸체(100)에 장착되고 몸체(100)에서 기어(100a)의 축을 기준으로 이동 가능하게 장착되는 바이저(쉴드(Shield)라고 함, 100b)와, 몸체(100)가 사용자의 머리에서 이탈되지 않도록 몸체(100)를 사용자의 머리에 고정시키는 체결부재(100c)를 더 포함한다.
바이저(100b)는 충돌 시에 사용자의 얼굴을 지켜주며 이동 중에 사용자의 시야를 확보해 준다. 이러한 바이저(100b)는 투명 소재로 이루어지며, 눈부심 및 UV 차단을 위한 필름을 포함할 수 있다.
아울러 바이저(100b)는 화학적, 전기적 방법을 이용하여 조도에 따라 자동으로 색 또는 투명도가 변화되는 바이저로 마련될 수 있다.
체결 부재(100c)는 사용자에 의해 체결 또는 분리될 수 있다. 이러한 체결 부재(100c)는 사용자의 턱에 접촉되는 것으로 흡습성, 내구성이 좋은 소재로 이루어진다.
헬멧(1)은 뇌파 검출부(110), 사운드 입력부(120), 영상 입력부(130), 제어부(140, 도 2참조), 저장부(140a), 사운드 출력부(150), 영상 출력부(160), 통신부(170) 및 진동부(180)를 포함한다.
뇌파 검출부(110)는 사용자의 뇌파를 검출한다.
뇌파 검출부(110)는 사용자의 머리에 접촉하도록 헬멧의 몸체(100)의 내측에 위치한다. 이러한 뇌파 검출부(110)는 기억력과 사고력을 담당하는 전두엽이 근접한 머리(즉, 이마)의 피부와 접촉하고 전두엽에서 발생되는 뇌파를 검출한다.
사운드 입력부(120)는 사용자의 음성을 입력받는다.
이러한 사운드 입력부(120)는 마이크로 폰을 포함한다.
사운드 입력부(120)는 헬멧의 몸체(100)에 마련되되 사용자의 입과 인접하는 위치에 마련될 수 있다.
영상 입력부(130)는 사용자 주변의 영상을 입력받는다.
영상 입력부(130)는 사용자의 후방의 영상을 입력받기 위한 제1영상 입력부(131)를 포함할 수 있고, 사용자의 전방의 영상을 입력받기 위한 제2영상 입력부(132)를 더 포함할 수 있으며, 사용자의 얼굴의 영상을 입력받기 위한 제3영상 입력부(133)를 더 포함할 수 있다.
제1영상 입력부(131)는 헬멧의 몸체에 마련되되 후방면에 마련될 수 있고, 제2영상 입력부(132)는 헬멧의 몸체의 전방면에 마련될 수 있으며, 제3영상 입력부(133)는 헬멧의 몸체의 전방면에 마련되되 촬영면이 사용자의 얼굴을 향하도록 마련될 수 있다.
아울러 헬멧(1)은 전원 온오프 명령, 인증 뇌파의 등록 명령, 호출어 뇌파의 등록 명령을 입력받기 위한 조작부(미도시)를 더 포함할 수 있고, 각종 구성부에 구동 전력을 공급하기 위한 전원부(미도시)를 더 포함할 수 있다. 여기서 전원부는 충전이 가능한 배터리일 수 있다.
제어부(140, 도 2참조)는 뇌파 검출부(110)에서 검출된 뇌파, 사운드 입력부(120)에 입력된 음성, 영상 입력부(130)에 입력된 영상 중 적어도 하나의 정보에 기초하여 사운드 출력부(150), 영상 출력부(160) 및 진동부(170)의 동작을 제어하고, 사용자와 대화를 수행한다. 이러한 제어부(140)의 구성에 대해 추후 설명한다.
사운드 출력부(150)는 제어부(140)의 제어 명령에 대응하여 대화 음성을 사운드로 출력한다.
여기서 대화 음성은, 사용자의 발화에 대응하는 응답 음성 및 질의 음성을 포함한다.
사운드 출력부(150)는 단말기(3)에서 출력되는 사운드 정보에 대응하는 사운드를 출력한다.
이러한 사운드 출력부(150)는 스피커를 포함하고, 헬멧의 몸체의 좌우에 각각 배치될 수 있다. 즉 사운드 출력부(150)는 사용자의 귀와 인접하는 위치에 각각 마련된 스피커를 포함할 수 있다.
영상 출력부(160)는 제어부(140)의 제어 명령에 대응하는 영상을 출력한다.
영상 출력부(160)는 제1영상 입력부(131)에 입력된 사용자의 후방의 영상을 표시하는 것도 가능하다.
영상 출력부(160)는 단말기(3)에 출력되는 음악 정보를 표시하는 것도 가능하고, 단말기(3)에 출력되는 내비게이션 정보를 표시하는 것도 가능하며, 단말기(3)에 수신된 메시지를 표시하는 것도 가능하고, 퍼스널 모빌리티(2)의 속도 정보를 표시하는 것도 가능하다.
영상 출력부(160)는 헬멧의 사용자 등록을 위한 등록 영상을 표시하는 것도 가능하고, 헬멧과 퍼스널 모빌리티와의 인증을 위한 인증 영상을 표시하는 것도 가능하며, 호출어 발화에 대한 호출어 영상을 표시하는 것도 가능하다.
여기서 등록 영상, 호출어 영상 및 인증 영상은 사용자가 생각할 수 있는 객체, 객체의 이미지일 수도 있고, 객체의 텍스트일 수도 있다.
이러한 영상 출력부(160)는 영상을 표시하는 표시부를 포함할 수 있다.
여기서 표시부는 바이저(100b)에 마련된 표시 패널일 수 있다.
영상 출력부(160)는 헬멧의 몸체에 마련될 수 있고, 영상 출력 시 출력되는 영상이 바이저(100b)에서 반사되도록 상기 바이저에 영상을 투영시키는 것도 가능하다.
영상 출력부(160)는 전방 표시 장치(Head Up Display)일 수 있다.
통신부(170)는 퍼스널 모빌리티(2) 및 단말기(3) 중 적어도 하나와 통신을 수행한다.
통신부(170)는 제어부(140)의 제어 명령에 대응하여 퍼스널 모빌리티(2)에 시동 온 명령을 전송한다. 또한 통신부(170)는 퍼스널 모빌리티(2)에 시동 오프 명령을 전송하는 것도 가능하고, 속도 조절 명령 및 목표 속도를 전송하는 것도 가능하다.
통신부(170)는 제어부(140)의 제어 명령에 대응하여 단말기(3)에 기능 제어 명령을 전송하는 것도 가능하다. 여기서 기능 제어 명령은 전화 통화 수신 및 발신, 메시지 발송, 음악 재생, 내비게이션 제어 명령 등을 포함할 수 있다.
통신부(170)는 단말기에서 전송한 기능 수행 정보를 제어부(140)에 전송하는 것도 가능하다.
통신부(170)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 여기서 외부 장치는 퍼스널 모빌리티(2) 및 단말기(3) 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
진동부(180)는 제어부(140)의 제어 명령에 대응하는 단말기(3)의 기능 수행에 대한 피드백 정보로 진동을 발생시킨다.
예를 들어, 진동부(180)는 메시지 수신 정보가 수신되면 진동을 발생시키는 것도 가능하고, 메시지 전송이 완료되면 진동을 발생시키는 것도 가능하며, 전화 착신 시 진동을 발생시키는 것도 가능하다.
헬멧은 사용자의 착용 여부를 검출하는 착용 검출부(미도시)를 더 포함할 수 있다. 여기서 착용 검출부는 몸체에 마련되고 착용에 의해 온되는 스위치를 포함할 수 있다. 또한 착용 검출부는 체결부재의 체결 여부에 대응하는 신호를 발생시키는 체결 검출부일 수 있다.
퍼스널 모빌리티는 승차 및 하차를 검출하기 위한 하차 검출부(미도시)를 더 포함할 수 있다. 예를 들어 하차 검출부는 무게 검출부, 압력 검출부 및 스위치 중 적어도 하나를 포함할 수 있다.
제어부(140)는 인증 뇌파의 등록 명령이 수신되면 퍼스널 모빌리티의 인증을 위한 객체를 연상하도록 하기 위해 사용자에게 객체 연상 요청을 음성으로 출력하도록 사운드 출력부를 제어하고, 객체 연상 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 인증 뇌파로 등록한다.
여기서 인증 뇌파를 등록하는 것은, 인식된 뇌파를 인증 뇌파로 저장부에 저장하는 것을 포함한다.
제어부(140)는 퍼스널 모빌리티와의 인증을 위한 인증 뇌파의 등록 명령이 수신되면 인증 뇌파의 등록 명령이 수신된 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 인증 뇌파로 등록하는 것도 가능하다.
뇌파를 인식하는 것은, 뇌파 검출부에서 검출된 뇌파에 대한 신호를 인식하는 것을 포함하고, 인식된 신호 중 특정 점 및 특정 패턴을 인식하는 것을 포함한다.
헬멧 착용에 의해 발생되는 뇌파의 기본적인 특징은 사람마다 유사할 수 있으나, 헬멧 착용 시에 느껴지는 느낌이나 생각 등의 차이로 인해 사람마다 서로 다른 특징을 가진다. 이 때문에 제어부(140)는 헬멧 착용 시에 발생된 뇌파의 진폭, 파형 및 주파수 중 적어도 하나에서 나타나는 특별한 특징을 인식하는 것이다.
즉 제어부(140)는 헬멧 착용에 의해 발생되는 사용자의 뇌파의 진폭, 파형 및 주파수를 확인하고, 확인된 뇌파의 진폭, 파형 및 주파수 중 적어도 하나에서 나타나는 특정 패턴 및 특정 값 중 적어도 하나를 인식한다.
그리고 퍼스널 모빌리티와의 인증을 위한 인증 뇌파의 등록 명령은, 사용자의 음성을 통해 입력받거나, 조작부를 통해 조작 명령을 입력받는 것을 포함할 수 있다.
즉 제어부(140)는 퍼스널 모빌리티와의 인증을 위한 착용 뇌파의 등록 명령이 수신되면 착용 뇌파의 등록 명령이 수신된 시점으로부터 일정 시간 동안 뇌파 검출부(110)에서 검출된 뇌파를 인식하고 인식된 뇌파를 착용 뇌파로 등록하는 것도 가능하다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 단말기의 인증 뇌파를 비교하고 수신된 뇌파가 단말기의 인증 뇌파와 일치하면 단말기의 잠금을 해제하는 것도 가능하다.
제어부(140)는 사용자 등록 뇌파의 등록 명령이 수신되면 사용자 등록을 위한 객체를 연상하도록 하기 위해 사용자에게 객체 연상 요청을 음성으로 출력하도록 사운드 출력부를 제어하고, 객체 연상 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 사용자 등록 뇌파로 등록한다.
제어부(140)는 헬멧의 착용 뇌파의 등록 명령이 수신되면 착용 검출부에서 검출 정보가 수신되는지 판단하고 착용 검출 정보가 수신되었다고 판단되면 착용 검출 정보가 수신된 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 착용 뇌파로 등록하는 것도 가능하다.
여기서 착용 뇌파를 등록하는 것은, 착용 뇌파를 저장부에 저장하는 것을 포함한다.
제어부(140)는 대화 모드를 수행하기 위한 호출어 뇌파의 등록 명령이 수신되면 호출어에 대한 객체를 연상하도록 하기 위해 사용자에게 객체 연상 요청을 음성으로 출력하도록 사운드 출력부를 제어하고, 객체 연상 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 호출어 뇌파로 등록한다.
여기서 호출어에 대한 객체는, 물체에 대한 이미지, 텍스트, 대화 제어부(또는 대화 시스템이라고도 함)의 이름일 수 있다.
제어부(140)는 대화 모드를 수행하기 위한 호출어 뇌파의 등록 명령이 수신되면 호출어 발화 요청을 음성으로 출력하도록 사운드 출력부를 제어하고, 호출어 발화 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부에서 검출된 뇌파를 인식하고 인식된 뇌파를 호출어 뇌파로 등록한다.
제어부(140)는 대화 모드를 수행하기 위한 호출어의 발화 전부터 발화 시까지 발생되는 뇌파를 호출어 뇌파로 인식하고 인식된 뇌파를 호출어 뇌파로 등록한다.
여기서 호출어 뇌파를 등록하는 것은, 호출어 뇌파를 저장부에 저장하는 것을 포함한다.
제어부(140)는 호출어 뇌파 등록 시, 호출어 뇌파를 인식하는 과정을 미리 정해진 횟수만큼 반복하고, 미리 정해진 횟수만큼 인식된 호출어 뇌파의 신호들 간의 공통점을 인식하고 신호들 간의 공통점에 기초하여 호출어 뇌파를 인식한다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 호출어 뇌파를 비교하고, 수신된 뇌파가 호출어 뇌파와 일치하면 대화 모드로 진입을 제어한다.
여기서 대화 모드로 진입을 제어하는 것은, 대화 제어부를 웨이크업시키는 것을 포함한다.
제어부(140)는 대화 모드의 수행 중 사운드 입력부에 입력된 사운드에서 음성을 인식하고 인식된 음성에 기초하여 응답 음성 및 질의 음성 중 적어도 하나를 생성하고 생성된 음성이 출력되도록 사운드 출력부를 제어한다.
제어부(140)는 인식된 음성이 단말기(3)의 기능 제어 명령인지 판단하고 단말기의 기능 제어 명령이라고 판단되면 판단된 기능 제어 명령을 단말기에 전송하도록 통신부(140)를 제어한다.
제어부(140)는 퍼스널 모빌리티와 단말기와 통신 시, 퍼스널 모빌리티의 식별 정보를 확인하는 것도 가능하고, 단말기의 식별 정보를 확인하는 것도 가능하다.
제어부(140)는 제1, 2 영상 입력부를 통해 입력된 영상에 기초하여 도로의 상황을 판단하고 판단된 도로의 상황을 음성으로 출력하는 것도 가능하다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 인증 뇌파를 비교하고 수신된 뇌파가 인증 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송한다.
제어부(140)는 수신된 뇌파가 인증 뇌파와 일치하면 퍼스널 모빌리티의 시동 온 및 사용 가능 정보를 출력하도록 사운드 출력부 및 영상 출력부 중 적어도 하나를 하고, 수신된 뇌파가 인증 뇌파와 불일치하면 인증된 사용자가 아님을 안내하는 사용자 인증 에러 및 퍼스널 모빌리티의 사용 불가 정보를 출력하도록 사운드 출력부 및 영상 출력부 중 적어도 하나를 제어한다.
제어부(140)는 수신된 뇌파와 사용자 등록 뇌파를 비교하고 수신된 뇌파가 사용자 등록 뇌파와 일치하면 퍼스널 모빌리티와의 인증을 수행하는 것도 가능하고, 수신된 뇌파가 사용자 등록 뇌파와 불일치하면 등록된 사용자가 아님을 알리는 미등록 사용자 안내 정보를 출력하도록 하는 것도 가능하다.
제어부(140)는 퍼스널 모빌리티와의 인증 시 퍼스널 모빌리티로부터 전송된 식별 정보와 저장부(140a)에 저장된 식별 정보를 비교하고 두 식별 정보가 동일하면 수신된 뇌파와 인증 뇌파를 비교하는 것도 가능하다.
제어부(140)는 착용 검출부에서 착용 검출 정보가 수신되면 뇌파 검출부(110)를 활성화시키고, 뇌파 검출부에서 검출된 뇌파를 수신하고 수신된 뇌파와 인증 뇌파를 비교하는 것도 가능하다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 착용 뇌파를 비교하고 수신된 뇌파가 착용 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하는 것도 가능하고, 퍼스널 모빌리티의 시동 온 정보를 출력하도록 사운드 출력부 및 영상 출력부 중 적어도 하나를 제어한다.
또한 제어부(140)는 수신된 뇌파가 착용 뇌파와 불일치하면 헬멧 미착용에 따른 위험성을 안내하는 안전 정보를 출력하도록 사운드 출력부 및 영상 출력부 중 적어도 하나를 제어한다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 인증 뇌파를 비교하고 수신된 뇌파와 인증 뇌파가 일치하면 수신된 뇌파와 착용 뇌파를 비교하고, 수신된 뇌파가 착용 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하는 것도 가능하다.
제어부(140)는 수신된 뇌파가 인증 뇌파와 일치하고 퍼스널 모빌리티로부터 승차 검출 신호가 수신되면 퍼스널 모빌리티(2)에 시동 온 명령을 전송하는 것도 가능하다.
제어부(140)는 수신된 뇌파가 인증 뇌파와 일치하고 퍼스널 모빌리티로부터 하차 검출 신호가 수신되면 퍼스널 모빌리티(2)에 시동 오프 명령을 전송하는 것도 가능하다.
제어부(140)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파와 착용 뇌파를 비교하고 수신된 뇌파가 착용 뇌파와 불일치하면 퍼스널 모빌리티(2)에 시동 오프 명령을 전송하는 것도 가능하다.
제어부(140)는 수신된 뇌파가 착용 뇌파와 기준 시간 이상 불일치하면 퍼스널 모빌리티(2)에 시동 오프 명령을 전송하는 것도 가능하고, 시동 오프 안내 정보를 출력하도록 사운드 출력부 및 영상 출력부 중 적어도 하나를 제어하는 것도 가능하다.
이를 통해 퍼스널 모빌리티(2)에 시동 오프 명령을 전송하기 전에 사용자가 퍼스널 모빌리티의 시동 오프를 인지할 수 있도록 한다.
제어부(140)는 퍼스널 모빌리티에 시동 온 명령, 시동 오프 명령을 전송하도록 통신부(170)를 제어한다.
제어부(140)는 대화 모드의 수행 중 제3영상 입력부를 통해 입력된 영상에 기초하여 사용자의 얼굴의 표정을 인식하고, 인식된 얼굴의 표정에 기초하여 사용자의 감정을 인식한다.
제어부(140)는 대화 모드의 수행 중 인식된 음성의 톤, 말투를 인식하고 인식된 음성의 톤, 말투에 기초하여 사용자의 감정을 인식하는 것도 가능하고 인식된 뇌파에 기초하여 사용자의 감정을 인식하는 것도 가능하다.
즉 제어부(140)는 영상, 음성, 뇌파 중 적어도 하나에 기초하여 사용자의 감정을 인식하고 인식된 감정에 기초하여 대화 모드 시 출력되는 음성의 톤, 목소리를 변경하고, 또한 출력되는 대화의 응답을 변경한다.
제어부(140)는 영상, 음성, 뇌파 중 적어도 하나에 기초하여 사용자의 감정을 인식하고 인식된 감정에 기초하여 퍼스널 모빌리티(2)의 제어권을 가질 대상을 결정한다. 즉 제어부(140)는 사용자의 감정이 분노, 짜증, 긴장, 슬픈, 흥분, 좌절 상태이면 퍼스널 모빌리티의 제어권을 사용자에서 퍼스널 모빌리티 또는 헬멧으로 변경한다.
퍼스널 모빌리티가 자율 주행이 가능할 경우, 제어부(140)는 퍼스널 모빌리티의 제어권을 사용자에서 퍼스널 모빌리티(2)로 변경한다.
아울러 퍼스널 모빌리티가 자율 주행이 불가능할 경우, 제어부(140)는 퍼스널 모빌리티의 제어권을 사용자에서 헬멧(1)으로 변경한다. 이때 제어부(140)는 퍼스널 모빌리티의 최고 주행 속도를 목표 속도로 제한 제어하고, 영상 정보에 기초하여 신호등, 장애물 등을 인식하고 인식 정보에 기초하여 퍼스널 모빌리티의 주행 속도를 조절하되 목표 속도 이하에서 조절한다.
도 2에 도시된 헬멧(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3에 도시된 바와 같이, 제어부(140)는 뇌파 인식부(141), 음성 인식부(142), 영상 처리부(143), 대화 제어부(144) 및 출력 제어부(145)를 포함할 수 있다.
뇌파 인식부(141)는 뇌파 검출부(110)에서 검출된 뇌파를 수신하고 수신된 뇌파의 신호를 인식함으로써 수신된 뇌파가 인증 뇌파인지, 착용 뇌파인지, 호출어 뇌파인지를 인식한다.
뇌파 인식부(141)는 수신된 뇌파가 호출어 뇌파라고 판단되면 호출어 뇌파의 수신 정보를 대화 제어부(144)에 전송한다.
뇌파 인식부(141)는 수신된 뇌파가 호출어 뇌파라고 판단되면 대화 제어부(144)에 웨이크 업 명령을 전송하고, 사운드 입력부(120) 및 사운드 출력부(150)에 웨이크 업 명령을 전송하는 것도 가능하다.
뇌파 인식부(141)는 수신된 뇌파가 인증 뇌파 또는 착용 뇌파라고 판단되면 인증 뇌파 또는 착용 뇌파의 수신 정보를 출력 제어부(145)에 전송하는 것도 가능하다.
음성 인식부(142)는 사운드 입력부(120)에 입력된 사운드에서 음성을 인식하고 인식된 음성에 대한 정보를 대화 제어부(144)에 전송한다.
영상 처리부(143)는 제1, 2, 3 영상 입력부에서 입력되는 영상을 전처리 및 후처리를 수행하고 이미지 프로세싱된 영상 정보를 대화 제어부(144) 및 출력 제어부(145)에 전송한다.
대화 제어부(144)는 웨이크 업 명령이 수신된 대화 모드로 진입하고, 인식된 음성, 인식된 뇌파, 영상 처리된 영상에 대응하는 응답 음성의 출력을 제어한다.
이러한 대화 제어부(144)는 대화 관리부(144a)와 결과 처리부(144b)를 포함할 수 있다.
대화 관리부(144a)는 인식된 음성에서 자연어 이해를 통해 파악한 사용자의 의도를 인식하고, 인식된 뇌파 및 주변의 영상에 기초하여 사용자 주변의 상황을 인식하며, 인식된 사용자의 의도와 현재 주변 상황에 대응되는 액션을 결정하며 결정된 액션을 결과 처리부(144b)로 전달한다.
결과 처리부(144b)는 수신된 액션에 기초하여 수신된 액션을 수행하기 위해 필요한 대화의 응답 음성 및 질의 음성을 생성하고 생성된 음성에 대한 정보를 출력 제어부(145)에 전송한다.
여기서 대화의 응답 음성 및 질의 음성은 텍스트, 이미지 또는 오디오로 출력될 수 있다.
결과 처리부(144b)는 외부 장치의 제어 명령어를 출력할 수 있으며, 제어 명령어가 출력되면 출력된 명령어에 대응되는 외부 장치에 제어 명령어를 전송하도록 하는 것도 가능하다.
출력 제어부(145)는 대화 제어부의 음성 정보, 퍼스널 모빌리티의 제어 정보, 단말기의 제어 정보, 제1, 2영상 입력부의 영상 정보의 출력을 제어한다.
좀 더 구체적으로, 출력 제어부(145)는 대화 제어기의 결과 처리부(144b)로부터 응답 음성 및 질의 음성에 대한 정보가 수신되면 수신된 정보에 기초하여 음성 신호를 생성하고, 생성된 음성 신호가 출력되도록 사운드 출력부를 제어한다.
출력 제어부(145)는 영상 처리부(143)에서 영상 처리된 영상이 출력되도록 영상 출력부(160)를 제어하는 것도 가능하다.
출력 제어부(145)는 외부 장치의 제어 명령어가 수신되면 수신된 제어 명령어에 기초하여 외부 장치에 제어 명령을 전송하도록 통신부(170)를 제어하고 외부 장치로부터 외부 장치의 정보가 수신되도록 통신부(170)를 제어한다.
예를 들어, 출력 제어부(145)는 퍼스널 모빌리티의 주행 제어 명령이 수신되면 퍼스널 모빌리티에 주행 제어 명령을 전송하는 것도 가능하고, 단말기(3)의 기능 제어 명령이 수신되면 단말기에 기능 제어 명령을 전송하는 것도 가능하다.
출력 제어부(145)는 단말기로부터 기능 수행 정보가 수신되면 수신된 기능 수행 정보를 영상 및 사운드로 출력하도록 사운드 출력부 및 영상 출력부를 제어하는 것도 가능하다.
출력 제어부(145)는 수신된 뇌파에 기초하여 퍼스널 모빌리티에 시동 온, 오프 명령을 전송하는 것도 가능하다.
도 3에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
제어부(140)는 헬멧 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다.
저장부(140a)는 인증 뇌파, 착용 뇌파, 호출어 뇌파 및 사용자 등록 뇌파를 저장한다.
저장부(140a)는 인증 뇌파, 착용 뇌파, 호출어 뇌파, 사용자 등록 뇌파에 대한 신호를 저장할 수 있고, 신호 내 특징 점 및 특징 패턴을 함께 저장하는 것도 가능하다.
저장부(140a)는 퍼스널 모빌리티 및 단말기의 식별 정보를 저장하는 것도 가능하고, 퍼스널 모빌리티의 식별 정보와 인증 뇌파를 매칭시켜 저장하는 것도 가능하다.
저장부(140a)는 다양한 대화용 목소리를 저장하는 것도 가능하다. 예를 들어, 다양한 대화 목소리는 세대별 남성 및 여성의 목소리일 수 있다.
저장부(140a)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
퍼스널 모빌리티(2)는 통신부, 제어부, 전원부, 충전량 검출부, 휠 등을 포함할 수 있고, 헬멧으로부터 시동 온 명령이 수신되면 시동을 온시킴으로써 각종 구성부에 구동 전력을 공급한다.
퍼스널 모빌리티(2)는 헬멧으로부터 시동 오프 명령이 수신되면 시동을 오프시킴으로써 각종 구성부에 공급되는 구동 전력을 차단한다.
퍼스널 모빌리티(2)는 사용자의 승차 및 하차 여부를 검출하는 대한 하차 검출부의 검출 정보를 헬멧(1)에 전송하는 것도 가능하다.
퍼스널 모빌리티(2)는 전원부의 배터리 충전량의 정보를 헬멧(1)에 전송하는 것도 가능하다.
퍼스널 모빌리티(2)는 제어권이 사용자에게 있으면, 사용자에 의해 입력된 주행 제어 명령에 기초하여 주행 속도 및 주행 방향을 제어하고, 제어권이 퍼스널 모빌리티에 있으면 내비게이션 정보에 기초하여 목적지까지 이동을 자동으로 제어한다.
퍼스널 모빌리티(2)는 제어권이 사용자에게 없으면, 사용자에 의해 입력되는 주행 제어 명령을 처리하지 않는다.
퍼스널 모빌리티(2)는 제어권이 헬멧(1)에게 있으면 헬멧(1)으로부터 전송된 목표 주행 속도에 기초하여 이동을 제어한다. 이때 퍼스널 모빌리티의 주행 방향은 사용자에 의해 입력되는 것도 가능하고, 헬멧으로부터 입력받는 것도 가능하다.
단말기(3)는 헬멧과 인증을 수행하고, 헬멧과의 인증에 성공하면 헬멧에서 전송된 기능 제어 명령에 기초하여 기능을 수행하고, 기능 수행 정보를 헬멧(1)에 전송한다.
즉 단말기(3)에서 수행되는 기능들에 대한 정보들은 헬멧(1)의 사운드 출력부 및 영상 출력부를 통해 출력될 수 있다.
단말기(3)는 네트워크를 통해 헬멧(1)에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
도 4는 일 실시 예에 따른 헬멧과 퍼스널 모빌리티의 인증을 위한 인증 뇌파의 등록 순서도이다.
헬멧은 퍼스널 모빌리티와의 인증을 위한 인증 뇌파의 등록 명령이 수신(401)되면 퍼스널 모빌리티의 인증을 위한 객체를 연상할 것을 요청(402)하는 객체 연상 요청의 음성을 사운드 출력부를 통해 출력하고, 객체 연상 요청의 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부(110)를 이용하여 사용자의 뇌에서 발생된 뇌파를 검출(403)한다.
여기서 퍼스널 모빌리티와의 인증을 위한 인증 뇌파의 등록 명령이 수신되었다고 판단하는 것은, 사용자의 음성을 인식하고 인식된 사용자의 음성이 인증 뇌파의 등록 명령인지 판단하고 인식된 사용자의 음성이 인증 뇌파의 등록 명령이라고 판단되면 인증 뇌파의 등록 명령이 수신되었다고 판단하는 것을 포함한다.
퍼스널 모빌리티와의 인증을 위한 인증 뇌파의 등록 명령이 수신되었다고 판단하는 것은, 헬멧에 마련된 조작부의 인증 뇌파의 등록 버튼의 조작 신호가 수신되었다고 판단하는 것을 포함하는 것도 가능하다.
여기서 퍼스널 모빌리티의 인증을 위한 객체는 물체, 물체의 이미지 및 텍스트 중 어느 하나를 포함할 수 있다.
헬멧은 인증 뇌파의 등록 명령이 수신되면 영상 출력부를 통해 복수 개의 이미지를 표시하고, 복수 개의 이미지 중 어느 하나의 이미지 선택을 요청하며, 표시된 복수 개의 이미지 중 어느 하나의 이미지가 사용자에 의해 선택되면 사용자에 의해 선택된 이미지를 표시하고, 선택된 이미지의 표시 시점으로부터 일정 시간 동안 뇌파 검출부를 통해 뇌파를 검출하는 것도 가능하다.
헬멧은 검출된 뇌파에서 사용자만의 특징적인 뇌파를 인식(404)하고, 인식된 뇌파를 인증 뇌파로 등록(405)한다.
여기서 사용자만의 특징적인 뇌파를 인식하는 것은, 검출된 뇌파의 신호 중 특정 점 및 특정 패턴을 인식하는 것을 포함한다.
예를 들어, 헬멧은 실험에 의해 획득되어 저장된 기본 뇌파의 신호를 확인하고 확인된 기본 뇌파의 신호와 검출된 뇌파의 신호를 비교하여 기본 뇌파의 신호의 값에서 일정값 이상 벗어난 값을 확인하고, 확인된 값을 특정 점으로 인식하고, 기본 뇌파의 신호의 패턴과 검출된 뇌파의 신호의 패턴을 비교하여 검출된 뇌파의 신호의 패턴 중 기본 뇌파의 신호의 패턴과 상이한 패턴을 확인하고 확인된 패턴을 특정 패턴으로 인식한다.
즉 헬멧은 헬멧의 착용에 의해 발생되는 사용자의 뇌파의 진폭, 파형 및 주파수를 확인하고, 확인된 뇌파의 진폭, 파형 및 주파수 중 적어도 하나에서 나타나는 특정 패턴 및 특정 값 중 적어도 하나를 인식한다.
헬멧은 객체 연상 요청, 뇌파 검출, 뇌파 인식의 과정을 미리 설정된 횟수만큼 반복하여 수행하고, 미리 설정된 횟수만큼 인식된 뇌파의 신호들에서 공통적인 특징 점 및 특정 패턴을 확인하고 확인된 특징점 및 특징 패턴을 사용자만의 인증 뇌파의 정보로 등록한다.
그리고 인증 뇌파를 등록하는 것은, 저장된 인증 뇌파를 저장부에 저장하는 것을 포함한다.
헬멧은 인증 뇌파가 등록이 되면 인증 뇌파 등록을 안내하는 음성을 출력할 수 있다.
도 5는 일 실시 예에 따른 헬멧을 이용하여 퍼스널 모빌리티의 시동을 제어하는 제어 순서도이다.
헬멧은 뇌파 검출부(110)를 통해 뇌파가 검출(411)되면 검출된 뇌파를 인식(412)한다.
여기서 뇌파를 인식하는 것은, 뇌파의 신호의 주파수, 진폭 및 파형을 확인하고, 확인된 뇌파의 신호의 주파수, 진폭 및 파형에서 특징점 및 특징 패턴을 인식하는 것을 포함한다.
헬멧은 뇌파의 검출의 시작과 종료를 음성으로 안내하는 것도 가능하다.
헬멧은 인식된 뇌파와 저장된 뇌파를 비교하여 인식된 뇌파가 저장된 뇌파와 일치하는지를 판단(413)하고, 인식된 뇌파가 저장된 뇌파와 불일치하면 불일치 정보를 음성으로 출력(414)하고 인식된 뇌파가 저장된 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송(415)하고, 퍼스널 모빌리티의 시동 온에 대한 정보를 음성으로 출력(414)한다.
일 예로, 헬멧은 인식된 뇌파와 저장된 사용자 등록 뇌파를 비교하고 인식된 뇌파가 저장된 사용자 등록 뇌파와 불일치하면 미등록된 사용자라고 인식하고, 사용자 미등록을 안내하는 음성을 출력하며, 인식된 뇌파가 저장된 사용자 등록 뇌파와 일치하면 등록된 사용자라고 인식하고, 퍼스널 모빌리티에 시동 온 명령을 전송하고, 퍼스널 모빌리티의 시동 온에 대한 정보를 음성으로 출력한다.
여기서 인식된 뇌파와 저장된 사용자 등록 뇌파를 비교하는 것은, 인식된 뇌파의 신호의 특징 점 및 특징 패턴과 저장된 사용자 등록 뇌파의 특징 점 및 특징 패턴을 비교하는 것을 포함한다.
아울러 헬멧은 뇌파 검출부가 사용자의 머리에 접촉되어야만 사용자의 뇌파를 검출할 수 있기 때문에 수신된 뇌파가 사용자 등록 뇌파와 일치한다고 판단되면 사용자가 헬멧을 착용하였다고 판단하여 퍼스널 모빌리티에 시동 온 명령을 전송한다.
다른 예로, 헬멧은 인식된 뇌파와 저장된 인증 뇌파를 비교하고 인식된 뇌파가 저장된 인증 뇌파와 불일치하면 인증에 실패한 사용자라고 인식하고, 인증 실패를 안내하는 음성을 출력하며, 인식된 뇌파가 저장된 인증 뇌파와 일치하면 인증에 성공한 사용자라고 인식하고, 퍼스널 모빌리티에 시동 온 명령을 전송하고, 퍼스널 모빌리티의 시동 온에 대한 정보를 음성으로 출력한다.
여기서 인식된 뇌파와 저장된 인증 뇌파를 비교하는 것은, 인식된 뇌파의 신호의 특징 점 및 특징 패턴과 저장된 인증 뇌파의 특징 점 및 특징 패턴을 비교하는 것을 포함한다.
아울러 헬멧은 뇌파 검출부가 사용자의 머리에 접촉되어야만 사용자의 뇌파를 검출할 수 있기 때문에 수신된 뇌파가 인증 뇌파와 일치한다고 판단되면 사용자가 헬멧을 착용하였다고 판단하여 퍼스널 모빌리티에 시동 온 명령을 전송한다.
또 다른 예로, 헬멧은 인식된 뇌파와 저장된 착용 뇌파를 비교하고 인식된 뇌파가 착용 뇌파와 불일치하면 헬멧 착용 실패를 안내하는 음성을 출력하며, 인식된 뇌파가 저장된 사용자 등록 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하고, 퍼스널 모빌리티의 시동 온에 대한 정보를 음성으로 출력한다.
아울러 헬멧은 사용자 등록 여부 및 인증을 확인하고, 사용자 등록 확인 및 인증에 성공한 상태에서 인식된 뇌파와 저장된 착용 뇌파를 비교하는 것도 가능하다.
헬멧은 뇌파 검출부로부터 뇌파가 검출되지 않으면, 즉 뇌파가 수신되지 않으면 퍼스널 모빌리티에 시동 오프 명령을 전송하는 것도 가능하다. 이때 헬멧은 헬멧 미착용 및 퍼스널 모빌리티의 시동 오프 정보를 단말기에 전송하여 단말기를 통해 헬멧 미착용 및 퍼스널 모빌리티의 시동 오프 정보를 출력하도록 하는 것도 가능하다.
도 6은 일 실시 예에 따른 헬멧을 이용하여 퍼스널 모빌리티의 동작을 제어하는 제어 순서도이다.
헬멧은 사용자의 얼굴 영상, 음성 및 뇌파 중 적어도 하나가 수신(421)되면 수신된 사용자의 얼굴 영상, 사용자의 음성, 사용자의 뇌파 중 적어도 하나에 기초하여 사용자의 감정을 인식(422)한다.
좀 더 구체적으로, 헬멧은 제3영상 입력부를 통해 입력된 영상에 기초하여 사용자의 얼굴을 인식하고 인식된 얼굴의 표정을 인식하며, 인식된 얼굴의 표정에 기초하여 사용자의 감정을 인식한다.
헬멧은 사운드 입력부에 입력된 사운드 중에서 음성을 인식하고 인식된 음성의 톤, 말투, 억양, 용어를 인식하고 인식된 음성의 톤, 말투, 억양, 용어에 기초하여 사용자의 감정을 인식한다.
또한 헬멧은 인식된 뇌파의 신호에 기초하여 사용자의 감정을 인식하는 것도 가능하다. 이때 감정별 뇌파의 신호는 미리 저장되어 있을 수 있다.
헬멧은 사용자의 감정이 즐거움, 기쁨, 행복, 분노, 짜증, 긴장, 슬픈, 흥분, 좌절, 불안, 불만 상태 중 어느 상태인지 인식하고, 인식된 감정 상태에 기초하여 퍼스널 모빌리티의 제어권의 변경 여부를 판단(423)한다.
헬멧은 사용자의 감정 상태가 기쁨, 행복, 즐거운 상태 중 어느 하나라고 판단되면 퍼스널 모빌리티의 제어권의 변경이 불필요하다고 판단하여 퍼스널 모빌리티의 제어권을 사용자로 유지시킴으로써 사용자에 의해 입력되는 주행 명령에 따라 퍼스널 모빌리티가 주행하도록 한다. 즉 헬멧은 퍼스널 모빌리티의 속도가 사용자에 의해 수동으로 조절되도록 한다(424).
사용자의 감정 상태가 분노, 짜증, 긴장, 슬픈, 흥분, 좌절, 불안, 불만 상태 중 어느 하나라고 판단되면 퍼스널 모빌리티의 제어권을 사용자에서 헬멧(1)으로 변경한다. 즉 퍼스널 모빌리티가 사용자에 의해 수동으로 제어되다가 헬멧에 의해 자동으로 제어되도록 한다.
즉 헬멧은 퍼스널 모빌리티의 제어권이 변경되었다고 판단되면 퍼스널 모빌리티의 주행 속도를 목표 주행 속도로 조절하되, 영상 정보, 뇌파 정보에 기초하여 장애물, 신호등 등 주변의 상황을 인식하고 인식된 정보에 기초하여 목표 주행 속도 이하에서 주행 속도를 자동으로 조절(425)한다.
이때 헬멧은 퍼스널 모빌리티의 속도가 자동으로 조절되도록 퍼스널 모빌리티에 주행 속도에 대한 정보를 전송한다.
아울러, 퍼스널 모빌리티에 자율 주행 기능이 있으면, 헬멧은 사용자의 감정 상태가 분노, 짜증, 긴장, 슬픈, 흥분, 좌절 상태 중 어느 하나라고 판단되면 퍼스널 모빌리티의 제어권을 사용자에서 퍼스널 모빌리티로 변경한다. 이때 퍼스널 모빌리티는, 내비게이션 정보에 기초하여 주행 속도 및 주행 방향을 자동으로 조절한다.
헬멧은 대화 모드 수행 중 인식된 감정 상태에 기초하여 헬멧에서 출력되는 음성의 톤, 목소리 중 적어도 하나를 변경하고, 또한 출력되는 대화의 응답을 변경(426)한다.
예를 들어, 헬멧은 사용자의 감정 상태가 분노일 때 음성의 톤을 로우 톤으로 변경하거나, 부드러운 목소리로 변경할 수 있다.
그리고 헬멧은 사용자의 감정 상태가 분노일 때 대화 응답을 긴 응답 대신 짧은 응답으로 변경할 수 있고, 감정 상태의 전환을 위한 응답을 출력할 수 있다.
예를 들어, 헬멧은 사용자의 감정 상태가 좌절일 때 사용자에게 희망과 용기를 줄 수 있는 내용을 가진 응답 음성을 출력한다.
도 7은 일 실시 예에 따른 헬멧을 이용하여 대화 모드 시, 호출어 뇌파의 등록 순서도이다.
헬멧은 대화 모드로 진입하기 위한 호출어 뇌파의 등록 명령이 수신(431)되면 호출어에 대한 객체를 연상할 것을 요청하는 객체 연상 요청의 음성을 출력(432)한다.
헬멧은 객체 연상 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부(110)를 통해 뇌파를 검출(433)하고, 검출된 뇌파를 인식(434)하고 인식된 뇌파를 호출어 뇌파로 등록(435)한다.
여기서 대화 모드로 진입하기 위한 호출어 뇌파의 등록 명령이 수신되었다고 판단하는 것은, 사용자의 음성을 인식하고 인식된 사용자의 음성이 호출어 뇌파의 등록 명령인지 판단하고 인식된 사용자의 음성이 호출어 뇌파의 등록 명령이라고 판단되면 호출어 뇌파의 등록 명령이 수신되었다고 판단하는 것을 포함한다.
또한 호출어 뇌파의 등록 명령이 수신되었다고 판단하는 것은, 헬멧에 마련된 조작부의 호출어 뇌파의 등록 버튼의 조작 신호가 수신되었다고 판단하는 것을 포함하는 것도 가능하다.
여기서 호출어에 대한 객체는, 물체, 물체의 이미지 및 텍스트 중 어느 하나를 포함할 수 있고, 대화 제어부(또는 대화 시스템)의 이름을 포함할 수도 있다.
호출어 뇌파를 인식하는 것은, 대화 모드로 진입하기 전에 발생되는 사용자의 뇌파의 진폭, 파형 및 주파수를 확인하고, 확인된 뇌파의 진폭, 파형 및 주파수 중 적어도 하나에서 나타나는 특정 패턴 및 특정 값 중 적어도 하나를 인식하는 것을 포함한다.
그리고 헬멧은 객체 연상 요청, 뇌파 검출, 뇌파 인식의 과정을 미리 설정된 횟수만큼 반복하여 수행하고, 미리 설정된 횟수만큼 인식된 뇌파의 신호들에서 공통적인 특징 점 및 특정 패턴을 확인하고 확인된 특징점 및 특징 패턴을 호출어 뇌파의 정보로 등록한다.
여기서 호출어 뇌파를 등록하는 것은, 호출어 뇌파를 저장부에 저장하는 것을 포함한다.
아울러, 뇌파를 검출하는 것은, 호출어 뇌파의 등록 명령이 수신되면 호출어 발화 요청을 음성으로 출력하고, 호출어 발화 요청에 대한 음성을 출력한 시점으로부터 일정 시간 동안 뇌파 검출부를 통해 뇌파를 검출하는 것을 포함할 수 있다.
여기서 호출어 발화 요청에 대한 음성을 출력한 시점으로부터 일정 시간 내에 사용자의 호출어 발화가 이루어지며, 이때 헬멧은 호출어의 발화 전부터 발화 시까지 발생되는 뇌파를 검출할 수 있다.
이에 따라 헬멧은 사용자가 호출어를 발화하기 전에 사용자의 뇌에서 발생되는 뇌파를 검출할 수 있다. 즉 헬멧은 대화 모드 수행을 위한 사용자의 생각에 의해 발생되는 뇌파를 검출할 수 있다.
또한 뇌파를 검출하는 것은, 호출어 뇌파의 등록 명령이 수신되면 영상 출력부를 통해 복수 개의 이미지를 표시하고, 복수 개의 이미지 중 어느 하나의 이미지 선택을 요청하며, 표시된 복수 개의 이미지 중 어느 하나의 이미지가 사용자에 의해 선택되면 사용자에 의해 선택된 이미지를 표시하고, 선택된 이미지의 표시 시점으로부터 일정 시간 동안 뇌파 검출부를 통해 뇌파를 검출하는 것을 포함하는 것도 가능하다.
도 8은 일 실시 예에 따른 헬멧을 이용하여 대화 모드 시, 대화 모드의 진입의 순서도이다.
헬멧은 뇌파 검출부(110)를 통해 뇌파를 검출(441)하고, 검출된 뇌파를 인식(442)한다.
여기서 뇌파를 인식하는 것은, 뇌파의 신호의 주파수, 진폭 및 파형을 확인하고, 확인된 뇌파의 신호의 주파수, 진폭 및 파형에서 특징점 및 특징 패턴을 인식하는 것을 포함한다.
헬멧은 인식된 뇌파와 저장된 호출어 뇌파를 비교하여 인식된 뇌파가 저장된 호출어 뇌파와 일치하는지를 판단(443)하고, 인식된 뇌파가 저장된 호출어 뇌파와 불일치하면 대화 모드를 슬립 상태로 유지시킨다.
헬멧은 인식된 뇌파가 저장된 호출어 뇌파와 일치하면 대화 모드로 진입한다.
여기서 인식된 뇌파와 저장된 호출어 뇌파를 비교하는 것은, 인식된 뇌파의 신호의 특징 점 및 특징 패턴과 저장된 호출어 뇌파의 특징 점 및 특징 패턴을 비교하는 것을 포함한다.
일 예로, 저장된 호출어 뇌파가 물체 이미지 연상에 대응하는 뇌파인 경우, 사용자가 호출어와 대응하는 물체 이미지를 연상하면 사용자에게서 물체 이미지 연상에 대응하는 뇌파가 발생된다.
이때 헬멧은 검출된 뇌파의 신호에서 특징점이나 특징 패턴을 인식하고, 인식된 뇌파의 신호의 특징 점이나 특징 패턴이 저장된 호출어 뇌파의 신호의 특징 점이나 특징 패턴과 일치하면 대화 모드로 진입하는 것이다.
다른 예로, 저장된 호출어 뇌파가 텍스트 연상에 대응하는 뇌파인 경우, 사용자가 호출어와 대응하는 텍스트를 연상하면 사용자에게서 텍스트 연상에 대응하는 뇌파가 발생된다.
이때 헬멧은 검출된 뇌파의 신호에서 특징점이나 특징 패턴을 인식하고, 인식된 뇌파의 신호의 특징 점이나 특징 패턴이 저장된 호출어 뇌파의 신호의 특징 점이나 특징 패턴과 일치하면 대화 모드로 진입하는 것이다.
또 다른 예로, 저장된 호출어 뇌파가 대화 시스템의 이름에 대응하는 뇌파인 경우, 사용자가 대화 시스템의 이름(즉, 호출어)을 연상하면 사용자에게서 대화 시스템의 이름을 연상하기 전의 시점과 연상 시점에 뇌파가 발생된다.
이때 헬멧은 검출된 뇌파의 신호에서 특징점이나 특징 패턴을 인식하고, 인식된 뇌파의 신호의 특징 점이나 특징 패턴이 저장된 호출어 뇌파의 신호의 특징 점이나 특징 패턴과 일치하면 대화 모드로 진입하는 것이다.
여기서 대화 시스템의 이름을 연상하기 전의 시점은, 사용자가 말을 하기 전에 할 말을 생각할 때의 시점으로, 헬멧은 사용자가 발화하기 전에 발생되는 뇌파를 검출한다.
대화모드로 진입하는 것은, 대화 제어부를 웨이크업(444) 시키는 것을 포함한다. 또한 대화 모드로 진입하는 것은, 사운드 입력부와 사운드 출력부를 활성화시키는 것을 더 포함할 수 있다.
헬멧은 대화 모드에 진입하면 사운드 입력부를 통해 입력된 사운드에서 사용자의 음성을 인식하고 인식된 음성에 기초하여 응답 음성 및 질의 음성 중 적어도 하나를 생성하고 생성된 음성을 출력하면서 사용자와의 대화를 수행(445)한다.
헬멧은 인식된 음성에 외부 장치의 제어 명령어가 존재하면 제어 명령어에 기초하여 외부 장치에서 수행되는 복수 개의 기능 중 적어도 하나의 기능을 제어하기 위한 기능 제어 명령을 외부 장치에 전송한다.
예를 들어, 헬멧은 대화 모드의 수행 중 '노래를 재생해 줘'라는 음성이 인식되면 단말기(3)에 '노래 재생 명령'을 전송하고, 사용자에게 노래 재생에 대한 안내 음성을 출력한다.
헬멧은 대화 모드의 수행 중 '오늘 오후 날씨는 어때?'라는 음성이 인식되면 기상 서버에 접속하여 날씨를 검색하고 검색된 결과를 음성으로 출력하는 것도 가능하며, 단말기(3)에 '오늘 오후 날씨 검색 명령'을 전송하고, 단말기(3)로부터 제공된 날씨 정보를 음성으로 출력하는 것도 가능하다.
헬멧은 대화 모드의 수행 중 '경로를 변경해 줘'라는 음성이 인식되면 현재 위치부터 목적지까지 새로운 경로를 탐색하고 탐색된 경로를 음성으로 출력하는 것도 가능하며, 사용자에 의해 복수 개의 경로 중 어느 하나의 경로 선택 명령의 음성이 인식되면 선택된 경로로 길을 안내하는 음성을 출력하는 것도 가능하다.
헬멧은 대화 모드의 수행 중 '교통 정보를 알려줘'라는 음성이 인식되면 교통 정보 제공 서버에 접속하여 현재 위치에서 목적지까지의 교통 정보를 검색하고 검색된 결과를 음성으로 출력하는 것도 가능하며, 단말기(3)에 '교통 정보 검색 명령'을 전송하고, 단말기(3)로부터 제공된 교통 정보를 음성으로 출력하는 것도 가능하다.
도 9는 다른 실시 예에 따른 헬멧의 제어 구성도이다.
헬멧(1a)은 뇌파 검출부(110), 사운드 입력부(120), 영상 입력부(130), 제1제어부(190), 제1저장부(190a), 사운드 출력부(150), 영상 출력부(160), 통신부(170) 및 진동부(180)를 포함한다.
다른 실시 예에 따른 뇌파 검출부(110), 사운드 입력부(120), 영상 입력부(130), 저장부(190a), 사운드 출력부(150), 영상 출력부(160), 통신부(170) 및 진동부(180)는, 일 실시 예의 뇌파 검출부(110), 사운드 입력부(120), 영상 입력부(130), 저장부(140a), 사운드 출력부(150), 영상 출력부(160), 통신부(170) 및 진동부(180)와 동일하여 설명을 생략한다.
아울러, 헬멧(1a)과 외부 장치(5) 간 동일 이름을 가진 구성부의 구별을 위해 헬멧의 구성부에 '제1'을 기재하도록 하고 외부 장치(5)의 구성부에 '제2'를 기재하도록 한다.
다른 실시 예의 제어부(190)는, 인증 뇌파, 착용 뇌파, 사용자 등록 뇌파, 호출어 뇌파 중 적어도 하나의 뇌파 등록 명령이 수신되면, 일 실시 예의 제어부(140)와 동일하게 검출된 뇌파를 인식하여 인증 뇌파, 착용 뇌파, 사용자 등록 뇌파, 호출어 뇌파를 등록한다.
다른 실시 예의 제어부(190)는 인식된 뇌파가 인증 뇌파, 착용 뇌파 및 사용자 등록 뇌파 중 적어도 하나와 일치하면 사용자가 헬멧을 착용하였다고 판단하고 퍼스널 모빌리티에 시동 온 명령을 전송하도록 통신부를 제어하고, 뇌파가 검출되지 않으면 퍼스널 모빌리티에 시동 오프 명령을 전송하도록 통신부를 제어하는 것도 가능하다.
제어부(190)는 인식된 뇌파가 호출어 뇌파와 일치한다고 판단되면 외부 장치(5)에 대화 모드의 진입 명령을 전송한다. 즉, 제어부(190)는 대화 수행을 위한 대화 제어부의 웨이크 업 명령을 전송한다.
제어부(190)는 대화 모드의 수행 중 사운드 입력부에 입력된 사운드에서 사용자의 음성을 인식하고 인식된 음성의 신호를 외부 장치(5)에 전송한다.
제어부(190)는 외부 장치(5)로부터 응답 음성 또는 질의 음성에 대응하는 음성 신호가 수신되면 수신된 음성 신호가 출력되도록 사운드 출력부를 제어한다.
외부 장치(5)는 대화를 수행하는 기능을 가진 장치이다.
이러한 외부 장치(5)는 대화 기능을 가진 사용자용 단말기일 수 있고, 대화 서버일 수도 있다. 본 실시 예는 대화 기능을 가진 사용자용 단말기를 예를 들어 설명한다.
외부 장치(5)는 입력부(510), 출력부(520), 제2통신부(530), 제2제어부(540) 및 제2저장부(550)를 포함한다.
입력부(510)는 단말기의 온오프 명령, 복수 개의 기능 중 적어도 하나의 기능 제어 명령을 입력받고, 헬멧(1a)과의 연동 및 통신 명령을 입력받을 수 있다.
여기서 복수 개의 기능은 앱(어플 또는 애플리케이션이라고도 함)으로 마련될 수 있다.
출력부(520)는 단말기에서 수행 중인 기능에 대한 정보를 출력한다.
이러한 출력부(520)는 음성 및 사운드 등을 출력하는 사운드 출력부와, 영상을 표시하는 영상 출력부를 포함할 수 있다.
제2통신부(530)는 헬멧(1a)과의 통신을 수행한다.
제2제어부(540)는 단말기에서 수행되는 복수 개의 기능의 동작을 제어하고, 헬멧에서 전송된 음성을 음성 인식하고, 인식된 음성에 대한 응답 음성 및 질의 음성 중 적어도 하나에 대한 음성을 생성하고 생성된 음성의 신호의 출력을 제어한다.
아울러 제2제어부(540)는 헬멧(1a)과 통신을 수행하지 않을 때, 단말기에서 수행되는 각종 기능의 정보를 출력부(520)를 통해 출력되도록 출력부(520)를 제어한다.
제2제어부(540)는 인식된 음성이 기능 제어 명령이라고 판단되면 판단된 기능 제어 명령에 기초하여 적어도 하나의 기능이 수행되도록 제어한다.
제2제어부(540)는 사용자와의 대화 수행을 위한 대화 제어부(또는 대화 시스템, 541)을 포함하고, 헬멧으로부터 웨이크 업 명령이 수신되면 대화 제어부(541)를 웨이크 업시키고, 대화 모드로 진입을 제어한다.
대화 제어부(541)는 헬멧(1a)과 통신을 수행하고 대화 모드에 진입하면 헬멧으로부터 음성의 신호가 수신되는지 판단하고, 음성의 신호가 수신되었다고 판단되면 수신된 음성의 신호에 기초하여 음성 인식을 수행하고, 인식된 음성에서 자연어 이해를 통해 파악한 사용자의 의도를 인식하고, 인식된 사용자의 의도에 대응되는 액션을 결정하며 결정된 액션을 수행하기 위해 필요한 대화의 응답 음성 및 질의 음성을 생성하고 생성된 음성에 대한 신호를 헬멧에 전송한다. 즉 대화 제어부(541)는 헬멧을 통해서 대화 음성이 출력되도록 한다.
대화 제어부(541)는 헬멧(1a)으로부터 뇌파 및 주변의 영상이 더 수신되면 뇌파 및 주변의 영상에 기초하여 사용자 주변의 상황을 인식하는 것도 가능하다.
제2저장부(550)는 헬멧(1a)의 식별 정보를 저장하고, 사용자의 의도 및 주변 상황에 대응하는 액션의 정보를 저장할 수 있다.
외부 장치가 대화 서버인 경우, 대화 서버는 헬멧으로부터 웨이크 업 명령이 수신되면 헬멧과의 대화 모드로 진입하고, 헬멧으로부터 음성의 신호가 수신되면 수신된 음성의 신호에 기초하여 음성 인식을 수행하고, 인식된 음성에서 자연어 이해를 통해 파악한 사용자의 의도를 인식하고, 인식된 사용자의 의도에 대응되는 액션을 결정하며 결정된 액션을 수행하기 위해 필요한 대화의 응답 음성 및 질의 음성을 생성하고 생성된 음성에 대한 신호를 헬멧에 전송한다. 즉 대화 서버는 헬멧을 통해서 대화 음성이 출력되도록 한다.
도 10은 다른 실시 예에 따른 헬멧의 제어 순서도이다.
헬멧은 뇌파 검출부(110)를 통해 뇌파를 검출(451)하고, 검출된 뇌파를 인식(452)한다.
여기서 뇌파를 인식하는 것은, 뇌파의 신호의 주파수, 진폭 및 파형을 확인하고, 확인된 뇌파의 신호의 주파수, 진폭 및 파형에서 특징점 및 특징 패턴을 인식하는 것을 포함한다.
헬멧은 인식된 뇌파와 저장된 호출어 뇌파를 비교하여 인식된 뇌파가 저장된 호출어 뇌파와 일치하는지를 판단(453)하고, 인식된 뇌파가 저장된 호출어 뇌파와 일치하면 외부 장치(5)에 웨이크 업 명령을 전송(454)한다.
여기서 인식된 뇌파와 저장된 호출어 뇌파를 비교하는 것은, 인식된 뇌파의 신호의 특징 점 및 특징 패턴과 저장된 호출어 뇌파의 특징 점 및 특징 패턴을 비교하는 것을 포함한다.
여기서 외부 장치에 웨이크업 명령을 전송하는 것은, 대화모드로 진입하는 것을 포함한다. 이때 헬멧은 사운드 입력부와 사운드 출력부를 활성화시키는 것을 더 포함할 수 있다.
헬멧은 대화 모드에 진입하면 사운드 입력부를 통해 음성이 수신(455)되면 수신된 음성의 신호를 외부 장치에 전송(456)한다.
이후 헬멧은 외부 장치로부터 음성의 신호가 수신(457)되면 수신된 음성의 신호를 사운드 출력부를 통해 음성으로 출력(458)한다.
여기서 음성의 신호는, 외부 장치에서 생성되어 전송된 응답 음성 및 질의 음성 중 적어도 하나의 음성에 대한 신호일 수 있다.
한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1, 1a: 헬멧 2: 퍼스널 모빌리티
3: 단말기5: 외부 장치
110: 뇌파 검출기120: 사운드 입력부
130: 영상 입력부140: 제어부
150: 사운드 출력부160: 영상 출력부
170: 통신부180: 진동부

Claims (24)

  1. 헬멧에 있어서,
    퍼스널 모빌리티와 통신을 수행하는 통신부;
    사용자의 뇌파를 검출하는 뇌파 검출부;
    사운드를 입력받는 사운드 입력부;
    사운드를 출력하는 사운드 출력부; 및
    사용자의 뇌파가 수신되면 수신된 뇌파와 미리 저장된 호출어 뇌파를 비교하고, 상기 수신된 뇌파가 상기 미리 저장된 호출어 뇌파와 일치하면 대화 모드로 진입을 제어하고, 상기 사운드 입력부에 입력된 사운드에서 음성을 인식하고 인식된 음성에 기초하여 대화 음성을 생성하고 생성된 대화 음성이 상기 사운드 출력부를 통해 출력되도록 제어하고, 상기 수신된 뇌파가 미리 저장된 인증 뇌파와 일치하고, 상기 수신된 뇌파가 미리 저장된 착용 뇌파와 일치하면 상기 퍼스널 모빌리티에 시동 온 명령을 전송하도록 하고, 상기 수신된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하거나, 상기 수신된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 상기 퍼스널 모빌리티에 시동 오프 명령을 전송하도록 하는 제어부를 포함하고,
    상기 제어부는, 상기 수신된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하면 상기 퍼스널 모빌리티의 사용 불가 정보의 출력을 제어하고, 상기 수신된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 상기 헬멧의 미착용에 대한 위험 안내 정보의 출력을 제어하고,
    상기 미리 저장된 인증 뇌파는, 객체 연상에 의해 발생되는 사용자의 뇌파이고,
    상기 미리 저장된 착용 뇌파는, 상기 헬멧의 착용에 의해 발생되는 사용자의 뇌파인 헬멧.
  2. 제 1 항에 있어서,
    상기 사용자와 대화를 수행하는 대화 제어부를 포함하고,
    상기 제어부는, 상기 대화 모드로 진입 시에 상기 대화 제어부에 웨이크 업 명령을 전송하는 것을 포함하는 헬멧.
  3. 제 2 항에 있어서, 상기 미리 저장된 호출어 뇌파는,
    상기 대화 제어부를 호출하는 호출어의 발화 전에 상기 사용자의 뇌에서 발생되는 뇌파를 포함하는 헬멧.
  4. 제 2 항에 있어서, 상기 미리 저장된 호출어 뇌파는,
    상기 사용자의 발화 전에 대화를 수행하기 위한 객체 연상 시에 상기 사용자의 뇌에서 발생되는 뇌파를 포함하는 헬멧.
  5. 삭제
  6. 제 1 항에 있어서, 상기 제어부는,
    상기 퍼스널 모빌리티의 인증 뇌파의 등록 명령이 수신되면 객체 연상 요청에 대한 음성을 출력하고, 상기 객체 연상 요청에 대한 음성을 출력한 시점부터 인식된 뇌파를 상기 인증 뇌파로 등록하는 것을 포함하는 헬멧.
  7. 제 1 항에 있어서,
    상기 사용자의 영상을 입력받는 영상 입력부를 더 포함하고,
    상기 제어부는, 상기 입력된 영상에서 상기 사용자의 얼굴의 영상을 획득하고 획득된 얼굴의 영상에서 사용자의 표정을 인식하고 상기 인식된 표정에 기초하여 상기 사용자의 감정 상태를 인식하고 상기 인식된 사용자의 감정 상태에 기초하여 상기 퍼스널 모빌리티의 목표 속도를 제한하는 것을 더 포함하는 헬멧.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 사용자의 감정 상태 인식 시 상기 사용자의 뇌파와 상기 사용자의 음성을 이용하는 것을 더 포함하는 헬멧.
  9. 제 1 항에 있어서,
    상기 통신부는, 단말기와 통신을 수행하고,
    상기 제어부는, 상기 인식된 음성이 상기 단말기의 기능 제어 명령이면 상기 단말기에 기능 제어 명령을 전송하도록 하고, 상기 단말기의 기능 수행 정보가 수신되면 수신된 기능 수행 정보의 출력을 제어하는 것을 포함하는 헬멧.
  10. 제 9 항에 있어서,
    상기 단말기의 기능 제어 명령의 전송 및 상기 단말기의 기능 수행 정보의 수신에 대응하여 진동을 발생시키는 진동부를 더 포함하는 헬멧.
  11. 제 1 항에 있어서,
    상기 뇌파 검출부, 상기 사운드 입력부, 상기 사운드 출력부가 마련되는 몸체;
    상기 몸체에서 기어 축을 중심으로 회전 이동하는 바이저를 더 포함하는 헬멧.
  12. 제 11 항에 있어서,
    상기 바이저에 마련되고 영상을 출력하는 영상 출력부를 더 포함하는 헬멧.
  13. 제 11 항에 있어서,
    상기 바이저에 영상이 반사되도록 상기 바이저에 영상을 투영시키는 영상 출력부를 더 포함하는 헬멧.
  14. 제 1 항에 있어서, 상기 제어부는,
    상기 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이 수신되면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고, 상기 객체 연상 요청에 대한 음성을 출력한 시점부터 수신된 뇌파를 호출어 뇌파로 등록하는 것을 포함하는 헬멧.
  15. 사용자의 뇌파를 검출하는 뇌파 검출부;
    사운드를 입력받는 사운드 입력부;
    사운드를 출력하는 사운드 출력부;
    퍼스널 모빌리티 및 대화를 수행하는 외부 장치와 통신을 수행하는 통신부; 및
    사용자의 뇌파가 수신되면 수신된 뇌파와 미리 저장된 호출어 뇌파를 비교하고 상기 수신된 뇌파가 상기 미리 저장된 호출어 뇌파와 일치하면 대화 모드의 진입 명령을 상기 외부 장치에 전송하고, 상기 사운드 입력부에 사운드가 입력되면 입력된 사운드의 신호를 상기 외부 장치에 전송하고, 상기 외부 장치에서 전송된 음성의 신호가 출력되도록 상기 사운드 출력부의 동작을 제어하고, 상기 수신된 뇌파가 미리 저장된 인증 뇌파와 일치하고, 상기 수신된 뇌파가 미리 저장된 착용 뇌파와 일치하면 상기 퍼스널 모빌리티에 시동 온 명령을 전송하도록 하고, 상기 수신된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하거나, 상기 수신된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 상기 퍼스널 모빌리티에 시동 오프 명령을 전송하도록 하는 제어부를 포함하고,
    상기 제어부는, 상기 수신된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하면 상기 퍼스널 모빌리티의 사용 불가 정보의 출력을 제어하고, 상기 수신된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 헬멧의 미착용에 대한 위험 안내 정보의 출력을 제어하고,
    상기 미리 저장된 인증 뇌파는, 객체 연상에 의해 발생되는 사용자의 뇌파이고,
    상기 미리 저장된 착용 뇌파는, 헬멧의 착용에 의해 발생되는 사용자의 뇌파인 헬멧.
  16. 제 15 항에 있어서, 상기 미리 저장된 호출어 뇌파는,
    상기 외부 장치를 호출하는 호출어의 발화 전에 상기 사용자의 뇌에서 발생되는 뇌파를 포함하는 헬멧.
  17. 제 15 항에 있어서, 상기 제어부는,
    상기 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고, 상기 객체 연상 요청에 대한 음성을 출력한 시점부터 수신된 뇌파를 호출어 뇌파로 등록하는 것을 포함하는 헬멧.
  18. 제 15 항에 있어서, 상기 미리 저장된 호출어 뇌파는,
    상기 사용자의 발화 전에 대화를 수행하기 위한 객체 연상 시에 상기 사용자의 뇌에서 발생되는 뇌파를 포함하는 헬멧.
  19. 사용자의 뇌파를 검출하고,
    상기 검출된 뇌파를 인식하고,
    상기 인식된 뇌파와 미리 저장된 뇌파를 비교하고,
    상기 인식된 뇌파가 상기 미리 저장된 호출어 뇌파와 일치하면 대화 모드로 진입을 제어하고,
    사운드 입력부에 입력된 사운드에서 음성을 인식하고,
    상기 인식된 음성에 기초하여 대화 음성을 생성하고,
    상기 생성된 대화 음성을 사운드 출력부를 통해 출력하고,
    상기 인식된 뇌파가 미리 저장된 미리 저장된 인증 뇌파와 일치하고 상기 인식된 뇌파가 미리 저장된 착용 뇌파와 일치하면 퍼스널 모빌리티에 시동 온 명령을 전송하고,
    상기 인식된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하거나, 상기 인식된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 상기 퍼스널 모빌리티에 시동 오프 명령을 전송하고,
    상기 인식된 뇌파가 상기 미리 저장된 인증 뇌파와 불일치하면 상기 퍼스널 모빌리티의 사용 불가 정보를 출력하고,
    상기 인식된 뇌파가 상기 미리 저장된 착용 뇌파와 불일치하면 헬멧의 미착용에 대한 위험 안내 정보의 출력을 제어하는 것을 포함하고,
    상기 미리 저장된 인증 뇌파는, 객체 연상에 의해 발생되는 사용자의 뇌파이고,
    상기 미리 저장된 착용 뇌파는, 헬멧의 착용에 의해 발생되는 사용자의 뇌파인 헬멧의 제어 방법.
  20. 제 19 항에 있어서, 상기 대화 모드로 진입을 제어하는 것은,
    대화 수행을 위한 대화 제어부에 웨이크 업 명령을 전송하는 것을 포함하는 헬멧의 제어 방법.
  21. 삭제
  22. 제 19 항에 있어서,
    상기 퍼스널 모빌리티의 인증 뇌파의 등록 명령이 수신되면 객체 연상 요청에 대한 음성을 출력하고,
    상기 객체 연상 요청에 대한 음성을 출력한 시점부터 뇌파를 검출하고,
    상기 검출된 뇌파를 인식하고,
    상기 인식된 뇌파를 인증 뇌파로 등록하는 것을 포함하는 헬멧의 제어 방법.
  23. 제 19 항에 있어서,
    상기 대화 모드의 진입을 위한 호출어 뇌파의 등록 명령이 수신되면 호출어에 대응하는 객체 연상 요청에 대한 음성을 출력하고,
    상기 객체 연상 요청에 대한 음성을 출력한 시점부터 뇌파를 검출하고,
    상기 검출된 뇌파를 인식하고,
    상기 인식된 뇌파를 호출어 뇌파로 등록하는 것을 포함하는 헬멧의 제어 방법.
  24. 제 19 항에 있어서,
    상기 인식된 음성이 단말기의 기능 제어 명령이면 상기 단말기에 기능 제어 명령을 전송하고,
    상기 단말기의 기능 수행 정보가 수신되면 상기 수신된 기능 수행 정보를 출력하는 것을 더 포함하는 헬멧의 제어 방법.
KR1020180045996A 2018-04-20 2018-04-20 헬멧 및 헬멧의 제어 방법 KR102653323B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180045996A KR102653323B1 (ko) 2018-04-20 2018-04-20 헬멧 및 헬멧의 제어 방법
US16/164,993 US20190320978A1 (en) 2018-04-20 2018-10-19 Helmet and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045996A KR102653323B1 (ko) 2018-04-20 2018-04-20 헬멧 및 헬멧의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190122350A KR20190122350A (ko) 2019-10-30
KR102653323B1 true KR102653323B1 (ko) 2024-04-02

Family

ID=68236148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045996A KR102653323B1 (ko) 2018-04-20 2018-04-20 헬멧 및 헬멧의 제어 방법

Country Status (2)

Country Link
US (1) US20190320978A1 (ko)
KR (1) KR102653323B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11730221B2 (en) * 2019-01-12 2023-08-22 Herutu Electronics Corporation Apparatus for detecting wearing of body protection gear
CN113424256A (zh) 2019-04-01 2021-09-21 谷歌有限责任公司 在可再充电设备上的播送请求和/或用户输入的自适应管理
US11039651B1 (en) * 2019-06-19 2021-06-22 Facebook Technologies, Llc Artificial reality hat
US11904866B2 (en) 2019-07-31 2024-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for brain-machine interfaces and EEG-based driver identification
US11908469B2 (en) * 2020-01-10 2024-02-20 Stmicroelectronics S.R.L. Voice control system, corresponding motorcycle, helmet and method
WO2022070821A1 (ja) * 2020-09-29 2022-04-07 株式会社島津製作所 生体情報計測システム
CN113325728A (zh) * 2021-05-27 2021-08-31 西安慧脑智能科技有限公司 基于脑电的智能家居控制方法、系统及控制设备
CN114052749B (zh) * 2021-11-03 2023-04-18 厦门理工学院 基于eeg数据特征实时安全认证方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150045007A1 (en) * 2014-01-30 2015-02-12 Duane Matthew Cash Mind-Controlled virtual assistant on a smartphone device
KR101643354B1 (ko) * 2015-05-06 2016-07-27 서울대학교산학협력단 뇌파를 이용한 본인 인증 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305129B1 (ko) * 2011-08-29 2013-09-12 현대자동차주식회사 지능형 차량 운전자 기분전환 지원장치 및 방법
KR20150076932A (ko) * 2013-12-27 2015-07-07 경북대학교 산학협력단 뇌파 신호 분석 장치 및 그의 분석 방법과, 그 분석 결과를 사용하는 사용자 단말 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150045007A1 (en) * 2014-01-30 2015-02-12 Duane Matthew Cash Mind-Controlled virtual assistant on a smartphone device
KR101643354B1 (ko) * 2015-05-06 2016-07-27 서울대학교산학협력단 뇌파를 이용한 본인 인증 시스템 및 방법

Also Published As

Publication number Publication date
US20190320978A1 (en) 2019-10-24
KR20190122350A (ko) 2019-10-30

Similar Documents

Publication Publication Date Title
KR102653323B1 (ko) 헬멧 및 헬멧의 제어 방법
ES2818085T3 (es) Procedimiento y aparato para activación de aplicación mediante entrada de voz
KR102635811B1 (ko) 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
US9443510B2 (en) Speech recognition apparatus and method
KR101711835B1 (ko) 차량, 차량의 동작 방법 및 웨어러블 디바이스의 동작 방법
US20180199131A1 (en) Wearable audio accessories for computing devices
WO2017057170A1 (ja) 対話装置及び対話方法
CN105527710A (zh) 一种智能抬头显示系统
JP7340940B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN104739622A (zh) 一种新型可穿戴导盲设备及其工作方法
US20200321000A1 (en) Agent device, system, control method of agent device, and storage medium
KR20150084608A (ko) 단말기 및 그 동작 방법
KR101878811B1 (ko) 실시간 지도 생성을 위한 v2x 통신 시스템 및 그 동작방법
CN108961681A (zh) 疲劳驾驶提醒方法、装置及存储介质
US11430447B2 (en) Voice activation based on user recognition
CN105313835A (zh) 一种通过手势动作对车辆部件进行控制的方法及系统
KR20180130670A (ko) 차량용 음성 인식 장치, 상기 차량용 음성 인식 장치를 포함하는 차량, 차량용 음성 인식 시스템 및 상기 차량용 음성 인식 장치의 제어 방법
JP7239366B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US20240070213A1 (en) Vehicle driving policy recommendation method and apparatus
US20200319634A1 (en) Agent device, method of controlling agent device, and storage medium
CN107645607A (zh) 一种用于声控报警的计算机可读存储介质及移动终端
CN111757300A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN110337030A (zh) 视频播放方法、装置、终端和计算机可读存储介质
CN111724778B (zh) 车载装置、车载装置的控制方法及存储介质
CN113270087A (zh) 处理方法、移动终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant