WO2017213411A1 - 음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템 - Google Patents
음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템 Download PDFInfo
- Publication number
- WO2017213411A1 WO2017213411A1 PCT/KR2017/005900 KR2017005900W WO2017213411A1 WO 2017213411 A1 WO2017213411 A1 WO 2017213411A1 KR 2017005900 W KR2017005900 W KR 2017005900W WO 2017213411 A1 WO2017213411 A1 WO 2017213411A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- hairwear
- voice
- language
- voice signal
- Prior art date
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 title claims abstract description 19
- 230000002996 emotional effect Effects 0.000 claims abstract description 23
- 210000000988 bone and bone Anatomy 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 239000000047 product Substances 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000860 cochlear nerve Anatomy 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229940070527 tourmaline Drugs 0.000 description 1
- 229910052613 tourmaline Inorganic materials 0.000 description 1
- 239000011032 tourmaline Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41G—ARTIFICIAL FLOWERS; WIGS; MASKS; FEATHERS
- A41G3/00—Wigs
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41G—ARTIFICIAL FLOWERS; WIGS; MASKS; FEATHERS
- A41G5/00—Hair pieces, inserts, rolls, pads, or the like; Toupées
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41G—ARTIFICIAL FLOWERS; WIGS; MASKS; FEATHERS
- A41G5/00—Hair pieces, inserts, rolls, pads, or the like; Toupées
- A41G5/0093—Hair accessories connected to a head covering, e.g. scarf
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/02—Transmitters
- H04B1/03—Constructional details, e.g. casings, housings
- H04B1/034—Portable transmitters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/02—Transmitters
- H04B1/03—Constructional details, e.g. casings, housings
- H04B1/034—Portable transmitters
- H04B1/0343—Portable transmitters to be carried on the body
Definitions
- the hairwear can be made and used in various forms of products that can be worn on the user's head to maximize the aesthetic effect of the user and can provide additional functions required by the user.
- hairwear having a voice recognition function is formed in a spherical shape to correspond to the head of the user and the user through the internal structure
- a hairwear having an internal space in which a head image of the head is volume-up or a small electronic device is installed without being exposed to the outside comprising: a bone conduction detection unit attached to a head of the user and detecting a bone conduction signal; A voice identification unit for converting the bone conduction signal detected by the bone conduction detection unit into a digital signal and identifying only a voice signal matching a preset voice signal pattern of the user; And a storage means for storing the voice signal identified by the voice identification unit, wherein the bone conduction detection unit, the voice identification unit, and the storage unit are installed in an internal space secured to the hairwear.
- the bone conduction microphone detects the vibration signal of the skull with a high sensitivity sensor and converts it into a voice signal after signal processing. Therefore, when the sound of the subject speaks through the bone conduction microphone, it is possible to detect only the subject's voice without being greatly influenced by the noise heard from the outside of the subject as compared to detecting the subject's voice using the general microphone. .
- FIG. 1 is a block diagram showing a schematic configuration of a hairwear according to a first embodiment of the present invention
- Figure 2 shows a schematic configuration of a hairwear according to a second embodiment of the present invention It is a block diagram.
- the hairwear according to the first embodiment of the present invention shown in FIG. 1 may include a bone conduction detector 100, a voice identifier 110, a storage means 120, and a wireless transmitter 130.
- the wireless transmitter 130 since the wireless transmitter 130 is configured to perform information transfer to an external management device, it may not be included in the hairwear in some cases.
- Hairwear according to the second embodiment of the present invention shown in Figure 2 is a bone conduction detection unit 200, voice identification unit 210, storage means 220, language and emotion recognition unit 230, and a wireless transmitter ( 240). Unlike the first embodiment of the present invention described above, the hairwear according to the second embodiment of the present invention further includes a language and emotion recognition unit 230.
- voice-based emotion recognition technology is one of speech processing application methods that can recognize a speaker's voice and recognize a speaker's emotion or physical state from the recognized voice.
- a method of recognizing a user's emotion from the voice generally uses a feature extraction method, and the accuracy of the emotion recognized from the voice depends on the extracted feature.
- feature extraction methods commonly used include speech pitch, speech rate, intensity, Mel-Frequency Cepstral Coefficients (MFCC), and Linear Prediction Cepstral Coefficients (LPCC). Recognize your emotional state.
- MFCC Mel-Frequency Cepstral Coefficients
- LPCC Linear Prediction Cepstral Coefficients
- information on the language and emotional state used by the user can be obtained through the voice of the user who wears the hairwear. Analyze information about changes in general language habits and emotional state of current hairwear users. And, through this, it is possible to predict what the hairwear user will have in the future. For example, when the hairwear user analyzes the information about the language and the emotional state used by the user such as what speech or emotional state, positive tendency, or negative tendency in the future For this reason, it is possible to predict the future of the user.
- the user language and emotion recognition system in FIG. 4 is a system using the hairwear 400 according to the second embodiment of the present invention, and includes an external management device 410 in the same manner as the system shown in FIG. 3.
- the hairwear 400 according to the second embodiment of the present invention analyzes the voice signal of the user and recognizes the information on the language used by the user and the emotional state of the user and externally recognizes the recognized result. Since the external management device 410 is provided with the components that can be provided, the external management device 410 receives the recognition result transmitted from the hairwear 400 according to the second embodiment of the present invention to the internal or external database 420 Perform storage and management operations.
- the user language and emotion recognition system illustrated in FIGS. 3 and 4 collects and manages information about a language used by the hairwear users and their emotional state. As a result, based on changes in language habits and emotions in use, it will be possible to build a useful database that can be used to predict what each hairwear user will look like in the future.
Landscapes
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템에 관한 것이다. 본 발명은 헤어웨어를 착용한 사용자의 음성 인식이 가능하고, 그 인식된 음성을 기반으로 한 사용자의 언어 및 감정상태를 인식하여 이를 제공할 수 있는 음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템을 제공하고자 한다.
Description
본 발명은 음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템에 관한 것으로, 헤어웨어를 착용한 사용자의 음성 인식이 가능하고, 그 인식된 음성을 기반으로 한 사용자의 언어에 대한 정보 및 감정상태를 인식하여 이를 제공할 수 있는 발명에 관한 것이다.
선행 기술인 한국특허공개번호 제10-2015-0066407호에 개시된 바와 같이, '헤어웨어(Hairwear)' 라는 용어는, 빠진 머리 등을 보충하는 의미로 사용되던 종래의 가발 개념과 달리, 기본적으로 두상 성형을 고려한 기능을 표현하기 위해 사용되는 것이다. 그에 따라, 헤어웨어는 가발 기능 이외에도 뒷머리 상부인 정수리 부위를 볼륨-업시켜 뒤통수의 성형이 가능하도록 하는 기능을 포함하거나, 또한, 필요에 따라 소형의 전자장치를 설치할 수 있는 공간을 확보하는 기능을 포함할 수 있도록 구성되는 것들을 지칭한다.
따라서, 헤어웨어는 사용자의 두상에 착용되어 사용자의 미적 효과를 극대화시킬 수 있을 뿐만 아니라 사용자에게 필요한 부가 기능을 제공할 수 있는 다양한 형태의 제품들로 만들어져 이용될 수 있다.
[선행기술문헌]
[특허문헌]
한국특허공개번호 제10-2015-0066407호(공개일 : 2015.06.16.)
그러므로, 본 발명은 그러한 헤어웨어의 제품들 중 하나로 헤어웨어를 착용한 사용자의 음성을 인식할 수 있는 헤어웨어를 제공하는데 그 목적이 있다.
또한, 본 발명은 상기의 음성 인식을 할 수 있는 헤어웨어 제품을 이용하여 인식된 사용자 음성을 기반으로 사용자의 언어 및 감정상태를 인식할 수 있는 사용자 언어 및 감정 인식 시스템을 제공하는 그 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명의 일 실시 예에 따른 음성 인식 기능을 구비한 헤어웨어는 사용자의 두부(頭部)에 대응되도록 구형(球形)의 형태로 형성되며 내부 구조물을 통해서 사용자의 두상이 볼륨-업되거나 소형의 전자장치가 외부에 노출되지 않은 채 설치될 수 있는 내부 공간이 확보된 헤어웨어에 있어서, 사용자의 두부에 부착되어 골전도 신호를 감지하는 골전도 감지부; 상기 골전도 감지부에서 감지한 골전도 신호를 디지털 신호로 변환하여, 기 설정된 사용자의 음성신호 패턴과 일치하는 음성신호만을 식별하는 음성 식별부; 상기 음성 식별부에서 식별한 상기 음성신호를 저장하는 저장수단을 포함하고, 상기 골전도 감지부, 상기 음성 식별부, 및 상기 저장수단은 상기 헤어웨어에 확보된 내부 공간에 설치된 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 음성 인식 기능을 구비한 헤어웨어는 상기 저장수단에 저장된 상기 음성신호를 무선 통신을 통해 외부 관리장치로 송신하는 무선 송신기를 더 포함하고, 상기 무선 송신기, 역시 상기 헤어웨어에 확보된 내부 공간에 설치될 수 있다.
본 발명의 일 실시 예에 따른 사용자 언어 및 감정 인식 시스템은, 상기 본 발명의 다른 실시 예에 따른 음성 인식 기능을 구비한 헤어웨어; 및 상기 헤어웨어로부터 송신되는 상기 음성신호를 수신하여 내부 또는 외부 데이터베이스에 저장 및 관리하고, 상기 데이터베이스에 저장된 음성신호를 분석하여 해당 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정상태를 인식하고 그 인식 결과를 해당 음성신호에 매칭시켜 상기 데이터베이스에 저장 및 관리하는 외부 관리장치를 포함한다.
본 발명의 또 다른 실시 예에 따른 음성 인식 기능을 구비한 헤어웨어는, 사용자의 두부(頭部)에 대응되도록 구형(球形)의 형태로 형성되며 내부 구조물을 통해서 사용자의 두상이 볼륨-업되거나 소형의 전자장치가 외부에 노출되지 않은 채 설치될 수 있는 내부 공간이 확보된 헤어웨어에 있어서, 사용자의 두부에 부착되어 골전도 신호를 감지하는 골전도 감지부; 상기 골전도 감지부에서 감지한 골전도 신호를 디지털 신호로 변환하여, 기 설정된 사용자의 음성신호 패턴과 일치하는 음성신호만을 식별하여 출력하는 음성 식별부; 상기 음성 식별부에서 식별한 상기 음성신호를 저장하는 저장수단; 저장수단에 저장된 상기 음성신호를 분석하여 상기 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정상태를 인식하는 언어 및 감정 인식부; 및 상기 언어 및 감정 인식부에서 인식된 결과를 무선 통신을 통해 외부 관리장치로 송신하는 무선 송신기를 더 포함하고, 상기 골전도 감지부, 상기 음성 식별부, 상기 저장수단, 상기 언어 및 감정 인식부, 그리고 상기 무선 송신기는 상기 헤어웨어에 확보된 내부 공간에 설치된 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 사용자 언어 및 감정 인식 시스템은, 상기 본 발명의 또 다른 실시 예에 따른 음성 인식 기능을 구비한 헤어웨어; 및 상기 헤어웨어로부터 송신되는 상기 사용자가 사용하는 언어에 대한 인식 결과 및 상기 사용자의 감정상태에 대한 인식 결과를 수신하여 내부 또는 외부 데이터베이스에 저장 및 관리하는 외부 관리장치를 포함한다.
본 발명에 의하면, 헤어웨어의 내부에 확보된 공간을 활용하여 헤어웨어를 착용하는 사용자의 음성만을 보다 정확하게 인식하여 저장할 수 있을 뿐만 아니라 이외에도 그 인식된 사용자의 음성을 활용하여 사용자의 언어 및 감정 상태에 대한 정보를 제공할 수 있는 헤어웨어 제품을 제공한다.
또한, 본 발명에 의하면, 상기의 헤어웨어 제품을 착용하는 사용자를 대상으로 그가 사용하는 언어 및 감정상태에 대한 정보를 수집하고 관리해 주어, 헤어웨어 사용자의 현재 언어 사용 습관이나 감정상태를 고려한 미래의 사용자 모습을 예측하는데 이용될 수 있는 데이터베이스를 구축할 수 있는 시스템을 제공한다.
도 1은 본 발명의 제1 실시 예에 따른 헤어웨어의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 제2 실시 예에 따른 헤어웨어의 개략적인 구성을 도시한 블록도이다.
도 3은 본 발명의 제1 실시 예에 따른 헤어웨어를 이용한 사용자 언어 및 감정 인식 시스템을 개략적으로 도시한 도면이다.
도 4는 본 발명의 제2 실시 예에 따른 헤어웨어를 이용한 사용자 언어 및 감정 인식 시스템을 개략적으로 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 헤어웨어를 착용한 사용자의 음성을 인식할 수 있는 헤어웨어를 제공하고자 한다. 자세하게 본 발명은, 사용자의 입에서 나오는 소리를 마이크를 통해 녹음하는 형태가 아닌 헤어웨어를 착용한 사용자의 두개골의 진동을 통해 골도음, 즉 골전도를 감지하는 방식으로 사용자의 음성신호를 인식할 수 있는 헤어웨어를 제공하고자 한다.
일반적으로, 사람이 말을 할 때의 소리전달은 크게 2가지 경로가 있다. 첫째는 입으로부터 나오는 발성자의 소리가 주위의 공기를 매질로 상대방의 청각기관으로 들어가는 경로이며, 이를 기도음이라 한다. 그리고, 두 번째는 공기를 통하지 않고, 발성자의 성대 진동이 두개골의 진동을 통해 내이의 청각기관으로 직접 전달되는 경로이며, 이를 골전도라고 한다.
골전도를 활용하는 기술은 생체공학적인 신기술로서 외부소음에 의한 통화 방해에도 안전하게 통화가 가능하게 하는 것이 알려져 있다. 골전도 스피커는 청신경 주위를 뼈를 가진하여 청신경을 자극하여 소리가 전달되게 하는 장치로 소음환경에서도 일반 스피커를 이용한 방식보도 정확한 음성 전달을 가능하게 해 준다.
이와 마찬가지로, 골전도 마이크는 두개골의 진동신호를 고감도 센서로 감지하여 신호처리 후 다시 음성신호로 변환해 준다. 따라서, 골전도 마이크를 통해 대상자가 말하는 소리를 감지하게 되면, 일반 마이크를 이용하여 대상자의 음성을 감지하는 것에 비하여 대상자의 외부에서 들리는 소음에 크게 영향을 받지 않고 대상자의 음성만을 감지해 낼 수 있다.
따라서, 본 발명은 헤어웨어 제품 중 하나로, 외부 소음에 영향을 최소한도로 받으면서 헤어웨어를 착용한 사용자를 대상으로 해당 사용자의 음성을 보다 정확하게 인식할 수 있는 헤어웨어를 제시한다.
도면들을 살펴보면, 도 1은 본 발명의 제1 실시 예에 따른 헤어웨어의 개략적인 구성을 도시한 블록도이고, 도 2는 본 발명의 제2 실시 예에 따른 헤어웨어의 개략적인 구성을 도시한 블록도이다.
도 1에 도시된 본 발명의 제1 실시 예에 따른 헤어웨어는 골전도 감지부(100), 음성 식별부(110), 저장수단(120), 및 무선 송신기(130)를 포함할 수 있다. 여기서, 무선 송신기(130)는 외부 관리장치로의 정보 전달을 수행하기 위한 구성이기 때문에, 경우에 따라서는 상기 헤어웨어에 포함되지 않을 수도 있다.
본 발명의 제1 실시 예에 따른 헤어웨어는 골전도 감지부(100), 음성 식별부(110), 및 저장수단(120), 그리고 경우에 따라서 포함될 수 있는 무선 송신기(130)가 헤어웨어에 확보된 내부 공간에 설치되는 것을 특징으로 한다.
헤어웨어는 사용자의 두부(頭部)에 대응되도록 구형(球形)의 형태로 형성되며 내부 구조물을 통해서 사용자의 두상이 볼륨-업되거나 소형의 전자장치가 외부에 노출되지 않은 채 설치될 수 있는 내부 공간이 확보된 형태를 가질 수 있다.
그에 따라, 본 발명의 제1 실시 예에 따른 헤어웨어는 헤어웨어를 착용하는 사용자의 골전도 감지하여 사용자의 음성을 인식할 수 있는 상기의 구성요소들이 상기 헤어웨어 내에 확보된 내부 공간에 내장된 것을 특징으로 한다.
골전도 감지부(100)는 사용자의 두부에 부착되어 골전도 신호를 감지하는 적어도 하나의 골전도 신호 감지 수단을 포함하여 구성된다. 상기 골전도 신호 감지 수단으로는 압전형 마이크로폰이 이용될 수 있다. 압전형 마이크로폰은 수정이나 전기석과 같은 결정체를 정해진 방향에 따라서 판모양의 직육면체로 잘라낸 경우, 이 직육면체에 정해진 방향의 기계적인 비뚤어짐을 가하면 그 비뚤어진 힘에 응한 양의 전계가 결정체의 전해진 방향으로 발생하는 원리로 동작한다.
음성 식별부(110)는 상기 골전도 감지부(200)에서 감지한 상기 골전도 신호를 디지털 변환하고, 변환된 디지털 신호 중에서 기 설정된 사용자의 음성신호 패턴과 일치하는 음성신호만을 식별한다. 본 실시 예에 따른 헤어웨어는 음성 식별부(110)를 통해서 인식되는 헤어웨어 사용자의 음성 이외에 골전도 마이크(100)에 감지될 수 있는 외부 음성신호는 이하 저장수단(120)에 저장되지 않도록 구성된다.
상세하게는, 상기 음성 식별부(110)는 머신러닝(machine learning)과 같은 인공지능의 분류기법을 이용하여, 골전도 신호에서 사용자의 음성패턴에 해당하는 음성신호, 즉, 목소리신호만을 분류하는 알고리즘을 적용시켜 구현되는 것이 바람직하다.
저장수단(120)는 음성 식별부(110)에서 식별한 상기 음성신호를 저장한다.
무선 송신기(130)는 상기 저장수단(120)에 저장된 음성신호를 무선 통신을 통해 외부 관리장치로 송신하는 동작을 수행한다.
도 2에 도시된 본 발명의 2 실시 예에 따른 헤어웨어는 골전도 감지부(200), 음성 식별부(210), 저장수단(220), 언어 및 감정 인식부(230), 및 무선 송신기(240)를 포함할 수 있다. 본 발명의 제2 실시 예에 따른 헤어웨어는 앞서 살펴본 본 발명의 제1 실시 예와는 달리 언어 및 감정 인식부(230)를 더 포함하고 있다.
도 2에 도시된 골전도 감지부(200), 음성 식별부(210), 및 저장수단(220)의 동작은 도 1을 참조하여 설명한 바와 동일하므로 여기서는 그 설명을 생략하도록 하겠다.
언어 및 감정 인식부(230)는 상기 저장수단(220)에 저장된 사용자의 음성신호를 분석하여 해당 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정 상태를 인식하는 동작을 수행한다.
여기서, 사용자 음성을 기반으로 하여 인식된 해당 사용자가 사용하는 언어에 대한 정보는, 일 예로 상기 사용자의 언어 습관이 부정적인 언어들을 자주 사용하는지 아니면 긍정적인 언어들을 자주 사용하는지 등을 분석하는데 이용될 수 있다.
그리고 음성을 기반으로 한 감정 인식 기술은 말하는 사람의 음성을 인식하고, 인식된 음성으로부터 말하는 사람의 감정 또는 신체적 상태를 인식할 수 있는 음성 처리 응용 방법의 하나이다. 음성으로부터 사용자의 감정을 인식하는 방법은 일반적으로 특징 추출(Feature Extraction) 방법을 사용하고, 음성으로부터 인식된 감정의 정확도는 추출된 특징에 따라 달라지게 된다. 현재 일반적으로 사용되는 특징 추출 방법은 음성의 피치(Pitch), 낭독속도(Speech Rate), 강도(Intensity), MFCC(Mel-Frequency Cepstral Coefficients) 및 LPCC(Linear Prediction Cepstral Coefficients) 등을 이용하여 음성으로부터 감정 상태를 인식하는 것이다. 특히, 최근에는 기본감정으로 인식하는 대신에 응용에 따른 사용자의 특수한 심신상태를 검출하는 기술들이 많이 개발되고 있다. 즉 음성을 분석하여 deception, certainty, stress, confusion, frustration, trouble, annoyance, empathy 등의 상태를 판정할 수도 있다.
언어 및 감정 인식부(230)는 이미 알려진 분석 기법을 통해서 저장수단(220)에 저장된 사용자의 음성신호를 분석하여 사용자가 사용하는 언어에 대한 정보 및 사용자의 현재 감정 상태를 감지하는 동작을 수행한다. 그리고, 무선 송신부(240)는 언어 및 감정 인식부(230)에서 인식된 결과를 무선 통신을 통해 외부 관리장치로 송신해 준다.
그에 따라, 본 발명의 2 실시 예에 따른 헤어웨어는 본 발명의 제1 실시 예와 비교해 보았을 때에, 단순히 사용자의 음성신호를 인식, 식별하여 저장하는 기능 뿐만 아니라 그 저장된 사용자의 음성신호를 분석하여 사용자가 사용하는 언어에 대한 정보 및 사용자의 감정 상태에 대한 정보를 외부로 제공할 수 있는 기능까지 구비한다.
그러므로, 본 발명의 2 실시 예에 따른 헤어웨어를 이용하는 경우, 상기 헤어웨어를 착용한 사용자의 음성을 통해 해당 사용자가 사용하는 언어 및 감정상태에 대한 정보를 획득할 수 있으므로, 이러한 정보들을 바탕으로 현재 헤어웨어 사용자의 종합적인 언어 습관이나 감정상태 변화에 대한 정보들을 분석할 수 있다. 그리고, 이를 통해 상기 헤어웨어 사용자가 미래에 어떠한 모습을 가질지 예측할 수도 있다. 일 예로, 상기 헤어웨어 사용자가 미래에 어떠한 말투나 감정상태를 가질지, 또는 긍정적 성향을 가질지 아니면 부정적인 성향을 가질지 등등 상기 사용자가 사용하는 언어 및 감정상태에 대한 정보를 종합하여 분석할 경우, 해당 사용자의 미래의 모습에 대한 예측이 가능할 것이다.
본 발명의 2 실시 예에 따른 헤어웨어 역시, 내부에 확보된 공간을 활용하여 그 내부 공간에 골전도 감지부(200), 음성 식별부(210), 저장수단(220), 언어 및 감정 인식부(230), 및 무선 송신기(240)가 내장된 형태인 것을 특징으로 한다.
본 발명은 또한, 상기의 음성 인식을 할 수 있는 헤어웨어 제품을 이용하여 저장된 사용자 음성을 기반으로 사용자가 사용하는 언어에 대한 정보 및 사용자의 감정상태를 인식할 수 있는 사용자 언어 및 감정 인식 시스템을 제공하고자 한다.
도 3은 본 발명의 제1 실시 예에 따른 헤어웨어를 이용한 사용자 언어 및 감정 인식 시스템을 개략적으로 도시한 도면이고, 도 4는 본 발명의 제2 실시 예에 따른 헤어웨어를 이용한 사용자 언어 및 감정 인식 시스템을 개략적으로 도시한 도면이다.
살펴보면, 도 3에 도시된 사용자 언어 및 감정 인식 시스템은 본 발명의 제1 실시 예에 따른 헤어웨어(300)를 이용하는 시스템으로, 외부 관리장치(310)를 포함한다.
외부 관리장치(310)는 본 발명의 제1 실시 예에 따른 헤어웨어(300)로부터 송신되는 음성신호를 수신하여 내부 또는 외부 데이터베이스(320)에 저장 및 관리한다. 또한, 외부 관리장치(310)는 상기 데이터베이스(320)에 저장된 음성신호를 분석하여 해당 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정상태를 인식하고 그 인식 결과를 해당 음성신호에 매칭시켜 상기 데이터베이스(320)에 저장 및 관리한다.
상세하게는, 상기 외부 관리장치(310)는 머신러닝(machine learning)과 같은 인공지능의 분류기법을 이용하여, 사용자 음성의 피치, 낭독 속도, 강도와 같은 음성패턴과 사용자가 사용하는 단어의 빈도 간의 상호 맥락을 파악하여, 사용자의 감정상태를 인식할 수 있다.
그에 따라, 도 3에 도시된 사용자 언어 및 감정 인식 시스템은 외부 관리장치(310)를 통해서 수집되는 헤어웨어 사용자들의 음성신호를 가지고 각 사용자들의 사용 언어 및 감정 상태에 대한 정보를 인식하고 관리하며, 필요에 따라 제공할 수 있다.
그리고, 상기 인식된 각 헤어웨어 사용자들의 사용 언어 및 감정상태에 대한 정보들은 헤어웨어 사용자들의 종합적인 언어 습관이나 감정상태 변화에 대한 정보들을 분석하는데 이용될 수 있고, 앞서 언급한 바와 같이 각각의 헤어웨어 사용자가 미래에 어떠한 모습을 가질지 예측하는데 유용한 자료가 될 수 있다.
도 4에 사용자 언어 및 감정 인식 시스템은 본 발명의 제2 실시 예에 따른 헤어웨어(400)를 이용하는 시스템으로, 도 3에 도시된 시스템과 동일하게 외부 관리장치(410)를 포함한다. 다만, 본 발명의 제2 실시 예에 따른 헤어웨어(400)는 자체에서 사용자의 음성신호를 분석하여 해당 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정 상태를 인식하고 그 인식된 결과를 외부로 제공할 수 있는 구성요소들을 구비하고 있으므로, 외부 관리장치(410)는 본 발명의 제2 실시 예에 따른 헤어웨어(400)에서 송신되는 상기 인식 결과를 수신하여 내부 또는 외부 데이터베이스(420)에 저장 및 관리하는 동작을 수행한다.
상기 도 3 및 도 4에 도시된 사용자 언어 및 감정 인식 시스템은 헤어웨어 사용자들을 대상으로 그들이 사용하는 언어에 대한 정보 및 그들의 감정상태에 대한 정보를 수집 및 관리해 준다. 그에 따라, 현재 사용하는 언어습관이나 감정상태의 변화를 바탕으로 각각의 헤어웨어 사용자가 미래에 어떠한 모습을 가질지 예측하는데 활용될 수 있는 유용한 데이터베이스를 구축 가능하게 할 것이다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
[부호의 설명]
100, 200 : 골전도 감지부
110, 210 : 음성 식별부
120, 220 : 저장수단
130, 240 : 무선 송신기
230 : 언어 및 감정 인식부
300, 400 : 헤어웨어
310, 410 : 외부 관리장치
320, 420 : 데이터베이스(DB)
Claims (5)
- 사용자의 두부(頭部)에 대응되도록 구형(球形)의 형태로 형성되며 내부 구조물을 통해서 사용자의 두상이 볼륨-업되거나 소형의 전자장치가 외부에 노출되지 않은 채 설치될 수 있는 내부 공간이 확보된 헤어웨어에 있어서,사용자의 두부에 부착되어 골전도 신호를 감지하는 골전도 감지부;상기 골전도 감지부에서 감지한 골전도 신호를 디지털 신호로 변환하여, 기설정된 기 설정된 사용자의 음성신호 패턴과 일치하는 음성신호만을 식별하는 음성 식별부;상기 음성 식별부에서 식별한 상기 음성신호를 저장하는 저장수단을 포함하고,상기 골전도 감지부, 상기 음성 식별부, 및 상기 저장수단은 상기 헤어웨어에 확보된 내부 공간에 설치된 것을 특징으로 하는 음성 인식 기능을 구비한 헤어웨어.
- 제1 항에 있어서,상기 저장수단에 저장된 상기 음성신호를 무선 통신을 통해 외부 관리장치로 송신하는 무선 송신기를 더 포함하고,상기 무선 송신기, 역시 상기 헤어웨어에 확보된 내부 공간에 설치되는, 음성 인식 기능을 구비한 헤어웨어.
- 제2 항에 따른 헤어웨어; 및상기 헤어웨어로부터 송신되는 상기 음성신호를 수신하여 내부 또는 외부 데이터베이스에 저장 및 관리하고, 상기 데이터베이스에 저장된 음성신호를 분석하여 해당 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정상태를 인식하고 그 인식 결과를 해당 음성신호에 매칭시켜 상기 데이터베이스에 저장 및 관리하는 외부 관리장치를 포함하는 , 사용자 언어 및 감정 인식 시스템.
- 제1 항에 있어서,상기 저장수단에 저장된 상기 음성신호를 분석하여 상기 사용자가 사용하는 언어에 대한 정보 및 상기 사용자의 감정상태를 인식하는 언어 및 감정 인식부; 및상기 언어 및 감정 인식부에서 인식된 결과를 무선 통신을 통해 외부 관리장치로 송신하는 무선 송신기를 더 포함하고,상기 언어 및 감정 인식부와 상기 무선 송신기, 역시 상기 헤어웨어에 확보된 내부 공간에 설치되는, 음성 인식 기능을 구비한 헤어웨어.
- 제4항에 따른 헤어웨어; 및상기 헤어웨어로부터 송신되는 상기 사용자가 사용하는 언어에 대한 인식 결과 및 상기 사용자의 감정상태에 대한 인식 결과를 수신하여 내부 또는 외부 데이터베이스에 저장 및 관리하는 외부 관리장치를 포함하는, 사용자 언어 및 감정 인식 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160070115A KR101757426B1 (ko) | 2016-06-07 | 2016-06-07 | 음성 녹음 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템 |
| KR10-2016-0070115 | 2016-06-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017213411A1 true WO2017213411A1 (ko) | 2017-12-14 |
Family
ID=59653876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2017/005900 WO2017213411A1 (ko) | 2016-06-07 | 2017-06-07 | 음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101757426B1 (ko) |
| WO (1) | WO2017213411A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0562524U (ja) * | 1992-01-29 | 1993-08-20 | 小林演劇かつら株式会社 | かつら装置 |
| KR200363949Y1 (ko) * | 2004-06-28 | 2004-10-11 | 민준기 | 다목적 안경 |
| US20130311132A1 (en) * | 2012-05-16 | 2013-11-21 | Sony Corporation | Wearable computing device |
| KR20150066407A (ko) * | 2013-12-06 | 2015-06-16 | 주식회사 씨크릿우먼 | 두상 성형 또는 공간 형성을 위한 보조장치를 구비한 헤어웨어 |
| KR20150137307A (ko) * | 2014-05-29 | 2015-12-09 | 경북대학교 산학협력단 | 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체 |
-
2016
- 2016-06-07 KR KR1020160070115A patent/KR101757426B1/ko active IP Right Grant
-
2017
- 2017-06-07 WO PCT/KR2017/005900 patent/WO2017213411A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0562524U (ja) * | 1992-01-29 | 1993-08-20 | 小林演劇かつら株式会社 | かつら装置 |
| KR200363949Y1 (ko) * | 2004-06-28 | 2004-10-11 | 민준기 | 다목적 안경 |
| US20130311132A1 (en) * | 2012-05-16 | 2013-11-21 | Sony Corporation | Wearable computing device |
| KR20150066407A (ko) * | 2013-12-06 | 2015-06-16 | 주식회사 씨크릿우먼 | 두상 성형 또는 공간 형성을 위한 보조장치를 구비한 헤어웨어 |
| KR20150137307A (ko) * | 2014-05-29 | 2015-12-09 | 경북대학교 산학협력단 | 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101757426B1 (ko) | 2017-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108735219B (zh) | 一种声音识别控制方法及装置 | |
| US7707035B2 (en) | Autonomous integrated headset and sound processing system for tactical applications | |
| US9424842B2 (en) | Speech recognition system including an image capturing device and oral cavity tongue detecting device, speech recognition device, and method for speech recognition | |
| CN109660899B (zh) | 计算机可读存储介质和应用该介质的骨声纹检测耳机 | |
| CN111432303B (zh) | 单耳耳机、智能电子设备、方法和计算机可读介质 | |
| TWI383377B (zh) | 多重感測語音辨識系統及方法 | |
| WO2019125084A1 (en) | Systems and methods for biometric user authentication | |
| WO2019190071A1 (ko) | 호흡 질환 진단 장치 및 방법 | |
| WO2021054742A1 (ko) | 호흡과 관련된 소리를 분석하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| WO2004021738A1 (ja) | マイクロフォン、コミュニケーションインタフェースシステム | |
| WO2015111771A1 (ko) | 음주 판별 방법, 이를 수행하기 위한 기록매체 및 단말기 | |
| WO2020045789A1 (ko) | 반려동물의 감정 상태 감지 시스템 및 방법 | |
| WO2022124452A1 (ko) | 딥러닝 알고리즘을 이용한 소음 제거 방법 및 장치 | |
| CN110097875A (zh) | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 | |
| CN113397494A (zh) | 动物体征监测装置和方法及智能可穿戴装置 | |
| US8983843B2 (en) | Motion analyzer having voice acquisition unit, voice acquisition apparatus, motion analysis system having voice acquisition unit, and motion analysis method with voice acquisition | |
| KR102037789B1 (ko) | 로봇을 이용한 수화통역시스템 | |
| WO2017213411A1 (ko) | 음성 인식 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템 | |
| WO2021256889A1 (ko) | 오디오 인식을 활용한 라이프로그 장치 및 그 방법 | |
| CN110956949B (zh) | 一种口含式缄默通信方法与系统 | |
| Jin et al. | TransASL: A Smart Glass based Comprehensive ASL Recognizer in Daily Life | |
| CN111415442A (zh) | 一种门禁控制方法、电子设备及存储介质 | |
| WO2018147654A1 (ko) | 펫 동작 구분 방법 및 이를 이용하는 장치 | |
| CN108174030B (zh) | 定制化语音控制的实现方法、移动终端及可读存储介质 | |
| CN113039601A (zh) | 一种语音控制方法、装置、芯片、耳机及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17810534 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17810534 Country of ref document: EP Kind code of ref document: A1 |