KR20210034459A - 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 - Google Patents
뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 Download PDFInfo
- Publication number
- KR20210034459A KR20210034459A KR1020200019508A KR20200019508A KR20210034459A KR 20210034459 A KR20210034459 A KR 20210034459A KR 1020200019508 A KR1020200019508 A KR 1020200019508A KR 20200019508 A KR20200019508 A KR 20200019508A KR 20210034459 A KR20210034459 A KR 20210034459A
- Authority
- KR
- South Korea
- Prior art keywords
- music
- sound
- user
- eeg
- brain
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims description 89
- 238000005259 measurement Methods 0.000 claims description 30
- 238000013145 classification model Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 230000001939 inductive effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000005153 frontal cortex Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치에 관한 것으로, 특히 음악 상상을 통해 획득한 뇌파를 기반으로 사용자가 검색 및 재생하고 싶은 음악을 직관적으로 추론하여 음계 및 가사로 출력하는 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치에 관한 것이다.
Description
본 발명은 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치에 관한 것으로, 더욱 상세하게는 음악 상상을 통해 획득한 뇌파를 기반으로 사용자가 검색 및 재생하고 싶은 음악을 직관적으로 추론하여 음계 및 가사로 출력하는 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치에 관한 것이다.
뇌파(brain-wave)는 우리 몸의 신경계와 뇌신경 사이의 정보가 전달될 때 발현되는 전기적 신호로써, 특히 비침습적 방법을 활용하는 뇌파는 별도의 외과적 수술 없이 두피에 부착된 전극을 통해 측정 가능하고 뇌의 실시간 활동을 측정할 수 있어서 사용자의 의도를 파악할 수 있는 중요한 도구가 되고 있다.
비침습 뇌-기계 인터페이스란 두피에서 측정된 뇌파를 통해 사용자의 의도를 인식하여 외부 기계를 제어하는 인터페이스 기술로, 보통은 의료 분야에서 신체가 자유롭지 못하거나 마비된 환자를 위한 기구제어나 의사소통에 사용되어 왔다.
그러나 최근에는 뇌파 분석 기술의 발달로 인하여 일반인들의 일상 생활 보조 서비스 개발을 비롯하여 다양한 분야에서도 상술한 비침습 뇌-기계 인터페이스가 적용되고 있는 추세이다.
특히 음악 상상(Music imagery) 기반의 뇌-컴퓨터 인터페이스는 별도의 외부 자극이 없이도 직관적으로 사용자가 음악을 검색 및 재생하고자 하는 바를 인식하는 것이 가능하여 그 활용도가 높다.
이러한 음악 상상은 뇌의 좌측 하부 전두 피질, 좌측 측두 피질, 전 운동피질영역, 보조운동영역을 활성화시키며, 이를 이용하여 음악 상상에 따른 사용자의 의도를 파악하는 것이 가능하다.
예컨대, 실제 소리를 내지 않고 가사를 말하는 것, 허밍 하는 것, 그리고 음악을 듣는 것을 상상하는 것으로 발생하는 뇌파를 이용하여 사용자가 검색 및 재생하고자 하는 바를 인식할 수 있게 한다.
한편, 음악 정보 검색(Music Information Retrieval, MIR)은 다른 정보 없이 음악 파일만 가지고 장르, 리듬, 템포, 코드 등 그 음악이 가지고 있는 다양한 정보를 추출해내는 기술이다.
최근의 음악 서비스는 디지털화된 상태로 제작, 유통 및 감상이 이루어지기 때문에 자연히 기존 소비자들이 원하는 음악 서비스의 양상이 달라졌다. 대표적인 예로 스트리밍, 음악 추천, 사용자 참여형 감상 및 편집 등이 있다. 결과적으로 음악 서비스의 양적 증가 및 다양화에 힘입어 음악 정보 검색도 주목받고 있다.
그럼에도 현재 사용되고 있는 뇌-컴퓨터 인터페이스 기반의 사용자 의도 인식 방식은 신체의 특정 부위의 움직임 상상(Motor Imagery, MI)이나 외부 자극에 의한 사건 관련 전위(Event Related Potential, ERP) 등 의사소통의 요소와 관련되지 않은 특징을 이용하여 다소 직관적이지 않은 양상을 지니는 문제가 있다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 음악 상상을 통해 획득되며 사용자의 의도를 포함하는 뇌파를 기반으로 사용자가 검색 및 재생하고 싶은 음악을 직관적으로 추론하여 음계 및 가사로 출력하는 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치를 제공하고자 한다.
이를 위해, 본 발명에 따른 뇌파 기반 음악 검색방법은 사용자의 의도를 포함하는 뇌파를 기반으로 음악을 검색하는 것으로, 음악 샘플 제공부에서 음악 상상 의도를 포함하는 뇌파를 유발시키기 위한 음악 소리를 제공하는 음악 샘플 제공단계와; 측정 센서에서 상기 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파를 측정하여 측정 데이터 저장부에 저장하는 뇌파 측정단계와; 모델 학습부에서 상기 음악 상상 뇌파 및 음악 소리의 음파에 대한 특징 분석을 통해 뇌파 분석모델을 학습하는 모델 학습단계와; 측정 센서에서 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 측정하고, 실시간으로 사용자가 의도하는 음악을 인식하는 검색 뇌파 입력단계와; 음악 생성 의도 인식부에서 상기 뇌파 분석모델을 이용하여 상기 검색 뇌파 측정단계에서 측정된 음악 상상 관련 뇌파를 특정하는 검색 결정단계; 및 음악 정보 검색부에서 상기 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하는 음악 검색단계;를 포함하는 것을 특징으로 한다.
또한, 음악 재생부에서 상기 검색된 음악을 재생하는 음악 재생단계를 더 포함하는 것이 바람직하다.
또한, 상기 음악 재생단계에서 음악 재생 중 오류 관련 전위(Event-related Potential)가 발생하면 상기 검색 결정단계로 되돌아가 검색된 음악 중 후보군에 포함되어 있는 음악을 재생하는 것이 바람직하다.
또한, 상기 음악 샘플 제공단계는 사용자에게 제시할 음악 소리 파일을 음악 소리 DB에 저장하는 샘플 저장단계; 및 음악 소리 생성부에서 상기 음악 소리 DB에 저장된 음악 소리를 생성하여 사용자에게 제공하는 샘플 재생단계;를 포함하되, 상기 샘플 저장단계에서 사용자에게 제공될 다수의 후보 음악 소리를 저장하되, 상기 후보 음악 소리는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리 중 어느 하나 이상을 포함하는 것이 바람직하다.
또한, 상기 뇌파 측정단계는 사용자에게 제공된 음악 소리의 음파와 관련된 사용자의 뇌파로써, 음악 소리를 사용자가 들을 때 발생되는 뇌파 및 사용자가 음악을 직접 부를 때 발생되는 뇌파 중 어느 하나 이상이 측정되는 것이 바람직하다.
또한, 상기 모델 학습단계는 입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출하는 전처리단계와; 상기 전처리된 음파 및 뇌파의 파형 특징을 추출하는 특징추출단계와; 상기 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 하는 분류모델 학습단계; 및 음악 상상시의 뇌파와 유사한 파형을 가지는 음계 단위의 음파를 생성하는 생성모델 학습단계;를 포함하는 것이 바람직하다.
또한, 상기 검색 결정단계는 사용자가 의도한 음악 상상 뇌파가 상기 학습된 분류모델의 데이터베이스에 존재하는지 판단하는 단계; 및 상기 사용자가 의도한 음악 상상 뇌파가 상기 학습된 분류모델의 데이터베이스에 존재하지 않는 경우 상기 생성모델을 통해 유사한 파형을 생성하는 단계;를 포함하는 것이 바람직하다.
한편, 본 발명에 따른 직관적 뇌-컴퓨터 인터페이스 장치는 이상과 같은 뇌파 기반 음악 검색방법을 위한 것으로, 음악 상상 의도를 포함하는 뇌파를 유발시키기 위한 음악 소리를 제공하는 음악 샘플 제공부와; 상기 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파 데이터를 저장하는 측정 데이터 저장부와; 상기 음악 상상 뇌파 및 음악 소리의 음파에 대한 특징 분석을 통해 뇌파 분석모델을 학습하는 모델 학습부와; 상기 뇌파 분석모델을 이용하여 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 특정하는 음악 생성 의도 인식부; 및 상기 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하는 음악 정보 검색부;를 포함하는 것을 특징으로 한다.
이때, 상기 음악 샘플 제공부는 사용자에게 제시할 음악 소리 파일을 저장하는 음악 소리 DB; 및 상기 음악 소리 DB에 저장된 음악 소리를 생성하여 사용자에게 제공하는 음악 소리 생성부;를 포함하되, 상기 음악 소리 DB에는 사용자에게 제공될 다수의 후보 음악 소리를 저장하되, 상기 후보 음악 소리는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리 중 어느 하나 이상을 포함하는 것이 바람직하다.
또한, 상기 모델 학습부는 입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출하는 전처리부와; 상기 전처리된 음파 및 뇌파의 파형 특징을 추출하는 특징 추출부; 및 상기 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 하는 분류모델과 음악 상상시의 뇌파와 유사한 파형을 가지는 음계 단위의 음파를 생성하는 생성모델의 학습을 위한 학습부;를 포함하는 것이 바람직하다.
이상과 같은 본 발명은 뇌파로 음악 상상을 인식하고 사용자가 의도한 음악을 검색 및 재생함으로써 생각만으로 사용자의 의도 전달이 가능한 직관적 뇌-컴퓨터 인터페이스 장치 및 방법을 제공한다.
또한 별도의 외부 자극 없이 음악을 상상할 때 발현되는 관련 뇌파만을 이용하기 때문에 높은 신뢰성과 정확도를 얻을 수 있으며, 인식된 가사 및 음계들의 조합으로 음악을 검색하므로 더욱 빠른 속도로 사용자의 의도를 인식할 수 있다.
또한 사용자 의도 인식 결과를 소리의 형태로 출력할 수 있기에 높은 자유도로 다방면에 활용될 수 있는 뉴럴 엔터테인먼트 뇌-컴퓨터 인터페이스 시스템을 제공하는 것이 가능하다.
도 1은 본 발명에 따른 뇌파 기반 음악 검색을 위한 뇌-컴퓨터 인터페이스 장치를 나타낸 구성도이다.
도 2는 본 발명의 음악 샘플 제공부를 나타낸 구성도이다.
도 3은 본 발명의 모델 학습부를 나타낸 구성도이다.
도 4는 본 발명에 따른 뇌파 기반 음악 검색방법을 나타낸 흐름도이다.
도 5는 본 발명의 음악 샘플 제공단계에서 측정 대상을 나타낸 구성도이다.
도 2는 본 발명의 음악 샘플 제공부를 나타낸 구성도이다.
도 3은 본 발명의 모델 학습부를 나타낸 구성도이다.
도 4는 본 발명에 따른 뇌파 기반 음악 검색방법을 나타낸 흐름도이다.
도 5는 본 발명의 음악 샘플 제공단계에서 측정 대상을 나타낸 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치에 대해 상세히 설명한다.
먼저, 본 발명에 따른 뇌파 기반 음악 검색 방법에 대한 설명에 앞서 이를 구현하는 바람직한 일 실시예로써의 직관적 뇌-컴퓨터 인터페이스 장치에 대해 설명한다.
이러한 본 발명은 사용자의 의도를 포함한 뇌파를 기반으로 음악 검색 및 재생을 해주는 직관적 뇌-컴퓨터 인터페이스를 제공한다. 또한, 음악 상상을 통해 획득한 뇌파를 기반으로 사용자가 검색 및 재생하고 싶은 음악을 직관적으로 추론하여 음계 및 가사로 출력한다.
이를 위해, 도 1과 같이 본 발명에 따른 직관적 뇌-컴퓨터 인터페이스 장치(100)는 음악 샘플 제공부(110), 측정 데이터 저장부(120), 모델 학습부(130), 음악 생성 의도 인식부(140) 및 음악 정보 검색부(150)를 포함한다.
다른 실시예로 음악 재생부(160)를 더 포함하며, 음악 샘플 제공부(110)는 음악 소리 DB(111) 및 음악 소리 생성부(112)를 포함한다. 모델 학습부(130)는 전처리부(131), 특징 추출부(132) 및 분류모델과 생성모델을 위한 학습부(133)를 포함한다.
여기서, 음악 샘플 제공부(110)는 사용자가 음악 상상 의도를 포함하는 뇌파를 유발시킬 수 있도록 음악 소리를 제공한다. 데이터베이스 구축을 위해 사용자에는 뇌파를 이용한 검색 요청자 이외에 다른 제3자도 포함할 수 있다.
아래에서 다시 설명하는 바와 같이, 사용자의 의도를 포함하는 뇌파를 학습하여 이를 분류하고 음계 단위의 음파를 생성하기 위해 본 발명은 가사가 있는 음악, 허밍 하는 것 및 음악을 듣는 것 등을 상상할 때의 뇌파를 이용한다.
또한, 음악을 들을 때나 음악을 부를 때의 뇌파를 이용하여 이들 뇌파를 음악 소리의 음파와 대비하여 뇌파를 음파에 대응시키고, 음파와 유사한 유효 데이터를 생성하도록 디코딩한다.
따라서, 음악 샘플 제공부(110)에서 제공되는 음악 소리는 그에 대응하는 뇌파를 유발시키고, 나아가 음악을 떠올리거나 음악을 검색하려는 유의미한 사용자의 의도와 직결되어 이를 학습할 수 있게 한다.
좀더 구체적으로, 도 2와 같이 음악 샘플 제공부(110)는 사용자에게 제시할 음악 소리 파일을 저장하는 음악 소리 DB(DataBase, 111) 및 상기 음악 소리 DB(111)에 저장된 음악 소리를 생성하여 사용자에게 제공하는 음악 소리 생성부(112)를 포함한다.
특히, 음악 소리 DB(111)에는 사용자에게 제공될 다수의 후보 음악 소리를 저장한다. 후보 음악 소리는 사용자가 지정한 여러개의 음악 소리, 자주 사용되는 여러 개의 음악 소리 및 임의로 설정된 여러개의 음악 소리가 저장될 수 있다.
측정 데이터 저장부(120)는 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파 데이터를 저장한다. 이를 위해 측정 데이터 저장부(120)는 인체의 두피에 부착되는 전극 센서와 같은 뇌파 측정기(121)에 연결되어 신호처리된 뇌파 데이터를 저장한다.
측정 데이터 저장부(120)에 저장되는 뇌파 데이터는 음악 샘플 제공부(110)에서 제공된 음악 소리의 음파와 함께 저장될 수 있으며, 저장된 뇌파 데이터는 해당 음파와 관련이 있거나 대응되는 뇌파로 기록된다.
따라서, 사용자의 음악 상상 뇌파와 더불어 사용자에게 제공한 음악 소리의 음파 및 해당 소리를 들을 때의 뇌파를 측정하고 디지털 신호로 변환하여 데이터베이스를 구축하게 된다. 다만, 뇌파 측정시 사용자가 직접 부를 때의 뇌파 역시 측정하여 디지털 신호로 변환 후 저장할 수도 있다.
모델 학습부(130)는 음악 상상 뇌파(brain wave) 및 음악 소리의 음파(sound wave)에 대한 특징 분석을 통해 뇌파 분석모델을 학습한다. 따라서 사용자에게서 발생된 뇌파가 음악 검색을 상상하여 발생된 뇌파인지 판독할 수 있게 한다.
획득한 음파와 뇌파의 특징 분석을 통하여 후술하는 사용자 음악 생성 의도 분류모델을 학습한다. 즉, 전처리된 음파와 뇌파로부터 특징을 추출하여 이를 기반으로 사용자의 음악 생성 의도 분류모델을 학습한다.
이를 위해, 모델 학습부(130)는 도 3과 같이 획득한 뇌파와 음파의 특징 분석을 통하여 사용자의 단어 생성 의도 분류모델을 생성하도록 전처리부(131), 특징 추출부(132) 및 분류모델과 생성모델 학습을 위한 학습부(133)를 포함한다.
그 중 전처리부(131)는 입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출한다. 음파 및 뇌파의 잡음 제거를 위해 중요 정보가 포함된 대역 이외의 신호를 필터링하고, 유의미한 대역의 뇌파만을 추출한다.
특징 추출부(132)는 전처리된 음파 및 뇌파의 파형 특징을 추출하는 것으로, 공통공간패턴(CSP), 웨이블릿 변환(Wavelet Transform), 주성분분석법(PCA) 등의 특징 추출 기법을 통하여 음악 생성(검색) 의도를 포함한 뇌파에 대해 음악 소리의 음파와 관련 있는 특징을 추출한다.
학습부(133) 중 분류모델 학습부는 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 한다. 예컨대 선형판별분석법(LDA), 랜덤 포레스트(Random Forest) 및 인공신경망(ANN) 등의 분류 방법을 통하여 분류기를 학습한다. 학습된 분류기는 음악 검색시 어느 음악을 검색하는 뇌파인지 분류할 수 있게 한다.
학습부(133) 중 생성모델 학습부는 음악 상상시의 뇌파와 유사한 파형을 가지는 음계(scale) 단위의 음파를 생성한다. 즉, 음악 상상 뇌파와 음악을 들을 때나 음악을 부를 때 발생하는 뇌파의 엔벨롭(Envelop)을 추출하여 이들 사이의 상관관계를 통해 유사한 파형을 생성한다.
이와 같이 생성된 유사한 파형은 뇌파를 음악 소리의 음파에 대응하는 파형으로 치환 혹은 변환한 것으로, 본 발명은 음파와 유사하게 변환된 사용자 의도 뇌파 정보를 이용하여 음악을 검색하고 재생할 수 있게 한다.
음악 생성 의도 인식부(140)는 뇌파 분석모델을 이용하여 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 특정하는 것으로, 뇌파 분석모델을 통해 측정된 뇌파로부터 가사 및 음계들을 인식한다.
뇌파로부터 인식되는 가사 및 음계는 상술한 바와 같이 측정된 뇌파 파형들을 음파에 대응하는 유사 파형으로 변환하고 이로부터 대비 가능한 가사 및 음계를 추출하는 방법으로 인식이 가능하다.
이때, 음악 생성 의도 분류모델에서는 학습을 목적으로 제공 및 저장된 뇌파 뿐만 아니라 새로이 음악 검색을 위해 측정된 음악 상상 뇌파로부터 학습된 분류모델을 통해 단어 생성 의도를 검출한다.
그 결과 사용자가 의도한 음악 상상이 분류모델의 데이터베이스에 존재하지 않을 경우, 즉 뇌파로부터 인식된 가사 및 음계가 분류모델에 존재하지 않을 경우에는 해당 모델을 적용할 수 없으므로, 그 대신 파형 생성모델을 통해 유사한 파형을 생성하고, 생성된 유사 파형으로 검색을 한다.
음악 정보 검색부(150)는 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하는 것으로, 위와 같이 뇌파를 특정하여 인식된 가사 및 음계들을 이용하여 그에 대응하는 음악을 검색한다.
즉, 음악 상상 뇌파를 분류모델을 통해 분류하고 이를 바탕으로 사용자의 의도를 파악하여 DB(DataBase)에서 음악을 검색한다. DB는 자체에 구비된 것은 물론 외부의 제3 서버에 구비된 DB도 포함한다.
위와 같이 검색된 음악은 음악 재생부(160)에 의해 재생된다. 이를 위해 음악 재생부(160)는 검색된 음악을 출력하는 하드웨어를 포함할 수 있으며, 음악 상상 뇌파를 통해 사용자가 의도한 것을 음악으로 출력하여 제공한다.
또한 음악 출력에 있어서 음악 생성은 음악 선택부로부터 생성된 음악 출력 및 특징 분석된 음악 상상 뇌파를 기반으로 생성기를 거쳐 생성된 음악의 출력을 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 뇌파 기반 음악 검색방법에 대해 상세히 설명한다.
본 발명은 사용자가 가사를 말하는 것을 상상할 때, 허밍 하는 것을 상상할 때 그리고 음악을 듣는 것을 상상할 때 발현되는 뇌파의 파형으로부터 이에 상응하는 소리의 파형을 추론한다.
또한, 뇌파로부터 생성된 음계 및 가사를 분류 및 재구성하여 완성된 음악을 출력한다. 따라서 사용자 의도를 포함하는 뇌파를 디코딩하여 생각만으로 음악 검색 및 재생을 가능하게 한다.
이를 위해, 본 발명에 따른 뇌파 기반 음악 검색방법은 음악 샘플 제공단계(S110), 뇌파 측정단계(S120), 모델 학습단계(S130), 검색 뇌파 입력단계(S140), 검색 결정단계(S150) 및 음악 검색단계(S160)를 포함하며, 바람직하게 사용자 의도에 적합한지 판단(S170)하고 음악을 재생하는 음악 재생단(S180)를 더 포함한다.
이때, 음악 샘플 제공단계(S110)에서는 음악 상상 의도를 포함하는 뇌파를 유발시키기 위한 음악 소리를 제공한다. 음악 소리의 제공은 검색 단말기이나 PC 등에 구현된 뇌-컴퓨터 인터페이스 장치의 음악 샘플 제공부(110)에서 제공된다.
음악 소리로 인해 유발된 뇌파 측정은 사용자의 의도를 포함하는 뇌파를 학습하여 이를 분류하고 음계 단위의 음파를 생성한다.
이에, 도 5에 실시예로써 도시된 바와 같이 본 발명은 가사가 있는 음악, 허밍 하는 것 및 음악을 듣는 것 등을 상상할 때의 뇌파를 측정한다.
또한, 음악을 들을 때나 음악을 부를 때의 뇌파를 측정하여, 위에서 설명한 상상할 때의 뇌파 및 음악 소리의 음파와 함께 저장한다. 다만, 소리내어 부르는 것이 어려운 환자들을 대상으로 사용되는 경우에는 직접 발화할 때의 뇌파는 선택적으로 적용할 수 있다.
따라서, 음악 샘플 제공부(110)에서 제공되는 음악 소리는 그에 대응하는 뇌파를 유발시키게 된다. 특히 음악을 떠올리거나 음악을 검색하려는 유의미한 사용자의 의도와 직결되어 이를 학습할 수 있게 한다.
구체적으로, 음악 샘플 제공단계(S110)는 사용자에게 제시할 음악 소리 파일을 음악 소리 DB(111)에 저장하는 샘플 저장단계 및 음악 소리 생성부(112)에서 상기 음악 소리 DB(111)에 저장된 음악 소리를 생성하여 사용자에게 제공하는 샘플 재생단계를 포함한다.
샘플 저장단계에서는 사용자에게 제공될 다수의 후보 음악 소리를 저장한다. 후보 음악 소리는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리를 포함할 수 있다.
바람직하게는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리 중 적어도 어느 하나 이상을 포함하여 제공하고, 이를 통해 뇌파를 유발시킬 수 있다.
다음, 뇌파 측정단계(S120)에서는 측정 센서(121)에서 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파를 측정하여 측정 데이터 저장부(120)에 저장함으로써 데이터베이스를 구축할 수 있게 한다.
제공된 음악 소리로 인해 유발된 사용자의 뇌파를 측정하기 위해, 사용자는 먼저 뇌파 측정 장치를 착용한 상태에서 음악 소리를 청취하고 사용자의 의도가 담겨 있는 음악 상상 관련 뇌파를 측정한다.
위와 같은 음악 상상과 관련된 뇌파는 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파에 해당하는 것으로 측정 데이터 저장부(120)에 저장된다.
측정 데이터 저장부(120)에 저장되는 뇌파 데이터는 음악 샘플 제공부(110)에서 제공된 음악 소리의 음파와 함께 저장되며, 저장된 뇌파 데이터는 해당 음파와 관련이 있거나 대응되는 뇌파로 기록된다.
따라서, 사용자의 음악 상상 뇌파와 더불어 사용자에게 제공한 음악 소리의 음파와 해당 소리를 들을 때의 뇌파를 측정하고 디지털 신호로 변환하여 데이터베이스를 구축하게 된다. 이때, 사용자가 직접 부를 때의 뇌파 역시 측정하여 디지털 신호로 변환 후 저장할 수도 있다.
다음, 모델 학습단계(S130)에서는 음악 상상 뇌파 및 음악 소리의 음파에 대한 특징 분석을 통해 뇌파 분석모델을 학습한다. 학습은 뇌-컴퓨터 인터페이스 장치의 모델 학습부(130)에서 이루어진다. 따라서 사용자에게서 발생된 뇌파가 음악 검색을 상상하여 발생된 뇌파인지 판독할 수 있게 한다.
획득한 음파와 뇌파의 특징 분석을 통하여 후술하는 사용자의 음악 생성 의도 분류모델을 학습하고, 전처리된 음파와 뇌파로부터 특징을 추출하여 이를 기반으로 사용자의 음악 생성 의도 분류모델을 학습한다.
이를 위해, 모델 학습단계(S130)는 전처리단계, 특징추출단계, 분류모델 학습단계 및 생성모델 학습단계의 진행을 통해 구현도리 수 있다.
전처리단계에서는 입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출한다. 즉, 중요 정보가 포함된 대역 이외의 신호를 필터링하고 유의미한 대역의 뇌파만을 추출한다. 일 예로 주변 소음이나 DC 전원에 의해 잡음 등의 영향을 최소화하기 위해 0.5~50 Hz 대역으로 주파수 필터링한다.
특징추출단계에서는 전처리된 음파 및 뇌파의 파형 특징을 추출한다. 특징 추출을 위해 공통공간패턴, 웨이블릿 변환, 주성분분석법 등의 특징 추출 기법을 통하여 음악 생성(검색) 의도를 포함한 뇌파에 대해 음악 소리의 음파와 관련 있는 특징을 추출한다.
분류모델 학습단계에서는 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 한다. 예컨대 선형판별분석법, 랜덤 포레스트 및 인공신경망 등의 분류 방법을 통하여 분류기를 학습한다. 학습된 분류기는 음악 검색시 어느 음악을 검색하는 뇌파인지 분류할 수 있게 한다.
생성모델 학습단계에서는 음악 상상시의 뇌파와 유사한 파형을 가지는 음계 단위의 음파를 생성한다. 예컨대, 음악 상상 뇌파와 음악을 들을 때나 음악을 부를 때 발생하는 뇌파의 엔벨롭을 추출하여 이들 사이의 상관관계를 통해 유사한 파형을 생성한다.
이와 같이 생성된 유사한 파형은 뇌파를 음악 소리의 음파에 대응하는 파형으로 치환 혹은 변환한 것으로, 본 발명은 음파와 유사하게 변환된 사용자 의도 뇌파 정보를 이용하여 음악을 검색하고 재생할 수 있게 한다.
다음, 검색 뇌파 입력단계(S140)에서는 측정 센서(121)로 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 측정하고, 사용자가 의도하는 음악을 인식한다. 따라서, 후술하는 음악 생성 의도를 파악할 수 있게 한다.
이를 위해 사용자가 의도하는 음악 소리를 상상할 때 나타나는 뇌파를 실시간으로 측정하고, 이후 학습된 디코딩 모델(즉, 분석모델)을 기반으로 사용자가 의도하는 음악을 인식하는 단계를 거친다.
다음, 검색 결정단계(S150)에서는 뇌파 분석모델을 이용하여 검색 뇌파 측정단계(S120)에서 측정된 음악 상상 관련 뇌파를 특정한다. 특정은 뇌-컴퓨터 인터페이스 장치의 음악 생성 의도 인식부(140)에서 진행되며, 뇌파로부터 검색 대상을 추출한다.
뇌파의 특정은 학습을 통해 구축되는 분류모델에 따라 뇌파를 분류하거나 생성모듈을 통해 뇌파에 대응하는 유사한 파형의 음계 단위 음파를 생성하는 것을 통해 이루어진다. 즉, 분류 및/또는 생성을 통해 뇌파 특정이 이루어진다.
이에 음악 생성 의도 인식부(140)는 뇌파 분석모델을 이용하여 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 특정하며, 뇌파 분석모델을 통해 측정된 뇌파로부터 가사 및 음계들을 인식한다.
이 단계에서 우선적으로 사용자가 의도했을 것이라 추정되는 음악들이 학습된 분류모델에 의해 분류된다. 이때 사용자가 의도한 음악이 학습된 분류모델의 데이터베이스에 존재하는지 판단(S151)하고, 그 결과 존재하지 않을 경우에는 학습된 음파 생성모델을 통해 사용자가 의도한 음악 상상 뇌파로부터 유사한 파형을 가진 음악을 생성(S152)한다.
뇌파로부터 인식되는 가사 및 음계는 상술한 바와 같이 측정된 뇌파 파형들을 음파에 대응하는 유사 파형으로 변환하고 이로부터 대비 가능한 가사 및 음계를 추출하는 방법으로 인식이 가능하다.
이를 위해 검색 결정단계(S150)는 사용자가 의도한 음악 상상 뇌파가 학습된 분류모델의 데이터베이스에 존재하는지 판단하는 단계 및 학습된 분류모델의 데이터베이스에 존재하지 않는 경우 생성모델을 통해 유사한 파형을 생성하는 단계를 포함하는 것이다.
다음, 음악 검색단계(S160)에서는 검색 기능을 갖는 음악 정보 검색부(150)에서 위와 같이 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색한다. 일 예로 검색은 음악 관련 어플리케이션이나 대용량 음악 DB 등을 통해 이루어질 수 있다.
이러한 음악 검색단계(S160)는 음악 정보 검색부(150)에서 실행된다. 음악 정보 검색부(150)는 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하기 위해 뇌파를 특정하여 인식된 가사 및 음계를 이용하여 그에 대응하는 음악을 검색한다.
즉, 음악 상상 뇌파를 모델을 통해 분류하고 이를 바탕으로 사용자의 의도를 파악하여 DB에서 음악을 검색한다. DB는 자체에 구비된 것은 물론 외부의 제3 서버에 구비된 DB도 포함한다.
다음, 음악 재생단계(S180)에서는 음악 재생부(160)를 통해 검색된 음악을 재생한다. 이를 위해 음악 재생부(160)는 검색된 음악을 출력하는 하드웨어를 포함할 수 있으며, 음악 상상 뇌파를 통해 사용자가 의도한 것을 출력한다.\
음악 재생단계(S180)는 검색 결과가 사용자의 의도에 적합한지 판단(S170) 후 이루어질 수 있으며, 음악 생성은 음악 선택부로부터 생성된 음악 출력 및 특징 분석된 음악 상상 뇌파를 기반으로 생성기를 거쳐 생성된 음악의 출력을 포함할 수 있다.
다만, 음악 재생단계(S180)에서 음악 재생 중 오류 관련 전위(Event-related Potential)가 발생하면 상기한 검색 결정단계(S150)로 되돌아가 검색된 음악 중 후보군에 포함되어 있는 음악을 재생하는 것이 바람직하다.
이러한 경우, 사용자에게 출력되고 있던 해당 음악이 후보로 검색된 음악으로 교체된다. 음악의 교체는 분류모델에서 사용자가 의도한 음악이라고 선택된 음악을 제외하고 두 번째로 높은 확률을 가진 음악으로 변경된다.
이 때 베이즈 확률(bayes probability)에 의거하여 자연어처리 과정 중 앞, 뒤 음계 및 가사들의 관계를 고려하여 가장 적합한 음악으로 수정된다. 이러한 사용자 피드백을 통하여 음악 출력의 수정 및 보완 작업이 이루어진다.
다만 오류 관련 유발 전위를 이용하여 음악을 수정하는 단계는 본 발명에 있어 필수적인 구성 요소는 아니며, 선택적으로 적용될 수 있다. 이후 완성된 최종 음악은 검색 및 재생 단계를 거쳐 뇌-컴퓨터 인터페이스를 완성한다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
110: 음악 샘플 제공부
111: 음악 소리 DB
112: 음악 소리 생성부
120: 측정 데이터 저장부
130: 모델 학습부
131: 전처리부
132: 특징 추출부
133: 학습부(분류모델 학습부, 생성모델 학습부)
140: 음악 생성 의도 인식부
150: 음악 정보 검색부
160: 음악 재생부
111: 음악 소리 DB
112: 음악 소리 생성부
120: 측정 데이터 저장부
130: 모델 학습부
131: 전처리부
132: 특징 추출부
133: 학습부(분류모델 학습부, 생성모델 학습부)
140: 음악 생성 의도 인식부
150: 음악 정보 검색부
160: 음악 재생부
Claims (10)
- 사용자의 의도를 포함하는 뇌파를 기반으로 음악을 검색하는 뇌파 기반 음악 검색방법에 있어서,
음악 샘플 제공부(110)에서 음악 상상 의도를 포함하는 뇌파를 유발시키기 위한 음악 소리를 제공하는 음악 샘플 제공단계(S110)와;
측정 센서(121)에서 상기 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파를 측정하여 측정 데이터 저장부(120)에 저장하는 뇌파 측정단계(S120)와;
모델 학습부(130)에서 상기 음악 상상 뇌파 및 음악 소리의 음파에 대한 특징 분석을 통해 뇌파 분석모델을 학습하는 모델 학습단계(S130)와;
측정 센서(121)에서 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 측정하고, 실시간으로 사용자가 의도하는 음악을 인식하는 검색 뇌파 입력단계(S140)와;
음악 생성 의도 인식부(140)에서 상기 뇌파 분석모델을 이용하여 상기 검색 뇌파 측정단계(S120)에서 측정된 음악 상상 관련 뇌파를 특정하는 검색 결정단계(S150); 및
음악 정보 검색부(150)에서 상기 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하는 음악 검색단계(S160);를 포함하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제1항에 있어서,
음악 재생부(160)에서 상기 검색된 음악을 재생하는 음악 재생단계(S180)를 더 포함하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제2항에 있어서,
상기 음악 재생단계(S180)에서 음악 재생 중 오류 관련 전위(Event-related Potential)가 발생하면 상기 검색 결정단계(S150)로 되돌아가 검색된 음악 중 후보군에 포함되어 있는 음악을 재생하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제1항에 있어서,
상기 음악 샘플 제공단계(S110)는,
사용자에게 제시할 음악 소리 파일을 음악 소리 DB(111)에 저장하는 샘플 저장단계; 및
음악 소리 생성부(112)에서 상기 음악 소리 DB(111)에 저장된 음악 소리를 생성하여 사용자에게 제공하는 샘플 재생단계;를 포함하되,
상기 샘플 저장단계에서 사용자에게 제공될 다수의 후보 음악 소리를 저장하되, 상기 후보 음악 소리는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리 중 어느 하나 이상을 포함하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제1항에 있어서,
상기 뇌파 측정단계(S120)는,
사용자에게 제공된 음악 소리의 음파와 관련된 사용자의 뇌파로써, 음악 소리를 사용자가 들을 때 발생되는 뇌파 및 사용자가 음악을 직접 부를 때 발생되는 뇌파 중 어느 하나 이상이 측정되는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제1항에 있어서,
상기 모델 학습단계(S130)는,
입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출하는 전처리단계와;
상기 전처리된 음파 및 뇌파의 파형 특징을 추출하는 특징추출단계와;
상기 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 하는 분류모델 학습단계); 및
음악 상상시의 뇌파와 유사한 파형을 가지는 음계 단위의 음파를 생성하는 생성모델 학습단계;를 포함하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제6항에 있어서,
상기 검색 결정단계(S150)는,
사용자가 의도한 음악 상상 뇌파가 상기 학습된 분류모델의 데이터베이스에 존재하는지 판단하는 단계; 및
상기 사용자가 의도한 음악 상상 뇌파가 상기 학습된 분류모델의 데이터베이스에 존재하지 않는 경우 상기 생성모델을 통해 유사한 파형을 생성하는 단계;를 포함하는 것을 특징으로 하는 뇌파 기반 음악 검색방법. - 제1항 내지 제7항 중 어느 하나의 항과 같은 뇌파 기반 음악 검색방법을 위한 직관적 뇌-컴퓨터 인터페이스 장치에 있어서,
음악 상상 의도를 포함하는 뇌파를 유발시키기 위한 음악 소리를 제공하는 음악 샘플 제공부(110)와;
상기 음악 소리를 듣고 발생하는 사용자의 음악 상상 뇌파 데이터를 저장하는 측정 데이터 저장부(120)와;
상기 음악 상상 뇌파 및 음악 소리의 음파에 대한 특징 분석을 통해 뇌파 분석모델을 학습하는 모델 학습부(130)와;
상기 뇌파 분석모델을 이용하여 음악 검색을 요청하는 사용자의 의도가 포함된 뇌파를 특정하는 음악 생성 의도 인식부(140); 및
상기 특정된 음악 상상 관련 뇌파에 대응하는 사용자 의도 음악을 검색하는 음악 정보 검색부(150);를 포함하는 것을 특징으로 하는 직관적 뇌-컴퓨터 인터페이스 장치. - 제8항에 있어서,
상기 음악 샘플 제공부(110)는,
사용자에게 제시할 음악 소리 파일을 저장하는 음악 소리 DB(111); 및
상기 음악 소리 DB(111)에 저장된 음악 소리를 생성하여 사용자에게 제공하는 음악 소리 생성부(112);를 포함하되,
상기 음악 소리 DB(111)에는 사용자에게 제공될 다수의 후보 음악 소리를 저장하되, 상기 후보 음악 소리는 사용자가 지정한 여러 음악 소리, 자주 사용되는 여러 음악 소리 및 임의로 설정된 여러 음악 소리 중 어느 하나 이상을 포함하는 것을 특징으로 하는 직관적 뇌-컴퓨터 인터페이스 장치. - 제8항에 있어서,
상기 모델 학습부(130)는,
입력된 음파 및 뇌파의 잡음을 제거하고 설정된 대역을 추출하는 전처리부(131)와;
상기 전처리된 음파 및 뇌파의 파형 특징을 추출하는 특징 추출부(132); 및
상기 추출된 음파 및 뇌파의 파형 특징을 이용하여 특징별 분류를 하는 분류모델과 음악 상상시의 뇌파와 유사한 파형을 가지는 음계 단위의 음파를 생성하는 생성모델의 학습을 위한 학습부(133);를 포함하는 것을 특징으로 하는 직관적 뇌-컴퓨터 인터페이스 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190116338 | 2019-09-20 | ||
| KR20190116338 | 2019-09-20 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20210034459A true KR20210034459A (ko) | 2021-03-30 |
| KR102381117B1 KR102381117B1 (ko) | 2022-03-31 |
| KR102381117B9 KR102381117B9 (ko) | 2023-11-13 |
Family
ID=75265264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200019508A KR102381117B1 (ko) | 2019-09-20 | 2020-02-18 | 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102381117B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101553256B1 (ko) | 2014-03-06 | 2015-09-15 | 광주과학기술원 | Bci 시스템의 신뢰성 향상 방법 |
| KR101633743B1 (ko) | 2015-09-15 | 2016-07-01 | (주)핀테크솔루션 | 뇌파 기반의 기기 제어 장치, 시스템 및 방법 |
| KR20170082571A (ko) * | 2014-11-02 | 2017-07-14 | 엔고글 인크. | 스마트 오디오 헤드폰 시스템 |
-
2020
- 2020-02-18 KR KR1020200019508A patent/KR102381117B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101553256B1 (ko) | 2014-03-06 | 2015-09-15 | 광주과학기술원 | Bci 시스템의 신뢰성 향상 방법 |
| KR20170082571A (ko) * | 2014-11-02 | 2017-07-14 | 엔고글 인크. | 스마트 오디오 헤드폰 시스템 |
| KR101633743B1 (ko) | 2015-09-15 | 2016-07-01 | (주)핀테크솔루션 | 뇌파 기반의 기기 제어 장치, 시스템 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 인용발명 1: S.Hoefle et. al., "Identifying musical pieces from fMRI data using encoding and decoding models," Scientific Reports 8:2266, 2018.02.02.* * |
| 전성환 외 2인, "뇌파 데이터를 이용한 인터랙티브 사운드 콘텐츠 제작 연구," 한국정보처리학회 2016년 춘계학술발표대회 논문집, 제23권, 제1호, 2016.04.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102381117B9 (ko) | 2023-11-13 |
| KR102381117B1 (ko) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Miranda et al. | Guide to brain-computer music interfacing | |
| US20170339484A1 (en) | Smart audio headphone system | |
| Losorelli et al. | NMED-T: A Tempo-Focused Dataset of Cortical and Behavioral Responses to Naturalistic Music. | |
| Kabani et al. | Emotion based music player | |
| Nathan et al. | EMOSIC—An emotion based music player for Android | |
| Garg et al. | Machine learning model for mapping of music mood and human emotion based on physiological signals | |
| CN110742603A (zh) | 一种脑电波可听化精神状态检测方法及实现该方法的系统 | |
| Chen et al. | Design and implementation of human-computer interaction systems based on transfer support vector machine and EEG signal for depression patients’ emotion recognition | |
| Kaneshiro et al. | Neuroimaging Methods for Music Information Retrieval: Current Findings and Future Prospects. | |
| Kim et al. | Dual-function integrated emotion-based music classification system using features from physiological signals | |
| Zainab et al. | Emotion recognition based on EEG signals in response to bilingual music tracks. | |
| CN113143289A (zh) | 一种可互联互动的智能脑波音乐耳机 | |
| Wei et al. | A Review of Research on the Neurocognition for Timbre Perception | |
| KR102381117B1 (ko) | 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 | |
| WO2022180092A1 (fr) | Dispositif et procédé de modification d'un état émotionnel d'un utilisateur | |
| CN113220122A (zh) | 脑波音频处理方法、设备及系统 | |
| Zhang | Research and implementation of choreographer technique based on music feature extraction | |
| Morita et al. | Towards Music Information Retrieval driven by EEG signals: Architecture and preliminary experiments | |
| Merino Monge et al. | A preliminary study about the music influence on EEG and ECG signals | |
| Pozzi | Music emotion detection. A framework based on electrodermal activities | |
| CN111046854A (zh) | 一种脑电波外部识别方法、装置及系统 | |
| Tibo et al. | EEG-based decoding and recognition of imagined music | |
| CN112799505B (zh) | 一种基于脑电信号的音乐音调想象区分方法 | |
| Kaya | Computational and Perceptual Characterization of Auditory Attention | |
| WO2024009944A1 (ja) | 情報処理方法、記録媒体、及び情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |