KR102260010B1 - Sound source providing system and method for improving sleep quality based on artificial intelligence - Google Patents
Sound source providing system and method for improving sleep quality based on artificial intelligence Download PDFInfo
- Publication number
- KR102260010B1 KR102260010B1 KR1020200179244A KR20200179244A KR102260010B1 KR 102260010 B1 KR102260010 B1 KR 102260010B1 KR 1020200179244 A KR1020200179244 A KR 1020200179244A KR 20200179244 A KR20200179244 A KR 20200179244A KR 102260010 B1 KR102260010 B1 KR 102260010B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- sleep
- music
- user
- risk
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Abstract
Description
본 발명은 인공지능 기반 수면 질 향상을 위한 음원 제공 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 사용자의 정형화된 설문기법으로 수면 관련 자신의 데이터를 입력하고 머신러닝 비지도학습을 통해 검사자의 수면장애 정도에 따라 4가지 군집(수면장애 고 위험군, 중위험군, 저위험군, 정상군)으로 세분화 하고, 세분화된 수면장애 군집에 따라 인공지능 알고리즘(LSTM: Long short-term memory models)을 이용하여 작곡한 수면음원 또는 ASMR음원, 시 낭송 음원 등을 제공함으로써 비약물적 방법으로 수면장애자들에게 수면의 질을 향상시킬 수 있고, 또한 사용자의 뇌파를 측정하여 실시간 사용자의 수면장애를 해소할 수 있는 인공지능 음악을 추천함으로써 비약물적 방법으로 수면의 질을 향상시킬 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to a sound source providing system and method for improving sleep quality based on artificial intelligence, and more particularly, to a user's sleep-related data input using a standardized questionnaire technique, and to an examiner's sleep disorder through machine learning unsupervised learning. It is subdivided into 4 clusters (high risk group, medium risk group, low risk group, and normal group) according to the degree, and composed using artificial intelligence algorithm (LSTM: Long short-term memory models) according to the subdivided sleep disorder cluster. Artificial intelligence music that can improve the quality of sleep for people with sleep disorders in a non-pharmacological way by providing sleep sound sources, ASMR sound sources, and poetry recitation sound sources, and also measure users' brain waves to solve real-time user's sleep disorders It relates to a system and method that can improve sleep quality in a non-pharmacological way by recommending
최근 현대인은 산업화에 따른 경쟁심화, 과도한 노동 등으로 인한 수면부족, 스트레스 증가, 노령화, 수면 주기 변화 등의 여러 원인으로 인해 비교적 흔하게 불면증, 기면증, 악몽 등의 수면장애가 발생하는 것으로 나타나고 있다.In recent years, modern people have relatively common sleep disorders such as insomnia, narcolepsy, and nightmares due to various causes such as intensifying competition due to industrialization, lack of sleep due to excessive labor, increased stress, aging, and changes in sleep cycle.
이러한 수면장애는 일상생활에 지장을 줄 뿐만 아니라 암 발병 확률을 높일 수 있다는 등의 여러 가지 문제를 발생시킬 수 있다.These sleep disturbances not only interfere with daily life, but can also cause various problems, such as increasing the probability of developing cancer.
이러한 수면장애를 해결하기 위해 수면제 등의 약물을 이용한 증상치료방법이 있고, 기존에는 코골이 소리 신호를 인식하여 수면 상태를 체크하는 방법이 존재 하였다.In order to solve this sleep disorder, there is a symptom treatment method using drugs such as sleeping pills, and there is a method of checking the sleep state by recognizing the snoring sound signal in the past.
다만, 약물을 이용한 치료방법은 전문가의 처방이나 조제가 필요하고, 만성 불면증으로 지속될 가능성도 있으며, 약물 복용 자체가 환자에게 스트레스로 작용할 수 있다는 점에서 다른 방식으로 이를 치료할 수 있는 방법이 필요하며, 코골이 소리 신호를 인식하여 수면 상태를 체크하는 방법은, 코골이 없이 수면장애가 있거나 외부 소음이 유입되는 경우 정확한 수면의 질의 측정이 어렵기 때문에 약물을 사용하지 않고 수면을 유도하거나 수면 장애위험도를 낮출 수 있는 방법에 대한 개발 필요성이 대두된다.However, a treatment method using drugs requires a prescription or dispensing from a specialist, and there is a possibility that chronic insomnia may persist, and that taking the drug itself can act as a stress to the patient, so a method that can treat it in a different way is necessary. The method to check the sleep state by recognizing the snoring sound signal can induce sleep without the use of drugs or reduce the risk of sleep disorders because it is difficult to accurately measure the quality of sleep when there is a sleep disorder without snoring or when external noise is introduced. There is a need to develop a method that can
전술한 문제점을 위해 본 발명이 이루고자 하는 과제는, 사용자의 수면 관련 정형화된 질문에 자신의 데이터를 입력하는 방법으로 데이터를 수집하고 비지도학습 하여 4가지 수면장애 위험도 유형으로 세분화하고, 이를 기초로 인공지능 알고리즘(LSTM:Long short-term memory models)을 이용하여 숙면에 도움이 되기 위하여 음원을 작곡한다.그리고 음원재생장치로 재생시킬 수 있도록 함으로써 비약물적 중재로서 수면장애자의 수면 질 향상이 가능하도록 하고, 뇌파 수신기를 이용하여 사용자의 뇌파를 실시간으로 측정(델타파, 세타파, 알파파, 베타파, 감마파)하여 사용자의 뇌파 변화에 따른 인공지능 음악을 추천하도록 함으로써 비약물적 중재로서 수면장애자의 수면 질 향상이 가능하도록 하는 데 있다.The task to be accomplished by the present invention for the above-mentioned problems is to collect data by inputting one's own data to a user's sleep-related standardized question, perform unsupervised learning, and subdivide it into four sleep disorder risk types, based on this Using artificial intelligence algorithms (LSTM: Long short-term memory models), a sound source is composed to help sleep. And it can be played back with a sound source playback device, so that it is possible to improve the sleep quality of sleep-disordered people as a non-pharmacological intervention. In addition, by using an EEG receiver to measure the user's EEG in real time (delta wave, theta wave, alpha wave, beta wave, gamma wave) and recommend artificial intelligence music according to the user's EEG change, it is a non-pharmacological intervention for people with sleep disorders. It is intended to improve sleep quality.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 과제들은 아래의 기재로부터 당업자가 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에 따르면, 인공지능 기반 수면 질 향상을 위한 음원 제공 시스템은, 사용자의 수면 질을 구별하기 위해 사용자 단말을 통해 사용자에게 설문을 제시하고, 상기 설문에 대한 사용자의 응답을 입력받는 입력부; 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류하는 군집부; 및 상기 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생하는 서비스제공부;를 포함한다.As a means for solving the above-described technical problem, according to an embodiment of the present invention, the sound source providing system for improving sleep quality based on artificial intelligence presents a questionnaire to the user through the user terminal in order to distinguish the user's sleep quality, and , an input unit for receiving a user's response to the questionnaire; a clustering unit for classifying sleep disorder risk by subdividing the user's sleep data collected through the user's response into a clustering technique of unsupervised learning; and a service providing unit that reproduces, through a sound source output device, any one or more of a sound source composed by an artificial intelligence algorithm, an ASMR sound source, and a poetry song sound source, classified according to the sleep disorder risk.
상기 군집부는, 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화한다.The clustering unit divides the user's sleep data collected through the user's response into 60% of data for learning and 40% of data for evaluation, and divides the sleep disorder risk into a high-risk group, a medium-risk group, a low-risk group, and a normal group by a clustering technique of unsupervised learning. subdivided into four
상기 서비스제공부는, 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 작곡음원제공부; 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 ASMR음원제공부; 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 시낭송음원제공부; 및 상기 작곡음원, 상기 ASMR음원, 상기 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공하는 수면음악조합부;를 포함한다.The service providing unit may include: a composition sound source providing unit that provides a service for reproducing a composition sound source created by composing using an artificial intelligence algorithm, classified according to the risk of sleep disturbance; an ASMR sound source providing unit that provides a service for reproducing an ASMR sound source stored in a database or an ASMR sound source crawled on the Internet through a sound output device; a poetry song sound source providing unit that provides a service for reproducing a poetry song sound source stored in a database or a poetry song sound source crawled on the Internet through a sound output device; and a sleep music combination unit that provides a service for reproducing sleep music generated by combining any one or more of the composition sound source, the ASMR sound source, and the poetry song sound source according to a user's selection or a preset control value through a sound source output device; includes
상기 작곡음원제공부는, 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN, LSTM 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성하는 작곡음원학습부; 상기 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하여 작곡음악 및 상기 작곡음악의 악보를 생성하는 작곡음원생성부; 및 수면 장애위험도에 따라 구분된 상기 작곡음악을 상기 음원출력장치를 통해 재생하는 작곡음원재생부;를 포함한다.The composition sound source providing unit downloads sound source data on the Internet through crawling, analyzes the sound source data into music component data such as chords and notes, and matches the analyzed sound source data by the sleep disturbance risk level among RNN and LSTM a music composition learning unit that generates a learning model by training and testing the learning model using any one artificial intelligence algorithm; a composition sound source generating unit for generating a MIDI file by inputting the user's sleep disorder risk to the learning model and generating music composition and sheet music of the composition music; and a composition sound source reproducing unit that reproduces the composition music classified according to the risk of sleep disturbance through the sound source output device.
상기 입력부는, 사용자의 뇌파 신호를 획득하는 뇌파센서;를 더 포함하며, 상기 서비스제공부는, 상기 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공하는 뇌파음악추천부;를 더 포함한다.The input unit further includes; an EEG sensor for acquiring the user's EEG signal, and the service providing unit divides the user's EEG signal into frequency bands based on the user's EEG signal and recommends music for each sleep disorder risk based on artificial intelligence. It further includes; EEG music recommendation unit provided through the user terminal.
상기 뇌파음악추천부는, 상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분하는 전처리부; 및 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천하는 음악추천부;를 포함한다.The brainwave music recommendation unit, a preprocessor that removes noise from the brainwave signal input from the brainwave sensor and divides the brainwave signal into delta waves, theta waves, alpha waves, beta waves, and gamma waves according to frequency bands; And based on the EEG signals divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band, music stored in the database or music crawled on the Internet is classified according to the risk of sleep disturbance by an artificial intelligence algorithm, and a music recommendation unit that recommends sleep music suitable for the user in real time through the
상기 음악추천부는, 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천한다.The music recommendation unit, based on the EEG signal divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band and the user's risk of sleep disturbance, music stored in a database or music crawled on the Internet to an artificial intelligence algorithm By classifying the sleep disorder risk by level, it recommends suitable sleep music for the user in real time.
상기 뇌파센서 및 상기 음원출력장치는 하나의 웨어러블 장치에 포함된다. The brain wave sensor and the sound source output device are included in one wearable device.
한편, 본 발명의 다른 실시예에 따르면, 인공지능 기반 수면 질 향상을 위한 음원 제공 방법은 (A) 입력부는 사용자의 수면 질을 구별하기 위해 사용자 단말을 통해 사용자에게 설문을 제시하고, 상기 설문에 대한 사용자의 응답을 입력받는 단계; (B) 군집부는 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류하는 단계; 및 (C) 서비스제공부는 상기 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, in the method for providing a sound source for improving sleep quality based on artificial intelligence (A), the input unit presents a questionnaire to the user through the user terminal in order to distinguish the user's sleep quality, and receiving a user's response to; (B) classifying the sleep disorder risk by subdividing the user's sleep data collected through the user's response by the clustering unit into a clustering technique of unsupervised learning; And (C) the service providing unit is divided according to the risk of sleep disturbance and playing the sleep music in which any one or more of a sound source, ASMR sound source, and poetry song sound source composed by an artificial intelligence algorithm is combined through a sound source output device; includes; do.
상기 (B)단계는, 군집부는, 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화한다.In the step (B), the clustering unit divides the user's sleep data collected through the user's response into 60% of data for learning and 40% of data for evaluation, and divides the sleep disorder risk by a clustering technique of unsupervised learning into a high risk group, a medium risk group , low-risk group, and normal group.
상기 (C)단계는, 서비스제공부는 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원, 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원, 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공한다.In step (C), the service provider is classified according to the risk of sleep disturbance, and composed and created using an artificial intelligence algorithm, an ASMR sound source stored in a database or an ASMR sound source crawled on the Internet, a poetry song sound source stored in the database, or the Internet It provides a service for reproducing sleep music generated by combining any one or more of the poetry song sources crawled on the top according to a user's selection or a preset control value through a sound source output device.
상기 작곡음원은, (C1) 작곡음원학습부에서 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN, LSTM 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성하는 단계; 및 (C2) 작곡음원생성부에서 상기 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하는 단계;를 통해 생성된다.The music composition source downloads sound source data on the Internet through crawling in (C1) the composition sound source learning unit, analyzes the sound source data into music component data such as chords and notes, and analyzes the sound source data as the sleep disorder risk generating a learning model by performing training and testing of the learning model using any one artificial intelligence algorithm of RNN and LSTM by matching for each; and (C2) generating a MIDI file by inputting the user's sleep disorder risk to the learning model in the music composition generating unit.
상기 (C)단계는, (C3) 상기 입력부는 뇌파센서를 통해 사용자의 뇌파 신호를 입력받고, 상기 서비스제공부는 상기 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공하는 뇌파음악추천단계;를 더 포함한다.In the step (C), (C3) the input unit receives the user's EEG signal through the EEG sensor, and the service provider divides the user's EEG signal into frequency bands based on the AI-based sleep disturbance risk It further includes an EEG music recommendation step of providing each recommended music through the user terminal.
상기 (C3)단계는, (C31) 전처리부는 상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분하는 전처리단계; 및 (C32) 음악추천부는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천하는 음악추천단계;를 포함한다.The (C3) step is, (C31) a preprocessing step of removing noise from the EEG signal input from the EEG sensor and dividing the EEG signal into delta waves, theta waves, alpha waves, beta waves, and gamma waves according to frequency bands; And (C32) the music recommendation unit based on the EEG signal divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band, the music stored in the database or the music crawled on the Internet by an artificial intelligence algorithm sleep disorder risk and a music recommendation step of classifying by category and recommending sleep music suitable for the user in real time through the user terminal.
상기 (C32)단계는, 음악추천부는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천한다.In the step (C32), the music recommendation unit is based on the EEG signal divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band and the user's sleep disorder risk, music stored in the database or music crawled on the Internet is classified by an artificial intelligence algorithm to recommend sleep music suitable for the user in real time.
상기 뇌파센서 및 상기 음원출력장치는 하나의 웨어러블 장치에 포함된다.The brain wave sensor and the sound source output device are included in one wearable device.
본 발명에 따르면, According to the present invention,
사용자의 수면 관련 정형화된 질문에 자신의 데이터를 입력하는 방법으로 데이터를 수집하고 비지도학습 하여 4가지 수면장애 위험도 유형으로 세분화하고, 이를 기초로 인공지능 알고리즘(LSTM:Long short-term memory models)을 이용하여 숙면에 도움이 되기 위하여 음원을 작곡한다.그리고 음원재생장치로 재생시킬 수 있도록 함으로써 비약물적 중재로서 수면장애자의 수면 질 향상이 가능하도록 하고, 뇌파 수신기를 이용하여 사용자의 뇌파를 실시간으로 측정(델타파, 세타파, 알파파, 베타파, 감마파)하여 사용자의 뇌파 변화에 따른 인공지능 음악을 추천하도록 함으로써 비약물적 중재로서 수면장애자의 수면 질 향상이 가능하다.Data is collected and unsupervised by inputting data to the user's standardized questions related to sleep, and then subdivided into 4 sleep disorder risk types, and based on this, artificial intelligence algorithms (LSTM: Long short-term memory models) Composes a sound source to help with a good night's sleep by using a sound source reproducing device so that it can be played back with a sound source playback device to improve the sleep quality of the sleep-disordered as a non-pharmaceutical intervention, and use an EEG receiver to record the user's EEG in real time By measuring (delta wave, theta wave, alpha wave, beta wave, gamma wave) and recommending artificial intelligence music according to the change of the user's brain wave, it is possible to improve the sleep quality of the sleep disorder as a non-pharmacological intervention.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 시스템의 구성도,
도 2는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법의 순서도,
도 3는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법에 포함된 작곡음원 생성 방법의 순서도,
도 4는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법의 서비스 제공 단계의 세부순서도이다.1 is a configuration diagram of a sound source providing system for improving sleep quality according to an embodiment of the present invention;
2 is a flowchart of a method for providing a sound source for improving sleep quality according to an embodiment of the present invention;
3 is a flowchart of a method for generating a composition sound source included in a method for providing a sound source for improving sleep quality according to an embodiment of the present invention;
4 is a detailed flowchart of a service providing step of a method for providing a sound source for improving sleep quality according to an embodiment of the present invention.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.In this specification, when terms such as first, second, etc. are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다. In addition, when it is stated that any element, component, device, or system includes a component consisting of a program or software, even if not explicitly stated, that element, component, device, or system means that the program or software is executed. Alternatively, it should be understood to include hardware (eg, memory, CPU, etc.) necessary for operation or other programs or software (eg, drivers necessary for operating an operating system or hardware, etc.).
또한 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. Also, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, 'comprises' and/or 'comprising' does not exclude the presence or addition of one or more other elements.
또한, 본 명세서에 기재된 'OO부', 'OO기', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, '일', '하나' 및 '그' 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, terms such as 'OO unit', 'OO unit', and 'module' described in this specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. can In addition, articles such as 'a', 'a' and 'the' in the context of describing the present invention are meant to include both the singular and the plural unless otherwise indicated herein or otherwise clearly contradicted by the context. can be used
아래의 특정 실시 예들을 기술하는 데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용이 없어도 사용될 수 있다는 것을 인지할 수 있다. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that it can be used without these various specific details.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. In some cases, it is mentioned in advance that parts that are commonly known and not largely related to the invention are not described in order to avoid confusion without any reason in describing the invention in describing the invention.
이하, 본 발명에서 실시하고자 하는 구체적인 기술 내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific technical contents to be practiced in the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 시스템의 구성도이다.1 is a block diagram of a sound source providing system for improving sleep quality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 시스템은 입력부(100), 군집부(200), 서비스제공부(300)를 포함한다.Referring to FIG. 1 , a sound source providing system for improving sleep quality according to an embodiment of the present invention includes an
여기서 입력부(100)는, 사용자의 수면 질을 구별하기 위해 사용자 단말을 통해 사용자에게 설문을 제시하고, 상기 설문에 대한 사용자의 응답을 입력 받는다.Here, the
입력부(100)에서는 사용자 단말을 통해 사용자의 수면과 관련된 정형화된 질문을 제시하고, 이에 대한 대답의 형태로 사용자는 본인의 수면 관련 데이터를 사용자 단말을 통해 입력한다.The
여기서 설문을 통해 입력받는 사용자의 수면 관련 데이터에는, 본인의 성별, 연령, 음주 여부, 신체 상태, 숙면 여부 등에 관한 내용을 포함할 수 있다.Here, the user's sleep-related data input through the questionnaire may include information on the user's gender, age, drinking status, physical condition, deep sleep status, and the like.
또한 군집부(200)는, 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류한다.In addition, the
여기서 군집부(200)는, 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화 한다.Here, the
구체적으로는 수면 장애위험도와 관련하여 산출된 적어도 하나 이상의 특징을 이용하여 사용자의 수면 데이터를 4가지 그룹의 수면 장애위험도로 군집화하며, 여기서 군집화는 계층적 군집분석 기법을 이용한다.Specifically, the user's sleep data is clustered into 4 groups of sleep disorder risk levels using at least one or more features calculated in relation to the sleep disorder risk, where the clustering uses a hierarchical clustering analysis technique.
계층적 군집분석(hierarchical clustering) 기법은, 가까운 대상끼리 순차적으로 군집을 묶어가는 군집화(클러스터링) 기법이다.The hierarchical clustering technique is a clustering technique in which close objects are sequentially grouped together.
이처럼 군집부(200)에서는, 사용자의 수면 데이터 중 수면 위험도와 관련하여 복수 개의 특징을 산출하고, 산출된 특징 중 적어도 하나 이상의 특징을 이용하여 전처리된 뇌파 신호를 계층적 군집분석이라는 비지도학습 알고리즘을 통하여 비슷한 성향을 가져 가까운 데이터 포인트끼리 묶어 군집으로 만듦으로써 사용자의 수면의 질을 4가지 그룹으로 군집화한다.As such, in the
여기서 4가지 그룹은 수면 장애위험도의 등급으로, 수면의 질이 매우 저하된 상태부터 정상인 상태까지 순서대로 고위험군, 중위험군, 저위험군, 정상군으로 구분될 수 있다.Here, the four groups are grades of sleep disorder risk, and they can be divided into high-risk, medium-risk, low-risk, and normal groups in order from a state in which the quality of sleep is very low to a state in which sleep is normal.
여기서 구분된 수면 장애위험도는, 사용자 단말에 전송되어 사용자가 자신의 수면 장애위험도 등급을 확인할 수 있도록 할 수 있다.Here, the divided sleep disorder risk may be transmitted to the user terminal so that the user can check his/her sleep disorder risk level.
또한 서비스제공부(300)는, 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생한다.In addition, the
여기서 서비스제공부(300)는, 작곡음원제공부(310), ASMR음원제공부(320), 시낭송음원제공부(330), 수면음악조합부(340)를 포함할 수 있다.Here, the
여기서 작곡음원제공부(310)는, 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.Here, the composition sound
여기서 작곡음원제공부(310)는, 작곡음원학습부(311), 작곡음원생성부(312), 작곡음원재생부(313)를 포함할 수 있다.Here, the composition sound
여기서 작곡음원학습부(311)는, 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN(Recurrent Neural Network, 순환신경망), LSTM(Long Short-Term Memory, 장단기메모리) 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성한다.Here, the music
다시 말하면, 작곡음원학습부(311)에서는 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하는 단계, 음원 데이터를 음악 구성요소 데이터로 분석하는 단계, LSTM 등의 학습 단위를 정의하고 입력 데이터 및 출력 데이터를 생성하는 데이터 전처리단계, LSTM 모델 개발 단계, 학습 및 테스트하여 학습모델 생성하는 단계를 통해 학습모델을 생성한다.In other words, the composition sound
여기서 크롤링을 통해 인터넷상의 음원 데이터를 다운로드하는 단계에서는 파이썬의 BeautifulSoup 라이브러리 등을 이용하여 음원을 다운로드 할 수 있다.Here, in the step of downloading music data from the Internet through crawling, you can download the sound source using Python's BeautifulSoup library, etc.
또한 여기서 음원 데이터를 음악 구성요소 데이터로 분석하는 단계에서는 파이썬의 Music21 라이브러리 등을 이용하여 미디 데이터를 분석할 수 있다.Also, in the stage of analyzing sound source data as music component data, MIDI data can be analyzed using Python's Music21 library, etc.
이후 LSTM 등의 학습 모델을 개발하고, 학습 및 테스트하여 학습모델을 생성한다.After that, a learning model such as LSTM is developed, trained, and tested to create a learning model.
이후 작곡음원생성부(312)는, 생성된 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하여 작곡음악 및 상기 작곡음악의 악보를 생성한다.Thereafter, the composition sound
다시 말하면, 작곡음원생성부(312)에서는, 학습모델에 사용자의 수면 장애위험도 정보를 입력하여 미디파일을 생성하며, 이를 통하여 작곡음악 및 그 작곡음악의 악보를 생성한다.In other words, the composition sound
여기서 작곡음원제공부(310)는 작곡음원을 생성함에 있어 인공지능 알고리즘을 이용하도록 기재하고 있으나, 인공지능 알고리즘에 사용자가 다양한 옵션을 선택하여 작곡에 참여할 수 있도록 할 수 있다.Here, the composition sound
또한 ASMR음원제공부(320)는 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the ASMR sound
여기서 ASMR(Autonomous Sensory Meridian Response, 자율 감각 쾌락 반응)음원은, 바람소리, 파도소리, 빗방울이 떨어지는 소리, 눈밟는소리 등의 자연의 소리뿐만 아니라 사용자의 선호도에 따라 물체가 내는 소리 등 사용자의 수면 장애위험도를 정상범주에 가깝도록 변화시킬 수 있는 다양한 소리가 포함된다.Here, the ASMR (Autonomous Sensory Meridian Response) sound source is the sound of the user's sleep, such as the sound of wind, waves, raindrops, and snow, as well as the sound of objects according to the user's preference. Various sounds that can change the risk of disability to be close to the normal range are included.
아울러 ASMR음원제공부(320)는 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 수면 장애위험도 등급에 따라 구분하여 사용자의 수면 장애위험도 등급에 해당하는 적어도 하나 이상의 ASMR음원 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공할 수 있다.In addition, the ASMR sound
또한 시낭송음원제공부(330)는 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the poetry song sound
여기서 시낭송음원은, 성우나 아나운서 등의 낭송자가 영문시를 포함하는 시를 낭송하는 목소리가 녹음된 음원이다.Here, the poetry recitation sound source is a sound source in which the voice of a reciter such as a voice actor or an announcer reciting a poem including an English poem is recorded.
아울러 시낭송음원제공부(330)는데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 수면 장애위험도 등급에 따라 구분하여 사용자의 수면 장애위험도 등급에 해당하는 적어도 하나 이상의 시낭송음원 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공할 수 있다.In addition, the poetry recitation sound
또한 수면음악조합부(340)는 작곡음원, 상기 ASMR음원, 상기 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the sleep
따라서 수면음악조합부(340)는, 사용자의 수면 장애위험도 등급에 해당하는 작곡음원의 리스트, ASMR음원의 리스트, 시낭송음원의 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 작곡음원, ASMR음원, 시낭송음원 중 어느 하나 이상을 조합하여 수면음악을 생성하거나, 인공지능 알고리즘 또는 이미 설정된 제어값에 의하여 추천되는 조합으로 수면음악을 생성할 수 있다.Therefore, the sleep
또한 입력부(100)는 사용자의 뇌파 신호를 획득하는 뇌파센서를 더 포함하고, 서비스 제공부(300)는, 뇌파센서에서 획득한 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공하는 뇌파음악추천부(350)를 더 포함할 수 있다. In addition, the
여기서 뇌파센서는, 복수 개의 전극을 통하여 사용자의 뇌파 정보를 신호 형태로 획득한다.Here, the brain wave sensor acquires the user's brain wave information in the form of a signal through a plurality of electrodes.
이러한 뇌파센서는 사용자가 사용할 헤드셋 등의 웨어러블 장비에 장착될 수도 있다.Such an EEG sensor may be mounted on a wearable device such as a headset to be used by the user.
여기서 뇌파음악추천부(350)는, 사용자의 뇌파를 측정하여 실시간으로 사용자의 수면장애를 해소하거나 수면 장애위험도를 낮출 수 있도록 인공지능 기반으로 음악을 추천하는 서비스를 제공한다.Here, the brainwave
뇌파음악추천부(350)는, 전처리부(351) 및 음악추천부(352)를 포함한다.The brainwave
여기서 전처리부(351)는, 상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분한다.Here, the
여기서 노이즈는 뇌파 분석을 저해하는 다른 신호를 의미한다.Here, noise refers to other signals that inhibit EEG analysis.
여기서 델타파는 대략 4헤르츠 이하의 주파수 범위의 뇌파 신호이다.Here, the delta wave is an EEG signal with a frequency range of about 4 hertz or less.
세타파는 대략 4내지 7헤르츠의 주파수 범위의 뇌파 신호이다.Theta waves are brain wave signals in the frequency range of approximately 4 to 7 hertz.
알파파는 대략 8 내지 13헤르츠의 주파수 범위의 뇌파 신호이다.Alpha waves are brain wave signals in the frequency range of approximately 8 to 13 hertz.
여기서 알파파는 대략 11 내지 13 헤르츠의 주파수 범위의 하이-알파파, 대략 8내지 10 헤르츠의 주파수 범위의 로우-알파파로 나뉠 수 있다.Here, the alpha wave may be divided into a high-alpha wave having a frequency range of about 11 to 13 hertz, and a low-alpha wave having a frequency range of about 8 to 10 hertz.
베타파는 대략 14 내지 30헤르츠의 주파수 범위의 뇌파 신호이다.Beta waves are brain wave signals in the frequency range of approximately 14 to 30 hertz.
감마파는 대략 30헤르츠 이상의 주파수 범위의 뇌파 신호이다.Gamma waves are brain wave signals in the frequency range of about 30 hertz or higher.
또한 음악추천부(352)는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천한다.In addition, the
이러한 음악추천부(352)는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천할 수 있다.The
다시 말하면, 음악추천부(352)는 사용자의 뇌파 신호 또는 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 사용자에게 적합한 수면음악을 실시간으로 추천할 수 있다.In other words, the
아울러 서비스제공부(300)는, 사용자의 수면 위험도에 따라 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링하여 얻은 음악 중 인공지능 알고리즘에 의해 분석하여 사용자에게 적합한 음악을 추천하는 서비스를 제공하는 추천서비스부(360, 미도시)를 포함할 수 있다.In addition, the
이처럼 서비스제공부(300)에서는, 상기 작곡음원, ASMR음원, 시낭송음원 각각 또는 둘 이상의 조합으로 생성된 수면음악을 사용자단말에 전송하여 사용자가 생성된 수면음악을 소장할 수 있도록 할 수 있다.As such, in the
즉, 본 발명의 실시예에 의한 음원 제공 시스템이 제공하는 서비스는 사용자에게 음악 추천, 인공지능으로 작곡된 수면음악 추천, 뇌파분석에 의한 인공지능 음악 추천, 나만의 인공지능 기법으로 작곡하여 소장 등이 포함될 수 있다.That is, the service provided by the sound source providing system according to the embodiment of the present invention is music recommendation to the user, sleep music recommendation composed by artificial intelligence, artificial intelligence music recommendation by brain wave analysis, music composition by my own artificial intelligence technique and collection, etc. may be included.
여기서 입력부(100)에 구비되는 뇌파센서 및 서비스제공부(300)에서 음원을 재생하는 음원출력장치는 헤드셋, 헤드폰 등의 하나의 웨어러블 장치에 포함될 수 있다.Here, the EEG sensor provided in the
여기서 뇌파센서 및 음원출력장치는 블루투스 등의 통신모듈이 구비되어 뇌파센서에서 획득한 뇌파 신호는 유무선 통신을 통해 본 발명의 실시예에 의한 시스템의 학습부(200)에 전송되고, 서비스제공부(300)에서 제공하는 서비스는 유무선통신을 통하여 음원출력장치, 사용자단말 등의 모듈에 전송될 수 있다.Here, the EEG sensor and the sound output device are provided with a communication module such as Bluetooth, and the EEG signal obtained from the EEG sensor is transmitted to the
도 2는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법의 순서도이다.2 is a flowchart of a method for providing a sound source for improving sleep quality according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법은 (A) 입력부는 사용자 단말을 통해 사용자에게 설문 제시하고 응답 수집하는 단계(S100), (B) 사용자의 응답 통해 수집된 수면 데이터를 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류하는 단계(S200), (C) 수면 장애위험도에 따라 작곡된 음원 등이 포함된 수면음악을 재생하는 단계(S300)를 포함한다.Referring to FIG. 2 , the method for providing a sound source for improving sleep quality according to an embodiment of the present invention includes (A) the input unit presenting a questionnaire to the user through the user terminal and collecting responses (S100), (B) the user's response It includes the steps of classifying the risk of sleep disorder by subdividing the sleep data collected through the clustering technique (S200), (C) playing the sleep music including a sound source composed according to the risk of sleep disorder (S300).
여기서 (A)단계(S100)는, 사용자의 수면 질을 구별하기 위해 사용자 단말을 통해 사용자에게 설문을 제시하고, 상기 설문에 대한 사용자의 응답을 입력 받는다.Here, in step (A) (S100), a questionnaire is presented to the user through the user terminal in order to distinguish the user's sleep quality, and the user's response to the questionnaire is received.
사용자의 수면 질을 구별하기 위해 사용자 단말을 통해 사용자에게 설문을 제시하고, 상기 설문에 대한 사용자의 응답을 입력 받는다.In order to distinguish the user's sleep quality, a questionnaire is presented to the user through the user terminal, and the user's response to the questionnaire is received.
(A)단계(S100)에서는 입력부(100)는 사용자 단말을 통해 사용자의 수면과 관련된 정형화된 질문을 제시하고, 이에 대한 대답의 형태로 사용자는 본인의 수면 관련 데이터를 사용자 단말을 통해 입력한다.In step (A) (S100), the
여기서 설문을 통해 입력받는 사용자의 수면 관련 데이터에는, 본인의 성별, 연령, 음주 여부, 신체 상태, 숙면 여부 등에 관한 내용을 포함할 수 있다.Here, the user's sleep-related data input through the questionnaire may include information on the user's gender, age, drinking status, physical condition, deep sleep status, and the like.
또한 (B)단계(S200)는 군집부가 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류한다.In addition, (B) step (S200) classifies the risk of sleep disorder by subdividing the user's sleep data collected through the user's response by the clustering method using an unsupervised learning clustering technique.
(B)단계(S200)에서 군집부(200)는, 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화 한다.(B) In step (S200), the
구체적으로는 수면 장애위험도와 관련하여 산출된 적어도 하나 이상의 특징을 이용하여 사용자의 수면 데이터를 4가지 그룹의 수면 장애위험도로 군집화하며, 여기서 군집화는 계층적 군집분석 기법을 이용한다.Specifically, the user's sleep data is clustered into 4 groups of sleep disorder risk levels using at least one or more features calculated in relation to the sleep disorder risk, and the clustering uses a hierarchical clustering analysis technique.
계층적 군집분석(hierarchical clustering) 기법은, 가까운 대상끼리 순차적으로 군집을 묶어가는 군집화(클러스터링) 기법이다.The hierarchical clustering technique is a clustering technique in which close objects are sequentially grouped together.
이처럼 (B)단계(S200)에서 군집부(200)는, 사용자의 수면 데이터 중 수면 위험도와 관련하여 복수 개의 특징을 산출하고, 산출된 특징 중 적어도 하나 이상의 특징을 이용하여 전처리된 뇌파 신호를 계층적 군집분석이라는 비지도학습 알고리즘을 통하여 비슷한 성향을 가져 가까운 데이터 포인트끼리 묶어 군집으로 만듦으로써 사용자의 수면의 질을 4가지 그룹으로 군집화한다.As such, in step (B) (S200), the
여기서 4가지 그룹은 수면 장애위험도의 등급으로, 수면의 질이 매우 저하된 상태부터 정상인 상태까지 순서대로 고위험군, 중위험군, 저위험군, 정상군으로 구분될 수 있다.Here, the four groups are grades of sleep disorder risk, and they can be divided into high-risk, medium-risk, low-risk, and normal groups in order from a state in which the quality of sleep is very low to a state in which sleep is normal.
여기서 구분된 수면 장애위험도는, 사용자 단말에 전송되어 사용자가 자신의 수면 장애위험도 등급을 확인할 수 있도록 할 수 있다.Here, the divided sleep disorder risk may be transmitted to the user terminal so that the user can check his/her sleep disorder risk level.
또한 (C)단계(S300)는, 서비스제공부(300)는 상기 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생한다.In addition, (C) step (S300), the
구체적으로 (C)단계(S300)에서, 서비스제공부(300)는 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원, 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원, 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공한다.Specifically, in (C) step (S300), the
(C)단계(S300)에서 서비스제공부(300)는, 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생한다.(C) In step (S300), the
여기서 서비스제공부(300)는, 작곡음원제공부(310), ASMR음원제공부(320), 시낭송음원제공부(330), 수면음악조합부(340)를 포함할 수 있다.Here, the
여기서 작곡음원제공부(310)는, 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.Here, the composition sound
도 3는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법에 포함된 작곡음원 생성 방법의 순서도이다.3 is a flowchart of a method for generating a music composition included in the method for providing a sound source for improving sleep quality according to an embodiment of the present invention.
도 3을 참조하면, 여기서 작곡음원은, (C1) 음원 데이터를 구성요소로 분석하여 학습모델 훈련 및 테스트 진행하는 단계(S310), (C2) 사용자의 수면 장애위험도를 학습모델에 입력하여 미디파일 생성하는 단계(S320)를 거쳐 생성된다.Referring to FIG. 3 , here, the music composition consists of (C1) training and testing the learning model by analyzing the sound source data as components (S310), (C2) inputting the user's sleep disorder risk into the learning model and entering the MIDI file It is created through the generating step (S320).
(C1)단계(S310)는, 작곡음원학습부(311)에서 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN, LSTM 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성한다.(C1) Step (S310) downloads sound source data on the Internet through crawling in the composition sound
(C2)단계(S320)는 작곡음원생성부(312)에서 상기 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하는 단계를 통해 생성된다.(C2) Step (S320) is generated through the step of generating a MIDI file by inputting the user's sleep disorder risk to the learning model in the composition
이처럼 작곡음원제공부(310)는, 작곡음원학습부(311), 작곡음원생성부(312), 작곡음원재생부(313)를 포함할 수 있다.As such, the composition sound
여기서 작곡음원학습부(311)는, 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN(Recurrent Neural Network, 순환신경망), LSTM(Long Short-Term Memory, 장단기메모리) 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성한다.Here, the music
다시 말하면, 작곡음원학습부(311)에서는 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하는 단계, 음원 데이터를 음악 구성요소 데이터로 분석하는 단계, LSTM 등의 학습 단위를 정의하고 입력 데이터 및 출력 데이터를 생성하는 데이터 전처리단계, LSTM 모델 개발 단계, 학습 및 테스트하여 학습모델 생성하는 단계를 통해 학습모델을 생성한다.In other words, the composition sound
여기서 크롤링을 통해 인터넷상의 음원 데이터를 다운로드하는 단계에서는 파이썬의 BeautifulSoup 라이브러리 등을 이용하여 음원을 다운로드 할 수 있다.Here, in the step of downloading music data from the Internet through crawling, you can download the sound source using Python's BeautifulSoup library, etc.
또한 여기서 음원 데이터를 음악 구성요소 데이터로 분석하는 단계에서는 파이썬의 Music21 라이브러리 등을 이용하여 미디 데이터를 분석할 수 있다.Also, in the stage of analyzing sound source data as music component data, MIDI data can be analyzed using Python's Music21 library, etc.
이후 LSTM 등의 학습 모델을 개발하고, 학습 및 테스트하여 학습모델을 생성한다.After that, a learning model such as LSTM is developed, trained, and tested to create a learning model.
이후 작곡음원생성부(312)는, 생성된 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하여 작곡음악 및 상기 작곡음악의 악보를 생성한다.Thereafter, the composition sound
다시 말하면, 작곡음원생성부(312)에서는, 학습모델에 사용자의 수면 장애위험도 정보를 입력하여 미디파일을 생성하며, 이를 통하여 작곡음악 및 그 작곡음악의 악보를 생성한다.In other words, the composition sound
여기서 작곡음원제공부(310)는 작곡음원을 생성함에 있어 인공지능 알고리즘을 이용하도록 기재하고 있으나, 인공지능 알고리즘에 사용자가 다양한 옵션을 선택하여 작곡에 참여할 수 있도록 할 수 있다.Here, the composition sound
또한 ASMR음원제공부(320)는 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the ASMR sound
여기서 ASMR(Autonomous Sensory Meridian Response, 자율 감각 쾌락 반응)음원은, 바람소리, 파도소리, 빗방울이 떨어지는 소리, 눈밟는소리 등의 자연의 소리뿐만 아니라 사용자의 선호도에 따라 물체가 내는 소리 등 사용자의 수면 장애위험도를 정상범주에 가깝도록 변화시킬 수 있는 다양한 소리가 포함된다.Here, the ASMR (Autonomous Sensory Meridian Response) sound source is the sound of the user's sleep, such as the sound of wind, waves, raindrops, and snow, as well as the sound of objects according to the user's preference. Various sounds that can change the risk of disability to be close to the normal range are included.
아울러 ASMR음원제공부(320)는 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 수면 장애위험도 등급에 따라 구분하여 사용자의 수면 장애위험도 등급에 해당하는 적어도 하나 이상의 ASMR음원 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공할 수 있다.In addition, the ASMR sound
또한 시낭송음원제공부(330)는 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the poetry song sound
여기서 시낭송음원은, 성우나 아나운서 등의 낭송자가 영문시를 포함하는 시를 낭송하는 목소리가 녹음된 음원이다.Here, the poetry recitation sound source is a sound source in which the voice of a reciter such as a voice actor or an announcer reciting a poem including an English poem is recorded.
아울러 시낭송음원제공부(330)는 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 수면 장애위험도 등급에 따라 구분하여 사용자의 수면 장애위험도 등급에 해당하는 적어도 하나 이상의 시낭송음원 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공할 수 있다.In addition, the poetry recitation sound
또한 수면음악조합부(340)는 작곡음원, 상기 ASMR음원, 상기 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공한다.In addition, the sleep
따라서 수면음악조합부(340)는, 사용자의 수면 장애위험도 등급에 해당하는 작곡음원의 리스트, ASMR음원의 리스트, 시낭송음원의 리스트를 사용자단말에 전송하고, 그 중 사용자의 선택이 있는 작곡음원, ASMR음원, 시낭송음원 중 어느 하나 이상을 조합하여 수면음악을 생성하거나, 인공지능 알고리즘 또는 이미 설정된 제어값에 의하여 추천되는 조합으로 수면음악을 생성할 수 있다.Therefore, the sleep
또한 (C)단계(S300)는 (C3) 뇌파센서 통해 입력된 뇌파 신호를 기초로 인공지능 기반 음악 추천 뇌파음악추천단계(S330)를 포함한다.In addition, (C) step (S300) includes (C3) the brain wave music recommendation step (S330) based on the brain wave signal input through the brain wave sensor AI-based music recommendation.
여기서 (C3)단계(S330)는 입력부(100)는 뇌파센서를 통해 사용자의 뇌파 신호를 입력 받고, 상기 서비스제공부(300)의 뇌파음악추천부(350)는 상기 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공한다.Here, in step (C3) (S330), the
여기서 뇌파센서는, 복수 개의 전극을 통하여 사용자의 뇌파 정보를 신호 형태로 획득한다.Here, the brain wave sensor acquires the user's brain wave information in the form of a signal through a plurality of electrodes.
이러한 뇌파센서는 사용자가 사용할 헤드셋 등의 웨어러블 장비에 장착될 수도 있다.Such an EEG sensor may be mounted on a wearable device such as a headset to be used by the user.
여기서 뇌파음악추천부(350)는, 사용자의 뇌파를 측정하여 실시간으로 사용자의 수면장애를 해소하거나 수면 장애위험도를 낮출 수 있도록 인공지능 기반으로 음악을 추천하는 서비스를 제공한다.Here, the brainwave
뇌파음악추천부(350)는, 전처리부(351) 및 음악추천부(352)를 포함한다.The brainwave
도 4는 본 발명의 실시예에 의한 수면 질 향상을 위한 음원 제공 방법의 서비스 제공 단계의 세부순서도이다. 4 is a detailed flowchart of a service providing step of a method for providing a sound source for improving sleep quality according to an embodiment of the present invention.
도 4를 참조하면, (C3)단계(S330)는 (C31) 뇌파 신호의 노이즈 제거 및 주파수 대역 별로 구분하여 전처리하는 단계(S331), (C32) 뇌파 신호 기초로 인공지능 알고리즘 의해 수면음악 추천하는 단계(S332)를 포함한다.Referring to Figure 4, (C3) step (S330) is (C31) steps of pre-processing by separating and pre-processing the noise of the EEG signal by frequency band (S331), (C32) Sleep music recommendation by an artificial intelligence algorithm based on the EEG signal Step S332 is included.
따라서 (C31)단계(S331)에서 전처리부(351)는 상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분한다.Therefore, in (C31) step (S331), the
여기서 노이즈는 뇌파 분석을 저해하는 다른 신호를 의미한다.Here, noise refers to other signals that inhibit EEG analysis.
여기서 델타파는 대략 4헤르츠 이하의 주파수 범위의 뇌파 신호이다.Here, the delta wave is an EEG signal with a frequency range of about 4 hertz or less.
세타파는 대략 4내지 7헤르츠의 주파수 범위의 뇌파 신호이다.Theta waves are brain wave signals in the frequency range of approximately 4 to 7 hertz.
알파파는 대략 8 내지 13헤르츠의 주파수 범위의 뇌파 신호이다.Alpha waves are brain wave signals in the frequency range of approximately 8 to 13 hertz.
여기서 알파파는 대략 11 내지 13 헤르츠의 주파수 범위의 하이-알파파, 대략 8내지 10 헤르츠의 주파수 범위의 로우-알파파로 나뉠 수 있다.Here, the alpha wave may be divided into a high-alpha wave having a frequency range of about 11 to 13 hertz, and a low-alpha wave having a frequency range of about 8 to 10 hertz.
베타파는 대략 14 내지 30헤르츠의 주파수 범위의 뇌파 신호이다.Beta waves are brain wave signals in the frequency range of approximately 14 to 30 hertz.
감마파는 대략 30헤르츠 이상의 주파수 범위의 뇌파 신호이다.Gamma waves are brain wave signals in the frequency range of about 30 hertz or higher.
또한 (C32)단계(S332)에서, 음악추천부(352)는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천한다.Also, in step (C32) (S332), the
이러한 (C32)단계(S332)는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천할 수 있다.This (C32) step (S332) is based on the EEG signal divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band and the user's risk of sleep disturbance. Music stored in the database or music crawled on the Internet It can be classified by an artificial intelligence algorithm and recommended sleep music suitable for the user in real time.
다시 말하면, (C32)단계(S332)는 음악추천부(352)에서 사용자의 뇌파 신호 또는 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 사용자에게 적합한 수면음악을 실시간으로 추천할 수 있다.In other words, in step (C32) (S332), the
아울러 서비스제공부(300)는, 사용자의 수면 위험도에 따라 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링하여 얻은 음악 중 인공지능 알고리즘에 의해 분석하여 사용자에게 적합한 음악을 추천하는 서비스를 제공하는 추천서비스부(360, 미도시)를 포함할 수 있다.In addition, the
이처럼 (C)서비스제공단계(S300)에서는, 서비스제공부(300)는 상기 작곡음원, ASMR음원, 시낭송음원 각각 또는 둘 이상의 조합으로 생성된 수면음악을 사용자단말에 전송하여 사용자가 생성된 수면음악을 소장할 수 있도록 할 수 있다.In this way (C) in the service providing step (S300), the
즉, 본 발명의 실시예에 의한 음원 제공 시스템이 제공하는 서비스는 사용자에게 음악 추천, 인공지능으로 작곡된 수면음악 추천, 뇌파분석에 의한 인공지능 음악 추천, 나만의 인공지능 기법으로 작곡하여 소장 등이 포함될 수 있다.That is, the service provided by the sound source providing system according to the embodiment of the present invention is music recommendation to the user, sleep music recommendation composed by artificial intelligence, artificial intelligence music recommendation by brain wave analysis, music composition by my own artificial intelligence technique and collection, etc. may be included.
여기서 입력부(100)에 구비되는 뇌파센서 및 서비스제공부(300)에서 음원을 재생하는 음원출력장치는 헤드셋, 헤드폰 등의 하나의 웨어러블 장치에 포함될 수 있다.Here, the EEG sensor provided in the
여기서 뇌파센서 및 음원출력장치는 블루투스 등의 통신모듈이 구비되어 뇌파센서에서 획득한 뇌파 신호는 유무선 통신을 통해 본 발명의 실시예에 의한 시스템의 학습부(200)에 전송되고, 서비스제공부(300)에서 제공하는 서비스는 유무선통신을 통하여 음원출력장치, 사용자단말 등의 모듈에 전송될 수 있다.Here, the EEG sensor and the sound output device are provided with a communication module such as Bluetooth, and the EEG signal obtained from the EEG sensor is transmitted to the
100 : 입력부
200 : 군집부
300 : 서비스제공부
310 : 작곡음원제공부
311 : 작곡음원학습부
312 : 작곡음원생성부
313 : 작곡음원재생부
320 : ASMR음원제공부
330 : 시낭송음원제공부
340 : 수면음악조합부
350 : 뇌파음악추천부
351 : 전처리부
352 : 음악추천부100: input unit
200: cluster
300: service provider
310: Composing sound source provider
311 : Music Composition Learning Department
312: composition sound source generation unit
313: composition sound source reproduction unit
320: ASMR sound source provider
330: Poetry song sound source provider
340: sleep music union
350: EEG music recommendation department
351: preprocessor
352: music recommendation department
Claims (16)
상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류하는 군집부; 및
상기 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생하는 서비스제공부;
를 포함하되,
상기 입력부는,
사용자의 뇌파 신호를 획득하는 뇌파센서;
를 더 포함하며,
상기 서비스제공부는,
상기 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공하는 뇌파음악추천부;
를 더 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.an input unit for presenting a questionnaire to a user through a user terminal in order to distinguish the user's sleep quality and receiving a user's response to the questionnaire;
a clustering unit for classifying sleep disorder risk by subdividing the user's sleep data collected through the user's response using a clustering technique of unsupervised learning; and
a service providing unit for reproducing sleep music in which at least one of a sound source composed by an artificial intelligence algorithm, an ASMR sound source, and a poetry song sound source is combined according to the sleep disorder risk level through a sound source output device;
including,
The input unit,
an EEG sensor for acquiring a user's EEG signal;
further comprising,
The service provider,
an EEG music recommendation unit that classifies the user's EEG signal into frequency bands and provides music recommended for each sleep disorder risk level based on artificial intelligence through a user terminal;
Sound source providing system for improving sleep quality, characterized in that it further comprises.
상기 군집부는,
상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화하는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.According to claim 1,
The cluster is
By dividing the user's sleep data collected through the user's response into 60% of data for learning and 40% of data for evaluation, the unsupervised learning clustering technique divides the risk of sleep disorders into four groups: high-risk, medium-risk, low-risk, and normal. to subdivide
A sound source system for improving sleep quality, characterized by
상기 서비스제공부는,
수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 작곡음원제공부;
데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 ASMR음원제공부;
데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원을 음원출력장치를 통해 재생하는 서비스를 제공하는 시낭송음원제공부; 및
상기 작곡음원, 상기 ASMR음원, 상기 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공하는 수면음악조합부;
를 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.According to claim 1,
The service provider,
a composition sound source providing unit that provides a service for reproducing a composition sound source created by composing using an artificial intelligence algorithm, classified according to the risk of sleep disturbance;
an ASMR sound source providing unit that provides a service for reproducing ASMR sound sources stored in a database or ASMR sound sources crawled on the Internet through a sound output device;
a poetry song sound source providing unit that provides a service for reproducing a poetry song sound source stored in a database or a poetry song sound source crawled on the Internet through a sound output device; and
a sleep music combination unit that provides a service for reproducing sleep music generated by combining any one or more of the composition sound source, the ASMR sound source, and the poetry song source according to a user's selection or a preset control value through a sound source output device;
A sound source providing system for improving sleep quality, comprising:
상기 작곡음원제공부는,
크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN, LSTM 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성하는 작곡음원학습부;
상기 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하여 작곡음악 및 상기 작곡음악의 악보를 생성하는 작곡음원생성부; 및
수면 장애위험도에 따라 구분된 상기 작곡음악을 상기 음원출력장치를 통해 재생하는 작곡음원재생부;
를 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.4. The method of claim 3,
The composition sound source providing unit,
An artificial intelligence algorithm of any one of RNN and LSTM by downloading sound source data from the Internet through crawling, analyzing the sound source data into music component data such as chords and notes, and matching the analyzed sound source data by the sleep disturbance risk a music composition learning unit that generates a learning model by training and testing the learning model using
a composition sound source generator for generating a MIDI file by inputting the user's sleep disorder risk to the learning model and generating music composition and sheet music for the composition; and
a composition sound source reproducing unit for reproducing the composition music classified according to the risk of sleep disturbance through the sound source output device;
A sound source providing system for improving sleep quality, comprising:
상기 뇌파음악추천부는,
상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분하는 전처리부; 및
주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천하는 음악추천부;
를 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.According to claim 1,
The brainwave music recommendation unit,
a preprocessor for removing noise from the EEG signal input from the EEG sensor and dividing the EEG signal into delta waves, theta waves, alpha waves, beta waves, and gamma waves according to frequency bands; and
Based on the EEG signals divided into delta wave, theta wave, alpha wave, beta wave, and gamma wave according to the frequency band, music stored in the database or music crawled on the Internet is classified by the risk of sleep disturbance by an artificial intelligence algorithm, and the a music recommendation unit that recommends sleep music suitable for a user in real time;
A sound source providing system for improving sleep quality, comprising:
상기 음악추천부는,
주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천하는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.7. The method of claim 6,
The music recommendation unit,
Based on the EEG signals divided into delta, theta, alpha, beta, and gamma waves according to the frequency band and the user's risk of sleep disturbance, music stored in the database or music crawled on the Internet is classified according to the risk of sleep disturbance by an artificial intelligence algorithm. Classifying and recommending suitable sleep music for users in real time
A sound source system for improving sleep quality, characterized by
상기 뇌파센서 및 상기 음원출력장치는 하나의 웨어러블 장치에 포함되는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 시스템.According to claim 1,
The EEG sensor and the sound source output device are included in one wearable device
A sound source system for improving sleep quality, characterized by
(B) 군집부는 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 비지도학습의 클러스터링 기법으로 세분화하여 수면 장애위험도를 분류하는 단계; 및
(C) 서비스제공부는 상기 수면 장애위험도에 따라 구분되어 인공지능 알고리즘에 의해 작곡된 음원, ASMR음원, 시낭송음원 중 어느 하나 이상이 조합된 수면음악을 음원출력장치를 통해 재생하는 단계;
를 포함하되,
상기 (C)단계는,
(C3) 상기 입력부는 뇌파센서를 통해 사용자의 뇌파 신호를 입력받고, 상기 서비스제공부는 상기 사용자의 뇌파 신호를 기초로 주파수 대역으로 구분하여 인공지능을 기초로 수면 장애위험도 별로 추천하는 음악을 사용자 단말을 통해 제공하는 뇌파음악추천단계;
를 더 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.(A) the input unit presenting a questionnaire to the user through the user terminal in order to distinguish the user's sleep quality, and receiving the user's response to the questionnaire;
(B) classifying the risk of sleep disorder by subdividing the user's sleep data collected through the user's response by the clustering unit into a clustering technique of unsupervised learning; and
(C) the service providing unit is divided according to the risk of sleep disturbance and reproducing the sleep music in which any one or more of a sound source composed by an artificial intelligence algorithm, an ASMR sound source, and a poetry song sound source is combined through a sound source output device;
including,
The step (C) is,
(C3) The input unit receives the user's EEG signal through the EEG sensor, and the service provider divides the user's EEG signal into frequency bands based on the user terminal and recommends music for each sleep disorder risk based on artificial intelligence. EEG music recommendation step provided through;
Sound source providing method for improving sleep quality, characterized in that it further comprises.
상기 (B)단계는,
군집부는, 상기 사용자의 응답을 통해 수집된 사용자의 수면 데이터를 학습용 데이터 60%, 평가용 데이터 40%로 나누어 비지도학습의 클러스터링 기법으로 수면 장애위험도를 고위험군, 중위험군, 저위험군, 정상군의 4가지로 세분화하는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.10. The method of claim 9,
The step (B) is,
The clustering unit divides the user's sleep data collected through the user's response into 60% of the learning data and 40% of the evaluation data, and divides the sleep disorder risk by a clustering technique of unsupervised learning in the high-risk group, the medium-risk group, the low-risk group, and the normal group. subdivided into four
A method of providing a sound source for improving sleep quality, characterized in that
상기 (C)단계는,
서비스제공부는 수면 장애위험도에 따라 구분되어 인공지능 알고리즘을 이용하여 작곡하여 생성한 작곡음원, 데이터베이스에 저장된 ASMR음원 또는 인터넷 상에서 크롤링한 ASMR음원, 데이터베이스에 저장된 시낭송음원 또는 인터넷 상에서 크롤링한 시낭송음원 중 어느 하나 이상을 사용자의 선택 또는 이미 설정된 제어값에 따라 조합하여 생성한 수면음악을 음원출력장치를 통해 재생하는 서비스를 제공하는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.10. The method of claim 9,
The step (C) is,
The service provider is classified according to the risk of sleep disturbance, and any of the music composition created by composing using an artificial intelligence algorithm, the ASMR sound source stored in the database, or the ASMR sound source crawled on the Internet, the poetry song sound source stored in the database, or the poetry song sound source crawled on the Internet. Providing a service that plays back sleep music created by combining one or more according to a user's selection or a previously set control value through a sound source output device;
A method of providing a sound source for improving sleep quality, characterized in that
상기 작곡음원은,
(C1) 작곡음원학습부에서 크롤링을 통해 인터넷상의 음원 데이터를 다운로드 하고, 상기 음원 데이터를 화음, 음표 등과 같은 음악 구성요소 데이터로 분석하며, 분석된 음원 데이터를 상기 수면 장애위험도 별로 매칭하여 RNN, LSTM 중 어느 하나의 인공지능 알고리즘을 이용하여 학습모델 훈련 및 테스트 진행하여 학습모델을 생성하는 단계; 및
(C2) 작곡음원생성부에서 상기 학습모델에 사용자의 수면 장애위험도를 입력하여 미디파일을 생성하는 단계;
를 통해 생성되는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.12. The method of claim 11,
The song composition is
(C1) The music composition learning unit downloads sound source data on the Internet through crawling, analyzes the sound source data as music component data such as chords and notes, and matches the analyzed sound source data by the sleep disorder risk by RNN, generating a learning model by training and testing the learning model using any one of the LSTM artificial intelligence algorithms; and
(C2) generating a MIDI file by inputting the user's sleep disorder risk to the learning model in the music composition generating unit;
A method of providing a sound source for improving sleep quality, characterized in that it is generated through
상기 (C3)단계는,
(C31) 전처리부는 상기 뇌파센서에서 입력된 뇌파 신호로부터 노이즈를 제거하고 뇌파 신호를 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분하는 전처리단계; 및
(C32) 음악추천부는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 수면 장애위험도 별로 분류하여 사용자 단말을 통해 사용자에게 적합한 수면음악을 실시간으로 추천하는 음악추천단계;
를 포함하는 것을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.10. The method of claim 9,
The step (C3) is,
(C31) a pre-processing step of removing noise from the EEG signal input from the EEG sensor and dividing the EEG signal into delta waves, theta waves, alpha waves, beta waves, and gamma waves according to frequency bands; and
(C32) The music recommendation unit selects the music stored in the database or the music crawled on the Internet based on the EEG signals divided into delta, theta, alpha, beta, and gamma waves according to frequency bands according to the risk of sleep disturbance by an artificial intelligence algorithm. a music recommendation step of classifying and recommending sleep music suitable for a user in real time through a user terminal;
A method for providing a sound source for improving sleep quality, comprising:
상기 (C32)단계는,
음악추천부는 주파수 대역에 따라 델타파, 세타파, 알파파, 베타파, 감마파로 구분된 뇌파 신호 및 사용자의 수면 장애위험도를 기초로 데이터베이스에 저장된 음악 또는 인터넷 상에서 크롤링한 음악을 인공지능 알고리즘에 의해 분류하여 사용자에게 적합한 수면음악을 실시간으로 추천하는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.15. The method of claim 14,
The step (C32) is,
The music recommendation unit classifies music stored in the database or music crawled on the Internet based on the EEG signal divided into delta, theta, alpha, beta, and gamma waves according to the frequency band and the user's risk of sleep disturbance by an artificial intelligence algorithm. Recommending sleep music suitable for users in real time
A method of providing a sound source for improving sleep quality, characterized in that
상기 뇌파센서 및 상기 음원출력장치는 하나의 웨어러블 장치에 포함되는 것
을 특징으로 하는 수면 질 향상을 위한 음원 제공 방법.
10. The method of claim 9,
The EEG sensor and the sound source output device are included in one wearable device
A method of providing a sound source for improving sleep quality, characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200179244A KR102260010B1 (en) | 2020-12-21 | 2020-12-21 | Sound source providing system and method for improving sleep quality based on artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200179244A KR102260010B1 (en) | 2020-12-21 | 2020-12-21 | Sound source providing system and method for improving sleep quality based on artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102260010B1 true KR102260010B1 (en) | 2021-06-04 |
Family
ID=76391481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200179244A KR102260010B1 (en) | 2020-12-21 | 2020-12-21 | Sound source providing system and method for improving sleep quality based on artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102260010B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102362491B1 (en) * | 2021-08-09 | 2022-02-15 | (주)유비윈 | Method for providing user custom brain wave induction contents and system of the same |
| KR102486690B1 (en) | 2022-11-01 | 2023-01-12 | 주식회사 디지털뉴트리션 | APPARATUS, METHOD, and system FOR PROVIDING PERSONALIZED HEALTH CARE MUSIC |
| KR20230072803A (en) | 2021-11-18 | 2023-05-25 | 한국국제대학교 산학협력단 | Stress Relief System to Improve Sleep Quality |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080111972A (en) * | 2007-06-20 | 2008-12-24 | 단국대학교 산학협력단 | System for outputting multimedia contents using brain wave according to emotion in real time and method therefor |
| KR101830857B1 (en) * | 2017-07-14 | 2018-02-21 | 코웨이 주식회사 | Method for simplifying a list of questions provided by chatbot by analyzing physiological data and sleep environment data and device for providing chatbot using the same |
| KR20180121069A (en) * | 2017-04-28 | 2018-11-07 | 이화여자대학교 산학협력단 | Music content providing method and music content creation method for managing ptsd(post-traumatic stress disorder) |
| KR20190069687A (en) * | 2017-12-12 | 2019-06-20 | 한국과학기술원 | Multi questionnaire analysis system for depression diagnosis and the method thereof |
| KR20200033522A (en) * | 2018-09-20 | 2020-03-30 | 링크페이스 주식회사 | Method, apparatus and computer program for sleep and arousal |
| KR20200107074A (en) * | 2019-03-06 | 2020-09-16 | 주식회사 옴니씨앤에스 | Brain wave anaylsis method for determining sleep state and apparatus therefore |
| KR20200139851A (en) * | 2019-06-04 | 2020-12-15 | 서정훈 | Method, apparatus and program for automatically mastering music using artificial intelligence |
| KR20210042227A (en) | 2019-10-09 | 2021-04-19 | 최기은 | Snoring and sleep apnea prevention systems |
-
2020
- 2020-12-21 KR KR1020200179244A patent/KR102260010B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080111972A (en) * | 2007-06-20 | 2008-12-24 | 단국대학교 산학협력단 | System for outputting multimedia contents using brain wave according to emotion in real time and method therefor |
| KR20180121069A (en) * | 2017-04-28 | 2018-11-07 | 이화여자대학교 산학협력단 | Music content providing method and music content creation method for managing ptsd(post-traumatic stress disorder) |
| KR101830857B1 (en) * | 2017-07-14 | 2018-02-21 | 코웨이 주식회사 | Method for simplifying a list of questions provided by chatbot by analyzing physiological data and sleep environment data and device for providing chatbot using the same |
| KR20190069687A (en) * | 2017-12-12 | 2019-06-20 | 한국과학기술원 | Multi questionnaire analysis system for depression diagnosis and the method thereof |
| KR20200033522A (en) * | 2018-09-20 | 2020-03-30 | 링크페이스 주식회사 | Method, apparatus and computer program for sleep and arousal |
| KR20200107074A (en) * | 2019-03-06 | 2020-09-16 | 주식회사 옴니씨앤에스 | Brain wave anaylsis method for determining sleep state and apparatus therefore |
| KR20200139851A (en) * | 2019-06-04 | 2020-12-15 | 서정훈 | Method, apparatus and program for automatically mastering music using artificial intelligence |
| KR20210042227A (en) | 2019-10-09 | 2021-04-19 | 최기은 | Snoring and sleep apnea prevention systems |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102362491B1 (en) * | 2021-08-09 | 2022-02-15 | (주)유비윈 | Method for providing user custom brain wave induction contents and system of the same |
| KR20230072803A (en) | 2021-11-18 | 2023-05-25 | 한국국제대학교 산학협력단 | Stress Relief System to Improve Sleep Quality |
| KR102486690B1 (en) | 2022-11-01 | 2023-01-12 | 주식회사 디지털뉴트리션 | APPARATUS, METHOD, and system FOR PROVIDING PERSONALIZED HEALTH CARE MUSIC |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102260010B1 (en) | Sound source providing system and method for improving sleep quality based on artificial intelligence | |
| Schuller et al. | The interspeech 2017 computational paralinguistics challenge: Addressee, cold & snoring | |
| Aucouturier et al. | Musical friends and foes: The social cognition of affiliation and control in improvised interactions | |
| Coutinho et al. | Psychoacoustic cues to emotion in speech prosody and music | |
| USRE43406E1 (en) | Method and device for speech analysis | |
| Trimmer et al. | Emotional intelligence, not music training, predicts recognition of emotional speech prosody. | |
| Dewi et al. | The study of baby crying analysis using MFCC and LFCC in different classification methods | |
| Babel et al. | Can mergers-in-progress be unmerged in speech accommodation? | |
| CN115428070A (en) | Methods, systems, and media for emotional music recommendation and authoring | |
| US8046384B2 (en) | Information processing apparatus, information processing method and information processing program | |
| Phillips-Silver et al. | Amusic does not mean unmusical: Beat perception and synchronization ability despite pitch deafness | |
| Engelberg et al. | The credibility of acted screams: Implications for emotional communication research | |
| Kothinti et al. | Auditory salience using natural scenes: An online study | |
| Berti et al. | Speech production and speech perception in children with speech sound disorder | |
| Zhao et al. | Vocal acoustic features as potential biomarkers for identifying/diagnosing depression: a cross-sectional study | |
| Iyer et al. | Fundamental frequency development in typically developing infants and infants with severe‐to‐profound hearing loss | |
| Korhonen | Modeling continuous emotional appraisals of music using system identification | |
| CN113425293B (en) | Auditory dyscognition disorder evaluation system and method | |
| Caprini et al. | Generalization of auditory expertise in audio engineers and instrumental musicians | |
| Oehler et al. | The octave illusion and handedness: A replication of Deutsch’s 1974 study | |
| Baker | Understanding the nature, extent, and brain dynamics of deficient pattern separation | |
| Rogers | The influence of sensory and cognitive consonance/dissonance on musical signal processing | |
| Laugs | Creating a Speech and Music Emotion Recognition System for Mixed Source Audio | |
| Weiss et al. | Detection of pitch errors in well-known songs | |
| Faubion-Trejo et al. | The roles of absolute pitch and timbre in plink perception |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |