KR102548379B1 - Method of snoring classfication based on image transforming using artificial intelligence - Google Patents
Method of snoring classfication based on image transforming using artificial intelligence Download PDFInfo
- Publication number
- KR102548379B1 KR102548379B1 KR1020220186688A KR20220186688A KR102548379B1 KR 102548379 B1 KR102548379 B1 KR 102548379B1 KR 1020220186688 A KR1020220186688 A KR 1020220186688A KR 20220186688 A KR20220186688 A KR 20220186688A KR 102548379 B1 KR102548379 B1 KR 102548379B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- sleep
- snoring
- data
- artificial neural
- Prior art date
Links
- 206010041235 Snoring Diseases 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013473 artificial intelligence Methods 0.000 title description 29
- 230000001131 transforming effect Effects 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 230000006403 short-term memory Effects 0.000 claims abstract description 7
- 208000024891 symptom Diseases 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 201000002859 sleep apnea Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005442 molecular electronic Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 208000001797 obstructive sleep apnea Diseases 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 206010041009 Sleep talking Diseases 0.000 description 1
- 208000022249 Sleep-Wake Transition disease Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 206010006514 bruxism Diseases 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 208000022821 personality disease Diseases 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003584 silencer Effects 0.000 description 1
- 210000001584 soft palate Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
본 개시의 기술적 사상은 인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법에 관한 것으로서, 상세하게는 CNN(convolution neural network) 및 LSTM(Long Short-Term Memory) 알고리즘을 이용하여 사용자의 수면 중 코골이 증상을 진단하고, 사용자에게 수면 큐레이션 서비스를 제공하는 방법에 관한 것이다.The technical idea of the present disclosure relates to a snoring classification method based on image conversion using an artificial neural network, and in detail, snoring during sleep of a user by using a convolution neural network (CNN) and long short-term memory (LSTM) algorithm. A method for diagnosing symptoms and providing a sleep curation service to users.
최근 웰빙에 관심이 높아지면서 건강하고 싶은 잠에 관한 관심이 높아지고 있다. 그에 따라 사용자의 수면에 관련된 데이터를 수집하고 분석하여 숙면을 취할 수 있도록 돕는 기술이 하나의 기술로 분류되어 슬립테크라 불리어지고 있다.Recently, as interest in well-being increases, interest in healthy sleep is increasing. Accordingly, a technology that collects and analyzes data related to a user's sleep to help the user get a good night's sleep is classified as one technology and is called sleep technology.
코골이는 수면 중 여러 이유로 상기도가 좁아져 연구개 등의 신체 조직이 진동을 일으켜 발생하는 호흡 잡음으로 정의될 수 있다. 코골이는 호흡 시 산호 흡입량을 감소시켜 주간 피로감, 두통, 주간 졸림증, 성격 변화(공격적 성격, 불안감, 우울 반응 등) 등의 증상이 나타날 수 있을 뿐만 아니라, 장시간의 코골이는 폐쇄성수면 무호흡증후군(OSAS: Obstructive Sleep Apnea Syndrome)을 유발할 수 있다.Snoring can be defined as breathing noise caused by vibration of body tissues such as the soft palate due to narrowing of the upper airway for various reasons during sleep. Snoring reduces the amount of coral intake during breathing, which can lead to symptoms such as daytime fatigue, headache, daytime sleepiness, personality change (aggressive personality, anxiety, depressive reaction, etc.), as well as long-term snoring obstructive sleep apnea syndrome ( OSAS: Obstructive Sleep Apnea Syndrome).
수면 중 코골이나 잠꼬대 등은 깊은 수면을 방해하는 원인으로써, 코골이 및 수면 무호흡의 발생 과정에 대한 많은 연구가 진행되고 있고, 여러 연구 결과들이 보고되고 있다.Snoring or talking during sleep is a cause of disturbing deep sleep, and many studies have been conducted on the process of snoring and sleep apnea, and various research results have been reported.
그러나, 기존의 슬립테크는 수면에 따른 생리적 변화를 모니터링하거나, 소리를 분석하여 코골이 여부를 판단하고 상태에 대한 정보를 제공하는데 그칠 뿐, 사용자 맞춤형으로 건강하고 깊은 잠을 자도록 지원해주지는 못하고 있는 실정이다.However, the existing sleep tech only monitors physiological changes according to sleep or analyzes sound to determine whether snoring is present and provides information on the condition, but does not support a user-customized, healthy and deep sleep. am.
본 개시의 기술적 사상이 해결하려는 과제는, 사용자의 수면 중 소리 데이터를 이미지 변환하여, 변환된 이미지 데이터를 인공 신경망에 입력함으로써 코골이 진단을 포함하는 사용자의 수면의 질에 대한 정보를 사용자에게 제공하는 데 있다.The problem to be solved by the technical idea of the present disclosure is to provide the user with information about the quality of the user's sleep, including snoring diagnosis, by converting sound data during sleep of the user into an image and inputting the converted image data to an artificial neural network. is to do
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법은, 사용자의 수면 중 소리 데이터를 미리 저장된 이미지 변환 방식에 기초하여 이미지 데이터로 변환하는 단계, 변환된 상기 이미지 데이터를 수면 분석을 위해 학습된 인공신경망으로 입력하는 단계, 상기 인공신경망으로부터 출력된 수면 분석에 대한 결과 값을 수신하는 단계 및 상기 결과 값을 이용하여 사용자의 수면에 대한 정보를 생성하는 단계를 포함하고, 상기 인공신경망은 CNN(convolution neural network) 및 LSTM(long short-term memory) 알고리즘을 포함하는 것을 특징으로 한다.In order to achieve the above object, a snoring classification method based on image conversion using an artificial neural network according to an aspect of the technical idea of the present disclosure is performed by converting sound data of a user during sleep into image data based on a pre-stored image conversion method. converting the converted image data into an artificial neural network trained for sleep analysis, receiving a resultant value for sleep analysis output from the artificial neural network, and using the resultant value to determine the user's sleep Generating information about , wherein the artificial neural network includes a convolution neural network (CNN) and a long short-term memory (LSTM) algorithm.
본 개시의 기술적 사상의 인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법에 따르면, 우수한 성능을 갖는 STFT 방식을 사용하여 코골이 소리 특징을 이미지 형태로 추출할 수 있다는 효과가 있다.According to the snoring classification method based on image conversion using an artificial neural network of the technical concept of the present disclosure, there is an effect that snoring sound features can be extracted in the form of an image using the STFT method having excellent performance.
본 개시의 기술적 사상의 인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법에 따르면, 가공된 사용자의 수면 중 소리 데이터를 CNN 및 LSTM 알고리즘을 결합한 인공신경망 모델에 입력하여 학습시킴으로써, 사용자의 코골이 증상을 판별할 수 있다는 효과가 있다.According to the snoring classification method based on image conversion using an artificial neural network of the technical idea of the present disclosure, the processed user's sound data during sleep is input into an artificial neural network model combining CNN and LSTM algorithm for learning, thereby detecting the user's snoring symptoms has the effect of being able to discriminate.
도 1은 본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템의 개념도이다.
도 2는 본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템의 프로세스 설계도이다.
도 3은 본 개시의 예시적인 실시예에 따른 모바일 어플리케이션의 시스템 아키텍쳐를 나타내는 블록도이다.
도 4는 본 개시의 예시적인 실시예에 따른 인공신경망의 학습 데이터 전처리 방법을 나타내는 순서도이다.
도 5는 코골이 유무에 따른 수면 중 소리 데이터의 STFT 결과 그래프를 나타낸다.
도 6은 본 개시의 예시적인 실시예에 따른 인공신경망의 CNN 구조를 나타낸다.
도 7은 본 개시의 예시적인 실시예에 따른 인공 신경망의 LSTM 구조를 나타낸다.1 is a conceptual diagram of a sleep curation service system for users according to an exemplary embodiment of the present disclosure.
Fig. 2 is a process design diagram of a sleep curation service system for users according to an exemplary embodiment of the present disclosure.
Fig. 3 is a block diagram illustrating a system architecture of a mobile application according to an exemplary embodiment of the present disclosure.
4 is a flowchart illustrating a method for preprocessing training data of an artificial neural network according to an exemplary embodiment of the present disclosure.
5 shows a graph of STFT results of sound data during sleep according to the presence or absence of snoring.
6 shows a CNN structure of an artificial neural network according to an exemplary embodiment of the present disclosure.
7 shows an LSTM structure of an artificial neural network according to an exemplary embodiment of the present disclosure.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only illustrated for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention These may be embodied in various forms and are not limited to the embodiments described herein.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosures, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, Similarly, the second component may also be referred to as the first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Expressions describing the relationship between components, such as "between" and "directly between" or "directly adjacent to" should be interpreted similarly.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't
본 명세서에서의 프로세서(processor)는 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체를 의미할 수 있다.A processor in this specification may refer to hardware capable of performing functions and operations according to each name described in this specification, or may refer to computer program codes capable of performing specific functions and operations, , or an electronic recording medium loaded with computer program codes capable of performing specific functions and operations.
다시 말해, 프로세서란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, a processor may mean a functional and/or structural combination of hardware and/or software for driving the hardware to implement the technical concept of the present invention.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these examples. Like reference numerals in each figure indicate like elements.
도 1은 본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템의 개념도이다. 1 is a conceptual diagram of a sleep curation service system for users according to an exemplary embodiment of the present disclosure.
도 1을 참조하면, 본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템(100)은 백색 소음기(102) 및 스마트폰 등에 설치된 모바일 어플리케이션(104), 클라우드 스토리지(Cloud storage)(106) 및/또는 AI 엔진(108)이 포함될 수 있다.Referring to FIG. 1 , a sleep
수면 큐레이션 서비스 시스템(100)은 백색 소음기(102)로 사용자(110)의 사운드를 센싱하고, 모바일 어플리케이션(104)의 인공지능(Artificial Intelligence: AI) 모델을 이용하여 사용자(110)의 수면 패턴을 분석하며, 사용자(110)에게 수면 큐레이션 서비스를 제공할 수 있다. The sleep
백색 소음기(102)는 사용자(110)의 숙면을 유도하기 위해 백색 소음을 생성 및 출력할 수 있다. 또한, 백색 소음기(102)는 사용자(110)의 사운드를 센싱할 수 있다. 사용자(110)의 사운드란 사용자(110)의 호흡 소리, 코골이 소리, 이갈이 소리, 잠꼬대 소리 등을 포함할 수 있다. The
백색 소음기(102)는 프로세서, 메모리, 소리 센서 및/또는 사운드 증폭 회로를 포함할 수 있다.The
백색 소음기(102)는 프로세서에 의해 메모리에 저장된 데이터를 처리할 수 있다. 백색 소음기(102)는 프로세서의 제어에 따라 소리 센서로 사용자(110)의 수면 중 사운드를 센싱할 수 있다. 백색 소음기(102)는 사운드 증폭 회로를 이용하여 센싱된 사용자(110)의 수면 중 사운드를 증폭하고, 펄스파(pulse wave) 형태의 사용자(110)의 수면 중 사운드를 디지털 형태로 변환할 수 있다. 변환된 디지털 형태의 수면 중 사운드는 '소리 데이터'로 지칭될 수 있다.The
백색 소음기(102)에 포함된 프로세서는 메모리에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다. A processor included in the
프로세서는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.A processor may be a hardware-implemented data processing device having a circuit having a physical structure for executing desired operations. For example, desired operations may include codes or instructions included in a program.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, a data processing unit implemented in hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , Application-Specific Integrated Circuit (ASIC), and Field Programmable Gate Array (FPGA).
백색 소음기(102)에 포함된 메모리는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.A memory included in the
메모리는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.The memory may be implemented as a volatile memory device or a nonvolatile memory device.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.The volatile memory device may be implemented as dynamic random access memory (DRAM), static random access memory (SRAM), thyristor RAM (T-RAM), zero capacitor RAM (Z-RAM), or twin transistor RAM (TTRAM).
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.Non-volatile memory devices include electrically erasable programmable read-only memory (EEPROM), flash memory, magnetic RAM (MRAM), spin-transfer torque (STT)-MRAM (conductive bridging RAM), and conductive bridging RAM (CBRAM). , FeRAM (Ferroelectric RAM), PRAM (Phase change RAM), Resistive RAM (RRAM), Nanotube RRAM (Polymer RAM (PoRAM)), Nano Floating Gate Memory Memory (NFGM)), holographic memory, molecular electronic memory device (Molecular Electronic Memory Device), or Insulator Resistance Change Memory.
AI 엔진(108)은 AI 모델을 모바일 어플리케이션(104)으로 포팅(porting)할 수 있다. AI 모델은 인공신경망 모델일 수 있다.The
인공 신경망(또는, 뉴럴 네트워크)은 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 일 실시 예에 따라, 인공 신경망은 CNN(convolution neural network) 및/또는 LSTM(long short-term memory)을 포함할 수 있다.Artificial neural networks (or neural networks) may include statistical learning algorithms that mimic biological neurons in machine learning and cognitive science. According to one embodiment, the artificial neural network may include a convolution neural network (CNN) and/or long short-term memory (LSTM).
일 예로, AI 모델은 수면 패턴 분석 모델일 수 있다. 본 개시의 일 실시 예에 따른 AI 엔진(108)은 CNN(convolution neural network) 및/또는 LSTM(long short-term memory) 알고리즘에 기초하여 기 확보된 사용자(110)의 수면 중 소리 데이터를 학습할 수 있다. 일 예로, 기 확보된 사용자(110)의 수면 중 소리 데이터는 10시간 분량의 수면 중 사운드일 수 있다. 사용자(110)로부터 모바일 어플리케이션(104)을 통해 데이터 제공에 대한 동의를 받은 경우, 사용자(110)의 수면 중 소리 데이터는 클라우드 스토리지(106)에 저장 및 수집될 수 있다. 수집된 사용자(110)의 수면 중 소리 데이터는 AI 엔진(108)의 AI 모델의 업그레이드용 또는 연구용으로 활용될 수 있다. 실시 예에 따라, 클라우드 스토리지(106)는 연구용 API(Application Program Interface)가 제공될 수 있다.As an example, the AI model may be a sleep pattern analysis model. The
모바일 어플리케이션(104)은 인공신경망에 기초하여 사용자(110)에게 수면 큐레이션 서비스를 제공할 수 있다. The
모바일 어플리케이션(104)은 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.The
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 워치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.Portable devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MIDs), personal digital assistants (PDAs), and enterprise digital assistants (EDAs). , digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book ( e-book) or a smart device. A smart device may be implemented as a smart watch, a smart band, or a smart ring.
예시적으로, 백색 소음기(102) 및 모바일 어플리케이션(104)이 동작하는 스마트 폰은 블루투스를 이용하여 통신할 수 있다. 백색 소음기(102)는 블루투스를 이용하여 모바일 어플리케이션(104)에 사용자의 수면 중 소리 데이터를 송신할 수 있다.Illustratively, the smart phone on which the
백색 소음기(102) 및 스마트폰 간의 통신은 RFID(radio frequency identification), 적외선 통신(Infra Data Association: IrDA), UWB(Ultra Wideband), 직비(ZigBee), 와이-파이(Wi-Fi, Wireless Fidelity) 등이 적용될 수 있으며, 본 개시의 기술적 범위는 이에 한정되지 않는다.The communication between the
도 2는 본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템의 프로세스 설계도이다. Fig. 2 is a process design diagram of a sleep curation service system for users according to an exemplary embodiment of the present disclosure.
본 개시의 예시적인 실시예에 따른 사용자를 위한 수면 큐레이션 서비스 시스템(200)은 백색 소음기(White Noise Device)(202), 모바일 어플리케이션(Mobile Application)(204), 클라우드 스토리지(Cloud Storage)(206) 및/또는 AI 엔진(AI Engine)(208)을 포함할 수 있다. 도 1의 백색 소음기(102), 모바일 어플리케이션(204), 클라우드 스토리지(106) 및 AI 엔진(108)은 도 2의 각 구성들에 적용될 수 있으며, 중복되는 내용은 생략한다.A sleep curation service system 200 for a user according to an exemplary embodiment of the present disclosure includes a
백색 소음기(202)는 컨트롤러, 센서(Sleep Sounds Crawler), 무선 커넥터(Wireless Connector) 및/또는 백색 소음 디스트리뷰터(White Noise Distributor)를 포함할 수 있다. 컨트롤러는 도 1의 프로세서, 센서는 도 1의 소리 센서에 대응될 수 있다. The
백색 소음기(202)는 사용자의 수면 중 사운드를 획득할 수 있다. 센서는 사용자의 수면 중 사운드를 센싱할 수 있다. 백색 소음기(202)는 획득한 사용자의 수면 중 사운드(또는, 수면 중 소리 데이터)를 블루투스(IEEE 802.15)를 이용하여 모바일 어플리케이션(204)의 사운드 수집 장치(Sleep Sounds Collector)로 송신할 수 있다.The
백색 소음 분배기는 후술하는 사용자(22) 맞춤형 수면사이클에 기초하여 결정된 소리의 종류, 지속 시간 등의 특징을 갖는 백색 소음을 사용자(22)에게 제공할 수 있다.The white noise distributor may provide the
모바일 어플리케이션(204)은 수면 사운드 수집 장치(Sleep Sounds Collector), 사운드 애널라이저(Sounds Analyzer), 딥 슬립 큐레이터(Deep Sleep Curator), 레포트 제너레이터(Report Generator) 및/또는 가이드 디스트리뷰터(Guide Distributor)를 포함할 수 있다.The
수면 사운드 수집 장치는 수면 중 소리 데이터를 사운드 애널라이저에 전달할 수 있다. 사운드 애널라이저는 AI 엔진에게 획득된 수면 중 소리 데이터를 제공하고, 수면 중 소리 데이터를 분석할 수 있다.The sleep sound collection device may transmit sound data during sleep to the sound analyzer. The sound analyzer may provide the acquired sound data during sleep to the AI engine and analyze the sound data during sleep.
딥 슬립 큐레이터는 사용자(22)에게 제공되는 수면 레포트 및 사용자의 수면 큐레이션을 제어할 수 있다. 딥 슬립 큐레이터는 사용자의 수면 큐레이션 정보를 가이드 디스트리뷰터, 백색 소음기(202)의 백색 소음 디스트리뷰터에 제공할 수 있다. 사용자의 수면 큐레이션 정보는 사용자에게 추천하는 수면 사이클에 대한 정보를 포함할 수 있다. 딥 슬립 큐레이터로부터 수면 큐레이션 정보를 수신한 백색 소음 디스트리뷰터는 사용자(22)의 최적의 수면을 위해 수면 사이클에 기초하여 백색 소음기를 제어할 수 있다. 예를 들어, 백색 소음 디스트리뷰터는 특정한 소리 종류, 특정한 지속 시간, 특정한 주기를 갖는 백색 소음을 수면 중인 사용자에게 제공할 수 있다.The deep sleep curator may control the sleep report provided to the
레포트 제너레이터는 딥 슬립 큐레이터로부터 수신한 사용자의 수면 정보에 기초하여 수면 레포트를 출력할 수 있다. 가이드 디스트리뷰터는 사용자(22)에게 수면 레포트 및/또는 수면향상 가이드를 제공할 수 있다.The report generator may output a sleep report based on the user's sleep information received from the deep sleep curator. Guide distributors may provide sleep reports and/or sleep enhancement guides to
사용자(22)로부터 모바일 어플리케이션(204)을 통해 데이터 제공에 대한 동의를 받은 경우, 사용자(22)의 수면 중 소리 데이터는 클라우드 스토리지(206)에 메타데이터와 함께 저장될 수 있다.When consent for data provision is obtained from the
AI 엔진(208)은 클라우드 스토리지(206)로부터 수신된 사용자의 수면 중 소리 데이터를 전처리(Data Preprocessing)할 수 있다. AI 엔진(208)은 AI 모델을 학습(AI Model Training)할 수 있다. AI 엔진(208)은 AI 모델을 선택(AI Model Selection)할 수 있다.The
도 3은 본 개시의 예시적인 실시예에 따른 모바일 어플리케이션의 시스템 아키텍쳐를 나타내는 블록도이다.Fig. 3 is a block diagram illustrating a system architecture of a mobile application according to an exemplary embodiment of the present disclosure.
도 2 및 도 3을 참조하면, 도 2의 모바일 어플리케이션(204)은 도 3의 시스템 아키텍쳐(300)를 갖는 파이어배이스(firebase)(등록상표)의 인프라, 솔루션을 이용하여 개발될 수 있다. 파이어 베이스는 앱 또는 웹 개발을 할 때 필요한 여러 도구와 인프라를 제공하기 위해 개발된 모바일 또는 웹 애플리케이션 개발 플랫폼이다. 모바일 어플리케이션의 시스템 아키텍쳐(300)는 인프라(302), 솔루션(306) 및 응용 프로그램(308)을 포함할 수 있다.Referring to FIGS. 2 and 3 , the
인프라(302)는 어플리케이션 개발을 위한 데이터베이스 및 스토리지를 제공할 수 있다. 파이어배이스 기반 데이터베이스는 Real-time의 특징이 있으며, On-line으로 제공되는 NoSQL(Not only SQL) 데이터베이스일 수 있다. Authentication은 로그인 등의 인증을 제공할 수 있다. Firestore는 직관적이고 원활한 확장성을 제공하는 데이터베이스를 제공할 수 있다. Firestorage는 이미지나 파일 등을 저장할 수 있는 저장공간을 제공할 수 있다. Hosting은 global CDN(Content Delivery Network)를 제공하는 웹 컨텐츠 호스팅 서비스이다. Machine Learning은 머신 러닝에 대한 여러가지 기능을 제공할 수 있다.
솔루션(306)은 어플리케이션의 품질을 향상시킬 수 있고, 솔루션(306)의 각종 기능을 통해 어플리케이션을 이용한 비즈니스의 성장을 도모할 수 있다. 솔루션(306)은 다량의 비정상 종료를 관리 가능한 문제 목록으로 바꾸어 문제 해결 시간을 줄일 수 있는 Crashlytics, 자동 테스트를 실행하는 Test Lab 등을 포함하는 출시 및 모니터링 파트를 포함할 수 있다. 솔루션(306)은 머신러닝을 활용하여 앱 제거 또는 지출 가능성이 높은 사용자 세그먼트를 파악할 수 있는 Predictions 등을 포함하는 참여 파트를 포함할 수 있다. 솔루션(306)은 애플리케이션의 사용성을 분석하는 분석 파트를 포함할 수 있다. 분석 파트는, 설계된 이벤트로 사용자의 유입 경로를 정의할 수 있는 Funnel을 포함하는 분석(마케팅) 파트와, 이벤트를 실시간으로 관찰할 수 있는 DebugView, 배포 관련 데이터를 확인할 수 있는 latent release 등을 포함하는 분석(기타)파트로 구성될 수 있다.The
본 개시의 일 실시 예에 따른 응용 프로그램(308)은 수면 큐레이션(32), 수면 상태 분석(34), 수면 클리닉(36)을 제공하는 프로그램을 포함할 수 있다.The
수면 큐레이션(32)은 ASMR(Autonomous Sensory Meridian Response), 클래식 또는 국가별 전통 음악을 제공할 수 있다. 수면 큐레이션(32)은 알람을 제공할 수 있다. 수면 큐레이션(32)은 백색 소음기 제어 기능을 제공할 수 있다.The
수면 상태 분석(34)은 수면 상태 대시 보드, 수면 리포트를 제공할 수 있다. 수면 상태 분석(34)은 대조군 비교 값을 제공할 수 있다. 일 예로, 나이대별, 시간대별 또는 사용자의 날짜 별 대조군을 비교한 수면 상태 분석 리포트를 제공할 수 있다.
수면 클리닉(308)은 수면클리닉 센터 정보 또는 수면 클리닉 센터의 방문 이력에 대한 정보를 제공할 수 있다.The
본 개시의 일 실시 예에 따른 모바일 어플리케이션은 플러터(flutter)로 개발 환경이 구축될 수 있고, 이는 일 실시 예에 불과할 뿐 다른 애플리케이션 프레임워크에 의해 개발될 수 있다. 본 개시의 일 실시 예에 따른 모바일 어플리케이션은 안드로이드 및/또는 iOS 플랫폼에서 사용될 수 있다.A development environment for a mobile application according to an embodiment of the present disclosure may be built with flutter, which is only an example and may be developed with other application frameworks. A mobile application according to an embodiment of the present disclosure may be used on Android and/or iOS platforms.
도 4는 본 개시의 예시적인 실시예에 따른 인공신경망의 학습 데이터 전처리 방법을 나타내는 순서도이다. 도 5는 코골이 유무에 따른 수면 중 소리 데이터의 STFT 결과 그래프를 나타낸다.4 is a flowchart illustrating a method for preprocessing training data of an artificial neural network according to an exemplary embodiment of the present disclosure. 5 shows a graph of STFT results of sound data during sleep according to the presence or absence of snoring.
이하에서, 전처리 전의 학습 데이터는 사용자의 수면 중 소리 데이터로 지칭될 수 있다.Hereinafter, learning data before preprocessing may be referred to as user sound data during sleep.
도 2 및 도 4를 참조하면, 도 2의 AI 엔진(208)은 도 4의 순서도에 따라 데이터 전처리(Data Preprocessing)를 수행할 수 있다.Referring to FIGS. 2 and 4 , the
사용자의 수면 중 소리 데이터는 슬라이싱 되기 전 길이가 상대적으로 긴 데이터(Long Data)이고, 특정 진폭 및 주파수를 갖는 소리 데이터일 수 있다. AI 엔진은 사용자의 수면 중 소리 데이터의 데이터 슬라이싱(Slicing)을 수행할 수 있다(S402).The sound data of the user during sleep is relatively long data before being sliced and may be sound data having a specific amplitude and frequency. The AI engine may perform data slicing of sound data during the user's sleep (S402).
슬라이싱 된 데이터는 로 패스 필터(Low pass Butterworth Filter)를 통과하여 잡음이 제거될 수 있다(S404). 로 패스 필터의 컷오프 주파수는 50Hz일 수 있다.Noise may be removed from the sliced data by passing through a low pass butterworth filter (S404). A cutoff frequency of the low pass filter may be 50 Hz.
AI 엔진은 슬라이싱 된 데이터가 3.5s보다 긴 소리 데이터인지 여부를 판단할 수 있다(S406).The AI engine may determine whether the sliced data is sound data longer than 3.5 s (S406).
슬라이싱 된 데이터가 3.5초 보다 긴 소리 데이터인 경우, AI 엔진은 3.5초의 길이로 소리 데이터를 잘라낼 수 있다(S408).If the sliced data is sound data longer than 3.5 seconds, the AI engine may cut the sound data to a length of 3.5 seconds (S408).
AI 엔진은 3.5S 이하의 길이를 갖는 소리 데이터를 STFT 방법을 이용하여 소리 데이터의 특징을 추출할 수 있다. 소리 데이터는 STFT(Short-Time Fourier Transform)을 이용하여 2D 스펙트로그램 표현으로 생성될 수 있다. 본 개시의 일 실시 예에 따른 STFT의 식은 다음의 수학식 1과 같다.The AI engine may extract features of sound data using the STFT method for sound data having a length of 3.5S or less. Sound data may be generated as a 2D spectrogram representation using Short-Time Fourier Transform (STFT). An equation of STFT according to an embodiment of the present disclosure is as shown in
STFT 방식은 DWT(Discrete Wavelet Transform), 힐버트 변환 등의 방식에 비해 소리의 특징들을 추출하는 데에 있어 성능이 더 우수하고, STFT 방식을 사용하면 주변 소음에 대해 견고한 모델을 구축할 수 있다. 즉, 본 개시의 일 실시 예에 따른 STFT 방식을 이용한 인공신경망은 수면 중 소리 데이터에서 코골이를 매우 높은 정확도로 탐지 및 분류할 수 있다.Compared to DWT (Discrete Wavelet Transform) and Hilbert Transform, the STFT method has better performance in extracting sound features, and the STFT method can build a robust model for ambient noise. That is, the artificial neural network using the STFT method according to an embodiment of the present disclosure can detect and classify snoring with very high accuracy in sound data during sleep.
AI 엔진은 2D 스펙트로그램 표현으로 생성된 이미지 데이터의 데이터 단위 통일(Scale)(S412) 및 데이터 표준화(Standardization))(S414)를 수행할 수 있다.The AI engine may perform data unit unification (Scale) (S412) and data standardization (S414) of the image data generated by the 2D spectrogram expression.
AI 엔진은 이미지 데이터가 3.5초보다 짧은 소리 데이터에 대응되는 지 여부를 판단할 수 있다(S416).The AI engine may determine whether the image data corresponds to sound data shorter than 3.5 seconds (S416).
3.5초 보다 짧은 소리 데이터에 대응되는 경우, AI 엔진은 제로 패딩(zero padding)을 수행할 수 있다(S418).If it corresponds to sound data shorter than 3.5 seconds, the AI engine may perform zero padding (S418).
소리 데이터의 길이가 3.5S로 통일된 전처리된 데이터는 코골이 분류를 위한 인공신경망(Classification neural network)에 입력되는 샘플 이미지 데이터를 생성할 수 있고, 샘플 이미지 데이터는 코골이 분류를 위한 인공신경망에 입력될 수 있다(S420).The preprocessed data in which the length of the sound data is unified to 3.5S can generate sample image data that is input to an artificial neural network for snoring classification, and the sample image data is input to the artificial neural network for snoring classification. It can be input (S420).
도 5를 참조하면, 코골이 없는 수면 중 소리 데이터의 STFT 결과 그래프(502) 및 코골이 있는 수면 중 소리 데이터의 STFT 결과 그래프(504)가 도시된다. 도 5의 그래프에 해당되는 이미지들은 인공신경망의 입력데이터로 입력될 수 있다.Referring to FIG. 5 , an
도 6은 본 개시의 예시적인 실시예에 따른 인공신경망의 CNN 및 LSTM 구조를 나타낸다. 도 7은 본 개시의 예시적인 실시예에 따른 인공신경망의 LSTM 구조를 나타낸다.6 shows CNN and LSTM structures of an artificial neural network according to an exemplary embodiment of the present disclosure. 7 shows an LSTM structure of an artificial neural network according to an exemplary embodiment of the present disclosure.
본 개시의 예시적인 실시예에 따른 인공신경망 모델은 CNN(convolution neural network) 및/또는 LSTM(long short-term memory)을 포함할 수 있다. 일 예로, 인공신경망 모델은 CNN 및 LSTM 알고리즘을 결합한 딥러닝 모델(CNN-LSTM 모델)로 구현될 수 있다.An artificial neural network model according to an exemplary embodiment of the present disclosure may include a convolution neural network (CNN) and/or long short-term memory (LSTM). For example, the artificial neural network model may be implemented as a deep learning model (CNN-LSTM model) combining CNN and LSTM algorithms.
본 개시의 일 실시예에 따른 인공신경망을 구현하는 데에 있어서, Conv2d를 2개의 레이어들로 사용할 수 있고, Maxpool2D 2개, LSTM을 2개의 레이어들로 사용할 수 있다. 입력 데이터의 사이즈는 32x32 이미지를 사용할 수 있고, 코골이를 하는 수면 및 코골이를 사용하지 않는 수면을 분류하기 위해 시그모이드(sigmoid)함수를 사용하고, 손실 함수는 binary_crossentropy를 사용할 수 있다. 또한, 옵티마이저(optimizer)는 RMSprop를 사용할 수 있고, 학습률(learning rate)은 0.001을 사용할 수 있다. 또한, 본 개시의 일 실시예에 따른 딥러닝 모델은 EarlyStopping을 사용하여 validation loss를 최소화하였다. 본 개시의 일 실시예에 따른 CNN-LSTM 모델의 전체 구성은 다음의 표 1과 같다.In implementing the artificial neural network according to an embodiment of the present disclosure, Conv2d may be used as two layers, Maxpool2D may be used as two layers, and LSTM may be used as two layers. A 32x32 image can be used as the size of the input data, a sigmoid function is used to classify sleep with snoring and sleep without snoring, and binary_crossentropy can be used as the loss function. Also, the optimizer may use RMSprop, and the learning rate may use 0.001. In addition, the deep learning model according to an embodiment of the present disclosure uses EarlyStopping to minimize validation loss. The overall configuration of the CNN-LSTM model according to an embodiment of the present disclosure is shown in Table 1 below.
도 6을 참조하면, 본 개시의 실시 예에 따른 CNN은 시간 축을 따라 입력의 모양을 변경하지 않고 2D의 이미지 데이터에서 시간-주파수 영역의 특징을 자동으로 추출할 수 있다. 또한, CNN은 주파수 영역에서 보다 더 많은 특징을 획득하기 위해 직사각형 필터가 사용될 수 있다. 본 개시의 실시 예에 따른 CNN은 입력된 이미지 데이터가 코골이 소리가 포함된 데이터(즉, 코골이 데이터)인지 또는 코골이 소리가 포함되지 않은 데이터인지 분류할 수 있다.Referring to FIG. 6 , a CNN according to an embodiment of the present disclosure can automatically extract time-frequency domain features from 2D image data without changing the shape of an input along the time axis. In addition, CNNs can use a rectangular filter to acquire more features in the frequency domain. The CNN according to an embodiment of the present disclosure may classify whether input image data includes snoring sound (ie, snoring data) or data without snoring sound.
본 개시의 실시 예에 따른 LSTM은 비교적 큰 범위 내에서 의존성(dependency)을 갖는 순차 데이터를 특성화하도록 설계될 수 있다. 또한, 가변 시퀀스 길이를 처리하기 위해 동적 LSTM 계층이 사용될 수 있다.LSTM according to an embodiment of the present disclosure may be designed to characterize sequential data having dependencies within a relatively large range. Also, a dynamic LSTM layer can be used to handle variable sequence lengths.
도 7을 참조하면, RNN(Recurrent Neural Network)의 일부분인 A는 입력 값(Xn, n=0,…,t)을 입력받아 출력 값(hn, n=0,…,t)을 출력할 수 있고, A는 이러한 과정들을 스스로 반복할 수 있다.Referring to FIG. 7, A, which is a part of a Recurrent Neural Network (RNN), may receive an input value (Xn, n=0,…,t) and output an output value (hn, n=0,…,t). and A can repeat these processes on its own.
본 개시의 실시 예에 따른 LSTM은 사용자가 코골이 증상이 있음을 판단할 수 있다. LSTM은 특정 시간 동안 동일 현상이 반복적으로 발생되는 경우, 즉, 코골이 데이터에 대응되는 이미지 데이터가 임계 값 이상 반복적으로 입력되는 경우 코골이 증상임을 판별할 수 있다.LSTM according to an embodiment of the present disclosure may determine that the user has a snoring symptom. The LSTM can determine that snoring is a symptom when the same phenomenon repeatedly occurs during a specific time period, that is, when image data corresponding to the snoring data is repeatedly input over a threshold value.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As above, exemplary embodiments have been disclosed in the drawings and specifications. Embodiments have been described using specific terms in this specification, but they are only used for the purpose of explaining the technical spirit of the present disclosure, and are not used to limit the scope of the present disclosure described in the meaning or claims. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical scope of protection of the present disclosure should be determined by the technical spirit of the appended claims.
Claims (4)
상기 적어도 하나의 프로세서가 사용자의 수면 중 소리 데이터를 미리 저장된 이미지 변환 방식에 기초하여 이미지 데이터로 변환하는 단계;
상기 적어도 하나의 프로세서가 변환된 상기 이미지 데이터를 수면 분석을 위해 학습된 인공신경망으로 입력하는 단계;
상기 적어도 하나의 프로세서가 상기 인공신경망으로부터 출력된 수면 분석에 대한 결과 값을 수신하는 단계; 및
상기 적어도 하나의 프로세서가 상기 결과 값을 이용하여 사용자의 수면에 대한 정보를 생성하는 단계;를 포함하고,
상기 인공신경망은 CNN(convolution neural network) 및 LSTM(long short-term memory) 알고리즘을 포함하는,
인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법.A snoring classification method based on image conversion using an artificial neural network performed by a computing device including at least one processor, the method comprising:
converting, by the at least one processor, sound data of the user during sleep into image data based on a pre-stored image conversion method;
inputting, by the at least one processor, the converted image data into an artificial neural network trained for sleep analysis;
receiving, by the at least one processor, a result value for sleep analysis output from the artificial neural network; and
Generating, by the at least one processor, information about the user's sleep using the resulting value;
The artificial neural network includes a convolution neural network (CNN) and a long short-term memory (LSTM) algorithm.
A snoring classification method based on image conversion using an artificial neural network.
미리 저장된 상기 이미지 변환 방식은 STFT(short time fourier transform)이고,
상기 STFT를 이용하여 상기 수면 중 소리 데이터의 특징을 이미지 형태로 추출하는 것을 특징으로 하는,
인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법.The method of claim 1,
The pre-stored image conversion method is STFT (short time fourier transform),
Characterized in that the feature of the sound data during sleep is extracted in the form of an image using the STFT,
A snoring classification method based on image conversion using an artificial neural network.
상기 인공신경망은 전처리된 학습 데이터에 따라 학습되고,
상기 전처리된 학습 데이터는 상기 수면 중 소리 데이터를 슬라이싱하고, 상기 수면 중 소리 데이터의 잡음을 LPF(low pass filter)를 이용하여 제거하고, 상기 수면 중 소리 데이터의 크기를 통일화하고, 상기 수면 중 소리 데이터를 표준화되는 것을 특징으로 하는,
인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법.The method of claim 2,
The artificial neural network is learned according to the preprocessed learning data,
The preprocessed learning data is obtained by slicing the sound during sleep data, removing noise of the sound during sleep data using a low pass filter (LPF), unifying the volume of the sound during sleep data, and Characterized in that the data is standardized,
A snoring classification method based on image conversion using an artificial neural network.
상기 적어도 하나의 프로세서가 상기 CNN에 기초하여, 상기 이미지 데이터가 코골이 소리가 포함된 소리 데이터에 대응하는지 여부를 판단하는 단계; 및
상기 적어도 하나의 프로세서가 상기 LSTM에 기초하여, 상기 코골이 데이터에 대응되는 상기 이미지 데이터가 임계 값 이상 반복적으로 입력 되는 경우, 사용자가 코골이 증상이 있음을 판단하는 단계;를 더 포함하는,
인공신경망을 이용한 이미지 변환 기반의 코골이 분류 방법.The method of claim 3,
determining, by the at least one processor, whether the image data corresponds to sound data including a snoring sound, based on the CNN; and
Further comprising, based on the LSTM, the at least one processor determining that the user has a snoring symptom when the image data corresponding to the snoring data is repeatedly input at a threshold value or more.
A snoring classification method based on image conversion using an artificial neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220186688A KR102548379B1 (en) | 2022-12-28 | 2022-12-28 | Method of snoring classfication based on image transforming using artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220186688A KR102548379B1 (en) | 2022-12-28 | 2022-12-28 | Method of snoring classfication based on image transforming using artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102548379B1 true KR102548379B1 (en) | 2023-06-28 |
Family
ID=86994122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220186688A KR102548379B1 (en) | 2022-12-28 | 2022-12-28 | Method of snoring classfication based on image transforming using artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102548379B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220021989A (en) | 2020-08-14 | 2022-02-23 | 주식회사 이피아이랩 | Method and device for monitoring correlation between snoring and posture based on snoring sound and sleep posture analysis during sleep |
| KR20220022023A (en) * | 2020-08-14 | 2022-02-23 | 서울대학교산학협력단 | Sleep disorder inspecting apparatus and method thereof |
| KR20220153277A (en) * | 2021-05-11 | 2022-11-18 | 한림대학교 산학협력단 | Electronic apparatus for classification of sleep stages based on image including multi-channel bio-signals, and sleep stage classification method thereof |
-
2022
- 2022-12-28 KR KR1020220186688A patent/KR102548379B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220021989A (en) | 2020-08-14 | 2022-02-23 | 주식회사 이피아이랩 | Method and device for monitoring correlation between snoring and posture based on snoring sound and sleep posture analysis during sleep |
| KR20220022023A (en) * | 2020-08-14 | 2022-02-23 | 서울대학교산학협력단 | Sleep disorder inspecting apparatus and method thereof |
| KR20220153277A (en) * | 2021-05-11 | 2022-11-18 | 한림대학교 산학협력단 | Electronic apparatus for classification of sleep stages based on image including multi-channel bio-signals, and sleep stage classification method thereof |
Non-Patent Citations (1)
| Title |
|---|
| 논문, CNN-LSTM 기반 시계열 데이터의 이상치 분류를 위한 이미지 인코딩 방법 비교 분석 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7440420B2 (en) | Application development platform and software development kit offering comprehensive machine learning services | |
| Pektaş et al. | Deep learning for effective Android malware detection using API call graph embeddings | |
| Girardin et al. | When user experience designers partner with data scientists | |
| US11468241B2 (en) | Techniques to add smart device information to machine learning for increased context | |
| US20200311613A1 (en) | Connecting machine learning methods through trainable tensor transformers | |
| Ferenc et al. | Challenging machine learning algorithms in predicting vulnerable javascript functions | |
| US20210398020A1 (en) | Machine learning model training checkpoints | |
| van Breda et al. | Exploring and comparing machine learning approaches for predicting mood over time | |
| Friedjungová et al. | Missing features reconstruction using a wasserstein generative adversarial imputation network | |
| Williams et al. | Limits of transfer learning | |
| US8639702B2 (en) | System and method to classify and apply behavioral stimuli potentials to data in real time | |
| Colonna et al. | How to correctly evaluate an automatic bioacoustics classification method | |
| JPWO2016084326A1 (en) | Information processing system, information processing method, and program | |
| Chaudhury et al. | Large-scale music genre analysis and classification using machine learning with apache spark | |
| KR102548379B1 (en) | Method of snoring classfication based on image transforming using artificial intelligence | |
| KR102521981B1 (en) | Operation method of sleep curation service system for users | |
| Gibb et al. | Towards interpretable learned representations for Ecoacoustics using variational auto-encoding | |
| US10394898B1 (en) | Methods and systems for analyzing discrete-valued datasets | |
| Schmitz | Nonlinear modeling of the guitar signal chain enabling its real-time emulation | |
| WO2024143888A1 (en) | Snoring classification method based on image conversion using artificial neural network | |
| Vezzoli et al. | An introductory guide for conducting psychological research with big data. | |
| JP2022148878A (en) | Program, information processing device and method | |
| Akram et al. | Less is more: Efficient behavioral context recognition using Dissimilarity-Based Query Strategy | |
| Swathi et al. | Prediction of Chronic Kidney Disease with Various Machine Learning Techniques: A Comparative Study | |
| Kulkarni et al. | Impact of gaussian noise for optimized support vector machine algorithm applied to medicare payment on raspberry pi |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |