KR102569277B1 - Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 - Google Patents
Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 Download PDFInfo
- Publication number
- KR102569277B1 KR102569277B1 KR1020210067632A KR20210067632A KR102569277B1 KR 102569277 B1 KR102569277 B1 KR 102569277B1 KR 1020210067632 A KR1020210067632 A KR 1020210067632A KR 20210067632 A KR20210067632 A KR 20210067632A KR 102569277 B1 KR102569277 B1 KR 102569277B1
- Authority
- KR
- South Korea
- Prior art keywords
- analysis
- dementia
- sound source
- data
- vocal
- Prior art date
Links
- 206010012289 Dementia Diseases 0.000 title claims abstract description 123
- 230000001755 vocal effect Effects 0.000 title claims abstract description 106
- 238000004458 analytical method Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003930 cognitive ability Effects 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 26
- 238000007405 data analysis Methods 0.000 claims abstract description 22
- 238000009795 derivation Methods 0.000 claims abstract description 15
- 238000003745 diagnosis Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 208000024891 symptom Diseases 0.000 claims description 8
- 238000010835 comparative analysis Methods 0.000 claims description 7
- 210000004556 brain Anatomy 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002265 prevention Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 206010002942 Apathy Diseases 0.000 description 1
- 206010012239 Delusion Diseases 0.000 description 1
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 206010029216 Nervousness Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Developmental Disabilities (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 음원 컨텐츠를 제공하고 치매 환자의 가창에 의한 보컬데이터를 입력받아 분석하는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법에 관한 것으로, 가창에 필요한 음원 컨텐츠를 출력하는 컨텐츠 출력부, 치매 예방 및 진단이 필요한 사용자로부터 상기 컨텐츠 출력부에서 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는 보컬 데이터 입력부, 상기 보컬 데이터 입력부로 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석하는 보컬 데이터 분석부를 포함하는 서비스 단말기 및 상기 서비스 단말기의 보컬 데이터 분석부에서 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해내는 추론 결과 도출부를 포함하는 치매관리 서비스 서버를 포함하는, AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템에 의해 치매환자의 예방 및 진단, 치료, 미래 예측에 관한 중요한 정보를 제공할 수 있는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법을 제공할 수 있다는 효과가 도출된다.
Description
본 발명은 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법에 관한 것으로, 음원 컨텐츠를 제공하고 치매 환자의 가창에 의한 보컬데이터를 입력받아 분석하는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법에 관한 것이다.
일반적으로 치매에 대한 사회적 관심이 증가하면서 치매 환자의 존엄을 지키는 안전한 돌봄에 대한 요구가 증가하고 있다.
그러나 관리자는 치매의 행동심리증상에 대한 적절한 대응의 어려움 및 관련 안전사고에 대한 부담감이 심각하다.
치매의 행동심리증상(behavioral and psychological symptoms of dementia, BPSD)은 공격성, 부적절한 성적 행동, 불결행위, 욕설, 배회, 초조, 망상, 환각, 무감동, 수면장애 등으로 이는 단순히 질환의 경과에 따라서만 발생하는 것이 아니다. 치매의 행동심리증상은 치매 환자의 질병전 성격, 과거경험, 신체자극, 심리자극, 환경자극, 약물부작용 등 다양한 유발요인에 의해 나타난다. 치매의 행동심리증상에 적절히 대응하지 못하면 기관내 치매 환자 본인과 동료 노인, 관리자에게 위해가 되어 억제대를 사용해야하고, 가족의 직접 돌봄의 경우 노인학대 또는 동반자살에까지 이른다.
치매 환자의 돌봄과 관련하여 한국등록특허 제10-1880500호에 개시된 일상생활 보조 로봇 소통 시스템은 경증치매환자와 대화를 통해 정보를 갱신하고 경증치매환자가 케어 서비스를 선택할 수 있게 한다.
한편, 종래에는 치매 치료에 음악, 특히 가창이 효과가 좋다는 것은 이미 알려져 있다. 일례로 미국 알츠하이머 학회에서 운영하는 알츠하이머넷에서는 이미 오래전부터 치매환자를 위한 음악서비스를 제공하고 있고, 국내의 많은 치매 환자를 위한 프로그램에서 가창은 매우 중요한 역할을 하고 있다.
다만, 이러한 서비스는 치매환자에게 가창 환경 제공에만 그치고 있고, 그 가창에서 발생하는 보컬에 대한 분석을 통해 환자의 치매에 관련된 정보를 분석하는 방식은 활용되고 있지 않다.
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 치매환자의 인지능력에 따른 가창의 음정, 박자, 볼륨등 해당 음악 컨텐츠의 기본 정보와의 차이점에 대한 정보를 빅데이터로 관리하고, 머신러닝을 이용한 분석결과를 활용하여 치매환자의 예방 및 진단, 치료, 미래 예측에 관한 중요한 정보를 제공할 수 있는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법을 제공함에 그 목적이 있다.
또한, 치매환자의 관리를 도모하는 보호자, 전문가나 의료인에게 치료에 연관된 데이터들을 제공해줌으로써 치매 환자 관리에 도움을 줄 수 있는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법을 제공하고자 한다.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.
즉 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템은 가창에 필요한 음원 컨텐츠를 출력하는 컨텐츠 출력부, 치매 예방 및 진단이 필요한 사용자로부터 상기 컨텐츠 출력부에서 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는 보컬 데이터 입력부, 상기 보컬 데이터 입력부로 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석하는 보컬 데이터 분석부를 포함하는 서비스 단말기 및 상기 서비스 단말기의 보컬 데이터 분석부에서 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해내는 추론 결과 도출부를 포함하는 치매관리 서비스 서버를 포함한다.
한편, 치매 환자 관리 시스템의 구동방법은 서비스 단말기가 가창에 필요한 음원 컨텐츠를 출력하는 단계, 서비스 단말기가 치매 예방 및 진단이 필요한 사용자로부터 상기 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는 단계, 서비스 단말기가 상기 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석하는 단계 및 치매관리 서비스 서버가 상기 서비스 단말기에서의 비교 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해내는 단계를 포함한다.
본 발명에 의하면 치매환자의 인지능력에 따른 가창의 음정, 박자, 볼륨등 해당 음악 컨텐츠의 기본 정보와의 차이점에 대한 정보를 빅데이터로 관리하고, 머신러닝을 이용한 분석결과를 활용하여 치매환자의 예방 및 진단, 치료, 미래 예측에 관한 중요한 정보를 제공할 수 있는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법을 제공할 수 있다는 효과가 도출된다.
또한, 치매환자의 관리를 도모하는 보호자, 전문가나 의료인에게 치료에 연관된 데이터들을 제공해줌으로써 치매 환자 관리에 도움을 줄 수 있는 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법을 제공하는 효과가 도출된다.
도 1 은 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구성을 도시한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 서비스 단말기에서의 치매 환자 관리 서비스 전용 앱 실행 화면의 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 음원 컨텐츠 데이터의 예시도이다.
도 4 는 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구동방법의 흐름도이다.
도 2 는 본 발명의 일 실시예에 따른 서비스 단말기에서의 치매 환자 관리 서비스 전용 앱 실행 화면의 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 음원 컨텐츠 데이터의 예시도이다.
도 4 는 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구동방법의 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구성을 도시한 블록도이다.
일 실시예에 따른 치매 환자 관리 시스템은 가창(歌唱)의 인공지능 보컬 분석을 이용한 치매 예방, 진단, 치료 및 예측이 가능하다.
즉, 일 실시예에 따른 치매 환자 관리 시스템은 노래부르기(이하 가창)에서 입력되는 보컬을 분석하여 치매의 예방, 진단 및 치료, 미래의 예측에 대한 정보를 제공하기 위한 서비스 플랫폼을 제공한다.
치매환자가 부담없이 접할 수 있는 가창을 지원하는 서비스 단말기(10)를 이용하여 해당 음악에 대한 보컬을 수집하고 그 보컬이 해당 음악컨텐츠의 정확한 음정 및 박자, 볼륨등의 정보와의 차이점을 비교 분석하여 사용자의 뇌와 관련된 인지능력에 대한 정보를 빅데이터로 관리하고, 머신러닝 기법을 도입하여 사용자의 과거와 현재의 인지능력 차이점을 분석하여 치매의 예방과 진행속도 분석, 치료, 미래 예측을 위한 정보를 제공할 수 있다.
도 1 과 같이 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템은 치매 예방, 진단 또는 치료가 필요한 사용자 또는 그 보호자가 소지하는 서비스 단말기(10)와 치매 관리 서비스 서버(20)를 포함한다.
서비스 단말기(10)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지장치 등과 같은 다양한 단말기에 적용될 수 있다.
일 실시예에 있어서 서비스 단말기(10)는 치매 예방, 진단, 또는 치료를 위해 가창 환경을 제공하고, 사용자의 보컬 데이터를 입력받아 그 비교 결과 및, 비교 결과에 기반한 치매 관련 추론 데이터를 디스플레이할 수 있는 사용자 인터페이스를 제공하기 위한 치매 환자 관리 서비스 전용 앱을 탑재하고, 실행시킬 수 있는 단말기를 포괄하도록 해석된다.
구체적으로 서비스 단말기(10)는 컨텐츠 출력부(110), 보컬 데이터 입력부(120), 보컬 데이터 분석부(130), 컨텐츠 관리부(140) 및 분석 결과 전송부(150)를 포함한다.
컨텐츠 출력부(110)는 스피커 및 디스플레이부를 통해서 가창에 필요한 음원 컨텐츠를 출력한다.
이때 컨텐츠 출력부(110)는 치매 관리 서비스 서버(20)로부터 제공받은 음원 데이터를 포함하는 음원 컨텐츠를 출력한다.
일 양상에 있어서, 음원 컨텐츠는 음원 MR 파일과 해당 음원에 매칭되는 가사 정보를 포함한다.
컨텐츠 출력부(110)는 스피커를 통해 음원 MR 파일을 출력하면서 동시에 가사 및 박자를 표시하는 화면을 디스플레이부를 통해 출력한다. 이때 디스플레이부에 출력되는 화면은 각각의 음(노트)에 대해서 불러야할 음의 높이와 길이를 표시하도록 구현된다.
보컬 데이터 입력부(120)는 치매 예방 및 진단이 필요한 사용자로부터 컨텐츠 출력부(110)에서 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는다. 일 실시예에 있어서 보컬 데이터 입력부(120)는 마이크를 통해 사용자의 가창에 의해 입력되는 보컬 데이터를 입력받는다.
보컬 데이터 분석부(130)는 보컬 데이터 입력부(120)로 입력된 보컬 데이터의 주파수를 분석하고 컨텐츠 출력부(110)에서 출력되는 음원 컨텐츠와 비교 분석한다.
일 실시예에 있어서 보컬 데이터 분석부(130)는 마이크를 통해 입력되는 보컬 데이터의 주파수를 분석하여 현재 진행되고 있는 음원 컨텐츠의 MR 진행시간과 동기화하여 주파수의 정확도(음의 높낮이), 박자, 소리 세기등을 분석하여 원래 음원 컨텐츠가 가지고있는 데이터와 비교 분석하여 그 차이를 결과값으로 도출해낸다.
그리고 분석 결과 전송부(150)는 보컬 데이터 분석부(130)에서의 음정, 박자, 소리, 세기등의 차이점에 대한 분석 결과를 사용자 ID 정보와 음원 컨텐츠를 구분하기 위한 음원 ID와 함께 치매 관리 서비스 서버(20)로 전송한다.
일 양상에 있어서, 분석화면 제공부(160)는 보컬 데이터 분석부(130)에서의 상기 보컬 데이터 입력부로 입력된 보컬 데이터의 주파수와 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와의 비교 결과를 실시간으로 가시적인 데이터로 제공해준다.
도 2 는 본 발명의 일 실시예에 따른 서비스 단말기에서의 치매 환자 관리 서비스 전용 앱 실행 화면의 예시도이다.
분석화면 제공부(160)는 도 2에서와 같이 보컬 데이터 입력부(120)로 입력된 보컬 데이터와 음원 컨텐츠에 포함된 음원의 박자와 가사 정보에 일치하는지 여부에 대한 결과를 화면에 가시적인 데이터로 제공한다.
즉, 분석화면 제공부(160)는 서비스 단말기(10)의 디스플레이부를 통해 실시간으로 음의 높이와 길이, 박자에 맞고 틀리는지 여부를 시각적으로 표시해줌으로써 실시간으로 사용자가 자신의 가창에 대한 평가를 확인할 수 있다.
그리고 일예로 가사나 박자, 음정의 일치 여부에 따라 연속 일치 횟수를 combo로 표시하고 점수화하여 게임효과와 같이 흥미를 유발시킬 수 있어 참여도를 높일 수 있다.
컨텐츠 관리부(140)는 치매 관리 서비스 서버(20)로부터 수시로 업데이트되는 음원컨텐츠를 수신하여 저장한다. 그리고 필요시 사용자가 원하는 음악에 대한 음원컨텐츠를 선택할 수 있도록 선택 화면을 디스플레이부를 통해 출력하고, 선택된 음원 컨텐츠에 대한 음원 컨텐츠 데이터를 컨텐츠 출력부(110)로 전달하여 가창이 진행될 수 있도록 한다.
도 3 은 본 발명의 일 실시예에 따른 음원 컨텐츠 데이터의 예시도이다.
컨텐츠 관리부(140)는 도 3에서와 같이 시간 정보와, 시간의 흐름에 따른 음원 주파수 정보와 가사 정보를 포함하는 음원 컨텐츠 데이터를 저장하고, 서비스 단말기(10)의 스피커와 디스플레이부를 통해 음원 데이터 및 가사, 박자 화면으로 출력되도록 한다.
치매 관리 서비스 서버(20)는 서비스 단말기(10)로 치매 환자 관리 서비스 전용 앱을 제공하고, 업데이트하여 치매 환자 관리 서비스 전용 앱을 통해 치매 환자 관리 서비스를 제공하는 서비스 플랫폼을 포함한다.
구체적으로 치매 관리 서비스 서버(20)는 통신부(210), 추론 결과 도출부(220), 추론 결과 제공부(230), 머신러닝부(240), 컨텐츠 DB(250), 및 분석 결과 빅데이터(260)를 포함한다.
통신부(210)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서비스 단말기(10), 모니터링 단말(30) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
분석 결과 빅데이터(260)는 사용자별로 서비스 단말기(10)로부터 음원 컨텐츠의 ID와 음정, 박자, 소리에 대해 분석된 보컬 분석 결과 정보를 수신하여 저장한다. 일 실시예에 있어서, 분석 결과 빅데이터(260)는 사용자별, 음원 컨텐츠별로 사용자의 보컬 데이터에 대한 음정, 박자, 볼륨에 대한 원곡 정보와의 차이에 대한 정보를 저장하고 관리할 수 있다.
머신러닝부(240)는 분석 결과 빅데이터(260)에 저장된 사용자별 치매관련 추론 결과 데이터에 기반하여, 사용자별로 과거의 보컬 데이터 분석 결과 데이터와 현재의 보컬 데이터 분석 결과 데이터의 변화를 분석하여 인지능력을 분석한다.
또한, 머신러닝부(240)는 중증도가 유사한 사용자의 보컬 데이터의 분석 결과 빅데이터를 비교 분석하고 분석한 정보를 머신러닝 기법을 이용한 최종 추론 결과를 도출하도록 구현될 수도 있다.
추론 결과 도출부(220)는 서비스 단말기(10)의 보컬 데이터 분석부(130)에서의 분석 결과에 기반하여 사용자별 인지 능력 변화를 머신러닝부(240)에서 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해낸다.
그리고 추론 결과 도출부(220)는 도출된 분석 결과를 과거부터, 현재, 미래 예측에 대한 통계 자료로 도출하여 분석 결과 빅데이터(260)에 저장한다. 일 실시예에 있어서 추론 결과 도출부(220)는 사용자별로 과거, 현재, 미래 예측에 대한 인지능력 변화 정보를 머신러닝부(240)로부터 수신하여 통계적으로 분석하고 치매 여부 및 치료 효과의 파악이 용이한 도표 또는 그래프 형태로 변환하여 도출해낼 수 있다.
일 실시예에 있어서 추론 결과 도출부(220)는 머신러닝부(240)에서의 머신 러닝된 사항에 기반하여 보컬 데이터 분석부(130)에서의 분석 결과가 저장된 분석 결과 빅데이터(260)에 기반하여 시간의 흐름에 따른 사용자의 뇌와 관련된 인지능력 변화에 따라 치매의 진행속도 분석 및 예측 분석을 수행한다.
즉 사용자별 과거와 현재의 인지능력에 대한 변화를 분석하고 중증도별로 분석 결과 빅데이터(260)에 저장된 데이터를 활용하여 해당 사용자에 대한 치매증상의 진행속도 또는 현재까지의 진행 속도에 기반한 미래 예측등 정확한 진단 결과를 추론할 수 있다.
또한 추론 결과 도출부(220)는 일예로 치매의 진행에 따라서 최근까지 어느정도 음정 및 박자를 소화했던 부분에서 인지를 하지못해 음이탈이 소정 기준 이상 된다던지, 음에 대한 자신이 없어서 목소리가 작아지는 등의 패턴 변화를 인식해낼 수 있다.
추론 결과 제공부(230)는 보컬 데이터 분석부(130)에서의 분석 데이터를 사용자의 치매여부상태를 모니터링하도록 설정된 보호자, 담당 전문가 또는 담당 의료기관이 소지하는 모니터링 단말(30)로 제공한다.
사용자(치매환자)에 대한 모니터링을 담당하는 보호자, 담당 전문가 또는 담당 의료기관의 의료인이 필요한 정보를 실시간으로 확인할 수 있어, 전문가나 담당의사가 치료에 관련된 의료 조치나 활동을 할 수 있도록 지원해줄 수 있는 효과가 있다.
컨텐츠 DB(250)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티 미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
일 실시예에 있어서 컨텐츠 DB(250)는 치매와 연관된 치매환자 즉 사용자들이 좋아할 수 있는 곡을 위주로 구성될 수 있다. 일 실시예에 있어서 컨텐츠 DB(250)는 다양한 음원 컨텐츠를 저장하고, 음원 컨텐츠는 수시로 업데이트 또는 추가될 수 있다. 일 실시예에 있어서 컨텐츠 DB(250)는 MR과 플레이시간을 동기화하여 정확한 주파수 정보를 가지고 있는 음원 컨텐츠를 저장하고 관리한다.
도 4 는 본 발명의 일 실시예에 따른 AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구동방법의 흐름도이다.
치매 환자 관리 시스템의 구동방법은, 먼저 서비스 단말기가 가창에 필요한 음원 컨텐츠를 출력한다(S400).
서비스 단말기는 치매 관리 서비스 서버로부터 제공받은 음원 데이터를 포함하는 음원 컨텐츠를 출력한다. 일 양상에 있어서, 음원 컨텐츠는 음원 MR 파일과 해당 음원에 매칭되는 가사 정보를 포함한다. 서비스 단말기는 스피커를 통해 음원 MR 파일을 출력하면서 동시에 가사 및 박자를 표시하는 화면을 디스플레이부를 통해 출력한다. 이때 디스플레이부에 출력되는 화면은 각각의 음(노트)에 대해서 불러야할 음의 높이와 길이를 표시하도록 구현된다.
그리고 서비스 단말기가 치매 예방 및 진단이 필요한 사용자로부터 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는다(S410).
그리고 서비스 단말기가 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석한다(S420).
본 발명의 일 양상에 있어서, 비교 분석하는 단계는, 상기 보컬 데이터를 입력받는 단계에서 입력된 보컬 데이터와 상기 음원 컨텐츠를 출력하는 단계에서 출력되는 음원 컨텐츠의 진행시간을 동기화하여 주파수의 정확도, 박자, 소리의 세기 중 적어도 하나를 분석한다.
일 실시예에 있어서 음원 컨텐츠와 비교 분석하는 단계는 서비스 단말기의 마이크를 통해 입력되는 보컬 데이터의 주파수를 분석하여 현재 진행되고 있는 음원 컨텐츠의 MR 진행시간과 동기화하여 주파수의 정확도(음의 높낮이), 박자, 소리 세기등을 분석하여 원래 음원 컨텐츠가 가지고있는 데이터와 비교 분석하여 그 차이를 결과값으로 도출해낸다.
그리고 일 양상에 있어서, 비교 분석하는 단계에서의 상기 보컬 데이터를 입력받는 단계로 입력된 보컬 데이터의 주파수와 상기 음원 컨텐츠를 출력하는 단계에서 출력되는 음원 컨텐츠와의 비교 결과를 실시간으로 가시적인 데이터로 제공해준다(S430).
디스플레이부를 통해 실시간으로 음의 높이와 길이, 박자에 맞고 틀리는지 여부를 시각적으로 표시해줌으로써 실시간으로 사용자가 자신의 가창에 대한 평가를 확인할 수 있다.
일예로 가사나 박자, 음정의 일치 여부에 따라 연속 일치 횟수를 combo로 표시하고 점수화하여 게임효과와 같이 흥미를 유발시킬 수 있어 참여도를 높일 수 있다.
그리고 음정, 박자, 소리, 세기등의 차이점에 대한 비교 분석 결과를 사용자 ID 정보와 음원 컨텐츠를 구분하기 위한 음원 ID와 함께 치매 관리 서비스 서버로 전송한다.
이후에 치매관리 서비스 서버가 서비스 단말기에서의 비교 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해낸다(S440).
일 양상에 있어서 도출해내는 단계는, 비교 분석하는 단계에서의 분석 결과가 저장된 빅데이터에 기반하여 시간의 흐름에 따른 사용자의 뇌와 관련된 인지능력 변화에 따라 치매의 진행속도 분석 및 예측 분석을 수행한다.
즉, 분석 결과 빅데이터에 저장된 사용자별 치매관련 추론 결과 데이터에 기반하여, 사용자별로 과거의 보컬 데이터 분석 결과 데이터와 현재의 보컬 데이터 분석 결과 데이터의 변화를 분석하여 인지능력을 분석한다.
또한, 중증도가 유사한 사용자의 보컬 데이터의 분석 결과 빅데이터를 비교 분석하고 분석한 정보를 머신러닝 기법을 이용한 최종 추론 결과를 도출하도록 구현될 수도 있다.
추론 결과를 도출해 내는 것은 서비스 단말기에서의 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해낸다.
그리고 도출된 분석 결과를 과거부터, 현재, 미래 예측에 대한 통계 자료로 도출하여 분석 결과 빅데이터에 저장한다. 일 실시예에 있어서 사용자별로 과거, 현재, 미래 예측에 대한 인지능력 변화 정보를 통계적으로 분석하고 치매 여부 및 치료 효과의 파악이 용이한 도표 또는 그래프 형태로 변환하여 도출해낼 수 있다.
일 실시예에 있어서 머신 러닝된 사항에 기반하여 보컬 데이터 분석부에서의 분석 결과가 저장된 분석 결과 빅데이터에 기반하여 시간의 흐름에 따른 사용자의 뇌와 관련된 인지능력 변화에 따라 치매의 진행속도 분석 및 예측 분석을 수행한다.
즉 사용자별 과거와 현재의 인지능력에 대한 변화를 분석하고 중증도별로 분석 결과 빅데이터에 저장된 데이터를 활용하여 해당 사용자에 대한 치매증상의 진행속도 또는 현재까지의 진행 속도에 기반한 미래 예측등 정확한 진단 결과를 추론할 수 있다.
또한 예로 치매의 진행에 따라서 최근까지 어느정도 음정 및 박자를 소화했던 부분에서 인지를 하지못해 음이탈이 소정 기준 이상 된다던지, 음에 대한 자신이 없어서 목소리가 작아지는 등의 패턴 변화를 인식해낼 수 있다.
이 후에 비교 분석하는 단계에서의 분석 데이터를 상기 사용자의 치매여부상태를 모니터링하도록 설정된 보호자, 담당 전문가 또는 담당 의료기관이 소지하는 모니터링 단말로 제공한다(S450).
사용자(치매환자)에 대한 모니터링을 담당하는 보호자, 담당 전문가 또는 담당 의료기관의 의료인이 필요한 정보를 실시간으로 확인할 수 있어, 전문가나 담당의사가 치료에 관련된 의료 조치나 활동을 할 수 있도록 지원해줄 수 있는 효과가 있다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 서비스 단말기 20 : 치매 관리 서비스 서버
30 : 모니터링 단말 110 : 컨텐츠 출력부
120 : 보컬 데이터 입력부 130 : 보컬 데이터 분석부
140 : 컨텐츠 관리부 150 : 분석 결과 전송부
210 : 통신부 220 : 추론 결과 도출부
230 : 추론 결과 제공부 240 : 머신러닝부
250 : 컨텐츠 DB 260 : 분석 결과 빅데이터
30 : 모니터링 단말 110 : 컨텐츠 출력부
120 : 보컬 데이터 입력부 130 : 보컬 데이터 분석부
140 : 컨텐츠 관리부 150 : 분석 결과 전송부
210 : 통신부 220 : 추론 결과 도출부
230 : 추론 결과 제공부 240 : 머신러닝부
250 : 컨텐츠 DB 260 : 분석 결과 빅데이터
Claims (10)
- 가창에 필요한 음원 컨텐츠를 출력하는 컨텐츠 출력부, 치매 예방 및 진단이 필요한 사용자로부터 상기 컨텐츠 출력부에서 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는 보컬 데이터 입력부, 상기 보컬 데이터 입력부로 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석하는 보컬 데이터 분석부를 포함하는 서비스 단말기; 및
상기 서비스 단말기의 보컬 데이터 분석부에서 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해내는 추론 결과 도출부를 포함하는 치매관리 서비스 서버;를 포함하고,
상기 보컬 데이터 분석부는,
상기 보컬 데이터 입력부로 입력된 보컬 데이터와 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠의 진행시간을 동기화하여 주파수의 정확도, 박자 및 소리의 세기를 분석하며,
상기 추론 결과 도출부는,
상기 보컬 데이터 분석부에서의 분석 결과가 저장된 빅데이터에 기반하여 시간의 흐름에 따른 사용자의 뇌와 관련된 인지능력 변화에 따라 치매의 진행속도 분석 및 예측 분석을 수행하고,
상기 서비스 단말기는,
상기 보컬 데이터 분석부에서의 상기 보컬 데이터 입력부로 입력된 보컬 데이터의 주파수와 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와의 비교 결과를 실시간으로 가시적인 데이터로 제공해주는 분석화면 제공부;를 더 포함하며,
상기 서비스 단말기는,
상기 치매 관리 서비스 서버로부터 업데이트되는 음원 컨텐츠를 수신하여 저장하는 컨텐츠 관리부를 더 포함하되,
상기 음원 컨텐츠는 시간 정보와, 시간의 흐름에 따른 음원 주파수 정보와 가사 정보를 포함하고,
상기 컨텐츠 관리부는,
사용자가 원하는 음악에 대한 음원 컨텐츠를 선택할 수 있도록 선택 화면을 디스플레이부를 통해 출력하고, 선택된 음원 컨텐츠에 대한 음원 컨텐츠 데이터를 상기 컨텐츠 출력부로 전달하여 가창이 진행될 수 있도록 하며,
상기 치매관리 서비스 서버는,
사용자별, 음원 컨텐츠별로 사용자의 보컬 데이터에 대한 음정, 박자, 볼륨에 대한 원곡 정보와의 차이에 대한 정보를 저장하고 관리하는 분석 결과 빅데이터를 더 포함하고,
상기 추론 결과 도출부는,
사용자별 과거와 현재의 인지능력에 대한 변화를 분석하고 중증도별로 상기 분석 결과 빅데이터에 저장된 데이터를 활용하여 사용자에 대한 치매증상의 진행속도 또는 현재까지의 진행 속도에 기반한 미래 예측 진단 결과를 추론하며,
상기 분석 결과 빅데이터에 저장된 사용자별 치매관련 추론 결과 데이터에 기반하여, 사용자별로 과거의 보컬 데이터 분석 결과 데이터와 현재의 보컬 데이터 분석 결과 데이터의 변화를 분석하여 인지능력을 분석하고, 중증도가 유사한 사용자의 보컬 데이터의 분석 결과 빅데이터를 비교 분석하여 분석한 정보를 머신러닝 기법을 이용한 최종 추론 결과를 도출하는 머신러닝부를 더 포함하는, AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 치매관리 서비스 서버가,
상기 보컬 데이터 분석부에서의 분석 데이터를 상기 사용자의 치매여부상태를 모니터링하도록 설정된 보호자, 담당 전문가 또는 담당 의료기관이 소지하는 모니터링 단말로 제공하는 추론 결과 제공부;를 더 포함하는, AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템.
- 삭제
- 제 1 항 또는 제 4 항에 기재된 치매 환자 관리 시스템의 구동방법에 있어서,
서비스 단말기가 가창에 필요한 음원 컨텐츠를 출력하는 단계;
서비스 단말기가 치매 예방 및 진단이 필요한 사용자로부터 상기 출력된 음원 컨텐츠에 맞는 보컬 데이터를 입력받는 단계;
서비스 단말기가 상기 입력된 보컬 데이터의 주파수를 분석하고 상기 컨텐츠 출력부에서 출력되는 음원 컨텐츠와 비교 분석하는 단계; 및
치매관리 서비스 서버가 상기 서비스 단말기에서의 비교 분석 결과에 기반하여 사용자별 인지 능력 변화를 분석한 머신러닝기반으로 치매관련 추론 결과를 도출해내는 단계;를 포함하고,
상기 비교 분석하는 단계는,
상기 보컬 데이터를 입력받는 단계에서 입력된 보컬 데이터와 상기 음원 컨텐츠를 출력하는 단계에서 출력되는 음원 컨텐츠의 진행시간을 동기화하여 주파수의 정확도, 박자, 소리의 세기 중 적어도 하나를 분석하며,
상기 도출해내는 단계는,
상기 비교 분석하는 단계에서의 분석 결과가 저장된 빅데이터에 기반하여 시간의 흐름에 따른 사용자의 뇌와 관련된 인지능력 변화에 따라 치매의 진행속도 분석 및 예측 분석을 수행하고,
상기 비교 분석하는 단계에서의 상기 보컬 데이터를 입력받는 단계로 입력된 보컬 데이터의 주파수와 상기 음원 컨텐츠를 출력하는 단계에서 출력되는 음원 컨텐츠와의 비교 결과를 실시간으로 가시적인 데이터로 제공해주는 단계;를 더 포함하며,
상기 서비스 단말기가,
상기 치매 관리 서비스 서버로부터 업데이트되는 음원 컨텐츠를 수신하여 저장하는 컨텐츠 관리부를 더 포함하되,
상기 음원 컨텐츠는 시간 정보와, 시간의 흐름에 따른 음원 주파수 정보와 가사 정보를 포함하고,
상기 컨텐츠 관리부는,
사용자가 원하는 음악에 대한 음원 컨텐츠를 선택할 수 있도록 선택 화면을 디스플레이부를 통해 출력하고, 선택된 음원 컨텐츠에 대한 음원 컨텐츠 데이터를 상기 컨텐츠 출력부로 전달하여 가창이 진행될 수 있도록 하며,
상기 치매관리 서비스 서버는,
사용자별, 음원 컨텐츠별로 사용자의 보컬 데이터에 대한 음정, 박자, 볼륨에 대한 원곡 정보와의 차이에 대한 정보를 저장하고 관리하는 분석 결과 빅데이터를 더 포함하고,
상기 도출해내는 단계는,
사용자별 과거와 현재의 인지능력에 대한 변화를 분석하고 중증도별로 상기 분석 결과 빅데이터에 저장된 데이터를 활용하여 사용자에 대한 치매증상의 진행속도 또는 현재까지의 진행 속도에 기반한 미래 예측 진단 결과를 추론하며,
상기 분석 결과 빅데이터에 저장된 사용자별 치매관련 추론 결과 데이터에 기반하여, 사용자별로 과거의 보컬 데이터 분석 결과 데이터와 현재의 보컬 데이터 분석 결과 데이터의 변화를 분석하여 인지능력을 분석하고, 중증도가 유사한 사용자의 보컬 데이터의 분석 결과 빅데이터를 비교 분석하여 분석한 정보를 머신러닝 기법을 이용한 최종 추론 결과를 도출하는 머신러닝 단계를 더 포함하는, AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구동방법.
- 삭제
- 삭제
- 제 6 항에 있어서,
상기 비교 분석하는 단계에서의 분석 데이터를 상기 사용자의 치매여부상태를 모니터링하도록 설정된 보호자, 담당 전문가 또는 담당 의료기관이 소지하는 모니터링 단말로 제공하는 단계;를 더 포함하는, AI 기반의 보컬 분석을 통한 치매 환자 관리 시스템의 구동방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067632A KR102569277B1 (ko) | 2021-05-26 | 2021-05-26 | Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067632A KR102569277B1 (ko) | 2021-05-26 | 2021-05-26 | Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220159698A KR20220159698A (ko) | 2022-12-05 |
| KR102569277B1 true KR102569277B1 (ko) | 2023-08-23 |
Family
ID=84391939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210067632A KR102569277B1 (ko) | 2021-05-26 | 2021-05-26 | Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102569277B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015060933A1 (en) | 2013-10-22 | 2015-04-30 | Paul Dagum | Method and system for assessment of cognitive function based on mobile device usage |
| KR101936302B1 (ko) * | 2018-06-29 | 2019-01-08 | 이채영 | 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치 |
| US20200219529A1 (en) * | 2019-01-04 | 2020-07-09 | International Business Machines Corporation | Natural language processor for using speech to cognitively detect and analyze deviations from a baseline |
| JP2021045208A (ja) * | 2019-09-14 | 2021-03-25 | 卓成 桂 | 認知症リスク判定システム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170092313A (ko) | 2016-02-03 | 2017-08-11 | 육상조 | 모바일 기기를 이용한 노래방 서비스 제공방법 |
| KR101880500B1 (ko) | 2016-11-02 | 2018-08-16 | 한국과학기술연구원 | 개인특성을 고려한 치매환자 케어 시스템 및 이를 이용한 치매환자 케어방법 |
| KR102439807B1 (ko) | 2017-11-16 | 2022-09-02 | 경희대학교 산학협력단 | 치매 환자 관리 방법 및 그 시스템 |
-
2021
- 2021-05-26 KR KR1020210067632A patent/KR102569277B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015060933A1 (en) | 2013-10-22 | 2015-04-30 | Paul Dagum | Method and system for assessment of cognitive function based on mobile device usage |
| KR101936302B1 (ko) * | 2018-06-29 | 2019-01-08 | 이채영 | 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치 |
| US20200219529A1 (en) * | 2019-01-04 | 2020-07-09 | International Business Machines Corporation | Natural language processor for using speech to cognitively detect and analyze deviations from a baseline |
| JP2021045208A (ja) * | 2019-09-14 | 2021-03-25 | 卓成 桂 | 認知症リスク判定システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220159698A (ko) | 2022-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lavik et al. | The first sessions of psychotherapy: A qualitative meta-analysis of alliance formation processes. | |
| Vivanti et al. | Outcomes of children receiving Group-Early Start Denver Model in an inclusive versus autism-specific setting: A pilot randomized controlled trial | |
| US10095688B1 (en) | Adaptive network querying system | |
| Tang et al. | Supporting homework compliance in cognitive behavioural therapy: essential features of mobile apps | |
| US20210098110A1 (en) | Digital Health Wellbeing | |
| US9299268B2 (en) | Tagging scanned data with emotional tags, predicting emotional reactions of users to data, and updating historical user emotional reactions to data | |
| US9852646B2 (en) | Providing question answering responses to how-to procedural questions | |
| Edworthy | Medical audible alarms: a review | |
| Cox et al. | Suicide clusters in young people | |
| Lanovaz et al. | Vocal stereotypy in individuals with autism spectrum disorders: A review of behavioral interventions | |
| AU2020100161A4 (en) | Platform for optimizing data driven outcomes | |
| Hossain et al. | Cloud-based collaborative media service framework for healthcare | |
| Fouquet et al. | Seven and up: individual differences in male voice fundamental frequency emerge before puberty and remain stable throughout adulthood | |
| US20160189566A1 (en) | System and method for enhancing remote speech fluency therapy via a social media platform | |
| US20190206518A1 (en) | Method of providing online mental-health care | |
| Jensen | Mental health recovery and arts engagement | |
| Bulbulia et al. | Images from a jointly-arousing collective ritual reveal affective polarization | |
| KR102372976B1 (ko) | 인지강화훈련 게임의 제공 방법 | |
| Gwynne et al. | Representing evacuation behavior in engineering terms | |
| KR102507811B1 (ko) | 공감 심리학 기반의 챗봇 서비스를 통한 유저 심리 관리 시스템 | |
| Depp et al. | Technology-based early warning systems for bipolar disorder: a conceptual framework | |
| Abbas et al. | Facial and vocal markers of schizophrenia measured using remote smartphone assessments: Observational study | |
| Wright et al. | The evolution of a visual-to-auditory sensory substitution device using interactive genetic algorithms | |
| Nagy | Autism and the making of emotion AI: Disability as resource for surveillance capitalism | |
| KR102569277B1 (ko) | Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |