KR102673265B1 - 파킨슨병 예측 장치 및 방법 - Google Patents
파킨슨병 예측 장치 및 방법 Download PDFInfo
- Publication number
- KR102673265B1 KR102673265B1 KR1020230044734A KR20230044734A KR102673265B1 KR 102673265 B1 KR102673265 B1 KR 102673265B1 KR 1020230044734 A KR1020230044734 A KR 1020230044734A KR 20230044734 A KR20230044734 A KR 20230044734A KR 102673265 B1 KR102673265 B1 KR 102673265B1
- Authority
- KR
- South Korea
- Prior art keywords
- parkinson
- disease
- audio data
- word
- accuracy
- Prior art date
Links
- 208000018737 Parkinson disease Diseases 0.000 title claims abstract description 354
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 116
- 238000012549 training Methods 0.000 claims description 47
- 201000010099 disease Diseases 0.000 claims description 38
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 38
- 238000003062 neural network model Methods 0.000 claims description 37
- 208000001089 Multiple system atrophy Diseases 0.000 claims description 35
- 206010008027 Cerebellar atrophy Diseases 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 206010012289 Dementia Diseases 0.000 abstract description 2
- 238000013341 scale-up Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 116
- 238000013145 classification model Methods 0.000 description 53
- 238000012545 processing Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 30
- 238000010606 normalization Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 16
- 238000010200 validation analysis Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 14
- 238000002955 isolation Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 206010003694 Atrophy Diseases 0.000 description 4
- 230000037444 atrophy Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000001638 cerebellum Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 241001446467 Mama Species 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 240000005499 Sasa Species 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003291 dopaminomimetic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000003523 substantia nigra Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Neurosurgery (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 파킨슨병 예측 장치 및 방법에 관한 것이다.
본 실시 예에 따른 파킨슨병 예측 방법은, 파킨슨병 예측 장치의 프로세서에 의해 수행되는 파킨슨병 예측 방법으로서, 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하는 단계와, 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하는 단계와, 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계와, 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 발화자에 대한 파킨슨병 예측 결과를 획득하는 단계를 포함할 수 있다.
본 발명은 서울특별시 서울산업진흥원 2022년도 성장단계 스케일업 기술사업화 지원사업의 과제번호 SU220002, "비즈콜 기반 고령자 최적화 치매 조기선별 기술 사업화"를 통해 개발된 기술이다.
본 실시 예에 따른 파킨슨병 예측 방법은, 파킨슨병 예측 장치의 프로세서에 의해 수행되는 파킨슨병 예측 방법으로서, 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하는 단계와, 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하는 단계와, 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계와, 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 발화자에 대한 파킨슨병 예측 결과를 획득하는 단계를 포함할 수 있다.
본 발명은 서울특별시 서울산업진흥원 2022년도 성장단계 스케일업 기술사업화 지원사업의 과제번호 SU220002, "비즈콜 기반 고령자 최적화 치매 조기선별 기술 사업화"를 통해 개발된 기술이다.
Description
본 발명은 파킨슨병 예측 장치 및 방법에 관한 것이다.
파킨슨병은 퇴행성 뇌질환 중 하나로서, 뇌간의 중앙에 존재하는 뇌흑질의 도파민계 신경이 피괴됨으로써 움직임에 장애가 나타나는 질환을 의미할 수 있다.
파킨슨병 환자들의 대부분은 말(speech) 문제를 겪고 있는 것으로 알려져 있다. 이는 파킨슨병일 가능성이 있는 환자들의 발화 방식이나, 환자가 발화한 문장으로부터 파킨슨병의 유무를 간접적으로 파악할 수 있음을 의미할 수 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 서울특별시 서울산업진흥원 2022년도 성장단계 스케일업 기술사업화 지원사업의 과제번호 SU220002, "비즈콜 기반 고령자 최적화 치매 조기선별 기술 사업화"를 통해 개발된 기술이다.
본 발명의 일 과제는, 발화자의 오디오 분석을 통해 발화자의 파킨슨병을 예측하는 파킨슨병 예측 장치 및 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 실시 예에 따른 파킨슨병 예측 방법은, 파킨슨병 예측 장치의 프로세서에 의해 수행되는 파킨슨병 예측 방법으로서, 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하는 단계와, 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하는 단계와, 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계와, 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 발화자에 대한 파킨슨병 예측 결과를 획득하는 단계를 포함할 수 있다.
본 실시 예에 따른 파킨슨병 예측 장치는, 프로세서 및 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때, 프로세서가 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하고, 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하고, 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하고, 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 상기 발화자에 대한 파킨슨병 예측 결과를 획득하도록 야기하는 코드를 저장할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 발화자의 오디오 분석을 통해 발화자의 파킨슨병을 예측하는 파킨슨병 예측 장치 및 방법을 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시 예에 따른 파킨슨병 예측 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 2는 본 실시 예에 따른 한글 자음(consonant) 및 모음(vowel)의 개수와 순서가 도시된 어문 규칙(language regulation)의 예시도이다.
도 3 내지 도 5는 본 실시 예에 따른 파킨슨병 예측 장치에 추출하는 어절조합의 예시도이다.
도 6 내지 도 32는 본 실시 예에 따른 파킨슨병 예측 장치의 정확도 검증을 설명하는 예시도이다.
도 33은 다른 실시 예에 따른 파킨슨병 예측 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 34는 본 실시 예에 따른 파킨슨병 예측 방법을 설명하기 위한 흐름도이다.
도 2는 본 실시 예에 따른 한글 자음(consonant) 및 모음(vowel)의 개수와 순서가 도시된 어문 규칙(language regulation)의 예시도이다.
도 3 내지 도 5는 본 실시 예에 따른 파킨슨병 예측 장치에 추출하는 어절조합의 예시도이다.
도 6 내지 도 32는 본 실시 예에 따른 파킨슨병 예측 장치의 정확도 검증을 설명하는 예시도이다.
도 33은 다른 실시 예에 따른 파킨슨병 예측 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 34는 본 실시 예에 따른 파킨슨병 예측 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 출원서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 출원서에서, 대괄호([]) 안에는 대괄호 앞에 기재된 음절(syllable), 어절(syntactic), 또는 어절조합(syntactic combination)의 영문 표기가 포함될 수 있다. 여기서, 음절은 발화할 때 가장 쉽게 직감할 수 있는 발화의 최소 단위를 의미할 수 있다. 본 실시 예에서 음절은 예를 들어, 가[ga], 하[ha] 등을 포함할 수 있다. 또한, 어절은 문장 성분의 최소 단위로서 띄어쓰기 단위가 될 수 있다. 본 실시 예에서 어절은 예를 들어, "아에이오우[aeiou]", "나나나[nanana]", "라라라[rarara]" 등을 포함할 수 있다. 또한, 어절조합은 상술한 한 개 이상의 어절을 조합한 결과를 포함할 수 있다. 본 실시 예에서 어절조합은 예를 들어, "가가가나나나[gagagananan]", "아에이오우가가가나나[aeiougagagananan]", "나나나사사사[nananasasasa] 등을 포함할 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시 예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다
이하의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시 예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도 1은 본 실시 예에 따른 파킨슨병 예측 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이고, 도 2는 본 실시 예에 따른 한글 자음 및 모음의 개수와 순서가 도시된 어문 규칙의 예시도이고, 도 3 내지 도 5는 본 실시 예에 따른 파킨슨병 예측 장치에 추출하는 어절조합의 예시도이고, 도 6 내지 도 32는 본 실시 예에 따른 파킨슨병 예측 장치의 정확도 검증을 설명하는 예시도이다.
본 실시 예에 따른 파킨슨병 예측 장치(100)는 서버 형태로 독립적으로 존재하거나, 파킨슨병 예측 장치(100)가 제공하는 판킨슨병 예측 기능을 어플리케이션 형태로 구현하여 사용자 단말기(미도시)에 탑재할 수 있다. 사용자 단말기는 파킨슨병 예측 장치(100)가 제공하는 파킨슨병 예측 어플리케이션 및/또는 파킨슨병 예측 사이트에 접속하여 파킨슨병 예측 서비스를 받을 수 있다.
도 1 내지 도 32를 참조하면, 파킨슨병 예측 장치(100)는 수집부(110), 생성부(120), 추출부(130), 검증부(140), 결정부(150), 획득부(160) 및 제어부(170)를 포함할 수 있다.
수집부(110)는 발화자의 발화결과를 포함하는 오디오 데이터를 수집할 수 있다. 본 실시 예에서, 오디오 데이터는 기설정된 자료를 낭독한 음성 녹음 파일을 포함할 수 있다. 여기서, 기설정된 자료는 후술하는 음절, 어절, 또는 어절조합이 포함되는 문서, 파일 등을 포함할 수 있다. 또한 오디오 데이터는 후술하는 음절, 어절, 또는 어절조합 중 하나를 기설정된 시간(예를 들어, 1-2초) 동안 발화한 데이터를 포함할 수 있다. 또한 오디오 데이터는 후술하는 음절, 어절, 또는 어절조합을 높은음으로 발화한 데이터 및 낮음으로 발화한 데이터를 포함할 수 있다.
본 실시 예에서 오디오 데이터와 오디오 신호와 동일한 의미로 혼용되어 기재될 수 있다.
생성부(120)는 파킨슨병 예측 모델을 생성할 수 있다. 본 실시 예에서 파킨슨병 예측 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자에 대한 파킨슨병을 예측하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 파킨슨병 관련 질환에 포함되는 정상(normal), 파킨슨(parkinson), 다계통위축(multiple system atrophy) 및 소뇌위축(cerebellar atrophy) 중 하나를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
생성부(120)는 레이블링된 훈련데이터를 이용하여 초기에 설정된 심층신경망 모델을 지도학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망 모델은, 파킨슨병 예측 모델로 구성되기 위해 설계된 초기 모델로서, 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기에 설정된 심층신경망 모델은, 상술한 훈련데이터를 통해 훈련되면서 파라미터 값들이 최적화됨으로써, 발화자에 대한 파킨슨병을 정확히 예측할 수 있는 파킨슨병 예측 모델로 완성될 수 있다.
추출부(130)는 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출할 수 있다. 본 실시 예에서 어절조합은 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 포함할 수 있다.
추출부(130)가 오디오 데이터로부터 추출하는 복수의 서로 다른 제1 어절조합은 소정의 자음(consonant)과 소정의 모음(vowel)을 결합한 적어도 하나의 제1 음절(syllable)로 구성될 수 있다.
복수의 서로 다른 제1 어절조합에 포함되는 소정의 자음은 어문 규칙에 따른 자음순서 대로 상술한 모음과 결합될 수 있다. 도 2에는 어문 규칙에 따른 자음 순서(201)가 도시되어 있다. 도 2를 참조하면, 자음 순서(201)는 "ㄱ[giyeok], ㄴ[nieun], ㄷ[digeut], ㄹ[rieul], ㅁ[mieum], ㅂ[bieup], ㅅ[shiot], ㅇ[ieung], ㅈ[jieut], ㅊ[chieut], ㅋ[kiuek], ㅌ[tieut], ㅍ[pieup], ㅎ[hieut]"일 수 있다.
복수의 서로 다른 제1 어절조합에 포함되는 소정의 모음은 어느 한 단일 모음으로 결정될 수 있다. 본 실시 예에서 소정의 모음은 도 2에 도시된 어문 규칙에 개시된 모음 순서(202) 중 첫 번째 모음인 "ㅏ"[a]일 수 있다.
추출부(130)는 오디오 데이터로부터, 자음순서에 따른 n번째 자음부터 n+k번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수(예를 들어, 3개)만큼 반복하여 제1 어절조합으로 추출할 수 있다. 여기서, n은 자연수를 포함하고, k는 0 및 자연수를 포함할 수 있다.
일 실시 예로, n=1이고 k=0인 경우 제1 어절조합은 "가가가[gagaga]"일 수 있다. 본 실시 예에서 "가가가[gagaga]"는 상술한 정의에 따라 어절로도 명명될 수 있다. 다른 실시 예로, n=1이고 k=3인 경우 제1 어절조합은 "가가가나나나다다다라라라[gagaganananadadadararara]"일 수 있다.
도 3에는 추출부(130)가 오디오 데이터로부터 추출하는 제1 어절조합이 도시되어 있다. 도 3을 참조하면, 제1 어절조합은 "가가가[gagaga]"부터 "가가가...하하하[gagaga...hahaha]"까지를 포함할 수 있다.
추출부(130)가 오디오 데이터로부터 추출하는 복수의 서로 다른 제2 어절조합은 기본 모음 세트(basic vowel set)와, 제2 음절과, 제1 어절조합 중 하나 이상이 결합된 구성일 수 있다.
본 실시 예에서 기본 모음 세트는 "아에이오우[aeiou]"를 포함할 수 있다. 본 실시 예에서 제2 음절은 소정의 쌍자음 및 소정의 모음을 결합하여 생성될 수 있다. 본 실시 예에서 제2 음절에 포함되는 소정의 쌍자음은 도 2에 개시된 어문 규칙에 따른 쌍자음 순서(203) 중 세 번째 쌍자음인 "ㅃ[ssang bieup]"일 수 있다. 또한 제2 음절에 포함되는 소정의 모음은 도 2에 개시된 어문 규칙에 따른 이중모음 순서(204) 중 네 번째 이중모음인 "ㅘ[wa]"일 수 있다. 이로부터 제2 음절은 "??[ppawa]"일 수 있다. 본 실시 예에서 제2 음절은 제2 어절조합에 포함되기 위해 기설정된 개수(예를 들어, 3개)만큼 반복될 수 있다.
도 4에는 추출부(130)가 오디오 데이터로부터 추출하는 제2 어절조합이 도시되어 있다. 도 4를 참조하면, 제2 어절조합은 "아에이오우[aeiou]"부터 "아에이오우...??????[aeiou...ppawappawappawa]"까지를 포함할 수 있다.
추출부(130)가 오디오 데이터로부터 추출하는 복수의 서로 다른 제3 어절조합은 제3 음절과, 복수의 서로 다른 제2 어절조합에 포함되는 어느 한 어절조합을 포함할 수 있다.
본 실시 예에서 제3 음절은 임의의 자음과 임의의 모음을 결합하여 생성될 수 있다. 본 실시 예에서 제3 음절에 포함되는 임의의 자음은 도 2에 도시된 어문 규칙에 따른 자음 순서(201) 중 "ㄴ[nieun], ㄷ[digeut], ㅅ[shiot], ㅇ[ieung], ㅎ[hieut]"으로 특정될 수 있다. 또한 제3 음절에 포함되는 임의의 모음은 도 2에 도시된 어문 규칙에 따른 모음 순서(201) 중 첫 번째 모음인 "ㅏ"[a]일 수 있다. 이로부터 제3 음절은 "나[na]", "다[da]", "사[sa]", "아[a]", "하[ha]"로 특정될 수 있다. 본 실시 예에서 제3 음절은 제3 어절조합에 포함되기 위해 기설정된 개수(예를 들어, 3개)만큼 반복될 수 있다.
또한 본 실시 예에서 제3 어절조합은 제2 어절조합에 포함되는 어느 한 어절조합인, "아에이오우가가가...마마마 [aeiougagaga...mamam]"로 특정될 수 있다.
본 실시 예에서 복수의 서로 다른 제3 어절조합은, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합과 다르게, 오디오 데이터를 증강시킨 후 파킨슨병 예측 모델의 정확도가 상위 1-4위에 랭크된 어절조합으로 특정될 수 있다.
도 5에는 추출부(130)가 오디오 데이터로부터 추출하는 복수의 서로 다른 제3 어절조합이 도시되어 있다. 도 5를 참조하면, 복수의 서로 다른 제3 어절조합은 제3음절을 기설정된 개수만큼 반복하여 조합한 "나나나사사사[nananasasasa]"와, "다다다아아아[dadadaaaa]" 및 "아아아하하하[aaahahaha]"와, 복수의 서로 다른 제2 어절조합에 포함되는, "아에이오우가가가...마마마 [aeiougagaga...mamam]"로 특정될 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
본 실시 예에서, 오디오 데이터를 전처리하는 조건은 음향 전처리, 어절, 데이터 패딩, 통계적 특성, 데이터 분할, 레이블 불균형 보완, 스케일링, 아웃라이어(outlier) 제거, 부동 소수점 포맷 중 하나 이상을 실행하는 조건을 포함할 수 있다.
음향 전처리는 제1 음향 전처리 및 제2 음향 전처리로 분류될 수 있다. 제어부(170)는 제1 음향 전처리 및 제2 음향 전처리 중 하나를 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 제1 음향 전처리 및 제2 음향 전처리 중 하나를 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
본 실시 예에서 제1 음향 전처리는 채널 균일화 처리 및 샘플레이트 균일화 처리를 포함할 수 있다. 채널 균일화 처리는 오디오 데이터를 녹음하는 채널을 하나(모노)로 통일했다는 것을 의미할 수 있다. 샘플레이트 균일화 처리는 샘플레이트를 초당 일정 횟수(예를 들어, 16000회)로 통일했다는 것을 의미할 수 있다. 여기서, 샘플레이트는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 때 시간당 샘플링 횟수를 의미할 수 있다.
본 실시 예에서 제2 음향 전처리는 채널 균일화 처리, 샘플레이트 균일화 처리, 음량 정규화 처리, 고역 통과 필터링 처리, DC-오프셋(offset) 제거 처리, 잡음 감쇄(noise reduction, stationary, 40%) 처리를 포함할 수 있다. 채널 균일화 처리 및 샘플레이트 균일화 처리는 상술한 내용과 동일하므로 생략하기로 한다. 오디오 데이터의 음량은 발화자의 목소리 크기, 또는 발화자가 녹음 장치(미도시)와 얼마나 떨어져서 녹음되었는지 등에 따라 다를 수 있다. 음량 정규화 처리는 상술한 바와 같이 다르게 녹음된 오디오 데이터의 음량을 비교적 균일하게 하기 위해, 오디오 데이터의 평균 음량에 따라 전체 오디오 데이터를 정규화 하는 것을 의미할 수 있다. 고역 통과 필터링 처리는 컷오프 주파수(예를 들어, 90Hz)보다 높은 주파수의 오디오 신호만을 통과시키는 것을 의미할 수 있다. DC-오프셋 제거 처리는 DC-오프셋을 0으로 만드는 것을 의미할 수 있다. 여기서, DC-오프셋은 파형의 평균 세기를 나타낼 수 있다. DC-오프셋이 0이 아닐 때가 있는데, 이 경우 DC-오프셋이 발생했다고 할 수 있다. DC-오프셋은 음성이 제대로 녹음되지 않았거나, 녹음 장치가 좋지 않을 때 발생할 수 있다. 잡음 감쇄 처리는 깨끗한 신호를 얻기 위해 잡음을 감소시키는 것을 의미할 수 있다. 여기서, stationary라 함은, 오디오 신호의 전 구간에 노이즈 임계값(threshold)을 적용한다는 의미이며, 40%는 노이즈 발견 시에 오디오 신호의 진폭을 40%로 줄인다는 것을 의미할 수 있다.
어절은 상술한 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합으로 분류될 수 있다. 제어부(170)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다. 본 실시 예에서 어절은 설명의 편의상 오디오 데이터를 전처리하는 조건에서 제외될 수 있다.
데이터 패딩은 데이터의 전후 빈 구간에 특정값을 채워서 데이터의 크기를 균일화 처리하는 것을 나타낼 수 있다. 본 실시 예에서 데이터 패딩은 오디오 데이터 패딩을 포함할 수 있으며, 오디오 데이터의 전후 무음구간에 특정값을 채워서 오디오 데이터의 크기를 균일화 처리하는 것을 나타낼 수 있다. 데이터 패딩의 종류는 엣지(edge), 리피트(repeat), 타일(tile), 제로(zero)를 포함할 수 있다. 엣지(edge)는 이전 무음구간을 데이터의 시작값으로 채우고, 이후 무음구간을 데이터의 종료값으로 채울 수 있다. 리피트(repeat)는 무음구간을 반복되는 개별값(예를 들어, 1)으로 채울 수 있다. 타일(tile)은 무음구간을 반복되는 전체값(예를 들어, 1234)으로 채울 수 있다. 제로(zero)는 무음구간을 0으로 채울 수 있다. 제어부(170)는 데이터 패딩의 종류 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 데이터 패딩의 종류 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
통계적 특성은 오디오 데이터로부터 추출할 수 있는 성별, 음량, 크기(root mean square, 평균 제곱근), 최대진폭, 길이 및 화자별 평균 어절 길이 중 적어도 하나를 포함할 수 있다. 제어부(170)는 통계적 특성 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 통계적 특성 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
데이터 분할은 파킨슨병 예측 모델에 이용하는 전체 데이터 세트(data set)를 일정 비율의 형태로 분할하는 것을 포함할 수 있다. 본 실시 예에서 전체 데이터 세트는 학습 세트(train set), 검증 세트(validation set), 테스트 세트(test set)로 분할될 수 있다. 예를 들어, 학습 세트: 검증 세트: 테스트 세트는 64:16:20으로 분할될 수 있다. 제어부(170)는 전체 데이터 세트의 분할 비율을 결정하여 검증부(140)로 출력할 수 있다. 검증부(140)는 결정된 전체 데이터 세트의 분할 비율(64:16:20)로 오디오 데이터를 분할하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
데이터 불균형 보완은 오디오 데이터를 증강시켜 불균형을 보완하는 것을 의미할 수 있다. 데이터 분균형을 보완하기 위해 SMOTE(synthetic minority over sampling technique) 알고리즘, SMOTE-NC(synthetic minority over sampling technique of nominal and continuous) 알고리즘 및 클래스 가중치(weight-balancing) 알고리즘 중 하나 이상을 이용할 수 있다. SMOTE 알고리즘은 낮은 비율로 존재하는 클래스의 데이터를 k-NN 알고리즘을 활용하여 새롭게 생성하여 증강시킬 수 있다. SMOTE-NC 알고리즘은 범주형과 연속형이 혼합된 데이터에 사용될 수 있다. 클래스 가중치 알고리즘은 클래스 비율이 낮은 쪽의 데이터가 더 큰 손실(loss) 가중치를 가지도록 하여 파킨슨병 예측 모델의 학습을 조정할 수 있다. 제어부(170)는 SMOTE 알고리즘, SMOTE-NC 알고리즘 및 클래스 가중치 알고리즘 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 SMOTE 알고리즘, SMOTE-NC 알고리즘 및 클래스 가중치 알고리즘 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
스케일링(scaling)은 데이터 값의 범위를 조정하는 것을 의미할 수 있다. 데이터를 스케일링 하는 이유는, 데이터의 값이 너무 크거가 너무 작은 경우에 모델 학습 과정에서 0으로 수렴하거나 무한으로 발산해 버릴 수 있기 때문이다. 본 실시 예에서 스케일링은 정규화(normalization) 또는 표준화(standardization) 스케일링으로 분류될 수 있다. 정규화는 특성(feature)값이 0과 1사이에 존재하도록 스케일링 하는 것을 나타낼 수 있다. 표준화는 특성값의 평균을 0으로 하고, 특성값의 분산을 1로 스케일링 하는 것을 나타낼 수 있다. 제어부(170)는 데이터 스케일링 중 정규화 또는 표준화를 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 데이터 스케일링 중 정규화 또는 표준화를 이용하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
아웃라이어(outlier) 제거는 훈련 시에 모델의 정확도를 향상시키기 위해 실행될 수 있다. 본 실시 예에서는 아웃라이어를 제거하는 알고리즘으로 격리 포레스트(isolation forest) 알고리즘이 이용될 수 있다. 제어부(170)는 아웃라이어를 제거할 것인지, 또는 아웃라이어를 제거하지 않을 것인지를 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 아웃라이어의 제거 또는 아웃라이어의 제거하지 않음을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
부동 소수점 포맷은 데이터의 표현 방법으로서, 본 실시 예에서 float32 및 float64로 분류될 수 있다. float32는 데이터를 32비트로 표현하고, float64는 데이터를 64비트로 표현하는 것을 나타낼 수 있다. float32는 float64와 비교 시에 절반의 용량으로 데이터를 표현할 수 있으나, 데이터의 손실이 있을 수 있다. float64가 손실이 적게 데이터를 더 자세하게 표현할 수 있다. 제어부(170)는 데이터 표현을 float32로 할 것인지, 또는 float64로 할 것인지 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 float32 또는 float64로 오디오 데이터를 표현하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
선택적 실시 예로 오디오 데이터를 전처리하는 조건은 오디오 특징값 추출을 더 포함할 수 있다. 본 실시 예에서 오디오 특징값을 추출하는 방법은 STFT(short-time fourier transform chromagram), CQT(constant-Q transform chromagram), CENS(chroma energy normalized statistics), Mel-scaled spectrogram, MFCC(mel-frequency cepstral coefficients) 및 Tempogram으로 분류될 수 있다. STFT는 오디오 신호를 일정한 길이의 구간들로 나누고 각 구간에 대하여 푸리에 변환을 적용하여 시간에 따른 스펙트럼을 추출할 수 있다. CQT는 오디오 신호를 주파수 도메인으로 변환하여 피치의 주파수 분포를 나타내는 벡터값을 추출할 수 있다. CENS는 오디오 신호의 단기간 고조파를 이용하여 정규화한 크로마(chroma) 벡터값을 추출할 수 있다. Mel-scaled spectrogram은 멜 스케일 (Mel-Scaled)된 스펙트로그램을 분석하여 특징을 추출할 수 있다. MFCC는 오디오 데이터를 소정 시간 단위로 샘플링 한 후에, 스펙트럼을 분석하여 특징 소리의 벡터값을 추출할 수 있다. Tempogram은 오디오 신호의 로컬 템포 특성을 나타내는 중간 레벨 특징을 추출할 수 있다. 본 실시 예에서, 제어부(170)는 상술한 오디오 특징값을 추출하는 방법 중 하나 이상을 디폴트로 실행하도록 설정하여 검증부(140)로 출력할 수 있다. 검증부(140)는 파킨슨병 예측 모델의 정확도를 검증 시에, 상술한 오디오 특징값을 추출하는 방법 중 하나 이상을 디폴트로 실행할 수 있다. 선택적 실시 예로 제어부(170)는 상술한 오디오 특징값을 추출하는 방법 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 오디오 특징값을 추출하는 방법 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
선택적 실시 예로 오디오 데이터를 전처리하는 조건은 음절 처리 더 포함할 수 있다. 본 실시 예에서 음절 처리는 평균(mean) 처리 및 연결(concat: concatenation) 처리로 분류될 수 있다. 평균(mean) 처리는 높은음으로 발화한 음절 및 낮음으로 발화한 음절의 평균을 구하는 처리를 포함할 수 있다. 연결(concat) 처리는 높은음으로 발화한 음절 뒤에 낮음으로 발화한 음절을 이어서 붙이는 처리를 포함할 수 있다. 예를 들어, 복수의 서로 다른 제1 어절조합 중 어느 하나인 "가가가나나나[gagagananan]"를 연결(concat) 처리하는 경우, 높은음의"가가가[gagaga]"와 낮은음의 "나나나[nanana]"를 이어서 붙인 결과일 수 있다. 본 실시 예에서, 제어부(170)는 평균(mean) 처리 및 연결(concat) 처리 중 하나 이상을 디폴트로 실행하도록 설정하여 검증부(140)로 출력할 수 있다. 검증부(140)는 파킨슨병 예측 모델의 정확도를 검증 시에, 상술한 평균(mean) 처리 및 연결(concat) 처리 중 하나 이상을 디폴트로 실행할 수 있다. 선택적 실시 예로 제어부(170)는 평균(mean) 처리 및 연결(concat) 처리 중 하나 이상을 선택하여 검증부(140)로 출력할 수 있다. 검증부(140)는 선택된 평균(mean) 처리 및 연결(concat) 처리 중 하나 이상을 실행하여 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
본 실시 예에서 검증부(140)는 파킨슨병 예측 모델의 정확도를 검증하기 위해 제1 검증 내지 제7 검증을 실행할 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제1 전처리 조건 및 복수의 서로 다른 제1 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제1 검증을 실행할 수 있다.
도 6은 제1 검증 실행을 위해 오디오 데이터를 전처리하는 제1 조건을 테이블 형태로 도시한 도면이다. 도 6을 참조하면, 제1 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제2 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제2 전처리 조건 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제2 검증을 실행할 수 있다.
도 9는 제2 검증 실행을 위해 오디오 데이터를 전처리하는 제2 조건을 테이블 형태로 도시한 도면이다. 도 9를 참조하면, 제2 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제2 검증은 제1 검증과 비교 시에, 음향 전처리와 어절조합이 다를 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제3 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제3 검증을 실행할 수 있다.
도 12는 제3 검증 실행을 위해 오디오 데이터를 전처리하는 제3 조건을 테이블 형태로 도시한 도면이다. 도 12를 참조하면, 제3 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제3 검증은 제2 검증을 비교 시에, 어절조합이 다를 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제4 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제4 검증을 실행할 수 있다.
도 15는 제4 검증 실행을 위해 오디오 데이터를 전처리하는 제4 조건을 테이블 형태로 도시한 도면이다. 도 15를 참조하면, 제4 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제2 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제4 검증은 제3 검증과 비교 시에, 음향 전처리가 다를 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제5 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제5 검증을 실행할 수 있다.
도 18은 제5 검증 실행을 위해 오디오 데이터를 전처리하는 제5 조건을 테이블 형태로 도시한 도면이다. 도 18을 참조하면, 제5 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE 알고리즘 및 클래스 가중치 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 아웃라이어(outlier)를 제거하지 않음을 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제5 검증은 제4 검증과 비교 시에, 음향 전처리, 통계적 특성, 데이터 불균형 보완, 아웃라이어(outlier) 제거가 다를 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제6 전처리 조건, 복수의 서로 다른 제1 어절조합 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제6 검증을 실행할 수 있다.
도 21은 제6 검증 실행을 위해 오디오 데이터를 전처리하는 제6 조건을 테이블 형태로 도시한 도면이다. 도 21을 참조하면, 제6 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제1 음향 전처리를 실행하고, 엣지(edge)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제6 검증은 제5 검증과 비교 시에, 어절조합, 데이터 패딩, 통계적 특성, 데이터 불균형 보완, 아웃라이어(outlier) 제거가 다를 수 있다.
검증부(140)는 오디오 데이터를 전처리하는 제7 전처리 조건, 복수의 서로 다른 제1 어절조합 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제7 검증을 실행할 수 있다.
도 24는 제7 검증 실행을 위해 오디오 데이터를 전처리하는 제7 조건을 테이블 형태로 도시한 도면이다. 도 24를 참조하면, 제7 전처리 조건은 상술한 오디오 데이터를 전처리하는 조건 중 제2 음향 전처리를 실행하고, 엣지(edge)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다. 본 실시 예에서 제6 검증은 제5 검증과 비교 시에, 음향 전처리가 다를 수 있다.
결정부(150)는 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제1 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 11번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 7은 제1 검증의 결과에 따라, 서로 다른 제1 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 7을 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...카카카[gagagananan...kakaka]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 8은 제1 검증의 결과에 따라, 제1 전처리 조건에 포함되는 요소들의 정확도 평균을 비교한 결과를 도시한 도면이다. 도 8을 참조하면, 801은 서로 다른 제1 어절조합에 대한 정확도 평균을 비교한 결과이다. 802는 오디오 특징값에 대한 정확도 평균을 오디오 특징값을 추출하는 방법 별로 비교한 결과이다. 803은 음절 처리별 정확도 평균을 비교한 결과이다. 804는 데이터 패딩의 종류별 정확도 평균을 비교한 결과이다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제2 검증의 결과로부터, 최상위에 랭크된 기본 모음 세트를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 10은 제2 검증의 결과에 따라, 서로 다른 제2 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 10을 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제2 어절조합 중 하나인 기본 모음 세트 즉, 아에이오우[aeiou]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 11은 제2 검증의 결과에 따라, 제2 전처리 조건에 포함되는 요소들의 정확도 평균을 비교한 결과를 도시한 도면이다. 도 11을 참조하면, 1101은 서로 다른 제2 어절조합에 대한 정확도 평균을 비교한 결과이다. 1102는 오디오 특징값에 대한 정확도 평균을 오디오 특징값을 추출하는 방법 별로 비교한 결과이다. 1103은 음절 처리별 정확도 평균을 비교한 결과이다. 1104는 데이터 패딩의 종류별 정확도 평균을 비교한 결과이다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제3 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 13은 제3 검증의 결과에 따라, 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 7을 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제3 어절조합 중 하나인 다다다아아아[dadadaaaa]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 본 실시 예에서 최상위(제1 순위)에 랭크된 다다다아아아[dadadaaaa]는 제3 전처리 조건에 포함되는 오디오 특징값의 추출로 Mel-scaled spectrogram 추출 방법이 실행되고, 음절 처리로 평균(mean) 처리가 실행되고, 데이터 패딩의 종류로 제로(zero)가 실행된 제3 어절조합 중 하나일 수 있다.
도 14는 제3 검증의 결과에 따라, 제3 전처리 조건에 포함되는 요소들의 정확도 평균을 비교한 결과를 도시한 도면이다. 도 14를 참조하면, 1401은 서로 다른 제3 어절조합에 대한 정확도 평균을 비교한 결과이다. 1402는 오디오 특징값에 대한 정확도 평균을 오디오 특징값을 추출하는 방법 별로 비교한 결과이다. 1403은 음절 처리별 정확도 평균을 비교한 결과이다. 1404는 데이터 패딩의 종류별 정확도 평균을 비교한 결과이다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제4 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 16은 제4 검증의 결과에 따라, 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 16을 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제3 어절조합 중 하나인 아아아하하하[aaahahaha]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 본 실시 예에서 최상위(제1 순위)에 랭크된 아아아하하하[aaahahaha]는 제4 전처리 조건에 포함되는 오디오 특징값의 추출로 Mel-scaled spectrogram 추출 방법이 실행되고, 음절 처리로 평균(mean) 처리가 실행되고, 데이터 패딩의 종류로 엣지(edge)가 실행된 제3 어절조합 중 하나일 수 있다.
도 17은 제4 검증의 결과에 따라, 제4 전처리 조건에 포함되는 요소들의 정확도 평균을 비교한 결과를 도시한 도면이다. 도 17을 참조하면, 1701은 서로 다른 제3 어절조합에 대한 정확도 평균을 비교한 결과이다. 1702는 오디오 특징값에 대한 정확도 평균을 오디오 특징값을 추출하는 방법 별로 비교한 결과이다. 1703은 음절 처리별 정확도 평균을 비교한 결과이다. 1704는 데이터 패딩의 종류별 정확도 평균을 비교한 결과이다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제5 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 2번째 자음 및 7번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 19는 제5 검증의 결과에 따라, 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 19를 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제3 어절조합 중 하나인 나나나사사사[nananasasasa]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 본 실시 예에서 최상위(제1 순위)에 랭크된 나나나사사사[nananasasasa]는 제5 전처리 조건에 포함되는 오디오 특징값의 추출로 Mel-scaled spectrogram 추출 방법이 실행되고, 음절 처리로 연결(concat) 처리가 실행되고, 데이터 패딩의 종류로 엣지(edge)가 실행된 제3 어절조합 중 하나일 수 있다.
도 20은 제5 검증의 결과에 따라, 제5 전처리 조건에 포함되는 요소들의 정확도 평균을 비교한 결과를 도시한 도면이다. 도 20을 참조하면, 2001은 서로 다른 제3 어절조합에 대한 정확도 평균을 비교한 결과이다. 2002는 오디오 특징값에 대한 정확도 평균을 오디오 특징값을 추출하는 방법 별로 비교한 결과이다. 2003은 음절 처리별 정확도 평균을 비교한 결과이다. 2004는 데이터 패딩의 종류별 정확도 평균을 비교한 결과이다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제6 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한, 결정부(150)는 차상위에 랭크된 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한, 결정부(150)는 차차상위에 랭크된 자음순서에 따른 1번째 자음부터 6번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차차차상위에 랭크된 자음순서에 따른 1번째 자음부터 5번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 22는 제6 검증의 결과에 따라, 서로 다른 제1 어절조합 및 서로 다른 제2 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 22를 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...자자자[gagagananana...jajaja]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차상위(제2 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차차상위(제3 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...바바바[gagagananana...bababa]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차차차상위(제4 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...마마마[gagagananana...mamama]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 23은 제6 검증의 결과에 따라, 서로 다른 제1 어절조합 및 서로 다른 제2 어절조합에 대한 정확도 평균을 비교한 결과를 도시하고 있다.
결정부(150)는 파킨슨병 예측 모델의 정확도에 대한 제7 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한, 결정부(150)는 차상위에 랭크된 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 25는 제7 검증의 결과에 따라, 서로 다른 제1 어절조합 및 서로 다른 제2 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 25를 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...자자자[gagagananana...jajaja]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차상위(제2 순위)에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
도 26은 제7 검증의 결과에 따라, 서로 다른 제1 어절조합 및 서로 다른 제2 어절조합에 대한 정확도 평균을 비교한 결과를 도시하고 있다.
획득부(160)는 결정부(150)가 결정한 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 발화자에 대한 파킨슨병 예측 결과를 획득할 수 있다.
제어부(170)는 파킨슨병 예측 장치(100) 전체의 동작을 제어할 수 있다. 제어부(170)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
선택적 실시 예로, 생성부(120)는 성별 분류 모델을 생성할 수 있다. 본 실시 예에서 성별 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 성별을 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 발화자의 성별을 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
생성부(120)는 레이블링된 훈련데이터를 이용하여 초기에 설정된 심층신경망 모델을 지도학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망 모델은, 성별 분류 모델로 구성되기 위해 설계된 초기 모델로서, 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기에 설정된 심층신경망 모델은, 상술한 훈련데이터를 통해 훈련되면서 파라미터 값들이 최적화됨으로써, 발화자에 대한 성별을 정확히 분류할 수 있는 성별 분류 모델로 완성될 수 있다.
검증부(140)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 성별 분류 모델의 정확도를 검증할 수 있다. 검증부(140)는 성별 분류 모델의 정확도를 검증 시에 상술한 오디오 데이터를 전처리하는 조건을 적용할 수 있다.
결정부(150)는 성별 분류 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 성별 분류용 오디오 데이터로 결정할 수 있다.
도 27은 성별 분류 모델의 정확도 검증의 결과에 따라, 서로 다른 제1 어절조합, 서로 다른 제2 어절조합 및 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 27을 참조하면, 결정부(150)는 최상위(제1 순위)에 랭크된 제3 어절조합 중 하나인 다다다아아아[dadadaaaa]를 성별 분류를 위한 오디오 데이터로 결정할 수 있다.
도 28은 성별 분류 모델의 정확도 검증의 결과에 따라, 서로 다른 제1 어절조합 및 서로 다른 제2 어절조합에 대한 정확도 평균을 비교한 결과를 도시하고 있다.
획득부(160)는 결정부(150)가 결정한 오디오 데이터에 대응하는 발화자의 발화결과를 성별 분류 모델에 입력하고, 성별 분류 모델의 출력으로 발화자에 대한 성별 분류 결과를 획득할 수 있다.
선택적 실시 예로, 생성부(120)는 어절 성능 비교 모델을 생성할 수 있다. 본 실시 예에서 어절 성능 비교 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 오디오 데이터 내에 포함된 어절별 성능 비교 결과를 출력하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 어절별 성능 비교 결과를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
생성부(120)는 레이블링된 훈련데이터를 이용하여 초기에 설정된 심층신경망 모델을 지도학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망 모델은, 어절 성능 비교 모델로 구성되기 위해 설계된 초기 모델로서, 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기에 설정된 심층신경망 모델은, 상술한 훈련데이터를 통해 훈련되면서 파라미터 값들이 최적화됨으로써, 어절별 성능을 정확히 비교할 수 있는 어절 성능 비교 모델로 완성될 수 있다.
검증부(140)는 발화자의 발화결과를 포함하는 오디오 데이터로부터 추출한 소정의 어절을 기반으로 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증할 수 있다. 검증부(140)는 어절 성능 비교 모델의 정확도를 검증 시에 상술한 오디오 데이터를 전처리하는 조건을 적용할 수 있다.
결정부(150)는 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
결정부(150)는 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증한 결과로부터, 제1 상위에 랭크된 자음순서에 따른 4번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제2 상위에 랭크된 자음순서에 따른 8번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제3 상위에 랭크된 기본 모음 세트를, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제4 상위에 랭크된 자음순서에 따른 11번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제5 상위에 랭크된 자음순서에 따른 2번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제6 상위에 랭크된 자음순서에 따른 6번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제7 상위에 랭크된 자음순서에 따른 12번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제8 상위에 랭크된 자음순서에 따른 14번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제9 상위에 랭크된 자음순서에 따른 13번째 자음을 소정의 모음과 결합하여 생성한 제1 음절과, 12번째 자음을 소정의 모음과 결합하여 생성한 제1 음절과, 11번째 자음을 소정의 모음과 결합하여 생성한 제1 음절을 결합한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제10 상위에 랭크된 자음순서에 따른 5번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
도 29는 어절 성능 비교 모델의 정확도 검증의 결과에 따라, 복수의 서로 다른 제1 어절에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다. 도 29를 참조하면, 결정부(150)는 제1 순위에 랭크된 제1 어절 중 하나인 라라라[rarara]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제2 순위에 랭크된 제1 어절 중 하나인 아아아[aaa]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제3 순위에 랭크된 기본 모음 세트인 아에이오우[aeiou]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제4 순위에 랭크된 제1 어절 중 하나인 카카카[kakaka]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제5 순위에 랭크된 제1 어절 중 하나인 나나나[nanana]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제6 순위에 랭크된 제1 어절 중 하나인 바바바[bababa]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제7 순위에 랭크된 제1 어절 중 하나인 타타타[tatata]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제8 순위에 랭크된 제1 어절 중 하나인 하하하[hahaha]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제9 순위에 랭크된 제1 어절 중 하나인 파타카[pataka]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 결정부(150)는 제10 순위에 랭크된 제1 어절 중 하나인 마마마[mamama]를 어절 성능 비교용 오디오 데이터로 결정할 수 있다.
도 30은 어절 성능 비교 모델의 정확도 검증의 결과에 따라, 서로 다른 제1 어절 및 기본 모음 세트에 대한 정확도 평균을 비교한 결과를 도시하고 있다.
획득부(160)는 결정부(150)가 결정한 오디오 데이터에 대응하는 발화자의 발화결과를 어절 성능 비교 모델에 입력하고, 어절 성능 비교 모델의 출력으로 발화자에 대한 파킨슨병 예측을 위한 어절 성능 비교 결과를 획득할 수 있다.
선택적 실시 예로, 생성부(120)는 제1 파킨슨병 정확도 분류 모델을 생성할 수 있다. 본 실시 예에서 제1 파킨슨병 정확도 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 파킨슨병에 대한 정확도를 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 제1 클래스 및 제2 클래스 중 하나 이상과 제3 클래스를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 본 실시 예에서 제1 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 최상위 정확도를 갖는 질환을 포함할 수 있다. 제2 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 차상위 정확도를 갖는 질환을 포함할 수 있다. 제3 클래스는 제1 클래스 또는 제2 클래스를 제외한 나머지 파킨슨병 관련 질환들을 포함할 수 있다.
생성부(120)는 레이블링된 훈련데이터를 이용하여 초기에 설정된 심층신경망 모델을 지도학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망 모델은, 제1 파킨슨병 정확도 분류 모델로 구성되기 위해 설계된 초기 모델로서, 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기에 설정된 심층신경망 모델은, 상술한 훈련데이터를 통해 훈련되면서 파라미터 값들이 최적화됨으로써, 파킨슨병 정확도를 정확하게 분류할 수 있는 제1 파킨슨병 정확도 분류 모델로 완성될 수 있다.
검증부(140)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 제1 파킨슨병 정확도 분류 모델의 정확도를 검증할 수 있다. 검증부(140)는 제1 파킨슨병 정확도 분류 모델의 정확도를 검증 시에 상술한 오디오 데이터를 전처리하는 조건을 적용할 수 있다.
결정부(150)는 제1 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
결정부(150)는 제1 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 제1 클래스로써의 소뇌위축 및 소뇌위축을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차상위에 랭크된 제1 클래스로써의 정상 및 정상을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차차상위에 랭크된 제1 클래스로써의 다계통위축 및 다계통위축을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 2번째 자음 및 7번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 차차차상위에 랭크된 제1 클래스로써의 파킨슨 및 파킨슨을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
도 31은 제1 파킨슨병 정확도 분류 모델의 정확도 검증의 결과에 따라, 서로 다른 제1 어절조합, 서로 다른 제2 어절조합 및 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다.
도 31을 참조하면, 결정부(150)는 제1 순위에 랭크된 제3 어절조합 중 하나인 다다다아아아[dadadaaaa]를 제1 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제1 순위에 랭크된 다다다아아아[dadadaaaa]는 제1 클래스로써의 소뇌위축(D)과, 제3 클래스로써의 소뇌위축을 제외한 나머지 파킨슨병 관련 질환들(X)인 정상, 파킨슨, 소뇌위축을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제2 순위에 랭크된 제3 어절조합 중 하나인 아아아하하하[aaahahaha]를 제1 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제2 순위에 랭크된 아아아하하하[aaahahaha]는 제1 클래스로써의 정상(A)과, 제3 클래스로써의 정상을 제외한 나머지 파킨슨병 관련 질환들(X)인 파킨슨, 다계통위축, 소뇌위축을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제3 순위에 랭크된 제3 어절조합 중 하나인 나나나사사사[nananasasasa]를 제1 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제3 순위에 랭크된 나나나사사사[nananasasasa]는 제1 클래스로써의 다계통위축(C)과, 제3 클래스로써의 다계통위축을 제외한 나머지 파킨슨병 관련 질환들(X)인 정상, 파킨슨, 소뇌위축을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제4 순위에 랭크된 제3 어절조합 중 하나인 아아아하하하[aaahahaha]를 제1 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제3 순위에 랭크된 아아아하하하[aaahahaha]는 제1 클래스로써의 파킨슨(B)과, 제3 클래스로써의 파킨슨을 제외한 나머지 파킨슨병 관련 질환들(X)인 정상, 다계통위축, 소뇌위축을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
획득부(160)는 결정부(150)가 결정한 오디오 데이터에 대응하는 발화자의 발화결과를 제1 파킨슨병 정확도 분류 모델에 입력하고, 파킨슨병 정확도 분류 모델의 출력으로 발화자에 대한 제1 파킨슨병 정확도 분류 결과를 획득할 수 있다.
선택적 실시 예로, 생성부(120)는 제2 파킨슨병 정확도 분류 모델을 생성할 수 있다. 본 실시 예에서 제2 파킨슨병 정확도 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 파킨슨병에 대한 정확도를 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 제4 클래스, 제5 클래스 및 제6 클래스 중 두 개 이상을 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 본 실시 예에서 제4 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 최상위 정확도를 갖는 질환을 포함할 수 있다. 제5 클래스는 제4 클래스를 제외한 나머지 세 개의 파킨슨병 관련 질환 중 더 높은 정확도를 갖는 질환을 포함할 수 있다. 제6 클래스는 제4 클래스 및 제5 클래스를 제외한 나머지 두 개의 파킨슨병 관련 질환 중 최상위 정확도를 갖는 질환을 포함할 수 있다.
생성부(120)는 레이블링된 훈련데이터를 이용하여 초기에 설정된 심층신경망 모델을 지도학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망 모델은, 제2 파킨슨병 정확도 분류 모델로 구성되기 위해 설계된 초기 모델로서, 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기에 설정된 심층신경망 모델은, 상술한 훈련데이터를 통해 훈련되면서 파라미터 값들이 최적화됨으로써, 파킨슨병 정확도를 정확하게 분류할 수 있는 제2 파킨슨병 정확도 분류 모델로 완성될 수 있다.
검증부(140)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 제2 파킨슨병 정확도 분류 모델의 정확도를 검증할 수 있다. 검증부(140)는 제2 파킨슨병 정확도 분류 모델의 정확도를 검증 시에 상술한 오디오 데이터를 전처리하는 조건을 적용할 수 있다.
결정부(150)는 제2 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
결정부(150)는 제2 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 제1 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제2 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제3 상위에 랭크된 제4 클래스로써의 다계통위축 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제4 상위에 랭크된 제4 클래스로써의 파킨슨 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제5 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 다계통위축 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제6 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 파킨슨에 대응하는, 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제7 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 파킨슨 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제8 상위에 랭크된 제4 클래스로써의 파킨슨 및 제5 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제9 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 파킨슨 및 제6 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
또한 결정부(150)는 제10 상위에 랭크된 제4 클래스로써의 파킨슨과, 제5 클래스로써의 다계통위축 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다.
도 32는 제2 파킨슨병 정확도 분류 모델의 정확도 검증의 결과에 따라, 서로 다른 제1 어절조합, 서로 다른 제2 어절조합 및 서로 다른 제3 어절조합에 대한 정확도를 상위 제1 순위부터 상위 제10 순위까지 도시한 도면이다.
도 32를 참조하면, 결정부(150)는 제1 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제1 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제2 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제2 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 다계통위축(C)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제3 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제3 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 다계통위축(C)과, 제5 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제4 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제4 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 파킨슨(B)과, 제5 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제5 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제5 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 다계통위축(C)과, 제6 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제6 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...자자자[gagagananana...jajaja]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제6 순위에 랭크된 가가가나나나...자자자[gagagananana...jajaja]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 파킨슨(B)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제7 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제7 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 파킨슨(B)과, 제6 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제8 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...자자자[gagagananana...jajaja]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제8 순위에 랭크된 가가가나나나...자자자[gagagananana...jajaja]는 제4 클래스로써의 파킨슨(B)과, 제5 클래스로써의 다계통위축(C)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제9 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제9 순위에 랭크된 가가가나나나...사사사[gagagananana...sasasa]는 제4 클래스로써의 정상(A)과, 제5 클래스로써의 파킨슨(B)과, 제6 클래스로써의 다계통위축(C)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
또한 결정부(150)는 제10 순위에 랭크된 제1 어절조합 중 하나인 가가가나나나...사사사[gagagananana...sasasa]를 제2 파킨슨병 정확도 분류를 위한 오디오 데이터로 결정할 수 있다. 여기서, 제10 순위에 랭크된 가가가나나나...사사사[gagagananana......sasa]는 제4 클래스로써의 파킨슨(B)과, 제5 클래스로써의 다계통위축(C)과, 제6 클래스로써의 소뇌위축(D)을 가장 높은 정확도로 구분할 수 있는 어절조합일 수 있다.
획득부(160)는 결정부(150)가 결정한 오디오 데이터에 대응하는 발화자의 발화결과를 제2 파킨슨병 정확도 분류 모델에 입력하고, 제2 파킨슨병 정확도 분류 모델의 출력으로 발화자에 대한 파킨슨병 정확도 분류 결과를 획득할 수 있다.
도 33은 다른 실시 예에 따른 파킨슨병 예측 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다. 이하의 설명에서 도 1 내지 도 32에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 33을 참조하면, 다른 실시 예에 따른 파킨슨병 예측 장치(100)는 프로세서(180)와 메모리(190)를 포함할 수 있다.
본 실시 예에서, 프로세서(180)는 도 1에 개시된 수집부(110), 생성부(120), 추출부(130), 검증부(140), 결정부(150), 획득부(160) 및 제어부(170)가 수행하는 기능을 처리할 수 있다.
이러한 프로세서(180)는 파킨슨병 예측 장치(100) 전체의 동작을 제어할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서, 중앙처리장치, 프로세서 코어, 멀티프로세서, ASIC, FPGA 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(190)는 프로세서(180)와 동작 가능하게 연결되고, 프로세서(180)에서 수행되는 동작과 연관하여 적어도 하나의 코드를 저장할 수 있다.
또한, 메모리(190)는 프로세서(180)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(190)는 자기 저장 매체 또는 플래시 저장 매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(190)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM, PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, xD 카드, 또는 메모리 스틱 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
도 34는 본 실시 예에 따른 파킨슨병 예측 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 33에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 본 실시 예에 따른 파킨슨병 예측 방법은 파킨슨병 예측 장치(100)가 주변 구성 요소들의 도움을 받아 프로세서(180)에서 수행한다고 가정하고 설명하기로 한다.
도 34를 참조하면, S3410단계에서, 프로세서(180)는 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출할 수 있다.
프로세서(180)는 복수의 서로 다른 제1 어절조합이거나, 복수의 서로 다른 제2 어절조합이거나, 복수의 서로 다른 제3 어절조합을 포함하는 어절조합을 추출할 수 있다. 복수의 서로 다른 제1 어절조합은 오디오 데이터로부터, 소정의 자음과 소정의 모음을 결합한 적어도 하나의 제1 음절로 구성될 수 있다. 복수의 서로 다른 제1 어절조합에 포함되는 소정의 자음은 어문 규칙에 따른 자음순서 대로 소정의 모음과 결합되고, 복수의 서로 다른 제1 어절조합에 포함되는 소정의 모음은 어느 한 단일 모음으로 결정될 수 있다. 오디오 데이터로부터, 자음순서에 따른 n번째 자음부터 n+k번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 제1 어절조합으로 추출하고, n은 자연수를 포함하고, k는 0 및 자연수를 포함할 수 있다. 복수의 서로 다른 제2 어절조합은 기본 모음 세트와, 소정의 쌍자음 및 소정의 모음을 결합한 제2 음절과, 제1 어절조합 중 하나 이상이 결합된 구성일 수 있다. 복수의 서로 다른 제3 어절조합은 임의의 자음과 임의의 모음을 결합한 적어도 하나의 제3 음절과, 복수의 서로 다른 제2 어절조합에 포함되는 어느 한 어절조합을 포함할 수 있다.
본 실시 예에서, 프로세서(180)는 어절조합을 추출하기 이전에 파킨슨병 예측 모델을 생성할 수 있다. 본 실시 예에서 파킨슨병 예측 모델은, 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자에 대한 파킨슨병을 예측하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은, 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 하나를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
S3420단계에서, 프로세서(180)는 오디오 데이터를 전처리하는 조건 및 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제1 전처리 조건 및 복수의 서로 다른 제1 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제1 검증을 실행할 수 있다. 본 실시 예에서 제1 전처리 조건은, 제2 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제2 전처리 조건 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제2 검증을 실행할 수 있다. 본 실시 예에서 제2 전처리 조건은, 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제3 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제3 검증을 실행할 수 있다. 본 실시 예에서 제3 전처리 조건은, 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제4 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제4 검증을 실행할 수 있다. 본 실시 예에서 제4 전처리 조건은, 제2 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제5 전처리 조건 및 복수의 서로 다른 제3 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제5 검증을 실행할 수 있다. 본 실시 예에서 제5 전처리 조건은, 제1 음향 전처리를 실행하고, 엣지(edge), 리피트(repeat), 타일(tile) 및 제로(zero)를 포함하는 데이터 패딩을 실행하고, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE 알고리즘 및 클래스 가중치 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 아웃라이어(outlier)를 제거하지 않음을 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제6 전처리 조건, 복수의 서로 다른 제1 어절조합 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제6 검증을 실행할 수 있다. 본 실시 예에서 제6 전처리 조건은, 제1 음향 전처리를 실행하고, 엣지(edge)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
프로세서(180)는 오디오 데이터를 전처리하는 제7 전처리 조건, 복수의 서로 다른 제1 어절조합 및 복수의 서로 다른 제2 어절조합을 기반으로 파킨슨병 예측 모델의 정확도를 검증하는 제7 검증을 실행할 수 있다. 본 실시 예에서 제7 전처리 조건은, 제2 음향 전처리를 실행하고, 엣지(edge)를 포함하는 데이터 패딩을 실행하고, 성별, 음량, 크기, 최대진폭, 길이 및 화자별 평균 어절 길이를 포함하는 통계적 특성을 실행하고, 학습 세트: 검증 세트: 테스트 세트가 64:16:20으로 분할되는 데이터 분할을 실행하고, SMOTE-NC 알고리즘을 포함하는 데이터 불균형 보완을 실행하고, 표준화를 포함하는 스케일링을 실행하고, 격리 포레스트를 포함하는 아웃라이어(outlier) 제거를 실행하고, float64를 포함하는 부동 소수점 포맷을 실행하는 조건을 포함할 수 있다.
S3430단계에서, 프로세서(180)는 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제1 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 11번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제2 검증의 결과로부터, 최상위에 랭크된 기본 모음 세트를 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제3 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제4 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제5 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 2번째 자음 및 7번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제6 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차상위에 랭크된 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차차상위에 랭크된 자음순서에 따른 1번째 자음부터 6번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차차차상위에 랭크된 자음순서에 따른 1번째 자음부터 5번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
프로세서(180)는 파킨슨병 예측 모델의 정확도에 대한 제7 검증의 결과로부터, 최상위에 랭크된 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차상위에 랭크된 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 복수의 서로 다른 제1 음절을 생성하고, 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정할 수 있다.
S3440단계에서, 프로세서(180)는 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 파킨슨병 예측 모델에 입력하고, 파킨슨병 예측 모델의 출력으로 발화자에 대한 파킨슨병 예측 결과를 획득할 수 있다.
선택적 실시 예로, 프로세서(180)는 성별 분류 모델을 생성할 수 있다. 본 실시 예에서 성별 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 성별을 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 발화자의 성별을 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 프로세서(180)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 성별 분류 모델의 정확도를 검증할 수 있다. 프로세서(180)는 성별 분류 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 성별 분류용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 결정된 오디오 데이터에 대응하는 발화자의 발화결과를 성별 분류 모델에 입력하고, 성별 분류 모델의 출력으로 발화자에 대한 성별 분류 결과를 획득할 수 있다.
선택적 실시 예로, 프로세서(180)는 어절 성능 비교 모델을 생성할 수 있다. 본 실시 예에서 어절 성능 비교 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 오디오 데이터 내에 포함된 어절별 성능 비교 결과를 출력하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 어절별 성능 비교 결과를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 프로세서(180)는 발화자의 발화결과를 포함하는 오디오 데이터로부터 추출한 소정의 어절을 기반으로 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증할 수 있다. 프로세서(180)는 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 파킨슨병 예측을 위한 어절 성능 비교 모델의 정확도를 검증한 결과로부터, 제1 상위에 랭크된 자음순서에 따른 4번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제2 상위에 랭크된 자음순서에 따른 8번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제3 상위에 랭크된 기본 모음 세트를, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제4 상위에 랭크된 자음순서에 따른 11번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제5 상위에 랭크된 자음순서에 따른 2번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제6 상위에 랭크된 자음순서에 따른 6번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제7 상위에 랭크된 자음순서에 따른 12번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제8 상위에 랭크된 자음순서에 따른 14번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제9 상위에 랭크된 자음순서에 따른 13번째 자음을 소정의 모음과 결합하여 생성한 제1 음절과, 12번째 자음을 소정의 모음과 결합하여 생성한 제1 음절과, 11번째 자음을 소정의 모음과 결합하여 생성한 제1 음절을 결합한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제10 상위에 랭크된 자음순서에 따른 5번째 자음 및 소정의 모음을 결합한 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절을, 파킨슨병 예측을 위한 어절 성능 비교용 오디오 데이터로 결정할 수 있다. 프로세서(180)는 결정된 오디오 데이터에 대응하는 발화자의 발화결과를 어절 성능 비교 모델에 입력하고, 어절 성능 비교 모델의 출력으로 발화자에 대한 파킨슨병 예측을 위한 어절 성능 비교 결과를 획득할 수 있다.
선택적 실시 예로, 프로세서(180)는 제1 파킨슨병 정확도 분류 모델을 생성할 수 있다. 본 실시 예에서 제1 파킨슨병 정확도 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 파킨슨병에 대한 정확도를 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 제1 클래스 및 제2 클래스 중 하나 이상과 제3 클래스를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 본 실시 예에서 제1 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 최상위 정확도를 갖는 질환을 포함할 수 있다. 제2 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 차상위 정확도를 갖는 질환을 포함할 수 있다. 제3 클래스는 제1 클래스 또는 제2 클래스를 제외한 나머지 파킨슨병 관련 질환들을 포함할 수 있다. 프로세서(180)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 제1 파킨슨병 정확도 분류 모델의 정확도를 검증할 수 있다. 프로세서(180)는 제1 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제1 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 제1 클래스로써의 소뇌위축 및 소뇌위축을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 3번째 자음 및 8번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차상위에 랭크된 제1 클래스로써의 정상 및 정상을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차차상위에 랭크된 제1 클래스로써의 다계통위축 및 다계통위축을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 2번째 자음 및 7번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 차차차상위에 랭크된 제1 클래스로써의 파킨슨 및 파킨슨을 제외한 나머지 파킨슨병 관련 질환들을 포함하는 제3 클래스에 대응하는, 자음순서에 따른 8번째 자음 및 14번째 자음을 소정의 모음과 결합하여 서로 다른 제3 음절을 생성하고, 서로 다른 제3 음절 각각을 기설정된 개수만큼 반복하여 생성한 제3 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 결정된 오디오 데이터에 대응하는 발화자의 발화결과를 제1 파킨슨병 정확도 분류 모델에 입력하고, 파킨슨병 정확도 분류 모델의 출력으로 발화자에 대한 제1 파킨슨병 정확도 분류 결과를 획득할 수 있다.
선택적 실시 예로, 프로세서(180)는 제2 파킨슨병 정확도 분류 모델을 생성할 수 있다. 본 실시 예에서 제2 파킨슨병 정확도 분류 모델은 발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 발화자의 파킨슨병에 대한 정확도를 분류하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성될 수 있다. 여기서, 심층신경망 모델은 발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 제4 클래스, 제5 클래스 및 제6 클래스 중 두 개 이상을 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다. 본 실시 예에서 제4 클래스는 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 최상위 정확도를 갖는 질환을 포함할 수 있다. 제5 클래스는 제4 클래스를 제외한 나머지 세 개의 파킨슨병 관련 질환 중 더 높은 정확도를 갖는 질환을 포함할 수 있다. 제6 클래스는 제4 클래스 및 제5 클래스를 제외한 나머지 두 개의 파킨슨병 관련 질환 중 최상위 정확도를 갖는 질환을 포함할 수 있다. 프로세서(180)는 복수의 서로 다른 제1 어절조합, 복수의 서로 다른 제2 어절조합 및 복수의 서로 다른 제3 어절조합을 기반으로 제2 파킨슨병 정확도 분류 모델의 정확도를 검증할 수 있다. 프로세서(180)는 제2 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 상위에 랭크된 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제2 파킨슨병 정확도 분류 모델의 정확도를 검증한 결과로부터, 제1 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제2 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제3 상위에 랭크된 제4 클래스로써의 다계통위축 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제4 상위에 랭크된 제4 클래스로써의 파킨슨 및 제5 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제5 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 다계통위축 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제6 상위에 랭크된 제4 클래스로써의 정상 및 제5 클래스로써의 파킨슨에 대응하는, 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제7 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 파킨슨 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제8 상위에 랭크된 제4 클래스로써의 파킨슨 및 제5 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 9번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제9 상위에 랭크된 제4 클래스로써의 정상과, 제5 클래스로써의 파킨슨 및 제6 클래스로써의 다계통위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 제10 상위에 랭크된 제4 클래스로써의 파킨슨과, 제5 클래스로써의 다계통위축 및 제6 클래스로써의 소뇌위축에 대응하는, 자음순서에 따른 1번째 자음부터 7번째 자음을 소정의 모음과 결합하여 제1 음절을 생성하고, 제1 음절을 기설정된 개수만큼 반복하여 생성한 제1 어절조합을, 파킨슨병에 대한 정확도를 분류하는 오디오 데이터로 결정할 수 있다. 프로세서(180)는 결정부(150)가 결정한 오디오 데이터에 대응하는 발화자의 발화결과를 제2 파킨슨병 정확도 분류 모델에 입력하고, 제2 파킨슨병 정확도 분류 모델의 출력으로 발화자에 대한 파킨슨병 정확도 분류 결과를 획득할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 파킨슨병 예측 장치
110: 수집부
120: 생성부
130: 추출부
140: 검증부
150: 결정부
160: 획득부
170: 제어부
110: 수집부
120: 생성부
130: 추출부
140: 검증부
150: 결정부
160: 획득부
170: 제어부
Claims (11)
- 파킨슨병 예측 장치의 프로세서에 의해 수행되는 파킨슨병 예측 방법으로서,
발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하는 단계;
상기 오디오 데이터를 전처리하는 조건 및 상기 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하는 단계;
상기 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계; 및
상기 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 상기 파킨슨병 예측 모델에 입력하고, 상기 파킨슨병 예측 모델의 출력으로 상기 발화자에 대한 파킨슨병 예측 결과를 획득하는 단계를 포함하고,
상기 오디오 데이터를 전처리하는 조건은,
음향 전처리, 데이터 패딩, 통계적 특성, 데이터 분할, 레이블 불균형 보완, 스케일링, 아웃라이어(outlier) 제거, 부동 소수점 포맷 중 하나 이상을 실행하는 조건을 포함하는,
파킨슨병 예측 방법. - 제 1 항에 있어서,
상기 어절조합은,
소정의 자음(consonant)과 소정의 모음(vowel)을 결합한 적어도 하나의 제1 음절(syllable)로 구성된 복수의 서로 다른 제1 어절조합(syntactic combination)이거나,
기본 모음 세트(basic vowel set)와, 소정의 쌍자음 및 소정의 모음을 결합한 제2 음절과, 상기 제1 어절조합 중 하나 이상이 결합된 복수의 서로 다른 제2 어절조합이거나,
임의의 자음과 임의의 모음을 결합한 적어도 하나의 제3 음절과, 상기 복수의 서로 다른 제2 어절조합에 포함되는 어느 한 어절조합을 포함하는 복수의 서로 다른 제3 어절조합을 포함하는,
파킨슨병 예측 방법. - 제 2 항에 있어서,
상기 복수의 서로 다른 제1 어절조합에 포함되는 상기 소정의 자음은 어문 규칙(language regulation)에 따른 자음순서(consonant order) 대로 상기 소정의 모음과 결합되고,
상기 복수의 서로 다른 제1 어절조합에 포함되는 상기 소정의 모음은 어느 한 단일 모음으로 결정되는,
파킨슨병 예측 방법. - 제 3 항에 있어서,
상기 데이터로부터 어절조합을 추출하는 단계는,
상기 오디오 데이터로부터, 상기 자음순서에 따른 n번째 자음부터 n+k번째 자음을 상기 소정의 모음과 결합하여 상기 제1 음절을 생성하고, 상기 제1 음절을 기설정된 개수만큼 반복하여 상기 제1 어절조합으로 추출하는 단계를 포함하고,
상기 n은 자연수를 포함하고, 상기 k는 0 및 자연수를 포함하는,
파킨슨병 예측 방법. - 제 4 항에 있어서,
상기 어절조합을 추출하는 단계 이전에,
상기 파킨슨병 예측 모델을 생성하는 단계를 더 포함하고,
상기 파킨슨병 예측 모델은,
발화자의 발화결과를 포함하는 오디오 데이터를 이용하여 상기 발화자에 대한 파킨슨병을 예측하도록 미리 훈련된 심층신경망 모델을 훈련시켜 생성되고,
상기 심층신경망 모델은,
발화자의 발화 결과를 포함하는 오디오 데이터를 입력으로 하고, 파킨슨병 관련 질환에 포함되는 정상, 파킨슨, 다계통위축 및 소뇌위축 중 하나를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델인,
파킨슨병 예측 방법. - 제 5 항에 있어서,
상기 정확도를 검증하는 단계는,
상기 오디오 데이터를 전처리하는 제2 전처리 조건 및 상기 복수의 서로 다른 제2 어절조합을 기반으로 상기 파킨슨병 예측 모델의 정확도를 검증하는 단계를 포함하고,
상기 제2 전처리 조건은,
상기 오디오 데이터를 녹음하는 채널을 통일하고, 상기 오디오 데이터의 샘플레이트를 통일한 제1 음향 전처리를 실행하는 조건을 포함하는,
파킨슨병 예측 방법. - 제 6 항에 있어서,
상기 오디오 데이터로 결정하는 단계는,
상기 파킨슨병 예측 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 상기 기본 모음 세트를, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계를 포함하는,
파킨슨병 예측 방법. - 제 5 항에 있어서,
상기 정확도를 검증하는 단계는,
상기 오디오 데이터를 전처리하는 제7 전처리 조건, 상기 복수의 서로 다른 제1 어절조합 및 상기 복수의 서로 다른 제2 어절조합을 기반으로 상기 파킨슨병 예측 모델의 정확도를 검증하는 단계를 포함하고,
상기 제7 전처리 조건은,
상기 오디오 데이터를 녹음하는 채널을 통일하고, 상기 오디오 데이터의 샘플레이트를 통일하고, 평균 음량에 따라 상기 오디오 데이터를 정규화 하고, 기설정된 대역으로 상기 오디오 데이터를 필터링하고, 상기 오디오 데이터로부터 DC-오프셋을 제거하고, 상기 오디오 데이터로부터 노이즈를 제거하는 제2 음향 전처리와, 상기 오디오 데이터의 무음 구간 특정값을 채워서 상기 오디오 데이터의 크기를 균일화 처리하는 데이터 패딩의 종류 중 엣지(edge)를 이용함을 실행하는 조건을 포함하는,
파킨슨병 예측 방법. - 제 8 항에 있어서,
상기 오디오 데이터로 결정하는 단계는,
상기 파킨슨병 예측 모델의 정확도를 검증한 결과로부터, 최상위에 랭크된 상기 자음순서에 따른 1번째 자음부터 9번째 자음을 상기 소정의 모음과 결합하여 복수의 서로 다른 상기 제1 음절을 생성하고, 상기 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 상기 제1 어절조합과,
차상위에 랭크된 상기 자음순서에 따른 1번째 자음부터 7번째 자음을 상기 소정의 모음과 결합하여 복수의 서로 다른 상기 제1 음절을 생성하고, 상기 복수의 서로 다른 제1 음절을 기설정된 개수만큼 반복하여 생성한 상기 제1 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하는 단계를 포함하는,
파킨슨병 예측 방법. - 컴퓨터를 이용하여 제 1 항 내지 제 9 항의 방법 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체.
- 파킨슨병 예측 장치로서,
프로세서; 및
상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서가 발화자의 발화결과를 포함하는 오디오 데이터로부터 어절조합을 추출하고,
상기 오디오 데이터를 전처리하는 조건 및 상기 어절조합을 변경하며 파킨슨병 예측 모델의 정확도를 검증하고,
상기 파킨슨병 예측 모델의 정확도를 검증한 결과로부터 상위에 랭크된 어절조합을, 파킨슨병 예측을 위한 오디오 데이터로 결정하고,
상기 파킨슨병 예측을 위한 오디오 데이터에 대응하는 발화자의 발화결과를 상기 파킨슨병 예측 모델에 입력하고, 상기 파킨슨병 예측 모델의 출력으로 상기 발화자에 대한 파킨슨병 예측 결과를 획득하도록 야기하는 코드를 저장하고,
상기 오디오 데이터를 전처리하는 조건은,
음향 전처리, 데이터 패딩, 통계적 특성, 데이터 분할, 레이블 불균형 보완, 스케일링, 아웃라이어(outlier) 제거, 부동 소수점 포맷 중 하나 이상을 실행하는 조건을 포함하는,
파킨슨병 예측 장치.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230079214A KR20240094978A (ko) | 2022-12-16 | 2023-06-20 | 파킨슨병 예측 모델을 기반으로 한 파킨슨병 예측 장치 및 방법 |
| KR1020230079215A KR20240094979A (ko) | 2022-12-16 | 2023-06-20 | 성별 분류 모델을 포함하는 파킨슨병 예측 장치 및 방법 |
| KR1020230079213A KR20240094977A (ko) | 2022-12-16 | 2023-06-20 | 파킨슨병 정확도 분류 모델을 기반으로 한 파킨슨병 예측 장치 및 방법 |
| CN202311121938.4A CN118212941A (zh) | 2022-12-16 | 2023-09-01 | 帕金森病预测装置和方法 |
| JP2023144892A JP2024086558A (ja) | 2022-12-16 | 2023-09-06 | パーキンソン病予測装置および方法 |
| US18/242,594 US20240203403A1 (en) | 2022-12-16 | 2023-09-06 | Parkinson's disease prediction apparatus and parkinson's disease prediction method |
| EP23195992.5A EP4386751A1 (en) | 2022-12-16 | 2023-09-07 | Parkinson's desease prediction apparatus and parkinson's disease prediction method |
| KR1020240072186A KR20240095125A (ko) | 2022-12-16 | 2024-06-03 | 파킨슨병 예측 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220177620 | 2022-12-16 | ||
| KR20220177620 | 2022-12-16 |
Related Child Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230079213A Division KR20240094977A (ko) | 2022-12-16 | 2023-06-20 | 파킨슨병 정확도 분류 모델을 기반으로 한 파킨슨병 예측 장치 및 방법 |
| KR1020230079215A Division KR20240094979A (ko) | 2022-12-16 | 2023-06-20 | 성별 분류 모델을 포함하는 파킨슨병 예측 장치 및 방법 |
| KR1020230079214A Division KR20240094978A (ko) | 2022-12-16 | 2023-06-20 | 파킨슨병 예측 모델을 기반으로 한 파킨슨병 예측 장치 및 방법 |
| KR1020240072186A Division KR20240095125A (ko) | 2022-12-16 | 2024-06-03 | 파킨슨병 예측 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102673265B1 true KR102673265B1 (ko) | 2024-06-10 |
Family
ID=91482870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230044734A KR102673265B1 (ko) | 2022-12-16 | 2023-04-05 | 파킨슨병 예측 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102673265B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190091754A (ko) * | 2018-01-29 | 2019-08-07 | 한림대학교 산학협력단 | 파킨슨병의 진단을 위한 입력 패턴 생성 장치 및 방법 |
| KR20200118525A (ko) | 2019-04-08 | 2020-10-16 | 위덕대학교 산학협력단 | 가속도 및 각속도 신호를 이용한 파킨슨병 서동증 진단 평가 장치 및 이를 이용한 평가 방법 |
| JP2020537579A (ja) * | 2017-10-17 | 2020-12-24 | ラオ、サティシュ | 神経障害を識別及び監視するための機械学習ベースのシステム |
-
2023
- 2023-04-05 KR KR1020230044734A patent/KR102673265B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020537579A (ja) * | 2017-10-17 | 2020-12-24 | ラオ、サティシュ | 神経障害を識別及び監視するための機械学習ベースのシステム |
| KR20190091754A (ko) * | 2018-01-29 | 2019-08-07 | 한림대학교 산학협력단 | 파킨슨병의 진단을 위한 입력 패턴 생성 장치 및 방법 |
| KR20200118525A (ko) | 2019-04-08 | 2020-10-16 | 위덕대학교 산학협력단 | 가속도 및 각속도 신호를 이용한 파킨슨병 서동증 진단 평가 장치 및 이를 이용한 평가 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Gender recognition from speech. Part I: Coarse analysis | |
| Sudhakar et al. | Analysis of speech features for emotion detection: A review | |
| Yusnita et al. | Malaysian English accents identification using LPC and formant analysis | |
| Nasib et al. | A real time speech to text conversion technique for bengali language | |
| Besbes et al. | Multi-class SVM for stressed speech recognition | |
| Tantawi et al. | A deep learning approach for automatic speech recognition of The Holy Qur’ān recitations | |
| Hasija et al. | Recognition of children Punjabi speech using tonal non-tonal classifier | |
| Szekrényes | Prosotool, a method for automatic annotation of fundamental frequency | |
| Goyal et al. | A comparison of Laryngeal effect in the dialects of Punjabi language | |
| Kadyan et al. | Prosody features based low resource Punjabi children ASR and T-NT classifier using data augmentation | |
| KR102673265B1 (ko) | 파킨슨병 예측 장치 및 방법 | |
| Hamzah et al. | Investigation of speech disfluencies classification on different threshold selection techniques using energy feature extraction | |
| KR20240094978A (ko) | 파킨슨병 예측 모델을 기반으로 한 파킨슨병 예측 장치 및 방법 | |
| Johnson et al. | An exploratory study on dialect density estimation for children and adult's African American English | |
| Stasiak et al. | Fundamental frequency extraction in speech emotion recognition | |
| Ma et al. | Statistical formant descriptors with linear predictive coefficients for accent classification | |
| Jin et al. | Speech emotion recognition based on hyper-prosodic features | |
| Gharavian et al. | Combined classification method for prosodic stress recognition in Farsi language | |
| Kruspe et al. | A GMM approach to singing language identification | |
| CN118212941A (zh) | 帕金森病预测装置和方法 | |
| Dharmani et al. | Performance evaluation of ASR for isolated words in Sindhi Language | |
| Vlaj et al. | Quick and efficient definition of hangbefore and hangover criteria for voice activity detection | |
| Vasudev et al. | Speaker identification using FBCC in Malayalam language | |
| KR102605159B1 (ko) | 음성 인식 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램 | |
| Joe et al. | Optimal feature for emotion recognition from speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |