KR101936302B1 - 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치 - Google Patents

딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치 Download PDF

Info

Publication number
KR101936302B1
KR101936302B1 KR1020180075197A KR20180075197A KR101936302B1 KR 101936302 B1 KR101936302 B1 KR 101936302B1 KR 1020180075197 A KR1020180075197 A KR 1020180075197A KR 20180075197 A KR20180075197 A KR 20180075197A KR 101936302 B1 KR101936302 B1 KR 101936302B1
Authority
KR
South Korea
Prior art keywords
voice
user
spectrogram
neural network
network
Prior art date
Application number
KR1020180075197A
Other languages
English (en)
Inventor
이채영
Original Assignee
이채영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이채영 filed Critical 이채영
Priority to KR1020180075197A priority Critical patent/KR101936302B1/ko
Application granted granted Critical
Publication of KR101936302B1 publication Critical patent/KR101936302B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법은 사용자 음성 데이터를 영상 데이터로 변환하는 단계, 상기 영상 데이터를 학습된 신경망에 입력하는 단계 및 상기 신경망에서 출력된 값을 기준으로 사용자에 대한 진단 결과를 결정하는 단계를 포함한다. 상기 신경망은 사용자 음성을 변환한 영상 데이터에서 특징값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 출력하도록 사전에 학습된 딥러닝 모델이다.

Description

딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치{DIAGNOSIS METHOD AND APPARATUS FOR NEURODEGENERATIVE DISEASES BASED ON DEEP LEARNING NETWORK}
이하 설명하는 기술은 음성 발화를 이용하여 퇴행성 신경질환을 진단하는 기법에 관한 것이다.
세계적으로 인구 고령화가 빠르게 진행되고 있다. 노령 인구 증가와 함께 알츠하이머병, 파킨슨병, 뇌졸중 등의 퇴행성 신경질환 환자가 증가하고 있다. 퇴행성 신경질환의 사전 진단, 경과 진단 및 치료는 사회적으로 중요한 문제로 부상하였다.
퇴행성 신경질환은 대부분 언어 장애(구음 장애)를 동반한다. 최근 환자의 음성 발화(speech)를 기준으로 파킨슨병에 대한 진단을 수행하는 기법에 대한 연구가 진행되었다.
A. Tsanas, M.A. Little, P.E. McSharry, J. Spielman, L.O. Ramig, Novel speech signal processing algorithms for high-accuracy classification of Parkinson's disease, 2012,IEEE Transactions on Biomedical Engineering, 59(5):1264-1271
이하 설명하는 기술은 사용자의 음성을 기준으로 퇴행성 신경질환의 경과에 대한 진단을 제공하고자 한다. 나아가 이하 설명하는 기술은 구음 장애 치료를 위한 언어 재활 치료를 제공하고자 한다.
딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법은 사용자 음성 데이터를 영상(image) 데이터로 변환하는 단계, 상기 영상 데이터를 학습된 신경망에 입력하는 단계 및 상기 신경망에서 출력된 값을 기준으로 사용자에 대한 진단 결과를 결정하는 단계를 포함한다. 상기 신경망은 사용자 음성을 변환한 영상 데이터에서 특징값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 출력하도록 사전에 학습된 딥러닝 모델이다.
기계학습에 기반한 퇴행성 신경질환 진단 장치는 사용자 음성을 입력받는 마이크, 음성 데이터를 스펙트로그램으로 변환하는 프로그램 및 음성에 대한 스펙트로그램을 입력받아 퇴행성 신경질환에 대한 진단 결과를 출력하는 기계학습모델을 저장하는 저장 장치 및 상기 마이크에 입력되는 사용자 음성에 대한 음성 데이터를 상기 프로그램을 이용하여 타깃 스펙트로그램으로 변환하고, 상기 타깃 스펙트로그램을 상기 기계학습모델에 입력하고, 상기 기계학습모델에서 출력되는 값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 결정하는 프로세서를 포함한다.
이하 설명하는 기술은 딥러닝 네트워크를 기반으로 퇴행성 신경질환에 대한 정확한 진단을 할 수 있다. 이하 설명하는 기술은 음성을 기준으로 진단을 수행하여 사용자가 간단하게 자가 진단을 할 수 있다.
도 1은 기계학습에 기반한 퇴행성 신경질환 진단 장치에 대한 예이다.
도 2는 기계학습에 기반한 퇴행성 신경질환 진단 방법에 대한 순서도의 예이다.
도 3은 기계학습에 기반한 퇴행성 신경질환 진단 방법에 대한 순서도의 다른 예이다.
도 4는 퇴행성 신경질환 진단 장치에 신경망을 이식하는 과정에 대한 예이다.
도 5는 기계학습에 기반한 퇴행성 신경질환 진단 과정에 대한 예이다.
도 6은 GAN을 이용하여 입력 데이터에 대한 도메인을 변환하는 예이다.
도 7은 기계학습에 기반한 퇴행성 신경질환 진단 장치의 구성을 도시한 예이다.
도 8은 기계학습에 기반한 퇴행성 신경질환 진단 장치의 동작 과정에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 퇴행성 신경질환을 진단하는 기법에 관한 것이다.
퇴행성 신경질환(Neurodegenerative Disease)은 신경세포의 기능 감소 또는 소실에 의해 운동조절능력, 인지기능, 지각기능, 감각기능 및 자율신경의 기능 이상을 말한다. 퇴행성 신경질환은 주로 임상적 특징으로 분류되는데 주요 증상과 침범 부위를 기준으로 나누며 주요 질환으로 알츠하이머병과 파킨슨병을 예로 들 수 있다. 알츠하이머병(Alzheimer's disease; AD)은 가장 흔한 퇴행성 신경질환으로, 대개 만성적, 진행성으로 나타나며 기억, 판단, 언어능력 등 지적 기능의 감퇴와 일상생활능력, 인격, 행동양상의 장애를 보인다. 파킨슨병(Parkinson's disease; PD)은 알츠하이머병 다음으로 발병률이 높은 퇴행성 신경질환으로 만성적으로 나타나는데 팔, 다리, 얼굴의 떨림이나 마비, 서동, 강직, 자세 불안정 등의 운동성 장애뿐 아니라 통증, 우울증, 치매 등을 동반한다.
퇴행성 신경질환은 대부분 구음 장애를 유발한다. 예컨대, 파킨슨병에서 목소리 변화는 대표적인 초기 증상이다. 파킨슨병 환자는 음성의 크기가 줄어들고, 구음의 정확도가 저하되고, 발음의 속도가 빨라지거나 느려진다. 따라서 사용자의 음성 발화를 기준으로 퇴행성 신경질환에 대한 진단이 가능할 수 있다.
이하 설명하는 기술은 음성 발화를 기준으로 퇴행성 신경질환을 진단하는 기법이다. 이하 설명하는 기술은 음성 발화를 기준으로 퇴행성 신경질환의 발병 여부, 퇴행성 신경질환의 진행 경과 등에 대한 진단을 수행한다.
나아가 이하 설명하는 기술은 음성 발화를 기준으로 발병 내지 질환의 진행 정도를 판단할 수 있는 다른 질병에 대한 진단에도 적용될 수 있다. 즉 이하 설명하는 기술은 퇴행성 신경질환 외에도 구음 장애라는 증상을 갖는 다양한 다른 질병의 진단에도 사용될 수 있다.
다만 이하 설명에서 진단 대상은 퇴행성 신경질환을 예로 설명한다. 특정한 설명에서 진단 대상은 퇴행성 신경질환 중 파킨슨병이라고 가정한다. 이하 설명하는 기술은 특정 사용자(환자)에 대한 파킨슨병 발병 내지 진행 정도를 진단할 수 있다. 파킨슨병 진행 정도는 다양한 기준으로 판단할 수 있다. 예컨대, UPDRS(Unified Parkinson’s disease rating scale) 점수를 기준으로 파킨슨병 진행 정도는 분류될 수 있다. 예컨대, UPDRS 점수에 따라 파킨슨병 진행 정도는 5개의 분류로 구분될 수 있다.
이하 설명에서 등장하는 주체에 대하여 정의한다. (1) 사용자는 기본적으로 진단 대상자를 의미한다. 즉, 사용자는 퇴행성 신경질환 환자 또는 퇴행성 신경질환 염려 있는 후보군이라고 하겠다. (2) 서비스 제공자는 진단 장치를 통해 질병 진단 서비스를 제공하는 주체(사람 내지 기업)를 의미한다. 서비스 제공자는 진단 장치를 제작한 주체 또는 진단 장치를 이용하여 질병 진단 서비스를 제공하는 주체를 포함한다. 따라서 서비스 제공자는 진단을 수행하는 의료진을 포함한다.
진단 장치가 퇴행성 신경질환에 대한 진단을 한다. 진단 장치는 다양한 형태로 구현될 수 있다. 도 1은 기계학습에 기반한 퇴행성 신경질환 진단 장치에 대한 예이다. 진단 장치는 일정한 데이터를 처리하고, 신경망을 이용하여 데이터를 분석하는 장치이다. 진단 장치의 동작 내지 구성에 대한 상세한 설명은 후술한다.
도 1(A)는 휴대용 장치로 구현된 진단 장치의 예이다. 진단 장치(30)는 마이크(microphone)로 사용자(환자, P)의 음성을 입력받는다. 진단 장치(30)는 입력된 음성을 분석하여 퇴행성 신경질환에 대한 진단을 한다.
도 1(B)는 PC와 같은 컴퓨터 장치로 구현된 진단 장치의 예이다. 진단 장치(40)는 마이크로 사용자(환자, P)의 음성을 입력받는다. 진단 장치(40)는 입력된 음성을 분석하여 퇴행성 신경질환에 대한 진단을 한다.
도 1(C)는 네트워크 환경에서 구현된 진단 시스템에 대한 예이다. 진단 시스템은 클라이언트 장치(50) 및 서비스 서버(60)를 포함한다. 클라이언트 장치(50)는 마이크로 사용자(환자, P)의 음성을 입력받는다. 클라이언트 장치(50)는 음성 데이터를 서비스 서버(60)에 전송한다. 클라이언트 장치(50)는 인터넷과 같은 개방 네트워크 또는 인트라넷을 통해 서비스 서버(60)에 음성 데이터를 전송한다. 서비스 서버(60)는 입력된 음성을 분석하여 퇴행성 신경질환에 대한 진단을 한다. 후술하겠지만, 음성 분석은 스펙트로그램(Spectrogram)과 같은 영상(image)을 사용할 수 있다. 도 1(C)와 같은 시스템에서는 클라이언트 장치(50) 또는 서비스 서버(60)가 음성 데이터를 영상 데이터로 변환할 수 있다. 서비스 서버(60)가 분석한 진단 결과를 클라이언트 장치(50)에 전달할 수 있다.
사용자(P)는 진단 장치를 사용하여 스스로 질병에 대한 자가 진단을 할 수 있다. 또는 의료진이 진단 장치를 사용하여 사용자(P)에 대한 진단을 할 수도 있다.
도 2는 기계학습에 기반한 퇴행성 신경질환 진단 방법에 대한 순서도(100)의 예이다. 진단 장치는 사용자 음성을 입력받는다(110). 사용자는 특정 발성이나 문장을 읽어 음성을 입력한다. 예컨대, 사용자는 "아(aaah)"와 같은 음성을 일정 시간 발성할 수 있다. 진단 장치는 사용자가 발성할 음성, 발성의 강약, 발성의 길이 등에 대한 정보(instruction)를 제공할 수 있다. 진단 장치는 디스플레이 장치를 통해 정보를 출력(display)하거나, 스피커로 안내를 할 수 있다. 음성 데이터는 몇 초 정도의 길이일 수 있다.
진단 장치는 음성 데이터를 일정한 영상 데이터로 변환한다. 예컨대, 진단 장치는 음성 데이터를 스펙트로그램으로 변환할 수 있다(120). 스펙트로그램은 음성(소리)의 스펙트럼을 시각화하여 일종의 그래프와 같은 이미지로 표현한다. 스펙트로그램은 음성 데이터를 시간에 따른 주파수 분포를 시각적으로 나타낸다. 스펙트로그램은 시간축 상에서 일정한 파장의 파동값에 FFT(Fast Fourier Transform)와 같은 푸리에 변환을 수행하여 주파수 도메인으로 변환한 것이다. 스펙트로그램 변환 과정은 해당 분야에 널리 알려진 다양한 기법을 사용할 수 있다.
음성 데이터는 사용자가 일정한 시간 동안 발성한 음성을 나타낸다. 예컨대, 음성 데이터는 몇 초의 길이를 갖는 음성일 수 있다. 스펙트로그램은 일정한 시간의 음성에 대하여 하나의 이미지로 표현한다. 진단 장치는 사전에 정해진 길이의 음성을 스펙트로그램으로 변환하는 것이 바람직하다. 또한 기계학습모델 학습에서도 동일한 길이의 음성에 대한 스펙트로그램을 이용하여 학습하는 것이 바람직하다.
진단 장치는 신경망에 변환된 스펙트로그램을 입력한다(130). 신경망은 사전에 학습하여 마련된다. 신경망은 다양한 종류가 있다. 진단 장치는 영상 데이터를 처리할 수 있는 다양한 신경망 중 어느 하나를 이용할 수 있다. 예컨대, 신경망은 영상 데이터 처리에 많이 사용되는 CNN(Convolutional Neural Network) 일 수 있다. 이하 설명의 편의를 위해 CNN을 기준으로 설명한다. 다만 진단 장치는 다른 다양한 기계학습모델 중 어느 하나를 이용할 수 있다.
신경망은 스펙트로그램의 특징값을 기준으로 일정한 출력값을 출력한다. 진단 장치는 신경망의 출력값에 기반하여 사용자에 대한 진단을 수행한다(140).
(1) 신경망의 출력값은 파킨슨병에 대한 UPDRS 점수에 기반한 분류 결과일 수 있다. UPDRS 점수에 기반한 분류는 전술한 바와 같이 5개의 진행 정도 중 어느 하나일 수 있다. 이 경우 진단 장치는 UPDRS 점수에 기반한 분류를 기준으로 사용자에 대한 파킨슨병 진행 정도를 결정할 수 있다. (2) 나아가 신경망의 출력값은 파킨슨병에 대한 UPDRS 점수일 수도 있다. 이 경우 진단 장치는 UPDRS 점수를 기준으로 사용자에 대한 파킨슨병 진행 정도를 결정할 수 있다.
도 3은 기계학습에 기반한 퇴행성 신경질환 진단 방법에 대한 순서도(200)의 다른 예이다. 도 3은 스펙트로그램에 대한 변화 과정(일종의 전처리)을 거친다는 점에서 도 2의 방법과 상이하다.
진단 장치는 사용자 음성을 입력받는다(210). 사용자는 특정 발성이나 문장을 읽어 음성을 입력한다. 진단 장치는 사용자가 발성할 음성, 발성의 강약, 발성의 길이 등에 대한 지시(instruction)를 시각 정보 또는 음성 정보로 제공할 수 있다.
진단 장치는 음성 데이터를 일정한 영상 데이터로 변환한다. 예컨대, 진단 장치는 음성 데이터를 스펙트로그램(Spectrogram)으로 변환할 수 있다(220). 220 과정에서 생성된 스펙트로그램을 제1 스펙트로그램이라고 명명한다.
진단 장치는 제1 스펙트로그램을 일정하게 변환할 수 있다(230). 예컨대, 진단 장치는 GAN(Generative Adversarial Network)을 이용하여 제1 스펙트그램에 대한 도메인(domain) 변환을 할 수 있다. 진단 장치는 제1 스펙트로그램에 대한 도메인 변환하여 제2 스펙트로그램을 생성할 수 있다.
진단 장치는 신경망에 변환된 제2 스펙트로그램을 입력한다(240). 신경망은 사전에 학습하여 마련된다. 진단 장치는 영상 데이터를 처리할 수 있는 다양한 신경망 중 어느 하나를 이용할 수 있다. 예컨대, 신경망은 영상 데이터 처리에 많이 사용되는 CNN(Convolutional Neural Network) 일 수 있다.
신경망은 제2 스펙트로그램의 특징값을 기준으로 일정한 출력값을 출력한다. 진단 장치는 신경망의 출력값에 기반하여 사용자에 대한 진단을 수행한다(250). (1) 신경망의 출력값은 파킨슨병에 대한 UPDRS 점수에 기반한 분류 결과일 수 있다. UPDRS 점수에 기반한 분류는 전술한 바와 같이 5개의 진행 정도 중 어느 하나일 수 있다. 이 경우 진단 장치는 UPDRS 점수에 기반한 분류를 기준으로 사용자에 대한 파킨슨병 진행 정도를 결정할 수 있다. (2) 나아가 신경망의 출력값은 파킨슨병에 대한 UPDRS 점수일 수도 있다. 이 경우 진단 장치는 UPDRS 점수를 기준으로 사용자에 대한 파킨슨병 진행 정도를 결정할 수 있다.
도 4는 전술한 기계학습모델을 마련하여 진단 장치에 전달하는 예이다. 도 4는 퇴행성 신경질환 진단 장치에 신경망을 이식하는 과정에 대한 예이다. 도 4는 CNN과 같은 딥러닝 네트워크를 예로 들어 설명한다. 다만 전술한 바와 같이 진단 장치는 영상 데이터를 분석하는 다양한 기계학습모델 중 어느 하나를 이용할 수도 있다.
도 4(A)는 영상 데이터를 분석하는 CNN을 마련하는 과정에 대한 예이다. 일반적으로 서비스 제공자가 기계학습모델을 생성한다. 서비스 제공자는 진단 장치를 통해 질병 진단 서비스를 제공하는 객체(사람 내지 기업)를 의미한다. 서비스 제공자는 진단 장치를 제작한 사람(내지 기업) 또는 진단 장치 하드웨어를 이용하여 질병 진단 서비스를 제공하는 사람(내지 기업)이다.
CNN과 같은 신경망 구조에 대해서는 자세한 설명을 생략한다. CNN은 별도의 컴퓨터 장치를 사용하여 마련할 수 있다. CNN을 학습하기 위하여 훈련 데이터가 필요하다. 진단 대상 질병이 파킨슨병이라고 가정한다. 훈련데이터는 복수의 파킨슨병 환자의 음성 데이터 및 해당 환자의 질병 진행 단계를 포함할 수 있다. 파킨슨병 진행 정도는 UPDRS 점수로 나타낼 수 있다. 음성 데이터는 질병 진단을 위하여 환자가 특정한 발성을 수행한 결과이다. 음성 데이터는 동일한 음에 대한 발성을 각 환자가 수행한 결과이다. 컴퓨터 장치는 환자의 음성 데이터를 스펙트로그램으로 변환한다.
DB(데이터베이스)1은 특정 환자의 음성 데이터와 질병 진행 정도(예컨대, UPDRS 점수)를 포함한다. DB1은 환자별로 음성 데이터와 질병 진행 정보를 매칭한 정보를 보유한다. DB2는 환자의 음성 데이터를 스펙트로그램과 같은 영상 데이터로 변환된 정보를 저장한다. DB2는 환자별로 음성에 대한 스펙트로그램과 질병 진행 정보를 매칭한 정보를 보유한다. DB2는 복수의 환자 음성에 대하여 일정한(동일한) 시간 길이 구간에 대한 스펙트로그램을 보유할 수 있다.
CNN은 환자 음성의 스펙트로그램을 입력받아, 해당 환자의 질병 진행 정도(UPDRS 점수)를 출력하도록 학습된다. CNN은 입력되는 영상 데이터의 특징값을 기준으로 특정한 출력값을 출력한다. CNN은 입력 데이터를 기준으로 분석에 사용하는 특징값을 추출한다. CNN은 반복적인 훈련 과정을 통하여 입력되는 스펙트로그램에 대응되는 질병 진행 정도를 출력하게 된다. 이 CNN은 UPDRS 점수에 따른 분류 결과를 출력할 수 있다. 또는 CNN은 UPDRS 점수를 출력할 수도 있다. CNN 훈련 과정에 대한 자세한 설명은 생략한다.
도 4(B)는 진단 장치(30)에 사전에 마련한 신경망(CNN)을 전달하는 과정의 예이다. 설명의 편의를 위해 휴대형인 진단 장치(30)를 기준으로 설명한다. 도 4(B)는 인터넷과 같은 네트워크를 통해 진단 장치(30)에 신경망을 이식하는 예에 해당한다. 진단 장치(30)에 신경망과 같은 기계학습모델을 전달하는 과정은 서비스 제공자 또는 사용자(P)가 수행할 수 있다. 진단 장치(30)가 인터넷에 연결되면, 신경망 서버(90)는 사전에 마련한 신경망을 진단 장치(30)에 제공한다. 신경망 서버(90)는 사전에 마련한 신경망을 저장하는 DB(80)에 접근하여 특정한 신경망을 진단 장치(30)에 제공할 수 있다. 진단 장치(30)는 신경망을 자신의 저장 매체에 저장한다. 한편, 도 1(C)에서 설명한 시스템 경우, 서비스 서버(60)가 신경망 서버(90)와 같은 동작을 수행할 수도 있다.
진단 장치(30)가 최초 신경망을 수신하여 저장한 후, 서비스 제공자가 신경망을 업데이트할 수 있다. 이 경우 사용자는 진단 장치(30)를 인터넷에 접속하여 업데이트된 내역을 수신할 수 있다. 신경망과 같은 기계학습모델은 특정 계층 또는 노드가 특징값에 따른 분류를 수행하기 위한 파라미터(내지 가중치)를 갖는다. 따라서 신경망 업데이트는 신경망을 구성하는 파라미터 값의 변화를 의미한다.
도 4(B)와는 달리, 사용자는 진단 장치(30)를 유선(예컨대, USB 포트)으로 컴퓨터 장치에 연결하여 신경망을 전달받거나, 업데이트할 수도 있다.
도 5는 기계학습에 기반한 퇴행성 신경질환 진단 과정(300)에 대한 예이다. 사용자(P)는 진단 장치(30)에 일정한 음성을 입력하고, 진단 장치는 음석을 분석한 진단 결과를 출력한다.
진단 장치(30)는 음성을 입력받아 스펙트로그램으로 변환한다(310). 진단 장치(30)는 GAN에 스펙트로그램(제1 스펙트로그램)을 입력하여 도메인이 변환된 스펙트로그램(제2 스펙트로그램)을 생성한다(320). 예컨대, 진단 장치(30)는 cycleGAN을 이용하여 제2 스펙트로그램을 생성할 수 있다. 진단 장치(30)는 제2 스펙트로그램을 신경망에 입력한다(330). 여기서 신경망은 도 4의 과정을 통해 마련한 모델이다. 진단 장치(30)는 신경망의 출력값에 기반하여 질병 진단을 한다(340). 예컨대, 진단 장치(30)는 신경망이 출력한 UPDRS 점수에 기반하여 파킨슨병에 대한 진행 정도를 출력할 수 있다. 진행 정도는 UPDRS 점수에 따라 5개의 분류(예컨대, 제1기, 제2기, 제3기, 제4기 및 제5기) 중 어느 하나로 진단 결과를 출력할 수 있다.
음성 발성의 특징은 인종에 따라 상이할 수 있다. 서로 다른 인종이 동일한 발성(예컨대, "아")을 하여도 음성의 특징이 다를 수 있다. 이 경우 음성 데이터를 변환한 스펙트로그램의 특징값 자체가 인종에 따라 상이해질 수 있다. 또한 인종은 동일하지만 사용하는 모국어가 다른 경우 동일한 발성도 서로 음성적 특징이 상이할 수 있다. 나아가 음성 데이터는 입력되는 주변 환경에 따라 잡음(noise)가 들어가면서 서로 균질한 데이터가 되지 못할 수 있다.
즉 음성 데이터는 인종에 따른 발성, 언어의 종류 및 음성 데이터가 입력되는 환경을 포함하는 인자(factor) 그룹 중 적어도 하나의 인자에 따라 변이(variance)를 가질 수 있다. 여기서 인자는 동일한 발성에 대한 변이를 주는 요소를 의미한다.
따라서 스펙트로그램을 일정하게 정규화(normalization) 내지 표준화(standarization)할 필요가 있다. 음성 데이터를 정규화 내지 표준화하는 방법도 고려될 수 있다. 다만 이하 설명은 영상 데이터인 스펙트로그램을 정규화 내지 표준화한다고 가정한다. 이를 위해 진단 장치는 GAN을 이용한다.
GAN은 데이터를 생성하는 생성모델(Generator)과 만들어진 데이터를 평가하는 판별모델(Discriminator)이 서로 대립(Adversarial)적으로 학습해가며 성능을 점차 개선하는 개념에서 출발했다. GAN은 기본적으로 생성모델과 판별모델이 필요하다. 생성모델과 판별모델은 각각 다양한 기계학습모델 중 어느 하나를 이용하여 생성될 수 있다. GAN에 대한 자세한 설명은 생략한다. GAN은 하나의 도메인에 있는 영상을 다른 도메인으로 해석(변환)한다. 기본적으로 GAN은 서로 다른 도메인으로 영상을 변환하기 위하여 두 도메인에 대응되는 데이터 쌍을 학습해야 한다.
기본적인 GAN에서 다양한 파생 모델이 연구되었다. 스펙트로그램에 대한 처리는 다양한 GAN 모델 중 어느 하나를 이용할 수 있다. 몇 가지 예를 설명한다.
(1) cycleGAN은 두 개의 도메인에 대응되는 데이터 쌍이 없이도 문제를 해결하기 위한 모델이다. 즉 cycleGAN은 쌍을 이루지 않는 데이터로 학습되는 모델이다. cycleGAN은 두 개의생성모델을 이용할 수 있다. 두 개의 생성모델은 각각 서로 다른 도메인으로 영상을 변환한다. cycleGAN은 두 개의 모델이 변환한 영상을 각각 판별하기 위한 판별모델을 이용할 수 있다. 이때 중요한 개념은 순환 일관성(Cycle Consistency)이다. 개념적으로 설명하면 순환 일관성은 하나의 도메인(제1 도메인)에서 다른 도메인(제2 도메인)으로 변환된 데이터를 다시 제1 도메인으로 변환하면, 이전에 제1 도메인에서 생성된 영상으로 변환되어야 한다는 것이다. cycleGAN은 각 생성모델과 판별모델이 이와 같은 특성을 갖도록 학습된다.
cycleGAN은 도메인수가 늘어나게 되면 생성모델이 기하급수적으로 증가하고, 판별모델은 선형적으로 증가한다. 따라서 도메인이 2개 보다 많은 경우 cycleGAN은 효과적이지 않을 수 있다.
(2) starGAN은 세개 이상의 도메인에 대한 변환을 할 수 있다. starGAN은 생성모델과 판별모델을 하나씩 사용할 수 있다. 판별모델은 생성된 영상을 진위여부를 구별할 뿐만 아니라, 영상에 포함된 특징(domain)을 판별할 수 있도록 학습된다. 생성모델은 원본 영상과 함께 변경하고 싶은 특징을 입력값으로 받아 변환된 영상을 생성한다. 생성모델은 자신이 변환한 영상과 원본 영상이 갖는 특징값을 입력받아 다시 원본 영상을 복원할 수 있다. 이를 통해 starGAN은 세 개 이상의 도메인 변환을 수행할 수 있다.
진단 장치(30)도 GAN을 이용하여 스펙트로그램에 대한 도메인 변환을 할 수 있다. 진단 장치(30)는 다양한 GAN 모델 중 어느 하나를 이용하여 도메인 변환을 할 수 있다. 예컨대, 진단 장치(30)는 cycleGAN, starGAN 등을 포함하는 모델 그룹 중 어느 하나를 이용하여 도메인 변환을 할 수 있다. 도메인 변환은 전술한 바와 같이, 인종의 차이, 모국어의 차이 또는 음성 입력 환경의 차이를 균질화하기 위한 과정이다. 스펙트로그램을 변환하는 GAN은 음성 데이터의 변이를 가져오는 다양한 인자(인종의 차이, 모국어의 차이 및 음성 입력 환경의 차이 등)중 어느 하나 또는 적어도 하나를 균질화하도록 사전에 학습되어야 한다.
도 6은 GAN을 이용하여 입력 데이터에 대한 도메인을 변환하는 예이다. 도 6은 인종에 따라 서로 다른 음성학적 특징을 갖는 경우에 대한 예이다. 도 6에서 굵은 실선은 도메인을 구분한다. 도메인은 우측 상단의 제1 도메인과 좌측 하단의 제2 도메인으로 구분된다.
도 6(A)는 도메인을 변환 전에 도메인에 존재하는 데이터에 대한 예이다. 제1 도메인은 인종 A의 환자 데이터와 인종 B의 정상 데이터를 포함한다. 제2 도메인은 인종 A의 정상 데이터와 인종 B의 환자 데이터를 포함한다. 즉, 도 6(A)는 인종에 따라 환자와 정상 데이터가 서로 섞여 있는 형태를 갖는다. 도 6(B)는 GAN을 이용하여 도메인 변환을 수행한 예이다. 도 6(B)를 살펴보면, 제1 도메인은 두 인종에 대한 정상 데이터를 포함하고, 제2 도메인은 두 인종에 대한 환자 데이터를 포함한다. 진단 장치(30)는 도 6(B)와 같이 변환된 스펙트로그램을 이용하여 질병 진단을 수행한다.
도 7은 기계학습에 기반한 퇴행성 신경질환 진단 장치(500)의 구성을 도시한 예이다. 진단 장치(30)는 도 7과 같은 구성을 가질 수 있다. 나아가 도 1(B)의 진단 장치(40)도 도 7과 동일한 구성을 가질 수 있다. 도 1(C)의 진단 시스템은 진단 장치(500)의 구성 중 일부를 클라이언트 장치(50)와 서비스 서버(60)가 나누어 가질 수 있다.
(1) 도 7에서 진단 장치(500)는 입력 장치인 마이크(510), 저장 장치(520), 프로세서(530) 및 출력장치(540)를 포함한다. (2) 경우에 따라 진단 장치(500)는 마이크(510), 저장 장치(520) 및 프로세서(530)로만 구성될 수 있다. (3) 나아가 도 7과 달리 진단 장치(500)는 음성 데이터를 마이크(510)로 직접 입력받지 않고, 다른 객체(클라이언트 장치, 사용자 스마트 기기 등)가 획득한 음성 데이터를 통신 장치를 통해 전달받을 수도 있다. 이 경우 진단 장치(500)는 음성 데이터를 수신하는 입력 장치(통신 장치), 저장 장치(520) 및 프로세서(530)로 구성될 수 있다.
도 7의 진단 장치(500)를 기준으로 설명한다. 마이크(510)는 사용자 음성을 입력받는다. 저장 장치(520)는 음성 데이터를 스펙트로그램으로 변환하는 프로그램 및 음성에 대한 스펙트로그램을 입력받아 퇴행성 신경질환에 대한 진단 결과를 출력하는 기계학습모델을 저장한다. 저장 장치(520)는 음성 데이터를 임시로 저장할 수 있다. 저장 장치(520)는 진단 결과를 저장할 수도 있다. 저장 장치(520)는 디지털 데이터를 저장하는 저장 매체이다. 저장 장치(520)는 하드디스크, 플래시 메모리 등과 같이 다양한 형태로 구현될 수 있다. 기계학습모델은 전술한 CNN일 수 있다.
프로세서(530)는 마이크에 입력되는 사용자 음성에 대한 음성 데이터를 상기 프로그램을 이용하여 제1 스펙트로그램으로 변환한다. 프로세서(530)는 제1 스펙트로그램을 기계학습모델에 입력하고, 기계학습모델에서 출력되는 값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 결정할 수 있다. 프로세서(530)는 데이터 처리 및 일정한 연산이 가능한 장치이다. 프로세서(530)는 CPU, AP 등의 형태로 구현될 수 있다.
나아가 진단 장치(500)는 저장 장치(520) 및 프로세서(530)를 포함하는 하나의 칩셋 형태를 구현될 수도 있다.
또 저장 장치(520)는 음성에 대한 스펙트로그램을 처리하는 GAN을 더 저장할 수 있다. 저장 장치(520)는 전술한 바와 같이 다양한 GAN 모델 중 어느 하나 또는 복수의 모델을 저장할 수 있다. 이 경우 프로세서(530)는 특정한 GAN을 이용하여 제1 스펙트로그램을 제2 스펙트로그램으로 도메인 변환할 수 있다. 프로세서(530)는 제2 스펙트로그램을 기계학습모델에 입력하고, 기계학습모델에서 출력되는 값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 결정할 수 있다.
한편 후술하겠지만 진단 장치는 구음 장애를 치료하기 위한 치료 프로세스를 제공할 수 있다. 이 경우 저장 장치(520)는 언어 치료를 위한 튜토리얼(tutorial) 발음을 입력받아 피드백을 생성하는 RNN(Recurrent Neural Networks)을 더 저장할 수 있다. 프로세서(530)는 튜토리얼 발음을 RNN에 입력하여 출력되는 값을 기준으로 언어 치료 과정에 대한 피드백 정보를 생성할 수 있다.
출력장치(540)는 시각적 정보를 출력하는 디스플레이 장치 또는 음성 정보를 출력하는 장치일 수 있다. 출력장치(540)는 음성 데이터에 기반한 진단을 수행하기 위한 정보 또는 지시를 출력할 수 있다. 출력장치(540)는 음성 데이터에 기반한 진단 결과를 출력할 수 있다. 나아가 출력장치(540)는 튜토리얼 발음을 위한 정보를 출력할 수 있다. 출력장치(540)는 튜토리얼 발음에 대한 피드백 정보를 출력할 수도 있다.
도 8은 기계학습에 기반한 퇴행성 신경질환 진단 장치의 동작 과정(600)에 대한 예이다. 진단 장치는 음성 데이터에 기반한 진단 과정을 수행하고, 진단 결과에 따른 치료 과정을 수행할 수 있다.
도 8에서 A로 표기한 점선 박스가 진단 과정이다. 진단 장치는 음성 데이터를 스펙트로그램으로 변환한다(610). 진단 장치는 스펙트로그램을 CNN과 같은 기계학습모델에 입력하여 파킨슨병에 대한 진행 정도를 진단한다(620). 도 8은 CNN 출력값에 따라 5가지 분류로 진행 정도를 결정하는 예를 가정하였다.
도 8에서 B로 표기한 점선 박스가 치료 과정이다. 진단 장치는 진단 결과를 산출하고, 진단 결과에 맞는 치료 튜토리얼을 제공한다(630). 구음장애 치료는 다양한 방법이 사용될 수 있고, 그 중 하나는 언어 발음 교정을 통한 치료이다. 진단 장치가 추가로 제공하는 치료 과정은 언어 교정 프로토콜에 기반한다. 진단 장치는 RNN을 이용하여 사용자가 튜토리얼에 따라 발음한 데이터를 모니터링할 수 있다(640). RNN은 모델이 출력하는 값을 다시 피드백받는 형태를 갖는다. RNN은 사용자가 발음한 데이터를 다시 RNN 모델에 입력하여 일정한 정보를 업데이트한다. 이를 통해 RNN은 이후 변화된 값을 출력할 수 있다. 예컨대, RNN은 음성의 크기, 호흡 간격, 발음의 정확도와 같은 특징 중 적어도 하나를 기준으로 모델을 갱신하고, 출력값을 생성할 수 있다. 진단 장치는 RNN의 출력값을 기준으로 현재 사용자의 치료 상태에 대한 피드백 정보를 제공할 수 있다(640).
진단 장치는 인터넷과 같은 통신에 연결된 상태인지 확인할 수 있다(650). 통신 연결 상태는 기계학습모델 업데이트를 위한 것이다. 통신이 연결된 상태라면, 진단 장치는 진단을 위한 기계학습모델 내지 치료를 위한 기계학습모델의 가중치에 대한 정보를 외부 객체(서버 등)에 전달할 수 있다. 진단 장치가 전달하는 가중치는 외부 객체에서 기계학습모델을 업데이트하는데 사용될 수 있다(660). 여기서 외부 객체는 도 4(B)에서 설명한 신경망 서버(90)일 수 있다.
서비스 제공자는 진단 장치가 제공하는 정보와는 별개로 진단을 위한 기계학습모델 내지 치료를 위한 기계학습모델을 업데이트할 수 있다. 이 경우 서비스 제공자는 신경망 서버(90)를 이용하여 진단 장치에 기계학습모델에 대한 새로운 가중치(파라미터)를 전달할 수 있다. 진단 장치는 새로운 가중치를 자신이 보유한 기계학습모델이 반영하여 모델을 업데이트할 수 있다. 이후 진단 장치는 업데이트된 기계학습모델을 사용하여 진단 내지 치료 과정을 수행한다.
또한, 상술한 바와 같은 퇴행성 신경질환 진단 방법 내지 치료 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
30 : 진단 장치
40 : 진단 장치
50 : 클라이언트 장치
60 : 서비스 서버
80 : DB
90 : 신경망 서버
500 : 진단 장치
510 : 마이크
520 : 저장 장치
530 : 프로세서
540 : 출력장치

Claims (13)

  1. 퇴행성 신경질환 진단하는 프로그램이 저장된 판독 매체를 포함하는 진단 장치가 사용자 음성 데이터를 영상(image) 데이터로 변환하는 단계;
    상기 진단 장치가 사용자별 발성 특징을 정규화하는 GAN(Generative Adversarial Network)을 이용하여 상기 영상 데이터에 대한 도메인을 변환하는 단계;
    상기 진단 장치가 상기 도메인이 변환된 영상 데이터를 학습된 신경망에 입력하는 단계; 및
    상기 진단 장치가 상기 신경망에서 출력된 값을 기준으로 사용자에 대한 진단 결과를 결정하는 단계를 포함하되,
    상기 신경망은 사용자 음성을 변환한 영상 데이터에서 특징값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 출력하도록 사전에 학습된 딥러닝 모델인 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  2. 제1항에 있어서,
    상기 영상 데이터는 스펙트로그램(Spectrogram)인 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  3. 제1항에 있어서,
    상기 신경망은 CNN(Convolutional Neural Network)인 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 도메인 변환은 인종에 따른 발성, 언어의 종류 및 상기 음성 데이터가 입력되는 환경을 포함하는 인자 그룹 중 적어도 하나의 인자에 따른 변이를 표준화(standarization) 내지 정규화(normalization)하는 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  6. 제1항에 있어서,
    상기 GAN은 상기 음성 데이터의 진폭의 변이 및 상기 음성 데이터에 존재하는 잡음(noise)을 포함하는 인자 그룹 중 적어도 하나의 인자에 따른 특징값 변이를 표준화(standarization) 내지 정규화(normalization)하는 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  7. 제1항에 있어서,
    언어 치료를 위한 튜토리얼 발음을 입력받아 RNN(Recurrent Neural Networks)에 입력하고, 상기 RNN이 출력하는 값을 기준으로 언어 치료 과정에 대한 피드백 정보를 생성하는 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법.
  8. 컴퓨터에서 제1항 내지 제3항 및 제5항 내지 제7항 중 어느 하나의 항에 기재된 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
  9. 사용자 음성을 입력받는 마이크;
    음성 데이터를 스펙트로그램으로 변환하는 프로그램, 사용자별 발성 특징을 정규화하도록 음성에 대한 스펙트로그램을 처리하는 GAN(Generative Adversarial Network) 및 음성에 대한 스펙트로그램을 입력받아 퇴행성 신경질환에 대한 진단 결과를 출력하는 기계학습모델을 저장하는 저장 장치; 및
    상기 마이크에 입력되는 사용자 음성에 대한 음성 데이터를 상기 프로그램을 이용하여 타깃 스펙트로그램으로 변환하고, 상기 GAN을 이용하여 상기 타깃 스펙트로그램에 대한 도메인 변환을 하고, 상기 도메인 변환된 타깃 스펙트로그램을 상기 기계학습모델에 입력하고, 상기 기계학습모델에서 출력되는 값을 기준으로 사용자에 대한 퇴행성 신경질환 진행 정도를 결정하는 프로세서를 포함하는 기계학습에 기반한 퇴행성 신경질환 진단 장치.
  10. 제9항에 있어서,
    상기 저장 장치는 언어 치료를 위한 튜토리얼 발음을 입력받아 피드백을 생성하는 RNN(Recurrent Neural Networks)을 더 저장하고, 상기 프로세서는 상기 튜토리얼 발음을 상기 RNN에 입력하여 출력되는 값을 기준으로 언어 치료 과정에 대한 피드백 정보를 생성하는 기계학습에 기반한 퇴행성 신경질환 진단 장치.
  11. 제9항에 있어서,
    상기 기계학습모델은 CNN(Convolutional Neural Network)인 기계학습에 기반한 퇴행성 신경질환 진단 장치.
  12. 삭제
  13. 제9항에 있어서,
    상기 GAN은 상기 음성 데이터의 진폭의 변이 및 상기 음성 데이터에 존재하는 잡음(noise)을 포함하는 인자 그룹 중 적어도 하나의 인자에 따른 특징값 변이를 표준화(standarization) 내지 정규화(normalization)하는 기계학습에 기반한 퇴행성 신경질환 진단 장치.
KR1020180075197A 2018-06-29 2018-06-29 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치 KR101936302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075197A KR101936302B1 (ko) 2018-06-29 2018-06-29 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075197A KR101936302B1 (ko) 2018-06-29 2018-06-29 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치

Publications (1)

Publication Number Publication Date
KR101936302B1 true KR101936302B1 (ko) 2019-01-08

Family

ID=65021048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075197A KR101936302B1 (ko) 2018-06-29 2018-06-29 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치

Country Status (1)

Country Link
KR (1) KR101936302B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718232A (zh) * 2019-09-23 2020-01-21 东南大学 一种基于二维语谱图和条件生成对抗网络的语音增强方法
RU2738660C1 (ru) * 2020-04-16 2020-12-15 Марьям Яхъяевна Фаттахова Способ диагностики и реабилитации пациентов с нарушениями голосо-речевой функции
KR102216160B1 (ko) * 2020-03-05 2021-02-16 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법
KR20210029318A (ko) 2019-09-05 2021-03-16 고려대학교 산학협력단 Ct 영상 기반 부위별 대뇌 피질 수축율 예측 방법 및 장치
KR20210045555A (ko) * 2019-10-16 2021-04-27 한국과학기술연구원 제자리 걸음 특성을 이용한 노인 건강 상태 평가 방법 및 시스템
KR20210060730A (ko) 2019-11-18 2021-05-27 네오컨버전스 주식회사 인공지능을 이용한 태아 박동 진단방법, 장치 및 시스템
KR102274072B1 (ko) * 2020-09-04 2021-07-08 김형준 사용자의 치매 정도 결정 방법 및 장치
KR20220075002A (ko) 2020-11-26 2022-06-07 네오컨버전스 주식회사 인공지능을 이용한 태아박동 진단에 사용되는 딥러닝용 수치 데이터 생성방법 및 장치
KR20220110981A (ko) 2021-02-01 2022-08-09 (주) 로완 신경계 관련 질병의 판단 및 진행속도 추정을 위한 환자의 환자정보와 보행정보를 처리하는 방법 및 장치
WO2022220496A1 (ko) * 2021-04-16 2022-10-20 주식회사 온코크로스 신경망 기반의 생물학적상태데이터 변환 장치 및 그 방법
KR20220159698A (ko) * 2021-05-26 2022-12-05 (주)와이즈에이아이 Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법
KR20230089580A (ko) 2021-12-13 2023-06-21 네오컨버전스 주식회사 인공지능을 이용한 태아 박동 진단방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182069B1 (ko) * 2011-09-14 2012-09-11 영남대학교 산학협력단 발화문장의 운율분석을 통한 특발성 파킨슨병 진단장치 및 진단방법
US20150265205A1 (en) * 2012-10-16 2015-09-24 Board Of Trustees Of Michigan State University Screening for neurological disease using speech articulation characteristics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182069B1 (ko) * 2011-09-14 2012-09-11 영남대학교 산학협력단 발화문장의 운율분석을 통한 특발성 파킨슨병 진단장치 및 진단방법
US20150265205A1 (en) * 2012-10-16 2015-09-24 Board Of Trustees Of Michigan State University Screening for neurological disease using speech articulation characteristics

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210029318A (ko) 2019-09-05 2021-03-16 고려대학교 산학협력단 Ct 영상 기반 부위별 대뇌 피질 수축율 예측 방법 및 장치
CN110718232A (zh) * 2019-09-23 2020-01-21 东南大学 一种基于二维语谱图和条件生成对抗网络的语音增强方法
KR102313044B1 (ko) * 2019-10-16 2021-10-19 한국과학기술연구원 제자리 걸음 특성을 이용한 노인 건강 상태 평가 방법 및 시스템
KR20210045555A (ko) * 2019-10-16 2021-04-27 한국과학기술연구원 제자리 걸음 특성을 이용한 노인 건강 상태 평가 방법 및 시스템
KR20210060730A (ko) 2019-11-18 2021-05-27 네오컨버전스 주식회사 인공지능을 이용한 태아 박동 진단방법, 장치 및 시스템
KR102216160B1 (ko) * 2020-03-05 2021-02-16 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법
EP4101370A4 (en) * 2020-03-05 2024-03-06 Catholic Univ Korea Ind Academic Cooperation Foundation DEVICE FOR DIAGNOSING A DISEASE CAUSING VOICE AND SWALLOWING DISORDERS, AND ITS DIAGNOSTIC METHOD
WO2021177730A1 (ko) * 2020-03-05 2021-09-10 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법
RU2738660C1 (ru) * 2020-04-16 2020-12-15 Марьям Яхъяевна Фаттахова Способ диагностики и реабилитации пациентов с нарушениями голосо-речевой функции
WO2022050719A1 (ko) * 2020-09-04 2022-03-10 주식회사 에이블테라퓨틱스 사용자의 치매 정도 결정 방법 및 장치
KR102274072B1 (ko) * 2020-09-04 2021-07-08 김형준 사용자의 치매 정도 결정 방법 및 장치
KR20220075002A (ko) 2020-11-26 2022-06-07 네오컨버전스 주식회사 인공지능을 이용한 태아박동 진단에 사용되는 딥러닝용 수치 데이터 생성방법 및 장치
KR20220110981A (ko) 2021-02-01 2022-08-09 (주) 로완 신경계 관련 질병의 판단 및 진행속도 추정을 위한 환자의 환자정보와 보행정보를 처리하는 방법 및 장치
KR102575980B1 (ko) * 2021-02-01 2023-09-07 (주) 로완 신경계 관련 질병의 판단 및 진행속도 추정을 위한 환자의 환자정보와 보행정보를 처리하는 방법 및 장치
WO2022220496A1 (ko) * 2021-04-16 2022-10-20 주식회사 온코크로스 신경망 기반의 생물학적상태데이터 변환 장치 및 그 방법
KR20220159698A (ko) * 2021-05-26 2022-12-05 (주)와이즈에이아이 Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법
KR102569277B1 (ko) * 2021-05-26 2023-08-23 (주)와이즈에이아이 Ai 기반의 보컬 분석을 통한 치매 환자 관리 시스템 및 그 구동방법
KR20230089580A (ko) 2021-12-13 2023-06-21 네오컨버전스 주식회사 인공지능을 이용한 태아 박동 진단방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR101936302B1 (ko) 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치
Cernak et al. Characterisation of voice quality of Parkinson’s disease using differential phonological posterior features
JP6263308B1 (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
Godino-Llorente et al. Dimensionality reduction of a pathological voice quality assessment system based on Gaussian mixture models and short-term cepstral parameters
US10478111B2 (en) Systems for speech-based assessment of a patient's state-of-mind
CN106073706B (zh) 一种面向简易精神状态量表的个性化信息和音频数据分析方法及系统
Panek et al. Acoustic analysis assessment in speech pathology detection
US10607737B2 (en) Systems and methods to derive models to evaluate behavior outcomes based on brain responses to complex sounds
Moro-Velázquez et al. Modulation spectra morphological parameters: A new method to assess voice pathologies according to the grbas scale
US11688300B2 (en) Diagnosis and treatment of speech and language pathologies by speech to text and natural language processing
Wang et al. Automatic assessment of pathological voice quality using multidimensional acoustic analysis based on the GRBAS scale
Rituerto-González et al. Data augmentation for speaker identification under stress conditions to combat gender-based violence
Ilyas Pseudo-colored rate map representation for speech emotion recognition
Gómez-Vilda et al. Parkinson's disease monitoring by biomechanical instability of phonation
Soumaya et al. A hybrid method for the diagnosis and classifying parkinson's patients based on time–frequency domain properties and K-nearest neighbor
KR20220048381A (ko) 말 장애 평가 장치, 방법 및 프로그램
Usman et al. Heart rate detection and classification from speech spectral features using machine learning
Hall et al. An investigation to identify optimal setup for automated assessment of dysarthric intelligibility using deep learning technologies
Pompili et al. Assessment of Parkinson's disease medication state through automatic speech analysis
He Stress and emotion recognition in natural speech in the work and family environments
Franciscatto et al. Situation awareness in the speech therapy domain: a systematic mapping study
Karakoç et al. Visual and auditory analysis methods for speaker recognition in digital forensic
Cheung et al. Response patterns to vowel formant perturbations in children
Gomes Implementation of i-vector algorithm in speech emotion recognition by using two different classifiers: Gaussian mixture model and support vector machine
CN111210838A (zh) 一种言语认知能力的评价方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant