WO2021177730A1 - 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법 - Google Patents

음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법 Download PDF

Info

Publication number
WO2021177730A1
WO2021177730A1 PCT/KR2021/002651 KR2021002651W WO2021177730A1 WO 2021177730 A1 WO2021177730 A1 WO 2021177730A1 KR 2021002651 W KR2021002651 W KR 2021002651W WO 2021177730 A1 WO2021177730 A1 WO 2021177730A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
probability information
positive
image signal
negative
Prior art date
Application number
PCT/KR2021/002651
Other languages
English (en)
French (fr)
Inventor
임선
이승철
전주형
주영훈
한연재
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to EP21765455.7A priority Critical patent/EP4101370A4/en
Priority to US17/908,629 priority patent/US20230130676A1/en
Publication of WO2021177730A1 publication Critical patent/WO2021177730A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205—Evaluating swallowing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Definitions

  • the present invention provides an apparatus for diagnosing a disease causing speech and swallowing disorders and a method for diagnosing the same.
  • the parameters mainly used to diagnose a patient's disease through a voice signal are fundamental frequency perturbation, amplitude perturbation, and signal to noise ratios. have.
  • Embodiments provide a disease diagnosis apparatus and a disease diagnosis method capable of rapidly diagnosing whether negative or positive diseases accompanying speech and dysphagia are provided.
  • embodiments provide a disease diagnosis apparatus and a disease diagnosis method capable of reducing the cost of treating diseases accompanying speech and swallowing disorders.
  • the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
  • the present specification receives a plurality of voice signals to generate a first image signal and a second image signal that are image signals for each voice signal, and for the first image signal and the second image signal for each voice signal, each voice Extracts a plurality of disease probability information for a target disease causing a voice change using an artificial intelligence model determined according to the signal type and a generation method used to generate each image signal, and based on the plurality of disease probability information Disclosed are a disease diagnosis apparatus and a disease diagnosis method for determining whether a target disease is negative or positive.
  • a preprocessor for receiving a plurality of voice signals and generating a first image signal and a second image signal that are image signals for each voice signal, and a first image signal and a second image signal for each voice signal an extractor for extracting a plurality of disease probability information about a target disease causing a voice change using an artificial intelligence model determined according to the type of each voice signal and a generation method used to generate each image signal; and
  • a disease diagnosis apparatus including a determination unit that determines whether a target disease is negative or positive based on disease probability information.
  • a disease diagnosis method comprising a determination step of determining whether a target disease is negative or positive based on disease probability information.
  • the apparatus for diagnosing a disease and a method for diagnosing a disease it is possible to quickly diagnose whether a disease accompanying speech and swallowing disorders is negative or positive.
  • FIG. 1 is a block diagram of an apparatus for diagnosing a disease according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an example of a type of a voice signal.
  • FIG. 3 is a diagram illustrating an example of generating a first image signal with respect to a voice signal.
  • FIG. 4 is a diagram illustrating an example of generating a second image signal with respect to a voice signal.
  • FIG. 5 is a diagram illustrating an example of a Mel-frequency filter bank of FIG. 4 .
  • FIG. 6 is a diagram illustrating an example of an operation in which an extraction unit extracts a plurality of disease probability information.
  • FIG. 7 is a diagram illustrating an example of an operation of determining a first result value and a second result value by using a plurality of disease probability information.
  • FIG. 8 is a diagram illustrating an example of a first result value according to the number of disease probability information determined as negative and disease probability information determined as positive.
  • FIG. 9 is a diagram illustrating an example in which a determination unit determines whether a target disease is negative or positive according to a first result value and a second result value;
  • FIG. 10 is a diagram illustrating another example in which a determination unit determines whether a target disease is negative or positive according to a first result value and a second result value;
  • FIG. 11 is a flowchart of a method for diagnosing a disease according to an exemplary embodiment.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • FIG. 1 is a block diagram of an apparatus for diagnosing a disease according to an exemplary embodiment.
  • the disease diagnosis apparatus 100 may include a preprocessor 110 , an extractor 120 , and a determiner 130 .
  • the preprocessor 110 may receive a plurality of voice signals and generate a first image signal and a second image signal that are image signals for each voice signal.
  • the plurality of voice signals may be signals recorded from the patient through a device capable of recording voice (e.g. a smartphone, tablet, PDA, digital camera, smart watch, digital/analog recorder).
  • a device capable of recording voice e.g. a smartphone, tablet, PDA, digital camera, smart watch, digital/analog recorder.
  • the format of the plurality of voice signals may be wav, mp3, nsp, mp4, avi, and the like, and is not limited to a specific format.
  • the first image signal and the second image signal for the audio signal are image signals obtained by converting the corresponding audio signal into an image form.
  • a specific example of converting a voice signal into an image signal will be described in detail below with reference to FIGS. 3 to 5 .
  • N is a natural number equal to or greater than 2
  • VS_1, VS_2, VS_3, ..., VS_N N voice signals
  • the preprocessor 110 may generate a first image signal IS_1_VS_1 and a second image signal IS_2_VS_1 for the voice signal VS_1 .
  • the preprocessor 110 may generate a first image signal IS_1_VS_2 and a second image signal IS_2_VS_2 for the voice signal VS_2 .
  • the preprocessor 110 may generate a first image signal IS_1_VS_3 and a second image signal IS_2_VS_3 for the voice signal VS_3 . In this way, the preprocessor 110 may generate the first image signal IS_1_VS_N and the second image signal IS_2_VS_N with respect to the voice signal VS_N.
  • the extractor 120 uses an artificial intelligence model for the first image signal and the second image signal for each of the plurality of voice signals input to the pre-processing unit 110 , a plurality of target diseases for causing a voice change. Disease probability information can be extracted.
  • the artificial intelligence model may be determined according to a type of each voice signal and a generation method used to generate each image signal.
  • the extraction unit 120 uses different artificial intelligence models for image signals generated from different types of voice signals, and a method used to generate an image signal even when the image signals are generated from the same type of voice signal. In these different cases, different AI models can be used.
  • the reason why the extraction unit 120 uses different artificial intelligence models according to the type of each voice signal and the generation method used to generate each image signal is that when a single artificial intelligence model is used, a specific type of image Alternatively, this is to prevent the artificial intelligence model from being over-optimized for a specific image signal generation method.
  • the extraction unit 120 is configured to extract a plurality of disease probability information.
  • a specific example of a type of each voice signal and a method of generating an image signal will be described with reference to the drawings to be described below.
  • the artificial intelligence model may be a machine learning model (e.g. decision tree, logistic regression analysis, support vector machine, random forest) or a deep learning model (e.g. CNN, RNN, GAN).
  • a machine learning model e.g. decision tree, logistic regression analysis, support vector machine, random forest
  • a deep learning model e.g. CNN, RNN, GAN
  • the target disease causing the voice change refers to a disease that can cause problems in the muscular nervous system (e.g. vocal cord muscles) located in the larynx of the patient due to dysphagia. For example, if a patient has laryngeal cancer, this can change the voice the patient produces. As another example, if the patient has a stroke or dementia, dysphagia may change the voice the patient produces.
  • the disease probability information about the target disease means the probability that the target disease has occurred, and may be a value between 0 and 1. Such a target disease may cause dysphagia in the patient, and may cause the patient to have trouble producing speech through the vocal cords.
  • the preprocessor 110 may generate two image signals (a first image signal/second image signal) for each of the N voice signals, thereby generating a total of 2N image signals.
  • the extractor 120 may extract 2N disease probability information about a target disease causing a voice change by using any one of M different artificial intelligence models from the generated 2N image signals.
  • the extractor 120 may extract disease probability information P1 by using the artificial intelligence model MDL_1 for the first image signal IS_1_VS_1 with respect to the voice signal VS_1 .
  • the extractor 120 may extract the disease probability information P2 by using the artificial intelligence model MDL_2 for the second image signal IS_2_VS_1 for the voice signal VS_1 .
  • the extractor 120 may extract the disease probability information P3 by using the artificial intelligence model MDL_3 for the first image signal IS_1_VS_2 for the voice signal VS_2 .
  • the extractor 120 extracts the disease probability information P2N-1 using the artificial intelligence model MDL_M-1 to the first image signal IS_1_VS_N for the voice signal VS_N, and the voice signal Disease probability information P2N may be extracted using the artificial intelligence model MDL_M for the second image signal IS_2_VS_N for (VS_N).
  • the determination unit 130 may determine whether the aforementioned target disease is negative or positive based on the plurality of disease probability information extracted by the extraction unit 120 .
  • a negative target disease means a normal state in which the number of pathogens causing the target disease is less than a reference value
  • a positive target disease means an abnormal state in which the number of pathogens causing the target disease is greater than or equal to the reference value.
  • determination unit 130 determines whether the target disease is negative or positive.
  • the doctor uses the disease diagnosis apparatus 100 , it is determined whether the target disease causing speech and swallowing disorders is negative or positive from the voice signal recorded from the patient without the need for the doctor to directly interview the patient Therefore, it is possible to quickly diagnose whether the disease accompanying speech and swallowing disorders is negative or positive.
  • a device capable of recording voice it is possible to record the patient's voice and determine whether the target disease causing speech and swallowing disorders is negative or positive. cost can be reduced.
  • FIG. 2 is a diagram illustrating an example of a type of a voice signal.
  • the type of the aforementioned voice signal may be any one of 1) a fixed sound signal, 2) a cough signal, 3) a change voice signal, and 4) a speech signal.
  • the fixed tone signal is a voice signal recorded by the patient uttering a fixed tone.
  • the cough signal is a signal recorded by the patient's coughing sound.
  • the change voice signal is a recorded signal in which the patient utters a voice that changes from a low tone having a frequency less than a set threshold frequency to a high tone having a frequency greater than or equal to the threshold frequency. This is to determine the patient's voice disorder based on the pattern that changes from low tone to high tone.
  • the speaking signal is a recorded signal of the patient uttering a specified word or sentence (e.g. kanadaramabasa, hello).
  • each type of the voice signals VS_1 , VS_2 , VS_3 , ..., VS_N input to the preprocessing unit 110 of the apparatus 100 for diagnosing the disease described above includes the above-described fixed sound signal, cough signal, change voice signal, and It may be any one of the speaking signals.
  • one fixed sound signal, one cough signal, one change voice signal, and one speech signal may be input to the preprocessor 110 of the disease diagnosis apparatus 100 .
  • the first image signal and the second image signal for the voice signal may be spectrograms for the corresponding voice signal.
  • the spectrogram is used to visualize a voice signal, and may represent a change in characteristics (e.g. frequency/amplitude) of the voice signal over time.
  • a Short-time Fourier Transform (STFT) method is described in FIG. 3
  • a Mel-frequency cepstral coefficient (MFCC) method is described in FIG. 4 .
  • FIG. 3 is a diagram illustrating an example of generating a first image signal with respect to a voice signal.
  • the preprocessor 110 may generate a first image signal for the voice signal by using a short-time Fourier transform (STFT) method on the voice signal.
  • STFT short-time Fourier transform
  • a Fast Fourier Transform is used to express a frequency component of an audio signal.
  • FFT Fast Fourier Transform
  • the frequency component expressed using the FFT does not indicate a change in frequency according to time period, there is a disadvantage in that it is not possible to check how the frequency is changed in which time period.
  • STFT Short-time Fourier Transform
  • the preprocessor 110 may divide a voice signal according to a time period of a specific unit (e.g. 20ms). In this case, the preprocessor 110 may set the divided time sections to overlap each other by a certain ratio (e.g. 50%). For example, the preprocessor 110 may divide the time period into a first time period between 0 ms and 20 ms, a second time period between 10 ms and 30 ms, and a third time period between 20 ms and 40 ms from the reference time point. In this case, the first time period and the second time period overlap each other by 50%, and the second time period and the third time period overlap each other by 50%.
  • a certain ratio e.g. 50%
  • the preprocessor 110 may separate the voice signal for each of the divided time sections. As described above, the voice signal separated according to the time period may be referred to as a frame.
  • the preprocessor 110 may generate a spectral frame according to time by using FFT for each frame, and then combine them to generate a first image signal.
  • FIG. 4 is a diagram illustrating an example of generating a second image signal with respect to a voice signal.
  • the preprocessor 110 may generate a second image signal for the voice signal by using a Mel-frequency cepstral coefficient (MFCC) method for the voice signal.
  • MFCC Mel-frequency cepstral coefficient
  • MFCC is a method of processing a voice signal by reflecting the characteristic that the human auditory organ is relatively sensitive in a low frequency band while being relatively insensitive in a high frequency band.
  • the MFCC method is different from the STFT method in that the speech signal is divided according to a time period of a specific unit (eg 20 ms) and FFT is performed on the speech signal (frame) for each divided time period to generate a frame of a spectrum according to time. same.
  • the divided time sections may overlap each other by a certain ratio.
  • the MFCC method is different from the STFT method in that a mel-frequency filter bank based on the mel scale is used for each frame of the spectrum.
  • the preprocessor 110 takes a logarithmic function on the result using the Mel-frequency filter bank for each frame of the generated spectrum.
  • the reason why the logarithmic function is used is that the human ear does not detect the loudness on a linear scale, but rather on a log scale.
  • the preprocessor 110 may generate a second image signal for the voice signal by performing discrete cosine transform (DCT) on the result of the log function described above.
  • DCT discrete cosine transform
  • FIG. 5 is a diagram illustrating an example of a Mel-frequency filter bank of FIG. 4 .
  • the mel-frequency filter bank may include a plurality of mel-frequency filters.
  • the amplitude value increases from 0 to 1 from the lowest frequency to the peak frequency, and the amplitude value decreases from 1 to 0 from the peak frequency to the maximum frequency.
  • the amplitude value increases from 0 to 1 from 0 Hz to 100 Hz, and the amplitude value decreases from 1 to 0 from 100 Hz to 200 Hz.
  • the amplitude value increases from 0 to 1 from 100 Hz to 300 Hz, and the amplitude value decreases from 1 to 0 from 300 Hz to 500 Hz.
  • the amplitude value increases from 0 to 1 from 300 Hz to 600 Hz, and the amplitude value decreases from 1 to 0 from 600 Hz to 900 Hz.
  • the amplitude value increases from 0 to 1 from 600 Hz to 900 Hz, and the amplitude value decreases from 1 to 0 from 900 Hz to 1200 Hz.
  • both the first image signal generated by the STFT method and the second image signal generated by the MFCC method may be used to extract the disease probability information.
  • the second image signal generated by the MFCC method has the advantage of reflecting the characteristics of the human auditory organ compared to the first image signal generated by the STFT method, but a discrete cosine transformation, which is a linear transformation, is used in the process of converting the speech signal. Therefore, there is a disadvantage that an element with strong nonlinearity may be removed from the voice signal. Therefore, in order to reflect both the advantages and disadvantages of the first image signal and the second image signal, in the present embodiments, the first image signal generated by the STFT method and the second image signal generated by the MFCC method are used in order to extract disease probability information. All are available.
  • FIG. 6 is a diagram illustrating an example of an operation in which an extraction unit extracts a plurality of disease probability information.
  • the artificial intelligence model used by the extraction unit 120 to extract a plurality of disease probability information from the first image signal and the second image signal for each voice signal is a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the extractor 120 generates a first image signal and a second image signal for each of the plurality of voice signals, respectively, in a convolutional neural network determined according to the type of each voice signal and a generation method used to generate each image signal.
  • a plurality of disease probability information may be extracted by input to the network.
  • a convolutional neural network network model may include an input layer, a hidden layer, and an output layer to form a complex mapping function between input values and output values, and the complexity varies depending on the number of hidden layers. can be decided.
  • the convolutional neural network network model may include one or more convolutional networks.
  • the convolutional network may include one or more convolutional layers and one or more pooling layers as hidden layers.
  • each node of the convolutional network may calculate an output value based on input values from one or more nodes included in the input layer.
  • Each node in the convolutional network can use the set activation function to compute the output value for the input value. For example, each node of the convolutional network may calculate a value through the weight and bias set for the input value, and calculate the output value by using the activation function on the calculated value.
  • the activation function may be, for example, a hyperbolic tangent function, a sigmoid function, or a Rectified Linear Unit (ReLU) function.
  • the aforementioned convolutional neural network model may be trained in a direction that minimizes an error between a result calculated based on an input value and a set reference value (supervised learning data).
  • the convolutional neural network model shows high accuracy on the training data, but low on new data due to overfitting. Problems with accuracy may arise.
  • the convolutional neural network model reduces overfitting and minimizes the error by using methods such as drop out, drop connect, spectral dropout, and regularizer. It can be learned by repeating the search process and updating the weights used for each node included in the convolutional network of the deep learning model.
  • the extractor 120 may perform normalization using various normalization functions to obtain disease probability information from a result output from the convolutional neural network model.
  • the normalization function may be a softmax function.
  • the extractor 120 determines the disease probability information P1 by inputting the first image signal IS_1_VS_1 for the voice signal VS_1 to the convolutional neural network model, and for the voice signal VS_1
  • the disease probability information P2 may be determined by inputting the second image signal IS_2_VS_1 into the convolutional neural network model.
  • the extractor 120 determines the disease probability information P3 by inputting the first image signal IS_1_VS_2 for the voice signal VS_2 to the convolutional neural network model, and the second image signal IS_1_VS_2 for the voice signal VS_2.
  • the disease probability information P4 may be determined by inputting the image signal IS_2_VS_2 into the convolutional neural network model.
  • the extractor 120 inputs the first image signal IS_1_VS_N with respect to the voice signal VS_N into the convolutional neural network model to determine the disease probability information P2N-1, and the voice signal VS_N.
  • the disease probability information P2N may be determined by inputting the second image signal IS_2_VS_N to the convolutional neural network.
  • the determination unit 130 determines whether a target disease is negative or positive based on the plurality of disease probability information extracted by the extraction unit 120 will be described in this embodiment.
  • the determination unit 130 may determine a first result value and a second result value based on a plurality of disease probability information, and determine whether the target disease is negative or positive based on the first result value and the second result value. have.
  • FIG. 7 is a diagram illustrating an example of an operation of determining a first result value and a second result value by using a plurality of disease probability information.
  • the determination unit 130 determines a first result value and a second result value using eight pieces of disease probability information P1, P2, P3, P4, P5, P6, P7, and P8.
  • the eight disease probability information (P1, P2, P3, P4, P5, P6, P7, P8) is 1) a disease probability extracted from a first image signal and a second image signal generated from a voice signal that is a fixed negative signal information, 2) disease probability information extracted from a first image signal and a second image signal generated from a voice signal that is a cough signal, 3) extracted from a first image signal and a second image signal generated from a voice signal that is a change voice signal disease probability information, 4) disease probability information extracted from a first image signal and a second image signal generated from a speech signal that is a speech signal.
  • the first image signal generated from each voice signal may be an image signal generated using the STFT method
  • the second image signal may be an image signal generated using the MFCC method.
  • the determination unit 130 may determine the first result value as negative or positive by comparing the number of disease probability information determined as negative with the number of disease probability information determined as positive among the plurality of disease probability information.
  • each disease probability information is negative or positive may be determined according to a value of each disease probability information. For example, if the value of the disease probability information is greater than or equal to a set threshold probability value (e.g. 0.5), the determination unit 130 may determine it to be positive, and may determine it to be negative if it is less than the set threshold probability value.
  • a set threshold probability value e.g. 0.5
  • the determination unit 130 is By comparing them, it is possible to determine whether the disease is negative or positive.
  • a specific example of determining the first result value according to the number of negative disease probability information and positive disease probability information will be described below with reference to FIG. 8 .
  • the determination unit 130 1) For each of the disease probability information determined as negative, the sum of the values obtained by multiplying the weight corresponding to the artificial intelligence model that generated each disease probability information is an average value obtained by dividing the total number of disease probability information and 2) For each of the disease probability information determined to be positive, the average value obtained by dividing the sum of the values obtained by multiplying the weights corresponding to the artificial intelligence model that generated each disease probability information by the total number of disease probability information The second result value may be determined to be negative or positive based on .
  • the weight multiplied by each disease probability information is a value corresponding to the artificial intelligence model that generated each disease probability information, and is a value indicating the accuracy of each AI model, that is, how accurately the AI model determines whether the target disease is positive or negative.
  • the weight W1 multiplied by the disease probability information P1 may be a value representing the accuracy of the artificial intelligence model that generates the disease probability information P1.
  • the weight W2 multiplied by the disease probability information P2 may be a value indicating the accuracy of the artificial intelligence model that generates the disease probability information P2 .
  • the denominator of is determined to be 8.
  • the denominator of is determined to be 8.
  • the determination unit 130 the value of If it is greater than or equal to, it may be determined that the second result value is positive. On the other hand, the determination unit 130 the value of If it is smaller than the value, it may be determined that the second result value is negative.
  • FIG. 8 is a diagram illustrating an example of a first result value according to the number of disease probability information determined as negative and disease probability information determined as positive.
  • the determination unit 130 may determine that the first result value is positive. For example, in Case1-1, the determination unit 130 may determine that the first result value is positive when the number of disease probability information determined as positive is six and the number of disease probability information determined as negative is two. .
  • the determination unit 130 may determine that the first result value is negative. For example, in Case1-2, the determination unit 130 may determine that the first result value is negative when the number of disease probability information determined as positive is three and the number of disease probability information determined as negative is five. .
  • the determination unit 130 may determine that the first result value is positive. For example, in Case 1-3, when the number of disease probability information determined as positive is 4 and the number of disease probability information determined as negative is 4, the determination unit 130 may determine that the first result value is positive. If it is unclear whether the target disease is positive or negative, it is necessary to determine whether the target disease is positive or negative through a detailed examination after determining whether the target disease is positive or negative. because there is
  • the determination unit 130 may determine whether the target disease is negative or positive in various ways according to the first result value and the second result value.
  • FIG. 9 is a diagram illustrating an example in which a determination unit determines whether a target disease is negative or positive according to a first result value and a second result value;
  • the determination unit 130 may determine that the target disease is positive when the first result value is positive or the second result value is positive.
  • the determination unit 130 may determine that the first result value is positive. and is 0.8, Since is 0.6, the determination unit 130 may determine that the second result value is positive. Since both the first result value and the second result value are positive, the determination unit 130 may determine that the target disease is positive.
  • Case 2-2 if the number of disease probability information determined as positive is 4 and the number of disease probability information determined as negative is 4, the number is the same, so that the first result value is positive. can judge and is 0.6, Since is 0.7, the determination unit 130 may determine that the second result value is negative. Since the first result value is positive, the determination unit 130 may determine that the target disease is positive.
  • the determination unit 130 may determine that the first result value is negative because the number of disease probability information determined as positive is three and the number of disease probability information determined as negative is five. . and is 0.7, Since is 0.6, the determination unit 130 may determine that the second result value is positive. Since the second result value is positive, the determination unit 130 may determine that the target disease is positive.
  • the determination unit 130 may determine that the first result value is negative because the number of disease probability information determined as positive is three and the number of disease probability information determined as negative is five. and is 0.6, Since is 0.7, the determination unit 130 may determine that the second result value is negative. Since both the first result value and the second result value are negative, the determination unit 130 may determine that the target disease is negative.
  • FIG. 10 is a diagram illustrating another example in which a determination unit determines whether a target disease is negative or positive according to a first result value and a second result value;
  • the determination unit 130 may determine whether a target disease to which a weight higher than that of the first result value is applied to the second result value is negative or positive.
  • the reason for applying a weight higher than that of the first result value to the second result value is that the second result value considers the characteristics (e.g. accuracy) of the artificial intelligence model in the process of determining each disease probability information.
  • the determination unit 130 may determine that the first result value is positive and the second result value is negative. At this time, in FIG. 9 , the determination unit 130 determines that the target disease is positive because the first result value is positive, but in FIG. 10 , the determination unit 130 determines that the target disease is negative because the second result value to which a high weight is applied is negative. judged to be negative.
  • FIG. 11 is a flowchart of a method for diagnosing a disease according to an exemplary embodiment.
  • the disease diagnosis method may include a pre-processing step (S1110), an extraction step (S1120), and a determination step (S1130).
  • the pre-processing step S1110 may receive a plurality of voice signals to generate a first image signal and a second image signal for each voice signal.
  • the type of each voice signal may be any one of the fixed sound value signal, cough signal, change voice signal, and speech signal described above with reference to FIG. 2 .
  • the first image signal and the second image signal for each voice signal may be spectrograms for each voice signal.
  • a first image signal for each voice signal may be generated by using a Short-time Fourier Transform (STFT) method for each voice signal, and a Mel-frequency cepstral coefficient (MFCC) for each voice signal may be generated. ) method can be used to generate a second image signal for each voice signal.
  • STFT Short-time Fourier Transform
  • MFCC Mel-frequency cepstral coefficient
  • the extraction step (S1120) is performed with respect to the first image signal and the second image signal for each audio signal generated in the preprocessing step (S1110), depending on the type of each audio signal and the generation method used to generate each image signal.
  • the determined artificial intelligence model may be used to extract a plurality of disease probability information for a target disease causing a voice change.
  • the artificial intelligence model may be a convolutional neural network network model. That is, in the extraction step (S1120), the first image signal and the second image signal for each voice signal are added to the convolutional neural network model determined according to the type of each voice signal and the generation method used to generate each image signal. It is possible to extract a plurality of disease probability information by input.
  • the determination step S1130 may determine whether the target disease is negative or positive based on the plurality of disease probability information extracted in the extraction step S1120 .
  • the number of disease probability information determined as negative and the number of disease probability information determined as positive among the plurality of disease probability information may be compared to determine the first result value as negative or positive.
  • the determination step (S1130) is 1) the sum of the values obtained by multiplying each of the disease probability information determined to be negative among the plurality of disease probability information by a weight corresponding to the artificial intelligence model that generated each disease probability information of the total disease probability information.
  • the sum of the values obtained by multiplying the average value divided by the number and 2) the weight corresponding to the artificial intelligence model that generated each disease probability information for each of the disease probability information determined to be positive among the plurality of disease probability information is the total number of disease probability information. Based on the divided average value, the second result value may be determined to be negative or positive.
  • the determination step S1130 may determine whether the disease is negative or positive based on the first result value and the second result value.
  • the first result value may be determined as positive.
  • the determination step S1130 if the first result value is positive or the second result value is positive, it may be determined that the target disease is positive.
  • the above-described disease diagnosis apparatus 100 may be implemented by a computing device including at least some of a processor, a memory, a user input device, and a presentation device.
  • a memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data, etc. coded to perform specific tasks when executed by a processor.
  • the processor may read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in the memory and/or the like.
  • the user input device may be a means for allowing the user to input a command to the processor to execute a specific task or to input data required for the execution of the specific task.
  • the user input device may include a physical or virtual keyboard or keypad, a key button, a mouse, a joystick, a trackball, a touch-sensitive input means, or a microphone.
  • the presentation device may include a display, a printer, a speaker, or a vibrator.
  • Computing devices may include various devices such as smartphones, tablets, laptops, desktops, servers, clients, and the like.
  • the computing device may be a single stand-alone device, or may include a plurality of computing devices operating in a distributed environment comprising a plurality of computing devices cooperating with each other through a communication network.
  • the method for diagnosing a disease described above includes computer readable software, applications, program modules, routines, instructions, and / or may be executed by a computing device having a memory storing data structures and the like.
  • the above-described embodiments may be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the image diagnosis method using the deep learning model includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), It may be implemented by Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers or microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers or microprocessors, and the like.
  • the disease diagnosis method according to the embodiments may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented with semiconductor elements.
  • the semiconductor device may be currently used semiconductor devices, for example, SRAM, DRAM, NAND, or the like, or may be next-generation semiconductor devices, RRAM, STT MRAM, PRAM, or the like, or a combination thereof.
  • the results (weights) of learning the deep learning model with software are transcribed into synaptic mimics arranged in an array, or learning is performed on the artificial intelligence semiconductor device.
  • the disease diagnosis method according to the present embodiments may be implemented in the form of an apparatus, procedure, or function that performs the functions or operations described above.
  • the software code may be stored in the memory unit and driven by the processor.
  • the memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
  • terms such as “system”, “processor”, “controller”, “component”, “module”, “interface”, “model”, or “unit” generally refer to computer-related entities hardware, hardware and software. may mean a combination of, software, or running software.
  • the aforementioned component may be, but is not limited to being, a process run by a processor, a processor, a controller, a controlling processor, an object, a thread of execution, a program, and/or a computer.
  • an application running on a controller or processor and a controller or processor can be a component.
  • One or more components may reside within a process and/or thread of execution, and the components may be located on one device (eg, a system, computing device, etc.) or distributed across two or more devices.
  • another embodiment provides a computer program stored in a computer recording medium for performing the above-described disease diagnosis method.
  • Another embodiment provides a computer-readable recording medium in which a program for realizing the above-described disease diagnosis method is recorded.
  • the program recorded on the recording medium can be read by a computer, installed, and executed to execute the above-described steps.
  • the above-described program is C, C++ that the computer's processor (CPU) can read through the computer's device interface (Interface).
  • JAVA may include code coded in a computer language such as machine language.
  • Such code may include a function code related to a function defining the above-mentioned functions, etc., and may include an execution procedure related control code necessary for the processor of the computer to execute the above-mentioned functions according to a predetermined procedure.
  • this code may further include additional information necessary for the processor of the computer to execute the above functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. .
  • the code can be executed by the processor of the computer using the communication module of the computer. It may further include a communication-related code for how to communicate with other computers or servers, and what information or media to transmit and receive during communication.
  • the computer-readable recording medium in which the program as described above is recorded is, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, etc., and also carrier wave (eg, , transmission over the Internet) may be implemented in the form of.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • the disease diagnosis method described with reference to FIG. 10 may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include any computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the above-described disease diagnosis method may be executed by an application basically installed in the terminal (which may include a program included in a platform or operating system basically mounted in the terminal), and the user may use an application store server, an application, or a corresponding service. It may be executed by an application (ie, a program) installed directly on the master terminal through an application providing server such as a web server related to the .
  • the above-described disease diagnosis method may be implemented as an application (ie, a program) installed basically in a terminal or directly installed by a user, and may be recorded in a computer-readable recording medium such as a terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)

Abstract

본 명세서는 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하고, 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하고, 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 장치 및 질환 진단 방법을 개시한다.

Description

음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법
본 발명은 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법을 제공한다.
음성 인식 기술의 발달에 따라, 의학 및 보건 의료 분야에서 음성 신호를 사용하여 환자의 건강 정보를 수집하고 질환을 진단하며 치료 약제의 반응을 연구하는 기술이 개발되고 있다.
현재 의학 및 보건 의료 분야에서 음성 신호를 통해 환자의 질환을 진단하기 위해 주로 사용되는 파라미터는 기본 주파수 섭동(fundamental frequency perturbation), 진폭 섭동(amplitude perturbation), 신호 대 잡음비(signal to noise ratios) 등이 있다.
그러나 음성 신호로부터 이러한 파라미터를 선택하기 위해서는 전문 장비 및 기술이 필요할 뿐 아니라, 의료 현장에서 음성 신호를 수신한 후 짧은 시간 내에 이러한 파라미터를 분석하기 어렵다는 문제가 있다. 또한 이러한 파라미터에 기반하여 환자의 질환을 진단하는 모델(e.g. Gaussian Mixture Model, Support Vector Machine Model)은 정확도가 낮고 환자의 질환을 진단하기 위해 오랜 시간이 소요된다는 단점이 있다.
실시예들은, 음성 및 연하 장애를 동반하는 질환의 네거티브 또는 포지티브 여부를 신속하게 진단할 수 있는 질환 진단 장치 및 질환 진단 방법을 제공한다.
또한, 실시예들은, 음성 및 연하 장애를 동반하는 질환을 진료하는 데 드는 비용을 절감할 수 있는 질환 진단 장치 및 질환 진단 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 명세서는 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하고, 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하고, 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 장치 및 질환 진단 방법을 개시한다.
일 실시예는, 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하는 전처리부, 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하는 추출부 및 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 판단부를 포함하는 질환 진단 장치를 제공한다.
다른 실시예는, 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하는 전처리 단계, 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하는 추출 단계 및 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 판단 단계를 포함하는 질환 진단 방법을 제공한다.
실시예들에 따른 질환 진단 장치 및 질환 진단 방법에 의하면 음성 및 연하 장애를 동반하는 질환의 네거티브 또는 포지티브 여부를 신속하게 진단할 수 있다.
또한, 실시예들에 따른 질환 진단 장치 및 질환 진단 방법에 의하면 음성 및 연하 장애를 동반하는 질환을 진료하는 데 드는 비용을 절감할 수 있다.
도 1은 일 실시예에 따른 질환 진단 장치의 블럭도이다.
도 2는 음성 신호의 타입의 일 예를 나타낸 도면이다.
도 3은 음성 신호에 대한 제1 이미지 신호를 생성하는 일 예를 나타낸 도면이다.
도 4는 음성 신호에 대한 제2 이미지 신호를 생성하는 일 예를 나타낸 도면이다.
도 5는 도 4의 멜-주파수 필터 뱅크의 일 예를 나타낸 도면이다.
도 6은 추출부가 복수의 질환 확률 정보를 추출하는 동작의 일 예를 나타낸 도면이다.
도 7은 복수의 질환 확률 정보를 이용하여 제1 결과값 및 제2 결과값을 결정하는 동작의 일 예를 나타낸 도면이다.
도 8은 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보에 따른 제1 결과값의 일 예를 나타낸 도면이다.
도 9는 제1 결과값과 제2 결과값에 따라 판단부가 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 일 예를 나타낸 도면이다.
도 10은 제1 결과값과 제2 결과값에 따라 판단부가 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 다른 예를 나타낸 도면이다.
도 11은 일 실시예에 따른 질환 진단 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 질환 진단 장치의 블럭도이다.
도 1을 참조하면, 질환 진단 장치(100)는 전처리부(110), 추출부(120) 및 판단부(130)를 포함할 수 있다.
전처리부(110)는 복수의 음성 신호를 입력받아, 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성할 수 있다.
이때, 복수의 음성 신호는 음성을 녹음할 수 있는 장치(e.g. 스마트폰, 태블릿, PDA, 디지털 카메라, 스마트 워치, 디지털/아날로그 녹음기)를 통해 환자로부터 녹음된 신호일 수 있다. 복수의 음성 신호의 포맷은 wav, mp3, nsp, mp4, avi 등일 수 있으며 특정한 포맷에 제한되지 않는다.
음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호는 해당 음성 신호를 이미지의 형태로 변환한 이미지 신호이다. 음성 신호를 이미지 신호로 변환하는 구체적인 예는 이하 도 3 내지 도 5를 통해 자세히 설명한다.
도 1에서 전처리부(110)는 N개(N은 2 이상의 자연수)의 음성 신호(VS_1, VS_2, VS_3, …, VS_N)를 입력받는다고 가정한다.
전처리부(110)는 음성 신호(VS_1)에 대한 제1 이미지 신호(IS_1_VS_1) 및 제2 이미지 신호(IS_2_VS_1)를 생성할 수 있다. 그리고 전처리부(110)는 음성 신호(VS_2)에 대한 제1 이미지 신호(IS_1_VS_2) 및 제2 이미지 신호(IS_2_VS_2)를 생성할 수 있다. 그리고 전처리부(110)는 음성 신호(VS_3)에 대한 제1 이미지 신호(IS_1_VS_3) 및 제2 이미지 신호(IS_2_VS_3)를 생성할 수 있다. 이와 같은 방식으로 전처리부(110)는 음성 신호(VS_N)에 대한 제1 이미지 신호(IS_1_VS_N) 및 제2 이미지 신호(IS_2_VS_N)를 생성할 수 있다.
추출부(120)는 전처리부(110)로 입력된 복수의 음성 신호 각각에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출할 수 있다.
이때, 인공 지능 모델은 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용된 생성 방법에 따라 결정될 수 있다. 추출부(120)는 서로 다른 타입의 음성 신호로부터 생성된 이미지 신호에 대해 서로 다른 인공 지능 모델을 사용하고, 같은 타입의 음성 신호로부터 생성된 이미지 신호인 경우에도 이미지 신호를 생성하기 위해 사용된 방법이 서로 상이한 경우에는 서로 다른 인공 지능 모델을 사용할 수 있다. 이와 같이 추출부(120)가 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용된 생성 방법에 따라 서로 다른 인공 지능 모델을 사용하는 이유는, 단일한 인공 지능 모델을 사용할 경우 특정한 타입의 이미지 또는 특정한 이미지 신호 생성 방법에 인공 지능 모델이 과최적화되는 것을 방지하기 위함이다.
복수의 음성 신호 각각의 타입이 K개의 음성 신호 타입 중 하나이고, 각 이미지 신호를 생성하기 위해 사용될 수 있는 생성 방법의 개수가 L개이면 추출부(120)는 복수의 질환 확률 정보를 추출하기 위해 (K*L)개의 인공 지능 모델을 사용할 수 있다. 예를 들어 4가지의 음성 신호 타입이 존재하고 이미지 신호를 생성하기 위해 2개의 생성 방법이 사용될 수 있다면 추출부(120)가 사용할 수 있는 인공 지능 모델의 개수는 4*2 = 8개가 된다. 각 음성 신호의 타입 및 이미지 신호의 생성 방법의 구체적인 예는 이하 후술할 도면을 통해 설명한다.
이때, 인공 지능 모델은 기계 학습 모델(e.g. 의사 결정 트리, 로지스틱 회귀 분석, 서포트 벡터 머신, 랜덤 포레스트) 또는 딥 러닝 모델(e.g. CNN, RNN, GAN)일 수 있다.
음성 변화를 유발하는 대상 질환이란, 연하 장애로 인해 환자의 인후두에 위치하는 근신경계(e.g. 성대 근육)에 문제를 발생시킬 수 있는 질환을 의미한다. 예를 들어 환자가 후두암이 있으면 이로 인해 환자가 생성하는 음성이 변할 수 있다. 다른 예로 환자가 뇌졸중 또는 치매가 있으면 연하 장애로 인해 환자가 생성하는 음성이 변할 수 있다. 대상 질환에 대한 질환 확률 정보는 대상 질환이 발생하였을 확률을 의미하며 0 ~ 1 사이의 값일 수 있다. 이와 같은 대상 질환은 환자에게 연하 장애를 일으킬 수 있으며, 환자가 성대를 통해 음성을 생성하는 데 장애를 일으킬 수 있다.
도 1에서, 전처리부(110)는 N개의 음성 신호 각각에 대해 2개의 이미지 신호(제1 이미지 신호/제2 이미지 신호)를 생성하여, 총 2N개의 이미지 신호를 생성할 수 있다. 추출부(120)는 생성된 2N개의 이미지 신호에 대해, 서로 다른 M개의 인공 지능 모델 중 어느 하나를 사용하여 음성 변화를 유발하는 대상 질환에 대한 2N개의 질환 확률 정보를 추출할 수 있다.
도 1에서, 추출부(120)는 음성 신호(VS_1)에 대한 제1 이미지 신호(IS_1_VS_1)에 인공 지능 모델(MDL_1)을 사용하여 질환 확률 정보(P1)를 추출할 수 있다. 그리고 추출부(120)는 음성 신호(VS_1)에 대한 제2 이미지 신호(IS_2_VS_1)에 인공 지능 모델(MDL_2)을 사용하여 질환 확률 정보(P2)를 추출할 수 있다. 그리고 추출부(120)는 음성 신호(VS_2)에 대한 제1 이미지 신호(IS_1_VS_2)에 인공 지능 모델(MDL_3)을 사용하여 질환 확률 정보(P3)를 추출할 수 있다. 이와 같은 방식으로 추출부(120)는 음성 신호(VS_N)에 대한 제1 이미지 신호(IS_1_VS_N)에 인공 지능 모델(MDL_M-1)을 사용하여 질환 확률 정보(P2N-1)를 추출하고, 음성 신호(VS_N)에 대한 제2 이미지 신호(IS_2_VS_N)에 인공 지능 모델(MDL_M)을 사용하여 질환 확률 정보(P2N)를 추출할 수 있다.
판단부(130)는 추출부(120)에 의해 추출된 복수의 질환 확률 정보를 기초로 하여 전술한 대상 질환의 네거티브(negative) 또는 포지티브(positive) 여부를 판단할 수 있다. 대상 질환이 네거티브라는 것은 대상 질환을 일으키는 병원체의 수가 기준치 미만인 정상 상태라는 것을 의미하고, 대상 질환이 포지티브라는 것은 대상 질환을 일으키는 병원체의 수가 기준치 이상인 비정상 상태라는 것을 의미한다.
판단부(130)가 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 구체적인 예는 이하 도 7 내지 도 10를 통해 설명한다.
본 실시예에 의하면, 의사가 질환 진단 장치(100)를 사용하는 경우 의사가 환자를 직접 면담할 필요없이 환자로부터 녹음된 음성 신호로부터 음성 및 연하 장애를 유발하는 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있으므로, 음성 및 연하 장애를 동반하는 질환의 네거티브 또는 포지티브 여부를 신속하게 진단할 수 있다. 또한, 음성을 녹음할 수 있는 장치만 있으면 환자의 음성을 녹음하고 이를 통해 음성 및 연하 장애를 유발하는 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있으므로, 음성 및 연하 장애를 동반하는 질환을 진료하는 데 드는 비용을 절감할 수 있다.
이하, 도 1에서 설명한 질환 진단 장치(100)의 동작에 대한 구체적인 실시예를 설명한다.
먼저 질환 진단 장치(100)의 전처리부(110)로 입력되는 음성 신호의 타입의 일 예에 대해서 설명한다.
도 2는 음성 신호의 타입의 일 예를 나타낸 도면이다.
일 예로, 전술한 음성 신호의 타입은 1) 고정 음가 신호, 2) 기침 신호, 3) 변화 음성 신호 및 4) 말하기 신호 중 어느 하나일 수 있다.
고정 음가 신호는 환자가 고정된 음가를 소리낸 것을 녹음한 음성 신호이다.
기침 신호는 환자의 기침 소리를 녹음한 신호이다.
변화 음성 신호는 환자가 설정된 임계 주파수 이하의 주파수를 가지는 저음에서 임계 주파수 이상의 주파수를 가지는 고음으로 변하는 음성을 소리낸 것을 녹음한 신호이다. 이는 저음에서 고음으로 변하는 패턴을 기초로 환자의 음성 장애를 판단하기 위함이다.
말하기 신호는 환자가 지정된 단어 또는 문장(e.g. 가나다라마바사, 안녕하세요)을 소리낸 것을 녹음한 신호이다.
도 1에서 전술한 질환 진단 장치(100)의 전처리부(110)로 입력되는 음성 신호(VS_1, VS_2, VS_3, …, VS_N) 각각의 타입은 전술한 고정 음가 신호, 기침 신호, 변화 음성 신호 및 말하기 신호 중 어느 하나일 수 있다. 일 예로 1개의 고정 음가 신호, 1개의 기침 신호, 1개의 변화 음성 신호 및 1개의 말하기 신호가 질환 진단 장치(100)의 전처리부(110)로 입력될 수 있다.
이하, 전처리부(110)에서 음성 신호를 기초로 생성하는 제1 이미지 신호 및 제2 이미지 신호의 일 예에 대해서 설명한다.
일 예로, 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호는 해당 음성 신호에 대한 스펙트로그램(spectrogram)일 수 있다. 스펙트로그램은 음성 신호를 시각화하기 위하여 사용되며, 시간에 따른 음성 신호의 특성(e.g. 주파수/진폭)의 변화를 나타낼 수 있다.
이하, 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호를 생성하기 위한 생성 방법의 일 예를 설명한다. 도 3에서는 STFT(Short-time Fourier Transform) 방법을 설명하고, 도 4에서는 MFCC(Mel-frequency cepstral coefficient) 방법을 설명한다.
도 3은 음성 신호에 대한 제1 이미지 신호를 생성하는 일 예를 나타낸 도면이다.
전처리부(110)는 음성 신호에 STFT(Short-time Fourier Transform) 방법을 사용하여 해당 음성 신호에 대한 제1 이미지 신호를 생성할 수 있다.
일반적으로 음성 신호의 주파수 성분을 표현하기 위하여 FFT(Fast Fourier Transform)가 사용된다. FFT를 이용하여 음성 신호가 어떤 주파수 성분을 얼마나 가지고 있는지를 가시적으로 표현할 수 있다. 그러나 FFT를 이용하여 표현된 주파수 성분은 시간대에 따른 주파수의 변화를 나타내지 않으므로, 어느 시간대에 주파수가 어떻게 변했는지는 확인할 수 없다는 단점이 있다.
STFT(Short-time Fourier Transform)는 시간에 따라 주파수 성분이 변하는 신호를 효율적으로 분석하기 위한 방법으로서, 음성 신호를 복수의 시구간에 따라 분할한 후 분할된 복수의 시구간마다 해당 음성 신호의 주파수 성분을 구하고 이를 분석하는 방법이다.
도 3을 참조하면, 전처리부(110)는 음성 신호를 특정 단위(e.g. 20ms)의 시구간에 따라 분할할 수 있다. 이때, 전처리부(110)는 분할된 시구간이 일정한 비율(e.g. 50%)만큼 서로 중첩되도록 설정할 수 있다. 예를 들어 전처리부(110)는 시구간을 기준 시점으로부터 0ms ~ 20ms 사이의 제1 시구간, 10ms ~ 30ms 사이의 제2 시구간 및 20ms ~ 40ms 사이의 제3 시구간으로 분할할 수 있다. 이 경우 제1 시구간과 제2 시구간은 50%만큼 서로 중첩되고, 제2 시구간과 제3 시구간은 50%만큼 서로 중첩된다.
전처리부(110)는 분할된 시구간 각각에 대해서 음성 신호를 분리할 수 있다. 이처럼 시구간에 따라 분리된 음성 신호는 프레임(frame)으로 호칭될 수 있다.
전처리부(110)는 각 프레임에 대해 FFT를 사용하여 시간에 따른 스펙트럼의 프레임(spectral frame)을 생성한 후, 이를 합쳐서 제1 이미지 신호를 생성할 수 있다.
도 4는 음성 신호에 대한 제2 이미지 신호를 생성하는 일 예를 나타낸 도면이다.
전처리부(110)는 음성 신호에 MFCC(Mel-frequency cepstral coefficient) 방법을 사용하여 해당 음성 신호에 대한 제2 이미지 신호를 생성할 수 있다.
MFCC는 사람의 청각 기관이 저주파수 대역에서 상대적으로 민감한 반면에, 고주파수 대역에서는 상대적으로 둔감하다는 특성을 반영하여 음성 신호를 처리하는 방법이다.
MFCC 방법은 음성 신호를 특정 단위(e.g. 20ms)의 시구간에 따라 분할하고, 분할된 시구간 각각에 대한 음성 신호(프레임)에 FFT를 실행하여 시간에 따른 스펙트럼의 프레임을 생성한다는 점에서 STFT 방법과 동일하다. 이때, 전술한 바와 마찬가지로 분할된 시구간이 일정한 비율만큼 서로 중첩될 수 있다.
단, MFCC 방법은 스펙트럼의 프레임 각각에 대해서 멜 스케일에 기반한 멜-주파수 필터 뱅크(mel-frequency filter bank)를 사용한다는 점에서 STFT 방법과 차이가 있다.
전처리부(110)는 생성된 스펙트럼의 프레임 각각에 대해 멜-주파수 필터 뱅크를 사용한 결과값에 로그 함수를 취한다. 로그 함수가 사용되는 이유는 인간의 귀는 소리의 크기를 선형 스케일(linear scale)로 감지하지 않고, 로그 스케일(log scale)에 가깝게 감지하기 때문이다.
전처리부(110)는 전술한 로그 함수의 결과에 이산 코사인 변환(DCT, discrete cosine transform)을 수행하여 음성 신호에 대한 제2 이미지 신호를 생성할 수 있다.
도 5는 도 4의 멜-주파수 필터 뱅크의 일 예를 나타낸 도면이다.
멜-주파수 필터 뱅크는 복수의 멜-주파수 필터를 포함할 수 있다. 각 멜-주파수 필터는 최저 주파수에서 피크 주파수까지는 진폭값이 0에서 1로 증가하고, 피크 주파수부터 최대 주파수까지는 진폭값이 1에서 0으로 감소한다.
일 예로 멜-주파수 필터(FILTER_1)는 0Hz에서 100Hz까지는 진폭값이 0에서 1로 증가하고 100Hz에서 200Hz까지는 진폭값이 1에서 0으로 감소한다. 그리고 멜-주파수 필터(FILTER_2)는 100Hz에서 300Hz까지는 진폭값이 0에서 1로 증가하고 300Hz에서 500Hz까지는 진폭값이 1에서 0으로 감소한다. 그리고 멜-주파수 필터(FILTER_3)는 300Hz에서 600Hz까지는 진폭값이 0에서 1로 증가하고 600Hz에서 900Hz까지는 진폭값이 1에서 0으로 감소한다. 그리고 멜-주파수 필터(FILTER_4)는 600Hz에서 900Hz까지는 진폭값이 0에서 1로 증가하고 900Hz에서 1200Hz까지는 진폭값이 1에서 0으로 감소한다.
본 실시예들에서는, 질환 확률 정보를 추출하기 위해 STFT 방법으로 생성된 제1 이미지 신호와 MFCC 방법으로 생성된 제2 이미지 신호를 모두 사용할 수 있다. MFCC 방법으로 생성된 제2 이미지 신호는 STFT 방법으로 생성된 제1 이미지 신호에 비해서 사람의 청각 기관의 특성을 반영하였다는 장점이 있으나, 음성 신호를 변환하는 과정에서 선형 변환인 이산 코사인 변환을 사용하기 때문에 음성 신호 중에서 비선형성이 강한 요소가 제거될 수 있다는 단점이 있다. 따라서, 제1 이미지 신호와 제2 이미지 신호의 장단점을 모두 반영하기 위해서 본 실시예들에서는 질환 확률 정보를 추출하기 위해 STFT 방법으로 생성된 제1 이미지 신호와 MFCC 방법으로 생성된 제2 이미지 신호를 모두 사용할 수 있다.
도 6은 추출부가 복수의 질환 확률 정보를 추출하는 동작의 일 예를 나타낸 도면이다.
도 6에서, 추출부(120)가 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호로부터 복수의 질환 확률 정보를 추출하기 위해 사용하는 인공 지능 모델은 컨볼루션 신경망 네트워크(CNN, Convolutional Neural Network) 모델일 수 있다. 즉, 추출부(120)는 복수의 음성 신호 각각에 대한 제1 이미지 신호 및 제2 이미지 신호 각각을 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 컨볼루션 신경망 네트워크에 입력하여 복수의 질환 확률 정보를 추출할 수 있다.
컨볼루션 신경망 네트워크 모델은 입력값과 출력값 사이에 복잡한 매핑 함수를 형성하기 위해 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)을 포함할 수 있으며, 은닉층의 개수에 따라 복잡도가 결정될 수 있다.
컨볼루션 신경망 네트워크 모델은 하나 이상의 컨볼루션 망을 포함할 수 있다. 컨볼루션 망은 은닉층으로써 하나 이상의 컨볼루션 층 및 하나 이상의 풀링 층을 포함할 수 있다. 그리고 컨볼루션 망의 각 노드는 입력층에 포함된 하나 이상의 노드들로부터의 입력 값을 기초로 출력 값을 연산할 수 있다.
컨볼루션 망의 각 노드는 입력 값에 대한 출력 값을 연산하기 위해 설정된 활성화 함수를 사용할 수 있다. 예를 들어 컨볼루션 망의 각 노드는 입력 값에 대해 설정된 가중치 및 바이어스를 통해 값을 계산하고, 계산된 값에 활성화 함수를 사용하여 출력 값을 연산할 수 있다.
활성화 함수는 예를 들어 쌍곡 탄젠트(hyperbolic tangent) 함수, 시그모이드(sigmoid) 함수 또는 ReLU(Rectified Linear Unit) 함수일 수 있다.
최적화를 위해서, 전술한 컨볼루션 신경망 네트워크 모델은 입력값을 기초로 연산된 결과와 설정된 기준값(지도 학습 데이터) 사이의 오차를 최소화하는 방향으로 학습될 수 있다.
컨볼루션 신경망 네트워크 모델에 대한 학습 과정에서, 미리 설정된 훈련 데이터를 이용한 학습이 과도하게 수행될 경우, 해당 컨볼루션 신경망 네트워크 모델은 훈련 데이터에 대해서는 높은 정확도를 보이나, 과적합으로 인해서 새로운 데이터에 대해서는 낮은 정확도를 보이는 문제가 발생할 수 있다.
따라서, 컨볼루션 신경망 네트워크 모델은 드롭아웃(drop out), 드롭커넥트(drop connect), 스펙트랄 드롭아웃(spectral dropout), 레귤러라이저(regularizer) 등의 방식을 이용하여 과적합을 줄이고 오차의 최소값을 탐색하는 과정을 반복하면서 딥 러닝 모델의 컨볼루션 망에 포함되는 각 노드들에 사용되는 가중치를 갱신하는 방식으로 학습될 수 있다.
그리고 추출부(120)는 컨볼루션 신경망 네트워크 모델로부터 출력된 결과로부터 질환 확률 정보를 얻기 위해 다양한 정규화 함수를 이용하여 정규화할 수 있다. 일 예로 정규화 함수는 소프트맥스(softmax) 함수일 수 있다.
도 6에서, 추출부(120)는 음성 신호(VS_1)에 대한 제1 이미지 신호(IS_1_VS_1)를 컨볼루션 신경망 네트워크 모델에 입력하여 질환 확률 정보(P1)을 결정하고, 음성 신호(VS_1)에 대한 제2 이미지 신호(IS_2_VS_1)를 컨볼루션 신경망 네트워크 모델에 입력하여 질환 확률 정보(P2)를 결정할 수 있다.
마찬가지로, 추출부(120)는 음성 신호(VS_2)에 대한 제1 이미지 신호(IS_1_VS_2)를 컨볼루션 신경망 네트워크 모델에 입력하여 질환 확률 정보(P3)를 결정하고, 음성 신호(VS_2)에 대한 제2 이미지 신호(IS_2_VS_2)를 컨볼루션 신경망 네트워크 모델에 입력하여 질환 확률 정보(P4)를 결정할 수 있다. 이와 같은 방법으로 추출부(120)는 음성 신호(VS_N)에 대한 제1 이미지 신호(IS_1_VS_N)를 컨볼루션 신경망 네트워크 모델에 입력하여 질환 확률 정보(P2N-1)을 결정하고, 음성 신호(VS_N)에 대한 제2 이미지 신호(IS_2_VS_N)를 컨볼루션 신경망에 입력하여 질환 확률 정보(P2N)를 결정할 수 있다.
이하, 본 실시예에서 판단부(130)가 추출부(120)에서 추출된 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 동작에 대해 설명한다.
판단부(130)는 복수의 질환 확률 정보를 기초로 제1 결과값과 제2 결과값을 결정하고, 제1 결과값과 제2 결과값을 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있다.
도 7은 복수의 질환 확률 정보를 이용하여 제1 결과값 및 제2 결과값을 결정하는 동작의 일 예를 나타낸 도면이다.
도 7에서, 판단부(130)는 8개의 질환 확률 정보(P1, P2, P3, P4, P5, P6, P7, P8)를 이용하여 제1 결과값 및 제2 결과값을 결정한다고 가정한다. 일 예로 8개의 질환 확률 정보(P1, P2, P3, P4, P5, P6, P7, P8)는 1) 고정 음가 신호인 음성 신호로부터 생성된 제1 이미지 신호 및 제2 이미지 신호로부터 추출된 질환 확률 정보, 2) 기침 신호인 음성 신호로부터 생성된 제1 이미지 신호 및 제2 이미지 신호로부터 추출된 질환 확률 정보, 3) 변화 음성 신호인 음성 신호로부터 생성된 제1 이미지 신호 및 제2 이미지 신호로부터 추출된 질환 확률 정보, 4) 말하기 신호인 음성 신호로부터 생성된 제1 이미지 신호 및 제2 이미지 신호로부터 추출된 질환 확률 정보일 수 있다. 그리고 각 음성 신호로부터 생성된 제1 이미지 신호는 STFT 방법을 사용하여 생성된 이미지 신호이고, 제2 이미지 신호는 MFCC 방법을 사용하여 생성된 이미지 신호일 수 있다.
판단부(130)는 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수를 비교하여 제1 결과값을 네거티브 또는 포지티브로 결정할 수 있다.
이때, 각 질환 확률 정보가 네거티브인지 포지티브인지 여부는 각 질환 확률 정보의 값에 따라 결정될 수 있다. 일 예로 판단부(130)는 질환 확률 정보의 값이 설정된 임계 확률값(e.g. 0.5) 이상이면 포지티브로 판단하고 설정된 임계 확률값 미만이면 네거티브로 판단할 수 있다.
도 7에서, 8개의 질환 확률 정보 중 6개의 질환 확률 정보(P1, P2, P3, P4, P6, P8)가 포지티브이고 2개의 질환 확률 정보(P5, P7)가 네거티브이므로 판단부(130)는 이를 비교하여 질환이 네거티브인지 포지티브인지 여부를 판단할 수 있다. 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보에 따라 제1 결과값을 결정하는 구체적인 예는 이하 도 8에서 설명한다.
그리고 판단부(130)는 1) 네거티브로 판단된 질환 확률 정보 각각에 대해, 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값인
Figure PCTKR2021002651-appb-I000001
과 2) 포지티브로 판단된 질환 확률 정보 각각에 대해, 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값인
Figure PCTKR2021002651-appb-I000002
를 기초로 제2 결과값을 네거티브 또는 포지티브로 결정할 수 있다.
각 질환 확률 정보에 곱하는 가중치는 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 값으로서 각 인공 지능 모델의 정확도, 즉 해당 인공 지능 모델이 대상 질환의 양성 또는 음성 여부를 얼마나 정확하게 판단하는지를 나타내는 값일 수 있다. 일 예로 질환 확률 정보(P1)에 곱하는 가중치(W1)는 질환 확률 정보(P1)를 생성한 인공 지능 모델의 정확도를 나타내는 값일 수 있다. 그리고 질환 확률 정보(P2)에 곱하는 가중치(W2)는 질환 확률 정보(P2)를 생성한 인공 지능 모델의 정확도를 나타내는 값일 수 있다.
도 7에서, 전술한
Figure PCTKR2021002651-appb-I000003
은 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2021002651-appb-I000004
Figure PCTKR2021002651-appb-I000005
은 질환 확률 정보가 네거티브이면 해당 질환 확률 정보의 값이고 포지티브이면 0으로 결정될 수 있다. 도 7에서 전체 확률 정보의 개수는 8이므로
Figure PCTKR2021002651-appb-I000006
의 분모는 8로 결정된다.
도 7에서, 전술한
Figure PCTKR2021002651-appb-I000007
는 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2021002651-appb-I000008
Figure PCTKR2021002651-appb-I000009
은 질환 확률 정보가 포지티브이면 해당 질환 확률 정보의 값이고 네거티브이면 0으로 결정될 수 있다. 도 7에서 전체 확률 정보의 개수는 8이므로
Figure PCTKR2021002651-appb-I000010
의 분모는 8로 결정된다.
판단부(130)는
Figure PCTKR2021002651-appb-I000011
의 값이
Figure PCTKR2021002651-appb-I000012
보다 크거나 같으면 제2 결과값이 포지티브라고 판단할 수 있다. 반면, 판단부(130)는
Figure PCTKR2021002651-appb-I000013
의 값이
Figure PCTKR2021002651-appb-I000014
보다 작으면 제2 결과값이 네거티브라고 판단할 수 있다.
Figure PCTKR2021002651-appb-I000015
,
Figure PCTKR2021002651-appb-I000016
를 이용하여 제2 결과값을 판단하는 구체적인 실시예는 이하 도 9에서 설명한다.
도 8은 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보에 따른 제1 결과값의 일 예를 나타낸 도면이다.
판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 네거티브로 판단된 질환 확률 정보의 개수보다 많은 경우 제1 결과값이 포지티브로 판단할 수 있다. 일 예로 Case1-1에서, 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 6개, 네거티브로 판단된 질환 확률 정보의 개수가 2개이면 제1 결과값이 포지티브라고 판단할 수 있다.
그리고 판단부(130)는 네거티브로 판단된 질환 확률 정보의 개수가 포지티브로 판단된 질환 확률 정보의 개수보다 많은 경우 제1 결과값이 네거티브라고 판단할 수 있다. 일 예로 Case1-2에서, 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 3개, 네거티브로 판단된 질환 확률 정보의 개수가 5개이면 제1 결과값이 네거티브라고 판단할 수 있다.
한편, 판단부(130)는 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수가 동일한 경우에는 제1 결과값이 포지티브라고 판단할 수 있다. 일 예로 Case1-3에서 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 4개, 네거티브로 판단된 질환 확률 정보의 개수가 4개이면 제1 결과값이 포지티브라고 판단할 수 있다. 이는 대상 질환이 포지티브인지 네거티브인지 불명확한 경우에는 일단 포지티브로 판단한 후 정밀 검사를 통해 대상 질환이 포지티브인지 네거티브인지 확인해야, 대상 질환이 포지티브인데 네거티브로 잘못 판단하여 치료를 하지 못하는 상황을 방지할 수 있기 때문이다.
판단부(130)는 제1 결과값과 제2 결과값에 따라 다양한 방법으로 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있다.
도 9는 제1 결과값과 제2 결과값에 따라 판단부가 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 일 예를 나타낸 도면이다.
도 9에서, 판단부(130)는 제1 결과값이 포지티브거나 또는 제2 결과값이 포지티브이면 대상 질환이 포지티브라고 판단할 수 있다.
Case 2-1에서, 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 6개, 네거티브로 판단된 질환 확률 정보의 개수가 2개이면 제1 결과값이 포지티브라고 판단할 수 있다. 그리고
Figure PCTKR2021002651-appb-I000017
가 0.8,
Figure PCTKR2021002651-appb-I000018
가 0.6이므로 판단부(130)는 제2 결과값이 포지티브라고 판단할 수 있다. 제1 결과값 및 제2 결과값 모두 포지티브이므로 판단부(130)는 대상 질환이 포지티브라고 판단할 수 있다.
Case 2-2에서, 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 4개, 네거티브로 판단된 질환 확률 정보의 개수가 4개이면 개수가 서로 동일하므로 제1 결과값이 포지티브라고 판단할 수 있다. 그리고
Figure PCTKR2021002651-appb-I000019
가 0.6,
Figure PCTKR2021002651-appb-I000020
가 0.7이므로 판단부(130)는 제2 결과값이 네거티브라고 판단할 수 있다. 제1 결과값이 포지티브이므로 판단부(130)는 대상 질환이 포지티브라고 판단할 수 있다.
Case 2-3에서, 판단부(130)는 포지티브로로 판단된 질환 확률 정보의 개수가 3개, 네거티브로 판단된 질환 확률 정보의 개수가 5개이므로 제1 결과값이 네거티브라고 판단할 수 있다. 그리고
Figure PCTKR2021002651-appb-I000021
가 0.7,
Figure PCTKR2021002651-appb-I000022
가 0.6이므로 판단부(130)는 제2 결과값이 포지티브라고 판단할 수 있다. 제2 결과값이 포지티브이므로 판단부(130)는 대상 질환이 포지티브라고 판단할 수 있다.
Case 2-4에서, 판단부(130)는 포지티브로 판단된 질환 확률 정보의 개수가 3개, 네거티브로 판단된 질환 확률 정보의 개수가 5개이므로 제1 결과값이 네거티브라고 판단할 수 있다. 그리고
Figure PCTKR2021002651-appb-I000023
가 0.6,
Figure PCTKR2021002651-appb-I000024
가 0.7이므로 판단부(130)는 제2 결과값이 네거티브라고 판단할 수 있다. 제1 결과값 및 제2 결과값이 모두 네거티브이므로 판단부(130)는 대상 질환이 네거티브라고 판단할 수 있다.
도 10은 제1 결과값과 제2 결과값에 따라 판단부가 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 다른 예를 나타낸 도면이다.
도 10에서, 판단부(130)는 제2 결과값에 제1 결과값보다 높은 가중치를 적용하는 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있다. 이처럼 제2 결과값에 제1 결과값보다 높은 가중치를 적용하는 이유는, 제2 결과값은 각 질환 확률 정보를 결정하는 과정에서 인공 지능 모델의 특성(e.g. 정확도)을 고려하기 때문이다.
전술한 Case2-2에서 판단부(130)는 제1 결과값은 포지티브, 제2 결과값은 네거티브로 판단할 수 있다. 이때, 도 9에서 판단부(130)는 제1 결과값이 포지티브이므로 대상 질환이 포지티브라고 판단하였으나, 도 10에서 판단부(130)는 높은 가중치를 적용하는 제2 결과값이 네거티브이므로 대상 질환이 네거티브라고 판단한다.
도 11은 일 실시예에 따른 질환 진단 방법의 흐름도이다.
도 11을 참조하면, 질환 진단 방법은 전처리 단계(S1110), 추출 단계(S1120) 및 판단 단계(S1130)를 포함할 수 있다.
전처리 단계(S1110)는 복수의 음성 신호를 입력받아, 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호를 생성할 수 있다. 이때, 각 음성 신호의 타입은 도 2에서 전술한 고정 음가 신호, 기침 신호, 변화 음성 신호 및 말하기 신호 중 어느 하나일 수 있다.
각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호는 각 음성 신호에 대한 스펙트로그램(spectrogram)일 수 있다. 일 예로 전처리 단계(S1110)는 각 음성 신호에 STFT(Short-time Fourier Transform) 방법을 사용하여 각 음성 신호에 대한 제1 이미지 신호를 생성할 수 있고, 각 음성 신호에 MFCC(Mel-frequency cepstral coefficient) 방법을 사용하여 각 음성 신호에 대한 제2 이미지 신호를 생성할 수 있다.
추출 단계(S1120)는 전처리 단계(S1110)에서 생성한 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출할 수 있다.
이때, 인공 지능 모델은 컨볼루션 신경망 네트워크 모델일 수 있다. 즉, 추출 단계(S1120)는 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호를 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 컨볼루션 신경망 네트워크 모델에 입력하여 복수의 질환 확률 정보를 추출할 수 있다.
판단 단계(S1130)는 추출 단계(S1120)에서 추출한 복수의 질환 확률 정보를 기초로 대상 질환의 네거티브 또는 포지티브 여부를 판단할 수 있다.
판단 단계(S1130)는 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수를 비교하여 제1 결과값을 네거티브 또는 포지티브로 결정할 수 있다.
그리고 판단 단계(S1130)는 1) 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값과 2) 복수의 질환 확률 정보 중 포지티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값을 기초로 제2 결과값을 네거티브 또는 포지티브로 결정할 수 있다.
그리고 판단 단계(S1130)는 제1 결과값과 제2 결과값을 기초로 질환의 네거티브 또는 포지티브 여부를 판단할 수 있다.
판단 단계(S1130)는 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수가 동일하면 제1 결과값을 포지티브로 결정할 수 있다.
판단 단계(S1130)는 제1 결과값이 포지티브이거나 또는 제2 결과값이 포지티브이면 대상 질환이 포지티브라고 판단할 수 있다.
전술한 질환 진단 장치(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 질환 진단 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 질환 진단 방법은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 질환 진단 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 질환 진단 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 질환 진단 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 질환 진단 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 10를 통해 설명된 질환 진단 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 질환 진단 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 질환 진단 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2020년 03월 05일 한국에 출원한 특허출원번호 제 10-2020-0027690호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (19)

  1. 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하는 전처리부;
    상기 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 상기 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하는 추출부; 및
    상기 복수의 질환 확률 정보를 기초로 상기 대상 질환의 네거티브(negative) 또는 포지티브(positive) 여부를 판단하는 판단부를 포함하는 질환 진단 장치.
  2. 제1항에 있어서,
    상기 각 음성 신호의 타입은,
    고정 음가 신호, 기침 신호, 저음에서 고음으로 변하는 변화 음성 신호 및 말하기 신호 중 어느 하나인 질환 진단 장치.
  3. 제1항에 있어서,
    상기 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호는,
    상기 각 음성 신호에 대한 스펙트로그램(spectrogram)인 질환 진단 장치.
  4. 제3항에 있어서,
    상기 전처리부는,
    상기 각 음성 신호에 STFT(Short-time Fourier Transform) 방법을 사용하여 상기 각 음성 신호에 대한 제1 이미지 신호를 생성하고,
    상기 각 음성 신호에 MFCC(Mel-frequency cepstral coefficient) 방법을 사용하여 상기 각 음성 신호에 대한 제2 이미지 신호를 생성하는 질환 진단 장치.
  5. 제1항에 있어서,
    상기 인공 지능 모델은 컨볼루션 신경망 네트워크(CNN) 모델인 질환 진단 장치.
  6. 제1항에 있어서,
    상기 판단부는,
    상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수를 비교하여 제1 결과값을 네거티브 또는 포지티브로 결정하고,
    1) 상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값과 2) 상기 복수의 질환 확률 정보 중 포지티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값을 기초로 제2 결과값을 네거티브 또는 포지티브로 결정하고,
    상기 제1 결과값과 상기 제2 결과값을 기초로 상기 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 장치.
  7. 제6항에 있어서,
    상기 판단부는,
    상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수가 동일하면 상기 제1 결과값을 포지티브로 결정하는 질환 진단 장치.
  8. 제6항에 있어서,
    상기 판단부는,
    상기 제1 결과값이 포지티브이거나 또는 상기 제2 결과값이 포지티브이면 상기 대상 질환이 포지티브라고 판단하는 질환 진단 장치.
  9. 제6항에 있어서,
    상기 판단부는,
    상기 제2 결과값에 상기 제1 결과값보다 더 높은 가중치를 적용하여 상기 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 장치.
  10. 복수의 음성 신호를 입력받아 각 음성 신호에 대한 이미지 신호인 제1 이미지 신호 및 제2 이미지 신호를 생성하는 전처리 단계;
    상기 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호에 대해, 상기 각 음성 신호의 타입 및 각 이미지 신호를 생성하기 위해 사용되는 생성 방법에 따라 결정되는 인공 지능 모델을 사용하여 음성 변화를 유발하는 대상 질환에 대한 복수의 질환 확률 정보를 추출하는 추출 단계; 및
    상기 복수의 질환 확률 정보를 기초로 상기 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 판단 단계를 포함하는 질환 진단 방법.
  11. 제10항에 있어서,
    상기 각 음성 신호의 타입은,
    고정 음가 신호, 기침 신호, 저음에서 고음으로 변하는 변화 음성 신호 및 말하기 신호 중 어느 하나인 질환 진단 방법.
  12. 제10항에 있어서,
    상기 각 음성 신호에 대한 제1 이미지 신호 및 제2 이미지 신호는,
    상기 각 음성 신호에 대한 스펙트로그램(spectrogram)인 질환 진단 방법.
  13. 제12항에 있어서,
    상기 전처리 단계는
    상기 각 음성 신호에 STFT(Short-time Fourier Transform) 방법을 사용하여 상기 각 음성 신호에 대한 제1 이미지 신호를 생성하고,
    상기 각 음성 신호에 MFCC(Mel-frequency cepstral coefficient) 방법을 사용하여 상기 각 음성 신호에 대한 제2 이미지 신호를 생성하는 질환 진단 방법.
  14. 제10항에 있어서,
    상기 인공 지능 모델은 컨볼루션 신경망 네트워크 모델인 질환 진단 방법.
  15. 제10항에 있어서,
    상기 판단 단계는,
    상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수를 비교하여 제1 결과값을 네거티브 또는 포지티브로 결정하고,
    1) 상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값과 2) 상기 복수의 질환 확률 정보 중 포지티브로 판단된 질환 확률 정보 각각에 대해 각 질환 확률 정보를 생성한 인공 지능 모델에 대응하는 가중치를 곱한 값의 총합을 전체 질환 확률 정보의 개수로 나눈 평균값을 기초로 제2 결과값을 네거티브 또는 포지티브로 결정하고,
    상기 제1 결과값과 상기 제2 결과값을 기초로 상기 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 방법.
  16. 제15항에 있어서,
    상기 판단 단계는,
    상기 복수의 질환 확률 정보 중 네거티브로 판단된 질환 확률 정보의 개수와 포지티브로 판단된 질환 확률 정보의 개수가 동일하면 상기 제1 결과값을 포지티브로 결정하는 질환 진단 방법.
  17. 제15항에 있어서,
    상기 판단 단계는,
    상기 제1 결과값이 포지티브이거나 또는 상기 제2 결과값이 포지티브이면 상기 대상 질환이 포지티브라고 판단하는 질환 진단 방법.
  18. 제15항에 있어서,
    상기 판단 단계는,
    상기 제2 결과값에 상기 제1 결과값보다 더 높은 가중치를 적용하여 상기 대상 질환의 네거티브 또는 포지티브 여부를 판단하는 질환 진단 방법.
  19. 제10항 내지 제18항 중 어느 한 항의 질환 진단 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2021/002651 2020-03-05 2021-03-04 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법 WO2021177730A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21765455.7A EP4101370A4 (en) 2020-03-05 2021-03-04 DEVICE FOR DIAGNOSING A DISEASE CAUSING VOICE AND SWALLOWING DISORDERS, AND ITS DIAGNOSTIC METHOD
US17/908,629 US20230130676A1 (en) 2020-03-05 2021-03-04 Apparatus for diagnosing disease causing voice and swallowing disorders and method for diagnosing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200027690A KR102216160B1 (ko) 2020-03-05 2020-03-05 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법
KR10-2020-0027690 2020-03-05

Publications (1)

Publication Number Publication Date
WO2021177730A1 true WO2021177730A1 (ko) 2021-09-10

Family

ID=74687015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002651 WO2021177730A1 (ko) 2020-03-05 2021-03-04 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법

Country Status (4)

Country Link
US (1) US20230130676A1 (ko)
EP (1) EP4101370A4 (ko)
KR (1) KR102216160B1 (ko)
WO (1) WO2021177730A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223498A (zh) * 2021-05-20 2021-08-06 四川大学华西医院 基于喉部语音信息的吞咽障碍识别方法、设备及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216160B1 (ko) * 2020-03-05 2021-02-16 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법
KR102355960B1 (ko) * 2021-04-12 2022-02-08 주식회사 미카 자격조건검증 기반 한국어 교육 서비스 제공 시스템
WO2023014063A1 (ko) * 2021-08-03 2023-02-09 다인기술 주식회사 음향 신호를 분석하여 연하장애 가능성을 평가하는 방법, 이를 수행하는 서버 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102376188B1 (ko) * 2021-12-15 2022-03-17 가천대학교 산학협력단 딥러닝 기반의 호흡음 분류를 위한 피쳐정보 선택방법 및 시스템
CN114446326B (zh) * 2022-01-27 2023-07-04 四川大学华西医院 基于时频分辨率的吞咽障碍患者识别方法及设备
KR20230120757A (ko) 2022-02-10 2023-08-17 부산대학교 산학협력단 연하장애 진단 장치
KR20240010219A (ko) * 2022-07-15 2024-01-23 에스케이텔레콤 주식회사 음정 떨림 특성을 이용한 음성질환 진단 방법 및 장치
KR102589757B1 (ko) * 2023-04-21 2023-10-13 김광훈 음성을 이용한 치매 진단 서비스 시스템 및 방법
CN116671873A (zh) * 2023-07-26 2023-09-01 北京大学 基于吞咽振动信号分析的吞咽障碍自动诊断系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000194A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법
KR101936302B1 (ko) * 2018-06-29 2019-01-08 이채영 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치
KR20190022151A (ko) * 2017-08-25 2019-03-06 강원대학교산학협력단 비접촉 생체 신호 검출 방법 및 장치
KR20190084460A (ko) * 2018-01-08 2019-07-17 고려대학교 세종산학협력단 잡음에 강인한 소리 기반의 호흡기 질병 탐지 방법 및 그 시스템
KR102216160B1 (ko) * 2020-03-05 2021-02-16 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2559689C2 (ru) * 2013-04-29 2015-08-10 Антон Павлович Лысак Способ определения риска развития заболеваний индивида по его голосу и аппаратно-программный комплекс для реализации способа
CN109431507A (zh) * 2018-10-26 2019-03-08 平安科技（深圳）有限公司 基于深度学习的咳嗽疾病识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000194A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법
KR20190022151A (ko) * 2017-08-25 2019-03-06 강원대학교산학협력단 비접촉 생체 신호 검출 방법 및 장치
KR20190084460A (ko) * 2018-01-08 2019-07-17 고려대학교 세종산학협력단 잡음에 강인한 소리 기반의 호흡기 질병 탐지 방법 및 그 시스템
KR101936302B1 (ko) * 2018-06-29 2019-01-08 이채영 딥러닝 네트워크에 기반한 퇴행성 신경질환 진단 방법 및 진단 장치
KR102216160B1 (ko) * 2020-03-05 2021-02-16 가톨릭대학교 산학협력단 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 판단 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4101370A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223498A (zh) * 2021-05-20 2021-08-06 四川大学华西医院 基于喉部语音信息的吞咽障碍识别方法、设备及装置

Also Published As

Publication number Publication date
US20230130676A1 (en) 2023-04-27
EP4101370A1 (en) 2022-12-14
KR102216160B1 (ko) 2021-02-16
EP4101370A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
WO2021177730A1 (ko) 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법
Warnita et al. Detecting Alzheimer's disease using gated convolutional neural network from audio data
Umamaheswari et al. An enhanced human speech emotion recognition using hybrid of PRNN and KNN
WO2020027619A1 (ko) 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
WO2021000497A1 (zh) 检索方法、装置、计算机设备和存储介质
WO2015005679A1 (ko) 음성 인식 방법, 장치 및 시스템
CN112259106A (zh) 声纹识别方法、装置、存储介质及计算机设备
WO2022019402A1 (ko) 시계열 생체 신호 기반의 인공신경망 모델 학습 컴퓨터 프로그램 및 방법
JP7268711B2 (ja) 信号処理システム、信号処理装置、信号処理方法、およびプログラム
WO2021071110A1 (en) Electronic apparatus and method for controlling electronic apparatus
Rehmam et al. Artificial neural network-based speech recognition using dwt analysis applied on isolated words from oriental languages
WO2022080774A1 (ko) 말 장애 평가 장치, 방법 및 프로그램
Cardona et al. Online phoneme recognition using multi-layer perceptron networks combined with recurrent non-linear autoregressive neural networks with exogenous inputs
CN115862684A (zh) 一种基于音频的双模式融合型神经网络的抑郁状态辅助检测的方法
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
Sangwan et al. Performance of a language identification system using hybrid features and ANN learning algorithms
Vithakshana et al. IoT based animal classification system using convolutional neural network
JP2021124530A (ja) 情報処理装置、情報処理方法及びプログラム
CN112735479B (zh) 语音情绪识别方法、装置、计算机设备和存储介质
CN112466284B (zh) 一种口罩语音鉴别方法
Agrima et al. Emotion recognition from syllabic units using k-nearest-neighbor classification and energy distribution
Bojanić et al. Influence of emotion distribution and classification on a call processing for an emergency call center
Shome et al. Speaker Recognition through Deep Learning Techniques: A Comprehensive Review and Research Challenges
Hamza et al. Machine Learning Approaches for Automated Detection and Classification of Dysarthria Severity
Aswad et al. Developing MFCC-CNN based voice recognition system with data augmentation and overfitting solving techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765455

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021765455

Country of ref document: EP

Effective date: 20220905

NENP Non-entry into the national phase

Ref country code: DE