KR20220128976A - Device, method and program for speech impairment evaluation - Google Patents

Device, method and program for speech impairment evaluation Download PDF

Info

Publication number
KR20220128976A
KR20220128976A KR1020220114799A KR20220114799A KR20220128976A KR 20220128976 A KR20220128976 A KR 20220128976A KR 1020220114799 A KR1020220114799 A KR 1020220114799A KR 20220114799 A KR20220114799 A KR 20220114799A KR 20220128976 A KR20220128976 A KR 20220128976A
Authority
KR
South Korea
Prior art keywords
speech
evaluation
task
speaker
subject
Prior art date
Application number
KR1020220114799A
Other languages
Korean (ko)
Inventor
김향희
조남빈
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020220114799A priority Critical patent/KR20220128976A/en
Publication of KR20220128976A publication Critical patent/KR20220128976A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4041Evaluating nerves condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

The present invention relates to a device for evaluating a speech impairment comprising: a communication part that receives the recording data comprising an utterance speech recorded by a speech impairment evaluation subject performing at least one utterance task; and a control part that evaluates the received recorded data based on a predetermined standard data, determines whether or not the subject has a speech impairment and at least one among severity based on the evaluated result, and outputs the information representing the determined result.

Description

말 장애 평가 장치, 방법 및 프로그램 {Device, method and program for speech impairment evaluation}Device, method and program for speech impairment evaluation

본 발명은 말 장애 평가 장치에 관한 것으로, 보다 상세하게는 대상자로부터 발화되어 녹음된 데이터를 평가하여 대상자의 말 장애 여부를 판단하는 장치에 관한 것이다.The present invention relates to an apparatus for evaluating speech impairment, and more particularly, to an apparatus for determining whether a subject has speech impairment by evaluating data recorded and uttered by a subject.

마비말장애는 중추 혹은 말초신경계의 손상으로 말 산출기제의 근육 조절 장애가 일어나 근육 운동 능력이 약화되거나 속도가 느려지고 협응이 잘 되지 않는 말장애이다.Paralyzed speech disorder is a speech disorder in which the muscle control of speech production mechanism is impaired due to damage to the central or peripheral nervous system, resulting in weakened or slowed muscle movement and poor coordination.

이러한 마비말장애와 같은 말 장애의 여부와 장애 중증도를 평가하기 위해서 직접 평가자와 대면하여 발화하고, 발화에 대한 평가를 받아야만 한다는 문제점이 있다.There is a problem in that in order to evaluate the presence and severity of a speech disorder such as paraplegic speech disorder, the person must directly speak face-to-face with an evaluator and receive an evaluation of the speech.

이에, 평가 대상자가 평가자와 대면하지 않고도 말 장애의 여부와 장애 중증도를 평가받을 수 있는 방법이 필요하지만, 이를 구현하는 발명은 현재로서는 공개되어 있지 않은 실정이다.Accordingly, there is a need for a method in which the subject to be evaluated can be evaluated for the presence of speech disability and the severity of the disability without face-to-face with the evaluator, but the present invention for implementing this is not disclosed.

대한민국 공개특허공보 제10-2008-0004182호 (2008.01.09)Republic of Korea Patent Publication No. 10-2008-0004182 (2008.01.09)

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 대상자의 발화 과제 수행의 녹음 데이터를 규준 자료를 기반으로 평가하여 대상자의 말 장애 여부 및 장애의 중증도를 판단하고자 한다.The present invention for solving the above-described problems is to evaluate the recorded data of the subject's speech task performance based on standard data to determine whether the subject has speech impairment and the severity of the impairment.

또한, 본 발명은 문장 내의 띄어 읽기 위치에 따라 복수의 서로 다른 의미를 갖는 문장을 발화하여 녹음하게 하고, 이에 대하여 어절 내 또는 어절 간 쉼 구간의 빈도, 비율 및 길이를 평가하여 대상자의 말 장애 여부를 판단하고자 한다.In addition, the present invention utters and records a plurality of sentences having different meanings according to the reading position in the sentence, and evaluates the frequency, ratio, and length of pauses within or between words to determine whether the subject's speech is impaired want to judge

또한, 본 발명은 발화자의 발화 과제 수행의 녹음 데이터와 녹음 데이터에 대한 평가자의 평가 결과, 그리고 발화자의 정보를 이용하여 학습데이터를 구축하고, 이를 기반으로 판단 모델을 학습시켜 말 장애 여부를 판단하는 모델을 생성하고자 한다.In addition, the present invention constructs learning data using the recorded data of the speaker's performance of the speech task, the evaluation result of the evaluator on the recorded data, and the speaker's information, and learns a judgment model based on this to determine whether speech is impaired. I want to create a model.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 말 장애 평가 장치는, 말 장애 평가 대상자가 적어도 하나의 발화 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 수신하는 통신부 및 판단부를 통해 상기 수신된 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하여, 상기 대상자의 말 장애 여부 및 말 장애의 중증도 중 적어도 하나를 판단하는 제어부를 포함한다.Speech impairment evaluation apparatus according to an embodiment of the present invention for solving the above-described problems, a communication unit and a determination unit for receiving the recording data including the speech voice recorded by the speech disability evaluation subject performing at least one speech task and a control unit configured to evaluate at least one of whether the subject has speech impairment and the severity of speech impairment by evaluating the received recording data based on preset reference data.

또한, 상기 발화 과제는, 문장 내 띄어 읽기 위치에 따라 복수의 서로 다른 의미를 갖는 적어도 하나의 문장에 대한 발화자의 발화를 녹음하여 수행되는, 문장 띄어 읽기 과제를 포함하는 것을 특징으로 한다.In addition, the speech task may include a sentence spacing reading task performed by recording the speaker's utterance with respect to at least one sentence having a plurality of different meanings according to a spacing reading position in the sentence.

또한, 상기 제어부는 상기 문장 띄어 읽기 과제의 녹음 데이터에 대하여, 어절 내 또는 어절 간 쉼 구간의 빈도, 비율 및 길이 중 적어도 하나의 항목을 평가하는 것을 특징으로 한다.In addition, the control unit is characterized in that with respect to the recorded data of the sentence spacing reading task, at least one item of the frequency, ratio, and length of a pause within a word or between words is evaluated.

또한, 상기 제어부는 상기 녹음 데이터 및 상기 판단된 결과를 메모리에 저장하고, 상기 판단된 중증도가 기존에 상기 발화 과제를 수행하여 판단된 중증도보다 기 설정된 수치 이상 변화된 경우, 상기 메모리를 검색하여 상기 중증도 수치 변화의 원인에 해당되는 녹음 데이터를 추출하여 상기 대상자의 단말로 제공하는 것을 특징으로 한다.In addition, the control unit stores the recorded data and the determined result in a memory, and when the determined severity changes by more than a preset value from the previously determined severity by performing the utterance task, the controller searches the memory to determine the severity It is characterized in that by extracting the recorded data corresponding to the cause of the numerical change and providing it to the terminal of the subject.

또한, 상기 발화 과제는 최대 연장 발성 과제를 포함하고, 상기 제어부는 상기 최대 연장 발성 과제를 수행하여 녹음된 발화 음성을 포함하는 상기 대상자의 녹음 데이터를 최대 연장발성 시간, 주파수 변동률, 진폭 변동률, 캡스트럼 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In addition, the utterance task includes a maximum extended utterance task, and the control unit transmits the recorded data of the subject including the spoken voice recorded by performing the maximum extended utterance task for maximum extended utterance time, frequency change rate, amplitude change rate, caps It is characterized in that it is analyzed and evaluated for at least one item of Trump.

또한, 상기 발화 과제는 교호 운동 과제를 포함하고, 상기 제어부는 상기 교호 운동 과제를 수행하여 녹음된 발화 음성을 포함하는 상기 대상자의 녹음 데이터를 발화 속도, 발화 주기의 규칙성 및 발화 진폭의 규칙성 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In addition, the speech task includes an alternating exercise task, and the control unit converts the recorded data of the subject including the speech voice recorded by performing the alternating exercise task to the speech speed, regularity of speech cycle, and regularity of speech amplitude. It is characterized in that it is evaluated by analyzing at least one of the items.

또한, 상기 발화 과제는 문단 읽기 과제를 포함하고, 상기 제어부는 상기 문단 읽기 과제를 수행하여 녹음된 발화 음성을 포함하는 상기 대상자의 녹음 데이터를 발화 속도, 쉼 구간의 빈도, 쉼 구간의 비율, 쉼 구간의 길이, 기본 주파수 및 캡스트럼 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In addition, the speech task includes a paragraph reading task, and the control unit converts the recorded data of the subject including the spoken voice recorded by performing the paragraph reading task to the speech speed, the frequency of the pause section, the ratio of the pause section, and the pause. It is characterized by analyzing and evaluating at least one of a section length, a fundamental frequency, and a cepstrum.

또한, 상기 제어부는, 발화자가 상기 적어도 하나의 발화 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터에 대한 평가자의 평가 결과를 수신하고, 상기 평가 결과를 기반으로 상기 발화자의 녹음 데이터를 정상 집단 또는 말 장애 집단으로 분류하여 저장하고, 상기 발화자의 녹음 데이터, 상기 발화자의 녹음 데이터에 대한 평가 결과, 및 상기 발화자의 정보 중 적어도 하나를 이용하여 학습데이터를 구축하여 판단 모델을 학습시키는 것을 특징으로 한다.In addition, the control unit receives the evaluation result of the evaluator for the recorded data including the speech voice recorded by the speaker performing the at least one speech task, and sets the recorded data of the speaker to a normal group based on the evaluation result Or classifying it as a speech disability group and storing it, and constructing learning data using at least one of the speaker's recorded data, the evaluation result of the speaker's recorded data, and the speaker's information to train the judgment model do.

또한, 상기 제어부는 상기 발화자가 말 장애에 해당되는 경우, 상기 발화자의 말 장애 원인을 함께 저장하고, 상기 발화자의 말 장애 원인을 더 포함시켜 상기 학습데이터를 구축하는 것을 특징으로 한다.In addition, when the speaker corresponds to a speech disability, the control unit stores the cause of the speaker's speech disorder together, and further includes the cause of the speaker's speech disorder to build the learning data.

또한, 상기 제어부는 상기 정상 집단으로 분류되어 저장된 발화자의 녹음 데이터, 각 녹음 데이터에 대한 평가 결과, 및 각 녹음 데이터의 발화자 정보 중 적어도 하나를 이용하여 빅데이터를 구축하고, 이를 기반으로 상기 규준 자료를 업데이트 하는 것을 특징으로 한다.In addition, the control unit constructs big data by using at least one of recorded data of speakers classified and stored as the normal group, evaluation results of each recorded data, and speaker information of each recorded data, and based on this, the standard data is characterized by updating the .

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 말 장애 평가 모델 구축 시스템은, 말 장애 평가를 위한 적어도 하나의 발화 과제를 발화자 단말로 제공하고, 상기 적어도 하나의 과제를 수행하여 녹음된 상기 발화자의 녹음 데이터에 대한 평가자의 평가 결과를 평가자 단말로부터 수신하는 통신부 및 상기 평가 결과를 기반으로 상기 발화자의 녹음 데이터를 정상 집단 또는 말 장애 집단으로 분류하여 저장하고, 상기 발화자의 녹음 데이터, 상기 발화자의 녹음 데이터에 대한 평가 결과, 및 상기 발화자의 정보 중 적어도 하나를 이용하여 학습데이터를 구축하고, 상기 학습데이터를 기반으로 판단부를 학습시키는 제어부를 포함한다.A speech impairment evaluation model construction system according to an embodiment of the present invention for solving the above-described problems provides at least one speech task for evaluating speech disability to a speaker terminal, and performs the at least one task to record A communication unit that receives the evaluation result of the evaluator for the recorded data of the speaker from the evaluator terminal, and classifies and stores the recorded data of the speaker into a normal group or a speech impaired group based on the evaluation result, the speaker's recording data, the and a controller for constructing learning data using at least one of an evaluation result of the speaker's recorded data and information on the speaker, and learning the judgment unit based on the learning data.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 말 장애 평가 방법은, 말 장애 평가 대상자의 단말로 적어도 하나의 발화 과제를 제공하는 단계, 상기 대상자가 상기 적어도 하나의 발화 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 수신하는 단계 및 판단부를 통해 상기 수신된 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하여, 상기 대상자의 말 장애 여부를 판단하는 단계를 포함한다.A speech disability evaluation method according to an embodiment of the present invention for solving the above-described problems, the steps of providing at least one speech task to a terminal of a subject for evaluation of speech disability, the subject performing the at least one speech task Receiving the recorded data including the recorded speech voice and evaluating the received recorded data through a determination unit based on preset reference data, and determining whether the subject has speech impairment.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 말 장애 평가 모델 구축 방법은, 발화자 단말로 발화 과제를 제공하는 단계, 발화자 단말로부터 발화 과제 수행의 녹음 데이터를 수신하는 단계, 녹음 데이터를 평가자의 단말로 제공하는 단계, 평가자의 평가 결과를 수신하는 단계 및 평가 결과를 기반으로 녹음 데이터를 정상 집단 또는 말 장애 집단으로 분류하여 저장하는 단계를 포함한다.A method of constructing a speech impairment evaluation model according to an embodiment of the present invention for solving the above-described problems includes the steps of providing a speech task to a speaker terminal, receiving recording data of performing the speech task from the speaker terminal, and recording data It includes the steps of providing to the evaluator's terminal, receiving the evaluator's evaluation result, and classifying and storing the recorded data into a normal group or a speech-impaired group based on the evaluation result.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method may be further provided.

상기와 같은 본 발명에 따르면, 대상자의 발화 과제 수행의 녹음 데이터를 규준 자료를 기반으로 평가함으로써, 대상자의 말 장애 여부 및 장애의 중증도를 판단할 수 있는 효과가 있다.According to the present invention as described above, by evaluating the recorded data of the subject's performance of the speech task based on the standard data, there is an effect of determining whether the subject has speech impairment and the severity of the impairment.

또한, 본 발명에 따르면, 문장 내의 띄어 읽기 위치에 따라 복수의 서로 다른 의미를 갖는 문장을 발화하여 녹음하게 하고, 이에 대하여 대상자의 말 장애 여부를 평가함으로써, 한국어 특유의 문장을 이용하여 대상자의 말 장애 여부를 판단할 수 있는 효과가 있다.In addition, according to the present invention, by uttering and recording a plurality of sentences having different meanings according to the spacing of the reading position in the sentence, and evaluating whether the subject has a speech impairment, the subject's speech using a Korean-specific sentence It has the effect of determining whether or not there is a disability.

또한, 본 발명에 따르면, 발화자의 발화 과제 수행의 녹음 데이터와 녹음 데이터에 대한 평가자의 평가 결과, 그리고 발화자의 정보를 이용하여 학습데이터를 구축하고, 이를 기반으로 판단 모델을 학습시켜 말 장애 여부를 판단하는 모델을 생성할 수 있는 효과가 있다.In addition, according to the present invention, learning data is constructed using the recorded data of the speaker's speech task performance, the evaluation result of the evaluator on the recorded data, and the speaker's information, and based on this, a judgment model is trained to determine whether speech is impaired. It has the effect of creating a judgment model.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 말 장애 평가 모델 구축 시스템의 개략도이다.
도 2는 본 발명의 실시예에 따른 말 장애 평가 장치의 개략도이다.
도 3은 본 발명의 실시예에 따른 말 장애 평가 장치의 블록도이다.
도 4 내지 도 16은 발화자가 단말을 이용하여 발화 과제를 수행하고, 평가자가 평가하는 것을 예시한 도면이다.
도 17은 본 발명의 실시예에 따른 말 장애 평가 모델 구축 방법의 흐름도이다.
도 18은 본 발명의 실시예에 따른 말 장애 평가 방법의 흐름도이다.
1 is a schematic diagram of a system for constructing a horse disability evaluation model according to an embodiment of the present invention.
2 is a schematic diagram of an apparatus for evaluating a horse's disability according to an embodiment of the present invention.
3 is a block diagram of an apparatus for evaluating a horse's disability according to an embodiment of the present invention.
4 to 16 are diagrams exemplifying that a speaker performs a speech task using a terminal and evaluates it by an evaluator.
17 is a flowchart of a method for constructing a horse disability evaluation model according to an embodiment of the present invention.
18 is a flowchart of a method for evaluating a horse's disability according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully inform those skilled in the art of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 말 장애 평가 모델 구축 시스템(10)의 개략도이고, 도 2는 본 발명의 실시예에 따른 말 장애 평가 장치(100)의 개략도이다.1 is a schematic diagram of a equine disability evaluation model building system 10 according to an embodiment of the present invention, and FIG. 2 is a schematic diagram of a equine disability evaluation apparatus 100 according to an embodiment of the present invention.

도 1 및 도 2를 참조하여, 본 발명의 실시예에 따른 말 장애 평가 모델 구축 시스템(10)에 관하여 설명하고, 이와 같이 구축된 말 장애 평가 모델을 이용하여 말 장애를 평가하는 장치에 관하여 설명하도록 한다.With reference to FIGS. 1 and 2 , a system for constructing a horse disability evaluation model according to an embodiment of the present invention will be described, and an apparatus for evaluating a horse disability using the constructed horse disability evaluation model will be described. let it do

본 발명의 실시예에 따른 말 장애 평가 장치(100)는 컴퓨터와 같은 정보처리장치에 의해 수행될 수 있으며, 구체적으로는 발화자, 평가자, 평가 대상자의 단말(230)과 통신하여 수행되므로, 말 평가 서버로 구현될 수 있다.The speech disability evaluation apparatus 100 according to an embodiment of the present invention may be performed by an information processing device such as a computer, and specifically, since it is performed by communicating with the terminal 230 of the speaker, the evaluator, and the subject to be evaluated, speech evaluation It can be implemented as a server.

또한, 말 평가 서버는 웹 또는 서비스 애플리케이션을 통해서 발화자와 평가자의 말 평가를 중개하거나, 평가 대상자의 말 평가를 실시할 수 있다.In addition, the speech evaluation server may mediate the speech evaluation of the speaker and the evaluator through a web or a service application, or may perform a speech evaluation of an evaluation target.

말 평가 서버는 서비스 애플리케이션을 통해 도 4 내지 도 15와 같이 발화자가 단말을 통해 발화 과제를 수행하여 녹음하고, 평가자가 단말을 통해 녹음 데이터를 평가할 수 있으며, 보다 상세한 설명은 아래에서 다시 하도록 한다.In the speech evaluation server, as shown in FIGS. 4 to 15 through the service application, the speaker performs a speech task through the terminal to record, and the evaluator can evaluate the recorded data through the terminal, and a more detailed description will be made again below.

도 1을 참조하면, 말 장애 평가 장치(100)는 발화자 단말(210)로 적어도 하나의 발화 과제를 순차적으로 제공하며, 이때 발화 과제는 텍스트, 이미지의 형태로 제공되어 발화자 단말(210)의 화면으로 출력되는 것이 바람직하다.Referring to FIG. 1 , the speech impairment evaluation apparatus 100 sequentially provides at least one speech task to the talker terminal 210 , wherein the speech task is provided in the form of text or an image to the screen of the talker terminal 210 . It is preferable to output as

발화자는 제시된 발화 과제를 수행하여 발화 음성을 녹음하게 되고, 말 장애 평가 장치(100)는 발화자 단말(210)로부터 발화 과제를 수행하여 녹음된 녹음 데이터를 수신한다.The speaker performs the presented speech task to record the spoken voice, and the speech impairment evaluation apparatus 100 receives the recorded data recorded by performing the speech task from the talker terminal 210 .

평가자는 단말을 통해 말 장애 평가 장치(100)에 접속, 연결하고, 발화자의 녹음 데이터를 수신하거나 스트리밍 재생하고, 녹음 데이터를 듣고 평가를 수행하여 평가 결과를 단말로 입력하고, 말 장애 평가 장치(100)는 평가자 단말(220)로부터 평가 결과를 수신한다.The evaluator accesses and connects to the speech disability evaluation device 100 through the terminal, receives or streaming playback of the speaker's recorded data, listens to the recorded data and performs evaluation to input the evaluation result into the terminal, and the speech disability evaluation device ( 100 receives the evaluation result from the evaluator terminal 220 .

말 장애 평가 장치(100)는 평가자의 평가 결과에 따라서 발화자의 정보, 발화자의 녹음 데이터, 녹음 데이터의 평가 결과를 정상 집단과 말 장애 집단으로 분류하여 메모리(130)에 저장한다. 그리고, 발화자의 녹음 데이터, 발화자의 녹음 데이터에 대한 평가 결과, 및 발화자의 정보 중 적어도 하나를 이용하여 학습데이터를 구축하고 이를 기반으로 판단 모델을 학습시키게 된다.The speech impairment evaluation apparatus 100 classifies the information of the speaker, the recorded data of the speaker, and the evaluation result of the recorded data into a normal group and a speech impairment group according to the evaluation result of the evaluator, and stores the classified information in the memory 130 . Then, learning data is constructed by using at least one of the speaker's recorded data, the evaluation result of the speaker's recorded data, and the speaker's information, and a judgment model is trained based on this.

또한, 말 장애 평가 장치(100)는 정상 집단으로 분류되어 저장된 발화자의 정보, 발화자의 녹음 데이터, 녹음 데이터의 평가 결과 중 적어도 하나를 이용하여, 메모리(130)에 저장되어 있는 규준 자료를 업데이트할 수 있다.In addition, the speech impairment evaluation apparatus 100 uses at least one of the speaker information, the speaker's recorded data, and the evaluation result of the recorded data classified as a normal group to update the standard data stored in the memory 130 . can

몇몇 실시예에서, 말 장애 평가 장치(100)는 정상 집단으로 분류되어 저장된 발화자의 정보, 발화자의 녹음 데이터, 녹음 데이터의 평가 결과 중 적어도 하나를 이용하여, 말 장애를 평가하는 규준 자료를 생성할 수도 있다.In some embodiments, the speech disability evaluation apparatus 100 may generate standard data for evaluating speech disability by using at least one of information of a speaker classified as a normal group and stored, recorded data of the speaker, and an evaluation result of the recorded data. may be

이러한 규준 자료는 평가자 단말(220)로 제공되어 활용될 수도 있고, 메모리(130)에 저장되어 제어부(110)가 대상자의 말 장애를 평가하는 기준이 될 수도 있다.These standard data may be provided to and utilized by the evaluator terminal 220 , or may be stored in the memory 130 and become a standard for the control unit 110 to evaluate the subject's speech impairment.

말 장애 평가 장치(100)는 위와 같은 과정을 다수의 발화자들에게 실시하여 획득된 데이터들을 이용하여 빅데이터를 구축하고 학습데이터를 구축하여 판단 모델을 학습시킴으로써, 자체적으로 말 장애를 평가할 수 있는 모델을 구축하게 된다.The speech disability evaluation apparatus 100 performs the above process for a plurality of speakers and builds big data using the data obtained and builds learning data to learn the judgment model, a model capable of self-evaluating speech disability will build

도 2를 참조하면, 말 장애 평가 장치(100)가 말 장애 평가 대상자의 단말(230)로 적어도 하나의 발화 과제를 제공하고, 대상자는 발화 과제를 수행하여 발화 수행 음성을 녹음하게 된다.Referring to FIG. 2 , the speech impairment evaluation apparatus 100 provides at least one speech task to the terminal 230 of the subject for speech impairment evaluation, and the subject performs the speech task to record the speech performance voice.

아래에서 설명하는 실시예에서, 말 장애 평가 장치(100)는 말 장애 평가 대상자의 단말(230)로 발화 과제를 수행하여 발화 음성을 녹음하게 하고, 제어부가 녹음 데이터를 평가하여 평가 결과를 출력하는 것으로 설명하고 있지만, 대상자의 단말로 한정하는 것은 아니다.In the embodiment described below, the speech impairment evaluation apparatus 100 performs a speech task with the terminal 230 of the speech impairment evaluation target to record the speech voice, and the control unit evaluates the recorded data and outputs the evaluation result. Although described as that, it is not limited to the terminal of the subject.

예를 들어, 말 장애 평가의 대상자는 말 장애 평가 장치(100)를 이용하여 말 장애 평가를 수행할 수도 있다.For example, the subject of speech disability evaluation may use the speech disability evaluation apparatus 100 to perform speech disability evaluation.

이를 위해서, 말 장애 평가 장치(100)는 출력부(150, 예: 디스플레이 모듈, 음성 출력 장치 등)를 통해서 발화 과제를 출력하고, 대상자가 음성을 입력할 수 있도록 하는 음성입력장치(예: 마이크)를 구성요소로 더 포함할 수 있다.To this end, the speech impairment evaluation apparatus 100 outputs a speech task through the output unit 150 (eg, a display module, a voice output device, etc.), and a voice input device (eg, a microphone) that allows the subject to input a voice. ) may be further included as a component.

말 장애 평가 장치(100)는 통신부(120)를 통해 대상자의 단말(230)로부터 녹음 데이터를 수신하고, 제어부(110)가 메모리(130)에 저장된 판단 모델을 이용하여 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하고, 평가된 결과를 기반으로 대상자의 말 장애 여부 및 말 장애의 중증도 중 적어도 하나를 평가하게 된다.The speech disability evaluation apparatus 100 receives the recording data from the terminal 230 of the subject through the communication unit 120 , and the control unit 110 uses the judgment model stored in the memory 130 to set the recorded data as standard data. based on the evaluation, and based on the evaluated result, at least one of whether or not the subject has speech impairment and the severity of the speech impairment is evaluated.

보다 상세하게는, 각각의 발화 과제는 복수의 평가 항목을 포함하고 있다.More specifically, each speech task includes a plurality of evaluation items.

그리고, 제어부(110)는 녹음 데이터에 녹음된 발화 음성을 발화 과제에 따라서 평가하며, 각 발화 과제의 복수의 평가 항목을 기 설정된 규준 자료를 기반으로 평가하게 된다.Then, the controller 110 evaluates the spoken voice recorded in the recorded data according to the utterance task, and evaluates a plurality of evaluation items of each utterance task based on preset reference data.

본 발명의 실시예에서, 발화자, 평가자, 대상자의 단말은 음성을 입력하는 마이크, 발화 과제를 출력할 수 있도록 하는 디스플레이부, 녹음 데이터를 출력할 수 있는 스피커, 말 장애 평가 장치(100)와 데이터 통신을 수행할 수 있는 통신부(120)를 구비하고 있는 장치라면 무엇이든 적용이 가능하며, 대표적으로 스마트폰, 태블릿PC, 노트북 등과 같은 장치가 적용 가능하다.In an embodiment of the present invention, the speaker, the evaluator, and the terminal of the subject are a microphone for inputting a voice, a display unit for outputting a speech task, a speaker capable of outputting recorded data, the speech impairment evaluation apparatus 100 and data Any device having the communication unit 120 capable of performing communication is applicable, and representatively, devices such as a smart phone, a tablet PC, and a notebook computer are applicable.

아래에서는 다른 도면들을 참조하여 보다 상세하게 설명하도록 한다.Hereinafter, it will be described in more detail with reference to other drawings.

도 3은 본 발명의 실시예에 따른 말 장애 평가 장치(100)의 블록도이다.3 is a block diagram of the apparatus 100 for evaluating a horse's disability according to an embodiment of the present invention.

도 4 내지 도 15는 발화자가 단말을 이용하여 발화 과제를 수행하고, 평가자가 평가하는 것을 예시한 도면이다.4 to 15 are diagrams exemplifying that a speaker performs a speech task using a terminal and evaluates it by an evaluator.

먼저, 도 3을 참조하여 본 발명의 실시예에 따른 말 장애 평가 모델 구축 시스템(10)에 대하여 설명하도록 한다.First, with reference to Figure 3 will be described with respect to the horse disability evaluation model building system 10 according to an embodiment of the present invention.

도 3을 참조하면, 말 장애 평가 장치(100)는 제어부(110), 통신부(120), 메모리(130), 음성 인식모듈(140) 및 출력부(150)를 포함한다.Referring to FIG. 3 , the speech impairment evaluation apparatus 100 includes a control unit 110 , a communication unit 120 , a memory 130 , a voice recognition module 140 , and an output unit 150 .

다만, 몇몇 실시예에서 말 장애 평가 장치(100)는 도 3에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.However, in some embodiments, the horse disability evaluation apparatus 100 may include a smaller number of components or more components than the components shown in FIG. 3 .

통신부(120)는 말 장애 평가를 위한 적어도 하나의 발화 과제를 발화자 단말(210)로 제공하고, 발화 과제를 수행하여 녹음된 발화자의 녹음 데이터에 대한 평가자의 평가 결과를 발화자 단말(210)로 제공한다.The communication unit 120 provides at least one speech task for evaluation of speech impairment to the speaker terminal 210, and provides an evaluation result of the evaluator for the recorded data of the speaker recorded by performing the speech task to the speaker terminal 210 do.

말 장애 평가 장치(100)의 메모리(130)에는 발화자의 말 장애 여부를 평가하기 위한 발화 과제들이 저장되어 있을 수 있다.The memory 130 of the speech impairment evaluation apparatus 100 may store speech tasks for evaluating whether the speaker has speech impairment.

본 발명의 실시예에서 메모리(130)는 말 장애 평가 장치(100) 내에 구성요소로 구비되어 있을 수도 있고, 외부의 클라우드 서버와 같은 형태로 구비될 수도 있다.In an embodiment of the present invention, the memory 130 may be provided as a component in the horse disability evaluation apparatus 100, or may be provided in the same form as an external cloud server.

제어부(110)는 평가자 단말(220)로부터 수신된 평가 결과를 기반으로 발화자의 녹음 데이터를 정상 집단 또는 말 장애 집단으로 분류하여 메모리(130)에 저장한다.The control unit 110 classifies the speaker's recorded data into a normal group or a speech impairment group based on the evaluation result received from the evaluator terminal 220 and stores it in the memory 130 .

보다 상세하게는, 제어부(110)는 녹음 데이터에 대한 평가자의 평가 결과를 기반으로, 발화자의 정보, 발화자의 녹음 데이터, 및 녹음 데이터에 대한 평가 결과 중 적어도 하나를 정상 집단 또는 말 장애 집단으로 분류하여 메모리(130)에 저장한다.In more detail, the controller 110 classifies at least one of the speaker information, the speaker's recorded data, and the evaluation result of the recorded data into a normal group or a speech impairment group based on the evaluation result of the evaluator on the recorded data. and stored in the memory 130 .

또한, 제어부(110)는 평가 결과를 기반으로 발화자의 말 장애 원인, 말 장애의 중증도를 함께 저장할 수 있다.Also, the controller 110 may store the cause of the speaker's speech disorder and the severity of speech disorder together based on the evaluation result.

그리고, 제어부(110)는 발화자의 정보, 발화자의 녹음 데이터, 및 녹음 데이터에 대한 평가 결과 중 적어도 하나를 이용하여 학습데이터를 구축하고, 이를 기반으로 메모리(130)에 저장된 판단 모델을 학습시킨다.Then, the controller 110 builds learning data by using at least one of the speaker's information, the speaker's recorded data, and an evaluation result of the recorded data, and learns the judgment model stored in the memory 130 based on this.

이때, 제어부(110)는 평가 결과를 기반으로 발화자가 말 장애에 해당되는 경우, 발화자의 말 장애의 원인과 말 장애의 중증도를 학습데이터에 더 포함시킬 수 있다.In this case, when the speaker corresponds to a speech disability based on the evaluation result, the controller 110 may further include the cause of the speaker's speech disorder and the severity of the speech disorder in the learning data.

이와 같은 구성으로, 말 장애 평가 장치(10)는 발화자의 말 장애 원인, 말 장애 중증도를 함께 포함시켜 학습데이터를 구축하고, 판단 모델을 학습시킴으로써, 차후 말 장애 평가 대상자의 녹음 데이터를 기반으로 대상자의 말 장애 여부는 물론 말 장애의 원인과 중증도까지 평가할 수 있게 된다.With such a configuration, the speech disability evaluation device 10 builds learning data by including the speaker's speech disorder cause and speech disorder severity together, and by learning the judgment model, the subject based on the recording data of the subject for subsequent speech impairment evaluation It is possible to evaluate not only whether the person has a speech impairment, but also the cause and severity of the speech disorder.

일 실시예로, 말 장애 평가 장치(100)는 음성 인식 기능을 가진 음성 인식모듈(140)을 포함하여, 제어부(110)가 음성 인식모듈(140)을 제어하여 발화 과제 수행의 녹음 데이터에 대한 음성을 인식함으로써 판단부가 분석을 수행할 수 있으며, 제어부(110)가 학습데이터를 구축하여 음성 인식모듈(140)에 입력하여 학습시켜 말 장애를 가진 사람의 음성 인식 정확도를 향상시키도록 할 수 있다.In one embodiment, the speech impairment evaluation apparatus 100 includes a speech recognition module 140 having a speech recognition function, and the controller 110 controls the speech recognition module 140 to record data of performing a speech task. By recognizing the voice, the determination unit can perform the analysis, and the control unit 110 builds learning data and inputs it to the voice recognition module 140 to learn it, so that the speech recognition accuracy of a person with a speech impairment can be improved. .

이와 같이, 음성 인식모듈(140)은 녹음 데이터에서 음성을 인식할 수 있으며, 다수의 발화자가 수행한 녹음 데이터와 평가 결과, 발화자의 정보 등을 통해 학습된 결과로 말 장애를 가진 사람의 음성 인식 정확도가 보장되어 있다In this way, the voice recognition module 140 may recognize a voice from the recorded data, and recognize the voice of a person with a speech impairment as a result of learning from the recorded data performed by a plurality of speakers, evaluation results, and information of the speakers. Accuracy is guaranteed

일 실시예로, 제어부(110)는 정상 집단으로 분류되어 저장된 발화자의 녹음 데이터, 각 녹음 데이터에 대한 평가 결과, 및 각 녹음 데이터의 발화자 정보 중 적어도 하나를 이용하여 빅데이터를 구축하고, 이를 기반으로 규준 자료를 업데이트할 수 있다.In one embodiment, the controller 110 constructs big data using at least one of recorded data of speakers classified and stored as a normal group, evaluation results for each recorded data, and speaker information of each recorded data, and based on the to update the normative data.

이때, 규준 자료는 녹음 데이터에 대하여 복수의 평가 항목에 대하여 말 장애 여부를 평가하는 기준, 점수를 평가하는 평가 기준을 의미한다.In this case, the standard data refers to a criterion for evaluating whether speech is impaired for a plurality of evaluation items with respect to the recorded data, and an evaluation criterion for evaluating a score.

따라서, 메모리(130)에는 이와 같이 기존에 이용하던 규준 자료가 저장되어 있고, 제어부(110)가 빅데이터를 이용하여 규준 자료의 복수의 평가 항목에 대한 각종 기준값들을 업데이트 하는 것을 의미한다.Accordingly, it means that the standard data used previously is stored in the memory 130 , and the control unit 110 updates various reference values for a plurality of evaluation items of the norm data using big data.

도 4 내지 도 15를 참조하여, 본 발명의 실시예에 따른 말 장애 평가 장치(100)가 발화자 단말(210)과 평가자 단말(220)을 중개하여 비대면 말 장애 평가를 수행하는 것을 설명하도록 한다.4 to 15 , it will be described that the speech disability evaluation apparatus 100 according to an embodiment of the present invention performs non-face-to-face speech disability evaluation by intermediarying the talker terminal 210 and the evaluator terminal 220 . .

위에서 언급한 바와 같이, 말 장애 평가 장치(100)는 서비스 애플리케이션을 통해서 말 장애 평가 방법을 제공하게 되며, 발화자, 평가 대상자, 평가자는 각자 본인의 단말에 서비스 애플리케이션을 설치하여 가입하고, 로그인하여 서비스를 이용할 수 있다.As mentioned above, the equine disability evaluation device 100 provides a equine disability evaluation method through a service application, and the talker, the subject to be evaluated, and the evaluator install and sign up the service application in their own terminal, log in, and service is available.

평가자는 단말을 통해 평가자의 계정으로 접속하고, 평가 모드 또는 평가 페이지를 활성화하면, 평가를 기다리고 있는 발화자의 리스트 중에서 적어도 하나를 선택하여 평가를 실시할 수 있다.When the evaluator accesses the evaluator's account through the terminal and activates the evaluation mode or the evaluation page, the evaluator may select at least one from the list of speakers waiting for evaluation and perform evaluation.

이때, 평가자가 발화자의 발화 과제 수행 녹음 데이터에 대하여 평가하는 것은 평가자와 발화자가 동시에 접속하여 실시간으로 수행될 수도 있고, 기 수행되어 메모리(130)에 저장되어 있는 녹음 데이터에 대하여 수행될 수도 있다.In this case, the evaluator's evaluation of the speaker's speech task performance recording data may be performed in real time by connecting the evaluator and the speaker at the same time, or may be performed on recorded data previously performed and stored in the memory 130 .

도 4는 발화자, 평가 대상자가 단말에 서비스 애플리케이션을 설치하고, 가입하는 과정에서 각종 정보를 입력하는 것을 예시하고 있다.4 exemplifies that the speaker and the subject to be evaluated install the service application in the terminal and input various information in the course of subscribing.

본 발명의 실시예에서 발화자, 대상자의 말 장애 여부를 평가하기 위한 필수 정보로는, 성명, 성별, 언어, 생년월일, 학력, 교육년수 중 적어도 하나가 적용될 수 있으며, 이러한 필수 정보는 표준점수 산출에 반영될 수 있다.In an embodiment of the present invention, as essential information for evaluating whether the speaker or subject has a speech impairment, at least one of name, gender, language, date of birth, academic background, and number of years of education may be applied. can be reflected.

그리고, 본 발명의 실시예에서 발화자, 대상자의 말 장애 여부를 평가하기 위한 선택 정보로는, 등록번호, 손잡이(Handedness), 청력, 시력, 치아, 의학적 진단명, 의사소통장애 진단명, 발병 후 경과일, 주 호소, 복용중인 약, 정신상태 정보 등이 적용될 수 있다.And, in an embodiment of the present invention, the selection information for evaluating whether the speaker or the subject has speech impairment is, , main complaint, medications being taken, mental status information, etc. may be applied.

따라서, 제어부(110)가 학습데이터를 구축할 때, 위와 같은 정보들을 함께 포함시켜 학습데이터를 구축할 수 있으며, 학습데이터에 포함되는 정보는 각각의 상황에 따라서 제어부(110)가 결정할 수 있다.Accordingly, when the controller 110 constructs the learning data, the learning data may be constructed by including the above information together, and the information included in the learning data may be determined by the controller 110 according to each situation.

본 발명의 실시예에서 사용되는 발화 과제는 최대 연장발성 과제, 교호 운동 과제, 문단 읽기 과제, 문장 띄어 읽기 과제이며, 도면을 참조하여 순서대로 설명하도록 한다.The speech task used in the embodiment of the present invention is a maximum extended vocalization task, an alternating movement task, a paragraph reading task, and a sentence spacing task, which will be described in order with reference to the drawings.

도 5는 단말로 최대 연장발성 과제가 주어진 것이 예시되어 있으며, 최대 연장발성 과제는 최대 연장발성 시간(maximum phonation time, MPT)을 측정하는 것으로, 구체적으로 ‘Ah' prolongation('아'를 길게 발화하기)이 해당된다.5 exemplifies that a maximum extended phonation task is given to the terminal, and the maximum extended phonation task is to measure a maximum phonation time (MPT), specifically 'Ah' prolongation ('Ah' is uttered for a long time) below) is applicable.

발화자는 단말 화면의 녹음 버튼을 입력하여 녹음 기능을 활성화하고, '아'를 최대한 길게 발화하여 발화 과제를 수행하게 된다.The speaker activates the recording function by inputting the record button on the terminal screen, and performs the speech task by uttering 'ah' as long as possible.

이러한, 최대 연장발성 시간의 측정은 복수 회 반복하여 측정할 수 있으며, 최대 수행(Maximum performance)이 결과 및 표준점수 산출에 반영된다.The measurement of the maximum extended vocalization time can be repeated a plurality of times, and the maximum performance is reflected in the calculation of the result and standard score.

도 6은 평가자가 발화자의 최대 연장발성 과제 수행의 녹음 데이터를 평가한 것으로, 음도(Pitch), 음량(Loudness), 음질(Quality) 등의 항목에 대하여 점수를 매긴 것이 예시되어 있고, 평가 항목 이외의 기타 의견이 메모에 입력된 것이 예시되어 있다.6 is an example of the evaluator evaluating the recorded data of the speaker's performance of the maximum extended vocalization task, and scoring items such as pitch, loudness, and quality are exemplified, and other than the evaluation items It is exemplified that other opinions of

교호 운동 과제(Diadochokinetic rate, DDK)는 특정 단음절에 대하여 연속적으로 반복하는 발화를 녹음하는 교대운동속도(Alternating Motion Rates: AMR) 과제, 및 두 개 이상의 서로 다른 음절에 대하여 발화자가 연속적으로 반복하는 발화를 녹음하는 일련운동속도(Sequential Motion Rates: SMR) 과제 중 적어도 하나를 포함하는 것이다.The Diadochokinetic Rate (DDK) task consists of the Alternating Motion Rates (AMR) task, which records consecutively repeated utterances for a specific monosyllable, and the utterances continuously repeated by the speaker for two or more different syllables. to include at least one of the Sequential Motion Rates (SMR) tasks to record

본 발명의 실시예에서 교대운동속도(AMR) 과제는 퍼, 터, 커와 같은 특정 단음절을 연속적으로 반복하여 발화 과제를 수행할 수 있다.In an embodiment of the present invention, the AMR task may perform the utterance task by continuously repeating specific monosyllables such as putter, turkey, and ker.

도 7은 단말로 교대운동속도(AMR) 측정 과제가 주어진 것이 예시되어 있으며, 발화자는 녹음 버튼을 입력하여 녹음 기능을 활성화하고, '퍼'를 반복적으로 발화하여 발화 과제를 수행하게 된다.7 exemplifies that the task of measuring alternating motion speed (AMR) is given to the terminal, and the speaker inputs the record button to activate the recording function, and repeatedly utters 'fur' to perform the speech task.

이외에도, 말 장애 평가 장치(100)는 터, 커에 대한 교대운동속도 측정을 요청할 수 있다.In addition, the horse disability evaluation apparatus 100 may request the measurement of the alternating movement speed for the tucker and the Kerr.

도 8은 단말로 일련운동속도(SMR) 측정 과제가 주어진 것이 예시되어 있으며, 발화자는 녹음 버튼을 입력하여 녹음 기능을 활성화하고, '퍼터커'를 반복적으로 발화하여 발화 과제를 수행하게 된다.FIG. 8 exemplifies that the task of measuring the serial motion speed (SMR) is given to the terminal, and the speaker inputs the record button to activate the recording function, and repeatedly utters 'putucker' to perform the speech task.

일 실시예로, 교호 운동 과제는 기 설정된 시간(예: 5초) 동안 수행되며, 교대운동속도(AMR) 측정 중 최저 속도(Rate)와 일련운동속도(SMR)의 속도가 결과 및 표준점수 산출에 반영된다.In one embodiment, the alternating motion task is performed for a preset time (eg, 5 seconds), and the speed of the lowest speed (Rate) and the sequential motion speed (SMR) during the measurement of the alternating motion speed (AMR) is calculated as a result and a standard score is reflected in

도 9는 평가자가 발화자의 교호 운동 과제 수행의 녹음 데이터를 평가하는 것을 예시한 것이다. 평가자는 발화자의 녹음 데이터를 듣고, 발화자가 특정 말소리를 반복할 때마다 단말의 측정 버튼을 누르면 화면 상의 숫자가 카운트되어 증가하고 이를 통해 속도가 측정될 수 있다.9 is an example of an evaluator evaluating recording data of a speaker's performance of an alternating motor task. The evaluator listens to the speaker's recorded data, and whenever the speaker repeats a specific speech sound, presses the measurement button of the terminal, the number on the screen is counted and increased, and the speed can be measured through this.

도 10은 일련운동속도(SMR) 측정 과제에서 말 장애 평가 장치(100)가 발화자 단말(210)로 '바닷가'를 발화하도록 제공하는 것을 예시하고 있다.FIG. 10 exemplifies that the horse disability evaluation apparatus 100 provides the speaker terminal 210 to utter 'the beach' in the serial motion speed (SMR) measurement task.

영어 언어를 사용하는 대상에게 교호 운동 과제에서 'Buttercup'을 이용하여 말 장애 평가가 이루어지고 있지만, 한국어에는 이에 대응되는 제시어가 존재하지 않는다는 문제점이 있었다.Speech impairment is evaluated using 'Buttercup' in an alternating exercise task for subjects who use English language, but there is a problem in that there is no corresponding suggested word in Korean.

본 발명의 실시예에 따른 말 장애 평가 장치(100)는 '바닷가'라는 제시어를 일련운동속도 측정 과제에서 제공하고, 발화자에게 기 설정된 시간동안 '바닷가'를 연속적으로 반복 발화하도록 하여 녹음하고, 평가자가 이를 통해서 평가하게 된다.The horse disability evaluation apparatus 100 according to an embodiment of the present invention provides a suggestion word of 'beach' in a series of motion speed measurement task, and makes the speaker continuously repeat utterance of 'beach' for a preset period of time and records, and the evaluator will be evaluated through this.

'바닷가' 제시어를 통해서 SMR을 수행하게 되면, '퍼터커'와 마찬가지로 한 주기 동안 구강 내 조음위치의 변화(전방 → 중간 → 후방)가 나타나지만, '퍼터커'와 달리, 의미가 있는 낱말이고, 산출 시에 기식성(성문의 마찰에 의한 자질)을 요구하지 않는다는 장점이 있다.When SMR is performed through the suggestion word 'beach', the change of articulation position in the oral cavity (anterior → middle → posterior) appears during one cycle like 'putucker', but unlike 'putucker', it is a meaningful word, It has the advantage that it does not require parasitism (quality due to the friction of the glottis) at the time of calculation.

따라서, '바닷가' 제시어를 통해 SMR을 수행하게 되면, 의미를 가진 낱말을 이용한다는 점에서 '퍼터커'를 이용한 발화 과제를 이해하지 못하는 환자(예: 학령전기 아동)에게 과제 수행의 효과가 탁월하다는 장점이 있다.Therefore, if SMR is performed through the suggestion word 'beach', the effect of performing the task is excellent for patients who do not understand the utterance task using 'putucker' (eg, preschool children) in that they use words with meaning. There is an advantage that

또한, '바닷가' 제시어를 통해 SMR을 수행하여 산출 시 기식성을 요구하지 않는다는 점은, 성대 기능의 저하로 인해 기식성 자질의 자음(예를 들어, 'ㅍ', 'ㅌ', 'ㅋ')을 산출하지 못하여 '퍼터커' 제시어를 이용한 과제를 실시하지 못하는 환자에게 용이하다는 장점이 있다.In addition, the fact that SMR is not required at the time of calculation by performing SMR through the suggestion word 'beach' is that the consonants of parasitic qualities (for example, 'P', 'T', 'ㅋ') due to the deterioration of vocal cord function. ), it has the advantage of being easy for patients who cannot perform the task using the suggested word 'putucker'.

평가자는 교호 운동 과제 수행에 대한 녹음 데이터를 청취하고, 규칙성, 음질, 공명(Resonance) 등의 평가항목에 대하여 평가할 수 있으며, 평가 항목 이외 의견은 메모에 기입하여 입력할 수 있다.The evaluator listens to the recorded data on the performance of the alternating exercise task, and can evaluate evaluation items such as regularity, sound quality, and resonance, and opinions other than the evaluation items can be entered in a memo.

보다 상세하게는, 본 발명의 실시예에서 평가자는 규칙성 평가항목에 대하여 기 설정된 점수의 등간척도를 이용하여 발화자의 규칙성을 청지각적으로 평가할 수 있다.More specifically, in an embodiment of the present invention, the evaluator may auditory perceptually evaluate the regularity of the speaker by using an interval scale of preset scores for the regularity evaluation item.

또한, 평가자는 음질 평가항목에 대하여 기 설정된 점수의 등간척도를 이용하여 발화자의 기식성(breathy), 긴장성(strained) 및 지속성 여부(continuous or intermittent)에 대해 청지각적으로 평가할 수 있다.In addition, the evaluator can auditory-perceptually evaluate the breathy, strained, and continuous or intermittent of the speaker using the interval scale of preset scores for the sound quality evaluation items.

또한, 평가자는 공명 평가항목에 대하여, 기 설정된 점수의 등간척도를 이용하여 발화자의 과소비성(hyponasality), 과다비성(hypernasality) 및 지속성(continuous or intermittent)에 대해 청지각적으로 평가할 수 있다.In addition, the evaluator can auditory-perceptually evaluate the speaker's hyponasality, hypernasality, and continuous or intermittent with respect to the resonance evaluation item using an interval scale of a preset score.

도 11은 단말로 문단 읽기 측정 과제가 주어진 것이 예시되어 있으며, 발화자는 녹음 버튼을 입력하여 녹음 기능을 활성화하고, 주어진 문장을 읽어서 발화 과제를 수행하게 된다.11 exemplifies that a paragraph reading measurement task is given to the terminal, the speaker inputs the record button to activate the recording function, and reads the given sentence to perform the speech task.

이때, 문단 읽기 과제는 기 설정된 길이 이하의 짧은 문단 읽기, 기 설정된 길이 이상의 긴 문단 읽기 과제가 주어질 수 있으며, 언어 선택에 따라서 해당되는 언어의 문단이 제공된다.In this case, as the paragraph reading task, a short paragraph reading task of less than a preset length or a long paragraph reading task of a preset length or more may be given, and a paragraph of a corresponding language is provided according to the language selection.

도 12와 같이 평가자는 문단 읽기 과제 수행에 대한 녹음 데이터를 통해서, 각 구간별 속도를 측정하여 이를 통해 속도 변화를 비교하는 읽기 속도를 측정할 수 있고, 말(발화)의 명료도, 공명, 호흡 문제 등의 평가항목에 대하여 평가할 수 있으며, 평가 항목 이외 의견은 메모에 기입하여 입력할 수 있다.As shown in FIG. 12 , the evaluator can measure the speed for each section through the recorded data on the performance of the paragraph reading task and measure the reading speed to compare the speed change through this, and speech (utterance) intelligibility, resonance, and breathing problems Evaluation items can be evaluated, and opinions other than evaluation items can be entered in a memo.

도 13은 단말로 문장 띄어 읽기 과제가 주어진 것이 예시되어 있으며, 발화자는 녹음 버튼을 입력하여 녹음 기능을 활성화하고, 주어진 문장을 발화하여 발화 과제를 수행하게 된다.13 exemplifies that a sentence reading task is given by a terminal, the speaker inputs a record button to activate a recording function, and utters a given sentence to perform the utterance task.

보다 상세하게는, 한국어의 경우 동일한 음절들로 구성된 문장이라 할지라도, 문장 내 띄어 쓰기/읽기 위치에 따라서 복수의 서로 다른 의미를 갖는 문장이 있다.More specifically, in the case of Korean, even in a sentence composed of the same syllables, there are a plurality of sentences having different meanings depending on the spacing/reading position in the sentence.

따라서, 본 발명의 실시예에 따른 말 장애 평가 장치(100)는 문장 내 띄어 읽기 위치에 따라 복수의 서로 다른 의미를 갖는 적어도 하나의 문장에 대한 발화자의 발화를 녹음하여 수행되는 문장 띄어 읽기 과제를 제공하여, 발화자, 대상자의 말 장애를 평가하게 된다.Therefore, the speech impairment evaluation apparatus 100 according to an embodiment of the present invention performs a sentence spacing reading task performed by recording the speaker's utterance for at least one sentence having a plurality of different meanings according to the spacing reading position in the sentence. In this way, the speaker and the subject's speech impairment will be evaluated.

본 출원인은 기존의 말 장애 평가 방법에서 한국어에 특화된 검사 방법을 연구하게 되었고, 위와 같은 문장을 읽게하고 이에 대하여 평가하면 발화자, 대상자의 말 장애 여부와 중증도를 효과적으로 평가할 수 있다는 결과를 얻게 되었다.The present applicant studied the Korean language-specific test method in the existing speech impairment evaluation method, and when the above sentences are read and evaluated, the result was obtained that it was possible to effectively evaluate the presence and severity of speech impairment of the speaker and subject.

한국어에서 '어절'이란 문장을 구성하고 있는 각각의 마디로서, 띄어쓰기/읽기의 단위가 되며, 어절 내 또는 어절 간의 간격, 즉 쉼 구간 길이가 정상보다 짧아지거나 길어지게 되면 말의 명료도가 낮아지면서 문장 의미를 파악하기 어려워질 수 있다.In Korean, 'eojeol' is each word that composes a sentence, and it is a unit of spacing/reading. It can be difficult to understand the meaning.

특히, 한국어와 같이 어절 간의 간격이 명확하게 벌어져서 발음되어야 하는 언어의 경우에는 이러한 어려움이 두드러진다는 특징이 있다.In particular, in the case of a language that must be pronounced with a clear gap between words, such as Korean, this difficulty stands out.

일 실시예로, 말 장애 평가 장치(100)는 문장 띄어 읽기 과제로 도 13과 같은 문장을 제공할 수 있다.As an embodiment, the speech impairment evaluation apparatus 100 may provide a sentence as shown in FIG. 13 as a sentence spacing reading task.

도 13을 참조하면, 제1문장("한 번만 져줘")과 제2문장("한 번 만져줘")은 띄어 쓰기/읽기의 위치에 따라서 전혀 다른 의미의 문장이 된다.Referring to FIG. 13 , the first sentence (“Loss only once”) and the second sentence (“Touch me once”) have completely different meanings according to the positions of writing/reading spaces.

발화자는 녹음 버튼을 입력하여 녹음을 활성화하고 제1문장을 읽어서 발화 음성을 녹음한 후 완료하고, 이후 다시 녹음 버튼을 입력하여 녹음을 활성화하고 제2문장을 읽어서 발화 음성을 녹음한 후 완료하여, 제1문장과 제2문장 각각의 녹음 데이터를 생성할 수 있다.The speaker enters the record button to activate the recording, reads the first sentence to record the spoken voice, and then completes it, then inputs the record button again to activate the recording, reads the second sentence to record the spoken voice, and then completes, Recorded data of each of the first sentence and the second sentence may be generated.

이때, 도 13과 같이 복수의 의미를 갖는 서로 다른 제1문장, 제2문장을 모두 제시하여 평가자가 2개의 문장을 어떻게 읽는지 평가할 수도 있으며, 하나의 문장만을 제시하여 발화 과제를 수행하도록 할 수도 있다.In this case, as shown in FIG. 13 , different first and second sentences having a plurality of meanings may be presented to evaluate how the evaluator reads two sentences, or only one sentence may be presented to perform an utterance task. .

평가자는 문장 띄어 읽기 과제 수행의 녹음 데이터에 대하여, 어절 내 또는 어절 간 쉼 구간의 빈도, 비율 및 길이 중 적어도 하나의 항목을 평가할 수 있다. 또한, 이외에도 발화자가 제1문장과 제2문장의 각각 정확한 의미가 전달되도록 발화하였는지에 해당되는 평가 항목이 추가될 수도 있다.The evaluator may evaluate at least one item among the frequency, ratio, and length of pauses within or between words with respect to the recorded data of performing the sentence spacing reading task. In addition, an evaluation item corresponding to whether the speaker has spoken so that the correct meaning of the first sentence and the second sentence is transmitted may be added.

도 14 내지 도 16은 발화자의 발화 과제 수행의 녹음 데이터에 대한 평가자의 평가 결과가 출력되는 것이 예시되어 있다.14 to 16 exemplify the output of the evaluation result of the evaluator with respect to the recorded data of the speaker's performance of the speech task.

위와 같은 과정들을 통해서, 발화자는 단말을 통해서 평가자와 비대면으로 말 장애 평가를 수행할 수 있으며, 평가 결과 또한 단말로 제공받아 확인할 수 있는 효과가 있다.Through the above processes, the talker can perform speech impairment evaluation non-face-to-face with the evaluator through the terminal, and the evaluation result is also provided to the terminal and confirmed.

그리고, 전술한 바와 같이 말 장애 평가 장치(100)는, 이와 같이 발화자와 평가자의 말 장애 평가를 중개하고, 수많은 결과 데이터를 이용하여 판단 모델을 학습시키게 된다.And, as described above, the speech impairment evaluation apparatus 100 mediates the speech impairment evaluation of the speaker and the evaluator in this way, and learns the judgment model using a large number of result data.

아래에서는, 이와 같이 말 장애 평가 장치(100)가, 말 장애 평가 모델 구축 시스템(10)에 의해 구축된 판단 모델을 이용하여 말 장애 평가 대상자를 평가하는 것에 관하여 설명하도록 한다.Hereinafter, as described above, the horse disability evaluation apparatus 100 evaluates the horse disability evaluation target using the judgment model constructed by the equine disability evaluation model building system 10 .

말 장애 평가 장치(100)가 평가 대상자의 단말(230)로 발화 과제를 제공하여 수행하게 하고, 녹음 데이터를 수신하는 것은 위에서 설명한 발화자를 대상으로 하는 것과 동일할 수 있으며, 평가자의 역할을 말 장애 평가 장치(100)가 대신하게 된다.The speech impairment evaluation apparatus 100 provides a speech task to the terminal 230 of the subject to be evaluated, and receiving the recording data may be the same as targeting the speaker described above, and the role of the evaluator is The evaluation device 100 takes over.

아래에서 설명하는 대상자는 말 장애 평가를 수행하는 평가 대상자를 지칭하는 것이다.The subject described below refers to an evaluation subject who performs a speech disability evaluation.

말 장애 평가 장치(100)의 제어부(110)는 통신부(120)를 통해 대상자의 단말(230)로 적어도 하나의 발화 과제를 제공하고, 대상자에게 발화를 녹음하도록 요청한다.The control unit 110 of the speech impairment evaluation apparatus 100 provides at least one speech task to the terminal 230 of the subject through the communication unit 120 and requests the subject to record the speech.

통신부(120)는 대상자가 적어도 하나의 발화 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 수신한다.The communication unit 120 receives the recorded data including the speech voice recorded by the subject performing at least one speech task.

제어부(110)는 판단 모델을 이용하여 수신된 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하고, 평가된 결과를 기반으로 대상자의 말 장애 여부 및 말 장애의 중등도 중 적어도 하나를 판단한다.The control unit 110 evaluates the received recording data based on preset reference data using the judgment model, and determines at least one of whether or not the subject has speech impairment and the severity of the speech impairment based on the evaluation result.

그리고, 제어부(110)는 판단된 결과를 나타내는 정보를 출력한다.Then, the control unit 110 outputs information indicating the determined result.

이때, 제어부(110)는 말 장애 평가 장치(100)에 구비된 출력부(150, 예: 디스플레이 모듈, 음성 출력 장치 등)를 통해서 정보를 출력할 수도 있고, 대상자의 단말(230)을 통해서 정보를 출력할 수도 있다.In this case, the control unit 110 may output information through the output unit 150 (eg, a display module, a voice output device, etc.) provided in the speech impairment evaluation apparatus 100, or information through the terminal 230 of the subject. can also be printed out.

이때, 발화 과제는 전술한 것과 같이, 최대 연장발성 과제, 교호 운동 과제, 문단 읽기 과제, 문장 띄어 읽기 과제 중 적어도 하나의 발화 과제가 포함될 수 있다.In this case, as described above, the speech task may include at least one speech task among a maximum extended vocalization task, an alternating exercise task, a paragraph reading task, and a sentence spacing task.

아래에서 설명하는 실시예들은, 위에서 언급하였던 각 발화 과제가 포함하고 있는 복수의 평가 항목에 관한 것이다. 제어부(110)는 녹음 데이터에 포함된 각 발화 과제 수행의 녹음 데이터를 아래와 같은 평가 항목들에 대하여 평가하며, 이때의 평가 기준은 규준 자료가 적용된다.Embodiments described below relate to a plurality of evaluation items included in each of the above-mentioned speech tasks. The control unit 110 evaluates the recorded data of performing each speech task included in the recorded data for the following evaluation items, and the standard data is applied as the evaluation criteria at this time.

일 실시예로, 제어부(110)는 대상자가 문장 띄어 읽기 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터에 대하여, 어절 내 또는 어절 간 쉼 구간의 빈도, 비율 및 길이 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In one embodiment, the control unit 110, with respect to the recorded data including the spoken voice recorded by the subject performing a sentence spacing reading task, at least one item of the frequency, ratio, and length of inter-word or inter-word rest periods. It is characterized in that it is analyzed and evaluated.

일 실시예로, 제어부(110)는 대상자가 최대 연장 발성 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 최대 연장발성 시간, 주파수 변동률, 진폭 변동률, 캡스트럼 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In one embodiment, the control unit 110 analyzes the recorded data including the spoken voice recorded by the subject performing the maximum extended vocalization task with respect to at least one of the maximum extended vocalization time, the frequency change rate, the amplitude change rate, and the cepstrum. characterized by evaluation.

일 실시예로, 제어부(110)는 대상자가 교호 운동 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 발화 속도, 발화 주기의 규칙성 및 발화 진폭의 규칙성 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In an embodiment, the controller 110 analyzes recorded data including speech voices recorded by the subject performing an alternating exercise task with respect to at least one of speech speed, regularity of speech cycle, and regularity of speech amplitude. characterized by evaluation.

일 실시예로, 제어부(110)는 대상자가 문단 읽기 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 발화 속도, 쉼 구간의 빈도, 쉼 구간의 비율, 쉼 구간의 길이, 기본 주파수 및 캡스트럼 중 적어도 하나의 항목에 대하여 분석하여 평가하는 것을 특징으로 한다.In one embodiment, the control unit 110 transmits the recorded data including the spoken voice recorded by the subject performing the paragraph reading task to the speech speed, the frequency of the pause section, the ratio of the pause section, the length of the pause section, the fundamental frequency, and the caps. It is characterized in that it is analyzed and evaluated for at least one item of Trump.

말 장애 평가 장치(100)의 제어부(110)는 위와 같이 대상자가 수행한 적어도 하나의 발화 과제에 대하여 평가하게 되고, 통신부(120)를 통해 평가 결과를 대상자의 단말(230)로 제공하거나 출력한다.The control unit 110 of the speech impairment evaluation apparatus 100 evaluates at least one speech task performed by the subject as above, and provides or outputs the evaluation result to the subject's terminal 230 through the communication unit 120 .

제어부(110)는 대상자의 녹음 데이터 및 판단 결과를 메모리(130)에 저장하고 대상자의 말 장애 여부, 중증도에 대한 관리 서비스를 제공할 수 있다.The control unit 110 may store the recording data and the determination result of the subject in the memory 130 and provide a management service for the subject's speech impairment and severity.

일 실시예로, 제어부(110)는 금번에 진행된 말 장애 평가 결과로 판단된 대상자의 말 장애 중증도가 기존에 발화 과제를 수행하여 판단된 중증도보다 기 설정된 수치 이상 변화된 경우, (악화된 경우, 호전된 경우를 모두 포함할 수 있음) 메모리(130)를 검색하여 중증도 수치 변화의 원인에 해당되는 녹음 데이터를 추출하여 대상자의 단말(230)로 제공할 수 있다.In one embodiment, the controller 110 is configured to control the subject's speech impairment determined as a result of the speech impairment evaluation conducted this time when the severity of the subject's speech impairment is changed by more than a preset value compared to the severity determined by performing the previous speech task, (if worsened, improved may include all cases) may be retrieved from the memory 130 to extract the recording data corresponding to the cause of the change in severity level and provided to the terminal 230 of the subject.

단순하게 대상자의 말 장애 여부와 중증도 수치를 평가하여 알려주는 경우, 대상자와 대상자의 보호자는 대상자의 말 장애가 호전된 이유, 또는 악화된 이유에 대해서 알 수 있는 방법이 없다.In the case of simply evaluating the subject's speech impairment and severity level, the subject and the subject's guardian have no way of knowing why the subject's speech impairment has improved or has worsened.

하지만, 본 발명의 실시예에 따른 말 장애 평가 장치(100)는 위와 같은 구성을 통해서, 금번 평가로 인하여 중증도 수치가 변화된 것과 매칭되는 기존 발화 수행의 녹음 데이터를 서치하여 제공해줌으로써, 대상자 혹은 대상자의 보호자가 2개의 녹음 데이터(기존 녹음 데이터, 금번 녹음 데이터)를 듣고 비교하여 중증도 수치가 변화된 이유를 직접 알 수 있도록 하는 효과가 있다.However, the speech impairment evaluation apparatus 100 according to an embodiment of the present invention provides the above-described configuration by searching for and providing recorded data of the existing speech performance matching the change in the severity level due to this evaluation, so that the subject or the subject's It has the effect of allowing the guardian to directly know the reason for the change in the severity level by listening and comparing the two recorded data (the previous recording data and the current recording data).

일 실시예로, 제어부(110)는 기존 녹음 데이터에 대한 평가 결과와 금번 녹음 데이터에 대한 평가 결과를 함께 제공하고, 복수의 평가 항목에 대한 비교 결과를 제공하거나, 별도로 평가자를 중개해주고 2개의 녹음 데이터를 평가자 단말(220)로 제공하여 상세한 진단을 받도록 하는 기능을 제공할 수도 있다.In one embodiment, the control unit 110 provides an evaluation result for the existing recording data and an evaluation result for the current recording data together, and provides a comparison result for a plurality of evaluation items, or separately intermediaries an evaluator and performs two recordings A function of providing data to the evaluator terminal 220 to receive a detailed diagnosis may be provided.

현재 사용되고 있는 음성 인식(Speech recognition) 기술은 정상인의 음성을 인식하는데 포커싱되어 있으며, 말의 명료도(정확도)가 떨어지는 말 장애(예: 마비말장애) 환자의 음성이나 발화를 인식하는 정확도가 현저하게 떨어진다는 문제점이 있다.Speech recognition technology currently used is focused on recognizing the voice of a normal person, and the accuracy of recognizing the speech or utterance of a patient with speech impairment (eg, paraplegic speech disorder) with poor speech intelligibility (accuracy) is remarkably high. There is a problem with falling.

또한, 말 장애(특히, 마비말장애)를 가진 환자가 말 장애 여부와 중증도를 평가, 검사하기 위해서는 말 장애를 가졌거나 가진 것으로 추측되는 대상자가 평가자와 직접 대면하여 평가를 수행하였기 때문에, 대면의 번거로움과 대면을 꺼려하는 대상자들이 존재한다는 어려움이 있었다.In addition, in order for a patient with a speech impairment (especially paraplegic speech impairment) to evaluate and examine the presence and severity of speech impairment, a subject who has or is presumed to have a speech impairment performed the evaluation face-to-face with the evaluator. There was a difficulty that there were subjects who were reluctant to face inconvenience and face-to-face.

이러한 어려움이 존재하고 있었지만, 일반인(정상 집단)의 음성 인식 기술만 발전하고 있을 뿐, 말 장애를 가진 사람들의 음성을 인식하는 기술의 발전은 현저하게 뒤쳐져 있는 실정이다.Although these difficulties exist, only the speech recognition technology of the general public (normal group) has been developed, and the development of the technology for recognizing the speech of people with speech disabilities is remarkably lagging behind.

하지만, 상술한 바와 같이, 본 발명의 실시예에 따른 말 장애 평가 장치(100)는 다수의 발화자들의 발화 수행 녹음 데이터와 평가자의 평가 결과를 이용하여, 말 장애와 중증도를 평가할 수 있는 분석 모델을 구축하게 되고, 구축된 분석 모델을 이용하여 실제로 말 장애를 평가하고 싶은 대상자에게 적용할 수 있다는 효과를 발휘하게 된다.However, as described above, the speech impairment evaluation apparatus 100 according to an embodiment of the present invention uses the speech performance recording data of a plurality of speakers and the evaluation result of the evaluator to obtain an analysis model capable of evaluating speech impairment and severity. It has the effect of being able to apply it to subjects who want to actually evaluate speech impairment using the built-up analysis model.

도 17은 본 발명의 실시예에 따른 말 장애 평가 모델 구축 방법의 흐름도이다.17 is a flowchart of a method for constructing a horse disability evaluation model according to an embodiment of the present invention.

도 17을 참조하여, 본 발명의 실시예에 따른 말 장애 평가 모델 구축 방법에 대해서 설명하도록 한다.Referring to FIG. 17, a method for constructing a horse disability evaluation model according to an embodiment of the present invention will be described.

먼저, 말 장애 평가 장치(100)의 제어부(110)가 통신부(120)를 통해 발화자의 단말(210)로 발화 과제를 제공한다. (S110)First, the control unit 110 of the speech impairment evaluation apparatus 100 provides a speech task to the speaker's terminal 210 through the communication unit 120 . (S110)

S100 다음으로, 제어부(110)가 통신부(120)를 통해 발화 과제 수행의 녹음 데이터를 수신한다. (S120)S100 Next, the control unit 110 receives the recording data of performing the speech task through the communication unit 120 . (S120)

S120 다음으로, 제어부(110)가 통신부(120)를 통해 S120에서 수신된 녹음 데이터를 평가자의 단말(220)로 제공한다. (S130)S120 Next, the control unit 110 provides the recording data received in S120 through the communication unit 120 to the evaluator's terminal 220 . (S130)

S130 다음으로, 제어부(110)가 통신부(120)를 통해 평가자의 평가 결과를 수신한다. (S140)S130 Next, the control unit 110 receives the evaluation result of the evaluator through the communication unit 120 . (S140)

S140 다음으로, 제어부(110)가 평가 결과를 기반으로 발화자의 과제 수행 녹음 데이터를 정상 집단 또는 말 장애 집단으로 분류하여 저장한다. (S150)S140 Next, the controller 110 classifies and stores the speaker's task performance recording data into a normal group or a speech impaired group based on the evaluation result. (S150)

이상으로 설명한 본 발명의 실시예에 따른 말 장애 평가 모델 구축 방법은 도 1 내지 도 16을 통해 설명한 말 장애 평가 모델 구축 장치와 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.The equine disability evaluation model construction method according to the embodiment of the present invention described above differs from the equine disability evaluation model construction apparatus described with reference to FIGS. 1 to 16 only in the category of the invention, and since the content is the same, overlapping descriptions and examples will be omitted. do.

도 18은 본 발명의 실시예에 따른 말 장애 평가 방법의 흐름도이다.18 is a flowchart of a method for evaluating a horse's disability according to an embodiment of the present invention.

도 18을 참조하여, 본 발명의 실시예에 따른 말 장애 평가 방법에 대해서 설명하도록 한다.Referring to FIG. 18 , a method for evaluating a horse's disability according to an embodiment of the present invention will be described.

먼저, 말 장애 평가 장치(100)의 제어부(110)가 통신부(120)를 통해, 평가 대상자의 단말(230)로 적어도 하나의 발화 과제를 제공한다. (S310)First, the control unit 110 of the apparatus 100 for evaluating speech disability provides at least one speech task to the terminal 230 of the subject to be evaluated through the communication unit 120 . (S310)

S310 다음으로, 통신부(120)가 대상자의 단말(230)로부터 발화 과제 수행의 녹음 데이터를 수신한다. (S330)S310 Next, the communication unit 120 receives the recording data of the speech task performance from the terminal 230 of the subject. (S330)

S330 다음으로, 제어부(110)가 S330에서 수신된 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하고, 평가된 결과를 기반으로 대상자의 말 장애 여부 및 말 장애의 중증도 중 적어도 하나를 판단한다. (S350)S330 Next, the control unit 110 evaluates the recording data received in S330 based on preset reference data, and determines at least one of whether or not the subject has speech impairment and the severity of the speech impairment based on the evaluation result. (S350)

이상으로 설명한 본 발명의 실시예에 따른 말 장애 평가 방법은 도 1 내지 도 16을 통해 설명한 말 장애 평가 장치(100)와 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.The equine disability evaluation method according to the embodiment of the present invention described above differs from the equine disability evaluation apparatus 100 described with reference to FIGS. 1 to 16 only in the category of the invention, and since the content is the same, overlapping descriptions and examples will be omitted. .

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a server, which is hardware, and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through the device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure can do. In addition, such code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer to be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the above functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and computer-readable codes may be stored in a distributed manner.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in relation to the embodiment of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10: 말 장애 평가 모델 구축 시스템
100: 말 장애 평가 장치
110: 제어부
120: 통신부
130: 메모리
140: 음성 인식모듈
150: 출력부
210: 발화자 단말
220: 평가자 단말
230: 대상자 단말
10: Equine disability evaluation model building system
100: horse disability evaluation device
110: control unit
120: communication department
130: memory
140: voice recognition module
150: output unit
210: talker terminal
220: evaluator terminal
230: target terminal

Claims (1)

말 장애 평가 대상자가 적어도 하나의 발화 과제를 수행하여 녹음된 발화 음성을 포함하는 녹음 데이터를 수신하는 통신부; 및
상기 수신된 녹음 데이터를 기 설정된 규준 자료를 기반으로 평가하고, 상기 평가된 결과를 기반으로 상기 대상자의 말 장애 여부 및 중증도 중 적어도 하나를 판단하고, 상기 판단된 결과를 나타내는 정보를 출력하는 제어부를 포함하는,
말 장애 평가 장치.
a communication unit configured to receive recorded data including speech voices recorded by the speech impairment evaluation subject performing at least one speech task; and
A control unit that evaluates the received recording data based on preset reference data, determines at least one of whether or not the subject has speech impairment and the severity based on the evaluated result, and outputs information indicating the determined result containing,
Equine Disability Assessment Device.
KR1020220114799A 2020-10-12 2022-09-13 Device, method and program for speech impairment evaluation KR20220128976A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220114799A KR20220128976A (en) 2020-10-12 2022-09-13 Device, method and program for speech impairment evaluation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200131470A KR102444012B1 (en) 2020-10-12 2020-10-12 Device, method and program for speech impairment evaluation
KR1020220114799A KR20220128976A (en) 2020-10-12 2022-09-13 Device, method and program for speech impairment evaluation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131470A Division KR102444012B1 (en) 2020-10-12 2020-10-12 Device, method and program for speech impairment evaluation

Publications (1)

Publication Number Publication Date
KR20220128976A true KR20220128976A (en) 2022-09-22

Family

ID=81208454

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200131470A KR102444012B1 (en) 2020-10-12 2020-10-12 Device, method and program for speech impairment evaluation
KR1020220114799A KR20220128976A (en) 2020-10-12 2022-09-13 Device, method and program for speech impairment evaluation

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200131470A KR102444012B1 (en) 2020-10-12 2020-10-12 Device, method and program for speech impairment evaluation

Country Status (2)

Country Link
KR (2) KR102444012B1 (en)
WO (1) WO2022080774A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539049B1 (en) 2022-12-08 2023-06-02 주식회사 하이 Method And Device For Evaluating Dysarthria

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240031137A (en) 2022-08-31 2024-03-07 연세대학교 산학협력단 Apparatus and method for classificating types of primary progressive aphasia based on task performance results
WO2024049186A1 (en) * 2022-08-31 2024-03-07 연세대학교 산학협력단 Device and method for classifying type of primary progressive aphasia, on basis of task performance result

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080004182A (en) 2006-07-05 2008-01-09 동서대학교산학협력단 A system for aiding a mutual understanding of a speech handicapped person

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182069B1 (en) * 2011-09-14 2012-09-11 영남대학교 산학협력단 Diagnostic apparatus and method for idiopathic Parkinson's disease through prosodic analysis of patient utterance
JP6158179B2 (en) * 2012-06-29 2017-07-05 テルモ株式会社 Information processing apparatus and information processing method
KR101379431B1 (en) * 2013-01-21 2014-03-28 국민대학교산학협력단 Reading test method and terminal device and system employing the same method
KR101804389B1 (en) * 2015-11-23 2017-12-04 주식회사 이르테크 System and method for autonomically testing dementia
KR102188264B1 (en) * 2019-01-04 2020-12-08 순천향대학교 산학협력단 Language rehabilitation based vocal voice evaluation apparatus and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080004182A (en) 2006-07-05 2008-01-09 동서대학교산학협력단 A system for aiding a mutual understanding of a speech handicapped person

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539049B1 (en) 2022-12-08 2023-06-02 주식회사 하이 Method And Device For Evaluating Dysarthria

Also Published As

Publication number Publication date
WO2022080774A1 (en) 2022-04-21
KR20220048381A (en) 2022-04-19
KR102444012B1 (en) 2022-09-16

Similar Documents

Publication Publication Date Title
Révész et al. Text characteristics of task input and difficulty in second language listening comprehension
US10223934B2 (en) Systems and methods for expressive language, developmental disorder, and emotion assessment, and contextual feedback
Saz et al. Tools and technologies for computer-aided speech and language therapy
US8457967B2 (en) Automatic evaluation of spoken fluency
KR102444012B1 (en) Device, method and program for speech impairment evaluation
Baghai-Ravary et al. Automatic speech signal analysis for clinical diagnosis and assessment of speech disorders
McKechnie et al. Automated speech analysis tools for children’s speech production: A systematic literature review
US11688300B2 (en) Diagnosis and treatment of speech and language pathologies by speech to text and natural language processing
JP5105943B2 (en) Utterance evaluation device and utterance evaluation program
CN116343824B (en) Comprehensive evaluation and solution method, system, device and medium for talent expression capability
Keshet Automatic speech recognition: A primer for speech-language pathology researchers
Cave et al. The use of speech recognition technology by people living with amyotrophic lateral sclerosis: a scoping review
Jaddoh et al. Interaction between people with dysarthria and speech recognition systems: A review
JP2021110895A (en) Hearing impairment determination device, hearing impairment determination system, computer program and cognitive function level correction method
Liu et al. AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
US20220230626A1 (en) Creative work systems and methods thereof
Huang et al. A review of automated intelligibility assessment for dysarthric speakers
KR20210146825A (en) Method and system for analyzing language development disorder and behavior development disorder by processing video information input to the camera and audio information input to the microphone in real time
Bohac et al. A cross-lingual adaptation approach for rapid development of speech recognizers for learning disabled users
Aman et al. How affects can perturbe the automatic speech recognition of domotic interactions
Imam et al. The Computation of Assimilation of Arabic Language Phonemes
Moore " I'm Having Trouble Understanding You Right Now": A Multi-DimensionalEvaluation of the Intelligibility of Dysphonic Speech
Anzola et al. Goodness of pronunciation algorithm in the speech analysis and assessment for detecting errors in acoustic phonetics: An exploratory review
Fadhilah Fuzzy petri nets as a classification method for automatic speech intelligibility detection of children with speech impairments/Fadhilah Rosdi