KR101647193B1

KR101647193B1 - Apparatus and method for facilitating sentence based treatment for individuals with neurogenic communication disorders

Info

Publication number: KR101647193B1
Application number: KR1020140104311A
Authority: KR
Inventors: 성지은
Original assignee: 이화여자대학교 산학협력단
Priority date: 2014-08-12
Filing date: 2014-08-12
Publication date: 2016-08-10
Also published as: KR20160020008A

Abstract

본 발명의 실시예에 따른 문장 기반 치료 보조 장치는 문장 강화 훈련 과제 DB를 참조하여 각 문장 강화 훈련 부문들의 문장 강화 훈련 과제마다, 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성하는 문장 강화 훈련 과제 생성부, 생성된 문장 강화 훈련 과제 데이터들을 이용하여, 각 문장 강화 훈련 부문 별로, 텍스트 데이터와 그래픽 데이터를 환자에게 시각적으로 표시하고 음성 데이터를 청각적으로 전달하며, 환자의 응답에 관한 응답 데이터를 수집하는 치료 진행 제어부 및 응답 데이터를 처리하여 각 과제마다 과제 수행 결과를 판정하고, 판정된 과제 수행 결과를 치료 경과 DB에 저장하는 결과 처리부를 포함할 수 있다.The sentence-based treatment assistant apparatus according to the embodiment of the present invention refers to the sentence reinforcement training task DB and refers to the sentence reinforcement training task data including the graphic data, the text data, and the voice data Using the generated sentence reinforcement training task data, the text data and graphic data are displayed visually to the patient, the voice data is audibly transmitted, And a result processing unit for processing the response data to determine the results of task execution for each task and storing the result of the task execution in the treatment progress database.

Description

[0001] APPARATUS AND METHOD FOR FACILITATING SENTENCE BASED TREATMENT FOR INDIVIDUALS WITH NEUROGENIC COMMUNICATION DISORDERS [0002]

본 발명은 질환 치료 기술에 관한 것으로, 더욱 상세하게는, 신경 언어 장애군을 위한 언어 기능 치료 기술에 관한 것이다.TECHNICAL FIELD The present invention relates to a technique for treating a disease, and more particularly, to a technique for treating a language function for a neuro-linguistic disorder group.

경도 인지 장애(mild cognitive impairment, MCI)는 인지적 연속성을 전제로 정상적인 노화와 치매 사이의 경계에 해당하는 집단을 지칭하는 용어이다. 말하자면, 정상적인 인지 기능의 저하 상태와 병적인 치매 상태를 각각 양 극단으로 하는 인지기능의 스펙트럼이 있다면, 그 중간에 경도 인지 장애가 있다고 볼 수 있다.A mild cognitive impairment (MCI) is a term referring to a group that falls under the boundary between normal aging and dementia, assuming cognitive continuity. That is to say, if there is a spectrum of cognitive function with both normal cognitive decline and morbid dementia, respectively, there may be a mild cognitive impairment in the middle.

MCI 환자는 그 55% ~ 72%가 수년 이내에 치매로 진전하고(Flicker, Ferris 및 Reisberg, 1991), 또한 알츠하이머성 치매(dementia of Alzheimer's type, DAT)로 진행하는 비율은 약 10% ~ 15% 정도로서, 정상 노인이 치매로 진행하는 비율 약 1% ~ 2%에 비해 매우 높다.The proportion of patients with MCI progressing to dementia (Flicker, Ferris and Reisberg, 1991) and progression to dementia of Alzheimer's type (DAT) is around 10% to 15% , And the percentage of normal elderly people progressing to dementia is about 1% ~ 2%.

따라서, MCI를 치매의 임상적 전단계로 보고 미래에 DAT로 진전될 환자를 조기 변별하기 위한 연구가 계속되고 있다.Therefore, there is a continuing effort to distinguish MCI as a preclinical stage of dementia and early discrimination of patients who will progress to DAT in the future.

DAT 환자가 나타내는 언어적 특징 중 하나는 문장 이해 능력의 결함이다. 이에 따라 문장 이해 능력의 결함을 단어 이해 능력의 저하로 설명하는 이론과 통사 이해 능력의 손상으로 설명하는 주장이 각각 등장하였다. One of the verbal characteristics of DAT patients is the lack of understanding of sentences. As a result, there were arguments to explain defects of sentence comprehension ability due to impairment of comprehension ability and the theory explaining deficiency of word comprehension ability.

DAT의 임상적 전단계로 여겨지는 MCI 환자들의 문장 이해에 관하여도 유사한 연구가 진행되었는데, 통사 처리 능력에 관하여 정상 노인에 비해 문장 이해 테스트의 수행력에 저하를 보이는 연구 결과(Ribeiro, Mendoca 및 Guerreiro, 2006)와 그렇지 않고 유의한 차이가 없는 연구 결과(Hodges, Erzinclioglu 및 Patterson, 2006)가 혼재되어 있다.A similar study was conducted on the understanding of the sentences of MCI patients who were considered to be the clinical pre-stage of DAT. The results of the study showed that the performance of the sentence comprehension test was lower than that of the normal elderly (Ribeiro, Mendoca and Guerreiro, 2006 (Hodges, Erzinclioglu, and Patterson, 2006).

경도 인지 장애 환자, 치매 환자, 실어증 환자, 외상성 뇌손상 환자들을 포함하는 신경 언어 장애군에 대해, 춤이나 운동과 같은 신체적 기능이나 음악, 미술과 같은 감각적 기능을 자극함으로써 환자의 상태를 개선하거나 또는 진행을 지연하는 치료법들이 시도되고 있다.For patients with neurological disorders, including patients with mild cognitive impairment, dementia patients, aphasic patients, and traumatic brain injuries, the patient's condition may be improved or progressed by stimulating sensory functions such as dance, exercise, Are being tried.

기존에 신경 언어 장애 환자의 치료를 위해 언어 기능을 직접 자극함으로써 언어 장애를 치료하려는 시도로 언어 중심 치료(LOT, Language-Oriented Treatment)가 있다.There is a language-oriented treatment (LOT) as an attempt to treat language disorders by directly stimulating the language function for the treatment of patients with neuro-linguistic disorders.

언어 중심 치료 프로그램은 의사 소통을 구성하는 5 가지 양식, 즉 청각, 시각, 제스쳐, 언어, 그림을 토대로 구성된다. 그 중에서 언어 훈련은 123이나 가나다 등의 관용적인 단어 구현, 발음 교정, 따라하기, 소리내어 읽기, 낱말 맞추기, 이름대기, 문장 형성하기 등으로 구성된다. 특히 문장 형성하기 훈련은 제시된 그림을 보고 단문을 만들어보게 하는 훈련이라고 할 수 있다.Language-based therapy programs are based on five forms of communication: hearing, vision, gestures, language, and pictures. Among them, language training consisted of idiomatic vocabulary building such as 123 or alphabet, pronunciation correction, follow-up, reading aloud, word-matching, naming, and forming sentences. Particularly, it is a training to form sentences to make a short sentence by looking at the presented picture.

하지만 구체적으로 효과적인 그림-문장 훈련 기법을 위해서는 그림과 그로부터 강화하려는 문장 구조가 신중하게 설계되어야 한다. 즉, 그림과 문장은 환자가 그림으로부터 특정한 문장 구조에 따른 문장 형성을 집중적으로 훈련할 수 있도록 설계되어야 한다.However, for effective picture-sentence training techniques, the picture and the sentence structure to be reinforced from it must be carefully designed. That is, pictures and sentences should be designed so that the patient can intensively train sentence formation according to a specific sentence structure from the picture.

이러한 관점에서, 특히 한국어를 사용하는 신경 언어 장애군을 대상으로 하는 문장 기반의 체계적인 치료 프로그램은 미흡한 상태이다.From this point of view, the sentence-based systematic treatment programs targeting the neuro-linguistic impairments using Korean language are inadequate.

"컴퓨터 프로그램을 이용한 언어치료가 실어증환자의 낱말 이해 및 표현능력에 미치는 효과", 정유진 등, 한국언어청각임상학회, 언어청각장애연구, 2003.11"Effects of language therapy using a computer program on the understanding and expressive ability of aphasic patients", Jung Yoo Jin, et al., Korean Language and Audiology Clinical Society, 2003

본 발명이 해결하고자 하는 과제는 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법을 제공하는 데에 있다.A problem to be solved by the present invention is to provide a sentence-based treatment assist device and method for a neuro-linguistic disorder group.

본 발명이 해결하고자 하는 과제는 문장 형성 훈련에 부정적 영향을 미치는 통사 구조 외적인 요소들을 제거함으로써, 좀더 집중적으로 특정한 통사 구조의 훈련을 수행할 수 있는 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법을 제공하는 데에 있다.A problem to be solved by the present invention is to provide a sentence-based treatment assist device and method for a neuro-linguistic disorder group which can perform a training of a specific syntactic structure more intensively by removing elements outside the syntactic structure negatively affecting the sentence formation training In order to solve the problem.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.The solution to the problem of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 측면에 따른 문장 기반 치료 보조 장치는,According to an aspect of the present invention, there is provided a sentence-

문장 강화 훈련 과제 DB를 참조하여 각 문장 강화 훈련 부문들의 문장 강화 훈련 과제마다, 그래픽 데이터, 텍스트 데이터와 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성하는 문장 강화 훈련 과제 생성부; A sentence strengthening training task generating unit for generating sentence strengthening training task data including graphic data, text data, and voice data for each sentence strengthening training task of each sentence strengthening training section by referring to the sentence strengthening training task DB;

상기 생성된 문장 강화 훈련 과제 데이터들을 이용하여, 각 문장 강화 훈련 부문 별로, 상기 텍스트 데이터와 그래픽 데이터를 환자에게 시각적으로 표시하고 음성 데이터를 청각적으로 전달하며, 환자의 응답에 관한 응답 데이터를 수집하는 치료 진행 제어부; 및Using the generated sentence reinforcement training data, visually displaying the text data and the graphic data for each sentence reinforcement training section, audibly transmitting the voice data, and collecting response data regarding the response of the patient A medical treatment progress control section; And

상기 응답 데이터를 처리하여 각 과제마다 과제 수행 결과를 판정하고, 판정된 과제 수행 결과를 치료 경과 DB에 저장하는 결과 처리부를 포함하고,And a result processing unit for processing the response data to determine a task execution result for each task and storing the result of the task execution in a treatment progress database,

상기 그래픽 데이터는 행위자와 행위 대상자인 색상 캐릭터들의 동작을 묘사하도록 생성되고, 상기 텍스트 데이터는 행위자 또는 행위 대상자에 초점을 맞춘 문장을 표현하도록 환자를 유도하기 위한 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나를 포함하도록 생성되며, 상기 음성 데이터는 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나에 관한 음성을 포함하도록 생성될 수 있다.Wherein the graphic data is generated to describe an action of color characters that are actors and actors, and the text data includes an instruction sentence, an ignition sentence, a view sentence, a feedback sentence The speech data may be generated to include at least one of a sentence, a correct answer sentence, or an incorrect answer sentence, and the speech data may be generated to include speech relating to at least one of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence, .

일 실시예에 따라, 상기 문장 기반 치료 보조 장치는,According to one embodiment, the sentence-based therapy aid comprises:

캐릭터들로 의인화될 색상들에 대한 환자의 선호 여부와 유발되는 감정을 사전 검사하고, 사전 검사 결과 환자가 상대적으로 강한 선호도나 반감을 갖거나 강한 감정 유발을 일으키는 부적합 색상이 판정되면, 판정된 부적합 색상을 캐릭터 색상 후보군에서 제외하고, 부적합 색상들을 제외한 수정된 캐릭터 색상 후보군 중에서 의인화될 캐릭터 색상들을 선택하는 사전 검사부를 더 포함할 수 있다.If the patient's preference and induced emotions for the colors to be personified by the characters are checked in advance and the patient has a relatively strong preference or antinomy as a result of the preliminary test or a nonconformity color causing strong emotion is determined, And may further include a pre-inspection unit for excluding colors from the candidate color group, and selecting character colors to be rendered in the modified group of candidate color colors excluding the unsuitable colors.

일 실시예에 따라, According to one embodiment,

의인화될 캐릭터 색상들은 미리 설정된 캐릭터 색상 조합들 중에 선택될 수 있고,The character colors to be personified can be selected from preset character color combinations,

상기 사전 검사부는, The pre-

상기 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 어느 한 색상 조합을 임의적 또는 피검사자의 승인에 따라 선택하고, 선택된 색상 조합의 색상들을 캐릭터로 의인화될 복수의 캐릭터 색상들로 결정하도록 동작할 수 있다.The user may arbitrarily or arbitrarily select any combination of color combinations having no nonconforming color among the previously combined character color combinations and determine the colors of the selected color combination as a plurality of character colors to be personified as characters .

일 실시예에 따라, 상기 문장 강화 훈련 과제 생성부는According to one embodiment, the sentence enhancement training assignment generator

상기 문장 강화 훈련 과제 DB에 저장된 색상 캐릭터를 기반으로 사전 결정된 훈련 시나리오에 기초하여 그래픽 데이터, 텍스트 데이터와 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성하도록 동작할 수 있다.And to generate sentence strengthening training task data including graphic data, text data and voice data based on a predetermined training scenario based on the color characters stored in the sentence strengthening training task DB.

일 실시예에 따라, 상기 문장 강화 훈련 과제 DB는According to one embodiment, the sentence enhancement training assignment DB

각 문장 강화 훈련 부문들의 문장 강화 훈련 과제들에 관하여, 문제은행 식으로 미리 만들어진 다수의 과제 템플릿들을 저장하도록 동작하고,In the sentence strengthening training tasks of each sentence strengthening training section, it operates to store a number of assignment templates pre-

상기 문장 강화 훈련 과제 생성부는 The sentence strengthening training task creation unit

상기 문장 강화 훈련 과제 DB에 저장된 문장 이해 과제 템플릿, 동사 행위자 강화 훈련 과제 템플릿, 동사 대상자 강화 훈련 과제 템플릿, 물체 조작을 통한 문장 이해 강화 훈련 과제 템플릿, 조사 처리 강화 훈련 과제 템플릿 및 문장 완성 강화 훈련 과제 템플릿 중에서 선택된 훈련 과제 템플릿들과 선택된 캐릭터 색상 정보에 기초하여, 각 문장 강화 훈련 부문들의 훈련 과제들마다 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 생성함으로써, 훈련 시나리오에 따른 문장 이해 과제 데이터, 동사 행위자 강화 훈련 과제 데이터, 동사 대상자 강화 훈련 과제 데이터, 물체 조작을 통한 문장 이해 강화 훈련 과제 데이터, 조사 처리 강화 훈련 과제 데이터 및 문장 완성 강화 훈련 과제 데이터를 동적으로 생성하도록 동작할 수 있다.The sentence comprehension training task DB, sentence comprehension task template, verb actor strengthening training task template, verb target person strengthening training task template, strengthen understanding of sentence understanding through object manipulation training task template, Text data and voice data for each training task in each sentence strengthening training section on the basis of the training task templates selected from the templates and the selected character color information to generate sentence understanding task data according to the training scenario, Training task data, verb-targeted reinforcement training data, reinforcement of sentence understanding through object manipulation training data, reinforcement of survey processing data, and enhancement of sentence completion.

일 실시예에 따라, 상기 각 과제 템플릿은 행위자 또는 행위 대상자에 해당하는 색상 캐릭터가 미정인 상태의 문장 텍스트들과, 색상이 미정인 색상 캐릭터 이미지들이 행위에 맞게 동작하는 모습이 묘사된 그래픽 데이터 및 색상 명칭을 제외한 나머지 문장을 읽은 음성 클립들로 구성될 수 있다.According to one embodiment, each task template includes graphic data in which sentence texts in a state where a color character corresponding to an actor or an action target is not yet determined, graphic data in which a color character image in which colors are undefined behave according to an action, And voice clips that read the remaining sentence except for the color name.

환자가 특정 색상과 특정 동사에 기반하여 생성된 문항 데이터에 대한 반응이 다른 색상-동사 경향의 경우에 비하여 유의미한 특이성을 탐색하고, 유의미한 특이성이 있는 색상-동사 경향을 추출하는 색상-동사 경향 추출부를 더 포함할 수 있다.The color-verb-tendency extraction unit searches the meaning-specificity of the response of the patient to the item data generated based on the specific color and the specific verb compared to the other color-verb tendencies, and extracts the color-verb tendency with meaningful specificity .

상기 치료 진행 제어부가 입력받은 환자의 음성을 텍스트로 변환하여 상기 결과 처리부로 전달하는 음성 문장 인식부를 더 포함할 수 있다.And a speech sentence recognition unit for converting the voice of the patient inputted by the treatment progress control unit into text and transmitting the converted text to the result processing unit.

청구항 1에 있어서, 상기 문장 강화 훈련은 동사의 행위자에 관한 행위자 강화 훈련, 동사의 행위 대상자에 관한 행위 대상자 강화 훈련, 행위자와 행위 대상자 사이의 동작에 관한 문장 이해 강화 훈련, 행위자와 행위 대상자의 조사에 관한 조사 강화 훈련 내지 주어진 점화 문장에 따라 행위자와 행위 대상자를 가지고 문장을 완성하는 문장 완성 훈련 중 적어도 하나를 포함할 수 있다.The sentence strengthening training according to claim 1, wherein the sentence reinforcing drill includes training for strengthening actors regarding the actors of the verb, strengthening the actors about the action subjects of the verb, reinforcing understanding of the sentences about actions between actors and actors, And a sentence completion training in which a sentence is completed with an actor and an action subject according to a given ignition sentence.

본 발명의 다른 측면에 따른 컴퓨터에 기반하여 구현되는 문장 기반 치료 보조 장치의 동작 방법으로서,According to another aspect of the present invention, there is provided a method of operating a sentence-based therapy aid implemented on a computer,

상기 문장 기반 치료 보조 장치가, Wherein said sentence-based therapy aid comprises:

문장 강화 훈련 과제 DB를 참조하여 각 문장 강화 훈련 부문들의 문장 강화 훈련 과제마다, 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성하는 단계;Generating sentence strengthening training task data including graphic data, text data, and voice data for each of the sentence strengthening training tasks of each of the sentence strengthening training sections by referring to the sentence strengthening training task DB;

상기 생성된 문장 강화 훈련 과제 데이터들을 이용하여, 각 문장 강화 훈련 부문 별로, 상기 텍스트 데이터와 그래픽 데이터를 환자에게 시각적으로 표시하고 음성 데이터를 청각적으로 전달하며, 환자의 응답에 관한 응답 데이터를 수집하는 단계; 및Using the generated sentence reinforcement training data, visually displaying the text data and the graphic data for each sentence reinforcement training section, audibly transmitting the voice data, and collecting response data regarding the response of the patient ; And

상기 응답 데이터를 처리하여 각 과제마다 과제 수행 결과를 판정하고, 판정된 과제 수행 결과를 치료 경과 DB에 저장하는 단계를 포함하고,Processing the response data to determine a task execution result for each task, and storing the determined task execution result in a treatment progress database,

일 실시예에 따라, 캐릭터들로 의인화될 색상들에 대한 환자의 선호 여부와 유발되는 감정을 사전 검사하는 단계;According to one embodiment, pre-examining the patient ' s preferences and resulting emotions for colors to be personified as characters;

사전 검사 결과 환자가 상대적으로 강한 선호도나 반감을 갖거나 강한 감정 유발을 일으키는 부적합 색상이 판정되면, 판정된 부적합 색상을 캐릭터 색상 후보군에서 제외하는 단계; 및Excluding the determined unsuitable color from the character color candidate group if the patient has a relatively strong preference or a negative result as a result of the pre-test, or if an unsuitable color causing strong emotion is determined; And

부적합 색상들을 제외한 수정된 캐릭터 색상 후보군 중에서 의인화될 캐릭터 색상들을 선택하는 단계를 더 포함할 수 있다.And selecting character colors to be rendered in the modified character color candidate group excluding the unsuitable colors.

상기 캐릭터 색상 후보군 중에서 의인화될 캐릭터 색상들을 선택하는 단계는, The step of selecting character colors to be rendered in the character color candidate group includes:

상기 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 어느 한 색상 조합을 임의적 또는 피검사자의 승인에 따라 선택하고, 선택된 색상 조합의 색상들을 캐릭터로 의인화될 복수의 캐릭터 색상들로 결정하는 단계를 포함할 수 있다.Selecting any one of the color combinations having no non-compliant color among the previously combined character color combinations according to the approval of the testee, and determining the colors of the selected color combination as a plurality of character colors to be personified as a character .

일 실시예에 따라 상기 문장 강화 훈련 과제를 생성하는 단계는,The step of generating the sentence strengthening training task according to an embodiment includes:

상기 문장 강화 훈련 과제 DB에 저장된 색상 캐릭터를 기반으로 사전 결정된 훈련 시나리오에 기초하여 그래픽 데이터, 텍스트 데이터와 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성할 수 없다.The sentence strengthening training task data including the graphic data, the text data and the voice data can not be generated based on the predetermined training scenario based on the color character stored in the sentence strengthening training task DB.

일 실시예에 따라 상기 문장 강화 훈련 과제 DB는According to one embodiment, the sentence strengthening training task DB

상기 문장 강화 훈련 과제를 생성하는 단계는,The step of generating the sentence strengthening training task includes:

상기 문장 강화 훈련 과제 DB에 저장된 문장 이해 과제 템플릿, 동사 행위자 강화 훈련 과제 템플릿, 동사 대상자 강화 훈련 과제 템플릿, 물체 조작을 통한 문장 이해 강화 훈련 과제 템플릿, 조사 처리 강화 훈련 과제 템플릿 및 문장 완성 강화 훈련 과제 템플릿 중에서 선택된 훈련 과제 템플릿들과 선택된 캐릭터 색상 정보에 기초하여, 각 문장 강화 훈련 부문들의 훈련 과제들마다 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 생성함으로써, 훈련 시나리오에 따른 문장 이해 과제 데이터, 동사 행위자 강화 훈련 과제 데이터, 동사 대상자 강화 훈련 과제 데이터, 물체 조작을 통한 문장 이해 강화 훈련 과제 데이터, 조사 처리 강화 훈련 과제 데이터 및 문장 완성 강화 훈련 과제 데이터를 동적으로 생성하는 단계를 포함할 수 있다.The sentence comprehension training task DB, sentence comprehension task template, verb actor strengthening training task template, verb target person strengthening training task template, strengthen understanding of sentence understanding through object manipulation training task template, Text data and voice data for each training task in each sentence strengthening training section on the basis of the training task templates selected from the templates and the selected character color information to generate sentence understanding task data according to the training scenario, The training subject data, the verb target person reinforced training subject data, the sentence comprehension training subject data through the object manipulation, the training process data to reinforce the investigation process data, and the statement completion completion data.

일 실시예에 따라, 상기 각 과제 템플릿은 행위 또는 행위 대상자에 해당하는 색상 캐릭터가 미정인 상태의 문장 텍스트들과, 색상이 미정인 색상 캐릭터 이미지들이 행위에 맞게 동작하는 모습이 묘사된 그래픽 데이터 및 색상 명칭을 제외한 나머지 문장을 읽은 음성 클립들로 구성될 수 있다.According to one embodiment, each task template includes graphic texts in which text characters in a state in which a color character corresponding to an action or an action target is not yet determined, graphic data in which a color character image in which colors are not defined, And voice clips that read the remaining sentence except for the color name.

일 실시예에 따라, 환자가 특정 색상과 특정 동사에 기반하여 생성된 문항 데이터에 대한 반응이 다른 색상-동사 경향의 경우에 비하여 유의미한 특이성을 탐색하고, 유의미한 특이성이 있는 색상-동사 경향을 추출하는 단계를 포함하할 수 있다.According to one embodiment, when a patient responds to item data generated on the basis of a particular color and a specific verb, search for meaningful specificity as compared to other color-verb tendencies, and extracts color-verb tendencies with meaningful specificity Step < / RTI >

일 실시예에 따라 상기 문장 기반 치료 보조 장치의 동작 방법의 환자의 응답 음성을 텍스트로 변환하는 단계를 더 포함할 수 있다.The method may further include converting the response voice of the patient in the method of operating the sentence-based therapy assist device into text according to an embodiment.

일 실시예에 있어서, 상기 문장 강화 훈련은 동사의 행위자에 관한 행위자 강화 훈련, 동사의 행위 대상자에 관한 행위 대상자 강화 훈련, 행위자와 행위 대상자 사이의 동작에 관한 문장 이해 강화 훈련, 행위자와 행위 대상자의 조사에 관한 조사 강화 훈련 내지 주어진 점화 문장에 따라 행위자와 행위 대상자를 가지고 문장을 완성하는 문장 완성 훈련 중 적어도 하나를 포함할 수 있다.In one embodiment, the sentence enhancement training is a combination of the actor reinforcement training about the actor of the verb, the reinforcement training of the act person about the action subject of the verb, the reinforcement training of the sentence understanding about the action between the actor and the action person, It may include at least one of a survey reinforcement training on the investigation or a sentence completion training that completes the sentence with the actor and the action subject according to the given ignition sentence.

컴퓨터에서 실시예에 따른 어느 한 청구항에 따른 문장 기반 치료 보조 장치의 동작 방법의 각 단계들을 구현하도록 기록 매체에 수록된 컴퓨터프로그램.A computer program embodied in a computer readable medium embodying the steps of a method of operating a sentence-based therapy aid according to any one of the claims.

본 발명의 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에 따르면, 문장 형성 훈련에 부정적 영향을 미치는 통사 구조 외적인 요소들을 제거함으로써, 좀더 집중적으로 특정한 통사 구조의 훈련을 수행할 수 있다.According to the sentence-based therapy assistant apparatus and method for the neuropsychiatric disorder group of the present invention, it is possible to perform the training of a specific syntactic structure more intensively by removing elements outside the syntactic structure that have a negative influence on the sentence formation training.

본 발명의 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에 따르면, 환자가 그림으로써 훈련하고자 하는 문장 구조에 대한 이해에 기초하여 문장을 형성하는 대신에, 제시된 그림에 등장하는 캐릭터들에 관한 선호도, 편견, 고정 관념 내지 사전 지식에 따라 반응함으로써 치료에 부정적인 영향을 주는 현상을 최소화할 수 있다.According to the present invention, a sentence-based treatment assist device and method for a neuro-linguistic impairment group can be applied to a character in a presented picture, instead of forming a sentence based on an understanding of a sentence structure By reacting according to preference, prejudice, stereotypes or prior knowledge, it is possible to minimize the phenomenon that negatively affects treatment.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 문장 이해 수준을 확인하기 위한 문장 이해 과제의 문장-그림 쌍을 제시하는 화면을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 동사 행위자 강화 훈련 화면을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 동사 대상자 이해 강화 훈련 화면을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 캐릭터 조작을 통한 문장 이해 강화 훈련 화면을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 조사 처리 강화 훈련 화면을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 문장 완성 강화 훈련 화면을 예시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치의 동작 방법을 예시한 순서도이다.FIG. 1 is a block diagram illustrating a sentence-based therapy assist device for a neurological impairment group according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a screen for presenting a sentence-picture pair of a sentence understanding task for confirming a sentence understanding level in a sentence-based treatment assist device and method for a neuro-linguistic disorder group according to an embodiment of the present invention .
FIG. 3 is a diagram illustrating an example of a verbal agent reinforcing training screen in a sentence-based therapy assistant apparatus and method for a neural language disorder group according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a screen for enhancing comprehension of a verb subject in a sentence-based treatment assist device and method for a neuro-verbal disorder group according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a sentence-based reinforcement training screen through character manipulation in a sentence-based therapy assistant apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an examination processing reinforcement training screen in a sentence-based treatment assist apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a sentence completion reinforcement training screen in a sentence-based treatment assist apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.
FIG. 8 is a flowchart illustrating an operation method of a sentence-based therapy assistant apparatus for a neuro-speech disorder group according to another embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치를 예시한 블록도이다.FIG. 1 is a block diagram illustrating a sentence-based therapy assist device for a neurological impairment group according to an embodiment of the present invention.

도 1을 참조하면, 신경 언어 장애군을 위한 문장 기반 치료 보조 장치(10)는 사전 검사부(11), 문장 강화 훈련 과제 생성부(12), 문장 강화 훈련 과제 DB(13), 치료 진행 제어부(14), 결과 처리부(15) 및 치료 경과 DB(16)를 포함하며, 실시예에 따라 색상-동사 경향 추출부(17)나 음성 문장 인식부(18)를 더 포함할 수 있다.Referring to FIG. 1, a sentence-based healing assist device 10 for a neural language disorder group includes a pre-test section 11, a sentence strengthening training task generating section 12, a sentence strengthening training task DB 13, 14, a result processing unit 15 and a treatment progress DB 16, and may further include a color-verb-tendency extracting unit 17 and a voice-sentence recognizing unit 18 according to an embodiment.

기존의 문장-그림 기반의 언어 중심 치료 기법은 의인화된 동물 또는 사람 캐릭터와 특정한 동사를 이용하여 문장을 생성하고, 그러한 캐릭터들이 특정한 동사를 연상시키는 동작을 수행하는 그림을 환자에게 제시하여, 환자가 특정 동사를 가지고 문장을 만들도록 자극하는 식으로 설계되어 왔다.Conventional speech - based language - based therapy techniques generate sentences using an anthropomorphized animal or human character and a specific verb and present a picture to the patient that the characters perform actions that remind them of a particular verb, It has been designed to stimulate sentences with certain verbs.

예를 들어, 사람 캐릭터를 이용할 경우에 남자, 여자, 노인이나 청년, 제복입은 사람, 일반인 등과 같은 캐릭터들이 이용되고, 의인화된 동물의 경우 사자나 호랑이, 사슴, 개, 고양이와 같이 쉽게 이해할 수 있는 친근한 동물들이 이용되어 왔다.For example, when a human character is used, characters such as a man, a woman, an elderly person, a young man, a uniformed person, a general person, etc. are used. In the case of an anthropomorphized animal, Friendly animals have been used.

이러한 기존의 문장-그림 기반의 치료 기법은 어느 정도 좋은 결과를 보여주기는 했지만 간단한 문장 구조의 문장은 강화 훈련이 잘 진행되는 반면에 좀더 난이도가 높은 문장은 강화 훈련이 잘 진행되지 않거나, 특히 특정한 그림과 관련하여 훈련이 잘 진행되지 않을 수 있다.Although the conventional sentence-picture-based treatment technique showed some good results, the simple sentence structure sentence was well-reinforced, while the more difficult sentence did not progress well, Training may not progress well in relation to the picture.

이러한 문제의 원인은 환자들이 캐릭터에 대해 과도한 비선호, 편견, 고정 관념 또는 사전 지식으로 인해 주어진 지시 문장에 집중하지 못하여 해당 문장 구조의 강화 훈련에 실패하거나, 문장 외적인 요인들, 즉 캐릭터들에 대한 주관적인 선호나 편견, 일반화된 고정 관념이나 사전 지식에 따른 추론에 의해 의도한 문장 구조의 문장 형성이 방해를 받기 때문인 것으로 추정할 수 있다.The cause of this problem is that patients fail to concentrate on given sentences due to excessive non-preference, prejudice, stereotypes, or prior knowledge of the characters, failing reinforcement training of the sentence structure, or causing extrinsic factors, It can be inferred that preference, prejudice, generalized stereotypes, or inference based on prior knowledge interfere with the formation of the sentence structure of the intended sentence structure.

예를 들어, 호랑이 캐릭터가 사슴 캐릭터를 쫓는 상황에 관련된 문장과 그림은, 그러한 상황이 환자에게 자연스러운 상황으로서, 시각적으로 저항없이 받아들여질 뿐 아니라, 지시 문장을 인식하기도 전에 환자가 사전 지식에 의해 스스로 관념을 형성하며, 지시 문장에 따르는 대신에, 스스로 형성한 관념에 따라 문장을 만들 수 있다. 따라서 지시 문장과 그림으로써 의도한 문장 구조의 강화 훈련이 잘 되지 않을 수 있다.For example, sentences and pictures related to the situation in which a tiger character chases a deer character are not only visually resisting without such resistance as a natural situation for the patient, Instead of following an instructional sentence, you can form a sentence according to your own ideas. Therefore, reinforcement training of intentional sentence structures by instructional sentences and pictures may not be performed well.

반대로 사슴 캐릭터가 호랑이 캐릭터를 때리는 상황에 관련된 문장과 그림은 그러한 상황이 환자에게 매우 부자연스럽게 느껴지기 때문에 환자가 지시 문장을 이해하는 것을 방해하고, 그림의 상황을 이해하는 데에 과도하게 노력이 필요하게 되어 지시 문장에 따르지 못하고 문장 형성에 실패할 수 있다. On the other hand, sentences and pictures related to the situation in which the deer character hits the tiger character seem to be very unnatural to the patient, so they interfere with the patient's understanding of the instructional sentence and require excessive efforts to understand the situation of the picture. And can fail to form a sentence without following the sentence.

본 발명의 실시예들에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 캐릭터들에 대한 선호 또는 비선호, 편견, 고정 관념 또는 사전 지식을 최소화할 수 있도록, 색상에 기초한 캐릭터 체계가 이용된다.In order to minimize the preference or non-preference, prejudice, stereotypes or prior knowledge of characters in a sentence-based therapy aid for a neurological impairment group according to embodiments of the present invention, a color- .

색상을 의인화한 색상 캐릭터들은 일반적으로 색상들끼리 우열 관계를 즉각적으로 야기하는 고정 관념이나 상성이 적고, 통상적으로 색상에 대한 선호나 비선호가 주어진 상황 인지를 방해할 정도로 강력하지 않으며, 특정 색상에 밀접하게 연관된다고 인정되는 특정 동사가 적다.Color personified color characters generally have little stereotypical or unrealistic tendency to instantly induce a superiority relationship among colors, and are not powerful enough to interfere with the preference or non-preference given to colors, There are few specific verbs that are recognized to be related.

따라서 색상의 의인화로서 캐릭터들에 대한 선호 또는 비선호, 편견, 고정 관념 또는 사전 지식에 의한 강화 훈련 방해를 상당히 방지할 수 있다.Thus, as a personification of colors, it is possible to prevent the obstacles of strengthening training by preference or non-preference, prejudice, stereotypes or prior knowledge of characters.

다만 일부 환자들의 경우에는 특정 색상에 대해 강한 반감이나 애착을 가질 가능성이 있고, 몇몇 색상은 특정한 부류의 사람들을 연상시키기도 하는데, 그러한 가능성에 의해 검사 결과가 왜곡될 가능성이 여전히 존재한다. In some patients, however, there is the possibility that they may have strong antipathy or attachment to a particular color, and some colors associate with a particular class of people, and the likelihood that the test results will be distorted by such possibilities still exists.

이러한 검사 결과의 왜곡을 막기 위해, 사전 검사부(11)는 주된 검사에 들어가기에 앞서, 캐릭터들로 의인화될 색상들에 대한 환자의 선호 여부와 유발되는 감정을 사전 검사하고, 사전 검사 결과 환자가 상대적으로 강한 선호도나 반감을 갖거나 강한 감정 유발을 일으키는 부적합 색상이 판정되면, 판정된 부적합 색상을 캐릭터 색상 후보군에서 제외할 수 있다. 예를 들어, 핑크색, 빨간색이나 파란색이 환자에게 문장 훈련에 무관한 반응을 일으킬 가능성이 높다면, 캐릭터 색상 후보군에서 제외하는 것이 바람직하다.In order to prevent the distortion of the examination result, the pre-examination unit 11 pre-examines the patient's preference and the emotions caused by the colors to be personified as characters before entering the main examination, , It is possible to exclude the determined unsuitable hue from the character color hue group if it is determined that the unsuitable hue causing strong emotion or strong emotion is generated. For example, if pink, red, or blue is likely to cause the patient to have an irrelevant response to sentence training, it is advisable to exclude them from the character color candidates.

나아가, 사전 검사부(11)는 개인적인 부적합 색상을 제외한 수정된 캐릭터 색상 후보군에서 캐릭터로 의인화될 복수의, 예를 들어 세 종류의 캐릭터 색상들을 선택한다.Further, the pre-inspection unit 11 selects a plurality of, for example, three kinds of character colors to be personified as characters in the modified character color candidate group excluding the individual unsuitable colors.

캐릭터 색상 후보군은 캐릭터로 각각 의인화될 후보 색상들의 집합이고, 의인화될 캐릭터 색상들은 부적합 색상들을 제외한 수정된 캐릭터 색상 후보군 중에서 선택될 수 있다.The character color candidate group is a set of candidate colors to be respectively personified as a character, and the character colors to be personified can be selected from the group of corrected character color candidates excluding the non-conforming colors.

캐릭터 색상들은 예를 들어, 노란색, 파란색, 검정색으로 선택될 수 있다. 이러한 복수의 캐릭터 색상들은 기본적으로 서로 색감의 차이가 커서 환자의 연령에 따른 낮은 시력이나 눈 상태를 감안하여도 구별하기 쉬운 색상들로서 선정된다. 예를 들어, 하늘색과 파란색은 색감이 비슷하여 함께 선택되지 않는 것이 바람직하다.The character colors may be selected, for example, as yellow, blue, or black. These plurality of character colors are basically selected as colors easily distinguishable from one another even when considering low vision or eye condition depending on the age of the patient because the difference in color feeling is large. For example, it is preferable that light blue and blue are not selected together because they are similar in color.

실시예에 따라, 의인화될 캐릭터 색상들은 미리 설정된 캐릭터 색상 조합들 중에 선택될 수 있다. 예를 들어, 위의 예와 같이 노란색, 파란색, 검정색의 조합이나, 주황색, 연두색, 흰색의 조합으로서, 의인화될 캐릭터 색상 조합들이 미리 설정되어 있을 수 있다. According to an embodiment, the character colors to be personified may be selected among preset character color combinations. For example, character color combinations to be personified may be preset as a combination of yellow, blue, or black or a combination of orange, green, and white as in the above example.

이 경우, 사전 검사부(11)는 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 어느 한 색상 조합을 선택하여 캐릭터로 의인화될 복수의 캐릭터 색상들로 결정할 수 있다.In this case, the pre-examining unit 11 may select any one of the color combinations having no non-compliant color among the combined character color combinations to determine the plurality of character colors to be personified as the character.

실시예에 따라, 사전 검사부(11)는 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 복수의 색상 조합들을 환자에게 제안하고, 환자가 승인한 색상 조합에 따라 캐릭터로 의인화될 복수의 캐릭터 색상들을 선택할 수 있다.According to the embodiment, the pre-examining unit 11 proposes to the patient a plurality of color combinations having no non-conforming color among the previously combined character color combinations, and a plurality of character colors to be personified as characters according to the color combination approved by the patient You can choose.

이렇게 하여, 본 발명의 실시예에 따른 문장 기반 치료 보조 장치(10)는 복수의 캐릭터 색상들에 대한 환자의 선호 및 유발되는 감정을 최소화하고, 색상에 대한 환자의 선호 또는 비선호, 편견, 고정 관념 또는 사전 지식에 의해 훈련 진행을 방해할 수 있는 영향도 최소화할 수 있다.Thus, the sentence-based treatment assist device 10 according to the embodiment of the present invention minimizes the preferences and induced emotions of the patients for a plurality of character hues and determines the preference or non-preference, bias, Or prior knowledge may also minimize the impact of interrupting the training process.

이어서, 문장 강화 훈련 과제 생성부(12)는, 도 2 내지 도 7에서 설명되는 바와 같이, 문장 강화 훈련 과제 DB(13)를 참조하여 각 문장 강화 훈련 부문들의 문장 강화 훈련 과제마다, 행위자와 행위 대상자인 색상 캐릭터들의 동작을 묘사하는 그래픽 데이터, 행위자 또는 행위 대상자에 초점을 맞춘 문장을 표현하도록 환자를 유도하기 위한 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나에 관한 텍스트 데이터와, 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나의 음성 데이터를 포함하는 일련의 문장 강화 훈련 과제 데이터를 생성한다.2 to 7, the sentence strengthening training task generation unit 12 refers to the sentence strengthening training task DB 13 and, for each sentence strengthening training task in each sentence strengthening training sector, At least one of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence, a correct answer sentence, or a wrong answer sentence for instructing a patient to express a sentence focusing on a subject, And a series of sentence enforcing training task data including at least one of audio data of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence, a correct sentence, or a wrong answer sentence.

좀더 구체적으로, 실시예에 따라, 문장 강화 훈련 과제 생성부(12)는 문장 강화 훈련 과제 DB(13)에 저장된 색상 캐릭터를 기반으로 사전 결정된 훈련 시나리오에 기초하여 상술한 그래픽 데이터, 텍스트 데이터와 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성할 수 있다.More specifically, according to the embodiment, the sentence strengthening training task generation unit 12 generates the above-described graphic data, text data, and voice data based on the predetermined training scenario based on the color character stored in the sentence strengthening training task DB 13 You can generate sentence enhancement training data that includes data.

다른 실시예에서는, 문장 강화 훈련 과제 생성부(12)는 문장 강화 훈련 과제 DB(13)에 저장된 문장 이해 과제 템플릿, 동사 행위자 강화 훈련 과제 템플릿, 동사 대상자 강화 훈련 과제 템플릿, 물체 조작을 통한 문장 이해 강화 훈련 과제 템플릿, 조사 처리 강화 훈련 과제 템플릿 및 문장 완성 강화 훈련 과제 템플릿 중에서 훈련 과제 템플릿들과 선택된 캐릭터 색상 정보에 기초하여, 각 문장 강화 훈련 부문들의 훈련 과제들마다 상술한 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 생성함으로써, 훈련 시나리오에 따른 일련의 문장 이해 과제 데이터, 동사 행위자 강화 훈련 과제 데이터, 동사 대상자 강화 훈련 과제 데이터, 물체 조작을 통한 문장 이해 강화 훈련 과제 데이터, 조사 처리 강화 훈련 과제 데이터 및 문장 완성 강화 훈련 과제 데이터를 동적으로 생성할 수 있다.In another embodiment, the sentence strengthening training task generation unit 12 includes a sentence understanding task template stored in the sentence strengthening training task DB 13, a verb actor strengthening training task template, a verb target strengthening training task template, Text data and text data for each of the training tasks of each sentence strengthening training section based on the training template and the selected character color information in the reinforcement training task template, By generating voice data, a series of sentence understanding task data, a verb actor strengthening training task data, a verb target strengthening training task data, a strengthening of sentence understanding training task data through object manipulation, a reinforcement of survey processing training data and a sentence Complete reinforcement training data It can ever created.

여기서, 예를 들어, 각 과제 템플릿은 행위자 또는 행위 대상자에 해당하는 색상 캐릭터가 미정인 상태, 즉 문장 성분에 대입될 색상 캐릭터들이 가변할 수 있는 상태의 문장 텍스트들과, 색상이 미정인 색상 캐릭터 이미지들이 문장의 동사에 맞게 동작하는 모습이 묘사된 그래픽 데이터 및 색상 명칭을 제외한 나머지 문장을 읽은 음성 클립들로 구성될 수 있다.In this case, for example, each task template is composed of sentence texts in which the color characters corresponding to the actor or the action target are not yet determined, that is, the color characters to be assigned to the sentence component are variable, Graphic data describing how the images behave according to the verb of the sentence, and voice clips that read the rest of the sentence except for the color name.

만약 사전 검사부(11)를 통해 캐릭터 색상의 조합이 결정되거나, 또는 기본 조합의 캐릭터 색상이 그대로 이용되는 경우에, 주어진 캐릭터 색상들에 기초하여, 과제 템플릿 안의 미정인 색상 캐릭터들의 명칭 텍스트, 색상 캐릭터 이미지 및 음성 클립들을 특정하고 조합함으로써, 환자에게 제시할 훈련 과제 데이터를 동적으로 완성할 수 있다.If the combination of character colors is determined through the pre-examination unit 11 or the character color of the basic combination is used as it is, the name text of undefined color characters in the assignment template, By specifying and combining image and audio clips, training data to present to the patient can be completed dynamically.

실시예에 따라, 문장 강화 훈련 과제 DB(13)는 각각의 문장 이해 및 표현 과제에 관하여, 문제은행 식으로 미리 만들어진 다수의 과제 템플릿들을 저장할 수 있다. 나아가, 문장 강화 훈련 과제 DB(13)에 저장된 과제 템플릿들 내의 주어, 목적어, 술어 등의 문장 성분들은 변수화되어 있어서, 시각적 및 청각적 데이터는 환자에 따라 선택된 캐릭터 색상들과 훈련 과제에 따라 검사 문항 데이터 생성부(12)에서 동적으로 생성될 수 있다.According to the embodiment, the sentence strengthening training task DB 13 can store a plurality of task templates previously prepared in the question bank mode with respect to each sentence understanding and presentation task. Furthermore, sentence components such as subject, object, and predicate in the task templates stored in the sentence strengthening training task DB (13) are parameterized, so that the visual and auditory data can be classified according to the character colors selected according to the patient, And can be generated dynamically in the data generating unit 12. [

치료 진행 제어부(14)는 문장 강화 훈련 과제 생성부(12)에서 문장 강화 훈련 과제 DB(13)를 참조하여 생성된 과제 데이터들을 이용하여, 각 문장 강화 훈련 부문 별로, 텍스트 데이터와 그래픽 데이터를 환자에게 시각적으로 표시하고 음성 데이터를 청각적으로 전달하며, 환자의 응답에 관한 응답 데이터를 수집하여 결과 처리부(15)에 전달다.The treatment progress control section 14 uses text data and graphic data for each sentence strengthening training section by referring to the sentence strengthening training task DB 13 in the sentence strengthening training task generation section 12, And transmits the voice data to the result processing unit 15 in a state where the voice data is audibly transmitted.

결과 처리부(15)는 치료 진행 제어부(14)에 의한 강화 훈련의 진행 시에 환자의 응답에 의해 생성된 응답 데이터를 처리하여 각 과제마다 과제 수행 결과를 판정하고, 판정된 과제 수행 결과를 치료 경과 DB(16)에 저장한다. 과제 수행 결과는 과제에 대한 통과 또는 실패 판정과 그 통계적 분석 결과를 포함할 수 있다.The result processing unit 15 processes the response data generated by the response of the patient at the progress of the reinforcement training by the treatment progress control unit 14 to determine the task execution result for each task, And stores it in the DB 16. The task performance result may include a pass or fail determination for the task and its statistical analysis results.

치료사 또는 보조자는 치료 경과 DB(16)에 저장된 과제 수행 결과에 따라 환자의 문장 이해 수준 및 치료 경과를 판단하고 훈련 시나리오를 변경할 수 있다.The therapist or assistant can determine the patient's level of understanding of the sentence and the progress of the treatment according to the result of the task performed in the treatment progress DB 16 and change the training scenario.

한편, 실시예에 따라, 본 발명의 문장 기반 치료 보조 장치(10)는 색상-동사 경향 추출부(17)를 더 포함할 수 있다.Meanwhile, according to the embodiment, the sentence-based therapy assistant apparatus 10 of the present invention may further include a color-verb-tendency extracting unit 17.

색상-동사 경향 추출부(17)는 특정 환자 또는 환자 그룹이 특정 색상과 특정 동사에 기반하여 생성된 과제 데이터에 대한 반응이 다른 색상-동사 조합의 경우에 비하여 유의미한 특이성을 가질 경우에, 그러한 색상-동사 경향을 도출할 수 있다. 예를 들어, 흰색의 캐릭터 및 검은색의 캐릭터와 "찔리다", "쫓다", "차다"와 같은 공격적인 행위의 동사에 기반하여 생성된 과제 데이터들에 대한 백인 환자들이나 흑인 환자들이 강하게 반응한다면, 이러한 색상-동사 경향이 식별되고 추출될 수 있다.The color-verb-tendency extracting unit 17 extracts a color-verb tendency when the response of the specific patient or the patient group to the task data generated based on the specific color and the specific verb has a significant specificity as compared with the case of the other color- - The tendency of verbs can be derived. For example, if white patients or black patients respond strongly to white and black characters and task data generated based on aggressive verbs such as "stab", "chase", "chase" These color-verb trends can be identified and extracted.

추출된 색상-동사 경향은 이후에 특정 집단의 환자들을 위해 과제 데이터를 생성할 때에 참조될 수 있다.The extracted color-verb tendency can then be referred to when generating task data for a particular group of patients.

실시예에 따라, 본 발명의 문장 기반 치료 보조 장치(10)는 음성 문장 인식부(18)를 더 포함할 수 있다. 음성 문장 인식부(18)는 문장 기반 치료 보조 장치(10)의 일부 기능으로서 구현될 수도 있지만, 실시예에 따라서는 외부적인 음성 인식 서비스의 API(Application Programming Interface)를 이용하여 구현될 수도 있다.According to an embodiment, the sentence-based therapy assistant apparatus 10 of the present invention may further include a voice-sentence recognizing unit 18. The speech recognition unit 18 may be implemented as a part of the function of the sentence-based therapy assistant 10, but may be implemented using an API (Application Programming Interface) of an external speech recognition service according to an embodiment.

음성 문장 인식부(18)는 치료 진행 제어부(14)를 통해 입력받은 환자의 음성을 텍스트로 변환하고 결과 처리부(15)로 전달할 수 있다.The voice sentence recognizing unit 18 can convert the voice of the patient inputted through the treatment progress control unit 14 into text and transmit the converted voice to the result processing unit 15. [

본 발명에 따른 문장 이해 과제 및 문장 강화 훈련 과제에 의해 제시될 문장들은 동작의 행위자(agent)와 행위 대상자(theme)의 관점에서 분류될 수 있다.The sentences to be presented by the sentence understanding task and the sentence intensification training task according to the present invention can be classified in terms of the agent of the action and the theme of the action.

동작의 행위자는 능동형 문장에서는 주어로 표현되겠지만 피동형 문장에서는 목적어로 표현된다. 반면에, 동작의 행위 대상자는 능동형 문장에서는 목적어로 표현되겠지만 피동형 문장에서는 주어로 표현된다.Actors in action will be expressed as subject in active sentence but expressed in object in sentive sentence. On the other hand, the actor of the action is represented by the object in the active sentence but expressed in the subject in the passive sentence.

문장 이해 과제의 수행을 위해 선정된 문장 유형 및 캐릭터 색상에 따라 생성되는 과제 데이터를 예시하기 위해 도 2를 참조할 수 있다.FIG. 2 can be referred to illustrate the task data generated according to the selected sentence type and character color for executing the sentence understanding task.

도 2는 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 문장 이해 수준을 확인하기 위한 문장 이해 과제의 문장-그림 쌍을 제시하는 화면을 예시한 도면이다.FIG. 2 is a diagram illustrating a screen for presenting a sentence-picture pair of a sentence understanding task for confirming a sentence understanding level in a sentence-based treatment assist device and method for a neuro-linguistic disorder group according to an embodiment of the present invention .

도 2를 참조하면, 문장 이해 과제의 문장-그림 쌍이 예시된다. 문장의 행위자와 행위 대상자가 되는 캐릭터들은 오직 색상에 기초하여 의인화된다.Referring to FIG. 2, a sentence-picture pair of a sentence understanding task is exemplified. The actors of the sentence and the characters that are the object of action are only personified based on color.

도 2에서, 문장-그림 쌍은 2 컷의 문장-그림 쌍이 제시된다. 환자는 시각적으로 제시된 두 개의 문장-그림 쌍 중에서, 문항에 관하여 미리 녹음된 음성 또는 치료사 또는 보조자의 육성에 의해 청각적으로 제시되는 보기 문장에 상응하는 문장-그림 쌍을 선택하도록 지시된다.In Fig. 2, the sentence-picture pair is a pair of two-sentence-picture pairs. The patient is instructed to choose between a pair of visually presented two sentence-pictures, a pre-recorded voice about the question, or a sentence-picture pair corresponding to a visual sentence presented audibly by the therapist or assistant.

좌측의 그림은 "검정이가 노랑이를 쫓다"라는 능동 2항 전형 문장에 상응하는 그림이고, 우측의 그림은 "노랑이가 검정이를 쫓다"라는 능동 2항 전형 문장에 상응하는 그림이다.The picture on the left corresponds to the active two-sentence sentence "Black is chasing yellow" and the picture on the right corresponds to the active two-word sentence "Yellow is chasing black".

이 단계에서, 보기 문장은 피동 전형 문장으로 "검정이가 노랑이에게 쫓기다"와 같이 제시될 수 있다.At this stage, the viewing sentence can be presented as a passive sentence such as "black is chased by yellow".

두 그림이 시각적으로 제시되고 보기 문장 및 지시 문장이 청각적으로 제시되면, 환자는 두 그림 중에 들은 보기 문장에 상응한다고 판단한 그림을 정답으로 선택할 수 있다.If the two pictures are presented visually and the viewing sentence and the instruction sentence are presented audibly, the patient can select the correct picture as the picture that he / she judged to correspond to the viewing sentence of the two pictures.

문장-그림 쌍에 대해 문장 유형이 서로 다른 여러 보기 문장들이 청각적으로 제시될 수도 있다.Several view sentences with different sentence types for sentence - picture pairs may be presented audibly.

보기 문장에 대한 환자의 반응은 반응 정확도와 반응 시간으로 측정될 수 있다.The patient's response to the sentence can be measured in terms of reaction accuracy and reaction time.

도 3은 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 동사 행위자 강화 훈련 화면을 예시한 도면이다.FIG. 3 is a diagram illustrating an example of a verbal agent reinforcing training screen in a sentence-based therapy assistant apparatus and method for a neural language disorder group according to an embodiment of the present invention.

도 3을 참조하면, 두 색상 캐릭터들이 각각 행위자와 행위 대상자의 역할을 부여받고 특정한 행위를 수행 중인 문장-그림 쌍이 제시된다. Referring to FIG. 3, a pair of sentence-pictures in which two color characters are given the roles of actors and actors and performing a specific action are presented.

이어서, 동사의 행위자가 강조된 응답을 하도록 환자를 유도하는 지시 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달된다.Subsequently, an instruction sentence that directs the patient to respond to the verb actor's emphasis is delivered audibly to the patient, either visually by means of text, by a pre-recorded voice, or by a therapist or an assistant.

예를 들어 도 3에서는 "검정이"가 "노랑이"를 쫓고 있는 문장-그림 쌍이 제시되고 "누가 쫓고 있나요?"하는 지시 문장이 시각적으로 또는 청각적으로 환자에게 전달된다.For example, in FIG. 3, a sentence-picture pair followed by "black" and "yellow" is presented and the instruction sentence "who is chasing?" Is delivered visually or audibly to the patient.

환자의 응답이 없거나 또는 늦거나, 환자가 잘못 응답할 경우에, 피드백 문장이 문자에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달될 수 있다. 피드백 문장은 환자의 응답이 적절할 때에도 환자에게 제공될 수 있다. 피드백 문장은 예를 들어 행위자가 강조된 문장으로 ""검정이"에게 쫓기고 있어요. 즉, "검정이"가 쫓고 있어요"와 같이 주어질 수 있다.The feedback sentence can be audibly transmitted to the patient visually, by a pre-recorded voice, or by a therapist or an assistant's nurse, if the patient's response is late or late or the patient responds incorrectly. The feedback statement can be provided to the patient even when the patient's response is appropriate. The feedback sentence is, for example, followed by an actor-highlighted sentence of "black", ie "black is chasing".

환자의 음성 응답은 음성 문장 인식부(18)에 의해 인식되어 텍스트로 변환되어 정답 여부가 판정될 수도 있고, 치료사 또는 보조자에 의해 정답 여부가 판정될 수도 있다.The voice response of the patient can be recognized by the voice sentence recognizing unit 18 and converted into text to determine whether the answer is correct, and whether the correct answer is determined by the therapist or an assistant.

도 4는 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 동사 대상자 이해 강화 훈련 화면을 예시한 도면이다.FIG. 4 is a diagram illustrating a screen for enhancing comprehension of a verb subject in a sentence-based treatment assist device and method for a neuro-verbal disorder group according to an embodiment of the present invention.

도 4를 참조하면, 마찬가지로 두 색상 캐릭터들이 각각 행위자와 행위 대상자의 역할을 부여받고 특정한 행위를 수행 중인 문장-그림 쌍이 제시된다. Referring to FIG. 4, similarly, a pair of sentence-pictures in which two color characters are given the roles of actors and actors and performing a specific action are presented.

이어서 동사의 행위 대상자를 묻는 지시 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달된다.Subsequently, an instruction sentence asking the subject of the action is conveyed audibly to the patient visually by means of text, by a pre-recorded voice, or by a therapist or an assistant.

예를 들어 도 4에서는 "검정이"가 "노랑이"를 쫓고 있는 문장-그림 쌍이 제시되고 "누구를 쫓고 있나요?"하는 지시 문장이 시각적으로 또는 청각적으로 환자에게 전달된다.For example, in FIG. 4, a pair of sentences-pictures "black" followed by "yellow" are presented and a sentence of "who is chasing?" Is delivered visually or audibly to the patient.

환자의 응답이 없거나 또는 늦거나, 환자가 잘못 응답할 경우에, 피드백 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달될 수 있다. 피드백 문장은 환자의 응답이 적절할 때에도 환자에게 제공될 수 있다. 피드백 문장은 예를 들어 행위 대상자가 강조된 문장으로 ""노랑이"를 쫓고 있어요. 즉, "노랑이"가 쫓기고 있어요"와 같이 주어질 수 있다.The feedback sentence can be conveyed audibly to the patient by the text visually, by the pre-recorded voice, or by the healer of the therapist or the assistant, if the patient's response is late or late or if the patient responds erroneously. The feedback statement can be provided to the patient even when the patient's response is appropriate. The feedback sentence is, for example, followed by "" the yellow "with the sentence emphasized by the actee, that is," yellow is chased ".

도 5는 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 캐릭터 조작을 통한 문장 이해 강화 훈련 화면을 예시한 도면이다.FIG. 5 is a diagram illustrating a sentence-based reinforcement training screen through character manipulation in a sentence-based therapy assistant apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.

도 5를 참조하면, 두 색상 캐릭터들이 각각 행위자와 행위 대상자의 역할을 부여받고 특정한 행위를 하기 위한 문장-그림 쌍이 제시되며, 특히 이 부문의 과제 데이터는 환자가 색상 캐릭터들을 조작할 수 있도록 설계될 수 있다.Referring to FIG. 5, a pair of sentence-pictures for performing a specific action is given to each of the two color characters, and in particular, the task data of the category is designed so that the patient can manipulate the color characters .

이어서 특정 색상 캐릭터를 조작하도록 지시하는 지시 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달된다.Subsequently, an instruction sentence instructing to operate a specific color character is visually transmitted by text, audibly by a pre-recorded voice, or by a therapist or an assistant.

예를 들어 도 5에서는 "검정이"와 "노랑이"가 나란히 있는 문장-그림 쌍이 제시되고 "문장을 듣고 화면에 보이는 사람들의 동작을 표현해 보세요"라는 지시 문장이 시각적으로 또는 청각적으로 환자에게 전달된다.For example, in FIG. 5, a sentence-picture pair with "black" and "yellow" is presented, and the sentence "listen to the sentence and express the movement of the people on the screen" is visually or audibly .

환자가 화면에 표시되는 색상 캐릭터를 터치 인터페이스 또는 마우스로 조작하여 움직여 지시된 행위를 표현할 수 있고, 캐릭터 조작에 기초하여 당 과제의 통과 여부가 판정될 수도 있다.The patient can manipulate the color character displayed on the screen by operating the touch interface or the mouse to express the instructed behavior and determine whether the task is passed based on the character manipulation.

환자의 응답이 없거나 또는 늦거나, 환자가 잘못 응답할 경우에, 피드백 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달될 수 있다. 피드백 문장은 환자의 응답이 적절할 때에도 환자에게 제공될 수 있다. 피드백 문장은 예를 들어 행위자와 대상자 대상자가 함께 강조된 문장으로 ""검정이"가 "노랑이"를 쫓고 있어요. 즉, "노랑이"가 "검정이"에게 쫓기고 있어요"와 같이 주어질 수 있다.The feedback sentence can be conveyed audibly to the patient by the text visually, by the pre-recorded voice, or by the healer of the therapist or the assistant, if the patient's response is late or late or if the patient responds erroneously. The feedback statement can be provided to the patient even when the patient's response is appropriate. The feedback sentence, for example, is a sentence in which actor and target subjects are emphasized together as "black" is following "yellow", ie, "yellow" is "black is being followed by".

또한 환자는 실제로 제작된 캐릭터 물체들을 움직여 지시된 행위를 수행하면 치료사 또는 보조자에 의해 당 과제의 통과 여부가 판정될 수도 있다.In addition, the patient may be judged whether or not the subject is passed by the therapist or an assistant by moving the actually produced character objects to perform the indicated action.

도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 조사 처리 강화 훈련 화면을 예시한 도면이다.FIG. 6 is a diagram illustrating an examination processing reinforcement training screen in a sentence-based treatment assist apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.

도 6을 참조하면, 두 색상 캐릭터들이 각각 행위자와 행위 대상자의 역할을 부여받고 특정한 행위를 하기 위한 문장-그림 쌍이 제시되며, 특히 이 부문의 과제 데이터는 환자가 보기 중에 적절한 조사를 선택할 수 있도록 설계될 수 있다.Referring to FIG. 6, a pair of sentence-pictures for performing a specific action are given to the two color characters, respectively, and the task data of the department is designed to select an appropriate investigation .

이어서 적절한 조사를 선택하도록 지시하는 지시 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달된다.Subsequently, the instruction sentence directing the selection of the appropriate examination is delivered to the patient visually by means of text, audibly by means of a pre-recorded voice or by the nurture of a therapist or an assistant.

예를 들어 도 6에서는 "검정이"와 "노랑이"가 나란히 있는 문장-그림 쌍이 제시되고 "문장을 듣고 화면에서 빈칸에 알맞은 조사를 고르세요"라는 지시 문장이 시각적으로 또는 청각적으로 환자에게 전달된다.For example, in FIG. 6, a sentence-picture pair with "black" and "yellow" is presented, and the sentence "Pick a sentence and select the appropriate survey on the screen" is visually or audibly .

환자는 화면에 표시되는 조사 보기들 중에 적절한 조사를 선택할 수 있고, 선택된 조사에 기초하여 당 과제의 통과 여부가 판정될 수도 있다.The patient can select an appropriate examination among the examination views displayed on the screen, and the passage of the subject matter may be judged based on the selected examination.

도 7은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법에서, 문장 완성 강화 훈련 화면을 예시한 도면이다.FIG. 7 is a diagram illustrating a sentence completion reinforcement training screen in a sentence-based treatment assist apparatus and method for a neuro-speech disorder group according to an embodiment of the present invention.

도 7을 참조하면, 두 색상 캐릭터들이 각각 행위자와 행위 대상자의 역할을 부여받고 특정한 행위를 하기 위한 문장-그림 쌍이 제시되며, 특히 이 부문의 과제 데이터는 환자가 점화 문장을 제시받고 점화 문장에 따라 문장을 완성할 수 있도록 설계될 수 있다.Referring to FIG. 7, a pair of sentence-pictures for performing a specific action are given to the two color characters, respectively, and the task data of the category is presented to the patient in accordance with the ignition sentence It can be designed to complete the sentence.

이어서 문장을 완성하도록 지시하는 지시 문장이 텍스트에 의해 시각적으로, 미리 녹음된 음성에 의해 또는 치료사나 보조자의 육성에 의해 청각적으로 환자에게 전달된다.Subsequently, the instruction sentence directing the completion of the sentence is delivered to the patient audibly by means of text visually, by a pre-recorded voice, or by a therapist or an assistant.

예를 들어 도 7에서는 "검정이"와 "노랑이"가 나란히 있는 문장-그림 쌍이 제시되고 "그림을 보고 "노랑이가"로 시작하는 문장을 만들어 보세요"라는 지시 문장이 시각적으로 또는 청각적으로 환자에게 전달된다.For example, in FIG. 7, a sentence-picture pair with "black" and "yellow" is presented, and the instruction sentence "Look at the picture and make a sentence beginning with" is visually or audibly To the patient.

환자는 제시된 점화 문장 "노랑이가"로 시작하는 완성된 문장을 음성으로 발성함으로써 응답할 수 있다.The patient may respond by uttering the completed sentence beginning with the presented spoken phrase "yellow ".

환자의 음성 응답은 음성 문장 인식부(18)에 의해 인식되어 텍스트로 변환되어 정답 문장과 비교됨으로써 정답 여부가 판정될 수도 있고, 치료사 또는 보조자에 의해 정답 여부가 판정될 수도 있다.The voice response of the patient is recognized by the voice sentence recognizing unit 18, and converted into text and compared with the correct answer sentence to determine whether the answer is correct or not, and the correct answer may be determined by the therapist or the assistant.

도 8은 본 발명의 다른 실시예에 따른 신경 언어 장애군을 위한 문장 기반 치료 보조 장치의 동작 방법을 예시한 순서도이다.FIG. 8 is a flowchart illustrating an operation method of a sentence-based therapy assistant apparatus for a neuro-speech disorder group according to another embodiment of the present invention.

본 발명의 문장 기반 치료 보조 장치의 동작 방법은 컴퓨터에 기반하여 구현되는 문장 기반 치료 보조 장치(10)에 의해 수행될 수 있다.The method of operation of the sentence-based therapy aid of the present invention may be performed by a sentence-based therapy aid 10 implemented on a computer.

선택적인 단계(S81)에서, 문장 기반 치료 보조 장치(10)가, 본격적인 강화 훈련에 들어가기에 앞서, 캐릭터들로 의인화될 색상들에 대한 환자 자의 선호 여부와 유발되는 감정을 사전 검사하고, 사전 검사 결과 환자가 상대적으로 강한 선호도나 반감을 갖거나 강한 감정 유발을 일으키는 부적합 색상이 판정되면, 판정된 부적합 색상을 캐릭터 색상 후보군에서 제외하고, 의인화될 캐릭터 색상들을 부적합 색상들을 제외한 수정된 캐릭터 색상 후보군 중에서 선택할 수 있다.In the optional step S81, the sentence-based therapy assistant 10 pre-examines the patient's preferences and the emotions caused by the colors to be personified as characters prior to entering the full reinforcement training, If the resultant patient has a relatively strong preference, a negative feeling, or a non-conforming color causing strong emotion induction is determined, the determined unsuitable color is excluded from the character color candidate group, and the character colors to be personified are excluded from the corrected character color candidate group You can choose.

실시예에 따라, 의인화될 캐릭터 색상들은 미리 설정된 캐릭터 색상 조합들 중에 선택될 수 있다. 예를 들어, 위의 예와 같이 노란색, 파란색, 검정색의 조합이나, 빨간색, 녹색, 흰색의 조합으로서, 의인화될 캐릭터 색상 조합들이 미리 설정되어 있을 수 있다.According to an embodiment, the character colors to be personified may be selected among preset character color combinations. For example, a character color combination to be personified may be preset as a combination of yellow, blue, or black or a combination of red, green, and white as in the above example.

실시예에 따라 구체적으로, 단계(S81)에서, 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 어느 한 색상 조합이 선택되고, 선택된 색상 조합의 색상들이 캐릭터로 의인화될 복수의 캐릭터 색상들로 결정될 수 있다.Specifically, according to the embodiment, in step S81, any one of the color combinations having no nonconforming color is selected from among the previously combined character color combinations, and the colors of the selected color combination are determined as a plurality of character colors to be personified as characters .

실시예에 따라 구체적으로, 단계(S81)에서, 문장 기반 치료 보조 장치(10)는 미리 조합된 캐릭터 색상 조합들 중에 부적합 색상이 없는 복수의 색상 조합들을 환자에게 제안하고, 환자가 승인한 색상 조합에 따라 캐릭터로 의인화될 복수의 캐릭터 색상들을 선택할 수 있다.According to an embodiment, in step S81, the sentence-based therapy assistant 10 proposes to the patient a plurality of color combinations without any non-conforming color among the previously combined character color combinations, A plurality of character colors to be personified as a character can be selected.

이렇게 하여, 본 발명의 문장 기반 치료 보조 방법은 복수의 캐릭터 색상들에 대한 환자자의 선호 및 유발되는 감정을 최소화하고, 색상에 대한 환자의 선호 또는 비선호, 편견, 고정 관념 또는 사전 지식에 의해 검사 결과에 생길 수 있는 영향도 최소화할 수 있다.Thus, the sentence-based healing assistant method of the present invention minimizes the preference and induced emotions of the patient to a plurality of character colors and reduces the test result by the patient's preference or non-preference, prejudice, stereotypes, Can be minimized.

이어서, 단계(S82)에서, 문장 기반 치료 보조 장치(10)는, 각 문장 강화 훈련 과제마다, 행위자와 행위 대상자인 색상 캐릭터들의 동작을 묘사하는 그래픽 데이터, 행위자 또는 행위 대상자에 초점을 맞춘 문장을 표현하도록 환자를 유도하기 위한 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나에 관한 텍스트 데이터와, 지시 문장, 점화 문장, 보기 문장, 피드백 문장, 정답 문장 또는 오답 문장 중 적어도 하나의 음성 데이터를 포함하는 일련의 문장 강화 훈련 과제 데이터를 생성한다.Subsequently, in step S82, the sentence-based therapy assistant 10, for each sentence strengthening training task, generates a sentence focusing on the graphic data, the actor, or the target of the action, depicting the behavior of the color characters, An instruction sentence, an ignition sentence, a view sentence, a feedback sentence, a correct sentence or an incorrect sentence for at least one of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence, a correct answer sentence, To generate a series of sentence enhancement training task data that includes at least one of the voice data.

좀더 구체적으로, 실시예에 따라, 문장 기반 치료 보조 장치(10)는 문장 강화 훈련 과제 DB(13)에 저장된 색상 캐릭터를 기반으로 사전 결정된 훈련 시나리오에 기초하여 상술한 그래픽 데이터, 텍스트 데이터와 음성 데이터를 포함하는 문장 강화 훈련 과제 데이터를 생성할 수 있다.More specifically, according to the embodiment, the sentence-based therapy assistant device 10 generates the graphic data, the text data and the voice data (text data) based on the predetermined training scenario based on the color character stored in the sentence strengthening training task DB 13 To generate sentence enhancement training task data.

다른 실시예에서는, 문장 기반 치료 보조 장치(10)는 문장 강화 훈련 과제 DB(13)에 저장된 문장 이해 과제 템플릿, 동사 행위자 강화 훈련 과제 템플릿, 동사 대상자 강화 훈련 과제 템플릿, 물체 조작을 통한 문장 이해 강화 훈련 과제 템플릿, 조사 처리 강화 훈련 과제 템플릿 및 문장 완성 강화 훈련 과제 템플릿 중에서 훈련 과제 템플릿들과 선택된 캐릭터 색상 정보에 기초하여, 각 문장 강화 훈련 부문들의 훈련 과제들마다 상술한 그래픽 데이터, 텍스트 데이터 및 음성 데이터를 생성함으로써, 훈련 시나리오에 따른 일련의 문장 이해 과제 데이터, 동사 행위자 강화 훈련 과제 데이터, 동사 대상자 강화 훈련 과제 데이터, 물체 조작을 통한 문장 이해 강화 훈련 과제 데이터, 조사 처리 강화 훈련 과제 데이터 및 문장 완성 강화 훈련 과제 데이터를 동적으로 생성할 수 있다.In another embodiment, the sentence-based healing assistant device 10 includes a sentence comprehension task template, a verb-actor-reinforced training task template, a verb-target strengthening training task template, and a sentence comprehension training task template Text data and speech data for each training task of each sentence strengthening training section on the basis of training task templates and selected character color information among training task templates, By creating the data, it is possible to obtain a series of sentence understanding task data according to the training scenario, verb actor reinforcement training task data, verbal task force training task data, reinforcement of sentence understanding through object manipulation training task data, Strengthen training task data It can be generated.

단계(S83)에서, 문장 기반 치료 보조 장치(10)는 생성된 과제 데이터들을 이용하여, 각 문장 강화 훈련 부문 별로, 텍스트 데이터와 그래픽 데이터를 환자에게 시각적으로 표시하고 음성 데이터를 청각적으로 전달하며, 환자의 응답에 관한 응답 데이터를 수집할 수 있다.In step S83, the sentence-based therapy assistant device 10 visually displays text data and graphic data for each sentence strengthening training section using the generated task data, and audibly transmits voice data to the patient , And can collect response data regarding the patient's response.

구체적으로, 문장 강화 훈련은 동사의 행위자에 초점을 둔 행위자 강화 훈련, 동사의 행위 대상자에 초점을 둔 행위 대상자 강화 훈련, 행위자와 행위 대상자 사이의 동작에 초점을 둔 문장 이해 강화 훈련, 행위자와 행위 대상자의 조사에 초점을 둔 조사 강화 훈련 내지 주어진 점화 문장에 따라 행위자와 행위 대상자를 가지고 문장을 완성하는 문장 완성 훈련 중 적어도 하나를 포함할 수 있다.Specifically, the sentence strengthening training is composed of actor strengthening training focusing on the actor of the verb, reinforcement of the actor 's focus on the action target of the verb, strengthening the understanding of the sentence focused on the action between the actor and the actor, And a sentence completion training in which the sentence is completed with the actor and the action subject according to the investigation reinforcement training focused on the subject's investigation or the given ignition sentence.

단계(S84)에서, 문장 기반 치료 보조 장치(10)가, 강화 훈련의 진행 시에 환자의 응답에 의해 생성된 응답 데이터를 처리하여 각 훈련 과제마다 결과를 판정하고, 판정 결과를 치료 경과 DB(16)에 저장한다. 판정 결과는 훈련 과제에 대한 통과 또는 실패 판정과 그 통계적 분석 결과를 포함할 수 있다.In step S84, the sentence-based therapy assistant 10 processes the response data generated by the patient's response in the course of the reinforcement training to determine the result for each training task, and outputs the determination result to the treatment progress DB 16). The determination result may include a pass or fail determination for the training task and the statistical analysis result.

치료사 또는 보조자는 치료 경과 DB(16)에 저장된 판정 결과에 따라 환자의 문장 이해 수준 및 치료 경과를 판단하고 훈련 시나리오를 변경할 수 있다.The therapist or assistant can determine the patient's level of understanding of the sentence and the progress of the treatment and change the training scenario according to the judgment result stored in the treatment progress DB 16.

한편, 선택적 단계(S85)에서, 본 발명의 문장 기반 치료 보조 장치(10)는 특정 환자 또는 환자 그룹이 특정 색상과 특정 동사에 기반하여 생성된 과제 데이터에 대한 반응이 다른 색상-동사 조합의 경우에 비하여 유의미한 특이성을 가질 경우에, 그러한 색상-동사 경향을 도출할 수 있다.Meanwhile, in the optional step S85, the sentence-based therapy assistant apparatus 10 of the present invention may be configured such that the response of the specific patient or the patient group to the task data generated based on the specific color and the specific verb is different from that of the other color- , It is possible to derive such a color-verb tendency.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. It will be understood that variations and specific embodiments which may occur to those skilled in the art are included within the scope of the present invention.

또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Further, the apparatus according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

10 문장 기반 치료 보조 장치
11 사전 검사부
12 문장 강화 훈련 과제 생성부
13 문장 강화 훈련 과제 DB
14 치료 진행 제어부
15 결과 처리부
16 치료 경과 DB
17 색상-동사 경향 추출부
18 음성 문장 인식부10 Sentence-based treatment aid
11 Pre-inspection department
12 Sentence reinforcement training task creation part
13 Sentence reinforcement training task DB
14 Treatment progress control section
15 result processor
16 Treatment progress DB
17 color - verb tendency extractor
18 Voice sentence recognition unit

Claims

A sentence strengthening training task generating unit for generating sentence strengthening training task data including graphic data, text data, and voice data for each sentence strengthening training task of each sentence strengthening training section by referring to the sentence strengthening training task DB;
Using the generated sentence reinforcement training data, visually displaying the text data and the graphic data for each sentence reinforcement training section, audibly transmitting the voice data, and collecting response data regarding the response of the patient A medical treatment progress control section; And
And a result processing unit for processing the response data to determine a task execution result for each task and storing the result of the task execution in a treatment progress database,
Wherein the graphic data is generated to describe an action of color characters that are actors and actors, and the text data includes an instruction sentence, an ignition sentence, a view sentence, a feedback sentence Wherein the speech data is generated to include at least one of a sentence, a correct sentence or a wrong answer sentence, the speech data including at least one of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence,
The sentence strengthening training task generating unit is operable to generate sentence strengthening training task data including graphic data, text data and voice data based on a predetermined training scenario based on the color character stored in the sentence strengthening training task DB A sentence-based therapy aid.

The method according to claim 1,
If the patient's preference and induced emotions for the colors to be personified by the characters are checked in advance and the patient has a relatively strong preference or antinomy as a result of the preliminary test or a nonconformity color causing strong emotion is determined, Further comprising a pre-examination unit for excluding colors from the candidate color group, and for selecting character colors to be selected from among the group of candidate color candidates to be modified excluding the non-acceptable colors.

The method of claim 2,
The character colors to be personified can be selected from preset character color combinations,
The pre-
And selecting one of the color combinations having no non-conforming color among the previously combined character color combinations according to the approval of the testee, and determining the colors of the selected color combination as a plurality of character colors to be personified as a character A sentence-based therapy aid.

delete

The method according to claim 1, wherein the sentence strengthening training task DB
In the sentence strengthening training tasks of each sentence strengthening training section, it operates to store a number of assignment templates pre-
The sentence strengthening training task creation unit
The sentence comprehension training task DB, sentence comprehension task template, verb actor strengthening training task template, verb target person strengthening training task template, strengthen understanding of sentence understanding through object manipulation training task template, Text data and audio data for each training task of each sentence strengthening training section on the basis of the training task templates selected from the templates and the selected character color information to generate sentence understanding task data according to the training scenario, Wherein the data processing unit is operable to dynamically generate training task data, reinforcement training task data, verbal training data for the subject, data for enhancing sentence understanding through object manipulation, training task data, Therapeutic aid.

[Claim 6] The method according to claim 5, wherein each of the task templates includes at least one of sentence texts in which a color character corresponding to an actor or an action target is not yet determined, graphic data describing a behavior of the color character images, And voice clips that read the remaining sentences excluding the name.

The method according to claim 1,
The color-verb-tendency extraction unit searches the meaning-specificity of the response of the patient to the item data generated based on the specific color and the specific verb compared to the other color-verb tendencies, and extracts the color-verb tendency with meaningful specificity Further comprising: a sentence-based healing aid device.

The method according to claim 1,
Further comprising a voice sentence recognition unit for converting the voice of the patient inputted by the treatment progress control unit into text and transmitting the converted voice to the result processing unit.

The sentence strengthening training according to claim 1, wherein the sentence reinforcing drill includes training for strengthening actors regarding the actors of the verb, strengthening the actors about the action subjects of the verb, reinforcing understanding of the sentences about actions between actors and actors, And a sentence completion training in which a sentence is completed with an actor and a subject according to a given spark sentence.

1. A method of operating a sentence-based therapy aid implemented on a computer,
Wherein said sentence-based therapy aid comprises:
Generating sentence strengthening training task data including graphic data, text data, and voice data for each of the sentence strengthening training tasks of each of the sentence strengthening training sections by referring to the sentence strengthening training task DB;
Using the generated sentence reinforcement training data, visually displaying the text data and the graphic data for each sentence reinforcement training section, audibly transmitting the voice data, and collecting response data regarding the response of the patient ; And
Processing the response data to determine a task execution result for each task, and storing the determined task execution result in a treatment progress database,
Wherein the graphic data is generated to describe an action of color characters that are actors and actors, and the text data includes an instruction sentence, an ignition sentence, a view sentence, a feedback sentence Wherein the speech data is generated to include at least one of a sentence, a correct answer sentence, and a wrong answer sentence, the speech data including at least one of an instruction sentence, an ignition sentence, a view sentence, a feedback sentence,
Based on a color character stored in the sentence strengthening training task DB, sentence strengthening training task data including graphic data, text data and voice data is generated based on a predetermined training scenario based on the color character stored in the sentence strengthening training task DB Way.

A computer program embodied in a recording medium for implementing in a computer each of the steps of a method of operating a sentence-based therapy aid according to claim 10.