KR20230088882A - Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training - Google Patents
Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training Download PDFInfo
- Publication number
- KR20230088882A KR20230088882A KR1020230075562A KR20230075562A KR20230088882A KR 20230088882 A KR20230088882 A KR 20230088882A KR 1020230075562 A KR1020230075562 A KR 1020230075562A KR 20230075562 A KR20230075562 A KR 20230075562A KR 20230088882 A KR20230088882 A KR 20230088882A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- information
- user
- music
- instrument
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 735
- 230000003920 cognitive function Effects 0.000 title claims abstract description 100
- 238000012360 testing method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 18
- 230000006698 induction Effects 0.000 claims description 16
- 230000001939 inductive effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 abstract description 19
- 230000004044 response Effects 0.000 abstract description 4
- 239000003086 colorant Substances 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 9
- 230000008447 perception Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012076 audiometry Methods 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Acoustics & Sound (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Electrically Operated Instructional Devices (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Social Psychology (AREA)
- Otolaryngology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
본 발명은 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램에 관한 것이다.The present invention relates to devices, methods, and programs for training and testing cognitive functions through inputs sensed through sensors.
간의 의사소통 수단 중 대화는 가장 기본적이며 중요한 요소이다. 대화란 타인의 의사가 담긴 말(단어나 문장)을 듣고 자신의 의사를 담은 말(단어나 문장)을 소리를 통해 주고 받는 과정을 의미하며, 그 중 듣기는 귀를 통해 그 울림이 뇌에 전달된 후 뇌에서 말의 의미를 인지하는 프로세스를 갖고 있다. 따라서 정상적인 대화가 가능하기 위해서는 듣기 능력, 즉 말소리 지각과 말 지각이 정상이어야 한다.Among the means of communication between people, conversation is the most basic and important element. Conversation refers to the process of listening to the words (words or sentences) containing the intentions of others and exchanging words (words or sentences) containing one's intentions through sound. It has a process in the brain that recognizes the meaning of words. Therefore, in order for normal conversation to be possible, listening ability, that is, speech perception and speech perception, must be normal.
여기서, 말소리 지각이란 말소리가 귀를 통해 뇌에 정상적으로 전달되는지 여부를 의미하며, 말지각이란 정상적인 말소리 지각을 통해 말의 의미가 뇌에서 정상적으로 인지되었는지 여부를 의미한다.Here, speech sound perception means whether speech sounds are normally transmitted to the brain through the ears, and speech perception means whether or not the meaning of speech is normally recognized in the brain through normal speech sound perception.
결국 말소리 지각이 비정상인 경우 통상적으로 청각능력에 장애가 있는 경우가 대부분이며, 말지각의 즉, 인지 기능은 청각 기능과 밀접한 관련이 있으며, 이를 향상시키기 위해선 현재 대상자의 인지 기능을 단계별로 정확히 파악하여 차츰 훈련의 난이도를 향상시켜 훈련하는 것이 중요하다.After all, if speech perception is abnormal, it is usually the case that hearing ability is impaired, and speech perception, that is, cognitive function, is closely related to hearing function. It is important to gradually increase the difficulty of training.
하지만 종래에는 인지 기능과 청각 기능을 결합하여 인지 기능을 대상자의 기능 단계에 따라 단계별로 훈련시키지 못하여 훈련에 따른 인지 기능의 향상이 미미한 문제점이 있다. However, in the prior art, there is a problem in that the cognitive function is not improved according to the training because the cognitive function cannot be trained step by step according to the functional level of the subject by combining the cognitive function and the auditory function.
본 발명은 사용자의 인지 기능에 대응하여 인지 기능을 개선시킬 수 있는 단계별 훈련을 제공하고, 훈련 이후 인지 기능을 검사하여 부족한 훈련의 재훈련을 제공할 수 있다.The present invention provides step-by-step training capable of improving the cognitive function in response to the user's cognitive function, and can provide retraining of insufficient training by examining the cognitive function after training.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다. The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.
본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치는 사용자에게 음악을 출력하고, 상기 사용자의 인지 기능을 개선시키기 위한 훈련을 상기 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부; 상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부; 및 상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 프로세서;를 포함할 수 있다.An apparatus for training and examining cognitive function through an input sensed by a sensor according to the present invention outputs music to a user and provides training guidance information for inducing the user to perform training for improving the cognitive function of the user. an output unit that outputs; an input unit that senses or receives training performance information from the user performing the training; and a processor that calculates training performance accuracy information based on the training performance information and sets training step information of the training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.
바람직하게, 상기 프로세서는 상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor may control the output unit and the input unit so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage.
바람직하게, 상기 훈련은 음악기반 다중작업 훈련, 악기연주 훈련 및 음악 속 과제 수행 훈련을 포함할 수 있다.Preferably, the training may include music-based multi-task training, musical instrument performance training, and task performance training in music.
바람직하게, 상기 프로세서는 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 상기 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 상기 훈련 단계 정보에 대응되는 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor, when the training performance accuracy information is equal to or greater than the reference training accuracy information and the training step information of a recently performed training does not indicate a training change step, sets the training step information upward, and sets the upwardly set The output unit and the input unit may be controlled so that the user performs training corresponding to training step information.
바람직하게, 상기 출력부는 상기 훈련이 음악기반 다중작업 훈련이면 상기 훈련 유도 정보로써 상기 음악 및 상기 음악에 대응되는 악보 정보를 출력하거나 상기 음악 및 손 이미지 정보를 출력할 수 있다.Preferably, if the training is music-based multi-task training, the output unit may output the music and sheet music information corresponding to the music or output the music and hand image information as the training guidance information.
바람직하게, 상기 입력부는 상기 훈련이 음악기반 다중작업 훈련이면 상기 사용자의 손 및 상기 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is music-based multi-task training, the input unit senses movement information of one or more limbs of the user's hand and the user's foot or senses shape information of the user's hand to generate the training performance information. can
바람직하게, 상기 프로세서는 상기 훈련이 음악기반 다중작업 훈련이면 상기 악보 정보 또는 상기 손 이미지 정보와 상기 수족 움직임 정보 또는 상기 훈련 수행 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is music-based multi-task training, the processor may calculate the training performance accuracy information based on a degree of correspondence between the score information or the hand image information and the limb movement information or the training performance information.
바람직하게, 상기 출력부는 상기 훈련이 악기연주 훈련이면 상기 훈련 유도 정보로써 상기 음악, 상기 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.Preferably, the output unit may output the music, score information corresponding to the music, and instrument image information as the training guidance information when the training is musical instrument playing training.
바람직하게, 상기 입력부는 상기 훈련이 악기연주 훈련이면 상기 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is musical instrument playing training, the input unit may sense musical instrument movement information of a virtual musical instrument virtually played by the user and generate the training execution information.
바람직하게, 상기 프로세서는 상기 훈련이 악기연주 훈련이면 상기 악보 정보 및 상기 악기 이미지 정보와 상기 악기 움직임 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is musical instrument playing training, the processor may calculate the training performance accuracy information based on a degree of correspondence between the music score information, the musical instrument image information, and the musical instrument motion information.
바람직하게, 상기 출력부는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 훈련 유도 정보로써 상기 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.Preferably, the output unit may output the music, figure selection guidance voice, and example figure image as the training guidance information if the training is task performance training in music.
바람직하게, 상기 입력부는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 사용자로부터 도형 선택 정보를 입력받아 상기 훈련 수행 정보로 생성할 수 있다.Preferably, if the training is task performance training in music, the input unit may receive figure selection information from the user and generate the training performance information.
바람직하게, 상기 프로세서는 상기 훈련이 음악 속 과제 수행 훈련이면 상기 도형 선택 유도 음성 및 상기 보기 도형 이미지와 상기 도형 선택 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출할 수 있다.Preferably, if the training is task performance training in music, the processor may calculate the training performance accuracy information based on the degree of correspondence between the figure selection guidance voice, the example figure image, and the figure selection information.
바람직하게, 상기 프로세서는 상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어할 수 있다.Preferably, the processor may control the output unit and the input unit so that the user performs training different from a recently performed training when the training stage information of the training indicates a training change stage.
본 발명에 따른 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.The computer program according to the present invention may be combined with a computer, which is hardware, and stored in a computer-readable recording medium to perform the method.
상기에서 기재된 바에 따르면, 본 발명은 사용자의 인지 기능에 대응하여 사용자에게 최적화된 인지 기능의 개선 훈련을 단계별로 제공하고, 훈련 이후 인지 기능을 검사함으로써 훈련 성과를 실시간으로 모니터링할 수 있다.According to the above description, the present invention provides the user with step-by-step cognitive function improvement training in response to the user's cognitive function, and monitors the training performance in real time by examining the cognitive function after training.
도 1은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치와 이를 이용하는 사용자의 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제1 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제2 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제3 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제4 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 악기연주 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악 속 과제 수행 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 가창 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 악기 변별 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악속 따라 말하기 훈련을 수행하는 경우를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제5 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제6 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제7 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치를 통해 사용자가 훈련 중에서 음악기반 다중작업 훈련의 제8 단계를 수행하는 경우를 설명하기 위한 도면이다.
도 16는 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법을 설명하기 위한 순서도이다.1 is a diagram illustrating an example of an apparatus for training and examining a cognitive function through an input detected by a sensor according to an embodiment of the present invention and a user using the same.
2 is a block diagram of an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
3 is for explaining a case in which a user performs the first step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
4 is for explaining a case in which a user performs a second step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
5 is for explaining a case in which a user performs a third step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
6 is for explaining a case in which a user performs a fourth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention. it is a drawing
FIG. 7 is a diagram for explaining a case in which a user performs musical instrument playing training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 8 is a diagram for explaining a case in which a user performs task performance training in music during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
9 is a diagram for explaining a case in which a user performs singing training during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 10 is a diagram for explaining a case in which a user performs instrument discrimination training during training through an apparatus for training and examining a cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
FIG. 11 is a diagram for explaining a case in which a user performs speech training according to a music song during training through an apparatus for training and examining cognitive function through an input sensed through a sensor according to an embodiment of the present invention.
12 is for explaining a case in which a user performs a fifth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
13 is for explaining a case in which a user performs a sixth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
14 is for explaining a case in which a user performs a seventh step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
15 is for explaining a case in which a user performs an eighth step of music-based multi-task training during training through an apparatus for training and examining cognitive function through an input detected through a sensor according to an embodiment of the present invention. it is a drawing
16 is a flowchart illustrating a method of training and examining a cognitive function through an input sensed by a sensor according to an embodiment of the present invention.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다. Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes various modifications, equivalents, and/or alternatives of the embodiments of the present invention. In connection with the description of the drawings, like reference numerals may be used for like elements.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In this document, expressions such as "has", "may have", "includes", or "may include" refer to the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. In this document, expressions such as "A or B", "at least one of A and/and B", or "one or more of A or/and B" may include all possible combinations of the items listed together. . For example, "A or B", "at least one of A and B", or "at least one of A or B" includes (1) at least one A, (2) at least one B, Or (3) may refer to all cases including at least one A and at least one B.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in this document may modify various components, regardless of order and/or importance, and refer to a component as It is used only to distinguish it from other components and does not limit the corresponding components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of rights described in this document, a first element may be called a second element, and similarly, the second element may also be renamed to the first element.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다. A component (e.g., a first component) is "(operatively or communicatively) coupled with/to" another component (e.g., a second component); When referred to as "connected to", it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element). On the other hand, when an element (eg, a first element) is referred to as being "directly connected" or "directly connected" to another element (eg, a second element), it is referred to as a component different from a component. It may be understood that there are no other components (eg, third components) between the elements.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서, MCU), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, AP)를 의미할 수 있다. As used in this document, the expression "configured to" means, depending on the situation, e.g., "suitable for", "having the capacity to" )", "designed to", "adapted to", "made to", or "capable of" . The term "configured (or set) to" may not necessarily mean only "specifically designed to" hardware. Instead, in some contexts, the phrase "a device configured to" may mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or set) to perform A, B, and C" may include a dedicated processor (eg, embedded processor, MCU), or one or more software programs stored in memory, to perform those operations. By executing, it may mean a general-purpose processor (eg, CPU, AP) capable of performing corresponding operations.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다. Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in general dictionaries may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, in an ideal or excessively formal meaning. not interpreted In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.
이하에서는 도면을 참조하여 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치에 관하여 상세히 설명한다.Hereinafter, an apparatus for training and examining a cognitive function through an input sensed through a sensor will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치와 이를 이용하는 사용자의 일 예를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치의 구성도이다.1 is a diagram showing an example of an apparatus for training and testing cognitive functions through an input sensed by a sensor according to an embodiment of the present invention and a user using the same, and FIG. It is a block diagram of a device that trains and tests cognitive functions through inputs detected through sensors.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 출력부(110), 입력부(120), 프로세서(130), 통신부(140) 및 저장부(150)를 포함할 수 있다. 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 구성 요소 중에서 사용자의 청력 기능과 인지 기능을 훈련시키고, 청력 기능과 인지 기능을 검사하며, 훈련 결과 및 검사 결과를 제공하는 과정과 관련된 구성요소들만을 기술하기로 한다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.Referring to FIGS. 1 and 2 , an
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자에 의해 제어 및 조작되며 일정 장소에 거치되거나 휴대가 가능할 수 있고, 음원을 재생하거나 또는 음원을 재생하기 위한 신호를 출력하며, 훈련과 검사를 위한 다양한 정보를 표시 및 입력받는 장치일 수 있다. 이때, 휴대가 가능하다고 함은 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)를 손에 들거나 몸에 지니고 다니기에 불편함이 없음을 의미한다. 또한, 음원을 재생하는 장치는 디지털 또는 아날로그 신호의 형태로 저장된 데이터로부터 사용자가 청취할 수 있는 소리를 생성하거나, 또는 사용자가 청취할 수 있는 소리를 생성하는 신호를 출력하는 장치를 의미한다. 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 예를 들면, PC(personal computer), 휴대폰(mobile phone), 개인 정보 단말기(Personal Digital Assistant), MP3 플레이어(MPEG Audio layer-3 Player), CD 플레이어(Compact Disc player), 포터블 미디어 플레이어(Portable Media Player) 등이 있고, 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 이에 한정되지 않고, 사용자가 청취할 수 있는 소리를 생성하거나, 사용자가 시청할 수 있는 정보를 표시하거나 또는 사용자로부터 정보를 센싱 및 입력받는 모든 장치를 포함한다.According to an embodiment of the present invention, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자가 인지 기능 및 청각 기능에 대한 선별 검사를 우선 수행하도록 할 수 있다.According to an embodiment of the present invention, the
여기서, 선별 검사는 순음청력검사(pure-tone audiometry), 한국판 몬트리올 인지기능 평가(Korean-Montreal-Cognitive-Assessment, K-MoCA), 한국판 간이정신상태검사(Korea version of Mini-Mental Status Examination, MMSE-K) 중 하나 이상일 수 있으며, 선별 검사 결과와 개인정보는 서버에 암호화되어 저장되어 이후에 수행되는 검사의 비교 자료로 활용될 수 있다.Here, the screening test is pure-tone audiometry, Korean version of Montreal-Cognitive-Assessment (K-MoCA), Korean version of Mini-Mental Status Examination (MMSE) -K), and screening test results and personal information are encrypted and stored on the server, and can be used as comparison data for future tests.
이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 인지 기능 및 청각 기능을 개선시키기 위한 훈련의 제1 내지 제4 단계를 수행하도록 할 수 있다.Thereafter, the
이때, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 각 훈련의 단계에서의 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 훈련의 단계를 다음 단계로 설정하여 사용자가 훈련을 수행하도록 할 수 있다. 여기서, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련과 제2 훈련 카테고리에 포함된 복수의 훈련을 제공할 수 있으며, 제1 훈련 카테고리에 대응되는 복수의 훈련 각각은 제1 내지 제4 단계로 구성될 수 있으며, 제2 훈련 카테고리에 대응되는 복수의 훈련 각각은 제5 내지 제8 단계로 구성될 수 있다.At this time, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 및 제2 훈련 카테고리 각각에 포함된 복수의 훈련 중에서 어느 하나의 훈련에 대해 사용자가 각 단계를 완료할 때마다 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 확인하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인 경우에 단계를 상향시켜 다음 단계의 훈련을 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련 중 어느 하나의 훈련의 모든 단계를 사용자가 수행한 경우, 제1 훈련 카테고리에 포함된 복수의 훈련 중에서 수행되지 않은 다른 훈련을 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, in the
또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 복수의 훈련 중 어느 하나의 훈련의 모든 단계를 사용자가 수행한 경우, 제2 훈련 카테고리에 포함된 복수의 훈련 중에서 수행되지 않은 다른 훈련을 사용자가 수행하도록 할 수 있다.In addition, the
여기서, 복수의 훈련은 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기 변별 훈련 및 음악 속 말하기 훈련일 수 있다.Here, the plurality of trainings may be music-based multi-task training, instrument playing training, task performance training in music, singing training, instrument discrimination training, and speaking training in music.
이를 위해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 음악기반 다중작업 훈련이면 도 3 내지 도 6에 도시된 바와 같이, 훈련 유도 정보로써 음악 및 음악에 대응되는 악보 정보를 출력하거나 음악 및 손 이미지 정보를 출력할 수 있다.To this end, the
상술된 기능을 수행하기 위해 출력부(110)는 음향 출력 모듈 및 디스플레이모듈을 구비할 수 있다.In order to perform the above functions, the
이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 음악기반 다중작업 훈련이면 도 3 내지 도 6에 도시된 바와 같이, 사용자의 손 및 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 사용자의 손의 형상 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.Thereafter, the
상술된 기능을 수행하기 위해 입력부(120)는 사용자의 손 및 발의 움직임을 센싱하는 자이로 센서 모듈, 모션 압력 센서 모듈, 사용자의 손 및 발의 형상을 촬영하는 카메라 모듈을 구비할 수 있다.In order to perform the above function, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 음악기반 다중작업 훈련이면 악보 정보 또는 손 이미지 정보와 수족 움직임 정보 또는 훈련 수행 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the
도 3을 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제1 단계인 탭핑인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 손가락을 탭핑하도록 유도할 수 있다.Referring further to FIG. 3 , when the training is tapping, which is the first step of music-based multi-task training, the
이때, 입력부(120)는 사용자가 손가락을 탭핑할 때마다 훈련 수행 정보로써 손가락 움직임 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 손가락 움직임 정보를 통해 탭핑의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제1 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 4를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제2 단계인 박수인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 박수치도록 유도할 수 있다.Referring further to FIG. 4 , when the training is clap, which is the second step of music-based multi-task training, the
이때, 입력부(120)는 사용자가 박수를 칠때마다 훈련 수행 정보로써 박수 여부 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 박수 여부 정보에 기초하여 박수의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제2 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 5를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제3 단계인 박수 및 발구르기인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 박수치거나 발을 구르도록 유도할 수 있다.Referring further to FIG. 5 , when the training is clapping and kicking, which are the third steps of music-based multi-task training, the
이때, 입력부(120)는 사용자가 박수를 치거나 발을 구를때마다 훈련 수행 정보로써 박수 여부 정보 또는 발구르기 여부 정보를 센싱할 수 있다.At this time, the
프로세서(130)는 박수 여부 정보 또는 발구르기 여부 정보를 통해 박수 또는 발구르기의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제3 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 6을 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제4 단계인 손가락 마주치기인 경우, 훈련 유도 정보로써 음악과 함께 손가락 중 어느 두 손가락이 접한 손 이미지 정보를 접한 손가락을 변경하여 순차적으로 표시하고, 사용자가 손 이미지 정보의 손 형상과 유사하게 손가락을 마주치도록 유도할 수 있다.Referring further to FIG. 6 , when the training is the fourth step of music-based multi-task training, which is finger encountering, the
이때, 입력부(120)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정보로써 사용자의 손의 형상 정보를 센싱할 수 있다.At this time, the
프로세서(130)는 출력된 손 이미지 정보와 센싱된 사용자의 손의 형상 정보 간이 형상 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정확도 정보를 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제4 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 악기연주 훈련이면 훈련 유도 정보로써 음악, 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.According to an embodiment of the present invention, the
또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 악기연주 훈련이면 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.In addition, the
이를 위해, 입력부(120)는 모션 센서 모듈과 가속도 센서 모듈이 포함된 가상 악기를 구비하거나 연결될 수 있다.To this end, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 악기연주 훈련이면 악보 정보 및 악기 이미지 정보와 악기 움직임 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the
도 7을 더 참조하면, 출력부(110)는 훈련이 악기연주 훈련인 경우, 훈련 유도 정보로써 사용자로부터 선택된 악기 종류에 대응되는 음악(악기소리)과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 가상 악기를 연주하도록 유도할 수 있다.Referring further to FIG. 7 , when the training is musical instrument performance training, the
이때, 출력부(110)는 악기연주 훈련의 단계가 상향됨에 따라 출력되는 음악의 bpm을 빠르게 설정할 수 있다. 예를 들어, 출력부(110)는 악기연주 훈련의 제1 단계에서는 음악의 bpm을 70으로 설정하고, 한단계가 상향될때마다 bpm을 10씩 증가시킬 수 있다.At this time, the
이때, 입력부(120)는 사용자가 가상 악기를 연주 즉, 악기를 움직일 때마다 훈련 수행 정보로써 악기 움직임 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 악기 움직임 정보를 통해 가상 악기의 움직임 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 출력부(110)는 훈련이 음악 속 과제 수행 훈련이면 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.According to an embodiment of the present invention, the
또한, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 입력부(120)는 훈련이 음악 속 과제 수행 훈련이면 사용자로부터 도형 선택 정보를 입력받아 훈련 수행 정보를 생성할 수 있다.In addition, the
이를 위해, 입력부(120)는 모션 센서 모듈과 가속도 센서 모듈이 포함된 가상 악기를 구비하거나 연결될 수 있다.To this end, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 프로세서(130)는 훈련이 음악 속 과제 수행 훈련이면 도형 선택 유도 음성 및 보기 도형 이미지와 도형 선택 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.According to an embodiment of the present invention, the
도 8을 더 참조하면, 출력부(110)는 훈련이 음악 속 과제 수행 훈련인 경우, 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 표시하고, 음악의 진행에 따라 사용자가 도형을 선택하도록 유도할 수 있다.Referring further to FIG. 8 , when the training is task performance training in music, the
이때, 출력부(110)는 음악 속 과제 수행 훈련의 단계가 상향됨에 따라 출력되는 도형 선택 유도 음성이 나타내는 도형 선택의 정답 난이도를 상향시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 과제 수행 훈련의 제1 단계에서는 1개 도형색상, 제2 단계에서는 3개 도형색상, 제3 단계에서는 1개 도형색상과 1개 도형종류, 제4 단계에서는 3개 도형색상과 3개 도형종류를 각각 선택하도록 도형 선택 유도 음성을 출력할 수 있다.At this time, the
이때, 입력부(120)는 사용자로부터 도형 선택 정보를 입력받을 수 있다.At this time, the
프로세서(130)는 도형 선택 유도 음성이 나타내는 도형 선택의 정답과 도형 선택 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악 속 과제 수행 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 9를 더 참조하면, 출력부(110)는 훈련이 가창 훈련인 경우, 훈련 유도 정보로써 음악(노래의 반주), 가사 정보 및 음정 정보를 표시하고, 음악의 진행에 따라 사용자가 가창하도록 유도할 수 있다.9, when the training is singing training, the
이때, 출력부(110)는 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 음악의 종류를 변경할 수 있다. 예를 들어, 출력부(110)는 가창 훈련의 제1 단계에서는 장조의 동요, 제2 단계에서는 단조의 동요, 제3 단계에서는 장조의 성인가요, 제4 단계에서는 단조의 성인가요를 각각 가창하도록 음악을 출력할 수 있다.At this time, the
이때, 입력부(120)는 사용자로부터 가창되는 노래의 음향 정보를 입력받을 수 있다.At this time, the
이를 위해, 입력부(120)는 음성 인식 모듈을 구비할 수 있다.To this end, the
프로세서(130)는 노래의 음정 정보와 사용자로부터 가창되는 노래의 음정 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 가창 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.The
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 10을 더 참조하면, 출력부(110)는 훈련이 악기변별 훈련인 경우, 훈련 유도 정보로써 악기 소리를 출력하고, 악기 이미지 정보를 표시하며, 사용자가 악기 소리에 따라 악기 종류를 선택하도록 유도할 수 있다.Referring further to FIG. 10 , when the training is instrument discrimination training, the
이때, 출력부(110)는 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 악기 소리의 종류와 개수를 변경할 수 있다. 예를 들어, 출력부(110)는 악기변별 훈련의 제1 단계에서는 1개의 악기 소리, 제2 단계에서는 서로 다른 악기류의 2개의 악기 소리, 제3 단계에서는 서로 다른 악기류의 3개의 악기 소리, 제4 단계에서는 같은 악기류이지만 서로 다른 2개의 악기 소리를 출력할 수 있다.In this case, the
여기서, 악기류는 악기의 분류일 수 있으며 예를 들어, 관악기, 타악기, 현악기를 포함할 수 있다. 한편, 세부 악기류는 하나의 악기류에서 악기의 종류를 세분화한 분류로써, 예를 들어, 악기류 관악기는 세부 악기류로 목관악기 및 금관악기를 포함할 수 있다.Here, musical instruments may be a classification of musical instruments and may include, for example, wind instruments, percussion instruments, and string instruments. On the other hand, detailed musical instruments are classifications in which types of musical instruments are subdivided in one musical instrument category. For example, musical instrument wind instruments may include woodwind instruments and brass instruments as detailed musical instruments.
이때, 입력부(120)는 사용자로부터 악기 선택 정보를 입력받을 수 있다.At this time, the
프로세서(130)는 출력된 악기 소리와 사용자로부터 입력된 악기 선택 정보 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기변별 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 11을 더 참조하면, 출력부(110)는 훈련이 음악 속 따라 말하기 훈련인 경우, 훈련 유도 정보로써 음악, 사용자가 따라서 말할 아나운서 음성과 아나운서 음성을 나타내는 음성 문자 정보를 출력하고, 사용자가 아나운서 음성을 따라서 말하도록 유도할 수 있다.Referring further to FIG. 11 , when the training is speaking along with music, the
이때, 출력부(110)는 음악 속 따라 말하기 훈련의 단계가 상향됨에 따라 말하기의 난이도가 상향되도록 출력되는 음악의 크기 대비 아나운서 음성의 크기의 비율(SNR)을 감소시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 따라 말하기 훈련의 제1 단계에서는 23dB SNR, 제2 단계에서는 20dB SNR, 제3 단계에서는 16dB SNR, 제4 단계에서는 13dB SNR이 되도록 음악과 아나운서 음성을 출력할 수 있다.At this time, the
이때, 입력부(120)는 사용자로부터 사용자 음성를 입력받을 수 있다.At this time, the
프로세서(130)는 출력된 아나운서 음성과 사용자 음성 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
프로세서(130)는 음악의 출력 동안 또는 미리 정해진 아나운서 음성 출력 회수(10회) 동안에 대한 훈련 수행 정확도 정보를 표시할 수 있다.The
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악 속 따라 말하기 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제4 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
이를 통해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기변별 훈련 및 음악속 따라 말하기 훈련 각각의 제1 내지 제4 단계를 사용자가 수행하도록 할 수 있다.Through this, the
한편, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제1 훈련 카테고리에 포함된 복수의 훈련 각각의 단계 중에서 복수의 훈련 별로 2개의 단계씩을 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사로써 사용자가 수행하도록 할 수 있다.On the other hand, the
이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자의 검사 수행에 따른 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상이면 제2 훈련 카테고리에 포함된 훈련을 사용자가 수행하도록 할 수 있다.Thereafter, the
반대로, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 해당 훈련을 사용자가 재수행하도록 한다.Conversely, if the average accuracy information is less than the reference test accuracy information, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)가 제2 훈련 카테고리에 포함된 복수의 훈련을 사용자가 수행하도록 하는 과정을 설명하도록 한다.A process in which the
도 12를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제5 단계인 손가락 분리하기인 경우, 훈련 유도 정보로써 음악과 함께 악보 정보를 표시하고, 음악의 진행에 따라 사용자가 엄지와 새끼손가락을 분리하도록 유도할 수 있다.Referring further to FIG. 12, when the training is finger separation, which is the fifth step of music-based multi-task training, the
이때, 입력부(120)는 사용자가 엄지와 새끼손가락을 분리할 때마다 훈련 수행 정보로써 손가락 분리 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 손가락 분리 정보를 통해 분리의 시점과 음표의 박자 시점 간에 시간차에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 실시간으로 음표의 박자 시점에 대응되는 훈련 수행 정확도 정보를 색상 정보 또는 숫자 정보로 표시하도록 출력부(110)를 제어할 수 있다.In addition, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제5 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 13를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제6 단계인 가위바위보인 경우, 훈련 유도 정보로써 상대방 손 이미지 정보와 함께 승패 정보를 표시하고, 음악의 진행에 따라 사용자가 상대방 손 이미지 정보 및 승패 정보에 맞춰 가위바위보를 하도록 유도할 수 있다.Referring further to FIG. 13 , when the training is rock-paper-scissors, which is the sixth step of music-based multi-task training, the
이때, 입력부(120)는 상대방 손 이미지가 출력될 때마다 사용자의 훈련 수행 정보로써 사용자의 손의 형상 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 출력된 상대방 손 이미지 정보와 센싱된 사용자의 손의 형상 정보에 기초하여 가위바위보 승패를 판단하고 표시된 승패 정보와 판단된 승패 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 손 이미지 정보가 변경될 때 마다 훈련 수행 정확도 정보를 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제6 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
도 14를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제7 단계인 도형 그리기인 경우, 훈련 유도 정보로써 음악과 함께 도형 그리기 유도선 정보를 표시하고, 음악의 진행에 따라 사용자가 도형을 그리도록 유도할 수 있다.14, when the training is figure drawing, which is the seventh step of music-based multi-task training, the
이때, 입력부(120)는 도형 그리기 유도선 정보를 출력할 때마다 사용자의 손의 형상 정보 및 위치 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 도형 그리기 유도선 정보가 나타내는 도형 그리기 유도선과 사용자 손의 위치 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 도형 그리기 유도선 정보가 변경될 때 마다 수행 정확도 정보를 색상 정보 또는 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제7 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 8단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, if the training performance accuracy information is equal to or greater than the reference training accuracy information, the
도 15를 더 참조하면, 출력부(110)는 훈련이 음악기반 다중작업 훈련의 제8 단계인 복잡한 손동작 따라하기인 경우, 훈련 유도 정보로써 음악과 함께 손동작 이미지 정보를 표시하고, 음악의 진행에 따라 사용자가 손동작 이미지와 유사하고 손동작을 취하도록 유도할 수 있다.15, the
이때, 입력부(120)는 손동작 이미지 정보를 출력할 때마다 사용자의 손의 형상 정보를 센싱할 수 있다.In this case, the
프로세서(130)는 손동작 이미지 정보가 나타내는 손동작과 센싱된 형상 정보가 나타내는 손동작 간의 차이에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.The
또한, 프로세서(130)는 손동작 이미지 정보가 변경될 때 마다 수행 정확도 정보를 색상 정보 또는 문자 정보로 표시하도록 출력부(110)를 제어할 수 있다.Also, the
프로세서(130)는 음악의 출력이 종료되면 음악이 출력되는 전체 시간에 대한 훈련 수행 정확도 정보를 표시할 수 있다.When the output of the music ends, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 음악기반 다중작업 훈련의 제8 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, accuracy of 80%), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 8단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, if the training performance accuracy information is equal to or greater than the reference training accuracy information, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 악기연주 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
이때, 출력부(110)는 악기연주 훈련의 단계가 상향됨에 따라 출력되는 음악의 bpm을 빠르게 설정할 수 있다. 예를 들어, 출력부(110)는 악기연주 훈련의 제5 단계에서는 음악의 bpm을 80으로 설정하고, 한단계가 상향될때마다 bpm을 10씩 증가시킬 수 있다.At this time, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 음악 속 과제 수행 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
이때, 출력부(110)는 음악 속 과제 수행 훈련의 제5 단계에서는 특정 도형색상과 특정 도형종류를 제외한 5개의 도형색상 및 5개의 도형종류, 제6 단계에서는 특정 도형색상과 특정 도형종류를 제외한 5개의 도형색상 및 5개의 도형종류(3개의 도형색상과 3개의 도형종류를 연속하여 출력), 제7 단계에서는 5개의 카드색상, 5개의 도형종류, 5개의 도형색상, 제8 단계에서는 5개의 카드색상, 5개의 도형종류, 5개의 도형색상(3개의 도형색상과 3개의 도형종류를 연속하여 출력)를 각각 선택하도록 도형 선택 유도 음성을 출력할 수 있다.At this time, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 가창 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
이때, 출력부(110)는 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 음악의 종류를 변경할 수 있다. 예를 들어, 출력부(110)는 가창 훈련의 제5 단계에서는 장조의 연도별 인기가요, 제6 단계에서는 단조의 연도별 인기가요, 제7 단계에서는 장조와 단조의 최신가요, 제8 단계에서는 장조, 단조 및 전조의 최신가요를 각각 가창하도록 음악을 출력할 수 있다.At this time, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 악기변별 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
이때, 출력부(110)는 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 악기 소리의 종류와 개수를 변경할 수 있다. 예를 들어, 출력부(110)는 악기변별 훈련의 제5 단계에서는 서로 다른 악기류의 3개의 악기 소리, 제6 단계에서는 동일한 세부 악기류의 2개의 악기 소리, 제7 단계에서는 동일한 세부 악기류의 3개의 악기 소리, 제8 단계에서는 서로 다른 악기류의 4개의 악기 소리를 출력할 수 있다.In this case, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 음악 속 따라 말하기 훈련의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.According to an embodiment of the present invention, the
이때, 출력부(110)는 음악 속 따라 말하기 훈련의 단계가 상향됨에 따라 말하기의 난이도가 상향되도록 출력되는 음악의 크기 대비 아나운서 음성의 크기의 비율(SNR)을 감소시킬 수 있다. 예를 들어, 출력부(110)는 음악 속 따라 말하기 훈련의 제5 단계에서는 10dB SNR, 제6 단계에서는 6dB SNR, 제7 단계에서는 3dB SNR, 제8 단계에서는 0dB SNR이 되도록 음악과 아나운서 음성을 출력할 수 있다.At this time, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보(예를 들어, 정확도 80%) 미만이면 악기연주 훈련의 현재 단계를 사용자가 재훈련하도록 할 수 있다.If the training performance accuracy information is less than the reference training accuracy information (eg, 80% accuracy), the
한편, 프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이면 다음 단계의 훈련을 사용자가 수행하도록 하되, 최근 수행된 훈련의 단계가 제8 단계인 경우, 다른 훈련을 사용자가 수행하도록 할 수 있다.Meanwhile, the
이를 통해, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련, 악기변별 훈련 및 음악속 따라 말하기 훈련 각각의 제5 내지 제8 단계를 사용자가 수행하도록 할 수 있다.Through this, the
한편, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 제2 훈련 카테고리에 포함된 복수의 훈련 각각의 단계 중에서 복수의 훈련 별로 2개의 단계씩을 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사로써 사용자가 수행하도록 할 수 있다.On the other hand, the
이후, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자의 검사 수행에 따른 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상이면 훈련 및 검사를 종료한다.Thereafter, the
반대로, 본 발명의 일 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 해당 훈련을 사용자가 재수행하도록 한다.Conversely, if the average accuracy information is less than the reference test accuracy information, the
통신부(140)는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 외부기기 간에 데이터를 송수신한다. 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)의 사용 환경에 따라 통신부(140)는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)에 존재하지 않을 수 있다.The
저장부(150)는 통상적인 저장매체로서 청력을 검사하는 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)와 관련된 기술 분야에서 통상의 지식을 가진 자라면, 저장부(150)는 하드디스크드라이브(Hard Disk Drive, HDD), ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리(Flash Memory) 및 메모리카드(Memory Card)를 모두 포함함을 알 수 있다.The
한편, 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자에게 음악을 출력하고, 사용자의 인지 기능을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부(110); 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부(120); 및 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 프로세서(130);를 포함할 수 있다.On the other hand, the
프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The
훈련은 음악기반 다중작업 훈련, 악기연주 훈련 및 음악 속 과제 수행 훈련을 포함할 수 있다.Training may include music-based multitasking training, instrument playing training, and task performance training in music.
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 훈련 단계 정보에 대응되는 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.When the training performance accuracy information is greater than or equal to the reference training accuracy information and the training stage information of the recently performed training does not indicate a training change stage, the
출력부(110)는 훈련이 음악기반 다중작업 훈련이면 훈련 유도 정보로써 음악 및 음악에 대응되는 악보 정보를 출력하거나 음악 및 손 이미지 정보를 출력할 수 있다.If the training is music-based multi-task training, the
입력부(120)는 훈련이 음악기반 다중작업 훈련이면 사용자의 손 및 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 사용자의 손의 형상 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.If the training is music-based multi-task training, the
프로세서(130)는 훈련이 음악기반 다중작업 훈련이면 악보 정보 또는 손 이미지 정보와 수족 움직임 정보 또는 훈련 수행 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is music-based multi-task training, the
출력부(110)는 훈련이 악기연주 훈련이면 훈련 유도 정보로써 음악, 음악에 대응되는 악보 정보 및 악기 이미지 정보를 출력할 수 있다.If the training is musical instrument playing training, the
입력부(120)는 훈련이 악기연주 훈련이면 사용자에 의해 가상으로 연주되는 가상 악기의 악기 움직임 정보를 센싱하여 훈련 수행 정보로 생성할 수 있다.If the training is musical instrument playing training, the
프로세서(130)는 훈련이 악기연주 훈련이면 악보 정보 및 악기 이미지 정보와 악기 움직임 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is musical instrument playing training, the
출력부(110)는 훈련이 음악 속 과제 수행 훈련이면 훈련 유도 정보로써 음악, 도형 선택 유도 음성 및 보기 도형 이미지를 출력할 수 있다.If the training is task performance training in music, the
입력부(120)는 훈련이 음악 속 과제 수행 훈련이면 사용자로부터 도형 선택 정보를 입력받아 훈련 수행 정보로 생성할 수 있다.If the training is task performance training in music, the
프로세서(130)는 훈련이 음악 속 과제 수행 훈련이면 도형 선택 유도 음성 및 보기 도형 이미지와 도형 선택 정보 간의 대응 정도에 기초하여 훈련 수행 정확도 정보를 산출할 수 있다.If the training is task performance training in music, the
프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The
한편, 본 발명에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법은 출력부가 사용자에게 음악을 출력하고, 사용자의 인지 기능을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 단계; 입력부가 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 단계;를 포함할 수 있다.On the other hand, in the method for training and examining cognitive functions through inputs sensed by sensors according to the present invention, the output unit outputs music to the user and induces training inducing the user to perform training to improve the user's cognitive function. outputting information; sensing or receiving training performance information from a user performing training by an input unit; and calculating, by a processor, training performance accuracy information based on the training performance information, and setting training stage information of training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.
본 발명에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 프로세서가 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부 및 입력부를 제어하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for cognitive function and auditory function improvement according to the present invention allows a processor to perform another training among a plurality of training exercises based on whether training step information of training indicates a training change step. Controlling the output unit and the input unit; may further include.
한편, 본 발명의 다른 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치(100)는 사용자에게 음악을 출력하고, 사용자의 인지 기능 및 청각 기능 중 하나 이상을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 출력부(110); 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부(120); 및 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 프로세서(130);를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the
프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 훈련 단계 정보에 대응되는 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.When the training performance accuracy information is greater than or equal to the reference training accuracy information and the training stage information of the recently performed training does not indicate a training change stage, the
프로세서(130)는 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 미만이면 최근 수행된 훈련을 사용자가 재수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The
프로세서(130)는 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내면 최근 수행된 훈련과 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.The
출력부(110)는 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사를 사용자가 수행하도록 유도하는 검사 유도 정보를 출력할 수 있다.The
입력부(120)는 검사 유도 정보에 대응하여 검사를 수행하는 사용자로부터 검사 수행 정보를 센싱 또는 입력받을 수 있다.The
프로세서(130)는 검사 수행 정보에 기초하여 검사 수행 정확도 정보 및 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상인지 여부에 기초하여 훈련의 재수행 여부를 판단할 수 있다.The
프로세서(130)는 평균 정확도 정보가 기준 검사 정확도 정보 미만이면 평균 정확도 정보가 산출된 검사와 대응되는 훈련을 사용자가 재수행하도록 출력부(110) 및 입력부(120)를 제어할 수 있다.If the average accuracy information is less than the reference test accuracy information, the
한편, 본 발명의 다른 실시 예에 따른 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 방법은 출력부가 사용자에게 음악을 출력하고, 사용자의 인지 기능 및 청각 기능 중 하나 이상을 개선시키기 위한 훈련을 사용자가 수행하도록 유도하는 훈련 유도 정보를 출력하는 단계; 입력부가 훈련을 수행하는 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 훈련의 훈련 단계 정보를 설정하는 단계;를 포함할 수 있다.Meanwhile, a method for training and examining a cognitive function through an input sensed by a sensor according to another embodiment of the present invention is for the output unit to output music to the user and to improve one or more of the user's cognitive function and auditory function. outputting training induction information for inducing a user to perform training; sensing or receiving training performance information from a user performing training by an input unit; and calculating, by a processor, training performance accuracy information based on the training performance information, and setting training stage information of training based on whether or not the training performance accuracy information is greater than or equal to reference training accuracy information.
본 발명에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 프로세서가 훈련의 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 사용자가 수행하도록 출력부(110) 및 입력부(120)를 제어하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for cognitive function and auditory function improvement according to the present invention allows a processor to perform another training among a plurality of training exercises based on whether training step information of training indicates a training change step. Controlling the
본 발명의 다른 실시 예에 따른 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 방법은 출력부가 사용자의 인지 기능 및 청각 기능 중 하나 이상을 확인하기 위한 검사를 사용자가 수행하도록 유도하는 검사 유도 정보를 출력하는 단계; 입력부가 검사 유도 정보에 대응하여 검사를 수행하는 사용자로부터 검사 수행 정보를 센싱 또는 입력받는 단계; 및 프로세서가 검사 수행 정보에 기초하여 검사 수행 정확도 정보 및 검사 수행 정확도 정보의 평균 정확도 정보를 산출하고, 평균 정확도 정보가 기준 검사 정확도 정보 이상인지 여부에 기초하여 훈련의 재수행 여부를 판단하는 단계;를 더 포함할 수 있다.A method for providing step-by-step training and testing for improving cognitive function and auditory function according to another embodiment of the present invention is a test in which an output unit induces a user to perform a test to check at least one of the user's cognitive function and auditory function. outputting guidance information; sensing or receiving test execution information from a user performing an examination in response to the examination guidance information by an input unit; and calculating, by a processor, test performance accuracy information and average accuracy information of the test performance accuracy information based on the test performance information, and determining whether to re-perform the training based on whether the average accuracy information is greater than or equal to the reference test accuracy information; may further include.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been mainly looked at with respect to preferred embodiments. Those skilled in the art to which the present invention belongs will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited thereto, and the technical spirit of the present invention and the following by those skilled in the art to which the present invention belongs Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.
Claims (1)
상기 훈련을 수행하는 상기 사용자로부터 훈련 수행 정보를 센싱 또는 입력받는 입력부; 및
상기 훈련 수행 정보에 기초하여 훈련 수행 정확도 정보를 산출하고, 상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상인지 여부에 기초하여 상기 훈련의 훈련 단계 정보를 설정하는 프로세서;를 포함하고,
상기 프로세서는
상기 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내는지 여부에 기초하여 복수의 훈련 중 다른 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하고,
상기 훈련은
음악기반 다중작업 훈련, 악기연주 훈련, 음악 속 과제 수행 훈련, 가창 훈련 및 악기변별 훈련을 포함하고,
상기 출력부는
상기 훈련이 음악기반 다중작업 훈련이면 상기 훈련 유도 정보로써 상기 음악 및 상기 음악에 대응되는 악보 정보를 출력하거나 상기 음악 및 손 이미지 정보를 출력하고,
상기 입력부는
상기 훈련이 음악기반 다중작업 훈련이면 상기 사용자의 손 및 상기 사용자의 발 중 하나 이상의 수족 움직임 정보를 센싱하거나 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 음악기반 다중작업 훈련이면 상기 악보 정보 또는 상기 손 이미지 정보와 상기 수족 움직임 정보 또는 상기 훈련 수행 정보 간의 대응 정도에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 훈련 유도 정보로써 가위바위보 게임의 상대방 손 이미지 정보와 함께 승패 정보를 출력하여 상기 사용자가 상기 상대방 손 이미지 정보 및 상기 승패 정보에 맞춰 가위바위보 게임을 하도록 유도하고,
상기 입력부는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 상기 상대방 손 이미지가 출력될 때마다 상기 사용자의 상기 훈련 수행 정보로써 상기 사용자의 손의 형상 정보를 센싱하여 상기 훈련 수행 정보로 생성하고,
상기 프로세서는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제6 단계인 경우, 출력된 상기 상대방 손 이미지 정보와 센싱된 상기 사용자의 상기 손의 형상 정보에 기초하여 가위바위보 게임의 승패를 판단하고, 표시된 상기 승패 정보와 판단된 상기 승패 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 가창 훈련인 경우, 상기 훈련 유도 정보로써 음악, 가사 정보 및 음정 정보를 출력하고, 상기 음악의 진행에 따라 상기 사용자가 가창하도록 유도하고,
상기 출력부는
상기 훈련이 상기 가창 훈련인 경우, 상기 가창 훈련의 단계가 상향됨에 따라 가창 난이도가 상향되도록 출력되는 상기 음악의 종류를 변경하되, 상기 가창 훈련의 제1 단계에서는 장조의 동요를, 상기 가창 훈련의 제2 단계에서는 단조의 동요를, 상기 가창 훈련의 제3 단계에서는 장조의 성인가요를, 상기 가창 훈련의 제4 단계에서는 단조의 성인가요를, 상기 가창 훈련의 제5 단계에서는 장조의 연도별 인기가요를, 상기 가창 훈련의 제6 단계에서는 단조의 연도별 인기가요를, 상기 가창 훈련의 제7 단계에서는 장조와 단조의 최신가요를, 상기 가창 훈련의 제8 단계에서는 장조, 단조 및 전보의 최신가요를, 상기 사용자가 가창하도록 상기 음악을 출력하고,
상기 입력부는
상기 훈련이 상기 가창 훈련인 경우, 상기 사용자로부터 가창되는 노래의 음향 정보를 입력받고,
상기 프로세서는
상기 훈련이 상기 가창 훈련인 경우, 출력된 상기 음악의 노래의 음정 정보와 상기 사용자로부터 가창되는 노래의 음정 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 출력부는
상기 훈련이 악기변별 훈련인 경우, 상기 훈련 유도 정보로써 악기 소리를 출력하고, 악기 이미지 정보를 표시함으로써, 상기 사용자가 상기 악기 소리에 따라 악기 종류를 선택하도록 유도하고,
상기 출력부는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 악기변별 훈련의 단계가 상향됨에 따라 악기 선택 난이도가 상향되도록 출력되는 상기 악기 소리의 종류와 개수를 변경하되, 상기 악기변별 훈련의 제1 단계에서는 1개의 악기 소리를, 상기 악기변별 훈련의 제2 단계에서는 서로 다른 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제3 단계에서는 서로 다른 악기 류의 3개의 악기 소리를, 상기 악기변별 훈련의 제4 단계에서는 같은 악기류이지만 서로 다른 2개의 악기 소리를, 상기 악기변별 훈련의 제5 단계에서는 서로 다른 악기류의 3 개의 악기 소리를, 상기 악기변별 훈련의 제6 단계에서는 동일한 세부 악기류의 2개의 악기 소리를, 상기 악기변별 훈련의 제7 단계에서는 세부 악기류의 3개의 악기 소리를, 상기 악기변별 훈련의 제8 단계에서는 서로 다른 악기류의 4개의 악기 소리를, 출력하고,
상기 악기류는
악기의 분류이고,
상기 세부 악기류는
하나의 악기류에 포함된 악기의 종류를 세분화한 분류이고,
상기 입력부는
상기 훈련이 상기 악기변별 훈련인 경우, 상기 사용자로부터 악기 선택 정보를 입력받고,
상기 프로세서는
상기 훈련이 상기 악기변별 훈련인 경우, 출력된 상기 악기 소리와 상기 사용자로부터 입력된 상기 악기 선택 정보 간의 차이에 기초하여 상기 훈련 수행 정확도 정보를 산출하고,
상기 프로세서는
상기 훈련 수행 정확도 정보가 기준 훈련 정확도 정보 이상이고, 최근 수행된 훈련의 상기 훈련 단계 정보가 훈련 변경 단계를 나타내지 않는 경우, 상기 훈련 단계 정보를 상향시켜 설정하고, 상향 설정된 상기 훈련 단계 정보에 대응되는 훈련을 상기 사용자가 수행하도록 상기 출력부 및 상기 입력부를 제어하고,
상기 출력부는
상기 훈련이 음악기반 다중작업 훈련의 제1 단계 내지 제8 단계 중에서 제1 단계인 경우, 상기 훈련 유도 정보로써 악보 정보를 표시하여 음악의 진행에 따라 상기 사용자가 손가락을 탭핑하도록 유도하는 것을 특징으로 하는
음악기반 다중작업 훈련, 가창 훈련 및 악기변별 훈련을 이용한 인지 기능 훈련 및 검사 장치.an output unit which outputs music to a user and outputs training induction information for inducing the user to perform training to improve the user's cognitive function;
an input unit that senses or receives training performance information from the user performing the training; and
A processor for calculating training performance accuracy information based on the training performance information and setting training step information of the training based on whether the training performance accuracy information is greater than or equal to reference training accuracy information;
The processor
Controlling the output unit and the input unit so that the user performs another training among a plurality of training based on whether the training stage information of the training indicates a training change stage;
The training
Including music-based multitasking training, instrument playing training, task performance training in music, singing training and instrument discrimination training,
the output section
If the training is music-based multi-task training, outputting the music and score information corresponding to the music or outputting the music and hand image information as the training guidance information;
the input part
If the training is music-based multi-task training, generating the training performance information by sensing motion information of one or more limbs of the user's hand and the user's foot or sensing the shape information of the user's hand;
The processor
If the training is music-based multi-task training, calculating the training performance accuracy information based on the degree of correspondence between the score information or the hand image information and the limb movement information or the training performance information;
the output section
If the training is the 6th step among the 1st to 8th steps of music-based multi-task training, win/loss information is output together with the opponent's hand image information of the rock-paper-scissors game as the training guidance information so that the user can use the opponent's hand. Induce to play the rock-paper-scissors game according to the image information and the win/loss information,
the input part
When the training is the 6th step among the 1st to 8th steps of music-based multi-task training, the user's hand shape information is sensed as the user's training performance information whenever the other party's hand image is output. Created with the training performance information,
The processor
When the training is the 6th step among the 1st to 8th steps of the music-based multi-task training, the outcome of the rock-paper-scissors game is won or lost based on the output image information of the opponent's hand and the sensed shape information of the user's hand. and calculating the training performance accuracy information based on the difference between the displayed win/loss information and the determined win/loss information;
the output section
When the training is singing training, outputting music, lyric information, and pitch information as the training guidance information, and inducing the user to sing according to the progress of the music,
the output section
If the training is the song training, change the type of music output so that the song difficulty level increases as the stage of the song training increases, but in the first stage of the song training, the nursery rhyme in a major key, the song training In the second stage, children's songs in a minor key, in the third stage of the singing training, adult songs in a major key, in the fourth stage of the singing training, adult songs in a minor key, in the fifth stage of the singing training, popularity by year of major keys In the 6th stage of the singing training, popular songs by year in minor keys, in the 7th stage of the singing training, the latest songs in major and minor keys, in the 8th stage of the singing training, the latest songs in major keys, minor keys and telegrams Outputting the music so that the user sings a song,
the input part
When the training is the singing training, receiving sound information of the song being sung from the user,
The processor
When the training is the singing training, calculating the training performance accuracy information based on the difference between the output pitch information of the song of the music and the pitch information of the song sung by the user;
the output section
When the training is instrument discrimination training, the sound of the instrument is output as the training guidance information and image information of the instrument is displayed to induce the user to select a type of instrument according to the sound of the instrument;
the output section
When the training is the instrument discrimination training, the type and number of output musical instrument sounds are changed so that the musical instrument selection difficulty increases as the instrument discrimination training step increases, but in the first stage of the instrument discrimination training, one In the second stage of the instrument discrimination training, two musical instrument sounds of different musical instrument types were used, in the third stage of the instrument discrimination training, three musical instrument sounds of different musical instrument types were used, and in the fourth stage of the musical instrument discrimination training, In step 5, the sounds of two different musical instruments of the same instrument type are used, in the fifth step of the instrument discrimination training, the sounds of three different musical instruments are used, and in the sixth step of the instrument discrimination training, the sounds of two musical instruments of the same sub-instrument are used. In the seventh step of the instrument discrimination training, three musical instrument sounds of detailed musical instruments are output, and in the eighth step of the instrument discrimination training, four musical instrument sounds of different musical instruments are output,
The musical instruments
It is a classification of instruments,
The detailed musical instruments are
It is a subdivided classification of the types of musical instruments included in one musical instrument,
the input part
When the training is the instrument discrimination training, receiving instrument selection information from the user;
The processor
When the training is the instrument discrimination training, calculating the training performance accuracy information based on a difference between the output sound of the instrument and the instrument selection information input from the user;
The processor
When the training performance accuracy information is equal to or greater than the reference training accuracy information, and the training step information of the recently performed training does not indicate a training change step, the training step information is set upward, and the training step information corresponding to the upwardly set training step information Controlling the output unit and the input unit so that the user performs training;
the output section
When the training is the first step among the first to eighth steps of music-based multi-task training, sheet music information is displayed as the training guidance information to induce the user to tap their fingers according to the progress of the music doing
Cognitive function training and testing device using music-based multi-task training, singing training, and instrument discrimination training.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230075562A KR102634345B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210074090A KR102545185B1 (en) | 2021-06-08 | 2021-06-08 | Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same |
| KR1020230075562A KR102634345B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210074090A Division KR102545185B1 (en) | 2021-06-08 | 2021-06-08 | Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230088882A true KR20230088882A (en) | 2023-06-20 |
| KR102634345B1 KR102634345B1 (en) | 2024-02-06 |
Family
ID=84439660
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210074090A KR102545185B1 (en) | 2021-06-08 | 2021-06-08 | Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same |
| KR1020230075562A KR102634345B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training |
| KR1020230075564A KR102634347B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function using user interaction |
| KR1020230075563A KR102634346B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210074090A KR102545185B1 (en) | 2021-06-08 | 2021-06-08 | Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230075564A KR102634347B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function using user interaction |
| KR1020230075563A KR102634346B1 (en) | 2021-06-08 | 2023-06-13 | Apparatus for training and testing to cognitive function that changes training difficulty according to training performance accuracy |
Country Status (1)
| Country | Link |
|---|---|
| KR (4) | KR102545185B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010430A (en) * | 2013-07-19 | 2015-01-28 | (주)가바플러스 | Improvement-effect of brain-function system for dementia prevention and method thereof |
| KR101507700B1 (en) * | 2015-01-27 | 2015-04-07 | 박찬흠 | Computer rehabilitation method by hand motion recognition |
| KR102050917B1 (en) * | 2019-06-03 | 2019-12-02 | (주)인스파이어팩토리 | System and device for dementia rehabilitation training using virtual reality |
| KR102123869B1 (en) | 2019-02-12 | 2020-06-23 | 장성철 | Training device and method for improving cognitive response |
-
2021
- 2021-06-08 KR KR1020210074090A patent/KR102545185B1/en active IP Right Grant
-
2023
- 2023-06-13 KR KR1020230075562A patent/KR102634345B1/en active IP Right Grant
- 2023-06-13 KR KR1020230075564A patent/KR102634347B1/en active IP Right Grant
- 2023-06-13 KR KR1020230075563A patent/KR102634346B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010430A (en) * | 2013-07-19 | 2015-01-28 | (주)가바플러스 | Improvement-effect of brain-function system for dementia prevention and method thereof |
| KR101507700B1 (en) * | 2015-01-27 | 2015-04-07 | 박찬흠 | Computer rehabilitation method by hand motion recognition |
| KR102123869B1 (en) | 2019-02-12 | 2020-06-23 | 장성철 | Training device and method for improving cognitive response |
| KR102050917B1 (en) * | 2019-06-03 | 2019-12-02 | (주)인스파이어팩토리 | System and device for dementia rehabilitation training using virtual reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102545185B1 (en) | 2023-06-20 |
| KR20230092849A (en) | 2023-06-26 |
| KR20220165456A (en) | 2022-12-15 |
| KR102634346B1 (en) | 2024-02-06 |
| KR102634347B1 (en) | 2024-02-06 |
| KR20230088667A (en) | 2023-06-20 |
| KR102634345B1 (en) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103514866B (en) | A kind of method and device of instrument playing scoring | |
| US7893337B2 (en) | System and method for learning music in a computer game | |
| CN111052223A (en) | Playback control method, playback control device, and program | |
| Baba et al. | " VirtualPhilharmony": A Conducting System with Heuristics of Conducting an Orchestra. | |
| US20130005470A1 (en) | Method of obtaining a user selection | |
| WO2017125006A1 (en) | Rhythm controllable method of electronic musical instrument, and improvement of karaoke thereof | |
| JP2007264569A (en) | Retrieval device, control method, and program | |
| KR102429108B1 (en) | Electronic apparatus for performing auditory training based on singing, method, and computer program | |
| JP2013083845A (en) | Device, method, and program for processing information | |
| JP3147888B2 (en) | Game device and computer-readable recording medium | |
| KR102545185B1 (en) | Apparatus for training and testing to improve cognitive auditory function by sensing, method and program of the same | |
| JP4682375B2 (en) | Simplified score creation device and simplified score creation program | |
| KR102564399B1 (en) | Apparatus for improving auditory function that changes training difficulty according to training performance accuracy | |
| JP7432127B2 (en) | Information processing method, information processing system and program | |
| Yeh et al. | AutoRhythm: a music game with automatic hit-timing generation and percussion identification | |
| JP2007304489A (en) | Musical piece practice supporting device, control method, and program | |
| KR101131823B1 (en) | Apparatus and method for studying of chinese language | |
| Soszynski et al. | Music games as a tool supporting music education | |
| US20230245586A1 (en) | Device, system and method for providing a singing teaching and/or vocal training lesson | |
| JP7571804B2 (en) | Information processing system, electronic musical instrument, information processing method, and machine learning system | |
| Lazcano | Sonifying Physical Gesture: Sensor Augmented Electric Guitar | |
| JP5270053B1 (en) | SOUND CONTROL DEVICE, SOUND CONTROL METHOD, AND PROGRAM | |
| JP2017078829A (en) | Performance analysis device | |
| Lui | A Compact Spectrum-Assisted Human Beatboxing Reinforcement Learning Tool On Smartphone. | |
| KR101321446B1 (en) | Lyrics displaying method using voice recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |