KR20230088533A - 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 - Google Patents
청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 Download PDFInfo
- Publication number
- KR20230088533A KR20230088533A KR1020210176223A KR20210176223A KR20230088533A KR 20230088533 A KR20230088533 A KR 20230088533A KR 1020210176223 A KR1020210176223 A KR 1020210176223A KR 20210176223 A KR20210176223 A KR 20210176223A KR 20230088533 A KR20230088533 A KR 20230088533A
- Authority
- KR
- South Korea
- Prior art keywords
- test
- user terminal
- item
- user
- training
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 160
- 230000008447 perception Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims description 54
- 208000016354 hearing loss disease Diseases 0.000 title description 5
- 230000004044 response Effects 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims description 127
- 230000033764 rhythmic process Effects 0.000 claims description 41
- 230000000694 effects Effects 0.000 claims description 33
- 230000008451 emotion Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000006397 emotional response Effects 0.000 claims description 8
- 239000007943 implant Substances 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 208000032041 Hearing impaired Diseases 0.000 abstract description 14
- 239000011295 pitch Substances 0.000 description 40
- 230000015654 memory Effects 0.000 description 20
- 230000000630 rising effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 208000023514 Barrett esophagus Diseases 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 238000009527 percussion Methods 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 206010003497 Asphyxia Diseases 0.000 description 1
- 229910001369 Brass Inorganic materials 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- DFVKOWFGNASVPK-BWHPXCRDSA-N [cyano-(4-phenoxyphenyl)methyl] (1s,3s)-3-[(z)-2-chloro-3,3,3-trifluoroprop-1-enyl]-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@H](\C=C(/Cl)C(F)(F)F)[C@@H]1C(=O)OC(C#N)C(C=C1)=CC=C1OC1=CC=CC=C1 DFVKOWFGNASVPK-BWHPXCRDSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- MCWXGJITAZMZEV-UHFFFAOYSA-N dimethoate Chemical compound CNC(=O)CSP(=S)(OC)OC MCWXGJITAZMZEV-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/123—Audiometering evaluating hearing capacity subjective methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Physiology (AREA)
- Otolaryngology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Neurosurgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 음악지각사와 청각장애를 위한 음악 재활 시스템이 제공된다. 음악 지각 검사와 청각장애를 위한 음악재활프로그램 및 시스템의 구현에 있어서, 재활 프로그램을 시작하기 전 음악 지각 검사(AMP), 설문지에 대한 설문, 및 음전위부정합(MMN) 반응 검사를 실시하고, MRP 재활 프로그램을 적용하여 재활을 실시한 후, 음악 지각 검사, 설문지에 대한 설문, 및 음전위부정합 반응 검사를 재 실시한다.
Description
본 발명은 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램에 관한 것이다.
음악은 문화의 한 종류로 민족적 정서를 담고 있어 민족 간에 정서와 의사소통 도구 역할을 수행하고, 인간의 삶에 매우 중요한 부분을 차지한다.
한편, 청각 장애인의 음악 지각 능력은 청력손실의 종류와 착용하는 보조기기의 특성에 따라 다르기 때문에 개개인의 음악지각 성향을 세부적으로 분석하여 필요한 부분과 항상 가능한 영역을 확인하고 부족한 부분의 음악 지각 능력을 개선할 수 있는 방법이 필요하다.
비슷한 청각 장애인에 대한 듣기 능력의 개선을 위한 재활프로그램과 관련된 기술로써, 특허문헌 1, 대한민국 공개특허공보 제10-2021-0019712호에 기재되어 있으나, 이는 인공와우 사용자에 한정되어 있고, 음악 지각 능력의 향상에 특화되어 있지 않다.
또한, 특허문헌 2, 대한민국 등록특허공보 제10-2112465호의 경우, 치매 관련 재활을 위한 음악 재활 도구로, 본 발명과 그 특성과 내용에 있어, 청각 장애인의 음악 재활 목적으로는 사용이 어려운 문제가 존재한다.
한편, 일반적으로 음악지각에 필요한 기본요소는 피치(pitch), 멜로디(melody), 음색(timbre), 및 리듬(rhythm)이다.
그 외 불협화음과 화음의 구별, 멜로디에 사용된 악기의 수, 음악에 실린 정서를 확인하는 검사, 조화음 판별 능력 검사, 음악 인지와 관련된 개별적 상황을 확인하는 설문 검사, 언어 능력 검사 등으로 음악 지각 능력을 구체적으로 평가하면, 음악의 이해와 지각능력에 대한 요소별 평가가 가능하다.
이러한 평가를 실시하여 분석한 자료를 기반으로 정상 청력자와 청각 장애인의 음악 지각 능력을 향상시키는 청능치료교육을 위한 프로그램도 구성할 수 있다.
한편, 상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
본 발명이 해결하고자 하는 과제는 음악의 기본 요소와 여러 영역을 구체적으로 평가할 수 있는, 한국형 음악 지각 검사(Assessment of Music Percepthion, AMP)도구를 기반으로 음악재활 프로그램(Music Rehabilitation Program, MRP)를 개발하여 국내 정상 청력자와 청각 장애인의 음악 지각 능력에 대한 이해도를 제고하고 그 능력을 향상시키는 것을 목적으로 한다.
구체적으로, 고주파수와 저주파수 대역을 구분한 피치 지각 능력, 한국인에게 익숙한 민속적 멜로디를 포함한 음악 장르별 지각 능력, 국악기와 서양악기 종류에 따른 음색 지각 능력 등을 심화하여 평가할 수 있는 평가 도구로 음악 지각 능력을 체계적으로 분석하고 이를 정량화 할 수 있는 음악 지각 검사도구로 AMP를 발명하고, 구체적인 음악 지각 검사인 AMP를 통해 검사결과를 정량화하고 이를 기반으로 개인의 니즈를 반영한 맞춤형 음악재활 프로그램 모듈을 음악 요소별로 구성할 수 있는 음악재활 프로그램인 MRP 플랫폼을 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 서버의 제어 방법에 있어서, 사용자 단말을 통해, 사용자에 대한 1차 음악 지각 검사(Assessment of Music Perception, AMP) 및 1차 설문을 실행하는 단계, 검사 장치를 통해, 사용자에 대한 1차 음전위부정합(Mismatch Negativity, MMN) 반응 검사를 실행하는 단계, MRP(Music Rehabilitation Program) 재활 프로그램을 사용자 단말을 통해 실행하는 단계, 사용자 단말을 통해, 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계, 및 검사 장치를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계를 포함할 수 있다.
1차 음악 지각 검사 및 1차 설문을 수행하는 단계는, 사용자 단말을 통해 피치(pitch) 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고, 기 설정된 1차 설문 문항에 따른 UI(User Interface)에 대한 사용자 명령을 획득하여 1차 설문 결과로 저장하는 것을 특징으로 할 수 있다.
1차 음전위부정합 반응 검사를 실행하는 단계는, 검사 장치를 통해 기본음 및 변이음을 포함하는 무작위 출력음을 출력하여, 출력음에 대한 1차 반응 신호를 획득하여 저장하고, 1차 반응 신호의 수집 시간에 대한 일정 구간으로부터 1차 기초 신호를 획득하고, 1차 기초 신호와 1차 반응 신호를 바탕으로 1차 검사 결과를 획득하는 것을 특징으로 할 수 있다.
MRP 재활 프로그램을 사용자 단말을 통해 실행하는 단계는, 사용자 단말을 통해, 사용자에 대한 분류 유형을 획득하는 단계 및 기 저장된 분류 유형별 1차 검사 결과를 바탕으로 사용자에 대한 분류 유형에 따른 MRP 재활 프로그램을, 사용자 단말을 통해 실행하는 단계를 포함할 수 있다.
이때, 분류 유형은, 정상 청력자, 양쪽 청각장애자, 한쪽 청각장애자, 보청기 착용자, 및 인공와우 착용자를 포함하고, 분류 유형별 1차 검사 결과는, 1차 음전위부정합 반응 검사에 대한 1차 검사 결과를 분류 유형별로 매칭하여 획득한 통계인 것을 특징으로 할 수 있다.
생성된 MRP 재활 프로그램을 사용자 단말을 통해 실행하는 단계는, 재활과 관련된 과제 정보, 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 과제 정보에 대한 정답을 사용자 단말을 통해 출력하고, 피치, 멜로디, 리듬, 음색, 및 감정을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 사용자 단말로 제공하는 것을 특징으로 할 수 있다.
사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계는, 사용자 단말을 통해 MRP 효과 평가지 및 MRP 효과 평가지에 대한 사용자 응답을 수집하는 UI를 출력하고, 사용자 단말을 통해 피치 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고, 기 설정된 2차 설문 문항에 따른 UI에 대한 사용자 명령을 획득하여 2차 설문 결과로 저장하는 것을 특징으로 할 수 있다.
사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계는, 검사 장치를 통해 무작위 출력음을 출력하여, 출력음에 대한 2차 반응 신호를 획득하여 저장하고, 2차 반응 신호의 수집 시간에 대한 일정 구간으로부터 2차 기초 신호를 획득하고, 2차 기초 신호와 2차 반응 신호를 바탕으로 2차 검사 결과를 획득하는 것을 특징으로 할 수 있다.
추가로, 본 발명의 일 면에 따른 서버의 제어 방법은, 1차 검사 결과 및 2차 검사 결과를 바탕으로 비교값을 획득하는 단계 및 비교값이 임계치 이하인 경우, MRP 재활 프로그램을 사용자 단말을 통해 추가 실행하는 단계를 포함할 수 있다.
한편, 본 발명은, 하드웨어인 컴퓨터와 결합되어, 본 발명의 일 면에 따른 서버의 제어 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.
본 발명의 이 면에 따른, 서버의 제어 방법에 있어서, 사용자 단말을 통해, 사용자에 대한 1차 음악 지각 검사(Assessment of Music Perception, AMP) 및 1차 설문을 실행하는 단계, 사용자 단말로부터 1차 음악 지각 능력 정보를 수신하는 단계, 검사 장치를 통해, 사용자에 대한 1차 음전위부정합(Mismatch Negativity, MMN) 반응 검사를 실행하는 단계, MRP(Music Rehabilitation Program) 재활 프로그램을 사용자 단말을 통해 실행하는 단계, 사용자 단말을 통해, 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계, 사용자 단말로부터 2차 음악 지각 검사에 대한 2차 음악 지각 능력 정보를 수신하는 단계, 및 검사 장치를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계를 포함하고, 1차 음악 지각 능력 정보 및 2차 음악 지각 능력 정보는, 각각 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 및 감정 항목에 대한 반응값을 포함하는 것을 특징으로 할 수 있다.
생성된 MRP 재활 프로그램을 사용자 단말을 통해 실행하는 단계는, 재활과 관련된 과제 정보, 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 과제 정보에 대한 정답을 사용자 단말을 통해 출력하고, 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 사용자 단말로 제공하는 것을 특징으로 할 수 있다.
2차 음악 지각 능력 정보를 수신하는 단계는, 1차 음악 지각 능력 정보 및 2차 음악 지각 능력 정보를 바탕으로, 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목 각각에 대한 반응값을 비교하는 단계, MRP 재활 프로그램을 사용자 단말을 통해 재 실행할지 여부를 판단하는 단계, 및 판단 결과에 따라, 사용자 단말을 통해 MRP 재활 프로그램을 재 실행하는 단계를 포함할 수 있다.
반응값을 비교하는 단계는, 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목 중 반응값의 차이가 가장 작은 주의 항목을 식별하는 단계 및 재활 훈련 과정 중, 식별된 주의 항목에 대해 기 매칭된 적어도 하나의 연관 훈련을 식별하는 단계를 포함할 수 있다.
이에 따라, MRP 재활 프로그램을 재 실행하는 단계는, 주의 항목 및 연관 훈련을 바탕으로 MRP 재활 프로그램에 적어도 하나의 재활 훈련을 매칭하는 단계 및 재활 훈련에 대한 MRP 재활 프로그램을 사용자 단말을 통해 실행하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 청각장애를 위한 음악 지각 검사 및 재활 시스템에 의하면, 정상 청력자, 양쪽 청각장애자, 한쪽 청각장애자, 보청기 착용자, 및 인공와우 착용자를 포함한 다양한 유형에 적용이 가능하며, 2회의 음악 지각 검사 결과를 비교함으로써 명확한 수치에 근거하여 MRP를 재실시하여 검사에 대한 신뢰도를 높이는 효과를 구현한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 기본 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전체 재활 훈련 과정도이다.
도 4는 본 발명의 일 실시예에 따른 구체적인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 MRP 각 요소 별 재활 세션 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음악 감상 태도 및 만족도 설문지(MASQ_H)를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 서버 구성도이다.
도 2는 본 발명의 일 실시예에 따른 기본 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전체 재활 훈련 과정도이다.
도 4는 본 발명의 일 실시예에 따른 구체적인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 MRP 각 요소 별 재활 세션 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음악 감상 태도 및 만족도 설문지(MASQ_H)를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 서버 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 시스템 구성도이다.
도시된 바와 같이, 서버(100)는 검사를 실시하는 사용자의 전자 장치인 사용자 단말(200), 및 사용자에 대한 음전위부정합(Mismatch Negativity, MMN) 반응 검사를 수행하는 검사 장치(300)와 통신할 수 있다.
이때, 검사 장치(300)는 서버(100)와의 통신을 위해, 통신부를 포함한다.
일 실시예로, 사용자 단말(200)과 같은 전자 장치는, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device), 인공지능 스피커(AI speaker) 중 적어도 하나를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 기본 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 전체 재활 훈련 과정도이고, 도 4는 본 발명의 일 실시예에 따른 구체적인 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 MRP 각 요소 별 재활 세션 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 음악 감상 태도 및 만족도 설문지(MASQ_H)를 도시한 것이다.
도 2에 도시된 바에 따르면, 본 발명의 일 면에 따른 서버(100)의 제어 방법에 있어서, 서버(100)는 사용자 단말(200)을 통해, 사용자에 대한 1차 음악 지각 검사(Assessment of Music Perception, AMP) 및 1차 설문을 실행(S210)하고, 검사 장치(300)를 통해, 사용자에 대한 1차 음전위부정합 반응 검사를 실행(S220)한다.
이후, 서버(100)는 MRP(Music Rehabilitation Program) 재활 프로그램을 사용자 단말(200)을 통해 실행(S230)한다.
마지막으로, 서버(100)는 사용자 단말(200)을 통해, 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행(S240)하고, 검사 장치(300)를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시(S250)한다.
서버(100)가 S210 단계 및/또는 S240 단계를 수행하는데 있어서, 사용자 단말(200)을 통해 Super Lab 5.0 프로그램을 실행하여, 피치검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 실시할 수 있다.
실행된 프로그램에 따라 사용자 단말(200)은 검사음 및 검사음에 대한 선택 UI를 출력하여, UI에 대한 사용자 입력을 획득하여 서버(100)로 전송한다.
예를 들어, 사용자는, 피치 검사에 있어서, 음의 높낮이를 구분하는 능력을 평가하기 위해 제시되는 두 개의 순음을 듣고 음의 높낮이가 높은 음을 선택하는 검사를 수행한다. 이때, 검사음은, 저주파수 대역에 해당하는 C4(262 Hz), E4(330 Hz), G4(392 Hz)와 고주파수 대역에 해당하는 C6(1047 Hz), E6(1319 Hz), G6(1568 Hz)의 순음이 사용되고, 이 중 2개의 순음이 서버(100)에 의해 무작위로 선택되어 사용자 단말(200)을 통해 출력된다.
이때, 서버(100)의 무작위 선택에 따른 2개의 순음 매칭에 따라 생성된 문항은 총 30개로 구성된다.
선택된 순음의 매칭에 따라 음의 간격이 정해지며, 예컨대, 저주파수 대역 내에서 3반음차이(E4-G4), 4반음차이(C4-E4), 7반음차이(C4-G4)와 고주파수 대역 내에서 3반음차이(E6-G6), 4 반음차이(C6-E6), 7반음차이(C6-G6)가 생성된다.
또한, 저, 고주파수 대역에서 각각 선택될 경우 17반음차이(G4-C6), 20반음차이(E4-C6), 21반음차이(G4-E6), 24반음차이(C4-C6, E4-E6, G4- G6), 27반음차이(E4-G6), 28반음차이(C4-E6), 31반음차이(C4-G6)를 구분하여, 총 15개의 조합이 발생할 수 있다.
연속음을 듣고 피치의 변화를 지각하는 능력을 평가하기 위한 멜로디 지각 검사에 있어서, 사용자는 서버(100)가 사용자 단말(200)을 통해 출력하는 멜로디를 듣고 멜로디에 대한 곡 제목을 식별하는 검사를 수행한다.
예컨대, 검사를 위한 멜로디는 리듬 단서를 제거한 한국동요 10곡, '고향의 봄', '까치까치 설날은', '나비야', '루돌프 사슴코', '새타령', '생일 축하합니다', '섬집아기', 아리랑', '작은별', '푸른하늘은하수'로 총 10곡의 멜로디가 구성될 수 있으며, 120bpm의 빠르기로 출력될 수 있다.
이러한 멜로디는 하나의 곡당 두번씩 출력되어 총 20개의 문항으로 사용자에게 제공될 수 있다.
음의 높낮이가 같은 조건하에 서로 다른 리듬의 특성을 구별하는 능력을 평가하기 위한 리듬 지각 검사에 있어서, 서버(100)는 사용자 단말(200)을 통해 두 개의 리듬을 출력하여 사용자에게 제공한다.
사용되는 리듬 패턴은 8분 음표 네개와 8분쉼표 네개의 순서를 달리 조합된 A, B, C, D, E 리듬패턴이며, 두 개의 리듬은, A와A 패턴, B와B 패턴, C와C 패턴, D와D 패턴, E와E 패턴으로 5개의 조합이 제시되고, 다른 패턴이 제시될 때는 A와B 패턴, B와C 패턴, C와D 패턴, D와E 패턴, E와A 패턴으로 5개의 조합이 제시되며, 총 10개의 조합은 두 번씩 출력되어 총 20개의 문항으로 제시될 수 있다.
이때, 사용자는 제공된 두 개의 리듬의 같고 다름의 유무를, 사용자 단말(200)을 통해 제공된 판단 결과에 대한 UI의 입력으로, 판단 결과를 서버(100)로 전송한다.
악기가 가지고 있는 고유한 소리 특성을 구별하는 능력을 평가하기 위한 음색 지각 검사를 실시하는데 있어서, 서버(100)는 사용자 단말(200)을 통해 C4-A4-F4-G4-C5의 멜로디를 연주한 악기 소리를 출력하고, 사용자로부터 악기 종류에 대한 UI 입력을 획득한다.
검사음으로 사용된 악기는 트롬본, 호른, 클라리넷, 플룻, 바이올린, 첼로, 드럼, 실로폰, 기타, 피아노를 포함한 서양 악기 10개와 가야금, 해금, 대금, 향피리, 꽹과리, 징을 포함한 국악기 6개로, 각 악기당 2회씩 검사하여 총 32개의 문항으로 제시될 수 있다.
곡에서 느껴지는 분위기 및 정서를 인지하는 능력을 평가하기 위한 감정 반응 검사를 실시하는데 있어서, 서버(100)는 사용자 단말(200)을 통해 곡의 일부를 출력하고, 곡에 대한 사용자의 해석인, 밝은 감정과 어두운 감정에 대한 UI 입력을 획득한다.
예컨데, 감정 반응 검사에서 사용되는 곡은 밝고 어두운 감정의 국악과 클래식 2곡씩, '군밤타령', '청춘가', '쇼팽: 화려한 대왈츠', '조르주 비제: 투우사의노래', '대취타', '수심가', '베토벤: 운명', '쇼팽: 질식'으로 총 8 문항으로 제시될 수 있다.
협화음 및 불협화음의 정도를 인지하는 능력을 평가하기 위한 화음 지각 검사를 실시하는데 있어서, 서버(100)는 사용자 단말(200)을 통해 두 개의 화음을 출력하고, 협화음에 근사한 음에 대해 선택하는 UI 입력을 획득한다.
이때, 화음으로 제시되는 음은 심리 음향학적으로 협화음으로 인지되는 장3화음, C, D, E, F, G, A, B화음과 대표 불협화음으로 인지되는 증3화음, C+, D+, E+, F+, G+, A+, B+ 화음이며, 동일한 근음을 갖는 장3화음과 증2화음이 제시되어 총7개의 조합, C와C+ 화음, D와D+ 화음, E와E+ 화음, F와F+ 화음, G와G+ 화음, A와A+ 화음, B와B+ 화음이 출력될 수 있다. 여기서, 각 조합은 3회에 걸쳐 출력하여 총 21 문항으로 제시될 수 있다.
한편, S210 단계 및/또는 S240 단계에서 수행되는 1차 설문 및/또는 2차 설문 각각의 경우, 서버(100)는 음악 감상 태도 및 만족도 설문지(: MASQ_H, Music listening Attitudes and Satisfaction Questionnaire_Happiness)를 사용자 단말(200)을 통해 출력하며, 설문지는 청각장애인의 일상 생활 음악 감상 실태 및 만족도에 관한 내용을 파악하는 설문지이며, 설문지는 총 3개의 섹션으로 나뉘며 총 26개 문항으로 구성될 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 첫번째 섹션은, 청력손실과 보장구의 기본 정보와 보장구 착용 후 음악 요소별 음악 감상 만족도를 묻는 10개 문항으로 구성되고, 두번째 섹션은, 일상생활에서 음악 감상 빈도와 양상을 묻는 8개 문항으로 구성되고, 세번째 섹션은, 음악의 장르와 감상 환경에 따른 음악 감사 만족도를 묻는 8개의 문항으로 구성된다.
상술한 바에 의하여, S210 단계는, 서버(100)가 사용자 단말(200)을 통해 피치(pitch) 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고, 기 설정된 1차 설문 문항에 따른 UI(User Interface)에 대한 사용자 명령을 획득하여 1차 설문 결과로 저장한다.
한편, 서버(100)가 S220 단계 및/또는 S250 단계를 수행하는데 있어서, 음전위부정합 반응 검사는 Bio-Logic Navigator Pro(Ver 7.2.1, Natus Medical Incorporated, IL, USA)와 헤드폰(TDH-39, Telephonics Corporation, NY, USA)을 포함하는 검사 장치(300)를 통해 실시될 수 있다.
구체적으로, 음전위부정합 반응 검사는 사용자의 피부를 알코올 솜과 Nuprep 크림으로 닦고, gold cup 전극에 전기 전도크림을 바른 후 활성 전극을 Cz에, 기준 전극을 Fpz에, 접지 전극을 Fz에 부착하여, 전극의 저항이 5 kΩ 이하인 상태에서 진행된다.
이때, 검사 장치(300)는, 750Hz의 tone burst를 기본음(frequent stimulus)으로, 2000Hz의 tone burst를 변이음(infrequent stimulus)으로 사용하여 각각 80%와 20%의 비율과 제시속도 1.1/second로 무작위하게 총50번 제시하되, 두 가지 조건에서 실시한다.
두 가지 조건으로는, 첫번째, 사용자가 인공와우를 착용한 상태에서 헤드폰이 인공와우의 마이크 부분을 덮도록 한 후 70 dB HL를 출력하는 조건과, 두번째, 사용자가 인공와우를 착용하지 않은 상태에서 100 dB HL를 출력하는 조건이 구성된다.
이때, 사용자는 자극음에 최대한 집중하지 않도록 속으로 노래를 부르거나 구구단을 외우면서 검사를 수행하며, 검사 장치(300)에 의해 수집된 반응을 서버(100)는 1~30 Hz 대역 통과 필터로 통과시키고 90㎶를 넘은 반응은 눈의 움직임과 근육 움직임 등으로 인한 잡파로 간주하여 제거할 수 있다.
또한, 서버(100)는 반응 기록 시간을 자극 전 100ms와 자극 후 319.8ms로 자극 전 얻은 반응을 기초선(baseline)으로 하여, 기초선인 반응에 대한 기초 반응 신호와 자극 후 반응에 대한 자극 반응 신호를 비교한 수치를 반응값으로 하여 저장할 수 있다.
이때, 반응값은, S220 단계에서 획득된 1차 검사 결과, 및 S250 단계에서 획득된 2차 검사 결과로 서버(100)에 저장되며, 서버(100)는 1차 검사 결과와 2차 검사 결과의 차가 임계치 미만인 경우, 도 4에 도시된 바와 같이, MRP 재활 프로그램을 사용자 단말(200)을 통해 추가 실행할 수 있다.
상술한 바에 따라, S220 단계는, 서버(100)가 검사 장치(300)를 통해 기본음 및 변이음을 포함하는 무작위 출력음을 출력하여, 출력음에 대한 1차 반응 신호를 획득하여 저장하고, 1차 반응 신호의 수집 시간에 대한 일정 구간으로부터 1차 기초 신호를 획득하고, 1차 기초 신호와 1차 반응 신호를 바탕으로 1차 검사 결과를 획득하는 것을 특징으로 할 수 있다.
또한, S250 단계는, 서버(100)가 검사 장치(300)를 통해 무작위 출력음을 출력하여, 출력음에 대한 2차 반응 신호를 획득하여 저장하고, 2차 반응 신호의 수집 시간에 대한 일정 구간으로부터 2차 기초 신호를 획득하고, 2차 기초 신호와 2차 반응 신호를 바탕으로 2차 검사 결과를 획득하는 것을 특징으로 할 수 있다.
한편, 서버(100)가 S230 단계를 수행하는데 있어서, 자기주도 재택 훈련(self-directed home training)으로 제공되는 각 회기의 활동자료를 대상자가 가정에서 수행하는 방식으로 진행되는 MRP 재활 프로그램을 수행한다.
활동자료는, 온라인 파일로, 문제지 파일, 활동지 파일, 및 답지 파일을 포함한다.
문제지 파일에는 활동의 개요, 수행방법, 활동음 연습 및 활동문제에 대한 자료가 포함되며, 이때, 활동의 개요 및 수행방법은 설명글과 이해를 돕는 시각자료들을 포함하고, 활동음 연습과 활동 문제는 영상 및 음원파일로 구성된다.
활동지 파일에는 각 문제의 답을 표시할 수 있는 선택지가 제시되어 있어, 사용자는 문제에 대한 답안이라 생각 하는 선택을 사용자 단말(200) 상에 출력된 UI를 통해 입력할 수 있다.
답지 파일에는 문제의 정답을 포함하며, 사용자가 활동을 수행한 후, 사용자 단말(200)을 통해 파일의 접근이 가능하다.
예를 들어, 도 5에 도시된 바와 같이, 사용자는 사용자 단말(200)을 통해 문제지 파일을 실행하여 활동방법과 활동음을 연습한 후 활동 문제의 제시음을 듣고, 그 후 문제의 답안을 활동지 파일에 표시하여, 서버(100)로 전송한다.
서버(100)는 사용자가 제출한 수행자료(ex. 답안이 표시된 활동지 파일)를 수신한 후 답지 파일을 제공하여 사용자가 자가 채점 및 오답 정리를 하는 방식으로 MRP 재활 프로그램에 대한 재활이 수행될 수 있다.
이때, 재활은 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정(음악 감정) 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하며, 예컨대, 반복은 2개월 동안, 주 2회로 총 15회 시행될 수 있다.
피치 훈련은, 고주파수 대역 내 최대 간격인 24반음 차이부터 시작해서 점점 음의간격을 좁히며 최종적으로 1반음차이까지 훈련하는 것이다.
예컨대, 훈련음의 시작음을 C3으로하고 끝음을 C3에서 4옥타브 떨어진 C7으로 선정하고, C3~C7 범위 중 낮은 두 옥타브대역인 C3~C5을 저주파수대역으로, 그 다음 두 옥타브대역인 C5~C7을 고주파수대역으로 설정한다.
이후, 훈련음은 피아노 건반 중 흰 건반인 C(도), D(레), E(미), F(파), G(솔), A(라), B(시) 중 두 음계를 선택하여 한 쌍이 되도록 하였으며 한 회기당 8~12쌍의훈련음으로 구성한다.
이에 따라, 1회기는 저, 고주파수대역에서 20~24반음, 2회기는 17~19반음, 3회기는 13~14반음, 5회기는 12반음, 6회기는 10~11반음, 7회기와 8회기는 8~9반음, 9회기와 10회기는 6~7반음, 11회기와 12회기는 5~6반음, 13회기와 14회기는 3~4반음, 15회기와 16회기는 1~2반음 차이를 식별(피치 변별 및 확인)하는 것을 피치 훈련의 훈련 목표로 한다.
한편, 피치 변별 및 확인하는데 있어서, 훈련음은 2분음표의 길이와 100 beats per minute(bpm)의 빠르기로 제시되며, 저음이 하나이고 고음이 두 개인 저음-고음-고음, 고음-저음-고음, 고음-고음-저음의 순서 구성과, 저음이 두개이고 고음이 하나인 고음-저음-저음, 저음-고음-저음, 저음-저음-고음의 순서로 구성된다.
멜로디 훈련은, '상승', '유지', '하강', '상승 후 유지', '상승 후 하강', '유지 후 상승', '유지 후 하강', '하강 후 상승, '하강 후 유지'의 형태를 띠는 9개의 멜로디 패턴으로 구성되며, 저주파수 대역의 멜로디 패턴은 C3~C5의 음계, 고주파수 대역의 멜로디 패턴은 C5~C7의 음계 사용, 7개의 4분음표로 구성된다.
멜로디 패턴 중 상승 또는 하강과 같이 음의 변화가 있을 때 음의 간격을 최소 3반음에서 최대 5반음의 차이가 나도록 하였고, 유지 요소를 포함할 경우 동일한 음으로 구성되고, 모든 음들은 다장조(C major) 기준 피아노의 검은 건반을 제외한 흰 건반에 해당하는 음을 사용한다.
일 실시예로, 멜로디 훈련의 훈련곡은, 작은별’, '섬집아기', '나비야', '산토끼', '바둑이방울', '퐁당퐁당', '옹달샘', '생일 축하합니다', '아리랑', '사과 같은 내 얼굴', '고향의 봄', '설날', '아기염소', '루돌프 사슴코'로 총 14곡을 대상으로 하며, 노래의 재생 시간 중 일부분을 훈련음으로 사용할 수 있다.
훈련곡은 훈련음의 원곡이며, 훈련음은 훈련곡의 일부분만 추출한 음이다.
멜로디 훈련은, 한 회기 당 2 훈련곡으로 훈련을 수행하며, 9개 멜로디 패턴의 통일성을 위해 각 멜로디 패턴을 구성하는 가장 낮은 음을 저주파수 대역인 경우 C3로, 고주파수 대역 패턴에서는 C5로 설정한다.
멜로디 훈련은, 1~2회기는 멜로디의 기본 패턴인 '상승', '유지', '하강' 패턴을, 3~4 회기는 상승으로 시작하는 패턴인 '상승', '상승 후 유지', '상승 후 하강'을, 5~6 회기는 유지로 시작하는 패턴인 '유지 후 상승', '유지', '유지 후 하강'을, 7~8 회기는 하강으로 시작하는 패턴인 '하강 후 상승', '하강 후 유지', '하강’을, 9~10 회기는 상승으로 마무리되는 패턴인 '상승', '유지 후 상승', '하강 후 상승'을, 11~12 회기는 유지로 마무리되는 패턴인 '상승 후 유지', '유지', '하강 후 유지'를, 13~14 회기는 하강으로 마무리되는 패턴인 '상승 후 하강', '유지 후 하강', '하강'을 변별 및 확인하는 것을 훈련 목표로 한다.
사용자는 1~14회기에서 훈련은 멜로디 패턴을 듣고 변별하고, closed-set으로 주어지는 2개의 보기(ex, 2AFC, two-Alternative Forced-Choice)에서 해당 패턴을 확인한다.
이후, 사용자는 마지막 15~16회기에 대하여서는 아홉개의 전체 멜로디 패턴 중 한 멜로디 패턴을 선택하도록 하여(ex, 9AFC, nine-Alternative Forced-Choice) 현재까지 훈련하였던 모든 내용을 종합하여 정리한다.
즉, 사용자는 1~14회기에서 활동 문제는 멜로디를 듣고 closed-set 상황에서 주어지는 2개의 보기(ex. 2AFC)에서 해당 멜로디의 곡 제목을 선택하고, 15~16회기는 전체곡을 보기로 두어 선택할 수 있다.
리듬 훈련은, 곡의 일부분이 아닌 전체 부분을 가지고 박자 및 리듬을 맞추도록 진행되는, 박자 및 리듬 소리를 듣고 맞추는 훈련이다.
일 실시예로, 멜로디 훈련의 훈련곡은, 작은별’, '섬집아기', '나비야', '산토끼', '바둑이방울', '퐁당퐁당', '옹달샘', '생일 축하합니다', '아리랑', '사과 같은 내 얼굴', '고향의 봄', '설날', '아기염소', '루돌프 사슴코'로 총 14곡을 대상으로 하며, 노래의 재생 시간 중 일부분을 훈련음으로 사용할 수 있다.
이때, 피아노가 곡을 연주하고, 반주 소리 위에 박자 및 리듬을 맞춘 박수 소리를 함께 더해지도록 하되, 박수 소리에 더 집중할 수 있도록 피아노 반주소리를 박수 소리 보다 10 dB를 낮춘 음원을 사용한다.
곡의 빠르기는 4분음표기준 80 bpm이며, 곡의 박자는 4분의 2박자, 4분의 3박자, 4분의 4박자로 구성되어 다양한 박자를 제공하되, 회기가 지날수록 박자의 차수를 높이고, 규칙적 리듬에서 비규칙적 리듬을 갖는 노래로 훈련하여 점차 난이도 상향시킨다.
한편, 1회기는 본격적 활동을 진행하기 전 박자와 음표 길이의 개념을 배울 수 있는 내용과 간단한 퀴즈 활동으로 구성하고, 이후 한 회기마다 한 곡씩 진행하되, 훈련곡의 순서는 복습과 집중 훈련의 일환으로 '멜로디훈련'에서 훈련하는 노래의 순서와 동일하게 구성한다.
음색 훈련은, ‘악기배우기’, '음색 변별 및 확인하기', 및 '악기의 개수 맞히기'를 포함하는 총 3개의 활동으로 진행된다.
훈련 악기는 국악기와 서양 악기를 포함하며, 구체적으로, 국악기는 현악기의 가야금, 아쟁, 해금, 타악기의 꽹과리, 장구, 징, 목관악기의 단소, 대금, 및 향피리를 포함하고, 서양악기는 현악기의 기타, 바이올린, 비올라, 및 첼로, 타악기의 드럼, 실로폰, 팀 파니, 및 피아노, 목관악기의 리코더, 오보애, 클라리넷, 및 플룻, 금관 악기의 트럼펫, 트롬본, 및 호른을 포함할 수 있다.
각 악기가 4분음표 음계로 이루어진 C4-A4-F4-G4-C5의 멜로디를 80 bpm의 빠르기로 연주한 음원을 훈련음으로 사용하며, 1~7회기는 각기 다른 악기군에 속한 악기 소리의 차이를 익히도록 한 회기당 각 악기군에 소속되어 있는 악기 1개씩 조합하였다. 그 다음 단계로 8~14회기는 같은 악기군에 소속되어 있는 악기 소리의 차이를 익히도록 하고자 한 회기당 같은 종류 악기군에 속한 전체악기로 구성, 마지막 15회기는 전체 서양악기, 16회기는 전체 국악기로 훈련을 진행한다.
한편, 악기 배우기에 있어, 연주 영상은 유튜브 영상을 활용하고, 훈련 악기 소리만을 단독으로 들을 수 있도록 독주영상 또는 반주소리가 적은 영상을 사용자에게 제공하되, 악기 소리를 듣고 음색에 대해 표현해 보는 활동에서 제시한 형용사의 보기는 국악기와 서양악기의 음색 특성이 반영된 형용사 30개를 제시하여 진행할 수 있다.
음악 변별 및 확인하기에 있어, 사용자는 두 가지의 악기 소리를 듣고 같다 또는 다르다로 변별을 실시하며, 제시되는 악기 소리를 듣고 closed-set으로 주어지는 2개의 보기(ex. 2AFC)에서 해당 악기를 확인하도록 훈련된다.
이때, 구성 악기가 1개이면, C4-A4-F4-G4-C5 음표를 단독적으로 연주하는 악기 소리를 제공하고, 구성 악기가 2개면, 동일한 음표를 동시에 연주해 합쳐진 두 악기 소리를 제시한다. 두 악기의 조합은 해당 회기에서 훈련하는 악기들을 서로 한 번씩 매치할 수 있다.
감정 훈련은, 국악과 클래식을 활용하여, 음악의 청취시 사용자가 느끼는 감정의 정확도를 높이기 위한 훈련이다.
이때, 국악은 'Light of Rageum', '모두다꽃이야', '봄을여는소리', '신 뱃노래', '신장구춤', '용서하고픈기억', '접동새', '백인영류아쟁산조', '얼씨 구야', '에헤이요', '항해의노래', 국악 명상음악인 '꿈을꾼후에', '나는 님을잊고 져', 국립부산국악원 국악연주단의 '슬픔의강', '이렇게슬픈날에는', '홍연'을 포함할 수 있다.
또한, 클래식은 '로시니: 빌헬 름텔서곡(Rossini: William Tel Overture)', '모차르트: 아이네클라이네 나프트무지크(Mozart: Eine klein Nachtmusic, K.525)', '엘가: 사랑의 인사(Elgar: Salut d'amour)', '비발디: "사계" 중 봄 1악장(Vivaldi: Spring 1st. Mov. from "Four Seasons"), '그리그: 페르권트 모음곡 작품번호 23번 중 1번(Grieg: Peer Gynt Suite Op. 23, No. 1)', '쇼팽: 에튀드 연습곡Op. 10, No. 5"흑 건" (Chopin: Etude Op. 10, No. 5 "Black keys)', '멘델스존: 무언가 30번 A장조 "봄노래", Op.62 (Mendelssohn: Song Without Words Op.62, No.30 "Spring Song" in A Major)', '오펜바흐: 천국과 지옥 서곡 중 캉캉(Offenbach: Can Can from Orpheus in the Underworld)', '베토벤: 피아노 소나타 14번올림다단조작품번호 27-2 "월광"(Beethovan: Piano Sonata Op.27-2, No.14 in C# Major "Moonlight")', '비발디: "사계" 중 여름 3 악장(Vivaldi: Summer 3rd Mov. from "Four seasons")', '라흐마니노프: 피아노합주곡 2번다단조, Op. 18(Rachmaninoff: Piano Concerto Op. 18, No. 2 in C minor)', '쇼팽: 녹턴작품번호 9번중 1번 내림 나단조(Chopin: Nocturnes Op.9, No.1 in B Flat Minor)', '로블랜드: 비밀의 정원(Løvland: Song from a Secret Garden)', '슈베르츠: "백조의 노래"중 제 4번 세레나데, D.957(Schubert: Serenade No.4, D.957 from "Swan song")', '쇼팽: 즉흥환상곡작품번호 66번중 4번 C#단조(Chopin: Fantaisie Impromptu Op.66, No.4 in C Sharp Minor)', '쇼팽: 피아노 소나타 작품번호 35번 중 2번 내림 나단조(Chopin: Piano Sonata Op.35, No.2 in B Flat Minor )'를 포함할 수 있다.
이때, 감정은 밝은 느낌/어두운 느낌의 카테고리와 Thayer's model (1990)의 연구에서 제시된 대로 A 그룹: 행복한, 기쁜, 흥분되는, B 그룹: 평화로운, 느긋한, 차분한, C 그룹: 화난, 긴장되는, 짜증나는, 및 D 그룹: 슬픈, 졸린, 지루한의 카테고리를 포함하며, 서버(100)는 각각의 카테고리에 대한 UI를 사용자 단말(200)을 통해 출력하여, 출력된 훈련음에 대해 사용자가 선택한 감정을 입력받을 수 있다.
한편, 감정 훈련에 있어서, 국악과 클래식은 한 회기씩 번갈아가며 한 회기당 두 곡이 출력되도록 구성될 수 있다.
한편, 서버(100)가 S230 단계를 수행하는데 있어서, 서버(100)는, 사용자 단말(200)을 통해, 사용자에 대한 분류 유형을 획득하고, 기 저장된 분류 유형별 1차 검사 결과를 바탕으로 사용자에 대한 분류 유형에 따른 MRP 재활 프로그램을, 사용자 단말(200)을 통해 실행할 수 있다.
분류 유형은, 정상 청력자, 양쪽 청각장애자, 한쪽 청각장애자, 보청기 착용자, 및 인공와우 착용자를 포함하고, 분류 유형별 1차 검사 결과는, 1차 음전위부정합 반응 검사에 대한 1차 검사 결과를 분류 유형별로 매칭하여 획득한 통계이다.
서버(100)가 생성된 MRP 재활 프로그램을 사용자 단말(200)을 통해 실행하는데 있어서, 서버(100)는 재활과 관련된 과제 정보, 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 과제 정보에 대한 정답을 사용자 단말(200)을 통해 출력한다.
이때, 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 사용자 단말(200)로 제공한다.
한편, 서버(100)가 S240 단계를 수행하는데 있어서, 서버(100)는 사용자 단말(200)을 통해 MRP 효과 평가지를 1차 설문지와 더불어 출력할 수 있다.
구체적으로, MRP 효과 평가지는, 전체 훈련 결과 그리고 음의 높낮이 훈련, 멜로디훈련, 리듬훈련, 악기 소리훈련, 음악 감정 훈련의 각 하위 훈련 결과 음악듣기 태도와 즐거움의 변화를 묻는 문항으로 구성된다.
사용자는 마지막 문항으로 훈련 내용 중 좋았던 점과 개선할 점을 기술할 수 있으며, 이에 따라, 총 7개의 문항이 MRP 효과 평가지에 포함된다.
마지막 문항을 제외한 문항들에 대해서, 5개 선택지, '매우 흥미로워졌다', '조금 흥미로워졌다', '변화가 없다', '조금 흥미가 떨어졌다', '매우 흥미가 떨어졌다'에 대한 UI가 사용자 단말(200)을 통해 제공되며, 마지막 문항에 대해서는 사용자로부터 텍스트를 입력받는 UI가 사용자 단말(200)을 통해 제공된다.
상술한 바에 따라, S240 단계는, 서버(100)가 사용자 단말(200)을 통해 MRP 효과 평가지 및 MRP 효과 평가지에 대한 사용자 응답을 수집하는 UI를 출력하고, 사용자 단말(200)을 통해 피치 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고, 기 설정된 2차 설문 문항에 따른 UI에 대한 사용자 명령을 획득하여 2차 설문 결과로 저장한다.
한편, 본 발명의 이 면에 따른, 서버(100)의 제어 방법에 있어서, 서버(100)는 사용자 단말(200)을 통해, 사용자에 대한 1차 음악 지각 검사 및 1차 설문을 실행하고, 사용자 단말(200)로부터 1차 음악 지각 능력 정보를 수신하면, 검사 장치(300)를 통해, 사용자에 대한 1차 음전위부정합 반응 검사를 실행한다.
이후, 서버(100)는 MRP 재활 프로그램을 사용자 단말(200)을 통해 실행하고, 사용자 단말(200)을 통해, 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하여, 사용자 단말(200)로부터 2차 음악 지각 검사에 대한 2차 음악 지각 능력 정보를 수신한다.
1차 음악 지각 능력 정보 및 2차 음악 지각 능력 정보는, 각각 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목에 대한 반응값을 포함한다.
마지막으로, 서버(100)는 검사 장치(300)를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시한다.
한편, 서버(100)가 생성된 MRP 재활 프로그램을 사용자 단말(200)을 통해 실행하는데 있어서, 서버(100)는 재활과 관련된 과제 정보, 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 과제 정보에 대한 정답을 사용자 단말(200)을 통해 출력한다.
이때, 서버(100)는 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 사용자 단말(200)로 제공할 수 있다.
이때, 서버(100)는 1차 음악 지각 능력 정보 및 2차 음악 지각 능력 정보를 바탕으로, 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목 각각에 대한 반응값을 비교하고, MRP 재활 프로그램을 사용자 단말(200)을 통해 재 실행할지 여부를 판단한다.
구체적으로, 서버(100)는 1차 음악 지각 능력 정보에 매칭된 반응값들과 2차 음악 지각 능력 정보에 매칭된 반응값들 간의 차가 임계치 미만인 경우, 사용자 단말(200)을 통해 MRP 재활 프로그램을 재 실행한다.
일 실시예로, 서버(100)는, 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목 중 반응값의 차이가 가장 작은 주의 항목을 식별하고, 재활 훈련 과정 중, 재활 훈련 과정 중, 식별된 주의 항목에 대해 기 매칭된 적어도 하나의 연관 훈련을 식별한다.
서버(100)는 주의 항목 및 연관 훈련을 바탕으로 MRP 재활 프로그램에 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련 중 적어도 하나의 훈련 과정을 재활 훈련 과정으로 저장하여, 재활 훈련 과정에 대한 MRP 재활 프로그램을 사용자 단말(200)을 통해 실행할 수 있다.
구체적으로, 서버(100)는 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 및 감정 항목 각각에 대하여, 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련 중, 반응값 상승에 있어 상호 연계된 적어도 하나의 훈련 과정을 서로 매칭하여 저장할 수 있다.
서버(100)는 주의 항목에 매칭된 적어도 하나의 훈련 과정으로 2차 MRP 재활 프로그램을 생성하고, 생성된 과정으로 2차 MRP 재활 프로그램을 사용자 단말(200)로 제공한다.
서버(100)는 사용자 단말(200)로, 3차 음악 지각 검사를 출력하고, 사용자 단말(200)로부터 주의 항목에 대한 반응값을 포함하는 3차 음악 지각 능력 정보를 수신한다.
서버(100)는 1차 음악 지각 능력 정보와 3차 음악 지각 능력 정보를 비교하여, 1차 음악 지각 능력 정보와 3차 음악 지각 능력 정보 간의 차가 임계치 이상인 경우, 서버(100)는 MRP 재활 프로그램이 종료된 것으로 판단하고, 검사 장치(300)를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시한다.
1차 음악 지각 능력 정보와 3차 음악 지각 능력 정보 간의 차가 임계치 미만인 경우, 서버(100)는 3차 음악 지각 능력 정보에 매칭된 주의 항목에 대한 반응값을 2차 음악 지각 능력 정보에 매칭된 주의 항목에 대한 반응값과 비교한다.
일치율이 일정 퍼센트 이상인 경우, 재활 훈련 과정을 모두 포함하는 MRP 재활 프로그램을 사용자 단말(200)을 통해 재 실행하고, 일치율이 일정 퍼센트 미만인 경우, 서버(100)는 2차 MRP 재활 프로그램을 사용자 단말(200)을 통해 재 실행할 수 있다.
예를 들어, 피치 항목에 대한 반응값을 상승시킬 수 있는 연관 과정이, 멜로디 훈련 및 음색 훈련인 경우, 사용자에 대한 피치 항목이 주의 항목으로 판단되면, 서버(100)가 멜로디 훈련 및 음색 훈련으로 구성된 2차 MRP 재활 프로그램을 생성하여 사용자 단말(200)을 통해 재활 훈련을 수행한다.
이때, 서버(100)는 사용자 단말(200)로부터, 2차 MRP 재활 프로그램 수행 이후 획득된, 피치 항목에 대한 반응값을 포함하는 3차 음악 지각 능력 정보를 수신하여, 1차 음악 지각 능력 정보에 매칭된 피치 항목에 대한 반응값과 비교할 수 있다.
이 경우, 1차 음악 지각 능력 정보와 3차 음악 지각 능력 정보 간의 차가 임계치 이상인 경우, 서버(100)는 MRP 재활 프로그램이 종료된 것으로 판단하고, 검사 장치(300)를 통해, 사용자에 대한 2차 음전위부정합 반응 검사를 실시한다.
반면, 1차 음악 지각 능력 정보와 3차 음악 지각 능력 정보 간의 차가 임계치 미만인 경우, 서버(100)는 3차 음악 지각 능력 정보에 매칭된 피치 항목에 대한 반응값을 2차 음악 지각 능력 정보에 매칭된 피치 항목에 대한 반응값과 비교하여, 일치율이 일정 퍼센트 이상인 경우, 재활 훈련 과정(피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련)을 모두 포함하는 MRP 재활 프로그램을 사용자 단말(200)을 통해 재 실행할 수 있다.
한편, 3차 음악 지각 능력 정보에 매칭된 피치 항목에 대한 반응값을 2차 음악 지각 능력 정보에 매칭된 피치 항목에 대한 반응값의 일치율이 일정 퍼센트 미만인 경우, 서버(100)는 2차 MRP 재활 프로그램을 사용자 단말(200)을 통해 재 실행할 수 있다.
한편, 본 발명은, 하드웨어인 컴퓨터와 결합되어, 본 발명의 일 면 및/또는 이 면에 따른 서버(100)의 제어 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 서버(100) 구성도이다.
도시된 바와 같이, 서버(100)는 메모리(110), 통신부(120) 및 프로세서(130)를 포함할 수 있다.
메모리(110)는 서버(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(110)는 비휘발성 메모리(110), 휘발성 메모리(110), 플래시메모리(110)(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
통신부(120)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(120)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 침(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
프로세서(130)는 메모리(110)에 저장된 각종 프로그램을 이용하여 서버(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 서버(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU는 메모리(110)에 액세스하여, 메모리(110)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.
한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(110)에는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 서버
110 : 메모리
120 : 통신부
130 : 프로세서
200 : 사용자 단말
300 : 검사 장치
110 : 메모리
120 : 통신부
130 : 프로세서
200 : 사용자 단말
300 : 검사 장치
Claims (13)
- 서버의 제어 방법에 있어서,
사용자 단말을 통해, 사용자에 대한 1차 음악 지각 검사(Assessment of Music Perception, AMP) 및 1차 설문을 실행하는 단계;
검사 장치를 통해, 상기 사용자에 대한 1차 음전위부정합(Mismatch Negativity, MMN) 반응 검사를 실행하는 단계;
MRP(Music Rehabilitation Program) 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계;
상기 사용자 단말을 통해, 상기 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계; 및
상기 검사 장치를 통해, 상기 사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계;를 포함하는, 서버의 제어 방법. - 제1 항에 있어서,
상기 1차 음악 지각 검사 및 1차 설문을 수행하는 단계는,
상기 사용자 단말을 통해 피치(pitch) 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고,
기 설정된 1차 설문 문항에 따른 UI(User Interface)에 대한 사용자 명령을 획득하여 1차 설문 결과로 저장하는 것을 특징으로 하는, 서버의 제어 방법. - 제1 항에 있어서,
상기 1차 음전위부정합 반응 검사를 실행하는 단계는,
상기 검사 장치를 통해 기본음 및 변이음을 포함하는 무작위 출력음을 출력하여, 상기 출력음에 대한 1차 반응 신호를 획득하여 저장하고,
상기 1차 반응 신호의 수집 시간에 대한 일정 구간으로부터 1차 기초 신호를 획득하고,
상기 1차 기초 신호와 상기 1차 반응 신호를 바탕으로 1차 검사 결과를 획득하는 것을 특징으로 하는, 서버의 제어 방법. - 제3 항에 있어서,
상기 MRP 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계는,
상기 사용자 단말을 통해, 상기 사용자에 대한 분류 유형을 획득하는 단계; 및
기 저장된 분류 유형별 1차 검사 결과를 바탕으로 상기 사용자에 대한 분류 유형에 따른 MRP 재활 프로그램을, 상기 사용자 단말을 통해 실행하는 단계;를 포함하고,
상기 분류 유형은,
정상 청력자, 양쪽 청각장애자, 한쪽 청각장애자, 보청기 착용자, 및 인공와우 착용자를 포함하고,
상기 분류 유형별 1차 검사 결과는,
상기 1차 음전위부정합 반응 검사에 대한 1차 검사 결과를 분류 유형별로 매칭하여 획득한 통계인 것을 특징으로 하는, 서버의 제어 방법. - 제1 항에 있어서,
상기 생성된 MRP 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계는,
재활과 관련된 과제 정보, 상기 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 상기 과제 정보에 대한 정답을 상기 사용자 단말을 통해 출력하고,
피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 상기 사용자 단말로 제공하는 것을 특징으로 하는, 서버의 제어 방법. - 제1 항에 있어서,
상기 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계는,
상기 사용자 단말을 통해 MRP 효과 평가지 및 상기 MRP 효과 평가지에 대한 사용자 응답을 수집하는 UI를 출력하고,
상기 사용자 단말을 통해 피치 검사, 멜로디 지각 검사, 리듬 지각 검사, 음색 지각 검사, 감정 반응 검사, 및 화음 지각 검사를 수행하고,
기 설정된 2차 설문 문항에 따른 UI에 대한 사용자 명령을 획득하여 2차 설문 결과로 저장하는 것을 특징으로 하는, 서버의 제어 방법. - 제3 항에 있어서,
상기 사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계는,
상기 검사 장치를 통해 상기 무작위 출력음을 출력하여, 상기 출력음에 대한 2차 반응 신호를 획득하여 저장하고,
상기 2차 반응 신호의 수집 시간에 대한 일정 구간으로부터 2차 기초 신호를 획득하고,
상기 2차 기초 신호와 상기 2차 반응 신호를 바탕으로 2차 검사 결과를 획득하는 것을 특징으로 하는, 서버의 제어 방법. - 제7 항에 있어서,
상기 서버의 제어 방법은,
상기 1차 검사 결과 및 상기 2차 검사 결과를 바탕으로 비교값을 획득하는 단계; 및
상기 비교값이 임계치 이하인 경우, 상기 MRP 재활 프로그램을 상기 사용자 단말을 통해 추가 실행하는 단계;를 포함하는, 서버의 제어 방법. - 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
- 서버의 제어 방법에 있어서,
사용자 단말을 통해, 사용자에 대한 1차 음악 지각 검사(Assessment of Music Perception, AMP) 및 1차 설문을 실행하는 단계;
상기 사용자 단말로부터 상기 1차 음악 지각 능력 정보를 수신하는 단계;
검사 장치를 통해, 상기 사용자에 대한 1차 음전위부정합(Mismatch Negativity, MMN) 반응 검사를 실행하는 단계;
MRP(Music Rehabilitation Program) 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계;
상기 사용자 단말을 통해, 상기 사용자에 대한 2차 음악 지각 검사 및 2차 설문을 실행하는 단계;
상기 사용자 단말로부터 상기 2차 음악 지각 검사에 대한 2차 음악 지각 능력 정보를 수신하는 단계; 및
상기 검사 장치를 통해, 상기 사용자에 대한 2차 음전위부정합 반응 검사를 실시하는 단계;를 포함하고,
상기 1차 음악 지각 능력 정보 및 상기 2차 음악 지각 능력 정보는,
각각 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목에 대한 반응값을 포함하는 것을 특징으로 하는, 서버의 제어 방법. - 제10 항에 있어서,
상기 생성된 MRP 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계는,
재활과 관련된 과제 정보, 상기 과제 정보에 대한 사용자 응답을 수집하는 UI, 및 상기 과제 정보에 대한 정답을 상기 사용자 단말을 통해 출력하고,
피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련, 및 감정 훈련을 포함하는 재활 훈련 과정을 일정 기간 동안 일정 횟수 반복하여 상기 사용자 단말로 제공하는 것을 특징으로 하는, 서버의 제어 방법. - 제11 항에 있어서,
상기 2차 음악 지각 능력 정보를 수신하는 단계는,
상기 1차 음악 지각 능력 정보 및 상기 2차 음악 지각 능력 정보를 바탕으로, 피치 항목, 멜로디 항목, 리듬 항목, 음색 항목, 감정 항목, 및 화음 항목 각각에 대한 반응값을 비교하는 단계;
MRP 재활 프로그램을 상기 사용자 단말을 통해 재 실행할지 여부를 판단하는 단계; 및
판단 결과에 따라, 상기 사용자 단말을 통해 MRP 재활 프로그램을 재 실행하는 단계;를 포함하는, 서버의 제어 방법. - 제12 항에 있어서,
상기 반응값을 비교하는 단계는,
상기 피치 항목, 상기 멜로디 항목, 상기 리듬 항목, 상기 음색 항목, 상기 감정 항목, 및 상기 화음 항목 중 반응값의 차이가 가장 작은 주의 항목을 식별하는 단계; 및
상기 재활 훈련 과정 중, 상기 식별된 주의 항목에 대해 기 매칭된 적어도 하나의 연관 훈련을 식별하는 단계;를 포함하고,
상기 MRP 재활 프로그램을 재 실행하는 단계는,
상기 주의 항목 및 상기 연관 훈련을 바탕으로 MRP 재활 프로그램에 적어도 하나의 재활 훈련을 매칭하는 단계; 및
상기 재활 훈련에 대한 MRP 재활 프로그램을 상기 사용자 단말을 통해 실행하는 단계;를 포함하는, 서버의 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176223A KR20230088533A (ko) | 2021-12-10 | 2021-12-10 | 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176223A KR20230088533A (ko) | 2021-12-10 | 2021-12-10 | 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230088533A true KR20230088533A (ko) | 2023-06-20 |
Family
ID=86995477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210176223A KR20230088533A (ko) | 2021-12-10 | 2021-12-10 | 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230088533A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102112465B1 (ko) | 2020-01-10 | 2020-05-18 | 최혜린 | 입력되는 인풋에 따라 음악이 출력되는 재활 기구 및 그 재활 시스템 |
| KR20210019712A (ko) | 2019-08-13 | 2021-02-23 | 연세대학교 원주산학협력단 | 난청환자를 위한 청능 훈련시스템 및 청능 훈련방법 |
-
2021
- 2021-12-10 KR KR1020210176223A patent/KR20230088533A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210019712A (ko) | 2019-08-13 | 2021-02-23 | 연세대학교 원주산학협력단 | 난청환자를 위한 청능 훈련시스템 및 청능 훈련방법 |
| KR102112465B1 (ko) | 2020-01-10 | 2020-05-18 | 최혜린 | 입력되는 인풋에 따라 음악이 출력되는 재활 기구 및 그 재활 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Brodsky et al. | The mental representation of music notation: notational audiation. | |
| Gfeller et al. | Timbral recognition and appraisal by adult cochlear implant users and normal-hearing adults. | |
| Brockmeier et al. | The MuSIC perception test: a novel battery for testing music perception of cochlear implant users | |
| Larrouy-Maestri et al. | The mistuning perception test: A new measurement instrument | |
| Innes-Brown et al. | Tone, rhythm, and timbre perception in school-age children using cochlear implants and hearing aids | |
| Chau et al. | The emotional characteristics of piano sounds with different pitch and dynamics | |
| Saitis | Evaluating violin quality: Player reliability and verbalization | |
| Law | Assessing and understanding individual differences in music perception abilities | |
| Raman et al. | Bach, Mozart, and Beethoven: Sorting piano excerpts based on perceived similarity using DiSTATIS | |
| Looi et al. | The effects of training on music perception and appreciation for cochlear implant recipients | |
| KR20230088533A (ko) | 청각장애를 위한 음악 지각 검사 및 재활 시스템의 제어 방법 및 프로그램 | |
| Brennan et al. | Specialist musical training and the octave illusion: Analytical listening and veridical perception by pipe organists | |
| Buzás | Testing the music reading skills of 10-to 14-year-old students | |
| Davies | An analysis of factors involved in musical ability, and the derivation of tests of musical aptitude | |
| Leimu | Challenging equal temperament: perceived differences between twelve-tone equal temperament and twelve fifth-tones tuning | |
| Clark | Direction of mistuning, magnitude of cent deviation, and timbre as factors in musicians' pitch discrimination in simultaneous and sequential listening conditions | |
| Mitchell | Defining vocal quality in female classical singers: pedagogical, acoustical and perceptual studies | |
| Daly et al. | The influences of musical training and spectral centroid on perceptual interactions of pitch and timbre | |
| Frampton | The effect of piano accompaniment type and harmonic context on the tuning performance of college-level choral musicians | |
| Hinkley | Effects of Vibrato and Pitch-Varied Vocal Models on High School and Undergraduate Singers' Intonation, Intensity, and Use of Vibrato | |
| Bruder et al. | Perceptual (but not acoustic) features predict singing voice preferences | |
| Gend et al. | Adolescent girls' changing voices: re-thinking classification | |
| Herrick | An Examination of Relationships Between Ear-Playing Skills and Intonation Skills of High School and College-Aged Wind Instrumentalists | |
| Lycke | Voice classification by phonetography: a manual for voice testing, education, therapy and research | |
| Bell | The effects of rate of deviation and musical context on intonation perception in homophonic four-part chorales |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |