KR102377414B1 - 인공지능 기반 개인화 청각 재활 시스템 - Google Patents
인공지능 기반 개인화 청각 재활 시스템 Download PDFInfo
- Publication number
- KR102377414B1 KR102377414B1 KR1020200118850A KR20200118850A KR102377414B1 KR 102377414 B1 KR102377414 B1 KR 102377414B1 KR 1020200118850 A KR1020200118850 A KR 1020200118850A KR 20200118850 A KR20200118850 A KR 20200118850A KR 102377414 B1 KR102377414 B1 KR 102377414B1
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- auditory
- training
- response information
- hearing
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 180
- 230000004044 response Effects 0.000 claims abstract description 98
- 230000008859 change Effects 0.000 claims abstract description 57
- 230000001149 cognitive effect Effects 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 208000016354 hearing loss disease Diseases 0.000 claims description 45
- 206010011878 Deafness Diseases 0.000 claims description 43
- 230000010370 hearing loss Effects 0.000 claims description 43
- 231100000888 hearing loss Toxicity 0.000 claims description 43
- 239000000463 material Substances 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000008520 organization Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007774 longterm Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Otolaryngology (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 실시 예에 따른 개인화 청각 재활 시스템은 서버 및 대상자 기기를 포함하여 구성되고, 상기 서버는 상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 분석을 수행하고, 분석 결과에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성할 수 있다.
Description
본 발명은 인공지능 기반 개인화 청각 재활 시스템에 관한 것이다.
최근 국내 난청 환자수는 약 1. 4배 증가하였으며, 난청질환에 의한 연간 의료비 또한 꾸준히 증가하는 추세이다. 난청 환자들 중 청각 장애인으로 등록되는 경우 또한 가파르게 증가하고 있으며, 2019년 신규 등록 장애인 중 청각 장애가 39.3%로 가장 많은 비중을 차지하고 있다.
이렇듯 난청 환자수는 증가하고 있음에도 불구하고, 현재 난청인들을 위한 청각 재활 서비스는 비체계적이고 충분하지 못하다는 평가를 받고 있다. 장기간의 청각 재활 비용이 난청인들에게 부담이 되는 점, 차별성 없는 획일적인 치료 접근으로 고비용 저효율을 초래하는 점, 청각 재활센터가 가까운 거리에 존재하지 않아 방문이 어려운 점 등이 난청인들을 위한 청각 재활서비스가 체계적으로 이루어지지 못하는 주된 사유이다.
이에 따라 난청인들이 청각 재활센터의 근처에 거주하지 않더라도 적은 비용으로 장기적이고 체계적으로 재활서비스를 효과적으로 받을 수 있는 개인 맞춤형 원격 청각재활 서비스가 요구되고 있다.
본 발명은 난청인에게 비대면으로 개인 맞춤형 청각 재활 서비스를 제공하는 데 목적이 있다.
본 발명의 실시 예에 따른 개인화 청각 재활 시스템은 서버 및 대상자 기기를 포함하여 구성되고, 상기 서버는 상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 분석을 수행하고, 분석 결과에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성할 수 있다.
그리고 상기 서버는 상기 대상자 기기로부터 청각 훈련을 요청하는 훈련 대상자의 기초 정보를 획득하되, 상기 기초 정보로 대상자의 연령대, 난청의 원인, 난청 정도, 난청의 유형, 및 보청기 착용기간을 포함하여 획득하는 대상자 기초 정보 획득부를 포함할 수 있다.
또한 상기 서버는 상기 대상자 기기로부터 청각 훈련이 요청됨에 따라 청각 훈련용 자료를 상기 대상자 기기 측에 제공하되, 상기 대상자의 청각 특성에 대응하여 청각 훈련용 자료를 제공하는 청각 훈련 수행부를 포함할 수 있다.
또한 상기 서버는 청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 차수 및 보청기 착용 기간의 경과 정도에 따라 각 시기와 관련된 응답 정보를 획득하는 응답 정보 획득부를 포함할 수 있다.
또한 상기 서버는 상기 대상자 기기로부터 획득된 대상자의 응답 정보를 기반으로 인공지능 학습을 수행하여 청각 특성별 인지 변화 모델을 생성하고, 학습 결과로 기 생성된 인지 변화 모델에 대상자의 응답 정보를 투입하여 인공지능 분석을 수행함을 통해 대상자의 청각 특성의 변화를 예측하는 인공지능 분석부를 포함할 수 있다.
이 때 상기 인공지능 분석부는 청각 훈련 시 상기 대상자 기기로부터 획득된 대상자의 응답 정보 및 상기 대상자의 기초 정보를 인공지능 학습에 투입할 항목별로 선별하는 자료 선별부를 포함할 수 있다. 그리고 상기 인공지능 분석부는 인공지능 학습 및 분석 시 인공지능 모델은 시퀀스 데이터를 대상으로 연산 가능한 인공신경망인 Recurrent Neural Network를 적용하며 초기 학습의 weight를 차후 학습에 반영할 수 있다.
상기 서버는 다수의 대상자 기기로부터 획득된 대상자들의 응답 정보 및 기초 정보를 토대로 학습된 청각 특성별 인지 변화 모델 중 일 대상자의 청각 특성에 대응하는 인지 변화 모델을 선택하고, 선택된 인지 변화 모델에 일 대상자의 응답정보를 투입한 결과값을 기반으로 차후 제시할 청각 훈련 자료의 특성값을 조정하는 훈련자료 설정부를 포함할 수 있다.
본 발명은 난청인에게 인공지능 분석에 기반한 개인 맞춤형 청각 재활 서비스를 제공할 수 있다.
또한 본 발명은 난청인이 직접 재활 센터를 방문하지 않더라도 원거리에서 비대면으로 청각 재활 훈련을 수행할 수 있도록 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 인공지능 분석부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 개인화 청각 재활 동작의 순서를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 인공지능 모델의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 인공지능 분석부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 개인화 청각 재활 동작의 순서를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 인공지능 모델의 개념을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
또한, 본 명세서에서 '대상자'란 청각 훈련 및 보청기 적합의 대상자를 의미하며, 그와 동시에 전자 기기 및 본 발명의 실시 예에 따른 시스템의 사용자를 의미할 수 있다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 실시 예에 따른 인공지능 기반 개인화 청각 재활 시스템에 대하여 설명하기로 한다.
먼저, 도 1은 본 발명의 실시 예에 따른 시스템의 구성을 도시한 도면이다.
도 1에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 개인화 청각 재활 시스템은 서버 100, 대상자 기기 200, 기관 측 기기 300를 포함하여 구성될 수 있다.
그리고 일 실시 예에 따라 상기 서버 100는 대상자 기기 200로부터 청각 훈련(예, 난청 재활 훈련)을 요청받고, 그에 대응하여, 상기 서버는 100는 상기 대상자 기기 200 측으로 청각 훈련을 위한 자료를 제공할 수 있다.
또한 상기 서버 100는 상기 대상자 기기 200로부터 대상자의 기초 정보를 획득할 수 있는데, 이 때 기초 정보란 대상자의 연령대, 난청의 원인, 난청 정도, 난청의 유형, 및 보청기 착용기간을 포함하는 청각 관련 정보를 의미할 수 있다. 상기 서버 100는 대상자 기기 200로부터 획득된 대상자의 기초 정보를 토대로, 청각 훈련의 내용을 선택할 수 있는데, 예를 들어, 청각 훈련의 단계 내지 난이도, 청각 훈련용 콘텐츠의 테마 등을 선택할 수 있다.
또한 상기 서버 100는 청각 훈련 동작이 수행됨에 따라 대상자 기기 200로부터 획득되는 응답 정보를 획득할 수 있다. 이 때 응답 정보란, 청각 훈련 시 서버 100측엣서 제공하는 문항에 대응하여 답한 내용이나, 훈련 요청 콘텐츠에 대응하여 대상자가 입력한 정보(예, 텍스트 정보, 내지 음성 녹음 정보, 선택 정보 등)을 의미할 수 있다.
상기 서버 100는 대상자 기기 200로부터 획득된 응답 정보를 기반으로 인공지능 학습을 수행하여, 대상자 개인별 인지 변화 모델을 생성할 수 있다. 또한 상기 서버 100는 생성된 개인별 인지 변화 모델을 통해 인공지능 분석된 결과를 기반으로 대상자에게 적합한 청각 훈련자료를 설정하여 추후 청각 훈련시 대응할 수 있다.
상기 서버 100는 다양한 실시 예에 따라 대상자 개개인에 맞춰 학습된 인지 변화 모델을 생성할 수도 있고, 대상자 특성별 인지 변화 모델을 생성한 후, 일 대상자의 특성에 해당하는 인지 변화 모델을 선택하도록 하는 방법을 사용할 수도 있다.
상기 서버 100는 일 대상자의 훈련 결과 정보와, 청각 훈련을 통해 획득된 응답 정보를 토대로 생성된 인지 변화 모델에 관한 결과값을 기관 측 기기 300로 전달할 수 있다. 상기 기관은 난청 클리닉과 같은 청각 훈련 대상자의 청각 정보 및 훈련 정보를 관리하는 기관을 의미할 수 있다.
상기 대상자 기기 200는 통신 및 데이터 저장이 가능한 다양한 종류의 전자장치를 통해 구현될 수 있다. 예를 들면, 상기 대상자 기기200는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예:스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
그리고 상기 대상자 기기 200는 도면에 자세히 도시되지는 않았지만, 서버 100에서 전달받은 청각 훈련용 자료를 대상자에게 제공하기 위한 다양한 구성을 포함하고 있을 수 있다. 예를 들어, 상기 대상자 기기 200는 서버 100와의 통신을 수행하기 위한 통신부, 서버 100로부터 제공받은 청각 훈련용 자료를 저장하는 저장부, 서버 100로부터 제공되는 청각 훈련용 자료 중 시각적 콘텐츠를 표시하는 표시부, 청각 훈련 동작에 대응하는 응답 정보 중 텍스트 입력, 선택 정보 입력 등을 대상자로부터 입력받는 입력부, 응답 정보 중 대상자의 음성 정보를 입력받고, 청각 훈련용 자료 중 청각적 콘텐츠를 출력하는 오디오 처리부, 대상자의 훈련 집중도 판단에 요구되는 정보를 획득하기 위한 센서부 등을 포함하여 구성될 수 있다.
구체적으로, 상기 표시부는 패널, 홀로그램 장치, 또는 프로젝터를 포함할 수 있다. 패널은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 표시부는 패널, 홀로그램 장치, 또는 프로젝터를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력부는 예를 들면, 터치 패널(touch panel), 펜 센서(pen sensor, 키(key), 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택 타일레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
상기 오디오 처리부는 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 처리부의 적어도 일부 구성요소는 입출력 인터페이스에 포함될 수 있다. 오디오 처리부는, 예를 들면, 스피커, 리시버, 이어폰, 또는 마이크 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 센서부는, 예를 들면, 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서부는 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서부는 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 부는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치는 프로세서의 일부로서 또는 별도로, 센서부를 제어하도록 구성된 프로세서를 더 포함하여, 프로세서가 슬립(sleep) 상태에 있는 동안, 센서부를 제어할 수 있다.
본 발명의 다양한 실시 예에 따라 대상자 기기 200의 센서부는 청각 훈련이 진행되는 동안 사용자의 움직임, 외부 환경의 변화, 사용자의 감정 변화 등을 감지하기 위한 센싱 동작을 수행할 수 있다. 청각 훈련이 진행되는 동안 센서부를 통해 감지된 움직임, 감정 변화, 환경 변화에 대한 정보는 청각 훈련의 집중도를 판단하고, 해당 청각 훈련 동작 시 획득된 응답정보의 신뢰도 여부를 판단하는 데 활용될 수 있다.
앞서, 서버 100를 통해 이루어지는 동작에 대하여 간략하게 설명하였으나, 보다 자세히 설명하기 위해 도 2 내지 도 3을 참조하기로 한다.
도 2는 본 발명의 실시 예에 따른 서버의 구성을 도시한 도면이다.
도 2에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 서버 100는 통신부 110, 저장부 120, 대상자 기초 정보 획득부 131, 청각 훈련 수행부 132, 응답 정보 획득부 133, 인공지능 분석부 134, 훈련자료 설정부 135를 포함하여 구성될 수 있다.
상기 통신부 110는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 대상자 기기 200 및 기관 측 기기 300와의 통신을 수행할 수 있다. 구체적으로, 상기 통신부 110는 대상자 기기 200로부터 대상자의 청각 능력과 관련된 기초 정보, 대상자의 청각 훈련 동안의 응답 정보 등을 수신할 수 있다. 그리고 상기 통신부 110는 기관 측 기기 300로 서버 100가 대상자 관련 정보를 토대로 인공지능 기반의 분석을 수행한 결과값을 전송할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 인공지능 분석에 요구되는 알고리즘 및 데이터를 저장할 수 있다.
또한 상기 저장부 120는 대상자 기기 200로부터 획득된 대상자별 기초정보 및 대상자의 응답 정보를 저장할 수 있다. 또한 상기 저장부 120는 인공지능 모델을 통해 산출된 대상자의 청각 훈련에 관한 설정값 정보 등을 저장할 수 있다.
상기 대상자 기초정보 획득부 131는 청각 훈련의 대상자인 난청인의 난청 관련 특징 정보 등을 대상자 기기 200로부터 획득하는 동작을 수행할 수 있다.
일 실시 예에 따라 상기 대상자 기초정보 획득부 131는 대상자 기기 200가 서버 100에서 지원하는 어플리케이션 또는 웹에 로그인하는 단계 또는 청각 훈련을 요청하는 단계에서 대상자의 기초 정보를 요청할 수 있다. 이에 따라 대상자 기기 200는 서버 100측으로 요청받은 대상자의 기초 정보를 전송할 수 있다.
상기 대상자 기초정보 획득부 131는 대상자 기기 200로부터 다양한 종류의 기초 정보를 획득할 수 있는데, 기초 정보는 대상자의 연령대, 난청의 원인, 난청 정도, 난청의 유형 및 보청기 착용기간 등을 포함할 수 있다. 획득된 대상자의 기초 정보는 초기 청각 훈련용 자료를 선택하는 데 활용될 수 있다. 예를 들어, 대상자의 난청 정도는 초기 청각 훈련용 자료의 단계 또는 레벨을 선택하는 데 활용될 수 있다.
상기 청각 훈련 수행부 132는 상기 대상자 기기 200로부터 청각 훈련이 요청됨에 따라 청각 훈련용 자료를 상기 대상자 기기 측에 제공하되, 상기 대상자의 청각 특성에 대응하여 청각 훈련용 자료를 제공할 수 있다. 상기 청각 훈련 수행부 132는 앞서 설명한 바와 같이, 획득된 대상자의 기초 정보들 중 청각 특성(예, 난청 정도, 난청 원인 등)과 관련된 항목들에 대응하여 청각 훈련용 자료의 종류를 선택하여 제공할 수 있다.
상기 청각 훈련 수행부 132에서 청각 훈련용 자료를 기초 정보에 포함된 청각 특성에 기반하여 선택하는 동작은 초기 청각 훈련 단계에서 수행될 수 있다.
상기 청각 훈련 수행부 132는 또한 대상자의 이전 청각 훈련 이력이 존재하는지 여부를 판단할 수 있다. 상기 청각 훈련 수행부 132는 대상자의 이전 훈련 이력이 존재하는 경우, 이전 훈련 동작 시 획득된 응답 정보를 기반으로 학습된 인공지능 모델을 통해 획득된 해당 대상자의 차후 훈련 단계 정보에 따라 청각 훈련 자료를 선택할 수 있다.
이처럼 다양한 실시 예에 따라 상기 청각 훈련 수행부 132는 대상자의 훈련 이력의 유무에 따라 청각 훈련용 자료의 특성값(예, 훈련 난이도, 훈련 소요 시간 등)선택 방식에 차등을 둘 수 있다. 이전 훈련 이력이 존재하지 않는 대상자의 경우, 기초 정보에 포함된 청각 특성 정보만을 토대로 초기 청각 훈련 자료의 특성값 선택을 수행할 수 있다. 반면, 이전 훈련 이력이 존재하는 대상자의 경우, 대상자의 특성에 대응하는 인지 변화 모델이 존재할 것이므로, 해당 인지 변화 모델을 통해 산출된 값에 따라 청각 훈련 자료의 특성값 선택을 수행할 수 있다.
상기 응답 정보 획득부 133는 청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득할 수 있다. 이 때 응답 정보는 청각 훈련 시 제공되는 자료에 대응하여 대상자가 입력하는 녹음 정보, 텍스트 정보 및 선택 정보(문제에 대한 정답 체크 정보) 등을 포함할 수 있다.
상기 응답 정보 획득부 133는 대상자가 입력한 응답 정보를 그 속성에 따라 항목별로 분류하고, 청각 훈련에 대한 결과를 산출할 수 있다. 예를 들어 상기 응답 정보 획득부 133는 획득된 대상자의 응답 정보를 녹음 데이터, 텍스트 데이터, 선택 데이터 등으로 분류할 수 있다. 또한 상기 응답 정보 획득부 133는 획득된 대상자의 응답 정보와 제공된 훈련용 자료와의 비교를 통해 대상자의 전체적인 테스트 결과, 훈련 참여율, 집중도 등을 평가할 수 있다.
또한 상기 응답 정보 획득부 133는 대상자들의 청각 훈련 차수 및 보청기 착용 기간의 경과 정도(예, 훈련 회차, 보청기 착용일로부터 경과된 개월 수 등)에 따라, 각 시기와 관련된 응답 정보를 획득할 수 있다.
상기 인공지능 분석부 134는 인공지능 알고리즘에 기반하여 대상자의 청각 능력의 상태를 진단하고, 차후 청각 기능의 변화 수준에 대한 가능성을 예측할 수 있다. 그리고 상기 인공지능 분석부 134에서 분석한 결과값은 훈련자료 설정부 135에서 훈련 자료의 특성값을 선택하는 데 활용될 수 있다.
상기 인공지능 분석부 134의 구성에 대하여는 하기 도 3을 참조하여 보다 자세히 설명하기로 한다.
그리고 상기 훈련 자료 설정부 135는 다수의 대상자 기기로부터 획득된 대상자들의 응답 정보 및 기초 정보를 토대로 학습된 인공지능 모델(인지 변화 모델) 중 일 대상자의 청각 특성에 대응하는 인지 변화 모델을 선택하고, 선택된 인지 변화 모델에 일 대상자의 응답정보를 투입한 결과값을 기반으로 차후 제시할 청각 훈련 자료의 특성값을 조정하는 동작을 수행할 수 있다. 이 때 상기 청각 훈련 자료의 특성값은 훈련 자료의 난이도 단계, 훈련 소요 시간, 훈련 자료의 테마 등을 의미할 수 있다. 이에 따라 상기 훈련자료 설정부 135는 대상자 개인의 청각 능력 및 인지 능력의 상태에 대응하여 청각 훈련용 자료의 난이도, 훈련 종류 등이 선택될 수 있게 된다.
도 3은 본 발명의 실시 예에 따른 인공지능 분석부의 구성을 도시한 도면이다.
도 3에서 도시되는 바와 같이, 상기 인공지능 분석부 134는 자료 선별부 134a, 모델 훈련부 134b 및 분석 수행부 134c를 포함하여 구성될 수 있다.
먼저 상기 자료 선별부 134a는 청각 훈련 시 상기 대상자 기기로부터 획득된 대상자의 응답 정보 및 상기 대상자의 기초 정보를 인공지능 학습에 투입할 항목별로 선별할 수 있다.
상기 자료 선별부 134a는 인공지능 모델 학습을 수행하기 전, 투입 데이터의 전처리 동작을 수행할 수 있는데, 이 때 전처리를 위해, 상기 획득된 응답 정보를 투입 항목별로 분류할 수 있다. 예를 들어, 상기 자료 선별부 134a는 획득된 응답 정보들을 대상자별로 분류할 수도 있고, 다수의 대상자들로부터 획득된 응답 정보들을 훈련 차수에 따라 분류할 수도 있다. 또는 상기 자료 선별부 134a는 다수의 대상자들로부터 획득된 응답 정보들을 보청기 착용 기간별로 분류하여, 예컨대 6개월차 대상자들의 응답정보들과 1년 이상 보청기를 착용한 대상자들의 응답정보를 분류할 수 있다.
상기 모델 훈련부 134b는 인공지능에 기반한 대상자의 인지 변화 모델을 생성할 수 있다. 상기 모델 훈련부 134b는 본 발명의 실시 예에 따라 순환 신경망이라고 하는 RNN(Recurrent Neural Network)을 이용하여 인지 변화 모델을 학습시킬 수 있다.
상기 RNN은 상태가 고정된 데이터를 처리하는 다른 신경망과는 달리 자연어 처리나 음성 인식처럼 순서가 있는 데이터를 처리하는 데 강점을 가진 신경망으로 알려져 있다. 이에 따라 앞의 정보로 다음에 나올 정보를 추측하고자 하는 경우 RNN을 이용하여 예측 프로그램을 생성할 수 있다.
RNN의 기본 구조에 대하여는 도 5를 참조하여 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 인공지능 모델의 개념을 설명하기 위한 도면이다.
도 5를 참조하면, 'A'로 표현되는 한 덩어리의 신경망은 '셀'이라고 하며, RNN은 이러한 셀을 여러 개 중첩하는 방식으로 심층 신경망을 만들게 된다. 이로써 RNN은 앞단계에서 학습한 결과를 다음 단계의 학습에 이용하는 것인데, RNN 구조에 따르면 'hidden state'라고 하는 기억층을 가지고 있는데, RNN의 기억은 순차적으로 투입된 입력 데이터를 요약한 정보를 의미할 수 있다. 그리고 RNN은 새로운 인풋 데이터가 투입될 때마다 신경망은 기억을 수정해가게 되며, 투입된 인풋 데이터를 모두 처리하고 난 후 신경망에 남겨진 기억은 시퀀스 전체를 요약하는 정보가 된다.
RNN에서의 연산 과정에 따르면, 첫번째 인풋 데이터가 투입되면, 첫번째 기억이 만들어지고, 두번째 인풋 데이터가 들어오면 기존의 기억과 새로운 인풋 데이터를 참고하여 새 기억을 만든다. 각각의 기억은 그때까지의 인풋 데이터를 요약해서 가지고 있는 정보가 된다. RNN은 이 요약된 정보를 바탕으로 아웃풋을 만들어내게 된다.
상기 모델 훈련부 134b는 이러한 RNN 방식의 인공신경망을 기반으로 대상자들의 인지 변화 모델을 학습시킬 수 있다. RNN의 특성 때문에 상기 모델 훈련부 134b는 RNN 방식의 인지 변화 모델을 학습시키는 과정에서, 학습시킬 데이터를 단계별로 구분하여 입력해야 할 필요가 있다. 이 때 상기 모델 훈련부 134b는 일 실시 예에 따라 일 대상자의 난청 관련 시간적 요소에 대응하여 학습 데이터를 순차적으로 투입하여 학습시킬 수 있다. 그리고 이러한 인지 변화 모델은 학습 콘텐츠 내지 학습 분야에 따라 다수 개 생성될 수 있다.
보다 구체적으로 예를 들면, 상기 모델 훈련부 134b는 특정 문항에 대한 대상자들의 인지 변화 모델을 학습시킬 수 있는데, 이 때 첫번째 학습 데이터 투입 시 특정 문항에 대한 1회차 청각 훈련 시 답변 완성도 값을 투입하고, 두번째 학습 데이터로 동일 문항에 대한 2회차 청각 훈련 시 답변 완성도 값을 투입하는 방식으로 학습 동작을 수행할 수 있다.
이와 같은 방식으로 상기 모델 훈련부 134b는 n회차 청각 훈련을 수행한 임의의 대상자의 해당 문항에 대한 답변 완성도 값에 대한 예측을 수행할 수 있는 인지 변화 모델을 생성할 수 있다. 그리고 이와 같이 생성된 상기 인지 변화 모델을 통해 n회차 청각 훈련이 예정된 임의의 훈련 대상자의 특정 문항에 대한 답변 완성도 값이 예측될 수 있다.
상기 예시는 인지 변화 모델의 학습과 활용에 대하여 설명하기 위하여 설명한 것일 뿐, 인지 변화 모델이 임의의 문항을 대상으로 설계되는 점, 특정 문항에 대한 답변 완성도 값이 학습 데이터로 투입되는 점 등은 충분히 다르게 구성될 수 있는 항목이다.
인지 변화 모델은 문항 대신, 대상자의 연령대, 대상자의 난청 원인 등의 속성에 따라 다수 개 생성될 수 있다. 또한 순차적으로 투입되는 학습 데이터는 청각 훈련 회차뿐 아니라, 보청장치의 착용 시점으로부터 경과한 기간 또는 난청 치료를 개시한 날로부터 경과한 기간 등에 따라 순서가 설정될 수 있다.
상기 분석 수행부 134c는 기 생성된 인지 변화 모델들 중 분석 대상이 되는 대상자의 특성에 대응하는 모델을 선택하고, 선택된 모델에 분석 대상자에 해당하는 정보를 투입하여 차후 대상자의 청각 상태의 변화를 예측할 수 있다.
예를 들어, 상기 분석 수행부 134c는 차후 대상자의 청각 상태의 변화를 수치와 같은 특정 값으로 산출할 수 있고, 이와 같이 산출된 결과값은 추후 해당 대상자의 청각 능력의 향상 또는 하락 정도를 의미할 수 있다. 그리고 이에 따라 상기 결과값은 해당 대상자가 추후 수행하게 될 청각 훈련 시 훈련 자료의 특성값(예, 청각 훈련용 자료의 테마, 훈련 자료의 난이도, 주요 훈련 유형 등)을 결정하는 데 활용될 수 있다.
도 4는 본 발명의 실시 예에 따른 개인화 청각 재활 동작의 순서를 도시한 도면이다.
도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 대상자 기기 200는 서버 100 측에 청각 훈련을 요청하는 401동작을 수행할 수 있다. 이에 대응하여 상기 서버 100는 청각 훈련용 자료를 대상자 기기 200측에 제공하는 403동작을 수행할 수 있다.
이후 상기 대상자 기기 200의 사용자인 청각 훈련 대상자는 서버 100에서 제공하는 청각 훈련 자료를 통해 청각 훈련 동작을 수행할 수 있고, 이에 따라 청각 훈련 과정에서 수반되는 응답 정보를 입력할 수 있다. 이 때 응답 정보란 청각 훈련 시 제공되는 테스트 콘텐츠에 대응하여 대상자가 입력한 정답 체크 정보, 텍스트 입력 정보, 녹음 정보 등이 해당될 수 있다.
이와 같이 대상자는 청각 훈련 동작을 수행하는 동안 응답 정보를 입력할 수 있고, 이에 따라 상기 대상자 기기 200는 대상자에 의해 입력된 응답 정보를 서버 100측에 제공하는 405동작을 수행할 수 있다. 이후 상기 서버 100는 대상자가 수행한 청각 훈련의 결과를 산출하고 이를 대상자 기기 200 측에 전송하는 407동작을 수행할 수 있다. 청각 훈련 결과는 예컨대, 대상자가 청각 훈련에 집중하여 참여하였는지 여부, 청각 훈련을 통해 판단된 현재 청각 능력 상태 등에 관한 정보 등을 포함할 수 있다.
상기 서버 100는 또한 대상자 기기 200로부터 획득된 응답 정보를 기반으로 인공지능 분석을 수행하는 409동작을 수행할 수 있다. 구체적으로, 상기 인공지능 분석 동작은 대상자의 난청 치료 기간 내지 청각 훈련 차수, 보청기 착용 기간 등에 따라 변화되는 대상자의 청각 능력 변화 정도를 분석하기 위한 동작을 수행할 수 있다. 이와 같은 시퀀스 데이터를 효과적으로 분석하기 위해, 상기 서버 100는 인공지능 분석 시 RNN(Recurrent neural network, 순환 신경망)을 활용할 수 있다.
이후 상기 서버 100는 인공지능 분석을 수행하는 409동작을 수행한 결과 정보를 기관 측 기기 300로 전달하는 411동작을 수행할 수 있다. 이 때 409동작은 순환 신경망 기반의 인공지능 모델에 특정 대상자로부터 획득된 응답 정보를 투입하여 인공지능 분석을 수행하고, 분석 결과 해당 대상자에 적합한 차후 훈련용 자료 특성값 정보, 해당 대상자의 차후 청각 능력 변화 예상치 등과 같은 결과값을 기관 측 기기 300에 전달할 수 있다. 이 때 상기 기관 측 기기 300는 난청 클리닉과 같은 대상자의 청각 능력 상태를 주기적으로 진단하고 교정할 수 있도록 지원하는 기관을 의미하며, 이와 같은 기관에 대상자에 대한 분석 결과가 제공됨에 따라 기관측에서는 차후 훈련 일정, 청각 보조장치의 변경 여부 등에 대한 안내를 대상자에게 제공할 수 있다.
요컨대, 본 발명의 실시 예에 따른 시스템은 서버 및 대상자 기기를 포함하여 구성될 수 있고, 상기 서버는 상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 분석을 수행하고, 분석 결과에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성하는 것을 특징으로 할 수 있다.
그리고 이 때 상기 서버는 상기 대상자 기기로부터 청각 훈련을 요청하는 훈련 대상자의 기초 정보를 획득하되, 상기 기초 정보로 대상자의 연령대, 난청의 원인, 난청 정도, 난청의 유형, 및 보청기 착용기간을 포함하여 획득하는 대상자 기초 정보 획득부, 상기 대상자 기기로부터 청각 훈련이 요청됨에 따라 청각 훈련용 자료를 상기 대상자 기기 측에 제공하되, 상기 대상자의 청각 특성에 대응하여 청각 훈련용 자료를 제공하는 청각 훈련 수행부, 청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 및 보청기 착용 기간의 경과 정도에 대응하여 응답 정보를 획득하는 응답 정보 획득부, 상기 대상자 기기로부터 획득된 대상자의 응답 정보를 기반으로 인공지능 학습을 수행하여 청각 특성별 인지 변화 모델을 생성하고, 학습 결과로 생성된 인지 변화 모델을 통해 대상자의 응답 정보를 투입하여 대상자의 청각 특성의 변화를 예측하는 인공지능 분석부를 포함할 수 있다. 그리고 이 때 상기 인공지능 분석부는 청각 훈련 시 상기 대상자 기기로부터 획득된 대상자의 응답 정보 및 상기 대상자의 기초 정보를 인공지능 학습에 투입할 항목별로 선별하는 자료 선별부를 포함할 수 있고, 인공지능 학습 및 분석 시 인공지능 모델은 시퀀스 데이터를 대상으로 연산 가능한 인공신경망인 Recurrent Neural Network를 적용하며 초기 학습의 weight를 차후 학습에 반영하는 방식으로 인공지능 학습 및 분석 동작을 수행할 수 있다.
나아가, 상기 서버는 다수의 대상자 기기로부터 획득된 대상자들의 응답 정보 및 기초 정보를 토대로 학습된 청각 특성별 인지 변화 모델 중 일 대상자의 청각 특성에 대응하는 인지 변화 모델을 선택하고, 선택된 인지 변화 모델에 일 대상자의 응답정보를 투입한 결과값을 기반으로 차후 제시할 청각 훈련 자료의 특성값을 조정하는 훈련자료 설정부를 포함하여 구성될 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 서버
110 : 통신부
120 : 저장부
131 : 대상자 기초정보 획득부
132 : 청각 훈련 수행부
133 : 응답 정보 획득부
134 : 인공지능 분석부
134a : 자료 선별부
134b : 모델 훈련부
134c : 분석 수행부
135 : 훈련자료 설정부
200 : 대상자 기기
300 : 기관 측 기기
110 : 통신부
120 : 저장부
131 : 대상자 기초정보 획득부
132 : 청각 훈련 수행부
133 : 응답 정보 획득부
134 : 인공지능 분석부
134a : 자료 선별부
134b : 모델 훈련부
134c : 분석 수행부
135 : 훈련자료 설정부
200 : 대상자 기기
300 : 기관 측 기기
Claims (10)
- 서버 및 대상자 기기를 포함하는 시스템에 있어서,
상기 서버는
상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 학습을 수행하고, 학습에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성하고,
상기 서버는
청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 차수 및 보청기 착용 기간의 경과 정도에 따라 각 시기와 관련된 응답 정보를 획득하는 응답 정보 획득부;를 포함하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 제 1항에 있어서,
상기 서버는
상기 대상자 기기로부터 청각 훈련을 요청하는 훈련 대상자의 기초 정보를 획득하되, 상기 기초 정보로 대상자의 연령대, 난청의 원인, 난청 정도, 난청의 유형, 및 보청기 착용기간을 포함하여 획득하는 대상자 기초 정보 획득부;를 포함하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 제 1항에 있어서,
상기 서버는
상기 대상자 기기로부터 청각 훈련이 요청됨에 따라 청각 훈련용 자료를 상기 대상자 기기 측에 제공하되, 상기 대상자의 청각 특성에 대응하여 청각 훈련용 자료를 제공하는 청각 훈련 수행부;를 포함하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 삭제
- 제 1항에 있어서,
상기 서버는
상기 대상자 기기로부터 획득된 대상자의 응답 정보를 기반으로 인공지능 학습을 수행하여 청각 특성별 인지 변화 모델을 생성하고, 학습 결과로 기 생성된 인지 변화 모델에 대상자의 응답 정보를 투입하여 인공지능 분석을 수행함을 통해 대상자의 청각 특성의 변화를 예측하는 인공지능 분석부;를 포함하고,
상기 청각 특성은,
대상자의 난청 정도 및 난청 원인 중 적어도 하나를 포함하는, 개인화 청각 재활 시스템. - 제 5항에 있어서,
상기 인공지능 분석부는
청각 훈련 시 상기 대상자 기기로부터 획득된 대상자의 응답 정보 및 상기 대상자의 기초 정보를 인공지능 학습에 투입할 항목별로 선별하는 자료 선별부;를 포함하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 제 5항에 있어서,
상기 인공지능 분석부는
인공지능 학습 및 분석 시 인공지능 모델은 시퀀스 데이터를 대상으로 연산 가능한 인공신경망인 Recurrent Neural Network를 적용하며 초기 학습의 weight를 차후 학습에 반영하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 서버 및 대상자 기기를 포함하는 시스템에 있어서,
상기 서버는
상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 학습을 수행하고, 학습에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성하되,
다수의 대상자 기기로부터 획득된 대상자들의 응답 정보 및 기초 정보를 토대로 학습된 청각 특성별 인지 변화 모델 중 일 대상자의 청각 특성에 대응하는 인지 변화 모델을 선택하고, 선택된 인지 변화 모델에 일 대상자의 응답정보를 투입한 결과값을 기반으로 차후 제시할 청각 훈련 자료의 특성값을 조정하는 훈련자료 설정부;를 포함하고,
상기 청각 특성은,
대상자의 기초 정보에 포함되고, 대상자의 난청 정도 및 난청 원인 중 적어도 하나를 포함하고,
상기 서버는,
청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 차수 및 보청기 착용 기간의 경과 정도에 따라 각 시기와 관련된 응답 정보를 획득하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 서버 및 대상자 기기를 포함하는 시스템에 있어서,
상기 서버는
상기 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 학습을 수행하고, 학습에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성하되,
상기 대상자 기기로부터 획득된 대상자의 응답 정보를 기반으로 인공지능 학습을 수행하여 청각 특성별 인지 변화 모델을 생성하고, 학습 결과로 기 생성된 인지 변화 모델에 대상자의 응답 정보를 투입하여 인공지능 분석을 수행함을 통해 대상자의 청각 특성의 변화를 예측하는 인공지능 분석부;를 포함하고,
상기 청각 특성은,
대상자의 난청 정도 및 난청 원인 중 적어도 하나를 포함하고,
상기 서버는,
청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 차수 및 보청기 착용 기간의 경과 정도에 따라 각 시기와 관련된 응답 정보를 획득하는 것을 특징으로 하는 개인화 청각 재활 시스템. - 대상자 기기로부터 청각 훈련 요청 신호를 수신함에 따라 상기 대상자 기기 측으로 청각 훈련을 수행하는 데 요구되는 자료를 제공하고, 상기 청각 훈련이 수행되는 동안 상기 대상자 기기로부터 대상자의 응답 정보를 획득하여 인공지능 기반 학습을 수행하고, 학습에 따라 대상자 개인 특성에 대응하는 인지 변화 모델을 생성하되,
상기 대상자 기기로부터 획득된 대상자의 응답 정보를 기반으로 인공지능 학습을 수행하여 청각 특성별 인지 변화 모델을 생성하고, 학습 결과로 기 생성된 인지 변화 모델에 대상자의 응답 정보를 투입하여 인공지능 분석을 수행함을 통해 대상자의 청각 특성의 변화를 예측하는 인공지능 분석부;
다수의 대상자 기기로부터 획득된 대상자들의 응답 정보 및 기초 정보를 토대로 학습된 청각 특성별 인지 변화 모델 중 일 대상자의 청각 특성에 대응하는 인지 변화 모델을 선택하고, 선택된 인지 변화 모델에 일 대상자의 응답정보를 투입한 결과값을 기반으로 차후 제시할 청각 훈련 자료의 특성값을 조정하는 훈련자료 설정부; 및
청각 훈련 동작이 수행되는 중에 상기 대상자 기기로부터 획득되는 대상자의 응답 정보를 획득하되, 청각 훈련 차수 및 보청기 착용 기간의 경과 정도에 따라 각 시기와 관련된 응답 정보를 획득하는 응답 정보 획득부;를 포함하고,
상기 청각 특성은,
대상자의 기초 정보에 포함되고, 대상자의 난청 정도 및 난청 원인 중 적어도 하나를 포함하는, 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200118850A KR102377414B1 (ko) | 2020-09-16 | 2020-09-16 | 인공지능 기반 개인화 청각 재활 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200118850A KR102377414B1 (ko) | 2020-09-16 | 2020-09-16 | 인공지능 기반 개인화 청각 재활 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102377414B1 true KR102377414B1 (ko) | 2022-03-22 |
Family
ID=80988789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200118850A KR102377414B1 (ko) | 2020-09-16 | 2020-09-16 | 인공지능 기반 개인화 청각 재활 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102377414B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024042441A1 (en) * | 2022-08-25 | 2024-02-29 | Cochlear Limited | Targeted training for recipients of medical devices |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090111372A (ko) * | 2008-04-22 | 2009-10-27 | (주) 싱크업 | 시, 청각 자극을 제공하는 인지능력 향상 장치 |
| KR20150083212A (ko) * | 2014-01-09 | 2015-07-17 | 대구가톨릭대학교산학협력단 | 난청 시뮬레이션 방법 |
| KR20170026996A (ko) * | 2015-09-01 | 2017-03-09 | 최윤식 | 언어 재활용 청각 훈련 장치 및 그 방법 |
| KR20180024651A (ko) * | 2016-08-31 | 2018-03-08 | 최윤식 | 언어재활 청각 훈련 장치 |
| KR20190086868A (ko) * | 2018-01-15 | 2019-07-24 | 한림대학교 산학협력단 | 청각 기능 훈련 방법 및 장치 |
| KR20190114694A (ko) | 2018-03-30 | 2019-10-10 | 삼성에스디에스 주식회사 | 인공지능을 이용한 시계열 데이터 학습 및 분석 방법 |
| KR20200093388A (ko) | 2019-01-28 | 2020-08-05 | 호남대학교 산학협력단 | 청각 재활 훈련 모듈 |
-
2020
- 2020-09-16 KR KR1020200118850A patent/KR102377414B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090111372A (ko) * | 2008-04-22 | 2009-10-27 | (주) 싱크업 | 시, 청각 자극을 제공하는 인지능력 향상 장치 |
| KR20150083212A (ko) * | 2014-01-09 | 2015-07-17 | 대구가톨릭대학교산학협력단 | 난청 시뮬레이션 방법 |
| KR20170026996A (ko) * | 2015-09-01 | 2017-03-09 | 최윤식 | 언어 재활용 청각 훈련 장치 및 그 방법 |
| KR20180024651A (ko) * | 2016-08-31 | 2018-03-08 | 최윤식 | 언어재활 청각 훈련 장치 |
| KR20190086868A (ko) * | 2018-01-15 | 2019-07-24 | 한림대학교 산학협력단 | 청각 기능 훈련 방법 및 장치 |
| KR20190114694A (ko) | 2018-03-30 | 2019-10-10 | 삼성에스디에스 주식회사 | 인공지능을 이용한 시계열 데이터 학습 및 분석 방법 |
| KR20200093388A (ko) | 2019-01-28 | 2020-08-05 | 호남대학교 산학협력단 | 청각 재활 훈련 모듈 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024042441A1 (en) * | 2022-08-25 | 2024-02-29 | Cochlear Limited | Targeted training for recipients of medical devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220198798A1 (en) | Computing device for enhancing communications | |
| US20190216333A1 (en) | Thermal face image use for health estimation | |
| KR102444165B1 (ko) | 적응적으로 회의를 제공하기 위한 장치 및 방법 | |
| JP6467721B2 (ja) | 生物学及び環境取り込みセンサを用いて能力を自動的に構成するスマートウェアラブル装置及び方法 | |
| US10515631B2 (en) | System and method for assessing the cognitive style of a person | |
| Oberman et al. | Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions | |
| US10726846B2 (en) | Virtual health assistant for promotion of well-being and independent living | |
| US10338407B2 (en) | Dynamic contextual video capture | |
| US11120326B2 (en) | Systems and methods for a context aware conversational agent for journaling based on machine learning | |
| CN107658016B (zh) | 用于老年保健陪伴的Nounou智能监护系统 | |
| CN108388782A (zh) | 用于认证生物计量数据的电子设备和系统 | |
| JP2016529606A (ja) | 習慣を用いた診断装置及び診断管理装置及び方法 | |
| CN110060753B (zh) | 认知障碍患者干预效果评价系统及方法 | |
| Aung et al. | Leveraging multi-modal sensing for mobile health: a case review in chronic pain | |
| JP2021507366A (ja) | ユーザの健康状態を監視するためのシステムおよび方法 | |
| KR102552220B1 (ko) | 정신건강 진단 및 치료를 적응적으로 수행하기 위한 컨텐츠 제공 방법, 시스템 및 컴퓨터 프로그램 | |
| WO2023285898A1 (en) | Screening of individuals for a respiratory disease using artificial intelligence | |
| JP2018195164A (ja) | 解析装置、解析プログラム及び解析方法 | |
| KR102377414B1 (ko) | 인공지능 기반 개인화 청각 재활 시스템 | |
| CN108432181A (zh) | 用于处理生物测定信息的电子设备及其控制方法 | |
| KR102407457B1 (ko) | 인공지능을 이용한 보청기 적합 시스템 | |
| US20200234827A1 (en) | Methods and systems for diagnosing and treating disorders | |
| CN113764099A (zh) | 基于人工智能的心理状态分析方法、装置、设备及介质 | |
| US20240074683A1 (en) | System and method of predicting a neuropsychological state of a user | |
| Santos et al. | Context inference for mobile applications in the UPCASE project |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |