KR102262890B1 - 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 - Google Patents
시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 Download PDFInfo
- Publication number
- KR102262890B1 KR102262890B1 KR1020190157078A KR20190157078A KR102262890B1 KR 102262890 B1 KR102262890 B1 KR 102262890B1 KR 1020190157078 A KR1020190157078 A KR 1020190157078A KR 20190157078 A KR20190157078 A KR 20190157078A KR 102262890 B1 KR102262890 B1 KR 102262890B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- training
- gaze
- reading
- reading ability
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 319
- 238000003745 diagnosis Methods 0.000 title claims abstract description 260
- 230000006872 improvement Effects 0.000 title claims abstract description 88
- 230000004424 eye movement Effects 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 45
- 230000000007 visual effect Effects 0.000 claims description 44
- 238000013145 classification model Methods 0.000 claims description 24
- 230000001149 cognitive effect Effects 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 230000004434 saccadic eye movement Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 12
- 230000006641 stabilisation Effects 0.000 claims description 12
- 238000011105 stabilization Methods 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 10
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 206010013932 dyslexia Diseases 0.000 claims description 9
- 206010003591 Ataxia Diseases 0.000 claims description 8
- 208000029560 autism spectrum disease Diseases 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 230000000638 stimulation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 208000035475 disorder Diseases 0.000 description 7
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 6
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000035478 Interatrial communication Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 206010003664 atrial septal defect Diseases 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000013403 hyperactivity Diseases 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B17/00—Teaching reading
- G09B17/003—Teaching reading electrically operated apparatus or devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Eye Examination Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 장치에 관한 것으로, 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 장치에 있어서, 훈련 콘텐츠를 저장하는 개선 데이터베이스, 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하는 사용자 프로파일 정보 생성부, 사용자 프로파일 정보를 이용하여 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하는 추천 훈련 콘텐츠 정보 생성부 및 상기 추천 훈련 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공 및 실행시키는 추천 훈련 콘텐츠 제공부를 포함하는 읽기 능력 개선 훈련 장치가 제공된다.
Description
본 발명은 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치에 관한 것으로, 상세하게는 객관적인 시선 측정 지표를 활용하여 읽기 능력 진단을 수행하고, 읽기 능력 진단 결과에 기초하여 읽기 능력 개선 훈련 서비스를 제공하는 기계학습 진단 알고리즘 기반의 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치에 관한 것이다.
4차 산업혁명의 도래로 사고력, 창의력의 기반이 되는 읽기 능력, 독서 능력의 중요성이 증대되고 있으며, 공/사교육의 방향 역시 읽기 능력을 강화하는 방향으로 집중되고 있다.
현재 읽기 능력 평가 방법은 읽기 후 내용을 이해하여 문제를 푸는 방식으로, 미국의 'Lexile' 방식이 대표적이며 다수의 읽기 능력 평가 주체가 유사한 방법을 채택하고 있는 실정이다. 그러나, 이러한 평가 방법은 읽기 과정(행태) 자체는 무시하고 이해한 결과만으로 읽기 능력을 평가하므로, 읽기 행태뿐만 아니라 기억력, 어휘력, 배경지식, 판단력 등이 종합적으로 관여하고 있는 읽는 방법에 대한 구체적/개별적 개선 방안을 제시하기 어려운 한계가 있다.
읽기 과정은 시각적 정보로부터 문자를 지각하고 탐색하며 해독하고 이해에 이르는 복합적인 과정이며, 낮은 수준의 읽기 기술(reading skill)이 확보되어야 높은 수준의 정보획득/처리가 가능하다. 실제로, 읽기 숙련도에 따라 읽기 과정에서의 시선의 움직임이 매우 달라, 최근 시선 움직임을 분석한 인지 과정 및 학습 방법에 대한 연구가 활발히 이루어지고 있다. 따라서, 읽기 과정에 대한 객관적이고 과학적인 측정/평가를 통해 학생의 읽기 능력을 진단하고, 이를 통해 획득한 데이터에 기반한 구체적인 읽기 개선 지도 방안이 필요하다.
본 명세서에서는 이러한 한계점을 보완하고자 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치를 소개하고자 한다.
본 발명의 배경이 되는 기술은 대한민국 공개특허 제10-2017-0080068호에 개시되어 있다.
현재 읽기 능력 평가 방법은 읽기 후 내용을 이해하여 문제를 푸는 방식으로, 미국의 'Lexile' 방식이 대표적이며 다수의 읽기 능력 평가 주체가 유사한 방법을 채택하고 있는 실정이다. 그러나, 이러한 평가 방법은 읽기 과정(행태) 자체는 무시하고 이해한 결과만으로 읽기 능력을 평가하므로, 읽기 행태뿐만 아니라 기억력, 어휘력, 배경지식, 판단력 등이 종합적으로 관여하고 있는 읽는 방법에 대한 구체적/개별적 개선 방안을 제시하기 어려운 한계가 있다.
읽기 과정은 시각적 정보로부터 문자를 지각하고 탐색하며 해독하고 이해에 이르는 복합적인 과정이며, 낮은 수준의 읽기 기술(reading skill)이 확보되어야 높은 수준의 정보획득/처리가 가능하다. 실제로, 읽기 숙련도에 따라 읽기 과정에서의 시선의 움직임이 매우 달라, 최근 시선 움직임을 분석한 인지 과정 및 학습 방법에 대한 연구가 활발히 이루어지고 있다. 따라서, 읽기 과정에 대한 객관적이고 과학적인 측정/평가를 통해 학생의 읽기 능력을 진단하고, 이를 통해 획득한 데이터에 기반한 구체적인 읽기 개선 지도 방안이 필요하다.
본 명세서에서는 이러한 한계점을 보완하고자 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치를 소개하고자 한다.
본 발명의 배경이 되는 기술은 대한민국 공개특허 제10-2017-0080068호에 개시되어 있다.
삭제
삭제
삭제
본 발명에서 해결하고자 하는 일 기술적 과제는 문제 풀이를 통한 이해 능력 평가 방식의 읽기 능력 진단과 더불어 시선 추적을 이용하여 읽기 과정에서의 객관적인 읽기 능력의 진단이 가능한 읽기 능력 진단 장치를 제공하는 데 있다.
본 발명에서 해결하고자 하는 다른 기술적 과제는 읽기 능력 진단 결과에 기반하여 사용자의 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공할 수 있는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에서 해결하고자 하는 다른 기술적 과제는 읽기 능력 진단 결과에 기반하여 사용자의 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공할 수 있는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
삭제
삭제
본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치는 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 장치에 있어서, 안구운동 능력 및 읽기 능력의 개선을 위한 훈련 콘텐츠를 저장하는 개선 데이터베이스; 상기 읽기 능력 진단 장치로부터 사용자의 사용자 정보, 진단 요소 정보 및 진단 결과 정보를 수집하고, 이를 기반으로 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하는 사용자 프로파일 정보 생성부; 상기 사용자 프로파일 정보를 이용하여 상기 훈련 콘텐츠 중에서 상기 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 선별된 상기 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하는 추천 훈련 콘텐츠 정보 생성부; 및 상기 추천 훈련 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공하고, 상기 사용자 단말에 출력된 상기 추천 훈련 콘텐츠를 상기 추천 훈련 정보에 따라 실행시키는 추천 훈련 콘텐츠 제공부를 포함한다.
일 실시예에 따르면, 상기 추천 훈련 정보 생성부는 상기 사용자 수준 정보, 상기 시선 추적 정보 및 상기 시선기반 진단 정보를 머신 러닝 알고리즘으로 미리 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여, 상기 추천 훈련 콘텐츠를 선별함과 더불어 상기 추천 훈련 정보를 생성할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 능력 진단 장치와 연동하는 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 읽기 능력 진단 장치를 통해 획득한 상기 진단 결과 정보 중 상기 시선 추적 데이터를 기반으로 진단된 정보로서, 시선기반 읽기 능력 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 능력 진단 장치와 연동하는 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 읽기 능력 진단 장치를 통해 획득한 상기 진단 결과 정보 중 상기 시선 추적 데이터를 기반으로 진단된 정보로서, 시선기반 읽기 능력 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 훈련 콘텐츠는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠를 포함할 수 있다.
일 실시예에 따르면, 상기 안구운동 제어 훈련 콘텐츠는 도약안구운동(saccade eye movement)의 속도를 증가시키기 위한 시선 가속(Eye Spurt) 훈련, 도약안구운동의 폭을 증가시키기 위한 시선 확장(Eye Spread) 훈련, 빠른 탐색 및 정확한 안구운동 훈련을 위한 랜덤 표적 추적(Tracking Random Target) 훈련 및 추적안구운동(pursuit eye movement)의 훈련을 위한 이동 표적 추적(Tracking Moving Target) 훈련을 포함하고, 상기 시각적 또는 인지적 탐색 훈련 콘텐츠는 텍스트에 대한 빠른 탐색 및 판단을 위한 훈련으로서, 텍스트에서 주어진 키워드 단어를 찾는 키워드 찾기(Find Keyword) 훈련 및 텍스트에서 해당 카테고리에 속하는 단어를 찾는 카테고리 찾기(Find Category) 훈련을 포함하고, 상기 시지각적 기억 및 판단 훈련 콘텐츠는 짧게 제시되는 점의 개수를 세는 훈련인 시각적 카운팅(Visual Counting) 훈련, 한눈에 파악되는 글자의 개수를 확장하기 위한 훈련인 시각적 스팬(Visual Span) 훈련, 및 시각적 자극과 무관하도록 의도적으로 안구운동을 통제하는 훈련인 역방향 도약안구운동(Anti Saccade) 훈련을 포함하고, 상기 읽기 안정화 훈련 콘텐츠는 단어 단위로 제시되는 글을 읽는 마스크 단어(Mask Word) 훈련, 문장 단위로 제시되는 글을 읽는 마스크 문장(Mask Sentence) 훈련 및 텍스트 위의 점(dot)을 추적하게 함으로써 텍스트가 있음에도 정상적인 안구 움직임을 연습하게 하는 역주행 방지(No regression) 훈련을 포함할 수 있다.
일 실시예에 따르면, 상기 사용자가 상기 추천 훈련 콘텐츠를 통해 읽기 능력 개선 훈련을 수행한 후 상기 읽기 능력 진단 장치를 이용하여 읽기 능력을 재진단 받은 경우, 상기 재진단 받은 결과를 상기 읽기 능력 진단 장치로부터 수집하여, 상기 읽기 능력 개선 훈련의 효과를 분석하는 개선 훈련 효과 분석부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 서비스 제공 장치는, 표시 장치 및 시선 추적 센서를 포함하는 시선 추적 장치를 이용하여 사용자에게 읽기 능력 진단 서비스를 제공하는 읽기 능력 진단 장치; 및 상기 읽기 능력 진단 서비스를 제공하는 동안 상기 읽기 능력 장치가 획득한 정보를 이용하여 상기 사용자의 안구운동 능력 및 읽기 능력의 개선을 위한 읽기 능력 개선 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치를 포함하되, 상기 읽기 능력 진단 장치는 상기 사용자가 상기 표시 장치를 통해 출력되는 진단 문서를 읽고 문제 풀이 과제를 수행하는 동안, 상기 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터 및 상기 사용자의 문제 풀이 결과 데이터를 이용하여 읽기 능력 진단에 필요한 진단 요소 정보를 생성하고, 상기 진단 요소 정보, 이미 획득한 상기 사용자의 사용자 정보, 및 진단 문서 정보를 머신 러닝을 통해 학습된 읽기 능력 진단 분류 모델에 입력하여 상기 사용자의 읽기 능력을 진단을 위한 진단 결과 정보를 생성하고, 상기 읽기 능력 개선 훈련 장치는 상기 읽기 능력 진단 장치를 통해 획득한 상기 사용자 정보, 상기 진단 요소 정보 및 상기 진단 결과 정보로부터 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하고, 상기 사용자 프로파일 정보를 머신 러닝으로 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여 상기 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 개선 데이터베이스에 저장된 훈련 콘텐츠로부터 선별함과 더불어 선별된 상기 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하고, 상기 추천 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공하여 상기 추천 훈련 정보에 따라 실행시킨다.
일 실시예에 따르면, 상기 읽기 능력 진단 장치는: 상기 표시 장치 또는 상기 사용자 단말로부터 상기 사용자 정보를 수신하는 사용자 정보 수신부; 상기 사용자 정보에 기반하여 사용자 수준을 판별하고, 판별된 상기 사용자 수준에 상응하는 상기 진단 문서를 상기 표시 장치로 제공하는 진단 문서 제공부; 상기 표시 장치에 출력된 상기 진단 문서를 통한 읽기 능력 평가의 수행 동안, 상기 시선 추적 장치를 통해 획득된 상기 시선 추적 데이터와 상기 문제 풀이 결과 데이터를 포함하는 평가 결과 데이터를 수신하는 평가 결과 데이터 수신부; 상기 시선 추적 데이터, 상기 문제 풀이 결과 데이터, 및 상기 진단 문서에 대한 메타 데이터 및 관심 영역의 설정 정보를 포함하는 진단 문서 정보를 분석하여, 읽기 과정 시선 정보, 읽기 과정 탐색 정보, 읽기 이해 정보 및 읽기 능력 이상 정보를 포함하는 상기 진단 요소 정보를 생성하는 진단 요소 정보 생성부; 및 상기 사용자 정보, 상기 진단 문서 정보 및 상기 진단 요소 정보를 상기 읽기 능력 진단 분류 모델에 입력하여, 시선기반 읽기 능력 진단 정보, 풀이기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 상기 진단 결과 정보를 생성하는 진단 결과 정보 생성부를 포함할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 과정 시선 정보 및 상기 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 시선기반 읽기 능력 정보 및 상기 시선기반 인지 위험성 진단 정보를 포함하되, 상기 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함하고, 상기 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함하는 포함하고, 상기 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함하고, 상기 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조 중 적어도 하나에 대한 위험도 판별 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 추천 훈련 정보 생성부는 상기 사용자 수준 정보, 상기 시선 추적 정보 및 상기 시선기반 진단 정보를 머신 러닝 알고리즘으로 미리 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여, 상기 추천 훈련 콘텐츠를 선별함과 더불어 상기 추천 훈련 정보를 생성할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 능력 진단 장치와 연동하는 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 읽기 능력 진단 장치를 통해 획득한 상기 진단 결과 정보 중 상기 시선 추적 데이터를 기반으로 진단된 정보로서, 시선기반 읽기 능력 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 능력 진단 장치와 연동하는 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 읽기 능력 진단 장치를 통해 획득한 상기 진단 결과 정보 중 상기 시선 추적 데이터를 기반으로 진단된 정보로서, 시선기반 읽기 능력 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 훈련 콘텐츠는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠를 포함할 수 있다.
일 실시예에 따르면, 상기 안구운동 제어 훈련 콘텐츠는 도약안구운동(saccade eye movement)의 속도를 증가시키기 위한 시선 가속(Eye Spurt) 훈련, 도약안구운동의 폭을 증가시키기 위한 시선 확장(Eye Spread) 훈련, 빠른 탐색 및 정확한 안구운동 훈련을 위한 랜덤 표적 추적(Tracking Random Target) 훈련 및 추적안구운동(pursuit eye movement)의 훈련을 위한 이동 표적 추적(Tracking Moving Target) 훈련을 포함하고, 상기 시각적 또는 인지적 탐색 훈련 콘텐츠는 텍스트에 대한 빠른 탐색 및 판단을 위한 훈련으로서, 텍스트에서 주어진 키워드 단어를 찾는 키워드 찾기(Find Keyword) 훈련 및 텍스트에서 해당 카테고리에 속하는 단어를 찾는 카테고리 찾기(Find Category) 훈련을 포함하고, 상기 시지각적 기억 및 판단 훈련 콘텐츠는 짧게 제시되는 점의 개수를 세는 훈련인 시각적 카운팅(Visual Counting) 훈련, 한눈에 파악되는 글자의 개수를 확장하기 위한 훈련인 시각적 스팬(Visual Span) 훈련, 및 시각적 자극과 무관하도록 의도적으로 안구운동을 통제하는 훈련인 역방향 도약안구운동(Anti Saccade) 훈련을 포함하고, 상기 읽기 안정화 훈련 콘텐츠는 단어 단위로 제시되는 글을 읽는 마스크 단어(Mask Word) 훈련, 문장 단위로 제시되는 글을 읽는 마스크 문장(Mask Sentence) 훈련 및 텍스트 위의 점(dot)을 추적하게 함으로써 텍스트가 있음에도 정상적인 안구 움직임을 연습하게 하는 역주행 방지(No regression) 훈련을 포함할 수 있다.
일 실시예에 따르면, 상기 사용자가 상기 추천 훈련 콘텐츠를 통해 읽기 능력 개선 훈련을 수행한 후 상기 읽기 능력 진단 장치를 이용하여 읽기 능력을 재진단 받은 경우, 상기 재진단 받은 결과를 상기 읽기 능력 진단 장치로부터 수집하여, 상기 읽기 능력 개선 훈련의 효과를 분석하는 개선 훈련 효과 분석부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 서비스 제공 장치는, 표시 장치 및 시선 추적 센서를 포함하는 시선 추적 장치를 이용하여 사용자에게 읽기 능력 진단 서비스를 제공하는 읽기 능력 진단 장치; 및 상기 읽기 능력 진단 서비스를 제공하는 동안 상기 읽기 능력 장치가 획득한 정보를 이용하여 상기 사용자의 안구운동 능력 및 읽기 능력의 개선을 위한 읽기 능력 개선 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치를 포함하되, 상기 읽기 능력 진단 장치는 상기 사용자가 상기 표시 장치를 통해 출력되는 진단 문서를 읽고 문제 풀이 과제를 수행하는 동안, 상기 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터 및 상기 사용자의 문제 풀이 결과 데이터를 이용하여 읽기 능력 진단에 필요한 진단 요소 정보를 생성하고, 상기 진단 요소 정보, 이미 획득한 상기 사용자의 사용자 정보, 및 진단 문서 정보를 머신 러닝을 통해 학습된 읽기 능력 진단 분류 모델에 입력하여 상기 사용자의 읽기 능력을 진단을 위한 진단 결과 정보를 생성하고, 상기 읽기 능력 개선 훈련 장치는 상기 읽기 능력 진단 장치를 통해 획득한 상기 사용자 정보, 상기 진단 요소 정보 및 상기 진단 결과 정보로부터 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하고, 상기 사용자 프로파일 정보를 머신 러닝으로 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여 상기 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 개선 데이터베이스에 저장된 훈련 콘텐츠로부터 선별함과 더불어 선별된 상기 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하고, 상기 추천 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공하여 상기 추천 훈련 정보에 따라 실행시킨다.
일 실시예에 따르면, 상기 읽기 능력 진단 장치는: 상기 표시 장치 또는 상기 사용자 단말로부터 상기 사용자 정보를 수신하는 사용자 정보 수신부; 상기 사용자 정보에 기반하여 사용자 수준을 판별하고, 판별된 상기 사용자 수준에 상응하는 상기 진단 문서를 상기 표시 장치로 제공하는 진단 문서 제공부; 상기 표시 장치에 출력된 상기 진단 문서를 통한 읽기 능력 평가의 수행 동안, 상기 시선 추적 장치를 통해 획득된 상기 시선 추적 데이터와 상기 문제 풀이 결과 데이터를 포함하는 평가 결과 데이터를 수신하는 평가 결과 데이터 수신부; 상기 시선 추적 데이터, 상기 문제 풀이 결과 데이터, 및 상기 진단 문서에 대한 메타 데이터 및 관심 영역의 설정 정보를 포함하는 진단 문서 정보를 분석하여, 읽기 과정 시선 정보, 읽기 과정 탐색 정보, 읽기 이해 정보 및 읽기 능력 이상 정보를 포함하는 상기 진단 요소 정보를 생성하는 진단 요소 정보 생성부; 및 상기 사용자 정보, 상기 진단 문서 정보 및 상기 진단 요소 정보를 상기 읽기 능력 진단 분류 모델에 입력하여, 시선기반 읽기 능력 진단 정보, 풀이기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 상기 진단 결과 정보를 생성하는 진단 결과 정보 생성부를 포함할 수 있다.
일 실시예에 따르면, 상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고, 상기 시선 추적 정보는 상기 읽기 과정 시선 정보 및 상기 읽기 과정 탐색 정보를 포함하고, 상기 시선기반 진단 정보는 상기 시선기반 읽기 능력 정보 및 상기 시선기반 인지 위험성 진단 정보를 포함하되, 상기 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함하고, 상기 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함하는 포함하고, 상기 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함하고, 상기 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조 중 적어도 하나에 대한 위험도 판별 정보를 포함할 수 있다.
본 발명의 실시예들에 따르면, 읽기 능력 진단 장치가 객관적인 안구 움직임 측정(즉, 시선 추적)에 기반한 읽기 능력 진단을 실시함으로써, 문제 풀이 기반의 읽기 능력 진단에 더해 읽기 유창성, 탐색 효율성, 집중력 등을 포함하는 읽기 과정에서의 객관적인 읽기 능력 진단이 가능할 수 있으며, 빅데이터를 이용한 기계학습 알고리즘에 기반한 진단 방식을 통해 진단 결과의 신뢰성을 향상시킬 수 있다. 나아가, 시선 측정을 통해 난독증, ADHD, ASD, 안구운동 실조 등 안구운동 연관 장애의 위험도 진단이 가능하여, 안구운동 연관 장애에 대한 고위험군의 조기 발견이 가능할 수 있다.
또한, 읽기 능력 개선 훈련 장치가 시선 추적 장치와 연동한 읽기 능력 진단 장치를 통해 획득한 시선 추적 기반의 다양한 정보들을 머신 러닝을 통해 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공함으로써 효과적으로 사용자의 안구운동 능력 및 읽기 능력을 개선시킬 수 있다.
또한, 본 발명의 실시예들에 따른 읽기 능력 진단 장치 및 읽기 능력 개선 훈련 장치가 웹 기반으로 제공됨에 따라, 쉽고 빠르게 그리고 지속적으로 사용자의 읽기 능력 진단 및 개선이 가능하고, 다른 사용자들의 진단 결과를 용이하게 수집 및 활용할 수 있어 비교 진단이 가능함과 더불어 기계학습 알고리즘을 통한 읽기 능력 진단의 정확성을 더욱 높일 수 있고, 이를 기반으로 사용자에게 최적화된 읽기 능력 개선을 위한 훈련 콘텐츠를 제공할 수 있다.
또한, 읽기 능력 개선 훈련 장치가 시선 추적 장치와 연동한 읽기 능력 진단 장치를 통해 획득한 시선 추적 기반의 다양한 정보들을 머신 러닝을 통해 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공함으로써 효과적으로 사용자의 안구운동 능력 및 읽기 능력을 개선시킬 수 있다.
또한, 본 발명의 실시예들에 따른 읽기 능력 진단 장치 및 읽기 능력 개선 훈련 장치가 웹 기반으로 제공됨에 따라, 쉽고 빠르게 그리고 지속적으로 사용자의 읽기 능력 진단 및 개선이 가능하고, 다른 사용자들의 진단 결과를 용이하게 수집 및 활용할 수 있어 비교 진단이 가능함과 더불어 기계학습 알고리즘을 통한 읽기 능력 진단의 정확성을 더욱 높일 수 있고, 이를 기반으로 사용자에게 최적화된 읽기 능력 개선을 위한 훈련 콘텐츠를 제공할 수 있다.
삭제
삭제
도 1은 본 발명의 실시예들에 따른 읽기 능력 진단 및 개선 시스템을 나타내는 개략적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치의 구성을 개략적으로 나타내는 블록도이다.
도 3은 도 2의 송수신 관리부의 구성을 개략적으로 나타내는 블록도이다.
도 4는 도 2의 읽기 능력 진단부의 구성을 개략적으로 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 진단 문서의 제작 과정을 설명하기 위한 도면이다.
도 6은 읽기 능력 평가 동안 추적된 사용자의 시선이 진단 문서와 맵핑된 상태를 설명하기 위한 도면이다.
도 7은 도 4의 진단 결과 정보 생성부가 읽기 능력 분류 모델을 이용하여 진단 결과 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 방법을 설명하기 위한 순서도이다.
도 9 및 도 10는 표시 장치에 출력된 진단 결과 정보의 캡쳐 화면을 나타내는 예시적인 도면들이다.
도 11은 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치의 구성을 개략적으로 나타내는 블록도이다.
도 12는 도 11의 추천 훈련 콘텐츠 정보 생성부가 추천 훈련 콘텐츠 분류 모델을 이용하여 추천 훈련 콘텐츠 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 13은 안구운동 제어 훈련 콘텐츠의 일 예(Eye Spurt)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 14는 안구운동 제어 훈련 콘텐츠의 다른 예(Eye Spread)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 15는 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Random Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 16은 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Moving Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 17은 시각적 또는 인지적 탐색 훈련 콘텐츠의 일 예(Word/category Finding)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 18은 시지각적 기억 및 판단 훈련 콘텐츠의 일 예(Visual Counting)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 19는 시지각적 기억 및 판단 훈련 콘텐츠의 다른 예(Visual Span)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 20은 시지각적 기억 및 판단 훈련 콘텐츠의 또 다른 예(Anti Saccade)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 21은 읽기 안정화 훈련 콘텐츠의 일 예(Mask Word)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 22는 읽기 안정화 훈련 콘텐츠의 다른 예(Mask Sentence)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치의 구성을 개략적으로 나타내는 블록도이다.
도 3은 도 2의 송수신 관리부의 구성을 개략적으로 나타내는 블록도이다.
도 4는 도 2의 읽기 능력 진단부의 구성을 개략적으로 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 진단 문서의 제작 과정을 설명하기 위한 도면이다.
도 6은 읽기 능력 평가 동안 추적된 사용자의 시선이 진단 문서와 맵핑된 상태를 설명하기 위한 도면이다.
도 7은 도 4의 진단 결과 정보 생성부가 읽기 능력 분류 모델을 이용하여 진단 결과 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 방법을 설명하기 위한 순서도이다.
도 9 및 도 10는 표시 장치에 출력된 진단 결과 정보의 캡쳐 화면을 나타내는 예시적인 도면들이다.
도 11은 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치의 구성을 개략적으로 나타내는 블록도이다.
도 12는 도 11의 추천 훈련 콘텐츠 정보 생성부가 추천 훈련 콘텐츠 분류 모델을 이용하여 추천 훈련 콘텐츠 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 13은 안구운동 제어 훈련 콘텐츠의 일 예(Eye Spurt)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 14는 안구운동 제어 훈련 콘텐츠의 다른 예(Eye Spread)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 15는 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Random Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 16은 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Moving Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 17은 시각적 또는 인지적 탐색 훈련 콘텐츠의 일 예(Word/category Finding)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 18은 시지각적 기억 및 판단 훈련 콘텐츠의 일 예(Visual Counting)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 19는 시지각적 기억 및 판단 훈련 콘텐츠의 다른 예(Visual Span)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 20은 시지각적 기억 및 판단 훈련 콘텐츠의 또 다른 예(Anti Saccade)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 21은 읽기 안정화 훈련 콘텐츠의 일 예(Mask Word)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 22는 읽기 안정화 훈련 콘텐츠의 다른 예(Mask Sentence)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 실시예들에 따른 읽기 능력 진단 및 개선 시스템을 나타내는 개략적인 도면이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 읽기 능력 진단 및 개선 시스템(1000)은 사용자 단말(100), 시선 추적 장치(200) 및 서비스 제공 장치(500)를 포함할 수 있다.
서비스 제공 장치(500)는 사용자의 읽기 능력 진단 및 개선을 위한 서비스를 제공하기 위한 장치로서, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)를 포함할 수 있다. 예컨대, 본 발명의 읽기 능력 진단 및 개선 시스템(1000)은 시선 추적 장치와(200) 연동한 읽기 능력 진단 장치(300)를 통해 사용자의 시선 추적에 기반한 읽기 능력을 진단하고, 사용자의 수준 정보와 시선 추적에 기반하여 획득한 다양한 정보들을 머신 러닝으로 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위한 최적의 읽기 능력 개선 훈련 서비스를 제공하기 위한 시스템일 수 있다.
사용자 단말(100)은 본 시스템(1000)을 이용하여 읽기 능력 개선 훈련 서비스를 제공받는 사용자가 사용하는 클라이언트로서, 유/무선 통신 환경에서 웹 서비스를 이용할 수 있는 전자 장치일 수 있다. 예컨대, 사용자 단말(100)은 일반적인 데스크탑 컴퓨터, 노트북, 태블릿 PC, 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나일 수 있다.
시선 추적 장치(200)는 사용자가 읽기 능력 진단 장치(300)가 제공하는 진단 문서를 통해 읽기 능력 평가를 수행하는 동안 사용자의 시선을 추적할 수 있다. 예컨대, 시선 추적 장치(200)는 표시 장치(210) 및 시선 추적 센서(220)를 포함할 수 있다. 사용자는 표시 장치(210)를 통해 읽기 능력 진단 장치(300)에 접속할 수 있으며, 읽기 능력 진단 장치(300)가 제공하는 진단 문서를 읽고, 읽기 능력 진단을 위해 제공되는 다양한 문제 풀이 과제를 수행할 수 있다. 진단 문서에 대해서는 뒤에서 자세히 설명한다.
표시 장치(210)는 유/무선 통신 환경에서 웹 서비스를 이용할 수 있는 전자 장치일 수 있다. 예컨대, 표시 장치(210)는 일반적인 데스크탑 컴퓨터, 노트북, 태블릿 PC, 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나일 수 있다. 표시 장치(210)는 시선 추적 센서(220)의 구동을 위한 구동 프로그램을 구비할 수 있다.
일 실시예에 따르면, 표시 장치(210)는 시선 추적 센서(220)와 분리된 독립적인 전자 장치일 수 있다. 이 경우, 표시 장치(210)는 유무선 방식을 통해 시선 추적 센서(220)와 연동될 수 있다. 다른 실시예에 따르면, 표시 장치(210)와 시선 추적 센서(220)는 일체형으로 구성될 수 있다. 예컨대, 시선 추적 장치(200)는 유/무선 통신 환경에서 웹 서비스를 제공하는 표시 장치(210) 및 이에 내장된 시선 추적 센서(220)를 포함하는 전자 장치일 수 있다.
시선 추적 센서(220)는 사용자가 표시 장치(210)에 출력된 진단 문서를 읽고 진단 과제를 수행하는 동안(즉, 읽기 능력 평가를 수행하는 동안), 사용자의 시선(달리 얘기하면, 안구의 움직임)을 추적하여 사용자가 진단 문서를 읽는 동안 시선의 움직임, 동공의 크기 변화, 눈동자의 깜박임 등을 감지할 수 있다. 이를 토대로 시선 추적 장치(200)는 사용자의 시선 추적 데이터를 획득할 수 있다. 예컨대, 시선 추적 데이터는 읽기 능력 평가 수행 동안 추적된 사용자 시선의 좌표 정보와, 동공의 크기 변화 및 눈동자의 깜박임 변화에 관한 정보를 포함할 수 있다. 이와 같이 획득된 시선 추적 데이터는 읽기 능력 진단 장치(300)에서 진단 요소 정보 생성을 위한 로데이터(raw data)로서 활용될 수 있다. 시선 추적 장치(200)는 일반적인 시선 추적(eye tracking) 기술을 이용하는 장치일 수 있는 바, 이에 대한 상세한 설명은 생략한다.
읽기 능력 진단 장치(300)는 표시 장치(210)를 통해 접속한 사용자에게 읽기 능력 진단 서비스를 제공할 수 있다. 예컨대, 읽기 능력 진단 장치(300)는 사용자가 표시 장치(210)를 통해 출력되는 진단 문서를 읽고 문제 풀이 과제를 수행하는 동안, 시선 추적 장치(200)를 통해 획득한 사용자의 시선 추적 데이터 및 사용자의 문제 풀이 결과 데이터를 이용하여 읽기 능력 진단에 필요한 진단 요소 정보를 생성하고, 생성된 진단 요소 정보와 이미 획득한 사용자 정보 및 진단 문서 정보를 머신 러닝을 통해 학습된 읽기 능력 진단 분류 모델에 적용함으로써, 사용자의 읽기 능력을 진단을 위한 진단 결과 정보를 생성할 수 있다.
읽기 능력 개선 훈련 장치(400)는 사용자 단말(100)을 통해 접속한 사용자에게 읽기 능력 개선 훈련 서비스를 제공할 수 있다. 일 예로, 시선 추적 장치와(200) 연동한 읽기 능력 진단 장치(300)가 시선 추적에 기반하여 사용자의 읽기 능력을 진단하면, 읽기 능력 개선 훈련 장치(400)는 읽기 능력 진단 장치(300)를 통해 획득한 사용자 정보, 진단 요소 정보 및 진단 결과 정보로부터 각각 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 생성하고, 이를 머신 러닝으로 학습된 추천 훈련 콘텐츠 분류 모델에 적용함으로써, 사용자의 수준과 안구운동 특성을 고려하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위해 최적화된 읽기 능력 개선 훈련 서비스를 제공할 수 있다.
본 발명에서, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)의 각각은 웹 기반 환경에서 구현될 수 있다. 일 예로, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)의 각각은 웹 서버일 수 있다. 웹은 URL과 브라우져를 통해 다수의 사용자들을 한 곳으로 모을 수 있게 한다. 따라서, 웹을 통해서 사용자의 데이터를 모으고 분석하게 될 경우, 많은 양의 데이터를 손쉽게 확보할 수 있으며, 데이터가 많아질수록 통계분석의 신뢰도를 높일 수 있다는 장점이 있다. 바람직하게, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)는 클라우드(cloud) 서버 형태로 구현될 수 있다. 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)는 하나의 서버 형태로 구현되거나, 각각 별개의 서버로 구현될 수도 있다. 한편, 본 시스템(1000)에서, 사용자는 사용자 단말(100)뿐만 아니라 표시 장치(210)를 통해서도 읽기 능력 개선 훈련 장치(400)에 접속하여 읽기 능력 개선 훈련 서비스를 이용할 수 있다.
상술한 서비스 제공 장치(500)는 지도자 접속 페이지 및 관리자 접속 페이지를 사용자 단말(100), 표시 장치(210) 또는 별도의 통신 단말로 제공할 수 있다. 지도자 접속 페이지는 본 시스템(1000) 통해 획득한 사용자의 읽기 능력 진단 결과 정보를 이용하여 사용자를 지도 및 학습하는 지도자(예컨대, 교사, 학원 강사 등)가 이용하기 위한 인터페이스이고, 관리자 접속 페이지는 서비스 제공 장치(500)를 관리하는 관리자가 이용하기 위한 인터페이스일 수 있다. 지도자 및 관리자는 별도로 부여 받은 지도자 ID 또는 관리자 ID를 통해 각각 서비스 제공 장치(500)가 제공하는 지도자 접속 페이지 및 관리자 접속 페이지에 접속할 수 있다. 본 발명에서, 진단 및 개선 대상자인 사용자는 읽기가 가능한 유아, 초등학생 또는 중등학생이 주 대상일 것이나, 이에 한정되는 것은 아니다. 이하, 설명의 편의를 위해 진단 및 개선 대상자인 사용자를 기준으로 본 발명에 대해 설명한다.
네트워크(600)는 사용자 단말(100), 표시 장치(210), 읽기 능력 진단 장치(300) 및/또는 읽기 능력 개선 훈련 장치(400)간의 통신 경로를 제공할 수 있다. 통신 방식은 제한되지 않으며, 네트워크(600)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(600)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있으며, 각종 웹 서버와 연결하는 기능을 수행한다.
이하, 도 2 내지 도 8을 참조하여 본 발명의 실시예들에 따른 읽기 능력 진단 장치 및 방법에 대해 먼저 설명한다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치의 구성을 개략적으로 나타내는 블록도이다. 도 3은 도 2의 송수신 관리부의 구성을 개략적으로 나타내는 블록도이다. 도 4는 도 2의 읽기 능력 진단부의 구성을 개략적으로 나타내는 블록도이다. 도 5는 본 발명의 일 실시예에 따른 진단 문서의 제작 과정을 설명하기 위한 도면이다. 도 6은 읽기 능력 평가 동안 추적된 사용자의 시선이 진단 문서와 맵핑된 상태를 설명하기 위한 도면이다. 도 7은 도 4의 진단 결과 정보 생성부가 읽기 능력 분류 모델을 이용하여 진단 결과 정보를 생성하는 과정을 설명하기 위한 도면이다. 도 8은 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 진단 장치(300)는 진단 제어부(310), 송수신 관리부(320), 읽기 능력 진단부(330) 및 진단 데이터베이스(340)를 포함할 수 있다. 진단 데이터베이스(340)는 사용자 데이터베이스(341), 진단 문서 데이터베이스(342) 및 진단 결과 데이터베이스(343)를 포함할 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 진단 방법은 사용자 정보를 수신하는 단계(S10), 진단 문서 요청 신호를 수신하는 단계(S20), 표시 장치로 진단 문서를 제공하는 단계(S30), 시선 추적 장치를 가동하는 단계(S40), 평가 결과 데이터를 수신하는 단계(S50), 진단 요소 정보를 생성하는 단계(S60), 진단 결과 정보를 생성하는 단계(S70) 및 진단 결과 정보를 표시 장치로 제공하는 단계(S80)를 포함할 수 있다. 본 발명의 읽기 능력 진단 방법에 포함된 단계들(S10~S80)은 읽기 능력 진단 장치(300), 및 시선 추적 장치(300) 간의 상호 작용을 통해 수행될 수 있다.
구체적으로, 도 2 내지 도 8을 참조하면, 진단 제어부(310)는 읽기 능력 진단 장치(300)의 전반적인 동작을 제어할 수 있다. 예컨대, 진단 제어부(310)는 송수신 관리부(320), 읽기 능력 진단부(330) 및 진단 데이터베이스(340)의 동작 및 이들 간의 데이터의 흐름을 제어할 수 있다. 예컨대, 진단 제어부(310)는 진단 대상자인 사용자의 사용자 등록 및 인증 절차를 수행할 수 있으며, 표시 장치(210)를 통해 읽기 능력 장치(300)에 접속한 사용자가 입력한 진단 문서 요청 신호에 상응하여 표시 장치(210)로 진단 문서가 제공되면, 시선 추적 센서(220)를 구동시키기 위한 신호 또는 명령을 표시 장치(210)로 전송할 수 있다.
송수신 관리부(320)는 네트워크(600)와 연동하여 표시 장치(210)와 읽기 능력 진단 장치(300) 사이에 읽기 능력 진단을 위해 필요한 다양한 정보를 송수신할 수 있다. 예컨대, 송수신 관리부(320)는 사용자 정보 수신부(321), 진단 문서 요청 신호 수신부(322), 진단 문서 제공부(323), 평가 결과 데이터 수신부(324) 및 진단 결과 정보 제공부(325)를 포함할 수 있다.
사용자 정보 수신부(321)는 표시 장치(210) 또는 사용자 단말(100)로부터 진단 대상자인 사용자의 사용자 정보를 수신할 수 있다(S10). 사용자 정보는 예컨대, 이름, 고유 번호(ID), 나이, 성별, 학력, 국적, 사용 언어 등에 관한 사용자의 개인 정보를 포함할 수 있다. 사용자는 읽기 능력 진단 장치(300)의 이용을 위한 사용자 등록 단계에서 상기와 같은 사용자 정보를 입력할 수 있으며, 입력된 사용자 정보는 사용자 정보 수신부(321)로 전송될 수 있다. 수신된 사용자 정보는 사용자 데이터베이스(341)에 저장될 수 있다. 이 후, 사용자가 표시 장치(210)를 통해 읽기 능력 진단 장치(300)에 접속한 후 ID 및 패스워드를 입력하면, 진단 제어부(310)는 사용자 데이터베이스(341)에 저장된 사용자 정보를 확인하여 사용자 인증을 승인할 수 있다. 한편, 사용자가 읽기 능력 진단 장치(300)를 통해 읽기 능력을 진단 받은 경우, 사용자 정보 수신부(321)는 사용자의 읽기 능력 진단 결과를 반영하여 사용자 정보를 갱신할 수 있다. 이 경우, 사용자 정보는 사용자의 읽기 능력 진단 이력정보를 더 포함할 수 있다.
진단 문서 요청 신호 수신부(322)는 표시 장치(210)를 통해 입력된 진단 문서 요청 신호를 수신할 수 있다(S20). 예컨대, 사용자는 사용자 인증의 완료 후 표시 장치(210)를 통해 읽기 능력 평가 수행을 위한 진단 문서 요청 신호를 입력할 수 있으며, 입력된 진단 문서 요청 신호는 진단 문서 요청 신호 수신부(322)로 전송될 수 있다.
진단 문서 제공부(323)는 진단 문서 요청 신호에 응답하여 표시 장치(210)로 진단 문서를 제공할 수 있다(S30). 일 실시예에 따르면, 진단 문서 제공부(323)는 사용자 정보에 기반하여 사용자 수준을 판별하고, 판별된 사용자 수준에 상응하는 진단 문서를 진단 문서 데이터베이스(342)에 저장된 진단 문서 중에서 선택하여 표시 장치(210)로 제공할 수 있다. 사용자 수준은 사용자의 나이, 학력, 사용 언어, 과거 읽기 능력 진단 이력 등을 고려하여 판별될 수 있으며, 진단 문서 데이터베이스(342)에 저장된 진단 문서는 난이도 또는 수준에 따라 미리 분류되어 상응하는 사용자 수준에 맞게 제공되도록 준비될 수 있다. 예컨대, 사용자가 국내 초등학교 3학년 학생인 경우, 진단 문서 제공부(323)는 진단 문서 데이터베이스(342)에 저장된 진단 문서 중 초등학교 3학년 수준에 상응하는 것으로 분류된 진단 문서를 선택하여 표시 장치(210)로 제공할 수 있다.
본 발명에서, 진단 문서는 전자 문서 형태의 진단 매체로서, 기존의 텍스트 및/또는 이미지에 대해 그 구조적, 의미적 기능에 따라 영역을 구분하고, 영역 간의 관계, 중요성을 전자적으로 기술한 문서일 수 있다. 구체적으로, 진단 문서는 텍스트, 이미지 또는 이들을 조합한 복합 형태로 제공될 수 있으며, 안구 움직임에 따른 읽기 능력을 다각적으로 평가 하기 위해, 주제 또는 분야(예컨대, 과학, 역사, 문화, 환경 등), 유형(예컨대, 소설, 수필, 시, 설명문, 논설문 등), 난이도, 언어(예컨대, 한국어, 영어, 일본어 등) 등을 조합하여 다양한 구성의 콘텐츠들로 제공될 수 있다.
일 실시예에 따르면, 도 5에 도시된 바와 같이, 진단 문서는 텍스트 및 이미지 중 적어도 하나를 포함하는 콘텐츠를 선정 및 제작한 후 콘텐츠에 대한 메타 데이터를 규정하는 단계, 문제 풀이 과제를 위한 문제를 제작한 후 이에 관련된 키워드 및 핵심 정보를 설정하는 단계, 및 콘텐츠의 관심 영역(Area of Interest, AOI)을 설정하고, 전자 문서 형태로 포맷(format)을 변환하는 단계를 거쳐 제작된 것일 수 있다.
여기서, 메타 데이터는 진단 문서(즉, 콘텐츠)의 주제 또는 분야, 유형, 형태, 수준(난이도), 단어수, 음운수, 문장수, 단어 수준, 단어 변이도, 이미지수, 출처 등을 규정한 데이터를 포함할 수 있다. 또한, 관심 영역(AOI)은 읽기 과정에서 탐색 과정이 적절한지, 문제 풀이에 필요한 영역 및 단어를 정확히 탐색하는지, 핵심 단어에 얼마나 주의를 집중하는지 등을 적절하게 평가하기 위해 콘텐츠의 내용, 문제와의 관계 및 중요성 등을 고려하여 설정된 영역일 수 있다. 예컨대, 관심 영역은 문제 풀이 과제의 질문 내용을 포함하는 문제 영역 및 문제 풀이를 위해 필요한 핵심 단어 또는 핵심 정보를 포함하는 핵심 영역을 포함할 수 있다. 이와 같은 핵심 영역 및 문제 영역은 콘텐츠를 구성하는 글자(character), 단어(word), 문장(sentence), 단락(paragraph), 텍스트(text), 또는 이미지(image) 별로 분류되어 설정될 수 있다. 예컨대, 문제 풀이를 위해 필요한 핵심 단어는 핵심 단어 영역으로 분류되어 설정될 수 있고, 문제 풀이를 위해 필요한 필요 정보를 포함하고 있는 문장 혹은 단락은 필요 정보 영역으로 분류되어 설정될 수 있다. 본 발명에서, 진단 문서의 콘텐츠는 진단 콘텐츠로 지칭될 수 있다.
이와 같이 제작된 진단 문서는 본 시스템(1000)을 통해 읽기 능력 진단 서비스를 제공하는 관리자가 미리 부여 받은 관리자 ID로 읽기 능력 진단 장치(300)에 접속하여 입력할 수 있으며, 입력된 진단 문서는 진단 문서 데이터베이스(342)에 저장될 수 있다. 여기서, 진단 문서에 관한 메타 데이터 및 관심 영역의 설정 정보는 진단 문서 정보로 정의될 수 있으며, 이 또한 진단 문서의 입력 시에 미리 규정되어 진단 문서 데이터베이스(342)에 저장될 수 있다.
표시 장치(210)로 전자 문서가 제공되면, 진단 제어부(310)는 표시 장치(210)와 연동된 시선 추적 장치(200)를 가동시킬 수 있다(S40).
구체적으로, 표시 장치(210)로 진단 문서가 제공되면, 시선 추적 센서(220)가 구동되어 사용자의 시선 위치를 조정할 수 있다. 이 후, 표시 장치(210)를 통해 입력된 읽기 능력 평가 시작 신호에 따라 읽기 능력 평가가 시작되고, 시선 추적 센서(220)는 읽기 능력 평가를 수행하는 사용자의 시선을 추적할 수 있다. 예컨대, 진단 문서를 통한 읽기 능력 평가는 읽기 과제 수행, 사용자의 읽기 난이도 직접 평가 및 이해 능력의 진단을 위한 문제 풀이 과제 수행의 순으로 진행될 수 있다.
본 발명에서, 읽기 능력 평가는 사용자의 읽기 능력을 다각적으로 평가하기 위해, 다양한 조합으로 구성된 여러 가지의 진단 문서 별로 복수 회 실시될 수 있다. 예를 들어, 복수 회의 읽기 능력 평가 중 일 실시는 텍스트와 문제로 구성된 진단 문서를 이용하여 수행될 수 있고, 다른 실시는 이미지로만 구성된 진단 문서를 이용하여 수행될 수 있다. 이를 통해 다양한 읽기 자료에 대한 체계적인 읽기 능력 평가가 가능할 수 있다. 시선 추적 장치(200)는 복수 회 실시되는 읽기 능력 평가 마다 사용자의 시선을 추적하여 진단 문서 별로 사용자의 시선 추적 데이터를 생성할 수 있다.
진단 문서 별로 복수 회의 읽기 능력 평가가 수행된 후 읽기 능력 평가 종료 신호에 따라 읽기 능력 평가가 완료되면, 읽기 능력 평가를 통해 획득된 사용자의 평가 결과 데이터는 읽기 능력 진단 장치(300)로 전송될 수 있다.
평가 결과 데이터 수신부(324)는 표시 장치(210)에 출력된 진단 문서를 통한 읽기 능력 평가의 수행 동안 획득된 평가 결과 데이터를 표시 장치(210)로부터 수신할 수 있다(S50). 평가 결과 데이터는 예컨대, 사용자의 읽기 능력 평가의 수행 동안, 시선 추적 장치(200)를 통해 획득된 사용자의 시선 추적 데이터와, 사용자의 문제 풀이 결과 데이터를 포함할 수 있다. 수신된 평가 결과 데이터는 진단 결과 데이터베이스(343)에 저장될 수 있다.
읽기 능력 진단부(330)는 사용자가 표시 장치(210)에 출력된 진단 문서를 통해 수행한 읽기 능력 평가의 평가 결과 데이터를 이용하여 다각적인 읽기 능력 진단을 위한 진단 요소 정보를 생성하고(S60), 생성된 진단 요소 정보와 기 획득한 사용자 정보 및 진단 문서 정보를 이용하여 사용자의 종합적인 읽기 능력을 진단하는 진단 결과 정보를 생성할 수 있다(S70). 예컨대, 읽기 능력 진단부(330)는 진단 요소 정보를 생성하는 진단 요소 정보 생성부(331)와 진단 결과 정보를 생성하는 진단 결과 정보 생성부(332)를 포함할 수 있다.
구체적으로, 진단 요소 정보 생성부(331)는 읽기 능력 평가를 통해 획득한 사용자의 시선 추적 데이터 및 문제 풀이 결과 데이터를 포함하는 평가 결과 데이터와, 진단 문서에 대한 메타 데이터 및 관심 영역의 설정 정보를 포함하는 진단 문서 정보를 분석하여, 사용자의 다각적인 읽기 능력 진단을 위한 진단 지표인 진단 요소 정보를 생성할 수 있다(S60).
도 6에 도시된 바와 같이, 읽기 능력 평가 동안 추적된 사용자의 시선은 진단 문서와 맵핑(mapping)될 수 있으며, 이를 기반으로 기 설정된 관심 영역 별 시선 점유율, 체류 시간, 응시 유형 등을 도출하여 정량적 분석이 가능할 수 있다. 일 예로, 사용자의 시선이 머문 단어는 원형의 음영으로 표시되고, 해당 음영의 넓이는 해당 단어에 사용자의 시선이 머문 시간에 비례할 수 있다. 또한, 시선 추적 데이터를 통해 사용자의 시선의 흐름을 선으로 연결시킴으로써 사용자가 진단 문서의 행을 충실하게 읽었는지 여부를 파악할 수 있다.
이와 같은 과정을 통해 생성된 진단 요소 정보는 예컨대, 읽기 과정 시선 정보, 읽기 과정 탐색 정보, 읽기 이해 정보 및 읽기 능력 이상 정보를 포함할 수 있다.
상세하게, 읽기 과정 시선 정보는 읽기 능력 평가 동안 사용자의 시선 추적 결과와 진단 문서를 맵핑하여 산출된 것으로, 안구 움직임의 패턴, 시선의 이동 속도와 이동 시간, 동공의 크기와 눈 깜빡임의 빈도 등에 관한 정보를 포함할 수 있다. 예컨대, 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함할 수 있다.
읽기 과정 탐색 정보는 읽기 능력 평가 동안 사용자의 시선이 어떤 대상을 어떤 순서로 얼마 동안 탐색하였는지에 관한 정보를 포함할 수 있다. 예컨대, 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함할 수 있다.
읽기 이해 정보는 읽기 능력 평가의 문제 풀이 결과로부터 산출된 정보로서, 사실적 독해 문제 풀이의 정답률과 풀이 시간, 추론적 독해 문제 풀이의 정답률과 풀이 시간, 및 비판적 독해 문제 풀이의 정답률과 풀이 시간에 관한 정보 중 적어도 하나를 포함할 수 있다.
읽기 능력 이상 정보는 읽기 능력의 이상 징후에 관련된 정보로서, 사용자의 사회적 신호영역에 대한 시선 탐색 정보 또는 음운 판별 검사 정보를 포함할 있다. 예컨대, 읽기 능력 이상 정보는 얼굴탐지 검사 응답, 관계파악 검사 응답, 표정인식 검사 응답, 높이구분 검사 응답, 갭 탐지 검사 응답, 발음예측 검사 응답 및 음운비교 검사 응답에 관한 정보 중 적어도 하나를 포함할 수 있다.
진단 결과 정보 생성부(332)는 진단 요소 정보 생성부(331)에 의해 생성된 진단 요소 정보와 진단 데이터베이스(340)에 저장된 사용자 정보 및 진단 문서 정보를 이용하여 사용자의 시선 추적에 기반한 종합적인 읽기 능력을 진단하는 진단 결과 정보를 생성할 수 있다(S70).
구체적으로, 도 7에 도시된 바와 같이, 진단 결과 정보 생성부(332)는 사용자 정보, 진단 문서 정보 및 진단 요소 정보를 읽기 능력 진단 분류 모델에 입력하여, 시선기반 읽기 능력 진단 정보, 풀이기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 진단 결과 정보를 생성할 수 있다. 본 발명에서, 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함할 수 있고, 풀이기반 읽기 능력 진단 정보는 비판적 독해력, 추론적 독해력 및 사실적 독해력 각각에 대한 수치화된 점수 정보를 포함할 수 있다. 그리고, 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조에 대한 위험도 판별 정보를 포함할 수 있다.
본 발명의 개념에 따르면, 읽기 능력 진단 분류 모델은 머신 러닝(machine learning) 알고리즘에 의해 학습된 모델로서, 진단 문서를 이용한 읽기 능력 평가를 통해 획득한 진단 요소 정보와, 진단 데이터베이스(340)에 저장된 사용자 정보 및 진단 문서 정보를 입력 정보로 이용하여 사용자의 읽기 능력을 정확하고 다각적으로 진단하기 위한 정보처리 알고리즘일 수 있다. 예컨대, 읽기 능력 진단 분류 모델은 k-최근접 이웃법(k-nearest-neighbors, KNN), 서포트 벡터 머신(support vector machine,SVN) 또는 인공 신경망(artificial neural network, ANN) 알고리즘을 이용할 수 있다.
읽기 능력 진단 분류 모델의 지도 학습은, 진단 문서를 이용한 읽기 능력 평가를 통해 획득한 피험자들의 시선 추적 데이터 및 문제 풀이 결과를 이용하여 피험자들의 진단 요소 정보를 획득하고, 획득한 피험자들의 진단 요소 정보와 이미 알고 있는 진단 문서 정보 및 피험자의 속성 정보로부터 추출된 특징(feature)을 이용하여 수행될 수 있다. 여기서, 피험자의 속성 정보는 피험자의 나이, 성별, 학력, 사용 언어, 읽기 능력 수준, 안구운동 연관 장애(예컨대, 난독증, ADHD, ASD, 안구운동 실조 등)의 보유 여부 등에 관한 정보를 포함할 수 있다. 한편, 피험자들의 읽기 능력 수준은 별도 평가 또는 전문가 진단을 통해 미리 검증된 것일 수 있다.
즉, 진단 결과 정보 생성부(332)는 읽기 능력 평가를 수행한 사용자의 사용자 정보(예컨대, 나이, 성별, 학력, 사용 언어 등)와 읽기 능력 평가에 사용된 진단 문서의 진단 문서 정보(예컨대, 메타 데이터 및 관심 영역 설정 정보), 및 읽기 능력 평가의 결과를 분석하여 획득된 진단 요소 정보를 읽기 능력 분류 모델에 입력하여, 사용자의 읽기 패턴을 도출하고, 피험자의 피험자 속성 정보 및 피험자의 읽기 능력 평가 결과와 비교 과정을 거침으로써, 진단 결과 정보 각 항목에 대한 수치화된 점수를 산출할 수 있다.
나아가, 진단 결과 정보 생성부(332)는 진단 결과 정보의 시선기반 읽기 능력 진단 정보와 풀이기반 읽기 능력 진단 정보를 토대로 종합적인 읽기 능력에 대한 수치화된 점수를 포함하는 종합 독서능력 진단 정보를 생성할 수 있으며, 진단 데이터베이스(340)에 저장된 다른 사용자들의 진단 결과 정보와 비교하여 사용자의 읽기 능력이 동일 연령 중 상위 몇 퍼센트인지, 다른 연령 대 그룹과 비교하여 어느 정도의 수준인지를 파악할 수 있는 읽기 능력 비교 정보를 생생할 수 있다.
또한, 진단 결과 정보 생성부(332)는 시선기반 읽기 능력 진단 정보의 읽기 유창성, 탐색 효율성 및 집중력 각각에 진단 정보를 세부 항목별로 구분하고, 세부 항목 별 점수로 산출하여 정보를 제공할 수 있다. 예컨대, 읽기 유창성은 응시 간격, 응시 비율, 응시 시간, 읽기 속도 및 역행 비율의 항목으로 세분화되고, 세분화된 항목별 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있도록 비교 그래프 형태로 제공될 수 있다. 탐색 효율성은 읽기 충실도, 문제 영역 체류율 및 핵심 영역 체류율의 항목으로 세분화되고, 세분화된 항목 별로 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있는 형태로 제공될 수 있다. 그리고, 집중력은 눈깜박임 변화, 눈동자 변화 및 읽기 속도 유지의 항목으로 세분화되고, 세분화된 항목별 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있는 형태로 제공될 수 있다. 이를 통해, 읽기 과정 동안의 객관적인 안구 움직임 측정에 기반한 읽기 능력의 진단이 가능할 수 있다.
한편, 시선기반 인지 위험성 진단 정보는 안구 움직임의 분석과 문제 풀이 결과를 통해 진단이 가능한 읽기 능력에 연관된 인지 장애의 위험도에 관한 정보로서, 예컨대, 난독증, ADHD, ASD 및 안구운동 실조의 발생 가능성이 몇 퍼센트에 해당하는지에 관한 위험도 정보를 포함할 수 있다.
진단 결과 정보 생성부(332)에 의해 생성된 진단 결과 정보는 진단 결과 데이터베이스(343)에 저장되며, 저장된 진단 결과 정보는 향후 읽기 능력 진단 분류 모델의 지도 학습에 활용될 수 있다.
진단 결과 정보 제공부(325)는 진단 결과 정보 생성부(332)에 의해 생성된 진단 결과 정보를 표시 장치(210)로 제공할 수 있다(S80). 표시 장치(210)로 제공된 진단 결과 정보는 다양한 형태로 가공되어 출력될 수 있다. 예컨대, 진단 결과 정보는 각 항목의 구체적인 점수뿐만 아니라, 동일 연령 내의 비교 그래프 및 다른 연령대의 비교 그룹군과의 비교 그래프로 제공되어 표시 장치(210)에 출력될 수 있다. 또한, 시선기반 읽기 능력 진단 정보와 풀이기반 읽기 능력 진단 정보는 진단 과제의 주제 또는 분야별(예컨대, 역사, 정치, 수학, 과학, 예술, 문학, 스포츠 철학 등)로 세분화된 점수로 제공되어 표시 장치(210)에 출력될 수도 있다. 나아가, 지속적인 읽기 능력 평가를 통해 진단된 사용자의 읽기 능력 진단 결과는 시계열 그래프 형태로 가공되어 표시 장치(210)에 출력될 수 있다. 이와 같이 다양한 형태로 가공되어 표시 장치(210)에 출력되는 진단 결과 정보의 예를 도 9 및 도 10에 도시하였다. 도 9 및 도 10은 표시 장치에 출력된 진단 결과 정보의 캡쳐 화면을 나타내는 예시적인 도면들이다.
진단 데이터베이스(340)의 사용자 데이터베이스(341)는 사용자로부터 입력 받은 사용자 정보를 저장할 수 있고, 진단 문서 데이터베이스(342)는 관리자가 입력한 전자 문서 형태의 진단 문서와 진단 문서에 관한 메타 데이터 및 관심 영역 설정 정보를 포함하는 진단 문서 정보를 저장할 수 있다. 그리고, 진단 결과 데이터베이스(343)는 및 읽기 능력 평가를 통해 획득한 사용자의 시선 추적 데이터와 문제 풀이 결과 데이터, 이를 이용하여 획득한 진단 요소 정보, 및 진단 결과 정보를 저장할 수 있다.
본 발명의 읽기 능력 진단 방법은, 상술한 단계들(S10~S80)을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램, 어플리케이션 등으로 구현될 수 있다. 상세한 설명에서 기술된 읽기 능력 진단 장치(300)에서 적용될 수 있는 내용은, 본 발명의 읽기 능력 진단 방법과, 컴퓨터 프로그램, 어플리케이션 등에도 적용될 수 있다.
본 발명의 실시예들에 따르면, 객관적인 안구 움직임 측정(즉, 시선 측정)에 기반한 읽기 능력 진단을 실시함으로써, 문제 풀이 기반의 읽기 능력 평가에 더해 읽기 유창성, 탐색 효율성, 집중력 등을 포함하는 읽기 과정에서의 객관적인 읽기 능력 진단이 가능할 수 있으며, 빅데이터를 이용한 기계학습 알고리즘에 기반한 진단 방식을 통해 진단 결과의 신뢰성을 향상시킬 수 있다. 나아가, 시선 측정을 통해 난독증, ADHD, ASD, 안구운동 실조 등 안구운동 연관 장애의 위험도 진단이 가능하여, 안구운동 연관 장애에 대한 고위험군의 조기 확인이 가능할 수 있다.
이하 도 11 내지 도 22를 참조하여, 본 발명의 실시예들에 따른 읽기 능력 개선 훈련 장치 및 방법에 대해 설명한다.
도 11은 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치의 구성을 개략적으로 나타내는 블록도이다. 도 12는 도 11의 추천 훈련 콘텐츠 정보 생성부가 추천 후련 콘텐츠 분류 모델을 이용하여 추천 훈련 콘텐츠 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치(400)는 개선 제어부(410), 개선 데이터베이스(420), 사용자 프로파일 정보 생성부(430), 추천 훈련 콘텐츠 정보 생성부(440), 추천 훈련 콘텐츠 제공부(450) 및 개선 훈련 효과 분석부(460)를 포함할 수 있다.
개선 제어부(410)는 개선 데이터베이스(420), 사용자 프로파일 정보 수집부(430), 추천 훈련 콘텐츠 정보 생성부(440), 추천 훈련 콘텐츠 제공부(450) 및 개선 훈련 효과 분석부(460)의 동작 및 이들 간의 데이터 흐름을 제어할 수 있으며, 다양한 신호, 정보 또는 명령을 읽기 능력 진단 장치(300)와 주고 받을 수 있다. 예컨대, 개선 제어부(410)는 사용자 단말(100)을 통해 읽기 능력 개선 훈련 장치(400)에 접속한 사용자의 인증 절차를 수행할 수 있으며, 읽기 능력 개선 훈련 서비스의 제공을 위해 다양한 처리를 수행할 수 있다.
개선 데이터베이스(420)는 사용자의 안구운동 능력 및 읽기 능력을 향상 시킬 수 있는 다양한 구성의 훈련 콘텐츠를 저장할 수 있다. 예컨대, 훈련 콘텐츠는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠를 포함할 수 있다. 상술한 훈련 콘텐츠는 사용자의 연령, 성별 등의 인적 정보에 따라 각 연령과 성별에 적합한 것으로 분류되어 있거나, 안구운동 능력에 따라 개선하고자 하는 기능에 적합한 것으로 분류되어 있거나, 읽기 능력 수준에 따라 적절한 난이도로 분류되어 데이터 베이스의 형태로 저장되어 있을 수 있다. 훈련 콘텐츠에 대해서는 뒤에서 자세히 설명한다.
사용자 프로파일 정보 생성부(430)는 읽기 능력 진단 장치(300)로부터 사용자의 사용자 정보, 진단 요소 정보 및 진단 결과 정보를 수집하고, 이를 기반으로 사용자 프로파일 정보를 생성할 수 있다. 여기서, 사용자 프로파일 정보는 사용자의 수준 및 읽기 능력 진단 결과에 기반하여 사용자의 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 선별하기 위해 이용되는 데이터일 수 있다. 예컨대, 사용자 프로파일 정보는 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함할 수 있다.
사용자 수준 정보는 읽기 능력 진단 장치(300)를 통해 획득한 사용자 정보 중 사용자 수준을 판별하기 위해 사용되는 정보로서, 예컨대 나이, 성별, 학력, 사용 언어 및 읽기 능력 진단 이력정보를 포함할 수 있다.
시선 추적 정보는 시선 추적 장치(200)와 연동한 읽기 능력 진단 장치(300)를 통해 획득한 진단 요소 정보 중 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 예컨대 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함할 수 있다.
시선기반 진단 정보는 읽기 능력 진단 장치(300)를 통해 획득한 진단 결과 정보 중 사용자의 시선 추적 데이터를 기반으로 진단된 정보로서, 예컨대 시선기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
사용자 프로파일 정보 생성부(430)는 사용자가 읽기 능력 개선 훈련 장치(400)를 통해 읽기 능력 개선 훈련을 수행하거나, 읽기 능력 개선 훈련의 수행 후 읽기 능력 진단 장치(300)를 통해 읽기 능력을 재진단 받은 경우, 읽기 능력 개선 훈련 이력 또는 읽기 능력 재진단 결과를 반영하여 사용자 프로파일 정보를 갱신할 수 있다. 이 경우, 사용자 프로파일 정보는 사용자가 읽기 능력 개선 훈련 장치(400)를 통해 수행한 읽기 능력 개선 훈련 이력정보도 포함할 수 있다.
추천 훈련 콘텐츠 정보 생성부(440)는 사용자 프로파일 정보를 이용하여 개선 데이터베이스(420)에 저장된 훈련 콘텐츠 중에서 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 이에 관련된 추천 훈련 정보를 생성할 수 있다. 선별된 추천 훈련 콘텐츠는 사용자의 인적 정보에 따른 사용자 수준, 읽기 능력 진단 결과 및 안구운동 특성을 고려하여 안구운동 능력 및 읽기 능력 개선을 위해 최적화된 훈련 콘텐츠로 선정된 것일 수 있다. 추천 훈련 정보는 예컨대, 선별된 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함할 수 있다.
추천 훈련 콘텐츠의 종류는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠 중 적어도 하나로 분류될 수 있다.
추천 훈련 콘텐츠의 레벨은 사용자의 읽기 능력 진단 결과의 경중 및 연령에 따라 훈련 콘텐츠의 난이도 및 속도를 규정한 추천 정보를 포함할 수 있다. 예컨대, 추천 훈련 콘텐츠의 레벨을 1 내지 10으로 구분하고, 각 레벨에 따라 추천 훈련 콘텐츠의 속도 및 난이도를 조정할 수 있다.
추천 훈련 콘텐츠의 수행량은 사용자의 읽기 능력 진단 결과와 기존에 읽기 능력 개선 훈련을 수행한 이력 등을 고려하여, 읽기 능력 개선 훈련의 일 수행량(예컨대, 1일 5 내지 20분)과 수행 기간(예컨대, 4주 내지 8주) 등을 선정한 추천 정보를 포함할 수 있다.
본 발명의 개념에 따르면, 추천 훈련 콘텐츠 정보 생성부(440)는 사용자 수준 정보, 시선 추적 정보, 시선기반 진단 정보를 추천 훈련 콘텐츠 분류 모델에 입력하여, 개선 데이터베이스(420)에 저장된 훈련 콘텐츠 중 사용자의 읽기 및 안구운동 능력의 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 선별된 추천 훈련 콘텐츠의 종류, 레벨(예컨대, 난이도 및 속도) 및 수행량에 관한 추천 훈련 정보를 생성할 수 있다.
도 12에 도시된 바와 같이, 추천 훈련 콘텐츠 분류 모델은 머신 러닝(machine learning) 알고리즘에 의해 학습된 모델로서, 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 입력 정보로 이용하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위해 최적화된 훈련 콘텐츠를 분류하기 위한 정보처리 알고리즘일 수 있다. 예컨대, 추천 훈련 콘텐츠 분류 모델은 k-최근접 이웃법(k-nearest-neighbors, KNN), 서포트 벡터 머신(support vector machine,SVN) 또는 인공 신경망(artificial neural network, ANN) 알고리즘을 이용할 수 있다. 한편, 입력 데이터로서 읽기 능력 개선 훈력 이력 정보도 이용할 수 있다,
추천 훈련 콘텐츠 분류 모델의 지도 학습은, 읽기 능력 진단 장치(300)를 통해 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 획득한 피험자에 대해, 훈련 콘텐츠를 통한 읽기 능력 개선 훈련의 수행 후 읽기 능력을 재진단하고, 읽기 능력 개선 훈련 전후의 읽기 능력 진단 결과의 비교 분석을 통해 사용자의 안구운동 능력 및 읽기 능력의 최적화를 위한 훈련 콘텐츠의 종류, 난이도 및 수행량에 관한 추천 훈련 정보를 지속적으로 갱신함으로써 수행될 수 있다.
일 예로, 추천 훈련 콘텐츠 정보 생성부(440)는 읽기 능력 진단 결과 추적안구운동(pursuit eye movement)이 불안정한 것으로 진단된 사용자에 대해, 추적안구운동 능력의 개선을 위한 추천 훈련 콘텐츠로서 이동 표적 추적(Tracking Moving Target) 훈련을 선정하고, 추천 훈련 콘텐츠에 대해 1일 5분씩 4주간 수행할 것을 추천 정보로서 생성할 수 있다.
다른 예로, 추천 훈련 콘텐츠 정보 생성부(440)는 읽기 능력 진단 결과 시선도약 속도가 느리다고 진단된 사용자에 대해, 이를 개선할 추천 훈련 콘텐츠로 마스크 단어(mask word) 훈련을 추천 훈련 콘텐츠로 선정하고, 추천 훈련 콘텐츠에 대해 1일 5분씩 4주간 수행할 것을 추천 정보로서 생성할 수 있다.
추천 훈련 콘텐츠 제공부(450)는 추천 훈련 콘텐츠 정보 생성부(440)에 의해 선별된 추천 훈련 콘텐츠를 사용자 단말(100)로 제공할 수 있다. 또한, 추천 훈련 콘텐츠 제공부(450)는 사용자가 입력한 읽기 능력 개선 훈련 시작 신호에 응답하여, 사용자 단말(100)로 출력된 추천 훈련 콘텐츠를 추천 훈련 정보(예컨대, 수행량)에 따라 실행시킬 수 있다.
개선 훈련 효과 분석부(460)는 읽기 능력 개선 훈련 전후의 사용자의 읽기 능력 진단 결과를 비교하여 읽기 능력 개선 훈련 효과를 분석할 수 있다. 사용자는 읽기 능력 개선 훈련 후 읽기 능력 진단 장치(300)를 통해 읽기 능력을 재진단 받을 수 있으며, 개선 훈련 효과 분석부(460)는 이러한 재진단 결과를 읽기 능력 진단 장치(300)로부터 수집하여 읽기 능력 개선 훈련의 효과를 산출할 수 있다. 예컨대, 읽기 능력 개선 훈련의 효과는 진단 결과 정보의 수치화된 점수에 대해 읽기 능력 개선 훈련 전후에 따른 차이를 계산하여 산출될 수 있다. 개선 훈련 효과 분석부(460)를 통해 획득된 분석 결과는 개선 데이터베이스(420)에 저장될 수 있으며, 이 후 추천 훈련 콘텐츠 분류 모델의 지도 학습에 이용될 수 있다.
본 발명의 실시예들에 따른 읽기 능력 개선 훈련 장치(400)는 시선 추적 장치(200)와 연동한 읽기 능력 진단 장치(300)를 통해 획득한 시선 추적 기반의 다양한 정보들을 머신 러닝을 통해 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공함으로써, 효과적으로 사용자의 안구운동 능력 및 읽기 능력을 개선시킬 수 있다.
이하, 도 13 내지 도 22를 참조하여 훈련 콘텐츠에 대해 상세히 설명한다.
도 13은 안구운동 제어 훈련 콘텐츠의 일 예(Eye Spurt)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 14는 안구운동 제어 훈련 콘텐츠의 다른 예(Eye Spread)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 15는 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Random Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 16은 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Moving Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 13 내지 도 16을 참조하면, 안구운동 제어 훈련 콘텐츠는 시선 가속(Eye Spurt) 훈련, 시선 확장(Eye Spread) 훈련, 랜덤 표적 추적(Tracking Random Target) 훈련 및 이동 표적 추적(Tracking Moving Target) 훈련을 포함할 수 있다.
도 13 에 도시된 바와 같이, 시선 가속(Eye Spurt) 훈련은 도약안구운동(saccade eye movement)의 속도를 증가시키기 위한 훈련일 수 있다.
도 14에 도시된 바와 같이, 시선 확장(Eye Spread) 훈련은 도약안구운동의 폭을 증가시키기 위한 훈련일 수 있다.
도 15에 도시된 바와 같이, 랜덤 표적 추적(Tracking Random Target) 훈련은 무작위적 위치에 나타나는 시각적 자극에 대한 빠른 탐지 및 정확한 도약안구운동을 위한 훈련일 수 있다. 본 훈련을 통해 시각적 탐색 능력 및 빠르고 정확한 안구운동을 훈련할 수 있다.
도 16에 도시된 바와 같이, 이동 표적 추적(Tracking Moving Target) 훈련은 시계 방향, 또는 반시계 방향으로 천천히 움직이는 표적(target)을 추적하는 훈련으로서, 본 훈련을 통하여 추적안구운동(pursuit eye movement)에 대한 훈련 및 집중력, 안구운동에 대한 통제력 등을 강화할 수 있다.
도 17은 시각적 또는 인지적 탐색 훈련 콘텐츠의 일 예(Word/category Finding)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 17을 참조하면, 시각적 또는 인지적 탐색 훈련 콘텐츠는 텍스트에 대한 빠른 탐색 및 판단을 위한 훈련으로서, 텍스트에서 일정한 단어(예컨대, 주어진 키워드)를 찾는 키워드 찾기(Find Keyword) 훈련 및 텍스트에서 일정한 단어(예컨대, 해당 카테고리에 속하는 단어)를 찾는 카테고리 찾기(Find Category) 훈련을 포함할 수 있다.
도 18은 시지각적 기억 및 판단 훈련 콘텐츠의 일 예(Visual Counting)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 19는 시지각적 기억 및 판단 훈련 콘텐츠의 다른 예(Visual Span)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 20은 시지각적 기억 및 판단 훈련 콘텐츠의 또 다른 예(Anti Saccade)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 18 내지 도 20을 참조하면, 시지각적 기억 및 판단 훈련 콘텐츠는 짧게 제시되는 점의 개수를 세는 훈련인 시각적 카운팅(Visual Counting) 훈련, 한눈에 파악되는 글자의 개수를 확장하기 위한 훈련인 시각적 스팬(Visual Span) 훈련, 및 시각적 자극과 무관하도록 의도적으로 안구운동을 통제하는 훈련인 역방향 도약안구운동(Anti Saccade) 훈련을 포함할 수 있다.
도 18에 도시된 바와 같이, 시각적 카운팅(Visual Counting) 훈련은 짧은 시간(예컨대, 0.5초)동안 다수의 점이 보여지고, 사용자는 이 점들의 개수를 기억하여 응답하는 훈련일 수 있다. 본 훈련을 통해 사용자는 시각적 인지의 폭(visual span), 시지각적 단기 기억, 숫자 인식 등의 능력이 개선되며, 또한 읽기 능력 및 기초산수능력 등의 개선이 가능할 수 있다.
도 19에 도시된 바와 같이, 시각적 스팬(Visual Span) 훈련은 사용자가 중앙의 원을 주시하는 동안에 제시되는 일정 길이의 무작위 글자들을 한눈에 기억해야 하는 훈련일 수 있다. 본 훈련을 통해 응시한 상태에서의 시각적 지각폭(visual span)을 확장시킬 수 있다.
도 20에 도시된 바와 같이, 역방향 도약안구운동(Anti Saccade) 훈련은 사용자가 중앙의 점을 응시하다가, 좌측 또는 우측에 점이 제시되면 그 점이 아닌 반대방향으로 시선을 움직여야 하는 것을 수십 회 반복하는 훈련일 수 있다. 이를 역방향 도약안구운동(Anti Saccade) 실험이라고 하며, 이를 제대로 시행하기 위해서는 의도적인 안구운동에 대한 통제노력 및 집중력/의지력이 요구된다. 대체로 ADHD, 난독증 등의 경우 본 훈련 대한 수행률이 낮은 것으로 알려져 있다.
도 21은 읽기 안정화 훈련 콘텐츠의 일 예(Mask Word)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 22는 읽기 안정화 훈련 콘텐츠의 다른 예(Mask Sentence)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 21 및 도 22를 참조하면, 읽기 안정화 훈련 콘텐츠는 단어 단위로 제시되는 글을 읽는 마스크 단어(Mask Word) 훈련 및 문장 단위로 제시되는 글을 읽는 마스크 문장(Mask Sentence) 훈련을 포함할 수 있다. 또한, 도시하지는 않았지만, 읽기 안정화 훈련 콘텐츠는 텍스트 위의 점(dot)을 추적하게 함으로써 텍스트가 있음에도 정상적인 안구 움직임을 연습하게 하는 역주행 방지(No regression) 훈련을 포함할 수 있다.
도 21에 도시된 바와 같이, 마스크 단어(Mask Word) 훈련은 글이 한 단어씩 차례로 제시됨으로써, 사용자에게 강제적으로 단어 단위로만 글을 읽도록 하게 하는 훈련일 수 있다. 단어의 길이에 따라 약 0.2~0.5초의 시간이 제공되며, 본 훈련을 통하여 비순차적이거나 비효율적인 시선 움직임에 대한 억제능력이 강화될 수 있다.
도 22에 도시된 바와 같이, 마스크 문장(Mask Sentence) 훈련은 글이 한 문장씩 차례로 제시됨으로써, 사용자에게 강제적으로 문장 단위로만 글을 읽도록 하게 하는 훈련일 수 있다. 문장의 길이에 따라 문장이 제시되는 속도가 달라지며, 본 훈련을 통하여 비순차적이거나 비효율적인 시선 움직임에 대한 억제능력이 강화될 수 있다.
이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 실시예들에 따른 읽기 능력 진단 및 개선 시스템을 나타내는 개략적인 도면이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 읽기 능력 진단 및 개선 시스템(1000)은 사용자 단말(100), 시선 추적 장치(200) 및 서비스 제공 장치(500)를 포함할 수 있다.
서비스 제공 장치(500)는 사용자의 읽기 능력 진단 및 개선을 위한 서비스를 제공하기 위한 장치로서, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)를 포함할 수 있다. 예컨대, 본 발명의 읽기 능력 진단 및 개선 시스템(1000)은 시선 추적 장치와(200) 연동한 읽기 능력 진단 장치(300)를 통해 사용자의 시선 추적에 기반한 읽기 능력을 진단하고, 사용자의 수준 정보와 시선 추적에 기반하여 획득한 다양한 정보들을 머신 러닝으로 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위한 최적의 읽기 능력 개선 훈련 서비스를 제공하기 위한 시스템일 수 있다.
사용자 단말(100)은 본 시스템(1000)을 이용하여 읽기 능력 개선 훈련 서비스를 제공받는 사용자가 사용하는 클라이언트로서, 유/무선 통신 환경에서 웹 서비스를 이용할 수 있는 전자 장치일 수 있다. 예컨대, 사용자 단말(100)은 일반적인 데스크탑 컴퓨터, 노트북, 태블릿 PC, 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나일 수 있다.
시선 추적 장치(200)는 사용자가 읽기 능력 진단 장치(300)가 제공하는 진단 문서를 통해 읽기 능력 평가를 수행하는 동안 사용자의 시선을 추적할 수 있다. 예컨대, 시선 추적 장치(200)는 표시 장치(210) 및 시선 추적 센서(220)를 포함할 수 있다. 사용자는 표시 장치(210)를 통해 읽기 능력 진단 장치(300)에 접속할 수 있으며, 읽기 능력 진단 장치(300)가 제공하는 진단 문서를 읽고, 읽기 능력 진단을 위해 제공되는 다양한 문제 풀이 과제를 수행할 수 있다. 진단 문서에 대해서는 뒤에서 자세히 설명한다.
표시 장치(210)는 유/무선 통신 환경에서 웹 서비스를 이용할 수 있는 전자 장치일 수 있다. 예컨대, 표시 장치(210)는 일반적인 데스크탑 컴퓨터, 노트북, 태블릿 PC, 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나일 수 있다. 표시 장치(210)는 시선 추적 센서(220)의 구동을 위한 구동 프로그램을 구비할 수 있다.
일 실시예에 따르면, 표시 장치(210)는 시선 추적 센서(220)와 분리된 독립적인 전자 장치일 수 있다. 이 경우, 표시 장치(210)는 유무선 방식을 통해 시선 추적 센서(220)와 연동될 수 있다. 다른 실시예에 따르면, 표시 장치(210)와 시선 추적 센서(220)는 일체형으로 구성될 수 있다. 예컨대, 시선 추적 장치(200)는 유/무선 통신 환경에서 웹 서비스를 제공하는 표시 장치(210) 및 이에 내장된 시선 추적 센서(220)를 포함하는 전자 장치일 수 있다.
시선 추적 센서(220)는 사용자가 표시 장치(210)에 출력된 진단 문서를 읽고 진단 과제를 수행하는 동안(즉, 읽기 능력 평가를 수행하는 동안), 사용자의 시선(달리 얘기하면, 안구의 움직임)을 추적하여 사용자가 진단 문서를 읽는 동안 시선의 움직임, 동공의 크기 변화, 눈동자의 깜박임 등을 감지할 수 있다. 이를 토대로 시선 추적 장치(200)는 사용자의 시선 추적 데이터를 획득할 수 있다. 예컨대, 시선 추적 데이터는 읽기 능력 평가 수행 동안 추적된 사용자 시선의 좌표 정보와, 동공의 크기 변화 및 눈동자의 깜박임 변화에 관한 정보를 포함할 수 있다. 이와 같이 획득된 시선 추적 데이터는 읽기 능력 진단 장치(300)에서 진단 요소 정보 생성을 위한 로데이터(raw data)로서 활용될 수 있다. 시선 추적 장치(200)는 일반적인 시선 추적(eye tracking) 기술을 이용하는 장치일 수 있는 바, 이에 대한 상세한 설명은 생략한다.
읽기 능력 진단 장치(300)는 표시 장치(210)를 통해 접속한 사용자에게 읽기 능력 진단 서비스를 제공할 수 있다. 예컨대, 읽기 능력 진단 장치(300)는 사용자가 표시 장치(210)를 통해 출력되는 진단 문서를 읽고 문제 풀이 과제를 수행하는 동안, 시선 추적 장치(200)를 통해 획득한 사용자의 시선 추적 데이터 및 사용자의 문제 풀이 결과 데이터를 이용하여 읽기 능력 진단에 필요한 진단 요소 정보를 생성하고, 생성된 진단 요소 정보와 이미 획득한 사용자 정보 및 진단 문서 정보를 머신 러닝을 통해 학습된 읽기 능력 진단 분류 모델에 적용함으로써, 사용자의 읽기 능력을 진단을 위한 진단 결과 정보를 생성할 수 있다.
읽기 능력 개선 훈련 장치(400)는 사용자 단말(100)을 통해 접속한 사용자에게 읽기 능력 개선 훈련 서비스를 제공할 수 있다. 일 예로, 시선 추적 장치와(200) 연동한 읽기 능력 진단 장치(300)가 시선 추적에 기반하여 사용자의 읽기 능력을 진단하면, 읽기 능력 개선 훈련 장치(400)는 읽기 능력 진단 장치(300)를 통해 획득한 사용자 정보, 진단 요소 정보 및 진단 결과 정보로부터 각각 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 생성하고, 이를 머신 러닝으로 학습된 추천 훈련 콘텐츠 분류 모델에 적용함으로써, 사용자의 수준과 안구운동 특성을 고려하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위해 최적화된 읽기 능력 개선 훈련 서비스를 제공할 수 있다.
본 발명에서, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)의 각각은 웹 기반 환경에서 구현될 수 있다. 일 예로, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)의 각각은 웹 서버일 수 있다. 웹은 URL과 브라우져를 통해 다수의 사용자들을 한 곳으로 모을 수 있게 한다. 따라서, 웹을 통해서 사용자의 데이터를 모으고 분석하게 될 경우, 많은 양의 데이터를 손쉽게 확보할 수 있으며, 데이터가 많아질수록 통계분석의 신뢰도를 높일 수 있다는 장점이 있다. 바람직하게, 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)는 클라우드(cloud) 서버 형태로 구현될 수 있다. 읽기 능력 진단 장치(300) 및 읽기 능력 개선 훈련 장치(400)는 하나의 서버 형태로 구현되거나, 각각 별개의 서버로 구현될 수도 있다. 한편, 본 시스템(1000)에서, 사용자는 사용자 단말(100)뿐만 아니라 표시 장치(210)를 통해서도 읽기 능력 개선 훈련 장치(400)에 접속하여 읽기 능력 개선 훈련 서비스를 이용할 수 있다.
상술한 서비스 제공 장치(500)는 지도자 접속 페이지 및 관리자 접속 페이지를 사용자 단말(100), 표시 장치(210) 또는 별도의 통신 단말로 제공할 수 있다. 지도자 접속 페이지는 본 시스템(1000) 통해 획득한 사용자의 읽기 능력 진단 결과 정보를 이용하여 사용자를 지도 및 학습하는 지도자(예컨대, 교사, 학원 강사 등)가 이용하기 위한 인터페이스이고, 관리자 접속 페이지는 서비스 제공 장치(500)를 관리하는 관리자가 이용하기 위한 인터페이스일 수 있다. 지도자 및 관리자는 별도로 부여 받은 지도자 ID 또는 관리자 ID를 통해 각각 서비스 제공 장치(500)가 제공하는 지도자 접속 페이지 및 관리자 접속 페이지에 접속할 수 있다. 본 발명에서, 진단 및 개선 대상자인 사용자는 읽기가 가능한 유아, 초등학생 또는 중등학생이 주 대상일 것이나, 이에 한정되는 것은 아니다. 이하, 설명의 편의를 위해 진단 및 개선 대상자인 사용자를 기준으로 본 발명에 대해 설명한다.
네트워크(600)는 사용자 단말(100), 표시 장치(210), 읽기 능력 진단 장치(300) 및/또는 읽기 능력 개선 훈련 장치(400)간의 통신 경로를 제공할 수 있다. 통신 방식은 제한되지 않으며, 네트워크(600)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(600)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있으며, 각종 웹 서버와 연결하는 기능을 수행한다.
이하, 도 2 내지 도 8을 참조하여 본 발명의 실시예들에 따른 읽기 능력 진단 장치 및 방법에 대해 먼저 설명한다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치의 구성을 개략적으로 나타내는 블록도이다. 도 3은 도 2의 송수신 관리부의 구성을 개략적으로 나타내는 블록도이다. 도 4는 도 2의 읽기 능력 진단부의 구성을 개략적으로 나타내는 블록도이다. 도 5는 본 발명의 일 실시예에 따른 진단 문서의 제작 과정을 설명하기 위한 도면이다. 도 6은 읽기 능력 평가 동안 추적된 사용자의 시선이 진단 문서와 맵핑된 상태를 설명하기 위한 도면이다. 도 7은 도 4의 진단 결과 정보 생성부가 읽기 능력 분류 모델을 이용하여 진단 결과 정보를 생성하는 과정을 설명하기 위한 도면이다. 도 8은 본 발명의 일 실시예에 따른 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 진단 장치(300)는 진단 제어부(310), 송수신 관리부(320), 읽기 능력 진단부(330) 및 진단 데이터베이스(340)를 포함할 수 있다. 진단 데이터베이스(340)는 사용자 데이터베이스(341), 진단 문서 데이터베이스(342) 및 진단 결과 데이터베이스(343)를 포함할 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 진단 방법은 사용자 정보를 수신하는 단계(S10), 진단 문서 요청 신호를 수신하는 단계(S20), 표시 장치로 진단 문서를 제공하는 단계(S30), 시선 추적 장치를 가동하는 단계(S40), 평가 결과 데이터를 수신하는 단계(S50), 진단 요소 정보를 생성하는 단계(S60), 진단 결과 정보를 생성하는 단계(S70) 및 진단 결과 정보를 표시 장치로 제공하는 단계(S80)를 포함할 수 있다. 본 발명의 읽기 능력 진단 방법에 포함된 단계들(S10~S80)은 읽기 능력 진단 장치(300), 및 시선 추적 장치(300) 간의 상호 작용을 통해 수행될 수 있다.
구체적으로, 도 2 내지 도 8을 참조하면, 진단 제어부(310)는 읽기 능력 진단 장치(300)의 전반적인 동작을 제어할 수 있다. 예컨대, 진단 제어부(310)는 송수신 관리부(320), 읽기 능력 진단부(330) 및 진단 데이터베이스(340)의 동작 및 이들 간의 데이터의 흐름을 제어할 수 있다. 예컨대, 진단 제어부(310)는 진단 대상자인 사용자의 사용자 등록 및 인증 절차를 수행할 수 있으며, 표시 장치(210)를 통해 읽기 능력 장치(300)에 접속한 사용자가 입력한 진단 문서 요청 신호에 상응하여 표시 장치(210)로 진단 문서가 제공되면, 시선 추적 센서(220)를 구동시키기 위한 신호 또는 명령을 표시 장치(210)로 전송할 수 있다.
송수신 관리부(320)는 네트워크(600)와 연동하여 표시 장치(210)와 읽기 능력 진단 장치(300) 사이에 읽기 능력 진단을 위해 필요한 다양한 정보를 송수신할 수 있다. 예컨대, 송수신 관리부(320)는 사용자 정보 수신부(321), 진단 문서 요청 신호 수신부(322), 진단 문서 제공부(323), 평가 결과 데이터 수신부(324) 및 진단 결과 정보 제공부(325)를 포함할 수 있다.
사용자 정보 수신부(321)는 표시 장치(210) 또는 사용자 단말(100)로부터 진단 대상자인 사용자의 사용자 정보를 수신할 수 있다(S10). 사용자 정보는 예컨대, 이름, 고유 번호(ID), 나이, 성별, 학력, 국적, 사용 언어 등에 관한 사용자의 개인 정보를 포함할 수 있다. 사용자는 읽기 능력 진단 장치(300)의 이용을 위한 사용자 등록 단계에서 상기와 같은 사용자 정보를 입력할 수 있으며, 입력된 사용자 정보는 사용자 정보 수신부(321)로 전송될 수 있다. 수신된 사용자 정보는 사용자 데이터베이스(341)에 저장될 수 있다. 이 후, 사용자가 표시 장치(210)를 통해 읽기 능력 진단 장치(300)에 접속한 후 ID 및 패스워드를 입력하면, 진단 제어부(310)는 사용자 데이터베이스(341)에 저장된 사용자 정보를 확인하여 사용자 인증을 승인할 수 있다. 한편, 사용자가 읽기 능력 진단 장치(300)를 통해 읽기 능력을 진단 받은 경우, 사용자 정보 수신부(321)는 사용자의 읽기 능력 진단 결과를 반영하여 사용자 정보를 갱신할 수 있다. 이 경우, 사용자 정보는 사용자의 읽기 능력 진단 이력정보를 더 포함할 수 있다.
진단 문서 요청 신호 수신부(322)는 표시 장치(210)를 통해 입력된 진단 문서 요청 신호를 수신할 수 있다(S20). 예컨대, 사용자는 사용자 인증의 완료 후 표시 장치(210)를 통해 읽기 능력 평가 수행을 위한 진단 문서 요청 신호를 입력할 수 있으며, 입력된 진단 문서 요청 신호는 진단 문서 요청 신호 수신부(322)로 전송될 수 있다.
진단 문서 제공부(323)는 진단 문서 요청 신호에 응답하여 표시 장치(210)로 진단 문서를 제공할 수 있다(S30). 일 실시예에 따르면, 진단 문서 제공부(323)는 사용자 정보에 기반하여 사용자 수준을 판별하고, 판별된 사용자 수준에 상응하는 진단 문서를 진단 문서 데이터베이스(342)에 저장된 진단 문서 중에서 선택하여 표시 장치(210)로 제공할 수 있다. 사용자 수준은 사용자의 나이, 학력, 사용 언어, 과거 읽기 능력 진단 이력 등을 고려하여 판별될 수 있으며, 진단 문서 데이터베이스(342)에 저장된 진단 문서는 난이도 또는 수준에 따라 미리 분류되어 상응하는 사용자 수준에 맞게 제공되도록 준비될 수 있다. 예컨대, 사용자가 국내 초등학교 3학년 학생인 경우, 진단 문서 제공부(323)는 진단 문서 데이터베이스(342)에 저장된 진단 문서 중 초등학교 3학년 수준에 상응하는 것으로 분류된 진단 문서를 선택하여 표시 장치(210)로 제공할 수 있다.
본 발명에서, 진단 문서는 전자 문서 형태의 진단 매체로서, 기존의 텍스트 및/또는 이미지에 대해 그 구조적, 의미적 기능에 따라 영역을 구분하고, 영역 간의 관계, 중요성을 전자적으로 기술한 문서일 수 있다. 구체적으로, 진단 문서는 텍스트, 이미지 또는 이들을 조합한 복합 형태로 제공될 수 있으며, 안구 움직임에 따른 읽기 능력을 다각적으로 평가 하기 위해, 주제 또는 분야(예컨대, 과학, 역사, 문화, 환경 등), 유형(예컨대, 소설, 수필, 시, 설명문, 논설문 등), 난이도, 언어(예컨대, 한국어, 영어, 일본어 등) 등을 조합하여 다양한 구성의 콘텐츠들로 제공될 수 있다.
일 실시예에 따르면, 도 5에 도시된 바와 같이, 진단 문서는 텍스트 및 이미지 중 적어도 하나를 포함하는 콘텐츠를 선정 및 제작한 후 콘텐츠에 대한 메타 데이터를 규정하는 단계, 문제 풀이 과제를 위한 문제를 제작한 후 이에 관련된 키워드 및 핵심 정보를 설정하는 단계, 및 콘텐츠의 관심 영역(Area of Interest, AOI)을 설정하고, 전자 문서 형태로 포맷(format)을 변환하는 단계를 거쳐 제작된 것일 수 있다.
여기서, 메타 데이터는 진단 문서(즉, 콘텐츠)의 주제 또는 분야, 유형, 형태, 수준(난이도), 단어수, 음운수, 문장수, 단어 수준, 단어 변이도, 이미지수, 출처 등을 규정한 데이터를 포함할 수 있다. 또한, 관심 영역(AOI)은 읽기 과정에서 탐색 과정이 적절한지, 문제 풀이에 필요한 영역 및 단어를 정확히 탐색하는지, 핵심 단어에 얼마나 주의를 집중하는지 등을 적절하게 평가하기 위해 콘텐츠의 내용, 문제와의 관계 및 중요성 등을 고려하여 설정된 영역일 수 있다. 예컨대, 관심 영역은 문제 풀이 과제의 질문 내용을 포함하는 문제 영역 및 문제 풀이를 위해 필요한 핵심 단어 또는 핵심 정보를 포함하는 핵심 영역을 포함할 수 있다. 이와 같은 핵심 영역 및 문제 영역은 콘텐츠를 구성하는 글자(character), 단어(word), 문장(sentence), 단락(paragraph), 텍스트(text), 또는 이미지(image) 별로 분류되어 설정될 수 있다. 예컨대, 문제 풀이를 위해 필요한 핵심 단어는 핵심 단어 영역으로 분류되어 설정될 수 있고, 문제 풀이를 위해 필요한 필요 정보를 포함하고 있는 문장 혹은 단락은 필요 정보 영역으로 분류되어 설정될 수 있다. 본 발명에서, 진단 문서의 콘텐츠는 진단 콘텐츠로 지칭될 수 있다.
이와 같이 제작된 진단 문서는 본 시스템(1000)을 통해 읽기 능력 진단 서비스를 제공하는 관리자가 미리 부여 받은 관리자 ID로 읽기 능력 진단 장치(300)에 접속하여 입력할 수 있으며, 입력된 진단 문서는 진단 문서 데이터베이스(342)에 저장될 수 있다. 여기서, 진단 문서에 관한 메타 데이터 및 관심 영역의 설정 정보는 진단 문서 정보로 정의될 수 있으며, 이 또한 진단 문서의 입력 시에 미리 규정되어 진단 문서 데이터베이스(342)에 저장될 수 있다.
표시 장치(210)로 전자 문서가 제공되면, 진단 제어부(310)는 표시 장치(210)와 연동된 시선 추적 장치(200)를 가동시킬 수 있다(S40).
구체적으로, 표시 장치(210)로 진단 문서가 제공되면, 시선 추적 센서(220)가 구동되어 사용자의 시선 위치를 조정할 수 있다. 이 후, 표시 장치(210)를 통해 입력된 읽기 능력 평가 시작 신호에 따라 읽기 능력 평가가 시작되고, 시선 추적 센서(220)는 읽기 능력 평가를 수행하는 사용자의 시선을 추적할 수 있다. 예컨대, 진단 문서를 통한 읽기 능력 평가는 읽기 과제 수행, 사용자의 읽기 난이도 직접 평가 및 이해 능력의 진단을 위한 문제 풀이 과제 수행의 순으로 진행될 수 있다.
본 발명에서, 읽기 능력 평가는 사용자의 읽기 능력을 다각적으로 평가하기 위해, 다양한 조합으로 구성된 여러 가지의 진단 문서 별로 복수 회 실시될 수 있다. 예를 들어, 복수 회의 읽기 능력 평가 중 일 실시는 텍스트와 문제로 구성된 진단 문서를 이용하여 수행될 수 있고, 다른 실시는 이미지로만 구성된 진단 문서를 이용하여 수행될 수 있다. 이를 통해 다양한 읽기 자료에 대한 체계적인 읽기 능력 평가가 가능할 수 있다. 시선 추적 장치(200)는 복수 회 실시되는 읽기 능력 평가 마다 사용자의 시선을 추적하여 진단 문서 별로 사용자의 시선 추적 데이터를 생성할 수 있다.
진단 문서 별로 복수 회의 읽기 능력 평가가 수행된 후 읽기 능력 평가 종료 신호에 따라 읽기 능력 평가가 완료되면, 읽기 능력 평가를 통해 획득된 사용자의 평가 결과 데이터는 읽기 능력 진단 장치(300)로 전송될 수 있다.
평가 결과 데이터 수신부(324)는 표시 장치(210)에 출력된 진단 문서를 통한 읽기 능력 평가의 수행 동안 획득된 평가 결과 데이터를 표시 장치(210)로부터 수신할 수 있다(S50). 평가 결과 데이터는 예컨대, 사용자의 읽기 능력 평가의 수행 동안, 시선 추적 장치(200)를 통해 획득된 사용자의 시선 추적 데이터와, 사용자의 문제 풀이 결과 데이터를 포함할 수 있다. 수신된 평가 결과 데이터는 진단 결과 데이터베이스(343)에 저장될 수 있다.
읽기 능력 진단부(330)는 사용자가 표시 장치(210)에 출력된 진단 문서를 통해 수행한 읽기 능력 평가의 평가 결과 데이터를 이용하여 다각적인 읽기 능력 진단을 위한 진단 요소 정보를 생성하고(S60), 생성된 진단 요소 정보와 기 획득한 사용자 정보 및 진단 문서 정보를 이용하여 사용자의 종합적인 읽기 능력을 진단하는 진단 결과 정보를 생성할 수 있다(S70). 예컨대, 읽기 능력 진단부(330)는 진단 요소 정보를 생성하는 진단 요소 정보 생성부(331)와 진단 결과 정보를 생성하는 진단 결과 정보 생성부(332)를 포함할 수 있다.
구체적으로, 진단 요소 정보 생성부(331)는 읽기 능력 평가를 통해 획득한 사용자의 시선 추적 데이터 및 문제 풀이 결과 데이터를 포함하는 평가 결과 데이터와, 진단 문서에 대한 메타 데이터 및 관심 영역의 설정 정보를 포함하는 진단 문서 정보를 분석하여, 사용자의 다각적인 읽기 능력 진단을 위한 진단 지표인 진단 요소 정보를 생성할 수 있다(S60).
도 6에 도시된 바와 같이, 읽기 능력 평가 동안 추적된 사용자의 시선은 진단 문서와 맵핑(mapping)될 수 있으며, 이를 기반으로 기 설정된 관심 영역 별 시선 점유율, 체류 시간, 응시 유형 등을 도출하여 정량적 분석이 가능할 수 있다. 일 예로, 사용자의 시선이 머문 단어는 원형의 음영으로 표시되고, 해당 음영의 넓이는 해당 단어에 사용자의 시선이 머문 시간에 비례할 수 있다. 또한, 시선 추적 데이터를 통해 사용자의 시선의 흐름을 선으로 연결시킴으로써 사용자가 진단 문서의 행을 충실하게 읽었는지 여부를 파악할 수 있다.
이와 같은 과정을 통해 생성된 진단 요소 정보는 예컨대, 읽기 과정 시선 정보, 읽기 과정 탐색 정보, 읽기 이해 정보 및 읽기 능력 이상 정보를 포함할 수 있다.
상세하게, 읽기 과정 시선 정보는 읽기 능력 평가 동안 사용자의 시선 추적 결과와 진단 문서를 맵핑하여 산출된 것으로, 안구 움직임의 패턴, 시선의 이동 속도와 이동 시간, 동공의 크기와 눈 깜빡임의 빈도 등에 관한 정보를 포함할 수 있다. 예컨대, 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함할 수 있다.
읽기 과정 탐색 정보는 읽기 능력 평가 동안 사용자의 시선이 어떤 대상을 어떤 순서로 얼마 동안 탐색하였는지에 관한 정보를 포함할 수 있다. 예컨대, 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함할 수 있다.
읽기 이해 정보는 읽기 능력 평가의 문제 풀이 결과로부터 산출된 정보로서, 사실적 독해 문제 풀이의 정답률과 풀이 시간, 추론적 독해 문제 풀이의 정답률과 풀이 시간, 및 비판적 독해 문제 풀이의 정답률과 풀이 시간에 관한 정보 중 적어도 하나를 포함할 수 있다.
읽기 능력 이상 정보는 읽기 능력의 이상 징후에 관련된 정보로서, 사용자의 사회적 신호영역에 대한 시선 탐색 정보 또는 음운 판별 검사 정보를 포함할 있다. 예컨대, 읽기 능력 이상 정보는 얼굴탐지 검사 응답, 관계파악 검사 응답, 표정인식 검사 응답, 높이구분 검사 응답, 갭 탐지 검사 응답, 발음예측 검사 응답 및 음운비교 검사 응답에 관한 정보 중 적어도 하나를 포함할 수 있다.
진단 결과 정보 생성부(332)는 진단 요소 정보 생성부(331)에 의해 생성된 진단 요소 정보와 진단 데이터베이스(340)에 저장된 사용자 정보 및 진단 문서 정보를 이용하여 사용자의 시선 추적에 기반한 종합적인 읽기 능력을 진단하는 진단 결과 정보를 생성할 수 있다(S70).
구체적으로, 도 7에 도시된 바와 같이, 진단 결과 정보 생성부(332)는 사용자 정보, 진단 문서 정보 및 진단 요소 정보를 읽기 능력 진단 분류 모델에 입력하여, 시선기반 읽기 능력 진단 정보, 풀이기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 진단 결과 정보를 생성할 수 있다. 본 발명에서, 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함할 수 있고, 풀이기반 읽기 능력 진단 정보는 비판적 독해력, 추론적 독해력 및 사실적 독해력 각각에 대한 수치화된 점수 정보를 포함할 수 있다. 그리고, 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조에 대한 위험도 판별 정보를 포함할 수 있다.
본 발명의 개념에 따르면, 읽기 능력 진단 분류 모델은 머신 러닝(machine learning) 알고리즘에 의해 학습된 모델로서, 진단 문서를 이용한 읽기 능력 평가를 통해 획득한 진단 요소 정보와, 진단 데이터베이스(340)에 저장된 사용자 정보 및 진단 문서 정보를 입력 정보로 이용하여 사용자의 읽기 능력을 정확하고 다각적으로 진단하기 위한 정보처리 알고리즘일 수 있다. 예컨대, 읽기 능력 진단 분류 모델은 k-최근접 이웃법(k-nearest-neighbors, KNN), 서포트 벡터 머신(support vector machine,SVN) 또는 인공 신경망(artificial neural network, ANN) 알고리즘을 이용할 수 있다.
읽기 능력 진단 분류 모델의 지도 학습은, 진단 문서를 이용한 읽기 능력 평가를 통해 획득한 피험자들의 시선 추적 데이터 및 문제 풀이 결과를 이용하여 피험자들의 진단 요소 정보를 획득하고, 획득한 피험자들의 진단 요소 정보와 이미 알고 있는 진단 문서 정보 및 피험자의 속성 정보로부터 추출된 특징(feature)을 이용하여 수행될 수 있다. 여기서, 피험자의 속성 정보는 피험자의 나이, 성별, 학력, 사용 언어, 읽기 능력 수준, 안구운동 연관 장애(예컨대, 난독증, ADHD, ASD, 안구운동 실조 등)의 보유 여부 등에 관한 정보를 포함할 수 있다. 한편, 피험자들의 읽기 능력 수준은 별도 평가 또는 전문가 진단을 통해 미리 검증된 것일 수 있다.
즉, 진단 결과 정보 생성부(332)는 읽기 능력 평가를 수행한 사용자의 사용자 정보(예컨대, 나이, 성별, 학력, 사용 언어 등)와 읽기 능력 평가에 사용된 진단 문서의 진단 문서 정보(예컨대, 메타 데이터 및 관심 영역 설정 정보), 및 읽기 능력 평가의 결과를 분석하여 획득된 진단 요소 정보를 읽기 능력 분류 모델에 입력하여, 사용자의 읽기 패턴을 도출하고, 피험자의 피험자 속성 정보 및 피험자의 읽기 능력 평가 결과와 비교 과정을 거침으로써, 진단 결과 정보 각 항목에 대한 수치화된 점수를 산출할 수 있다.
나아가, 진단 결과 정보 생성부(332)는 진단 결과 정보의 시선기반 읽기 능력 진단 정보와 풀이기반 읽기 능력 진단 정보를 토대로 종합적인 읽기 능력에 대한 수치화된 점수를 포함하는 종합 독서능력 진단 정보를 생성할 수 있으며, 진단 데이터베이스(340)에 저장된 다른 사용자들의 진단 결과 정보와 비교하여 사용자의 읽기 능력이 동일 연령 중 상위 몇 퍼센트인지, 다른 연령 대 그룹과 비교하여 어느 정도의 수준인지를 파악할 수 있는 읽기 능력 비교 정보를 생생할 수 있다.
또한, 진단 결과 정보 생성부(332)는 시선기반 읽기 능력 진단 정보의 읽기 유창성, 탐색 효율성 및 집중력 각각에 진단 정보를 세부 항목별로 구분하고, 세부 항목 별 점수로 산출하여 정보를 제공할 수 있다. 예컨대, 읽기 유창성은 응시 간격, 응시 비율, 응시 시간, 읽기 속도 및 역행 비율의 항목으로 세분화되고, 세분화된 항목별 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있도록 비교 그래프 형태로 제공될 수 있다. 탐색 효율성은 읽기 충실도, 문제 영역 체류율 및 핵심 영역 체류율의 항목으로 세분화되고, 세분화된 항목 별로 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있는 형태로 제공될 수 있다. 그리고, 집중력은 눈깜박임 변화, 눈동자 변화 및 읽기 속도 유지의 항목으로 세분화되고, 세분화된 항목별 점수가 산출되어 동일 연령 중 상위 몇 퍼센트인지 확인 할 수 있는 형태로 제공될 수 있다. 이를 통해, 읽기 과정 동안의 객관적인 안구 움직임 측정에 기반한 읽기 능력의 진단이 가능할 수 있다.
한편, 시선기반 인지 위험성 진단 정보는 안구 움직임의 분석과 문제 풀이 결과를 통해 진단이 가능한 읽기 능력에 연관된 인지 장애의 위험도에 관한 정보로서, 예컨대, 난독증, ADHD, ASD 및 안구운동 실조의 발생 가능성이 몇 퍼센트에 해당하는지에 관한 위험도 정보를 포함할 수 있다.
진단 결과 정보 생성부(332)에 의해 생성된 진단 결과 정보는 진단 결과 데이터베이스(343)에 저장되며, 저장된 진단 결과 정보는 향후 읽기 능력 진단 분류 모델의 지도 학습에 활용될 수 있다.
진단 결과 정보 제공부(325)는 진단 결과 정보 생성부(332)에 의해 생성된 진단 결과 정보를 표시 장치(210)로 제공할 수 있다(S80). 표시 장치(210)로 제공된 진단 결과 정보는 다양한 형태로 가공되어 출력될 수 있다. 예컨대, 진단 결과 정보는 각 항목의 구체적인 점수뿐만 아니라, 동일 연령 내의 비교 그래프 및 다른 연령대의 비교 그룹군과의 비교 그래프로 제공되어 표시 장치(210)에 출력될 수 있다. 또한, 시선기반 읽기 능력 진단 정보와 풀이기반 읽기 능력 진단 정보는 진단 과제의 주제 또는 분야별(예컨대, 역사, 정치, 수학, 과학, 예술, 문학, 스포츠 철학 등)로 세분화된 점수로 제공되어 표시 장치(210)에 출력될 수도 있다. 나아가, 지속적인 읽기 능력 평가를 통해 진단된 사용자의 읽기 능력 진단 결과는 시계열 그래프 형태로 가공되어 표시 장치(210)에 출력될 수 있다. 이와 같이 다양한 형태로 가공되어 표시 장치(210)에 출력되는 진단 결과 정보의 예를 도 9 및 도 10에 도시하였다. 도 9 및 도 10은 표시 장치에 출력된 진단 결과 정보의 캡쳐 화면을 나타내는 예시적인 도면들이다.
진단 데이터베이스(340)의 사용자 데이터베이스(341)는 사용자로부터 입력 받은 사용자 정보를 저장할 수 있고, 진단 문서 데이터베이스(342)는 관리자가 입력한 전자 문서 형태의 진단 문서와 진단 문서에 관한 메타 데이터 및 관심 영역 설정 정보를 포함하는 진단 문서 정보를 저장할 수 있다. 그리고, 진단 결과 데이터베이스(343)는 및 읽기 능력 평가를 통해 획득한 사용자의 시선 추적 데이터와 문제 풀이 결과 데이터, 이를 이용하여 획득한 진단 요소 정보, 및 진단 결과 정보를 저장할 수 있다.
본 발명의 읽기 능력 진단 방법은, 상술한 단계들(S10~S80)을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램, 어플리케이션 등으로 구현될 수 있다. 상세한 설명에서 기술된 읽기 능력 진단 장치(300)에서 적용될 수 있는 내용은, 본 발명의 읽기 능력 진단 방법과, 컴퓨터 프로그램, 어플리케이션 등에도 적용될 수 있다.
본 발명의 실시예들에 따르면, 객관적인 안구 움직임 측정(즉, 시선 측정)에 기반한 읽기 능력 진단을 실시함으로써, 문제 풀이 기반의 읽기 능력 평가에 더해 읽기 유창성, 탐색 효율성, 집중력 등을 포함하는 읽기 과정에서의 객관적인 읽기 능력 진단이 가능할 수 있으며, 빅데이터를 이용한 기계학습 알고리즘에 기반한 진단 방식을 통해 진단 결과의 신뢰성을 향상시킬 수 있다. 나아가, 시선 측정을 통해 난독증, ADHD, ASD, 안구운동 실조 등 안구운동 연관 장애의 위험도 진단이 가능하여, 안구운동 연관 장애에 대한 고위험군의 조기 확인이 가능할 수 있다.
이하 도 11 내지 도 22를 참조하여, 본 발명의 실시예들에 따른 읽기 능력 개선 훈련 장치 및 방법에 대해 설명한다.
도 11은 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치의 구성을 개략적으로 나타내는 블록도이다. 도 12는 도 11의 추천 훈련 콘텐츠 정보 생성부가 추천 후련 콘텐츠 분류 모델을 이용하여 추천 훈련 콘텐츠 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 읽기 능력 개선 훈련 장치(400)는 개선 제어부(410), 개선 데이터베이스(420), 사용자 프로파일 정보 생성부(430), 추천 훈련 콘텐츠 정보 생성부(440), 추천 훈련 콘텐츠 제공부(450) 및 개선 훈련 효과 분석부(460)를 포함할 수 있다.
개선 제어부(410)는 개선 데이터베이스(420), 사용자 프로파일 정보 수집부(430), 추천 훈련 콘텐츠 정보 생성부(440), 추천 훈련 콘텐츠 제공부(450) 및 개선 훈련 효과 분석부(460)의 동작 및 이들 간의 데이터 흐름을 제어할 수 있으며, 다양한 신호, 정보 또는 명령을 읽기 능력 진단 장치(300)와 주고 받을 수 있다. 예컨대, 개선 제어부(410)는 사용자 단말(100)을 통해 읽기 능력 개선 훈련 장치(400)에 접속한 사용자의 인증 절차를 수행할 수 있으며, 읽기 능력 개선 훈련 서비스의 제공을 위해 다양한 처리를 수행할 수 있다.
개선 데이터베이스(420)는 사용자의 안구운동 능력 및 읽기 능력을 향상 시킬 수 있는 다양한 구성의 훈련 콘텐츠를 저장할 수 있다. 예컨대, 훈련 콘텐츠는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠를 포함할 수 있다. 상술한 훈련 콘텐츠는 사용자의 연령, 성별 등의 인적 정보에 따라 각 연령과 성별에 적합한 것으로 분류되어 있거나, 안구운동 능력에 따라 개선하고자 하는 기능에 적합한 것으로 분류되어 있거나, 읽기 능력 수준에 따라 적절한 난이도로 분류되어 데이터 베이스의 형태로 저장되어 있을 수 있다. 훈련 콘텐츠에 대해서는 뒤에서 자세히 설명한다.
사용자 프로파일 정보 생성부(430)는 읽기 능력 진단 장치(300)로부터 사용자의 사용자 정보, 진단 요소 정보 및 진단 결과 정보를 수집하고, 이를 기반으로 사용자 프로파일 정보를 생성할 수 있다. 여기서, 사용자 프로파일 정보는 사용자의 수준 및 읽기 능력 진단 결과에 기반하여 사용자의 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 선별하기 위해 이용되는 데이터일 수 있다. 예컨대, 사용자 프로파일 정보는 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함할 수 있다.
사용자 수준 정보는 읽기 능력 진단 장치(300)를 통해 획득한 사용자 정보 중 사용자 수준을 판별하기 위해 사용되는 정보로서, 예컨대 나이, 성별, 학력, 사용 언어 및 읽기 능력 진단 이력정보를 포함할 수 있다.
시선 추적 정보는 시선 추적 장치(200)와 연동한 읽기 능력 진단 장치(300)를 통해 획득한 진단 요소 정보 중 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 예컨대 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함할 수 있다.
시선기반 진단 정보는 읽기 능력 진단 장치(300)를 통해 획득한 진단 결과 정보 중 사용자의 시선 추적 데이터를 기반으로 진단된 정보로서, 예컨대 시선기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함할 수 있다.
사용자 프로파일 정보 생성부(430)는 사용자가 읽기 능력 개선 훈련 장치(400)를 통해 읽기 능력 개선 훈련을 수행하거나, 읽기 능력 개선 훈련의 수행 후 읽기 능력 진단 장치(300)를 통해 읽기 능력을 재진단 받은 경우, 읽기 능력 개선 훈련 이력 또는 읽기 능력 재진단 결과를 반영하여 사용자 프로파일 정보를 갱신할 수 있다. 이 경우, 사용자 프로파일 정보는 사용자가 읽기 능력 개선 훈련 장치(400)를 통해 수행한 읽기 능력 개선 훈련 이력정보도 포함할 수 있다.
추천 훈련 콘텐츠 정보 생성부(440)는 사용자 프로파일 정보를 이용하여 개선 데이터베이스(420)에 저장된 훈련 콘텐츠 중에서 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 이에 관련된 추천 훈련 정보를 생성할 수 있다. 선별된 추천 훈련 콘텐츠는 사용자의 인적 정보에 따른 사용자 수준, 읽기 능력 진단 결과 및 안구운동 특성을 고려하여 안구운동 능력 및 읽기 능력 개선을 위해 최적화된 훈련 콘텐츠로 선정된 것일 수 있다. 추천 훈련 정보는 예컨대, 선별된 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함할 수 있다.
추천 훈련 콘텐츠의 종류는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠 중 적어도 하나로 분류될 수 있다.
추천 훈련 콘텐츠의 레벨은 사용자의 읽기 능력 진단 결과의 경중 및 연령에 따라 훈련 콘텐츠의 난이도 및 속도를 규정한 추천 정보를 포함할 수 있다. 예컨대, 추천 훈련 콘텐츠의 레벨을 1 내지 10으로 구분하고, 각 레벨에 따라 추천 훈련 콘텐츠의 속도 및 난이도를 조정할 수 있다.
추천 훈련 콘텐츠의 수행량은 사용자의 읽기 능력 진단 결과와 기존에 읽기 능력 개선 훈련을 수행한 이력 등을 고려하여, 읽기 능력 개선 훈련의 일 수행량(예컨대, 1일 5 내지 20분)과 수행 기간(예컨대, 4주 내지 8주) 등을 선정한 추천 정보를 포함할 수 있다.
본 발명의 개념에 따르면, 추천 훈련 콘텐츠 정보 생성부(440)는 사용자 수준 정보, 시선 추적 정보, 시선기반 진단 정보를 추천 훈련 콘텐츠 분류 모델에 입력하여, 개선 데이터베이스(420)에 저장된 훈련 콘텐츠 중 사용자의 읽기 및 안구운동 능력의 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 선별된 추천 훈련 콘텐츠의 종류, 레벨(예컨대, 난이도 및 속도) 및 수행량에 관한 추천 훈련 정보를 생성할 수 있다.
도 12에 도시된 바와 같이, 추천 훈련 콘텐츠 분류 모델은 머신 러닝(machine learning) 알고리즘에 의해 학습된 모델로서, 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 입력 정보로 이용하여 사용자의 안구운동 능력 및 읽기 능력의 개선을 위해 최적화된 훈련 콘텐츠를 분류하기 위한 정보처리 알고리즘일 수 있다. 예컨대, 추천 훈련 콘텐츠 분류 모델은 k-최근접 이웃법(k-nearest-neighbors, KNN), 서포트 벡터 머신(support vector machine,SVN) 또는 인공 신경망(artificial neural network, ANN) 알고리즘을 이용할 수 있다. 한편, 입력 데이터로서 읽기 능력 개선 훈력 이력 정보도 이용할 수 있다,
추천 훈련 콘텐츠 분류 모델의 지도 학습은, 읽기 능력 진단 장치(300)를 통해 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 획득한 피험자에 대해, 훈련 콘텐츠를 통한 읽기 능력 개선 훈련의 수행 후 읽기 능력을 재진단하고, 읽기 능력 개선 훈련 전후의 읽기 능력 진단 결과의 비교 분석을 통해 사용자의 안구운동 능력 및 읽기 능력의 최적화를 위한 훈련 콘텐츠의 종류, 난이도 및 수행량에 관한 추천 훈련 정보를 지속적으로 갱신함으로써 수행될 수 있다.
일 예로, 추천 훈련 콘텐츠 정보 생성부(440)는 읽기 능력 진단 결과 추적안구운동(pursuit eye movement)이 불안정한 것으로 진단된 사용자에 대해, 추적안구운동 능력의 개선을 위한 추천 훈련 콘텐츠로서 이동 표적 추적(Tracking Moving Target) 훈련을 선정하고, 추천 훈련 콘텐츠에 대해 1일 5분씩 4주간 수행할 것을 추천 정보로서 생성할 수 있다.
다른 예로, 추천 훈련 콘텐츠 정보 생성부(440)는 읽기 능력 진단 결과 시선도약 속도가 느리다고 진단된 사용자에 대해, 이를 개선할 추천 훈련 콘텐츠로 마스크 단어(mask word) 훈련을 추천 훈련 콘텐츠로 선정하고, 추천 훈련 콘텐츠에 대해 1일 5분씩 4주간 수행할 것을 추천 정보로서 생성할 수 있다.
추천 훈련 콘텐츠 제공부(450)는 추천 훈련 콘텐츠 정보 생성부(440)에 의해 선별된 추천 훈련 콘텐츠를 사용자 단말(100)로 제공할 수 있다. 또한, 추천 훈련 콘텐츠 제공부(450)는 사용자가 입력한 읽기 능력 개선 훈련 시작 신호에 응답하여, 사용자 단말(100)로 출력된 추천 훈련 콘텐츠를 추천 훈련 정보(예컨대, 수행량)에 따라 실행시킬 수 있다.
개선 훈련 효과 분석부(460)는 읽기 능력 개선 훈련 전후의 사용자의 읽기 능력 진단 결과를 비교하여 읽기 능력 개선 훈련 효과를 분석할 수 있다. 사용자는 읽기 능력 개선 훈련 후 읽기 능력 진단 장치(300)를 통해 읽기 능력을 재진단 받을 수 있으며, 개선 훈련 효과 분석부(460)는 이러한 재진단 결과를 읽기 능력 진단 장치(300)로부터 수집하여 읽기 능력 개선 훈련의 효과를 산출할 수 있다. 예컨대, 읽기 능력 개선 훈련의 효과는 진단 결과 정보의 수치화된 점수에 대해 읽기 능력 개선 훈련 전후에 따른 차이를 계산하여 산출될 수 있다. 개선 훈련 효과 분석부(460)를 통해 획득된 분석 결과는 개선 데이터베이스(420)에 저장될 수 있으며, 이 후 추천 훈련 콘텐츠 분류 모델의 지도 학습에 이용될 수 있다.
본 발명의 실시예들에 따른 읽기 능력 개선 훈련 장치(400)는 시선 추적 장치(200)와 연동한 읽기 능력 진단 장치(300)를 통해 획득한 시선 추적 기반의 다양한 정보들을 머신 러닝을 통해 학습된 알고리즘에 적용하여 사용자의 안구운동 능력 및 읽기 능력 개선을 위한 최적의 훈련 콘텐츠를 제공함으로써, 효과적으로 사용자의 안구운동 능력 및 읽기 능력을 개선시킬 수 있다.
이하, 도 13 내지 도 22를 참조하여 훈련 콘텐츠에 대해 상세히 설명한다.
도 13은 안구운동 제어 훈련 콘텐츠의 일 예(Eye Spurt)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 14는 안구운동 제어 훈련 콘텐츠의 다른 예(Eye Spread)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 15는 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Random Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 16은 안구운동 제어 훈련 콘텐츠의 또 다른 예(Tracking Moving Target)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 13 내지 도 16을 참조하면, 안구운동 제어 훈련 콘텐츠는 시선 가속(Eye Spurt) 훈련, 시선 확장(Eye Spread) 훈련, 랜덤 표적 추적(Tracking Random Target) 훈련 및 이동 표적 추적(Tracking Moving Target) 훈련을 포함할 수 있다.
도 13 에 도시된 바와 같이, 시선 가속(Eye Spurt) 훈련은 도약안구운동(saccade eye movement)의 속도를 증가시키기 위한 훈련일 수 있다.
도 14에 도시된 바와 같이, 시선 확장(Eye Spread) 훈련은 도약안구운동의 폭을 증가시키기 위한 훈련일 수 있다.
도 15에 도시된 바와 같이, 랜덤 표적 추적(Tracking Random Target) 훈련은 무작위적 위치에 나타나는 시각적 자극에 대한 빠른 탐지 및 정확한 도약안구운동을 위한 훈련일 수 있다. 본 훈련을 통해 시각적 탐색 능력 및 빠르고 정확한 안구운동을 훈련할 수 있다.
도 16에 도시된 바와 같이, 이동 표적 추적(Tracking Moving Target) 훈련은 시계 방향, 또는 반시계 방향으로 천천히 움직이는 표적(target)을 추적하는 훈련으로서, 본 훈련을 통하여 추적안구운동(pursuit eye movement)에 대한 훈련 및 집중력, 안구운동에 대한 통제력 등을 강화할 수 있다.
도 17은 시각적 또는 인지적 탐색 훈련 콘텐츠의 일 예(Word/category Finding)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 17을 참조하면, 시각적 또는 인지적 탐색 훈련 콘텐츠는 텍스트에 대한 빠른 탐색 및 판단을 위한 훈련으로서, 텍스트에서 일정한 단어(예컨대, 주어진 키워드)를 찾는 키워드 찾기(Find Keyword) 훈련 및 텍스트에서 일정한 단어(예컨대, 해당 카테고리에 속하는 단어)를 찾는 카테고리 찾기(Find Category) 훈련을 포함할 수 있다.
도 18은 시지각적 기억 및 판단 훈련 콘텐츠의 일 예(Visual Counting)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 19는 시지각적 기억 및 판단 훈련 콘텐츠의 다른 예(Visual Span)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 20은 시지각적 기억 및 판단 훈련 콘텐츠의 또 다른 예(Anti Saccade)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 18 내지 도 20을 참조하면, 시지각적 기억 및 판단 훈련 콘텐츠는 짧게 제시되는 점의 개수를 세는 훈련인 시각적 카운팅(Visual Counting) 훈련, 한눈에 파악되는 글자의 개수를 확장하기 위한 훈련인 시각적 스팬(Visual Span) 훈련, 및 시각적 자극과 무관하도록 의도적으로 안구운동을 통제하는 훈련인 역방향 도약안구운동(Anti Saccade) 훈련을 포함할 수 있다.
도 18에 도시된 바와 같이, 시각적 카운팅(Visual Counting) 훈련은 짧은 시간(예컨대, 0.5초)동안 다수의 점이 보여지고, 사용자는 이 점들의 개수를 기억하여 응답하는 훈련일 수 있다. 본 훈련을 통해 사용자는 시각적 인지의 폭(visual span), 시지각적 단기 기억, 숫자 인식 등의 능력이 개선되며, 또한 읽기 능력 및 기초산수능력 등의 개선이 가능할 수 있다.
도 19에 도시된 바와 같이, 시각적 스팬(Visual Span) 훈련은 사용자가 중앙의 원을 주시하는 동안에 제시되는 일정 길이의 무작위 글자들을 한눈에 기억해야 하는 훈련일 수 있다. 본 훈련을 통해 응시한 상태에서의 시각적 지각폭(visual span)을 확장시킬 수 있다.
도 20에 도시된 바와 같이, 역방향 도약안구운동(Anti Saccade) 훈련은 사용자가 중앙의 점을 응시하다가, 좌측 또는 우측에 점이 제시되면 그 점이 아닌 반대방향으로 시선을 움직여야 하는 것을 수십 회 반복하는 훈련일 수 있다. 이를 역방향 도약안구운동(Anti Saccade) 실험이라고 하며, 이를 제대로 시행하기 위해서는 의도적인 안구운동에 대한 통제노력 및 집중력/의지력이 요구된다. 대체로 ADHD, 난독증 등의 경우 본 훈련 대한 수행률이 낮은 것으로 알려져 있다.
도 21은 읽기 안정화 훈련 콘텐츠의 일 예(Mask Word)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다. 도 22는 읽기 안정화 훈련 콘텐츠의 다른 예(Mask Sentence)를 설명하기 위한 캡쳐 화면을 나타내는 도면이다.
도 21 및 도 22를 참조하면, 읽기 안정화 훈련 콘텐츠는 단어 단위로 제시되는 글을 읽는 마스크 단어(Mask Word) 훈련 및 문장 단위로 제시되는 글을 읽는 마스크 문장(Mask Sentence) 훈련을 포함할 수 있다. 또한, 도시하지는 않았지만, 읽기 안정화 훈련 콘텐츠는 텍스트 위의 점(dot)을 추적하게 함으로써 텍스트가 있음에도 정상적인 안구 움직임을 연습하게 하는 역주행 방지(No regression) 훈련을 포함할 수 있다.
도 21에 도시된 바와 같이, 마스크 단어(Mask Word) 훈련은 글이 한 단어씩 차례로 제시됨으로써, 사용자에게 강제적으로 단어 단위로만 글을 읽도록 하게 하는 훈련일 수 있다. 단어의 길이에 따라 약 0.2~0.5초의 시간이 제공되며, 본 훈련을 통하여 비순차적이거나 비효율적인 시선 움직임에 대한 억제능력이 강화될 수 있다.
도 22에 도시된 바와 같이, 마스크 문장(Mask Sentence) 훈련은 글이 한 문장씩 차례로 제시됨으로써, 사용자에게 강제적으로 문장 단위로만 글을 읽도록 하게 하는 훈련일 수 있다. 문장의 길이에 따라 문장이 제시되는 속도가 달라지며, 본 훈련을 통하여 비순차적이거나 비효율적인 시선 움직임에 대한 억제능력이 강화될 수 있다.
이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.
100: 표시 장치 200: 시선 추적 장치
300: 읽기 능력 진단 장치 400: 읽기 능력 개선 장치
500: 서비스 제공 장치 600: 네트워크
1000: 읽기 능력 진단 및 개선 시스템
300: 읽기 능력 진단 장치 400: 읽기 능력 개선 장치
500: 서비스 제공 장치 600: 네트워크
1000: 읽기 능력 진단 및 개선 시스템
Claims (10)
- 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 장치에 있어서,
안구운동 능력 및 읽기 능력의 개선을 위한 훈련 콘텐츠를 저장하는 개선 데이터베이스;
상기 읽기 능력 진단 장치로부터 사용자의 사용자 정보, 진단 요소 정보 및 진단 결과 정보를 수집하고, 이를 기반으로 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하는 사용자 프로파일 정보 생성부;
상기 사용자 프로파일 정보를 이용하여 상기 훈련 콘텐츠 중에서 상기 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 선별하고, 선별된 상기 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하는 추천 훈련 콘텐츠 정보 생성부; 및
상기 추천 훈련 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공하고, 상기 사용자 단말에 출력된 상기 추천 훈련 콘텐츠를 상기 추천 훈련 정보에 따라 실행시키는 추천 훈련 콘텐츠 제공부를 포함하는 읽기 능력 개선 훈련 장치. - 제 1 항에 있어서,
상기 추천 훈련 정보 생성부는 상기 사용자 수준 정보, 상기 시선 추적 정보 및 상기 시선기반 진단 정보를 머신 러닝 알고리즘으로 미리 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여, 상기 추천 훈련 콘텐츠를 선별함과 더불어 상기 추천 훈련 정보를 생성하는 읽기 능력 개선 훈련 장치. - 제 1 항에 있어서,
상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고,
상기 시선 추적 정보는 상기 읽기 능력 진단 장치와 연동하는 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터를 기반으로 추출된 정보로서, 읽기 과정 시선 정보 및 읽기 과정 탐색 정보를 포함하고,
상기 시선기반 진단 정보는 상기 읽기 능력 진단 장치를 통해 획득한 상기 진단 결과 정보 중 상기 시선 추적 데이터를 기반으로 진단된 정보로서, 시선기반 읽기 능력 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 읽기 능력 개선 훈련 장치. - 제 3 항에 있어서,
상기 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함하고,
상기 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함하는 포함하고,
상기 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함하고,
상기 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조 중 적어도 하나에 대한 위험도 판별 정보를 포함하는 읽기 능력 개선 훈련 장치. - 제 1 항에 있어서,
상기 훈련 콘텐츠는 안구운동 제어 훈련 콘텐츠, 시각적 또는 인지적 탐색 훈련 콘텐츠, 시지각적 기억 및 판단 훈련 콘텐츠, 및 읽기 안정화 훈련 콘텐츠를 포함하는 읽기 능력 개선 훈련 장치. - 제 5 항에 있어서,
상기 안구운동 제어 훈련 콘텐츠는 도약안구운동(saccade eye movement)의 속도를 증가시키기 위한 시선 가속(Eye Spurt) 훈련, 도약안구운동의 폭을 증가시키기 위한 시선 확장(Eye Spread) 훈련, 빠른 탐색 및 정확한 안구운동 훈련을 위한 랜덤 표적 추적(Tracking Random Target) 훈련 및 추적안구운동(pursuit eye movement)의 훈련을 위한 이동 표적 추적(Tracking Moving Target) 훈련을 포함하고,
상기 시각적 또는 인지적 탐색 훈련 콘텐츠는 텍스트에 대한 빠른 탐색 및 판단을 위한 훈련으로서, 텍스트에서 주어진 키워드 단어를 찾는 키워드 찾기(Find Keyword) 훈련 및 텍스트에서 해당 카테고리에 속하는 단어를 찾는 카테고리 찾기(Find Category) 훈련을 포함하고,
상기 시지각적 기억 및 판단 훈련 콘텐츠는 짧게 제시되는 점의 개수를 세는 훈련인 시각적 카운팅(Visual Counting) 훈련, 한눈에 파악되는 글자의 개수를 확장하기 위한 훈련인 시각적 스팬(Visual Span) 훈련, 및 시각적 자극과 무관하도록 의도적으로 안구운동을 통제하는 훈련인 역방향 도약안구운동(Anti Saccade) 훈련을 포함하고,
상기 읽기 안정화 훈련 콘텐츠는 단어 단위로 제시되는 글을 읽는 마스크 단어(Mask Word) 훈련, 문장 단위로 제시되는 글을 읽는 마스크 문장(Mask Sentence) 훈련 및 텍스트 위의 점(dot)을 추적하게 함으로써 텍스트가 있음에도 정상적인 안구 움직임을 연습하게 하는 역주행 방지(No regression) 훈련을 포함하는 읽기 능력 개선 훈련 장치. - 제 1 항에 있어서,
상기 사용자가 상기 추천 훈련 콘텐츠를 통해 읽기 능력 개선 훈련을 수행한 후 상기 읽기 능력 진단 장치를 이용하여 읽기 능력을 재진단 받은 경우, 상기 재진단 받은 결과를 상기 읽기 능력 진단 장치로부터 수집하여, 상기 읽기 능력 개선 훈련의 효과를 분석하는 개선 훈련 효과 분석부를 더 포함하는 읽기 능력 개선 훈련 장치. - 표시 장치 및 시선 추적 센서를 포함하는 시선 추적 장치를 이용하여 사용자에게 읽기 능력 진단 서비스를 제공하는 읽기 능력 진단 장치; 및
상기 읽기 능력 진단 서비스를 제공하는 동안 상기 읽기 능력 진단 장치가 획득한 정보를 이용하여 상기 사용자의 안구운동 능력 및 읽기 능력의 개선을 위한 읽기 능력 개선 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치를 포함하되,
상기 읽기 능력 진단 장치는 상기 사용자가 상기 표시 장치를 통해 출력되는 진단 문서를 읽고 문제 풀이 과제를 수행하는 동안, 상기 시선 추적 장치를 통해 획득한 상기 사용자의 시선 추적 데이터 및 상기 사용자의 문제 풀이 결과 데이터를 이용하여 읽기 능력 진단에 필요한 진단 요소 정보를 생성하고, 상기 진단 요소 정보, 이미 획득한 상기 사용자의 사용자 정보, 및 진단 문서 정보를 머신 러닝을 통해 학습된 읽기 능력 진단 분류 모델에 입력하여 상기 사용자의 읽기 능력을 진단을 위한 진단 결과 정보를 생성하고,
상기 읽기 능력 개선 훈련 장치는 상기 읽기 능력 진단 장치를 통해 획득한 상기 사용자 정보, 상기 진단 요소 정보 및 상기 진단 결과 정보로부터 사용자 수준 정보, 시선 추적 정보 및 시선기반 진단 정보를 포함하는 사용자 프로파일 정보를 생성하고, 상기 사용자 프로파일 정보를 머신 러닝으로 학습된 추천 훈련 콘텐츠 분류 모델에 입력하여 상기 사용자의 읽기 능력 개선을 위해 최적화된 추천 훈련 콘텐츠를 개선 데이터베이스에 저장된 훈련 콘텐츠로부터 선별함과 더불어 선별된 상기 추천 훈련 콘텐츠의 종류, 레벨 및 수행량에 관한 정보를 포함하는 추천 훈련 정보를 생성하고, 상기 추천 훈련 콘텐츠를 상기 사용자가 사용하는 사용자 단말로 제공하여 상기 추천 훈련 정보에 따라 실행시키는, 서비스 제공 장치. - 제 8 항에 있어서,
상기 읽기 능력 진단 장치는:
상기 표시 장치 또는 상기 사용자 단말로부터 상기 사용자 정보를 수신하는 사용자 정보 수신부;
상기 사용자 정보에 기반하여 사용자 수준을 판별하고, 판별된 상기 사용자 수준에 상응하는 상기 진단 문서를 상기 표시 장치로 제공하는 진단 문서 제공부;
상기 표시 장치에 출력된 상기 진단 문서를 통한 읽기 능력 평가의 수행 동안, 상기 시선 추적 장치를 통해 획득된 상기 시선 추적 데이터와 상기 문제 풀이 결과 데이터를 포함하는 평가 결과 데이터를 수신하는 평가 결과 데이터 수신부;
상기 시선 추적 데이터, 상기 문제 풀이 결과 데이터, 및 상기 진단 문서에 대한 메타 데이터 및 관심 영역의 설정 정보를 포함하는 진단 문서 정보를 분석하여, 읽기 과정 시선 정보, 읽기 과정 탐색 정보, 읽기 이해 정보 및 읽기 능력 이상 정보를 포함하는 상기 진단 요소 정보를 생성하는 진단 요소 정보 생성부; 및
상기 사용자 정보, 상기 진단 문서 정보 및 상기 진단 요소 정보를 상기 읽기 능력 진단 분류 모델에 입력하여, 시선기반 읽기 능력 진단 정보, 풀이기반 읽기 능력 진단 정보 및 시선기반 인지 위험성 진단 정보를 포함하는 상기 진단 결과 정보를 생성하는 진단 결과 정보 생성부를 포함하는, 서비스 제공 장치. - 제 9 항에 있어서,
상기 사용자 수준 정보는 상기 사용자의 나이, 성별, 학력, 사용 언어, 및 읽기 능력 진단 이력정보를 포함하고,
상기 시선 추적 정보는 상기 읽기 과정 시선 정보 및 상기 읽기 과정 탐색 정보를 포함하고,
상기 시선기반 진단 정보는 상기 시선기반 읽기 능력 정보 및 상기 시선기반 인지 위험성 진단 정보를 포함하되,
상기 읽기 과정 시선 정보는 읽기 속도, 응시(fixation) 횟수, 응시 시간, 응시 편차, 응시 비율, 응시 당 읽은 단어 수, 전체 텍스트 라인 중 응시 완료한 라인의 비율, 평균 도약 거리, 평균 도약 거리 편차, 역행 응시 횟수, 역행(regression) 응시 비율, 읽기 충실도, 동공크기 변화율, 눈깜박임 빈도 및 변화율, 응시 비율 변화, 응시 시선 분산, 추적안구운동 시선 궤적, 반단속적 운동(anti saccade) 성공률, 평균 반단속적 운동(anti saccade) 도달시간, 평균 시선 이동량에 관한 정보 중 적어도 하나를 포함하고,
상기 읽기 과정 탐색 정보는 핵심 영역 응시 시간, 핵심 영역 탐색 횟수, 핵심 영역 탐지 비율, 핵심 영역 체류율, 문제 영역 응시 시간, 문제 영역 응시 비율, 문제 영역 체류율 및 순차적 탐색도에 관한 정보를 중 적어도 하나를 포함하는 포함하고,
상기 시선기반 읽기 능력 진단 정보는 읽기 유창성, 탐색 효율성 및 집중력 각각에 대한 수치화된 점수 정보를 포함하고,
상기 시선기반 인지 위험성 진단 정보는 난독증, 주의력 결핍 및 과잉 행동 장애(attention deficit hyperactivity disorder, ADHD), 자폐스펙트럼장애(autism spectrum disorder, ADS) 및 안구운동 실조 중 적어도 하나에 대한 위험도 판별 정보를 포함하는, 서비스 제공 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190157078A KR102262890B1 (ko) | 2019-11-29 | 2019-11-29 | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190157078A KR102262890B1 (ko) | 2019-11-29 | 2019-11-29 | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210067451A KR20210067451A (ko) | 2021-06-08 |
| KR102262890B1 true KR102262890B1 (ko) | 2021-06-09 |
Family
ID=76399314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190157078A KR102262890B1 (ko) | 2019-11-29 | 2019-11-29 | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102262890B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102678593B1 (ko) | 2023-01-20 | 2024-07-04 | 주식회사 난독과문해력연구소 | 시선 추적을 이용한 고속 읽기능력 저하 검사 방법 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113842113A (zh) * | 2021-07-22 | 2021-12-28 | 陆烁 | 发展性阅读障碍智能识别方法、系统、设备及存储介质 |
| CN114281961B (zh) * | 2021-11-15 | 2024-07-26 | 北京智谱华章科技有限公司 | 一种基于生物动力学模型的科技文献兴趣评估方法和装置 |
| KR102687196B1 (ko) * | 2021-11-23 | 2024-07-25 | (주) 로완 | 사용자 시점 트래킹을 이용한 디지털 치료제 고도화 방법 및 장치 |
| KR102383793B1 (ko) * | 2021-12-08 | 2022-04-11 | 주식회사 세븐포인트원 | 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템 |
| JP7480335B2 (ja) | 2021-12-08 | 2024-05-09 | セブンポイントワン インコーポレイテッド | 登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム |
| KR102406562B1 (ko) * | 2021-12-08 | 2022-06-09 | 주식회사 세븐포인트원 | 등록된 확장현실 기기를 제어하는 방법, 장치 및 시스템 |
| KR102496608B1 (ko) * | 2022-04-21 | 2023-02-07 | 한성정보기술주식회사 | 시선추적에 기반한 영어학습 플랫폼 제공 방법, 장치 및 프로그램 |
| KR20240079906A (ko) * | 2022-11-29 | 2024-06-05 | 주식회사 뉴다이브 | 콘텐츠의 피드백 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
| KR20240079907A (ko) * | 2022-11-29 | 2024-06-05 | 주식회사 뉴다이브 | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
| WO2024205305A1 (ko) * | 2023-03-29 | 2024-10-03 | 서울대학교병원 | 지적 장애가 없는 asd 성인을 위한 실행 기능 훈련 방법 및 장치 |
| CN116936038B (zh) * | 2023-09-15 | 2023-12-22 | 北京智精灵科技有限公司 | 一种面向阅读障碍的视觉搜索训练提升方法及系统 |
| CN117766099B (zh) * | 2024-02-21 | 2024-05-28 | 北京万物成理科技有限公司 | 训练任务提供方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101288447B1 (ko) | 2011-10-20 | 2013-07-26 | 경북대학교 산학협력단 | 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 |
| JP2014506141A (ja) | 2010-11-24 | 2014-03-13 | デジタル アーティファクツ エルエルシー | 認知機能を評価するシステムおよび方法 |
| KR101969540B1 (ko) | 2018-03-26 | 2019-08-13 | 주식회사 에임메드 | 인지 기능 재활 훈련 방법 및 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9342147B2 (en) * | 2014-04-10 | 2016-05-17 | Microsoft Technology Licensing, Llc | Non-visual feedback of visual change |
| KR101660157B1 (ko) * | 2015-01-21 | 2016-09-26 | 동국대학교 산학협력단 | 시선 추적 기반 재활 시스템 |
| KR20190082688A (ko) * | 2019-06-20 | 2019-07-10 | 엘지전자 주식회사 | 시선 추적을 이용한 디스플레이 제어방법 및 디스플레이 제어장치 |
-
2019
- 2019-11-29 KR KR1020190157078A patent/KR102262890B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014506141A (ja) | 2010-11-24 | 2014-03-13 | デジタル アーティファクツ エルエルシー | 認知機能を評価するシステムおよび方法 |
| KR101288447B1 (ko) | 2011-10-20 | 2013-07-26 | 경북대학교 산학협력단 | 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 |
| KR101969540B1 (ko) | 2018-03-26 | 2019-08-13 | 주식회사 에임메드 | 인지 기능 재활 훈련 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102678593B1 (ko) | 2023-01-20 | 2024-07-04 | 주식회사 난독과문해력연구소 | 시선 추적을 이용한 고속 읽기능력 저하 검사 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210067451A (ko) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102262890B1 (ko) | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 | |
| KR102262889B1 (ko) | 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치 및 방법 | |
| Li et al. | Automated detection of cognitive engagement to inform the art of staying engaged in problem-solving | |
| Asteriadis et al. | Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment | |
| Rahman et al. | Explainable multimodal machine learning for engagement analysis by continuous performance test | |
| Wang et al. | Automated student engagement monitoring and evaluation during learning in the wild | |
| D’Mello et al. | Machine-learned computational models can enhance the study of text and discourse: A case study using eye tracking to model reading comprehension | |
| Drimalla et al. | Detecting autism by analyzing a simulated social interaction | |
| Williamson | Calculating children in the dataveillance school: Personal and learning analytics | |
| US20230105077A1 (en) | Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection | |
| Roy et al. | A novel technique to develop cognitive models for ambiguous image identification using eye tracker | |
| Kumar et al. | Analysis of machine learning algorithms for facial expression recognition | |
| Elmadjian et al. | Online eye-movement classification with temporal convolutional networks | |
| Sriram et al. | Classification of Alzheimer's disease with deep learning on eye-tracking data | |
| Xia et al. | An interpretable English reading proficiency detection model in an online learning environment: A study based on eye movement | |
| Kunhoth et al. | Machine learning methods for dysgraphia screening with online handwriting features | |
| Kumar et al. | Measuring Non-Typical Emotions for Mental Health: A Survey of Computational Approaches | |
| Słowiński et al. | Assessment of cognitive biases in augmented reality: Beyond eye tracking | |
| Krishnamoorthy et al. | StimulEye: An intelligent tool for feature extraction and event detection from raw eye gaze data | |
| Baray et al. | EOG-Based Reading Detection in the Wild Using Spectrograms and Nested Classification Approach | |
| Durães et al. | Learning frequent behaviors patterns in intelligent environments for attentiveness level | |
| Divya Venkatesh et al. | Studying Human Factors Aspects of Text Classification Task Using Eye Tracking | |
| Le-Quang et al. | Wemotion: A system to detect emotion using wristbands and smartphones | |
| Schmitz-Hübsch et al. | Emotion-performance relationship in safety-critical human-machine systems | |
| Durães et al. | Enriching behavior patterns with learning styles using peripheral devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |