KR20200018158A - 가상현실 시선 추적을 통한 난독증 위험도 검사방법 및 검사 앱의 실행방법 - Google Patents

Abstract

본 발명의 가상현실 시선 추적을 통한 난독증 위험도 검사방법은 센서를 통해 눈동자의 움직임을 추적하여 인식하는 단계(S110); 인식된 눈동자 움직임을 시선이 한 지점에 일정 시간 응시하는 시선 고정 유형 및 시선이 순간적으로 점프하는 시선 점프 유형으로 분류하는 단계(S120); 시선 고정 유형 및 시선 점프 유형 각각에 소요되는 시간을 측정하는 단계(S130); 및 측정된 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계(S140)를 포함할 수 있다.

Description

가상현실 시선 추적을 통한 난독증 위험도 검사방법 및 검사 앱의 실행방법{METHOD AND APP FOR DIAGNOSING RISK OF DYSLEXIA THROUGH VIRTUAL REALITY EYE TRACKING AND METHOD FOR EXECUTING DIAGNOSE APP}

본 발명은 가상현실(VR) 시선 추적을 통한 난독증 위험도 검사방법 및 검사 앱의 실행방법에 관한 것으로, 보다 상세하게는 센서를 이용하여 난독증 검사자의 눈동자 움직임을 추적하여 분류하고, 분류된 눈동자 움직임의 비율 및 횟수를 계산하여 난독증 위험도를 분석해주는 난독증 위험도 검사방법 및 검사 앱의 실행방법에 관한 것이다.

일반적으로 전 세계 인구의 약 10% 정도가 난독증 문제를 겪고 있다고 알려져 있다. 난독증은 학습능력에 큰 악영향을 미치며, 이는 초등학교 고학년이 되기 전에 집중적인 치료를 받는 것이 중요하다. 그러나, 현재로서는 난독증을 쉽게 진단할 수 있는 방법이 거의 없는 실태이다. 이에 따라, 도 1(a), (b)에 나타난 바와 같이, 학습부진의 원인이 난독증에 있음에도 불구하고 이를 인지조차 하지 못하는 경우가 많다. 특히, 난독증을 진단하기 위한 치료기관의 수가 매우 적은 실정이며, 상대적으로 비싼 검사 비용이 요구된다는 점에서 난독증을 않고 있는 많은 사람들은 적절한 치료시기를 놓쳐 증상이 악화되는 경우가 흔히 발생한다.

대한민국 등록특허 10-054447호와 같은 종래의 난독증 검사장치는 사전에 정해진 제시 문제에 대한 피검자의 정답여부 및 반응시간을 토대로 난독증을 검사한다. 그러나, 난독증 환자들은 시선 처리 과정에서 환자가 아닌 그룹과 분명히 다른 불안정한 패턴을 보인다는 점이 알려져 있으며, 상기 특허문헌에서는 이러한 접근은 나타나 있지 않다.

한편, 난독증 환자들의 이러한 불안정한 패턴은 난독증이 아닌 사람이 난이도가 매우 높은 글을 읽을 때에도 유사하게 나타나므로, 이를 일률적으로 검사하는 종래의 난독증 검사 방법을 통해서는 난독증 여부를 정확하게 진단하기에 한계가 있었다.

나아가, 도 2에 나타난 바와 같은, 난독증 검사에 대한 접근성을 향상시키기 위해 만들어진 기존의 난독증 검사 앱은 핸드폰만 있으면 검사할 수 있으며, 비용이 적게 들고, 앱에서 제시한 문제를 이해하기 쉽다는 장점이 있지만, 진단 시간이 약 40분 이상으로 오래 걸릴 뿐만 아니라, 국내에는 적절한 앱이 거의 없으며, 비슷한 작업의 반복이 많아 지루하고 흥미를 끄는 요소가 적어 검사 도중 집중력이 떨어진다는 문제점이 있었다.

본 발명의 목적은 센서를 이용하여 난독증 검사자의 눈동자 움직임을 추적하여 분류하고, 분류된 눈동자 움직임의 비율 및 횟수를 계산하여 난독증 위험도를 분석해주는 난독증 위험도 검사방법 및 검사 앱의 실행방법에 관한 것이다.

이런 목적은, 본 발명의 난독중 위험도 검사방법 및 검사 앱이 가상현실(VR) 시선 추적을 통하여 특정 시선 패턴의 발생 빈도를 파악하도록 구성됨을 전제한다.

이와 같은 과제를 달성하기 위하여 본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법은 센서를 통해 눈동자의 움직임을 추적하여 인식하는 단계; 인식된 눈동자 움직임을 시선이 한 지점에 일정 시간 응시하는 시선 고정 유형 및 시선이 순간적으로 점프하는 시선 점프 유형으로 분류하는 단계; 시선 고정 유형 및 시선 점프 유형 각각에 소요되는 시간을 측정하는 단계; 및 측정된 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 시선 점프 유형으로의 분류 단계는 이미 읽었던 방향으로 다시 시선이 이동하는 시선 회귀 유형으로 분류하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 측정 단계는 시선 회귀 유형에 소요되는 시간 및 빈도수를 측정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 분류 단계에서는 적외선 센서를 이용하여 추적한 눈동자의 움직임의 간격이 사전에 정해진 간격 이하에서 100ms 이상 시선 응시가 이루어질 때 시선 고정 유형으로 분류하며, 그 외에는 시선 점프 유형으로 분류할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 분류 단계에서는 눈동자 움직임의 가로축으로의 변화량이 음의 값을 가지고, 수직축으로의 변화량이 사전에 정해진 값을 초과할 때 시선 회귀 유형으로 분류할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 난독증 위험도를 산출하는 단계에서는 시선 고정 유형과 시선 점프 유형에 소요되는 시간 비율로 난독증 위험도를 산출할 수 있다.

본 발명의 일 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 난독증 위험도를 산출하는 단계에서는 시선 점프 유형과 시선 회귀 유형에 소요되는 시간 비율로 난독증 위험도를 산출할 수 있다.

본 발명의 일 실시예에 가상현실 시선 추적을 통한 난독증 위험도 검사방법에서, 난독증 위험도를 산출하는 단계에서는 시선 고정 유형과 시선 점프 유형에 소요되는 시간, 시선 점프 유형과 시선 회귀 유형에 소요되는 시간 및 시선 점프 유형의 빈도수 각각에 사전에 정해진 가중치에 따라 합산하여 난독증 위험도를 산출할 수 있다.

본 발명의 다른 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사 앱의 실행방법은 화면 중앙에서부터 움직이는 점을 따라 이동하는 관찰자의 눈동자 움직임을 계산하여 초기 설정값을 정하는 단계; 초기 설정값을 그대로 사용하거나, 또는 초기 설정값을 오버라이트(overwrite)하는 것 중 하나를 선택하는 단계; 초기 설정값을 오버라이트하는 것을 선택한 경우, 초기 설정값을 정하는 단계를 다시 수행하여 초기 설정값을 새로운 설정값으로 대체하는 단계; 상기의 가상현실 시선 추적을 통한 난독증 위험도 검사방법을 수행하는 단계; 및 난독증 위험도 검사 앱의 검사방법을 수행하는 단계에 따라 분석된 검사결과를 화면에 디스플레이하는 단계를 포함할 수 있다.

위와 같은 과제해결수단에 따르면, 본 발명은 간편하고 적은 비용으로 난독증 검사가 가능한, 즉 접근성 높은 난독증 진단을 수행할 수 있다.

또한, 피검자의 눈동자 움직임에 따른 유형의 빈도를 기초로 난독증 위험도를 산출함으로써 난독증 여부를 보다 정확하게 판별할 수 있도록 한다.

나아가, 가상현실(VR)을 이용하여 피검자의 심리적 접근성을 더욱 높여주어 접근성 높은 난독증 위험도 검사가 가능하도록 한다.

도 1은 종래의 난독증 검사의 낮은 접근성으로 인해 생기는 문제점에 관한 언론보도를 나타낸 도면이다.
도 2는 종래의 난독증 위험도 검사 앱을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상현실 시선 추적을 위한 난독증 위험도 검사방법을 실시하는 단계를 개략적으로 도식화한 다이어그램을 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사 앱의 실행방법을 실시하는 단계를 개략적으로 도식화한 다이어그램을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 난독증 위험도를 검사하기 위한 캘리브레이션 앱을 나타낸 도면이다.
도 6은 도 5의 캘리브레이션 앱 실행 초기 화면을 나타낸 도면이다.
도 7은 도 5의 캘리브레이션 앱의 캘리브레이션 시작을 위한 점 응시 화면을 나타낸 도면이다.
도 7(a)는 본 발명의 일 실시예에 따른 검사 앱 실행 전 화면, 도 7(b)는 도 5의 검사 앱 실행 초기 화면, 및 도 7(c)는 도 5의 검사 앱의 검사 중일 때의 화면, 도 7(d)는 도 5의 검사 앱의 검사 결과 화면을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 검사 앱과 연결하여 사용되는 가상현실 헤드셋(VR HMD)를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 난독증 위험도 검사방법의 3가지 기준들에 따른 결과 분류표를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 난독증 위험도 검사방법의 3가지 기준에 대한 피실험자들의 결과 및 최종적인 난독증 위험도 분석 결과를 나타낸 도면이다.
도 12는 본 발명을 실시하여 얻은 도식화된 난독증 위험도 분석 결과를 나타낸 도면이다.
도 13은 본 발명을 실시하여 얻은 피실험자들의 최종 난독증 위험도 결과를 나타낸 도면이다.

전술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해질 것이다.

특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 출원의 명세서에서 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들은 도면에 예시하고 본 출원의 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원의 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명하도록 한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 3에는 본 발명의 일 실시예에 따른 가상현실 시선 추적을 위한 난독증 위험도 검사방법을 실시하는 단계를 개략적으로 도식화한 다이어그램이 도시되어 있다. 도 3을 참조하면, 시선 추적(eye-tracking)과 가상현실(VR)을 이용한 본 발명에 따른 난독증 위험도 검사방법은 다음과 같다.

상기 검사방법은, 센서를 통해 눈동자의 움직임을 추적하여 인식하는 단계(S110); 인식된 눈동자 움직임을 시선이 한 지점에 일정 시간 응시하는 시선 고정 유형 및 시선이 순간적으로 점프하는 시선 점프 유형으로 분류하는 단계(S120); 시선 고정 유형 및 시선 점프 유형 각각에 소요되는 시간을 측정하는 단계(S130); 및 측정된 상기 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계(S140)를 포함한다.

또한, 시선 점프 유형으로의 분류 단계(S120)는 이미 읽었던 방향으로 다시 시선이 이동하는 시선 회귀 유형으로 분류하는 단계(S121)를 더 포함할 수 있다.

나아가, 상기 측정 단계(S130)는 시선 회귀 유형에 소요되는 시간 및 빈도수를 측정하는 단계(S131)를 더 포함할 수 있다.

상세하게는, 먼저, 센서를 통해 눈동자의 움직임을 추적하여 인식하는 단계(S110)에서는 피검자가 글을 읽는 동안 센서를 통해 눈동자의 움직임을 추적하여 인식한다. 그 다음, 인식된 눈동자 움직임을 분류하는 단계(S120)에서는 인식된 눈동자 움직임을 시선 고정 유형(Fixation type), 시선 점프 유형(Saccade type), 시선 회귀 유형(Regression type)으로 분류할 수 있다. 그 후, 각 유형에 소요되는 시간을 측정하는 단계(S130)를 거친 후, 측정된 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계(S140)에서는 난독증을 판별해낼 수 있는 기준을 설정하여 난독증 위험도를 예를 들어, 보통(normal), 약간 위험(low risk), 중간 위험(medium risk), 높은 위험(high risk)의 4가지 단계로 분류할 수 있다. 이러한 분류를 위해, 난독증 위험도를 산출하기 위한 알고리즘이 적용된다. 상기 가상현실(VR) 앱은, 예를 들어 안드로이드 기반으로 만들어질 수 있다.

센서를 통해 인식된 눈동자의 움직임을 분류하기 위한 유형은 시선 고정 유형, 시선 점프 유형 및 시선 회귀 유형으로 분류할 수 있으므로, 상기 각각의 유형에 관하여 구체적으로 설명하면 다음과 같다.

시선 고정 유형(Fixation type)은 피검자의 시선이 한 지점에 일정 시간 응시하는 행동 유형이다. 이러한 행동의 빈도가 높고 시간이 길수록 난독증의 위험도가 높은 것으로 판단된다. 추가적으로, 한 지점을 응시하는 시선의 좌표 분산도(stability) 역시 난독증 판단에 영향을 준다.

시선 점프 유형(Saccade type)은 피검자의 시선이 순간적인 점프하는 행동 유형이다. 이는 임의의 지점에서 다른 지점으로 시선이 빠른 속도로 움직이는 것을 의미하며, 이러한 행동의 시간이 길고 이동거리가 멀수록 난독증 위험도가 높은 것으로 판단된다.

시선 회귀 유형(Regression type)은 시선 점프 유형의 일종으로 글의 방향과 반대로 피검자의 시선이 이동하는 행동 유형이다. 예를 들어, 한글의 경우 글의 순서가 왼쪽에서 오른쪽으로 되어 있기 때문에, 오른쪽에서 왼쪽으로 피검자의 시선이 이동하거나 위쪽의 이미 읽었던 내용으로 다시 시선이 이동하는 것을 의미한다. 이러한 행동의 시간이 길면 난독증의 위험도가 높은 것으로 판단된다.

상기 설명된 눈동자 움직임의 유형들을 기초로, 인식된 눈동자 움직임을 상기 각각의 유형으로 분류하는 단계(S120)에 관하여 구체적으로 설명하면 다음과 같다. 이를 위하여, 상기 분류 단계(S120) 이전에 실행되는 눈동자의 움직임을 추적하여 인식하는 단계(S110)에서는 적외선 센서를 이용하여 피검자의 눈동자의 움직임을 추적(tracking)한다. 이를 통해 피검자의 현재 시선이 위치하고 있는 화면상의 좌표를 캘리브레이션(calibration)하여 핸드폰으로 전송하게 된다. 예를 들어, 이 좌표 값은 약 10ms 주기로 실시간으로 갱신될 수 있으며, 약 0.5°정도의 오차를 보이게 된다.

시선 고정 유형(Fixation type)으로의 분류는, 예를 들어, 화면상의 현재 좌표와 이전 좌표와의 거리가 4px 이하인 경우, 시선이 한 곳에 응시하고 있다고 판단한다. 이때부터 카운터(counter)를 작동시키고, 해당 카운터가 100ms 이상 시선 응시가 이루어졌다고 인식하면 이 행동을 시선 고정 유형으로 분류한다. 이후, 예를 들어, 4px 이상의 이동이 있기 전까지는 하나의 시선 고정 유형을 지속하는 것으로 인지하여, 시선 고정 유형 빈도수를 하나 늘리고, 지속 시간을 실시간으로 확인하여 변수에 저장한다.

시선 점프 유형(Saccade type)으로의 분류는, 특정 시선 고정 유형과 시선 고정 유형 사이의 피검자의 시선의 움직임, 즉 시선 고정 유형 외의 시선의 움직임을 모두 시선 점프 유형으로 분류한다. 이것이 가능한 이유는 크게 두 가지이다. 첫번째로, 시선 추적 좌표의 갱신 주기가 매우 짧다는 점이다. 이로 인해 갱신 사이에 다른 동작이 끼어들 여지가 존재하기 어렵다. 두번째로, 눈동자의 움직임은 크게 분류하면 시선 고정 유형과 시선 점프 유형의 2가지로 나뉘기 때문이다. 그 외의 나머지 움직임들은 상기 2가지 동작의 반복으로 이루어지거나, 더 세부적인 분류일 뿐이다. 이러한 분류 이후에는, 시선 점프 유형 사이의 경로와 길이, 시간 등을 확인하여 변수에 저장한다.

시선 회귀 유형(Regression type)으로의 분류는, 시선 점프 유형으로 인식된 행동을 재분석하여 시선 회귀 유형으로 분류한다. 시선 회귀 유형은 두 가지 행동으로 분류할 수 있는데, 좌표의 같은 줄 상에서 오른쪽에서 왼쪽으로 시선이 이동하거나, 이미 읽었던 부분인 위의 내용으로 시선이 이동하는 것이다. 이를 확인하기 위해, 예를 들면, 눈동자 움직임의 수직축인 y좌표의 변화량이 2px 이내일 때 동일한 줄에 시선이 있다고 판단할 수 있다. 이러한 조건을 만족하며 눈동자 움직임의 가로축인 x좌표의 변화량이 음의 값을 가지고, 수직축인 y좌표로의 변화량이 사전에 정해진 값, 예를 들면 2px를 초과할 때 시선 회귀 유형으로 분류할 수 있다. 이러한 분류 이후에는 시선 회귀 유형의 경로와 길이, 시간을 변수에 저장한다.

그 다음, 측정 수치 분석 알고리즘을 적용하여 상기 시선 고정 유형, 상기 시선 점프 유형 및 상기 시선 회귀 유형에 소요되는 시간 및/또는 빈도수를 측정하는 단계가 수행된다. 여기에서는, 변수에 저장된 수치를 최종적으로 분석하기에 앞서, 각각의 눈동자 움직임과 관련된 중요 값들을 모두 불러온다.

실시간으로 좌표의 값을 모두 저장할 경우, 예를 들면, 앱의 딜레이(delay)가 조금씩 발생하여 10ms의 갱신 주기를 정상적으로 수행하지 못한다. 이를 해결하기 위해 주기마다 눈동자 움직임의 종류를 판별하고 해당 유효값만을 추가해주는 방식을 채택할 수도 있다.

난독증 위험도를 산출하는 단계에서, 시선 고정 유형과 시선 점프 유형에 소요되는 시간 비율로 난독증 위험도를 산출할 수 있다. 이는 일반적으로 피검자의 읽는 속도를 의미한다. 단순히 초당 읽는 음절을 기준으로 계산하지 않고, 시선 고정 유형과 시선 점프 유형에 소요되는 시간 비율로 계산하는 이유는 내용을 이해하는 시간이 아닌, 시선이 글자를 읽고 넘어가는 데 걸리는 시간을 확인하기 위해서이다. 시선 점프 유형에 대한 시선 고정 유형의 시간 비율이 큰 경우, 하나의 단어에 시선이 고정되어 있는 시간이 길다는 것을 의미하므로 이는 난독증 위험도 분석에 영향을 주는 요인이 된다.

또한, 난독증 위험도를 산출하는 단계에서, 시선 고정 유형과 시선 회귀 유형에 소요되는 시간 비율로 난독증 위험도를 산출할 수 있다. 이는 시선의 움직임 중 읽었던 내용을 반복해서 읽는 시간이 얼마나 길었는지를 의미하는 값이다. 이 값이 큰 경우, 내용을 이해하지 못해 다시 읽는 빈도가 높다는 의미이므로, 난독증 위험도에 크게 영향을 주는 요인이 된다. 또한, 이는 난독증 증상 중 하나인 음운 추가 및 제거 현상 등의 원인이 되기도 하며, 난독증 환자들에게 가장 두드러지게 보이는 눈동자 움직임으로 위험도를 판별하는 것에 큰 도움을 주는 단계이다.

나아가, 시선 회귀 유형의 빈도수를 측정할 수 있다. 이 값이 큰 경우, 시선이 안정적으로 이동하지 않고 더 자주 사방으로 이동한다는 것을 의미한다. 이는 시선의 불안정함을 직접적으로 보여주는 지표이며, 더 나아가 글을 읽는 동안의 집중도와도 관련된 수치이다. 이러한 지표는 난독증 위험도를 효과적으로 측정할 수 있도록 한다.

이를 통하여, 난독증 위험도를 산출하는 단계에서는 시선 고정 유형과 시선 점프 유형에 소요되는 시간 비율, 시선 점프 유형과 시선회귀 유형에 소요되는 시간 비율, 및 시선 점프 유형의 빈도수 각각을 사전에 정해진 가중치에 따라 합산하여 난독증 위험도를 산출할 수 있다.

한편, 도 4에는 본 발명의 다른 실시예에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사 앱의 실행방법을 실시하는 단계를 단계적으로 도식화한 다이어그램이 도시되어 있다. 도 4를 참조하면, 가상현실 시선 추적을 통한 이러한 검사 방법을 이용하는 난독증 위험도 검사 앱의 실행방법은 다음과 같다.

상기 실행방법은 화면 중앙에서부터 움직이는 점을 따라 이동하는 관찰자의 눈동자 움직임을 계산하여 초기 설정값을 정하는 단계(S210); 상기 초기 설정값을 그대로 사용하거나, 또는 상기 초기 설정값을 오버라이트(overwrite)하는 것 중 하나를 선택하는 단계(S220); 초기 설정값을 오버라이트하는 것을 설정한 경우 초기 설정값을 정하는 단계를 다시 수행하여 초기 설정값을 새로운 설정값으로 대체하는 단계(S230); 상술한 바와 같은 가상현실 시선 추적을 통한 난독증 위험도 검사방법을 수행하는 단계(S100); 및 분석된 검사결과를 화면에 디스플레이하는 단계(S240)를 포함한다.

상세하게는, 난독증 위험도 검사 앱의 핸드폰 상에서의 실행과정은 첫번째로 시선 캘리브레이션(calibration) 설정 시작, 두번째로 시선 캘리브레이션 시뮬레이션 시행 및 검사 앱 실행, 세번째로 난독증 위험도 검사 앱 진행으로 나눌 수 있다. 난독증 위험도 검사 앱은 캘리브레이션 앱과 검사 앱으로 나뉘어 이루어질 수 있다.

초기 설정값을 정하는 단계(S210)인 시선 캘리브레이션 설정 시작은, 도 5에 나타난 VREX 앱을 클릭하여 홈 화면의 캘리브레이션 앱버튼을 눌러 실행하는 것으로부터 시작된다. 이 앱은 적외선 센서의 값을 받아와 캘리브레이션을 시행한 후, 현재 시선의 좌표를 검사 앱에 넘겨주는 역할을 수행한다.

예를 들어, 도 6에 나타난 바와 같이, 캘리브레이션 앱을 실행하면 총 10개의 숫자가 적힌 박스가 존재하며, 각 박스는 시선 캘리브레이션을 위한 설정값을 갖고 있다. 그 중 하나의 박스를 터치하면 USE와 OVERWRITE라고 표시된 선택지가 나타난다. 이는 초기 설정값을 그대로 사용하거나, 또는 초기 설정값을 오버라이트(overwrite)하는 것 중 하나를 선택하는 단계(S220)이다. USE 항목을 선택하면 기존의 설정값을 그대로 사용하게 된다.

그러나, OVERWRITE 항목을 선택하면 기존의 설정값을 초기화하고 초기 설정값을 정하는 단계를 다시 수행하여 초기 설정값을 새로운 설정값으로 대체하는 단계(S230)를 진행하게 된다. 사람마다 캘리브레이션을 위한 설정값에 차이가 있기 때문에 예를 들어, 상기와 같이 10개 정도의 저장 공간을 두는 것이 좋다.

시선 캘리브레이션 시뮬레이션 시행 및 검사 앱 실행에서는, 앞의 단계에서 OVERWRITE를 선택한 경우에는 설정값을 만들기 위한 시뮬레이션을 진행한다. 예를 들어, 도 7에 나타난 바와 같이, 캘리브레이션 앱 화면 중앙에 점멸하는 주황색 점이 존재하며, 이를 응시하면 점이 다른 곳으로 이동한다. 움직이는 점을 따라 피검자가 시선을 이동하면 이 과정 동안의 피검자의 눈동자 움직임을 계산하여 새로운 설정값을 정하게 된다. 한편, USE를 선택한 경우에는 이러한 과정이 생략된다. 이후부터 대체된 새로운 설정값을 이용하여 시선 추적을 시행하게 되고, 모든 조작은 눈의 움직임을 통해 이뤄질 수 있다. 예를 들어, 화면 중앙의 검사 앱을 3초 이상 응시하면 검사 앱이 실행될 수 있다.

난독증 위험도 검사 앱에서 난독증 위험도 검사방법을 수행하는 단계(S100)에서는, 위와 같은 과정을 통해 검사 앱이 시작되면 이에 대한 안내문이 화면에 표시된다. 그 후, 예를 들어, 글의 내용을 읽고, 화면 아래쪽의 회색 박스를 약 2초간 응시하면 박스의 색이 하얗게 변하며 다음 글로 넘어가게 된다. 글을 읽는 동안 적외선 센서는 눈동자의 움직임의 데이터를 핸드폰으로 전송해주고, 백그라운드에서 실행되고 있는 캘리브레이션 앱에서 해당 데이터를 기존의 설정값을 이용하여 가공한다. 이를 통해, 현재 시선의 x, y w 좌표를 얻어 검사 앱으로 보내준다. 피검자가 마지막 글을 읽고 나면 측정한 데이터를 바탕으로 검사 앱에서 이를 분석한 결과를 보여준다.

검사 결과 화면은 아래와 같은 내용을 포함한다. 가장 먼저 종합적인 난독증 위험도를 4가지 단계로 나누어 알려준다. 두 번째는, 읽는 속도에 대한 설명으로, 시선 고정 유형과 시선 점프 유형에 소요되는 시간의 비율을 기준으로 산출한다. 세 번째는, 읽었던 내용을 다시 읽는 빈도에 대한 설명으로, 시선 점프 유형과 시선 회귀 유형에 소요되는 시간 비율을 기준으로 산출한다. 마지막으로 시선 점프의 빈도에 대한 설명으로, 시선 회귀 유형의 빈도수를 기준으로 산출한다.

그 다음, 상기와 같은 난독증 위험도 검사 앱의 검사방법을 수행하는 단계에 따라 분석된 검사결과를 화면에 디스플레이하는 단계(S240)가 수행된다. 예를 들어, 상기 시선 회귀 유형의 빈도수를 기준으로 산출하는 것은 2가지 단계로, 나머지 산출방법은 4가지 단계로 구분하여 설명할 수 있다.

참고로, 도 8을 참조하면, 도 8(a)는 검사 앱의 실행 전 화면을 나타내고, 도 8(b)는 검사 앱 실행 초기 화면을 나타내고, 도 8(c)는 검사 앱의 검사 중일 때의 화면을 나타내고, 도 8(d)는 검사 앱의 검사 결과 화면을 나타낸다. 도 9는 피검자의 눈동자의 움직임을 추적하기 위하여 사용한 가상현실 헤드셋(VR HMD)의 일 예를 나타낸 것이다.

본 발명의 가상현실 시선 추적을 통한 난독증 위험도 검사방법 및 검사 앱이 실제로 난독증이 사람과 그렇지 않은 사람을 구분해 낼 수 있는지를 검증하기 위한 실험을 아래와 같이 진행하였다.

난독증이 아닌 사람 20명과 난독증인 사람 2명을 대상으로 실험을 진행하였다. 각각의 피실험자들은 가상현실 헤드셋 장착 디스플레이(VR HEAD MOUNT DISPLAY) 장비를 착용하고 캘리브레이션 단계를 거쳐 장비가 피실험자의 시선을 추적할 수 있게 한다. 이후, 앱이 실행되면 피실험자들은 디스플레이 화면에 있는 짧은 글을 읽게 된다. 한 페이지의 모든 글을 읽은 후 하단에 있는 흰색 네모 박스를 약 3초 정도 응시하면 다음 페이지로 넘어가게 되고, 이러한 방법으로 총 5페이지 정도의 글을 읽는다. 모든 실험이 끝나면 마지막 화면에서 결과를 확인할 수 있다.

도 10에 도시된 표에서와 같이, 시선 고정 유형과 시선 점프 유형에 소요되는 시간, 시선 점프 유형과 시선 회귀 유형에 소요되는 시간 및 상기 시선 점프 유형의 빈도수 각각의 기준에 사전에 정해진 가중치에 따라 합산하는 방식으로 결과를 분류하여 난독증 위험도를 산출한다.

도 11에 도시된 표에는 상기 3가지 기준에 대한 피실험자들의 결과 및 최종적인 난독증 위험도 분석 결과가 나타나 있다. 여기에서, P는 난독증 증상을 보이고 있지 않은 정상인을 의미하고, D는 난독증인 사람을 의미한다. 상기 표의 2열에서 4열까지는 피실험자 22명에 대한 원자료(raw data)이고, 이후에 이어지는 3열은 각각의 기준에 대한 해당 피실험자의 기준병 위험도를 나타내고 있다. 각 점수에서 0은 정상 범위를 의미하고 숫자가 클수록 난독증 고위험군에 해당한다. 마지막 총합 점수는 3가지 기준에 대해 가중치를 적용하여 합산한 결과로, 0~2점은 정상, 3~6점은 저위험군(low risk group), 7~9점은 중간위험군(medium risk group), 10~11점은 고위험군(high risk group)으로 분류된다.

도 12에 도시된 그래프는 기준별 결과를 도식화한 것으로 난독증인 사람과 그렇지 않은 사람 사이의 실험 결과 차이를 더욱 확실히 나타내기 위해 정리한 것이다. 여기에서, 초록색은 정상, 노란색은 저위험군, 주황색은 중간위험군, 빨간색은 고위험군을 의미한다. 대략적인 그래프 색 분포를 보아도 알 수 있듯이, 난독증이 아닌 피실험자군에 대해서는 3가지 기준 모두에서 80% 이상이 정상 범주에 포함되고, 난독증을 가진 피실험자군에 대해서는 모든 기준에서 중간위험군 이상의 결과를 보였다. 이러한 기준별 결과를 토대로 하여 나온 최종 결과는 도 13에 도시된 표와 같다.

정리하면, 상술한 각각의 판별 기준은 피검자가 글을 읽는 동안 특정 시선 패턴이 얼마나 발생하는지를 나타낸다. 시선 고정 유형과 시선 점프 유형의 시간 비율은 피검자가 글을 읽는 전체적인 시간을 의미하고, 시선 점프 유형과 시선 회귀 유형의 시간 비율은 피검자가 글을 읽는 동안 읽었던 내용을 다시 읽는 정도를 나타내며, 회기 유형의 빈도수의 경우 글을 읽을 때 시선의 점프가 어느 정도 발생하는지를 나타낸다.

즉, 상기 각각의 판별 기준은 특정 시선 패턴의 발생 빈도를 의미하는 것이고 사람마다 글을 읽을 때 보이는 시선 패턴이 다르기 때문에 각각의 기준만 가지고 난독증 위험에 대해 정확하게 판단하기에는 쉽지 않은 점이 있다. 따라서, 난독증의 경우 이러한 시선 패턴이 복합적으로 나타나기 때문에 적절한 가중치를 부여하여 전체적인 결과를 분석하는 것이 필요하다.

이를 위하여, 예를 들어, 난독증 증상을 판별하기 위해 사용된 상기 3가지 기준 중에서, 2번째 기준, 즉 시선 점프 유형과 시선 회귀 유형의 시간 비율에 대해서는 2배의 가중치가 더해질 수 있다. 상기 기준이 난독증인 사람과 그렇지 않은 사람 사이에서 큰 차이를 보이기 때문이다. 실험 결과, 실제로 다른 기준들에 비하여 상기 기준은 난독증 판별에 있어서 분명한 결과 차이가 있었다. 난독증인 피실험자들의 경우, 모두 고위험군의 결과를 보였고, 난독증이 아닌 피실험자들은 90%가 정상, 10%가 저위험군의 결과를 보였다. 상기 2번째 기준에 높은 가중치를 두어 피실험자들의 난독증 위험도를 정확하게 분류할 수 있게 된다.

결과적으로, 난독증이 아닌 피실험자군에 대하여는 95%가 정상으로 판별되었고, 난독중인 피실험자군은 모두 난독증 고위험군으로 판별되었다. 이러한 결과는 난독증 증상을 판별하기 위해 설정한 본 발명의 난독증 위험도 검사방법의 기준과 가중치가 합리적임을 의미한다.

따라서, 본 발명의 가상현실 시선 추적을 통한 난독증 위험도 검사방법 및 검사앱을 활용하면 매우 짧은 검사 시간 및 적은 비용으로도 정확한 난독증 위험도 검사가 가능하다. 또한, 가상현실(VR)에 대한 접근성이 점점 높아지고 있으므로, 이를 활용하여 효율적인 난독증 위험도 검사를 수행할 수 있게 된다.

이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나, 본 발명이 그에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 이러한 기재로부터 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 치환 및/또는 변경 가능하다. 그러므로, 본 발명의 범위는 전술한 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 그에 균등한 것들에 의해 정해져야 할 것이다.

S100: 난독증 위험도 검사방법을 수행하는 단계
S110: 눈동자의 움직임을 추적하여 인식하는 단계
S120: 인식된 눈동자 움직임을 시선 고정 유형 및 시선 점프 유형으로 분류하는 단계
S121: 인식된 눈동자 움직임을 시선 회기 유형으로 분류하는 단계
S130: 시선 고정 유형 및 시선 점프 유형 각각에 소요되는 시간을 측정하는 단계
S131: 시선 회귀 유형에 소요되는 시간 및 빈도수를 측정하는 단계
S140: 측정된 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계
S210: 초기 설정값을 정하는 단계
S220: 초기 설정값을 그대로 사용하거나, 또는 초기 설정값을 오버라이트하는 것 중 하나를 선택하는 단계
S230: 초기 설정값을 새로운 설정값으로 대체하는 단계
S240: 분석된 검사결과를 화면에 디스플레이하는 단계

Claims (9)

1. 센서를 통해 눈동자의 움직임을 추적하여 인식하는 단계(S110);
   인식된 눈동자 움직임을 시선이 한 지점에 일정 시간 응시하는 시선 고정 유형 및 시선이 순간적으로 점프하는 시선 점프 유형으로 분류하는 단계(S120);
   상기 시선 고정 유형 및 상기 시선 점프 유형 각각에 소요되는 시간을 측정하는 단계(S130); 및
   측정된 상기 각 유형의 빈도를 기초로 난독증 위험도를 산출하는 단계(S140)를 포함하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
2. 제1항에 있어서,
   상기 시선 점프 유형으로의 분류 단계(S120)는 이미 읽었던 방향으로 다시 시선이 이동하는 시선 회귀 유형으로 분류하는 단계(S121)를 더 포함하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
3. 제2항에 있어서,
   상기 측정 단계(S130)는 시선 회귀 유형에 소요되는 시간 및 빈도수를 측정하는 단계(S131)를 더 포함하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
4. 제1항에 있어서,
   상기 분류 단계(S120)에서는 적외선 센서를 이용하여 추적한 눈동자의 움직임의 간격이 사전에 정해진 간격 이하에서 100ms 이상 시선 응시가 이루어질 때 시선 고정 유형으로 분류하며, 그 외에는 시선 점프 유형으로 분류하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
5. 제2항에 있어서,
   상기 분류 단계(S120)에서는 눈동자 움직임의 가로축으로의 변화량이 음의 값을 가지고, 수직축으로의 변화량이 사전에 정해진 값을 초과할 때 시선 회귀 유형으로 분류하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
6. 제1항에 있어서,
   상기 난독증 위험도를 산출하는 단계(S140)에서는 상기 시선 고정 유형과 상기 시선 점프 유형에 소요되는 시간 비율로 난독증 위험도를 산출하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
7. 제3항에 있어서,
   상기 난독증 위험도를 산출하는 단계(S140)에서는 상기 시선 점프 유형과 상기 시선 회귀 유형에 소요되는 시간 비율로 난독증 위험도를 산출하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
8. 제7항에 있어서,
   상기 난독증 위험도를 산출하는 단계(S140)에서는 상기 시선 고정 유형과 상기 시선 점프 유형에 소요되는 시간, 상기 시선 점프 유형과 상기 시선 회귀 유형에 소요되는 시간 및 상기 시선 점프 유형의 빈도수 각각에 사전에 정해진 가중치에 따라 합산하여 난독증 위험도를 산출하는
   가상현실 시선 추적을 통한 난독증 위험도 검사방법.
   
9. 화면 중앙에서부터 움직이는 점을 따라 이동하는 관찰자의 눈동자 움직임을 계산하여 초기 설정값을 정하는 단계(S210);
   상기 초기 설정값을 그대로 사용하거나, 또는 상기 초기 설정값을 오버라이트(overwrite)하는 것 중 하나를 선택하는 단계(S220);
   상기 초기 설정값을 오버라이트하는 것을 선택한 경우, 상기 초기 설정값을 정하는 단계를 다시 수행하여 상기 초기 설정값을 새로운 설정값으로 대체하는 단계(S230);
   제1항 또는 제8항 중 어느 한 항에 따른 가상현실 시선 추적을 통한 난독증 위험도 검사방법을 수행하는 단계(S100); 및
   상기 난독증 위험도 검사 앱의 검사방법을 수행하는 단계에 따라 분석된 검사결과를 화면에 디스플레이하는 단계(S240)를 포함하는
   가상현실 시선 추적을 통한 난독증 위험도 검사 앱의 실행방법.

Images