KR101922343B1

KR101922343B1 - 동체 시력 검사 방법 및 시스템

Info

Publication number: KR101922343B1
Application number: KR1020170089067A
Authority: KR
Inventors: 권순철; 김정호; 손호준; 황이환; 이재현; 이승현
Original assignee: 광운대학교 산학협력단
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2018-11-26
Also published as: WO2019013563A1; JP2020528304A

Abstract

본 발명은 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이와 연결되는 제어장치에서 수행되는 동체 시력 검사 방법에 있어서, (a) 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계; (b) 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 단계; (c) 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 단계; 및 (d) 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 단계를 포함한다.

Description

동체 시력 검사 방법 및 시스템{METHOD AND SYSTEM FOR TESTING DIYNAMIC VISUAL ACUITY}

본 발명은 동체 시력 검사 기술에 관한 것으로써, 광학 투과식 헤드 마운트 디스플레이에 출력된 검사차트의 시표를 응시하는 사용자의 시선 및 시표를 보고 읽는 사용자의 음성을 기초로 동체 시력을 검사하는 동체 시력 검사 방법 및 시스템에 관한 것이다.

시기능은 스포츠 비전, 운전 등에 영향을 미친다. 특히, 고령화 사회로 접어들면서 시기능의 저하등의 사유로 인해 노인들의 교통사고가 문제시 되고 있으며, 이로 인해 시기능 훈련 장비들이 주목 받고 있다. 그러나 시기능 훈련 및 평가 차트들은 아날로그적 장비에 머물러 있다. 예를 들어, 종래의 시기능 훈련 장비인 Push-up bar, Aperture rule, Eccentric circles, Brock string, Flipper 등은 광학 렌즈, 막대, 프린트 시표를 이용하고 있고, DEM 차트, 또는 K-D 차트에 해당하는 종래의 하드카피 기반의 동체 시력검사는 헤드가 고정된 상태에서 동체시력을 검사하는 바, 기술적 진보에 비하여 시기능 훈련 장비 및 평가 차트들의 개발은 부족한 상황이다. 따라서, 사용자의 실제적 환경을 반영하여 실용적 측면을 강화한 동체 시력 검사 방식의 개발이 요구된다.

한국공개특허 제10-2012-0052224

본 발명의 목적은 음성인식센서 및 시선추적센서를 포함하는 광학 투과식 헤드 마운트 디스플레이를 이용하여 사용자의 시선이 시표에 도달하는 시간과 사용자가 음성으로 시표를 읽는 시간과의 차이를 기초로 충동안구운동을 측정하는 동체 시력 검사 방법 및 시스템을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 제1 측면은, 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이와 연결되는 제어장치에서 수행되는 동체 시력 검사 방법에 있어서, (a) 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계; (b) 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 단계; (c) 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 단계; 및 (d) 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 단계를 포함한다.

바람직하게, 상기 (a) 단계 이전에 상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 단계를 더 포함할 수 있다.

바람직하게, 상기 캘리브레이션하는 단계는 캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계; 상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하는 단계; 및 상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 단계를 포함할 수 있다.

바람직하게, 상기 (b) 단계는 상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하는 단계를 포함하되, 상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드마운트 디스플레이에 순차적으로 제공될 수 있다.

바람직하게, 상기 (d) 단계는 상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하는 단계; 및 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 단계를 포함할 수 있다.

바람직하게, 상기 (d) 단계는 상기 음성인식데이터를 수신하는 때의 시간을 기록하는 단계를 포함할 수 있다.

바람직하게, 상기 (d) 단계는 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하는 단계를 포함하되, 상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출될 수 있다.

바람직하게, 상기 (d) 단계는 상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 단계를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제2 측면은, 동체 시력 검사 시스템으로써, 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이; 및 상기 헤드 마운트 디스플레이와 연결되는 제어장치를 포함하되, 상기 제어장치는, 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 검사차트 전송부; 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 마커 제공부; 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 데이터 수신부; 및 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 동체 시력 측정부를 포함한다.

바람직하게, 상기 제어장치는 상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 캘리브레이션부를 더 포함할 수 있다.

바람직하게, 상기 캘리브레이션부는 캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하고, 상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고, 상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시킬 수 있다.

바람직하게, 상기 마커 제공부는 상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하되, 상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드 마운트 디스플레이에 순차적으로 제공될 수 있다.

바람직하게, 상기 동체 시력 측정부는 상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하고, 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록할 수 있다.

바람직하게, 상기 동체 시력 측정부는 상기 음성인식데이터를 수신하는 때의 시간을 기록할 수 있다.

바람직하게, 상기 동체 시력 측정부는 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하되, 상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출될 수 있다.

바람직하게, 상기 동체 시력 측정부는 상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다.

상기한 바와 같이 본 발명에 의하면, 기존의 동적 시력 검사차트를 광학 투과식 헤드 마운트 디스플레이를 통하여 출력하므로 시생활에 가까운 동체 시력 검사를 할 수 있는 효과가 있고, 검사차트의 시표에 시선이 도달하는 시간과 시표를 읽는 음성이 인식된 시간의 차이를 이용하여 동체 시력 결과를 분석하므로, 동체시력은 좋음에도 불구하고 행동이 느린 경우, 또는 동체시력은 나쁨에도 불구하고 행동이 빠른 경우를 판단할 수 있는 효과가 있다.

또한, 본 발명에 의하면, 광학 투과식 헤드 마운트 디스플레이를 이용하여 실세계에 가상의 검사차트를 혼합하여 제공하므로, 사용자가 일상에서 수행하는 시각 활동이 동체 시력 검사 환경으로 주어질 수 있어, 일상 생활에 친화적인 동체 시력 검사 시스템의 구현이 가능한 효과가 있고, 따라서 동체 시력 검사 시스템의 실제적, 실용적 측면이 강화되는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 동체 시력 검사 시스템에 대한 블록도이다.
도 2는 일 실시예에 따른 헤드 마운트 디스플레이를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 제어장치에 대한 블록도이다.
도 4는 일 실시예에 따른 동체 시력 검사 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 동체 시력 검사 방법이 수행되는 환경을 나타내는 도면이다.
도 6은 Landolt C 시표를 나타내는 모식도이다.
도 7은 캘리브레이션을 설명하기 위한 예시도이다.
도 8은 마커를 제공하는 것을 설명하기 위한 예시도이다.
도 9는 시선이 유효영역 내에 도달하는 때의 시간을 측정하는 것을 설명하기 위한 예시도이다.

이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.

또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

동체 시력(Dynamic Visual Acuity)은 물체나 관찰자가 움직이는 상태에서 대상물을 볼 수 있는 능력을 의미한다. 동체 시력의 종류에는 충동안구운동(Saccadic Eye Movement), 추종안구운동 (Pursuit Eye Movement), 전정안구운동반사 (Vestibular-ocular reflex), 주시 안정성 (Visual Fixation), 등이 있으며, 본 발명의 동체 시력 검사 시스템에서는 충동안구운동을 측정한다.

충동안구운동은 움직이는 물체의 상을 망막 중심와에 위치시키기 위한 눈동자의 움직임을 뜻한다. 이미 주시하고 있는 물체에서 다른 물체로 시선을 옮겨 보고자 할 때의 안구 움직임이 충동안구운동이 된다. 같은 의미로 충동안구운동은 중심와 이외에 있는 물체의 상을 중심와에 위치하게 하는 안구운동을 말한다. 독서가 대표적인 충동안구운동에 속한다. 임상적으로 정상적인 충동안구운동의 속도는 초속 300도로 약 초속 30도인 추종안구운동과 이향운동에 비해 속도가 빠르다. 충동안구운동은 안구운동이 클수록 속도가 빨라지고 기간도 길어진다. 예를 들어 눈동자를 5도 돌리는 것보다 40도 돌리는 것이 속도가 빠르고 기간은 길다. 또한 운동이 시작되는 시점은 빠르고 끝나는 부분에서는 느려진다. 충동안구운동에 문제가 있는 경우, 특히 독서 시에 중간중간 단어를 빼고 읽기, 한 줄씩 건너 뛰어 읽기, 읽는 위치 상실 등의 문제가 발생한다. 이 외에 머리를 움직이면서 책을 읽거나 구기종목 운동 시 눈과 손의 협응 운동이 되지 않아 공을 맞히거나 잡지 못하게 된다.

이하에서는, 움직이는 물체를 망막의 중심와에 위치시키기 위한 안구의 움직임인 충동안구운동을 측정하기 위한 동체 시력 검사 방법 및 시스템에 대하여 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 동체 시력 검사 시스템에 대한 블록도이다.

도 1을 참조하면, 동체 시력 검사 시스템(100)은 헤드 마운드 디스플레이(110) 및 제어장치(120)를 포함하고, 헤드 마운트 디스플레이(110)와 제어장치(120)는 네트워크를 통하여 서로 연결된다.

헤드 마운트 디스플레이(Head Mounted Display, HMD)(110)는 사용자의 머리에 장착되어 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)을 디스플레이 하는 장치로써, 동체 시력을 검사하기 위한 검사차트를 출력시킨다. 바람직하게, 헤드 마운트 디스플레이(110)는 시선추적센서(111), 예를 들어, 사용자의 시선 트래킹이 가능한 카메라, 및 음성인식센서(112), 예를 들어, 마이크를 포함할 수 있다. 시선추적센서(111)는 헤드 마운트 디스플레이(110)를 착용하고 있는 사용자의 시선의 이동을 감지 및 추적하고, 음성인식센서(112)는 시표를 읽는 사용자의 음성을 감지 및 인식할 수 있다. 여기에서, 시선추적센서(111)는 사용자의 우안과 좌안의 시선을 트래킹 하기 위하여 2개가 구비될 수 있다. 또한, 헤드 마운트 디스플레이(110)는, 도면에 도시하지 않았으나, GPS, 지자계 센서, 자이로스코프 센서 등을 구비할 수 있다.

바람직하게, 헤드 마운트 디스플레이(110)는 광학 투과식(Optical See-Through) 헤드 마운트 디스플레이에 해당하여 검사차트를 증강현실로 출력할 수 있다. 보다 구체적으로, 도 2를 참조하면, 광학 투과식 헤드 마운트 디스플레이에 해당하는 헤드 마운트 디스플레이(110)는 제어장치(120)로부터 제공받은 검사차트를 영상 출력부(예를 들어, 미니 프로젝터)를 통하여 출력시키고, 영상 출력부를 통하여 출력된 검사차트는 프리즘을 통과한 실제환경의 영상과 혼합되어 사용자에게 보여질 수 있다. 즉, 사용자는 실제환경 상에 검사차트가 혼합된 증강현실 영상을 볼 수 있는 것이다.

바람직하게, 도 1 및 2에서는 음성인식센서(112)가 헤드 마운트 디스플레이(110)에 구비되는 것으로 도시하였으나, 음성인식센서(112)는 헤드 마운트 디스플레이(110) 또는 제어장치(120)와 연결될 수 있는 별개의 구성 또는 장치로 구현될 수 있다.

제어장치(120)는 헤드 마운트 디스플레이(110)와 연결되어 동체 시력 검사 방법을 수행하기 위한 장치이다. 바람직하게, 제어장치(120)는 동체 시력 검사를 수행하기 위한 검사 차트를 생성하여 헤드 마운트 디스플레이(110)에 제공하고, 헤드 마운트 디스플레이(110)의 시선추적센서(111) 및 음성인식센서(112)로부터 획득된 시선추적데이터 및 음성인식데이터를 기초로 동체 시력을 측정하고 동체 시력 검사 결과를 생성할 수 있다.

도 3은 일 실시예에 따른 제어장치에 대한 블록도이다.

도 3을 참조하면, 제어장치(120)는 검사차트 전송부(121), 마커 제공부(122), 데이터 수신부(123), 동체 시력 측정부(124), 및 제어부(125)를 포함한다. 여기에서, 제어부(125)는 검사차트 전송부(121), 마커 제공부(122), 데이터 수신부(123), 및 동체 시력 측정부(124)의 동작 및 데이터의 흐름을 제어한다. 이하에서는, 도 4 내지 9를 참조하여, 제어장치(120)에서 수행되는 동체 시력 검사 방법에 대하여 상세하게 설명한다.

먼저, 본 발명에 따른 동체 시력 검사 방법이 수행되는 환경을 설명하면, 도 5에 도시된 바와 같이, 사용자는 헤드 마운트 디스플레이(110)를 착용하고, 헤드 마운트 디스플레이(110)를 통하여 실제환경에 대하여 증강현실로 출력되는 검사차트를 보면서 동체 시력을 검사 받을 수 있다. 여기에서, 검사차트는, 예를 들어, King-Devic 차트, 또는 DEM(Developmental eye movement) 차트가 제공될 수 있고, 검사차트의 시표는, 도 6에 도시된 바와 같이 5.0m 거리에서 1.5mm 내경을 분별하는 시력과 시각을 각각 1.0, 1분각으로 정의하는 Landolt C 검사차트에 근거하여, 헤드 마운트 디스플레이(110)를 통해 검사차트를 볼 때 내장된 볼록렌즈 또는 프리즘 배율에 의거하여 적용될 수 있다. 또한, 헤드 마운트 디스플레이(110)가 디스플레이 하는 검사차트의 글꼴은 OTF(Open Type Font)가 적용될 수 있고, OTF는 운영체제의 종류와 무관하게 인쇄물 상에 똑같은 글자 모양을 보여준다. 이에 더하여, OTF 방식은 3차원 베지어 방식으로 곡선이 만들어지며, 계산과정이 복잡하여 표현속도가 느리지만 디테일한 곡선 표현이 가능하다.

일 실시예에서, 도 4에 도시된 검사차트를 이용한 동체 시력 검사 방법이 수행되기 이전에, 사용자가 시선을 응시하는 영역과 헤드 마운트 디스플레이(110)의 디스플레이 단에서 표시되는 영역을 일치시키는 캘리브레이션이 수행될 수 있다. 제어장치(120)는 이와 같은 캘리브레이션을 수행하기 위하여, 시선추적센서(111)로부터 획득되는 시선추적데이터와 헤드 마운트 디스플레이(110)에 출력되는 영상을 캘리브레이션하는 캘리브레이션부(도면에 도시되지 않음)를 더 포함할 수 있다.

보다 구체적으로, 캘리브레이션부는 캘리브레이션용 마커를 생성하여 헤드 마운트 디스플레이(110)에 제공한다. 예를 들어, 도 7의 (a)를 참조하면, 캘리브레이션부는 5X5의 캘리브레이션용 마커를 생성할 수 있고, 생성한 캘리브레이션용 마커를 도 7의 (b)에 도시된 바와 같이 순차적으로 헤드 마운트 디스플레이(110)에 제공할 수 있다. 캘리브레이션용 마커가 헤드 마운트 디스플레이(110)에 순차적으로 제공됨에 따라, 캘리브레이션부는 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 시선추적데이터로부터 헤드 마운트 디스플레이(110)에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고, 시선 위치 좌표와 헤드 마운트 디스플레이(110)에서 출력된 디스플레이 영상 내에서의 캘리브레이션용 마커의 위치 좌표를 일치시킨다. 예를 들어, 도 7의 (b)에 도시된 바와 같이, 1번 캘리브레이션용 마커가 제공되면, 사용자는 1번 캘리브레이션용 마커를 응시하고, 캘리브레이션부는 이때 획득된 시선추적데이터로부터 사용자가 영상 내에서 어디를 응시하고 있는지를 나타내는 사용자의 시선 위치 좌표를 획득하고, 사용자의 시선 위치 좌표를 1번 캘리브레이션용 마커의 위치 좌표와 일치시킬 수 있다. 그 다음, 2번 캘리브레이션용 마커, 및 나머지 캘리브레이션용 마커에 대하여도 동일하게 사용자의 시선 위치 좌표와 마커의 위치 좌표가 일치시켜질 수 있고, 이를 통하여 사용자가 시선을 응시하는 영역과 헤드 마운트 디스플레이(110)의 디스플레이 단에서 표시되는 영역을 일치시키는 캘리브레이션이 완료될 수 있다.

다시 도 4를 참조하면, 검사차트 전송부(121)는 검사차트를 생성하여 헤드 마운트 디스플레이에 제공하고(단계 S410), 마커 제공부(122)는 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 헤드 마운트 디스플레이(110)에 제공한다(단계 S420).

바람직하게, 마커 제공부(122)는 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 특정 시표에 대한 유효영역을 설정하고, 유효영역을 마커로 표시할 수 있다. 예를 들어, 도 8을 참조하면, 마커 제공부(122)는 검사차트에 있는 시표 “5” 및 “9”에 대하여 빨간색 박스로 표시된 바와 같이 유효영역을 설정하고, 해당 유효영역이 표시될 수 있도록 빨간색 박스에 해당하는 마커를 헤드 마운트 디스플레이(110)에 제공할 수 있다. 즉, 사용자는 헤드 마운트 디스플레이(110)에서 도 8과 같이 특정 시표에 대하여 마커가 표시된 검사 차트를 볼 수 있는 것이다.

바람직하게, 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 헤드 마운트 디스플레이(110)에 순차적으로 제공된다. 예를 들어, 도 8을 참조하면, 5, 9, 2, 5, 7, …과 같은 순서로 빨간색 박스에 해당하는 마커가 순차적으로 제공될 수 있다.

데이터 수신부(123)는 마커의 표시에 따라, 시선추적센서(111)로부터 획득된 사용자의 시선의 이동에 따른 시선추적데이터 및 마커로 표시된 시표를 사용자가 읽음에 따라 음성인식센서(112)로부터 획득된 음성인식데이터를 수신한다(단계 S430). 동체 시력 측정부(124)는 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성한다(단계 S440).

바람직하게, 동체 시력 측정부(124)는 시선추적데이터로부터 사용자의 시선이 유효영역 내에 위치하는지 여부를 판단하고, 사용자의 시선이 유효영역 내에 도달하는 때의 시간을 기록하고, 동체 시력 측정부(124)는 음성인식데이터를 수신하는 때의 시간을 기록할 수 있다. 여기에서, 기록되는 시간은 1/100초 단위로 측정될 수 있으며, HH:MM'SS''.ss 의 형태로 기록될 수 있다.

보다 구체적으로, 도 9를 참조하면, 마커 제공부(122)에 의하여 도 9의 (a)에 도시된 바와 같이 시표 각각에 대한 유효영역을 나타내는 마커가 표시되면, 동체 시력 측정부(124)는 데이터 수신부(123)에서 수신된 사용자의 시선의 이동에 따른 시선추적데이터를 기초로 사용자의 시선이 유효영역 내에 도달하는지 여부를 판단할 수 있고, 예를 들어, 도 9의 (b)에 도시된 바와 같이, 검은색 점으로 표시된 사용자의 시선이 빨간색 박스로 표시된 유효영역 내에 모두 들어오면 사용자의 시선이 유효영역에 도달한 것으로 판단될 수 있다. 사용자의 시선이 유효영역에 도달할 때, 동체 시력 측정부(124)는 시간을 측정할 수 있고, 예를 들어, 도 9의 (b)의 시표 “5”에 대하여 시선이 유효영역에 도달한 시간이 35.45초인 경우 00:00'35”.45 로 기록될 수 있다. 시선의 이동에 따라 사용자가 시표 “5”를 본 후, “9”를 응시하게 되는 경우, 동체 시력 측정부(124)는 사용자의 시선이 시표 “9”의 유효영역 내에 도달한 때의 시간, 예를 들어, 00:00'35”.99를 기록할 수 있다.

또한, 사용자가 마커로 표시된 시표를 본 후 해당 시표를 음성으로 말하면, 음성인식센서(112)가 사용자의 음성을 인식하고, 이에 대한 음성인식데이터가 데이터 수신부(123)에서 수신되면, 동체 시력 측정부(124)는 음성인식데이터가 수신된 때의 시간을 기록할 수 있다.

바람직하게, 동체 시력 측정부(124)는 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간 차이를 아래의 [식 1]을 이용하여 산출할 수 있다. 여기에서, 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 동체 시력 측정부(124)는 아래의 [식 2]를 이용하여 복수의 시간 차이들의 평균을 산출할 수 있다. 예를 들어, 검사차트에 시표가 40개 있고, 각 시표에 대하여 마커가 순차적으로 표시되면, 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간은 각각 40개가 기록되고, 따라서, 산출된 시간 차이는 총40개가 되므로, 동체 시력 측정부(124)는 시간 차이값들의 평균을 산출할 수 있다.

[식 1]

[식 2]

여기에서, adr time은 음성인식데이터를 수신한 때 시간, tdr time은 시선이 유효영역 내에 도달한 때의 시간, diff time은 시간 차이, cn은 시표의 개수, average difftime은 시간 차이들의 평균값이다.

바람직하게, 동체 시력 측정부(124)는 음성인식데이터 및 검사차트 상에서 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다. 여기에서, 동체 시력 측정부(124)는 STT(Speech To Text) 알고리즘을 이용하여 음성인식데이터에서의 음성을 텍스트로 변환할 수 있다. 동체 시력 검사는 문자가 수직으로 나열된 검사차트를 이용하여 수행되는 수직검사 및 문자가 수평으로 나열된 검사 차트를 이용하는 수평검사로 구성되고, 각각에 대하여 수직 또는 수평 방향으로 사용자가 소리 내어 해당 문자들을 읽으면 읽는데 소요되는 시간, 즉, 검사 수행 시간, 음성 데이터와 검사차트를 비교하여 산출된 틀린 개수, 반복해서 읽은 개수, 빼먹은 개수를 기초로 동체 시력 검사 결과가 생성될 수 있다.

바람직하게, 제어장치(120)는 음성인식센서(112)로부터 수신한 음성인식데이터 및 검사차트를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다. 여기에서, 전체 에러 개수는 아래의 [식 3]에 의하여 계산될 수 있고, [식 3]에서 Total Errors는 전체 에러 개수, s는 잘못 읽은 개수, o는 빼먹고 읽은 개수, a는 추가로 읽은 개수, 및 t는 바꿔 읽은 개수다.

[식 3]

바람직하게, 제어장치(120)는 수직 검사 및 수평 검사 각각에 대하여 검사 수행 시간 및 검출된 에러의 개수를 기초로 조정시간을 산출할 수 있다. 여기에서, 조정시간은 아래의 [식 4]에 의하여 계산될 수 있고, [식 4]에서 ADJ Time은 조정시간, Time은 검사 수행 시간, cn은 시표 개수, o는 빼먹고 읽은 개수, a는 추가로 읽은 개수다.

[식 4]

바람직하게, 제어장치(120)는 수직 검사 및 수평 검사 각각에 대하여 산출된 조정시간의 비율을 기초로 동체 시력 검사 결과를 생성할 수 있다. 즉, 제어 장치(120)는 “비율=수평조정시간/수직조정시간”을 산출하고, 산출된 비율, 조정시간, 등을 고려하여 동체 시력이 정상인지, 부족한지, 또는 어떠한 문제가 있는지 여부를 결정할 수 있다.

일 실시예에서, 동체 시력 측정부(124)를 통하여 산출된 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간 차이 또는 시간 차이들의 평균값, 및 음성인식데이터를 기초로 분석된 에러개수, 조정시간이 동체 시력 검사 결과로써 제공될 수 있다.

따라서, 본 발명에 의하면, 동체 시력을 판단할 수 있을 뿐만 아니라, 동체시력은 좋음에도 불구하고 행동이 느린 것인지 또는 동체 시력은 나쁨에도 불구하고 행동이 빠른 것인지를 판단할 수 있다.

한편, 본 발명의 일 실시예에 따른 동체 시력 검사 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로써 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로써 저장되고 실행될 수 있다.

전술한 본 발명에 따른 동체 시력 검사 방법, 및 이를 수행하는 동체 시력 검사 시스템에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

100: 동체 시력 검사 시스템
110: 헤드 마운트 디스플레이
111: 시선추적센서
112: 음성인식센서
120: 제어 장치
121: 검사차트 전송부
122: 마커 제공부
123: 데이터 수신부
124: 동체 시력 측정부
125: 제어부

Claims

시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이와 연결되는 제어장치에서 수행되는 동체 시력 검사 방법에 있어서,
(a) 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계;
(b) 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 단계;
(c) 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 단계; 및
(d) 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 단계를 포함하는 동체 시력 검사 방법.
제1항에 있어서, 상기 (a) 단계 이전에
상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 단계를 더 포함하는 것을 특징으로 하는 동체 시력 검사 방법.
제2항에 있어서, 상기 캘리브레이션하는 단계는
캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계;
상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하는 단계; 및
상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.
제1항에 있어서, 상기 (b) 단계는
상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하는 단계를 포함하되,
상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드마운트 디스플레이에 순차적으로 제공되는 것을 특징으로 하는 동체 시력 검사 방법.
제4항에 있어서, 상기 (d) 단계는
상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하는 단계; 및
상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.
제5항에 있어서, 상기 (d) 단계는
상기 음성인식데이터를 수신하는 때의 시간을 기록하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.
제6항에 있어서, 상기 (d) 단계는
상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하는 단계를 포함하되,
상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출되는 것을 특징으로 하는 동체 시력 검사 방법.
제1항에 있어서, 상기 (d) 단계는
상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.
시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이; 및
상기 헤드 마운트 디스플레이와 연결되는 제어장치를 포함하되,
상기 제어장치는,
검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 검사차트 전송부;
상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 마커 제공부;
상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 데이터 수신부; 및
상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 동체 시력 측정부를 포함하는 동체 시력 검사 시스템.
제9항에 있어서, 상기 제어장치는
상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 캘리브레이션부를 더 포함하는 것을 특징으로 하는 동체 시력 검사 시스템.
제10항에 있어서, 상기 캘리브레이션부는
캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하고,
상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고,
상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 것을 특징으로 하는 동체 시력 검사 시스템.
제9항에 있어서, 상기 마커 제공부는
상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하되,
상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드 마운트 디스플레이에 순차적으로 제공되는 것을 특징으로 하는 동체 시력 검사 시스템.
제12항에 있어서, 상기 동체 시력 측정부는
상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하고,
상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 것을 특징으로 하는 동체 시력 검사 시스템.
제13항에 있어서, 상기 동체 시력 측정부는
상기 음성인식데이터를 수신하는 때의 시간을 기록하는 것을 특징으로 하는 동체 시력 검사 시스템.
제14항에 있어서, 상기 동체 시력 측정부는
상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하되,
상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출되는 것을 특징으로 하는 동체 시력 검사 시스템.
제9항에 있어서, 상기 동체 시력 측정부는
상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 것을 특징으로 하는 동체 시력 검사 시스템.
제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.