KR102328089B1

KR102328089B1 - 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치 및 방법

Info

Publication number: KR102328089B1
Application number: KR1020200001948A
Authority: KR
Inventors: 이종민; 이현행; 이정아
Original assignee: 학교법인 건국대학교; 대한민국(국립재활원장)
Priority date: 2020-01-07
Filing date: 2020-01-07
Publication date: 2021-11-17
Also published as: KR20210088898A

Abstract

본 발명은 영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부를 포함하는 머리착용형 디스플레이장치, 및 사용자에게 시각자극을 줄 수 있는 상기 영상을 제공하고, 상기 영상에 따라 상기 시선추적부를 통해 수집한 상기 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 연산장치를 포함하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치를 제공한다.

Description

가상현실 내 시선추적을 기반으로 하는 의식장애평가장치 및 방법 {APPARATUS AND METHOD FOR EVALUATING DISORDERS OF CONSCIOUS BASED ON EYE TRACKING IN VIRTUAL REALITY}

본 발명은 의식장애평가장치 및 방법에 관한 것으로서, 보다 상세하게는 가상현실 내 시선추적을 기반으로 하여, 의식장애(또는 식물인간상태) 환자의 의식수준에 대한 정량적 평가가 가능한 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치 및 방법에 관한 것이다.

뇌 기능과 인간 행동과의 관련성에 관한 관심과 인지장애(disorders of consciousness)에 관한 관심이 증대되면서, 정확한 인지기능(cognitive function) 평가의 필요성이 대두되고 있다.

인지장애는 치료나 예후 예측에 주요한 요인이 되면서, 인지장애에 관한 객관적, 정량적 평가의 필요성이 제기되고 있다.

즉, 인지장애 정도를 통하여 인지회복정도에 대한 예측이 가능하다. 초기 최소한의 의식상태인 MCS(Minimally Conscious State) 환자의 경우, 식물인간상태인 VS(Vegetative State) 환자의 경우보다 더 빨리 회복되며, 다 나은 기능 회복을 예상할 수 있고(Katz 2009, Whyte 2003, Estraneo 2014), 외상성 뇌손상(traumatic brain injury) 이후 12개월 동안 MCS에 머무는 경우에는 영구적인 장애를 보일 것으로 예측할 수 있다.

또한, 정확한 인지장애 평가는 신경조절치료를 포함한 인지 치료 및 약물 치료 선택에 중요한 기준이 되며, 인지 치료 및 약물 치료의 효과 검증의 기준이 될 수 있다.

최근에는 MCS를 VS로 오인하는 경우가 15~43%에 이르는 것으로 보고되고 있어, 인지장애 평가의 부정확성에 대한 문제가 대두되고 있다(Schnakers 2009, Andrews 1996, Childs 1993).

이는, 표준화된 인지장애 평가도구인 CRS-R(Coma Recovery Scale - Revised)의 부정확성때문인데, 2010년 Seel이 진행한 systematic review에서 CRS-R이 가장 신뢰도가 높은 것으로 평가되었지만, 다음과 같은 한계점이 있다.

환자의 행동을 정성적으로 평가하기 때문에, 평가자의 주관이 개입될 가능성이 있어 평가자 간의 평가 결과에 차이를 초래할 수 있고, 평가자의 시간적 제약으로 인한 부정확한 인지장애 평가 가능성이 있으며, 평가를 자주 시행하기 어려운 문제가 있고(MCS 환자의 경우 행동의 변동(behavioral fluctuation)이 흔하기 때문에 일련의 시험(serial examination)이 필요하고, VS 상태에서 MCS 상태로 진입하기 시작하는 시점에서는 의식 수준(conscious level)이 VS 상태와 MCS 상태 사이에서 유동적일 수 있다), 환자의 각성 수준(arousal level)이 저마다 다르며, 환자의 피로도(fatigue)로 인해 평가 시간이 오래 걸릴수록 정확한 평가가 어렵고, 임상적으로 드러나지 않은 발작(seizure)의 가능성이 있으며, 시간대에 따라 환자의 상태가 달라질 수 있고, 다양한 임상환경(평가시 환자에게 제공되는 시각 자극, 청각 자극의 정도 차이, 평가 시점의 차이 등)에서 균일한 평가 환경을 제공하기 어려운 문제가 있으며, CRS-R 평가자에게 어느 정도의 숙달이 필요하지만 장기요양시설(LTCF; long-term care facility)에서는 숙달된 인력이 없어 인지적 변화가 있어도 쉽게 포착하기가 어려운 문제가 있다.

따라서, 이러한 문제를 해소하기 위해 의식장애 환자의 의식수준에 대한 정량적 평가를 가능케하는 기술에 대한 요구가 제기되고 있는 실정이다.

JP 20060087833 A

본 발명은, 가상현실 내 시선추적을 기반으로 하여, 의식장애 환자의 의식수준에 대한 정량적 평가를 제공할 수 있는 의식장애평가장치 및 방법을 제공하고자 한다.

상기 과제를 해결하기 위하여, 본 발명은 영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부를 포함하는 머리착용형 디스플레이장치, 및 사용자에게 시각자극을 줄 수 있는 상기 영상을 제공하고, 상기 영상에 따라 상기 시선추적부를 통해 수집한 상기 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 연산장치를 포함하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치를 제공한다.

일 실시예에 따라, 상기 시선추적부는, 적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치와, 상기 적외선이 조사된 사용자의 눈을 촬영하는 카메라와, 상기 카메라의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선이동정보를 생성하는 프로세서를 포함할 수 있다.

일 실시예에 따라, 상기 영상은, 시선고정유도를 위한 영상, 시선추적유도를 위한 영상 및 눈깜빡임유도를 위한 영상 중 적어도 어느 하나를 포함할 수 있다.

일 실시예에 따라, 상기 연산장치는, 상기 영상 중 시선고정유도를 위한 영상을 제공함과 동시에 상기 시선이동정보의 시간적일치도 및 공간적일치도를 만족하는 횟수를 카운팅하는 제1 단계와, 상기 영상에 의한 시각자극발생시점과 상기 시선이동정보에 의한 시선이동발생시점 간의 차이인 레깅시간의 평균을 산출하는 제2 단계와, 상기 영상 중 사용자 시선의 원활추종운동을 발생하기 위한 영상을 제공함과 동시에 상기 시간적일치도 및 상기 공간적일치도가 이루어지는 시간(T1)과 사용자에게 발생된 시각 자극이 특정 방향으로 움직이는 전체 시간(T2) 간의 비율을 산출하는 제3 단계를 거쳐 사용자의 의식장애를 평가할 수 있다.

일 실시예에 따라, 상기 제1 단계의 상기 시간적일치도 및 상기 공간적일치도는, 시선고정유도를 위한 시각 자극이 제공되는 시점에서 1초 이상의 시선추적좌표의 고정이 있는 조건과, 시선고정유도를 위한 시각 자극의 위치 변화 벡터값과 시선추적좌표의 변화 벡터값의 이루는 각도가 45도 이내인 유효구간에서 시선 움직임이 발생하는 조건을 만족하는 경우를 가리키고, 상기 제3 단계의 상기 시간적일치도 및 상기 공간적일치도는, 시각자극의 이동방향을 따라 이동하는 사용자 동공의 이동속도가 20°/s 이상의 움직임을 만족하는 조건과, 시각자극이 이동하는 방향과 사용자 동공의 이동방향이 이루는 각도가 45도 이내인 유효구간에서 시선 움직임이 발생하는 조건을 만족하는 경우를 가리킬 수 있다.

일 실시예에 따라, 상기 연산장치는, 상기 제1 단계에서 상기 시간적일치도 및 상기 공간적일치도를 만족하는 횟수가 3 이하인 경우 상기 제2 단계로 넘어가고, 상기 제2 단계에서 상기 레깅시간의 평균이 0.65 이상인 경우 상기 제3 단계로 넘어가며, 상기 제3 단계에서 상기 비율이 0.5 이하인 경우, 사용자가 식물인간상태임을 판단할 수 있다.

또한, 본 발명은, 영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부를 포함하는 머리착용형 디스플레이장치가, 상기 디스플레이부를 통해 사용자에게 시각자극을 줄 수 있는 상기 영상을 제공하는 단계, 및 연산장치가, 상기 영상에 따라 상기 시선추적부를 통해 수집한 상기 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 단계를 포함하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가방법을 제공한다.

본 발명의 일 실시예에 따르면, 장비의 소형화가 가능하여 임상 적용이 용이하므로 환자의 인지 상태 변화에 따른 시계열 데이터를 확보하기 용이하고, 자세를 잡기 어려운 환자(일 예로 와상상태의 환자)에게도 동일한 시각자극을 제공하여, 객관적인 평가결과를 확보할 수 있다.

또한, 가상현실 내에서 환자에게 큰 시야각을 통해 들어오는 제어된 시각 자극을 제공하기 때문에, 현실에서 환자에게 제공하는 시각 자극에 비해 명백한 시각 자극을 제공할 수 있다.

또한, 가상현실 내에서 감각자극을 제공하여 그에 따른 안구 움직임을 측정하기 때문에 평가자의 주관이 개입될 여지가 없다.

또한, 인지 기능에 대한 정량적 수치를 시계열적으로 누적확보할 수 있기 때문에, 환자의 인지 기능 변화를 발견(detection)하기 용이하다. 즉 높은 민감도를 가질 수 있다.

또한, 객관적이고 정량적 수치를 결과변수로 제시하는 장비를 활용하여 인지평가를 시행할 경우, 다중심의 연구(multi-centered study)시 결과를 통합하여 분석하기 용이하다. 즉 다양한 치료에 따른 효과 크기(effect size)를 계산하고 비교할 수 있다.

도 1은 본 발명의 일 실시예에 따른 의식장애평가장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 의식장애평가장치의 머리착용형 디스플레이장치를 나타낸 도면이다.
도 3 내지 13은 본 발명의 일 실시예에 따른 시각자극영상 및 그에 따른 반응을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 의식장애평가방법에 대한 단계별 흐름도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성 요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

가상현실 내 시선추적을 기반으로 하는 의식장애평가장치

도 1은 본 발명의 일 실시예에 따른 의식장애평가장치의 구성도이고, 도 2는 그 중 머리착용형 디스플레이장치의 외관을 나타낸 도면이다.

도 1 및 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 의식장애평가장치(100)는, 영상을 표시하는 디스플레이부(111)와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부(112)를 포함하는 머리착용형 디스플레이장치(110), 및 사용자에게 시각자극을 줄 수 있는 영상을 제공하고, 상기 영상에 따라 시선추적부(112)를 통해 수집한 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 연산장치(120)를 포함하여, 가상현실 내 시선추적을 기반으로 의식장애 환자의 의식수준에 대한 정량적 평가를 제공할 수 있다.

다만, 도 1에 도시한 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 의식장애평가장치가 구현될 수 있음은 물론이다.

또한, 도 1에 도시한 구성요소들은 기능에 따라 구분하여 표시한 것으로 구성요소들 중 적어도 어느 하나는 다른 하나에 포함되도록 구현될 수 있다.

이하, 각 구성요소들에 대해 살펴보기로 한다.

머리착용형 디스플레이장치(110)는 내부에 사용자의 눈과 마주하는 곳에 디스플레이부(111)가 위치하되, 디스플레이부(111)는 머리착용형 디스플레이장치(110)의 외부에선 보이지 않고, 내부에서만 보이도록 배치되어 있을 수 있다.

디스플레이부(111)에 표시되는 화면(111)은 가상현실컨텐츠(VR; Virtual Reality 컨텐츠) 중 사용자의 시선에 대응하는 영상일 수 있다. 본 명세서에서 사용하는 용어 중 영상은 정지영상과 동영상을 포함할 수 있다.

가상현실컨텐츠는 여러 시점을 가진 영상으로서, 일 예로, 하나의 카메라를 이동시켜 가며 촬영한 복수의 영상을 결합하여 생성한 영상이거나, 여러 대의 카메라로 같은 공간 내 서로 다른 시점에서 촬영한 복수의 영상을 결합하여 생성한 영상이거나, 화각이 넓은 한 대의 카메라로 촬영한 영상일 수 있다. 물론, 카메라로 촬영된 영상에 한하는 것은 아니며, 일 예로 게임 영상과 같이 인위적으로 제작한 컨텐츠도 포함할 수 있다.

한편, 디스플레이부(111)는 영상을 표시하기 위한 수단으로서, 액정 디스플레이(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등으로 영상을 표시할 수 있다.

전술한 바와 같이, 디스플레이부(111)는 가상현실컨텐츠를 표시하되 전체 영상 중 일 시점에 대응하는 영상을 표시할 수 있고, 머리착용형 디스플레이장치(110)를 착용한 사용자의 움직임에 상관없이 영상은 고정될 수 있다.

이때, 본 발명의 일 실시예에 따른 시선추적부(112)는, 도 2에 도시한 바와 같이, 양안 각각에 대하여 개별적으로 구분하여 시선이동정보를 생성하는 것이 바람직하다.

시선추적부(112)는 적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치(1122)와, 피사체인 적외선이 조사된 사용자의 눈을 촬영하는 카메라(1121)와, 카메라(1121)의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선이동정보를 생성하는 프로세서(1123)를 포함할 수 있다.

적외선발광장치(1122)는 머리착용형 디스플레이장치(110)의 내측에 위치하여, 사용자의 눈에 적외선을 조사할 수 있도록 배치될 수 있고, 카메라(1121) 역시, 머리착용형 디스플레이장치(110)의 내측에 위치하여, 사용자의 눈을 촬영할 수 있도록 배치될 수 있다.

즉, 적외선발광장치(1122)는 디스플레이부(111)에 표시된 영상을 바라보고 있는 사용자 눈에 적외선을 조사할 수 있고, 카메라(1121)는 적외선이 조사된 사용자의 눈을 촬영할 수 있다. 이때 카메라(1121)에 의해 촬영된 영상에서는 사용자의 각막에서 반사된 적외선이 나타나며, 프로세서(1123)는 적외선 영상에 포함된 사용자의 홍채와 동공 중 동공을 추출하고, 이로부터 사용자의 시선 위치를 검출할 수 있다. 프로세서(1123)는 카메라(1121)에 의해 촬영된 연속된 영상 프레임들에서 각각 검출된 시선 위치의 이동 경로를 추적하여 시선이동정보를 생성할 수 있다.

구체적인 예로서, 프로세서(1123)는 적외선을 이용하여 촬영한 사용자 눈에 대한 영상에서 Haar-like features 등과 같은 객체의 특징을 찾는 방법을 이용하여 눈의 위치를 검출하고, 가장자리검출(edge detection) 방법을 이용하여 홍채와 동공을 검출하며, 홍채와 동공의 상대적인 위치에 기반하여, 사용자의 시선 위치를 검출할 수 있다. 이 이외에도 공지된 다양한 방법에 따라 사용자의 시선을 추적할 수 있음은 물론이다.

한편, 연산장치(120)는 고정형 또는 이동형 단말기로서, 상기 머리착용형 디스플레이장치(110)와 유선 또는 무선으로 통신 가능하도록 연결되어, 사용자에게 시각자극을 줄 수 있는 영상을 제공하고, 영상에 따라 시선추적부(112)를 통해 수집한 시선이동정보를 이용하여, 사용자의 의식장애를 평가할 수 있다.

연산장치(120)는, 도 3 내지 13에 도면부호 S로 도시한 바와 같이, 시각무자극 영상, 시선고정유도를 위한 영상, 시선추적유도를 위한 영상 및 눈깜빡임유도를 위한 영상 중 적어도 어느 하나를 마련하여, 머리착용형 디스플레이장치(110)의 디스플레이부(111)를 통해 표시할 수 있다.

도 3의 도면부호 S는 시각무자극 영상으로서, 디스플레이부(111)를 통해 표시된 영상이 시각무자극 영상인 경우, 시선추적결과, 사용자에게 시각 자극을 제공할 수 없어 사용자의 동공은 도면부호 T에 도시한 바와 같이 방향성 없이 방황(wandering)하며, 이는 A, B, C 사용자마다 개인별 편차가 큼을 알 수 있다.

연산장치(120)는 이를 기준으로 하여, 시각무자극 영상이 아닌 다른 영상을 디스플레이부(111)를 통해 표시하였으나, 사용자의 시선이 도 3의 도면부호 T와 같이 방황하고 있다면 사용자가 시선자극에 반응이 없음을 판단할 수 있다. 여기서 도 3의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 4의 도면부호 S는 눈깜빡임유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 손가락이 사용자 눈을 향하여 급작스럽게 다가와 사용자의 눈깜빡임을 유도하기 위한 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 위눈꺼풀과 아래눈꺼풀 사이의 거리가 0으로 근접하여 눈을 깜빡이고 있는지 여부로 눈깜빡임에 장애가 있음을 판단할 수 있다. 여기서 도 4의 도면부호 T의 x축은 시간이고, y축은 위눈꺼풀과 아래눈꺼풀 간의 거리를 나타낸다.

또한, 도 5의 도면부호 S는 시선고정유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 도형(일 예로 원)이 평면상의 어느 한 지점에서 소정 시간 동안 머무른 뒤 다른 한 지점으로 이동하는 일련의 과정을 반복하여 사용자의 시선고정을 유도하기 위한 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 상기 도형의 위치에 대응하는 위치에 시선이 이동하여 방황하지 않고 해당 위치에 머물러 시선 고정이 이루어지고 있는지 여부로 시선고정에 장애가 있음을 판단할 수 있다. 여기서 도 5의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 6의 도면부호 S는 시선고정유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 도형(일 예로 원)이 평면이 아닌 공간상의 어느 한 지점에서 소정 시간 동안 머무른 뒤 다른 한 지점으로 이동하는 일련의 과정을 반복하여 사용자의 시선고정을 유도하기 위한 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 상기 도형의 위치에 대응하는 위치에 시선이 이동하여 방황하지 않고 해당 위치에 머물러 시선 고정이 이루어지고 있는지 여부로 시선고정에 장애가 있음을 판단할 수 있다. 여기서 도 6의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 7의 도면부호 S는 시선추적유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 그림 따위와 같이 시선을 집중시킬 수 있는 대상이 평면 또는 공간 상에서 지속하여 이동하는 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 영상에 나타나는 대상의 이동에 따라 시선이 방황하지 않고 지속적으로 쫓아가고 있는지를 판단할 수 있다. 만약 영상 내 대상이 +자 모양의 이동경로를 따라 이동하지만 사용자 시선추적결과 +자 모양이 아닌 경우에는 사용자가 시선추적에 장애가 있음을 판단할 수 있다. 여기서 도 7의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 8의 도면부호 S는 시선추적유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 회전운동하는 OKN(optokinetic nystagmus)드럼 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 영상에 나타나는 대상의 움직임에 따라 시선이 방황하지 않고 회전방향을 따라 이동하다가 다시 원위치로 회귀하고 있는지를 여부로 OKN 반응이 있는지 판단할 수 있다. 만약 사용자의 OKN 반응이 없으면 연산장치(120)는 사용자가 시선추적에 장애가 있음을 판단할 수 있다. 여기서 도 8의 도면부호 T의 x축은 시간이고, y축은 동공(pupil)의 x좌표를 나타낸다.

또한, 도 9의 도면부호 S는 시선추적유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 텔러시표(teller acuity card) 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 영상에 나타나는 대상의 움직임에 따라 시선이 방황하지 않고 텔러시표의 이동에 따라 시선이 이동하고 있는지 여부로 시선추적에 장애가 있음을 판단할 수 있다. 여기서 도 9의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 10의 도면부호 S는 시선추적유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 도형(일 예로 구)이 평면이 아닌 공간상에서 이동하되, 화면을 통과하는 방향으로도 이동하는 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 영상에 나타나는 대상의 이동에 따라 시선이 방황하지 않고 지속적으로 쫓아가고 있는지를 판단할 수 있다. 만약 영상 내 도형이 화면을 통과하는 방향으로 이동하지만 사용자 시선추적결과 화면의 상하좌우 방향으로도 이동하는 경우에는 사용자가 시선추적에 장애가 있음을 판단할 수 있다. 여기서 도 10의 도면부호 T의 x축은 동공(pupil)의 x좌표이고, y축은 동공(pupil)의 y좌표를 나타낸다.

또한, 도 11의 도면부호 S는 눈깜빡임유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 손이 사용자 눈을 향하여 다양한 속도로 또는 급작스럽게 이동하여 사용자의 눈깜빡임을 유도하기 위한 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 동공의 위치에 왜곡이 발생하였는지 여부로 눈깜빡임에 장애가 있음을 판단할 수 있다. 여기서 도 11의 도면부호 T의 x축은 시간이고, y축은 동공의 y좌표를 나타낸다.

또한, 도 12의 도면부호 S는 눈깜빡임유도를 위한 영상으로서, 연산장치(120)는 디스플레이부(111)를 통해 표시된 영상이, 갑자기 폭발하는 불꽃 영상인 경우, 시선추적결과, 사용자가 시각 자극에 의해, 도면부호 T에 도시한 바와 같이, 동공의 위치에 왜곡이 발생하였는지 여부로 눈깜빡임에 장애가 있음을 판단할 수 있다. 여기서 도 12의 도면부호 T의 x축은 시간이고, y축은 동공의 y좌표를 나타낸다.

본 발명의 일 실시예에 따른 의식장애평가장치는 다양한 영상을 머리착용형 디스플레이장치(110)를 이용하여 표시함으로써 사용자 시선이나 의식에 장애가 있는지 여부를 판단할 수 있다.

다만, 본 발명의 또 다른 실시예에 따라 머리착용형 디스플레이장치(110)는 사용자의 청각을 자극할 수 있는 음향을 출력하되 좌우 양측이 개별적으로 출력 제어될 수 있는 스피커(미도시)를 더 포함할 수 있고, 스피커는 머리착용형 디스플레이장치(110)의 디스플레이부(111)를 통해 출력하는 영상 내 움직이는 대상의 이동에 따라 좌우측 스피커가 서로 다르게 음향을 출력함으로써 소리를 통해 사용자에게 대상의 위치를 청각적으로 인지시킬 수 있다.

시각적 자극과 함께 동시에 사용자에게 청각적 자극을 제공함으로써, 사용자가 디스플레이부(111)에 출력되는 영상에 대한 집중도를 높여, 사용자의 시선추적에 대한 정확도를 향상시킬 수 있다.

한편, 본 발명의 일 실시예에 따른 연산장치(120)는, 전술한 바와 같이, 머리착용형 디스플레이장치(110)를 통해 사용자에게 시각자극을 제공하였을 때 나타나는 시선좌표 패턴을 이용하여, 식물인간상태의 환자와 일반인 간을 구분할 수 있다.

구체적으로 연산장치(120)는, 도 14에 도시한 바와 같이, 상기 영상 중 시선고정유도를 위한 영상을 제공함과 동시에 시선이동정보의 시간적일치도 및 공간적일치도를 만족하는 횟수를 카운팅하는 제1 단계(S110)와, 상기 영상에 의한 시각자극발생시점과 시선이동정보에 의한 시선이동발생시점 간의 차이인 레깅(lagging)시간의 평균을 산출하는 제2 단계(S120)와, 상기 영상 중 사용자 시선의 원활추종운동을 발생하기 위한 영상을 제공함과 동시에 시간적일치도 및 공간적일치도가 이루어지는 시간(T1)과 사용자에게 발생된 시각 자극이 특정 방향으로 움직이는 전체 시간(T2) 간의 비율을 산출하는 제3 단계(S130)를 거쳐 사용자의 의식장애를 평가할 수 있다.

연산장치(120)가 시간적일치도(temporal accordance)를 만족하는지 여부를 판단할 때, 두 가지 조건을 근거로 만족 여부를 판단할 수 있다. 그 중 하나는 디스플레이부(111)를 통해 시선고정유도를 위한 영상을 표시토록 하되, 영상 내 이동하는 대상에 맞추어 사용자의 시선추적좌표가 변화하는지 여부이고, 다른 하나는 시선고정유도를 위한 영상 내 대상의 위치가 변화하여 고정되었을 때 1초 이상 시선이 머무르고 있는지 여부일 수 있다.

또한, 연산장치(120)가 공간적일치도(spatial accordance)를 만족하는지 여부에 대한 판단은, 디스플레이부(111)를 통해 시선고정유도를 위한 영상이나 시선추적유도를 위한 영상을 표시토록 하되, 영상 내 이동하는 대상의 위치 변화값(이전 시각자극과 이후 시각자극 간의 차이로 구성된 벡터)과, 이에 따른 시선추적좌표의 변화값(이전 시선추적좌표와 이후 시선추적좌표 간의 차이로 구성된 벡터)이 이루는 각도가 45도 이내인지 여부일 수 있다.

연산장치(120)는 상기 제1 단계(S110)에서 사용자에게 시선고정유도를 위한 영상을 제공하고, 상기 시간적일치도와 상기 공간적일치도를 모두 만족하는 시선추적좌표가 발생하였을 때 이 횟수를 카운트하고 그 값을 궤적점수(trajectory score)로 할 수 있다.

연산장치(120)는 상기 궤적점수가 3점 이하인 경우, 그 다음 제2 단계(S120)를 수행할 수 있다. 그렇지 않고 연산장치(120)는 상기 궤적점수가 3점을 초과하였을 때에는 사용자가 식물인간상태가 아님을 판단(S142)할 수 있다.

다음으로, 궤적점수가 3점 이하인 경우 연산장치(120)는 영상에 의한 시각자극발생시점과 시선이동정보에 의한 시선이동발생시점 간의 차이인 레깅시간(lagging time)의 평균을 산출할 수 있다. 즉, 새로운 위치로의 시각자극 이동이 발생한 시점과 해당 방향으로 시선추적좌표의 변화가 발생할 때까지의 시점 차이를 레깅시간으로 하되, 우연히 나타난 눈의 움직임일 수 있는 가능성을 배제할 수 없기 때문에 궤적점수가 적어도 2 이상인 경우에서의 레깅시간을 평균하는 것이 바람직하다.

이때, 연산장치(120)는 상기 레깅시간이 0.65초 이상인 경우, 그 다음 제3 단계(S130)를 수행할 수 있다. 그렇지 않고, 연산장치(120)는 상기 레깅시간이 0.65초 미만일 때에는 사용자가 식물인간상태가 아님을 판단(S142)할 수 있다.

다음으로, 상기 레깅시간이 0.65초 이상인 경우 연산장치(120)는 사용자 시선의 원활추종운동을 발생하기 위한 영상을 제공함과 동시에 시간적일치도 및 공간적일치도가 이루어지는 시간(T1)과 사용자에게 발생된 시각 자극이 특정 방향으로 움직이는 전체 시간(T2) 간의 비율(=∑T1/∑T2)을 산출할 수 있다.

연산장치(120)는 상기 제3 단계(S130)의 T1 시간을 산출할 때, 시간적일치도는 시각자극의 이동방향을 따라 이동하는 사용자 동공의 이동속도가 20°/s 이상의 움직임을 만족하는 경우의 시간의 합으로 할 수 있고, 또 공간적일치도는 시각자극이 이동하는 방향과 사용자 동공의 이동방향이 이루는 각도가 45도 이내인 유효구간에서 원활추종운동(smooth pursuit(low velocity, long duration))으로 간주되는 경우의 시간의 합으로 할 수 있다.

또 연산장치(120)는, 전술한 바와 같이, 사용자에게 원활추종운동을 유도하기 위한 영상을 제공함으로써 사용자에게 시각자극을 주었던 전체 시간을 산정하여 T2로 할 수 있다.

이때, 연산장치(120)는 상기 비율(∑T1/∑T2)이 0.5초 이하인 경우, 해당 사용자가 식물인간상태임을 판단(S141)할 수 있고, 그렇지 않은 경우에는 사용자가 식물인간상태가 아님을 판단(S142)할 수 있다.

이렇게 연산장치(120)가 상기 제1 내지 제3 단계(S110~S130)를 순차로 수행함으로써, 기존 평가 도구인 CRS-R(coma recovery scale - revised)의 한계를 극복할 수 있었다.

본 발명의 일 실시예에 따른 연산장치(120)가 상기 제1 내지 제3 단계(S110~S130)를 통하여 사용자가 식물인간상태임을 판단함으로써, 식물인간상태로 평가되는 환자의 경우에도 넓은 범위의 의식수준이 있음을 확인할 수 있었다. 즉, 본 발명의 일 실시예에 따라 식물인간상태로 평가되는 의식장애 환자도 시각 자극과 뚜렷한 상호작용을 하는 경우가 있음을 확인할 수 있었다.

가상현실 내 시선추적을 기반으로 하는 의식장애평가방법

도 14는 본 발명의 일 실시예에 따른 의식장애평가방법에 대한 단계별 흐름도이다.

도 14에 도시한 바와 같이, 본 발명의 일 실시예에 따른 의식장애평가방법은, 영상을 표시하는 디스플레이부(111)와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부(112)를 포함하는 머리착용형 디스플레이장치(110)가, 디스플레이부(111)를 통해 사용자에게 시각자극을 줄 수 있는 영상을 제공하는 단계와, 연산장치(120)가 상기 영상에 따라 시선추적부(112)를 통해 수집한 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 단계를 포함할 수 있다.

일 실시예에 따라, 상기 사용자의 의식장애를 평가하는 단계는, 상기 연산장치(120)가, 영상 중 시선고정유도를 위한 영상을 제공함과 동시에 상기 시선이동정보의 시간적일치도 및 공간적일치도를 만족하는 횟수를 카운팅하는 제1 단계(S110)와, 상기 영상에 의한 시각자극발생시점과 상기 시선이동정보에 의한 시선이동발생시점 간의 차이인 레깅시간의 평균을 산출하는 제2 단계(S120)와, 상기 영상 중 사용자 시선의 원활추종운동을 발생하기 위한 영상을 제공함과 동시에 상기 시간적일치도 및 상기 공간적일치도가 이루어지는 시간(T1)과 사용자에게 발생된 시각 자극이 특정 방향으로 움직이는 전체 시간(T2) 간의 비율을 산출하는 제3 단계(S130)를 거쳐 사용자의 의식장애를 평가하는 단계를 포함할 수 있다.

상기 의식장애평가방법에 포함된 각 단계에 대한 설명은 전술한 것과 중복되므로, 이에 대한 설명은 생략하고 그에 갈음하기로 한다.

컴퓨터 판독 가능한 기록 매체

이상 설명된 본 발명의 일 실시예에 따른 의식장애평가방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.

상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 의식장애평가장치 110: 머리착용형 디스플레이장치
111: 디스플레이부 112: 시선추적부
1121: 카메라 1122: 적외선발광장치
1123: 프로세서 120: 연산장치

Claims

영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치를 추적하여 시선이동정보를 생성하는 시선추적부를 포함하는 머리착용형 디스플레이장치; 및
사용자에게 시각자극을 줄 수 있는 상기 영상을 제공하고, 상기 영상에 따라 상기 시선추적부를 통해 수집한 상기 시선이동정보를 이용하여, 사용자의 의식장애를 평가하는 연산장치;
를 포함하고,
여기서 상기 연산장치는,
상기 영상 중 시선고정유도를 위한 영상을 제공함과 동시에 상기 시선이동정보의 시간적일치도 및 공간적일치도를 만족하는 횟수를 카운팅하는 제1 단계와, 상기 영상에 의한 시각자극발생시점과 상기 시선이동정보에 의한 시선이동발생시점 간의 차이인 레깅시간의 평균을 산출하는 제2 단계와, 상기 영상 중 사용자 시선의 원활추종운동을 발생하기 위한 영상을 제공함과 동시에 상기 시간적일치도 및 상기 공간적일치도가 이루어지는 시간(T1)과 사용자에게 발생된 시각 자극이 특정 방향으로 움직이는 전체 시간(T2) 간의 비율을 산출하는 제3 단계를 거쳐 사용자의 의식장애를 평가하는 것을 특징으로 하고,
상기 연산장치는,
상기 제1 단계에서 상기 시간적일치도 및 상기 공간적일치도를 만족하는 횟수가 3 이하인 경우 상기 제2 단계로 넘어가고, 상기 제2 단계에서 상기 레깅시간의 평균이 0.65 이상인 경우 상기 제3 단계로 넘어가며, 상기 제3 단계에서 상기 비율이 0.5 이하인 경우, 사용자가 식물인간상태임을 판단하는 것을 특징으로 하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치.
제 1 항에 있어서,
상기 시선추적부는,
적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치와, 상기 적외선이 조사된 사용자의 눈을 촬영하는 카메라와, 상기 카메라의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선이동정보를 생성하는 프로세서를 포함하는 것을 특징으로 하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치.
제 1 항에 있어서,
상기 영상은,
시선고정유도를 위한 영상, 시선추적유도를 위한 영상 및 눈깜빡임유도를 위한 영상 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치.
삭제
제 1 항에 있어서,
상기 제1 단계의 상기 시간적일치도 및 상기 공간적일치도는,
시선고정유도를 위한 시각 자극이 제공되는 시점에서 1초 이상의 시선추적좌표의 고정이 있는 조건과, 시선고정유도를 위한 시각 자극의 위치 변화 벡터값과 시선추적좌표의 변화 벡터값의 이루는 각도가 45도 이내인 유효구간에서 시선 움직임이 발생하는 조건을 만족하는 경우를 가리키고,
상기 제3 단계의 상기 시간적일치도 및 상기 공간적일치도는,
시각자극의 이동방향을 따라 이동하는 사용자 동공의 이동속도가 20°/s 이상의 움직임을 만족하는 조건과, 시각자극이 이동하는 방향과 사용자 동공의 이동방향이 이루는 각도가 45도 이내인 유효구간에서 시선 움직임이 발생하는 조건을 만족하는 경우를 가리키는 것을 특징으로 하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치.
삭제
삭제