KR102570505B1

KR102570505B1 - 가상현실 기반 시선추적을 통한 의식장애평가장치

Info

Publication number: KR102570505B1
Application number: KR1020210183104A
Authority: KR
Inventors: 이종민; 이현행; 현철환; 이정아
Original assignee: 학교법인 건국대학교; 대한민국(국립재활원장)
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2023-08-23
Also published as: KR20230093990A

Abstract

본 발명은 영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치에 대한 시선좌표정보를 생성하기 위한 시선추적부를 포함하는 머리착용형 디스플레이장치, 및 사용자에게 시각자극을 줄 수 있는 상기 영상 및/또는 사용자에게 청각자극을 줄 수 있는 소리를 제공하고, 상기 영상 및/또는 소리에 따른 상기 시선좌표정보 및 사용자 시선의 이동거리에 대한 시선이동정보를 이용하여 사용자에 대한 적어도 하나의 의식장애평가지표를 산출하는 연산장치를 포함하되, 상기 의식장애평가지표는, CRS-R(Coma Recovery Scale - Revised)의 오류 가능성을 판정하는 지표인 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치를 제공한다.

Description

가상현실 기반 시선추적을 통한 의식장애평가장치 {APPARATUS FOR EVALUATING DISORDERS OF CONSCIOUS USING EYE TRACKING BASED ON VIRTUAL REALITY}

본 발명은 의식장애평가장치에 관한 것으로서, 보다 상세하게는 가상현실 내 시선추적을 기반으로 하여, 의식장애(또는 식물인간상태) 환자의 의식수준에 대한 정량적 평가가 가능한 가상현실 기반 시선추적을 통한 의식장애평가장치에 관한 것이다.

뇌 기능과 인간 행동과의 관련성에 관한 관심과 인지장애(disorders of consciousness)에 관한 관심이 증대되면서, 정확한 인지기능(cognitive function) 평가의 필요성이 대두되고 있다.

인지장애는 치료나 예후 예측에 주요한 요인이 되면서, 인지장애에 관한 객관적, 정량적 평가의 필요성이 제기되고 있다.

즉, 인지장애 정도를 통하여 인지회복정도에 대한 예측이 가능하다. 초기 최소한의 의식상태인 MCS(Minimally Conscious State) 환자의 경우, 식물인간상태인 VS(Vegetative State) 환자의 경우보다 더 빨리 회복되며, 다 나은 기능 회복을 예상할 수 있고(Katz 2009, Whyte 2003, Estraneo 2014), 외상성 뇌손상(traumatic brain injury) 이후 12개월 동안 MCS에 머무는 경우에는 영구적인 장애를 보일 것으로 예측할 수 있다.

또한, 정확한 인지장애 평가는 신경조절치료를 포함한 인지 치료 및 약물 치료 선택에 중요한 기준이 되며, 인지 치료 및 약물 치료의 효과 검증의 기준이 될 수 있다.

최근에는 MCS를 VS로 오인하는 경우가 15~43%에 이르는 것으로 보고되고 있어, 인지장애 평가의 부정확성에 대한 문제가 대두되고 있다(Schnakers 2009, Andrews 1996, Childs 1993).

이는, 표준화된 인지장애 평가도구인 CRS-R(Coma Recovery Scale - Revised)의 부정확성때문인데, 2010년 Seel이 진행한 systematic review에서 CRS-R이 가장 신뢰도가 높은 것으로 평가되었지만, 다음과 같은 한계점이 있다.

환자의 행동을 정성적으로 평가하기 때문에, 평가자의 주관이 개입될 가능성이 있어 평가자 간의 평가 결과에 차이를 초래할 수 있고, 평가자의 시간적 제약으로 인한 부정확한 인지장애 평가 가능성이 있으며, 평가를 자주 시행하기 어려운 문제가 있고(MCS 환자의 경우 행동의 변동(behavioral fluctuation)이 흔하기 때문에 일련의 시험(serial examination)이 필요하고, VS 상태에서 MCS 상태로 진입하기 시작하는 시점에서는 의식 수준(conscious level)이 VS 상태와 MCS 상태 사이에서 유동적일 수 있다), 환자의 각성 수준(arousal level)이 저마다 다르며, 환자의 피로도(fatigue)로 인해 평가 시간이 오래 걸릴수록 정확한 평가가 어렵고, 임상적으로 드러나지 않은 발작(seizure)의 가능성이 있으며, 시간대에 따라 환자의 상태가 달라질 수 있고, 다양한 임상환경(평가시 환자에게 제공되는 시각 자극, 청각 자극의 정도 차이, 평가 시점의 차이 등)에서 균일한 평가 환경을 제공하기 어려운 문제가 있으며, CRS-R 평가자에게 어느 정도의 숙달이 필요하지만 장기요양시설(LTCF; long-term care facility)에서는 숙달된 인력이 없어 인지적 변화가 있어도 쉽게 포착하기가 어려운 문제가 있다.

따라서, 이러한 문제를 해소하기 위해 의식장애 환자의 의식수준에 대한 정량적 평가를 가능케하는 기술에 대한 요구가 제기되고 있는 실정이다.

JP

20060087833

A

본 발명은, 가상현실 기반의 시선추적을 기반으로 하여, 의식장애 환자의 의식수준에 대한 정량적 평가를 제공하여, CRS-R 평가 오류를 판정할 수 있는 의식장애평가장치를 제공하고자 한다.

상기 과제를 해결하기 위하여, 본 발명은 영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치에 대한 시선좌표정보를 생성하기 위한 시선추적부를 포함하는 머리착용형 디스플레이장치, 및 사용자에게 시각자극을 줄 수 있는 상기 영상 및/또는 사용자에게 청각자극을 줄 수 있는 소리를 제공하고, 상기 영상 및/또는 소리에 따른 상기 시선좌표정보 및 사용자 시선의 이동거리에 대한 시선이동정보를 이용하여 사용자에 대한 적어도 하나의 의식장애평가지표를 산출하는 연산장치를 포함하되, 상기 의식장애평가지표는, CRS-R(Coma Recovery Scale - Revised)의 오류 가능성을 판정하는 지표인 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치를 제공한다.

일 실시예에 따라, 상기 시선추적부는, 적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치와, 상기 적외선이 조사된 사용자의 눈을 촬영하는 카메라와, 상기 카메라의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선좌표정보를 생성하기 위한 프로세서를 포함할 수 있다.

일 실시예에 따라, 상기 영상 및/또는 소리는, 시청각무자극 영상, 시각적고정유도 시각자극 영상, 시각적고정유도 시청각자극 영상 및 소리, 시각적추적유도 시각자극 영상, 시각적추적유도 시청각자극 영상 및 소리, 방향성이 있는 반응을 유도하기 위한 청각자극 소리, 그리고 방향성이 있는 반응을 유도하기 위한 시청각자극용 영상 및 소리 중 적어도 어느 하나를 포함할 수 있다.

일 실시예에 따라, 상기 의식장애평가지표는, 청각자극에 대한 상기 시선좌표정보를 근거로 산출한 AL지표(Auditory Localization score), 청각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-A지표(Relative Pupil Trajectory Length - Auditory score) 및 시각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-V지표(relative pupil trajectory length - visual score) 중 적어도 하나일 수 있다.

일 실시예에 따라, 상기 AL지표는, 상기 연산장치가 방향성이 있는 반응을 유도하기 위한 청각자극 소리로서 좌우측에서 번갈아가며 청각적인 단위자극을 주기 위한 소리를 제공하였을 때, 반복적인 단위자극에 따른 상기 시선좌표정보의 평균값을 근거로 하되, 상기 반복적인 단위자극이 사용자의 우측에서 제공되었을 때의 상기 시선좌표정보의 평균값과, 상기 반복적인 단위자극이 사용자의 좌측에서 제공되었을 때의 상기 시선좌표정보의 평균값의 차이일 수 있다.

일 실시예에 따라, 상기 RPTL-A지표는, 상기 연산장치가 방향성이 있는 반응을 유도하기 위한 청각자극 소리와, 방향성이 있는 반응을 유도하기 위한 시청각자극용 영상 및 소리를 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 a값을 산출하고, 상기 연산장치가 시청각무자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 b값을 산출한 다음, 상기 a값을 상기 b값으로 나누어 산출될 수 있다.

일 실시예에 따라, 상기 RPTL-V지표는, 상기 연산장치가 시각적고정유도 시각자극 영상과, 시각적추적유도 시각자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 c값을 산출하고, 상기 연산장치가 시청각무자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 d값을 산출한 다음, 상기 c값을 상기 d값으로 나누어 산출될 수 있다.

일 실시예에 따라, 상기 연산장치는, 상기 CRS-R의 청각영역(auditory domain)의 점수가 1점 내지 2점일 때 상기 AL지표가 25 미만이 아니거나, 상기 CRS-R의 청각영역(auditory domain)의 점수가 3점 내지 4점일 때 상기 AL지표가 50 미만이 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려줄 수 있다.

일 실시예에 따라, 상기 연산장치는, 상기 CRS-R의 청각영역(auditory domain)의 점수가 1점 내지 2점일 때 상기 RPTL-A지표가 150 미만이 아니거나, 상기 CRS-R의 청각영역의 점수가 3점일 때 상기 RPTL-A지표가 200 미만이 아니거나, 상기 CRS-R의 청각영역의 점수가 4점일 때 상기 RPTL-A지표가 200 초과 600 미만이 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려줄 수 있다.

일 실시예에 따라, 상기 연산장치는, 상기 CRS-R의 시각영역(visual domain)의 점수가 0점일 때 상기 RPTL-V지표가 50 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 1점일 때 상기 RPTL-V지표가 100 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 2점일 때 상기 RPTL-V지표가 250 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 3점일 때 상기 RPTL-V지표가 300 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 4점일 때 상기 RPTL-V지표가 50 초과 350 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 5점일 때 상기 RPTL-V지표가 250 초과가 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려줄 수 있다.

본 발명의 일 실시예에 따르면, 의식장애 환자의 의식수준에 대한 정량적 평가를 제공함으로써, 정성적으로 평가가 이루어지는 CRS-R 평가의 오류를 판정할 수 있다.

또한, 장비의 소형화가 가능하여 임상 적용이 용이하므로 환자의 인지 상태 변화에 따른 시계열 데이터를 확보하기 용이하고, 자세를 잡기 어려운 환자(일 예로 와상상태의 환자)에게도 동일한 시청각자극을 제공하여, 객관적인 평가결과를 확보할 수 있다.

또한, 가상현실 내에서 환자에게 큰 시야각을 통해 들어오는 제어된 시각 자극을 제공하기 때문에, 현실에서 환자에게 제공하는 시각 자극에 비해 명백한 시각 자극을 제공할 수 있다.

또한, 가상현실 내에서 감각자극을 제공하여 그에 따른 안구 움직임을 측정하기 때문에 평가자의 주관이 개입될 여지가 없다.

또한, 인지 기능에 대한 정량적 수치를 시계열적으로 누적확보할 수 있기 때문에, 환자의 인지 기능 변화를 발견(detection)하기 용이하다. 즉 높은 민감도를 가질 수 있다.

또한, 객관적이고 정량적 수치를 결과변수로 제시하는 장비를 활용하여 인지평가를 시행할 경우, 다중심의 연구(multi-centered study)시 결과를 통합하여 분석하기 용이하다. 즉 다양한 치료에 따른 효과 크기(effect size)를 계산하고 비교할 수 있다.

도 1은 본 발명의 일 실시예에 따른 의식장애평가장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 의식장애평가장치의 머리착용형 디스플레이장치를 나타낸 도면이다.
도 3 내지 12는 본 발명의 일 실시예에 따른 시각자극영상을 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성 요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 의식장애평가장치의 구성도이고, 도 2는 그 중 머리착용형 디스플레이장치의 외관을 나타낸 도면이다.

도 1 및 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 의식장애평가장치(100)는, 영상을 표시하는 디스플레이부(111)와, 상기 영상을 바라보는 사용자 시선의 위치에 대한 시선좌표정보를 생성하기 위한 시선추적부(112)를 포함하는 머리착용형 디스플레이장치(110), 및 사용자에게 시각자극을 줄 수 있는 영상 및/또는 사용자에게 청각자극을 줄 수 있는 소리를 제공하고, 상기 영상 및/또는 소리에 따른 시선좌표정보 및 시선이동정보를 이용하여 사용자에 대한 적어도 하나의 의식장애평가지표를 산출하는 연산장치(120)를 포함하여, 의식장애 환자의 의식수준에 대한 정량적 평가를 제공하여, CRS-R 평가의 오류를 판정할 수 있다.

여기서, 시선좌표정보는 임의의 기준점에 대한 사용자 동공(pupil)의 위치를 나타낸 것으로, 가로축에 따른 x좌표와 세로축에 따른 y좌표로 나타낼 수 있다. 또한 시선이동정보는 어느 한 동공의 위치에서 또 다른 동공의 위치까지의 거리를 나타낼 수 있다.

상기 시선좌표정보 및 시선이동좌표는 특별히 한정하지 않으나, 머리착용형 디스플레이장치(110)의 프로세서(1123)가 산출할 수도 있고, 연산장치(120)가 산출할 수도 있다.

또한, 연산장치(120)가 산출하는 의식장애평가지표는 CRS-R(Coma Recovery Scale - Revised)의 점수와 비교대상이 되는 것으로, CRS-R의 점수와 비교하여, CRS-R의 오류 가능성을 판정할 수 있는 기준이 될 수 있다.

다만, 도 1에 도시한 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 의식장애평가장치가 구현될 수 있음은 물론이다.

또한, 도 1에 도시한 구성요소들은 기능에 따라 구분하여 표시한 것으로 구성요소들 중 적어도 어느 하나는 다른 하나에 포함되도록 구현될 수 있다.

이하, 각 구성요소들에 대해 살펴보기로 한다.

머리착용형 디스플레이장치(110)는 내부에 사용자의 눈과 마주하는 곳에 디스플레이부(111)가 위치하되, 디스플레이부(111)는 머리착용형 디스플레이장치(110)의 외부에선 보이지 않고, 내부에서만 보이도록 배치되어 있을 수 있다.

디스플레이부(111)에 표시되는 화면(111)은 가상현실컨텐츠(VR; Virtual Reality 컨텐츠) 중 사용자의 시선에 대응하는 영상일 수 있다. 본 명세서에서 사용하는 용어 중 영상은 정지영상과 동영상을 포함할 수 있다.

가상현실컨텐츠는 여러 시점을 가진 영상으로서, 일 예로, 하나의 카메라를 이동시켜 가며 촬영한 복수의 영상을 결합하여 생성한 영상이거나, 여러 대의 카메라로 같은 공간 내 서로 다른 시점에서 촬영한 복수의 영상을 결합하여 생성한 영상이거나, 화각이 넓은 한 대의 카메라로 촬영한 영상일 수 있다. 물론, 카메라로 촬영된 영상에 한하는 것은 아니며, 일 예로 게임 영상과 같이 인위적으로 제작한 컨텐츠도 포함할 수 있다.

한편, 디스플레이부(111)는 영상을 표시하기 위한 수단으로서, 액정 디스플레이(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등으로 영상을 표시할 수 있다.

전술한 바와 같이, 디스플레이부(111)는 가상현실컨텐츠를 표시하되 전체 영상 중 일 시점에 대응하는 적어도 일부 영상을 표시할 수 있고, 머리착용형 디스플레이장치(110)를 착용한 사용자의 움직임에 상관없이 영상은 고정될 수 있다.

이때, 본 발명의 일 실시예에 따른 시선추적부(112)는, 도 2에 도시한 바와 같이, 사용자의 양안 각각에 대하여 개별적으로 구분하여 시선좌표정보를 생성할 수 있도록 하기 위한 것이 바람직하다.

구체적으로, 시선추적부(112)는 적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치(1122)와, 피사체인 적외선이 조사된 사용자의 눈을 촬영하는 카메라(1121)와, 카메라(1121)의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선이동정보를 생성하는 프로세서(1123)를 포함할 수 있다.

적외선발광장치(1122)는 머리착용형 디스플레이장치(110)의 내측에 위치하여, 사용자의 눈에 적외선을 조사할 수 있도록 배치될 수 있고, 카메라(1121) 역시, 머리착용형 디스플레이장치(110)의 내측에 위치하여, 사용자의 눈을 촬영할 수 있도록 배치될 수 있다.

즉, 적외선발광장치(1122)는 디스플레이부(111)에 표시된 영상을 바라보고 있는 사용자 눈에 적외선을 조사할 수 있고, 카메라(1121)는 적외선이 조사된 사용자의 눈을 촬영할 수 있다. 이때 카메라(1121)에 의해 촬영된 영상에서는 사용자의 각막에서 반사된 적외선이 나타나며, 프로세서(1123)는 적외선 영상에 포함된 사용자의 홍채와 동공 중 동공을 추출하고, 이로부터 사용자의 시선 위치를 검출할 수 있다. 프로세서(1123)는 카메라(1121)에 의해 촬영된 연속된 영상 프레임들에서 각각 검출된 시선의 위치를 이용하여 시선좌표정보를 생성할 수 있다.

구체적인 예로서, 프로세서(1123)는 적외선을 이용하여 촬영한 사용자 눈에 대한 영상에서 Haar-like features 등과 같은 객체의 특징을 찾는 방법을 이용하여 눈의 위치를 검출하고, 가장자리검출(edge detection) 방법을 이용하여 홍채와 동공을 검출하며, 홍채와 동공의 상대적인 위치에 기반하여, 사용자의 시선 위치를 검출할 수 있다. 이 이외에도 공지된 다양한 방법에 따라 사용자의 시선의 좌표나 그 이동을 추적할 수 있음은 물론이다.

한편, 연산장치(120)는 고정형 또는 이동형 단말기로서, 상기 머리착용형 디스플레이장치(110)와 유선 또는 무선으로 통신 가능하도록 연결되어, 사용자에게 시각자극을 줄 수 있는 영상 및/또는 소리를 제공하고, 영상 및/소리에 따라 시선추적부(112)를 통해 수집한 시선좌표정보나 그에 따른 동공 좌표의 이동에 따른 시선이동정보를 이용하여, 사용자의 의식장애를 평가할 수 있다.

연산장치(120)는, 구체적으로 시청각무자극 영상, 시각적고정유도 시각자극 영상, 시각적고정유도 시청각자극 영상 및 소리, 시각적추적유도 시각자극 영상, 시각적추적유도 시청각자극 영상 및 소리, 방향성이 있는 반응을 유도하기 위한 청각자극 소리, 그리고 방향성이 있는 반응을 유도하기 위한 시청각자극용 영상 및 소리 중 적어도 하나를 마련하여, 머리착용형 디스플레이장치(110)의 디스플레이부(111) 및/또는 스피커(113)를 통해 사용자에게 제공할 수 있다.

즉, 본 발명의 일 실시예에 따른 의식장애평가장치(100)는 사용자에게 청각을 자극할 수 있는 음향을 출력하되 좌우 양측이 개별적으로 출력 제어될 수 있는 스피커(113)를 포함할 수 있다.

이때, 스피커(113)는 사용자의 귀에 끼우거나 밀착 가능한 이어폰인 것이 바람직하다.

또한, 스피커(113)는 사용자에게 시청각 자극을 동시에 제공할 수 있도록, 머리착용형 디스플레이장치(110)의 디스플레이부(111)를 통해 출력하는 영상과 상호 연동되어 출력되는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따라 디스플레이부(111) 및/또는 스피커(113)에 의해 출력되는 영상 및/또는 소리는, 구체적인 일 예로, 도 3 내지 12에 순차적으로 도시한 바와 같이, 시각적 자극을 제공하지 않는 블랭크(blank) 상태의 시청각무자극 영상(도 3 참조)이거나, 시각적놀람(visual startle)을 유도하기 위한 시각자극 영상(도 4 참조)이거나, 시각적고정(visual fixation)을 유도하기 위한 시각자극 영상(도 5 참조)이거나, 시각적추적(visual pursuit)을 유도하기 위한 시각자극 영상(도 6 참조)이거나, 방향성이 있는 반응을 유도하기 위한 청각자극 소리와 이를 위한 시각 무작극 영상(도 7 참조)이거나, 방향성이 있는 반응을 유도하기 위한 청각자극 및 시각자극을 위한 소리 및 영상(도 8 참조)이거나, 시각적고정(visual fixation) 유도를 위한 시청각 자극 영상(도 9 참조)이거나, 시각적추적(visual pursuit) 유도를 위한 시청각 자극 영상(도 10 참조)이거나, 좌/우 번갈아 나타나는 체커보드(checkerboard)를 이용한 시각적고정(visual fixation) 유도를 위한 시청각 자극 영상(도 11 참조)이거나, 좌/우 무작위로 나타나는 체커보드(checkerboard)를 이용한 시각적고정(visual fixation) 유도를 위한 시청각 자극 영상(도 12 참조)을 포함할 수 있다.

본 발명의 일 실시예에 따른 연산장치(120)는 전술한 바와 같이 영상 및/또는 소리를 이용하여 사용자에게 제공하고, 그에 따른 반응, 즉 동공 좌표 및 동공 이동을 이용하여, CRS-R의 점수와 비교 대상이되는 의식장애평가지표를 산출할 수 있다.

여기서, 의식장애평가지표는 청각자극에 대한 상기 시선좌표정보를 근거로 산출한 AL지표(Auditory Localization score), 또는 청각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-A지표(Relative Pupil Trajectory Length - Auditory score), 또는 시각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-V지표(relative pupil trajectory length - visual score)일 수 있다.

여기서, AL지표는 연산장치(120)가 사용자에게 도 7에서 도시한 시각 무작극 영상을 제공함과 동시에, 사용자의 방향성이 있는 반응을 유도하기 위해 청각자극 소리를 제공하였을 때, 그에 따른 사용자의 시선좌표정보를 근거로 산출될 수 있다.

구체적으로, 연산장치(120)는 스피커(113)를 통해 사용자에게 좌우측 각각에서 교번하여 청각적인 단위자극(일 예로, 단시간 내 짧게 출력되는 소리나 호명소리 등)을 제공하고, 일 단위자극이 시작되는 시점부터 그 다음 단위자극이 시작되기 전까지의 구간에서 사용자의 시선좌표정보의 평균값일 수 있다.

여기서 시선좌표정보의 평균값은, 시간상 인접한 두 단위자극 간 생성된 사용자의 동공 좌표의 합을 그 피합산의 개수로 나눈 값일 수 있으며, 이때 연산장치(120)는 단위자극이 사용자의 우측에서 제공되었을 때의 상기 시선좌표정보의 평균값과, 단위자극이 사용자의 좌측에서 제공되었을 때의 상기 시선좌표정보의 평균값의 차이(= 단위자극이 사용자 우측에서 제공되었을 때의 동공위치의 평균값 - 단위가극이 사용자 좌측에서 제공되었을 때의 동공위치의 평균값)를 AL지표로 할 수 있다.

여기서, AL지표 산정의 대상이 되는 시선좌표정보는 사용자의 좌안에 대한 것이나, 또는 사용자의 우안에 대한 것이거나, 또는 사용자의 좌안 및 우안에 대한 것의 합 또는 평균한 것 등일 수 있다.

또한, 상기 RPTL-A지표는 사용자의 청각자극에 대한 시선이동좌표를 근거로 산출될 수 있다.

구체적으로, 연산장치(120)가 RPTL-A지표를 산출하기 위해, 먼저 연산장치(120)는 사용자에게 도 7에서 도시한 시각 무자극 영상을 제공함과 동시에 방향성이 있는 반응을 유도하기 위한 청각자극 소리를 제공하고, 연속하여 도 8에 도시한 사용자에게 방향성이 있는 반응을 유도하기 위한 영상 및 소리(일 예로, 좌우측 각각에 바나나/오렌지가 배치된 영상과 함께 "바나나를 보세요" 또는 "오렌지를 보세요"라는 음성)을 제공하였을 때, 상기 자극을 제공한 총 시간동안 사용자의 동공 좌표가 움직인 총 거리를, 상기 자극을 제공한 시간으로 나눈 값인 a값을 산출할 수 있다.

그리고 연산장치(120)는 사용자에게 도 3에 도시한 시각 무자극 영상을 제공하였을 때, 자극을 제공한 총 시간동안 사용자의 동공 좌표가 움직인 총 거리를, 상기 자극을 제공한 시간으로 나눈 값인 b값을 산출할 수 있다.

이렇게 산출된 a값 및 b값을 이용하여 연산장치(120)는 상기 a값에서 상기 b값을 나누어 RPTL-A지표(= a/b)로 산정할 수 있다.

또한, 상기 RPTL-V지표는 사용자의 시각자극에 대한 시선이동좌표를 근거로 산출될 수 있다.

구체적으로, 연산장치(120)가 RPTL-V지표를 산출하기 위해, 먼저 연산장치(120)는 사용자에게 도 5에 도시한 시각적고정을 유도하기 위한 시각자극 영상(일 예로, 화면 내 어느 한 임의의 위치에 출력된 오브젝트가 소정 시간이 지난 후 다른 한 임의의 위치에 출력되는 영상)을 제공하고, 연속하여 도 6에 도시한 사용자에게 시각적추적을 유도하기 위한 시각자극 영상(일 예로, 화면 내 어느 한 임의의 위치에 출력된 오브젝트가 연속하여 다른 위치로 이동하는 모습이 출력되는 영상)을 제공하였을 때, 자극을 제공한 총 시간동안 사용자의 동공 좌표가 움직인 총 거리를, 상기 자극을 제공한 시간으로 나눈 값인 c값을 산출할 수 있다.

그리고 연산장치(120)는 사용자에게 도 3에 도시한 시각 무자극 영상을 제공하였을 때, 자극을 제공한 총 시간동안 사용자의 동공 좌표가 움직인 총 거리를, 상기 자극을 제공한 시간으로 나눈 값인 d값을 산출할 수 있다.

이렇게 산출된 c값 및 d값을 이용하여 연산장치(120)는 상기 c값에서 상기 d값을 나누어 RPTL-V지표(= c/d)로 산정할 수 있다.

연산장치(120)는 상기와 같은 과정을 통해 AL지표, RPTL-A지표 및/또는 RPTL-V지표를 산출한 다음 이를 정성적으로 이루어진 CRS-R 평가 점수와 비교함으로써 CRS-R 평가에 대한 오류를 판정할 수 있고, 만약 CRS-R 평가에 대한 오류가 있은 경우 연산장치(120)는 CRS-R의 오류 가능성이 있음을 화면이나 소리 따위로 외부에 알려 줄 수 있다.

실시예

의식장애 환자 14명과 일반인 3명을 대상으로 의식장애평가장치(100)가 AL지표, RPTL-A지표 및 RPTL-V지표를 산출하였고, 이를 CRS-R의 점수와 비교해보았을 때, 하기와 같은 조건에서 CRS-R 평가에 오류가 있음을 확인할 수 있었다.

구체적으로, CRS-R의 청각영역(auditory domain)에서의 점수가 1점(Auditory Startle) 내지 2점(Localization to Sound)일 때 AL지표가 25 미만이 아니거나, 또는 CRS-R의 청각영역에서의 점수가 3점(Reproducible Movement to Command) 내지 4점(Consistent Movement to Command)일 때 AL지표가 50 미만이 아닌 경우, CRS-R 청각영역 평가에 오류가 있었다.

물론, 여기서 AL지표는 0 이상의 수이다.

동일하게, CRS-R의 청각영역(auditory domain)에서의 점수가 1점(Auditory Startle) 내지 2점(Localization to Sound)일 때 RPTL-A지표가 150 미만이 아니거나, 또는 CRS-R의 청각영역에서의 점수가 3점일 때 RPTL-A지표가 200 미만이 아니거나, 또는 CRS-R의 청각영역에서의 점수가 4점일 때 RPTL-A지표가 200 초과 600 미만이 아닌 경우, CRS-R의 청각영역 평가에 오류가 있었다.

물론, 여기서 RPTL-A지표는 0 이상의 수이다.

동일하게, CRS-R의 시각영역(visual domain)에서의 점수가 0점(None)일 때 RPTL-V지표가 50 미만이 아니거나, 또는 CRS-R의 시각영역의 점수가 1점(Visual Startle)일 때 RPTL-V지표가 100 미만이 아니거나, CRS-R의 시각영역의 점수가 2점(Fixation)일 때 RPTL-V지표가 250 미만이 아니거나, CRS-R의 시각영역의 점수가 3점(Visual Pursuit)일 때 RPTL-V지표가 300 미만이 아니거나, CRS-R의 시각영역의 점수가 4점(Object Localization Reaching)일 때, RPTL-V지표가 50 초과 350 미만이 아니거나, CRS-R의 시각영역의 점수가 5점(Object Recognition)일 때, RPTL-V지표가 250 초과가 아닌 경우, CRS-R의 시각영역 평가에 오류가 있었다.

물론, 여기서 RPTL-V지표는 0 이상의 수이다.

이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 의식장애평가장치 110: 머리착용형 디스플레이장치
111: 디스플레이부 112: 시선추적부
1121: 카메라 1122: 적외선발광장치
1123: 프로세서 113: 스피커
120: 연산장치

Claims

영상을 표시하는 디스플레이부와, 상기 영상을 바라보는 사용자 시선의 위치에 대한 시선좌표정보를 생성하기 위한 시선추적부를 포함하는 머리착용형 디스플레이장치; 및
사용자에게 시각자극을 줄 수 있는 상기 영상 및/또는 사용자에게 청각자극을 줄 수 있는 소리를 제공하고, 상기 영상 및/또는 소리에 따른 상기 시선좌표정보 및 사용자 시선의 이동거리에 대한 시선이동정보를 이용하여 사용자에 대한 적어도 하나의 의식장애평가지표를 산출하는 연산장치;
를 포함하되,
상기 의식장애평가지표는, CRS-R(Coma Recovery Scale - Revised)의 오류 가능성을 판정하는 지표로, 청각자극에 대한 상기 시선좌표정보를 근거로 산출한 AL지표(Auditory Localization score), 청각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-A지표(Relative Pupil Trajectory Length - Auditory score) 및 시각자극에 대한 상기 시선이동정보를 근거로 산출한 RPTL-V지표(relative pupil trajectory length - visual score) 중 적어도 하나이고,
상기 AL지표는, 상기 연산장치가 방향성이 있는 반응을 유도하기 위한 청각자극 소리로서 좌우측에서 번갈아가며 청각적인 단위자극을 주기 위한 소리를 제공하였을 때, 반복적인 단위자극에 따른 상기 시선좌표정보의 평균값을 근거로 하되, 상기 반복적인 단위자극이 사용자의 우측에서 제공되었을 때의 상기 시선좌표정보의 평균값과, 상기 반복적인 단위자극이 사용자의 좌측에서 제공되었을 때의 상기 시선좌표정보의 평균값의 차이인 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
제 1 항에 있어서,
상기 시선추적부는,
적외선을 발생하여 사용자의 눈에 조사하는 적외선발광장치와, 상기 적외선이 조사된 사용자의 눈을 촬영하는 카메라와, 상기 카메라의 촬영영상으로부터 동공을 검출하고 검출결과를 이용하여 상기 시선좌표정보를 생성하기 위한 프로세서를 포함하는 것을 특징으로 하는 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치.
제 1 항에 있어서,
상기 영상 및/또는 소리는,
시청각무자극 영상, 시각적고정유도 시각자극 영상, 시각적고정유도 시청각자극 영상 및 소리, 시각적추적유도 시각자극 영상, 시각적추적유도 시청각자극 영상 및 소리, 방향성이 있는 반응을 유도하기 위한 청각자극 소리, 그리고 방향성이 있는 반응을 유도하기 위한 시청각자극용 영상 및 소리 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
삭제
삭제
제 1 항에 있어서,
상기 RPTL-A지표는,
상기 연산장치가 방향성이 있는 반응을 유도하기 위한 청각자극 소리와, 방향성이 있는 반응을 유도하기 위한 시청각자극용 영상 및 소리를 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 a값을 산출하고,
상기 연산장치가 시청각무자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 b값을 산출한 다음,
상기 a값을 상기 b값으로 나누어 산출되는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
제 1 항에 있어서,
상기 RPTL-V지표는,
상기 연산장치가 시각적고정유도 시각자극 영상과, 시각적추적유도 시각자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 c값을 산출하고,
상기 연산장치가 시청각무자극 영상을 제공하였을 때, 자극을 제공한 시간에 대비되는 상기 시선이동정보인 d값을 산출한 다음,
상기 c값을 상기 d값으로 나누어 산출되는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
제 1 항에 있어서,
상기 연산장치는,
상기 CRS-R의 청각영역(auditory domain)의 점수가 1점 내지 2점일 때 상기 AL지표가 25 미만이 아니거나, 상기 CRS-R의 청각영역(auditory domain)의 점수가 3점 내지 4점일 때 상기 AL지표가 50 미만이 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려주는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
제 1 항에 있어서,
상기 연산장치는,
상기 CRS-R의 청각영역(auditory domain)의 점수가 1점 내지 2점일 때 상기 RPTL-A지표가 150 미만이 아니거나, 상기 CRS-R의 청각영역의 점수가 3점일 때 상기 RPTL-A지표가 200 미만이 아니거나, 상기 CRS-R의 청각영역의 점수가 4점일 때 상기 RPTL-A지표가 200 초과 600 미만이 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려주는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.
제 1 항에 있어서,
상기 연산장치는,
상기 CRS-R의 시각영역(visual domain)의 점수가 0점일 때 상기 RPTL-V지표가 50 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 1점일 때 상기 RPTL-V지표가 100 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 2점일 때 상기 RPTL-V지표가 250 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 3점일 때 상기 RPTL-V지표가 300 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 4점일 때 상기 RPTL-V지표가 50 초과 350 미만이 아니거나, 상기 CRS-R의 시각영역의 점수가 5점일 때 상기 RPTL-V지표가 250 초과가 아닌 경우, 상기 CRS-R의 오류 가능성이 있음을 외부로 알려주는 것을 특징으로 하는 가상현실 기반 시선추적을 통한 의식장애평가장치.