KR101660157B1

KR101660157B1 - 시선 추적 기반 재활 시스템

Info

Publication number: KR101660157B1
Application number: KR1020150009908A
Authority: KR
Inventors: 박강령; 김성민; 방재원; 홍형길; 김기완; 이승철
Original assignee: 동국대학교 산학협력단
Priority date: 2015-01-21
Filing date: 2015-01-21
Publication date: 2016-09-26
Also published as: KR20160090065A

Abstract

본 발명의 일 실시예로써 시선 추적 기반 재활 시스템이 제공된다. 시선 추적 기반 재활 시스템은, 환자의 눈이 포함된 영상을 획득하기 위한 영상획득부, 획득된 영상에 기초하여 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부, 검출된 동공 중심과 각막의 반사광 중심을 이용하여 환자의 시선 위치를 추적하기 위한 시선추적부, 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부 및 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부를 포함할 수 있다.

Description

시선 추적 기반 재활 시스템{REHABILITATION SYSTEM BASED ON GAZE TRACKING}

본 발명은 시선 추적 기반 재활 시스템에 관한 것으로, 더욱 상세하게는 환자의 얼굴 영상을 획득하고 동공 중심 검출, 각막 반사광 검출 등을 수행하여 환자의 시선을 추적함으로써 인지 재활 및 편측 마비 환자의 재활을 위한 시스템에 관한 것이다.

종래의 인지 재활 치료 방식으로 전통적인 치료법과 전산화 인지 재활(Computerized Cognitive Rehabilitation)등 방법이 사용되어 왔다. 특히 전산화 인지 재활 치료의 경우, 컴퓨터 게임과 같은 형태로 사용자가 쉽고 흥미롭게 주어진 과제를 수행할 수 있으며 환자의 일상 생활에서 인지 기능 장애 또는 편측 마비로 인한 불편을 해소하는데 도움을 줄 수 있다는 점에서 근래에 빈번하게 이용되고 있다.

다만, 종래의 전산화 인지 재활 훈련의 경우, 옆에서 환자를 보조하기 위해서 의사 또는 간호사들이 제대로 훈련을 받고 있는 지 유무를 구두로 물어보기 때문에 환자가 재활 치료를 잘 수행하고 있는지 판단하기 어렵다는 문제가 발생하며, 편측 마비 환자의 경우에도 마비에 의한 시선 위치가 다르므로 훈련을 제대로 받는지 판단하기 어렵다는 문제가 발생한다.

전술한 문제를 해결하기 위하여, 본 발명의 일 실시예로서 환자의 시선 위치를 기록하여 자동으로 분석함으로써 훈련 효과를 자동으로 판단하는 방법이 제공될 수 있다. 본 발명의 일 실시예에 따르면, 환자의 시선 위치를 추적하고, 시선 위치 정보를 통해 마우스와 동일하게 인지 및 편측 마비 재활 시스템의 제어가 가능할 수 있다.

본 발명에 따르면 별도의 입력 장치인 조이스틱 또는 키보드 이외에도 환자의 눈 깜박임(Blinking) 또는 드웰 타임(Dwell time)을 통해서 인지 선택 훈련이 가능할 수 있다. 또한, 인지 및 편측 마비 환자의 경우 시선을 통한 눈 훈련과 별도의 입력 장치인 키보드 또는 조이스틱 등을 이용한 손 훈련이 가능할 수 있다.

환자의 시선 위치를 자동으로 분석함으로써 훈련 효과 등의 판단이 가능하며, 시선을 통한 제어를 통해 환자의 흥미도를 높여 보다 장시간의 사용을 유도하여 재활 훈련의 효과를 향상키는 것을 목적으로 한다.

본 발명의 일 실시예로써, 시선 추적 기반 재활 시스템이 제공될 수 있다. 시스템은 환자의 눈이 포함된 영상을 획득하기 위한 영상획득부, 획득된 영상에 기초하여 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부, 검출된 동공 중심과 각막의 반사광 중심을 이용하여 환자의 시선 위치를 추적하기 위한 시선추적부, 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부 및 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상획득부는 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상획득부는 조명부를 더 포함하고, 조명부는 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함할 수 있다.

본 발명의 일 실시예에 따른 시선추적부는 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 환자의 시선 위치를 추적할 수 있다.

본 발명의 일 실시예에 따른 환자의 재활을 위한 훈련컨텐츠는 문자, 숫자, 부호, 색상, 방향성 중 적어도 하나를 나타내기 위한 이미지를 포함할 수 있다.

본 발명의 일 실시예에 따른 시선추적부는 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부를 더 포함하고, 제어부는 시선변화 기록부에 저장된 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 디스플레이부를 통하여 디스플레이되도록 할 수 있다.

본 발명의 일 실시예에 따른 제어부는 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나를 변경하고, 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 디스플레이부를 통하여 디스플레이되게 할 수 있다.

본 발명의 일 실시예에 따른 훈련정보는 환자가 훈련컨텐츠를 변경하는 정도에 따라 부과된 점수 정보, 훈련컨텐츠에 대한 환자의 반응시간정보, 반응속도정보 및 훈련컨텐츠의 제공 난이도 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 일 실시예에 따른 시스템은 환자의 손 훈련이 가능한 부가 입력부를 더 포함하고, 부가 입력부는 제어부와 연결되고, 환자의 시선 위치와 동기화되어 동작 가능할 수 있다.

본 발명의 일 실시예에 따른 시선추적 기반 전산화 인지 치료 및 편측 마비 훈련 시스템을 통하여 환자의 시선의 졸음 여부, 환자의 훈련 유무를 시선을 통해 지속적으로 모니터링 가능하고, 시선을 통한 재활 프로그램 제어로 환자의 흥미도를 높여서 환자의 인지 훈련 및 편측 마비 훈련 치료를 극대화 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 블록도이다.
도 3은 동공을 이용하여 시선을 추적하는 방법의 일 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 다른 예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 개략도이다.

본 발명의 일 실시예로써 제공되는 시선 추적 기반 재활 시스템에 따르면, 환자의 인지 및 편측 마비 재활 치료를 위하여 환자의 시선 위치를 추적하기 위해서는 적외선 조명기구와 같은 조명부(130)와 환자의 양 눈 영상 촬영이 가능한 카메라 등의 영상획득부(110)를 통하여 안면 영상을 취득하고, 획득된 안면 영상에 기초하여 양 눈의 동공 중심과 적외선 조명에 의해 발생되는 각막 반사광 중심 위치를 획득할 수 있다. 획득된 양 눈의 동공 중심과 각막 반사광 중심 위치를 기반으로 기하학적 변환(Geometric Transform)을 통해 환자의 시선 위치 정보를 획득하고, 환자의 시선 위치 정보 이용하여 마우스 등의 부가 입력부(195)와 동일하게 인지 및 편측 마비 환자의 재활 또는 치료를 위한 시스템의 제어가 가능하며 별도의 부가 입력부(195)가 없더라도 환자의 눈 정보를 기반으로 재활 훈련이 가능할 수 있다.

본 발명에서 사용될 시선 추적 기술로는 종래의 시선 추적 기술이 사용될 수 있다. 따라서, 이하에서는 시선 추적 기술에 대한 설명 보다는 인지 재활 및 편측마비 재활 훈련 과정에 대한 설명을 중점적으로 다루도록 한다.

도 1에서와 같이 환자가 앉아서 정면의 모니터를 보면서 실제 재활 치료 프로그램을 통한 훈련을 받기 위해서는, 의사나 간호사 등의 사용자가 환자를 의자에 앉히고 재활 치료를 받을 수 있도록 도와 주어야 한다. 사용자는 환자를 최대한 움직이지 않도록 하고, 시선 추적을 실행할 수 있다. 환자는 전방의 화면을 보면서, 시선으로 모니터 상에서 화면에서 제시되는 몇 개의 점을 응시한다. 환자가 제시된 몇 개의 점을 응시가 끝난 경우 환자의 정보 및 시선 보정(calibration)을 통한 환자의 모니터 대비 환자의 시선 정보를 등록하여 저장하고, 실시간 시선 추적이 진행될 수 있다. 사용자는 인지, 편측 마비 재활 치료 시스템을 통한 재활 프로그램을 실행시킬 수 있다. 환자의 경우에도 시선 추적 상태이므로, 환자의 시선 정보를 이용하여 인지, 편측 마비 재활 치료 시스템을 실행시킬 수 있다. 인지, 편측 마비 재활 치료를 위한 재활 프로그램 화면은 도 4 내지 도 7과 같이 디스플레이될 수 있지만, 반드시 이에 제한되는 것은 아니다.

기존에 환자는 인지, 편측 마비 재활 치료를 받고자 할 경우, 의사 또는 간호사 등의 사용자가 훈련을 잘하고 있는지 정기적으로 또는 간헐적으로 구두로 물어봐야 했으며, 지속적으로 환자를 관찰할 필요가 있었다. 그러나, 본 발명의 일 실시예에서와 같이, 환자의 시선을 실시간으로 추적하게 된다면 사용자는 재활을 위한 훈련 프로그램을 잘 수행하고 있는지 여부를 환자에게 구두로 물어볼 필요 없이 환자의 상태를 체크하거나 환자의 시선 움직임 등의 시선 정보의 변화도를 관찰함으로써 환자의 재활 훈련 효과를 검증할 수 있다.

도 1을 참조하면, 시선 추적 시스템(1000)에는 환자의 시선 위치를 추적하기 위해 환자의 양 눈이 포함된 얼굴 영상을 획득하기 위한 영상획득부(110)이 포함될 수 있다. 영상획득부(110)는 CCD 카메라 또는 CMOS 카메라 등을 포함할 수 있다. 또한, 영상획득부(110)에는 외부 조명에 강인한 적외선 조명기기 등이 조명부(130)로서 포함될 수 있다.

예를 들어, 환자의 안면 영상은 적외선 조명 환경 하에서 양 눈이 포함되도록 획득(140)될 수 있다. 이러한 안면 영상은 영상획득부(110)를 통하여 실시간으로 획득될 수 있다.

획득된 안면 영상에서 동공 중심을 검출(150)하기 위해서 기존에 많이 사용되는 CED(Circular Edge Detection), 캐니 경계 검출(Canny Boundary Detection), 타원 경계 검출 (Ellipse Boundary Detection)등이 적용될 수 있다. 또한, 획득된 안면 영상에서 적외선 조명에 의한 각막 반사광을 검출하기 위해서 기존에 많이 사용하는 이진화(Binarization)와 컴포넌트 라벨링(Component Labeling) 등의 기법을 사용하여 각막 반사광의 정확한 위치 검출(160)이 가능하다.

검출된 동공 중심과 각막 반사광에 대한 정보를 기반으로 한 기하학적 변환(170)을 통해 환자의 시선 위치가 포함된 시선 정보(199)가 획득될 수 있다. 환자 시선의 정확한 추적을 위하여 초기에는 획득된 환자의 시선 위치에 대한 보정 과정이 더 수행될 수 있다. 보정 과정이란, 도 3에서와 같이 눈 영상에서의 동공 중심과 모니터의 관계를 매핑하기 위해 모니터 상의 정해진 몇 개의 점을 미리 사용자가 응시하는 방식 등으로 수행될 수 있다. 이러한 보정 과정은 시선 위치 추적의 전처리(pre-processing) 단계이다. 기하학적 변환 기법으로는 Geometric Transformation, Epipolar Geometry 등이 있다. 이러한 기하학적 변환 기법을 이용하여 환자의 시선 추적 정확도를 향상시킬 수 있다.

디스플레이부(1400)를 통하여 디스플레이된 화면에 대하여 기하학적 변환을 이용하여 획득된 환자의 시선 위치에 따라 인지 및 편측 마비 재활 치료 프로그램의 동작을 제어할 수 있다. 환자의 시선 위치의 변화는 화면 상의 커서 등과 동기화되어 환자가 시선을 움직이는 것만으로 마우스, 키보드 등의 부가 입력부(195)를 이용하여 프로그램의 동작을 제어하는 것과 동일한 기능을 수행할 수 있다. 다시 말해서, 환자의 시선 변화에 따라서 재활을 위한 화면의 제어가 가능하다. 인지, 편측 마비 재활 치료 시스템을 통한 재활 프로그램은 도 4 내지 도 6의 GUI(Graphic User Interface)와 같이 환자에게 제공될 수 있다.

도 2는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 블록도이다.

본 발명의 일 실시예로써, 시선 추적 기반 재활 시스템(1000)이 제공될 수 있다. 시스템(1000)은 환자의 눈이 포함된 영상을 획득하기 위한 영상획득부(110), 획득된 영상에 기초하여 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부(1200), 검출된 동공 중심과 각막의 반사광 중심을 이용하여 환자의 시선 위치를 추적하기 위한 시선추적부(1300), 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부(1400) 및 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부(1500)를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상획득부(110)는 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함할 수 있다. 이러한 촬상기기는 CCD 카메라 또는 CMOS 카메라 등일 수 있다.

본 발명의 일 실시예에 따른 영상획득부(110)는 조명부(130)를 더 포함하고, 조명부(130)는 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함할 수 있다.

본 발명의 일 실시예에 따른 시선추적부(1300)는 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 환자의 시선 위치를 추적할 수 있다.

본 발명의 일 실시예에 따른 시선추적부(1300)는 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부(1310)를 더 포함하고, 제어부(1500)는 시선변화 기록부에 저장된 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 디스플레이부(1400)를 통하여 디스플레이되도록 할 수 있다. 다시 말해서, 제어부(1500)는 시선 추적을 통하여 획득된 시선 정보(199)를 분석하여, 환자가 재활을 위한 훈련을 잘 받고 있는지 여부를 판단할 수 있다. 이러한 분석은 훈련컨텐츠에 대한 환자의 시선 움직임을 통한 입력의 일치도 등에 기초하여 수행될 수 있다.

본 발명의 일 실시예에 따른 제어부(1500)는 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나를 변경하고, 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 디스플레이부(1400)를 통하여 디스플레이되게 할 수 있다.

본 발명의 일 실시예에 따른 시스템(1000)은 환자의 손 훈련이 가능한 부가 입력부(195)를 더 포함하고, 부가 입력부(195)는 제어부(1500)와 연결되고, 환자의 시선 위치와 동기화되어 동작 가능할 수 있다.

도 3은 동공을 이용하여 시선을 추적하는 방법의 일 예를 도시한다.

도 1을 참조하여 전술한 바와 같이, 영상획득부(110)를 통하여 획득한 안면 영상으로부터 동공 중심과 각막 반사광을 검출하고, 검출된 동공 중심과 각막 반사광에 대한 정보를 기반으로 한 기하학적 변환(170)을 통해 환자의 시선 위치가 포함된 시선 정보(199)가 획득될 수 있다. 환자 시선의 정확한 추적을 위하여 초기에는 획득된 환자의 시선 위치에 대한 보정(calibration) 과정이 더 수행될 수 있는데, 보정 과정이란, 도 3에서와 같이 눈 영상에서의 동공 중심과 모니터의 관계를 매핑하기 위해 모니터 상의 정해진 몇 개의 점을 미리 사용자가 응시하는 방식 등으로 수행될 수 있고, 이러한 보정 과정은 시선 위치 추적의 전처리 단계일 수 있다. 기하학적 변환 기법으로는 Geometric Transformation, Epipolar Geometry 등이 있으며, 이러한 기하학적 변환 기법을 이용하여 환자의 시선 추적 정확도를 향상시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 일 예를 도시한다.

환자가 도 4에서와 같이 이미지의 위치를 기억하는 재활 치료 훈련을 수행하는 경우, 환자는 전방의 인지 재활 치료 프로그램의 모니터 화면을 응시할 수 있다. 환자가 인지 재활 치료 프로그램의 시작 버튼을 시선으로 선택하면, 화면 상에서 적어도 하나의 이미지들이 순서대로 뒤집어진다. 환자는 예를 들어, 순차적으로 뒤집어진 9개의 이미지들 위치와 이미지를 기억한 후에, 화면 상에서 보기 이미지와 동일한 이미지를 찾으면서 훈련 점수를 획득할 수 있다. 이러한 재활 프로그램을 통하여 환자에게 흥미도를 유발할 수 있고, 시선 추적 정보를 실시간으로 지속적으로 저장하여 실제 환자의 훈련 상태 유무를 기록하므로 사용자는 환자에 대하여 구두 질의를 수행하기 보다는 환자의 인지 장애의 정도에 따라 재활 프로그램의 시작 버튼, 훈련 변경 버튼, 훈련 종료 버튼 등을 실질적으로 클릭하기 어려운 환자들만 훈련 과정 상에서 일부 도와주거나 부분적으로 관리할 수 있다. 다시 말해서, 환자의 시선 정보가 실시간으로 추적되고 기록되기 때문에 사용자는 환자의 훈련 상태 관찰과 재활 치료 효과의 검증을 효율적으로 수행할 수 있다.

도 4는 본 발명의 실시예에 따른 인지 재활 프로그램 화면의 일 예로서, 재활 프로그램의 사용방법에 대한 정보를 제공받기 위하여 사용자는 "사용방법" 안내 기능을 제공하는, 예를 들어, 버튼 형태의 이미지(310)를 클릭하여 재활 치료 프로그램의 사용방법에 대한 정보를 획득할 수 있다. 재활 프로그램이 실행이 되면 프로그램의 동작 화면으로서, 환자에게 1개 내지 9개까지의 이미지들(320)을 보여주고 뒤집은 후, 보기 창(330)에 제시된 이미지와 동일한 이미지를 찾는 기억력 훈련의 진행을 위한 화면이 제공될 수 있다. 또한, 재활 프로그램의 화면에는 남은 훈련 시간(340)이 체크되고 기록되어 디스플레이될 수 있다. 또한, 환자의 시선 움직임 등을 통하여 화면 상에 제시된 9개의 이미지들(320) 중 보기 창(330)에 제시된 이미지와 동일한 이미지를 찾으면 미리 설정된 점수가 누적적으로 부과되어 재활 프로그램의 화면 상에 표시(350)될 수 있다. 이러한 재활 프로그램은 환자 또는 사용자가 재활 프로그램의 화면 상의 시작 버튼 형태의 이미지(360)를 선택함으로써 재활 치료 훈련의 개시가 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 변경 버튼 형태의 이미지(370)를 선택함으로써, 훈련의 난이도 조절 등의 훈련환경 설정이 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(380)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다. 전술한 이미지의 선택은 소정 횟수(예컨대, 2회 등)의 환자의 눈 깜박임 또는 부가 입력부(195)를 통한 화면상의 커서의 움직임(예컨대, 상, 하, 좌 또는 우) 또는 이미지 상에서의 커서를 통한 클릭 신호의 인가 등을 통하여 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 다른 예를 도시한다.

도 5에서와 같이 이미지를 통한 환자의 반응 행동 훈련의 재활 치료를 수행하고자 하는 경우, 환자는 전방의 인지 재활 치료 프로그램의 화면을 응시하고, 화면을 통하여 제시되는 문항 이미지(410)와 동일한 이미지를 후보 이미지들(420) 중에서 시선을 통해서 선택을 해서 훈련 점수를 획득할 수 있다. 이러한 재활 프로그램을 통하여 환자에게 흥미도를 유발할 수 있고, 시선 추적 정보를 실시간으로 지속적으로 저장하여 실제 환자의 훈련 상태 유무를 기록하므로 사용자는 환자가 정확한 이미지를 선택하는지를 직접 계속적으로 육안으로 관찰할 필요 없이, 환자의 인지 장애의 정도에 따라 해당 환자가 훈련 과정을 제대로 따라가는지를 관찰하면서 환자의 훈련 상태를 판단하는 것이 가능하다.

도 5에서와 같이, 본 발명의 실시예에 따라 인지 재활 치료를 위한 재활 프로그램 화면이 환자에게 디스플레이부(1400)를 통하여 제공될 수 있다. 재활 프로그램 화면으로써 환자의 재활 치료를 위한 문항 이미지(410)과 문항 이미지(410)와 상응하는 이미지를 찾을 수 있도록 제공되는 적어도 둘 이상의 후보 이미지들(420)이 디스플레이될 수 있다. 환자의 시선의 움직임 등을 통하여 적어도 둘 이상의 후보 이미지들(420) 중 문항 이미지(410)과 동일한 이미지를 선택하면 미리 설정된 점수(430)가 누적적으로 부과되어 재활 프로그램 화면 상에 표시될 수 있다. 또한, 환자에 의한 이미지 선택에 따른 반응 속도를 측정하여 저장하고 문항 이미지(410) 제시로부터 이미지 선택까지의 경과시간(440) 등을 측정하여 재활 프로그램 화면 상에 표시되게 할 수 있다. 이러한 표시된 점수(430) 또는 경과시간(440)에 기초하여 해당 환자의 훈련 효과의 판단이 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(450)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다.

도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.

도 6에서와 같이 환자에 대하여 편측마비 재활 치료를 진행해야 하는 경우, 환자는 전방의 편측마비 재활 치료 프로그램의 화면을 응시하고, 환자는 프로그램 객체(예컨대, 강아지 등)의 상태 메뉴로써 제공되는 배고픔 또는 피곤함을 선택하여 선택된 상태에 적합한 강아지 행동 관련 이미지(예컨대, 먹이 또는 집 등)를 계속 주시하거나 환자의 시선을 해당 방향으로 반복적으로 이동시킴으로써, 행동 관련 이미지로 일정거리씩 강아지를 이동시켜 상태에 적합한 행동 관련 이미지를 최종적으로 선택할 수 있다. 환자가 행동 관련 이미지를 주시하고 있는 시간 또는 환자의 시선의 정보들을 기록하여 분석함으로써 편측마비 환자가 훈련을 제대로 받는지 여부에 대한 자동화된 판단이 가능하다. 또한, 도 7의 경우에서도 전술한 설명과 유사한 방식으로 편측마비 재활 치료를 위한 훈련이 가능하다.

도 6에서와 같이, 본 발명의 실시예에 따라 편측 마비 재활 치료를 위한 재활 프로그램 화면이 환자에게 디스플레이부(1400)를 통하여 제공될 수 있다. 편측 마비 재활 프로그램은, 편측 마비 환자가 왼쪽과 오른쪽을 반복적으로 볼 수 있도록 함으로써 편측 마비 환자의 재활을 돕기 위한 훈련을 제공하는 것이 목적이며, 도 6는 본 발명에 따른 예시적인 재활 프로그램의 화면으로써 개시된 기능과 기술에만 국한되는 것은 아니다.

도 6에서와 같이, 환자는 시선의 움직임 등을 통하여 화면 내에서 강아지(530), 먹이(540) 또는 집(550) 등을 반복적으로 선택할 수 있고, 따라서 강아지의 상태는 환자의 시선의 움직임 등에 의한 선택에 따라 좌측 또는 우측으로 반복적으로 변경될 수 있다. 재활 훈련을 위하여 재활 프로그램 실행 시, 사용자 등에 의하여 강아지가 배고픔(510) 상태로 선택된다면, 환자는 먹이(540) 위치인 화면의 좌측으로 시선을 움직여 선택했을 때 미리 설정된 점수 획득이 가능하다. 또한, 환자는 강아지(530)를 선택하고, 먹이(540) 위치에 가깝도록 강아지의 위치를 화면의 좌측으로 이동시키기 위한 시선의 움직임을 통하여 훈련을 수행할 수 있다. 이러한 환자의 훈련 진행에 따라 누적적으로 점수(560)가 획득되어 디스플레이될 수 있다. 또한, 사용자 등에 의하여 강아지가 피곤한 상태로 선택된다면, 환자는 집(550) 위치인 화면의 우측으로 시선을 움직여서 집(550)을 선택하거나, 환자는 강아지(530)를 선택하고 그리고 나서 집(550) 위치에 가깝도록 강아지의 위치를 화면의 우측으로 이동시키기 위한 시선의 움직임을 통하여 훈련을 수행할 수 있다. 이러한 훈련을 수행했을 때 환자는 미리 설정된 점수 획득이 가능하고, 환자의 훈련 진행에 따라 누적적으로 점수(560)가 획득되어 디스플레이될 수 있다. 또한, 환자의 시선의 움직임 등을 통한 화면 내 객체(530, 540 또는 550)의 선택 또는 이동까지 경과시간(570)이 측정되어 재활 프로그램 화면 상에 표시될 수 있다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(580)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다.

도 7은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.

도 7은 본 발명의 실시예에 따른 편측 마비 재활 치료 프로그램의 다른 예로써, 재활 프로그램을 실행 시 상대편 선수와 부딪히지 않고 피해야 되며 왼쪽, 오른쪽, 위 및 아래를 볼 수 있는 반복적인 훈련을 제공하는 것이 주 목적이다. 다시 말해서, 도 7은 농구 게임으로써 왼쪽과 오른쪽 방향을 선택하는 반복적인 훈련으로, 재활 훈련 실행 시 환자 또는 사용자에 의하여 "왼쪽 골대"로 공격 방향의 선택이 가능하며, 환자의 시선의 움직임을 통해 공을 가진 플레이어가 상대편 선수와 부딪히지 않고 위치를 이동하여 골대에 접근하면서 골을 넣는 방식으로 재활 훈련의 진행이 가능하다. 또한, 재활 훈련 실행 시 환자 또는 사용자에 의하여 "오른쪽 골대"로 공격 방향의 선택이 가능하며, 환자의 시선 움직임을 통해 공을 가진 플레이어가 상대편 선수와 부딪히지 않고 위치를 이동하여 골대에 접근하면서 골을 넣는 방식으로 환자의 훈련이 가능하다. 재활 훈련의 난이도는 난이도 설정키(630)를 이용하여 설정이 가능하다. 난이도가 높아질수록 플레이어 수가 늘어날 수 있다. 환자의 시선 이동 등을 통하여 플레이어가 골을 넣을 시에 미리 설정된 점수가 획득가능하고, 누적적으로 획득된 점수(640)는 화면 상에 표시될 수 있다. 환자 또는 사용자가 재활 프로그램의 화면 상의 재시작 버튼 형태의 이미지(650)를 선택함으로써 훈련이 재시작 될 수 있고, 종료 버튼 형태의 이미지(660)를 선택함으로써 재활 치료 훈련의 종료가 가능하다.

또한, 전술한 예시적인 재활 프로그램들의 진행은 조이스틱 또는 키보드 등과 같은 부가 입력부(195)를 이용하여 환자 또는 사용자가 손으로 제어하여 손 훈련이 가능하며, 예를 들어, 사용자가 부가 입력부(195)를 통하여 도 6의 강아지의 상태를 배고픈 상태로 선택하였다면, 환자는 시선의 움직임에 따른 시선 정보(199)를 통해 전술한 바와 같이 재활 프로그램 화면을 제어하여 눈 훈련이 가능하며, 눈 깜박임(Blinking) 또는 드웰 타임(Dwell time)을 통해서 인지 선택 훈련이 가능하다. 또한, 환자의 시선 움직임에 따라 부가 입력부(195)가 동기화되어 동작되도록 함으로써 환자의 손 훈련도 가능하다.

본 발명의 일 실시예에 따른 훈련컨텐츠는 적어도 하나의 이미지들(320), 문항 이미지(410), 후보 이미지들(420), 강아지 이미지(530), 먹이 이미지(540), 집 이미지(550) 또는 도 7의 플레이어 이미지 등을 포함할 수 있다. 또한, 이러한 훈련컨텐츠는 환자의 시선 위치에 따라 재활 프로그램 화면에서 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나가 변경되어 나타날 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 영상획득부
130: 조명부
195: 부가입력부
1000: 시선 추적 기반 재활 시스템
1200: 안구정보획득부
1300: 시선추적부
1310: 시선변화 기록부
1400: 디스플레이부
1500: 제어부

Claims

시선 추적 기반 재활 시스템에 있어서,
환자의 눈이 포함된 영상을 획득하기 위한 영상획득부;
상기 획득된 영상에 기초하여 상기 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부;
상기 검출된 동공 중심과 각막의 반사광 중심을 이용하여 상기 환자의 시선 위치를 추적하기 위한 시선추적부;
상기 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부; 및
상기 추적된 상기 환자의 시선 위치에 따라 상기 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부를 포함하고,
상기 제어부는 상기 시선추적부에서 추적된 상기 환자의 시선 위치에 따라 상기 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기 또는 상태를 변경하고,
상기 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 상기 디스플레이부를 통하여 디스플레이되게 하며,
상기 디스플레이부에 디스플레이 된 이미지가 눈 깜박임 또는 커서의 클릭을 통해 선택됨으로써 상기 훈련컨텐츠가 변경되고,
상기 훈련정보는 상기 환자가 상기 훈련컨텐츠를 변경하는 정도에 따라 부과된 점수 정보, 상기 훈련컨텐츠에 대한 상기 환자의 반응시간정보 및 반응속도정보 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 추적 기반 재활 시스템.
제 1 항에 있어서,
상기 영상획득부는 상기 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함하는 시선 추적 기반 재활 시스템.
제 1 항에 있어서,
상기 영상획득부는 조명부를 더 포함하고,
상기 조명부는 상기 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함하는 시선 추적 기반 재활 시스템.
제 1 항에 있어서,
상기 시선추적부는 상기 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 상기 환자의 시선 위치를 추적하는 것인 시선 추적 기반 재활 시스템.
제 1 항에 있어서,
상기 환자의 재활을 위한 훈련컨텐츠는 문자, 숫자, 부호, 색상, 방향성 중 적어도 하나를 나타내기 위한 이미지를 포함하는 것인 시선 추적 기반 재활 시스템.
제 1 항에 있어서,
상기 시선추적부는 상기 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부를 더 포함하고,
상기 제어부는 상기 시선변화 기록부에 저장된 상기 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 상기 디스플레이부를 통하여 디스플레이되게 하는 시선 추적 기반 재활 시스템.
삭제
삭제
제 1 항에 있어서,
상기 환자의 손 훈련에 사용 가능한 부가 입력부를 더 포함하고,
상기 부가 입력부는 상기 제어부와 연결되고, 상기 환자의 시선 위치와 동기화되어 동작 가능한 것인 시선 추적 기반 재활 시스템.