KR101723841B1

KR101723841B1 - 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법

Info

Publication number: KR101723841B1
Application number: KR1020167023933A
Authority: KR
Inventors: 채용욱
Original assignee: 주식회사 룩시드랩스
Priority date: 2015-12-17
Filing date: 2015-12-17
Publication date: 2017-04-18

Abstract

본 발명의 일 실시예에 따른 시선(eye) 및 뇌파에 기초하여 제어되는 EBI(Eye-Brain Interface) 시스템의 캘리브레이션 방법에 있어서, 상기 시선 및 뇌파를 함께 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 단계; 로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 EBC 인터페이스에 포함된 비주얼 오브젝트에 대한 상기 사용자의 시선 및 뇌파를 획득하는 단계; 상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하는 단계; 및 상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는 단계; 를 포함할 수 있다.

Description

아이 브레인 인터페이스(EBI) 장치 및 그 제어 방법{APPARATUS FOR EYE-BRAIN INTERFACE AND METHOD FOR CONTROLLING THE SAME}

본 명세서는 사용자의 시선 및 뇌파에 따라 제어되는 아이 브레인 인터페이스 장치 및 그 제어 방법에 관한 발명이며, 보다 상세하게는 아이 브레인 인터페이스 장치의 캘리브레이션(calibration) 방법에 관한 발명이다.

뇌는 자극의 처리와 가공을 담당하는 중추 신경계로서 기억, 판단 등 정신적인 활동의 중추 역할 뿐만 아니라 운동기능, 감정 반응 등을 담당하는 역할을 하고 있다. 특히, 전두엽 영역은 대뇌의 전방 부분에 위치하며 생각, 계획, 판단에 따른 신체의 움직임을 담당하는 역할을 한다. 전두엽에는 브로커 영역이라는 중요한 기능을 하는 뉴런 집단이 있기 때문에 다른 대뇌부에 비하여 복잡한 기능을 수행할 수 있다. 또한, 전두엽의 가장넓은 부위인 전전두피질은 인간을 다른 동물과 구분해주는 부위로서 감각계의 정보를 종합시키고, 고차원적 정신활동을 유발하는 부위로 알려져 있다. 전두엽부의 중요성이 대두됨에 따라 전두엽의 기능이나 질병, 장애 등에 관련된 기초 뇌 과학 및 전두엽으로부터 추출된 뇌파를 이용한 치료법, Brain Fitness, Brain-Computer Interface(BCI) 기술 개발 연구 역시 활발하게 진행되고 있다.

BCI 기술은 1973년 미국 UCLA 연구소에서 처음 개념을 언급하였고, 2000년대 중반까지는 연구개발 및 시험적용 단계에 머물렀다. 그러나 Emotiv사의 EPOC, Interexon사의 Muse, NeuroSky사의 MindWave 등 다양한 헤드셋 형태의 뇌파측정 장비가 출시됨에 따라 BCI 역시 빠르게 발전함과 동시에 실용화되고 있다.

본 명세서는 EBI 시스템에 있어서 뇌파와 시선을 동시에 캘리브레이션하는 방법을 제공한다.

또한, 본 명세서는 EBI 시스템에 있어서 뇌파와 시선을 보다 정확하고, 효율적으로 캘리브레이션하는 방법을 제공한다.

또한, 본 명세서는 시선 추적 캘리브레이션 과정에서 홍채 패턴을 획득하는 방법을 제공한다.

또한, 본 명세서는 사용자의 스트레스 지수를 측정하여 리캘리브레이션하는 방법을 제공한다.

또한, 본 명세서는 캘리브레이션한 결과에 기초하여 사용자의 뇌파 및 시선에 기초한 EBI 시스템의 제어 방법을 제공한다.

또한, 상기 사용자의 시선을 맵핑하는 단계는, 상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는 단계일 수 있다.

또한, 상기 EBC 인터페이스는 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 및/또는 교대로 제공할 수 있다.

또한, 상기 제1 인지 상태는 집중 및 선택 중 적어도 하나를 포함하는 인지 상태이며, 상기 제2 인지 상태는 휴식 및 탐색 중 적어도 하나를 포함하는 인지 상태일 수 있다.

또한, 상기 EBI 사용자의 뇌파를 맵핑하는 단계는, 상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하는 단계; 상기 제1 및 제2 로우 데이터를 주파수 변환하는 단계; 및 상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계; 를 포함할 수 있다.

또한, 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계는, 상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기(amplitude)를 추출하는 단계; 상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하는 단계; 최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하는 단계; 및 상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는 단계; 를 포함할 수 있다.

또한, 상기 Fisher’s Ratio는, 상기 주파수 변환된 제1 로우 데이터에서 상기 주파수 크기의 평균 및 분산, 및 상기 주파수 변환된 제2 로우 데이터에서의 상기 주파수 크기의 평균 및 분산에 기초하여 산출되는 값일 수 있다.

또한, 상기 기설정된 범위의 주파수 대역은, 뇌파의 δ파 대역, θ파 대역, α파 대역, 또는 β파 대역에 해당할 수 있다.

또한, 상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도할 수 있다.

또한, 상기 EBC 인터페이스는, 상기 비주얼 오브젝트가 깜빡이는 주파수를 약 8~13Hz 범위로 조정함으로써 상기 사용자의 뇌파를 알파파 범위로 유도하고, 상기 비주얼 오브젝트가 깜빡이는 주파수를 약 13~30Hz 범위로 조정함으로써 상기 사용자의 뇌파를 베타파 범위로 유도할 수 있다.

또한, 상기 사용자의 시선으로부터 홍채 이미지를 획득하는 단계; 및 상기 홍채 이미지를 코드화하는 단계; 를 더 포함할 수 있다.

또한, 상기 홍채 이미지를 코드화하는 단계는, 상기 획득한 홍채 이미지를 복수의 이미지들로 분리하는 단계; 상기 분리한 복수의 이미지들을 한 방향으로 나열하는 단계; 및 상기 한 방향으로 나열된 이미지들을 하나의 2차원 이미지로 전환하는 단계; 를 포함할 수 있다.

또한, 본 발명의 다른 실시예에 따른 시선(eye) 및 뇌파를 측정하는 슬레이브 디바이스에 있어서, 사용자의 시선을 추적하는 시선 추적 유닛; 상기 사용자의 뇌파를 센싱하는 뇌파 센싱 유닛; 호스트 디바이스와 통신을 수행하는 통신 유닛; 및 상기 시선 추적 유닛, 뇌파 센싱 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하되, 상기 호스트 디바이스는 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 디바이스로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 프로세서는, 상기 호스트 디바이스로부터 캘리브레이션 개시 신호를 수신한 경우, 상기 사용자의 시선 및 뇌파를 함께 획득하고, 상기 사용자의 시선 및 뇌파를 상기 호스트 디바이스로 전송할 수 있다.

또한, 본 발명의 다른 실시예에 따른 시선 및 뇌파에 기초하여 제어되는 호스트 디바이스에 있어서, 이미지를 디스플레이하는 디스플레이 유닛; 슬레이브 디바이스와 통신을 수행하는 통신 유닛; 및 상기 디스플레이 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하되, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 슬레이브 디바이스로부터 상기 사용자의 시선 및 뇌파를 요청 및 수신하고, 상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하고, 및 상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑할 수 있다.

또한, 상기 프로세서는, 상기 사용자의 시선을 맵핑하는 경우, 상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑할 수 있다.

또한, 상기 제1 인지 상태는 집중 또는 선택의 인지 상태이며, 상기 제2 인지 상태는 휴식 또는 탐색의 인지 상태일 수 있다.

또한, 상기 프로세서는, 상기 사용자의 뇌파를 맵핑하는 경우, 상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하고, 상기 제1 및 제2 로우 데이터를 주파수 변환하고, 상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기를 추출하고, 상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하고, 최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하고, 및 상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정할 수 있다.

또한, 상기 프로세서는, 상기 사용자의 뇌파를 실시간으로 획득하고, 상기 실시간으로 획득한 사용자의 뇌파를 상기 분류 기준에 따라 실시간으로 분류할 수 있다.

본 명세서의 일 실시예에 따르면, 뇌파와 시선을 동시에 캘리브레이션할 수 있는 EBC 인터페이스를 제공하므로, 사용자는 보다 간편하고 빠르게 뇌파와 시선을 동시에 캘리브레이션할 수 있다는 효과를 갖는다.

또한, 본 발명의 다른 실시예에 따르면, 뇌파의 주파수 특성을 이용하여 뇌파의 인지 상태를 구분하므로, 뇌파의 인지 상태를 보다 정확하게 구별할 수 있다는 효과를 갖는다.

또한, 본 발명의 다른 실시예에 따르면, 홍채 패턴을 사용자 인증 정보로서 활용할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 캘리브레이션 결과 사용자의 뇌파 및 시선을 정확하게 맵핑/분류해낼 수 있으므로, 사용자의 의도와 부합하도록 동작하는 EBI 시스템을 제공할 수 있다는 효과를 갖는다.

이외에, 본 발명의 실시예들에 따른 다양한 효과는 이하 도면을 참조하여 상세히 후술하기로 한다.

도 1은 본 발명의 일 실시예에 따른 아이브레인 인터페이스 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 호스트 디바이스 및 슬레이브 디바이스의 블록도이다.
도 3은 슬레이브 디바이스의 다양한 실시예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EBI) 디바이스를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 EBI 디바이스의 블록도이다.
도 6은 EBC 인터페이스의 실시예들을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 EBC 인터페이스에 따라 획득하는 데이터에 관한 실시예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라 시선 캘리브레이션을 수행하는 EBI 시스템을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따라 사용자의 홍채 패턴을 획득하는 EBI 시스템을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따라 사용자의 뇌파를 분류하는 EBI 시스템의 순서도를 도시한 도면이다.
도 11 내지 13은 본 순서도의 특정 단계를 수행함에 따라 획득한 데이터이다.
도 14는 본 발명의 일 실시예에 따른 EBI 시스템의 다양한 적용예들을 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 EBI 시스템의 제어 방법에 관한 순서도이다.

발명의 실시를 위한 최선의 형태

본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 일 실시예에 따른 아이브레인 인터페이스 시스템을 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 호스트 디바이스 및 슬레이브 디바이스의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EyeBrain Interface: EBI) 시스템은 호스트 디바이스(150)와 슬레이브 디바이스(100)를 포함할 수 있다.

슬레이브 디바이스(100)는 사용자가 착용 가능한 다양한 형태의 웨어러블(wearable) 디바이스를 나타낼 수 있다. 예를 들어, 슬레이브 디바이스(100)는 HMD(Head Mounted Display), 헤드셋, 스마트 링, 스마트 와치, 이어셋, 이어폰 등 사용자의 신체 일부에 접촉/착용되는 디바이스를 나타낼 수 있다. 슬레이브 디바이스(100)는 적어도 하나의 센서를 포함하여 사용자의 신체 일부를 통한 사용자의 생체 신호를 센싱할 수 있다. 여기서 생체 신호는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다. 특히, 본 명세서에서 슬레이브 디바이스(100)는 사용자의 생체 신호로서 사용자의 뇌파를 센싱하고 센싱 결과를 호스트 디바이스(150)로 전송할 수 있다.

호스트 디바이스(150)는 슬레이브 디바이스(100)로부터 수신한 생체 신호의 센싱 결과에 기초하여 동작하는 디바이스를 나타낼 수 있다. 보다 상세하게는, 호스트 디바이스(150)는 슬레이브 디바이스(100)로부터 사용자의 생체 신호 센싱 결과를 수신하고, 수신한 센싱 결과에 기초하여 다양한 동작을 수행하는 다양한 전자 디바이스일 수 있다. 호스트 디바이스(150)는, 예를 들어, TV, 스마트폰, 태블릿 PC, 스마트 카, PC, 노트북 등의 다양한 전자 디바이스일 수 있다.

EBI 시스템은 슬레이브 디바이스(100)와 호스트 디바이스(150)를 포함하여 사용자의 생체 신호에 기초한 제어 방식을 제공한다. 따라서, 사용자는 시스템에 대해 의도된 별도의 입력을 수행하지 않아도, 시스템이 사용자의 생체 신호를 센싱함으로써 사용자 의도를 직접 파악하여, 이에 따라 제어된다. 그 결과, EBI 시스템은 사용자에게 보다 편리하고 의도에 부합하는 제어 방식을 제공한다. 이하에서는 이러한 슬레이브 디바이스(100)와 호스트 디바이스(150)의 구성에 대하여 보다 상세히 살펴보기로 한다.

도 1 및 2를 참조하면, 슬레이브 디바이스(100)는 포지션 마커 유닛(120), 시선 추적 유닛(130), 뇌파 센싱 유닛(110), 센서 유닛(260), 통신 유닛(250) 및 프로세서(240)를 포함할 수 있다.

포지션 마커 유닛(120)은 빛을 발광하는 적어도 하나의 발광 소자(예를 들어, 적외선 LED 등)를 포함할 수 있다. 호스트 디바이스(150)는 슬레이브 디바이스(100)의 포지션 마커 유닛을 실시간으로 트래킹할 수 있으며, 이로써 슬레이브 디바이스(100)를 착용한 사용자의 위치, 포지션, 호스트 디바이스(150)와 사용자와의 거리, 및 상대적인 위치 등(이하, ‘사용자의 포지션’)을 디텍트할 수 있다.

포지션 마커 유닛(120)이 복수의 발광 소자들을 포함하는 경우, 복수의 발광 소자들은 기설정된 거리만큼 이격되어 포지션 마커 유닛(120)에 위치할 수 있다. 이 경우, 호스트 디바이스(150)는 각 포지션 마커 유닛(120)의 발광 소자들을 트래킹하고, 발광 소자들 사이의 이격 거리를 실시간으로 측정함으로써 호스트 디바이스(150)와 사용자 사이의 상대적인 거리를 디텍트할 수 있다. 예를 들어, 포지션 마커 유닛(120)이 호스트 디바이스(150)로부터 멀어지는 경우 호스트 디바이스(150)에서 측정되는 발광 소자들 사이의 이격 거리는 감소하며, 포지션 마커 유닛(120)이 호스트 디바이스(150)와 가까워지는 경우 호스트 디바이스(150)에서 측정되는 발광 소자들 사이의 이격 거리는 증가할 수 있다. 이에 기초하여, 호스트 디바이스(150)는 실시간으로 측정한 발광 소자들 사이의 이격 거리와 실제 발광 소자들 사이의 기설정된 이격 거리 사이의 비율을 계산하여 이를 통해 호스트 디바이스(150)와 사용자 사이의 상대적인 거리를 산출할 수 있다.

이외에도, 사용자의 포지션을 트래킹하기 위한 포지션 마커 유닛(120)은 다양한 형태로 슬레이브 디바이스(100)에 포함될 수 있으며, 호스트 디바이스(150)는 이러한 포지션 마커 유닛들(120)의 위치, 크기, 포함하고 있는 발광 소자들의 개수, 위치, 이격 거리 등에 기초하여 사용자의 포지션을 디텍트할 수 있다.

시선 추적 유닛(130)은 사용자의 시선을 추적할 수 있다. 시선 추적 유닛(130)은 사용자의 시선(눈의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위에 위치하도록 슬레이브 디바이스(100)에 구비될 수 있다.

시선 추적 유닛(130)은 빛을 발광하는 발광 소자(예를 들어, 적외선 LED) 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서를 포함할 수 있다. 시선 추적 유닛(130)은 사용자의 눈으로부터 반사된 빛을 카메라 센서로 촬영하고, 촬영된 이미지를 프로세서(240)로 전송할 수 있다(비디오 분석 방식). 이하에서는 설명의 편의를 위해 비디오 분석 방식이 적용된 시선 추적 유닛(130)을 기준으로 설명하나, 이에 한정되는 것은 아니며, 시선 추적 유닛(130)은 상술한 비디오 분석 방식 외에도 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다.

뇌파 센싱 유닛(110)은 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 유닛(110)은 적어도 하나의 EEG(Electroencephalogram) 센서 및/또는 MEG(Magnetoencephalography), NIRS(Near-Infrared Spectrometer)를 포함할 수 있다. 뇌파 센싱 유닛(110)은, 사용자가 슬레이브 디바이스(100)의 착용 시 사용자의 뇌파가 측정될 수 있는 신체(예를 들어, 머리) 접촉 위치에 구비되어, 사용자의 뇌파를 측정할 수 있다. 뇌파 센싱 유닛(110)은 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 혹은 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정하게 된다.

뇌파는 생체 신호이기 때문에, 사용자마다 차이가 존재한다. 따라서, 동일한 인지 상태(예를 들어, 집중/비집중/선택/탐색 등)에서도 사용자별로 서로 다른 패턴의 뇌파가 추출될 수 있다. 그 결과, 단순히 사용자의 뇌파를 추출하고 이를 일률적인 기준으로 분석하는 것은, 사용자의 현재 인지 상태를 구별하는 데 정확도가 떨어진다. 따라서, 뇌파를 기초로 사용자의 인지 상태를 정확하게 측정하기 위해, 본 명세서는 사용자별 현재 인지 상태에 따른 뇌파의 캘리브레이션 방법을 제공한다. 이에 관한 보다 상세한 설명은 도 11 내지 14와 관련하여 이하에서 후술하기로 한다.

센서 유닛(260)은 적어도 하나의 센싱 수단을 포함하고, 이를 이용하여 디바이스(100)의 주위 환경을 센싱할 수 있다. 또한, 센서 유닛(260)은 센싱 결과를 프로세서로 전달할 수 있다. 특히, 본 명세서에서 센서 유닛은 슬레이브 디바이스(100)의 움직임, 이동 등을 센싱하고 센싱 결과를 프로세서(240)로 전달할 수 있다.

센서 유닛(260)은 센싱 수단으로서 IMU(Inertia Measurement Unit) 센서, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 액셀레로미터(Accelerometer), 마그네토미터(Magnetometer), 가속도 센서, 적외선 센서, 기울기(inclination) 센서, 고도 센서, 적외선 센서, 조도 센서, GPS(Global Positioning System) 센서 등을 포함할 수 있다. 센서 유닛(260)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 디바이스의 환경을 센싱하여, 프로세서가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센싱 수단들은 별도의 엘리먼트로 슬레이브 디바이스(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.

통신 유닛(250)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(250)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다. 슬레이브 디바이스(100)는 통신 유닛(250)을 사용하여 호스트 디바이스(150)와 페어링을 수행할 수 있다. 또한, 슬레이브 디바이스(100)는 통신 유닛(250)을 이용하여 호스트 디바이스(150)와 다양한 신호/데이터를 송수신할 수 있다.

프로세서(240)는 포지션 마커 유닛(120), 시선 추적 유닛(130), 뇌파 센싱 유닛(110), 센서 유닛(260), 및 통신 유닛(250)을 제어할 수 있다. 프로세서(240)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다.

특히, 본 명세서에서 프로세서(240)는 슬레이브 디바이스(100)에 구비된 적어도 하나의 센서로부터 수신한 센싱 결과를 호스트 디바이스(150)로 전송할 수 있다. 본 명세서에서 센싱 결과는 슬레이브 디바이스(100)에 구비된 적어도 하나의 센서를 이용하여 획득된 로우 데이터(raw data) 또는 로우 데이터가 기설정된 알고리즘을 통해 프로세싱된 데이터를 의미할 수 있다.

이외에도, 프로세서(240)는 사용자의 시선 및 뇌파를 캘리브레이션하기 위한 다양한 동작을 수행할 수 있는데, 이와 관련하여서는 도 6 내지 13에서 상세히 후술하기로 한다.

이상으로 본 발명의 일 실시예에 따라 슬레이브 디바이스(100)에 포함된 구성 유닛들에 대해 살펴보았다. 슬레이브 디바이스(100)는 도 1 및 2에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 메모리 유닛, 카메라 유닛, 전력 공급 유닛 등 디바이스의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.

호스트 디바이스(150)는 카메라 유닛(140), 디스플레이 유닛(210), 통신 유닛(230), 및 프로세서(220)를 포함할 수 있다.

카메라 유닛(140)은 슬레이브 디바이스(100)의 포지션 마커 유닛(120)을 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(140)은 슬레이브 디바이스(100)의 포지션 마커 유닛(120)을 촬영하여 포지션 마커 유닛(120)에 대한 촬영 이미지를 획득할 수 있다. 카메라 유닛(140)은 획득한 촬영 이미지를 프로세서(220)로 전송할 수 있으며, 프로세서(220)는 촬영 이미지를 프로세싱하여 슬레이브 디바이스(100)를 착용한 사용자의 포지션을 획득할 수 있다. 이 경우, 프로세서(220)는 포지션 마커 유닛들(120)의 위치, 크기, 포함하고 있는 발광 소자들의 개수, 위치, 이격 거리 등을 분석하여 사용자의 포지션을 획득할 수 있다.

카메라 유닛(140)은 화각이 약 60도 이상인 광각 카메라로 구성될 수 있다. 카메라 유닛(140)이 일반 카메라(화각이 60도 미만인 카메라)로 구성되는 경우, 호스트 디바이스(150)의 전방 약 60도의 좌우각, 슬레이브 디바이스(100)와 호스트 디바이스(150) 사이의 약 60~90cm 범위에서 사용자의 포지션 트래킹이 가능하다. 그러나, 카메라 유닛(140)이 광각 카메라(화각이 60도 이상인 카메라)로 구성되는 경우에는 호스트 디바이스(150)의 전방 약 170도의 좌우각, 및 슬레이브 디바이스(100)와 호스트 디바이스(150) 사이의 거리 약 3m 범위까지도 사용자의 포지션 트래킹이 가능하다. 따라서, 본 발명의 카메라 유닛(140)은 보다 정확한 사용자의 포지션 데이터를 획득하기 위해 광각 카메라로서 구성될 수 있다.

디스플레이 유닛(210)은 이미지를 디스플레이할 수 있다. 여기서 이미지란, 화면 상에 디스플레이될 수 있는 정지 영상, 동영상, 텍스트, VR(Virtual Reality) 이미지, AR(Augment Reality) 이미지 또는 이들을 포함하는 기타 다양한 시각적 표현을 나타낼 수 있다. 디스플레이 유닛(210)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode; OLED), 3차원 디스플레이(3D display), 투명 유기 발광 다이오드(Transparent OLED; TOLED) 중에서 적어도 하나를 포함할 수 있다. 또한, 디스플레이 유닛(210)은 메탈 호일(metal hoil), 박형 유리(very thin grass) 또는 플라스틱 기판으로 제조될 수 있다. 특히, 플라스틱 기판의 경우 PC 기판, PET 기판, PES 기판, PI 기판, PEN 기판, AryLite 기판 등이 사용될 수 있다.

통신 유닛(230)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(230)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다. 호스트 디바이스(150)는 통신 유닛(230)을 사용하여 슬레이브 디바이스(100)와 페어링을 수행할 수 있다. 또한, 호스트 디바이스(150)는 통신 유닛(230)을 이용하여 슬레이브 디바이스(100)와 다양한 신호/데이터를 송수신할 수 있다.

프로세서(220)는 카메라 유닛(140), 디스플레이 유닛(210), 및 통신 유닛(230)을 제어할 수 있다. 프로세서(220)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다.

특히, 본 명세서에서 프로세서(220)는 슬레이브 디바이스(100)로부터 수신한 센싱 결과에 대응하는 다양한 커맨드(또는 동작)를 수행할 수 있다. 예를 들어, 센싱 결과로서 사용자의 시선 좌표가 수신된 경우, 프로세서(220)는 해당 시선 좌표와 맵핑되는 디스플레이 유닛(210) 상 특정 위치의 비주얼 오브젝트(예를 들어, 아이콘)를 선택하는 커맨드를 수행할 수 있다. 나아가, 센싱 결과로서 “집중” 상태에 해당하는 사용자 뇌파 데이터가 수신된 경우, 프로세서(220)는 선택된 비주얼 오브젝트를 실행(예를 들어, 선택된 아이콘과 대응하는 어플리케이션을 실행)하는 커맨드를 수행할 수 있다.

다만, 이 경우, 프로세서(220)가 수신한 사용자의 시선 좌표가 디스플레이 유닛(210)상의 어떤 지점과 맵핑되는지 알기 위해선, 사용자의 특정 시선 좌표와 디스플레이 유닛(210) 상의 특정 좌표를 상호 맵핑시키는 시선 캘리브레이션이 선행될 필요가 있다. 또한, 앞서 언급한 바와 같이, 사용자마다 인지 상태에 따른 뇌파 패턴이 상이하므로, 사용자의 특정 인지 상태와 특정 주파수의 뇌파를 상호 맵핑시키는 뇌파 캘리브레이션 역시 선행될 필요가 있다. 이에, 본 발명은 사용자의 시선과 뇌파를 동시에 캘리브레이션하는 EBC(Eye Brain Calibration) 인터페이스를 제공할 수 있으며, 이에 관하여는 도 6 내지 13과 관련하여 이하에서 상세히 후술하기로 한다.

이상으로 본 발명의 일 실시예에 따라 호스트 디바이스(150)에 포함된 구성 유닛들에 대해 살펴보았다. 호스트 디바이스(150)는 도 1 및 2에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 센서 유닛, 메모리 유닛, 전력 공급 유닛 등 디바이스의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.

또한, 본 블록도에서는 설명의 편의를 위해 호스트 디바이스(150)와 슬레이브 디바이스(100)에 포함되는 각 유닛들을 구분하여 도시하였으나, 슬레이브 디바이스(100)의 유닛은 호스트 디바이스(150)에 포함될 수도 있으며, 호스트 디바이스(150)의 유닛은 슬레이브 디바이스(100)에 포함될 수도 있다. 예를 들어, 슬레이브 디바이스(100)의 시선 추적 유닛은 실시예에 따라 슬레이브 디바이스(100)가 아닌, 호스트 디바이스(150)에 포함될 수도 있다.

한편, 상술한 프로세서(220, 240)는 (슬레이브 또는 호스트) 디바이스에 내에 내장되거나, 디바이스 외부에 독립된 형태로 구현될 수 있다(미도시). 독립된 형태(외장형)로 구현되는 경우, 프로세서(220, 240)는 사용자에 의해 휴대가 간편한 외장형 프로세서 형태로 존재할 수 있다. 이 경우, 사용자는 필요에 따라 외장형 프로세서(220, 240)를 특정 디바이스에 연결시킬 수 있으며, 외장형 프로세서(220, 240)가 연결된 디바이스는 슬레이브 또는 호스트 디바이스(100, 150)가 될 수 있다. 이 경우, 외장형 프로세서(220, 240)는 연결된 디바이스가 슬레이브 또는 호스트 디바이스(100, 150) 기능을 수행할 수 있도록 다양한 데이터(특히 사용자의 생체 신호에 관한 데이터)를 기설정된 알고리즘에 의해 프로세싱할 수 있다. 다만, 외장형 프로세서(220, 240)와 연결된 기기가 슬레이브 디바이스(100) 기능을 수행하기 위해서는, 연결된 디바이스가 사용자의 생체 신호를 센싱할 수 있는 유닛이 구비되어 있어야 한다.

이하에서는, 설명의 편의를 위해 프로세서와 슬레이브/호스트 디바이스(100, 150)를 동일시하여 설명할 수 있다. 또한, 도 2에 도시된 블록도는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 슬레이브/호스트 디바이스(100, 150)의 하드웨어적인 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 슬레이브/호스트 디바이스(100, 150)의 엘리먼트들은 각 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.

도 3은 슬레이브 디바이스의 다양한 실시예를 도시한 도면이다.

슬레이브 디바이스는 다양한 폼팩터(Form Factor)로서 구현될 수 있다.

도 3(a)를 참조하면, 슬레이브 디바이스(100-1)는 헤드셋 형태로 구현될 수 있다. 슬레이브 디바이스(100-1)의 뇌파 센싱 유닛(110-1)은 사용자의 머리 및/또는 이마의 접촉 부분에 위치할 수 있으며, 머리 및/또는 이마로부터 사용자의 뇌파를 센싱할 수 있다. 또한, 시선 추적 유닛(130)은 사용자의 눈 주위에 위치할 수 있으며, 사용자의 시선을 실시간으로 추적할 수 있다. 또한, 센서 유닛(110-2)은 슬레이브 디바이스(100-1)의 본체에 위치할 수 있으며, 사용자의 헤드 포지션(이동, 움직임 등)을 실시간으로 트래킹할 수 있다. 이외에 슬레이브 디바이스(100-1)에 포함되는 구성 유닛들은 슬레이브 디바이스(100-1)의 본체에 포함되어 있을 수 있다.

도 3(b)를 참조하면, 슬레이브 디바이스(100-2)는 이어셋 형태로 구현될 수 있다. 이 경우, 슬레이브 디바이스(100-2)의 뇌파 센싱 유닛(110-1)은 사용자의 귓 속(예를 들어, 내이, 또는 속귀 등)으로 삽입되는 부분에 위치할 수 있으며, 사용자의 귓 속에서 뇌파를 센싱할 수 있다. 이때, 소리를 출력하는 스피커 유닛(미도시)도 뇌파 센싱 유닛(110-1)과 함께 사용자의 귓 속으로 삽입되는 부분에 위치할 수 있다. 또한, 시선 추적 유닛(130)은 사용자의 눈 주위에 위치할 수 있으며, 사용자의 시선을 실시간으로 추적할 수 있다. 이외에 슬레이브 디바이스(100-2)에 포함되는 구성 유닛들은 슬레이브 디바이스(100-2)의 본체에 포함되어 있을 수 있다.

이외에도, 슬레이브 디바이스(100)는 사용자의 시선/뇌파를 센싱할 수 있도록 다양한 폼팩터로서 구현될 수 있으며, 본 도면에 도시한 실시예로 한정되지 않는다.

도 4는 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EBI) 디바이스를 도시한 도면이다. 도 5는 본 발명의 일 실시예에 따른 EBI 디바이스의 블록도이다.

본 명세서에서 EBI 디바이스(400)는 도 1 내지 3과 관련하여 상술한 슬레이브 디바이스(100)와 호스트 디바이스(150)가 하나의 디바이스로 통합된 형태의 디바이스를 나타낼 수 있다. 따라서, EBI 디바이스(400)는 생체 신호를 직접 센싱하고, 센싱 결과에 기초하여 다양한 동작을 수행할 수 있다.

도 4 및 5를 참조하면, EBI 디바이스(400)는 사용자의 신체에 착용 가능한 웨어러블 디바이스 형태로 구성될 수 있다. EBI 디바이스(400)는 뇌파 센싱 유닛(500), 시선 추적 유닛(510), 통신 유닛(530), 디스플레이 유닛(540) 및 프로세서(520)를 포함할 수 있다. EBI 디바이스(400)에 포함된 유닛들에 관한 설명은 도 2에서 상술한 설명과 중복되므로, 이하에서는 차이점을 중심으로 설명한다.

뇌파 센싱 유닛(500)은 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 유닛(500)은 적어도 하나의 EEG(Electroencephalogram) 센서 및/또는 MEG(Magnetoencephalography)를 포함할 수 있다. 뇌파 센싱 유닛(500)은, 사용자가 EBI 디바이스의 착용 시 사용자의 뇌파가 측정될 수 있는 신체(예를 들어, 머리) 접촉 위치에 구비되어, 사용자의 뇌파를 측정할 수 있다.

시선 추적 유닛(510)은 사용자의 시선을 추적할 수 있다. 시선 추적 유닛(510)은 사용자의 시선(눈의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위에 위치하도록 EBI 디바이스(400)에 구비될 수 있다. 시선 추적 유닛(510)은 빛을 발광하는 발광 소자(예를 들어, 적외선 LED) 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서를 포함할 수 있다.

통신 유닛(530)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(530)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다.

디스플레이 유닛(540)은 이미지를 디스플레이할 수 있다. 여기서 이미지란, 화면 상에 디스플레이될 수 있는 정지 영상, 동영상, 텍스트, VR(Virtual Reality) 이미지, AR(Augment Reality) 이미지 또는 이들을 포함하는 기타 다양한 시각적 표현을 나타낼 수 있다.

프로세서(520)는 뇌파 센싱 유닛(500), 시선 추적 유닛(510), 통신 유닛(530), 디스플레이 유닛(540), 및 통신 유닛(530)을 제어할 수 있다. 프로세서(520)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다. 프로세서(520)는 뇌파 센싱 유닛(500) 및/또는 시선 추적 유닛(510)으로부터 수신한 센싱 결과에 대응하는 다양한 동작을 수행할 수 있다.

이상으로 본 발명의 일 실시예에 따라 EBI 디바이스(400)에 포함된 구성 유닛들에 대해 살펴보았다. EBI 디바이스(400)는 도 5에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 센서 유닛, 메모리 유닛, 전력 공급 유닛 등 디바이스(400)의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.

이하에서는, 설명의 편의를 위해 프로세서(520)와 EBI 디바이스(400)를 동일시하여 설명할 수 있다. 또한, 도 5에 도시된 블록도는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 EBI 디바이스(400)의 하드웨어적인 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 EBI 디바이스(400)의 엘리먼트들은 각 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.

앞서 상술한 바와 같이, EBI 시스템에서 사용자의 시선 좌표가 디스플레이 유닛 상의 어떤 지점과 맵핑되는지 알기 위해선, 사용자의 특정 시선 좌표와 디스플레이 유닛 상의 특정 좌표를 상호 맵핑시키는 시선 캘리브레이션이 선행될 필요가 있다. 또한, 사용자의 특정 주파수의 뇌파가 어떤 인지 상태와 맵핑되는지 알기 위해선, 특정 주파수의 뇌파와 특정 인지 상태를 상호 맵핑시키는 뇌파 캘리브레이션 역시 선행될 필요가 있다. 이에, EBI 시스템은 사용자의 시선과 뇌파를 캘리브레이션하기 위한 EBC(Eye Brain Calibration) 인터페이스를 사용자에게 제공할 수 있으며, 이러한 EBC 인터페이스를 통해 사용자의 시선 및 뇌파를 동시에 캘리브레이션할 수 있다. 다만, 이에 한정되는 것은 아니며, 실시예에 따라 EBI 시스템은 EBC 인터페이스를 통해 사용자의 뇌파 및 시선 중 어느 하나에 대해서만 캘리브레이션을 수행할 수도 있다.

이하에서는 설명의 편의를 위해 슬레이브/호스트 디바이스 및 EBI 디바이스를 통칭하여 EBI 시스템이라 지칭하기로 한다. 따라서 이하에서 후술하는 EBI 시스템에 관한 설명은, EBI 시스템이 슬레이브 및 호스트 디바이스를 포함하는 경우 슬레이브 및 호스트 디바이스에 적용될 수 있으며, EBI 시스템이 EBI 디바이스를 포함하는 경우 EBI 디바이스에 적용될 수 있다.

도 6은 EBC 인터페이스의 실시예들을 도시한 도면이다.

본 발명의 일 실시예에 따른 EBI 시스템은 EBC 인터페이스를 통해 사용자의 시선 및 뇌파에 대한 캘리브레이션을 동시에 수행할 수 있다. 이를 위해, EBI 시스템은 사용자에게 특정 인지 상태를 유도함과 동시에 화면 상의 특정 지점에 대한 시선의 움직임 역시 동시에 유도하기 위한 EBC 인터페이스를 사용자에게 제공할 수 있다.

일 실시예로서 도 6(a)를 참조하면, EBI 시스템은 EBC 인터페이스로서 서로 다른 지점에 위치한 복수개의 비주얼 오브젝트들을 순차적으로 디스플레이할 수 있으며, 사용자에게 디스플레이된 복수개의 비주얼 오브젝트들을 순차적으로 응시하도록 지시할 수 있다. 이때, EBI 시스템은 사용자에게 특정 비주얼 오브젝트에 대해서는 집중의 인지 상태를 갖고 응시하도록 지시하고, 다른 비주얼 오브젝트를 바라볼 때는 휴식(또는 단순 응시/비집중)의 인지 상태를 갖고 응시하도록 지시할 수 있다. 이를 지시하기 위해, EBI 시스템은 서로 다른 시각적 효과(예를 들어, 색, 크기, 모양, 명암, 깜빡임 등)를 갖는 복수개의 비주얼 오브젝트들을 교대로 디스플레이할 수 있다. 예를 들어, EBI 시스템은 빨간색 오브젝트와 파란색 비주얼 오브젝트를 교대로 및 순차적으로 디스플레이할 수 있으며, 사용자에게 빨간색 오브젝트는 집중의 인지 상태로 응시하도록 지시하고, 파란색 오브젝트는 휴식의 인지 상태로 응시하도록 지시할 수 있다.

또한, EBI 시스템은 사용자가 특정 비주얼 오브젝트에서 다음 비주얼 오브젝트로 시선을 옮기는 경우에는 검색(또는 탐색)의 인지 상태를 갖고 응시하도록 지시할 수 있다. 이 경우, EBI 시스템은 특정 비주얼 오브젝트에서 다음 비주얼 오브젝트로 이동하는 시선 경로를 직접 가이드(또는 디스플레이)하거나 가이드 하지 않을 수도 있다.

이때, EBI 시스템은 특정 비주얼 오브젝트에 대한 사용자의 시선 좌표를 획득함과 동시에, 해당 비주얼 오브젝트를 바라보고 있는 사용자의 뇌파를 획득할 수 있다. 만일, 비주얼 오브젝트들 사이의 시선 경로를 가이드하는 경우, EBI 시스템은 시선 경로를 따라가는 사용자의 시선 좌표를 획득함과 동시에, 시선 경로를 바라보고 있는 사용자의 뇌파 역시 획득할 수 있다. 반대로, 비주얼 오브젝트들 사이의 시선 경로를 가이드 하지 않는 경우에, EBI 시스템은 사용자의 뇌파만을 획득할 수 있다.

다음으로, EBI 시스템은 특정 비주얼 오브젝트의 화면상의 좌표와 획득한 사용자의 시선 좌표를 서로 맵핑시킬 수 있다. 또한, EBI 시스템은 특정 비주얼 오브젝트에 대해 사용자에게 지시한 인지 상태를, 획득한 사용자의 뇌파와 서로 맵핑시킬 수 있다. 이로써 EBI 시스템은 하나의 인터페이스를 통해 보다 쉽고 효율적으로 시선 및 뇌파를 동시에 캘리브레이션하는 방법을 제공한다.

이러한 EBC 인터페이스는 상술한 실시예 외에도 다양한 실시예로 구현될 수 있다. 예를 들어, 도 6(a) 내지 6(c)에 도시한 바와 같이, EBC 인터페이스는 복수개의 비주얼 오브젝트들을 특정 형태(예를 들어, 다각형, 원형 등)로 또는 불특정 형태로(랜덤하게) 하나씩(또는 기설정된 개수만큼) 순차적으로 디스플레이할 수 있으며, 서로 다른 시각적 효과(예를 들어, 색, 모양, 크기, 형태, 깜빡임, 명암 등)를 갖는 비주얼 오브젝트들을 교대로 디스플레이할 수 있다. 또는, EBC 인터페이스는 복수의 비주얼 오브젝트들을 동시에 디스플레이한 뒤, 특정 비주얼 오브젝트에 시각적 효과를 부여함으로써 사용자가 응시해야하는 비주얼 오브젝트를 순차적으로 지시해줄 수 있다. 아울러, EBC 인터페이스는 해당 비주얼 오브젝트에 부여하는 시각적 효과를 통해 사용자의 인지 상태 역시 함께 지시해줄 수 있다.

사람의 경우, 시각적으로 인식되는 주파수와 뇌파의 주파수가 서로 동기화되는 것으로 알려져 있다. 따라서, 비주얼 오브젝트들에 시각적 효과로서 깜빡임 효과를 적용하는 경우, EBC 인터페이스는 비주얼 오브젝트들이 깜빡이는 주파수를 조절하여 사용자의 뇌를 특정 인지 상태로 유도할 수도 있다.

예를 들어, 약 8~12Hz의 주파수는 뇌파를 휴식(또는 탐색) 상태에 대응하는 알파(α)파 영역으로 유도하는 데 도움을 준다고 알려져 있다. 따라서, EBC 인터페이스는 ‘휴식’ 인지 상태를 유도하기 위해 특정 비주얼 오브젝트가 약 8~13Hz의 주파수로 깜빡이도록 시각적 효과를 부여할 수 있다. 따라서, 사용자는 해당 비주얼 오브젝트를 단순히 응시하는 것만으로 ‘휴식’ 상태로 유도될 수 있으며, EBI 인터페이스는 사용자의 뇌파를 추출하여 휴식의 인지 상태와 맵핑시킬 수 있다. 또한, 약 13~30Hz의 주파수는 뇌파를 집중(또는 각성, 선택 등) 상태에 대응하는 베타(β)파 영역으로 유도하는 데 도움을 준다고 알려져 있다. 따라서, EBC 인터페이스는 ‘집중’ 인지 상태를 유도하기 위해 특정 비주얼 오브젝트가 약 13~30Hz의 주파수로 깜빡이도록 시각적 효과를 부여할 수 있다. 따라서, 사용자는 해당 비주얼 오브젝트를 단순히 응시하는 것만으로 ‘집중’ 상태로 유도될 수 있으며, EBI 인터페이스는 사용자의 뇌파를 추출하여 집중의 인지 상태와 맵핑시킬 수 있다.

이외에도, EBC 인터페이스는 다양한 방식으로 화면 상의 특정 지점에 대한 사용자의 응시 및 특정 인지 상태를 유도하여, 사용자의 시선 및 뇌파를 동시에 캘리브레이션할 수 있다. 아울러, EBC 인터페이스는 시선을 캘리브레이션 하는 경우, 사용자의 홍채 패턴도 함께 획득할 수 있다. 이러한 홍채 패턴은 지문과 같이 사용자별로 상이하므로, 사용자 인증 정보로서 유용하게 사용될 수 있다. 이렇듯 시선/뇌파의 캘리브레이션을 완료한 EBI 시스템은, 사용자의 뇌파를 사용자의 실행 명령에 관한 제어 정보로 사용할 수 있으며, 사용자의 시선을 사용자의 실행 명령 위치에 관한 제어 정보로 사용할 수 있다. 예를 들어, 사용자가 특정 아이콘을 응시한 뒤 집중한 경우, EBI 시스템은 사용자가 응시한 아이콘을 실행하는 명령을 수행할 수 있다.

도 7은 본 발명의 일 실시예에 따른 EBC 인터페이스에 따라 획득하는 데이터에 관한 실시예를 도시한 도면이다.

도 7을 참조하면, EBI 시스템은 EBC 인터페이스를 통해 사용자의 시선 및 뇌파에 관한 데이터를 동시에 획득할 수 있다. 아울러, EBI 시스템은 EBC 인터페이스를 제공하는 동안 사용자의 홍채에 관한 데이터도 추가로 획득할 수 있다.

이렇게 획득된 데이터는 일정한 알고리즘에 의해 프로세싱될 수 있다. 특히 뇌파의 경우, 사용자별로 집중/비집중/탐색 등의 인지 상태에 따른 뇌파 패턴이 상이하므로, 각 인지 상태에 따른 뇌파를 보다 명확히 구별하기 위해 특정 알고리즘을 통해 데이터를 프로세싱할 필요가 존재한다.

따라서, 사용자의 시선을 프로세싱하는 방법에 관하여는 도 8과 관련하여, 사용자의 홍채를 프로세싱하는 방법은 도 9와 관련하여, 사용자의 뇌파를 프로세싱하는 방법은 도 10 내지 13과 관련하여 이하에서 상세히 후술하기로 한다.

도 8은 본 발명의 일 실시예에 따라 시선 캘리브레이션을 수행하는 EBI 시스템을 도시한 도면이다.

도 8을 참조하면, EBI 시스템은 사용자가 화면 상의 특정 지점(Xp, Yp)을 바라볼 때 눈 동공이 특정 좌표(Xs, Ys)에 위치한다고 가정하여, 두 공간 사이의 연관 관계를 multivariate linear regression 등을 통하여 유추할 수 있다.

보다 상세하게는, EBI 시스템은 EBC 인터페이스를 통해 사용자가 화면 상의 특정 지점(Xp, Yp)을 바라보도록 지시할 수 있다. 이때, EBI 시스템은 시선 추적 유닛을 통해 사용자의 시선 촬영 이미지를 획득하고, 촬영 이미지로부터 사용자의 시선 좌표(Xs, Ys)를 획득할 수 있다. 이때, 사용자의 시선 좌표는 눈의 중심(또는 눈의 동공)을 기준으로 하여 결정된 상대적인 좌표일 수 있다. 다음으로, EBI 시스템은 화면 상의 특정 지점과 사용자의 시선 좌표를 상호 맵핑시킬 수 있다. 이때, EBI 시스템은 아래의 수학식 1을 이용하여 시선 좌표와 화면 상의 특정 지점을 맵핑할 수 있다.

다만, 상술한 수학식 1 이외에도, 시선을 캘리브레이션하기 위한 Support Vector Regression, Multi-Layer Perceptron 등의 다른 수학식들도 적용될 수 있다.

EBI 시스템은 보다 정확한 사용자의 시선 좌표를 획득하기 위해 사용자의 헤드 포지션에 관한 데이터를 추가로 이용할 수 있다(포지션 마커 유닛, 카메라 유닛 및/또는 센서 유닛을 이용하여). 일반적으로 사용자는 특정 위치를 바라볼 때 시선만 이동시키는 것이 아니라, 머리 역시 특정 위치를 향하도록 자연스럽게 움직이게 된다. 이러한 점에 기초하여, EBI 시스템은 사용자의 시선 위치를 보다 정확하게 디텍트하기 위해 사용자의 헤드 포지션에 관한 데이터를 추가로 획득할 수 있으며, 이를 사용자의 시선을 정확히 트래킹하는 데 추가 데이터로서 사용할 수 있다.

본 도면에서는 비디오 분석 방식을 적용한 시선 추적 유닛을 기준으로 설명하였으나 이에 한정되는 것은 아니며, 사용자의 시선을 트래킹하기 위한 다양한 시선 트래킹 기술이 시선 추적 유닛에 적용될 수 있다.

EBI 시스템은 사용자의 시선을 트래킹함과 동시에 사용자의 홍채 패턴 데이터도 추가로 획득할 수 있는데, 이와 관련하여서는 도 9와 관련하여 이하에서 후술하기로 한다.

도 9는 본 발명의 일 실시예에 따라 사용자의 홍채 패턴을 획득하는 EBI 시스템을 도시한 도면이다.

도 9를 참조하면, EBI 시스템은 시선 추적 유닛을 통해 사용자의 시선을 실시간으로 트래킹할 뿐만 아니라, 사용자의 홍채 패턴을 획득할 수 있다. 지문과 같이, 홍채 패턴도 사용자 별로 상이하므로, EBI 시스템은 홍채 패턴을 사용자 인증 정보로 유용하게 활용할 수 있다. 예를 들어, EBI 시스템은 홍채 패턴을 사용자 로그인 인증 정보, 결제 인증 정보, 보안 정보 등 다양한 사용자 인증 정보로서 활용할 수 있다.

이를 위해, EBI 시스템은 시선 추적 유닛을 이용하여 획득한 사용자의 눈에 대한 적외선 이미지 중 홍채 영역의 이미지를 ROI(Region Of Interest)로 설정하고, 이를 별도로 분리할 수 있다. 다음으로, EBI 시스템은 분리한 ROI 이미지를 복수의 이미지들로 분리한 후, 분리된 복수의 이미지들을 한 방향으로 나열할 수 있다. 마지막으로, EBI 시스템은 한 방향으로 나열된 이미지들을 하나의 2차원 이미지(예를 들어, 2차원 바코드 또는 QR 코드)로 전환하는 코드화 작업을 수행하여, 사용자별 특유의 홍채 패턴을 획득할 수 있다.

이때, EBI 시스템은 하나의 적외선 이미지를 이용하여 홍채 패턴을 획득할 수도 있으나, 보다 정확한 사용자의 홍채 패턴을 획득하기 위해 다양한 방향을 바라보는 시선에 대한 적외선 이미지들을 조합하여 하나의 홍채 패턴을 획득할 수 있다. 사용자의 홍채 패턴은 눈꺼풀, 눈의 각도 및 빛의 반사 등에 의해 가려지는 영역이 많아질수록 정확도가 떨어지게 된다. 따라서, EBI 시스템은 여러 시선 방향에 대한 사용자 눈의 적외선 이미지들을 획득하고, 각 이미지들로부터 홍채 패턴을 획득하고, 획득한 홍채 패턴들을 조합하여 하나의 홍채 패턴을 획득할 수 있다. 따라서, 사용자가 어떠한 방향을 바라보더라도(또는 눈꺼풀에 의해 동공이 가려진다 하더라도), EBI 시스템은 높은 확률로 사용자의 홍채 패턴을 구별해낼 수 있다.

도 10은 본 발명의 일 실시예에 따라 사용자의 뇌파를 분류하는 EBI 시스템의 순서도를 도시한 도면이다. 도 11 내지 13은 본 순서도의 특정 단계를 수행함에 따라 획득한 데이터이다.

도 10을 참조하면, 우선, EBI 시스템은 뇌파 센싱 유닛을 이용하여 사용자의 뇌파에 관한 로우 데이터(raw data)를 획득할 수 있다(S1010). 특히, EBI 시스템은 상술한 EBC 인터페이스를 통해 사용자에게 다양한 인지 상태(예를 들어, 선택/탐색/집중/휴식)를 각각 지시하고, 각 인지 상태의 뇌파를 센싱하여, 로우 데이터를 획득할 수 있다.

동일한 사용자에게 동일한 환경에서 EBC 인터페이스를 통해 선택/탐색/집중/휴식의 인지 상태를 각각 지시한 결과, 선택/탐색의 인지 상태에 관한 뇌파의 로우 데이터는 도 11(a)와 같았으며, 집중/휴식의 인지 상태에 관한 뇌파의 로우 데이터는 도 12(a)와 같았다.

도 11(a)를 참조하면, 탐색 상태의 뇌파는 선택 상태의 뇌파보다 급격한 변화를 갖는 것으로 나타났다. 또한, 도 12(a)를 참조하면, 휴식 상태의 뇌파와 집중 상태의 뇌파는 육안으로 명확히 구별하기 힘든 것으로 나타났다.

뇌파는 다양한 Sin파 형태의 신호들이 합쳐져서 만들어진 신호이며, 주파수 대역에서 특정 인지 상태에 따라 구별되는 특징을 갖는다. 따라서, 뇌파를 인지 상태에 따라 보다 명확히 구별하기 위해, 로우 데이터에 대한 FFT 변환을 수행할 수 있다(S1020). 이때, 아래의 수학식 2가 사용될 수 있다.

로우 데이터가 FFT 변환된 그래프는 도 11(b) 및 12(b)와 같다. 도 11(b)를 참조하면, 탐색 및 선택 상태의 뇌파는 약 0~10Hz 주파수 대역에서 큰 차이를 보이는 것으로 나타났으며, 도 12(b)를 참조하면, 집중 및 휴식 상태의 뇌파는 약 10~20Hz 주파수 대역에서 큰 차이를 보이는 것으로 나타났다.

EBI 시스템은 주파수 도메인 영역으로 변환된 샘플 데이터로부터 뇌파의 주파수 대역별로 주파수 크기(amplitude)를 추출할 수 있다(S1030). 추출 가능한 주파수 대역은 δ파(0~4Hz), θ파(4~8Hz), α파(8~13Hz), β파(13~30Hz)로 크게 총 4가지 대역이며 α파와 β파는 다시 Low α(8~10Hz), High α10~13Hz), Low β(13~20Hz), High β(20~30Hz)로 나누어질 수 있다. 이렇게 나누어진 각 대역별로 주파수 크기가 추출될 수 있으며, 대역별 주파수 크기를 뇌파의 특징을 추출하기 위한 알고리즘에 적용할 수 있다.

뇌파는 같은 자극에 대해 사용자별로 서로 다른 패턴을 나타낸다. 따라서, 뇌파 데이터를 사용자 별로 정확하게 처리하기 위해서는 사용자별 뇌파의 캘리브레이션 과정이 필요하다. 이때, 사용자별 인지 상태에 따른 뇌파의 주파수 특징을 추출하기 위한 알고리즘(또는 뇌파의 인지 상태를 분류하기 위한 기준을 설정하는 알고리즘)을 적용할 수 있는데, 본 발명에서는 Fisher’s Ratio를 이용하였다. 여기서, Fisher’s Ratio는 데이터 집단 간의 분류 가능성(discriminative power)를 측정하는 방식으로, 이를 구하는 식은 아래의 수학식 3과 같다.

여기서, m1은 두 집단 중 한 데이터 집단의 평균, m2는 나머지 데이터 집단의 평균, v1은 한 데이터 집단의 분산, v2는 나머지 데이터 집단의 분산을 나타낸다. 여기서 평균과 분산은 앞서 주파수 대역별로 추출한 주파수 크기를 이용하여 산출될 수 있다. 따라서, m1 및 v1은 탐색(또는 집중) 상태의 로우 데이터를 FFT 변환한 경우, FFT 변환된 로우 데이터의 주파수 크기의 평균 및 분산에 각각 해당할 수 있으며, m2 및 v2는 집중(또는 휴식) 상태의 로우 데이터를 FFT 변환한 경우, FFT 변환된 로우 데이터의 주파수 크기의 평균 및 분산에 각각에 해당할 수 있다.수학식 3을 통해 각 인지 상태에 따른 주파수 계수의 Fisher’s Ratio를 구할 수 있다(S1040). Fisher’s Ratio를 통해 두 표준 분포 사이의 분류 가능성(discriminative power)을 측정할 수 있다. 보다 상세하게는, Fisher’s Ratio를 이용하여 각 주파수 대역에서 사용자의 특정 인지 상태(예를 들어, 선택/집중/휴식/탐색 등)에서 나타난 주파수 크기(amplitude)가 가장 극대화 되는 주파수 대역을 찾음으로써, 사용자별 특정 인지 상태를 구별하기 위한 최적의 주파수 대역을 찾을 수 있다.

주파수 대역 별로 뇌파의 Fisher’s Ratio를 비교하고, 그 중 가장 높은 Fisher’s Ratio를 갖는 뇌파의 주파수 대역 크기 2개(최상위 및 차상위 Fisher’s Ratio)를 인지 상태를 구별하기 위한 특징 주파수 대역으로 선택할 수 있다(S1050). Fisher’s Ratio를 통해 각 인지 상태에 큰 영향을 주는 2개의 특징 주파수 대역들을 추출할 수 있으며, Fisher’s Ratio의 크기가 클수록 각 인지 상태를 구분하는 데 정확도가 높다.

도 11(c)은 선택/탐색 상태의 뇌파에서 산출한 Fisher’s Ratio이며, 도 12(c)는 집중/휴식 상태의 뇌파에서 산출한 Fisher’s Ratio이다. 도 11(c)를 참조하면, 선택/탐색 상태는 약 0~5Hz 주파수 대역과 약 5~10Hz 주파수 대역에서 상호 구분되는 특징을 갖는 것으로 나타났다. 도 12(c)를 참조하면, 집중/휴식 상태는 약 0~5Hz 주파수 대역과 약 10~20Hz의 주파수 대역에서 상호 구분되는 특징을 갖는 것으로 나타났다.

도 11(d) 및 12(d)는 선택/탐색/집중/휴식 인지 상태에서 Fisher’s Ratio를 통해 추출된 특징 주파수 대역의 크기를 2차원 영역으로 표현한 그래프이다. 도 11(d) 및 12(d)를 참조하면, 동일한 인지 상태의 데이터는 특정 위치에 모여있는 것을 확인할 수 있었다.

이렇듯 Fisher’s Ratio를 이용하여 인지 상태를 구별하기 위한 특징 주파수 대역을 추출하게 되면 뇌파의 캘리브레이션 작업은 완료된다.

다음으로, EBI 시스템은 새롭게 획득되는 데이터가 어느 집단에 속할지를 판단할 수 있는 분류 모델을 적용할 수 있다(S1060). 즉, EBI 시스템은 새롭게 획득된 뇌파가 어떤 인지 상태에 속하는 뇌파인지를 판단할 수 있는 분류 모델을 적용할 수 있다. 이때, EBI 시스템은 분류 모델로서 SVM(Support Vector Machine)을 적용할 수 있다. SVM은 다른 분류 모델들보다 일반화 능력과 성능이 좋은 것으로 평가되고 있다. EBI 시스템은 앞서 Fisher’s Ratio를 이용하여 획득한 특징을 기준으로 새롭게 획득한 뇌파 데이터를 인지 상태별로 SVM을 통해 실시간으로 구별(또는 분류)할 수 있다(S1070).

이렇듯 주파수 대역의 특징을 추출하는 Fisher’s Ratio와 SVM 기법을 통해 약 80% 이상의 정확도로 뇌파의 인지 상태를 구별해낼 수 있었다. 기존에는 사용자의 뇌파를 캘리브레이션하는 방법에 대한 구체적인 기준 및 방식이 확립되지 않아 사용자의 뇌파만으로 디바이스를 제어하는 데 정확도가 떨어졌다. 이에 반해, 본 발명이 제시하는 캘리브레이션 방법을 통해 사용자 뇌파의 인지 상태를 보다 정확하게 구별해낼 수 있으므로, 사용자는 뇌파만으로 사용자 의도에 맞게 디바이스를 정확하게 제어할 수 있게 된다.

도 10 순서도의 각 단계는 EBI 시스템에 포함된 적어도 하나의 디바이스에 의해 각각 수행될 수 있다. 예를 들어, EBI 시스템이 하나의 EBI 디바이스를 포함하는 경우, 도 10 순서도의 단계들은 EBI 디바이스에 의해 수행될 수 있다. 또는, EBI 시스템이 슬레이브 디바이스 및 호스트 디바이스를 포함하는 경우, 도 10 순서도의 단계들 중 일부 단계는 슬레이브 디바이스, 나머지 단계는 호스트 디바이스에 의해 수행될 수 있다.

도 13은 본 발명의 일 실시예에 따른 리캘리브레이션 방법에 관한 실시예를 도시한 도면이다.

EBC 인터페이스를 통한 캘리브레이션이 완료되면, EBI 시스템은 캘리브레이션 결과를 기준으로 새로 획득한 시선 및 뇌파에 관한 데이터를 맵핑/분류하고, 맵핑/분류 상태와 대응하는 다양한 커맨드를 수행할 수 있다. 예를 들어, EBI 시스템은 캘리브레이션 결과를 기준으로 사용자의 시선과 화면 상의 특정 아이콘을 맵핑시킬 수 있다. 나아가, EBI 시스템은 해당 아이콘을 바라본 상태에서 집중(또는 선택) 상태로 분류되는 뇌파 데이터를 추가로 획득한 경우, 해당 아이콘을 선택 및 실행하는 커맨드를 수행할 수 있다.

즉, EBI 시스템은 캘리브레이션 결과를 기준으로 새로 획득한 데이터의 맵핑/분류 작업을 수행하고, 맵핑/분류된 데이터에 해당하는 커맨드를 수행하게 된다. 다만, 캘리브레이션이 완료된 후에도 캘리브레이션 당시의 환경과 현재의 환경이 다르다거나, 사용자 혹은 사용자의 환경이 변경되어 캘리브레이션 결과의 정확도가 떨어지는 경우가 발생할 수 있다. 이 경우, EBI 시스템은 캘리브레이션을 재수행(리캘리브레이션, ‘Recalibration’)할 필요가 있다.

EBI 시스템의 리캘리브레이션은 다양한 실시예로서 트리거링될 수 있다.

일 실시예로서, EBI 시스템의 리캘리브레이션은 사용자로부터 직접 트리거링될 수 있다. 예를 들어, EBI 시스템은 리캘리브레이션을 명령하는 사용자 입력을 수신한 경우, 리캘리브레이션을 수행할 수 있다. 이때, 사용자 입력은 사용자의 음성, 터치, 제스쳐, 모션, 동작 등 다양한 형태의 입력을 나타낼 수 있다.

다른 실시예로서, 도 13을 참조하면, EBI 시스템의 리캘리브레이션은 사용자의 스트레스 지수를 측정함으로써 자동으로 트리거링될 수 있다. 뇌파 및 시선에 따라 사용자 의도와 맞지 않게 디바이스가 동작하는 경우(오동작하는 경우), 사용자의 스트레스 지수는 올라갈 수 있다. 따라서, EBI 시스템은 사용자의 스트레스 지수가 기설정된 스레스홀드(TH) 범위를 벗어나는 경우, 리캘리브레이션이 필요하다고 판단하여 리캘리브레이션을 수행할 수 있다.

사용자의 뇌파 중 베타파과 감마파는 스트레스 지수와 연관이 있는 것으로 알려져 있다. 따라서, EBI 시스템은 사용자 뇌파의 감마파와 베타파를 실시간으로 측정하고, 특정 파가 기설정된 스레스홀드 범위를 벗어나는 경우, 리캘리브레이션을 수행할 수 있다.

이외에도, EBI 시스템은 스트레스 지수와 연관 있는 것으로 알려진 생체 신호, 예를 들어, 심장 박동수, 혈압 등을 실시간으로 측정하고, 측정 결과에 기초하여 리캘리브레이션을 트리거링할 수 있다.

EBI 시스템은 리캘리브레이션 수행을 위해 사용자에게 EBC 인터페이스를 다시 제공하게 된다.

도 14는 본 발명의 일 실시예에 따른 EBI 시스템의 다양한 적용예들을 도시한 도면이다.

도 14를 참조하면, EBI 시스템은 드론 컨트롤 기술 분야, 홈 네트워크 기술 분야, 교육 분야, 휴대용 디바이스 기술 분야, 비히클(vehicle) 컨트롤 기술 분야, 엔터테인먼트 분야 등의 다양한 기술 분야에 적용될 수 있다.

EBI 시스템이 드론 컨트롤 기술 분야에 적용되는 경우, 호스트 디바이스는 드론(140-1)일 수 있으며, 슬레이브 디바이스는 웨어러블 디바이스(100)일 수 있다. 사용자는 슬레이브 디바이스를 착용한 상태로, 뇌파 및 시선을 통해 드론을 제어하게 된다.

예를 들어, 웨어러블 디바이스(100)가 사용자의 머리에 착용 가능한 헤드셋 형태인 경우, 사용자는 머리 포지션을 통해 드론(140-1)의 움직임을 제어할 수 있다. 사용자가 머리를 앞/뒤/좌/우로 움직이는 경우, 드론 역시 사용자 머리의 움직임에 따라 앞/뒤/좌/우로 움직일 수 있다. 또한, 사용자가 웨어러블 디바이스(100)를 착용한 상태로 드론(140-1)을 바라보며 집중하는 경우, 드론(140-1)의 이동 속도는 증가할 수 있으며, 사용자가 드론(140-1)을 바라보며 휴식하는 경우, 드론(140-1)은 이동하지 않고 한 지점에 멈춰 있을 수 있다. 이외에, 드론(140-1)은 사용자의 다양한 생체 신호에 기초하여 동작할 수 있다.

드론 컨트롤 기술 분야와 유사하게, EBI 시스템은 비히클 컨트롤 기술 분야에 적용될 수 있다. 예를 들어, EBI 시스템은 자동차, 비행기, 자전거 등 다양한 비히클을 컨트롤하는 기술 분야에 적용될 수 있으며, 이 경우 비히클(140-4)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용한 웨어러블 디바이스(100)는 슬레이브 디바이스가 될 수 있다.

EBI 시스템이 홈 네트워크 기술 분야에 적용되는 경우, 홈 내에 위치하는 다양한 홈 디바이스들(140-2)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용 가능한 웨어러블 디바이스(140-4)는 슬레이브 디바이스가 될 수 있다. 이 경우, 사용자는 웨어러블 디바이스(140-4)를 착용한 상태로 특정 홈 기기(140-2)를 바라보고 뇌파를 통해 특정 명령을 내림으로써 홈 디바이스들을 간편하게 제어할 수도 있다. 예를 들어, 사용자는 웨어러블 디바이스(100)를 착용한 상태로 전구(140-2)를 쳐다보며 “집중” 상태를 유지하는 경우, 해당 전구(140-2)는 켜지거나 꺼질 수 있다.

EBI 시스템이 교육 분야에 적용되는 경우, 다양한 교육용 기기들(140-3)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용 가능한 웨어러블 디바이스(100)는 슬레이브 디바이스가 될 수 있다. EBI 시스템은 사용자의 집중 상태를 측정할 수 있으므로, 사용자가 현재 얼만큼 집중하고 있는지 집중도를 실시간으로 추적할 수 있다. 이때, EBI 시스템은 집중력이 다소 떨어진 시간에 학습된 부분은 추후에 재학습할 것을 권유함으로써 학습 효율을 향상시키는 데 도움을 줄 수도 있다.

이외에도, EBI 시스템은 다양한 기술 분야에 적용될 수 있으며, 특히, 사용자의 생체 신호를 이용한 제어 기술이 적용 가능한 다양한 분야에 적용될 수 있으며, 상술한 실시예들에 한정되지 않는다.

만일, EBI 시스템이 적용되는 기술 분야에 따라, 제어 신호로서 뇌파 및 시선 중 어느 하나만을 요구하는 경우, EBI 시스템은 요구되는 뇌파 또는 시선에 대해서만 캘리브레이션을 수행할 수 있다. 즉, 실시예에 따라, EBI 시스템은 뇌파 및 시선을 동시에 캘리브레이션하거나, 뇌파 및 시선 중 어느 하나에 대해서만 캘리브레이션을 수행할 수도 있다.

도 15는 본 발명의 일 실시예에 따른 EBI 시스템의 제어 방법에 관한 순서도이다. 본 순서도와 관련하여, 상술한 실시예들의 설명이 동일하게 적용될 수 있다. 따라서, 이하에서는 상술한 내용과 중복되는 설명은 생략하기로 한다.

우선, EBI 시스템은 EBC 인터페이스를 제공할 수 있다(S1510). 보다 상세하게는, EBI 시스템은 사용자의 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC 인터페이스를 제공할 수 있다. 이때, EBC 인터페이스는 적어도 하나의 비주얼 오브젝트를 포함할 수 있으며, 사용자로 하여금 해당 비주얼 오브젝트에 대해 특정 인지 상태를 가지고 응시하도록 지시할 수 있다. EBC 인터페이스는 다양한 실시예로서 사용자에게 제공될 수 있으며, 이에 대해서는 도 6과 관련하여 상술한 바와 같다.

다음으로, EBI 시스템은 사용자의 시선 및 뇌파를 획득할 수 있다(S1520). 보다 상세하게는, EBI 시스템은 뇌파 센싱 유닛 및 시선 추적 유닛을 이용하여 EBC 인터페이스에 대한 사용자의 시선 및 뇌파를 획득할 수 있다.

다음으로, EBI 시스템은 EBC 인터페이스가 제공하는 비주얼 오브젝트와 사용자의 시선을 맵핑할 수 있다(S1530). 이 경우, EBI 시스템은 비주얼 오브젝트의 위치 좌표 및 사용자의 시선 좌표를 상호 맵핑할 수 있다. 이때, EBI 시스템은 multivariate linear regression 등을 통하여 비주얼 오브젝트의 위치와 사용자의 시선을 상호 맵핑할 수 있으며, 이에 관하여는 도 8과 관련하여 상술한 바와 같다.

마지막으로, EBI 시스템은 EBC 인터페이스가 지시하는 특정 인지 상태와 사용자의 뇌파를 맵핑할 수 있다(S1540). 이 경우, EBI 시스템은 특정 인지 상태에 대한 로우 데이터를 획득하고, 획득한 데이터를 기설정된 알고리즘을 통해 프로세싱함으로써 특정 인지 상태를 분류하기 위한 분류 기준을 설정할 수 있다. 분류 기준을 설정하기 위한 기설정된 알고리즘의 실시예는 도 10과 관련하여 상술한 바와 같다.

본 순서도에서 S1530과 S1540 단계의 순서는 변경될 수 있으며, 실시예에 따라 새로운 단계가 추가되거나 일부 단계가 삭제될 수도 있다.

한편, 본 순서도에는 도시하지 않았으나, EBI 시스템은 사용자의 시선으로부터 홍채 이미지를 획득할 수 있으며, 획득한 홍채 이미지를 코드화하여 사용자 인증 정보로 사용할 수 있다. 이에 관하여는 도 9와 관련하여 상술한 바와 같다.

본 순서도의 각 단계는 EBI 시스템에 포함된 적어도 하나의 디바이스에 의해 수행될 수 있다. 만일, EBI 시스템이 하나의 EBI 디바이스를 포함하는 경우, 본 순서도에 도시된 단계들은 하나의 EBI 디바이스에 의해 수행될 수 있다. 만일, EBI 시스템이 슬레이브 디바이스 및 호스트 디바이스를 포함하는 경우, 본 순서도에 도시된 단계들 중 일부는 슬레이브 디바이스, 나머지는 호스트 디바이스에 의해 수행될 수 있다.

예를 들어, S1510, S1530, 및 S1540 단계는 호스트 디바이스에 의해 수행될 수 있으며, S1520 단계는 슬레이브 디바이스에 의해 수행될 수 있다. 이 경우, 호스트 디바이스는 슬레이브 디바이스로부터 S1520 단계를 수행한 결과 데이터를 수신(또는 요청하여 수신)할 수 있으며, 수신한 데이터에 기초하여 S1530 및 S1540 단계를 수행할 수 있다.

이외에, EBI 시스템에 포함된 디바이스의 개수 및 각 디바이스의 구성 유닛, 설계 목적 등에 따라 본 순서도의 각 단계를 수행하는 주체는 유동적으로 변경될 수 있으며, 각 단계를 수행하기 위해 디바이스 간 데이터 또는 신호가 송/수신될 수 있다. 따라서, 본 명세서에서는 EBI 시스템이 복수의 디바이스들로 구성되는 경우, 중복하여 설명하지 않아도, 특정 단계를 수행하기 위해 요구되는 데이터가 디바이스들간에 송/수신되는 내용이 포함되어 있는 것으로 볼 수 있다.

설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 표시 장치는 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

발명의 실시를 위한 형태

다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.

본 발명의 사용자의 뇌파 및 시선을 이용한 다양한 제어 시스템에서 사용될 수 있다.

Claims

사용자 시선(eye) 및 뇌파에 기초하여 제어되는 EBI(Eye-Brain Interface) 시스템의 캘리브레이션 하는 방법에 있어서,
상기 시선 및 뇌파를 함께 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 단계; 로서,
상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
상기 EBC 인터페이스에 포함된 비주얼 오브젝트에 대한 상기 사용자의 시선 및 뇌파를 획득하는 단계;
상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하는 단계; 및
상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는 단계; 를 포함하고,
상기 사용자의 뇌파를 맵핑하는 단계는,
제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하는 단계;
상기 제1 및 제2 로우 데이터를 주파수 변환하는 단계; 및
상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
제 1 항에 있어서,
상기 사용자의 시선을 맵핑하는 단계는,
상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는 단계인, EBI 시스템의 캘리브레이션 방법.
제 1 항에 있어서,
상기 EBC 인터페이스는 상기 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 상기 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 또는 교대로 제공하는, EBI 시스템의 캘리브레이션 방법.
제 3 항에 있어서,
상기 제1 인지 상태는 집중 및 선택 중 적어도 하나를 포함하는 인지 상태이며, 상기 제2 인지 상태는 휴식 및 탐색 중 적어도 하나를 포함하는 인지 상태인, EBI 시스템의 캘리브레이션 방법.
삭제
제 1 항에 있어서,
상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계는,
상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기(amplitude)를 추출하는 단계;
상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하는 단계;
최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하는 단계; 및
상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
제 6 항에 있어서,
상기 Fisher’s Ratio는,
상기 주파수 변환된 제1 로우 데이터에서 상기 주파수 크기의 평균 및 분산, 및 상기 주파수 변환된 제2 로우 데이터에서의 상기 주파수 크기의 평균 및 분산에 기초하여 산출되는 값인, EBI 시스템의 캘리브레이션 방법.
제 6 항에 있어서,
상기 기설정된 범위의 주파수 대역은, 뇌파의 δ파 대역, θ파 대역, α파 대역, 또는 β파 대역에 해당하는, EBI 시스템의 캘리브레이션 방법.
제 1 항에 있어서,
상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도하는, EBI 시스템의 캘리브레이션 방법.
제 9 항에 있어서,
상기 EBC 인터페이스는,
상기 비주얼 오브젝트가 깜빡이는 주파수를 8~13Hz 범위로 조정함으로써 상기 사용자의 뇌파를 알파파 범위로 유도하고,
상기 비주얼 오브젝트가 깜빡이는 주파수를 13~30Hz 범위로 조정함으로써 상기 사용자의 뇌파를 베타파 범위로 유도하는, EBI 시스템의 캘리브레이션 방법.
제 1 항에 있어서,
상기 사용자의 시선으로부터 홍채 이미지를 획득하는 단계; 및
상기 홍채 이미지를 코드화하는 단계; 를 더 포함하는, EBI 시스템의 캘리브레이션 방법.
제 11 항에 있어서,
상기 홍채 이미지를 코드화하는 단계는,
상기 획득한 홍채 이미지를 복수의 이미지들로 분리하는 단계;
상기 분리한 복수의 이미지들을 한 방향으로 나열하는 단계; 및
상기 한 방향으로 나열된 이미지들을 하나의 2차원 이미지로 전환하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
사용자 시선(eye) 및 뇌파를 측정하는 슬레이브 디바이스에 있어서,
사용자의 시선을 추적하는 시선 추적 유닛;
상기 사용자의 뇌파를 센싱하는 뇌파 센싱 유닛;
호스트 디바이스와 통신을 수행하는 통신 유닛; 및
상기 시선 추적 유닛, 뇌파 센싱 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하되,
상기 호스트 디바이스는 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 디바이스로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
상기 프로세서는,
상기 호스트 디바이스로부터 캘리브레이션 개시 신호를 수신한 경우, 상기 사용자의 시선 및 뇌파를 함께 획득하고,
상기 사용자의 시선 및 뇌파를 상기 호스트 디바이스로 전송하고,
상기 호스트 디바이스에 의하여 상기 사용자의 뇌파가 맵핑되는 경우,
제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터가 획득되고,
상기 제1 및 제2 로우 데이터가 주파수 변환되고,
상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 인지 및 상기 제2 인지 상태의 분류 기준이 설정되는, 슬레이브 디바이스.
사용자 시선 및 뇌파에 기초하여 제어되는 호스트 디바이스에 있어서,
이미지를 디스플레이하는 디스플레이 유닛;
슬레이브 디바이스와 통신을 수행하는 통신 유닛; 및
상기 디스플레이 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하고,
상기 프로세서는,
상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하되,
상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
상기 슬레이브 디바이스로부터 상기 사용자의 시선 및 뇌파를 요청 및 수신하고,
상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하고,
상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하고,
상기 프로세서는,
상기 사용자의 뇌파를 맵핑하는 경우,
제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하고,
상기 제1 및 제2 로우 데이터를 주파수 변환하고,
상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 인지 및 상기 제2 인지 상태의 분류 기준을 설정하는, 호스트 디바이스.
제 14 항에 있어서,
상기 프로세서는,
상기 사용자의 시선을 맵핑하는 경우,
상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는, 호스트 디바이스.
제 14 항에 있어서,
상기 EBC 인터페이스는 상기 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 상기 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 또는 교대로 제공하는, 호스트 디바이스.
제 16 항에 있어서,
상기 제1 인지 상태는 집중 또는 선택의 인지 상태이며, 상기 제2 인지 상태는 휴식 또는 탐색의 인지 상태인, 호스트 디바이스.
제 14 항에 있어서,
상기 프로세서는,
상기 제1 인지 및 상기 제2 인지 상태의 분류 기준을 설정하는 경우,
상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기를 추출하고,
상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하고,
최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하고,
상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는, 호스트 디바이스.
제 18 항에 있어서,
상기 프로세서는,
상기 사용자의 뇌파를 실시간으로 획득하고,
상기 실시간으로 획득한 사용자의 뇌파를 상기 분류 기준에 따라 실시간으로 분류하는, 호스트 디바이스.
제 14 항에 있어서,
상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도하는, 호스트 디바이스.