KR20200098524A

KR20200098524A - 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스

Info

Publication number: KR20200098524A
Application number: KR1020207016971A
Authority: KR
Inventors: 람세스 알카이데; 데렉 파덴; 제이 잔츠; 제임스 하멧; 주니어 제프리 모리스; 아날도 페레이라
Original assignee: 뉴레이블 인크.
Priority date: 2017-11-13
Filing date: 2018-11-13
Publication date: 2020-08-20
Also published as: US20200268296A1; EP3710915A1; EP3710915A4; JP2021502659A; WO2019094953A1; CN111542800A

Abstract

본 명세서에 설명된 실시예들은 인간-머신 상호작용의 고속 및 정확도를 위해 전략적으로 설계된 사용자 인터페이스를 제시하고 갱신하기 위해 두뇌 활동 추적과 실시간 눈-운동 추적을 통합하는 두뇌-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들, 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 애플리케이션들 및/또는 머신들의 고속의 직관적이고 정확한 사용자 조작을 가능하게 하는 특정 사용자 인터페이스 적응들을 갖는 하드웨어 애그노스틱 두뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

Description

고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스

본 출원은 2017년 11월 13일자로 출원된, 발명의 명칭이 "Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions"인 미국 가특허 출원 일련 번호 제62/585,209호에 대한 우선권을 주장하고, 그의 이익을 주장하며, 그 개시 내용은 그 전체가 본 명세서에 참조로 포함된다.

본 명세서에 설명된 실시예들은 머신들의 사용자 조작을 중재하기 위해, 인간-머신 상호작용의 고속 및 정확도를 위해 전략적으로 설계된 사용자 인터페이스(UI) 또는 UX를 제시하고 갱신하기 위해 두뇌 활동 추적을 사용하는 두뇌-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한, 머신들의 사용자 조작을 중재하기 위해 눈-운동 추적 및 신경 활동의 분석을 통합하는 하드웨어 애그노스틱 두뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

두뇌-컴퓨터 인터페이스(BCI)는 두뇌 활동만으로 유선 두뇌와 외부 디바이스 사이의 다이렉트 통신 경로들을 갖는 컴퓨터들 또는 외부 디바이스들을 제어하는 것을 허용하는 하드웨어 및 소프트웨어 통신 시스템이다. BCI들은 직접 두뇌 신호들을 해석하는 것으로부터 운영 머신들 및 애플리케이션들에 대한 액세스를 제공하기 위한 보조 기술로서 주로 설계되었다. BCI 개발의 주요 목표들 중 하나는 다른 사람들과의 효과적인 통신이 극도로 어려울 수 있는, 근위측성 측색 경화증(amyotrophic lateral sclerosis), 뇌간 뇌졸증(brainstem stroke), 또는 척추 손상(spinal cord injury)과 같은, 신경 신경근 장애(neurological neuromuscular disorder)에 의해 완전히 마비되거나 '고착된' 심각하게 불구가 된 사람들에게 통신 능력들을 제공하는 것이다.

두뇌 컴퓨터 인터페이스들의 일부 공지된 구현들에는 파웰(Farwell) 및 돈친(Donchin)이 설계한 것과 같은 철자들이 포함된다. 이 철자에서, 26개의 알파벳 문자는, 여러 다른 심볼 및 명령과 함께, 행과 열이 무작위로 깜박이는 6×6 행렬의 스크린 상에 표시된다. 사용자는 스크린에 주위를 기울이고 기입될 문자들에 연속적으로 집중하는 반면, 두뇌의 신경 응답은 시그니처 신경 두뇌 신호들을 모니터링한다. 일단 시그니처 두뇌 신호들이 검출되면 시스템이 원하는 심볼을 식별하는 것을 허용한다. 파웰-돈친 철자는 사람이 분당 약 2 문자의 속도로 글을 쓸 수 있게 허용한다.

BCI 시스템들은 마우스 및 키보드와 같은 종래의 입력 또는 출력 인터페이스들에 대한 필요없이, 심지어 물리적으로 능력있는 사람들도 컴퓨터들 또는 다른 데이터 처리 머신들 및/또는 소프트웨어 애플리케이션들을 작동할 수 있게 지원하고 강화하도록 설계될 수 있다. BCI들은 또한 종래의 입력 방법들보다 컴퓨터와 보다 직관적이고 자연스러운 상호작용을 위한 인터페이스를 제공할 수 있다. 게다가, BCI들은 또한 사람 및 동물 인지 및/또는 감각 모터 시스템들 및 그들의 기능들을 매핑하고 연구하는 것뿐만 아니라 증강, 수리를 비롯하여 많은 기타 기능들을 제공하기 위해 개발될 수 있다. 일부 BCI 애플리케이션들은 그 중에서도 워드 프로세서들, 적응된 웹 브라우저들, 휠체어 또는 뉴로프로스시시스(neuroprosthesis)의 두뇌 제어, 및 게임들을 포함한다.

사용자의 시선 또는 주의 및 원하는 액션의 선택/활성화를 중재하기 위해 눈 운동들 및 두뇌 활동을 추적하기 위한 하드웨어-애그노스틱, 통합된 안구운동-신경 하이브리드 두뇌 컴퓨터 인터페이스(BCI) 플랫폼의 다양한 실시예들에 대한 시스템들, 디바이스들 및 방법들이 본 명세서에 설명된다. 이 개시내용은 고속 및 정확도로 동작하는 두뇌 컴퓨터 인터페이스들에 대한 필요성을 해결하기 위한 통합된 하이브리드 BCI 시스템을 제시한다.

도 1은 일 실시예에 따른 하이브리드 두뇌 컴퓨터 인터페이싱 시스템의 개략도이다.
도 2는 하이브리드 BCI 디바이스의 일 실시예를 사용하여, 자극 아이콘을 선택/선택해제하기 위한 포인팅 제어 특징 및 액션 제어 특징의 예시적인 구현에 수반되는 단계들의 시퀀스의 예시를 도시한다.
도 3a 및 도 3b는 사용자 상호작용 전후의 UI를 도시한다. 도 3c는 일 실시예에 따른, 비디오 기반 눈-추적기 및 신경 기록 헤드셋을 장착한 사용자를 도시한다.
도 3d 및 도 3e는 도 3c에 도시된 비디오 기반 눈-추적기 및 신경 기록 헤드셋에 의해 취득된 예시적인 신호들을 도시한다.
도 4는 일 실시예에 따른, 하이브리드 두뇌 컴퓨터 인터페이싱 디바이스의 동작의 예시적인 프로세스를 도시한다.
도 5는 일 실시예에 따른, 하이브리드 두뇌 컴퓨터 인터페이싱 디바이스의 개략도이다.
도 6은 일 실시예에 따른, 동적 자극의 식별 및 추적을 예시하는 하이브리드 BCI 시스템의 예시적인 UI를 도시한다.
도 7은 일 실시예에 따른, 하이브리드 BCI 시스템의 UI에서의 예시적인 내비게이션 제어의 예시를 도시한다.
도 8a는 일 실시예에 따른, 하이브리드 BCI 시스템에 의해 캡처된 실제 이미지에 대해 수행되는 이미지 세그먼트화의 일례를 도시한다.
도 8b는 일 실시예에 따른, 도 8a에 도시된 것과 같은 실제 이미지를 처리함으로써 컨텍스트 기반 제어 아이템들로 채워진 예시적인 UI를 도시한다.
도 9a 내지 도 9c는 일 실시예에 따른, 포커스 클릭-스루 적응들(focus click-through adaptations)을 예시하는 하이브리드 BCI 시스템의 예시적인 UI들을 도시한다.
도 10a는 일 실시예에 따른, 1-단계 선택 프로세스를 사용자에게 제시하는 예시적인 하이브리드 BCI 시스템의 예시적인 UI를 나타낸다.
도 10b는 일 실시예에 따른, 사전 선택 풀링 적응(pre-selection pooling adaptation)을 구현하는 2-단계 선택 프로세스를 사용자에게 제시하는 UI의 다른 모드를 나타낸다.
도 11a 내지 도 11d는 일 실시예에 따른, 드래그가능한 마커 적응(draggable marker adaptation)의 구현을 예시하는, 하이브리드 BCI 시스템의 예시적인 UI를 도시한다.
도 12a 내지 도 12h는 일 실시예에 따른, 드래그가능한 스티키 마커(draggable sticky marker)의 예시적인 사용을 구현하는, 하이브리드 BCI 시스템의 UI의 예시들을 도시한다.
도 13a는 일 실시예에 따른, 사용자 상호작용을 위한 적응을 구현하는 예시적인 UI를 나타낸다.
도 13b 내지 도 13d는 일 실시예에 따른, 선택 활성화의 UI 적응을 구현하는 메커니즘을 나타낸다.

본 명세서에 설명된 실시예들은 인간-머신 상호작용의 고속 및 정확도를 위해 전략적으로 설계된 UI를 제시하고 갱신하기 위해 두뇌 활동 추적과 실시간 눈-운동 추적을 통합하는 하이브리드 두뇌-컴퓨터 인터페이스(BCI)의 구현에 사용하기 위한 시스템들, 디바이스들, 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 머신들의 사용자 조작을 중재하기 위해 신경 두뇌 신호들의 실시간 눈 추적 및 온라인 분석을 사용하는 하드웨어 애그노스틱 두뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

BCI 기술이 환자들에게 보다 적합하고, 일반 대중에게 유용하며, 실제 작업을 제어하는데 채택되기 위해서는, 정보 송신 속도가 자연스러운 상호작용 페이스를 충족시키도록 개선되어야 하고, 오류율은 감소되어야 하며, 현재 구현들에 비해 상호작용 인터페이스의 복잡도가 최소화되어야 한다. 게다가, BCI 애플리케이션들은 사용자들로부터의 높은 인지 부하를 요구하고, 따라서 UI는 조용한 실험실 환경으로부터 실세계로 이동하도록 개선되어야 한다. BCI 디바이스들 및 애플리케이션들을 보다 쉽고 직관적으로 구성하기 위해, 고속 및 높은 정확도로 동작하는 두뇌 머신 인터페이스들의 구현에서 자연스러운 직관적 프로세스를 통한 사용자 중재 액션 선택을 가능하게 하는 개선된 디바이스들 및 기법들이 필요하다.

하이브리드 BCI 시스템

본 명세서에 설명된 바와 같이, BCI는 두뇌 활동만으로 컴퓨터들 또는 외부 디바이스들을 제어하는 것을 허용하는 하드웨어 및 소프트웨어 통신 시스템이다. 하이브리드 BCI 시스템은 인터페이스를 통한 자극들의 디스플레이, 인터페이스 상의 사용자의 초점을 찾기 위한 하드웨어 장치, 두뇌 활동을 기록 및 처리하기 위한 디바이스, 및 인터페이스의 제어를 수행하기 위한 장치를 포함하고, 이는 사용자의 환경에 대한 제어로 바뀔 수 있다. 이러한 표준 특징들은 (1) 포인팅 제어 특징, (2) 액션 제어 특징, 및 (3) UI 특징으로서 특징지어질 수 있다. 포인팅 제어 특징은 사용자가 제어하기 위해 하나 이상의 조작기의 작은 세트로 좁혀질 수 있게 허용하는 마우스 포인터와 같은 종래의 포인팅 디바이스와 유사할 수 있다. 액션 제어 특징은 사용자가 UI에 대한 변경, 결국 접속된 머신에 대한 변경을 행하는 액션을 구현하는 것을 허용하는 선택 디바이스, 예를 들어, 마우스 클릭 또는 키보드 상의 키 스트로크와 유사할 수 있다. 하이브리드 BCI 시스템에서의 UI 특징은 선택 메뉴, 내비게이션 제어 등을 제공하는 것과 같은 다른 특징들 외에도 포인팅 및 액션 제어 특징들을 구현하는 환경을 생성하고 유지하는 운영 체제와 유사할 수 있다.

액션 제어 특징에 의해 수행되는 액션은 많은 것들 중 하나일 수 있고 다양한 디바이스들 또는 머신들을 제어하도록 설계된 다양한 버전의 UI들에 적합하도록 적응될 수 있다. 몇가지 예를 들자면, 액션은 UI에 대한 활성화 또는 비활성화, 연속적 또는 반연속적 변경(예를 들어, 스크롤링, 호버링, 핀칭, 줌잉, 타이틀링, 회전, 스와이핑 등)일 수 있다. 액션은 또한 하이라이트 등과 같은 이산적인 시작 및 중단으로 UI에 대한 심각한 변경에 영향을 줄 수 있다. UI를 통한 액션 제어의 일부 다른 예들은 가상 키보드 제어, 메뉴 내비게이션, 객체들 또는 아이템들을 배치 및 배치해제를 위한 액션들, 객체들 또는 아이템들을 이동, 객체들을 확장 및/또는 축소하기 위한 액션, 제1 사람 관찰자 또는 플레이어의 이동 또는 내비게이션, 관찰자의 관점들을 변경, 및 그래빙(grabbing), 픽킹(picking) 또는 호버링(hovering)과 같은 액션들을 포함할 수 있다. 액션 제어의 이러한 양태들 중 일부는 아래에 개시된다.

본 명세서에서 설명되는 하이브리드 BCI 시스템의 일부 실시예들에서, 사용자의 초점을 식별하기 위한 포인팅 제어 특징 및 방법들은 눈-추적 디바이스를 포함할 수 있다. 일부 실시예들에서, 사용자의 의도를 식별하기 위한 액션 제어 특징 및 방법들은 두뇌에서 신경 신호들을 모니터링하는 임의의 적합한 형태를 포함할 수 있다. 이것은 두뇌 활동을 기록하는 임의의 형태, 예를 들어, 전기, 광학 또는 자기 이미징과 같은 두뇌 이미징 방법들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 하이브리드 BCI 시스템은 증폭기 및 사용자의 두뇌 신호들을 BCI 명령으로 변환하는 프로세서를 통해 채널링된 두뇌 활동의 신경 신호들을 기록하는 전극들을 사용할 수 있다. 일부 실시예들에서, 하이브리드 BCI 시스템은 머신들의 두뇌 활동 기반 제어를 구현하는 정교한 UI들을 구현할 수 있다. 이 특징들 중 하나 이상에 대한 특정 적응들은 하이브리드 BCI 시스템과의 인간 상호작용의 고속 및 정확도를 달성하기 위해, 후술되는 바와 같이 구현될 수 있다. 예를 들어, 일부 실시예들에서, 하이브리드 BCI 시스템은 2017년 8월 25일자로 출원된 "Brain-computer interface with high-speed eye tracking features"라는 제목의 미국 특허 출원 제62/549,253호(" '253 출원"); '253 출원의 우선권을 주장하는, 2018년 8월 22일자로 출원된 "Brain-computer interface with high-speed eye tracking features"라는 제목의 국제 특허 출원 번호 PCT/US2018/047598; 및 2018년 9월 21일자로 출원된 "Brain-computer interface using high-speed and accurate tracking of user interactions"라는 제목의 미국 특허 출원 번호 제16/138,791호에 기술된 것들과 실질적으로 유사할 수 있다. 이들 출원 각각의 개시내용(들)은 그 전체가 본 명세서에 참고로 포함된다.

도 1은 일 실시예에 따른 하이브리드 두뇌 컴퓨터 인터페이스 시스템(100)의 개략도이다. 예시적인 하이브리드 두뇌 컴퓨터 인터페이스 시스템(100)(본 명세서에서 "하이브리드 BCI 시스템" 또는 "BCI 시스템" 또는 "시스템"이라고도 지칭됨)은 눈-추적기(102)(예를 들어, 비디오 기반 눈-추적기) 및 사용자의 두뇌의 하나 이상의 제어 신호들을 기록하기 위한 신경 기록 헤드셋(104)을 포함하는 통합된 안구운동-신경 하이브리드 BCI 시스템이다. 하이브리드 BCI 시스템은 또한 안구운동-신경 하이브리드와 통합될 수 있는 EMG 신호들을 기록하기 위한 EMG(electromyograph)를 선택적으로 포함할 수 있다. 비디오 기반 눈-추적기(102)는 임의의 시간에 사용자의 초점을 표시하는 사용자(102)의 눈의 안구운동 응답들(즉, 포인팅 제어 특징)을 캡처, 기록, 및 송신하도록 구성될 수 있다. 신경 기록 헤드셋(104)은 사용자의 인지 의도를 표시하는 하나 이상의 두뇌 영역으로부터의 신경 제어 신호들(즉, 액션 제어 특징)을 캡처, 기록 및 송신하도록 구성될 수 있다. 신경 제어 신호들은 임의의 적합한 접근법, 예를 들어, EEG(electroencephalography), ECoG(electrocorticography) 또는 MEG(magnetoencephalography) 등을 통해 기록되는 임의의 형태의 신경 활동일 수 있다. 신경 활동의 예시적인 형태들은 ERPs(Event Related Potentials), SSVEPs(steady state visual evoked potentials), 모터 이미지, TVEPs(transitory visual evoked potentials), VEPs(brain state commands, visual evoked potentials), P300 유발 전위와 같은 유발 전위들, 감각 유발 전위들, 모터 유발 전위들, 뮤 리듬(mu rhythm) 또는 베타 리듬과 같은 감각운동 리듬들, ERDs(event related desynchronization), ERSs(event-related synchronization), SCPs(slow cortical potentials) 등을 포함한다. 예시적인 하이브리드 BCI 시스템(100)은 또한 두뇌-컴퓨터 인터페이싱 디바이스(110)를 포함하고 선택적으로 시청각 디스플레이(106)를 포함한다.

하이브리드 BCI 시스템(100)의 일부 실시예들에서, 수집된 신경 및 안구운동 데이터는 어떤 자극이 제시되었는지에 관한 데이터와 함께 신호를 앙상블로서 처리하는 두뇌-컴퓨터 인터페이싱 디바이스(110)에 전달될 수 있다. 결합된 정보에 의해, 두뇌-컴퓨터 인터페이싱 디바이스(110)는 사용자의 의도를 예측하기 위해 통계적 모델들에 기초하여 관련 신호 특징들을 검출할 수 있다. 그 후, 이러한 예측된 의도는 예를 들어, 디스플레이(106)를 통해 제시되는 UI를 통해 사용자에게 전달될 수 있고, UI 및 임의의 접속된 제어가능한 머신에서의 변경을 달성하기 위해 사용될 수 있다. 하이브리드 BCI 시스템(100)의 일부 실시예들은 또한 사운드, 터치, 배향 등과 같은 다른 방식(modality)들을 생각한 사용자 거동에 관한 데이터를 수집하고 풍부한 멀티모드인 UX를 제시하는 다른 주변 센서들 및 액추에이터들(도 1에 도시되지 않음)을 포함할 수 있다.

2차원 및 3차원 공간에서의 눈 추적 -포인팅 제어 특징

일부 실시예들에서, 비디오 기반 눈-추적기(102)는 2차원 또는 3차원 공간에서 사용자의 눈 운동을 빠르게 따라 감으로써 사용자가 자신의 시야에서 어디를 보고 있는지를 결정하는데 사용될 수 있다. 예를 들어, 사용자가 자신의 눈-운동들을 자발적으로 제어하는 경우, 비디오 기반 눈-추적기(102)는 그들의 눈 각각의 시야에서의 어느 서브공간들이 "포인팅되고 있는지"를 결정하는데 사용될 수 있다. 즉, 비디오 기반 눈-추적기(102)는 사용자의 눈-운동 궤적들을 포인팅 제어 특징으로서 사용하여, 객체의 의도 및 거동에 관한 중대한 정보를 밝혀낼 수 있다. 일부 실시예들에서, 시각적 공간에서 그들이 어떤 곳에 집중하고 있는지, 그들이 어떤 자극에 집중하고 있는지, 또는 그들이 어떤 자극에 응답하는지의 양태들은 BCI 시스템(100)에서 효과적으로 사용될 수 있다. 서로에 대한 양쪽 눈의 운동 궤적들을 동시에 추적함으로써, 비디오 기반 눈-추적기(102)는 또한 사용자의 초점 심도를 등록할 수 있고, 따라서 3차원 공간에서의 포인팅 제어를 가능하게 한다.

일부 실시예들에서, 비디오 기반 눈-추적기(102)는 사용자의 눈을 이미징하기 위해 헤드-장착형 눈 추적 비디오 카메라를 사용하여 조명원의 사용자의 동공 및 제1 표면 각막 반사(CR)를 추적하는 것에 의존한다. 이들 2개의 특징 사이의 위치 차이는 관찰자의 빈틈없는 배향(eye-in-head orientation)을 결정하는데 사용될 수 있다. 비디오 기반 눈-추적기(102)로서 사용될 수 있는 일부 예시적인 헤드 장착형 눈-추적 디바이스들은 다른 상업적 판매자 중에서 SenseMotoric instruments, Tobii Eye Tracking, 및 Pupil-labs로부터 입수가능하다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 사용자의 눈들을 조명하는 하나 이상의 조명원을 포함할 수 있다. 조명원들은 임의의 적합한 파장의 광을 방출하고 임의의 적합한 위치에 장착될 수 있다. 조명원들은 데이터의 기능 제어 및 송신 등을 위한 유선 또는 무선 통신을 통해 접속될 수 있다.

비디오 기반 눈-추적기(102)는 각각의 눈으로부터, 동공 및 하나 이상의 조명원의 각막 반사를 동시에 이미징하도록 구성된 좌측 및 우측 눈 카메라를 포함할 수 있다. 카메라들은 서로 접속될 수 있고, 유선 또는 무선 접속을 통해, 도 1에 도시된 BCI(Brain-Computer Interfacing) 디바이스(110)와 같은 외부 디바이스에 접속될 수 있다. 비디오 기반 눈-추적기는 또한 사용자의 시야를 캡처하는 추가 장면 카메라를 포함할 수 있다. 장면 카메라로부터의 신호들은 또한 유선 또는 무선 통신 방법들을 통해 BCI 디바이스(110)와 같은 외부 디바이스로 중계될 수 있다.

일부 실시예들에서, 비디오 기반 눈-추적기(102)는 홍채에 의해 최적으로 반사되고 인간들에게 보이지 않는 근적외선(IR) 조명원을 사용할 수 있기에, 사용자를 방해하거나 산만하게 하지 않는다. 강한 IR 반사율은 동공 검출에 특히 유익한 높은 콘트라스트 이미지들을 산출할 수 있다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 시준된 원거리 광원(far range light source)을 사용할 수 있고, 그에 의해 평행 광선들이 원거리 조명원으로부터 방출되고 광학 컴포넌트들에 의해 시준된다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 눈을 조명하기 위해 비시준된 근거리 소스를 사용할 수 있으며, 그에 의해 조명원은 눈으로부터 유한 거리(전형적으로 50 mm 이하)에 장착되고 광선들을 시준하기 위해 소스와 눈 사이에 광학 컴포넌트가 존재하지 않는다.

본 명세서에 설명된 바와 같이, 비디오 기반 눈-추적기(102)는 눈으로부터 반사된 광을 이용하는데, 이는 비디오 카메라 또는 이 사용을 위해 특별히 설계된 임의의 일부 다른 적합한 광학 센서에 의해 감지된다. 그 후, 반사의 변화로부터 눈 회전을 추출하기 위해 감지된 광이 분석된다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 각막 반사(즉, 제1 푸르키네 이미지(Purkinje image)) 및 동공의 중심을 시간의 경과에 따라 추적하기 위한 특징들로서 사용할 수 있다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 보다 민감한 접근법에서 각막의 전방(즉, 제1 푸르키네 이미지) 및 렌즈의 후방(즉, 제4 푸르키네 이미지)으로부터의 반사들을 눈 운동을 추적하기 위한 특징들로서 사용할 수 있다. 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 예를 들어, 망막 혈관과 같은, 눈 내부의 특징들을 이미징하고, 눈이 회전함에 따라 이러한 특징들의 운동을 따라 감으로써 훨씬 더 민감한 추적 방법들을 사용할 수 있다.

일부 실시예들에서, 비디오 기반 눈-추적기(102)는 아래에 설명되는 바와 같이 통합된 디스플레이를 포함할 수 있다. 디스플레이(106)와 통합된 비디오 기반 눈-추적기(102)는 가상 현실 공간을 보도록 구성된 시스템일 수 있다. 일부 실시예들에서, 디스플레이(106)와 통합된 비디오 기반 눈-추적기(102)는 증강 현실 공간을 보도록 구성될 수 있다. 즉, 디스플레이(106)를 통해 제시되는 중첩된 UI를 추가하여, 실세계를 한 쌍의 안경으로 보는 기능이다.

두뇌 신호들의 신경 기록 - 액션 제어 특징

하이브리드 BCI 시스템(100)의 목적은 대뇌 활동을 모니터링하는 것으로부터 사용자 의도를 해석함으로써 외부 머신들을 능동적으로 제어하는 것이다. 이 목적의 중심에는 사용자의 의도를 표시할 수 있는 두뇌 신호들이 있어, 두뇌 신호들을 액션 제어 특징으로 만든다. 하이브리드 BCI 시스템(100)은 사용자에 의해 수행되는 인지 작업에 의해 동시에 유발되거나 그에 관련된 여러 시그니처 두뇌 신호 중 하나 이상을 사용할 수 있다. 이들 두뇌 신호들 중 일부는 사람들이 마음대로 그들을 변조하기 위해 학습할 수 있는 방식들로 디코딩될 수 있다. 제어 신호들로 간주되는 이러한 신호들을 사용하면, 하이브리드 BCI 시스템(100)이 사용자의 의도들을 해석할 수 있게 할 수 있다.

전기 생리학적 원점(electrophysiological origin)의 신경 활동은 뉴런들 사이에서 정보를 교환하는 전기-화학적 송신기들에 의해 생성된다. 뉴런들은 뉴런 어셈블리들 내에서 그리고 이를 가로질러 흐르는 이온 전류들을 생성한다. 매우 다양한 전류 경로들은 수지상 트렁크(dendritic trunk)를 통해 소스로부터 싱크로 전류를 전도하는 다이폴(dipole)로서 간소화될 수 있다. 이러한 세포내 전류들은 1차 전류들로서 알려져 있다. 전하들의 보존은 1차 전류들이 2차 전류들로 알려진 세포밖 전류 흐름들에 의해 둘러싸이는 것을 표시한다.

신경 기록 헤드셋(104)은 임의의 적절한 접근법에 따라 신경 활동을 기록하도록 적응될 수 있다. 신경 활동은 1차 전류를 전기적으로 모니터링함으로써 또는 2차 전류를 전기적으로 기록함으로써 직접 기록될 수 있다. 게다가, 신경 활동은 또한 1차 전류들에 의한 기록된 광학적 변화들에 의해, 광학 이미징(예를 들어, fMRI(functional magnetic resonance imaging))과 같은 다른 방법들을 통해 모니터링될 수 있다. 사용될 수 있는 두뇌의 신경 활동을 기록하기 위한 다른 접근법들은 EEG(electroencephalography), ECoG(epidural and subdural electrocorticography), 기능적 근적외선 이미징 및 다른 유사한 고유 신호 이미징 방법들, MEG(magnetoencephalography), 다중-전극 기록들, 단일-뉴런 피질내 기록들 등을 포함한다.

신경 활동 형태의 다양한 시그니처 두뇌 신호들은 액션 제어 특징을 구현하기 위해 사용되는 제어 신호로서 사용될 수 있다. 시간상 신경 활동의 일부 예들은 ERPs(Event Related Potentials), 모터 이미지, SSVEPs(steady state visual evoked potentials), TVEPs(transitory visual evoked potentials), VEPs(brain state commands, visual evoked potentials), P300 유발 전위와 같은 유발 전위들, 감각 유발 전위들, 모터 유발 전위들, 뮤 리듬(mu rhythm) 또는 베타 리듬과 같은 감각운동 리듬들, ERDs(event related desynchronization), ERSs(event-related synchronization), SCPs(slow cortical potentials) 등, 그리고 다른 아직 알려지지 않은 것, 다양한 인지 또는 감각운동 작업에 기초하는 시그니처 활동 전위들을 포함한다. 신경 활동은 또한 주파수 도메인일 수 있다. 다른 것들 중 일부 예들은 감각운동 리듬들, ERSPs(Event Related Spectral Perturbations), 세타(Theta), 감마(Gamma) 또는 뮤(Mu) 리듬들과 같은 특정 신호 주파수 대역들 등을 포함한다.

본 명세서에 기술된 바와 같이, 신경 기록 헤드셋(104)은 두뇌 활동을 측정하고 정보를 명령으로 변환될 수 있는 다루기 쉬운 전기 신호들로 변환하는 기록 스테이지를 통해 사용자 의도에 관한 정보를 수집하기 위해 신경 활동 신호들을 기록할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 높은 시간 해상도, 낮은 셋업 및 유지보수의 비용, 높은 휴대성을 가지며, 사용자들에게 비침습성(non-invasive)인 EEG(electroencephalography)를 통한 전기 생리학적 활동을 기록하도록 구성될 수 있다. 신경 기록 헤드셋(104)은 상이한 두뇌 영역들로부터의 뇌파 검사 신호들을 획득하는 센서들을 갖는 한 세트의 전극을 포함할 수 있다. 이러한 센서들은 뉴런들에서 수지상들의 시냅스 여기 동안 전류들의 흐름에 의해 야기되는 전기 신호들을 측정하여 2차 전류들의 영향들을 중계할 수 있다. 신경 신호들은 사용자의 두피에 걸쳐 배치될 때 원하는 두뇌 영역에 걸쳐 적절히 배열된 신경 기록 헤드셋(104) 내의 전극들을 통해 기록될 수 있다. 예시적인 신경 기록 헤드셋은 그 중에서도 바이오세미(Biosemi), 웨어러블 센싱 및 G.Tec와 같은 상업적 판매자들로부터 입수가능하다.

일부 실시예들에서, 신경 기록 헤드셋(104)은 전극들, 증폭기들, A/D 변환기 및 기록 디바이스를 포함할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104) 상의 전극은 두피로부터 신호를 획득할 수 있고 증폭기들은 아날로그 신호를 확대하여 신경 신호들의 진폭을 확대할 수 있다. 신경 기록 헤드셋(104)은 전극들의 수에 적합한 적절한 수의 신호 취득 채널들을 갖도록 구성될 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)에 배열된 하나 이상의 전극은 증폭기들, A/D 변환기들, 및 각각의 전극으로부터의 신호를 저장하기 위한 하나 이상의 기록 디바이스와 같은 컴포넌트들에 접속될 수 있다. 일부 실시예들에서, 이들 컴포넌트는 신경 기록 헤드셋(104)에 하우징될 수 있다. 일부 실시예들에서, 즉각적인 신호 증폭만이 신경 기록 헤드셋(104)에서 수행될 수 있고, A/D 변환 및 기록과 같은 다른 프로세스들은 신호를 B-C 인터페이싱 디바이스(110)에 송신한 후에 수행될 수 있다. 신경 기록 헤드셋(104)으로부터의 신호 송신은 유선 또는 무선 통신 채널들을 통해 구성될 수 있다.

일부 실시예들에서, 신경 기록 헤드셋(104) 상의 전극들은 미국 뇌파 학회(American Electroencephalographic Society)에 의해 표준화된, 통상적으로 따르는 국제10-20 시스템에 기초하여 두피 위에 배치되도록 배열될 수 있다. 10-20 시스템은 전극 위치를 정의하기 위해 헤드 상의 2개의 기준점을 사용한다. 이 기준점들 중 하나는 눈과 동일한 수준으로 코의 상부에 위치하는 비근점(nasion)이다. 다른 기준점은 두개골의 밑 부분에 있는 뼈 덩어리에서 발견되는 뒤통수점이다. 횡방향 및 중간 평면은 두개골을 이 2개의 지점으로 나눈다. 일부 다른 실시예들에서, 신경 기록 헤드셋(104) 상의 전극들은 임의의 다른 적절한 시스템에 따라 배열될 수 있다. 예를 들어, 10-5 시스템 또는 맞춤형 전극 배치 시스템. 일부 실시예들에서, 신경 기록 헤드셋(104) 상의 전극들은 머리의 좌측 및 우측에 대칭적으로 배치될 수 있다. 다른 실시예들에서, 전극들은 머리의 좌측 및 우측에 비대칭적으로 배치될 수 있다. 다른 실시예들에서, 전극들은 머리의 특정 부분들에 배치될 수 있는데, 예를 들어, 머리의 상부 주위에, 머리의 후방 주위에, 귀 주위에, 머리의 측면 주위에, 또는 이들을 조합하여 배치될 수 있다.

신경 신호는 활성 전극(신호 전극이라고도 칭함)과 기준 전극 사이의 시간에 따른 전위차로서 측정된다. 일부 실시예들에서, 접지 전극으로서 알려진 제3 전극은 활성 전극과 기준 전극 사이의 차동 전압을 측정하는데 사용될 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 하나 이상의 활성 전극, 하나 이상의 기준 전극, 및 하나의 접지 전극을 포함할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 7개의 활성 전극과 같이 몇 개의 전극을 포함할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋은 최대 128 또는 256개의 활성 전극을 포함할 수 있다. 전극들은 염화은(AgCl) 또는 임의의 다른 적합한 재료로 제조될 수 있다. 전극들은 전극-두피 접촉 임피던스가 정확한 신호를 기록하도록 적절히 조정될 수 있도록 구성될 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 2개 이상의 활성 전극 및 16개 미만의 활성 전극, 또는 다른 실시예에서는 12개 미만의 활성 전극, 또는 다른 실시예에서는 8개 미만의 활성 전극을 가질 수 있다.

사용자의 두피를 가로질러 비침습적으로 기록된 신경 신호들은 두피, 두개골, 및 그들을 취득하기 어렵게 할 수 있는 많은 다른 층들을 횡단해야 한다. 신경 신호들은 또한 두뇌 내에서 또는 두피를 통해 외부에서 생성되는 배경 잡음에 의해 영향을 받을 수 있으며, 이는 기록된 신호들로부터 의미있는 정보를 추출하는 능력에 영향을 줄 수 있다. 신경 기록 헤드셋(104)을 포함하는 시스템(100)의 실시예들은 신경 신호 취득을 개선하기 위해 여러 적응을 포함할 수 있다. 예를 들어, 겔(즉, 전도성 겔)은 임피던스를 감소시키기 위해 피부와 각각의 전극 사이에 전도성 경로를 생성하는데 사용될 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 티타늄 및 스테인리스 스틸과 같은 다른 재료들로 제조될 수 있는, 겔들의 사용을 필요로 하지 않는 "건식" 전극을 포함할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 매우 높은 전극/피부 계면 임피던스를 수용하기 위해 사전증폭(pre-amplification) 회로들을 갖는 건식 활성 전극을 포함할 수 있다. 일부 실시예들에서, 신경 기록 헤드셋(104)은 임의의 활성 회로들을 가지고 있지 않은 건식 수동 전극들을 포함할 수 있지만, 초고 입력 임피던스(ultra-high input impedance)로 구성된 신경 기록 시스템에 링크될 수 있다. 전기 생체 신호의 진폭은 통상적으로 마이크로볼트 정도이다. 결과적으로, 신호는 전자 잡음에 매우 민감하다. 일부 실시예들에서, BCI 시스템(100)은 그 중에서도 전자기 간섭 차폐 또는 공통 모드 신호에 대한 감소와 같은 적응들로 잡음의 영향들을 감소시키도록 설계될 수 있다.

본 명세서에 기술된 바와 같이, 신경 기록 헤드셋(104)은 사용자 의도에 대한 정보를 수집하기 위해 신경 활동 신호들을 기록할 수 있다. 신경 활동은 사용자의 의도를 표시하는 임의의 형태의 제어 신호일 수 있다. 하나의 예시적인 제어 신호는 소위 모터 이미지 신호들의 형태일 수 있다. 모터 이미지 신호들은 모터 이미지의 정신적 프로세스를 겪은 사용자와 연관된 신경 활동 신호들이다. 모터 이미지의 정신적 프로세스는 사용자가 그들의 마음 속에서 특정 액션을 리허설하거나 시뮬레이팅하는 것을 수반한다. 예를 들어, 사용자는 그들의 마음 속에서 손가락을 가리키고 그들의 손목을 돌리는 스와이핑 액션(swiping action)을 상상하거나 시뮬레이션할 수 있다. 모터 이미지 신호들은 예를 들어, 사용자가 액션을 상상하는 동안, 신경 기록 헤드셋(104)에 의해 전기 생리학적 신경 활동의 형태로 기록된 두뇌 신호들이다. 모터 이미지 신호들의 취득은 후술하는 바와 같이 사용자에 의한 실제 움직임을 포함하거나 포함하지 않을 수 있다.

신경 기능의 여러 연구는 모터 이미지가 모터 제어(즉, 모터 프로그래밍)의 초기 단계에 수반되는 신경 회로들의 특정 작동과 연관되어 있다는 것을 입증했다. 실제 움직임 및 상상된 움직임 동안 측정된 신경 활동의 연구는 상상된 움직임으로부터의 모터 이미지 신호들이 적어도 두뇌 영역들의 서브세트에서 실제 움직임 동안 유발되는 신경 신호들과 거의 유사하는 것을 나타낸다. 일부 신경 회로들은 다른 두뇌 영역들 중에서 보조 모터 영역, 일차 모터 피질, 열등한 두정엽 피질, 기저액, 및 소뇌를 포함한다. 모터 이미지 동안 및 실제 모터 성능 동안의 심장 및 호흡 활동의 측정들은 상상된 노력 정도에 의해 심박수 및 폐 환기의 공변(covariation)을 밝혀냈다. 따라서, 모터 이미지는 실제 움직임의 계획된 성능과 유사한 모터 경로들을 활성화하는 것으로 도시되었다.

하이브리드 BCI 시스템(100)의 일부 실시예들은 모터 이미지를 사용하여 액션 제어 특징을 구현할 수 있다. 예를 들어, 하이브리드 BCI 시스템(100)은 모터 이미지 신호들에 기여하는 것으로 알려진 두뇌 영역들로부터 신경 활동 데이터를 수집하도록 적절히 배열된 신경 기록 헤드셋(104)을 통해 기록된 신경 활동 신호들을 수신하도록 구성될 수 있다. 하이브리드 BCI 시스템(100)은 트레이닝 방식으로 또는 트레이닝되지 않은 방식으로 사용되어 사용자에 의해 상상된 특정한 모터 액션들에 대응하는 모터 이미지 신호들을 검출할 수 있다. 예를 들어, 사용자는 트레이닝 세션에서, 실제 움직임들과 함께 모터 이미지를 수행하여 하이브리드 BCI 시스템(100)을 교시하여, 스와이핑, 핀칭(pinching), 주밍(zooming), 및 사용자의 신체의 다른 간단하거나 복잡한 운동들과 같은 하나 이상의 상상된 제스처들을 인식하기 위해, 리허설할 수 있다. 하이브리드 BCI 시스템은 또한 트레이닝 세션 또는 테스트 세션 동안 매우 상세하게 제스처를 인식하는 데 도움을 주기 위해 측각기(goniometer)들 및 염전계(torsiometer)들과 같은 주변 센서들(108)에 의해 수집된 정보를 사용할 수 있다.

(트레이닝한 또는 트레이닝되지 않은) 동작 동안 특정 제스처들의 모터 이미지는 특정 액션들을 구현하도록 구성될 수 있다. 예를 들어, 핀칭 제스처의 모터 이미지는 UI에서 줌 아웃 액션을 구현하도록 구성될 수 있다. 신경 기록 헤드셋으로부터 취득된 신경 활동 데이터는 모터 이미지 신호들에 대해 분석될 수 있고 일단 검출되고 적절하게 분류될 때, BCI 디바이스(110)는 UI의 원하는 부분 상에서 검출된 제스처와 연관된 특정 액션을 구현할 수 있다. 예를 들어, 핀칭 제스처에 대응하는 모터 이미지 신호들이 검출되면, UI는 액션이 요구되는 UI의 부분을 식별하기 위해 포인팅 제어 특징을 구현할 수 있고 그 후 액션 제어 특징, 즉 원하는 부분에 대해 줌 아웃 효과를 구현할 수 있다.

사용자 인터페이스(UI)/사용자 경험(UX)의 표시 및 제시

본 명세서에 기술되는 바와 같이, 하이브리드 BCI 시스템(100) 내의 UI는 사용자(예를 들어, 사용자의 두뇌, 눈 등)와 BC 인터페이싱 디바이스(110) 사이의 통신의 링크로서 기능하고, 사용자가 포인팅 제어 특징을 통해 특정 자극들에 집중하고 이를 지정하는 것을 가능하게 하고, 액션 제어 특징을 사용하여 특정 자극들을 선택 또는 선택해제한다. UI는 디스플레이를 통해 제시되는, 2차원 이미지들을 시각적으로 자극하는 시퀀스일 수 있다. UI는 또한 인터페이스로서 역할을 하는 UX로 불릴 수 있는 것을 함께 형성하는, 여러 방식의 자극들의 풍부한 혼합일 수 있다. 전략적으로 설계된 UX는 임의의 방식을 통해 사용자에게 자극들을 제시하는 프로세스를 포함하고, 일부 예들은 시각 자극들, 청각 자극들, 햅틱 자극들, 전정 자극들(vestibular stimuli), 또는 이들의 조합들을 포함한다. 일부 실시예들에서, 시각 자극을 제시하는 UI는 도 1에 도시된 디스플레이(106)와 같은 디스플레이 상에 렌더링될 수 있다. 다른 방식들의 자극들은 하이브리드 BCI 시스템(100)의 일부인 적절한 주변 액추에이터들(도 1에 도시되지 않음)을 통해 전달될 수 있다.

일부 실시예들에서, 디스플레이(106)는 하이브리드 BCI 시스템(100)의 나머지와 접속되고 데이터 통신할 수 있는 별개의 독립형 시청각 디스플레이 유닛일 수 있다. 즉, 오디오 시스템(예를 들어, 스피커들, 또는 헤드폰들)을 구비한 독립형 디스플레이(예를 들어, 액정 디스플레이)는 하이브리드 BCI 시스템(100)의 다른 컴포넌트들, 예를 들어, BC 인터페이싱 디바이스(110), 비디오 기반 눈-추적기(102), 및 신경 기록 헤드셋(104) 중 하나 이상과 양방향 통신할 수 있다. 일부 실시예들에서, 디스플레이(106)는 비디오 기반 눈-추적기(102)에 통합되어 안경(eye-glass) 영역의 일부가 될 수 있다. 통합된 비디오 기반 눈-추적기(102) 및 디스플레이(106)는 디스플레이(106) 상에 제시된 UI의 형태의 가상 현실 공간을 보도록 구성될 수 있다. 일부 실시예들에서, 통합된 비디오 기반 눈-추적기(102) 및 디스플레이(106)는 디스플레이(106)를 반투명 안경 영역 상에 있도록 구성하여, 사용자가 증강 현실 공간을 보게 할 수 있다. 즉, 사용자는 또한 그가 상호작용할 수 있는 UI를 사용자에게 제시하는 통합된 디스플레이(106)인 반투명 안경 영역을 통해 실세계를 볼 수 있다.

비시각 방식에서 동작하는 주변 디바이스들

일부 실시예들에서, 하이브리드 BCI 시스템(100)은 도 1에서 선택적인 유닛으로서 도시된 여러 주변 액추에이터들(112) 및 센서들(108)을 포함할 수 있다(파선 박스로 표시됨). 하나 이상의 주변 액추에이터들(112)은 풍부한 멀티모드 UX를 전달하도록 구성될 수 있고, 하나 이상의 주변 센서들(108)은 각각 사용자 및 그의 환경으로부터 입력되는 멀티모드를 캡처하도록 구성될 수 있다. 이러한 주변 액추에이터들(112) 및 센서들(108)은 개별적으로 또는 (비디오 기반 눈-추적기(102)와 같은) 다른 디바이스들에 통합됨으로써 적절히 장착될 수 있다. 예를 들어, 하이브리드 BCI 시스템(100)은 청각 자극들 및 마이크로폰들을 중계하여 사용자의 음성 명령들과 같은 사운드를 캡처하는 이어폰들을 포함할 수 있다. 이어폰들(청각 센서들) 및 마이크로폰들(청각 액추에이터들)은 유선 또는 무선 채널을 통해 하이브리드 시스템(100)에 접속된 독립형 디바이스들일 수 있다. 대안적으로, 이들은 비디오 기반 눈-추적기(102) 또는 신경 기록 헤드셋(104)과 함께 장착되고 통합될 수 있다. 유사하게, 가속도계들, 측각기(goniometer)들 및 염전계(torsiometer)들과 같은 주변 센서들은 하이브리드 BCI 시스템(100)에 포함되어, 신체 운동들을 등록할 수 있다. 예를 들어, 측각기들은 제스처들을 형성하는 팔다리 운동들을 등록하는데 사용될 수 있고, 가속도계들은 신체 운동들을 등록하는데 사용될 수 있다. 주변 센서들은 또한 사용자의 실세계 시야를 캡처하도록 구성된 시야 카메라를 포함할 수 있다. 시야 카메라에 의해 취득되는 신호들은 선택가능 옵션들 등을 갖는 UI들에 의해 중첩되는 실제 이미지를 갖는 증강된 또는 혼합된 현실 경험을 생성하여 사용자에게 제시하기 위해 분석되고 사용될 수 있다. 하이브리드 BCI 시스템(100)에 접속될 수 있는 주변 액추에이터들은 제시된 UX를 풍부하게 하는 터치 및 진동과 같은 힘들을 적용하고 생성할 수 있는 햅틱 또는 운동 감각 디바이스들을 포함할 수 있다.

두뇌-컴퓨터 인터페이싱 디바이스

일부 실시예들에서, 두뇌-컴퓨터 인터페이싱 디바이스(또는 BCI 디바이스)(110)는 3개의 주요 기능을 달성하도록 구성될 수 있다. 먼저, BCI 디바이스(110)는 전략적으로 설계된 UI 또는 UX를 생성하도록 구성될 수 있다. 예를 들어, 전략적으로 설계된 UX는 트레이닝 세션 또는 테스트 세션을 위한 것일 수 있다. 일부 실시예들에서, UX는 가상 현실 환경으로서 및/또는 증강 현실 환경으로서 설계될 수 있다. 일부 실시예들에서, UI는 예를 들어, 특정 사용자 이력, 반응 시간, 사용자 선호도 등과 같은 특정한 요구들에 맞게 조정될 수 있다. BCI 디바이스(110)는 UI/UX의 생성 및 갱신시 이러한 모든 요건을 고려할 수 있다. 둘째로, UI/UX를 설계하고 생성하는 것에 추가하여, BC 인터페이싱 디바이스(110)는 (예를 들어, 비디오 기반 눈-추적기(102)로부터의) 포인팅 제어 신호 및 (예를 들어, 신경 기록 헤드셋(104)으로부터의) 액션 제어 신호를 수신하고, 사용자의 의도를 결정하기 위해 앙상블로서 신호들을 처리하도록 구성될 수 있다. 마지막으로, BCI 디바이스(110)는 (1) 신경 신호들로부터 의미있는 특징들을 검출하고, (2) 사용자의 의도에 따라 지정되는 자극들에 대한 변화를 구현함으로써 포인팅 제어 특징 및 액션 제어 특징을 구현하도록 구성될 수 있다. 일부 실시예들에서, BCI 디바이스(110)는 또한 다른 주변 디바이스들, 예를 들어, 하이브리드 BCI 시스템(100)의 일부일 수 있는, 위에서 언급된 바와 같은 시각 방식(visual modality) 이외의 방식들에서 기능하는 주변 센서들 및 액추에이터들에 접속될 수 있다. 이러한 주변 센서들은 오디오 마이크로폰들, 햅틱 센서들, 가속도계들, 측각기(goniometer)들 등을 포함할 수 있고, 주변 액추에이터들은 오디오 스피커들, 햅틱 자극 제공자들 등을 포함할 수 있다.

일부 실시예들에서, BCI 디바이스(110)는 유선 또는 무선 통신 채널들을 통해 BCI 디바이스(110)에 및 이로부터 하나 이상의 외부 디바이스들로 신호들을 송수신하도록 구성된 입출력 유닛(140)을 포함할 수 있다. 예를 들어, 입출력 유닛(140)은 하나 이상의 데이터 통신 포트를 통해 비디오 기반 눈-추적기(102), 신경 기록 헤드셋(104), 및 선택적인 시청각 디스플레이(106)로부터 신호들을 수신하고 이들에 신호들을 전송할 수 있다. BCI 디바이스(110)는 또한 원격 서버들(도 1에는 도시되어 있지 않음)에 접속하고 원격 서버들에 포함되는 데이터베이스들 또는 다른 적합한 정보에 액세스하도록 구성될 수 있다. BCI 디바이스(110)는 송신될 데이터의 유형에 적응하는 적합한 통신 채널들을 처리하도록 구성된 통신기(180)를 포함할 수 있다. 통신기(180)는 BCI 디바이스(110)의 다른 부분들 중에서 I/O 유닛(140)에 접속될 수 있고 입출력 유닛(140)의 기능들을 제어할 수 있다. 신호들의 송신은 또한 유선 이더넷, 직렬, 파이어와이어(FireWire), 또는 USB 접속과 같은 유선 접속을 통해, 또는 블루투스, 근거리 통신 등과 같은 임의의 적합한 통신 채널을 통해 무선으로 수행될 수 있다.

일부 실시예들에서, BCI 디바이스(110) 내의 입출력 유닛(140)의 기능들은 신호 취득, 신호 전처리 및/또는 신호 강화 등과 같은 여러 절차들을 포함할 수 있다. 취득된 및/또는 전처리된 신호는 BC 인터페이싱 디바이스(110) 내의 프로세서(120)에 채널링될 수 있다. 일부 실시예들에서, 프로세서(120) 및 그의 서브컴포넌트들(도시되지 않음)은 인커밍 데이터(incoming data)를 처리하고, 메모리(160)에 및 이로부터 데이터를 전송하고 검색하도록 구성될 수 있다. 프로세서(120)는 또한 원격 서버들(도 1에 도시되어 있지 않음)로부터의 정보에 액세스하고 이를 이용하기 위해 통신기(180)에 접속될 수 있다.

BCI 디바이스(110) 내의 프로세서(120)는 디스플레이(106) 상에 또는 비디오 기반 눈-추적기(102)와 통합된 디스플레이 상에 렌더링될 수 있는 UI를 구축하고 유지하는 기능들을 수행하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(120) 및 그의 서브컴포넌트들은 두뇌 신호들의 사용자 특정 해석을 가능하게 하는데 필요한 기능들을 수행하고, 외부 디바이스들에 중계되도록 출력 신호들을 입출력 유닛(140)에 패키징하도록 구성될 수 있다. 프로세서(120) 및 그의 서브컴포넌트들의 다른 기능들은 제어 인터페이스의 특징 추출, 분류, 및 조작과 같은 여러 절차들을 포함할 수 있다.

옵션의 지정 및 선택 -하이브리드 BCI 시스템의 작동

도 2는 예시적인 입력 심볼의 선택에 집중하고 제어하는 사용자의 하나의 예시적인 인스턴스화에 대한 하이브리드 BCI 시스템의 작동을 도시한다. 도 2에서의 동작 이벤트들의 예시적인 시퀀스는 UI 또는 UX의 제시동안 안구운동 신호들 및 하나 이상의 사용자의 신경 활동을 캡처포착하는 것, 이러한 신호들을 해석하여 사용자의 의도를 추론하는 것, 및 UI를 통해 하나 이상의 머신을 제어함으로써 변경에 영향을 미치는 것을 포함한다. 하이브리드 BCI 시스템의 작동의 이러한 예시적인 인스턴스는 단계 251에서 UI(271)를 통해 입력 자극(예를 들어, 심볼)의 제시에서 시작한다. 자극을 제시하고 사용자로부터의 눈-운동 및 신경 응답들이 뒤따를 때, 단계 253에서 하이브리드 BCI 시스템은 (예를 들어, 비디오 기반 눈-추적기로부터의 포인팅 제어 특징을 구현하는 눈 운동들을 표시하는) 하나 이상의 안구운동 신호(275)를 취득한다. 단계 253에서, 하이브리드 BCI 시스템은 또한 (예를 들어, 신경 기록 헤드셋으로부터의 사용자의 인지 의도를 표시하는 액션 제어 특징을 구현하는) 하나 이상의 신경 활동 신호들(273)을 수신할 수 있다. 이 신호 취득 단계 253은 다른 주변 센서들 및 액추에이터들로부터 신호들을 수신하는 것뿐만 아니라 도 2에서의 자극 정보(277)에 의해 표시된 자극 제시에 관한 정보를 수신하는 것을 포함할 수 있다.

단계 255는 아래 개시된 바와 같은 통합된 접근법에서 수행될 수 있는 취득된 안구운동 신호들(275) 및 신경 신호들(273)의 앙상블 분석을 포함한다. 비디오 기반 눈-추적기, 신경 기록 헤드셋, 및 다른 주변 디바이스들로부터의 신호들의 앙상블 분석은 자극 정보(277)(예를 들어, 제시된 자극의 시공간적 특성들)의 맥락에서 수행된다. 분석 시에, 판정 단계 257에서, 하이브리드 BCI 시스템은 여러 소스로부터의 정보, 예를 들어, 취득된 신호, UI(271)를 통해 제시되는 자극에 관한 정보, 사용자에 관한 이전 정보, UI(271) 및 하이브리드 BCI 시스템의 사용의 컨텍스트를 사용하여 사용자의 의도를 추정할 수 있다. 사용자의 의도에 따라 행동하기로 결정한 후에는 임의의 적합한 액션을 취할 수 있다. 예를 들어, 제시된 자극을 선택하거나 선택해제하기 위한 예측. 사용자의 의도의 추정은 하나 이상의 머신 학습 도구를 사용하는 하나 이상의 추정 방법들을 통해 수행될 수 있다. 판정 단계 257은 하나 이상의 기준 또는 임계값을 사용하여 임의의 적합한 임계값 교차 알고리즘(threshold crossing algorithm)에 기초하여 사용자의 의도를 판정할 수 있다. 예를 들어, 추정의 결과가 임계 기준을 넘어서면, 하이브리드 BCI 시스템은 접속된 머신에 적합한 변경을 유도할 수 있는 UI(271)에 제시된 자극 또는 심볼을 선택하는 것을 수반하는 단계 259A로 진행할 수 있다. 한편, 예를 들어, 단계 257에서, 추정된 값이 임계 기준을 넘어서지 않으면, 하이브리드 BCI 시스템은 인터페이스(271) 내의 자극 또는 심볼의 선택을 수반하지 않는 단계 259B로 진행할 수 있다.

하이브리드 BCI 시스템과의 사용자 상호작용

도 3a 내지 도 3e는 일 실시예에 따른 하이브리드 BCI 시스템(100)과의 예시적인 사용자 상호작용을 도시한다. 이 예에서, 하이브리드 BCI 시스템(100)은 2-단계 프로세스에서 단어들을 스펠링하는데 사용되고 있고, 디스플레이(106)는 도 3a의 문자들의 UI(371) 서브-그룹(예를 들어, 키보드 상에서 흔히 발견되는 문자들, 숫자들 및 심볼들)을 여러개 제시한다. 사용자는 도 3c에 도시된 비디오 기반 눈-추적기(102) 및 신경 기록 헤드셋(104)을 착용한다. 사용자가 원하는 문자(예를 들어, 도 3a의 하이라이트된 원으로 표시된 서브-그룹)를 포함하는 서브-그룹에서 그들의 시선을 집중할 때, 디스플레이(106)에 제시된 UI(371)는 집중된 서브-그룹이 확대된 도 3b에 도시된 것으로 변경된다. 그 후, 사용자는 그 서브-그룹에서 특정 원하는 문자에 그들의 시선을 집중함으로써 문자를 선택하는 액션을 수행할 수 있다. 그 후, 액션 제어 특징은 단어 또는 문장을 형성하는데 사용될 문자의 선택을 수행하기 위해 기록된 신경 활동을 사용함으로써 구현된다.

도 3a 및 도 3b를 참조하여 전술한 포인팅 제어 특징은 도 3c에 도시된 비디오 기반 눈-추적기(102)에 의해 취득된 데이터로 구현된다. 비디오 기반 눈-추적기(102)는 사용자가 그들의 시선을 집중하고 있는 곳을 검출하고, 그 후, 예를 들어, 도 3d에 도시된 바와 같이 신호를 출력하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 비디오 기반 눈-추적기(102)는 사용자가 그들의 시선을 집중하고 있지 않은 곳을 검출하도록 구성될 수 있다. 액션 제어 특징(즉, 자극 또는 심볼의 활성화)은 도 3c에 도시된 신경 기록 헤드셋(104)에 의해 기록된 데이터로 구현된다. 신경 기록 헤드셋(104)은 사용자의 두뇌로부터 신경 신호를 기록하고, 그 후 예를 들어, 도 3e에 도시된 바와 같이 신호를 출력하도록 구성된다. 그 후, 프로세서(도시되지 않음)는 눈-추적 신호(도 3d) 및 신경 신호(도 3e)로부터 의미있는 특징들을 앙상블로서 추출하고, 그들을 무감독 및/또는 반감독 방식으로 또는 각각의 특정 사용자와의 엄격한 트레이닝을 통해 구축된 이전 모델들에 기초하여 신호들을 분류함으로써 분석할 수 있다. 그 후, 분석된 데이터는 사용자의 초점 및/또는 초점이 예측되는 심볼의 선택 또는 활성화와 같은 사용자 거동의 예측을 행하기 위해 사용될 수 있다.

하이브리드 BCI 시스템의 작동

도 2에 도시된 프로세스 시퀀스 및 도 3a 내지 도 3e에 도시된 예시적인 포인팅 제어 및 액션 제어 구현이 개별 자극에 대해 인스턴스화될 수 있지만, UI 또는 UX를 통해 가상 또는 증강, 멀티모드, 환경들의 제시 동안 유사한 단계들의 시퀀스를 갖는 유사한 프로세스가 후속될 수 있다. 도 4에 도시된 바와 같이, 프로세스(400)는 (점선들로 이루어진 박스에 의해 선택적으로 표시된) 트레이닝 세션을 형성하는 서브-단계들의 시퀀스를 포함할 수 있거나 임의의 트레이닝 데이터없이 새로운 자극들의 제시를 위해 사용될 수 있다.

도 4에 도시된 예시적인 프로세스(400)는 시점(time-point)에서 신경 기록 헤드셋 및 눈-추적기(그리고 다른 주변 센서들 및/또는 액추에이터들)과 연관된 특정 사용자에 대한 데이터 취득 및 전처리를 개시하는 초기 단계(401)를 포함한다. 예를 들어, 이 개시 및 신호 취득은 하이브리드 BCI 시스템에서, BCI 디바이스 내의 프로세서의 일부인 컴포넌트들에 의해 수행될 수 있다.

프로세스(400)는 통계적 모델의 생성 및 트레이닝의 생성을 위해 (선택적으로 도 4에서 점선 박스 내에 표시된 트레이닝 세션들에 사용되는) 단계들의 서브-세트를 포함할 수 있다. 트레이닝 세션을 위한 단계들의 서브-세트는 나중 사용을 위해 사용자의 안구운동 및 신경 응답을 기록하고 저장하기 위한 일련의 입력들을 사용자에게 제시하도록 생성된 트레이닝 환경을 적용하는 단계(403)를 포함할 수 있다. 트레이닝 환경의 제시는 단계(405)에서 제시된 미리 결정된, 제어된 자극들의 세트를 포함할 수 있고, 후속하는 눈 운동 및 두뇌 활동은 단계(407)에서 기록될 수 있다. 단계(409)에서, 취득된 응답들은 알려진 자극과 쌍을 이루어 응답들을 야기하고 페어링 및 연관을 통해 구축된 모델에 공급될 수 있다. 다양하지만 제어된 자극들의 제시 및 대응하는 안구운동 및 신경 활동 데이터의 수집은 하나 이상의 반복된 제시들에서의 자극들의 시퀀스에 대해 단계(419)에 의해 도시된 바와 같이 안구운동-신경 응답들의 각각의 세트마다 반복될 수 있다. 알려진 자극들과 기록된 안구운동-신경 응답들의 연관으로부터 생성된 모델은 트레이닝 세트 내의 새로운 자극-응답 쌍들의 각각의 세트로 갱신될 수 있다.

단계(401)에서, 트레이닝 세션에 후속하여 또는 트레이닝 세션 없이, 사용자는 데이터 취득의 개시에 후속하는 UI 또는 UX를 통해 자극들을 제시받을 수 있다. 이것은 프로세스(400)의 단계(411)에 도시되어 있다. 단계(411)는 트레이닝 동안 제시된 사전 프로그램된 자극들 중 하나 이상의 자극과 연관될 수 있는 하나 이상의 새로운 자극들 또는 익숙한 자극들을 포함하는 새로운 환경을 제시하는 것을 포함할 수 있다. 하이브리드 BCI 시스템은 새로운 통계적 모델을 생성하거나 트레이닝 동안 생성된 사전 구축 통계적 모델을 사용할 수 있다. 사용자의 안구운동 및 신경 활동 응답을 분석하기 위한 통계적 모델을 사용하여, 하이브리드 BCI 시스템은 단계(413)에서 (포인팅 제어 특징을 통해) 사용자의 초점을 결정하고 단계(417)에서 사용자의 의도를 추정할 수 있다. 이어서 단계(417)에서, 하이브리드 BCI 시스템은 (신경 활동 데이터의 분석에 의해 결정되는 바와 같이) 사용자가 의도한 액션을 수행함으로써 액션 제어 특징을 구현할 수 있다. 예를 들어, 단계(417)는 철자에서의 문자의 선택, 또는 게임에서의 캐릭터의 선택, 또는 증강 현실 시스템에서 동작될 수 있는 TV 시스템과 연관된 ON 기능의 선택을 포함할 수 있다.

예시적인 하이브리드 BCI 시스템

도 5는 일 실시예에 따른 하이브리드 BCI 시스템(500)을 도시한다. 일부 실시예들에서, BCI 시스템(500)은 도 1을 참조하여 전술한 하이브리드 BCI 시스템(100)의 대응하는 부분들과 구조 및/또는 기능면에서 유사할 수 있다. 예를 들어, BCI 시스템(500)은 하이브리드 BCI 시스템(100)의 비디오 기반 눈-추적기(106), 신경 기록 헤드셋(104), 선택적 디스플레이(106), 및 두뇌-컴퓨터 인터페이싱 디바이스(110)와 동일 또는 유사할 수 있는 비디오 기반 눈-추적기(506), 신경 기록 헤드셋(504), 선택적 디스플레이(506), 및 두뇌-컴퓨터 인터페이싱 디바이스(510)를 포함한다. 따라서, 이러한 유사한 부분들 및/또는 양태들은 본 명세서에서 더 상세히 설명되지 않는다.

일부 실시예들에서, 두뇌 컴퓨터 인터페이싱 디바이스(510)는 프로세서(520)에 추가하여, I/O 유닛(540), 메모리(560), 및 통신기(580)를 포함할 수 있다. 이들 컴포넌트는 유선 또는 무선 접속을 통해 서로 접속될 수 있다. 두뇌-컴퓨터 인터페이싱 디바이스(510)의 프로세서(520)는 결국 동기화된 이벤트 로거(Synchronized Event Logger)(522), 신호 분석기(524), UI/UX 엔진(526) 및 아키텍처 개발자(532)를 포함할 수 있으며, 이들 모두는 서로 상호접속되고 서로 간에 정보를 액세스하고 전송하도록 구성된다.

동기화된 이벤트 로거(522)는 I/O 유닛(540)을 통해, 다양한 주변 디바이스들로부터 취득된 눈-추적 안구운동 신호들, 신경 활동 신호들, 및 다른 인커밍 신호들을 수신할 수 있다. 동기화된 이벤트 로거(522)는 신호 데이터를 서로 동기화하도록 타임스탬프하고 추가 분석을 위해 필요한 임의의 전처리를 수행할 수 있다. 일부 실시예들에서, 동기화된 이벤트 로거(522)는 후술하는 바와 같이 고속 눈 운동 검출 및 분류를 수행하도록 구성될 수 있다.

일부 실시예들에서, 두뇌-컴퓨터 인터페이싱 디바이스(510)는 아래의 통합된 접근법의 예들에서 설명된 바와 같이 상이한 생리학적 신호들을 사용하여 주의 앙상블 추정을 구현하도록 구성될 수 있는 신호 분석기(524)를 포함할 수 있다. 두뇌-컴퓨터 인터페이싱 디바이스(510)는 또한 소비자-수준의 개인용 컴퓨터들에 대한 성능을 보장하기 위해 파이프라인에서 분리 가능한 컴포넌트들의 병렬화 및 비동기 처리를 사용하도록 구성될 수 있다.

일부 실시예들에서, 프로세서(520)는 (트레이닝 세션이 UI를 통해 렌더링되어야 하는 경우에) 트레이닝 환경을 생성하고 제시하도록 구성되는 UI/UX 엔진(526)을 포함할 수 있다. 트레이닝 환경은 사용자에게 미리 결정된 제어된 자극들의 세트를 제시하고, 후속하는 눈 운동 및/또는 두뇌 활동을 기록하도록 구성될 수 있다. 그 후, 제어된 자극들과 이 제어된 자극들 각각에 대응하는 유발된 눈 및 두뇌 활동의 이러한 세트는 메모리(560)에 저장되고, 개별 사용자들에게 맞춤화된 통계적 모델들을 구축하기 위해 트레이닝 데이터로서 신호 분석기(524)에 의해 사용될 수 있다. 신호 분석기(524)는 차원 축소 방법(dimensionality reduction method)들, 특징 추출 방법들, 분류기들을 구축하는 머신 학습 도구들 등과 같은 하나 이상의 통계적 도구를 사용할 수 있다. 신호 분석기(524)는 또한 BCI 디바이스(510)의 일부인 통신기(580)를 통해 원격 소스들(예를 들어, 원격 서버들, 데이터 베이스들 등)로부터의 정보를 액세스하고 사용할 수 있다. 모델들은 제공된 트레이닝 데이터를 사용하여 구축, 테스트 및 교차 검증될 수 있다. 그 후, 테스트된 모델들은 UI와의 상호작용의 높은 정확도 및 속도를 달성하기 위해 그 특정 사용자로부터 취득된 새로운 안구운동 및 신경 활동 데이터에 대해 신호 분석기(524)에 의해 사용될 수 있다.

일부 실시예들에서, UI/UX 엔진(526)과 결합된 신호 분석기(524)는 통계적 테스트로부터의 결과에 기초하여 데이터를 분류하고 최대 우도 추정(maximum likelihood estimation), 최대 사후 추정(maximum a posteriori estimation) 등과 같은 도구를 사용하여 사용자 거동에 대한 예측을 생성할 수 있다. 일부 실시예들에서, 프로세서(520)는 또한 안구운동 및 신경 활동 데이터뿐만 아니라 프로세서(520)의 다른 서브-컴포넌트들로부터(예를 들어, 신호 분석기(524), UI/UX 엔진(526), 및 통신기(580)를 통해 외부 원격 소스들로부터)의 데이터를 수신하는 아키텍처 개발자(532)를 포함할 수 있다. 아키텍처 개발자(532)는 실시간 사용을 위한 것이 아니라, 잠재적인 BCI 알고리즘 검출 아키텍처들을 시제품화하는 오프라인쪽으로의 강력한 통계적 분석을 위한 것일 수 있다.

신호 분석에 대한 통합된 접근법

본 명세서에 설명된 바와 같이, 하이브리드 BCI 시스템들(100, 500)은 통합된 방식으로, 다른 적절한 신호에 추가하여, 신경 활동 신호들과 함께 안구운동 신호들을 처리하여, BCI 시스템의 포인팅 제어 및 액션 제어 특징을 고속 및 정확도로 구현할 수 있다. 일부 실시예들에서, 포인팅 제어 특징은 여러 정보 소스들을 사용하여 하이브리드 방식으로 구현될 수 있다. 즉, BC 인터페이싱 디바이스(110)(또는 510)는 통합된 신호들을 앙상블로서 처리하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 비디오 기반 눈-추적기(102)는 눈 근육의 운동을 전달하는 안구운동 데이터를 통해, 임의의 적합한 형태의 눈 운동 정보, 예를 들어, 단속성, 함요상태 및/또는 동공 확장 정보뿐만 아니라, 함요상태 정보를 검출하는데 사용될 수 있다. 단속성 눈 위치에 관한 정보는 또한 신경 활동, 예를 들어, 신경 기록 헤드셋(104)으로부터 취득된 시각 응답에 의해 유발되는 ERP들로부터 간접적으로 획득될 수 있다. 예를 들어, 하이브리드 BCI 시스템들(100, 500)은 ERP들의 발생을 시공간에서의 특정 자극의 제시와 상관시켜서 인과 관계를 형성하도록 구성될 수 있다. 시선 위치에 관한 간접 정보는 또한 자극이 UI/UX 엔진에 의해 생성되고 사용자에게 제시되는 방식의 지식으로부터 획득될 수 있다. 따라서, 비디오 기반 눈-추적기(102)로부터의 안구운동 데이터는 신경 기록 헤드셋(104)으로부터의 시각적으로 유발된 신경 활동으로부터의 데이터, 및 신호 분석기(524)에 의해 분석되기 전에 디스플레이(506)를 통해 전달되는 UI에서의 자극들의 전략적 제시와 결합될 수 있다. 또한, 일부 실시예들에서, 신호 분석기(524)는 또한 포인팅 제어 특징을 구현하기 위해 시선 운동학의 이론적 모델 또는 사용자의 눈의 생물학적 모델로부터의 데이터를 포함하여 눈-위치의 추정치를 통지할 수 있다. 모델들은 3차원 공간에서 포인팅 제어가 가능하도록 초점 심도를 추정하는 양안 시각 파라미터들을 포함할 수 있다.

포인팅 제어를 추적하는 통합된 하이브리드 접근법은 비디오 기반 눈-추적기(102)로부터의 다양한 신호들, 신경 기록 헤드셋(104)으로부터의 시각적으로 유발된 신경 활동, 제시된 자극의 특성들에 관한 정보, 및 시선을 찾기 위해 제공된 정보에서 서로 보완하는 이론적 모델들로부터의 데이터에 의해, 사용자가 그들의 눈-시선의 자발적 운동에 의해 목표를 신속하게 선택할 수 있게 한다. 사용자는 시각적으로 목표에 관심을 고정하고, BC 인터페이싱 디바이스(110)는 시선에 관한 정보를 제공하는 신호의 결합된 패키지의 특징 분석을 통해 목표를 식별할 수 있다. 특히, 하이브리드 BCI 시스템(100)에서, 결합된 패키지의 신호들은 BC 인터페이싱 디바이스(110)에 의해 각각의 신호 소스마다 적절한 가중치를 갖는 앙상블로서 분석된다.

포인팅 제어 특징을 구현하는 통합된 접근법을 사용하는 이점들 중 하나는 눈 위치가 실시간으로 매우 신속하게 추정될 수 있다는 것이다. 통합된 접근법은 또한 비디오 기반 눈-추적기(102)가 신경 기록 헤드셋(104)을 통해 기록된 신경 활동과 동일한 잡음원들에 민감하지 않을 수 있고 그 반대도 가능하므로 가장 강력한 추정을 가능하게 한다. 따라서, 하나의 채널은 다른 채널의 약점을 보상할 수 있다. 또한, 데이터 세트들 양쪽 모두를 앙상블로서 처리하는 접근법은 내비게이션된 인터페이스의 특정 상세 및 사용자 이력 등과 같은 다른 파라미터들에 따른 개별 신호들의 적절한 가중을 허용한다. 또한, 신호 분석기(524)는 선택 정확도를 개선하기 위해, (1) 하나 이상의 여과 시스템(예를 들어, 듀얼 칼만 필터, 또는 임의의 다른 지연없는 필터)을 통한 신호의 적합한 처리, (2) 베이지안 선형 판별 시스템, (3) 가중된 신호 패키지에 대한 공간 필터링, (4) 배깅 앙상블 분류기 알고리즘(bagging ensemble classifier algorithm), 및 (5) 실험 작업 동안 분류 알고리즘으로부터의 정보를 프로그램 루틴들과 통합하는 고차 오라클 알고리즘을 사용하는 적합한 분석적 파이프라인을 구현하도록 구성될 수 있다.

하이브리드 BCI 시스템들(100, 500)은 또한 액션 제어 특징을 구현하는 통합된 접근법을 사용한다. 일부 실시예들에서, 예를 들어, 신호 분석기(524)는 신경 기록 헤드셋(504)으로부터의 신경 활동 데이터를, 트레이닝 데이터로부터 구축된 통계적 모델, 또는 (동공 확장 등과 같은 파라미터들로부터의 관심과 같은 두뇌 상태들을 전달하는) 비디오 기반 눈-추적기(502)로부터의 인간 인지 및 안구운동 데이터의 이론적 모델들, 및 다양한 주변 센서들로부터의 멀티모드 감각 데이터와 결합시킬 수 있다. 신호 분석기(524)는 추정을 간단한 값 또는 임계 교차 신호로 감소시키기 위해 적합한 머신 학습 도구들 및 통계적 분류기들의 묶음을 사용하여 앙상블 거리 추정 및 분류를 수행할 수 있다. 그 후, 이 감소된 신호는 심볼 또는 원하는 자극에 대한 액션 제어 특징을 구현하는데 사용될 수 있다. 사용자 경험을 향상시키기 위해, 하이브리드 BCI 시스템들(100, 500)은 액션 제어의 구현이 5초 내에, 또는 4초 내에, 또는 3초 내에, 또는 2초 내에, 또는 1초 내에, 또는 0.9초 내에, 또는 0.8초 내에, 또는 0.7초 내에, 또는 0.6초 내에, 또는 0.5초 내에 발생하도록, 속도를 최적할 수 있게 튜닝될 수 있다. 사용자 경험을 향상시키기 위해, 하이브리드 BCI 시스템들(100, 500)은 속도*정확도%의 값을 감소시키거나 최소화하기 위해, 액션 제어 속도(초)에 시스템의 평균 정확도(%)를 곱한 구현이 5(예를 들어, 10s*50% 정확도) 미만, 또는 4 미만, 또는 3 미만, 2 미만, 또는 1.125 미만(예를 들어, 1.5s*75% 정확도), 또는 1 미만, 또는 0.9 미만(예를 들어, 1s*90% 정확도), 또는 0.8 미만, 또는 0.7 미만, 또는 0.6 미만, 또는 0.5(예를 들어, 0.6s*83.33% 정확도) 미만이 되도록 튜닝될 수 있다.

UI/UX에서의 적응

본 명세서에 기술된 바와 같이, 하이브리드 BCI 시스템들(100, 500)의 동작은 하이브리드 BCI 시스템의 기능의 중심이 되는 UI 또는 UX를 포함한다. UI 또는 UX는 사용자(예를 들어, 사용자의 두뇌, 눈 등)와 BC 인터페이싱 디바이스(110) 사이의 통신 링크로서 역할을 하고, 사용자가 포인팅 제어 특징을 통해 특정 자극들에 집중하고 이를 지정하는 것을 가능하게 하고, 액션 제어 특징을 사용하여 특정 자극들을 선택 또는 선택해제할 수 있게 한다. 간단한 예에서, UI는 디스플레이를 통해 제시되는, 2차원 이미지들을 시각적으로 자극하는 시퀀스일 수 있다. (디스플레이(106)와 같은) 디스플레이 상에 표시된 바와 같은 시각 자극을 제시하는 UI들의 예가 도 2(UI(271)) 및 도 3(UI(371))에 도시되어 있다.

UI는 또한 인터페이스로서 역할을 하는 UX로 불릴 수 있는 것을 함께 형성하는, 여러 방식의 자극들의 풍부한 혼합일 수 있다. 전략적으로 설계된 UX는 임의의 방식을 통해 사용자에게 자극들을 제시하는 프로세스를 포함하고, 일부 예들은 시각 자극들, 청각 자극들, 햅틱 자극들 또는 전정 자극들을 포함한다. UI 또는 UX는 시스템 하이브리드 BCI 시스템(500)의 UI/UX 엔진(526)에 의해 설계 및 생성될 수 있다. UI/UX 엔진(526)은 신호 분석기(524)로부터 출력된 데이터로 제시된 UX를 갱신하는 신호 분석기(524)와 조합하여 동작할 수 있다. 예를 들어, UX는 추정된 사용자 의도에 따라 갱신됨으로써 액션 제어 특징을 구현할 수 있다.

UI/UX 엔진(526)은 또한 사용자들의 요건들 및 하이브리드 BCI 시스템의 사용의 컨텍스트에 따라 적절한 UI 또는 경험을 생성하고 유지하기 위해 아키텍처 개발자(532)와 조합하여 동작할 수 있다. UI/UX 엔진(526)은 비디오 기반 눈-추적기(102) 또는 신경 기록 헤드셋(104)으로부터 기록된 안구운동 신호들, 또는 즉각적인 환경을 캡처할 수 있는 현장 카메라를 포함하는 센서들 및 액추에이터들일 수 있는 하나 이상의 다른 주변 디바이스들을 통해 사용자 또는 사용자의 환경으로부터의 피드백에 기초하여 UI를 실시간으로 갱신하도록 구성될 수 있다. UI/UX 엔진(524)은 또한 BCI 디바이스(510)가 UI를 유지하고 인커밍 신호들을 분석하는데 필요한 배경 처리를 지원할 수 있도록 사용자 피드백 및 갱신된 UI에 따라 BCI 디바이스(510) 내의 프로세서(520)를 갱신하도록 구성될 수 있다. 예를 들어, UI/UX 엔진(524)은 포인팅 제어 및 액션 제어 특징의 앙상블 추정 및 구현을 위해 자극 특성들을 신호 분석기(524)에 공급할 수 있다. 일부 실시예들에서, UI/UX 엔진(526)은 또한 예를 들어, UI가 시각 방식으로부터 상호작용의 시청각 방식으로 스위칭하는 경우, 신호 분석기(524)에서의 처리의 모드들을 스위칭할 수 있다. UI의 일부 예시적인 구현들이 아래에 개시된다.

동적 자극

일부 실시예들에서, UI는 정적 시각 이미지들뿐만 아니라 비디오를 형성하는 시각 이미지들의 실행 시퀀스로 이루어지도록 구성될 수 있다. 비디오는 UI/UX 엔진(526)에 의해 BCI 디바이스(510) 내에 프로그래밍되거나 통신기(580)를 통해 원격 소스로부터 획득되고 원하는 UI에 적합하도록 갱신되는 합성적으로 생성된 이미지들의 시퀀스일 수 있다. 합성적으로 생성된 또는 획득된 비디오는 디스플레이(106, 506)를 통해 사용자에게 중계될 수 있다. 비디오는 또한 사용자에게 중계되고 사용자의 시야를 캡처하는 시야 카메라를 포함하는 임의의 적절한 안경을 통해 BCI 디바이스(510)에 복사되는, 사용자의 실세계 환경에서 발생하는 실시간 이벤트들의 시퀀스를 포함할 수 있다. 일부 실시예들에서, 안경 및 시야 카메라는 비디오 기반 눈-추적기(102) 상에 통합될 수 있다.

일부 실시예들에서, 비디오들의 형태의 시각 자극들은 움직이는 목표들을 갖는 동적 자극들로서 취급될 수 있다. 도 6은 공간을 통해 이동하는 예시적인 동적 객체의 예시를 도시한다. BCI 디바이스(510)는 움직이는 목표들을 식별하고, (시야 카메라를 통해 생성, 획득, 또는 캡처된) 비디오를 분석함으로써 시간 및 공간을 통해 그들의 동적 운동들을 추적하기 위해 적합한 이미지 처리 루틴들을 수행하도록 구성될 수 있다. 이미지 처리 동안, BCI 디바이스(510)는 또한 통신기(580)를 통해 통신 채널들을 설정함으로써 원격 서버들에 보유된 이미지 또는 비디오 데이터의 데이터베이스들 또는 저장소들로부터 정보를 검색하고 액세스하도록 구성될 수 있다. 신호 분석기(524) 및 UI/UX 엔진(526)은 이미지 세그먼트화, 윤곽 검출, 운동 검출 등과 같은 분석 루틴들을 수행하기 위해 조합하여 동작할 수 있다. BCI 디바이스(510)는 움직이는 동적 자극들을 식별하고 추적하기 위해 통계적 방법들의 임의의 적합한 묶음을 사용할 수 있다. 또한, 사용자의 거동 또는 메모리(560)에 저장된 UI 또는 UX의 컨텍스트의 사전 지식을 통합하여, 동적 자극들의 식별 및 추적을 돕는다.

일단 식별되면, 동적 자극은 도 6의 UI(671)의 예시적인 예시에 도시된 바와 같이 태그를 할당받을 수 있다. 태그들 T₀, T₁ ... T₅은 동적 자극과 연관된 특정 이벤트를 각각 지정하는 시점들일 수 있다. 예를 들어, T₀는 동적 자극이 나타나고 먼저 검출되는 시점을 표시할 수 있다. T₅는 그것이 사라지기 전에 자극의 추적의 끝을 표시할 수 있다. 각각의 태그 및 연관된 정보는 사용자 의도의 포인팅 제어 특징 또는 앙상블 추정을 구현하여 액션 제어 특징을 구현하기 위한 눈 위치의 앙상블 추정을 포함하는 여러 다른 분석들에서 사용될 수 있는 자극 정보(예를 들어, 자극 정보(677))의 일부로서 저장될 수 있다. 예를 들어, 객체는 사용자의 시선이 공간 및 시간에서 추적된 객체를 통과하는 것으로 검출될 때, 추적된 동적 객체가 (도 6의 예에서의 태그 T₄에 의해 표시된 바와 같이) 번쩍이도록 식별되고 태깅될 수 있다. 그 후, 사용자는 그들의 생각을 사용하여 객체를 조작할 수 있다. 즉, 앙상블 처리된 동시에 기록된 신경 활동 데이터는 동적 객체에 관한 사용자의 의도를 판정하는데 사용될 수 있다. 시그니처 신경 활동(예를 들어, ERP 또는 모터 이미지 신호)이 검출되면, 이것은 그 동적 객체와 연관된 액션을 트리거하려는 사용자의 요구를 표시할 수 있다. 액션은 기록되고 분석되는 신경 활동뿐만 아니라 동적 자극의 특성에 기초할 수 있다. 예를 들어, 액션은 객체와 연관된 메뉴를 보기 위한 간단한 선택일 수 있거나, 액션은 아래의 예들에 개시된 바와 같은 모터 이미지 신호들을 사용함으로써 객체의 복잡한 조작을 할 수 있다. 임의의 인스턴스에서의 동적 객체의 선택으로 인한 임의의 선택 또는 트리거된 액션은 또한 나중에 사용하기 위해 자극 정보(677)의 일부로서 저장될 수 있다.

3차원 UX

본 명세서에 기술되는 하이브리드 BCI 시스템들(100, 500) 및 다른 실시예들은 공간 차원에서 2차원 또는 3차원 UI 또는 UX를 지원하도록 구성될 수 있다. 본 명세서에 설명된 바와 같이, UI 또는 UX는 UI/UX 엔진(526)에 의해 생성된 완전히 가상 환경일 수 있다. 또는 UI/UX는 안경을 통해 중계되고 사용자에게 증강 현실의 경험을 할 수 있게 하는 UI와 중첩되는 사용자의 현실세계 환경일 수 있다.

일부 예시적인 구현들에서, UI는 메뉴들 및 아이콘들의 형태로 한 세트의 제어 도구를 제공하고 2차원 공간에서 또는 3차원 공간에서(즉, 시각 심도를 이용하여) 포인팅 제어 특징 및 액션 제어 특징을 구현하는 간단한 시스템일 수 있다. 일부 구현들에서, UI는 또한 실세계 내비게이션과 유사한 경험을 제공하는 사용자에 의해 내비게이션될 수 있는 가상(또는 증강된) 공간을 멀티모드로 제시하는 풍부한 3차원 경험일 수 있다. UI는 또한 사용자의 컨텍스트 요건에 적합하게 적절히 배열되는 이들 및 다양한 다른 유형의 자극 제시들의 조합을 포함할 수 있다.

하이브리드 BCI 시스템들(100, 500)은 인간 시각 시스템이 3차원에서 심도를 처리하여 UX를 생성하고 앙상블 처리 동안 안구운동 및 신경 신호를 분석하는 방법의 특성들을 사용할 수 있다. 예를 들어, 인간 시각 시스템은 여러 단서를 사용하여 시야 내의 객체들이 상이한 시각 심도의 객체인지를 판정한다. 하나의 예시적인 속성은 부분 폐색이다. 하나의 객체가 다른 객체에 의해 폐색될 때, 폐색된 객체는 합리적인 예상으로 폐색하는 객체 뒤에 위치한다. 이것은 가상 환경에서 3차원 공간을 생성하는데 사용될 수 있다. 이 속성은 또한 포인팅 제어 특징을 구현할 때 사용자의 초점이 시각으로부터 폐색되는 객체가 아니라 전체 뷰에 객체가 있는지를 정확하게 판정하는데 사용될 수 있다.

다른 예시적인 속성은 그들이 시각 심도에 따라 변화할 때의 알려진 객체들의 상대적 크기 및 형상이다. 예를 들어, 2개의 객체가 알려진 크기 및 형상을 가지고 있고, 하나가 다른 것보다 작게 보이는 경우, 작은 객체가 큰 객체보다 관찰자로부터의 공간 거리면에서 더 멀리 있다고 합리적으로 추정될 수 있다. 이 속성은 또한 UI/UX 엔진(526)에 의해 다양한 크기 및 다양한 투시도에서 객체들을 랜더링하는데 사용되어 실제 3차원 가상 공간을 생성할 수 있다. 이 속성은 또한 사용자의 초점을 정확하게 결정하는데 사용될 수 있다.

게다가, 인간 시각 시스템은 또한 다른 눈에 대한 한쪽 눈의 상대적 운동과 각각의 눈의 초점의 심도를 중계하는 양안 시각으로부터의 정보를 사용하여, 실세계에서의 객체들의 위치를 결정하는데, 달리 입체 눈 추적이라고 한다. 하이브리드 BCI 시스템들(100, 500)은 입체 눈 추적을 수행하고 비디오 기반 눈-추적기(102, 502)에 의해 수집된 양쪽 눈으로부터의 눈 운동 신호들을 사용하고, 이 신호들을 사용하여 초점 심도의 양안 추정을 생성할 수 있다. 이러한 양안 추정은 실제, 가상 또는 증강 공간에서 사용자의 관점에서 객체의 심도를 정확하게 추정하기 위해 다른 심도 정보원들과 조합될 수 있다.

내비게이션 제어

일부 실시예들에서, 하이브리드 BCI 시스템들(100, 500)은 내비게이션을 수반하는 2차원 또는 3차원 공간에서 UX의 제시를 포함할 수 있다. 예를 들어, UI는 팩맨(Pacman) 또는 퀘이크(Quake)와 같은 내비게이션 게임을 재생하도록 구성될 수 있다. 다른 인스턴스들에서, UI는 실세계에서 사용자의 휠체어를 내비게이션하도록 구성될 수 있다. UI/UX 엔진(526)은 사용자, BCI 디바이스(110, 510), 또는 (시야 카메라를 통해 중계되는) 사용자의 환경으로부터 제공되는 컨텍스트 기반 정보를 사용하고 내비게이션을 중재하기 위해 적절한 제어들을 제시하는 UI 또는 UX를 생성/갱신할 수 있다. 일 실시예에 따른 내비게이션 제어 인터페이스의 예시적인 예시가 도 7에 도시되어 있다.

일부 실시예들에서, 하이브리드 BCI 시스템들(100, 500)은 사용자의 환경의 컨텍스트 또는 사용자로부터의 명시적 지시에 기초하여 도 7에 도시된 것과 같은 내비게이션 제어 인터페이스를 사용자에게 제시할 수 있다. 내비게이션 제어 인터페이스는 운동 속도 및 운동 방향에 대한 제어를 제공할 수 있다. 예를 들어, 내비게이션 제어 인터페이스는 각각의 링이 속도 구역을 나타내는 동심원들의 투명 오버레이를 포함할 수 있다. 각각의 링은 또한 활성화되거나 비활성화될 수 있는, 심볼들, 예를 들어, 화살표들의 대칭적인 아웃레이(symmetric outlay)를 포함할 수 있다. 심볼들 또는 화살표들은 연관된 속도 대의 선택을 시작하고 중지함으로써 운동을 제어하도록 구성될 수 있다. 각각의 화살표의 각도 및 위치는 운동 방향을 표시할 수 있다.

일부 실시예들에서, 위에서 개시되고 도 7에 도시된 것과 유사한 내비게이션 인터페이스는 포인팅 제어 특징 및 액션 제어 특징을 조합하여 구현함으로써 동작될 수 있다. 예를 들어, 포인팅 제어 특징은 운동 방향을 표시하는 사용자가 원하는 화살표를 결정하는데 사용될 수 있다. 액션 제어 특징은 특정 속도 대의 특정 화살표를 선택하도록 구현될 수 있다. 이 내비게이션 인터페이스를 포함하는 하이브리드 BCI 시스템들(100, 500)은 전자적으로 작동되는 휠체어와 같은 외부 내비게이션 시스템들에 접속될 수 있다. 이 경우, 특정한 속도 대와 연관된 특정한 화살표의 활성화는 휠체어의 바퀴들의 운동의 활성화를 원하는 방향으로 회전시키거나 움직이게 할 수 있다. 대안적으로, 하이브리드 BCI 시스템(100, 500)은 사용자에게 내비게이션가능한 가상 환경을 제시할 수 있다. 이 경우, 내비게이션 인터페이스에서 특정한 속도 대에서의 특정한 화살표의 활성화는 사용자가 활성화에 의해 지시되는 속도 및 방향에 따라 제시되는 가상 공간에서 이동할 수 있게 한다. 즉, UI/UX 엔진(526)은 사용자에 의한 원하는 운동의 인지를 생성하도록 제시된 가상 환경을 수정할 수 있다. 내비게이션 인터페이스는 또한 사용자가 내비게이션 제어 시스템에 피드백을 제공하는 채널을 포함할 수 있다. 사용자의 심볼들의 선택의 지속기간, 결과적인 운동 및 사용자의 피드백과 같은 내비게이션 인터페이스의 사용의 특성들은 예를 들어, 사용자 특정 교정 및 설정을 위해 나중에 사용하기 위한 자극 정보로서 저장될 수 있다.

컨텍스트 기반 실세계 상호작용

일부 실시예들에서, 하이브리드 BCI 시스템들(100, 500)은 증강 또는 혼합 현실 공간에서 사용자 상호작용을 허용하기 위해 사용될 수 있다. 즉, 하이브리드 BCI 시스템(100, 500)을 사용하여, 실세계는 사용자가 볼 수 있는 모든 것을 캡처하도록 구성된, 주변 센서들(108, 508) 중 하나로서, 시야 카메라를 포함하는 한 쌍의 안경을 통해 사용자에게 중계될 수 있다. 예를 들어, 안경 및 시야 카메라는 비디오 기반 눈-추적기(102)의 통합 부분으로서 통합될 수 있다. 안경은 시각 자극들을 제시할 수 있는 통합된 디스플레이들(예를 들어, 액정 디스플레이들)이도록 구성될 수 있다. 시각 이미지들 또는 비디오들은 필요한 경우에 3차원 공간을 시뮬레이션하기 위해 각각의 눈에 적합하게 맞추어진 통합된 디스플레이들에 투영될 수 있기에, 사용자가 증강 또는 혼합 현실을 경험할 수 있게 한다. 예를 들어, 투영된 이미지들은 포인팅 제어 및 액션 제어 특징을 구현함으로써 활성화되거나 선택될 수 있는 메뉴들 및 버튼들과 같은 제어 인터페이스들일 수 있다. 투영된 이미지들 또는 비디오들은 또한 사용자가 보는 실세계 이미지를 보완하기 위해 생성되는 풍부한 3차원 환경들일 수 있다.

일부 실시예들에서, 하이브리드 BCI 시스템들(100, 500)은 시야 카메라를 통해 사용자가 보는 실세계 환경의 캡처된 비디오를 처리하도록 구성될 수 있다. 예를 들어, 시야 카메라(주변 디바이스(508))는 캡처된 실제 이미지를 기록하여 BCI 디바이스(510)의 I/O 유닛(540)에 송신할 수 있다. 그 후, BCI 디바이스(510) 내의 프로세서(520)는 동기화된 이벤트 로거(522)를 통해 캡처된 비디오를 타임 스탬프 및 로깅하고 신호 분석기(524)에서 캡처된 비디오를 분석할 수 있다. 신호 분석기(524)는 이미지 세그먼트화, 윤곽 검출, 움직임 검출, 이미지 식별 등을 포함하는 비디오에 대한 다양한 이미지 처리 루틴들을 수행할 수 있다. 신호 분석기(524)는 이미지 처리 루틴들을 돕기 위해, 메모리(560)에 저장된 미리 획득된 정보를 사용할 수 있거나 또는 또한 통신기(580)를 통해 설정된 통신 채널들을 통해 원격 소스들로부터 추가 정보를 획득할 수 있다.

도 8a는 하이브리드 BCI 시스템의 일 실시예를 사용하여 시야 카메라에 의해 캡처된 실세계 이미지의 예시적인 인스턴스를 도시한다. 도 8a의 예시적인 이미지는 사용자의 거실의 인스턴스를 도시한다. 예를 들어, 신호 분석기(524)는 비디오에서 이 이미지를 수신하고, 도 8a의 예에서 강조 표시된 바와 같이 이 이미지를 식별가능한 부분들로 분할할 수 있다. 즉, 신호 분석기(524)는 윤곽들을 검출하고 텔레비전, 책꽂이 및 2마리의 집 고양이들과 같은 개별 아이템들을 식별할 수 있다. 또한, 신호 분석기(524)는 캡처된 비디오에서 텔레비전의 제조사 및 모델을 식별하기 위해 사용자에 관한 저장된 정보 또는 원격 소스들(예를 들어, 웹사이트들, 데이터베이스들, 판매자 카탈로그들 등)로부터의 추가 정보에 액세스할 수 있다. 식별시, 신호 분석기(524)는 식별된 특정한 디바이스(예를 들어, 특정 제조사 및 모델의 텔레비전)와의 적합한 통신 모드를 결정할 수 있다. BCI 디바이스(510)는 적절한 통신 채널의 선택(예를 들어, 판매자에 의해 미리 결정될 수 있는 블루투스, NFC 등)을 사용하여, 통신기(580)를 통해 식별된 디바이스(예를 들어, 텔레비전)와 접속할 수 있다.

일부 실시예들에서, 텔레비전과 같은 특정한 제어가능한 전자 컴포넌트의 식별 및 성공적인 접속은 식별된 제어가능한 전자 디바이스에 적합한 컨텍스트 기반 UI의 제시를 트리거할 수 있다. 예를 들어, 특정 제조사 및 모델의 텔레비전에 대한 식별 및 접속 시에, 하이브리드 BCI 시스템(100, 500)은 텔레비전의 제어가능한 특징들의 리스트를 획득할 수 있다. 그 후, BCI 디바이스(510) 내의 UI/UX 엔진은 음량 제어, 채널 제어, 홈 시어터 제어 등과 같은 아이템들을 포함하는, 텔레비전에 대한 가용 제어들의 리스트를 포함하는 컨텍스트 기반, 직관적, UI를 생성하기 위해 디바이스 및 사용자에 관한 정보를 사용할 수 있다. 이러한 예시적인 텔레비전의 제어에 대한 예시적인 UI가 도 8b에 도시되어 있다.

컨텍스트 기반 UI는 2차원 또는 3차원 공간으로서 제시될 수 있고 임의의 적절한 방식을 통해 활성화 또는 비활성화될 수 있는 심볼들 또는 아이콘들을 포함할 수 있다. 그 후, 하이브리드 BCI 시스템(500)은 특정 제어 가능 심볼, 예를 들어 '볼륨 증가' 아이콘에 대한 사용자의 초점을 검출하기 위해 포인팅 제어 특징을 구현할 수 있다. 이어서 하이브리드 BCI 시스템(500)은 신경 기록 헤드셋을 통해 기록된 신경 활동을 사용하여 UI 상에서 액션 제어 특징(예를 들어, 볼륨 증가 아이콘의 활성화)을 구현할 수 있다. 컨텍스트 기반 UI 상의 이러한 액션은 실세계에서의 텔레비전 제시(예를 들어, 볼륨)의 사용자 경험의 변화를 주기 위해 텔레비전에 통신될 수 있다.

상호작용의 용이성을 위한 UI/UX에 대한 가시적 및 비가시적 적응

일부 실시예들에서, 하이브리드 BCI 시스템(100, 500)은 UI 또는 UX의 생성시 적응들을 통합하여 고속 및 높은 정확도로 조작을 용이하게 한다. 이러한 적응은 사용자에게 제시된 UI의 가시적 속성들을 포함할 수 있다. 적응은 또한 명백하게 가시적이지 않지만 UI 또는 UX의 생성 및 유지보수, 그리고 포인팅 제어 및/또는 액션 제어 특징이 어떻게 구현되는지에 통합되는 UI의 속성들을 포함할 수 있다. 적응 중 일부가 아래에 개시된다.

초점 연결 클릭(Focus Click-through)

일부 실시예들에서, 하이브리드 BCI 시스템(100, 500)은 사용자에게 액션가능 메뉴 아이템을 제시하는 3차원 양태를 포함할 수 있다. 클러터(clutter)의 외관 없이 크기가 적당한 메뉴 아이템들을 제시하는 옵션을 포함하는 3차원에서의 액션가능 메뉴들의 제시에 대한 여러 이점들이 있을 수 있다. 메뉴 아이템들의 3차원 제시는 또한 증강 또는 혼합 현실을 제시하는 경우에서와 같이, 시각적 UI 또는 UX의 표시 또는 제시를 위한 제한된 가용 공간의 조건들 하에서 유용할 수 있다.

예시적인 UI에서의 하나의 예시적인 3차원 제시가 도 9에 도시되어 있다. UI는 하이브리드 BCI 시스템(500)에 의한 액션 제어 특징을 구현하도록 선택될 수 있는 여러 옵션(option)을 포함할 수 있다. 도 9에 도시된 예는 옵션(option) 1 및 2를 포함하는 패널들을 포함한다. 위에 개시된 바와 같이, UI는 인간 시각 시스템에 의한 피사계 심도(depth of field)를 검출하는데 사용되는 여러 특성을 이용함으로써 3차원 공간에서 제시될 수 있다. 도 9에 제시된 예에서와 같이, UI는 특정 아이템들을 초점 내에 또는 밖으로 가져오기 위해 밝기 및 콘트라스트의 속성들을 변조할 수 있다. 또한, UI는 또한 다른 객체에 의한 하나의 객체의 폐색, 또는 다른 객체에 대한 하나의 객체의 사시도와 같은 속성들을 사용하여 3차원에서의 심도의 효과를 생성할 수 있다.

포인팅 제어 특징의 구현 동안, 하이브리드 BCI 시스템(100, 500)은 각각의 옵션에 초점을 맞추어 옵션들 1 및 2를 순차적으로 제시할 수 있다. 원하는 옵션은, 입체 눈 추적을 구현하기 위해 비디오 기반 눈-추적기(102)에 의해 수집된 안구운동 응답을 모니터링하는 것, 또는 신경 기록 헤드셋(104)에 의해 수집된 신경 활동을 UI에서의 옵션 1 및 2의 초점 심도의 수정과 상관시키는 것, 또는 이 둘의 조합을 포함하는 하나 이상의 방법에 의해 결정될 수 있다. 양쪽 방법들의 조합을 사용하는 통합된 접근법은 고속 사용자 상호작용들로 이어지는 고속 검출을 가능하게 하면서, 액션 선택의 높은 정확도를 유지할 수 있다.

옵션 풀 사전-선택

일부 실시예들에서, 하이브리드 BCI 시스템들(100, 500)은 여러 액션가능 아이템을 갖는 조건 하에서 동작하는데 사용될 수 있다. UI(1071)의 예시적인 인스턴스가 6개의 액션가능 아이템들을 포함하는 도 10a에 도시되어 있다. 특정 조건들 하에서, UI에서 한 번에 제시되는 액션가능 아이템들의 수를 줄이기에 적합할 수 있다. 이것은 또한 포인팅 제어 특징의 구현 동안 사용자의 초점의 결정시 불확실성을 감소시키기 위한 것일 수 있다. 액션 제어 특징의 구현 동안 선택된 액션가능 아이템의 불확실성을 감소시키는 것도 또한 가능할 수 있다. 게다가, 하이브리드 BCI 시스템(100, 500)의 일부 실시예들에서, UI는 자극을 번쩍이게 하고 신경 기록 헤드셋(504)을 통해 동시에 수집된 신경 활동을 상관시켜서 이 상관 데이터를 추가적으로 사용하여 액션가능 아이템의 선택을 구현하도록 구성될 수 있다. 이러한 조건들 하에서, UX를 향상시키기 위해 자극들의 반복된 플래싱을 최소화하는 것이 바람직할 수 있다. 이들 요건 하에서 UI/UX 엔진(524)에 의해 채택된 하나의 전략은 전략적으로 옵션 아이템들을 풀링하는 것일 수 있다. 따라서, 도 10a 및 도 10b에 예시된 예에서, (도 10a에 도시된) 1 단계 프로세스에서 6개의 잠재적 옵션 중 1개를 선택하는 대신에, UI는 2-단계 선택 프로세스에서 동작하도록 수정될 수 있다. 예를 들어, 제1 단계에서, UI는 풀 옵션 1, 2, 및 3을 함께 수정하여 풀링된 사전 선택 옵션 1을 형성하고, 풀 옵션 4, 5 및 6을 함께 수정하여 풀링된 사전 선택 옵션 2를 형성할 수 있다. 따라서, 사용자는 제1 단계에서 2개의 가능한 사전 선택 옵션 중 하나를 지정하고 선택할 수 있다. 이 제1 단계에서 사전 선택 옵션들에 대한 포인팅 제어 및 선택 제어 특징들을 구현할 때, UI는 이후, 도 10b에 도시된 바와 같이, 제1 단계에서 어느 것이 선택되든지, 사전 선택 옵션 1 또는 사전 선택 옵션 2에 포함된 실제 개별 옵션들을 제시하도록 변경될 수 있다. 이 절차는 선택에 수반되는 단계들의 수를 증가시킬 수 있지만, 풀링 옵션들의 사전 선택 풀들로의 프로세스는 개별 옵션들의 플래시들의 수를 감소시킬 수 있다. 또한, 정확한 옵션을 선택하는 정확도는 제1 및 제2 단계 둘 다에서의 불확실성의 감소로 인해 증가할 수 있다.

드래그가능한 마커

하이브리드 BCI 시스템(100 또는 500)은 포인팅 제어 특징의 현재 상태를 표시하기 위해 시각적 보조(예를 들어, 커서)를 사용함으로써 동작할 수 있다. 커서는 포인팅 제어 및 액션 제어 특징들을 구현하면서 시스템의 현재 상태를 표시하기 위해 특성들(예를 들어, 컬러, 형상 밝기 등)이 사용될 수 있는 심볼 또는 마커일 수 있다. 예를 들어, 마커는 지정하는 동안 평이할 수 있지만 포인팅 제어의 구현의 완료(즉, UI에 제시된 옵션의 선택)를 나타내는 상이한 컬러로 수정될 수 있다. 마커는 또한 액션 제어 특징의 구현의 완료(즉, 옵션의 활성화)를 나타내기 위해 또 다른 형상 또는 컬러로 수정될 수 있다.

하이브리드 BCI 시스템(100, 500)의 일부 실시예들에서, 마커 또는 커서는 눈-추적에 의해 등록된 눈 운동들의 궤적을 추종함으로써 단순히 이동될 수 있다. 따라서, UI에서 선택될 수 있는 가능한 아이템들은 UI 상의 위치가 (사용자의 눈들의 궤적을 따르는) 마커의 궤적과 교차하는 아이템들이다. 선택은 단순한 포커싱, 또는 객체에 대해 시간에 맞추어진 함요상태 등을 포함하는 여러 방법들에 의해 구현될 수 있다.

일부 실시예들에서, 마커는 사용자의 눈의 궤적을 밀접하게 추종하지 않고, 대신에, 드래그가능한 스티키 마커가 되도록 수정될 수 있다. 즉, 하이브리드 BCI 시스템(100, 500)의 일부 실시예들에서, UI는 하나의 객체 또는 옵션으로부터 다른 것으로 드래그 및 드롭될 수 있는 스티키 마커를 포함하는 동작 모드로 스위칭될 수 있다. 도 11a 및 도 11b는 스티키 마커(1181)를 포함하는 예시적인 UI(1171)를 예시한다. 도시된 예에서, 사용자는 디스플레이의 중심에서 홈 위치로부터 스티키 마커(1181)를 드래그하고 선택될 옵션(1179) 상에 스티키 마커(1181)를 배치함으로써 UI(1171)와 상호작용한다. 예를 들어, 도 11에 제시된 UX는 비디오 게임일 수 있다. 사용자는 게임이 진행 중인 동안 게임을 일시정지하기를 원할 수 있다. 이것은 스티키 마커(1181)를 사용함으로써 달성될 수 있다. 사용자는 자신의 홈 위치에 포비팅(foveating)함으로써 디스플레이의 중심에서 자신의 홈 위치로부터 스티키 마커(1181)를 '픽업'할 수 있다. 그 후, 스티키 마커(1181)를 '드래그'함으로써, 사용자는 선택될 옵션, 예를 들어, 블록 아이콘(1179)에 의해 표시된 '일시정지' 옵션에 포비팅할 수 있다. 스티키 마커를 드래그하면서 옵션(1179)을 포비팅함으로써, 사용자는 도 11b에 도시된 바와 같이 일시정지 옵션(1179) 위에 스티키 마커(1181)를 '드롭'할 수 있다. 그 후, 스티키 마커(1181)가 선택된 옵션(1179)에 달라붙게 하여, 포인팅 제어 특징의 구현을 완료한다.

스티키 마커(1181)를 사용하는 모드들에서 동작하는 하이브리드 BCI 시스템의 실시예들에서, 스티키 마커(1181)를 '픽업'하지 않고 사용자의 임의의 단순한 함요상태 또는 단속성 눈 운동은 포인팅 제어 특징을 선택하거나 구현하는 어떠한 효과도 없을 것이다. 이것은 사용자의 눈들이 탈선된 시선(stray gaze)들 또는 탈선된 응시(stray fixation)들에 의한 의사 선택(spurious selection)들의 감소로 이어질 수 있다. 게다가, 사용자에게 스티키 마커의 사용 없이 요구될 수 있는 포인팅 제어 특징을 구현할 만큼 충분히 길게 함요상태들 또는 눈 운동들을 맞추도록 요구하지 않을 것이다. 따라서, 스티키 마커들의 사용은 사용자에 의한 부자연스럽고 및/또는 파괴적으로 긴 응시를 요구하지 않으면서 고속의 정확한 지정 및 선택으로 사용자 상호작용의 용이성을 향상시킬 수 있다.

하이브리드 BCI 시스템들(100, 500)의 실시예를 사용하여 스티키 마커를 구현하는 다른 예가 도 12a 내지 도 12h에 도시되어 있다. 구체적으로, 도 12a 내지 도 12h는 옵션들을 선택하기 위해 스티키 마커를 사용할 때 이벤트들의 시퀀스를 도시한다. 예를 들어, 도 12a에서, 예시적인 UI(1271)는 스크린의 중심에서 그의 홈 위치에 배치된 4개의 잠재적 옵션 A, B, C 및 D(1279) 및 스티키 마커(1281)를 도시한다. UI(1271)는 또한 아래에 설명되는 바와 같이 포인팅 제어 특징의 상태를 표시하고 스티키 마커(1281)를 드래그하는 프로세스에서 보조하는 스티키 그래버 객체(1285)를 포함한다. UI는 또한 휴지통의 심볼에 의해 표시된 특수 옵션(1283)을 포함한다. 인터페이스(1271)는 스티키 마커(1281)의 사용 동안 사용자 상호작용으로 인한 변경들의 시퀀스를 표시하는 도 12b 내지 도 12h에 반복적으로 제시된다.

예를 들어, 도 12a에서, 스티키 마커(1281)는 홈 위치에 있고, 스티키 그래버(1285)는 제1 컬러(예를 들어, 청색)로 착색되고 비어 있다. 사용자가 옵션 B를 선택하기를 원한다면, 예를 들어, 사용자는 자신의 시선을 홈 위치에서의 스티키 마커(1281)를 지정함으로써 시작한다. 이는 도 12b에 도시된 바와 같이 스티키 마커(1281)가 스티키 그래버(1285)에 의해 파지되게 한다. 특히, 사용자가 스티키 마커(1281)를 '픽업'하는데 필요한 최소 응시 지속기간은 없다. 스티키 마커(1281)의 홈 위치에 대한 사용자의 시선의 단순한 통과만으로 스티키 그래버(1285)에 의해 파지될 수 있다.

스티키 마커(1281)를 스티키 그래버(1285) 상에 파지한 후, 사용자는 그들의 시선을 그들이 선택하기를 원하는 옵션들, 예를 들어, 옵션 B 상에 통과시킬 수 있다. 사용자의 시선의 옵션으로의 단순한 교차는 도 12c에 도시된 바와 같이, 마커가 그 옵션으로 드래그되게 할 수 있다. 옵션은 즉시 선택되지 않는다. 사용자에게 가시적이거나 그렇지 않을 수 있는 타이머(1287)는 스티키 마커(1281)가 옵션 상으로 드래그되자마자 시작될 수 있다. 옵션의 선택은 타이머(1287)가 미리 설정된 시간량 후에 타임아웃되면 실현될 수 있다.

그러나, 사용자가 타이머(1287)가 타임아웃되기 전에, 다른 옵션, 예를 들어, 옵션 D를 선택하기로 선택한 경우, 이것은 사용자가 스티키 마커(1281)를 사용하여 그들의 시선을 옵션 B 상에 통과시킴으로써 행해질 수 있다. 이것은 도 12e에 의해 표시된 바와 같이 스티키 마커(1281)를 스티키 그래버(1285) 상에 다시 픽업한다. 이에 후속하여, 사용자는 그들의 시선을 선택될 옵션, 예를 들어, 옵션 D 상에 통과시킬 수 있으며, 이는 도 12f에 도시된 바와 같이, 스티키 마커(1281)가 옵션 D 상에 드래그되게 한다.

사용자가 일부 다른 액션 동안에 스티키 마커(1281)를 부주의하게 픽업하는 경우, 그들은 도 12f에 도시된 바와 같이, 휴지통 아이콘(1283)을 흘낏 봄으로써 스티키 마커(1281)를 버릴 수 있다. 유사하게, 사용자가 부주위하게 스티키 마커(1281)를 원하지 않는 옵션 상에 드롭한 경우, 그들은 스티키 마커(1281)를 사용하여 원하지 않는 옵션 상에 그들을 다시 통과시키고나서 휴지통 아이콘(1283)을 응시함으로써 이 선택을 무효화할 수 있다.

선택 활성화

하이브리드 BCI 시스템들(100, 500)의 일부 실시예들에서, UI는 그러한 맥락에서 하이브리드 BCI 시스템을 동작시키는데 중심이 될 수 있는 특정 중요 심볼들을 활성화 및/또는 비활성화하기 위한 편리한 메커니즘을 제공하도록 적응될 수 있다. 예를 들어, 하이브리드 BCI 시스템이 어떤 특정 애플리케이션들 또는 연관된 디바이스들을 제어하는 UI/UX 인터페이스들을 실행하기 위해 사용될 때, UI는 선택 시에 그 특정 애플리케이션 또는 접속 디바이스의 여러 양태들을 중앙에서 제어할 수 있는 연관된 메인 심볼 또는 아이콘을 포함할 수 있다.

하나의 예시적인 애플리케이션은 코어 아이콘에 의해 중앙에서 제어되는 UI를 통해 제시될 수 있는 비디오 기반 게임일 수 있다. 선택 시에 코어 아이콘은 게임 플레이를 제어하고, 게임플레이 동안의 사용자의 인벤토리를 제어하는 등의 여러 메뉴들을 가져올 수 있다. 따라서, 사용자는 필요할 때 코어 아이콘을 선택함으로써 이 메뉴들에 액세스할 수 있다. 따라서, 게임 플레이를 위해 하이브리드 BCI 시스템을 사용하는 동안 코어 아이콘이 지속적으로 존재하는 것이 바람직하다. 그러나, 코어 아이콘은 게임 플레이를 하는 동안 지속적으로 필요하지 않을 수 있다.

일부 실시예들에서, 코어 아이콘과 같은 제어 아이콘의 일정한 요건은 주요 환경, 예를 들어, 이 경우에 게임 환경에 방해가 되지 않는, 표시된 UI 상의 어딘가에 코어 아이콘을 배치함으로써 처리될 수 있다. 도 13a의 예시적인 UI(1371)에 도시된 바와 같이, 방해가 되지 않게 배치된 제어 아이콘(1379)은 작은 반투명 "n"인 예시적인 코어 아이콘일 수 있다. 도 13a는 UI(1371)의 진행중인 사용의 정상 상황 하에서, 예시적인 코어 아이콘(1379)이 UI(1371)를 갖는 스크린 상에 어떻게 나타날 수 있는지를 예시한다.

도 13b 내지 도 13d는 UI(1371) 내의 코어 아이콘(1379)을 통한 전술한 선택 활성화 프로세스의 예시적인 인스턴스화를 도시한다. 예를 들어, UI(1371)와 진행중인 상호작용 동안, 사용자는 코어 아이콘(1379)을 통해 이용가능한 제어에 액세스하기를 원할 수 있다. 사용자는 코어 아이콘(1379)을 향해 포비팅할 수 있다. 일단 사용자의 시선이 (도 13b에 표시된) 코어 아이콘(1379) 상에 응시되거나 근접해 있다는 것을 표시하기 위해 안구운동 눈 추적 신호들이 분석되면, UI(1371)는 아이콘(1379)의 외관을 변경하도록 수정될 수 있다. 예를 들어, UI(1371)는 코어 아이콘(1379)의 외관을 반투명에서 단색이고/이거나 불투명하게 변경할 수 있다. 그 후, 도 13c에서 단색으로 착색된 'n'으로 표시된, 단색의 코어 아이콘(1379)은 외관을 다시 변경하도록 만들어질 수 있다. 예를 들어, 원한다면 코어 아이콘(1379)이 지금 선택될 수 있다는 것을 나타내기 위해 이러한 외관의 변경(예를 들어, 코어 아이콘(1379)의 펄싱)이 사용될 수 있다. 사용자의 시선이 코어 아이콘(1379)의 외관이 변하는 기간 동안 코어 아이콘(1379)으로부터 멀리 이동하는 경우, 예를 들어, 도 13a에 표시된 바와 같이, 외관의 변화가 정지할 수 있고 코어 아이콘(1379)은 변경되지 않은 상태로 복귀할 수 있다. 코어 아이콘(1379)의 동작에서, UI(1371)는 후술되는 고스트 플래시들을 사용하거나 사용하지 않을 수 있다.

UI(1371)는 제시된 임의의 자극과 연관된 관련 안구운동 응답 또는 관련 신경 활동을 검출하기 위해 하이브리드 BCI 시스템의 프로세서(520)에 의해 기본 UI 도구로서 사용될 수 있는 비가시 플래시들 또는 고스트 플래시들을 채택할 수 있다. UI에서 제어된 방식으로 고스트 플래시들을 채택하는 데 여러 상이한 사용들이 있을 수 있다. 예를 들어, 임의의 가시적 자극의 플래시에 대한 사용자 응답을 측정하기 위해 고스트 플래시들이 채택될 수 있다. 즉, 고스트 플래시 동안의 임의의 동시 안구운동 또는 신경 응답은 참 부정 응답(true negative response)으로서 사용될 수 있다. 그러한 참 부정 응답은 관련성, 자극 유발, 안구운동 또는 신경 응답의 검출을 위해 교차되어야 하는 하나 이상의 임계값을 설정하는데 사용될 수 있다. UI의 선택 활성화 적응의 구현에서, 고스트 플래시들을 사용하여, 참 선택과 탈선된 시선으로 인한 의사 선택을 구별할 수 있다.

UI 상에 표시된 아이콘들 또는 심볼들은 사용자가 조작할 수 있도록 만들 수 있다. 그리고 아이콘 또는 심볼의 가용성은 그들의 외관의 일시적인 또는 순간적인 변화를 통해 사용자에게 표시될 수 있다. 외관의 변경은 사용자가 변경을 등록하라는 경고를 받을 수 있도록 적절하게 길고/길거나 두드러질 수 있다. 외관의 변경은 아이콘의 여러 특성들 중 임의의 것을 통해 구현될 수 있다. 예를 들어, 밝기 강도, 콘트라스트, 컬러, 크기, 형상, 위치 등을 변경함으로써 플래싱을 통해 구현될 수 있다. 외관의 변경은 일례로서 본 명세서에 플래시로서 설명되어 있다.

일부 실시예들에서, 예를 들어, 코어 아이콘의 각각의 변경은 옵션 아이콘, 예를 들어 (1379)의 외관의 단일 변경일 수 있는 "태그 변경"(예를 들어, 태그 플래시)로서 카운트될 수 있다. 태그 변경은 UI(예를 들어, UI(1371)) 상에 표시된 아이콘 또는 객체와 결부된 외관의 변경(예를 들어, 플래싱, 펄싱 등)일 수 있다. 여러 옵션 아이콘들은 플래시 그룹이라고 불리는 그룹들에서 함께 플래시되거나, 코어 아이콘과 같은 단일 옵션 아이콘이 플래시 그룹을 자체적으로 형성할 수 있다. 고스트 플래시들은 코어 아이콘에 인접한 UI의 일부분에서의 신경 아이콘의 느린 펄스들 및/또는 플래시들 사이에서 발생할 수 있다. 고스트 플래시들은 플래시 그룹을 형성하는 그룹에서 또는 단독으로 발생하도록 구성될 수 있다. 고스트 플래시들은 선택 임계값을 설정하는데 사용될 수 있다. 안구운동 응답 및/또는 신경 활동 응답이 고스트 플래시들에 의해 설정된 임계값을 넘어설 때, UI(1371)는 여러 선택가능 옵션들, 예를 들어, 도 13d에서 A, B, C 및 D로 표시된 옵션들(1379)로 채워진 선택 메뉴를 가져올 수 있다. 선택 메뉴의 제시에 이어서, 사용자는 전술한 포인팅 제어 특징 및 액션 제어 특징을 구현함으로써 각각의 선택가능 옵션과 연관된 액션을 선택하고 트리거할 수 있다. 눈 추적 분석이 사용자 시선 위치가 더 이상 선택 메뉴 영역 주위에 고정되어 있지 않는 것으로 판정되면, 메뉴는 비활성화될 수 있고 투명 코어 아이콘이 다시 나타날 수 있다.

결론

요약하면, 실시간으로 사용자에 의해 동작가능한 통합된 하이브리드 두뇌 컴퓨터 인터페이스의 구현에서 사용하기 위한 시스템들 및 방법들이 본 명세서에 설명된다. 개시된 시스템은 포인팅 제어 특징을 구현하기 위한 눈-운동 추적 시스템 및 액션 제어 특징을 구현하기 위한 두뇌 활동 추적 시스템을 포함한다. 양쪽 특징들은 고속 및 정확한 동작을 가능하게 하도록 전략적으로 설계된 UI의 제시를 통해 구현된다. 게다가, 개시된 시스템들 및 방법들은 가상, 증강 또는 실제 환경들의 사용자 조작을 중재하기 위해 임의의 적합한 플랫폼 상에서 실시간 하이브리드 BCI를 구현하기 위해 하드웨어 애그노스틱인 것으로 구성된다.

다양한 실시예들이 위에서 설명되었지만, 그들은 제한으로서가 아니라 단지 예로서 제시되었음을 이해해야 한다. 위에 설명된 방법들이 특정 순서로 발생하는 특정 이벤트를 표시하는 경우 특정 이벤트의 순서는 수정될 수 있다. 게다가, 이벤트들 중 특정 이벤트는 가능한 경우 병렬 프로세스에서 동시에 수행될 수 있을 뿐 아니라 위에서 설명한대로 순차적으로 수행될 수 있다.

상술한 개요 및/또는 실시예가 특정 배향 또는 위치에 배열된 특성 컴포넌트를 표시하는 경우, 컴포넌트의 배열은 수정될 수 있다. 실시예들이 구체적으로 도시 및 기술되었지만, 형태 및 세부사항에 있어서 다양한 변화가 이루어질 수 있다는 것을 이해할 수 있을 것이다. 본 명세서에 설명된 장치 및/또는 방법의 임의의 부분은 상호 배타적인 조합을 제외하고는 임의의 조합으로 조합될 수 있다. 본 명세서에 설명된 실시예들은 설명된 상이한 실시예들의 기능, 컴포넌트 및/또는 특징의 다양한 조합 및/또는 서브-조합을 포함할 수 있다.

Claims

장치로서,
사용자에게 제어 인터페이스를 제시하도록 구성되는 디스플레이;
상기 사용자와 연관된 눈-운동 신호들을 기록하도록 구성되는 눈-추적 디바이스;
상기 사용자와 연관된 신경 신호들을 기록하도록 구성되는 신경 기록 디바이스; 및
상기 디스플레이, 상기 눈-추적 디바이스, 및 상기 신경 기록 디바이스에 동작가능하게 결합되는 인터페이싱 디바이스를 포함하고, 상기 인터페이싱 디바이스는:
메모리; 및
상기 메모리에 동작가능하게 결합되는 프로세서를 포함하고, 상기 프로세서는:
상기 눈-추적 디바이스로부터의 상기 눈-운동 신호들 및 상기 신경 기록 디바이스로부터의 상기 신경 신호들을 수신하고;
자극을 생성하여 상기 제어 인터페이스를 통해 상기 사용자에게 자극을 제시하고 -상기 자극은 액션들의 세트와 연관된 제어 아이템들의 세트를 포함함-;
상기 눈-운동 신호들 및 상기 신경 신호들 중 적어도 하나에 기초하여 상기 사용자의 초점을 결정하고 -상기 초점은 상기 제어 아이템들의 세트로부터의 적어도 하나의 제어 아이템과 연관됨-;
상기 초점 및 상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자가 의도한 액션을 결정하고;
상기 사용자가 의도한 액션을 구현하도록 구성되는 장치.
제1항에 있어서,
상기 눈-추적 디바이스는 광학 센서를 포함하고,
상기 신경 신호들은 시각 유발 전위, 감각 유발 전위, 모터 이미지 신호, ERP(Event Related Potential), 감각운동 리듬(sensorimotor rhythm), ERD(event related desynchronization), ERS(event related synchronization), SCP(slow cortical potential), 및 두뇌 상태 의존 신호 중 적어도 하나를 포함하는 EEG(electroencephalogram) 신호들을 포함하고,
상기 프로세서는 상기 눈-운동 신호들 및 상기 EEG 신호들을 통합하여 상기 사용자의 초점을 결정하도록 추가로 구성되는 장치.
제1항에 있어서,
상기 디스플레이는 상기 제어 인터페이스를 3차원 공간으로서 제시하도록 구성되는 장치.
제1항에 있어서,
상기 자극은 시각 자극, 청각 자극, 전정 자극(vestibular stimulus), 및 햅틱 자극 중 적어도 하나를 포함하는 장치.
제1항에 있어서,
상기 제어 아이템들의 세트는 가상 환경을 통한 내비게이션을 제어하는 것과 연관되는 장치.
제5항에 있어서,
상기 제어 아이템들의 세트는 상기 사용자의 가상 운동의 속도를 제어하는 것과 연관된 제어 아이템들의 제1 서브세트, 및 상기 사용자의 가상 운동의 방향을 제어하는 것과 연관된 제어 아이템들의 제2 서브세트를 포함하는 장치.
제1항에 있어서,
상기 디스플레이는 추가로 실세계 환경의 뷰를 제시하도록 구성되고, 상기 실세계 환경의 뷰 위에 상기 제어 인터페이스를 제시하도록 구성되는 장치.
제1항에 있어서,
상기 제어 아이템들의 세트는 제어 아이템들의 제1 세트이고, 상기 자극은 제1 자극이고,
상기 디스플레이는 추가로 실세계 환경의 뷰를 제시하도록 구성되고, 상기 실세계 환경의 뷰 위에 상기 제어 인터페이스를 제시하도록 구성되고,
상기 프로세서는:
투영된 실세계 환경과 연관된 이미지들의 세트를 수신하고;
상기 이미지들의 세트를 분석하여 상기 프로세서에 동작가능하게 접속된 적어도 하나의 머신을 식별하고;
상기 머신과 연관된 액션들의 세트의 정보를 획득하고;
상기 정보에 기초하여 제어 아이템들의 제2 세트를 생성하며;
상기 제어 인터페이스를 통해 그리고 사용자에게, 제어 아이템들의 제2 세트를 포함하는 제2 자극을 제시하도록 추가로 구성되는 장치.
프로세서에 의해 실행되는 명령어들을 표현하는 코드를 저장하는 비일시적 프로세서 판독가능 매체로서,
상기 명령어들은 상기 프로세서로 하여금:
사용자에 의해, 액션들의 세트를 수행하게 조작되도록 구성되는 제어 인터페이스를 생성하고;
자극을 생성하여 상기 제어 인터페이스를 통해 상기 사용자에게 자극을 제시하고 -상기 자극은 액션들의 세트와 연관된 제어 아이템들의 세트를 포함함-;
눈-추적 디바이스로부터의 정보 및 신경 기록 디바이스로부터의 정보를 수신하고 -상기 눈-추적 디바이스 및 상기 신경 기록 디바이스는 상기 사용자의 거동을 모니터링하도록 구성됨-;
상기 눈-추적 디바이스로부터의 정보 및 상기 신경 기록 디바이스로부터의 정보 중 적어도 하나에 기초하여, 상기 사용자의 초점을 결정하고;
상기 사용자의 초점과 연관된 제어 아이템들의 세트로부터 적어도 하나의 제어 아이템을 식별하며;
상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자가 의도한 액션을 결정하게 하는 코드를 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 명령어들은 상기 프로세서로 하여금 상기 사용자가 의도한 액션을 실행하게 하는 코드를 추가로 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 명령어들은 상기 프로세서로 하여금:
상기 사용자에 의한 확인을 위해 상기 사용자가 의도한 액션의 표시를 상기 사용자에게 제시하고;
상기 사용자에 의한 확인을 표현하는 신호를 수신하는 것에 응답하여, 상기 사용자가 의도한 액션을 실행하게 하는 코드를 추가로 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 눈-추적 디바이스로부터 수신된 정보는 상기 사용자와 연관된 눈-운동 신호들을 포함하고,
상기 신경 기록 디바이스로부터 수신된 정보는 상기 사용자와 연관된 신경 신호들을 포함하고, 상기 신경 신호들은 EEG(electroencephalogram) 신호들을 포함하고, 상기 EEG 신호들은 시각 유발 전위, 감각 유발 전위, 모터 이미지 신호, ERP(Event Related Potential), 감각운동 리듬(sensorimotor rhythm), ERD(event related desynchronization), ERS(event related synchronization), SCP(slow cortical potential), 및 두뇌 상태 의존 신호 중 적어도 하나를 포함하고,
상기 프로세서로 하여금 상기 초점을 결정하게 하는 코드는 상기 프로세서로 하여금 상기 눈-운동 신호들 및 상기 EEG 신호들을 통합하여 상기 사용자의 초점을 결정하게 하는 코드를 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 프로세서로 하여금 상기 자극을 제시하게 하는 코드는 상기 프로세서로 하여금 상기 제어 인터페이스에 의해 정의되는 3차원 가상 공간에서 상기 제어 아이템들의 세트를 제시하게 하는 코드를 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 명령어들은 상기 프로세서로 하여금 상기 제어 아이템들의 세트를 그룹들의 세트로 그룹화하게 하는 코드를 추가로 포함하고, 상기 프로세서로 하여금 상기 자극을 제시하게 하는 코드는 상기 프로세서로 하여금 상기 그룹들의 세트에 그룹화된 상기 제어 아이템들의 세트를 제시하게 하는 코드를 포함하는 비일시적인 프로세서 판독가능 매체.
제9항에 있어서,
상기 제어 아이템들의 세트는 드래그가능한 제어 아이템을 포함하고, 상기 드래그가능한 제어 아이템은 상기 사용자와 연관된 눈-운동 신호들에 기초하여 조작되도록 구성되고, 상기 눈-운동 신호들은 상기 눈-추적 디바이스로부터 수신된 정보에 포함되는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 적어도 하나의 제어 아이템은 제1 제어 아이템이고 상기 사용자의 초점은 제1 시간에 있고, 상기 명령어들은 상기 프로세서로 하여금:
상기 제1 제어 아이템을 드래그가능한 제어 아이템으로서 식별하고 -상기 드래그가능한 제어 아이템은 상기 사용자와 연관되고 상기 눈-추적 디바이스로부터 수신된 정보에 포함되는 눈-운동 신호들에 기초하여 조작되도록 구성됨-;
상기 제1 시간 이후의 제2 시간에서 상기 사용자의 초점을 결정하고;
상기 드래그가능한 제어 아이템을 상기 제2 시간에서 상기 사용자의 초점과 연관된 위치로 이동시키고;
상기 제2 시간에서 상기 사용자의 초점과 연관된 제2 제어 아이템을 식별하고 -상기 제2 제어 아이템은 상기 드래그가능한 제어 아이템과 상이함-;
상기 제2 제어 아이템에 기초하여, 상기 사용자가 의도한 액션을 결정하게 하는 코드를 추가로 포함하는 비일시적 프로세서 판독가능 매체.
제9항에 있어서,
상기 적어도 하나의 제어 아이템은 제1 제어 아이템이고 상기 사용자의 초점은 제1 시간에 있고,
상기 제어 아이템들의 세트는 스티키 제어 아이템들의 세트를 포함하고, 상기 스티키 제어 아이템들은 상기 사용자와 연관된 눈-운동 신호들에 기초하여 조작되도록 구성되고, 상기 눈-운동 신호들은 상기 눈-추적 디바이스로부터 수신된 정보에 포함되고, 상기 명령어들은 상기 프로세서로 하여금:
상기 제어 인터페이스에 포함된 그래버 객체(grabber object)를 제공하고 -상기 그래버 객체는 상기 스티키 제어 아이템들을 조작하도록 구성됨-;
상기 제1 제어 아이템을 스티키 제어 아이템으로서 식별하고;
상기 제1 시간에서 상기 사용자의 초점과 연관되는 상기 스티키 제어 아이템에 기초하여, 상기 스티키 제어 아이템을 상기 그래버 객체와 연관시키고;
상기 제1 시간 이후의 제2 시간에서 상기 사용자의 초점을 결정하고;
상기 제2 시간에서 상기 사용자의 초점과 연관된 제2 제어 아이템을 식별하고 -상기 제2 제어 아이템은 상기 스티키 제어 아이템과 상이함-;
상기 그래버 객체로부터 상기 스티키 제어 아이템을 분리하여 상기 스티키 제어 아이템을 상기 제2 제어 아이템과 연관시키고;
상기 스티키 제어 아이템과 상기 제2 제어 아이템 사이의 연관성에 기초하여, 상기 사용자가 의도한 액션을 결정하게 하는 코드를 추가로 포함하는 비일시적 프로세서 판독가능 매체.
방법으로서,
제1 기간에서, 제어 인터페이스를 통해 자극을 사용자에게 제시하는 단계 -상기 자극은 액션들의 세트와 연관된 제어 아이템들을 포함함-;
눈-추적 디바이스 및 신경 기록 디바이스로부터, 상기 제1 기간에서 상기 사용자의 거동과 연관된 입력들의 제1 세트를 수신하는 단계;
상기 제1 기간에서 제시된 상기 자극과 연관된 정보 및 상기 입력들의 제1 세트에 기초하여 제1 앙상블 데이터 세트를 생성하는 단계;
상기 제1 기간에서 상기 사용자가 의도한 액션과 연관된 정보를 수신하는 단계;
상기 제1 기간에서 상기 제1 앙상블 데이터 세트를 상기 사용자가 의도한 액션과 연관시키기 위한 통계적 모델을 트레이닝하는 단계;
상기 제1 기간 후의 제2 기간에서, 상기 제어 인터페이스를 통해 상기 자극을 사용자에게 제시하는 단계;
상기 눈-추적 디바이스 및 상기 신경 기록 디바이스로부터, 상기 제2 기간에서 상기 사용자의 거동과 연관된 입력들의 제2 세트를 수신하는 단계;
상기 제2 기간에서 제시된 상기 자극과 연관된 정보 및 상기 입력들의 제2 세트에 기초하여 제2 앙상블 데이터 세트를 생성하는 단계; 및
상기 통계적 모델 및 상기 제2 앙상블 데이터 세트를 사용하여, 상기 제2 기간에서 상기 사용자가 의도한 예측된 액션을 결정하는 단계를 포함하는 방법.
제18항에 있어서,
상기 자극은 동적 시각 자극을 포함하고, 상기 방법은:
상기 동적 시각 자극의 운동을 검출하는 단계;
상기 동적 시각 자극의 운동을 추적하는 단계;
상기 동적 시각 자극을 태깅(tagging)하는 단계;
상기 동적 시각 자극과 연관된 이벤트를 식별하는 단계; 및
상기 동적 시각 자극과 연관된 이벤트에 기초하여 상기 제어 인터페이스를 수정하는 단계를 추가로 포함하는 방법.
제18항에 있어서,
상기 눈-추적 디바이스로부터 수신된 상기 입력들로부터 눈-운동 신호들을 추출하는 단계;
상기 신경 기록 디바이스로부터 수신된 입력들로부터 신경 신호들을 추출하는 단계 -상기 신경 신호들은 EEG(electroencephalogram) 신호들을 포함하고, 상기 EEG 신호들은 시각 유발 전위, 감각 유발 전위, 모터 이미지 신호, ERP(Event Related Potential), 감각운동 리듬(sensorimotor rhythm), ERD(event related desynchronization), ERS(event related synchronization), SCP(slow cortical potential), 및 두뇌 상태 의존 신호 중 적어도 하나를 포함함-; 및
상기 눈-운동 신호들 및 상기 EEG 신호들을 통합하여 상기 사용자의 초점을 결정하는 단계를 추가로 포함하는 방법.
제18항에 있어서,
상기 제1 기간에서 제시하는 단계는 상기 제어 인터페이스를 통해 비가시 제어 아이템들의 세트를 제시하는 단계를 포함하고, 상기 방법은:
상기 눈-추적 디바이스로부터 수신된 상기 입력들의 제1 세트로부터 눈-운동 신호들의 세트를 추출하는 단계 -상기 눈-운동 신호들은 상기 비가시 제어 아이템들과 연관되는 사용자의 초점을 표시함-를 추가로 포함하고,
상기 통계적 모델을 트레이닝하는 단계는 상기 눈-운동 신호들의 세트를 사용하여 참 부정 응답(true negative response)들의 세트를 확립하는 단계를 포함하는 방법.
제21항에 있어서,
상기 눈-추적 디바이스로부터 수신된 입력들의 제2 세트로부터 눈-운동 신호들의 세트를 추출하는 단계 -상기 눈-운동 신호들은 상기 제2 기간에서 상기 사용자의 초점을 표시함-;
상기 눈-운동 신호들을 상기 참 부정 응답들의 세트와 비교하는 단계; 및
상기 비교에 기초하여, 상기 사용자가 의도한 예측된 액션이 스트레이 시선(stray gaze)과 연관된 의사 액션(spurious action)인 것으로 결정하는 단계를 추가로 포함하는 방법.