KR20210060595A - 사용자 인터랙션들의 고속 및 정확한 추적을 사용하는 인간-컴퓨터 인터페이스 - Google Patents

Abstract

본 명세서에 설명된 실시예들은 사용자에게 전략적으로 제시되는 사용자 인터페이스/사용자 경험과의 사용자 인터랙션들의 고속 및 효율적인 추적을 사용하여 인간-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 머신들 및 디바이스들의 사용자 조작을 중재하기 위해 신경, 동안(oculomotor) 및/또는 근전도 검사(electromyography) 신호들을 사용하는 하드웨어 불문 인간-컴퓨터 인터페이스의 구현에 관한 것이다.

Description

사용자 인터랙션들의 고속 및 정확한 추적을 사용하는 인간-컴퓨터 인터페이스

<관련 출원들에 대한 상호 참조>

본 출원은 2018년 9월 21일자로 출원된 "HUMAN-COMPUTER INTERFACE USING HIGH-SPEED AND ACCURATE TRACKING OF USER INTERACTIONS"라는 제목의 미국 비-임시 특허 출원 일련 번호 제16/138,791호의 우선권 및 이익을 주장하며, 그 개시내용은 모든 목적들을 위해 그 전체가 본 명세서에서 참조로 포함된다.

본 명세서에 설명된 실시예들은 인간-머신 인터랙션(human - machine interaction)의 고속성 및 정확성을 위해 전략적으로 설계되는 사용자 인터페이스(user interface)(UI) 또는 사용자 경험(user experience)(UX)을 제시하고 업데이트하기 위해 실시간 눈-움직임 및/또는 헤드-움직임 추적을 뇌 활동 추적과 통합하는 뇌-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 머신들의 사용자 조작을 중재하기 위해 신경 활동의 실시간 눈-추적 및 온라인 분석을 사용하는 하드웨어 불문 뇌-컴퓨터 인터페이스(hardware agnostic brain-computer interface)의 구현에 관한 것이다.

인간-컴퓨터 인터페이스(human-computer interface)(HCI)는 유선으로 연결된(wired brain) 뇌와 외부 디바이스 사이의 직접적인 통신 경로들에 의해 뇌 활동이 컴퓨터들 또는 외부 디바이스들을 제어하도록 허용하는 하드웨어 및 소프트웨어 통신 시스템이다. HCI들은 주로 뇌 신호들의 해석으로부터 직접 동작 머신들 및 애플리케이션들에 대한 액세스를 제공하는 보조 기술로서 설계되었다. HCI 개발의 주요 목표들 중 하나는 근위축성 측삭 경화증(amyotrophic lateral sclerosis), 뇌간 뇌졸중(brainstem stroke) 또는 척수 손상(spinal cord injury)과 같은 신경학적 신경근 장애들로 인해 완전히 마비되거나 '갇혀 있는(locked in)' 중증 장애인에게 의사 소통 능력들을 제공하는 것으로서, 중증 장애인에게 다른 사람들과의 의사 소통은 매우 어려울 수 있다.

뇌 컴퓨터 인터페이스들의 일부 알려진 구현들은 Farwell 및 Donchin이 설계 한 것과 스펠러(speller)들을 포함한다. 이 스펠러에서는, 26개의 알파벳 문자와 함께 여러 다른 심볼들 및 커맨드들이 랜덤으로 깜박이는 행들과 열들이 있는 6x6 매트릭스로 온-스크린 디스플레이된다. 사용자는 스크린에 주의를 기울여, 기입될 문자들에 연속적으로 집중하고, 특징적인 신경 뇌 신호들에 대해 뇌의 신경 응답이 모니터링된다. 특징적인 뇌 신호들이 검출되면, 이는 시스템이 원하는 심볼을 식별하게 할 수 있다. Farwell-Donchin 스펠러를 사용하면 사람들이 분당 약 2자의 속도로 철자를 쓸 수 있게 한다.

사용자의 응시(gaze) 또는 주의 및 원하는 액션의 선택/활성화의 실시간 위치 결정을 중재하기 위해 눈 움직임들 및 뇌 활동을 추적하는 하드웨어-불문 통합 동안(oculomotor)-신경 하이브리드 뇌 컴퓨터 인터페이스(hybrid brain computer interface)(HCI) 플랫폼의 다양한 실시예들에 대한 시스템들, 디바이스들 및 방법들이 본 명세서에 설명되어 있다. 본 개시내용은 고속으로 정확하게 동작하는 뇌 컴퓨터 인터페이스들에 대한 필요성을 해결하기 위한 통합 HCI 시스템을 제시한다.

특허 또는 출원 파일은 컬러로 된 적어도 하나의 도면을 포함한다. 컬러 도면(들)이 있는 이 특허 또는 특허 출원 공보의 사본들은 요청 및 필요한 비용 지불시 사무국에 의해 제공될 것이다.
도 1은 실시예에 따른 하이브리드 인간 컴퓨터 인터페이스(HCI) 시스템의 개략도이다.
도 2a는 실시예에 따른 HCI 시스템을 통한 사용자에 대한 예시적인 사용자 인터페이스(UI)/사용자 경험(UX)의 제시의 예시이다.
도 2b 및 도 2c는 각각 실시예에 따라 눈-추적기 및 신경 기록 헤드셋을 사용하여 HCI 시스템의 사용자 인터페이스와의 사용자의 인터랙션들 동안 기록된 예시적인 눈-움직임 신호들 및 신경 신호들을 예시한다.
도 3은 실시예에 따른 HCI 시스템의 예시적인 구현에서의 단계들의 시퀀스의 예시이다.
도 4a 및 도 4b는 실시예에 따른 HCI 시스템에서 사용되는 예시적인 눈-추적기의 정면도 및 배면도의 개략도이다.
도 4c는 실시예에 따른 HCI 시스템에서 사용되는 헤드-마운팅형 디스플레이를 포함하는 예시적인 눈-추적기의 사시도의 개략도이다.
도 4d는 실시예에 따른 HCI 시스템에 포함된 예시적인 눈-추적기에서 투영 렌즈에 대해 위치 결정되는 센서들의 개략도이다.
도 5a 및 도 5b는 각각 중앙 및 비스듬한 응시 동안 사용자의 눈-움직임 신호들을 캡처하기 위해 예시적인 HCI 시스템의 눈-추적기에서 렌즈에 대해 위치 결정되는 센서들의 개략도이다.
도 5c는 실시예에 따른 HCI 시스템을 사용한 개선된 눈-추적을 위해 응시 포지션에 기초하여 눈-움직임 센서들에 우선적으로 가중치를 부여하는 예시적인 가중치 함수를 도시한다.
도 6은 실시예에 따른 HCI 시스템에서의 눈-추적의 은닉 캘리브레이션(covert calibration)에 사용되는 UI/UX에 제시된 예시적인 자극의 이미지를 도시한다.
도 7a는 UI/UX에 제시된 예시적인 이미지를 예시하고, 도 7b는 실시예에 따른 HCI 시스템에서 눈-추적의 은닉 캘리브레이션에 사용하기 위한 도 7a의 이미지에 대한 예시적인 분석 결과들을 예시한다.
도 8a 및 도 8b는 실시예에 따른 HCI 시스템에서 눈-추적에 사용되는 스케일링 및 바이어스에 대한 캘리브레이션 전후의 예시적인 응시 궤적을 예시한다.
도 9는 실시예에 따른 HCI 시스템에서 눈-추적의 캘리브레이션을 위해 사용자에게 UI/UX에서 3차원 자극들이 제시될 때의 시차 사용의 예시적인 예시이다.
도 10은 실시예에 따른 눈-추적을 캘리브레이션하기 위해 뇌 신호를 사용하는 HCI 시스템의 예시적인 구현의 예시이다.
도 11a, 도 11b 및 도 11c는 실시예에 따른 HCI 시스템에서 반-감독형(semi-supervised) 눈-움직임 분류 시스템의 구현에서 수행되는 분석을 예시한다.
도 12a 및 도 12b는 실시예에 따른 HCI 시스템에서 눈-추적을 평가하기 위한 벤치 마킹 시스템의 예시적인 구현을 예시한다.
도 13은 실시예에 따른 HCI 시스템에서 제시되는 예시적인 UI/UX에서, 사용자의 응시와 객체들의 인터랙션을 평가하기 위해 HCI 시스템에 의해 생성되는 인터랙션 가능한 객체들 및 경계들을 예시하는 예시적인 이미지이다.
도 14a는 UI/UX에서 사용자의 응시와 기술되는 객체들 사이의 인터랙션들을 분석하기 위해 도 13의 예시적인 UI/UX에서 기술되는 객체들의 투영의 개략도이다.
도 14b는 실시예에 따른 HCI 시스템의 구현에서의 UI/UX에서 사용자의 응시와 객체들 사이의 인터랙션들을 분석하는 동안 사용되는 예시적인 스케일링 프로세스의 개략도이다.
도 15는 실시예에 따른 HCI 시스템에서 사용자 생성 신호들에 기초하여 사용자가 관심있는 타겟 자극을 식별하기 위한 예시적인 프로시저의 개략적인 흐름도를 예시한다.
도 16은 실시예에 따른 HCI 시스템에서 눈-움직임 신호들을 사용하여 사용자의 타겟 자극을 식별하기 위한 예시적인 프로시저의 개략적인 흐름도를 예시한다.
도 17a 내지 도 17d는 각각 4개의 상이한 실시예에 따른 귀 기반 신경 기록 디바이스들, 근전도 검사(electromyography) 디바이스들 및 눈-추적기들의 조합을 갖는 HCI 시스템들을 예시하는 이미지들이다.
도 18은 실시예에 따른 실제 세계 환경을 분석하고 내비게이팅하기 위해 HCI 시스템에서 눈-추적을 사용하는 예시적인 프로시저의 개략적인 흐름도이다.
도 19a는 사용자의 주의 집중, 사용자의 눈-움직임들 및 시각적 현저성 맵(visual salience map)에 의해 표현된 이미지의 현저한 속성들 사이의 관계를 예시한다.
도 19b 및 도 19c는 실시예에 따른 HCI 시스템의 사용자가 본 예시적인 이미지의 시각적 현저성 맵 및 시각적 주의 맵을 예시한다.
도 20은 실시예에 따른 HCI 시스템을 사용하여 시각적 현저성 맵 및 시각적 주의 맵을 생성하기 위한 예시적인 프로시저의 개략적인 흐름도이다.
도 21은 실시예의 HCI 시스템에 의해 생성될 수 있는 시각적 주의 맵의 예이다.
도 22a는 예시적인 감정 상태 모델에 따른 다양한 감정 상태들의 개략도이다.
도 22b는 실시예에 따른 HCI 시스템을 사용한 검출과 비교하여 사용자-보고 방법들에 의한 다양한 감정 상태들의 검출 정확도를 도시하는 플롯이다.
도 22c는 실시예의 HCI 시스템에서 다차원 표현을 사용하여 상이한 감정 상태들을 통계적으로 모델링하기 위한 예시적인 프로시저의 개략도이다.

인간-컴퓨터 인터페이스를 구현하기 위한 디바이스들, 시스템들 및 방법들이 본 명세서에 개시된다. 본 명세서에 설명된 실시예들은 사용자에게 전략적으로 제시되는 사용자 인터페이스/사용자 경험과의 사용자 인터랙션들의 고속 및 효율적인 추적을 사용하여 인간-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 머신들 및 디바이스들의 사용자 조작을 중재하기 위해 신경, 눈-움직임 및 근전도 검사 신호들을 사용하는 하드웨어 불문 인간-머신 또는 인간-컴퓨터 인터페이스의 구현에 관한 것이다.

본 명세서에 설명된 일부 실시예들은 장치로서, 사용자에게 인터랙티브 환경을 제시하도록 구성되는 디스플레이, 디스플레이에 커플링되는 눈-추적기(eye-tracker) - 눈-추적기는 적어도 1개의 센서를 포함하고, 적어도 1개의 센서는 사용자의 눈으로부터의 눈-움직임(eye-movement) 신호들을 기록하도록 구성됨 -, 및 디스플레이 및 눈-추적기에 동작 가능하게 커플링되는 인터페이스 디바이스를 포함하는 장치에 관한 것이다. 본 명세서에 설명된 일부 실시예들은 장치로서, 사용자에게 인터랙티브 환경을 제시하도록 구성되는 디스플레이, 디스플레이에 커플링되는 눈-추적기 - 눈-추적기는 적어도 2개의 센서를 포함하고, 적어도 2개의 센서는 사용자의 눈으로부터의 눈-움직임 신호들을 기록하도록 구성됨 -, 및 디스플레이 및 눈-추적기에 동작 가능하게 커플링되는 인터페이스 디바이스를 포함하는 장치에 관한 것이다. 인터페이스 디바이스는 메모리 및 메모리에 동작 가능하게 커플링되는 프로세서를 포함할 수 있다. 프로세서는 눈-추적기의 적어도 2개의 센서로부터 눈-움직임 신호들을 수신하고, 인터랙티브 환경을 통해 및 디스플레이를 통해 사용자에게 자극을 생성 및 제시하도록 구성될 수 있다. 프로세서는, 눈-움직임 신호들에 기초하여, 사용자의 초점을 결정하고, 사용자의 초점에 기초하여, 사용자에 의해 의도되는 액션을 결정하고, 사용자에 의해 의도되는 액션을 구현하도록 추가로 구성될 수 있다.

본 명세서에 설명된 일부 실시예들은 프로세서에 의해 실행될 명령어들을 나타내는 코드를 저장하는 비-일시적 프로세서 판독 가능 매체에 관한 것이다. 명령어들은, 프로세서로 하여금, 사용자에 의해, 액션 세트를 수행하기 위해 조작될 수 있는 인터랙티브 사용자 환경을 생성하게 하는 코드를 포함할 수 있다. 명령어들은, 프로세서로 하여금, 인터랙티브 사용자 환경을 통해 사용자에게 제시될 수 있는 자극 세트를 정의하게 하고, 디스플레이를 통해, 사용자에게 자극 세트로부터 적어도 하나의 자극을 제시하게 하고, 눈-추적기로부터, 사용자에 의해 생성된 눈-움직임 신호들을 수신하게 하고, 캘리브레이션된 눈-움직임 신호 세트를 생성하기 위해, 제시된 자극과 관련된 정보에 기초하여 눈-움직임 신호들을 자동으로 캘리브레이션하게 하기 위한 코드를 추가로 포함할 수 있다. 명령어들은, 프로세서로 하여금, 캘리브레이션된 눈-움직임 신호 세트 및 제시된 자극에 기초하여, 사용자의 초점을 결정하게 하고, 초점에 기초하여, 사용자에 의해 의도된 액션을 결정하게 하고, 인터랙티브 사용자 환경을 통해 액션을 구현하게 하기 위한 코드를 추가로 포함할 수 있다.

본 명세서에 설명된 일부 실시예들은 방법으로서, 사용자에게 디스플레이를 통해, 인터랙티브 사용자 인터페이스에 포함된 자극을 제시하는 단계, 및 눈-추적기로부터, 사용자 거동과 연관된 눈-움직임 신호들을 수신하는 단계 - 눈-움직임 신호들은 눈-추적기 상에 위치 결정되는 하나 이상의 센서에 의해 독립적으로 기록됨 - 를 포함하는 방법에 관한 것이다. 일부 인스턴스들에서, 눈-움직임 신호들은 눈-추적기 상에 위치 결정되는 적어도 2개의 센서에 의해 기록될 수 있다. 방법은 제시된 자극과 관련된 정보를 수신하는 단계, 눈-움직임 신호들에 기초하여, 사용자의 초점을 결정하는 단계, 초점 및 자극에 기초하여, 사용자에 의해 의도된 액션을 결정하는 단계, 및 인터랙티브 사용자 인터페이스를 통해 액션을 구현하는 단계를 추가로 포함할 수 있다.

본 명세서에서 사용된 바와 같이, 단수 형태들("a", "an" 및 "the")은 문맥상 명백하게 달리 지시하지 않는 한 복수의 지시 대상들을 포함한다. 따라서, 예를 들어, "시스템"이라는 용어는 단일 시스템 또는 시스템의 조합을 의미하도록 의도되고, "알고리즘" 또는 "프로시저"는 하나 이상의 알고리즘 또는 프로시저 또는 명령어 또는 이들의 조합을 의미하도록 의도된다. 눈-추적기, 신경 기록 디바이스, EMG 디바이스 또는 주변 헤드 또는 신체 추적 디바이스와 같은 HCI 시스템의 일 실시예를 참조하여 설명되는 컴포넌트들 또는 컴포넌트의 조합들 중 임의의 것은 문맥상 명백하게 달리 지시하지 않는 한 본 명세서에 설명된 임의의 다른 실시예와 함께 사용될 수 있다.

예시적인 인간-컴퓨터 인터페이스 시스템

HCI 시스템들은 가상 현실 환경들 또는 경험들을 사용자에게 제시하도록 설계될 수 있다. HCI 시스템들은 마우스 및 키보드와 같은 종래의 입력 또는 출력 인터페이스들에 대한 필요 없이 사람들이 컴퓨터들 또는 기타 데이터-프로세싱 머신들 및/또는 소프트웨어 애플리케이션들을 동작하는 방식을 보조하거나 향상시키는 데 사용될 수 있다. HCI 시스템들은 또한 실제 세계와의 인터랙션을 향상시키기 위해 증강 현실 환경들을 사용자들에게 제시하도록 구성될 수도 있다. HCI들은 또한 장애가 있거나 이동이 제한된 환자들의 삶의 질을 향상시키고 개선하는 데에도 사용될 수 있다. HCI들은 또한 종래의 입력 방법들보다 컴퓨터와의 더 직관적이고 자연스러운 인터랙션을 위한 인터페이스를 제공할 수 있다. 또한, HCI들은 인간 및 동물의 인지 및/또는 감각 운동 시스템들과 그 기능들을 매핑하고 연구하는 것뿐만 아니라 증강, 수리를 포함한 다른 많은 기능들을 서빙하도록 개발될 수도 있다. 일부 예시적인 HCI 애플리케이션들은 무엇보다도 워드 프로세서들, 적응형 웹 브라우저들, 휠체어 또는 신경 보철물들의 뇌 매개 제어, 게임들 등을 포함한다.

HCI 기술이 환자들에게 더 적절하고, 일반 대중에게 유용하며, 실제 세계 태스크들의 제어에 채택되기 위해서는, 현재 구현들에 비해, 정보 전송 레이트가 자연스러운 인터랙티브 속도를 충족하도록 개선되어야 하고, 오류율이 감소되어야 하고, 인터랙션 인터페이스의 복잡성이 최소화되어야 한다. 또한, HCI 애플리케이션들은 사용자들로부터 높은 인지 부하를 요구하므로, 조용한 실험실 환경들로부터 실제 세계로 이동하려면 UI/UX 및 기본 신호 프로세싱이 개선되어야 한다. HCI 디바이스들 및 애플리케이션들을 더 쉽고 더 직관적으로 구성하려면, 자연스러운 프로세스를 통해 사용자 중재 액션 선택을 가능하게 하기 위해 직관적인 방식으로 고속 및 고정확도로 동작하는 인간 머신 인터페이스 또는 인간-컴퓨터 인터페이스들의 구현에 개선된 디바이스들 및 기술들에 대한 필요가 존재한다.

본 명세서에 설명된 바와 같이, HCI 시스템은 컴퓨터들 또는 외부를 제어하기 위해 사용자의 눈-움직임 활동 또는 뇌 활동 또는 기타 운동 활동과 같은 인간 활동을 해석하는 하드웨어, 명령어들 및 소프트웨어 통신 시스템을 포함한다. 일부 실시예들에서, HCI 시스템은 2018년 8월 22일자로 출원된 "Brain-computer interface with high-speed eye tracking features"라는 제목의 국제특허 출원 번호 PCT/US2018/047598호('598 출원')에 설명된 것들과 실질적으로 유사할 수 있으며, 그 개시내용은 전체적으로 본 명세서에서 참조로 포함된다.

일부 실시예들에서, HCI 시스템은 HCI 시스템 및/또는 연결된 머신들과 고속 및 직관적 사용자 인터랙션을 구현하기 위한 구성들 및/또는 적응들을 포함할 수 있다. 구성들 또는 적응들은 2017년 11월 13일자로 출원된 "Brain-computer interface with adaptations for accurate and intuitive user interactions"라는 제목의 미국 특허 출원 번호 제62/585,209호('209 출원")에 설명된 것들과 실질적으로 유사할 수 있으며, 그 개시내용은 전체적으로 본 명세서에서 참조로 포함된다.

도 1은 실시예에 따른 인간 컴퓨터 인터페이스 시스템(100)의 개략도이다. 예시적인 인간 컴퓨터 인터페이스 시스템(100)(본 명세서에서 "하이브리드 HCI 시스템" 또는 "HCI 시스템" 또는 "시스템"이라고도 함)은 눈-추적기(102) 및 인간-컴퓨터 인터페이스 디바이스(110)를 포함한다. HCI 시스템은 임의적으로, 도 1에서 파선 블록들로 표시된 바와 같이, 신경 기록 디바이스(104), 사용자 인터페이스/사용자 경험 제시기(User Interface/User Experience(UI/UX) Presenter)(106), 및 근전도 검사 신호들을 기록하도록 구성되는 근전도 검사(electromyography)(EMG) 디바이스(108)를 포함한다.

눈-추적기

HCI 시스템(100)의 눈-추적기(102)는 사용자의 한쪽 눈 또는 양쪽 눈의 눈-움직임 신호들을 캡처, 기록, 저장 및/또는 송신하여, 눈 움직임들이 임의의 주어진 시간에 사용자의 초점을 나타내는 데(즉, 위에서 설명된 포인팅 제어 피처를 구현하는 데) 사용되도록 구성될 수 있다. 즉, 눈-추적기(102)는 2차원 또는 3차원 공간에서 사용자의 눈 움직임들을 빠르게 따라감으로써 임의의 주어진 시간에 그들의 시야 내에서 사용자가 보고 있는 위치를 결정하는 데 사용될 수 있다. 눈-추적기(102)는 HCI 디바이스(110)에 커플링될 수 있으며, 이는 차례로 눈-추적기(102)에 의해 취득된 신호들을 프로세싱하도록 구성될 수 있다.

눈-추적기(102)는 사용자의 각각의 눈을 조명하도록 위치 결정되고 구성되는 하나 이상의 조명 소스를 포함할 수 있다. 조명 소스는 임의의 적절한 파장의 광을 방출하고, 사용자의 동공을 조명하고 제1-표면 각막 반사(corneal reflection)(CR)를 생성하기 위해 임의의 적절한 포지션에 마운팅되도록 구성될 수 있다. 조명 소스들은 콤팩트하고 헤드-마운팅형인 전력 시스템을 통해 적절하게 전력을 공급받을 수 있다. 조명 소스들은 데이터 통신을 위해 유선 또는 무선 연결들을 통해 적절하게 연결되어 데이터 제어 및 송신 등을 중재할 수 있다.

눈-추적기(102)는 사용자의 한쪽 또는 양쪽 눈을 이미징하기 위해 하나 이상의 마운팅형 센서 또는 카메라(예를 들어, 헤드-마운팅형 비디오 카메라들)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 눈-추적기(102)는 각각의 눈을 이미징하도록 위치 결정되는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 눈-추적기(102)는 한쪽 눈(예를 들어, 우위 안(dominant eye))과 함께 사용되도록 구성될 수 있다. 마운팅된 센서들 또는 카메라들은 소형 헤드-마운팅형 전원 공급 장치를 통해 전력을 공급받을 수 있다. 센서들 또는 카메라는 인간-컴퓨터 인터페이스 디바이스(110)에 직접적으로 그리고 독립적으로 커플링될 수 있어서, HCI 디바이스(110)가 센서별 방식으로 독립적으로 각각의 센서 또는 카메라에 의해 취득되는 신호들을 수신할 수 있다. 본 명세서에서 더 상세하게 설명되는 바와 같이, HCI 디바이스(110)는 센서들 각각에 의해 취득되는 신호들을 프로세싱할 수 있다. 일부 실시예들에서, 카메라들은 서로 통신하도록 연결될 수 있다.

일부 실시예들에서, 눈-추적기(102)는 본 명세서에 설명된 바와 같이 사용자에게 인터랙티브 인터페이스를 제시하는 데 사용될 수 있는 UI/UX 제시기에 커플링될 수 있다. 일부 실시예들에서, UI/UX 제시기는 눈-추적기(102)에 포함될 수도 있다. 이러한 실시예들에서, 눈-추적기(102)가 UI/UX에 커플링되거나 또는 UI/UX를 포함하는 경우, 눈-추적기(102)는 사용자의 각각의 눈에 대해 위치 결정된 임의적 렌즈(예를 들어, 디스플레이 렌즈)를 포함할 수 있으며, 렌즈는 가상 현실(VR) 환경의 경우, UI/UX를 통해 제시된 시각적 자극들을 사용자의 눈에 투영하는 데 사용된다. 일부 다른 실시예들에서, 눈-추적기(102)는 UI/UX 형태의 시뮬레이션된 인터랙티브 사용자 인터페이스 대신 사용자 주위의 실제 세계 환경을 보도록 구성되는 뷰잉 창(viewing window)을 포함할 수 있다. 이러한 실시예들에서, 눈-추적기(102)는 한 쌍의 안경과 유사하게 사용자의 즉각적인 실제 세계 환경을 투영하기 위해 각각의 눈에 대해 위치 결정된 렌즈(예를 들어, 뷰잉 렌즈(viewing lens))를 포함할 수 있다. 일부 실시예들에서, 눈-추적기(102)는 실제 세계 뷰를 오버레이하기 위해 시뮬레이션된 또는 합성적으로 생성된 사용자 인터페이스를 투영하는 동시에 실제 세계 환경을 투영하도록 사용자의 각각의 눈에 대해 위치 결정된 특별히 구성된 렌즈를 포함할 수 있다. 이러한 실시예들에서, 눈-추적기(102)는 사용자에게 증강 현실(augmented reality)(AR) 환경을 제공하는 데 사용될 수 있다.

눈-추적기(102)를 참조하면, 센서들 또는 카메라들은 사용자의 눈-움직임들에 대한 정보를 캡처하도록 전략적으로 위치 결정될 수 있으므로, 사용자가 실제 환경을 보고 있는지 또는 가상 또는 증강 환경을 보는지에 관계없이 사용자의 응시 각도가 계산될 수 있다. 예를 들어, 일부 실시예들에서, 센서들 또는 카메라들은, 사용자가 눈-움직임들을 일으킬 때, 조명 소스에 의해 생성되는 사용자의 동공들 및 제1 표면 각막 반사의 실시간 상대 포지션 및 구성을 캡처하도록 구성될 수 있다. 이러한 실시예들에서, 눈-추적기(102)는 사용자의 헤드에 대한 사용자의 눈의 배향 및/또는 포지션을 결정하기 위해 동공과 제1 표면 CR 사이의 포지션 차이들을 사용하도록 구성될 수 있다.

투영 렌즈(예를 들어, 디스플레이 렌즈 또는 뷰잉 렌즈)를 포함하는 실시예들에서, 한쪽 눈으로부터 눈-움직임 정보를 캡처하도록 지시된 하나 이상의 센서는 시야각을 방해하지 않으면서 눈-움직임 신호들을 최적으로 캡처하기 위해 투영 렌즈 주위에 위치 결정될 수 있다. 각각의 눈을 이미징하도록 구성되는 둘 이상의 센서 또는 카메라를 포함하는 실시예들에서, 센서들은 특정 축들을 따라 대응되는 컴포넌트들 또는 벡터의 형태로 눈-움직임 신호들을 최적으로 캡처하기 위해 특정 축들을 따라 위치 결정될 수 있다. 예를 들어, 눈-추적기(102)의 일부 실시예들은 각각의 눈으로부터 눈-움직임 신호들을 캡처하도록 구성되는 적어도 2개의 센서를 포함할 수 있으며, 적어도 2개의 센서는 직교 축들을 따라 쌍으로 투영 렌즈 주위에 위치 결정될 수 있다. 예를 들어, 눈당 2개의 센서를 포함하는 눈-추적기는 수평축을 따라 위치 결정될 수 있다. 다른 예로서, 4개의 센서를 포함하는 눈-추적기들은 수평축과 수직축을 따라 쌍으로 위치 결정될 수 있으며, 축들은 본 명세서에서 더 상세하게 설명되는 바와 같이 서로 직교한다.

일부 인스턴스들에서, 눈-추적기(102)는 상업적으로 입수 가능한 헤드 마운팅형 눈-추적 디바이스들, 예를 들어, 다른 상업용 공급 업체들 중에서 SenseMotoric Instruments, Tobii Eye Tracking, 및 Pupil-labs로부터 입수 가능한 눈-추적 디바이스들을 포함할 수 있다.

신경 기록 디바이스

HCI 시스템(100)의 임의적 신경 기록 헤드셋(104)은 사용자의 인지 의도를 나타내는 하나 이상의 뇌 영역으로부터의 신경 제어 신호들을 캡처, 기록 및/또는 송신하도록 구성될 수 있다. 신경 기록 디바이스(104)는 임의의 적절한 접근법을 사용하여 뉴런들 사이의 신경 활동을 기록하도록 구성되는 임의의 적절한 기록 디바이스 또는 시스템을 포함할 수 있다. 신경 제어 신호들은 사용자가 수행하려고 의도하는 액션의 선택을 나타내는 액션 제어 피처로서 서빙할 수 있다. 일부 실시예들에서, 신경 기록 디바이스(104)는 사용자의 초점을 나타내거나 또는 포인팅 제어 피처를 구현하는 사용자의 초점을 나타내기 위해 눈-추적기(102)로부터 획득된 정보를 보완하는 데 사용될 수 있는 신경 신호를 캡처하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 신경 기록 디바이스(104)는 포인팅 제어 피처를 구현하는 데 사용될 수 있는 사용자의 자발적인 근육 움직임들(예를 들어, 눈-움직임들, 자세 움직임들, 제스처들)을 나타내는 신경 신호들을 기록 및 송신하도록 구성될 수 있다. 일부 실시예들에서, 신경 기록 디바이스(104)는 운동 이미지(motor imagery)(예를 들어, 수행되거나 상상된 움직임들)에 대응하는 신경 신호들을 기록 및 송신하도록 구성될 수 있다. 일부 실시예들에서, 신경 기록 디바이스(104)에 의해 취득된 신호들은 사용자의 인지, 정서 또는 주의(attentive) 상태와 같은 뇌 상태들에 대응하는 신경 신호들을 포함할 수 있다. 신경 기록 디바이스(104)는 HCI 디바이스(110)에 커플링될 수 있으며, HCI 디바이스(110)는, 본 명세서에서 설명되는 바와 같이, 포인팅 제어 피처 또는 액션 제어 피처를 구현하기 위해 신경 신호들을 프로세싱할 수 있다.

일부 실시예들에서, 신경 기록 디바이스(104)는 뉴런들에 의해 생성되는 1차 이온 전류들을 전기적으로 기록함으로써 신경 신호들을 캡처하도록 구성될 수 있으며, 이온 전류들은 뉴런 집합들 내에서 이를 가로질러 흐른다. 일부 실시예들에서, 신경 기록 디바이스(104)는 2차 전류들 또는 1차 전류들과 연관되거나 그로부터 발생하는 신경계의 다른 변화들을 기록함으로써 신경 신호들을 간접적으로 캡처하도록 구성될 수 있다. 예를 들어, 신경 활동은 1차 전류들에 따른 광학적 변화들을 기록함으로써 광학 이미징(예를 들어, 기능적 자기 공명 이미징(functional magnetic resonance imaging)(fMRI))과 같은 다른 방법들을 통해 모니터링될 수도 있다. 뇌의 신경 활동을 기록하는 다른 접근법들은 뇌파 검사(electroencephalography)(EEG), 피질 뇌파 검사(electrocorticography)(ECoG), 기능성 근적외선(Functional Near-Infrared)(FNIR) 이미징 및 기타 유사한 내재 신호 이미징(Intrinsic Signal Imaging)(ISI) 방법들, 뇌 자기 검사(magnetoencephalography)(MEG) 등이 있다.

일부 실시예들에서, 신경 기록 디바이스(104)는 이벤트 관련 전위(Event Related Potential)(ERP)들, 유발 전위(Evoked Potential)들(EP들, 예를 들어, 시각적 유발 전위들(visually evoked potentials)(VEP), 청각적 유발 전위들(auditory evoked potentials)(AEP)같은 감각 유발 전위들(sensory evoked potentials), 운동 유발 전위들), 운동 이미지, 뇌 상태 의존 신호(brain state dependent signal)들, 느린 피질 전위들 및 다양한 인지, 주의 또는 감각 운동 태스크들의 기초가 되는 기타 아직 발견되지 않은 특징적인 활동 전위들과 같은 다양한 특징적인 뇌 신호들을 포함하는 하나 이상의 신호를 기록하도록 특별히 적응될 수 있다. 일부 실시예들에서, 신경 기록 디바이스(104)는 주파수 도메인에서 하나 이상의 신호를 기록하도록 특별히 적응될 수 있다. 무엇보다도 일부 예들은 감각 운동 리듬들, 이벤트 관련 스펙트럼 섭동(Event Related Spectral Perturbation)들(ERSP들), 쎄타(Theta), 감마(Gamma) 또는 뮤(Mu) 리듬들과 같은 특정 신호 주파수 대역들 등을 포함한다.

본 명세서에 설명된 바와 같이, 신경 기록 디바이스(104)는 뇌 활동을 측정하고 정보를 커맨드들로 변환될 수 있는 다루기 쉬운 전기 신호들로 트랜스듀싱하는 기록 스테이지를 통해 사용자 의도들에 대한 정보를 수집하기 위해 신경 활동 신호들을 기록할 수 있다. 일부 실시예들에서, 예를 들어, 신경 기록 헤드셋(104)은 높은 시간적 해상도, 낮은 설정 및 유지 비용, 높은 휴대성을 가지며 사용자들에게 비-침습적인 뇌파 검사(EEG)를 통해 전기 생리학적 활동을 기록하도록 구성될 수 있다. 이러한 실시예들에서, 신경 기록 디바이스(104)는 상이한 뇌 영역들로부터 뇌파 검사 신호들을 취득하는 센서들을 갖는 전극 세트를 포함할 수 있다. 이 센서들은 뉴런들에서의 수상 돌기들의 시냅스 여기들 동안 전류들의 흐름에 의해 발생하는 전기 신호들을 측정하여 2차 전류들의 영향을 중계할 수 있다. 신경 신호들은 사용자의 두피 또는 헤드 부분 위에 배치될 때 원하는 뇌 영역들 위에 적절하게 배열되는 신경 기록 디바이스(104)의 전극들을 통해 기록될 수 있다. 예시적인 신경 기록 디바이스들은 무엇보다도 Biosemi, Wearable Sensing 및 G.Tec과 같은 상업용 공급 업체들로부터 입수 가능할 수 있다. 예를 들어, 일부 실시예들에서, 신경 기록 디바이스(104), 이것의 신경 뇌 활동 신호들을 수집하는 동작, 및 신경 기록 헤드셋(104)으로부터의 신호 전송은 '253 출원에 설명된 것들과 실질적으로 유사할 수 있으며, 그 개시내용은 상기와 같이 전체적으로 본 명세서에 참조로 포함된다.

UI/ UX 제시기

HCI 시스템(100)에 포함된 임의적 UI/UX 제시기(106)는 사용자에게 인터랙티브 UI/UX를 제시하도록 구성될 수 있다. UI/UX 제시기(106)는 사용자에게 시청각적 입력들을 제공하도록 구성되는 시청각 디스플레이일 수 있다. 일부 실시예들에서, UI/UX 제시기(106)는 하나 이상의 주변 액추에이터를 사용하여 햅틱 입력들, 체성 감각 입력(somatosensory input)들 등과 같은 추가적인 양상들의 입력들을 제공할 수 있다. 일부 예시적인 액추에이터들은 오디오 스피커들, 햅틱 자극 제공자들 등을 포함할 수 있다.

일부 실시예들에서, 눈-추적기(102) 및/또는 신경 기록 디바이스(104)는 통합 UI/UX 제시기(106)를 포함할 수 있다. 일부 다른 실시예들에서, HCI 시스템은 눈-추적기(102) 및 신경 기록 디바이스(104)와 분리되고 HCI 시스템(100)의 나머지와 데이터 통신하는 독립형 UI/UX를 포함할 수 있다. 예를 들어, UI/UX 제시기(106)와 통합된 눈-추적기(102)는 가상 현실 환경들을 경험하도록 구성되는 시스템일 수 있다. 일부 실시예들에서, UI/UX 제시기(106)와 통합된 눈-추적기(102)는 증강 현실 공간을 보도록 구성될 수 있다. 즉, UI/UX 제시기와 통합된 눈-추적기는 눈-추적기(102)를 참조하여 위에서 설명된 바와 같이 디스플레이 또는 투영 영역(예를 들어, 투영 렌즈)을 통해 제시되는 수퍼임포즈형 또는 오버레이형 UI/UX를 갖는 한 쌍의 안경처럼 실제 세계 환경들을 보는 기능을 할 수 있다.

EMG 디바이스

HCI 시스템(100)은 도 1에 예시된 EMG 디바이스(108)를 임의적으로 포함할 수 있다. HCI 시스템(100)을 사용할 때, EMG 디바이스(108)는 사용자의 근전도 검사 신호들을 기록 및 송신하기 위해 사용자의 신체 상에 적절하게 위치 결정되도록 구성될 수 있다. EMG 디바이스(108)는 HCI 디바이스(110)에 커플링될 수 있고, EMG 디바이스(108)는 프로세싱될 취득된 신호들을 HCI 디바이스(110)에 전송하도록 구성될 수 있다. 예를 들어, EMG 디바이스(108)는 미리 결정된 얼굴 영역들에 걸쳐 사용자의 얼굴 근육 활동을 모니터링함으로써 얼굴 EMG 신호들을 기록하도록 구성될 수 있다. EMG 디바이스(108)를 사용하여 기록된 얼굴 EMG는 HCI 디바이스(110)로 송신되어, HCI 시스템(100)에 의해 다양한 인지 또는 운동 상태들 또는 사용자를 검출 및 해석하고 UI/UX를 사용자의 상태에 적응시키는 데 사용될 수 있다. 다른 예로서, EMG 디바이스(108)에 의해 기록된 얼굴 EMG 신호들은 HCI 시스템(100)을 사용하여 UI/UX가 제시되는 동안 사용자의 감정적 반응들 또는 감정적 상태들을 검출하는 데 사용될 수 있다. EMG 디바이스(108)를 사용하여 모니터링될 수 있는 일부 예시적인 얼굴 근육들은 긍정적인 감정 상태들을 나타낼 수 있는 광대근(zygomatic muscle) 및 부정적인 감정 상태들을 나타낼 수 있는 추미근(corrugator muscle)을 포함할 수 있다.

인간-컴퓨터 인터페이스 디바이스

본 명세서에서 "디바이스"라고도 지칭되는 인간-컴퓨터 인터페이스 디바이스(Human-Computer Interfacing Device)(또는 HCI 디바이스)(110)는 하드웨어-기반 컴퓨팅 디바이스 및/또는 멀티미디어 디바이스, 예를 들어, 컴퓨트 디바이스, 서버, 데스크톱 컴퓨트 디바이스, 스마트폰, 태블릿, 웨어러블 디바이스, 랩톱 및/또는 등일 수 있다. HCI 디바이스(110)는 프로세서(120), 메모리(160) 및 커뮤니케이터(180)를 포함한다.

프로세서(120)는, 예를 들어, 하드웨어 기반 집적 회로(IC) 또는 명령어 세트 또는 코드를 실시 및/또는 실행하도록 구성되는 임의의 다른 적절한 프로세싱 디바이스일 수 있다. 예를 들어, 프로세서(120)는 범용 프로세서, 중앙 프로세싱 유닛(central processing unit)(CPU), 가속 프로세싱 유닛(accelerated processing unit)(APU), 주문형 집적 회로(application specific integrated circuit)(ASIC), 필드 프로그래밍 가능 게이트 어레이(field programmable gate array)(FPGA), 프로그래밍 가능 로직 어레이(programmable logic array)(PLA), 복합 프로그래밍 가능 로직 디바이스(complex programmable logic device)(CPLD), 프로그래밍 가능 로직 제어기(programmable logic controller)(PLC) 및/또는 등일 수 있다. 프로세서(120)는 시스템 버스(예를 들어, 주소 버스, 데이터 버스 및/또는 제어 버스)를 통해 메모리(160)에 동작 가능하게 커플링된다.

간단히 말하면, 프로세서(120)는 눈-추적기(102)에 의해 기록되고 송신된 눈-움직임 신호들을 수신 및 프로세싱하도록 구성될 수 있다. 아래에서 더 상세하게 설명되는 바와 같이, 프로세서는 눈-움직임 신호들의 자동-캘리브레이션과 같은 고속 눈-추적과 연관된 기능들을 수행하도록 구성될 수 있다. 프로세서(120)는 UI/UX 제시기(106)를 통해 사용자에게 제시되는 인터랙티브 UI/UX를 생성 및 업데이트하고, 신경 기록 디바이스(104)에 의해 기록되고 송신되는 신경 신호들, UI/UX 제시기(106)에 의해 송신되는 데이터, EMG 디바이스(108)에 의해 송신되는 근전도 검사 신호들 및 HCI 시스템(100)에 커플링되는 다양한 주변 센서들 및/또는 액추에이터들로부터 수신되는 임의의 다른 신호들을 수신 및 프로세싱하도록 추가로 구성될 수 있다. 프로세서(120)는 수신된 신호들 및 데이터를 개별적으로 그리고 별개로 또는 앙상블(ensemble)로서 총체적으로 프로세싱할 수 있다. 눈-추적기(102), 신경 기록 디바이스(104), UI/UX 제시기(106) 및 EMG 디바이스(108)와 같은 다양한 다른 컴포넌트들로부터 수신되는 신호들을 프로세싱하는 것은 신호 취득, 신호 사전프로세싱, 신호 캘리브레이션 및/또는 신호 강화 등과 같은 프로시저들을 포함할 수 있다.

프로세서(120)는 포인팅 제어 피처 및 액션 제어 피처를 사용하여 UI/UX와의 사용자 인터랙션들을 구현하고, 눈-추적기(102), 신경 기록 디바이스(104), UI/UX 제시기(106), EMG 디바이스(108) 및 다양한 다른 주변 센서들 및/또는 액추에이터들, 및 HCI 시스템에 커플링될 수 있는 머신들과 통신하도록 추가로 구성된다.

프로세서(120)는 하나 이상의 사용자의 특정 요구를 충족시키기 위해 전략적으로 설계된 UI/UX를 생성하도록 구성될 수 있다. 전략적으로 설계된 UI/UX는 교육, 엔터테인먼트, 게임, 장비 제어, 장애인들 등을 위한 통신 인터페이스들(예를 들어, 스펠러들) 등과 같은 다양한 요구를 위해 생성될 수 있다. 일부 인스턴스들에서, UI/UX는 훈련 세션을 위한 것일 수 있어서, 사용자가 특정 액션들(예를 들어, 정교한 장비 제어)을 수행하기 위해 HCI 시스템을 사용할 수 있는 능력을 획득할 수 있다. 프로세서(120)는 하나 이상의 사용자를 학습하고 이에 적응하도록 구성될 수 있다. 그런 다음, 테스트 및 실제 세계 구현을 위한 UI/UX를 생성하기 위해 사용자-특정 훈련 UI/UX가 적응될 수 있다. 일부 실시예들에서, UI/UX는 가상 현실 환경으로서 또는 증강 현실 환경으로서 설계될 수 있다. 일부 실시예들에서, UI/UX는, 예를 들어, 특정 사용자 이력, 반응 시간들, 사용자 선호도들 등과 같은 특정 사용자의 특정 요구를 위해 맞춤 구축될 수 있다. 프로세서(120)는 UI/UX를 생성하고 업데이트할 때 이러한 요구 사항들을 고려할 수 있다.

일부 실시예들에서, 프로세서(120)는 눈-움직임 신호들, 신경 동안 신호(neural oculomotor signal)들, EMG 신호들 및/또는 주변 센서들로부터의 신호들을 프로세싱하는 것과 연관되어, 인과 관계였던 자극들 또는 프로세싱 중인 신호들을 유발한 UI/UX를 통해 제시된 자극들과 관련된 데이터에 액세스하여 이를 프로세싱할 수도 있다. 프로세서(120)는 결합된 정보를 이용하여, 통계적 모델들에 기초하여 관련 신호 피처들을 검출하고, 사용자의 의도를 예측하기 위해 아래에 더 상세하게 설명되는 바와 같이 적절한 신뢰도 스코어(confidence score)들을 적용할 수 있다. 이 예측된 의도는, 예를 들어, UI/UC 제시기(106)를 통해 제시된 UI/UX를 통해 사용자에게 전달될 수 있고, UI/UX 및 임의의 연결된 제어 가능한 머신 또는 장비에서 변화를 일으키는 데 사용될 수 있다.

프로세서(120)는 신호들의 분석을 위한 임의의 적절한 방법을 수행할 수 있다. 예를 들어, 프로세서(120)는 신호들을 해석하기 위해 통계적 모델들을 구축하고 적용하는 데 사용될 수 있는 신호들로부터 피처 세트를 검출할 수 있다. 예를 들어, 프로세서(120)는 신호들을 분류하고, 신호들 및 신호들을 유발하는 자극들을 스코어링하고, 신호들을 유발할 수 있는 UI/UX의 하나 이상의 타겟 자극에 신호들을 상관시키고, 사용자에 의해 의도된 대로 타겟 자극들과 연관된 액션들을 결정 및 수행하도록 구성될 수 있다. 프로세서(120)는 포인팅 제어 피처 및 액션 제어 피처를 구현함으로써 사용자에 의해 의도된 액션들을 결정 및 수행할 수 있다. 프로세서(120)는 사용자들이 제시된 UI/UX와 인터랙션하게 하고, 사용자 인터랙션들에 기초하여 UI/UX를 업데이트하여, 사용자들의 액션이 의도된 결과 이벤트들로 이어질 수 있도록 구성된다. 예를 들어, HCI 시스템(100)이 장비를 조작하기 위해 사용자들에 의해 사용될 수 있는 일부 실시예들에서, 프로세서(120)는 UI/UX를 제시하고, 눈-움직임 신호들, 신경 신호들, EMG 신호들 및/또는 사용자들로부터의 기타 주변 신호들을 수신 및 프로세싱하고, 신호들을 사용자 인터랙션들로 해석하고, 사용자 인터랙션들에 기초하여 UI/UX를 업데이트하고, UI/UX와의 사용자 인터랙션들에 기초하여 장비를 제어한다.

일부 실시예들에서, 프로세서(120)는 프로세서(120)의 기능에서의 전술한 기능들 또는 다른 연관된 프로세스들 중 하나 이상을 수행하도록 구성되는 컴포넌트들 또는 유닛들(도 1에 도시 생략)을 포함할 수 있다. 예를 들어, 프로세서는 각각의 컴포넌트 또는 유닛이 눈-추적기, 신경 기록 디바이스, EMG 디바이스, UI/UX 제시기 등으로부터 신호들을 수신하고, 수신된 신호들을 프로세싱하고, 신호들을 분석하고, 신호들을 해석하고, 기타 등등을 하도록 구성되는 컴포넌트들 또는 유닛들을 포함할 수 있다. 프로세서는 UI/UX 제시기를 통해 사용자에게 제시되는 UI/UX를 생성하도록 구성되는 컴포넌트들 및 사용자로부터 수신된 신호들의 해석에 기초하여 UI/UX에서 적절한 변화들을 구현하도록 구성되는 컴포넌트들을 추가로 포함할 수 있다. 프로세서(120)는 사용자로부터 수신된 신호들(예를 들어, 눈-추적기 신호들, 신경 기록 신호들, EMG 신호들 등)과 사용자의 의도들 사이의 연관들을 학습하기 위해 적절한 도구들(예를 들어, 머신 학습 도구들)을 사용하여 통계적 모델들을 구축하도록 구성되는 컴포넌트들을 추가로 포함할 수 있다. 이러한 연관들은 특정 사용자 요구를 충족하도록 동작되게 HCI 시스템(100)을 훈련시키는 데 사용될 수 있다. 일부 실시예들에서, 프로세서(120)에 포함된 다양한 컴포넌트들은 메모리(160)에 저장되고 프로세서(120)에 의해 실행될 수 있는 코드 형태의 소프트웨어 애플리케이션들 또는 루틴 또는 명령어들일 수 있다. 일부 실시예들에서, HCI 디바이스(110) 및 프로세서(120)는 상기에서와 같이 본 명세서에서 전체적으로 참조로 포함되는 '253 출원에 설명된 HCI 디바이스들 및 프로세서들과 실질적으로 유사할 수 있다.

HCI 디바이스(110)의 메모리(160)는, 예를 들어, 랜덤 액세스 메모리(random access memory)(RAM), 메모리 버퍼, 하드 드라이브, 판독 전용 메모리(read-only memory)(ROM), 소거 가능한 프로그래밍 가능 판독 전용 메모리(erasable programmable read-only memory)(EPROM) 및/또는 등일 수 있다. 메모리(120)는, 예를 들어, 프로세서(120)로 하여금 하나 이상의 프로세스, 기능 및/또는 등(예를 들어, UI/UX 생성, 사용자로부터 수신된 동안 또는 신경 또는 EMG 신호들을 사용자 의도들과 연관시키는 통계적 모델들 구축, 사용자에 대한 HCI 시스템 훈련, 사용자 의도들의 예측을 위한 통계적 모델들 사용, HCI 시스템에 커플링되는 머신들 또는 장비 제어 등)을 수행하게 하는 명령어들을 포함할 수 있는 하나 이상의 소프트웨어 모듈 및/또는 코드를 저장할 수 있다. 일부 구현들에서, 메모리(160)는 프로세서(120)에 동작 가능하게 커플링될 수 있는 휴대용 메모리(예를 들어, 플래시 드라이브, 휴대용 하드 디스크 및/또는 등)일 수 있다. 다른 인스턴스들에서, 메모리는 HCI 디바이스(110)와 원격으로 동작 가능하게 커플링될 수 있다. 예를 들어, 원격 데이터베이스 서버는 HCI 디바이스(110)에 동작 가능하게 커플링될 수 있다.

HCI 디바이스는 HCI 디바이스(110)와 눈-추적기(102), 신경 기록 디바이스(104), UI/UX 제시기(106), EMG 디바이스(108) 및 HCI 시스템(100)에 포함될 수 있는 기타 주변 센서들 또는 액추에이터들(도 1에 도시 생략) 사이의 통신을 수신하고 전송하도록 구성되는 커뮤니케이터(180)를 포함한다. 커뮤니케이터(213)는 프로세서(120) 및 메모리(160) 및/또는 프로세서(120)에 의해 실행되는 메모리(160)에 저장된 소프트웨어에 동작 가능하게 커플링되는 하드웨어 디바이스일 수 있다. 커뮤니케이터(180)는, 예를 들어, 네트워크 인터페이스 카드(network interface card)(NIC), Wi-Fi^TM 모듈, Bluetooth® 모듈 및/또는 임의의 기타 적절한 유선 및/또는 무선 통신 디바이스일 수 있다. 더욱이, 커뮤니케이터는 스위치, 라우터, 허브 및/또는 임의의 기타 네트워크 디바이스를 포함할 수 있다. 일부 실시예들에서, 커뮤니케이터(120)는 HCI 시스템(100)과 유사하거나 상이한 HCI 시스템들의 다른 사용자들에 의해 액세스 가능할 수 있는 통신 네트워크에 HCI 디바이스(110)를 연결하도록 추가로 구성될 수 있다. 일부 인스턴스들에서, 커뮤니케이터(180)는, 예를 들어, 인터넷, 인트라넷, LAN(local area network), WAN(wide area network), MAN(metropolitan area network), WiMAX®(worldwide interoperability for microwave access network), 광섬유(또는 섬유 광학)-기반 네트워크, Bluetooth® 네트워크, 가상 네트워크 및/또는 이들의 임의의 조합과 같은 통신 네트워크에 연결하도록 구성될 수 있다. HCI 디바이스(110)는 또한 원격 서버들(도 1에 도시 생략)에 연결하고, 커뮤니케이터(180)를 통해 원격 서버들에 포함된 데이터베이스들 또는 기타 적절한 정보에 액세스할 수 있도록 구성될 수 있다.

도 1의 개략도에 도시되지 않았지만, 일부 실시예들에서, HCI 시스템(100)은 소리, 터치, 배향 등과 같은 다른 양상들을 생각한 사용자 거동에 대한 데이터를 수집하기 위한 하나 이상의 임의적인 주변 센서, 및 풍부한 멀티모드의 사용자 경험을 제시하기 위한 주변 액추에이터들을 포함할 수 있다.

도 1의 개략도에는 도시되지 않았지만, 일부 실시예들에서, HCI 시스템(100)은 중앙 제어 시스템 또는 서버 시스템을 포함하는 다른 HCI 시스템들의 네트워크에 연결되고 이와 통합될 수 있다. 이러한 실시예들에서, HCI 시스템(100)은 각각의 HCI 시스템을 사용하여 각각의 사용자에게 다중-사용자 경험을 제시할 수 있다. 이러한 실시예들에서, 중앙 제어 시스템은 HCI 디바이스(110)와 실질적으로 유사할 수 있으며, 다중-사용자 UI/UX 생성 및 업데이트, 모든 사용자 움직임들과 관련된 입력 수신 등과 같이 모든 사용자들에게 공통일 수 있는 기능들 중 일부를 수행할 수 있다. 통합 HCI 시스템들 각각의 각각의 HCI 디바이스(110)는 단일-사용자 UI/UX 생성 및 업데이트, 단일 사용자 움직임들과 관련된 입력 수신 등과 같이 단일 사용자에 적응된 국부적인 기능들을 수행할 수 있다.

HCI 시스템 동작

위에서 설명된 바와 같이, HCI 시스템은 인터랙티브 UI/UX를 통해 사용자에게 자극들을 제시하는 데 사용될 수 있다. 눈-움직임, 신경 또는 EMG 신호들 같이 사용자에 의해 생성된 신호들은 기록, 분석 및 해석되고, 인터랙티브 UI/UX의 제어에 영향을 미치는 데 사용될 수 있다. 일부 인스턴스들에서, HCI 시스템은 외부 장비 또는 장치 또는 실제 세계 환경의 다른 양태들에 커플링될 수 있고, UI/UX에 대한 사용자의 제어는 외부 장비 또는 장치 또는 연관된 실제 세계 양태들에 대한 제어를 중재하는 데 사용될 수 있다. UI/UX에 대한 사용자의 제어는 (UI/UX) 피처와 사용자의 인터랙션들을 중재하는 포인팅 제어 피처 및 액션 제어 피처를 포함할 수 있다. 포인팅 제어 피처는 사용자가 제어할 하나 이상의 조작기 또는 인터랙션 가능한 액션 항목(예를 들어, 아이콘, 객체, 자극, 태그 등)의 작은 세트로 좁힐 수 있는 마우스 포인터와 같은 종래의 포인팅 디바이스와 유사할 수 있다. 액션 제어 피처는 액션(예를 들어, 선택, 선택 취소 등), 예를 들어, 마우스 클릭 또는 키보드 상의 키 입력을 중재하는 디바이스와 유사하여, 사용자가 UI/UX 또는 UI/UX를 통해 연결된 머신 또는 장비(예를 들어, 휠체어)에서 변화를 일으키는 액션을 구현하게 할 수 있다. HCI 시스템의 UI/UX 피처는 선택 메뉴, 내비게이션 컨트롤들 등의 제공과 같은 다른 피처들 외에도 포인팅 및 액션 제어 피처들을 구현하는 환경을 생성하고 유지하는 운영 체제와 유사할 수 있다.

액션 제어 피처에 의해 수행되는 액션은 여러 가지 중 하나일 수 있으며, 다양한 디바이스들 또는 머신들을 제어하도록 설계된 다양한 버전들의 UI/UX들에 맞게 적응될 수 있다. 몇 가지 예를 들자면, 액션은 활성화 또는 비활성화, UI/UX에 대한 연속적 또는 반-연속적(semi-continuous) 변경일 수 있다. 예를 들어, 무엇보다도 스크롤링(scrolling), 호버링(hovering) 또는 핀칭(pinching), 줌잉(zooming), 타이틀링(titling), 회전(rotating), 스와이핑(swiping)이 있다. 액션은 또한 하이라이팅 등과 같은 개별 시작들 및 중지들로 UI/UX에 대한 급격한 변화를 일으킬 수 있다. UI/UX를 통한 액션 제어의 일부 다른 예들은 가상 키보드 제어, 메뉴 내비게이션, 객체 또는 항목들의 배치 및 배치 해제 액션들, 객체들 또는 항목들의 이동 액션, 객체 확장 및/또는 축소, 1인칭 관찰자 또는 플레이어의 움직임 또는 내비게이션, 관찰자의 관점 변경, 및 잡기(grabbing), 선택(picking) 또는 호버링과 같은 액션들을 포함할 수 있다. 액션 제어의 이러한 양태들 중 일부를 아래에 개시되어 있다.

HCI 시스템을 구현하는 일부 실시예들에서, 포인팅 제어 피처 및 사용자의 초점을 식별하기 위한 방법들은 사용자의 눈-움직임 신호들을 프로세싱함으로써 구현될 수 있다. 일부 실시예들에서, 포인팅 제어 피처 및 사용자의 초점을 식별하기 위한 방법들은 스스로 또는 일부 인스턴스들에서는, 눈-움직임 신호들의 프로세싱에 보완하여 또는 이에 추가하여 UI/UX의 조작을 통해 및/또는 사용자의 초점에 대해 정보를 제공할 수 있는 신경 신호들을 사용하여 구현될 수 있다. 본 명세서에 설명된 HCI 시스템의 일부 실시예들에서, 포인팅 제어 피처는 근전도 검사와 같은 다양한 방법들을 통해 골격근 그룹들 또는 개별 근육들의 움직임으로부터 기록된 신호들을 포함할 수 있다. 또 다른 실시예들에서는, 포인팅 제어 피처를 구현하기 위해 뇌 신호들, 근육 움직임 신호들, 눈-움직임 신호들 및 UI/UX의 전략적 조작의 조합이 동시에 사용될 수도 있고(예를 들어, HCI 시스템) 또는 개별적으로 사용될 수도 있다. 위에서 언급된 신호들 외에도, 하이브리드 방식 또는 다른 방식의 HCI 시스템은 다양한 주변 센서들로부터의 다른 신호들(예를 들어, 헤드 포지션 추적 신호들, 제스처들, 자세 조정들 등)을 모니터링하고 사용할 수 있다.

일부 실시예들에서, HCI 시스템은 UI/UX 또는 머신들의 인간 거동 기반 제어를 구현하는 정교한 UI/UX들을 구현할 수 있다. HCI 시스템과 인간 인터랙션의 고속성 및 정확성을 달성하기 위해 이러한 피처들 중 하나 이상에 대한 특정 적응들이 아래에 설명된 바와 같이 구현될 수 있다. 예를 들어, 일부 실시예들에서, HCI 시스템은 상기 참조로 포함된 '598 출원에 설명된 것들과 실질적으로 유사할 수 있다.

UI/UX는 HCI 시스템에 의해 충족되어야 하는 요구를 고려하여 적응될 수 있다. 예를 들어, 환자들에 의해 이동성을 위해 사용되는 HCI 시스템은 낮은 인지 부하로 사용 편의성을 목표로 하는 UI/UX들을 포함할 수 있다. 또 다른 예로서, 어린이를 위해 학습 도구로서 사용되는 HCI 시스템은 어린이에 의한 직관적인 인터랙션에 맞춘 UI/UX들을 포함할 수 있다. 유사하게, 게임 경험을 위해 의도된 HCI 시스템들은 고속성 및 정확성 등을 위해 설계된 UI/UX를 포함할 수 있다. 예를 들어, 일부 실시예들에서, HCI 시스템 및/또는 사용자 인터페이스/사용자 경험(UI/UX)은 상기 참조로 포함된 '209 출원에 설명된 것들과 실질적으로 유사하다.

HCI 시스템은 하나 이상의 기본 방법 세트를 사용하여 동작되는 정교한 UI/UX들을 통해 하나 이상의 사용자와 인터랙션하도록 구성될 수 있다. 예를 들어, HCI 시스템은 2018년 1월 18일자로 출원된 "Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions"라는 제목의 미국 특허 출원 번호 제62/618,846호("'846 출원'")에 설명된 것들과 실질적으로 유사한 기본 분석 도구들 및 방법들로 구성될 수 있으며, 그 개시내용은 전체적으로 본 명세서에 참조로 포함된다.

도 2a는 예시적인 UI/UX(271)를 통해 예시적인 HCI 시스템(200)과의 예시적인 사용자 인터랙션을 예시한다. 시스템(200)은 구조 및/또는 기능면에서 전술한 HCI 시스템(100)과 실질적으로 유사할 수 있다. 예를 들어, BCI 시스템(200)은 눈-추적기(202), 신경 기록 디바이스(204), HCI 디바이스(도시 생략) 및 UI/UX(271)를 제시하는 UI/UX 제시기(206)를 포함할 수 있다. 도 2a에 도시된 바와 같이, HCI 시스템(200)은 눈-추적기(202)를 통해 눈-움직임 신호들을 캡처하고, 신경 기록 디바이스(204)를 통해 신경 신호들을 캡처하여, 사용자들이 단어들 및/또는 문장들의 철자를 입력하는 것을 도울 수 있다. 도 2a에 도시된 바와 같이, UI/UX(271)는 태그들(279)을 포함하여 태그-그룹 플래시들이라고도 지칭되는 태그 또는 객체 그룹들의 형태(예를 들어, 키보드에서 흔히 볼 수 있는 문자들, 숫자들 및 심볼들)로 자극들을 제시할 수 있다. 플래싱된 태그들 중 하나는 사용자가 관심을 갖는 타겟 태그(285), 예를 들어, 도 2a의 예시에서 문자 Q일 수 있다. 사용자는 단어의 철자를 입력하기 위한 문자를 선택하기 위해 UI/UX(271)에서 타겟 태그(285)인 문자 "Q"를 응시하거나 포베이트(foveate)하는 눈-움직임들을 만드는 것으로 예시된다. 도 2b 및 도 2c는 사용자의 포베이션(foveation)과 연관되거나 타겟 태그에 초점을 지향시키는 예시적인 눈-움직임 신호들 및 신경 신호들, 및 타겟 태그를 볼 때의 특징적인 형상(예를 들어, 이벤트 관련 전위)을 포함하는 연관된 신경 신호(검정색)를 도시한다. 도 2c는 또한 비교를 위해 사용자가 타겟 태그가 아닌 태그(마젠타 색)를 볼 때의 신경 신호를 도시한다.

도 3은 프로세스(350)의 개략적인 흐름도의 형태의 HCI 시스템(300)의 예시적인 구현을 도시한다. 시스템(300)은 구조 및/또는 기능면에서 위에서 설명된 시스템(100) 및/또는 시스템(200)과 실질적으로 유사할 수 있다. 도 3에 예시된 예시적인 구현에서는, 사용자에게 UI/UX(371)를 통해 본 명세서에서 태그들이라고도 지칭되는 인터랙션 가능한 객체들(379)의 선택을 포함하는 자극이 제시된다. 예시적인 예시에서, 태그들(379) 중 하나(예를 들어, 팔각형)가 사용자가 관심을 갖는 타겟 태그(385)일 수 있다. 도 3에 예시된 예의 이벤트들의 시퀀스는 자극(예를 들어, 액션 세트와 연관된 태그 세트를 포함하는 자극)의 제시, 후속 신경 활동 신호들 및 동안 신호들 및/또는 적용 가능한 경우 주변 신호들의 취득, 취득된 신호들의 분석, 이러한 신호들을 해석하여 사용자의 의도를 추론 또는 디코딩, 및 (예를 들어, 액션들 중 하나 이상과 연관된 태그들 중 하나 이상을 선택함으로써) UI/UX의 변경을 일으키는 것을 포함한다. UI/UX를 변경하기 위해 구현되는 하나 이상의 액션은 UI/UX를 통해 연결되는 하나 이상의 외부 머신들을 제어할 수도 있다.

도 3에 예시된 HCI 시스템의 예시적인 구현에서, 단계(351)에서, 사용자에게 입력 자극이 제시된다. 입력 자극은, 예를 들어, 예시적인 UI/UX(371)의 예에 도시된 태그들 또는 심볼들(379)의 세트일 수 있다. UI/UX(371)의 모든 태그들(379)이 보일 수 있지만, 태그들(379) 중 하나 이상이 선택에 대한 그들의 유용성을 나타내기 위해 일시적으로 시각적 모양을 변경하도록 구성될 수 있다. 모양의 변경은 태그들의 임의의 적절한 속성(예를 들어, 채우기, 투명도, 강도, 콘트라스트, 색상, 형상, 사이즈, 배향 등)의 변경일 수 있다. 예를 들어, 태그들(379) 중 하나 이상은 잠재적인 선택을 나타내기 위해 플래시(또는 본 명세서에서 "태그 플래시"라고 지칭됨)하도록 구성될 수 있다. 가시적 태그들(379)의 상이한 그룹들이 함께 플래시하도록 구성되어, 여러 태그 플래시 조합들 또는 여러 태그-그룹 플래시를 생성할 수 있으며, 각각의 태그 플래시 또는 태그-그룹 플래시는 자극이 된다. 예시적인 자극들이 시각적 양상으로 되어 있고 변화들이 시각적 양상으로 제시되는 것으로 설명되었지만, 자극들을 제시하고 유사한 액션 선택을 수행하는 데 임의의 적절한 양상이 사용될 수 있다는 것에 유의해야 한다. 예를 들어, 청각적 톤들이 태그들로서 사용될 수 있다. 청각적 태그들의 임의의 적절한 청각적 속성은 그들의 선택 이용 가능성을 나타내기 위해 일시적으로 변경될 수 있다. 예를 들어, 음량, 지속 시간, 피치, 처프(chirp), 음색 등과 같은 속성들이 일시적으로 변경되어 UI/UX의 청각적 공간에서 태그 플래시들로서 사용될 수 있다.

351에서 UI/UX(371)에 제시된 3개의 태그(379)는 선택될 때 각각 별개의 액션을 중재하도록 구성될 수 있다. 가시적 태그들 중 하나는 타겟 태그 또는 사용자가 선택하기를 원하는 태그일 수 있다. 도 3에 예시된 예시적인 프로시저를 통한 HCI 시스템의 목표(위에서 설명된 HCI 시스템(100)과 유사)는 제시된 태그들(379) 중 어느 것이 사용자가 선택하기를 원하는 타겟 태그인지를 결정하는 것이다.

UI/UX(371)은 단계(351)에서 (예를 들어, 태그 플래싱에 의해) 자극으로서 각각의 가시적 태그들(379)을 1회 이상 제시하도록 구성될 수 있고, 단계(353)에서, HCI 시스템(예를 들어, 시스템(100))은 후속 뇌 활동 신호(373) 및/또는 눈-움직임 신호(375) 및 적용 가능한 경우, 자극 제시(377)에 대한 정보(예를 들어, 어떤 태그 또는 태그-그룹이 제시되었는지, 시점, UI/UX(371)의 위치 등)와 함께 사용자 거동을 보고하는 임의의 다른 신호들(도 3에 도시 생략)을 취득한다.

이용 가능한 태그들(379)은 태그 플래싱을 통해 단독으로 또는 태그-그룹들의 조합들로 제시될 수 있다. 태그-그룹들에서의 태그 플래싱은 타겟 태그(385)의 위치를 찾는 데 필요한 플래싱 횟수를 감소시킬 수 있다. 일부 인스턴스들에서, 자극 제시는 또한 태그에 연결되지 않고 사용자에 의해 보이지 않는 것으로 예상되는 고스트 플래시(ghost flash)들의 보이지 않는 자극들의 의사 제시(pseudo presentation)를 포함할 수도 있다. 고스트 플래시들은 UI/UX(371)에 의한 자극 제시를 캘리브레이션하는 데 사용될 수 있다. 예를 들어, 고스트 플래시들은 특정 태그(379)에 대한 사용자의 초점 또는 주의 포인트를 나타내는 신호들의 분석 동안 검출 임계값들을 설정하는 데 사용될 수 있다. 사용자는 두 눈을 사용하여 타겟 태그에 주의를 집중하여 관심이 있는 타겟 태그를 포베이트하도록 유도될 수 있다.

355에서, HCI 시스템은 취득된 동안 신호들(375), 신경 신호들(373)(및 다른 센서들로부터의 다른 주변 신호들)을 분석하며, 이들은 개별적으로 또는 통합적 접근법으로 앙상블로서 수행될 수 있다. 신경 및 동안 신호들(및 EMG, 주변 신호들)의 분석은 자극 정보(377)의 맥락에서 수행된다. 예를 들어, 제시된 자극의 시공간 속성들은 취득된 동안, 신경 및/또는 EMG 신호들과 상관될 수 있다. 분석은 신호들의 사전프로세싱, 피처 검출 및 피처 추출, 차원 감소, 감독형(supervised), 비감독형(unsupervised) 또는 반-감독형(semi-supervised) 분류, 신호 해석을 위해 하나 이상의 사전 구축된 통계적 모델 구축 또는 적용, 각각의 분석의 신뢰도 스코어(예를 들어, 분류의 신뢰도 스코어) 컴퓨팅, 자극 정보(377)를 통합시키고 사용하기 위한 적절한 방식의 컴퓨팅(예를 들어, 하나 이상의 스케일링 함수의 적용), 타겟 태그(385)인 각각의 태그(379)의 가능성(likelihood) 컴퓨팅, 타겟 태그(385)의 아이덴티티의 결정에 관한 디코딩 및/또는 판단 등과 같은 여러 컴퓨팅 방법들을 포함할 수 있다. 도 3의 개략도는 351에서 제시된 3개의 가능한 태그 중 어느 것이 사용자의 관심을 갖는 타겟 태그일 수 있는지를 식별하기 위해 HCI 시스템에 의해 수행되는 예시적인 분류 프로시저를 예시한다.

단계(357)는 단계(355)에서 수행된 분석들에 기초하여 타겟 태그(385)의 아이덴티티를 결정하는 것을 포함한다. 단계(357)에서의 판단 또는 결정은 임의의 적절한 방법을 사용하여 수행될 수 있다. 예를 들어, 하나 이상의 임계값 교차 알고리즘(threshold crossing algorithm) 또는 기타 적절한 머신 학습 도구들을 사용한다.

단계(357)에서의 판단은 UI/UX(371A, 37B 및 371C)에 의해 예시된 3개의 가능한 결과에 의해 나타낸 바와 같이 단계(359)에서 태그들(379) 중 하나의 것의 선택으로 이어질 수 있다. 단계(359)에서의 선택은 차례로 수행되는 연관된 액션으로 이어질 수 있다. 예를 들어, 타겟 태그(385)가 팔각형 태그인 것으로 정확하게 식별되는 경우, 팔각형과 연관된 액션 3이 수행될 수 있다. 타겟 태그(385)의 식별이 정확한지 여부를 확인하기 위해 하나 이상의 사용자 검증 단계가 포함될 수도 있다. 사용자는 타겟 태그(385)의 식별이 옳은지 틀린지 여부에 대한 피드백을 줄 수 있다. 이 사용자 피드백은 HCI 시스템이 특정 사용자 또는 특정 사용 사례 등에 더 잘 매치되도록 훈련시키는 타겟 태그(385)의 결정에 사용되는 다양한 분석 프로세스들 및 통계적 모델들을 확인하거나 정정하는 데 사용할 수 있다. 피드백은 사용자를 훈련시키는 데에도 사용될 수 있다. 예를 들어, 모호함으로 인해 또는 하나 이상의 신호가 너무 약하기 때문에 357에서 판단을 내리기 위한 정보가 불충분한 경우, 사용자에게 상이한 상황들(예를 들어, 더 나은 초점) 하에서 다시 시도할 수 있는 표시기가 제공될 수 있다.

정확하고 고속의 눈-추적을 위한 눈-움직임 신호들 프로세싱

본 명세서에 설명된 바와 같이, HCI 시스템들(100, 200 및 300)은 고속 및 정확성을 갖고 사용자의 초점 및 사용자의 의도된 액션을 결정하기 위해 눈-움직임 신호들을 프로세싱할 수 있다. 눈-움직임 신호들은 위에서 설명된 눈-추적기들에 의해 캡처될 수 있다. 도 4a 및 도 4b는 HCI 시스템(400)의 예시적인 눈-추적기(402)의 정면도 및 배면도를 예시하며, 이들은 각각 시스템들(100, 200)에 대해 이전에 설명된 눈-추적기(102 및 202)와 구조 및/또는 기능면에서 실질적으로 유사할 수 있다. 눈-추적기(402)는 왼쪽 눈의 움직임들(예를 들어, 왼쪽 눈에 의해 생성된 응시 각도들)을 캡처하고 기록하도록 구성되는 좌안 카메라(422) 및 오른쪽 눈의 움직임들을 캡처하고 기록하도록 구성되는 우안 카메라(424)를 포함한다. 눈-추적기(402)는 또한 사용자가 보는 장면 또는 환경(예를 들어, 실제 세계 환경)을 캡처하고 기록하도록 구성되는 장면 카메라를 포함한다.

독립 센서들

일부 인스턴스들에서, HCI 시스템이 가상 환경들을 제시하는 데 사용될 수 있을 때, 눈-추적기는 연관된 UI/UX로 가상 환경을 투영하기 위한 투영 렌즈를 포함할 수 있다. HCI 시스템(500)에 포함된 이러한 눈-추적기(502)의 예가 도 4c에 예시된다. 시스템(500)은 구조 및/또는 기능면에서 시스템들(100, 200, 300 및 400)과 실질적으로 유사할 수 있다. 예시적인 눈-추적기(502)는 각각 왼쪽 눈 및 오른쪽 눈을 위해 위치 결정되는 2개의 투영 렌즈(521 및 523)를 포함한다. 눈-추적기(502)는 각각 왼쪽 눈 및 오른쪽 눈의 움직임들을 캡처하기 위해 렌즈들(521 및 523) 주위에 위치 결정되는 센서들(522 및 524)을 포함한다.

센서 위치 결정 및 응시 각도 계산

고속의 정확한 눈-움직임 추적을 달성하기 위해, HCI 시스템에 포함된 눈-추적기(예를 들어, 눈-추적기(102, 202, 402 및 502))는 미리 결정된 방식으로 눈-움직임 신호들을 캡처하고 기록하기 위해 눈당 여러 개의 센서들을 포함하도록 적응될 수 있다. 예를 들어, 이전에 설명된 바와 같이, 일부 실시예들에서, 눈-추적기는 사용자의 각각의 눈에 의해 생성된 눈-움직임들을 캡처하도록 위치 결정되는 둘 이상의 센서를 포함할 수 있다. 눈-추적기는 UI/UX 또는 실제 세계를 각각의 눈에 투영하도록 위지 결정되는 투영 렌즈들을 포함할 수 있으며, 눈-움직임 신호들을 캡처하도록 구성되는 2개 이상의 센서 또는 카메라는 각각의 눈의 투영 렌즈들 주위에 위치 결정될 수 있다. 도 4d는 시스템들(100, 200, 300, 400 및/또는 500)과 구조 및/또는 기능면에서 실질적으로 유사할 수 있는 HCI 시스템(600)에 포함된 눈-추적기(602)의 사시도를 예시한다. 눈-추적기(602)의 예시는 사용자의 한쪽 눈(예를 들어, 왼쪽 눈)의 움직임들을 캡처하도록 지시된 4개의 센서(622A, 622B, 622C 및 622D)의 위치 결정을 나타낸다. 센서들은 2개의 축, 즉, 수평축과 수직축을 따라 해당 눈의 투영 렌즈(621) 주위에 위치 결정된다. 문자들은 4개의 센서 각각의 포지션을 나타내며, 622A는 왼쪽 위(Top-Left)(TL), 622B는 오른쪽 위(Top-Right)(TR), 622C는 왼쪽 아래(Bottom-Left)(BL), 622D는 오른쪽 아래(Bottom-Right)(BR)이다. 2개의 축은, 예를 들어, 응시 포지션 및 응시 각도 측면에서 눈의 포지션 및 눈-움직임의 최상의 표시를 제공하도록 적절하게 선택될 수 있다. 도시된 바와 같이, 예에서, 일부 인스턴스들에서, 센서들은 직교 방향들(예를 들어, 수평 및 수직 방향)을 따라 응시 각도를 보완적으로 전달하기 위해 서로 직교하는 축들을 따라 위치 결정되는 쌍으로 이루어질 수 있다.

위의 눈-추적기(102)를 참조하여 이전에 설명된 바와 같이, 눈-추적기의 센서들은 눈의 포지션 및 눈-움직임 신호들을 독립적으로 캡처 및 기록하고, 기록된 신호들을 센서 특정 방식으로 독립적으로 HCI 디바이스(예를 들어, 위에서 설명된 HCI 디바이스(110))로 송신하도록 구성될 수 있다. 다른 방식으로 말하자면, 하나의 센서에 의해 캡처되고 송신되는 신호들은 다른 센서에 의해 캡처되고 송신되는 신호들에 의해 손상되지 않을 수 있다.

HCI 디바이스는 센서들로부터 획득된 신호들에 기초하여 적절한 프로세싱 및 분석들을 수행할 수 있다. 예를 들어, HCI 디바이스는 각각의 센서들로부터 눈-움직임 신호들을 획득하고, 각각의 눈에 대한 응시 각도를 나타내는 응시 방향 벡터들을 독립적으로 계산하도록 구성될 수 있다. 응시 방향 벡터들은 사용되는 하나 이상의 축에 대해 계산되어(예를 들어, 수평축에 상대적으로 정의된 크기 및 방향을 갖는 수평 응시 벡터들 또는 수직축에 상대적으로 정의된 크기 및 방향을 갖는 수직 응시 벡터들), 응시 포지션 또는 사용자의 초점(예를 들어, 수평축 및/또는 수직축을 따른 포지션)을 결정하는 데 사용될 수 있다. 응시 벡터들은, 2개 이상의 축에 대해 대응될 때, 사용자의 응시 각도를 집합적으로 나타내는 데 사용될 수 있다. 예를 들어, HCI 디바이스는 수평 방향의 응시 벡터(예를 들어, 왼쪽을 향한 벡터) 및 수직 방향의 응시 벡터(예를 들어, 위를 향함)를 계산할 수 있으며, 집합적으로 이들은 왼쪽 상단을 향한 응시 각도를 나타낼 수 있다.

HCI 디바이스는 눈-추적기 및/또는 UI/UX 제시기로부터 눈-추적기의 구성, 센서 위치 결정, 센서들의 수, 사용자의 눈으로부터 투영 렌즈까지의 거리, 눈-추적의 광학 엘리먼트들과 관련된 적절한 정보(예를 들어, 투영 렌즈의 이미지 형성 속성들), 제시된 UI/UX 등과 같은 추가적인 정보를 획득할 수 있다. HCI 디바이스는 추가 정보를 사용하여 UI/UX에 대한 사용자의 초점의 위치를 찾을 수 있다.

일부 인스턴스들에서, HCI 디바이스는 하나의 축을 따라 위치 결정되는 각각의 센서들로부터 획득된 원시 눈-움직임 신호들을 결합하여 다른 축을 따른 눈-움직임의 정확한 추정치를 획득할 수 있다. 일부 다른 인스턴스들에서, HCI 디바이스는 각각의 센서들로부터의 눈-움직임 신호들에 기초하여 계산한 다음, 하나의 축을 따라 위치 결정되는 센서들로부터 계산된 응시 벡터들을 결합하여 다른 축을 따른 눈-움직임의 정확한 추정치를 획득할 수 있다. 예를 들어, 도 4d에서, HCI 디바이스는 왼쪽 상단 포지션에서 센서(622A)로부터 획득된 신호들 또는 응시 벡터들을 오른쪽 상단 포지션에서 센서(622B)로부터 획득된 신호들 또는 응시 벡터들과 결합하고(예를 들어, mean(TL, TR)), 왼쪽 하단 포지션에서 센서(622C)로부터 획득된 신호들 또는 응시 벡터들을 오른쪽 하단 포지션에서 센서(622D)로부터 획득된 신호들 또는 응시 벡터들과 결합하여(예를 들어, mean(BL, BR)), 수직축에서 응시 벡터의 평균 추정치를 획득할 수 있다(예를 들어, 수직 움직임 = mean(mean(TL, TR), mean(BL, BR))). 다른 예로서, HCI 디바이스는 오른쪽 상단 및 오른쪽 하단 포지션에서 센서들(622B 및 622D)로부터 획득된 신호들 또는 응시 벡터들을 결합할 수 있고(예를 들어, mean(TR, BR)), 왼쪽 상단 및 왼쪽 하단 포지션에서 센서들(622A 및 622C)로부터 획득된 신호들 또는 응시 벡터들을 결합하여(예를 들어, mean(TL, BL)), 수평축에서 응시 벡터의 평균 추정치를 획득할 수 있다(예를 들어, 수평 움직임 = mean(mean(TR, BR)), mean(TL, BL))). 앞서 설명된 바와 같이, 서로 직교하는 두 축을 따른 응시 벡터들은 두 축으로 정의된 2차원 평면에서 사용자의 응시 각도 또는 눈-움직임을 집합적으로 나타낼 수 있다.

일부 인스턴스들에서, 3차원 공간에서 사용자의 응시 포지션 또는 초점은 양쪽 눈의 정보를 사용하여(예를 들어, 양안 응시 결정으로부터의 초점 깊이를 사용하여) 및/또는 계산된 응시 각도와 연관된 객체들과 같이 UI/UX에 제시된 자극들로부터의 추가 단서들을 사용하여 결정될 수 있으며, 객체는 UI/UX에서 인식된 깊이를 갖는다. 객체들은 UI/UX의 다른 객체들과 비교하여 객체들의 상대적인 사이즈 및 포지션과 같은 UI/UX의 다양한 피처들을 조작하여 인식된 깊이와 연관될 수 있으며(예를 들어, 더 작고 더 높은 객체들이 깊이면에서 더 멀리 있는 것으로 인식되는 경향이 있음), 객체들은 다른 객체들에 의해 부분적으로 가려지고(예를 들어, 보는 사람에게 더 가까운 것으로 인식되는 객체들에 의한 가림), 객체의 상대적 움직임 등에 의해 부분적으로 가려질 수 있다(예를 들어, 더 멀리 있는 객체들이 보는 사람에게 더 가까운 객체들보다 느리게 움직임).

센서 가중화

일부 구현들에서, HCI 디바이스는 눈-추적기 상의 센서들 각각으로부터 획득된 신호들이 상이한 가중 계수로 가중될 수 있도록 가중 계수 세트를 생성하도록 구성될 수 있다. 일부 구현들에서는, 2개의 예시적인 인스턴스에서, 도 5a 및 도 5b에 예시된 바와 같이, 가중치가 사용자의 눈-움직임 또는 응시 각도에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 눈-추적기 센서 또는 카메라는 눈이 센서 또는 카메라를 직접 향할 때 증가된 정확도 및 감소된 가변성을 가질 수 있다. 즉, 사용자가 왼쪽으로 눈을 움직이거나 응시 시프트를 하면, 눈은 왼쪽에 위치 결정되는 센서들에 더 가까워지고, 왼쪽 센서들은 가변성을 감소시키면서 정확도를 증가시킬 수 있다. 반대로, 경사진 응시들은 센서에 의해 캡쳐될 수 있는 이용 가능한 동공 표면이 감소하기 때문에 검출하기 어려울 수 있다. 이러한 관찰들에 기초하여, 사용자가 직접 눈을 움직일 때, HCI 디바이스는 눈-움직임을 대략적으로 평가하고, 눈-추적기에 커플링된 각각의 센서와 연관된 가중 계수들을 업데이트하도록 구성될 수 있어서, 정확도가 증가되고 가변성이 감소되는 이점을 얻을 수 있는 센서들이 눈-움직임 방향으로 인해 불리한 센서들 중 나머지 센서들보다 더 많이 의존될 수 있다.

도 5a 및 도 5b는 예시적인 눈-추적기(702)의 왼쪽 투영 렌즈(721) 및 왼쪽 눈에 대해 렌즈(721) 주위에 위치 결정되는 센서들(722A 및 722B)을 예시한다. 눈-추적기(702)는 이전에 설명된 HCI 시스템들(100, 200, 300, 400, 500 및 600)과 구조 및/또는 기능면에서 유사할 수 있는 HCI 시스템(700)에 포함될 수 있다. 렌즈(721)는 UI/UX 표면 내의 다양한 위치들에서 타겟 자극(779)을 투영하는데 사용될 수 있다. 도 5a에서, 타겟 자극(729)은 중앙에 있는 반면에, 도 5b에서, 타겟 자극은 렌즈(721)의 왼쪽 에지에 있다. 도 5a에 예시된 바와 같이, 사용자가 중앙에 위치한 타겟 자극(729)을 향해 전방으로 눈을 움직일 때(즉, 사용자가 똑바로 앞쪽으로 포베이트할 때), 수평 방향을 따른 센서들(722A 및 722B)(예를 들어, 왼쪽 센서 및 오른쪽 센서)이 각각 눈-움직임 신호들을 송신하여, (화살표들로 나타낸 바와 같이) 각각의 센서의 수직축에 직교하는 계산된 응시 벡터를 생성할 수 있다. 두 센서는 비슷한 정도의 정확도와 가변성을 갖는 것으로 결정될 수 있다. 따라서, HCI 디바이스에 의해 동일한 가중치(또는 두 센서 간의 50:50 가중치)가 채택될 수 있다. 그러나, 도 5b에 예시된 바와 같이, 사용자가 왼쪽 에지에서 타겟 자극(729)을 향해 비스듬히 왼쪽으로 눈을 움직일 때, 왼쪽 센서(722A)는 눈-움직임 신호들을 송신하여 센서(722A)의 중심 축에 대해 수직이고 증가된 정확도 및 감소된 가변성을 갖는 응시 벡터를 생성할 수 있다. 오른쪽 센서(722B)는 감소된 정확도 및/또는 증가된 가변성을 겪을 수 있고, 각진 화살표로 표시된 높은 경사도를 갖는 계산된 응시 벡터를 생성할 수 있다. 이러한 인스턴스에서, 두 센서 사이의 편향된 가중치(예를 들어, 80:20 가중치)는 센서(722A)에 더 많이 의존하고 센서(722B)에 덜 의존하도록 채택되어, 사용자의 초점을 나타내기 위해 눈-움직임 신호를 더 잘 추정할 수 있다.

다른 방식으로 말하자면, 각각의 센서들을 사용하여 각각의 눈에 대한 응시 벡터들이 계산될 수 있으며, 각각의 센서와 연관된 응시 벡터들은 응시 각도의 해당 센서에 대한 수직각에 대한 경사도와 같은 눈-움직임 속성들에 적절하게 기초하여 가중될 수 있다. 사용자가 실시간으로 눈을 움직일 때, 각각의 센서와 연관된 가중치들은 각각의 눈-움직임에 기초하여 동적으로 변경될 수 있다.

일부 실시예들에서는, 위에서 설명된 바와 같이, 눈-추적기가 도 4d의 예에 예시된 바와 같이 직교 축들을 따라 쌍으로 렌즈 주위에 위치 결정되어 각각의 눈에 대해 2개 초과의 센서를 포함할 수 있다. 예를 들어, 눈-추적기는 각각의 눈의 눈-움직임을 캡처하기 위해 각각의 렌즈 주위에 4개의 센서를 포함할 수 있으며, 센서들은 수직 및 수평축을 따라 쌍들로 위치 결정된다. HCI 디바이스는 각각의 센서들로부터 획득된 신호들로부터 생성되는 가중 수직 응시 벡터들을 결합하여 수직 응시 벡터의 평균 추정치를 계산하기 위해 각각의 센서에 가중치를 할당할 수 있다. 결합된 수직 응시 벡터를 계산하기 위해 각각의 센서들에 할당된 가중치들(예를 들어,

,

,

및

)은 수평 법선축에 대해 대응되는 응시 벡터의 경사도에 기초할 수 있다. 유사하게, HCI 디바이스는 각각의 센서들로부터 획득된 신호들로부터 생성되는 가중 수평 응시 벡터들을 결합하여 수평 응시 벡터의 평균 추정치를 계산할 수 있다. 수평 응시 벡터를 계산하기 위해 각각의 센서들에 할당된 가중치들(예를 들어,

,

,

및

)은 수직 법선축에 대해 대응되는 응시 벡터의 경사도에 기초할 수 있다.

예로서, 도 4d를 참조하면, HCI 디바이스는 오른쪽 상단 및 오른쪽 하단 포지션(예를 들어, mean(TR, BR))에서 센서들(622B 및 622D)로부터 획득된 가중 수평 벡터들을 왼쪽 상단 및 왼쪽 하단 포지션(예를 들어, mean(TL, BL))에서 센서들(622A 및 622C)로부터 획득된 가중 수평 벡터들을 결합하여 결합된 수평 응시 벡터를 생성할 수 있다. 각각의 센서에 할당된 가중치들은 계산 방향에 수직인 축에 대한 벡터의 경사도를 추정하여 동적으로 결정될 수 있으며, 경사도가 감소하면, 센서에 더 가중치가 부여된다. 예를 들어, 수평 벡터를 계산할 때에는, 수직축에 대해 경사도가 계산된다.

따라서, 센서들(622B 및 622D)로부터의 수평 응시 벡터들은 (

)로서 결합될 수 있으며, 가중치들은 각각의 센서에 대한 수직축에 대한 경사도에 기초하고, 센서들(622A 및 622C)로부터의 수평 응시 벡터들은 (

)로서 결합될 수 있으며, 가중치들은 각각의 센서에 대한 수직축에 대한 경사도에 기초한다. 일부 구현들에서, 수평축을 따라(예를 들어, 왼쪽 및 오른쪽으로) 분해되는 결합된 응시 벡터들은 수평축에서 응시 벡터의 순 추정치를 획득하기 위해 센서 위치 결정과 같은 다른 파라미터들에 기초하여 추가로 가중될 수 있다(예를 들어, 가중치 R 및 가중치 L)(예를 들어, 수평 움직임 =

). 일부 인스턴스들에서, 가중 계수들은 미리 결정된 가중 함수 또는 가중 공식에 기초하여 결정될 수 있다. 도 5c는 우안-센서와 연관된 가중치를 결정하기 위한 예시적인 가중 함수를 예시한다. 일부 인스턴스들에서, 가중된 응시 각도들은 사용자의 초점을 정확하게 결정하기 위해 캘리브레이션된 눈-움직임 신호들로서 역할을 할 수 있는 반면, 가중되지 않은 응시 각도들은 응시 포지션의 코스 추정치로서 역할을 할 수 있다. 일부 실시예들에서, HCI 디바이스는 눈-추적기에 포함된 센서들로부터 취득되는 신호들을 프로세싱하기 위해 통합 분석들을 수행하도록 구성될 수 있다. 즉, 센서들로부터의 신호들이 연결되어(concatenated) 앙상블을 형성하고, 각각의 센서로부터의 신호들의 적절한 가중치를 사용하는 통합 접근법을 사용하여 프로세싱될 수 있다. 예시적인 분석 파이프라인은 (1) 하나 이상의 여과 시스템(filtration system)(예를 들어, 이중 칼만 필터(dual kalman filter) 또는 임의의 기타 지연 없는 필터)을 통해 신호들 중 하나 이상이 것의 적절한 사전프로세싱, (2) 신호들의 중요한 이포크(epoch)들(예를 들어, 자극 또는 태그 플래시에 따르거나 이와 동시에 일어나는 이포크들)에 등록된 이벤트들을 분류하기 위한 베이지안 선형 판별 분류기(Bayesian linear discriminant classifier), (3) 가중 신호 패키지에 대한 공간 필터링, (4) 배깅 앙상블 분류기 알고리즘(bagging ensemble classifier algorithm), (5) 선택 정확도를 개선하기 위해 실험 태스크 동안 분류 알고리즘으로부터의 정보를 프로그램 루틴들과 통합하는 고차 오라클 알고리즘(higher-order oracle algorithm)을 포함할 수 있다.

일부 구현들에서, HCI 시스템은 눈-추적기의 하나 이상의 센서로부터 획득된 눈-움직임 신호들에서의 누락된 데이터 또는 인공 데이터가 교체되고 보상될 수 있도록 시뮬레이션된 눈-움직임들에 기초하여 운동학적 모델(kinematics model)을 생성할 수 있다. 운동학적 모델은 눈의 해부학적 구조, 눈-추적기의 구성, 헤드 포지션과 같은 사용자 관련 정보, 투영 렌즈의 UI/UX 제시기와 사용자의 눈 사이의 거리, 사용자의 눈의 간격 등을 포함한 정보를 사용하여 생성될 수 있다. 일부 실시예들에서, 운동학적 모델은 센서 기반으로 센서에서 시뮬레이션된 사용자(실제 사용자를 모방)의 시뮬레이션된 눈-움직임 신호들을 생성하도록 구성될 수 있다.

일부 구현들에서, HCI 디바이스는 다른 사용자들로부터의 집계 데이터, 또는 이전 세션에서 동일한 사용자로부터 또는 사용자의 눈 움직임을 모방하는 시뮬레이션된 눈-움직임 데이터로부터 수집된 눈-움직임 데이터에 기초하여 사용자의 눈-움직임의 통계적 모델들을 구축할 수 있다. 그런 다음, HCI 디바이스는 이 모델을 사용하여 사용자에 대한 예측적인 눈-움직임 신호들을 생성할 수 있으며, 이는 고속 눈-추적에 도움이될 수 있다. 일부 인스턴스들에서, HCI 디바이스는 주어진 시간에 눈-움직임의 속성들(예를 들어, 시간 T s에서 진행 중인 눈-움직임의 운동량 및 방향)을 수집하고, 이 속성들을 사용하여 미래 시점(예를 들어, 시간 T+t s, 여기서 T 및 t는 시간 간격 값들일 수 있음)에서 응시 포지션 또는 눈-움직임을 예측할 수 있다. HCI 디바이스는 또한 사용자에 의해 의도된 액션을 결정하기 위해 사용자의 예측된 응시 포지션 또는 응시 벡터를 결정할 때 추가적인 정확도를 위해 운동학적 모델을 활용할 수 있다.

자동- 캘리브레이션

본 명세서에 설명된 HCI 시스템의 일부 구현들에서, 사용자의 초점을 결정하기 위해 사용자의 눈-움직임 신호들을 분석하는 프로세스 및/또는 사용자에 대한 관심 타겟 자극을 결정하는 프로세스는 눈-추적기의 정확한 캘리브레이션을 포함할 수 있다. 눈-추적기의 캘리브레이션은 아래에 설명된 바와 같이 하나 이상의 점진적이고 독립적인 프로세스에서 수행할 수 있다. 일부 인스턴스들에서는, 각각의 구현 또는 각각의 사용자에 대해 자동으로 캘리브레이션이 수행될 수 있다.

일부 구현들에서, 캘리브레이션은 명시적으로(overtly)(즉, 사용자의 명시적인 지식을 갖고) 수행될 수 있다. 예를 들어, HCI 시스템들은 눈-추적기 캘리브레이션(예를 들어, 5-9 포인트 캘리브레이션 루틴들)을 위해 명시적으로 설계된 자극을 생성하고 사용할 수 있으며, 여기에는 사용자가 감독형 방식으로 미리 결정된 시간 기간 동안 고정하도록 지시받은 미리 정의된 캘리브레이션 포인트들(예를 들어, 5-9 포인트들)이 포함된다. 일부 다른 구현들에서, 자동 캘리브레이션은 사용자의 지식 없이 숨어서(covertly), 따라서 눈에 잘 띄지 않는(unobtrusive) 방식으로 수행될 수 있다.

숨은 캘리브레이션(covert calibration)은 사용자의 주의 및 초점을 캡처할 가능도가 높은, 즉, 사용자가 특정 포인트 세트로 포베이트할 가능성이 가장 높은 자극들을 사용하여 수행할 수 있다. 예를 들어, UI/UX는 사용자가 포인트 세트를 포베이트해야 하거나 또는 그렇게 할 가능성이 높은 자극들을 포함하도록 전략적으로 설계될 수 있다. 도 6은 사용자가 다음 장면 또는 환경으로 진행하기 위해 문에 액세스해야 하는 경우, UI/UX에 제시되는 가상 환경으로부터의 예시적인 이미지를 예시한다. 문 위의 포인트들(예를 들어, 문을 조작하는 데 사용되는 포인트들)은 사용자가 초점을 맞출 가능도가 높은 포인트들을 나타내므로, 사용자의 눈-움직임 신호들을 더 잘 캡처하고 자극들을 제시할 UI/UX를 더 잘 활용하기 위해 눈-추적기 및/또는 HCI 시스템을 숨어서 캘리브레이션하는 데 사용될 수 있다. 마찬가지로, 객체들의 중심들은 사용자 초점을 수신할 가능도가 더 높을 수 있으며, 숨은 캘리브레이션 포인트들로서 역할을 할 수 있다.

또 다른 예로서, 높은 시각성을 포함하는 시각적 자극의 영역들은 눈-움직임 추적의 숨은 캘리브레이션 포인트들로서 역할을 할 수 있다. 현저성(salience)은 UI/UX를 통해 투영되는 시각적 장면 또는 이미지의 새로운 속성이 될 수 있다. 시각적 현저성은 시각적 속성들이 상이한 객체들 및/또는 맥락에 맞는 관련 정보를 포함할 가능도가 높은 객체들에 기인할 수 있다. HCI 시스템은 UI/UX에 포함된 이미지들을 분석하여 숨은 캘리브레이션에 사용될 높은 시각적 현저성 포인트들을 결정하도록 구성될 수 있다. 도 7a 및 도 7b는 높은 시각적 현저성 포인트들을 결정하기 위한 예시적인 분석 세트를 예시한다.

예를 들어, 2017년 1월 24일에 "Superior colliculus neurons encode a visual saliency map during free viewing of natural dynamic video"라는 제목으로 Nature Communications라는 저널에 발표된 White 등의 과학 간행물에 개괄된 프로시저들과 같이, 높은 현저성 포인트들을 계산적으로 예측하기 위해 이미지의 시각적 현저성이 모델링될 수 있다. 캘리브레이션에서의 사용을 위해 현저성이 높은 객체를 포함한 시각적 자극들이 생성될 수 있다. 이러한 시각적 자극들은 원격 서버들로부터 이용 가능한 기존 데이터 세트들로부터의 예들을 사용하여 생성될 수도 있으며, 이들은 다양한 계산 모델들로부터 레이블이 지정된 현저성 레벨들을 갖는 시각적 장면들을 포함한다. 일부 인스턴스들에서는, CNN을 사용하여 현저성 모델들을 결합하여 높은 현저성 객체들을 포함한 시각적 자극들이 생성될 수 있다.

일부 구현들에서, HCI 시스템들은 명시적인 캘리브레이션 루틴을 사용할 수 있으며, 이러한 높은 현저성의 객체들은 날카로운 에지들, 날카로운 교차선들 또는 평면들이 있는 영역들, 콘트라스트가 높은 영역들 또는 움직임을 포함하는 객체들, 또는 맥락상 관련 있는 정보를 전달하는 객체들을 포함할 수 있다. 사용자가 높은 시각적 현저성 포인트들에 초점을 맞추도록 지시하면서 5 또는 9 포인트와 같은 명백한 캘리브레이션 알고리즘을 사용한다. 일부 구현들에서, HCI 시스템은 센서들로부터 획득된 눈-움직임 신호들을 프로세싱하기 위해 칼만 필터를 사용할 수 있으며, 눈-움직임 신호들을 캘리브레이션하기 위해 통계적 또는 운동학적 모델들에 기초하여 의도된 눈-움직임의 이론적 예측들을 사용할 수 있다. 일부 구현들에서는, 사용자의 초점 결정을 개선하기 위해 둘 이상의 캘리브레이션 방법이 점진적으로 사용될 수 있다.

스케일링 및 범위 조정

HCI 시스템에서, UI/UX 제시기에 제시된 UI/UX를 완전히 활용하고 사용자의 초점을 정확하게 추정하기 위해, UI/UX는 사용자의 눈-움직임들에 가장 잘 맞도록 스케일링되고 범위가 조정될 수 있다. HCI 시스템의 눈-추적기에 커플링되는 HCI 디바이스는 눈에 잘 띄지 않는 방식으로 사용자의 눈-움직임에 맞게 UI/UX를 숨어서 자동으로 스케일링하고 범위를 조정하기 위해 사전 프로그래밍된 명령어 세트를 실행하도록 구성될 수 있다. 예를 들어, 일부 구현들에서, HCI 디바이스는 UI/UX 제시기를 통해 미리 결정된 시간 기간 동안 광범위한 시각적 검색을 수행하도록 사용자를 환기시키는 시각적 자극을 생성하고 제시할 수 있다. 눈-추적기는 사용자의 초점을 나타내는 응시 포지션의 궤적을 형성하는 일련의 눈-움직임들을 캡처 및 기록하고, 눈-움직임 신호들을 HCI 디바이스에 전달한다. 도 8a는 UI/UX(871)를 볼 때 사용자의 응시 또는 초점이 따르는 예시적인 궤적을 예시한다.

HCI 디바이스는 궤적이 UI/UX 제시기의 더 잘 정의된 영역 또는 구역에 매핑되도록 UI/UX를 스케일링하고 범위를 조정하도록 구성될 수 있다. 예를 들어, HCI 디바이스는 수평 및 수직 방향을 따라 궤적의 최대값과 최소값 사이의 차이를 결정하도록 구성될 수 있다. HCI는 UI/UX 제시기(예를 들어, LCD 디스플레이)의 디스플레이 해상도와 관련된 정보를 획득할 수 있다. 두 방향에 따른 최대값 및 최소값과 해상도 정보에 기초하여, HCI 디바이스는 궤적이 UI/UX에서 중앙에 오도록 UI/UX를 업데이트하여 사용자가 이용 가능한 UI/UX 영역의 임의의 바이어스를 정정할 수 있다. HCI 디바이스는 또한 디스플레이 영역을 가장 잘 활용하기 위해 궤적이 UI/UX의 전체 이용 가능한 표면에 걸쳐 있도록 UI/UX를 스케일링할 수 있다. 도 8a의 궤적의 스케일링되고 바이어스 정정된 궤적의 예시적인 예가 업데이트된 UI/UX(871)를 통해 도 8b에 도시되어 있다.

일부 인스턴스들에서, 도 8a 및 도 8b에 도시된 바와 같이, 스케일링은 선형 함수를 사용하여 수행될 수 있다. 일부 다른 인스턴스들에서, 스케일링은 지수 함수와 같은 다양한 비선형 함수들을 사용하여 수행될 수 있다. 이러한 구현들은 응시 각도들이 증가하거나 응시 각도의 편심(eccentricity)이 증가함에 따라 기하급수적으로 증가하는 바이어스가 있는 경우의 인스턴스들 하에서 특히 유용할 수 있다. 눈-움직임 신호들을 캡처하고 전달하는 눈-추적기에 커플링되는 센서들의 배치 및 위치 결정을 고려하여 스케일링 및 범위 조정 및 바이어스에 대한 정정이 수행될 수 있다.

3차원 눈-추적의 캘리브레이션

이전에 설명된 바와 같이, UI/UX 제시기는 사용자에게 3차원 UI/UX를 제시할 수 있으며, 3차원 공간에서 사용자의 응시 포지션 또는 초점은 눈-추적을 통해 결정될 수 있다. HCI 시스템의 일부 실시예들에서, 3차원 공간에서 초점을 결정하는 정확도는 적절하게 구성되는 자극들을 사용하여 캘리브레이션될 수 있다. 예를 들어, 사용자(예를 들어, 사용자의 눈)와 관련하여 UI/UX에서 객체들의 위치 결정 및 움직임 속성들을 사용하여 사용자의 눈-추적을 캘리브레이션할 수 있다. 3차원 눈-추적에 사용되는 한 가지 예시적인 속성은 시차(parallax)이다. 시차는 상이한 포지션들로부터 볼 때 상이하게 보이는 객체의 포지션 또는 방향에 의한 효과이다. 따라서, HCI 시스템에서는, 사용자의 포지션(예를 들어, 사용자의 눈, 헤드 및/또는 신체 포지션)에 관한 데이터가 수집되어, 고정된 UI/UX를 볼 때, 사용자의 움직임을 추적하는 데 사용할 수 있다. 대안적으로, 고정된 사용자에게 모바일 UI/UX가 제시될 수 있다.

UI/UX에서 객체들의 예상되는 포지션은 사용자와 제시된 UI/UX 사이의 간격과 관련된 알려진 정보로부터 컴퓨팅될 수 있다. 예상되는 포지션 정보로부터, 예상되는 응시 각도 및 응시 포지션이 컴퓨팅되어 사용자의 예상되는 초점을 결정할 수 있다. UI/UX의 3차원 공간에서 사용자의 실제 응시 포지션 또는 초점을 결정하기 위해, 본 명세서에 설명된 바와 같이, 눈-추적기로부터의 눈-움직임 신호들이 획득 및 프로세싱될 수 있다. 3차원 공간에서의 실제 초점은 예상되는 초점과 비교되어 오차 척도(measure of error)를 계산할 수 있다. 그 후, 계산된 실제 초점은 캘리브레이션된 눈-움직임 신호들 및/또는 실제 초점의 캘리브레이션된 결정을 생성하기 위해 눈-움직임 신호들 및/또는 눈-움직임 신호들로부터 컴퓨팅된 응시 벡터들에 적절한 정정 프로시저들을 적용하여 수정될 수 있다.

일부 구현들에서, 사용자는 부드러운 추격 눈-움직임들(smooth pursuit eye-movements)(단속적인 눈-움직임들(saccadic eye-movements)과는 상이함)을 생성할 수 있다. 부드러운 추격 눈-움직임들은 사용자가 움직이는 자극을 추적하고 따라갈 때 생성되거나, 또는 사용자가 움직이고 있는 경우 고정된 자극을 추적할 때 생성된다. 사용자는 UI/UX의 3차원 공간에서 상이한 깊이의 객체들에 대해 상이한 상대 모션을 가질 것으로 예상된다. 예를 들어, 3차원 자극이 도 9에 UI/UX(971)로 예시되어 있으며, 여기서 사용자는 적어도 3개의 상이한 깊이, 즉, 전경(가로수), 중경(도시 풍경) 및 배경(먼 수평선)의 객체들에 대해 이동하는 자동차에 있는 것으로 시뮬레이션된다. 자동차가 화살표로 표시된 방향으로 이동함에 따라, 3개의 깊이의 고정된 포인트들이 내림차순으로 3개의 상이한 상대 속도로 이동할 것으로 예상됨을 안다. 상이한 깊이들에서의 알려진 객체들 또는 포인트들과 사용자 사이의 예상되는 상대 속도는 눈-움직임 신호들로부터 계산된 실제 상대 속도와 비교될 수 있다. 오차 척도는 비교에 기초하여 계산될 수 있고, 정정된 측정값들은 위에서 설명된 바와 같이 눈-움직임 신호들 및/또는 초점 결정을 캘리브레이션하기 위해 사용될 수 있다.

눈-추적에 대한 캘리브레이션을 위해 신경 신호들 사용

HCI 디바이스는 본 명세서에 설명된 바와 같이 신경 기록 디바이스를 통해 수집된 신경 신호들을 수신하고 프로세싱하도록 구성될 수 있다. 일부 구현들에서, 눈-추적기로부터 수신된 눈-움직임 신호들에 기초하여 눈-움직임 추적을 캘리브레이션하기 위해 신경 신호들이 사용될 수 있다. 예를 들어, UI/UX는 UI/UX 제시기의 특정 포지션들에 특정한 미리 정해진 자극들을 제시하도록 구성될 수 있다. 다양한 형태들의 신경 신호들이 사용되어 시각적 자극을 제시할 때 사용자의 초점에 대한 2차 추정치를 결정할 수 있다. 예를 들어, 정상-상태 VEP들을 포함하는 시각적 유발 전위(VEP)들을 사용하여 초점의 2차 추정치를 결정할 수 있다. 일부 구현들에서, P300 신호들과 같은 이벤트 관련 전위(ERP)들과 유사한 신경 신호들은 기록된 신경 신호들에서 검출될 수 있고, 초점의 2차 추정치를 결정하기 위해 자극 제시로 확증될 수 있다. 일부 구현들에서, 2차 추정치는 눈-추적기로부터 획득된 눈-움직임 신호들에 기초하여 타겟 방향으로 초점 결정을 넛지(nudge)하는 데 사용될 수 있다. 도 10은 숫자 5가 UI/UX(1071)에서 ERP(예를 들어, P300 신호)를 생성할 것으로 예상되는 예시적인 구현을 예시한다. 눈-추적기로부터 획득된 눈-움직임 신호들로부터 결정된 초점은 빨강색-마커로 표시되며, 숫자 5와 관련하여 위치가 벗어난 것으로 도시된다. HCI 디바이스는 신경 기록 디바이스로부터 신경 신호들을 수신 및 프로세싱할 수 있으며, 신경 신호(예를 들어, EEG 신호)에서 P300 신호를 검출할 수 있다. 검출된 P300 신호에 기초하여, 초점의 2차 추정치가 주황색 마커로 표시된 숫자 5의 포지션에 있는 것으로 결정된다. HCI 디바이스는 눈-움직임 신호들(빨간색 마커)로부터 계산된 초점과 초점의 2차 추정치(주황색 마커)를 비교하여 오차 척도 및 주황색 벡터로 표시되는 정정된 시프트를 계산하도록 구성될 수 있다. 정정된 시프트 벡터에 기초하여 눈-움직임 신호들이 자동으로 캘리브레이션될 수 있다.

응시 움직임 분류기

일부 실시예들에서, HCI 디바이스는 눈-움직임 분류기를 사용하여 눈-움직임 신호들을 프로세싱하도록 구성될 수 있다. 감독형, 비감독 및 반감독형 클러스터링 및 분류 방법들을 포함하여 사용자의 응시들을 분류하는 데 임의의 적절한 분류기가 사용될 수 있다. 선형 분류기들, 로지스틱 회귀를 사용하는 방법, 선형 판별 분석, 지원 벡터 머신들 및 기타 적절한 머신 학습 도구들과 같은 분류기들이 눈-움직임들을 단속적인 움직임들, 비-단속적인 움직임들, 부드러운 추격 움직임들, 미세 도약 안구 운동(microsaccade)들 등과 같은 클래스들로 분류하는 데 사용될 수 있다. 예를 들어, 일부 구현들에서, 눈 움직임 분류 시스템은 K가 클러스터링을 의미하는 것과 같은 프로시저들을 사용하여 단속적인 및 비-단속적인 눈-움직임들에 대한 레이블들이 생성될 수 있는 반감독형 학습 접근법을 사용할 수 있다. 클러스터들은 지원 벡터 머신에 공급될 수 있다.

일부 인스턴스들에서, 단속적인 및 비-단속적인 움직임들의 클러스터들은 본질적으로 비-원형, 비-구형 또는 비-타원형일 수 있다. 이러한 인스턴스들에서, K는 클러스터링으로 인해 분류-오류(miss-classification)들이 생성될 수 있음을 의미한다. 이러한 인스턴스들에서는, DBSCAN(Density Based Spatial Clustering of Applications with Noise)과 같은 밀도 기반 공간 클러스터링 방법이 사용될 수 있다. 일부 구현들에서, 다양한 클러스터들의 밀도는 동일하지 않을 수 있으며, 동일하지 않은 밀도들은 DBSCAN 프로시저들을 사용한 효과적인 분류를 방해할 수 있다. 밀도들이 동일하지 않은 상이한 클래스들의 눈-움직임 신호들의 샘플들을 갖는 예시적인 클러스터들이 도 11a에 개략적으로 예시되어 있으며, 클러스터 1은 클러스터 2보다 샘플 밀도가 낮다. 샘플 밀도가 더 낮은 클러스터들은 본 명세서에 설명된 바와 같이 업-샘플링될 수 있다. 예를 들어, 눈-움직임 신호들의 기존 데이터 세트(예를 들어, 도 11c에 예시된 눈-움직임 신호들의 분포를 포함하는 데이터 세트)가 리트리브될 수 있다. 미리 정의된 거리 메트릭 "d"를 사용하여 기존 데이터 세트의 샘플 눈-움직임 신호 세트가 선택되고 평가될 수 있다. 거리 메트릭 "d"는 눈-움직임 신호들의 분류에서 중요하다고 간주되는 피처 세트에 기초하여 정의될 수 있다. 거리 메트릭에 기초하여 더 낮은 밀도로 클러스터 2에 가깝게 측정되는 샘플 눈-움직임 신호 세트는 도 11b에 예시된 바와 같이 유사한 밀도 클러스터들을 생성하기 위해 밀도가 부족한 클러스터들을 업-샘플링하는 데 사용될 수 있으며, 이어서 DBSCAN과 같은 프로시저들이 눈-움직임 신호들을 분류하는 데 효과적으로 사용될 수 있다. 샘플 선택, 거리 메트릭 정의, 업-샘플링 및 분류 프로세스는 반복적으로 점점 더 나은 결과들을 달성하기 위해 반복적으로 수행될 수 있다. DBSCAN은 클러스터들의 #를 수동으로 지정할 필요가 없으며, 따라서 이 시스템은 스퓨리어스 훈련 노이즈(spurious training noise)에도 견고할 수 있다(여기서, 2 클러스터에서, K는 시스템이 가장 가까운 클러스터의 중심을 시프트시키는 이상치(outlier)가 될 것임을 의미한다). DBSCAN 클러스터들은 추가 프로세싱을 위해 SVM 눈 움직임 분류기로 전송되는 시험들에 레이블을 지정하는 데 사용될 수 있다. 미리 정의된 클러스터에 새 포인트들을 할당하는 것이 효율적인 방식으로 쉽게 수행되지 않을 수 있는 인스턴스들에서는, 훈련된 클러스터들의 표현이 장래의 분류 요구에서의 사용을 위해 저장될 수 있다. 예를 들어, 훈련된 클러스터들은 중심과 주변이 있는 n차원 볼록 껍질(convex hull) 또는 포인트 클라우드들로서 정의될 수 있으며, 클러스터들의 볼록 껍질 또는 클러스터 중심 및 주변까지의 최단 거리에 기초하여 클러스터들의 새로운 포인트들이 할당될 수 있다.

눈-추적 성능 벤치 마킹

HCI 시스템의 일부 구현들에서, HCI 디바이스는 눈-움직임 추적의 정확도를 평가하기 위해 내장 벤치마킹 시스템을 구현할 수 있다. 벤치 마킹 도구는 사용자의 응시 포지션 또는 초점을 추정할 때 오차들을 계산하도록 구성되는 특별히 설계된 자극을 포함할 수 있다. 도 12a 및 도 12b는 실시예에 따른 HCI 시스템에서 사용되는 예시적인 벤치 마킹 도구(1285)의 예시적인 인터페이스(1271)를 예시한다. 도 12a 및 도 12b의 예는 포인트들 또는 객체들(1280)의 그리드에 의해 표시된 디버그 그리드(debug grid)를 포함한다. 객체들의 그리드는 2차원 공간 또는 3차원 공간에서 정의될 수 있다. 그리드에서 객체들(1280)의 속성들은 필요에 따라 독립적으로 정의될 수 있다. 예를 들어, 객체들의 밀도, 객체들의 간격, 객체들의 사이즈 및 형상 등과 같은 속성들은 HCI 시스템 운영자의 요구 사항들에 따라 정의될 수 있다. 벤치마킹 도구(1285)는 객체들 및 그리드의 속성들을 변경하기 위한 컨트롤 세트를 포함할 수 있으며, 눈-추적을 평가하면서 사용 동안 속성들을 동적으로 수정하기 위해 운영자에게 디스플레이 컨트롤 세트를 제공할 수 있다.

사용자는 도 12a에 도시된 바와 같이(빗금친 원) 타겟과 같은 시각적 또는 그래픽 표시기를 사용하여 그리드의 객체 세트로부터 하나의 선택된 객체에 초점을 맞추도록 지시받을 수 있다. 선택된 객체의 예상되는 포지션이 기록된다. 사용자의 응시 포지션 또는 초점은, 본 명세서에 설명된 바와 같이, 눈-추적기로부터 획득된 눈-움직임 신호들을 사용하여 계산될 수 있다. 타겟 객체의 예상되는 포지션과 사용자의 응시 포지션 또는 초점의 계산된 포지션이 비교되어 오차 척도를 결정할 수 있다. 이 프로세스는 그리드의 여러 또는 모든 포인트들 또는 객체들에 대해 반복될 수 있다. 오차 척도로부터, 신뢰도 척도가 타겟 객체의 공간 포지션의 함수로서 컴퓨팅될 수 있다. 신뢰도의 예시적인 공간 맵이 도 12b에 예시되어 있으며, 이는 UI/UX 제시기의 왼쪽 하단 부분에서 눈-추적의 더 높은 신뢰도를 보여준다. 신뢰도의 공간 맵은 HCI 디바이스에 의해 눈-추적기와 연관된 오차 한계(margin of error)를 계산하는 데 사용될 수 있다. 공간 맵은 사용자가 초점을 맞추려고 시도하는 UI/UX 제시기의 부분에 기초하여 눈-움직임 신호들을 모델링 및/또는 캘리브레이션하는 데 사용될 수 있다. 예를 들어, 공간 맵은 눈이 UI/UX의 중심에서 벗어나면 신뢰도가 감소함을 나타낼 수 있으므로, 편심이 증가하거나 중심에서 거리가 멀어짐에 따라 점점 더 큰 캘리브레이션 시프트들로 눈-움직임 신호들이 적절하게 정정될 수 있다.

객체들과의 눈-추적 사용자 인터랙션들

HCI 시스템의 일부 구현들에서, UI/UX에 제시되는 자극들 또는 객체들과의 사용자 인터랙션의 정확하고 고속의 계산은 HCI 시스템의 효과적인 기능을 위해 필요하다. 일부 실시예들에서, 사용자에게 제시되는 UI/UX는 3차원 공간에 위치 결정되는 객체들을 갖는 3차원 환경을 포함할 수 있다. 이러한 실시예들에서, 3차원 공간에서 특정 객체들과의 사용자의 인터랙션은 광선-추적(ray-tracing) 또는 광선 투사(ray casting)라고 하는 프로세스들에 의해 결정될 수 있다. 광선 추적은 이미지 평면의 픽셀들을 따라 사용자의 눈으로부터의 시선의 경로 또는 광의 경로를 추적하고 가상 객체들과의 만남 효과들을 시뮬레이션하여 이미지를 생성하는 렌더링 기술이다. 광선 투사는 광의 경로 또는 사용자의 응시 각도를 따라 카메라를 통해 그리고 UI/UX에서의 모든 객체들의 예상 교차점을 통해 픽셀들로서 광선을 형성하여 구현된다. 다음으로, 가장 가까운 교차점으로부터의 픽셀 값이 획득되고, 투영에 대한 베이스로서 추가로 설정된다. 광선 투사는 광선 추적과 구별될 수 있는데, 광선 투사는 2차 광선들을 재귀적으로 추적하지 않는 렌더링 알고리즘이지만, 광선 추적은 그렇게 할 수 있다.

그러나, 일부 구현들에서, 광선 추적 및 광선 추적은 모두 계산 집약적 및/또는 시간 소모적일 수 있다. 이러한 구현들에서, UI/UX가 3차원적으로 위치 결정되는 객체들을 갖는 3차원 공간을 포함하는 경우, HCI 디바이스는, 본 명세서에 설명된 바와 같이, UI/UX의 3DF 공간의 객체들의 2D 투영을 사용하여 개선된 사용자-객체 인터랙션 프로시저를 구현할 수 있다. 개선된 사용자-객체 인터랙션 프로시저는 충돌까지 3D 광선 추적보다 훨씬 더 계산적으로 효율적인 방식으로 사용자의 응시 인터랙션들을 컴퓨팅할 수 있고, 인간 대상들이 객체들을 응시하는 방식에 대해 더 견고하며, 객체들의 형상 및 사이즈들에 대한 운영자의 지식을 활용할 수 있다.

개선된 사용자-객체 인터랙션 프로시저를 구현하기 위해, HCI 시스템은 사용자의 헤드의 포지션을 추적하기 위한 헤드 추적 디바이스들을 포함할 수 있다. HCI 시스템은 사용자의 눈으로부터 추적되는 헤드 기준점까지의 거리의 측정값을 추가로 획득할 수 있다. 일부 구현들에서, HCI 시스템은 원점을 갖는 물리적 좌표계를 정의하고, 사용자에 대한 물리적 좌표계와 관련된 정보를 획득할 수 있다. 가상 또는 증강 환경을 구현할 때, HCI 시스템은 알려진 스케일링 계수를 사용하여 VR 또는 AR 환경을 가상 좌표계로부터 물리적 좌표계로 변환하도록 구성될 수 있다. 일부 구현들에서, 물리적 좌표계에 대한 VR/AR 환경의 매핑은 UI/UX를 사용자에게 투영하는 데 사용되는 렌더링 변환 및 투영 매트릭스들과 관련된 정보를 사용하는 것을 포함할 수 있으며, 투영 렌즈를 통해 투영할 때 렌즈 왜곡들과 같은 투영 동안 발생되는 임의의 왜곡들 또는 시각적 효과들과 관련된 정보를 포함할 수 있다.

개선된 사용자-객체 인터랙션 프로시저에서, 사용자의 단일 응시 포인트는 양안 3D 응시 벡터와 눈들의 평면에 평행하고 사용자의 헤드 앞에 있는 선택된 평면과의 교차점을 계산함으로써 추정된다. 이 선택된 평면의 편리한 2D 공간에 대한 2D 투영이 계산된다. 예를 들어, 도 13은 3차원 방에 있는 3차원 객체 세트를 예시한다. 방의 전면에 더 가까운 평면은 평면이 사용자의 눈 앞에 있고 사용자의 눈들의 평면과 평행하도록 선택될 수 있다. 3차원 공간에서 상이한 깊이들에 있을 수 있는 각각의 객체들은 이 선택된 평면에 투영될 수 있다. 일부 구현들에서, 선택된 2D 평면은 사용자가 보는 VR/AR 장면을 나타내는 3D 투영 절두체(frustum)의 절단면(clipping plane) 근처에 있을 수 있다. 일부 구현들에서, 평면은 실제 세계 3D 설정들로 일반화될 수 있다(즉, 사용자의 눈들의 중점으로부터 거리 d에 있는 평면).

각각의 인터랙션 가능한 3D 객체가 평가될 수 있고, 그 중심이 2D 평면에 투영된다. 일부 인스턴스들에서, HCI 디바이스는 객체의 2D 투영의 경계들을 단순한 객체(예를 들어, 원, 타원 또는 직사각형)로서 컴퓨팅한다. 이러한 경계들은 유연하며, 장면 레이아웃 및 눈-추적기 노이즈에 기초하여 확장 또는 축소될 수 있다. 도 13의 예시는 예시적인 장면의 각각의 객체들 주위의 예시적인 원형 경계들을 도시한다. 그런 다음, HCI 디바이스는 3D 광선 추적에 비해 계산적으로 효율적이고 정확한 방식으로 사용자의 응시가 특정 객체 위에 있는지 여부 및 모든 객체들까지의 거리를 계산한다. 예를 들어, HCI 디바이스는 사용자의 응시 포지션 또는 초점과 객체의 투영된 이미지 사이의 중첩 척도를 컴퓨팅한다. 일부 인스턴스들에서, HCI는 사용자의 응시 포지션과 객체 투영 경계들 사이의 중첩 척도에 기초하여 사용자 인터랙션을 결정한다. 일부 인스턴스들에서, 사용자 인터랙션은 눈-움직임 신호들로부터 계산된 사용자의 응시 포지션과 선택된 2D 평면 상의 객체의 투영된 이미지의 중심 또는 주변 사이의 거리 측정값에 기초하여 결정될 수 있다.

일부 구현들에서, 3D 객체들과의 사용자 인터랙션은 인터랙션 가능한 3D 객체 각각에서 3차원적으로 분산된 포인트들의 샘플을 식별하는 HCI 디바이스에 의해 수행되고, 식별된 포인트들을 사용자의 응시 포지션이 위치될 수 있는 선택된 2D 평면에 투영한다. 식별된 포인트들은, 예를 들어, 도 14a의 객체들에 오버레이된 검정색 포인트들에 의해 예시되는 바와 같이, 경계 볼륨의 정점들 또는 객체 모델의 정점들의 부분 제거 집합(decimated collection)을 포함할 수 있다. 그런 다음, 각각의 객체에 대한 샘플링된 포인트들의 2D 투영들이 사용되어 객체에 대한 사용자의 보기에 대응하는 2차원 평면에 대한 객체 투영의 볼록 껍질을 계산한다.

일부 구현들에서, HCI 디바이스는 사용자의 응시가 객체에 있는지 여부 또는 응시가 가장 가까운 객체의 볼록 껍질의 에지까지 얼마나 멀리 있는지를 결정하기 위해 계산 기하학적 기술들을 적용할 수 있다. 계산된 볼록 껍질들은 포인트들의 수, 포인트 간격 등과 같은 미리 정의된 파라미터들에 기초하여 정의될 수 있다. HCI 디바이스는 볼록 껍질들의 컴퓨팅을 정의하는 파라미터들을 수정하기 위한 컨트롤 세트를 생성하고 디스플레이할 수 있으며, 파라미터들을 동적으로 변경하여 상이한 UI/UX 환경들에 대해 유연하고 사용자 정의되도록 HCI 시스템의 운영자에게 컨트롤들을 제공할 수 있다. 예를 들어, 도 14b에 예시된 예들에 도시된 바와 같이, 볼록 껍질은 장면 레이아웃 및 눈-추적기 노이즈에 기초하여 확장 또는 축소될 수 있다.

HCI 디바이스는 샘플링된 포인트들 또는 간단한 2D 객체 표현을 포함하는 볼록 껍질을 사용하여, 사용자가 인터랙션하는 장면에서 활성인 가시적인 객체들의 밀도 및 그들의 경계들에 기초하여 객체들의 2D 투영 경계들을 확장하거나 축소할 수 있다. 프로시저 또는 알고리즘에 의해 사용되는 정확한 스케일링은 이용 가능한 데이터 세트들로부터 경험적으로(empirically) 파생될 수 있다.

추가적으로, 사용자의 응시까지의 거리(본 명세서에 설명됨)에 기초하여 인터랙션 가능한 객체들을 스코어링하는 데 사용되는 임의의 비선형 스케일링 파라미터(예를 들어, 지수 스케일링)는 또한 활성인 장면에서 인터랙션 가능한 객체들 간의 평균 거리에 기초하여 동적으로 조정될 수 있다(예를 들어, 운영자에 의해 실시간으로 조정될 수 있다).

의도된 타겟 객체를 식별하기 위한 인터랙션 가능한 객체들의 스코어링

일부 구현들에서, HCI 시스템은 옵션 세트를 자극들로서 제시하고, 사용자의 거동을 나타내는 사용자로부터 기록된 신호들(예를 들어, 눈-움직임 신호들 또는 신경 신호들)로부터 액션을 개시 또는 중재할 수 있는 하나의 특정 자극을 선택하기 위한 사용자의 의도를 디코딩하도록 구성된다. 사용자에게 제시되는 자극 세트는 (태그들이라고도 지칭되는) 인터랙션 가능한 객체 세트일 수 있으며, 이 중 하나의 특정 객체에 사용자가 관심을 갖는다. 이 관심 객체를 타겟 객체라고 지칭할 수 있다. 따라서, 다른 방식으로 말하자면, 이러한 HCI 시스템의 하나의 목표는 사용자에게 제시되는 이용 가능하고 인터랙션 가능하거나 가시적인 객체 세트로부터 타겟 객체의 아이덴티티를 어느 정도의 정밀도와 신뢰도로 식별하는 것일 수 있다. 타겟 객체의 식별 프로세스는 특정 객체가 제시될 사전 가능도(prior likelihood), 특정 객체가 특징적인 뇌 활동 반응을 불러일으킬 수 있는 가능도 등과 같은 정보의 여러 소스들을 통합할 수 있다. 본 명세서에 설명된 HCI 시스템(예를 들어, HCI 시스템들(100, 200, 300, 1200 및 1300)은 사용자에게 인터랙션 가능한 객체 세트의 제시를 구현하기 위해 임의의 적절한 프로시저를 사용할 수 있으며, 사용자에 의해 선택될 의도된 타겟 객체를 식별하기 위해 임의의 적절한 프로시저를 구현할 수 있고, 프로시저들은 그 전체가 본 명세서에 참조로 포함된 '846 출원에 설명된 것들과 실질적으로 유사할 수 있다.

도 15는 사용자에게 인터랙션 가능한 객체 세트를 제시하고 사용자가 의도된 액션을 유발할 수 있는 객체를 선택할 수 있게 하는 HCI 시스템(본 명세서에 설명된 HCI 시스템들과 유사함)을 구현하는 프로세스(1550)를 개략적으로 설명하는 흐름도를 도시한다. 프로세스(1550)는 본 명세서에 설명된 프로세스(350) 및/또는 위에서 언급된 '846 출원에 설명된 프로세스들과 동일하거나 실질적으로 유사할 수 있다. 프로세스(1550)는 HCI 시스템의 사용자에게 하나 이상의 인터랙션 가능한 객체를 포함하는 자극을 제시하는 단계(1501)를 포함하며, 각각의 객체는 선택시 하나 이상의 액션에 링크된다. 프로세스(1550)의 단계(1503)에서 사용자의 거동과 관련된 신호들이 기록된다. 예를 들어, 신경 및/또는 눈-움직임 신호들이 신경 기록 디바이스 및 눈-추적기를 통해 기록된다. 단계(1505)에서, 취득된 신호들이 프로세싱되고 분석된다. 예를 들어, 눈-움직임들 또는 인지 상태들과 같은 사용자 거동을 나타내는 피처들을 추출하기 위해 신호들이 분석될 수 있다. 사용자의 응시 포지션을 계산하기 위해 눈-움직임 신호들 및/또는 신경 신호들이 분석될 수 있다. 사용자의 초점을 결정하기 위해 응시 벡터들 및 응시 각도들이 컴퓨팅될 수 있다. 인터랙션 가능한 객체들과의 사용자 인터랙션을 계산하는 프로시저들이 본 명세서에 설명된 바와 같이 실행될 수 있다. 다른 예로서, 사용자 의도를 검출하기 위해 신경 신호들이 분석될 수 있다. 단계(1507)에서, 신호들의 이포크들(예를 들어, 눈-움직임 신호들의 단속적인 이포크들, 신경 신호들의 특징적인 이벤트 관련 전위들 등)을 분류, 레이블링 및/또는 식별하기 위해 적절한 통계적 모델들 또는 분석 도구들이 사용될 수 있다. 분석된 신호들을 평가 및 분류하기 위해 분석된 신호들의 이포크들에 스코어들이 할당될 수 있다.

단계(1509)에서, UI/UX를 통해 사용자가 이용 가능한 각각의 인터랙션 가능한 객체가 식별된, 레이블링된 및/또는 분석된 신호들에 기초하여 스코어링된다. 인터랙션 가능한 객체들과 연관된 스코어들은, 취득되고 프로세싱된 신호들에 기초하여, 객체가 사용자의 관심 타겟 객체라는 가능도 추정치에 대응하도록 구성된다. 스코어들은 하나 이상의 적절한 스코어 체계를 사용하여 분석된 신호들에 기초하여 객체들에 할당되거나 이와 연관되어, 스코어 테이블을 형성하고, 객체들 및 그들의 연관된 스코어들을 나열할 수 있다. HCI 시스템이 이용 가능한 다양한 정보 스트림들에 기초하여 각각의 인터랙션 가능한 객체가 관심 객체일 가능도에 대해 스코어링하도록 별도의 스코어 테이블들이 생성될 수 있다. 예를 들어, HCI 시스템은 눈-움직임 신호들 분석에 기초하여 객체들의 별도의 스코어 테이블(예를 들어, 시각적 스코어 테이블(Visual Score Table))을, 신경 신호들의 분석으로부터 생성된 별도의 스코어 테이블(예를 들어, 신경 스코어 테이블(Neural Score Table))을, 자극의 제시에 관해 이용 가능한 정보에 기초하여 별도의 스코어 테이블(예를 들어, 거리 스코어 테이블(Distance Score Table))을, 사용자의 응시 인터랙션들에 기초하여 별도의 스코어 테이블(예를 들어, 인터랙션들 스코어 테이블(Interactions Score Table))을, 등등을 생성할 수 있다. 일부 인스턴스들에서, 테이블들 중 하나 이상은 임의의 적절한 스테이지에서 분석들을 결합하여 축소될 수 있다. 예를 들어, 눈-움직임 신호들 및 사용자 인터랙션들은 함께 분석되어 도 16을 참조하여 아래에서 더 상세하게 설명되는 바와 같이 결합된 시각적 스코어 테이블을 생성할 수 있다. 단계(1511)에서, 다양한 스코어 테이블들이 마스터 스코어 테이블을 생성하기 위해 결합된다. 단계(1513)에서, 가장 높은 스코어(즉, 타겟 객체가 될 가능도가 가장 높음)를 가진 객체가 식별되고 리턴된다. 일부 인스턴스들에서, HCI 시스템은 식별된 객체를 다시 제시함으로써 사용자로부터 검증을 구할 수 있다. 일부 인스턴스들에서는, 식별된 타겟 객체와 연관된 액션이 HCI 시스템에 의해 실행되거나 구현된다.

도 16은 예시적인 시각적 스코어 테이블을 생성하기 위해 눈-움직임 신호들 및 사용자 인터랙션들에 기초하여 스코어들을 컴퓨팅하기 위해 HCI 시스템의 일부 구현들에서 사용되는 예시적인 프로시저(1650)를 도시하는 개략적인 흐름도를 예시한다. 이 예시적인 방법에서는, 사용자에게 5개의 인터랙션 가능한 객체를 포함하는 자극이 제시될 수 있으며, 이는 도 16의 예시적인 UI/UX(1671)에서 5개의 번호가 매겨진 다이아몬드로 예시된다. 예로서, 객체 1에 사용자가 관심을 가질 수 있다. 사용자가 자극을 보거나 경험할 때, 신경 신호들이 HCI 시스템에 의해 눈-움직임 신호들과 함께 취득된다. 신경 신호들의 EEG 신호들은 관심 타겟 객체를 선택하는 것과 관련된 판단들을 선택하는 사용자에 대응할 수 있는 이포크들을 식별하기 위해 분석된다.

단계(1601)에서, EEG 신호들에서 식별된 이포크들에 대응하는 눈-추적 또는 눈-움직임 신호들이 획득된다. 단계(1603)에서, 눈-움직임 신호들은, 예를 들어, 칼만 필터링 프로시저를 사용하여 프로세싱된다. 단계(1605)에서, 프로세싱된 눈-움직임 신호들은 인공물 또는 원하지 않는 정보를 추가 분석하거나 제거하는 데 사용될 수 있는 피처 검출 프로시저를 사용하여 추가로 분석된다. 예를 들어, 프로세싱된 눈-움직임 신호들은 미세 도약 안구 운동들의 눈-움직임들 또는 눈-깜박임들을 나타내는 부분들을 검출하기 위해 분석되어, 이러한 부분들을 제거할 수 있다.

단계(1607)에서, 이용 가능한 인터랙션 가능한 객체들의 상대적 및/또는 절대적 위치들이 계산된다. 예를 들어, UI/UX의 3차원 공간은 도 13, 도 14a 및 도 14b를 참조하여 위에서 설명된 바와 같이 2차원 평면 또는 좌표 공간에 매핑된다. 단계(1609)에서, 평균 응시 벡터는 응시 각도 및 사용자를 결정하기 위해 눈-움직임 신호들에 기초하여 계산된다. 일부 인스턴스들에서, 2차원 좌표 공간 상의 사용자의 응시 포지션은 2차원 투영 평면의 위치와 관련된 지식을 사용하여 컴퓨팅될 수 있다. 일부 인스턴스들에서는, 자극이 여러 번 제시될 수 있으며, 평균값을 획득하기 위해 반복된 제시에 대해 응시 각도 또는 응시 포지션이 컴퓨팅될 수 있다.

단계(1611)에서, 각각의 인터랙션 가능한 객체 주위의 퍼지 경계(fuzzy boundary)에 대한 시각적 응시 각도가 계산된다. 일부 구현들에서, 퍼지 경계 정보는 취득된 눈-움직임 신호들의 노이즈 고려 사항들을 포함할 수 있다. 일부 구현들에서, 경계는 인터랙션 가능한 객체들 각각의 볼록 껍질에 대해 정의된 경계 또는 객체들의 2D 투영을 나타내는 단순한 객체(예를 들어, 원 또는 타원)에 의해 정의된 경계에 의해 부분적으로 결정될 수 있다.

단계(1613)에서, 사용자의 응시와 인터랙션 가능한 객체들의 경계들 사이의 인터랙션의 계산에 시력 모델이 적용될 수 있다. 단계(1615)에서, 각각의 인터랙션 가능한 객체는 적절한 스코어 체계(예를 들어, -100에서 100까지의 스케일)를 사용하여 스코어링되어, 객체가 사용자의 관심 타겟 객체일 가능도를 계산한다. 일부 구현들에서, HCI 시스템은 눈-움직임 운동학, 인간 눈의 해부학적 구조, 및/또는 사용자들의 눈-움직임들에 대한 정보를 사용하여 예측되는 응시 벡터를 생성하는 시력 모델(visual acuity model)을 포함할 수 있다. 일부 인스턴스들에서, 스코어링은 생물학적으로 파생된 시력 모델의 변환에 기초할 수 있다. 일부 인스턴스들에서, 시력 모델은, 예를 들어, 편심이 증가함에 따라 시력의 지수 감소를 통합하기 위해 모델링된 지수 스케일링에 기초할 수 있다. HCI 시스템은 이용 가능한 다른 사용자 데이터(예를 들어, 사용자의 눈 간격, 눈-추적기의 제조업체 및 모델 등)와 함께 시력 모델로부터 예측된 시각적 각도들을 통합할 수 있다.

단계(1617)에서는, 사용자가 이용 가능한 인터랙션 가능한 객체들의 목록 및 관심 타겟 객체가 될 가능도를 나타내는 각각의 인터랙션 가능한 객체의 연관된 스코어를 포함하도록 스코어 테이블이 생성되거나 업데이트된다. 시력 모델의 결과들 및 단속적인 눈-움직임 신호들, 인터랙션 가능한 객체들과의 사용자 인터랙션들 및 분석된 응시 벡터들의 조합을 사용하여 시각적 스코어 테이블이 생성될 수 있으며, 시각적 스코어 테이블은 계산된 응시 벡터에 대한 근접도에 기초하여 각각의 인터랙션 가능한 객체에 할당된 동안 스코어들로 생성될 수 있다. 도 15에 도시된 바와 같이, 스코어들 v1, v2, v3 등을 갖는 시각적 스코어 테이블은 앞서 설명된 마스터 스코어를 업데이트하는 데 사용될 수 있다.

예시적인 프로세스(1650)가 단계(1601)에서 신경 신호 사용을 설명하였지만, 일부 인스턴스들에서, 이것은 기록된 전체 시간 프레임으로부터 눈-움직임 신호들을 분석하기 위해 생략될 수 있다.

눈-추적기, 헤드 EEG 및 EMG 디바이스들이 통합된 예시적인 HCI 시스템들

도 17a 내지 도 17d는 각각 4개의 상이한 실시예에 따른 귀 기반 신경 기록 디바이스들, 근전도 검사 디바이스 및 눈-추적기들의 조합을 갖는 예시적인 HCI 시스템을 예시한다. 도 17a는 눈-추적기(도시 생략)에 추가하여 하나 이상의 EMG 디바이스의 귀 내부 및/또는 주위 배치 및 신경 기록 디바이스의 헤드 뒤쪽 배치를 포함하는 HCI 시스템을 도시한다. 도 17b는 EMG 디바이스들의 귀 주위 배치 및/또는 신경 기록 디바이스들의 헤드 뒤쪽 배치를 포함하는 예시적인 HCI 시스템을 도시한다.

도 17c는 EMG 디바이스들의 귀 주위 및/또는 귀 내부 배치를 도시하는 예시적인 HCI 디바이스의 일부들을 도시한다. 도 17d는 EMG 디바이스들의 귀 주위 배치 및 뇌의 미리 정의된 영역들로부터 신경 기록들을 수신하기 위해 미리 정의된 위치들(예를 들어, 중앙 및 정수리 뇌 영역들로부터 EEG 기록들을 취득하기 위한 Cz 및 Pz 위치들)에서 인터페이스하기 위한 신경 기록 디바이스들의 배치를 포함하는 예시적인 HCI 시스템을 예시한다.

HCI 시스템을 사용한 실제 세계 인터랙션들

이전에 설명된 바와 같이, HCI 시스템들은 현실 세계와의 사용자 인터랙션을 용이하게 하는데 사용될 수 있으며, 일부 인스턴스들에서는, 사용자에게 증강 현실 또는 환경을 제시할 수 있다. 일부 구현들에서, HCI 시스템은 사용자가 인터랙션할 수 있는 UI/UX 인터페이스를 제시하지 않더라도, 실제 세계 환경과의 사용자 인터랙션을 해석하는 데 사용될 수 있다. 예를 들어, HCI 시스템은 (예를 들어, 전방 카메라 또는 마이크로폰들을 통해) 사용자가 보거나 경험한 이미지 또는 환경과 관련된 정보를 수신할 수 있으며, HCI 시스템은 사용자가 환경과 인터랙션할 수 있도록 정보를 보다 강력하고 효율적이거나 유익한 방식으로 프로세싱할 수 있다.

일부 인스턴스들에서, HCI 시스템들은 실제 세계 환경으로부터 획득된 이미지들을 프로세싱하도록 훈련될 수 있다. 예를 들어, 사용자에 의해 사용되는 HCI 시스템에 포함된 안경 또는 눈-추적기의 카메라에 의해 쉽게 인식될 수 있는 IR-반사 테이프 또는 임의의 적절한 마킹 물질로 관심 객체에 태그를 지정할 수 있다. 획득된 정보는 삼각 측량을 하고, 안경에 상대적인 물리적 좌표를 획득하는 데 사용될 수 있다.

예시적인 구현에서, HCI 시스템들은 안경의 카메라에 의해 기록된 이미지들의 2D 비디오 공간에서 직접 작업하고, 컴퓨터-비전 기술들, 예를 들어, 계산 신경 망(computational neural net) 및 에지-검출 알고리즘들 등을 사용하여 그것의 객체들을 식별하도록 훈련되거나 사용될 수 있어서, 이전 슬라이드들에서 설명된 기술들을 적용할 수 있도록 관심 객체들로부터 샘플 포인트들을 추출할 수 있다. 이 방법은 관심 있는 객체들에 미리 태그를 지정할 필요가 없다는 이점이 있다. 응시 데이터의 2D 투영이 비디오 이미지를 생성하는 뷰 절두체에 대응하도록 만들어지면, 응시 및 객체 속성들이 동일한 2D 공간에서 조작될 수 있다. 이미지 프로세싱 및 이미지 분할과 같은 분석들이 수행되어, 실제 세계 환경의 피처들(예를 들어, 정점들, 에지들, 객체들의 중심 등)을 검출 또는 식별할 수 있다. 도 18은 HCI 시스템을 통해 도로 표지판의 실제 세계 뷰와의 사용자 인터랙션의 예시적인 사용자 구현을 도시한다.

도 18에 예시된 예시적인 프로세스(1850)에서, 이미지 프레임은 비디오 클립으로부터 획득되고, 프레임에 포함된 객체들의 에지들을 결정하기 위해 에지 검출 프로시저가 수행된다. 가려진 경계들은 구분되며, 프레임의 전경 및 배경 영역들을 식별하는 데 사용된다. 전경 및 배경 영역들을 할당하면, 윤곽선들이 검출되고, 잠재적인 객체들이 그들의 피처들(예를 들어, 색상, 단색 윤곽선 등)에 기초하여 분할 및 분류된다. 분류에 기초하여, 프레임에서 식별된 객체들에 번호가 매겨지고 제시된다(예를 들어, 객체 1 - 정지 신호). 이러한 식별들은 사용자가 환경을 내비게이션하고 환경의 객체들과 인터랙션하는 데 도움이 될 수 있다.

일부 실시예들에 따른 HCI 시스템은 환경과의 사용자 인터랙션들에 대한 정보를 수집하는 데 사용될 수 있다. 일부 인스턴스들에서, 사전 정의되거나 알려진 환경들과의 사용자 인터랙션들과 관련된 데이터는 광고주들 또는 제품들 또는 서비스 마케팅 담당자와 같은 운영자들에게 높은 가치가 있을 수 있다.

예를 들어, 사람의 눈 움직임은 사람의 명백한 주의 척도로 역할을 할 수 있다. 타겟 청중의 주의 척도들은, 예를 들어, 마케팅 회사들(마케팅 도구) 또는 게임 회사들(환경 설계 지원), 영화 제작자들 등과 같이 인간 거동에 관심이 있는 조직의 많은 응용 분야들에 매우 중요한 정보가 될 수 있다.

응시 포지션은 사람의 주의 집중에 대한 정보를 수집하는 데 사용될 수 있다. 그러나, 응시 포지션은, 도 19a의 예시에 도시된 바와 같이, 피험자들의 뇌들에서 상향식(색상, 형상, 휘도 등) 및 하향식(맥락, 실행 기능) 신호들의 조합에 의해 제어된다. 연구에 따르면 하향식 신호들만이 객체 또는 환경의 구매/즐거움 가능도와 강하게(인과적으로) 링크될 수 있다. 예를 들어, 어떤 사람이 제품이나 서비스의 제목이 "빨간색"이고 높은 시각적 현저성을 갖기 때문에 이를 보는 경우, 이것은 제품이나 서비스를 구매할 확률에는 영향을 미치지 않는다. 빨간색 색상이 사람의 주의를 끌었을 수 있지만, 사용자의 구매 거동과 관련된 정보가 많지 않으므로, 빨간색 제목에 링크된 사용자의 높은 주의는 사용자가 제품 또는 서비스를 구매할 가능도에 관심이 있는 마케팅 회사와 무관할 수 있다.

(예를 들어, 실행 기능과 관련된) 하향식 매개 주의와 관련된 잠재적 정보를 획득하는 예시적인 프로세스는 하향식 응시 제어만을 결정하기 위해, 응시 포지션 히트 맵(gaze position heat map)(하향식 + 상향식)으로부터 시각적 현저성 맵(상향식)만을 빼는 것일 수 있다. 이 정보는 인간 거동의 양태들에 대해 매우 유익할 수 있다. 예를 들어, 이 정보는 인간의 경영 거동을 예측하고 검증하는 데 사용될 수 있으며, 응시에만 대한 또는 시각적 현저성에만 대한 정보를 포함하는 데이터보다 더 효율적인 방식으로 마케팅 정보로서 사용될 수 있다. 예를 들어, 도 19b는 사용자의 눈 움직임들을 정량화하는 공간 맵을 도시하며, 더 뜨거운 색상들은 응시 포지션의 더 높은 가능도를 나타낸다. 이는 제품 이름에 대한 높은 사용자 관심을 잘못 나타낼 수 있다. 그러나, 19c에서는 시각적 현저성 맵을 뺀 눈-움직임들의 공간 맵을 사용하여, 사용자의 주의가 주로 제품이 아닌 색상 텍스트 및 모델에 초점을 맞출 수 있다.

도 20은 이미지 프레임 또는 뷰(예를 들어, 실제 세계의 이미지 또는 가상 현실 환경의 이미지)와 연관된 시각적 현저성 맵 및 시각적 주의 맵을 계산하는 예시적인 프로세스(2050)를 예시한다. 단계(2051)에서, 프레임 또는 장면의 시각적 이미지가 획득된다. 단계(2052)에서, 이미지는 높은 시각적 현저성(예를 들어, 휘도, 공간 주파수, 색상, 이전 프레임에 대한 움직임, 콘트라스트 등)과 연관된 상향식 피처들에 기초하여 높은 현저성을 갖는 부분들을 식별하기 위해 분해된다. 단계(2054)에서, 이미지 분해에 기초하여 시각적 현저성 맵이 생성된다. 단계(2056)에서, 사용자의 응시가 이미지의 부분들과 교차할 확률을 예측하는 응시 확률 맵이 단계(2054)에서 생성된 시각적 현저성 맵에 매핑된다.

단계(2053)에서, 사용자의 실시간 응시 부분들은 눈-추적기로부터 획득된 눈-움직임 신호들에 기초하여 계산된다. 단계(2055)에서, 실제 응시 확률 맵이 컴퓨팅되어, 이미지에 의해 정의된 시각적 공간에 매핑된다. 단계(2057)에서, 각각의 가중치가 이미지의 정의된 부분(예를 들어, 픽셀)과 연관된 가중치 세트가 정의되며, 가중치들은 단계(2055)에서 생성된 응시 확률 맵에 기초한다.

단계(2058)에서, 단계(2056)에서 생성된 예측된 응시 확률 맵은 이미지의 각각의 부분(예를 들어, 픽셀)에 대응하는 가중치 세트로 변환되고, 예측된 응시 확률 맵으로부터 파생된 가중치들은 실제 응시 확률 맵으로부터 파생된 가중치들과 결합된다. 가중치들의 어레이(To for man array of weights).

단계(2058)에서, 결합된 가중치 세트가 이미지에 적용되어, 가중치가 적용된 이미지(예를 들어, 응시 확률과 시각적 현저성의 차이로부터 생성된 이미지)를 생성한다. 단계(2059)에서, 단계(2058)의 가중된 이미지에 기초하여, 상위 실행 기능들에 링크될 수 있는 사용자 관심 포인트들을 나타내는 실시간 시각적 주의 추정 맵(예를 들어, 히트 맵(heat map))이 생성된다. 도 21은 사용자 주의 포인트들을 나타내는 예시적인 히트 맵을 예시한다. 위의 프로시저의 구현은 일부 인스턴스들에서 다른 방식으로 이용 가능하지 않은 시각적 장면에 대한 정보를 추정하거나 이를 채우는 스마트 필터로서 사용될 수 있다(예를 들어, 사용자가 고속 모션 동안 환경을 볼 때).

정서적 상태 결정

일부 구현들에서, 본 명세서에 설명된 HCI 시스템은 이전에 설명된 바와 같이 사용자의 감정 또는 인지 상태에 대한 정보를 수집하는 데 사용될 수 있다. 예를 들어, HCI 시스템들은 미리 정의된 UI/UX 환경들을 경험하는 동안 사용자 세트가 모니터링될 때 감정 또는 정서적 상태 검출 시스템들로서 사용될 수 있다. 도 22a는 각성도(arousal) 및 정서가(valence)의 축들에 의해 정의된 표면상의 다양한 정서적 상태들을 매핑하는 개략도를 예시한다.

감정들의 명시적인 범위를 생성하기 위해, 정서적 상태 모델들의 현재 구현들은 사용자별 및 세션별로 훈련될 필요가 있을 수 있다. 훈련은 사용자가 ~30-60개의 1분 비디오를 보거나 경험하는 것으로 구성될 수 있으며, 이것은 시간 소모적일 수 있다. 더욱이, 현재의 기술들은 고유한 바이어스에 의해 오염될 수 있고, 시간 소모적일 수 있고, 부정확할 수 있는 연관된 정서적 상태들에 대한 자체 보고를 포함한다. 따라서, HCI 시스템을 비감독형 또는 반감독형 방식으로 사용하는 자동 정서적 상태 결정은 현재 방법들에 비해 효율적이고 정확할 수 있다.

HCI 시스템의 예시적인 구현은 신경 신호들 및/또는 눈-움직임 신호들을 획득하고 신호들을 프로세싱하도록 구성될 수 있다. 일부 예시적인 분석 프로세스들은 신호 필터링, EEG 신호들과 같은 신경 신호 추출, 이포크 추출, 특징있는 신호들의 제어에 대응하는 피처 추출, 의미있는 축들을 따른 회귀 분석 수행 등을 포함할 수 있다. HCI 시스템은 낮은 정서가/각성도로부터 높은 정서가/각성도로의 초평면의 통계적 모델을 사용하여 훈련될 수 있다. 모델은 이용 가능한 데이터에 기초하여 적절하게 스케일링될 수 있다(예를 들어, 높고 낮은 정서가/각성도 극값들을 불러일으키는 2x 훈련 파일들에서만 최대값 및 최소값 스케일링). 예시적인 초평면이 도 22c에 예시되어 있다. 사용자가 보고한 값들 및 HCI 시스템에 기초하여 감정들을 검출하는 결과들의 예시적인 세트가 도 22b의 플롯에 도시되어 있다.

결론

요약하면, 사용자에 의해 동작 가능하거나 다수의 사용자가 실시간으로 공동으로 동작할 수 있는 통합 하이브리드 인간 컴퓨터 인터페이스 시스템의 구현에 사용하기 위한 시스템들 및 방법들이 본 명세서에 설명되어 있다. 개시된 시스템의 실시예들은 눈-움직임 추적 시스템, 신경 활동 추적 시스템, 및 EMG 추적 시스템, 신체 포지션 또는 헤드 포지션 추적 시스템 등과 같은 사용자 거동을 추적하도록 구성되는 여러 추가 시스템들을 포함한다. 본 명세서에 설명된 실시예들은 포인팅 제어 피처 및/또는 액션 제어 피처를 구현하도록 구성된다. 일부 예에서, 실시예들은 분석에 사용될 사용자의 거동과 관련된 데이터를 수집하도록 구성된다. 일부 실시예들에서, 포인팅 및 액션 제어 피처들은 고속 및 정확한 동작을 가능하게 하도록 전략적으로 설계된 UI/UX의 제시를 통해 구현된다. 추가로, 개시된 시스템들 및 방법들의 일부 실시예들은 가상, 증강 또는 실제 환경의 사용자 조작을 중재하기 위해 임의의 적절한 플랫폼에서 실시간 HCI를 구현하기 위해 하드웨어 불문일 수 있도록 구성된다.

다양한 실시예들이 위에서 설명되었지만, 이들은 제한이 아닌 예로서만 제시된 것임을 이해해야 한다. 위에서 설명한 방법들이 특정 순서로 발생하는 특정 이벤트들을 나타내는 경우, 특정 이벤트들의 순서가 수정될 수 있다. 또한, 특정 이벤트들은 가능한 경우 병렬 프로세스에서 동시에 수행될 수 있을 뿐만 아니라 위에서 설명한 대로 순차적으로 수행될 수 있다.

위에서 설명된 개략도들 및/또는 실시예들이 특정 배향들 또는 포지션들로 배열된 특정 컴포넌트들을 나타내는 경우, 컴포넌트들의 배열이 수정될 수 있다. 실시예들이 구체적으로 도시되고 설명되었지만, 형태 및 세부 사항에서 다양한 변경들이 이루어질 수 있음을 이해할 것이다. 본 명세서에 설명된 장치들 및/또는 방법들의 임의의 부분은 상호 배타적인 조합을 제외하고 임의의 조합으로 조합될 수 있다. 본 명세서에 설명된 실시예들은 설명된 상이한 실시예들의 기능들, 컴포넌트들 및/또는 피처들의 다양한 조합들 및/또는 하위 조합들을 포함할 수 있다.

Claims (30)

1. 장치로서,
   사용자에게 인터랙티브 환경(interactive environment)을 제시하도록 구성되는 디스플레이;
   상기 디스플레이에 커플링되는 눈-추적기(eye-tracker) - 상기 눈-추적기는 적어도 2개의 센서를 포함하고, 상기 적어도 2개의 센서는 상기 사용자의 눈으로부터의 눈-움직임(eye-movement) 신호들을 기록하도록 구성됨 -;
   상기 디스플레이 및 상기 눈-추적기에 동작 가능하게 커플링되는 인터페이스 디바이스
   를 포함하고,
   상기 인터페이스 디바이스는,
   메모리; 및
   프로세서
   를 포함하고,
   상기 프로세서는 상기 메모리에 동작 가능하게 커플링되고,
   상기 눈-추적기의 적어도 2개의 센서로부터 눈-움직임 신호들을 수신하고,
   상기 인터랙티브 환경을 통해 및 상기 디스플레이를 통해 상기 사용자에게 자극을 생성 및 제시하고,
   상기 눈-움직임 신호들에 기초하여, 상기 사용자의 초점을 결정하고,
   상기 사용자의 초점에 기초하여, 상기 사용자에 의해 의도되는 액션을 결정하고,
   상기 사용자에 의해 의도되는 액션을 구현하도록
   구성되는 장치.
2. 제1항에 있어서,
   상기 디스플레이는 상기 사용자에게 상기 인터랙티브 환경을 투영하도록 구성되는 디스플레이 렌즈를 포함하고,
   상기 눈-추적기의 적어도 2개의 센서는 상기 디스플레이 렌즈 주위에서 축들을 따라 위치 결정되는 장치.
3. 제1항에 있어서,
   상기 디스플레이는 상기 사용자에게 상기 인터랙티브 환경을 투영하도록 구성되는 디스플레이 렌즈를 포함하고,
   상기 눈-추적기는 적어도 4개의 센서를 포함하고, 상기 적어도 4개의 센서는 상기 디스플레이 렌즈 주위에서 2개의 직교 축을 따라 위치 결정되는 장치.
4. 제1항에 있어서,
   상기 눈-추적기는 상기 적어도 2개의 센서 중의 각각의 센서에 의해 기록된 눈-움직임 신호들을 독립적인 방식으로 상기 프로세서에 전송하도록 추가로 구성되는 장치.
5. 제1항에 있어서,
   상기 눈-움직임 신호들은 복수의 눈-움직임 신호 세트들을 포함하고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 각각의 센서에 의해 기록되고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 나머지 센서들에 의해 기록된 복수의 눈-움직임 신호 세트들과 독립적이고,
   상기 프로세서는,
   상기 복수의 눈-움직임 신호 세트들로부터의 각각의 눈-움직임 신호 세트들에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 응시 벡터(gaze vector)를 컴퓨팅하고 - 각각의 센서와 연관된 응시 벡터는 상기 사용자의 눈의 응시 각도를 나타냄 -,
   상기 적어도 2개의 센서 중의 각각의 센서와 연관된 각각의 응시 벡터의 경사도를 결정하고 - 상기 경사도는 해당 센서와 연관된 수직각에 상대적임 -,
   상기 적어도 2개의 센서 중의 각각의 센서와 연관된 각각의 응시 벡터의 경사도에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 가중치를 결정하여 가중치 세트를 생성하고,
   캘리브레이션된 눈-움직임 신호 세트를 결정하기 위해 상기 복수의 눈-움직임 신호 세트들에 상기 가중치 세트를 적용하도록
   추가로 구성되는 장치.
6. 제1항에 있어서,
   상기 눈-움직임 신호들은 복수의 눈-움직임 신호 세트들을 포함하고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 각각의 센서에 의해 기록되고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 나머지 센서들에 의해 기록된 복수의 눈-움직임 신호 세트들과 독립적이고,
   상기 프로세서는,
   상기 복수의 눈-움직임 신호 세트들로부터의 각각의 눈-움직임 신호 세트들에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 응시 벡터를 컴퓨팅하고 - 각각의 센서와 연관된 응시 벡터는 상기 사용자의 눈의 응시 각도를 나타냄 -,
   상기 적어도 2개의 센서 중의 각각의 센서와 연관된 각각의 응시 벡터의 경사도를 결정하고 - 상기 경사도는 상기 센서와 연관된 수직각에 상대적임 -,
   상기 적어도 2개의 센서 중의 각각의 센서와 연관된 각각의 응시 벡터의 경사도 및 경험적으로 미리 결정된 가중치 함수에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 가중치를 결정하여 가중치 세트를 생성하고,
   캘리브레이션된 눈-움직임 신호 세트를 결정하기 위해 상기 복수의 눈-움직임 신호 세트들에 상기 가중치 세트를 적용하도록
   추가로 구성되는 장치.
7. 제1항에 있어서,
   상기 눈-움직임 신호들은 복수의 눈-움직임 신호 세트들을 포함하고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 각각의 센서에 의해 기록되고, 각각의 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 나머지 센서에 의해 기록된 복수의 눈-움직임 신호 세트들과 독립적이고,
   상기 프로세서는,
   상기 복수의 눈-움직임 신호 세트들에서 누락된 데이터 포인트 세트를 식별하고,
   상기 눈-추적기로부터, 상기 적어도 2개의 센서와 관련된 정보를 수신하고,
   상기 적어도 2개의 센서와 관련된 정보에 기초하여, 시뮬레이션된 사용자의 시뮬레이션된 눈-움직임 세트의 운동학적 모델(kinematics model)을 생성하고,
   상기 운동학적 모델에 기초하여, 복수의 시뮬레이션된 눈-움직임 신호 세트들을 컴퓨팅하고 - 각각의 시뮬레이션된 눈-움직임 신호 세트는 상기 적어도 2개의 센서 중의 각각의 센서와 연관됨 -,
   상기 복수의 시뮬레이션된 눈-움직임 신호 세트들에 기초하여, 상기 적어도 2개의 센서로부터 수신된 눈-움직임 신호들에서 상기 누락된 데이터 포인트 세트를 대체하기 위해 대체 데이터 포인트 세트를 컴퓨팅하고,
   상기 누락된 데이터 포인트 세트를 대체하고 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 캘리브레이션된 눈-움직임 신호들을 생성하기 위해 상기 대체 데이터 포인트 세트를 통합하도록
   추가로 구성되고, 상기 사용자의 초점은 상기 캘리브레이션된 눈-움직임 신호들에 기초하여 결정되는 장치.
8. 제1항에 있어서, 상기 눈-추적기는 적어도 4개의 센서를 포함하고, 상기 4개의 센서는 2개의 직교 축을 따라 위치 결정되고, 상기 프로세서는, 상기 눈-움직임 신호들에 기초하여, 상기 2개의 직교 축에 상대적인 대응되는 응시 벡터 세트를 컴퓨팅하도록 추가로 구성되고, 상기 응시 벡터 세트는 상기 사용자의 눈의 응시 각도를 집합적으로 나타내도록 구성되는 장치.
9. 제1항에 있어서, 상기 눈-움직임 신호들은 제1 시점에서 상기 사용자의 눈의 응시 각도에 대응하고, 상기 프로세서는, 상기 눈-움직임 신호들에 기초하여, 상기 제1 시점과 상이한 제2 시점에서 상기 사용자의 눈의 응시 각도를 결정하도록 추가로 구성되고, 상기 제2 시점은 상기 제1 시점 이후에 발생하는 장치.
10. 제1항에 있어서, 상기 눈-움직임 신호들은 제1 시점에서 상기 사용자의 눈의 응시 각도에 대응하고 상기 제1 시점에서 운동량의 제1 측정값과 연관되고, 상기 프로세서는, 상기 눈-움직임 신호들, 상기 제1 시점에서의 응시 각도 및 상기 제1 시점에서의 운동량의 제1 측정값에 기초하여, 상기 제1 시점과 상이한 제2 시점에서 상기 사용자의 눈의 응시 각도를 결정하도록 추가로 구성되고, 상기 제2 시점은 상기 제1 시점 이후에 발생하는 장치.
11. 제1항에 있어서, 상기 사용자에 의해 생성된 신경 신호들을 기록하도록 구성되는 신경 기록 디바이스를 추가로 포함하고, 상기 신경 신호들은 뇌파 검사(electroencephalogram)(EEG) 신호들을 포함하고, 상기 초점은 계산된 초점이고,
    상기 프로세서는,
    상기 EEG 신호들을 수신하고 - 상기 EEG 신호들은 시각적 유발 전위들(visually evoked potentials)(VEP), 청각적 유발 전위들(auditory evoked potentials)(AEP), 운동 이미지 신호들(motor imagery signals), 이벤트 관련 전위들(Event Related Potentials)(ERP) 및 뇌 상태 의존 신호들(brain state dependent signals) 중 적어도 하나를 포함함 -,
    상기 EEG 신호들에 기초하여, 상기 사용자의 예상되는 초점을 결정하고,
    상기 계산된 초점과 상기 예상되는 초점 사이의 비교에 기초하여, 상기 계산된 초점과 연관된 오차 척도(measure of error)를 컴퓨팅하고,
    상기 오차 척도에 기초하여, 상기 계산된 초점을 정정하여 상기 사용자의 캘리브레이션된 초점을 생성하도록
    추가로 구성되는 장치.
12. 프로세서에 의해 실행될 명령어들을 나타내는 코드를 저장하는 비-일시적 프로세서 판독 가능 매체로서,
    상기 명령어들은, 상기 프로세서로 하여금,
    사용자에 의해, 액션 세트를 수행하기 위해 조작될 수 있는 인터랙티브 사용자 환경을 생성하게 하고,
    상기 인터랙티브 사용자 환경을 통해 상기 사용자에게 제시될 수 있는 자극 세트를 정의하게 하고,
    상기 디스플레이를 통해, 상기 사용자에게 상기 자극 세트로부터 적어도 하나의 자극을 제시하게 하고,
    눈-추적기로부터, 상기 사용자에 의해 생성된 눈-움직임 신호들을 수신하게 하고,
    캘리브레이션된 눈-움직임 신호 세트를 생성하기 위해, 상기 제시된 자극과 관련된 정보에 기초하여 상기 눈-움직임 신호들을 자동으로 캘리브레이션하게 하고,
    상기 캘리브레이션된 눈-움직임 신호 세트 및 상기 제시된 자극에 기초하여, 상기 사용자의 초점을 결정하게 하고,
    상기 초점에 기초하여, 상기 사용자에 의해 의도된 액션을 결정하게 하고,
    상기 인터랙티브 사용자 환경을 통해 상기 액션을 구현하게 하는
    코드를 포함하는 비-일시적 프로세서 판독 가능 매체.
13. 제12항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    3차원 공간에서 객체들의 그리드를 제시하게 하고,
    제1 위치에서 그래픽 표시기를 제시하고, 상기 사용자의 초점을 상기 제1 위치로 향하게 하도록 구성되게 하고,
    상기 그래픽 표시기의 제시에 기초하여, 상기 사용자의 예상되는 초점을 결정하게 하고,
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 실제 초점을 결정하게 하고,
    상기 예상되는 초점과 상기 실제 초점의 비교에 기초하여, 상기 눈-추적기의 신뢰도의 측정값을 컴퓨팅하게 하는
    코드를 포함하고, 상기 신뢰도의 측정값은 상기 캘리브레이션된 눈-움직임 신호 세트를 생성하는 데 사용되는 비-일시적 프로세서 판독 가능 매체.
14. 제13항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    3차원 공간에서 객체들의 그리드를 생성하게 하고 - 상기 그리드는 미리 결정된 객체 밀도를 갖도록 구성되고, 상기 미리 결정된 밀도는 상기 눈-추적기의 신뢰도의 측정값의 입도 표시에 대응함 -,
    상기 미리 결정된 객체 밀도의 값의 수정을 허용하도록 구성되는 밀도 제어를 생성하게 하는
    코드를 포함하는 비-일시적 프로세서 판독 가능 매체.
15. 제12항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 눈-추적기의 신뢰도에 대한 공간 맵을 생성하게 하는 코드를 포함하고, 상기 공간 맵은 상기 디스플레이의 공간 영역에 대응하도록 구성되는 비-일시적 프로세서 판독 가능 매체.
16. 제12항에 있어서,
    상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 사용자의 주의(attention)가 집중될 높은 가능도(likelihood)를 갖도록 구성되는 숨은 고정 자극 세트(set of covert fixation stimuli)를 정의하게 하고 - 상기 숨은 고정 자극 세트는 더 높은 시각적 현저성(visual salience)을 가짐 -,
    제1 위치에서 상기 사용자에게 적어도 하나의 숨은 고정 자극을 제시하게 하고,
    상기 숨은 고정 자극의 제시에 기초하여, 상기 사용자의 예상되는 초점을 결정하게 하고,
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 실제 초점을 결정하게 하고,
    상기 예상되는 초점과 상기 실제 초점의 비교에 기초하여, 상기 캘리브레이션된 눈-움직임 신호 세트를 컴퓨팅하게 하는
    코드를 포함하는 비-일시적 프로세서 판독 가능 매체.
17. 제12항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 사용자의 주의가 집중될 높은 가능도를 갖도록 구성되는 숨은 고정 자극 세트를 정의하게 하고 - 상기 숨은 고정 자극 세트는 휘도의 증가된 콘트라스트, 동적 움직임 또는 증가된 공간 주파수 중 적어도 하나를 가짐 -,
    제1 위치에서 상기 사용자에게 적어도 하나의 숨은 고정 자극을 제시하게 하고,
    상기 숨은 고정 자극의 제시에 기초하여, 상기 사용자의 예상되는 초점을 결정하게 하고,
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 실제 초점을 결정하게 하고,
    상기 예상되는 초점과 상기 실제 초점의 비교에 기초하여, 상기 캘리브레이션된 눈-움직임 신호 세트를 컴퓨팅하게 하는
    코드를 포함하는 비-일시적 프로세서 판독 가능 매체.
18. 제12항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 사용자에 의한 시각적 검색을 프롬프트하도록 구성되는 스케일링-바이어스 캘리브레이션 자극을 제시하게 하고,
    상기 눈-추적기로부터, 상기 사용자에 의한 시각적 검색에 의해 생성된 캘리브레이션 눈-움직임 신호 세트를 수신하게 하고,
    상기 캘리브레이션 눈-움직임 신호 세트에 기초하여, 제1 축을 따라 상기 사용자의 제1 최대 및 제1 최소 응시 포지션을 결정하게 하고,
    상기 캘리브레이션 눈-움직임 신호 세트에 기초하여, 상기 제1 축에 직교하는 제2 축을 따라 상기 사용자의 제2 최대 및 제2 최소 응시 포지션을 결정하게 하고,
    상기 제1 최대 및 제1 최소 응시 포지션 및 상기 제2 최대 및 제2 최소 응시 포지션 및 스케일링-바이어스 캘리브레이션 자극에 기초하여, 상기 사용자의 눈-움직임 세트와 연관된 스케일링 측정값 및 바이어스 측정값을 컴퓨팅하게 하는
    코드를 포함하고, 상기 캘리브레이션된 눈-움직임 신호 세트는 상기 스케일링 측정값 및 상기 바이어스 측정값에 기초하여 생성되는 비-일시적 프로세서 판독 가능 매체.
19. 제18항에 있어서, 상기 스케일링 측정값 및 바이어스 측정값 중 적어도 하나는 상기 제1 축 또는 상기 제2 축을 따른 응시 포지션과 연관된 편심(eccentricity) 측정값과 지수 관계를 갖도록 구성되는 비-일시적 프로세서 판독 가능 매체.
20. 제12항에 있어서, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 사용자의 눈에 상대적인 제1 위치에서 적어도 하나의 인터랙티브 객체를 포함하는 3차원 자극을 제시하게 하고,
    상기 눈-움직임 신호들로부터 평활-추격 신호 세트(set of smooth-pursuit signals)를 추출하게 하고 - 상기 평활 추격 신호들은 상기 사용자의 신체에 상대적인 상기 제1 위치에 대응하는 상기 사용자의 눈의 초점의 궤적을 나타냄 -,
    신체-추적기로부터, 상기 사용자의 신체 움직임 궤적을 수신하게 하고,
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 초점의 계산된 궤적을 결정하게 하고,
    상기 사용자에 상대적인 상기 제1 위치 및 상기 신체 움직임의 궤적에 기초하여, 상기 사용자의 초점의 예상되는 궤적을 결정하게 하고,
    상기 계산된 궤적과 예상되는 궤적 사이의 비교에 기초하여, 상기 사용자의 초점의 결정과 연관된 정확도의 측정값을 결정하게 하는
    코드를 포함하고, 상기 캘리브레이션된 눈-움직임 신호 세트는 상기 사용자의 초점의 결정과 연관된 정확도의 측정의 측정값에 기초하여 생성되는 비-일시적 프로세서 판독 가능 매체.
21. 제12항에 있어서,
    입력들을 수신하기 위한 코드는, 상기 프로세서로 하여금, 신경 기록 디바이스로부터, 상기 사용자에 의해 생성된 뇌파 검사(EEG) 신호들을 수신하게 하고 - 상기 EEG 신호들은 시각적 유발 전위들(VEP), 청각적 유발 전위들(AEP), 운동 이미지 신호들, 이벤트 관련 전위들(ERP) 및 뇌 상태 의존 신호들 중 적어도 하나를 포함함 -,
    상기 초점은 계산된 초점이고, 상기 눈-움직임 신호들을 자동으로 캘리브레이션하기 위한 코드는, 상기 프로세서로 하여금,
    상기 EEG 신호들에 적어도 부분적으로 기초하여, 상기 사용자의 예상되는 초점을 결정하게 하고,
    상기 계산된 초점과 상기 예상되는 초점 사이의 비교에 기초하여, 상기 계산된 초점의 결정과 연관된 정확도의 측정값을 컴퓨팅하게 하는
    코드를 포함하고, 상기 캘리브레이션된 눈-움직임 신호들의 세트는 상기 사용자의 초점의 결정과 연관된 정확도의 측정의 측정값에 기초하여 생성되는 비-일시적 프로세서 판독 가능 매체.
22. 방법으로서,
    사용자에게 디스플레이를 통해, 인터랙티브 사용자 인터페이스에 포함된 자극을 제시하는 단계;
    눈-추적기로부터, 사용자 거동과 연관된 눈-움직임 신호들을 수신하는 단계 - 상기 눈-움직임 신호들은 상기 눈-추적기 상에 위치 결정되는 적어도 2개의 센서에 의해 독립적으로 기록됨 -;
    상기 제시된 자극과 관련된 정보를 수신하는 단계;
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 초점을 결정하는 단계;
    상기 초점 및 상기 자극에 기초하여, 상기 사용자에 의해 의도된 액션을 결정하는 단계; 및
    상기 인터랙티브 사용자 인터페이스를 통해 상기 액션을 구현하는 단계
    를 포함하는 방법.
23. 제22항에 있어서, 상기 자극을 제시하는 단계는 상기 디스플레이와 연관된 디스플레이 렌즈를 통해 상기 자극의 이미지를 투영하는 단계를 포함하는 방법.
24. 제22항에 있어서, 상기 자극과 관련된 정보를 수신하는 단계는 상기 디스플레이의 속성들과 관련된 정보를 포함하는 방법.
25. 제22항에 있어서,
    상기 디스플레이에 상대적인 상기 적어도 2개의 센서 중의 각각의 센서의 위치 결정의 표시 및 상기 사용자의 눈에 상대적인 상기 적어도 2개의 센서 중의 각각의 센서의 위치 결정의 표시를 포함하는, 상기 적어도 2개의 센서와 관련된 정보를 수신하는 단계
    를 추가로 포함하는 방법.
26. 제22항에 있어서, 상기 초점을 결정하는 단계는 상기 적어도 2개의 센서 중의 각각의 센서에 의해 기록된 눈-움직임 신호들과 연관된 응시 벡터를 계산하는 것에 기초하고,
    상기 방법은,
    상기 눈-움직임 신호들에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 응시 벡터를 컴퓨팅하는 단계 - 상기 응시 벡터는 상기 사용자의 눈의 응시 각도를 나타냄 -;
    상기 적어도 2개의 센서 중의 각각의 센서와 연관된 응시 벡터의 경사도를 결정하는 단계 - 상기 응시 벡터의 경사도는 상기 적어도 2개의 센서 중의 해당 센서와 연관된 수직각에 상대적임 -;
    상기 적어도 2개의 센서 중의 각각의 센서와 연관된 응시 벡터의 경사도에 기초하여, 상기 적어도 2개의 센서 중의 각각의 센서와 연관된 가중치들을 정의하여 가중치 세트를 생성하는 단계; 및
    캘리브레이션된 눈-움직임 신호 세트를 컴퓨팅하기 위해 상기 적어도 2개의 센서 중의 각각의 센서에 의해 독립적으로 기록된 눈-움직임 신호들에 상기 가중치 세트를 적용하는 단계
    를 추가로 포함하고, 상기 초점을 결정하는 단계는 상기 캘리브레이션된 눈-움직임 신호 세트에 기초하는 방법.
27. 제22항에 있어서, 상기 눈-추적기로부터 수신하는 단계는 적어도 4개의 센서에 의해 기록된 눈-움직임 신호들을 수신하는 단계를 포함하고,
    상기 방법은,
    상기 눈-움직임 신호들에 기초하여, 상기 사용자의 눈의 응시 벡터 세트를 컴퓨팅하는 단계 - 상기 응시 벡터 세트로부터의 각각의 응시 벡터는 상기 적어도 4개의 센서 중의 각각의 센서와 연관됨 -,
    제1 축 및 상기 제1 축에 직교하는 제2 축을 따라 상기 응시 벡터 세트를 분해하는(resolving) 단계;
    상기 제1 센서 세트와 연관된 응시 벡터들의 제1 가중 평균에 기초하여 제1 평균 응시 벡터를 컴퓨팅하는 단계 - 상기 제1 센서 세트는 상기 제1 축을 따라 그룹화됨 -;
    상기 제2 센서 세트와 연관된 응시 벡터들의 제2 가중 평균에 기초하여 제2 평균 응시 벡터를 컴퓨팅하는 단계 - 상기 제2 센서 세트는 상기 제2 축을 따라 그룹화됨 -; 및
    상기 제1 평균 응시 벡터 및 상기 제2 평균 응시 벡터에 기초하여 캘리브레이션된 응시 벡터를 컴퓨팅하는 단계
    를 추가로 포함하고, 상기 사용자의 초점은 상기 캘리브레이션된 응시 벡터에 기초하여 결정되는 방법.
28. 제22항에 있어서,
    상기 눈-움직임 신호들에 기초하여, 양안 응시 벡터 세트(set of binocular gaze vectors)의 교차점을 결정하는 단계 - 상기 교차점은 상기 사용자의 초점을 나타냄 -;
    헤드-추적기(head-tracker)로부터, 상기 사용자로부터의 헤드-움직임 신호들을 수신하는 단계;
    상기 헤드-움직임 신호들에 기초하여 상기 사용자의 눈들의 평면을 결정하는 단계;
    상기 자극의 2차원 투영을 컴퓨팅하는 단계 - 상기 자극은 3차원이고, 상기 2차원 투영은 상기 사용자의 눈들의 평면에 평행한 평면 상에 있음 -;
    2차원 영역을 정의하는 경계를 생성하는 단계 - 상기 2차원 영역은 상기 자극의 2차원 투영에 포함되고, 상기 자극의 객체와 연관됨 -;
    상기 사용자의 초점과 상기 객체와 연관된 2차원 영역 사이의 중첩을 계산하는 단계; 및
    상기 중첩에 기초하여, 상기 사용자의 초점과 상기 객체 사이의 인터랙션(interaction)을 결정하는 단계
    를 추가로 포함하고, 상기 사용자에 의해 의도된 액션을 결정하는 단계는 상기 사용자의 초점과 상기 객체 사이의 인터랙션에 기초하는 방법.
29. 제28항에 있어서,
    상기 자극에 포함된 인터랙티브 객체 세트를 식별하는 단계;
    상기 인터랙티브 객체 세트의 밀도를 계산하는 단계; 및
    상기 인터랙티브 객체 세트의 밀도에 기초하여 경계-스케일링 계수(boundary-scaling factor)를 정의하는 단계
    를 추가로 포함하고, 상기 2차원 영역을 정의하는 경계를 생성하는 단계는 상기 경계-스케일링 계수에 기초하는 방법.
30. 제22항에 있어서,
    헤드-추적기로부터, 상기 사용자로부터의 헤드-움직임 신호들을 수신하는 단계;
    상기 헤드-움직임 신호들에 기초하여 상기 사용자의 눈들의 평면을 결정하는 단계;
    상기 자극의 2차원 투영을 컴퓨팅하는 단계 - 상기 자극은 3차원이고, 상기 2차원 투영은 상기 사용자의 눈들의 평면에 평행한 평면 상에 있음 -;
    상기 눈-움직임 신호들에 기초하여, 양안 응시 벡터 세트의 교차점을 결정하는 단계 - 상기 교차점은 상기 사용자의 초점을 나타냄 -;
    2차원 영역을 정의하는 경계를 생성하는 단계 - 상기 2차원 영역은 상기 자극의 2차원 투영에 포함되고, 상기 자극에서의 인터랙티브 객체와 연관됨 -;
    상기 2차원 영역에 매핑된 포인트 세트를 식별하는 단계;
    상기 포인트 세트에 기초하여, 상기 인터랙티브 객체와 연관된 볼록 껍질(convex hull)을 계산하는 단계;
    상기 사용자의 초점과 상기 인터랙티브 객체와 연관된 볼록 껍질 사이의 거리의 측정값을 계산하는 단계; 및
    상기 거리의 측정값에 기초하여, 상기 사용자의 초점과 상기 인터랙티브 객체 사이의 인터랙션을 결정하는 단계
    를 추가로 포함하고, 상기 사용자에 의해 의도된 액션을 결정하는 단계는 상기 사용자의 초점과 상기 객체 사이의 인터랙션에 기초하는 방법.

Images