KR20220093380A

KR20220093380A - 시각적 뇌-컴퓨터 인터페이스

Info

Publication number: KR20220093380A
Application number: KR1020227020354A
Authority: KR
Inventors: 넬슨 슈타인메츠; 시드 쿠이데르; 로빈 제라파; 기욤 플로이아르트
Original assignee: 넥스트마인드 에스에이에스
Priority date: 2019-11-20
Filing date: 2020-11-06
Publication date: 2022-07-05
Also published as: WO2021099148A1; US20220409094A1; CN114746830A; EP4062262A1

Abstract

시각적 주의를 추적하기 위한 방법 및 시스템이 개시된다. 특성 변조를 갖는 적어도 하나의 시각적 자극을 생성하고 ― 특성 변조는 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―, 디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 시각적 자극 또는 각각의 시각적 자극을 디스플레이함으로써, 신경 응답이 사용자의 뇌에서 유도될 수 있다. EEG 디바이스와 같은 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신함으로써, (사용자가 시각적 자극을 뷰잉할 때) 신경 신호들에 기초하여 사용자의 초점이 결정될 수 있는데, 그 이유는 신경 신호들이 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함하기 때문이다.

Description

시각적 뇌-컴퓨터 인터페이스

관련 출원들에 대한 상호 참조

본 출원은, 2019년 11월 20일자로 출원되고 발명의 명칭이 "Brain-Computer Interface"이고 일련 번호 제62/938,098호를 갖는 미국 가특허 출원을 우선권으로 주장하고, 이 미국 가특허 출원은 그 전체 내용이 본원에 참조로 포함된다.

기술 분야

본 발명은 시각적 감지를 수반하는 뇌-컴퓨터 인터페이스들의 동작에 관한 것이다.

시각적 뇌-컴퓨터 인터페이스(brain-computer interface)(BCI)들에서, 일반적으로 사용자에게 제시되는 복수의 생성된 시각적 자극들 중 타겟 자극에 대한 신경 응답들은 임의의 주어진 시간에 어느 자극이 본질적으로 초점 오브젝트인지를 추론(또는 "디코딩")하는 데 사용된다. 이어서, 초점 오브젝트는 사용자 선택가능 또는 제어가능 액션과 연관될 수 있다.

신경 응답들은 다양한 알려져 있는 기법들을 사용하여 획득될 수 있다. 하나의 편리한 방법은 표면 뇌파검사(electroencephalography)(EEG)에 의존하고, 이는 비침습적이고, 세밀한 시간 해상도를 갖고, 잘 알려져 있는 경험적 기초들에 기초한다. 표면 EEG는 피험자의 두개골의 표면(즉, 두피) 상의 확산 전위들의 변동들을 실시간으로 측정하는 것을 가능하게 한다. 이러한 전위들의 변동들은 뇌파검사 신호들 또는 EEG 신호들로 통상적으로 지칭된다.

전형적인 BCI에서, 시각적 자극들은 디스플레이 디바이스에 의해 생성되는 디스플레이에서 제시된다. 적합한 디스플레이 디바이스들의 예들(이들 중 일부는 도 9에 예시됨)은 텔레비전 스크린들 및 컴퓨터 모니터들(902), 프로젝터들(910), 가상 현실 헤드셋들(906), 대화형 화이트보드들, 및 태블릿들(904), 스마트폰들, 스마트 안경들(908)의 디스플레이 스크린 등을 포함한다. 시각적 자극들(911, 911', 912, 912', 914, 914', 916, 918)은 생성되는 그래픽 사용자 인터페이스(GUI)의 일부를 형성할 수 있거나, 또는 그들은 베이스 이미지를 오버레이하는 증강 현실(AR) 또는 혼합 현실 그래픽 오브젝트들(916)로서 제시될 수 있고: 이 베이스 이미지는 단순히 (스마트 안경 세트의 다른 투명 디스플레이 상에 투영되는 혼합 현실 디스플레이 기능의 경우에서와 같이) 사용자의 실제 시야일 수 있거나, 또는 사용자의 시야에 대응하지만 광학 캡처 디바이스에 의해 실시간으로 캡처되는 디지털 이미지(광학 캡처 디바이스는 결국 다른 가능한 뷰들 중 사용자의 시야에 대응하는 이미지를 캡처할 수 있음)일 수 있다.

임의의 주어진 시간에 복수의 시각적 자극들 중 어느 것(존재하는 경우)이 초점 오브젝트인지를 추론하는 것은 어려운 일이다. 예컨대, 사용자가, 예컨대, 온-스크린 키패드 상에 디스플레이되는 숫자들과 같은 다수의 자극들과 대면하고 있을 때, 주어진 시간에 뇌 활동으로부터 직접적으로 어느 것에 초점이 맞춰져 있는지를 추론하는 것은 거의 불가능한 것으로 입증되었다. 사용자는 초점이 맞춰진 숫자, 이를테면 숫자 5를 인식하고, 그에 따라, 뇌는 그 숫자를 다른 숫자들과 구별하는 정보를 포함해야 하지만, 현재의 방법들은 그 정보를 추출하는 것이 가능하지 않다. 즉, 현재의 방법들은 자극이 인식된 것을 간신히 추론할 수 있지만, 그들은 뇌 활동만을 사용하여 어느 특정 자극에 초점이 맞춰져 있는지를 결정할 수 없다.

이 문제를 극복하고 자극과 배경 사이의(그리고 자극들 사이의) 충분한 콘트라스트를 제공하기 위해, 시각적 BCI들에 의해 사용되는 자극들을 블링크 또는 펄스(예컨대, 흑색으로부터 백색으로 그리고 그 반대로 스위칭하는 픽셀들의 큰 표면들)로 구성하는 것이 알려져 있고, 그에 따라, 각각의 자극은 시간 경과에 따라 구별가능한 특성 프로파일을 갖게 된다. 점멸 자극들은 측정가능한 전기적 응답들을 발생시킨다. 특정 기법들은 상이한 전기적 응답들, 예컨대, 정상 상태 시각적 유발 전위(steady state visual evoked potential)(SSVEP)들 및 P-300 이벤트 관련 전위들을 모니터링한다. 전형적인 구현들에서, 자극들은 6 Hz 초과의 레이트로 점멸한다. 결과로서, 이러한 시각적 BCI들은 다양한 자극들을 지속적으로 디스플레이하기보다는 불연속적으로 디스플레이하고, 전형적으로는 상이한 시점들에 디스플레이하는 것으로 구성된 접근법에 의존한다. 주어진 자극에 집중되는 주의와 연관된 뇌 활동은 그 자극의 시간적 프로파일의 하나 이상의 양태, 예컨대, 자극이 블링킹 상태와 정지 상태 사이에서 교번하는 듀티 사이클 및/또는 자극 블링크의 주파수에 대응(즉, 상관)하는 것으로 밝혀졌다.

따라서, 신경 신호들의 디코딩은, 자극이 턴 온될 때, 자극이 EEG 디바이스의 전극들, 예컨대, EEG 헬멧의 전극들에 의해 픽업되는 전기적 신호들, 즉, SSVEP들로부터 결정될 수 있는 뇌의 신경 응답들의 특성 패턴을 트리거할 것이라는 사실에 의존한다. 이 신경 데이터 패턴은 다양한 숫자들에 대해 매우 유사하거나 또는 심지어 동일할 수 있지만, 이는 인식되는 숫자에 대해 시간 고정되고: 임의의 하나의 시간에 하나의 숫자만이 펄싱될 수 있고, 그에 따라, 그 숫자가 펄싱된 시간 및 펄싱된 신경 응답과의 상관은 그 숫자가 초점 오브젝트라는 표시로서 결정될 수 있다.

상이한 시점들에 각각의 숫자를 디스플레이하고/하거나, 상이한 레이트들로 그 숫자를 턴 온 및 오프하고/하거나, 상이한 듀티 사이클들을 적용하고/하거나, 단순히 상이한 시점들에 자극을 적용함으로써, BCI 알고리즘은, 턴 온될 때, 어느 자극이 주어진 신경 응답을 트리거할 가능성이 가장 높은지를 확립할 수 있고, 이에 의해, 시스템이 초점이 맞춰진 타겟을 결정하는 것을 허용할 수 있다.

시각적 BCI들은 최근 몇 년 동안 상당히 개선되었고, 그에 따라, 사용자의 초점의 실시간 및 정확한 디코딩이 점점 더 실용화되고 있다. 그럼에도 불구하고, 때때로 다수의 자극들이 있을 때 스크린 전체에 걸쳐 자극들이 지속적으로 블링킹하는 것은 이러한 기술을 대규모로 사용하는 것에 대한 본질적인 제한이다. 실제로, 이는 불편함 및 정신적 피로를 야기할 수 있고, 지속되는 경우, 두통과 같은 생리적 응답들을 야기할 수 있다. 추가하여, 블링킹 효과는 사용자가 특정 타겟에 초점을 맞추는 능력, 및 시스템이 초점 오브젝트를 신속하고 정확하게 결정하는 능력을 방해할 수 있다.

도 3a는 주변 시각의 효과들을 예시한다. 피험자(305)는 키보드 내의 복수의 숫자들(310, 312)을 디스플레이하는 디스플레이 스크린(302)을 뷰잉하는 것으로 도시된다. 피험자가 위에서 논의된 온-스크린 키패드 내의 숫자 "5"(310)에 초점을 맞추려고 시도할 때, 다른(즉, 주변) 숫자들(이를테면, "3"(312))은 방해자들로서 작용하고, 그들의 존재 및 그들이 블링킹 효과를 나타내고 있다는 사실은 일시적으로 사용자의 주의를 끈다. 주변 숫자들의 디스플레이는 사용자의 시각 시스템에서 간섭을 유도한다. 이러한 간섭은 차례로 BCI의 성능을 방해한다. 결과적으로, 사용자가 어느 것에 초점을 맞추고 있는지를 결정하기 위해 스크린 타겟들 및 그들의 디스플레이 자극들을 구별하고, 타겟 주변에 있는 오브젝트들(방해자들)로부터 초점 오브젝트(타겟)를 신속하고 정확하게 판별하기 위한 개선된 방법이 필요하다.

통상적으로, 시각적 자극들은 높은 에너지의 균일한 광(밝은 백색 형상들) 또는 조악한 체커보드들로 채워지는 스크린 표면의 상당한 양을 차지할 것이다. 이러한 큰 표면들은 시각적 BCI 시스템에 전용되는 상태로 유지될 것이고, 시각적 자극 이외의 임의의 다른 목적들을 위해 사용될 수 없다. 이러한 큰 자극 표면들은 시각적 BCI 시스템의 미세하고 개별적인 통합과 일치하지 않고, 도 9에 예시된 것들과 같은 디스플레이 디바이스들 내의 사용자 인터페이스들에 대한 설계 자유도에 제한들을 둔다.

의료 또는 관련 연구 분야들에서 알려져 있는 시스템들은 일반적으로, 개별 센서들/전극들을 수용하기 위한 부착 위치들을 갖는 머리 장착형 디바이스를 포함한다. 이어서, 전자 회로들은 전극들 및 취득 체인(즉, EEG 신호들을 취득하는 데 사용되는 연결된 구성요소들의 조립체)의 하우징에 연결된다. 따라서, EEG 디바이스는 전형적으로, 오퍼레이터/전시자가 각각의 사용 시에 조립해야 하는 3개의 별개의 요소로 형성된다. 다시, EEG 디바이스의 성질은, 필수적이지는 않더라도, 기술적 보조가 바람직하도록 하는 것이다.

게다가, EEG 디바이스(및 그의 전극들)의 사용자 수용가능성은 심미적 제약들뿐만 아니라 사용의 용이성 및 편안함에서의 제약들을 부여한다. 다수의 경우들에서, 이러한 제약들은 EEG 기술의 채택에 대해 유효한 상당한 장벽이다. 장기간 사용에 대한 편안함 및 기술적 보조에 대한 필요성이 채택을 방지하는 애플리케이션들의 예들은 비디오 게임들, (예컨대, 건강 및 안전 또는 비행 시뮬레이션을 위한) 트레이닝, 수면 보조들 등과 같은 애플리케이션들을 포함한다.

따라서, 위의 난제들을 해결하는 뇌-컴퓨터 인터페이스들을 제공하는 것이 바람직하다.

본 개시내용은 뇌-컴퓨터 인터페이스에 관한 것이고, 여기서, 시각적 자극들이 그래픽 인터페이스 상에 제시되고, 그들은 신경적으로 디코딩가능하고, 개선된 사용자 경험을 제공한다.

특정 양태들에서, 본 개시내용은 오브젝트들의 필드에서 또는 단일의 큰 타겟 내의 특정 영역으로서 초점 오브젝트를 결정하는 것의 정확도 및 속도를 개선하기 위한 시스템 및 방법을 설명한다. 모든 오브젝트들에 대한 이미지 데이터는 각각의 오브젝트에 대한 고 공간 주파수(HSF) 성분들만으로 구성된 버전을 추출하기 위해 프로세싱된다.

본 개시내용은 사용자의 시야 내에서 (전형적으로, 그러나, 사용자에게 제시되는 디스플레이 상에 항상 있는 것은 아닌) (잠재적인) 관심 오브젝트들을 취하고, 그러한 오브젝트들의 시각적 특성들(예컨대, 그들의 에지들)과 관련된 성분들을 추출하고, 그러한 시각적 특성들의 고 공간 주파수 성분에 변조를 적용하기 위한 기법들에 관한 것이다. 따라서, 시각적 유발 전위(VEP)들과 같은 신경 응답들을 도출하는 데 사용되는 블링킹 시각적 자극은 오브젝트들의 HSF 버전을 통해서만 전달될 수 있다. 변조는 변조가 상관되는 신경 응답에 대한 자극으로서 작용하도록, 오브젝트를 블링킹하게 하거나 또는 다른 방식으로 시각적으로 변경되게 한다. 차례로, 신경 응답은 어느 관심 오브젝트가 사용자의 주의 집중인지를 결정하기 위해 측정되고 디코딩될 수 있다.

특정 양태들에서, 이미지 데이터는 저 공간 주파수(LSF) 성분들만으로 구성된 오브젝트의 추가 버전을 추출하기 위해 추가로 프로세싱될 수 있다. LSF 버전이 추출되는 경우, 변조된 HSF 버전은 (블링킹하지 않는) LSF 버전 상에 중첩될 수 있다.

일 양태에서, 본 개시내용은 폐쇄 루프 피드백 시스템을 포함하고, 여기서, 사용자는 스크린 및 그의 오브젝트들을 응시하고, 전극들의 헬멧을 사용하여 신경 활동이 신호들로서 캡처되고, 신경 활동으로부터 검출되고 각각의 오브젝트와 연관된 HSF의 비율들은 사용자의 초점 오브젝트가 변화됨에 따라 변화될 것이다. 이는 상이한 레이트들 및 듀티 사이클들로 오브젝트들을 블링킹시키는 것과 다소 동등하지만, 블링킹 디스플레이 오브젝트들이 본질적으로 HSF 응답들을 유발하는 것들(예컨대, HSF 버전들)이 되도록 하는 필터링으로 인해 훨씬 더 적은 간섭을 제시한다. 오브젝트가 주변에 있는 경우, 그의 HSF 버전의 블링킹은 자연스럽게 인간의 시각적 거동에 의해 억제된다. 그러나, 그 HSF 버전이 블링킹하는 초점 오브젝트는 쉽게 식별가능한 신경 응답을 유발할 것이다. 결과로서, 간섭이 상당히 줄어들어, 경험을 더 편안하게 하고, 초점 오브젝트의 식별을 더 정확할 뿐만 아니라 적시에 이루어지게 한다.

본 개시내용은 더 일반적인 범위의 잠재적인 관심 오브젝트들과 관련하여 인식가능한 변조의 부과를 허용하도록 기법을 추가로 확장한다. 확장된 기법은 더 넓은 범위의 자연 조명에 있고 더 넓은 범위의 공간적 텍스처를 갖는 오브젝트들에 적용가능하다. 균일하고 평활한 오브젝트들은 그들이 효과적인 직접 변조를 허용하기에 불충분한 HSF 성분들을 보유할 때에도 신경적으로 디코딩가능한 자극들이 될 수 있다.

추가 양태에 따르면, 본 개시내용은 시각적 주의를 추적하는 방법에 관한 것이고, 방법은, 베이스 이미지를 획득하는 단계; 적어도 하나의 시각적 자극을 생성하는 단계 ― 각각의 자극은 특성 변조를 갖고, 특성 변조는 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―; 디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계; 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 단계; 및 사용자가 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 신경 신호들에 기초하여, 뷰잉되는 이미지에서 사용자의 초점을 결정하는 단계를 포함하고, 신경 신호들은 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함한다.

임의의 특정 요소 또는 행위의 논의를 쉽게 식별하기 위해, 참조 번호에서 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 지칭한다.
도 1은 본 개시내용에 따른, EEG 신호들을 수신하고 프로세싱하기 위한 전자 아키텍처를 예시한다.
도 2는 본 개시내용에 따른, 뇌-컴퓨터 인터페이스(BCI)를 포함하는 시스템을 예시한다.
도 3a는 본 개시내용에서 논의되는 바와 같은 중심와 영역 대 주변 시각을 예시한다.
도 3b는 초점 오브젝트를 포함하는 스크린 오브젝트들이 모두 상이한 레이트들 및 시간들에서 블링킹하는 동안 오브젝트에 초점을 맞추고 있는 사용자를 예시한다.
도 4는 오브젝트들이 시작 시간, 주파수, 및 듀티 사이클에 관하여 구별되는 블링킹 패턴들을 각각 제공받는 블링크 제어 패턴의 예이다.
도 5a 및 도 5b는 스크린 디스플레이 오브젝트가 필터링되어 HSF 버전 및 LSF 버전을 생성한 후에 버전들이 중첩될 수 있는 방법을 예시한다.
도 6은 스크린 오브젝트들의 HSF 버전들은 블링킹하고 있는 반면 LSF 버전들은 정적으로 유지되는 예시적인 실시예를 예시한다.
도 7은 스크린 오브젝트들이 정적으로 유지되면서 오버레이 오브젝트들이 HSF 및 LSF 버전들로 분할되고, HSF 오버레이 버전들이 블링킹하고 있는 반면 LSF 버전들은 정적으로 유지되는 다른 예시적인 실시예를 예시한다.
도 8a, 도 8b, 및 도 8c는 본 개시내용의 방법의 동작의 추가 양태들을 예시한다.
도 9는 본 개시내용의 방법과 함께 사용하는 데 적합한 디스플레이 디바이스의 다양한 예들을 예시한다.
도 10은 일부 예시적인 실시예들에 따른, 본 개시내용이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
도 11은 일부 예시적인 실시예들에 따른, 머신으로 하여금 논의되는 방법들 중 임의의 하나 이상을 수행하게 하기 위해 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 도식적 표현이다.
도 12는 본 개시내용에 따른, BCI의 동작의 방법에서의 주요 기능 블록들을 예시한다.
도 13은 도 12와 관련하여 위에서 설명된 바와 같은 시각적 자극을 생성하기 위한 베이스 이미지의 프로세싱을 예시한다.

이하의 설명은 본 개시내용의 예시적인 실시예들을 구현하는 시스템들, 방법들, 기법들, 명령어 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 이하의 설명에서, 설명의 목적들을 위해, 본 발명의 주제의 다양한 실시예들의 이해를 제공하기 위해 다수의 특정 세부사항들이 제시된다. 그러나, 본 발명의 주제의 실시예들이 이러한 특정 세부사항들 없이도 실시될 수 있다는 것이 관련 기술분야의 통상의 기술자에게 자명할 것이다. 일반적으로, 잘 알려져 있는 명령어 인스턴스들, 프로토콜들, 구조들, 및 기법들은 반드시 상세히 도시된 것은 아니다.

시각적으로 연관된 신경 신호들을 사용하는 BCI들은 사용자가 스크린 상의 어느 오브젝트들에 초점을 맞추고 있는지를 결정하는 데 사용될 수 있다.

중심와 시각 영역 내의 초점 오브젝트들은 고도의 HSF 신호 성분들과 연관된다는 것이 밝혀졌다. 유사하게, 주변 시각 영역 내의 오브젝트들은 고도의 LSF 신호 성분들과 연관된다는 것이 밝혀졌다. 따라서, 예컨대, 시각적 자극은, 이러한 관찰의 적용으로, 중심에서 완전히 가시적이게 될 수 있지만, 주변 시각에서는 효과적으로 비가시적이 될 수 있다(정상적인 상황들 하에서, 시각적 자극은 주변부에서 가시적일 것임).

다양한 필터링 방법들을 통해 HSF 및 LSF 신호 성분들의 이러한 차이들을 향상시킴으로써, BCI들의 정확도 및 속도를 개선할 수 있다.

도 1은 본 개시내용에 따른, EEG 디바이스(100)에 의한 EEG 신호들의 수신 및 프로세싱을 위한 전자 아키텍처의 예를 예시한다.

피험자(110)의 두개골의 표면 상의 확산 전위들을 측정하기 위해, EEG 디바이스(100)는 휴대용 디바이스(102)(즉, 캡 또는 헤드피스), 아날로그-디지털 변환(ADC) 회로부(104), 및 마이크로제어기(106)를 포함한다. 도 1의 휴대용 디바이스(102)는 하나 이상의 전극(108), 전형적으로는 1개 내지 128개의 전극, 유리하게는 2개 내지 64개, 유리하게는 4개 내지 16개를 포함한다.

각각의 전극(108)은 피험자의 뉴런 활동에 의해 생성되는 전기적 신호들을 검출하기 위한 센서, 및 아날로그-디지털 변환 전에 검출된 신호를 사전 프로세싱(예컨대, 필터링 및/또는 증폭)하기 위한 전자 회로를 포함할 수 있고: 그러한 전극들은 "활성"으로 지칭된다. 활성 전극들(108)은 도 1에서 사용 중인 상태로 도시되어 있고, 여기서, 센서는 피험자의 두피에 물리적으로 근접해 있다. 전극들은 전도성 겔 또는 다른 전도성 액체와 함께("습식" 전극들로 지칭됨) 또는 그러한 액체들 없이(즉, "건식" 전극들) 사용하는 데 적합할 수 있다.

각각의 ADC 회로(104)는 주어진 수, 예컨대 1개 내지 128개의 활성 전극(108)의 신호들을 변환하도록 구성된다.

ADC 회로들(104)은 마이크로제어기(106)에 의해 제어되고, 예컨대 프로토콜 SPI("Serial Peripheral Interface")에 의해 마이크로제어기와 통신한다. 마이크로제어기(106)는, 예컨대, 블루투스, Wi-Fi("Wireless Fidelity"), 또는 Li-Fi("Light Fidelity")에 의해, 외부 프로세싱 유닛(도시되지 않음), 예컨대, 컴퓨터, 모바일 폰, 가상 현실 헤드셋, 자동차 또는 항공 컴퓨터 시스템, 예컨대 자동차 컴퓨터 또는 비행기 컴퓨터 시스템으로 송신하기 위해, 수신된 데이터를 패키징한다.

특정 실시예들에서, 각각의 활성 전극(108)은 배터리(도 1에 도시되지 않음)에 의해 급전된다. 배터리는 휴대용 디바이스(102)의 하우징에 편리하게 제공된다.

특정 실시예들에서, 각각의 활성 전극(108)은 각각의 전위 값을 측정하고, 그 각각의 전위 값으로부터 기준 전극에 의해 측정된 전위가 차감되고(Ei = Vi - Vref), 이 차이 값은 ADC 회로(104)에 의해 디지털화된 후에 마이크로제어기(106)에 의해 송신된다.

특정 실시예들에서, 본 개시내용의 방법은 디스플레이 디바이스의 그래픽 사용자 인터페이스에서 디스플레이하기 위한 타겟 오브젝트들을 도입한다. 타겟 오브젝트들은 제어 아이템들을 포함하고, 차례로, 제어 아이템들은 사용자 선택가능 액션들과 연관된다.

도 2는 본 개시내용에 따른, 뇌-컴퓨터 인터페이스(BCI)를 포함하는 시스템을 예시한다. 시스템은 도 1에 예시된 EEG 디바이스(100)와 같은 신경 응답 디바이스(206)를 포함한다. 시스템에서, 디스플레이 디바이스(202)의 디스플레이 상에 이미지가 디스플레이된다. 피험자(204)는 디스플레이 상의 이미지를 뷰잉하고 타겟 오브젝트(210)에 초점을 맞춘다.

실시예에서, 디스플레이 디바이스(202)는 디스플레이 내의 다른 디스플레이되는 오브젝트들 및/또는 배경의 시간적 특성들과 구별되는 변화하는 시간적 특성을 갖는 그래픽 오브젝트로서 적어도 타겟 오브젝트(210)를 디스플레이한다. 변화하는 시간적 특성은, 예컨대, 6 Hz 초과의 레이트로 타겟 오브젝트의 외관을 변경하는 일정한 또는 시간 고정 점멸 효과일 수 있다. 하나 초과의 그래픽 오브젝트가 잠재적인 타겟 오브젝트인 경우(즉, 뷰잉 피험자가 주의를 집중하기 위한 타겟 오브젝트의 선택을 제공받는 경우), 각각의 오브젝트는 개별적인 공간적 및/또는 시간적 코드와 연관된다.

신경 응답 디바이스(206)는 타겟 오브젝트에 집중되는 주의와 연관된 신경 응답들(즉, 시각 피질에서의 뇌 활동을 표시하는 작은 전위들)을 검출하고; 그에 따라, 타겟 오브젝트(들)의 변화하는 시간적 특성의 시각적 인식은 피험자의 뇌에서 자극으로서 작용하여, 주의 중인 타겟 오브젝트와 연관된 코드와 일치하는 특정 뇌 응답을 생성한다. 이어서, 검출된 신경 응답들(예컨대, 전위들)은 신호들로 변환되고, 디코딩을 위해 프로세싱 디바이스(208)로 전송된다. 신경 응답들의 예들은 신경과학 연구에서 통상적으로 사용되는 시각적 유발 전위(VEP)들을 포함한다. VEP들이라는 용어는 자극들이 특정 주파수로 진동하는 위에서 언급된 바와 같은 종래의 SSVEP들, 및 자극들이 가변 또는 의사 랜덤 시간적 코드에 종속되는 코드 변조된 VEP와 같은 다른 방법들을 포함한다.

프로세싱 디바이스(208)는 실시간으로 현재의 (시각적) 주의 집중을 갖는 타겟 오브젝트를 표시하는 피드백을 결정하기 위해, 수신된 신경 신호들을 해석하는 명령어들을 실행한다. 신경 응답 신호들 내의 정보를 디코딩하는 것은 그 정보와 타겟 오브젝트(즉, 자극)의 시간적 프로파일의 하나 이상의 양태 사이의 대응에 의존한다.

특정 실시예들에서, 프로세싱 디바이스는 시간적으로 변화하는 타겟 오브젝트를 포함하는 디스플레이 디바이스(202) 상에 제시되는 이미지 데이터를 편리하게 생성할 수 있다.

피드백은 편리하게 디스플레이 스크린 상에 시각적으로 제시될 수 있다. 예컨대, 디스플레이 디바이스는 아이콘, 커서, 십자선, 또는 다른 그래픽 오브젝트 또는 효과를 타겟 오브젝트에 매우 근접하게 디스플레이하여(또는 그 오브젝트와 중첩시키거나 또는 그 오브젝트를 적어도 부분적으로 가림), 현재의 시각적 주의 집중인 것으로 보이는 오브젝트를 강조할 수 있다. 분명히, 이러한 피드백의 시각적 디스플레이는 타겟 오브젝트의 인식에 대해 반사적 인지 효과를 가져서, 뇌 응답을 증폭시킨다. 이러한 포지티브 피드백(여기서, 명백한 타겟 오브젝트는 연장된 증폭된 주의에 의해 의도된 타겟 오브젝트로서 확인됨)은 "신경동기(neurosynchrony)"로 본원에서 지칭된다.

도 3b는 복수의 타겟 오브젝트들을 판별하는 것에서의 도 1 및 도 2의 것과 같은 신경 응답 디바이스의 사용을 예시한다. 도 3b에서, 사용자(즉, 뷰어)(305)에 의해 착용된 신경 응답 디바이스는 EEG 디바이스를 위한 전극 헬멧이다. 여기서, 헬멧을 착용한 사용자는 복수의 타겟 오브젝트들(온-스크린 키패드 내의 숫자들)을 디스플레이하는 스크린(302)을 뷰잉하고, 그 복수의 타겟 오브젝트들은 명확하게 상이한 시간들, 주파수들, 및/또는 듀티 사이클들로 블링킹하고 있다. 전극 헬멧은 신경 활동으로부터 도출되는 신호를 전달할 수 있다. 여기서, 사용자는 숫자 5(310)에 초점을 맞추고 있고, 여기서, 시간 t1에서 숫자 3(312)이 블링킹하고, 시간 t2에서 숫자 4(314)가 블링킹하고, 시간 t3에서 숫자 5(310')가 블링킹하고, 시간 t4에서 숫자 6(316)이 블링킹한다. 헬멧 신호에 의해 전달되는 바와 같은 신경 활동은 t3에서 다른 시점들과 명확하게 상이할 것이다. 이는 사용자가 숫자 5(310)에 초점을 맞추고 있고, 숫자 5(310)는 t3에서 310' 상에서 블링킹하기 때문이다. 그러나, t3에서 발생하는 신호를 다른 시간들에서의 것들과 구별하기 위해, 스크린 상의 모든 오브젝트들은 명확하게 상이한 시간들에 블링킹해야 한다. 따라서, 스크린은 블링킹 오브젝트들로 가득 차게 될 것이고, 이는 불편한 뷰잉 경험을 만들 것이다.

도 3b의 시스템은 도 4에 도시된 예시적인 패턴과 같은 디스플레이 신호 패턴을 사용할 수 있고, 여기서, 스크린 오브젝트들은 상이한 시점들에 상이한 주파수들 및 듀티 사이클들로 블링킹할 것이다.

타겟 주변에 있는 오브젝트들(방해자들)로부터 초점 오브젝트(타겟)를 신속하고 정확하게 결정하는 난제에 대한 하나의 접근법은 인간 시각 시스템의 특성들에 의존한다.

인간 시각적 감지가 동작하는 방식에 대한 연구는, 다수의 오브젝트들을 갖는 스크린을 응시하고 그러한 오브젝트들 중 하나에 초점을 맞출 때, 인간 시각 시스템은 고 공간 주파수들(HSF)과 저 공간 주파수들(LSF) 둘 모두에 대해 수용적일 것이라는 것을 나타내었다. 증거는 인간 시각 시스템이 초점이 맞춰진 특정 디스플레이 영역(예컨대, 사용자가 응시하고 있는 오브젝트)의 HSF 성분들에 대해 주로 민감하다는 것을 나타내고: 이는 중심와로 알려져 있는 원추 세포들로 패킹된 피험자의 망막 내의 중심 영역에 대응한다. 이는 도 3a의 우측 뷰에서 볼 수 있고, 여기서, 시야가 가장 선명한 디스플레이의 중심와 영역(318)은 주변 영역(304)과 대조적이다.

주변 오브젝트들의 경우, 반대로, 인간 시각 시스템은 그들의 LSF 성분들에 대해 주로 민감하다. 다시 말하면, 픽업되는 신경 신호들은 초점이 맞춰진 타겟으로부터의 HSF 성분들과 주변 타겟들로부터의 LSF 성분들 둘 모두에 의해 본질적으로 영향을 받을 것이다. 그러나, 모든 오브젝트들이 소정의 비율의 HSF와 LSF 둘 모두를 유발하기 때문에, 초점 오브젝트를 결정하기 위해 신경 신호들을 프로세싱하는 것은 주변 오브젝트들에 의해 기여되는 LSF 잡음에 의해 방해받을 수 있다. 이는 초점 오브젝트를 덜 정확하고 덜 적시에 식별하게 하는 경향이 있다.

이러한 접근법에 대한 기본 과학은 우리의 눈-뇌 시스템이 초점 오브젝트들 및 주변 오브젝트들로부터의 자극들을 프로세싱하는 방식의 차이와 관련된다. 중심와(시야의 중심)와 주변 시각 사이의 이러한 분리는 망막으로부터 시각 피질로의 특수 주파수 채널들에 관하여 문헌에서 설명되고, 여기서, 중심와 시각은 시각적 세부사항들을 전달하는 HSF 채널들에 의해 주로 구동되는 한편, 주변 시각은 세부사항들을 갖지 않는 오브젝트들의 전체적인 형상과 같은 개략적인 시각적 정보를 전달하는 LSF 채널들에 의해 주로 구동된다. 이러한 2개의 타입의 정보는 개별 신경 경로들, 무의식적이고 의식적인 인식에 대한 별개의 기능적 및 상이한 영향들과 연관되었다.

공간 주파수들은 일반적으로, 도당 사이클(cycles per degree)에 관하여 컴퓨팅된다. 이는 주로 3개의 파라미터: 인치당 픽셀(pixel per inch)(ppi)로 또한 알려져 있는 인치당 밀도 픽셀(density pixel per inch)(dpi), 사용자의 눈들과 모니터 사이의 거리, 및 공간 필터의 컷오프 주파수에 따라 결정된다. 공간 주파수 필터들은 자극 신호들이 HSF 특성들만을 보유하거나 또는 반대로 LSF 특성들만을 보유하도록 하는 데 사용될 수 있다. 시각적 BCI의 컨텍스트에서 사용되는 공간 주파수 필터들은 도당 7 사이클 초과를 갖는 값들에 대한 고역 통과 필터링, 및 도당 3 사이클 미만의 값들에 대한 저역 통과 필터링을 편리하게 수행할 수 있다. 특정 경우들에서, 저역 통과 필터에 대한 하위 임계값들은, 일부 경우들에서, 균일한 플랫 틴트(flat tint)의 출력을 생성할 수 있다(이러한 "저역 통과 필터들"은 여전히 유효한 필터들임). 대조적으로, 고역 통과 필터 임계치에 대한 최대값은 디스플레이 시스템의 해상도 그리고 궁극적으로는 피험자의 시각적 생리적 능력들에 의해 제한된다. 임의의 경우, 본 개시내용은 저역 통과 및 고역 통과 추가 임계치들과 상관없이 동작하고, 이는 주파수 필터 및/또는 변환의 특정 값들에 대해 불가지론적이다. 주요 원리는 시각적 BCI를 최적화하기 위해 공간 주파수 성분들을 분리하는 것이다.

인간 시각 시스템은 전형적으로 무의식적으로 또는 잠재의식적으로 시야의 상이한 위치들에서 다수의 자극들을 병렬로 프로세싱하도록 튜닝된다. 결과적으로, 주변 오브젝트 자극들은, 그들이 시야의 주변부에 나타나더라도, 사용자들의 뇌들에서 신경 응답들을 계속 트리거할 것이다. 결과로서, 이는 다수의 자극들 사이의 경쟁을 야기하고, 초점 오브젝트(타겟)의 특정 신경 디코딩을 더 어렵게 한다.

종래 기술의 신경 캡처 시스템들에서, 인간 시각 시스템의 동작으로 인해, 픽업되는 신경 신호들은 초점이 맞춰진 타겟으로부터의 HSF 성분들과 주변 타겟들로부터의 LSF 성분들 둘 모두에 의해 본질적으로 영향을 받을 것이다. 그러나, 모든 오브젝트들이 소정의 비율의 HSF와 LSF 둘 모두를 유발하기 때문에, 초점 오브젝트를 결정하기 위해 신경 신호들을 프로세싱하는 것은 주변 오브젝트들에 의해 기여되는 LSF 잡음에 의해 방해받을 수 있다. 이는 초점 오브젝트를 덜 정확하고 덜 적시에 식별하게 하는 경향이 있다.

도 3b의 온-스크린 키패드를 다시 고려하면, 블링킹 주변 신호들(312, 314, 316)은 뷰어의 LSF 신경 활동을 유발할 것이고, 이는 블링킹 숫자 5(310)에 의해 자극되는 뷰어의 HSF 신경 활동을 유발하는 신호들과 병렬로 캡처되고 프로세싱될 것이다. 따라서, 이러한 주변 오브젝트들은 방해자들로 고려될 수 있고, 그들이 유발하는 LSF 신호들은 잡음으로 고려될 수 있다. 이러한 잡음의 하나의 결과는 시스템이 초점 오브젝트를 정확하게 결정하는 데 더 오래 걸린다는 것이다.

본 개시내용의 접근법에서, 복수의 오브젝트들은 각각의 오브젝트가 오브젝트의 LSF 성분들만으로 구성된 버전과 HSF 성분들만으로 구성된 버전으로 분리되는 방식으로 디스플레이된다. 일 예에서, SSVEP들을 도출하는 데 사용되는 블링킹 시각적 자극은 오브젝트의 HSF 버전을 통해서만 전달된다. 이러한 블링킹 HSF 버전은 (블링킹하지 않는) LSF 버전 상에 중첩된다.

도 5a는 4개의 상이한 스크린 디스플레이 오브젝트, 즉, 숫자(501), 사진(504), 다양한 채워진 오브젝트들의 클러스터(507), 및 각각 각각의 상이한 배향들을 갖는 다수의 미세 스트로크들의 클러스터(510)를 도시한다. 이러한 오브젝트들을 필터링함으로써, 각각의 HSF 버전(502, 505, 508, 및 511로 각각 표시됨) 및 각각의 LSF 버전(503, 506, 509, 및 512로 각각 표시됨)을 생성할 수 있다. 인간 시각 시스템이 자연스럽게 초점 오브젝트들로부터의 HSF 신호들 및 주변 오브젝트들로부터의 LSF 신호들에 대해 더 반응적이라는 것을 유념하면서, 디스플레이가 HSF 및 LSF 버전들로 분리되고, HSF 버전들만이 블링킹하도록 이루어지는 반면, LSF 버전들은 일정하게 디스플레이되는 경우, 각각의 오브젝트의 LSF 버전을 일정하게 유지하고 각각의 오브젝트의 HSF 버전들만을 블링킹시킴으로써, LSF에 의해 생성되는 주변 오브젝트 "잡음"이 억제될 수 있다. 이는 주변 오브젝트들로부터의 LSF 잡음을 효과적으로 감소시키고, 초점이 맞춰진 오브젝트로부터의 LSF 신호를 감소시킨다. 인간 시각 시스템이 자연스럽게 HSF를 중심와 오브젝트들(초점이 맞춰진 오브젝트들)과 연관시키기 때문에, LSF 버전을 일정하게 유지하는 것은 초점이 맞춰진 오브젝트에 의해 자극되는 신경 신호들에 본질적으로 영향을 미치지 않을 것이지만, 주변부 상의 오브젝트들로부터의 감소된 LSF 간섭을 가질 것이다. 스크린 디스플레이 오브젝트들이 다수의 미세 스트로크들일 때, 베이스 오브젝트(510)의 HSF 버전(511)은 베이스 오브젝트에 비해 (완전히 가시적인 상태로 유지되면서) 특히 높은 가능한 공간 주파수를 효과적으로 제공하는 반면, 베이스 오브젝트(510)의 대응하는 LSF 버전(512)은 (무지의 균일한 배경이기 때문에) 특히 낮은 가능한 공간 주파수를 제공한다는 것이 관찰되었다.

도 5b는 타겟 오브젝트의 LSF 및 HSF 버전들이 중첩되고 디스플레이될 때 발생하는 스크린 디스플레이 결과를 도시한다. 하나의 버전(예컨대, HSF 버전)만이 블링킹하고 있기 때문에, 주변 오브젝트들에 대해 오브젝트의 명백한 블링킹이 더 억제되는 반면, 초점 오브젝트의 블링킹은 명백하게 되는데, 그 이유는 인간 시각 시스템이 초점 오브젝트들로부터의 HSF 유발 자극들에 대해 더 민감하기 때문이다.

도 6은 개시되는 주제의 일 실시예의 예시적인 예시이다. 여기서, 모든 타겟 오브젝트들(601)은 그들 자체의 HSF 및 LSF 버전들을 생성하도록 필터링된다.

도 6의 실시예에서, 타겟 오브젝트들(601)은 디스플레이 디바이스의 디스플레이 상에 제시되는 그래픽 인터페이스 내의 별개의 그래픽 요소들이다. 타겟 오브젝트들의 예들은 글리프들, 사진 이미지들, 및 사용자 인터페이스 요소들을 포함한다. 디스플레이 디바이스는 프로세싱 유닛(도시되지 않음), 변조기 서브시스템(605), 및 디스플레이 드라이버 서브시스템(606)을 포함할 수 있다.

각각의 타겟 오브젝트(601)에 대해, 디스플레이 디바이스의 프로세싱 유닛은 타겟 오브젝트(601)의 HSF 및 LSF 버전들(603 및 604로 각각 표시됨)을 생성하기 위해 공간 주파수 필터(602)(또는 공간 주파수 변환)를 적용하도록 동작한다. 다른 실시예들에서, 타겟 오브젝트들(601)은 각각의 오브젝트의 HSF 버전만을 생성하도록 필터링될 수 있다. 따라서, HSF 버전만이 생성된다. 다수의 미세 스트로크들의 형태의 타겟 오브젝트들의 HSF 버전이 이러한 실시예들에 대해 특히 적응된다.

변조기 서브시스템(605)은 각각의 오브젝트의 HSF 및 LSF 버전들(603, 604)을 프로세싱하고 디스플레이 드라이버 서브시스템(606)으로 전달한다. 각각의 오브젝트의 HSF 및 LSF 버전들(603, 604)은 상이하게 프로세싱되고: LSF 버전 신호들(604)은 정적(예컨대, 블링킹하지 않음) 디스플레이를 생성하도록 인코딩되는 반면, HSF 버전 신호들(603)은 시간적으로 변조된다(예컨대, 임의로 상이한 주파수 및/또는 듀티 사이클 특성들로 별개의 시간들에 블링킹하도록 이루어짐). 시간적 변조 효과들은 전형적으로, 광도, 색조, 컬러 성분 등과 같은 오브젝트의 시각적 특성의 주기적 변경들이고, 급격할 수 있거나(온 상태와 오프 상태 사이의 스위칭) 또는 더 점진적인 천이들을 포함할 수 있다. 시간적 변조들의 예들은 타겟 오브젝트 내의 픽셀들의 그룹들의 밝기 특성들이 2개의 구별가능한 밝기 레벨 사이에서 스위칭되는 블링킹 효과를 포함한다. 편리하게는, 변조 효과들은 사용자의 뇌가 (오브젝트가 뷰잉될 때) 검출가능하고 디코딩가능한 방식으로 응답하는 광학 특성을 인코딩한다. 프로세싱은 HSF 버전 신호들 내의 콘트라스트 레벨들을 증가시키는 것 및/또는 LSF 버전 신호들 내의 콘트라스트 레벨들을 감소시키는 것을 더 포함할 수 있다.

특정 실시예들에서, 변조 효과들은 본질적으로 랜덤 또는 의사 랜덤일 수 있고: 블링킹과 같은 오브젝트의 시각적 특성의 변경들은 랜덤 시간들로, 예컨대, 의사 랜덤 시간적 패턴을 따라 수행된다. 편리하게는, 각각의 상이한 오브젝트들과 연관된 별개의 시간적 패턴들 사이의 시간적 중첩을 감소시키기 위해, 엄격한 랜덤 패턴들이 아니라 의사 랜덤 시간적 패턴들이 사용된다.

디스플레이 드라이버 서브시스템(606)은 변조기 서브시스템(605)으로부터 각각의 오브젝트의 프로세싱된 HSF 및 LSF 버전들을 (개별 신호들로서 또는 변조된 HSF 및 LSF 버전들을 조합하는 중첩 신호로서) 수신한다. 결과로서, 디스플레이를 구동하는 신호는 스크린 오브젝트들을 포함하고, 여기서, LSF 관련 신호들은 일정한 디스플레이를 생성하고, HSF 관련 신호들은 블링킹 효과들(또는 다른 시간적 변조 효과들)을 생성한다.

특정 실시예들에서, 위에서 언급된 바와 같이, 변조기 서브시스템(605)은 각각의 오브젝트의 HSF 버전만을 프로세싱하고 이를 디스플레이 드라이버 서브시스템(606)으로 전달할 수 있고: 그에 따라, HSF 버전만이 디스플레이 드라이버 서브시스템(606)에서 수신된다. 그러한 경우들에서, 변조기 서브시스템(605)은 각각의 오브젝트의 HSF 버전만을 생성하기 위해 고역 통과 필터를 적용한다. 특정 다른 실시예들에서, 변조기 서브시스템은 하나 이상의 공간 주파수 필터(또는 공간 주파수 변환)를 적용하여, 타겟 오브젝트의 HSF 및 LSF 버전들 둘 모두를 생성하지만, 각각의 오브젝트의 HSF 버전만을 디스플레이 드라이버 서브시스템(606)으로 전달할 수 있다. 각각의 경우, HSF 버전은 위에서 설명된 바와 같이 시간적으로 변조되고, 그에 따라, 디스플레이 드라이버 서브시스템은 시간적으로 변조된 HSF 성분들을 갖는 스크린 오브젝트들을 포함하는 신호로 디스플레이를 구동한다. 다른 실시예에서, 디스플레이 드라이버 서브시스템(606)은 (전체) 타겟 오브젝트(601)에 추가하여, 생성된 HSF 버전(603)을 디스플레이한다. 그러한 경우들에서, 변조된 HSF 버전에서의 콘트라스트는 초점 오브젝트들에 대한 시각적 자극의 가시성을 개선하기 위해 증가될 수 있다.

이어서, 디스플레이된(HSF 변조된) 오브젝트에 대한 사용자 주의가 (캡처(622) 및 신경 응답들의 디코딩(607)을 통해) 검출될 수 있다. 결과로서, 주변에 뷰잉되는 오브젝트들의 시간적 변조의 효과가 상당히 감소된다. 위의 도 1 및 도 2의 논의에서 설명된 타입의 신경 응답 디바이스(620)를 착용한 사용자(즉, 피험자)가 스크린을 뷰잉할 때, 초점 오브젝트만이 격렬하게 블링킹하는 반면, 또한 시간적으로 변조된 주변 오브젝트들은 훨씬 더 적은 잡음에 기여할 것이다(그들의 변조는 초점 오브젝트에 대한 사용자 의도에 대한 시야 밖에 있는 HSF 성분들로만 나타나기 때문임). 이는 시스템이 뷰어가 현재 어느 오브젝트에 초점을 맞추고 있는지를 신속할 뿐만 아니라 정확하게 결정하는 것을 허용한다. 초점 오브젝트가 아닐 때 거의 비가시적인 변조된 HSF 성분들은, 특히 거리(예컨대, 전형적인 활성 사용자와 디스플레이 디바이스 사이의 거리의 2배 초과의 거리)를 두고 볼 때, 자극들이 외부 뷰어들에게 거의 가시적이지 않을 수 있게 한다. 이는 사용자와 초점 오브젝트(들) 사이의 신중한(예컨대, 더 개인적인) 상호작용을 허용한다.

특정 대안적인 실시예들에서, 타겟 오브젝트들(또는 "스크린 오브젝트들")은 디스플레이 디바이스의 디스플레이 상에 제시되는 별개의 그래픽 요소들이고, 오버레이 오브젝트들은 스크린 오브젝트들 중 하나 이상에 대응하도록 생성된다. 이제 HSF 및 LSF 버전들을 생성하도록 필터링되는 것은 스크린 오브젝트들 자체가 아니라 오버레이 오브젝트들이다.

도 7은 이러한 방식을 구현하는 개시되는 주제의 다른 실시예의 예시적인 예시이다. 도 6에서와 같이, 디스플레이 디바이스는 프로세싱 유닛(도시되지 않음), 변조기 서브시스템(605), 및 디스플레이 드라이버 서브시스템(606)을 포함할 수 있고: 도 7의 디스플레이 디바이스는 오버레이 서브시스템(704)을 추가로 제공받는다.

여기서, 스크린 오브젝트들(601)은 오버레이 서브시스템(704)으로 전달되는 디스플레이 신호들을 가질 것이다.

특정 실시예들에서, 각각의 스크린 오브젝트는 그와 연관된 오버레이 오브젝트를 가질 것이다. 대안적으로, 도 7에 예시된 바와 같이, 특정 스크린 오브젝트들만이 연관된 오버레이 오브젝트(701)를 갖는다. 그래픽 오버레이 오브젝트는, 예컨대, 대응하는 스크린 오브젝트를 둘러싸는 기하학적 형상일 수 있다.

도 7에 예시된 것과 같은 특정 실시예들에서, 스크린 오브젝트들 자체가 아니라, 이제, 오버레이 오브젝트들(701)이 HSF 및 LSF 버전들(603 및 604로 다시 각각 표시됨)을 생성하도록 필터링된다. 각각의 오버레이 오브젝트(701)에 대해, 디스플레이 디바이스의 프로세싱 유닛은 오버레이 오브젝트(701)의 HSF 및 LSF 버전들(603, 604)을 생성하기 위해 공간 주파수 필터(702)(또는 공간 주파수 변환)를 적용하도록 동작한다.

변조기 서브시스템(605)은 각각의 오버레이 오브젝트의 HSF 및 LSF 버전들(603, 604)을 개별적으로 변조한다. 이어서, 변조기 서브시스템(605)은 각각의 오버레이 오브젝트의 변조된 HSF 및 LSF 버전들을 오버레이 중첩 서브시스템(704)으로 전달한다. 변조기 서브시스템(605)은 임의로, 각각의 오버레이 오브젝트의 변조된 HSF 및 LSF 버전들을 단일 중첩 오버레이 오브젝트 또는 개별 버전들로서 전달할 수 있다.

프로세싱된 그래픽 오버레이 오브젝트들을 수신하는 오버레이 중첩 서브시스템(704)은 스크린 오브젝트들(601) 및 변조된 오버레이 오브젝트들을 프로세싱하여, 스크린 및 오버레이 오브젝트들로부터 중첩 디스플레이 신호를 생성한다.

중첩 서브시스템(704)은, 차례로, 프로세싱된 중첩 디스플레이 신호들을 디스플레이를 구동하기 위해 디스플레이 드라이버 서브시스템(606)으로 전달한다.

개별 변조는 도 6의 타겟 오브젝트 버전들의 상이한 프로세싱을 미러링할 수 있다. 변조기 서브시스템(605)은 LSF 버전들(604)이 정적인(예컨대, 일정하게 디스플레이되는) 반면 HSF 버전들(603)은 오버레이 오브젝트들을 구별하기 위한 특유의 블링킹 패턴들을 생성하도록 변조되도록, 오버레이 오브젝트들(701)을 프로세싱하도록 구성된다. 피험자가 스크린 오브젝트(601)에 초점을 맞출 때, 그들은 블링킹 오버레이 오브젝트(701)를 매우 명확하게 보는 반면, 주변 스크린 오브젝트들 및 그들의 블링킹 HSF 오버레이 오브젝트들은 인간 시각 시스템에 의해 자연스럽게 억제된다. 다시, 초점 타겟 스크린 오브젝트(601)와 연관된 오버레이 오브젝트(701)는 다른 오버레이 오브젝트들과 쉽게 구별되어, 시스템이 사용자가 어느 스크린 오브젝트에 초점을 맞추고 있는지를 신속하고 정확하게 결정할 수 있게 한다.

타겟 오브젝트들 자체를 프로세싱하여 그 오브젝트의 HSF 버전에 변조를 적용하거나 또는 타겟 오브젝트들 위에 시각적으로 중첩될 오버레이 오브젝트들을 프로세싱하여 오버레이 오브젝트의 HSF 버전에 변조를 적용하기 위한 위의 방식들은 타겟 오브젝트/오버레이 오브젝트의 HSF 성분이 불충분한 자극 영향을 제공할 때 덜 효과적이게 된다. 예컨대, 타겟 오브젝트가 시각적으로 평활할 수 있고, 그에 따라, 높은 콘트라스트의 첨예한 에지들 또는 패치들이 큰 HSF 성분을 생성하기에 충분하지 않게 된다. 그러한 경우들에서, 오브젝트의 HSF 버전에 기초한 변조의 양이 뷰잉 피험자에게 시각적으로 명백하지 않게 될 것이다.

도 8a, 도 8b, 및 도 8c는 본 개시내용의 추가 양태의 방법의 동작을 예시한다. 특정 실시예들에서, 이미지 데이터를 포함하는 베이스 이미지(예컨대, 2D 픽셀 표면)가 디스플레이의 그래픽 사용자 인터페이스에서 디스플레이하기 위해 프로세싱되고: 베이스 이미지는 베이스 이미지 내의 관심 오브젝트들을 식별(및 임의로 분류)하기 위해 프로세싱된다. 베이스 이미지 및/또는 식별된 관심 오브젝트들을 포함하는 베이스 이미지의 부분들은 하나 이상의 제어 아이템과 논리적으로 연관된다(제어 아이템들은 사용자 선택가능 액션들과 연관됨).

베이스 이미지 및/또는 식별된 관심 오브젝트들을 포함하는 베이스 이미지의 부분들에 대한 이미지 데이터는 저 공간 주파수 맵 데이터 및 고 공간 주파수 맵 데이터를 생성하기 위해 프로세싱된다. 특정 실시예에서, 이 프로세싱은 공간 주파수 필터링의 적용을 통해 달성되고: 미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수의 피처들은 저 공간 주파수 맵 데이터에 보존되는 한편, 미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수의 피처들은 고 공간 주파수 맵 데이터에 보존된다. 미리 결정된 고 공간 주파수 임계치 및 미리 결정된 저 공간 주파수 임계치는 동일할 수 있다. 대안적으로, 각각의 공간 주파수 임계치들은 서로 상이할 수 있고, 그에 따라, 2개의 임계치들 사이에서 중간에 있는 공간 주파수들을 갖는 피처들은 맵 데이터 세트들 둘 모두에 포함될 수 있거나 또는 맵 데이터 세트들 둘 모두로부터 배제될 수 있다.

특정 실시예들에서, HSF 맵 데이터 내의 HSF 성분들의 분포의 적분이 HSF 맵 데이터에 걸친 복수의 패치들 각각에 대해 계산되고, 패치들은 망막의 중심와 영역(HSF 성분들이 영향을 미치게 될 최대 영역을 설정하는 중심와의 영역)에 기초하여 치수화된다. 주어진 패치에 대한 적분은 미리 결정된 공간 주파수 임계치 T1과 비교된다. 임계치 T1은 상당한 자극 영향을 제공하기에 충분한 HSF 성분들의 존재(즉, HSF 성분들의 강도 및/또는 베이스 이미지에 걸친 그들의 공간 분포에 관한 것임)를 표시하는 것으로 고려되는 값으로 설정된 컷오프이다.

주어진 패치에 대한 적분이 미리 결정된 공간 주파수 임계치 T1을 초과하는 경우, 그 패치에 대한 HSF 성분에 시간적 변조가 적용되고, 디스플레이는 LSF 성분를 갖거나 또는 갖지 않는 시간적 신호 및 제1 수정된(즉, 블렌딩된) HSF를 공급받는다. 신호들의 블렌딩의 예들은 가산적 블렌딩, 승산, 및 감산뿐만 아니라 다른 종래의 신호 멀티플렉싱 기법들을 포함한다.

특정 실시예들에서, 블렌딩을 위한 기법은 디지털 이미지 편집 및 컴퓨터 그래픽의 분야들에서 사용되는 종래의 오버레이 블렌드 모드와 유사한 기법이다. 편리하게는, 변조의 온 상태에서, 최상측 이미지는 배경 이미지 위에 중첩되고: 하부 배경 이미지가 밝은 상단 이미지의 부분들은 더 밝게 되는 한편, 배경 이미지가 어두운 부분들은 더 어둡게 된다.

주어진 패치에 대한 적분이 미리 결정된 공간 주파수 임계치 T1을 초과하지 않는 경우, HSF 잡음에 블렌딩할지 여부가 결정되고, 이 동작은 도 8b 및 도 8c에 예시된다. 특정 실시예들에서, 베이스 이미지의 각각의 픽셀들의 평균 광도(및/또는 콘트라스트)가 미리 결정된 범위 내에 속하는지 여부가 결정되고: 예컨대, 광도 범위는 (50-T2)% 내지 (50+T2)%이다. 미리 결정된 범위는 HSF 잡음이 유효할 수 있는, 즉, 낮은 주변 두드러짐을 허용하고 양호한 신경 응답을 보장하면서, 온 상태에 대한 광도와 오프 상태에 대한 광도 사이의 낮은 비율을 유지하는 광도 및/또는 콘트라스트의 범위에 대응하도록 설정된다.

베이스 이미지의 픽셀들의 평균 광도가 미리 결정된 범위 내에 속하는 경우, 프로세서는 HSF가 미리 결정된 임계치 T1 미만인 영역들(즉, 패치들)에 대한 이미지 데이터를 프로세싱하여, 그 영역 내의 픽셀들에 대한 로컬 색조를 (적어도 부분적으로) 불포화(desaturate)시킴으로써, 불포화 맵을 생성하고, HSF가 미리 결정된 임계치 T1 미만인 영역들에 고 공간 주파수 필터링된 잡음 패치 또는 가버 변형 패치(Gabor variant patch)를 적용하여, 그 영역에 대한 HSF 잡음 맵을 생성하도록 구성된다. 픽셀들의 불포화는 R-G-B 채널들의 중앙값을 계산함으로써 달성되고, 이는 50% 회색에 더 가까운 광도 값들을 통계적으로 제공할 것이다. 시간적(및 공간적) 변조가 HSF 잡음 패치(들)에 적용되고, 디스플레이는 불포화 맵 데이터 및 제2 수정된(즉, 블렌딩된) HSF 및 시간적 변조를 공급받는다. 결과적으로, 영역들에 대한 광도는 시간적 변조의 적용 후에 실질적으로 동일하게 유지될 것이지만, 시간적 변조에 의해 야기되는 자극은 평활한(즉, 시각적으로 방해하지 않음) 한편, 주의되는/중심와 타겟들의 개선된 디코딩을 용이하게 한다.

베이스 이미지의 픽셀들의 평균 광도가 미리 결정된 범위(즉, [50-T2: 50+T2]) 내에 속하지 않는 경우, 그 영역/패치에서 대안적인 접근법이 필요하다. 평균 광도는 베이스 이미지의 HSF 부분에 시간적 변조가 직접적으로 적용되는 것을 허용하기에 너무 크거나 또는 불충분하다. (도 8c에서 옵션 (A)에 의해 예시된) 특정 실시예들에서, 높은 값 및 낮은 값의 픽셀들이 미리 설정된 중간 값들로 대체되어(그에 따라, 베이스 이미지로부터 특정 원래의 픽셀 정보를 폐기함), 회색 오버레이 맵을 생성한다. HSF 잡음이 생성되고, 그 후, 시간적 변조가 HSF 잡음에 적용될 수 있다. 디스플레이는 시간적 변조를 갖는 조합된 회색 오버레이 맵 및 HSF 잡음을 공급받는다. 특정 예들에서, 생성된 HSF 잡음은, 예컨대, HSF 잡음이 또한 효과적으로 "회색"이 되도록 50% 흑색 및 50% 백색으로 생성되는 "오프" 상태와 "온" 상태 사이에서 "밸런싱된" 광도를 갖도록 배열된다.

(도 8c에서 옵션 (B)에 의해 예시된) 범위 밖의 광도를 갖는 베이스 이미지의 픽셀들에 대한 대안적인 접근법에서, 영역의 픽셀들은 HSF 잡음을 포함하는 픽셀 값들에 의해 직접적으로 덮어쓰기된다. 이어서, 시간적 변조가 HSF 잡음에 적용될 수 있다. 디스플레이는 시간적 변조를 갖는 조합된 회색 오버레이 맵 및 HSF 잡음을 공급받는다. 추가 실시예에서, 콘트라스트 변경이 LSF 성분에 적용되고, 그에 따라, HSF 및 LSF 성분들이 가산적 블렌드로 블렌딩될 때 결과적인 시각적 자극들이 광 밸런싱된다.

위에서 논의된 공간 주파수 및 광도 임계치들은 편리하게, 피험자 자신의 시각 능력들, 디스플레이 디바이스 거리, 디스플레이 디바이스 픽셀 밀도, 디스플레이 디바이스 디스플레이 사이즈 등과 같은 다수의 상이한 인자들에 따라 결정될 수 있다(그리고 그에 따라 설정될 수 있음)는 것이 인식될 것이다.

도 10은 본원에서 설명되는 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 예시적인 소프트웨어 아키텍처(1006)를 예시하는 블록도이다. 도 10은 소프트웨어 아키텍처의 비제한적인 예이고, 본원에서 설명되는 기능을 용이하게 하기 위해 다수의 다른 아키텍처들이 구현될 수 있다는 것을 인식할 것이다. 소프트웨어 아키텍처(1006)는, 특히, 프로세서들(1104), 메모리(1106), 및 입력/출력(I/O) 구성요소들(1118)을 포함하는 도 11의 머신(1100)과 같은 하드웨어 상에서 실행될 수 있다. 대표적인 하드웨어 계층(1052)이 예시되어 있고, 예컨대, 도 11의 머신(1100)을 표현할 수 있다. 대표적인 하드웨어 계층(1052)은 연관된 실행가능 명령어들(1004)을 갖는 프로세싱 유닛(1054)을 포함한다. 실행가능 명령어들(1004)은 본원에서 설명되는 방법들, 모듈들 등의 구현을 포함하는 소프트웨어 아키텍처(1006)의 실행가능 명령어들을 표현한다. 하드웨어 계층(1052)은 또한, 실행가능 명령어들(1004)을 또한 갖는 메모리/저장소(1056)로서 도시된 메모리 및/또는 저장 모듈들을 포함한다. 하드웨어 계층(1052)은 또한 다른 하드웨어(1058), 예컨대, EEG 전극들과 인터페이스하고/하거나 디스플레이 디바이스들과 인터페이스하기 위한 전용 하드웨어를 포함할 수 있다.

도 10의 예시적인 아키텍처에서, 소프트웨어 아키텍처(1006)는 각각의 계층이 특정 기능을 제공하는 계층들의 스택으로서 개념화될 수 있다. 예컨대, 소프트웨어 아키텍처(1006)는 운영 체제(1002), 라이브러리들(1020), 프레임워크들 또는 미들웨어(1018), 애플리케이션들(1016), 및 제시 계층(1014)과 같은 계층들을 포함할 수 있다. 동작적으로, 애플리케이션들(1016) 및/또는 계층들 내의 다른 구성요소들은 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 콜들(1008)을 호출하고, 메시지들(1010)로서 응답을 수신할 수 있다. 예시된 계층들은 본질적으로 대표적이고, 모든 소프트웨어 아키텍처들이 모든 계층들을 갖는 것은 아니다. 예컨대, 일부 모바일 또는 특수 목적 운영 체제들은 프레임워크들/미들웨어(1018)를 제공하지 않을 수 있는 한편, 다른 것들은 그러한 계층을 제공할 수 있다. 다른 소프트웨어 아키텍처들은 추가적인 또는 상이한 계층들을 포함할 수 있다.

운영 체제(1002)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공할 수 있다. 운영 체제(1002)는, 예컨대, 커널(1022), 서비스들(1024), 및 드라이버들(1026)을 포함할 수 있다. 커널(1022)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층으로서 작용할 수 있다. 예컨대, 커널(1022)은 메모리 관리, 프로세서 관리(예컨대, 스케줄링), 구성요소 관리, 네트워킹, 보안 설정들 등을 담당할 수 있다. 서비스들(1024)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1026)은 기본 하드웨어를 제어하거나 또는 그와 인터페이스하는 것을 담당할 수 있다. 예컨대, 드라이버들(1026)은 하드웨어 구성에 따라, 디스플레이 드라이버들, EEG 디바이스 드라이버들, 카메라 드라이버들, 블루투스® 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예컨대, USB(Universal Serial Bus) 드라이버들), Wi-Fi® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함할 수 있다.

라이브러리들(1020)은 애플리케이션들(1016) 및/또는 다른 구성요소들 및/또는 계층들에 의해 사용될 수 있는 공통 인프라스트럭처를 제공할 수 있다. 라이브러리들(1020)은 전형적으로, 다른 소프트웨어 모듈들이 기본 운영 체제(1002) 기능(예컨대, 커널(1022), 서비스들(1024), 및/또는 드라이버들(1026))과 직접적으로 인터페이스하는 것에 의한 것보다 더 쉬운 방식으로 태스크들을 수행할 수 있게 하는 기능을 제공한다. 라이브러리들(1020)은 메모리 할당 기능들, 스트링 조작 기능들, 수학적 기능들 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(1044)(예컨대, C 표준 라이브러리)을 포함할 수 있다. 추가하여, 라이브러리들(1020)은 미디어 라이브러리들(예컨대, MPEG4, H.264, MP3, AAC, AMR, JPG, 및 PNG와 같은 다양한 미디어 포맷들의 제시 및 조작을 지원하기 위한 라이브러리들), 그래픽 라이브러리들(예컨대, 디스플레이 상에 2D 및 3D 그래픽 콘텐츠를 렌더링하기 위해 사용될 수 있는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예컨대, 다양한 관계형 데이터베이스 기능들을 제공할 수 있는 SQLite), 웹 라이브러리들(예컨대, 웹 브라우징 기능을 제공할 수 있는 WebKit) 등과 같은 API 라이브러리들(1046)을 포함할 수 있다. 라이브러리들(1020)은 또한, 다수의 다른 API들을 애플리케이션들(1016) 및 다른 소프트웨어 구성요소들/모듈들에 제공하기 위한 매우 다양한 다른 라이브러리들(1048)을 포함할 수 있다.

프레임워크들(1018)(때때로 미들웨어로 또한 지칭됨)은 애플리케이션들(1016) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 상위 레벨 공통 인프라스트럭처를 제공한다. 예컨대, 프레임워크들/미들웨어(1018)는 다양한 그래픽 사용자 인터페이스(GUI) 기능들, 상위 레벨 리소스 관리, 상위 레벨 위치 서비스들 등을 제공할 수 있다. 프레임워크들/미들웨어(1018)는 애플리케이션들(1016) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있고, 이들 중 일부는 특정 운영 체제 또는 플랫폼에 특정될 수 있다.

애플리케이션들(1016)은 빌트인 애플리케이션들(1038) 및/또는 제3자 애플리케이션들(1040)을 포함한다.

애플리케이션들(1016)은 시스템의 사용자들과 상호작용하기 위한 사용자 인터페이스들을 생성하기 위해, 빌트인 운영 체제 기능들(예컨대, 커널(1022), 서비스들(1024), 및/또는 드라이버들(1026)), 라이브러리들(1020), 또는 프레임워크들/미들웨어(1018)를 사용할 수 있다. 대안적으로 또는 추가적으로, 일부 시스템들에서, 사용자와의 상호작용들은 제시 계층(1014)과 같은 제시 계층을 통해 발생할 수 있다. 이러한 시스템들에서, 애플리케이션/모듈 "로직"은 사용자와 상호작용하는 애플리케이션/모듈의 양태들로부터 분리될 수 있다.

도 11은 머신 판독가능 매체(예컨대, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고, 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예들에 따른, 머신(1100)의 구성요소들을 예시하는 블록도이다. 구체적으로, 도 11은 컴퓨터 시스템의 예시적인 형태의 머신(1100)의 도식적 표현을 도시하고, 그 내부에서, 머신(1100)으로 하여금 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(1110)(예컨대, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있다. 따라서, 명령어들(1110)은 본원에서 설명되는 모듈들 또는 구성요소들을 구현하는 데 사용될 수 있다. 명령어들(1110)은 설명 및 예시되는 기능들을 설명되는 방식으로 수행하도록 프로그래밍된 특정 머신으로 일반적인 프로그래밍되지 않은 머신(1100)을 변환한다. 대안적인 실시예들에서, 머신(1100)은 독립형 디바이스로서 동작하거나, 또는 다른 머신들에 커플링(예컨대, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1100)은 클라이언트-서버 네트워크 환경에서 서버 머신 또는 클라이언트 머신으로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1100)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 디지털 어시스턴트(PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 착용형 디바이스(예컨대, 스마트 시계), 스마트 홈 디바이스(예컨대, 스마트 기기), 다른 스마트 디바이스들, 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1100)에 의해 취해질 액션들을 지정하는 명령어들(1110)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만 이에 제한되지는 않는다. 추가로, 단일 머신(1100)만이 예시되어 있지만, "머신"이라는 용어는 또한, 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행하도록 명령어들(1110)을 개별적으로 또는 집합적으로 실행하는 머신들의 콜렉션을 포함하는 것으로 이해될 것이다.

머신(1100)은 이를테면 버스(1102)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(1104), 메모리(1106), 및 입력/출력(I/O) 구성요소들(1118)을 포함할 수 있다. 예시적인 실시예에서, 프로세서들(1104)(예컨대, 중앙 프로세싱 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 그래픽 프로세싱 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 집적 회로(RFIC), 다른 프로세서, 또는 이들의 임의의 적합한 조합)은, 예컨대, 명령어들(1110)을 실행할 수 있는 프로세서(1108) 및 프로세서(1112)를 포함할 수 있다. "프로세서"라는 용어는 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적인 프로세서(때때로, "코어들"로 지칭됨)를 포함할 수 있는 멀티-코어 프로세서를 포함하도록 의도된다. 도 11이 다수의 프로세서들을 도시하고 있지만, 머신(1100)은 단일 코어를 갖는 단일 프로세서, 다수의 코어들을 갖는 단일 프로세서(예컨대, 멀티-코어 프로세서), 단일 코어를 갖는 다수의 프로세서들, 다수의 코어들을 갖는 다수의 프로세서들, 또는 이들의 임의의 조합을 포함할 수 있다.

메모리(1106)는 메인 메모리, 정적 메모리, 또는 다른 메모리 저장소와 같은 메모리(1114) 및 저장 유닛(1116)을 포함할 수 있고, 이를테면 버스(1102)를 통해 프로세서(1104)가 이들 둘 모두에 액세스가능하다. 저장 유닛(1116) 및 메모리(1114)는 본원에서 설명되는 방법들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1110)을 저장한다. 명령어들(1110)은 또한, 머신(1100)에 의한 이들의 실행 동안, 완전히 또는 부분적으로, 메모리(1114) 내에, 저장 유닛(1116) 내에, 프로세서(1104)들 중 적어도 하나 내에(예컨대, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적합한 조합에 있을 수 있다. 따라서, 메모리(1114), 저장 유닛(1116), 및 프로세서들(1104)의 메모리는 머신 판독가능 매체들의 예들이다.

본원에서 사용되는 바와 같이, "머신 판독가능 매체"는 명령어들 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체들, 자기 매체들, 캐시 메모리, 다른 타입들의 저장소(예컨대, 소거가능 프로그램가능 판독 전용 메모리(EEPROM)), 및/또는 이들의 임의의 적합한 조합을 포함할 수 있지만 이에 제한되지는 않는다. "머신 판독가능 매체"라는 용어는 명령어들(1110)을 저장할 수 있는 단일 매체 또는 다수의 매체들(예컨대, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)를 포함하는 것으로 이해되어야 한다. "머신 판독가능 매체"라는 용어는 또한, 명령어들이, 머신(1100)의 하나 이상의 프로세서(예컨대, 프로세서들(1104))에 의해 실행될 때, 머신(1100)으로 하여금 본원에서 설명되는 방법들 중 임의의 하나 이상을 수행하게 하도록, 머신(예컨대, 머신(1100))에 의한 실행을 위한 명령어들(예컨대, 명령어들(1110))을 저장할 수 있는 임의의 매체 또는 다수의 매체들의 조합을 포함하는 것으로 이해되어야 한다. 따라서, "머신 판독가능 매체"는 단일 저장 장치 또는 디바이스를 지칭할 뿐만 아니라, 다수의 저장 장치 또는 디바이스들을 포함하는 "클라우드 기반" 저장 시스템들 또는 저장 네트워크들을 지칭한다. "머신 판독가능 매체"라는 용어는 신호들 자체를 배제한다.

입력/출력(I/O) 구성요소들(1118)은 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등을 위한 매우 다양한 구성요소들을 포함할 수 있다. 특정 머신에 포함되는 특정 입력/출력(I/O) 구성요소들(1118)은 머신의 타입에 의존할 것이다. 예컨대, 사용자 인터페이스 머신들 및 휴대용 머신들, 이를테면 모바일 폰들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 가능성이 있는 한편, 헤드리스 서버 머신은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있을 것이다. 입력/출력(I/O) 구성요소들(1118)은 도 11에 도시되지 않은 다수의 다른 구성요소들을 포함할 수 있다는 것을 인식할 것이다.

입력/출력(I/O) 구성요소들(1118)은 단지 다음의 논의를 단순화하기 위해 기능에 따라 그룹화되고, 그룹화는 결코 제한적인 것이 아니다. 다양한 예시적인 실시예들에서, 입력/출력(I/O) 구성요소들(1118)은 출력 구성요소들(1126) 및 입력 구성요소들(1128)을 포함할 수 있다. 출력 구성요소들(1126)은 시각적 구성요소들(예컨대, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선관(CRT)과 같은 디스플레이), 음향 구성요소들(예컨대, 스피커들), 촉각적 구성요소들(예컨대, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 구성요소들(1128)은 영숫자 입력 구성요소들(예컨대, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 구성요소들), 포인트 기반 입력 구성요소들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구들), 촉각 입력 구성요소들(예컨대, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 구성요소들), 오디오 입력 구성요소들(예컨대, 마이크로폰) 등을 포함할 수 있다.

추가의 예시적인 실시예들에서, 입력/출력(I/O) 구성요소들(1118)은, 다수의 다른 구성요소들 중에서, 예컨대, 바이오메트릭 구성요소들(1130), 모션 구성요소들(1134), 환경 구성요소들(1136), 또는 포지션 구성요소들(1138)을 포함할 수 있다. 예컨대, 바이오메트릭 구성요소들(1130)은 표현들(예컨대, 손 표현들, 얼굴 표정들, 음성 표현들, 신체 제스처들, 또는 눈 추적)을 검출하고, 생체신호들(예컨대, 혈압, 심박수, 체온, 땀, 또는 EEG 디바이스로부터의 출력과 같은 뇌파들)을 측정하고, 사람을 식별(예컨대, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도 기반 식별)하는 등을 위한 구성요소들을 포함할 수 있다. 모션 구성요소들(1134)은 가속도 센서 구성요소들(예컨대, 가속도계), 중력 센서 구성요소들, 회전 센서 구성요소들(예컨대, 자이로스코프) 등을 포함할 수 있다. 환경적인 환경 구성요소들(1136)은, 예컨대, 조명 센서 구성요소들(예컨대, 광도계), 온도 센서 구성요소들(예컨대, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 구성요소들, 압력 센서 구성요소들(예컨대, 기압계), 음향 센서 구성요소들(예컨대, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 구성요소들(예컨대, 인근의 오브젝트들을 검출하는 적외선 센서), 가스 센서들(예컨대, 안전을 위해 유해 가스들의 농도들을 검출하거나 또는 대기 중의 오염물들을 측정하기 위한 가스 검출 센서들), 또는 주위의 물리적 환경에 대응하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 구성요소들을 포함할 수 있다. 포지션 구성요소들(1138)은 위치 센서 구성요소들(예컨대, GPS(Global Position System) 수신기 구성요소), 고도 센서 구성요소들(예컨대, 고도가 도출될 수 있는 기압을 검출하는 고도계들 또는 기압계들), 배향 센서 구성요소들(예컨대, 자력계들) 등을 포함할 수 있다.

통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. 입력/출력(I/O) 구성요소들(1118)은 커플링(1124) 및 커플링(1122)을 통해 각각 머신(1100)을 네트워크(1132) 또는 디바이스들(1120)에 커플링시키도록 동작가능한 통신 구성요소들(1140)을 포함할 수 있다. 예컨대, 통신 구성요소들(1140)은 네트워크(1132)와 인터페이스하기 위한 네트워크 인터페이스 구성요소 또는 다른 적합한 디바이스를 포함할 수 있다. 추가 예들에서, 통신 구성요소들(1140)은 유선 통신 구성요소들, 무선 통신 구성요소들, 셀룰러 통신 구성요소들, 근접장 통신(NFC) 구성요소들, 블루투스® 구성요소들(예컨대, 블루투스® 로우 에너지), Wi-Fi® 구성요소들, 및 다른 모달리티들을 통해 통신을 제공하기 위한 다른 통신 구성요소들을 포함할 수 있다. 디바이스들(1120)은 다른 머신일 수 있거나, 또는 매우 다양한 주변 디바이스들 중 임의의 것(예컨대, USB(Universal Serial Bus)를 통해 커플링된 주변 디바이스)일 수 있다. EEG 디바이스 또는 디스플레이 디바이스가 머신(1100)과 일체화되어 있지 않은 경우, 디바이스(1120)는 EEG 디바이스 및/또는 디스플레이 디바이스일 수 있다.

도 12는 본 개시내용에 따른, 프로세싱 디바이스(예컨대, 도 2의 프로세싱 디바이스(208))의 동작의 방법에서의 주요 기능 블록들을 예시한다. 블록(1202)에서, 프로세싱 디바이스는 베이스 이미지를 획득한다. 블록(1204)에서, 프로세싱 디바이스는 적어도 하나의 시각적 자극을 생성하고, 각각의 자극은 특성 변조를 갖고, 특성 변조는 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용된다. 블록(1206)에서, 프로세싱 디바이스는 디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 시각적 자극 또는 각각의 시각적 자극의 디스플레이를 제어한다. 블록(1208)에서, 프로세싱 디바이스는 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신한다. 블록(1210)에서, 사용자가 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 프로세싱 디바이스는 신경 신호들에 기초하여, 뷰잉되는 이미지에서 사용자의 초점을 결정하고, 신경 신호들은 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함한다.

도 13은 도 6과 관련하여 위에서 설명된 바와 같은 시각적 자극을 생성하기 위한 베이스 이미지의 프로세싱을 예시한다. 베이스 이미지(1320)는 (예컨대, 콘볼루션 신경망을 사용하여) 이미지 인식(1310)을 거치고, 이미지는 관심 오브젝트(들)(즉, 타겟 오브젝트들(601))와 배경 사이의 경계들을 인식하기 위해 세그먼트화된다(1308).

도 6의 관심 오브젝트에 대해, 오브젝트에 대한 이미지 데이터는 HSF 성분들(1306) 및 LSF 성분들(1304)을 도출하기 위해 프로세싱된다. 이미지 데이터의 프로세싱은 공간 주파수 필터 또는 변환의 적용을 포함한다.

이어서, 결과적인 HSF 성분들은 사용자의 뇌가 (오브젝트가 뷰잉될 때) 검출가능하고 디코딩가능한 방식으로 응답하는 광학 특성을 인코딩하도록 변조된다. 변조된 HSF 성분들은 하이브리드 이미지 오브젝트(1302)를 생성하기 위해 LSF 성분들과 블렌딩된다. 이어서, 하이브리드 이미지 오브젝트(1302)에 대한 사용자 주의가 (신경 응답들의 캡처 및 디코딩을 통해) 검출될 수 있다.

오버레이 이미지 오브젝트들의 사용을 통해 관심 오브젝트를 식별하는 것이 가능하게 되면, 단순히 얼굴/오브젝트에 주의를 집중시킴으로써 감시 비디오에서 특정 오브젝트들/얼굴들에 대해 "줌"하는 것, 및 AR 시나리오들에서 실제 오브젝트들을 (이를테면, 그 오브젝트와 연관된 추가적인 정보를 끌어내리기 위해) 액션가능하게 하는 것과 같은 사용 사례들이 있고, 여기서, 자극 오버레이는 사용자의 실제 오브젝트 뷰의 상단에 있는 헤드셋(이를테면, 스마트 안경)에서 사용자에게 제시된다.

도 2에서 BCI와 관련하여 설명된 포지티브 신경동기 피드백 루프는, 예컨대, 혼합 현실 설정들에서의 (예컨대, 실제 벽 상의 가상 기기 인터페이스를 통한) 줌, 정보 요청, 가상 UI 요소들의 브라우징/내비게이션, 오브젝트들의 주석, 오브젝트들의 활성화/선택과 같은 액션을 개시하기 위한 사용자의 의도를 확인하기 위해 이용될 수 있다.

다수의 상세한 예시적인 실시예들을 통해 설명되었지만, 본 개시내용에 따른 뇌파검사 신호들의 취득을 위한 휴대용 디바이스들은 관련 기술분야의 통상의 기술자에게 자명할 다양한 변형들, 수정들, 및 개선들을 포함하고, 이러한 다양한 변형들, 수정들, 및 개선들은 다음의 청구항들에 의해 정의되는 바와 같은 본 개시내용의 주제의 범위 내에 속한다는 것을 이해한다.

본 발명의 주제의 개요가 특정 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위로부터 벗어나지 않으면서 이러한 실시예들에 대해 다양한 수정들 및 변경들이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은 단지 편의를 위해 그리고 하나 초과의 개시내용 또는 발명의 개념이 사실상 개시되는 경우 본 출원의 범위를 임의의 단일 개시내용 또는 발명의 개념으로 자발적으로 제한하려는 의도 없이, 본원에서 개별적으로 또는 집합적으로 "발명"이라는 용어로 지칭될 수 있다.

본원에서 예시되는 실시예들은 관련 기술분야의 통상의 기술자가 개시되는 교시들을 실시할 수 있게 할 정도로 충분히 상세하게 설명된다. 다른 실시예들이 사용되고 그로부터 유도될 수 있고, 그에 따라, 본 개시내용의 범위로부터 벗어나지 않으면서 구조적 및 논리적 치환들 및 변경들이 이루어질 수 있다. 따라서, 상세한 설명은 제한적인 의미로 이해되지 않아야 하고, 다양한 실시예들의 범위는 첨부 청구항들에 권리가 부여되는 등가물들의 전체 범위와 함께 그 첨부 청구항들에 의해서만 정의된다.

본원에서 사용되는 바와 같이, "또는"이라는 용어는 포괄적 또는 배타적 의미로 해석될 수 있다. 더욱이, 단일 인스턴스로서 본원에서 설명되는 리소스들, 동작들, 또는 구조들에 대해 복수의 인스턴스들이 제공될 수 있다. 추가적으로, 다양한 리소스들, 동작들, 모듈들, 엔진들, 및 데이터 저장소들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시적인 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 구상되고, 본 개시내용의 다양한 실시예들의 범위 내에 속할 수 있다. 일반적으로, 예시적인 구성들에서 별개의 리소스들로서 제시되는 구조들 및 기능은 조합된 구조 또는 리소스로서 구현될 수 있다. 유사하게, 단일 리소스로서 제시되는 구조들 및 기능은 별개의 리소스들로서 구현될 수 있다. 이러한 그리고 다른 변형들, 수정들, 추가들, 및 개선들은 첨부 청구항들에 의해 표현되는 바와 같은 본 개시내용의 실시예들의 범위 내에 속한다. 따라서, 본 명세서 및 도면들은 제한적 의미가 아니라 예시로 간주되어야 한다.

따라서, 본 개시내용은 BCI들의 정확도, 속도 성능, 및 시각적 편안함을 개선하기 위한 시스템 및 방법을 설명한다.

본 개시내용의 양태에 따르면, 시스템은 폐쇄 루프 시스템이고, 폐쇄 루프 시스템은, 하나 이상의 오브젝트 이미지를 디스플레이하도록 동작하는 디스플레이 서브시스템; 디스플레이 신호를 상기 디스플레이 서브시스템으로 전달하도록 동작하는 디스플레이 드라이버 서브시스템; 상기 오브젝트 이미지들을 본질적으로 HSF 신경 응답들 및 본질적으로 LSF 신경 응답들을 각각 유발하는 HSF 및 LSF 버전들로 본질적으로 분리하도록 동작하는 HSF/LSF 판별, 필터링 및 프로세싱 서브시스템 ― 상기 HSF/LSF 판별, 필터링 및 프로세싱 서브시스템은 상기 HSF 버전들을 블링크 온 및 오프하도록 프로세싱하고, 상기 LSF 버전들을 블링킹하지 않도록 프로세싱하도록 동작함 ―; 및 신경 뇌 활동을 검출하고, 상기 신경 뇌 활동을 표현하는 전기적 신호를 생성하고, 상기 전기적 신호를 상기 HSF/LSF 판별, 필터링 및 프로세싱 서브시스템으로 전달하도록 동작하는 전극 헬멧을 포함하고, 여기서, 상기 전기적 신호는 상기 HSF/LSF 판별, 필터링 및 프로세싱 서브시스템 내의 동시 디스플레이 신호들과 비교되어 상기 전기적 신호를 대응하는 상기 동시 디스플레이 신호와 연관시킨다.

시스템은 스크린 오브젝트들을 변조하는 데 사용되는 상기 디스플레이 신호를 더 포함할 수 있다.

대안적으로 또는 추가적으로, 시스템은 스크린 오브젝트 오버레이들을 변조하는 데 사용되는 상기 디스플레이 신호를 더 포함할 수 있다.

본 개시내용의 추가 양태에 따르면, BCI들의 정확도, 속도 성능, 및 시각적 편안함을 개선하기 위한 방법이 제공되고, 방법은, 사용자의 머리에 착용될 때 그리고 상기 사용자가 디스플레이 스크린 상의 오브젝트들을 응시하는 동안, 헬멧 전극들로부터 신경 신호들을 검출하는 단계; 상기 검출된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 단계; 상기 신경 신호들을 상기 디스플레이 신호들과 비교하는 단계; 및 상기 신경 신호와 상기 디스플레이 신호들이 상관되는 초점 오브젝트를 식별하는 단계를 포함한다.

방법은 상기 초점 오브젝트를 식별하는 단계를 더 포함할 수 있고, 상기 초점 오브젝트는 스크린 오브젝트이다.

대안으로서 또는 추가적으로, 방법은 상기 초점 오브젝트를 식별하는 단계를 더 포함할 수 있고, 상기 초점 오브젝트는 스크린 오브젝트 오버레이이다.

예들

본원에서 개시되는 시스템 및 방법들을 더 잘 예시하기 위해, 예들의 비제한적인 리스트가 여기에 제공된다:

1. 방법은,

하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 각각의 스크린 오브젝트의 고 공간 주파수(HSF) 버전을 생성하는 단계;

스크린 오브젝트의 각각의 HSF 버전에 대해, 특성 변조를 적용하는 단계;

스크린 오브젝트들의 상기 변조된 버전들에 대응하는 시각적 자극들을 포함하는 디스플레이 신호들을 생성하는 단계;

디스플레이 스크린 상에 디스플레이 신호들을 디스플레이하는 단계;

상기 사용자가 디스플레이 스크린을 응시하는 동안, 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 단계;

각각의 시각적 자극에 대해, 사용자가 디스플레이 스크린을 응시할 때 수신된 신경 신호들이 상기 시각적 자극의 신경 시그너처를 포함하는지 여부를 결정하는 단계; 및

신경 신호들이 시각적 자극의 신경 시그너처를 포함한다고 결정될 때, 디스플레이 스크린 상에 디스플레이된 디스플레이 신호들에서 사용자의 초점 오브젝트를 식별하는 단계

를 포함하고,

초점 오브젝트는 시각적 자극과 일치하는 디스플레이 스크린 상의 디스플레이 오브젝트이다.

2. 예 1의 방법에서,

신경 신호들은 사용자의 뇌의 시각 피질에서 측정되는 신경 진동들에 대응한다.

3. 예 1 또는 예 2의 방법에서,

신경 시그너처는 시각적 자극의 특성 변조와 연관된 정보를 포함한다.

4. 예 1 내지 예 3 중 어느 하나의 예의 방법은,

하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 스크린 오브젝트 또는 각각의 스크린 오브젝트의 저 공간 주파수(LSF) 버전을 생성하는 단계; 및 스크린 오브젝트의 각각의 LSF 버전에 대해, 정적 디스플레이 신호를 인코딩하는 단계를 더 포함한다.

5. 예 1 내지 예 4 중 어느 하나의 예에서,

하나 이상의 스크린 오브젝트에 대한 그래픽 데이터는 공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 사용하여 필터링된다.

6. 예 1 내지 예 5 중 어느 하나의 예에서,

특성 변조는 특성 시간적 변조이다.

7. 예 1 내지 예 6 중 어느 하나의 예에서,

수신된 신경 신호들이 시각적 자극의 디지털 시그너처를 포함하는지 여부를 결정하는 단계는, 수신된 신경 신호들에 대해 스펙트럼 분석을 수행하는 단계; 및 수신된 신경 신호들의 스펙트럼 특성들이 시각적 자극의 특성 변조와 연관된 스펙트럼에 대응하는지 여부를 결정하는 단계를 포함한다.

8. 예 1 내지 예 7 중 어느 하나의 예에서,

신경 신호 캡처 디바이스는 전극들을 포함하는 EEG 헬멧을 포함하고, EEG 헬멧은 사용자의 머리에 착용되도록 구성된다.

9. 예 1 내지 예 8 중 어느 하나의 예에서,

상기 초점 오브젝트는 스크린 오브젝트 자체이다.

10. 예 1 내지 예 9 중 어느 하나의 예에서,

상기 초점 오브젝트는 디스플레이 스크린 상에 디스플레이되는 디스플레이 오브젝트이고, 시각적 자극은 디스플레이 오브젝트와 상이하고 디스플레이 오브젝트 위에 디스플레이되는 오버레이 오브젝트이다.

11. 뇌-컴퓨터 인터페이스 시스템은,

사용자에게 디스플레이 스크린을 제시하도록 구성된 디스플레이 서브시스템;

사용자와 연관된 신경 신호들을 캡처하도록 구성된 신경 신호 캡처 디바이스; 및

디스플레이 서브시스템 및 신경 신호 캡처 디바이스에 동작가능하게 커플링된 인터페이싱 디바이스

를 포함하고,

인터페이싱 디바이스는,

메모리; 및

메모리에 동작가능하게 커플링된 프로세서

를 포함하고,

프로세서는,

하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 각각의 스크린 오브젝트의 고 공간 주파수(HSF) 버전을 생성하고,

스크린 오브젝트의 각각의 HSF 버전에 대해, 특성 변조를 적용하고,

스크린 오브젝트들의 상기 변조된 버전들에 대응하는 시각적 자극들을 포함하는 디스플레이 신호들을 생성하고,

디스플레이 스크린 상에 디스플레이하기 위해 디스플레이 신호들을 디스플레이 서브시스템으로 전달하고,

상기 사용자가 디스플레이 스크린을 응시하는 동안, 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하고,

각각의 시각적 자극에 대해, 사용자가 디스플레이 스크린을 응시할 때 수신된 신경 신호들이 상기 시각적 자극의 신경 시그너처를 포함하는지 여부를 결정하고,

신경 신호들이 시각적 자극의 신경 시그너처를 포함한다고 결정될 때, 디스플레이 스크린 상에 디스플레이된 디스플레이 신호들에서 사용자의 초점 오브젝트를 식별하도록

구성되고,

12. 예 11의 뇌-컴퓨터 인터페이스 시스템에서,

프로세서는,

초점 오브젝트를 제어 아이템들의 세트로부터의 적어도 하나의 제어 아이템과 연관시키고,

초점 오브젝트 및 적어도 하나의 제어 아이템에 기초하여, 사용자에 의해 의도되는 액션을 결정하고,

사용자에 의해 의도되는 액션을 구현하도록

추가로 구성된다.

13. 예 11 또는 예 12의 뇌-컴퓨터 인터페이스 시스템에서,

프로세서는,

상기 디스플레이 서브시스템으로 디스플레이 신호를 전달하도록 동작하는 디스플레이 드라이버 서브시스템을 더 포함한다.

14. 예 11 내지 예 13 중 어느 하나의 예의 뇌-컴퓨터 인터페이스 시스템에서,

신경 신호 캡처 디바이스는 신경 뇌 활동을 검출하고, 상기 신경 뇌 활동을 표현하는 전기적 신호를 생성하고, 상기 전기적 신호를 인터페이싱 디바이스로 전달하도록 동작하는 전극 헬멧을 포함한다.

15. 예 11 내지 예 14 중 어느 하나의 예의 뇌-컴퓨터 인터페이스 시스템에서,

초점 오브젝트는 스크린 오브젝트 자체이다.

16. 예 11 내지 예 14 중 어느 하나의 예의 뇌-컴퓨터 인터페이스 시스템에서,

17. 예 11 내지 예 16 중 어느 하나의 예의 뇌-컴퓨터 인터페이스 시스템에서,

프로세서는 하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 스크린 오브젝트 또는 각각의 스크린 오브젝트의 저 공간 주파수(LSF) 버전을 생성하고, 스크린 오브젝트의 각각의 LSF 버전에 대해, 정적 디스플레이 신호를 인코딩하도록 추가로 구성된다.

18. 컴퓨터 판독가능 저장 매체로서, 컴퓨터 판독가능 저장 매체는 명령어들을 보유하고, 명령어들은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 동작들을 수행하게 하고,

동작들은,

하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 각각의 스크린 오브젝트의 고 공간 주파수(HSF) 버전을 생성하는 동작;

스크린 오브젝트의 각각의 HSF 버전에 대해, 특성 변조를 적용하는 동작;

스크린 오브젝트들의 상기 변조된 버전들에 대응하는 시각적 자극들을 포함하는 디스플레이 신호들을 생성하는 동작;

디스플레이 스크린 상에 디스플레이 신호들을 디스플레이하는 동작;

상기 사용자가 디스플레이 스크린을 응시하는 동안, 신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 동작;

각각의 시각적 자극에 대해, 사용자가 디스플레이 스크린을 응시할 때 수신된 신경 신호들이 상기 시각적 자극의 신경 시그너처를 포함하는지 여부를 결정하는 동작; 및

신경 신호들이 시각적 자극의 신경 시그너처를 포함한다고 결정될 때, 디스플레이 스크린 상에 디스플레이된 디스플레이 신호들에서 사용자의 초점 오브젝트를 식별하는 동작

을 포함하고,

19. 예 18의 컴퓨터 판독가능 저장 매체에서,

20. 예 18 또는 예 19의 컴퓨터 판독가능 저장 매체에서,

21. 예 18 내지 예 20 중 어느 하나의 예의 컴퓨터 판독가능 저장 매체에서,

명령어들은 추가로, 컴퓨터로 하여금 동작들을 수행하게 하고, 동작들은, 하나 이상의 스크린 오브젝트에 대한 그래픽 데이터를 필터링하여, 스크린 오브젝트 또는 각각의 스크린 오브젝트의 저 공간 주파수(LSF) 버전을 생성하는 동작; 및 스크린 오브젝트의 각각의 LSF 버전에 대해, 정적 디스플레이 신호를 인코딩하는 동작을 포함한다.

22. 예 18 내지 예 21 중 어느 하나의 예의 컴퓨터 판독가능 저장 매체에서,

23. 예 18 내지 예 22 중 어느 하나의 예의 컴퓨터 판독가능 저장 매체에서,

특성 변조는 특성 시간적 변조이다.

24. 예 18 내지 예 23 중 어느 하나의 예의 컴퓨터 판독가능 저장 매체에서,

수신된 신경 신호들이 시각적 자극의 디지털 시그너처를 포함하는지 여부를 결정하는 동작은, 수신된 신경 신호들에 대해 스펙트럼 분석을 수행하는 동작; 및 수신된 신경 신호들의 스펙트럼 특성들이 시각적 자극의 특성 변조와 연관된 스펙트럼에 대응하는지 여부를 결정하는 동작을 포함한다.

25. 시각적 주의를 추적하는 방법으로서, 이 방법은,

베이스 이미지를 획득하는 단계;

적어도 하나의 시각적 자극을 생성하는 단계 ― 각각의 자극은 특성 변조를 갖고, 특성 변조는 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―;

디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계;

신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 단계; 및

사용자가 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 신경 신호들에 기초하여, 뷰잉되는 이미지에서 사용자의 초점을 결정하는 단계

를 포함하고,

신경 신호들은 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함한다.

26. 예 25의 방법에서,

자극을 생성하는 단계는,

저 공간 주파수(LSF) 맵 데이터 및 HSF 맵 데이터를 생성하기 위해, 베이스 이미지의 적어도 일부를 프로세싱하는 단계; 및

HSF 맵 데이터가 미리 결정된 공간 주파수 임계치(T1)를 충족시키는지 여부를 결정하는 단계

를 포함한다.

27. 예 26의 방법에서,

베이스 이미지의 적어도 일부를 프로세싱하는 단계는,

공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 적용하는 단계;

미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수를 갖는 베이스 이미지의 상기 적어도 일부의 피처들을 저 공간 주파수 맵 데이터에 저장하는 단계; 및

미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수를 갖는 베이스 이미지의 상기 적어도 일부의 피처들을 고 공간 주파수 맵 데이터에 저장하는 단계

를 포함한다.

28. 예 26의 방법에서,

HSF 맵 데이터는 미리 결정된 공간 주파수 임계치(T1)를 충족시키지 않고,

자극을 생성하는 단계는,

향상된 HSF 맵 데이터를 생성함으로써, 시각적 자극에 추가적인 HSF 자극을 도입하는 단계; 및

향상된 HSF 맵 데이터에 시간적 변조를 적용하는 단계

를 더 포함한다.

29. 예 28의 방법에서,

향상된 HSF 맵 데이터를 생성하는 단계는,

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하는지 여부를 결정하는 단계; 및

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속할 때, 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 단계

를 포함한다.

30. 예 29의 방법에서,

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 단계는,

회색 오버레이 맵을 생성하는 단계; 및

향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 단계

를 포함하고,

시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는,

블렌딩된 이미지를 제공하기 위해, 향상된 HSF 맵 데이터를 회색 오버레이 맵과 병합하는 단계; 및

GUI를 통해 블렌딩된 이미지를 디스플레이하는 단계

를 포함한다.

31. 예 29의 방법에서,

회색 오버레이 맵을 생성하는 단계;

하드 잡음 맵을 생성하는 단계; 및

HSF 맵 데이터를 향상된 HSF 맵 데이터로서 사용하기 위한 하드 잡음 맵으로부터의 데이터로 대체하는 단계

를 포함하고,

GUI를 통해 블렌딩된 이미지를 디스플레이하는 단계

를 포함한다.

32. 예 25의 방법에서,

자극을 생성하는 단계는,

베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 단계;

각각의 세그먼트화된 디스플레이 오브젝트에 대해, 세그먼트화된 디스플레이 오브젝트들을 고 공간 주파수(HSF) 성분들 및 저 공간 주파수(LSF) 성분들로 필터링하는 단계; 및

세그먼트화된 디스플레이 오브젝트들의 HSF 성분들에 시간적 변조를 적용하는 단계

를 포함한다.

33. 예 25의 방법에서,

자극을 생성하는 단계는,

각각의 세그먼트화된 디스플레이 오브젝트에 대해, 오버레이 오브젝트를 생성하는 단계;

각각의 오버레이 오브젝트에 대해, HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 단계; 및

오버레이 오브젝트들의 HSF 오버레이 오브젝트 성분들에 시간적 변조를 적용하는 단계

를 포함한다.

34. 예 33의 방법에서,

HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 단계는, 오버레이 오브젝트 HSF 성분들 및 LSF 성분들을 각각 필터링하는 단계를 포함한다.

35. 예 25의 방법에서,

초점을 결정하는 단계는, 상기 수신된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 단계를 포함한다.

36. 예 25의 방법에서,

적어도 하나의 시각적 자극은 적어도 하나의 제어 아이템에 대응하고, 제어 아이템 또는 각각의 제어 아이템은 하나 이상의 사용자 선택가능 액션들과 연관된다.

37. 예 36의 방법은,

초점 및 적어도 하나의 제어 아이템에 기초하여, 사용자에 의해 의도되는 액션을 결정하는 단계; 및

사용자에 의해 의도되는 액션을 구현하는 단계

를 더 포함한다.

38. 예 25의 방법에서,

베이스 이미지를 획득하는 단계는,

베이스 이미지를 캡처하기 위해, 이미지 캡처 디바이스를 동작시키는 단계를 포함한다.

39. 예 25의 방법에서,

베이스 이미지를 획득하는 단계는,

프로세싱 디바이스에서 실행되는 애플리케이션에 의해 생성된 이미지 데이터를 수신하고, 수신된 데이터를 베이스 이미지로서 사용하는 단계를 포함한다.

40. 예 25의 방법에서,

블렌딩된 이미지를 제공하기 위해, 시각적 자극 또는 각각의 시각적 자극을 베이스 이미지와 병합하는 단계; 및

GUI를 통해 블렌딩된 이미지를 디스플레이하는 단계

를 포함한다.

41. 예 38의 방법에서,

디스플레이는 사용자가 이미지 캡처 디바이스의 시야와 정렬된 시야를 제시받는 투명 디스플레이이고, 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는, 시야에 걸쳐 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계를 포함한다.

42. 장치는,

사용자에게 제어 인터페이스를 제시하도록 구성된 디스플레이;

디스플레이 및 신경 신호 캡처 디바이스에 동작가능하게 커플링된 인터페이싱 디바이스

를 포함하고,

인터페이싱 디바이스는,

메모리; 및

메모리에 동작가능하게 커플링된 프로세서

를 포함하고,

프로세서는,

신경 신호 캡처 디바이스로부터 신경 신호들을 수신하고,

자극을 생성하여 제어 인터페이스를 통해 사용자에게 제시하고 ― 자극은 액션들의 세트와 연관된 제어 아이템들의 세트를 포함함 ―,

신경 신호들에 기초하여 사용자의 초점을 결정하고 ― 초점은 제어 아이템들의 세트로부터의 적어도 하나의 제어 아이템과 연관됨 ―,

초점 및 적어도 하나의 제어 아이템에 기초하여, 사용자에 의해 의도되는 액션을 결정하고,

사용자에 의해 의도되는 액션을 구현하도록

구성된다.

43. 컴퓨팅 장치로서, 이 컴퓨팅 장치는,

프로세서; 및

명령어들을 저장한 메모리

를 포함하고,

명령어들은, 프로세서에 의해 실행될 때, 장치를,

베이스 이미지를 획득하고,

적어도 하나의 시각적 자극을 생성하고 ― 각각의 자극은 특성 변조를 갖고, 특성 변조는 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―,

디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 시각적 자극 또는 각각의 시각적 자극을 디스플레이하고,

신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하고,

사용자가 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 신경 신호들에 기초하여, 뷰잉되는 이미지에서 사용자의 초점을 결정하도록

구성하고,

44. 예 43의 컴퓨팅 장치에서,

자극을 생성하는 것은,

저 공간 주파수(LSF) 맵 데이터 및 HSF 맵 데이터를 생성하기 위해, 베이스 이미지의 적어도 일부를 프로세싱하는 것; 및

HSF 맵 데이터가 미리 결정된 공간 주파수 임계치(T1)를 충족시키는지 여부를 결정하는 것

을 포함한다.

45. 예 43의 컴퓨팅 장치에서,

베이스 이미지의 적어도 일부를 프로세싱하는 것은,

공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 적용하는 것;

미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수를 갖는 베이스 이미지의 상기 적어도 일부의 피처들을 저 공간 주파수 맵 데이터에 저장하는 것; 및

미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수를 갖는 베이스 이미지의 상기 적어도 일부의 피처들을 고 공간 주파수 맵 데이터에 저장하는 것

을 포함한다.

46. 예 43의 컴퓨팅 장치에서,

자극을 생성하는 것은,

향상된 HSF 맵 데이터를 생성함으로써, 시각적 자극에 추가적인 HSF 자극을 도입하는 것; 및

향상된 HSF 맵 데이터에 시간적 변조를 적용하는 것

을 더 포함한다.

47. 예 46의 컴퓨팅 장치에서,

향상된 HSF 맵 데이터를 생성하는 것은,

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하는지 여부를 결정하는 것; 및

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속할 때, 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 것

을 포함한다.

48. 예 47의 컴퓨팅 장치에서,

베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 것은,

회색 오버레이 맵을 생성하는 것; 및

향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 것

을 포함하고,

시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은,

블렌딩된 이미지를 제공하기 위해, 향상된 HSF 맵 데이터를 회색 오버레이 맵과 병합하는 것; 및

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

49. 예 47의 컴퓨팅 장치에서,

회색 오버레이 맵을 생성하는 것;

하드 잡음 맵을 생성하는 것; 및

HSF 맵 데이터를 향상된 HSF 맵 데이터로서 사용하기 위한 하드 잡음 맵으로부터의 데이터로 대체하는 것

을 포함한다.

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

50. 예 43의 컴퓨팅 장치에서,

자극을 생성하는 것은,

베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 것;

각각의 세그먼트화된 디스플레이 오브젝트에 대해, 세그먼트화된 디스플레이 오브젝트들을 고 공간 주파수(HSF) 성분들 및 저 공간 주파수(LSF) 성분들로 필터링하는 것; 및

세그먼트화된 디스플레이 오브젝트들의 HSF 성분들에 시간적 변조를 적용하는 것

을 포함한다.

51. 예 43의 컴퓨팅 장치에서,

자극을 생성하는 것은,

각각의 세그먼트화된 디스플레이 오브젝트에 대해, 오버레이 오브젝트를 생성하는 것;

각각의 오버레이 오브젝트에 대해, HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 것; 및

오버레이 오브젝트들의 HSF 오버레이 오브젝트 성분들에 시간적 변조를 적용하는 것

을 포함한다.

52. 예 51의 컴퓨팅 장치에서,

HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 것은, 오버레이 오브젝트 HSF 성분들 및 LSF 성분들을 각각 필터링하는 것을 포함한다.

53. 예 43의 컴퓨팅 장치에서,

초점을 결정하는 것은, 상기 수신된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 것을 포함한다.

54. 예 43의 컴퓨팅 장치에서,

55. 예 54의 컴퓨팅 장치에서,

명령어들은 장치를,

사용자에 의해 의도되는 액션을 구현하도록

추가로 구성한다.

56. 예 43의 컴퓨팅 장치에서,

베이스 이미지를 획득하는 것은,

베이스 이미지를 캡처하기 위해, 이미지 캡처 디바이스를 동작시키는 것을 포함한다.

57. 예 43의 컴퓨팅 장치에서,

베이스 이미지를 획득하는 것은,

프로세싱 디바이스에서 실행되는 애플리케이션에 의해 생성된 이미지 데이터를 수신하고, 수신된 데이터를 베이스 이미지로서 사용하는 것을 포함한다.

58. 예 43의 컴퓨팅 장치에서,

블렌딩된 이미지를 제공하기 위해, 시각적 자극 또는 각각의 시각적 자극을 베이스 이미지와 병합하는 것; 및

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

59. 예 56의 컴퓨팅 장치에서,

디스플레이는 사용자가 이미지 캡처 디바이스의 시야와 정렬된 시야를 제시받는 투명 디스플레이이고, 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은, 시야에 걸쳐 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것을 포함한다.

60. 비일시적 컴퓨터 판독가능 저장 매체로서, 이 컴퓨터 판독가능 저장 매체는 명령어들을 포함하고, 명령어들은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금,

베이스 이미지를 획득하고,

사용자가 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 신경 신호들에 기초하여, 뷰잉되는 이미지에서 사용자의 초점을 결정하게 하고,

61. 예 60의 컴퓨터 판독가능 저장 매체에서,

자극을 생성하는 것은,

을 포함한다.

62. 예 60의 컴퓨터 판독가능 저장 매체에서,

베이스 이미지의 적어도 일부를 프로세싱하는 것은,

을 포함한다.

63. 예 60의 컴퓨터 판독가능 저장 매체에서,

자극을 생성하는 것은,

향상된 HSF 맵 데이터에 시간적 변조를 적용하는 것

을 더 포함한다.

64. 예 63의 컴퓨터 판독가능 저장 매체에서,

향상된 HSF 맵 데이터를 생성하는 것은,

을 포함한다.

65. 예 64의 컴퓨터 판독가능 저장 매체에서,

회색 오버레이 맵을 생성하는 것; 및

을 포함하고,

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

66. 예 64의 컴퓨터 판독가능 저장 매체에서,

회색 오버레이 맵을 생성하는 것;

하드 잡음 맵을 생성하는 것; 및

을 포함하고,

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

67. 예 60의 컴퓨터 판독가능 저장 매체에서,

자극을 생성하는 것은,

을 포함한다.

68. 예 60의 컴퓨터 판독가능 저장 매체에서,

자극을 생성하는 것은,

을 포함한다.

69. 예 68의 컴퓨터 판독가능 저장 매체에서,

70. 예 60의 컴퓨터 판독가능 저장 매체에서,

71. 예 60의 컴퓨터 판독가능 저장 매체에서,

72. 예 71의 컴퓨터 판독가능 저장 매체에서,

명령어들은 컴퓨터를,

사용자에 의해 의도되는 액션을 구현하도록

추가로 구성한다.

73. 예 60의 컴퓨터 판독가능 저장 매체에서,

베이스 이미지를 획득하는 것은,

74. 예 60의 컴퓨터 판독가능 저장 매체에서,

베이스 이미지를 획득하는 것은,

75. 예 60의 컴퓨터 판독가능 저장 매체에서,

GUI를 통해 블렌딩된 이미지를 디스플레이하는 것

을 포함한다.

76. 예 73의 컴퓨터 판독가능 저장 매체에서,

본 개시내용의 추가의 특정 및 바람직한 양태들은 첨부 독립항들 및 종속항들에서 제시된다. 종속항들의 피처들이 청구항들에서 명시적으로 제시된 것들 이외의 조합들로 독립항들의 피처들과 조합될 수 있다는 것을 인식할 것이다.

Claims

시각적 주의를 추적하는 방법으로서,
베이스 이미지를 획득하는 단계;
적어도 하나의 시각적 자극을 생성하는 단계 ― 각각의 자극은 특성 변조를 갖고, 상기 특성 변조는 상기 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―;
디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계;
신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 단계; 및
상기 사용자가 상기 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 상기 신경 신호들에 기초하여, 뷰잉되는 이미지에서 상기 사용자의 초점을 결정하는 단계
를 포함하고,
상기 신경 신호들은 상기 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함하는, 방법.
제1항에 있어서,
상기 자극을 생성하는 단계는,
저 공간 주파수(LSF) 맵 데이터 및 HSF 맵 데이터를 생성하기 위해, 상기 베이스 이미지의 적어도 일부를 프로세싱하는 단계; 및
상기 HSF 맵 데이터가 미리 결정된 공간 주파수 임계치(T1)를 충족시키는지 여부를 결정하는 단계
를 포함하는, 방법.
제2항에 있어서,
상기 베이스 이미지의 적어도 일부를 프로세싱하는 단계는,
공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 적용하는 단계;
미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 저 공간 주파수 맵 데이터에 저장하는 단계; 및
미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 고 공간 주파수 맵 데이터에 저장하는 단계
를 포함하는, 방법.
제2항에 있어서,
상기 HSF 맵 데이터는 상기 미리 결정된 공간 주파수 임계치(T1)를 충족시키지 않고,
상기 자극을 생성하는 단계는,
향상된 HSF 맵 데이터를 생성함으로써, 상기 시각적 자극에 추가적인 HSF 자극을 도입하는 단계; 및
상기 향상된 HSF 맵 데이터에 시간적 변조를 적용하는 단계
를 더 포함하는, 방법.
제4항에 있어서,
상기 향상된 HSF 맵 데이터를 생성하는 단계는,
상기 베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하는지 여부를 결정하는 단계; 및
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속할 때, 상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 단계
를 포함하는, 방법.
제5항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 단계는,
회색 오버레이 맵을 생성하는 단계; 및
상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 단계
를 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 단계; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 단계
를 포함하는, 방법.
제5항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 단계는,
회색 오버레이 맵을 생성하는 단계;
하드 잡음 맵을 생성하는 단계; 및
상기 HSF 맵 데이터를 상기 향상된 HSF 맵 데이터로서 사용하기 위한 상기 하드 잡음 맵으로부터의 데이터로 대체하는 단계
를 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 단계; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 단계
를 포함하는, 방법.
제1항에 있어서,
자극을 생성하는 단계는,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 단계;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 상기 세그먼트화된 디스플레이 오브젝트들을 고 공간 주파수(HSF) 성분들 및 저 공간 주파수(LSF) 성분들로 필터링하는 단계; 및
상기 세그먼트화된 디스플레이 오브젝트들의 상기 HSF 성분들에 시간적 변조를 적용하는 단계
를 포함하는, 방법.
제1항에 있어서,
자극을 생성하는 단계는,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 단계;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 오버레이 오브젝트를 생성하는 단계;
각각의 오버레이 오브젝트에 대해, HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 단계; 및
상기 오버레이 오브젝트들의 상기 HSF 오버레이 오브젝트 성분들에 시간적 변조를 적용하는 단계
를 포함하는, 방법.
제9항에 있어서,
HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 단계는, 상기 오버레이 오브젝트 HSF 성분들 및 LSF 성분들을 각각 필터링하는 단계를 포함하는, 방법.
제1항에 있어서,
초점을 결정하는 단계는, 상기 수신된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 단계를 포함하는, 방법.
제1항에 있어서,
상기 적어도 하나의 시각적 자극은 적어도 하나의 제어 아이템에 대응하고, 상기 제어 아이템 또는 각각의 제어 아이템은 하나 이상의 사용자 선택가능 액션들과 연관되는, 방법.
제12항에 있어서,
상기 초점 및 상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자에 의해 의도되는 액션을 결정하는 단계; 및
상기 사용자에 의해 의도되는 액션을 구현하는 단계
를 더 포함하는, 방법.
제1항에 있어서,
베이스 이미지를 획득하는 단계는,
상기 베이스 이미지를 캡처하기 위해, 이미지 캡처 디바이스를 동작시키는 단계를 포함하는, 방법.
제1항에 있어서,
베이스 이미지를 획득하는 단계는,
프로세싱 디바이스에서 실행되는 애플리케이션에 의해 생성된 이미지 데이터를 수신하고, 수신된 데이터를 상기 베이스 이미지로서 사용하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는,
블렌딩된 이미지를 제공하기 위해, 상기 시각적 자극 또는 각각의 시각적 자극을 상기 베이스 이미지와 병합하는 단계; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 단계
를 포함하는, 방법.
제14항에 있어서,
상기 디스플레이는 사용자가 상기 이미지 캡처 디바이스의 시야와 정렬된 시야를 제시받는 투명 디스플레이이고, 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계는, 상기 시야에 걸쳐 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 단계를 포함하는, 방법.
장치로서,
사용자에게 제어 인터페이스를 제시하도록 구성된 디스플레이;
상기 사용자와 연관된 신경 신호들을 캡처하도록 구성된 신경 신호 캡처 디바이스; 및
상기 디스플레이 및 상기 신경 신호 캡처 디바이스에 동작가능하게 커플링된 인터페이싱 디바이스
를 포함하고,
상기 인터페이싱 디바이스는,
메모리; 및
상기 메모리에 동작가능하게 커플링된 프로세서
를 포함하고,
상기 프로세서는,
상기 신경 신호 캡처 디바이스로부터 상기 신경 신호들을 수신하고,
자극을 생성하여 상기 제어 인터페이스를 통해 상기 사용자에게 제시하고 ― 상기 자극은 액션들의 세트와 연관된 제어 아이템들의 세트를 포함함 ―,
상기 신경 신호들에 기초하여 상기 사용자의 초점을 결정하고 ― 상기 초점은 상기 제어 아이템들의 세트로부터의 적어도 하나의 제어 아이템과 연관됨 ―,
상기 초점 및 상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자에 의해 의도되는 액션을 결정하고,
상기 사용자에 의해 의도되는 액션을 구현하도록
구성되는, 장치.
컴퓨팅 장치로서,
프로세서; 및
명령어들을 저장한 메모리
를 포함하고,
상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 장치를,
베이스 이미지를 획득하고,
적어도 하나의 시각적 자극을 생성하고 ― 각각의 자극은 특성 변조를 갖고, 상기 특성 변조는 상기 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―,
디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하고,
신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하고,
상기 사용자가 상기 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 상기 신경 신호들에 기초하여, 뷰잉되는 이미지에서 상기 사용자의 초점을 결정하도록
구성하고,
상기 신경 신호들은 상기 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 자극을 생성하는 것은,
저 공간 주파수(LSF) 맵 데이터 및 HSF 맵 데이터를 생성하기 위해, 상기 베이스 이미지의 적어도 일부를 프로세싱하는 것; 및
상기 HSF 맵 데이터가 미리 결정된 공간 주파수 임계치(T1)를 충족시키는지 여부를 결정하는 것
을 포함하는, 컴퓨팅 장치.
제20항에 있어서,
상기 베이스 이미지의 적어도 일부를 프로세싱하는 것은,
공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 적용하는 것;
미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 저 공간 주파수 맵 데이터에 저장하는 것; 및
미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 고 공간 주파수 맵 데이터에 저장하는 것
을 포함하는, 컴퓨팅 장치.
제20항에 있어서,
상기 HSF 맵 데이터는 상기 미리 결정된 공간 주파수 임계치(T1)를 충족시키지 않고,
상기 자극을 생성하는 것은,
향상된 HSF 맵 데이터를 생성함으로써, 상기 시각적 자극에 추가적인 HSF 자극을 도입하는 것; 및
상기 향상된 HSF 맵 데이터에 시간적 변조를 적용하는 것
을 더 포함하는, 컴퓨팅 장치.
제22항에 있어서,
향상된 HSF 맵 데이터를 생성하는 것은,
상기 베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하는지 여부를 결정하는 것; 및
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속할 때, 상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 것
을 포함하는, 컴퓨팅 장치.
제23항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 것은,
회색 오버레이 맵을 생성하는 것; 및
상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 것
을 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 것; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 것
을 포함하는, 컴퓨팅 장치.
제23항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 것은,
회색 오버레이 맵을 생성하는 것;
하드 잡음 맵을 생성하는 것; 및
상기 HSF 맵 데이터를 상기 향상된 HSF 맵 데이터로서 사용하기 위한 상기 하드 잡음 맵으로부터의 데이터로 대체하는 것
을 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 것; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 것
을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 자극을 생성하는 것은,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 것;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 상기 세그먼트화된 디스플레이 오브젝트들을 고 공간 주파수(HSF) 성분들 및 저 공간 주파수(LSF) 성분들로 필터링하는 것; 및
상기 세그먼트화된 디스플레이 오브젝트들의 상기 HSF 성분들에 시간적 변조를 적용하는 것
을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 자극을 생성하는 것은,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 것;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 오버레이 오브젝트를 생성하는 것;
각각의 오버레이 오브젝트에 대해, HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 것; 및
상기 오버레이 오브젝트들의 상기 HSF 오버레이 오브젝트 성분들에 시간적 변조를 적용하는 것
을 포함하는, 컴퓨팅 장치.
제27항에 있어서,
HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 것은, 상기 오버레이 오브젝트 HSF 성분들 및 LSF 성분들을 각각 필터링하는 것을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 초점을 결정하는 것은, 상기 수신된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 것을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 적어도 하나의 시각적 자극은 적어도 하나의 제어 아이템에 대응하고, 상기 제어 아이템 또는 각각의 제어 아이템은 하나 이상의 사용자 선택가능 액션들과 연관되는, 컴퓨팅 장치.
제30항에 있어서,
상기 명령어들은 상기 장치를,
상기 초점 및 상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자에 의해 의도되는 액션을 결정하고,
상기 사용자에 의해 의도되는 액션을 구현하도록
추가로 구성하는, 컴퓨팅 장치.
제19항에 있어서,
베이스 이미지를 획득하는 것은,
상기 베이스 이미지를 캡처하기 위해, 이미지 캡처 디바이스를 동작시키는 것을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 베이스 이미지를 획득하는 것은,
프로세싱 디바이스에서 실행되는 애플리케이션에 의해 생성된 이미지 데이터를 수신하고, 수신된 데이터를 상기 베이스 이미지로서 사용하는 것을 포함하는, 컴퓨팅 장치.
제19항에 있어서,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은,
블렌딩된 이미지를 제공하기 위해, 상기 시각적 자극 또는 각각의 시각적 자극을 상기 베이스 이미지와 병합하는 것; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 것
을 포함하는, 컴퓨팅 장치.
제32항에 있어서,
상기 디스플레이는 사용자가 상기 이미지 캡처 디바이스의 시야와 정렬된 시야를 제시받는 투명 디스플레이이고, 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것은, 상기 시야에 걸쳐 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 것을 포함하는, 컴퓨팅 장치.
컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 판독가능 저장 매체는 명령어들을 포함하고, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 동작들을 수행하게 하고,
상기 동작들은,
베이스 이미지를 획득하는 동작;
적어도 하나의 시각적 자극을 생성하는 동작 ― 각각의 자극은 특성 변조를 갖고, 상기 특성 변조는 상기 시각적 자극의 고 공간 주파수(HSF) 성분들에 적용됨 ―;
디스플레이의 그래픽 사용자 인터페이스(GUI)를 통해 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작;
신경 신호 캡처 디바이스로부터 사용자의 신경 신호들을 수신하는 동작; 및
상기 사용자가 상기 시각적 자극 또는 각각의 시각적 자극을 뷰잉할 때, 상기 신경 신호들에 기초하여, 뷰잉되는 이미지에서 상기 사용자의 초점을 결정하는 동작
을 포함하고,
상기 신경 신호들은 상기 사용자의 시각적 주의가 지향되는 시각적 자극의 특성 변조와 연관된 정보를 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 자극을 생성하는 동작은,
저 공간 주파수(LSF) 맵 데이터 및 HSF 맵 데이터를 생성하기 위해, 상기 베이스 이미지의 적어도 일부를 프로세싱하는 동작; 및
상기 HSF 맵 데이터가 미리 결정된 공간 주파수 임계치(T1)를 충족시키는지 여부를 결정하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제37항에 있어서,
상기 베이스 이미지의 적어도 일부를 프로세싱하는 동작은,
공간 주파수 필터 또는 공간 주파수 변환 중 적어도 하나를 적용하는 동작;
미리 결정된 저 공간 주파수 임계치보다 더 낮은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 저 공간 주파수 맵 데이터에 저장하는 동작; 및
미리 결정된 고 공간 주파수 임계치보다 더 높은 공간 주파수를 갖는 상기 베이스 이미지의 상기 적어도 일부의 피처들을 상기 고 공간 주파수 맵 데이터에 저장하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제37항에 있어서,
상기 HSF 맵 데이터는 상기 미리 결정된 공간 주파수 임계치(T1)를 충족시키지 않고,
상기 자극을 생성하는 동작은,
향상된 HSF 맵 데이터를 생성함으로써, 상기 시각적 자극에 추가적인 HSF 자극을 도입하는 동작; 및
상기 향상된 HSF 맵 데이터에 시간적 변조를 적용하는 동작
을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제39항에 있어서,
상기 향상된 HSF 맵 데이터를 생성하는 동작은,
상기 베이스 이미지의 상기 적어도 일부의 광도가 미리 결정된 범위 내에 속하는지 여부를 결정하는 동작; 및
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속할 때, 상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제40항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 동작은,
회색 오버레이 맵을 생성하는 동작; 및
상기 향상된 HSF 맵 데이터로서 사용하기 위한 HSF 잡음 맵을 생성하는 동작
을 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작은,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 동작; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제40항에 있어서,
상기 베이스 이미지의 상기 적어도 일부의 광도가 상기 미리 결정된 범위 내에 속하지 않을 때, 향상된 HSF 맵 데이터를 생성하는 동작은,
회색 오버레이 맵을 생성하는 동작;
하드 잡음 맵을 생성하는 동작; 및
상기 HSF 맵 데이터를 상기 향상된 HSF 맵 데이터로서 사용하기 위한 상기 하드 잡음 맵으로부터의 데이터로 대체하는 동작
을 포함하고,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작은,
블렌딩된 이미지를 제공하기 위해, 상기 향상된 HSF 맵 데이터를 상기 회색 오버레이 맵과 병합하는 동작; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 자극을 생성하는 동작은,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 동작;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 상기 세그먼트화된 디스플레이 오브젝트들을 고 공간 주파수(HSF) 성분들 및 저 공간 주파수(LSF) 성분들로 필터링하는 동작; 및
상기 세그먼트화된 디스플레이 오브젝트들의 상기 HSF 성분들에 시간적 변조를 적용하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 자극을 생성하는 동작은,
상기 베이스 이미지를 세그먼트화된 디스플레이 오브젝트들로 프로세싱하는 동작;
각각의 세그먼트화된 디스플레이 오브젝트에 대해, 오버레이 오브젝트를 생성하는 동작;
각각의 오버레이 오브젝트에 대해, HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 동작; 및
상기 오버레이 오브젝트들의 상기 HSF 오버레이 오브젝트 성분들에 시간적 변조를 적용하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제44항에 있어서,
HSF 오버레이 오브젝트 성분 및 LSF 오버레이 오브젝트 성분을 생성하는 동작은, 상기 오버레이 오브젝트 HSF 성분들 및 LSF 성분들을 각각 필터링하는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 초점을 결정하는 동작은, 상기 수신된 신경 신호들을 상기 오브젝트들을 변조하는 데 사용된 디스플레이 신호들과 상관시키는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 적어도 하나의 시각적 자극은 적어도 하나의 제어 아이템에 대응하고, 상기 제어 아이템 또는 각각의 제어 아이템은 하나 이상의 사용자 선택가능 액션들과 연관되는, 컴퓨터 판독가능 저장 매체.
제47항에 있어서,
상기 명령어들은 상기 컴퓨터를,
상기 초점 및 상기 적어도 하나의 제어 아이템에 기초하여, 상기 사용자에 의해 의도되는 액션을 결정하고,
상기 사용자에 의해 의도되는 액션을 구현하도록
추가로 구성하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 베이스 이미지를 획득하는 동작은,
상기 베이스 이미지를 캡처하기 위해, 이미지 캡처 디바이스를 동작시키는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 베이스 이미지를 획득하는 동작은,
프로세싱 디바이스에서 실행되는 애플리케이션에 의해 생성된 이미지 데이터를 수신하고, 수신된 데이터를 상기 베이스 이미지로서 사용하는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작은,
블렌딩된 이미지를 제공하기 위해, 상기 시각적 자극 또는 각각의 시각적 자극을 상기 베이스 이미지와 병합하는 동작; 및
상기 GUI를 통해 상기 블렌딩된 이미지를 디스플레이하는 동작
을 포함하는, 컴퓨터 판독가능 저장 매체.
제49항에 있어서,
상기 디스플레이는 사용자가 상기 이미지 캡처 디바이스의 시야와 정렬된 시야를 제시받는 투명 디스플레이이고, 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작은, 상기 시야에 걸쳐 상기 시각적 자극 또는 각각의 시각적 자극을 디스플레이하는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.