KR102282961B1 - 감각 및 인지 프로파일링을 위한 시스템 및 방법 - Google Patents

Abstract

인지 및/또는 감각 프로파일을 생성하는 방법, 장치, 및 시스템을 개시한다. 한 측면에서, 대상체의 인지 또는 감각을 평가하는 방법은 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일로부터 프로파일 카테고리를 선택하는 단계, 대상체에게 일련의 자극을 제시하는 단계로서, 여기서, 일련의 자극은 선택된 프로파일 카테고리에 기초하는 것인 단계, 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 생리학적 데이터를 생성하는 단계, 및 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 포함한다.

Description

감각 및 인지 프로파일링을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR SENSORY AND COGNITIVE PROFILING}

관련 출원에 대한 상호 참조

본 특허 문서는 2012년 9월 28일 출원된 미국 가특허 출원 번호 제61/707,613호 (발명의 명칭: "METHOD AND APPARATUS FOR ACQUISITION, ANALYSIS AND EVALUATION OF BRAIN SIGNALS AND CORRELATED INDIVIDUAL KNOWLEDGE AND/OR STATE OF AWARENESS PROFILE")의 우선권의 이점을 주장한다. 상기 특허 출원의 전문이 본 출원의 개시 내용의 일부로서 참조로 포함된다.

기술 분야

본 특허 문서는 뇌 기능 분석을 위한 시스템, 장치, 및 방법에 관한 것이다.

뇌파 검사 (EEG)는 대상체의 두피 상에 배치된 전극을 사용하여 뇌가 보이는 전기적 활동을 기록하는 것으로서, 이를 통해 EEG 데이터 세트를 포함하는 신경 신호 진동의 스펙트럼 컨텐트가 형성된다. 예를 들어, EEG 기법에 의해 검출되는 뇌의 전기적 활동으로는 예컨대, 뇌의 뉴런 내의 이온 전류 흐름으로부터 생성되는 전압 변동을 포함할 수 있다. 일부 문맥에서, EEG는 예컨대, 1시간 미만의 단기간에 걸쳐 뇌의 자발적 전기적 활동을 기록하는 것을 의미한다. EEG는 간질, 코마, 뇌병증, 뇌사, 및 다른 질환 및 결함을 비롯한, 임상 진단 적용에 사용될 수 있을 뿐만 아니라, 수면 및 수면 장애 연구에서도 사용될 수 있다. 일부 경우에서, EEG는 종양, 뇌졸중 및 다른 소상성 뇌 장애를 진단하는 데에도 사용되어 왔다.

EEG 기법의 일례로는 주어진 이벤트 (예컨대, 단순 자극 및 복합 프로세스)와 상관관계가 있는 EEG 기록 뇌 반응을 의미하는 것인 이벤트 관련 전위 (ERP)를 기록하는 것을 포함한다. 예를 들어, ERP는 감각, 운동, 및/또는 인지 과정과 관련된 전기적 뇌 반응-뇌파를 포함한다. ERP는 지각 (예컨대, 시각, 청각 등) 및 인지 (예컨대, 주의력, 언어 구사, 의사 결정 등)에 대한 뇌 척도와 관련이 있다. 전형적인 ERP 파형은 컴포넌트로 언급되는 양 및 음의 전압 편향의 시간적 전개를 포함한다. 예를 들어, 전형적인 컴포넌트는, 그에 대해 상기 컴포넌트가 유발되는 문자 (N/P: 음/양), 및 수치 (자극 이벤트로부터의 레이턴시 (단위: 밀리초)를 나타낸다)를 사용하여 분류된다.

요약

개체 및/또는 군의 정신 능력 (예컨대, 인지 및/또는 감각 수행), 심리적 상태 (예컨대, 인식 수준), 및 행동 선호에 관한 독특한 정보 세트를 추론하고 생성하기 위한 목적으로 생리학적 데이터 (예컨대, 뇌 신호) 및/또는 행동 데이터를 유도하기 위하여 전문화된 자극 제시 구조 (예컨대, 영상 및 소리 포함)를 사용하기 위한 방법, 시스템, 및 장치를 개시한다.

한 측면에서, 대상체의 인지 또는 감각을 평가하는 방법은 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일로부터 프로파일 카테고리를 선택하는 단계, 대상체에게 일련의 자극을 제시하는 단계로서, 여기서, 일련의 자극은 선택된 프로파일 카테고리에 기초하는 것인 단계, 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 생리학적 데이터를 생성하는 단계, 및 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 포함한다.

본 방법의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 일부 일례에서, 획득하는 단계는 대상체에 의해 수행되는 행동 반응 없이 구현될 수 있다. 예를 들어, 일련의 자극은 선택된 프로파일 카테고리에 기초한 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상을 포함할 수 있다. 예를 들어, 하나 이상의 정량 값은 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 또는 선호 중 1 이상의 것에 기초한 인지 및 감각 수행 중 하나 또는 그 둘 모두의 수준을 표시하는 정량적 점수를 포함할 수 있으며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시한다. 예를 들어, 하나 이상의 정량 값은 특정 시점에서의 대상체의 인식 수준 또는 상태를 표시하는 정량적 점수를 포함할 수 있다. 본 방법의 일부 구현에서, 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함할 수 있다. 예를 들어, 분류는 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정될 수 있다. 본 방법의 일부 구현에서, 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 본 방법의 일부 구현에서, 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고, 초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고, 분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계, 및 변형된 일련의 자극을 대상체에게 제시하는 단계를 추가로 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하는 단계, 및 새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 추가로 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 각 프로파일 카테고리에 대한 초기 일련의 자극을 생성하는 단계를 추가로 포함할 수 있다. 일부 일례에서, 생리학적 신호를 획득하는 단계는 대상체에 의해 생성된 뇌파도 (EEG) 신호를 기록하는 것을 포함할 수 있다. 예를 들어, EEG 신호를 기록하는 것은 대상체의 두피에 장착된 하나 이상의 가요성 EEG 전극 센서 장치를 사용하여 기록된 EEG 신호를 측정하고, 원격 처리 유닛으로 전송하는 것을 포함할 수 있다. 일부 일례에서, 생리학적 신호를 획득하는 단계는 대상체에 의해 생성된 근전도 (EMG) 신호를 기록하는 것을 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 생리학적 신호의 신호 대 잡음비를 증가시키기 위해 처리 단계 이전에 생리학적 신호를 필터링하는 단계를 추가로 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 처리 단계 이전에 생리학적 데이터를 분할하거나, 또는 생리학적 데이터로부터 특징을 확인하는 것 중 하나 이상의 것을 비롯한, 생리학적 데이터를 전처리하는 단계를 추가로 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 대상체에 대해 생성된 정보 세트에 기초하여 기계와 대상체 사이의 상호작용을 생성하는 단계를 추가로 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 일련의 자극을 제시하기 전에 대상체의 기준선 생리학적 신호를 획득하여 기준선 생리학적 데이터를 생성하는 단계를 추가로 포함할 수 있다. 일부 일례에서, 대상체에게 제시되는 일련의 자극은 대상체의 뇌 반응을 수동적으로 자극시키는 환경 자극을 포함할 수 있다. 예를 들어, 일부 구현에서, 본 방법은 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 행동 신호를 획득하여 생리학적 데이터를 생성하는 단계, 및 생리학적 데이터와 함께 행동 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 추가로 포함할 수 있다.

또 다른 측면에서, 그 안에 코드가 저장되어 있는 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 여기서, 상기 코드는 실행시 통신망 중의 컴퓨터 또는 컴퓨터 시스템의 프로세서가 대상체의 인지 또는 감각을 평가하는 방법을 구현하게 하고, 여기서, 컴퓨터 프로그램 제품은 본 방법을 구현하는 컴퓨터 또는 컴퓨터 시스템에 의해 작동되는 것인, 컴퓨터 프로그램 제품을 개시한다. 컴퓨터 구현 방법은 프롬프트를 대상체에게 제공하여 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일을 포함하는 프로파일 카테고리를 선택하는 단계, 대상체에게 제시되는 일련의 자극을 장치를 통해 제어하는 단계로서, 여기서, 일련의 자극은 선택된 프로파일 카테고리에 기초하는 것인 단계, 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체로부터 획득된 생리학적 신호를 나타내는 생리학적 데이터를 수신하는 단계, 및 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 포함한다.

컴퓨터 프로그램 제품의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품에서, 방법 중 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 컴퓨터 프로그램 제품의 컴퓨터 구현 방법은 분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함할 수 있다. 예를 들어, 분류는 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, 컴퓨터 프로그램 제품에서 방법 중 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품에서 방법 중 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고, 초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고, 분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 컴퓨터 프로그램 제품의 컴퓨터 구현 방법은 대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계, 및 대상체에게 제시되는 변형된 일련의 자극을 장치를 통해 제어하는 단계를 추가로 포함할 수 있다. 일부 구현에서, 컴퓨터 프로그램 제품의 컴퓨터 구현 방법은 변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체로부터 획득된 생리학적 신호를 나타내는 새로운 생리학적 데이터를 수신하는 단계, 및 새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 추가로 포함할 수 있다.

또 다른 측면에서, 인지 또는 감각 평가용 시스템은 대상체에게 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체가 보이는 생리학적 신호를 검출하는, 대상체에게 접속하고 있는 센서 장치로서, 여기서, 일련의 자극은 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일을 포함하는 인지-감각 프로파일 카테고리에 기초하는 것인 센서 장치, 및 센서 장치와 통신하고, 하나 이상의 메모리 유닛 및 생리학적 데이터로서 생리학적 신호를 처리하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하도록 설정된 하나 이상의 프로세서를 포함하도록 구조화된 데이터 처리 시스템을 포함한다.

시스템의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 일부 일례에서, 센서 장치에 의해 검출되는 생리학적 신호는 대상체에 의한 행동 반응을 포함하지 않는다. 일부 구현에서, 예를 들어, 시스템은 대상체에게 제시되는 일련의 자극을 생성하는 자극 전달 장치를 추가로 포함할 수 있으며, 여기서, 자극은 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상을 포함할 수 있다. 예를 들어, 자극 전달 장치는 일련의 영상을 생성하는 디스플레이 스크린을 포함할 수 있다. 예를 들어, 자극 전달 장치는 일련의 소리를 생성하는 스피커를 포함할 수 있다. 예를 들어, 자극 전달 장치는 일련의, 후각, 촉각, 또는 미각 자극 중 1 이상의 자극을 생성하는 작동기를 포함할 수 있다. 일부 구현에서, 자극 전달 장치는 데이터 처리 시스템과 통신할 수 있도록 설정될 수 있으며, 여기서, 데이터 처리 시스템은 생성된 정보 세트에 기초하여 기계 절차를 진행시키도록 설정되고, 여기서, 데이터 처리 유닛에 의해 진행되는 기계 절차는 자극 전달 장치가 다음 회차에 대상체에게 제시하기 위한 일련의 자극을 변형시키도록 유발한다. 예를 들어, 자극 전달 장치로는 데스크톱 컴퓨터, 랩톱 컴퓨터, 또는 스마트폰 또는 태블릿을 포함하는 이동 통신 장치를 포함할 수 있다. 예를 들어, 데이터 처리 시스템은 이동 통신 장치 내에 구성되어 있을 수 있다. 예를 들어, 데이터 처리 시스템은 생성된 정보 세트에 기초하여 기계 절차를 진행시키도록 설정될 수 있고, 여기서, 기계 절차는 또 다른 장치 또는 시스템이 생성된 정보 세트 내에 포함되어 있는 정보로부터 유도된 기능을 수행할 수 있도록 작동시킨다. 예를 들어, 하나 이상의 정량 값은 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 선호, 또는 인식 중 1 이상의 것에 기초한 인지 및 감각 수행 중 하나 또는 그 둘 모두의 수준을 표시하는 정량적 점수를 포함할 수 있으며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시한다. 시스템의 일부 구현에서, 예를 들어, 센서 장치는 가요성 기판, 가요성 기판 상의 센서 전극, 및 전극과 전기적으로 통신하고, 가요성 기판 상에 있는 전송기 유닛을 포함할 수 있으며, 여기서, 센서 장치는 뇌파도 (EEG) 신호를 기록하고, 기록된 EEG 신호를 데이터 처리 유닛 또는 원격 컴퓨터 시스템 중 적어도 하나에 전송하도록 하는, 대상체의 두피 상에 장착된 하나 이상의 착용가능한 패치로서 구성된다. 시스템의 일부 구현에서, 예를 들어, 센서 장치는 대상체로부터 전기적 신호를 수신하는, 대상체에 부착가능한 전극을 포함할 수 있다. 예를 들어, 센서 장치는 대상체의 모션 또는 움직임을 나타내는 대상체의 영상을 포착하는 영상화 장치를 포함할 수 있다. 일부 일례에서, 영상화 장치는 대상체의 시선 움직임을 포착한다. 예를 들어, 시스템의 일부 구현에서, 데이터 처리 시스템은 센서 장치로부터 검출된 생리학적 신호를 수신하는 센서 장치에 근접하게 위치하고, 그와 통신하는 로컬 컴퓨터로서, 이는 검출된 생리학적 신호의 초기 처리를 수행하여 초기 생리학적 신호 데이터를 생성하도록 설정된 것인 로컬 컴퓨터, 및 통신망 또는 링크를 통해 로컬 컴퓨터와 통신하여 로컬 컴퓨터로부터 초기 생리학적 신호 데이터를 수신하고, 초기 생리학적 신호 데이터를 처리하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 원격 컴퓨터를 포함할 수 있다. 예를 들어, 로컬 컴퓨터는 대상체에 특이적인 개별 데이터로서 초기 생리학적 신호 데이터를 생성하도록 설정될 수 있고, 원격 컴퓨터는 초기 생리학적 신호 데이터를 처리하여 대상체에 개별화된 정보 세트를 생성하도록 설정될 수 있다. 일부 구현에서, 예를 들어, 시스템은 대상체의 위치에 위치하고, 대상체에게 제시되는 일련의 자극을 생성하도록 설정된 자극 전달 장치로서, 여기서, 자극은 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상의 것을 포함하는 것인 자극 전달 장치 뿐만 아니라, 원격 컴퓨터와 통신하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트와 관련되거나, 그로부터 도출된 데이터를 수신하여 대상체에 대한 일련의 자극을 변형시킴으로써 대상체에 대해 개별화된 변형된 일련의 자극을 생성하는 것인 자극 제시 컴퓨터로서, 이는 변형된 일련의 자극이 대상체에게 적용될 수 있도록 하는 자극 전달 장치에 커플링되어 있는 것인 자극 제시 컴퓨터를 포함할 수 있다. 일부 구현에서, 예를 들어, 원격 컴퓨터는 초기 생리학적 신호 데이터를 처리할 때, 하나 이상의 대상체 군 중의 다른 대상체의 생리학적 신호 데이터에 접속하고, 다른 대상체의 생리학적 신호 데이터를 사용하여 대상체에 개별화된 정보 세트를 생성하도록 설정될 수 있다. 예를 들어, 일부 구현에서, 시스템은 원격 컴퓨터와 자극 제시 컴퓨터 사이에 구성되어 있고, 대상체에 대해 개별화된 변형된 일련의 자극을 생성할 때, 대상체에 개별화된 정보 세트를 자극 제시 컴퓨터에 의해 사용되는 적응 변화 또는 조정으로 변환시켜 대상체에 대한 일련의 자극을 변형시키도록 설정된 뇌-기계 인터페이스 모듈을 추가로 포함할 수 있다.

또 다른 측면에서, 대상체의 인지 또는 감각을 평가하는 방법은 인지-감각 프로파일 카테고리에 기초하여 생성된 일련의 자극의 제시에 대해 대응하는 개체의 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리하는 단계를 포함하며, 여기서, 상기 처리 단계를 통해 개체의 인지 수행 수준, 감각 수행 수준, 또는 인지 및 감각 수행 수준을 특징으로 하는 하나 이상의 정량 값을 포함하는 정보 세트가 생성된다. 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 데이터 및/또는 행동 데이터 내의 관심 시간 간격을 선택하고, 선택된 관심 시간 간격에 상응하는 생리학적 데이터 및/또는 행동 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 하나 이상의 정량 값을 생성하는 것을 포함한다.

본 방법의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 본 방법의 일부 구현에서, 예를 들어, 통계학적 척도를 제공하는 단계는 하나 이상의 군 중 개체 또는 다른 개체들로부터 획득한 이전 생리학적 데이터 및/또는 행동 데이터를 사용하여 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 개체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계를 추가로 포함할 수 있다.

또 다른 측면에서, 대상체의 인지 또는 감각을 평가하는 시스템은 통신망 또는 링크를 통해 원격 컴퓨터 장치와 통신하는 하나 이상의 컴퓨터를 포함한다. 하나 이상의 컴퓨터는 인지-감각 프로파일 카테고리에 기초하여 생성된 일련의 자극의 제시에 대한 반응으로 개체로부터 획득된 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리함으로써 개체의 인지 수행 수준, 감각 수행 수준, 또는 인지 및 감각 수행 수준을 특징으로 하는 하나 이상의 정량 값을 포함하는 정보 세트를 생성하도록 설정된다. 하나 이상의 컴퓨터는 생성된 정보 세트를 원격 컴퓨터 장치에 제공하도록 설정된다.

시스템의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨터는 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리하여 정보 세트를 생성할 수 있으며, 여기서, 처리하는 단계는 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 데이터 및/또는 행동 데이터 내의 관심 시간 간격을 선택하고, 선택된 관심 시간 간격에 상응하는 생리학적 데이터 및/또는 행동 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 하나 이상의 정량 값을 생성하는 것을 포함한다.

또 다른 측면에서, 대상체의 인지 또는 감각을 평가하는 방법은 인지 또는 감각 기능의 하나 이상의 측면을 나타내는 인지-감각 프로파일 카테고리를 선택하는 단계, 대상체에게 일련의 자극을 제시하는 단계로서, 여기서, 일련의 자극은 선택된 인지-감각 프로파일 카테고리에 기초하는 것인 단계, 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 생리학적 데이터를 생성하는 단계, 및 생리학적 데이터를 처리하여 선택된 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 포함한다.

본 방법의 구현은 임의적으로 하기 예시적인 특징들 중 하나 이상의 것을 포함할 수 있다. 예를 들어, 일련의 자극은 선택된 인지-감각 프로파일 카테고리에 기초하여 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상의 것을 포함할 수 있다. 예를 들어, 하나 이상의 정량 값은 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 선호, 또는 인식 상태 중 1 이상의 것에 기초한 인지 및/또는 감각 수행 수준을 표시하는 정량적 점수를 포함할 수 있으며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시한다. 본 방법의 일부 구현에서, 예를 들어, 처리하는 단계는 제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함할 수 있다. 예를 들어, 분류는 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정될 수 있다. 본 방법의 일부 구현에서, 예를 들어, 처리하는 단계는 제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고, 대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 본 방법의 일부 구현에서, 예를 들어, 처리하는 단계는 제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고, 초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고, 분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고, 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계, 및 변형된 일련의 자극을 대상체에게 제시하는 단계를 추가로 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하는 단계, 및 새로운 생리학적 데이터를 처리하여 선택된 인지-감각 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 추가로 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 각 인지-감각 프로파일 카테고리에 대한 초기 일련의 자극을 생성하는 단계를 추가로 포함할 수 있다. 일부 구현에서, 예를 들어, 본 방법은 대상체에 대해 생성된 정보 세트에 기초하여 기계와 대상체 사이의 상호작용을 생성하는 단계를 추가로 포함할 수 있다.

도 1A는 개체 또는 군의 지식 및/또는 인식 상태 프로파일을 생성하기 위하여 생리학적 신호를 획득, 분석, 및 평가하기 위한 개시된 기술의 예시적인 시스템에 관한 다이어그램을 보여주는 것이다.
도 1B-1D는 예시적인 인지 및/또는 감각 프로파일의 정량적 정보 세트를 생성하는 예시적인 방법에 관한 프로세스 다이어그램을 보여주는 것이다.
도 2는 예시적인 제시된 일련의 시각 자극에 대한 다이어그램을 보여주는 것이다.
도 3은 시각 자극을 사용하여 개념적 카테고리 변화 사이를 구별하는 뇌 패턴을 보여주는 한 군의 통계학적 분석으로부터 얻은 예시적인 결과를 제공하는 데이터 플롯을 나타내는 것이다.
도 4는 시각 자극을 사용한 다중 시험 간에 걸쳐 수집된, 350 ms 내지 450 ms의 시간 창을 나타내는 한 축 상의 EEG 데이터를 보여주는 3차원 플롯을 나타내는 것이다.
도 5A 및 5B는 상이한 두 시각 자극 조건 하에서의 예시적인 두 전극 채널로부터의 예시적인 개별 대상체의 평균 및 표준 편차를 보여주는 데이터 플롯을 나타내는 것이다.
도 6은 시각 자극 패러다임에 대한 대상체-감독 분류기의 예시적인 수행을 표시하는 데이터 플롯 및 상응하는 표를 보여주는 것이다.
도 7은 개별화된 지식 및/또는 인식 프로파일을 제공하는 가이드된 분류 알고리즘 및 그에 후속된 요약 통계에 관한 예시적인 구현을 표시하는 예시적인 다이어그램을 보여주는 것이다.
도 8은 예시적인 대상체로부터의 예시적인 전극 채널에 관한 감독 분류기에 대한 예시적인 특징을 보여주는 것이다.
도 9는 대상체의 예시적인 개체 지식 평가 프로파일 (IKEP)에 관한 다이어그램을 보여주는 것이다.
도 10은 부류 A로부터의 데이터 및 부류 B로부터의 데이터가 같은 통계학적 분포로부터 유래되었는지 여부를 명시하는 것에 관한 예시적인 가설 검정을 위한 p 값을 추정하는 비파라미터 방법을 도시하는 다이어그램을 보여주는 것이다.
도 11은 시각 자극을 사용하는 AA vs B의 예시적인 rANOVA 분석에 대한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 12는 시각 자극을 사용하는 AA vs B의 예시적인 NML 파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 13은 시각 자극을 사용하는 AA vs B의 예시적인 NML 비파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 14는 개별 대상체에 대한 개체 지식 평가 프로파일 및 한 군에 기초한 대상체에 대한 군 지식 평가 프로파일의 일례에 관한 다이어그램을 보여주는 것이다.
도 15는 예시적인 제시된 일련의 청각 자극에 대한 다이어그램을 보여주는 것이다.
도 16은 청각 자극의 맥락상 변화 사이를 구별하는 뇌 패턴을 보여주는 한 군의 통계학적 분석으로부터 얻은 예시적인 결과를 제공하는 데이터 플롯을 나타내는 것이다.
도 17은 청각 자극을 이용한 다중 시험 간에 걸쳐 수집된, 350 ms 내지 450 ms의 시간 창을 나타내는 한 축 상의 EEG 데이터를 보여주는 3차원 플롯을 나타내는 것이다.
도 18A 및 18B는 상이한 두 청각 자극 조건 하에서의 예시적인 두 전극 채널로부터의 예시적인 개별 대상체의 평균 및 표준 편차를 보여주는 특징 플롯을 나타내는 것이다.
도 19는 청각 자극 패러다임에 대한 대상체-감독 분류기의 예시적인 수행을 표시하는 데이터 플롯 및 상응하는 표를 보여주는 것이다.
도 20은 개별화된 지식 및/또는 인식 프로파일을 제공하는 가이드된 분류 알고리즘 및 그에 후속된 요약 통계에 관한 예시적인 구현을 표시하는 예시적인 다이어그램을 보여주는 것이다.
도 21은 예시적인 대상체로부터의 예시적인 전극 채널에 관한 감독 분류기에 대한 예시적인 특징을 보여주는 것이다.
도 22는 대상체에 대한 예시적인 개체 인식 상태 프로파일 (ISAP)에 관한 다이어그램을 보여주는 것이다.
도 23은 청각 자극을 사용하는 I vs C의 예시적인 rANOVA 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 24는 청각 자극을 사용하는 I vs C의 예시적인 NML 파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 25는 청각 자극을 사용하는 I vs C의 예시적인 NML 비파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.
도 26은 개별 대상체에 대한 개체 인식 상태 프로파일 및 한 군에 기초한 대상체에 대한 군 인식 상태 프로파일의 일례에 관한 다이어그램을 보여주는 것이다.
도 27은 예시적인 제시된 일련의 시각 자극에 대한 다이어그램을 보여주는 것이다.
도 28A 및 28B는 예시적인 강성 전극 EEG 시스템을 사용하여 예시적인 방법의 구현으로부터 얻은 예시적인 결과의 영상 및 데이터 플롯을 보여주는 것이다.
도 29A 및 29B는 예시적인 가요성 전자 장치 센서 EEG 시스템을 사용하여 예시적인 방법의 구현으로부터 얻은 예시적인 결과의 영상 및 데이터 플롯을 보여주는 것이다.
도 30-33은 강성 전극 EEG 시스템 및 가요성 표피 전자 장치 센서 EEG 시스템을 사용하는 IKEP 정량적 분석의 예시적인 결과를 표시하는 다이어그램을 보여주는 것이다.
도 34A는 인지 및/또는 감각 프로파일을 정제하기 위해 개시된 방법에서 뇌 기계 인터페이스를 사용하기 위한 예시적인 모델의 블록 다이어그램을 보여주는 것이다.
도 34B는 원하는 정보를 최적으로 추출하는 자극 패러다임을 적응 방식으로 디자인하는 예시적인 방법에 대한 프로세스 다이어그램을 보여주는 것이다.
도 35는 단위 간격 [0,1] 선의 모든 가능한 문자열 세트로의 맵핑을 보여주는 것이다.
도 36은 예컨대, 시스템이 이를 적용하여 모든 가능한 문장을 다시 구상해 내는, 예시적인 최적의 맵의 전산 처리 이후의 맵핑을 보여주는 것이다.
도 37은 예컨대, 분류 및 관계를 반영하는 그래프로서 개체 지식 또는 인식 (W)을 나타내는 일례의 예시적인 다이어그램을 보여주는 것이다.
도 38은 예컨대, 사진 속에서 한점을 나타내는 것과 같이, 내부 지식 W가 2차원의 한 점인 것인 예시적인 상황을 표시하는 예시적인 영상을 보여주는 것이다.

상세한 설명

한 개인의 뇌 신호와 그/그녀의 인지/심리적 상태 (예컨대, 사고) 사이의 신뢰할 수 있는 상관 관계를 확립하는 것은 매우 다양한 적용을 위해 가치가 있으며, 원하는 목표가 된다. 기초 과학에서 광범위하게 연구되어 온, 상기 상관 관계는 예컨대, 인지 장애 평가 및 신체 장애자가 의사 소통할 수 있도록 하는 것과 같은 분화된 적용으로의 다양한 해석적 시도의 초점이 되어 왔다.

인지 상태 및 심리적 상태의 특징을 규명하기 위한 일부 시스템은 예컨대, 기능적 자기 공명 영상화 (fMRI) 및 뇌파 검사 (EEG)와 같은 다양한 행동 및 뇌 영상화 기법에 의존해 왔다. 예를 들어, fMRI는 상관 대사 기능 (예컨대, 혈류내 산소 소비)에 의한 뇌 기능의 간접적인 측정인 반면, EEG는 신경 세포에 의해 일어난 전기적 활동으로부터 유도되는 두피에 존재하는 전기장의 변화를 기록함으로써 수행되는 뇌 활성에 대한 직접적인 측정이다. 현존 기법은 전형적으로 "뇌 판독"의 한 유형에 초점을 맞추는 바, 이에 현존 기법은 단지 상기 목적으로만 디자인된 것이다.

사용되는 특정 뇌 영상화 시스템과 관계없이, 본 기법은 주로 시험되는 대상체 "작동 행동"에 의존하는 방법론적인 프레임워크를 사용하여 개별 인지 정보를 추론하고 (예컨대, 대상체는 제시되는 자극에 대하여 행동 반응을 보여야 한다), 그에 대한 "뇌 반응 주형"이 수학적 알고리즘에 의해 생성된 것인 선험적인 시험된 특정 지식 카테고리에 기초하여, 및 그에 한정되는 지식을 추론한다. 상기 기법은 대상체로부터 활발한 참여와 협동을 요구하는 것, 그에 대하여 수학적 알고리즘이 "훈련된" 것인 카테고리의 유형 및 개수에 의해 지식을 평가하는 것, 및 대상체 특이 주형 (즉, 오직 단일 대상체에게만 적용될 수 있는 주형)을 사용하는 것을 비롯한, 수개의 방식으로 제한적이다.

대상체에 대한 감각 및/또는 인지 정보를 측정하기 위해, 방법은 대상체의 반응을 일으키는 데 사용되는 자극의 유형 (예컨대, 시각 자극의 경우: 영상, 문자 언어 등; 청각 자극의 경우: 구어, 동물 발성, 합성 소리 등), 지속 기간, 자극간 간격, 각 제시의 반복 횟수, 소리 또는 명도 또는 대비 수준, 각 자극 제시 개시와 관련된 디지털 마커, 기록 센서 및 시스템을 고려하여야 한다. 또한, 사용되는 생리학적 파라미터(들) (예컨대, 전압, 전력, 빈도 등), 분석을 위한 관련된 시간 창, 및 분석 구조가 뇌 신호 기록 및 상관 인지 평가에 영향을 줄 수 있다. 하나 또는 다수의 상기 파라미터로부터의 이탈 또는 오류가 유용한 방법 또는 인위적인, 무용한 방법 사이의 차이를 만들 수 있다.

개체 및/또는 군의 인지 및/또는 감각 수행, 심리적 상태, 및 행동 선호에 관한 인지 및/또는 감각 프로파일을 생성하기 위해 생리학적 정보 (예컨대, 뇌 신호) 및/또는 행동 정보를 사용하기 위한 방법, 시스템, 및 장치를 개시한다.

예를 들어, 개시된 방법 및 시스템은 개체의 개념 지식 (예컨대, 상이한 정보를 어떻게 분류하는지, 및 특정 주제에 대하여 어떤 정보를 가질 수 있는지에 관한 것), 인식 상태 (예컨대, 개체가 어떤 외현적 행동을 보이지 않고도 얼마나 의식이 있는지 또는 없는지에 관한 것) 및 심리적 및 행동 선호 (예컨대, 특정 항목, 예컨대, 다른 것들 중에서 특히 신발, 자동차, 책 등에 대한 개체의 개인적인 증가된 주의력 및/또는 선호)를 평가하고, 추론하는 데 사용될 수 있다. 예를 들어, 개시된 기술은 다양한 교육, 건강, 오락 및 마케팅 적용에서 사용될 수 있다.

일부 구현에서, 예를 들어, 자극으로부터 유도된 뇌파 검사 (EEG) 신호 데이터 및 행동 반응 데이터는 개체의 뇌 신호를 인지 정보와 상호 연관시키고, 뇌-기계 인터페이스를 잠재적으로 가이드하는, 신규하고 전문화된 검사 및 분석 방법 세트 (예컨대, 제한하는 것은 아니지만, 시각 및 청각 자극, 기계 학습 및 다른 통계학적 알고리즘 등)를 생성하는 데 함께 사용된다.

개시된 방법은 모든 사람들에게 공통된 뇌 마커를 사용할 수 있다. 예를 들어, 기술된 방법 및 시스템은 대상체 또는 카테고리에 특이적이지 않은 제시 자극을 사용할 수 있다. 개시된 기술의 구현을 통해 선험적 카테고리에 한정되지 않는 지식 및 인식 상태를 추론해 낼 수 있고, 상기 구현은 모든 사람에 대해 일반화될 수 있고, (예컨대, 한 개인의 응낙 또는 어떤 종류의 외현적 행동 반응도 요구하지 않는 것과 같이) 완전히 수동적인 방식으로 정보를 추출해 낼 수 있다. 본 방법은 개체의 감각 및 인지 수행 및 인식 상태를 직접 사정/평가, 둘 모두를 수행하는 데 뿐만 아니라, 뇌-기계 인터페이스 시스템을 위한 드라이브로서 사용될 수 있다. 예를 들어, 개시된 시스템 및 방법의 구현은 맞춤형으로 인지 및/또는 감각 수행을 평가할 수 있고, 일부 구현에서는 군의 인지 및/또는 감각 수행을 평가할 수 있다.

개시된 기술은 확장가능하고, 매우 다양한 적용 범위에 적용될 수 있으며, '무형의' 뇌 판독 또는 평가 사례 (예컨대, 개체가 외현적 행동 반응을 일으킬 수 없거나, 그러한 의향이 없는 경우)에 대한 해결안을 제공할 수 있다. 예를 들어, 개시된 시스템 및 방법은 임상 환경에서, 예컨대, 생명 유지 시스템에 의존하는 환자의 경우를 비롯한, 코마인 환자 또는 다르게는 비반응 환자에서 사용될 수 있으며, 이로써, 환자의 인식 상태 및/또는 인지 능력에 대한 프로파일을 제공할 수 있다.

개시된 시스템 및 방법은 대상체 또는 대상체들의 인지 및/또는 감각 프로파일을 제공하는 데 비전문가, 예컨대, 신경과학자, 심리학자, 또는 전문의도 아닌 사용자에 의해 효과적으로 사용될 수 있다. 예를 들어, 개시된 시스템은 안전하고 정확하게 일반 소비자에 의해 사용될 수 있으며, 이로써, 매우 다양한 정황 및 위치에서 자유롭게 사용될 수 있으며, 사용 비용 및 요건은 현저히 감소될 수 있다. 예를 들어, 비전문가 사용자는 개시된 시스템 및 방법을 구현함으로써 평가받는 사람(들), 예컨대, 그들 자신 또는 그 이외의 사람들의 인식 및 정신 정보 프로파일을 수득할 수 있다.

개시된 방법 및 시스템의 예시적인 실시양태

도 1A는 개체 또는 군의 인지 및/또는 감각 프로파일을 생성하기 위하여 생리학적 신호를 획득, 분석, 및 평가하기 위한 개시된 기술의 예시적인 모듈러 시스템 (100)에 관한 다이어그램을 보여주는 것이다. 예를 들어, 시스템은 평가 시점에 대상체의 인지 및/또는 감각 능력을 나타내는 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일을 제공하도록 구현될 수 있다. 예를 들어, 인지 및/또는 감각 프로파일의 유형은 예컨대, 주의력, 기억력, 학습, 작화, 패턴 통합, 의미론적 통합, 표적 검출, 정서가, 선호, 및 인식 상태를 포함하나, 이에 한정되지 않는 인지 및/또는 감각 수행의 정량 수준을 포함하는 정보 세트를 제공할 수 있도록 사용자 (예컨대, 대상체 또는 시스템 운용자)에 의해 선택될 수 있다. 시스템을 통해 운용자는 생성되는 프로파일의 유형을 선택할 수 있다.

일부 구현에서, 시스템은 예컨대, 대상체로부터 유도된 어떤 외현적 행동 반응도 없이, 오직 대상체로부터 획득된 생리학적 데이터만을 사용하여 인지 및/또는 감각 프로파일을 제공할 수 있도록 구현될 수 있다. 다른 구현에서, 시스템은 대상체로부터 행동 데이터, 또는 생리학적 데이터 및 행동 데이터, 둘 모두를 사용하여 인지 및/또는 감각 프로파일을 제공할 수 있도록 구현될 수 있다. 일부 구현에서, 시스템은 대상체, 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터 및/또는 행동 데이터 (예컨대, 군의 데이터)를 포함하는 인지 및/또는 감각 프로파일을 제공할 수 있도록 구현될 수 있다. 이로써, 시스템은 예를 들어, 한 군에 대한 인지 및/또는 감각 프로파일을 제공할 수 있도록 구현될 수 있다.

도 1A에 제시되어 있는 바와 같이, 시스템 (100)은 각종 상이한 실시양태로 설정될 수 있는 독립 모듈러 유닛 또는 장치를 포함하도록 설정된다.

시스템 (100)은 대상체 (121)에게 자극 또는 일련의 자극을 제시하는 특정 자극 제시 구조 (111)를 설정하는 자극 제시 모듈 (110)을 포함한다. 일부 일례에서, 자극 제시 모듈 (110)은 예컨대, 프로세서 및 메모리 유닛을 포함하는 컴퓨팅 장치에서 구현된다. 예를 들어, 자극은 시각, 청각, 후각, 촉각, 또는 미각 자극 매체를 비롯한, 임의의 자극 유형을 포함할 수 있다. 특정 자극 제시 구조 (111)는 제한하는 것은 아니지만, 특정 자극 유형 또는 유형들, 자극 제시 지속 기간, 자극 사이의 간격, (존재할 경우) 각 제시의 반복 횟수, 자극 유형과 관련된 크기 및/또는 빈도 파라미터 (예컨대, 소리 강도 또는 빛의 명도 또는 대비 수준), 각 자극 제시 개시와 관련된 디지털 마커, 및 자극의 라벨 또는 카테고리 (예컨대, 표적 또는 비표적)을 포함하도록 설정될 수 있다.

시스템 (100)은 예컨대, 자극 제시 구조 (111)에 기초하여 대상체 (121)에게 자극 또는 일련의 자극을 제시하기 위하여 자극 제시 모듈 (110)과 통신하는 자극 전달 모듈 (120)을 포함할 수 있다. 예를 들어, 자극 전달 모듈 (120)은 시각 디스플레이, 청각 스피커, 및 후각, 촉각, 및/또는 미각 자극을 제공하는 작동기 중 1 이상을 포함할 수 있다. 일부 구현에서, 예를 들어, 자극 제시 모듈 (110) 및 자극 전달 모듈 (120)은 같은 장치, 예컨대, 컴퓨터 또는 이동 통신 및/또는 컴퓨팅 장치 내에 구성되어 있을 수 있다.

시스템 (100)은 자극 전달 모듈 (120)을 통해 자극 또는 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체 (121)의 생리학적 신호 및/또는 행동 신호를 획득하는 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)을 포함한다. 예를 들어, 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)은 그 중에서도 특히 뇌파 검사 (EEG) 시스템, 심전도 검사 (ECG) 시스템, 근전도 검사 (EMG) 시스템, 전기 화학 감지 시스템, 및 시선 추적 시스템을 포함할 수 있지만, 이에 한정되지 않는다. 일부 구현에서, 예를 들어, 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)은 예컨대, 메모리에 커플링된 아날로그 또는 디지털 증폭기와 같은 신호 획득 장치에 커플링된 생리학적 센서, 예컨대, EEG, ECG, EMG, 전기 화학, 또는 다른 유형의 센서 장치를 포함할 수 있다. 예를 들어, 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)은 강성 전극이 있는 표준 EEG 시스템 또는 대상체 (121)에 장착될 수 있는 가요성 전자 장치를 사용하는 휴대용 EEG 시스템 내에 구성되어 있을 수 있다. 예를 들어, 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)은 예컨대, 졸음 또는 얼굴 표정과 관련된 움직임을 검출할 수 있는, 강성 전극이 있는 표준 EMG 시스템 또는 대상체 (121)에 장착될 수 있는 가요성 전자 장치를 사용하는 휴대용 EMG 시스템 내에 구성되어 있을 수 있다.

시스템 (100)은 데이터로서 획득된 생리학적 신호 및/또는 행동 신호를 수신하고, 일부 구현에서, 획득된 데이터에 대하여 전처리 분석 기법을 실시하는 분석 전처리 모듈 (140)을 포함한다. 예를 들어, 분석 전처리 모듈 (140)은 생리학적 데이터 (예컨대, EEG 데이터) 중의 예시적인 개시 마커를 확인하고, 생리학적 데이터를 분할하고, 신호 대 잡음을 증가시키기 위하여 원시 신호 데이터를 필터링 등을 하도록 구현될 수 있다. 일부 구현에서, 예를 들어, 분석 전처리 (140)는 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)을 구현하는 예시적인 장치 또는 시스템과 통신하는 컴퓨터 장치에서 구현될 수 있다. 일부 구현에서, 예를 들어, 분석 전처리 (140)는 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130)을 구현하는 같은 예시적인 장치 또는 시스템 내에 구성되어 있을 수 있다.

시스템 (100)은 생리학적 데이터 및/또는 행동 데이터를 처리하여 대상체 (121)의, 또는 일부 일례에서는 한 군의 인지 또는 감각을 평가하는 프로파일 생성 모듈 (150)을 포함한다. 예를 들어, 프로파일 생성 모듈 (150)은 생리학적 데이터 및/또는 행동 데이터를 처리하여 선택된 프로파일 카테고리, 예컨대, 지식 평가 또는 인식 상태 프로파일과 관련된 하나 이상의 정량 값을 포함하는 정보 세트 (152)를 생성한다. 예를 들어, 정보 세트 (152)는 심리적 및 신경생리학적인 자연 이벤트 척도 그 이상의 것을 제공한다. 예를 들어, 프로파일은 특정 이슈에 관한 한 개인의 (또는 군의) 지식 수준에 대해서 (예컨대, 특정 주제, 이벤트, 학습된 기술, 또는 심지어는 선호에 대한 주어진 한 사람의 지식 측정) 및/또는 의식적 (또는 비의식적) 인식 상태에 대해서 개체 (또는 군)를 평가할 수 있다.

도 1B는 예컨대, 프로파일 생성 모듈 (150)에 의해 구현되는, 인지 및/또는 감각 프로파일과 관련된 정보 세트를 생성하는 예시적인 방법 (170)에 관한 프로세스 다이어그램을 보여주는 것이다. 방법 (170)은 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호 및/또는 행동 신호 데이터와 관련된 시간 간격을 확인하는 프로세스 (171)를 포함할 수 있다. 예를 들어, 시간 간격은 연속형, 불연속, 연속, 이산, 또는 단일 시점을 포함할 수 있다. 방법 (170)은 시간 간격에 상응하는 데이터 (예컨대, 생리학적 데이터 및/또는 행동 데이터)를 하나 이상의 분류된 데이터 세트로 분류하는 프로세스 (172)를 포함할 수 있다. 예를 들어, 프로세스 (172)는 개별 자극의 미리 지정된 카테고리 및/또는 연속 자극의 연관 관계에 기초하여 생리학적 데이터 및/또는 행동 데이터를 분류하는 것을 포함할 수 있다. 방법 (170)은 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 프로세스 (173)를 포함할 수 있다. 일부 구현에서, 예를 들어, 방법 (170)은 분류된 데이터 세트 중의 생리학적 데이터 및/또는 행동 데이터의 신호를 증강시키는 프로세스를 포함할 수 있다.

도 1C는 예컨대, 프로파일 생성 모듈 (150)에 의해 구현되는, 개체 및/또는 군의 이전 정보를 사용하여 인지 및/또는 감각 프로파일과 관련된 정보 세트를 생성하는 예시적인 방법 (180)의 프로세스 다이어그램을 보여주는 것이다. 방법 (180)은 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호 및/또는 행동 신호 데이터와 관련된 시간 간격을 확인하는 프로세스 (181)를 포함할 수 있다. 방법 (180)은 시간 간격에 상응하는 데이터 (예컨대, 생리학적 데이터 및/또는 행동 데이터)를 하나 이상의 분류된 데이터 세트로 분류하는 프로세스 (182)를 포함할 수 있다. 예를 들어, 프로세스 (182)는 개별 자극의 미리 지정된 카테고리 및/또는 연속 자극의 연관 관계에 기초하여 생리학적 데이터 및/또는 행동 데이터를 분류하는 것을 포함할 수 있다. 방법 (180)은 대상체 및/또는 다른 대상체 (예컨대, 하나 이상의 군 포함)로부터 획득한 이전 생리학적 데이터 및/또는 행동 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 프로세스 (182)를 포함할 수 있다.

도 1D는 예컨대, 프로파일 생성 모듈 (150)에 의해 구현되는, 가이드된 분류 기법을 사용하여 인지 및/또는 감각 프로파일과 관련된 정보 세트를 생성하는 예시적인 방법 (190)의 프로세스 다이어그램을 보여주는 것이다. 방법 (190)은 제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호 및/또는 행동 신호 데이터와 관련된 시간 간격을 확인하는 프로세스 (191)를 포함할 수 있다. 방법 (190)은 시간 간격에 상응하는 데이터 (예컨대, 생리학적 데이터 및/또는 행동 데이터)를 하나 이상의 초기 분류된 데이터 세트로 분류하는 프로세스 (192)를 포함할 수 있다. 방법 (190)은 초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하는 프로세스 (193)를 포함할 수 있다. 방법 (190)은 분류된 자극에 기초하여 시간 간격에 상응하는 생리학적 데이터 및/또는 행동 데이터를 하나 이상의 분류된 데이터 세트로 재분류하는 프로세스 (194)를 포함할 수 있다. 방법 (190)은 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 프로세스 (195)를 포함할 수 있다.

일부 일례에서, 프로파일 생성 모듈 (150)은 예컨대, 다른 것들 중에서 특히 ANOVA 기반 기법 (151a), 서포트 벡터 기계 기반 기법 (151b), 및 최소 기술 길이 기법 (151c)을 포함하나, 이에 한정되지 않는, 다양한 분류 및 통계 방법을 가이드하고, 그로부터 선택하기 위해 컨텍스트 특정 파라미터를 이용하여 가이드된 분류 알고리즘을 구현할 수 있다. 일부 구현에서, 프로파일 생성 모듈 (150)은 하나 이상의 원격 전산 처리 장치 (예컨대, 클라우드내 서버)를 포함하는 컴퓨터 시스템 또는 통신망 ('클라우드'로도 지칭된다)에서 구현될 수 있다.

시스템 (100)은 생성된 인지 및/또는 감각 프로파일을 정제하고/거나, 사용자와 기계 사이의 상호작용을 작동시키는 뇌-기계 인터페이스 모듈 (160)을 포함한다. 일례에서, 뇌-기계 인터페이스 모듈 (160)은 프로파일 생성 모듈 (150)로부터, 예컨대, 계속 진행 중인 시스템 (100)의 구현으로부터 생성된 개별 대상체 또는 한 군의 대상체의 인지 및/또는 감각 프로파일, 또는 시스템 (100)에 의해 생성된 이전 프로파일에 기초하여 새로운 자극 또는 다수의 자극을 자극 제시 모듈 (110)에 피드백 방식으로 전달할 수 있다. 예를 들어, 뇌-기계 인터페이스 모듈 (160)은 원하는 목적을 최대화시키기 위해 분석적으로 처리되는 대상체로부터 정보를 최적으로 추출하는 자극 패러다임을 적응 방식으로 바꾸거나, 디자인할 수 있다. 예를 들어, 뇌-기계 인터페이스 모듈 (160)의 일부 구현은 지원 학습 및 표적 검출 적용을 포함할 수 있지만, 이에 한정되지 않는다.

시스템 (100)의 일부 구현에서, 프로파일 생성 모듈 (150), 자극 제시 모듈 (110), 자극 전달 모듈 (120), 및 뇌- 기계 인터페이스 모듈 (160) (및 일부 경우에, 데이터 획득 모듈 (130))은 단일 컴퓨팅 시스템, 예컨대, 데스크톱 컴퓨터, 랩톱 컴퓨터, 또는 스마트폰 또는 태블릿을 포함하는 이동 통신 장치에서 구현될 수 있다. 다른 구현에서, 모듈 (150), (110), (120), 및 (160)은 서로 통신하고, 모듈 (150), (110), (120), 및 (160)의 다양한 조합을 포함하는, 2개 이상의 컴퓨팅 장치 내에 구성되어 있을 수 있다.

일부 구현에서, 시스템 (100)은 생리학적 데이터 및/또는 행동 데이터 획득 모듈 (130) 및 프로파일 생성 모듈 (150)만을 포함하도록 설정될 수 있다. 상기 예시적인 구현에서, 시스템 (100)은 대상체의 주변 환경에서 현재 이용가능한 환경 자극 (예컨대, 빛, 소리, 냄새, 맛, 및/또는 촉각 접촉)을 이용할 수 있다. 상기 예에서, 시스템 (100)은 단일 컴퓨팅 장치 상에서 구현될 수 있으며, 여기서, 예컨대, 모듈 (130)은 대상체로부터 행동 반응을 수신하고/거나, 장치의 입력부를 통해 생리학적 데이터를 기록하도록 설정되어 있을 수 있다.

개시된 방법 및 시스템의 예시적인 구현

예컨대, 하기 예시적인 프로파일 카테고리: 인지 수행 프로파일, 감각 수행 프로파일, 인지 및 감각 수행 프로파일, 및/또는 인식 상태 프로파일 중 1 이상의 것을 포함하는, 대상체의 인지 및/또는 감각을 평가하기 위한 개시된 방법 및 시스템에 관한 예시적인 구현을 기술한다. 기술된 예시적인 구현은 시각 자극 및 청각 자극을 사용하여 EEG 기록에 의해 측정되는 다양한 뇌 ERP (예컨대, N400 및 P300)를 유도하고, 추출하여 인지 수행, 감각 수행, 및/또는 인식 상태 프로파일에 상응하는 정량 값을 제공하는 정보 세트를 생성한다. 개시된 방법 및 시스템의 일부 일례에서, 시선 추적 데이터는 예시적인 EEG 기록 생리학적 데이터 이외에, 또는 그에 대한 별법으로 사용될 수 있다.

예를 들어, 대상체로부터의 EEG 신호를 기록하는 동안, 특정 자극 세트를 제시하여 관심 이벤트 관련 전위 뿐만 아니라, 상관된 신경 주파 진동을 유도한다. 예시적인 구현에서 사용되는 예시적인 ERP로는 N400 및 P300 뿐만 아니라, 본 발명자들에 의해 확인된, 보상 감정/생각의 인지 과정에 관한 ERP 반응을 포함하나, 이에 한정되지 않는다. 하기 섹션에서 기술되는 바와 같이, 개시된 방법 및 시스템의 예시적인 적용은 예시적인 방법을 구현하는 방법, 예컨대, 자극 디자인 및 제시, 생리학적 신호 (예컨대, EEG) 기록, 생리학적 데이터 (예컨대, ERP) 분석, 및 인지 및/또는 감각 프로파일 생성 (예컨대, 인지 및/또는 인식 상태 추론 포함)을 기술하는 데 예시적인 일례로서 이들 3가지 ERP를 사용한다. 일례에서, 예시적인 인지 및/또는 감각 프로파일 생성 방법의 적용은 시각 및/또는 청각 자극을 사용하여 N400 측정을 위해 구현된다. 또 다른 일례에서, 예시적인 인지 및/또는 감각 프로파일 생성 방법의 적용은 시각 및/또는 청각 자극을 사용하여 P300 측정, 및 "보상" 경험과 관련된 ERP를 위해 구현된다. 추가로, 예시적인 인지 및/또는 감각 프로파일 생성 방법의 적용은 예컨대, 비휴대용 종래 시스템 및 착용가능한 전자 장치 시스템을 비롯한, 상이한 EEG 기록 기법을 사용하여 구현된다. 또한, 예시적인 인지 및/또는 감각 프로파일 생성 방법은 (예컨대, N400 일례 구현에서 제시된 바와 같이) 사람들로 이루어진 한 군에, 이 뿐만 아니라, (예컨대, P300 일례 구현에서 제시된 바와 같이) 단일 개체에 적용된다. 개시된 인지 및/또는 감각 프로파일 생성 방법 및 시스템은 뇌 마커를 측정하는 데 사용될 수 있지만, 추가로 상기 방법 및 시스템은 상기 정보를 평가하고, 이를 개체 지식 평가 및/또는 인식 상태 프로파일을 생성하는 새로운 유형의 의도된 데이터로 변환시킨다. 또한, 일부 구현에서, 예를 들어, 개시된 방법 및 시스템은 상기 프로파일을 사용하여 뇌-기계 인터페이스 시스템을 가이드할 수 있다.

각각의 특징 조절이 당면한 특정 과제 뿐만 아니라, 그의 기본적인 심리적 및 생리학적 기전에 의해 가이드되는 패턴 분류기 (예컨대, 소프트웨어를 사용하여 컴퓨터 시스템에서 구현되는 알고리즘) 또한 기술한다. 이러한 예시적인 분류기 부류는 확인가능한 인지 및 생리학적 파라미터를 사용하여 분류 방법에 관련된 특징을 구조화함으로써 신경 신호로부터 뇌 상태를 추론할 수 있다. 예를 들어, 예시적인 분류기는 자극을 제공하고, 신경 신호를 획득하고, 반복하는 일련의 프로세스의 일부로서 뇌-판독 적용에서 적용될 수 있다. 이들 자극을 제공하는 방법에 관한 상세한 내용(예컨대, 컨텍스트)이 인지 상태에 영향을 줄 수 있으며, 이는 결국 획득된 신호의 통계에 영향을 미칠 수 있다. 예시적인 분류기는 컨텍스트에 의해 가이드될 수 있으며, 여기서, 특징들은 그에 따라 조절될 수 있다.

I. N400

30년보다도 더 그 이전에 인간에서 발견된 N400은 감지된 항목, 예컨대, 단어, 그림, 기호 등 중에서 의미 있는 관계의 처리에 대한 마커로서 확인되었다. 항목 개시 후 대략 400 밀리초 경과시에 피크에 도달하는 음으로 향하는 편향인 것에 기인하여 이러한 유형의 뇌파의 라벨 "N400"이 주어졌다. N400 진폭은 의미론적으로 긴밀한 관계를 공유하지 않는 항목보다 그러한 관계를 공유하는 항목에 대하여 (예컨대, "테이블" 다음 보다는 "고양이" 다음의 "개"에 대해) 더 작다. 하기 기술되는 바와 같이, 개시된 방법은 (예컨대, 청각 자극, 시각 자극, 또는 그 둘 모두, 또는 후각, 촉각, 또는 미각을 포함하는 이에 한정되지 않는 다른 자극 매체를 이용하여) N400 ERP를 유도하고 추출하는 데 적용될 수 있고, 이어서, 인지 관련 정보를 추론하는 데 사용될 수 있다.

I.1. 시각 자극 패러다임을 이용하는 N400

I.1.1. 예시적인 자극

일례의 구현에서, (예컨대, 동물 몸체, 동물 얼굴, 인간 얼굴, 원숭이 얼굴, 과일, 가정용 물품, 실험실용 물품 및 장소를 포함하는) 8가지 카테고리의 영상에 대한 37명의 성인 대상체로부터의 뇌 반응을 조사하였다. 예를 들어, 한 카테고리당 18가지의 자극 전형 예 (예컨대, 영상)가 사용되었고, 총 144가지의 표본이 존재하였다. 영상은 12개의 제시 블록으로 나뉘었고, 각 대상체에게 무작위로 선택된 6개의 블록이 제시되었다. 다양한 공급원으로부터 영상 풀을 수득하고, 사진 편집 소프트웨어를 사용하여 영상의 불필요한 부분을 잘라내고, 356 x 356 픽셀 (13.18°x 13.18° 시각도, 디스플레이 모니터로부터의 거리 57 cm)인 흰색 배경 상에 배치시켰다. 자극을 1024 x 768 픽셀의 해상도로 풀 스크린, 검은색 모니터 배경 상에 배치시켰다.

모든 자극은 웨버(Weber) 대비 공식 (여기서, L _c 및 L _b 는 콘텐트 및 흰색 배경의 휘도 값을 나타낸다)을 사용하여 휘도에 대해 조절하였다. (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 컴퓨터 구현 프로세스는 상기 언급된 공식을 사용하고, 흰색 배경과 비교하여 콘텐트의 휘도를 50% 대비로 조정하였다. 예를 들어, 프로세스는 먼저 콘텐트를 그의 흰색 배경으로부터 분리하였다. 본 일례에서, 픽셀이 배경의 일부로 확인되는지 여부를 측정하는 데 2가지 기준이 사용되었다: 첫째, 모든 배경 픽셀은 RGB 값이 255여야 했고 (예컨대, 8 비트의 그레이 스케일 영상의 최대값); 둘째, 모든 배경 픽셀은 이미 확인된 배경 픽셀에 바로 옆에 인접해 있어야 했다. 배경으로 확인되지 않은 남은 픽셀은 모두 콘텐트로 간주되었다. 이어서, 프로세스는 콘텐트의 평균 휘도를 계산하였고, 50% 대비를 달성하기 위해 모든 콘텐트 픽셀에 RGB 값을 가산 또는 감산함으로써 그의 평균 휘도 값을 조정하였다.

휘도에 대해 조절한 후, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 또 다른 컴퓨터 구현 프로세스를 사용하여 각 자극 표본 상에 중앙부에 위치하는 고정 점을 배치하였다. 예를 들어, 이는 대상체가 고정을 유지하고, 임의의 빈번한 단속성 안구 운동을 최소화하는 데 도움을 주었다. 이러한 예시적인 프로세스는 먼저 업로드된 영상의 크기를 측정하였다. 상기 측정치를 사용하여 영상의 중심을 계산한 후, 원에 대한 표준 방정식을 사용하여 고정 점을 만들었다. 픽셀의 적색 건을 255로, 녹색 건을 0으로, 및 청색 건을 0으로 바꿈으로써 중심 주변의 7 픽셀 길이의 반경 내의 픽셀을 변경시켰다.

마지막으로, 2개의 예시적인 방법을 사용하여 고정 점 및 청색 사각형 자극을 만들었다. 예를 들어, 고정 점의 경우, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 또 다른 컴퓨터 구현 프로세스를 사용하여 높이 및 너비가 350 픽셀인 검은색 배경 영상 (예컨대, 적색 건 = 0; 녹색 건 = 0; 청색 건 = 0)을 만들었다. 이어서, 예시적인 스크립트는 원에 대한 표준 방정식을 사용하여 중첩 포 루프(nested for-loop)를 진행함으로써 예컨대, 영상의 적색 건을 255로, 녹색 건을 0으로, 및 청색 건을 0으로 바꿈으로써 7 픽셀 길이의 반경 내의 픽셀을 적색으로 변경시켰다. 예를 들어, 청색 사각형 자극의 경우, 영상화 소프트웨어를 사용하여 예컨대, 그의 적색 건은 0이고, 녹색은 0이고, 청색은 255인, 157 x 157 픽셀 크기의 영상을 만들었다.

I.1.2. EEG 기록을 위한 대상체 준비

EEG 기록을 위해 예시적인 대상체를 준비시키기 위하여, 각 대상체를 기록 챔버 내의 의자에 착석시키고, EEG 캡핑 프로세스를 시작하였다. 예를 들어, 상기 프로세스는 전통 EEG 캡을 대상체의 머리에 놓고, 고무 턱끈으로 이를 고정시키는 것을 포함하였다. 일부 일례에서, 예상되는 대상체의 머리 크기에 기초하여 직경이 56 cm 또는 58 cm인 캡이 사용되었다. 이어서, (예컨대, 파커 라보라토리즈(Parker Laboratories)로부터 입수한) 시그나(Signa) 전극 겔을 곡선 모양의 플라스틱 시린지를 사용하여 각각의 캡 전극 아래에 주사하여 전극 그 자체와 대상체의 두피 사이에 전도성 브릿지를 만들었다. 또한, 예를 들어, 임피던스를 낮춤으로써 더욱 강력한 전도도를 구축하기 위해 목재 Q-팁을 사용하여 겔을 마사지하였다. 예를 들어, 상기 기법을 사용함으로써 예컨대, 접지 전극 및 기준 전극을 비롯한, 각 전극에 대해 임피던스 수준을 <5 kΩ으로 낮추었다. EEG 기록을 사용하여 예시적인 구현을 시작하기 전, 대상체를 제시 모니터 앞에 착석시키고, 신경생리학적 데이터 중 모션 아티팩트를 막기 위하여 단지 실험 진행 기간 동안 내내 적색의 중앙 고정 점에 시각 고정을 유지하도록 하고, 그의 운동 움직임을 가능한 한 제한하도록 요구하였다. 이후, 이어서 기록실의 조명을 낮추고, 자극 프로세스 및 EEG 기록을 시작하였다.

I.1.3. 예시적인 자극 제시 프로세스

예컨대, 정확한 타이밍에 자극을 제시하고 반응을 기록할 수 있도록 디자인된 MATLAB 툴박스와 같은 코젠트(Cogent) 2000을 사용하여 본 일례의 자극 제시 프로세스에서 사용된 예시적인 자극 제시 패러다임을 프로그램화하였다. 예시적인 자극 제시 구조는 예컨대, 한 제시 블록당 연속적으로 제시되는 (한 표본당 25회 반복) 의사 무작위 방식으로(pseudo-randomly) 제시되는 300개의 영상을 포함하였다. 예를 들어, 각 영상은 750 ms 동안 제시되었고, 이어서, 750 ms 내지 1,000 ms의 무작위 방식으로 지터링된(jittered) 자극간 간격 (ISI)이 이어졌다. 예컨대, 대상체가 고정을 유지하는 데 도움을 주기 위하여 각 자극 제시 및 ISI 동안 적색의 중앙 고정 점이 존재하였다. 각 자극 개시를 표시하기 위해, 병렬 포트를 통해 예시적인 자극 제시 패러다임을 운용하는 제시 컴퓨터로부터 2개의 트리거를 전송받았다. 예를 들어, 제1 트리거를 EEG 기록 컴퓨터로 전송하여 진행 중인 신경생리학적 기록에 대해 자극 개시를 표시하였다. 예를 들어, 제2 트리거를 ISCAN 시선-추적 컴퓨터 (예컨대, ISCAN ETL-200)로 전송하여 시선-추적 기록에 대해 자극 개시, 그의 전체 구간, 및 그의 오프셋을 표시하였다. 각 트리거는 당면한 자극이 속하는 목적 카테고리에 관한 정보를 코딩하였다. 예를 들어, 매 4 내지 6회의 시도 이후에, 청색 사각형을 1,500 ms 동안 대상체에게 제시하였다. 이때, 고정 점은 디스플레이하지 않았다. 예를 들어, 인간 대상체인 경우, 상기 청색 사각형은 "미니리세스/보상" 신호를 보냈으며, 여기서, 이는 대상체가 잘하고 있음을 나타내고, 그가 원하는 경우, 잠시 휴식을 취할 수 있게 하고, 가려운 곳을 긁을 수 있게 하고, 그의 좌석 위치를 조정할 수 있게 하는 등, 그러한 것들을 허용하였다. 비인간인 영장류 (NHP) 대상체인 예시적인 경우에서, 상기 청색 사각형은 쥬스 보상 신호를 보냈다. 청색 사각형의 오프셋 이후, 다음 자극 제시 시작 전에 고정 점은 복귀하고, 750 ms 동안 유지되었다. 예를 들어, 이러한 단기간의 휴지를 사용하여 고정 점의 개시로부터의 자극이 후속 영상 표본으로부터의 자극을 방해하지 않도록 하였다.

예컨대, MATLAB의 "randperm() 함수"를 사용하여 300개의 영상의 제시 순서를 무작위 방식으로 순열식으로 변경하여 자극 제시 프로세스의 예시적인 코드를 시작하였다. 이어서, "randi() 함수"를 사용하여 각 자극에 대한 ISI를 무작위 방식으로 계산하였다. 이어서, 디스플레이, 로그 파일, 및 병렬 포트를 초기화하고, 설정하였다. 각 자극 표본을 예컨대, 고정 점, 청색 사각형, 및 (각 자극 후 ISI 동안 디스플레이되는) 검은색 스크린을 포함하는 메모리 버퍼로 로딩하였다. 예를 들어, 자극 제시는 루프를 포함하였다. 먼저, 순열식으로 변경되는 제시 순서를 아래로 반복함으로써 제시되는 표본을 계산하였다. 이어서, 4개의 목적 카테고리 중 하나에 대한 표본의 구성원에 기초하여 적절한 트리거 코드를 계산하고, EEG 기록 컴퓨터 및 ISCAN 시선-추적 컴퓨터로 전송하였다. 소니 트리니트론(Sony Trinitron) GDM-C520 모니터를 사용하여 시각 자극을 제시하였다.

도 2는 예시적인 제시된 일련의 시각 자극에 대한 다이어그램을 보여주는 것이다. 본 다이어그램에는 구체적으로 제시된 표본의 영상 및 미리 프로그램화된 의사 무작위형 제시 순서가 묘사되어 있다. 관심의 대상이 되는 각각의 감각 프로파일 및 인지 프로파일에 대해 적절한 자극 제시 구조를 가지는 것이 개시된 방법의 고유하고, 중요한 부분이 된다. 본 일례에서, 관련 측면은 예를 들어, Cat "O" - 물체; Cat "AB" - 동물 몸체; Cat "AF" - 동물 얼굴; 및 Cat "HF" - 인간 얼굴과 같이, 각 영상이 어느 개념적 카테고리 (Cat)에 속하는지에 관한 것이다. 예시적인 자극 제시 구조는 본 특허 문서 후반부에서 기술되는 바와 같이, 주어진 카테고리의 반복 (예컨대, A A) 및 차후의 카테고리 변화 (예컨대, B)를 포함하도록 설정될 수 있으며, 이는 자극 제시 구조 및 후속 분석 기법의 주된 특징이다.

I.1.4. 예시적인 뇌파 (EEG) 기록

일부 구현에서, 강성 전극을 이용하는 전통 EEG 시스템을 사용하여 뇌파를 획득하였다. 예시적인 EEG 시스템으로는 브레인Amp(BrainAmp) DC 32-채널 시스템; 브레인비젼 리코더(BrainVision Recorder); 패스트 n 이지(Fast n Easy) 32-채널 EEG 기록 캡 크기 56 cm; 패스트 n 이지 32-채널 EEG 기록 캡 크기 58 cm; 5k 레지스터가 장착된 브레인캡-MR(BrainCap-MR)용 PCB 리본 케이블(PCB Ribbon Cable); 및 브레인캡 MR 박스(Brain캡 MR Box) 1.2를 포함하였다.

I.1.5. 예시적인 전처리 분석 기법

시각 자극 패러다임을 사용하는 개시된 방법의 예시적인 분석 전처리 기법은 마커 데이터를 처리하는 기법을 포함할 수 있다. 예를 들어, 각 기록 세션 후, 예시적인 EEG 기록 시스템은 3개의 파일: 데이터 파일 (.eeg), 헤더 파일 (.vhdr), 및 마커 파일 (.vmrk)을 작성하였다. 마커 파일은 각 자극 개시에 대한 이벤트 트리거를 포함하였다. 인간 대상체인 경우, 예를 들어, 각 목적 카테고리를 하기 마커 코드로 표지화하였다: 구현 1 - 동물 몸체 = "S 1", 과일 = "S 2", 인간 얼굴 = "S 3", 인간 가정용 물품 = "S 4"; 및 구현 2 - 동물 얼굴 = "S 1", 붉은털 원숭이 얼굴 = "S 2", 장소 = "S 3", 실험실 관련 물체 = "S 4." NHP 대상체의 경우, 예를 들어, 각 카테고리를 하기 마커 코드로 표지화하였다: NGP 구현 1 - 동물 몸체 = "S 1", 과일 = "S 2", 붉은털 원숭이 얼굴 = "S 3", 실험실 관련 물체 = "S 4"; 및 NHP 구현 2 - 동물 얼굴 = "S 1", 인간 얼굴 = "S 2", 장소 = "S 3", 가정용 물품 = "S 4." 분석 전처리 기법은 마커 파일에 로딩되고, 표본이 처음으로 제시된 시점을 조사하는 (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 제1 프로세스를 포함한다. 상기 시험을 "A1" 포맷으로 재코딩하였다. 예를 들어, 1차 제시된 인간 얼굴 표본을 [A1인간얼굴]로 재코딩하였다. 이어서, 영상은 의사 무작위 방식으로 제시되었기 때문에, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 제2 프로세스를 사용하여 EEG 기록 시스템에 의해 작성된 마커 파일을 조사하여 목적 카테고리 반복에 이어서, 목적 카테고리에 변화가 있는 사례를 검색하였다. 예를 들어, 가능한 N400 시험은 [과일; 과일; 인간 얼굴]일 수 있다. 상기 사례를 예시적인 MATLAB 스크립트에 의해 A, AA, B 포맷 (예컨대, "A" 및 "AA"는 같은 카테고리로부터의 표본을 나타내고, "B"는 다른 카테고리로부터의 표본을 나타낸다)을 사용하여 재코딩하였다. 상기 언급된 일례를 계속 진행하기 위해, [과일; 과일; 인간 얼굴]을 [A과일; AA과일; B인간얼굴]로 재코딩하는 것으로 하였다. 이어서, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 제3 프로세스를 구현하여 카테고리가 반복되지 않은 경우를 찾았다. 예를 들어, 가능한 사례는 [과일; 인간 얼굴; 동물 몸체]일 수 있다. 이러한 특정 경우는 MATLAB 스크립트에 의해 C, D, E 포맷 (예컨대, 예컨대, "C," "D," 및 "E"는 각각 다른 목적 카테고리를 나타낸다)을 사용하여 재코딩하는 것으로 하였다. 상기의 예시적인 사례에서, [과일; 인간 얼굴; 동물 몸체]는 [C과일; D; 인간 얼굴; E동물 몸체]로 재코딩하는 것으로 하였다.

시선 추적 데이터를 사용하는 일례에서, 개시된 방법의 예시적인 분석 전처리 기법은 시선 데이터를 저장하고 처리하는 기법을 포함할 수 있다. 상기 일례에서, 각 기록 세션 후, 각 대상체의 시선-추적 데이터는 ASCII.tda 파일로 저장될 수 있다. 상기 데이터 파일을 먼저 각각 코드 "100" 및 "101"을 사용하여 각 자극의 개시 및 오프셋을 마킹하는 (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 컴퓨터 구현 프로세스에 의해 처리할 수 있다. 이어서, 시선-추적 데이터 파일을 예컨대, 실험 후 시선 움직임 분석을 위한 [MATLAB 툴박스] 프로그램인 ILAB로 로딩할 수 있다. 각 데이터 파일을 위해, 예를 들어, ISCAN 시선-추적 카메라의 해상도 좌표를 제시 모니터의 해상도 좌표와 상호 연관시킴으로써 측위 데이터 값을 보정할 수 있다. 이후, 예컨대, 모니터와 대상체 사이의 거리를 57 cm로, 모니터 너비를 40.64 cm로, 및 모니터 높이를 30.48 cm로 설정하는 것과 같이, 제시 모니터 파라미터를 입력할 수 있다. ILAB 내에서 시선 유지 점검을 수행함으로써 각 대상체의 시선 고정 수행능을 계산할 수 있다. 예를 들어, 먼저 적색 고정 점 중앙에 위치하는 5°x 5° (시각도)의 사각형의 창을 이용하여 관심 영역 (ROI)을 설정할 수 있다. 상기 ROI를 사용하여, 대상체가 전체 영상 제시 중 75% 이상에 대하여 전체 자극 지속 기간 (예컨대, 750 ms) 동안 상기 창 내에서 고정을 유지하도록 할 수 있다. 일부 일례에서, 상기 수행 수준으로 또는 그보다 높게 수행하지 못한 대상체는 예시적인 EEG/ERP 분석으로부터 배제될 수 있다. 시선 유지 기능을 하기 단계, 예컨대, (1) 전체 자극 지속 기간 동안 고정을 요구하는 단계; (2) 중앙 고정 점 중앙에 위치하는 관심 영역을 선택하는 단계; 및 (3) 시선 유지 결과를 처리 유닛 (예컨대 MATLAB 작업 영역 포함)으로 익스포팅하여 대상체의 정확도(%)를 계산하는 단계를 포함할 수 있다.

개시된 방법의 예시적인 분석 전처리 기법은 일반 군에 대한 통계학적 분석 기법을 포함한다. 본원에 기술된 예시적인 구현에서, 통계학적 분석을 위해 MATLAB와 스타트소프트 스타티스티카(Statsoft Statistica) (버전 8.0) 소프트웨어의 조합을 사용하였다. 데이터 처리 및 분석 후, 예시적인 EEG 기록 시스템의 브레인비젼 애널라이저(BrainVision Analyzer)는 조건, 대상체, 시험, 전극 채널, 최고 레이턴시, 최고 전압, 및 평균 전압 진폭에 관한 데이터 값을 포함하는 텍스트 파일을 익스포팅하였다. 익스포팅된 텍스트 파일을 컴퓨터 구현 프로그램 (예컨대, MATLAB 프로그램)에 로딩하여 데이터를 더욱 액세스 가능한 포맷으로 분류하고, 조직화하였다. 구체적으로, 예를 들어, 예시적인 컴퓨터 구현 프로그램을 통해 예컨대, MATLAB의 변수 편집기를 사용함으로써 열에 의해 데이터를 더욱 쉽게 선택할 수 있다. 선택한 후, 데이터를 복사하여 스타티스티카 데이터 스프레드시트에 붙였다. 일부 구현에서, 예를 들어, 예컨대, 대상체 간, 및 각 종에 대한 목적 카테고리 간에 AA 대 B, AA 대 D, 및 B 대 D 효과를 비교함으로써 각 스프레드시트에 대하여 반복 측정 ANOVA를 수행하였다. 인간 대상체인 경우, 예를 들어, 각 스프레드시트는 하기, 예컨대, (1) 실험: 실험 1, 실험 2, 또는 실험 1과 2의 조합 (실험 1과 2로부터의 전체 대상체의 인원수 사용); 및 (2) 전극 채널: F3, Fz, F4, P7, P8, Fp1, Fp2, Tp10, F3 + Fz + F4 (전극 풀), P7 + P8 (전극 풀), 또는 Fp1 + Fp2 (전극 풀)에 대하여 특이적이었다. 유사하게, NHP 대상체의 경우, 예를 들어, 각 스프레드시트는 하기, 예컨대, (1) 실험: 실험 1, 실험 2, 또는 실험 1과 2의 조합 (실험 1과 2로부터의 전체 대상체의 마리수 사용); 및 (2) 전극 채널: Cz, F1, FT3, O1, O2, Pz, Cz + Pz (전극 풀), Cz + Pz + O1 + O2 (전극 풀), O1 + O2 (전극 풀)에 대하여 특이적이었다. 예를 들어, 단일 전극 채널 분석을 위해 일원 (인자 1: 조건) 반복 측정 ANOVA를 실행하였다. 예를 들어, 풀링된 전극 분석을 위해, 이원 반복 측정 (인자 1: 조건; 인자 2: 전극 채널) ANOVA를 실행하였다. 두 대상체 풀 모두에 대하여 대상체 수를 카테고리별 예측 변수로 사용하였다. 전두부 및 두정부 전극에서 N400/N300 ERP 효과 (예컨대, 276 내지 376 ms 사이)에 반영된 의미론적인 프라이밍 및 위반 조건 (예컨대, "AA," "D," 및 "B")에 대한 통계학적 분석을 통해 하기와 같은 예시적인 결과가 밝혀졌다. 전극 (Fz) "AA vs B"를 통해 F(1,4175) = 4.4527 및 P 값 = 0.0349를 얻었고; "AA vs D"를 통해 F(1,4018) = 6.8894 및 P 값 = 0.0087을 얻었고; 전극 (P7 및 P8) "AA vs B"를 통해 F(1,4175) = 11.669 및 P 값 = 0.00064를 얻었고; "AA vs D"를 통해 F(1,4018) = 13.297 및 P 값 = 0.00027을 얻었다.

예를 들어, 개시된 방법을 통해 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 데이터 (예컨대, 신경생리학적 데이터 포함)를 '수동적으로" 획득하고, 분석할 수 있다. 개시된 방법은 전통적인 접근법과는 다른 방식으로 구현될 수 있으며, 이로써 N400 ERP, 예컨대, "작동" 패러다임 (예컨대, 능동적 구별 및 행동 반응을 수행하는 대상체를 포함하는 작동 패러다임)을 사용하는 것을 유도할 수 있다. 예를 들어, 개시된 방법을 사용하여 대상체로부터 생리학적 신호 데이터를 획득할 때, 대상체는 어떤 외현적 행동 반응을 제공하여야 할 필요는 없으며-그/그녀가 행할 수 있는 모든 것들은 제시 (디스플레이) 스크린을 수동적으로 보는 것이다. 예를 들어, 상이한 뇌 마커의 진폭에 대한 내포된 조절에 기반을 두고 (예컨대, 본 경우에서는 N400/N300 시각 ERP), 개시된 방법은 대상체가 제시된 다른 자극을 관련시키는 방법 및 그들 사이에 개념적 카테고리를 확립하는 방법을 추론할 수 있다. 구체적으로, 개시된 방법을 구현함으로써 대상체가 일련의 다른 자극들을 연상하거나, 구별하는 방법을 확인할 수 있다.

도 3은 예컨대, 도 2의 시각 자극 제시와 같은 시각 자극을 사용하여 개념적 카테고리 변화 사이를 구별하는 뇌 패턴을 보여주는 한 군의 통계학적 분석으로부터 얻은 예시적인 결과를 제공하는 데이터 플롯을 나타내는 것이다. 도 3에서, 플롯 (301) 및 플롯 (302)은 각각 개념적/의미론적인 카테고리 변화와 관련된 전두부 및 두정부 채널 (예컨대, 각각 해부학상 두피의 전방 및 후방 위치)로부터의 뇌 파형 (예컨대, ERP)을 나타낸다.

도 3에 제시된 일례에서, 대상체의 견지 (예컨대, 지식)에서 영상이 이전에 제시된 것과 같은 카테고리에 있을 경우, 이때 상기 제2 영상 (A)에 대한 뇌파 반응은 제1의 이전 영상 (D)에 대한 반응보다 더 낮은 진폭을 나타낼 것이며 - 이는 "의미론적인 프라이밍"으로서 지칭되는 현상이다. 그러나, 대상체가 이어서 다음 자극을 이전에 제시된 것과 다른 카테고리에 속하는 것으로 인식하는 경우, 생성되는 뇌파 (B)는 다시 더 높은 진폭을 가지게 될 것이다 (예컨대, "의미론적인 위반"). 도 3의 플롯 (301) 및 (302)에서 화살표 표시는 뇌파에서 관심 효과를 나타낸다. 이를 통해 본 발명자들은 그/그녀의 제시된 자극에 대한 지식 및/또는 이해 수준을 조사하고, 해석하거나, 추론할 수 있다. 특별히 자극을 제시함으로써 (예컨대, 편재 방식으로 자극을 순차적으로 제시함으로써) 프라이밍 및 카테고리 변화를 촉진시킬 수 있는데, 이는 분리가능한 특이 뇌 마커를 유도할 수 있으며, 그로부터 데이터를 추출할 수 있으며, 이어서, 이는 개시된 방법의 분석 프로세스를 사용함으로써 감각 및/또는 인지 프로파일, 예컨대, 개별화된 지식 평가 프로파일(Individual Knowledge Evaluation Profile: IKEP)로 변환될 수 있다.

I.1.6. (예컨대, 컨텍스트 특정 파라미터 이용하는) 예시적인 처리 및 가이드된 분류 기법

예시적인 구현은 개별 대상체의 획득된 생리학적 신호 (예컨대, EEG 기록으로부터의 신경 신호)를 사용하는 분류 방법의 프레임워크를 사용하여 개별 대상체의 뇌 신호와 인지 상태를 상호 연관시킴으로써 대상체의 개념 지식 (예컨대, 감각 및/또는 인지 수행) 및/또는 인식 상태에 대한 정보 세트, 예컨대, 통계학적 정보를 포함하는 정보 세트를 제공하는 처리 기법을 구현하는 것을 포함하였다. 이러한 예시적인 처리 기법은 또한 단지 한 군에만 기초하는 것 뿐만 아니라, 일일이 한 대상체씩에 대해 그에 기초하여 적용함으로써 군 분석을 수행하여 개념 지식을 확인할 수 있다. 이러한 군 분석을 제공하는 것은 개체가 정보를 분류하는 방법, 예컨대, 개체간의 차이를 명확하게 확인하거나, 이용하는 방법을 확인하는 데 유익할 수 있다.

예를 들어, 개시된 방법은 조사하고자 하는 특정 지식과 관련하여 종종 맥락상 일치하고, 종종 맥락상 불일치하는 일련의 자극을 의도적으로 제공함으로써 주제를 이용하여 대상체의 친숙도의 특징을 규명하는 데 사용될 수 있다. 측정되고, 분석된 대상체의 뇌 반응에 기초하여, 본 방법은 "친숙도 정도" 결과를 특정 감각 및/또는 인지 프로파일 카테고리 (예컨대, 개체 지식 평가 프로파일)로 표현될 수 있는 인간 운용자로, 또는 결과 (정보 세트)를 뇌-기계 인터페이스 (BMI)에 통합시켜 개체에 대한 후속 피드백을 제공하는 개시된 기술의 또 다른 프로세스로 개발할 수 있다.

하기 기술되는 바와 같이, 시각 자극 패러다임을 사용하는 개시된 처리 및 가이드된 분류 기법의 예시적인 구현은 일일이 한 대상체씩에 대해 그에 기초하는 개념 지식 평가를 예시한 이전 섹션에 기술된 바와 같이 같은 데이터 세트를 사용하는 일례를 제공한다.

예를 들어, 예시적인 시각 데이터 세트에서 사용되는 독립 변수에 대한 기술은 하기를 포함한다:

· 대상체 수 s, 1 내지 28

· 채널 수 e, 1 내지 31

· 조건 c, 1 내지 2 (카테고리 변화가 없는 경우, 1="AA", 카테고리 변화가 있는 경우, 2="B")

· 시도 횟수 k, 1 내지 120

· 간격 내 관심 시점 t, 1 내지 T.

o 예를 들어, 간격은 [352 ms, 452 ms]가 되도록 한다. 샘플링 속도는 250 Hz였다. 이때, T=(0.452-0.352)*250 = 25

따라서, y[s,e,c,k,t]는 EEG 전압을 나타내는 실수이다. 임의의 대상체의 경우, 본 발명자들은 s를 일정하게 고정시킨다. 본 섹션에서 예시적인 분석 목적으로, 본 발명자들은 또한 전극 위치 e를 일정하게 고정시킨다. 따라서, 본 섹션에서 추가 분석을 위한 출발점은 EEG 전압을 나타내는 실수인 y[c,k,t]이다.

I.1.6.1. 훈련 데이터를 이용하는 감독 분류기

본 일례는 개체 그 스스로가 상이한 항목, 예컨대, 아이디어 또는 개념을 조직화하고 분류하는 방법을 연구할 때 감독 분류기를 사용한다. 완전히 의식이 있고, 인식하고 있는 개체에 대해 운용할 때, 감독 분류기는 먼저 개체에 대해 "훈련될 수 있으며," 이는 그/그녀에 특이적인 임의의 자연적인 변동성을 설명한다. 이러한 훈련은 상기 설명된 바와 같이, 먼저 대상체에게 카테고리별로 일치하는 (AA) 및 불일치하는 (B) 자극 군의 한 세트를 제공함으로써 수행된다. 이러한 자극 군은 주의 깊게 구축되며, 이로써, 상기 군은 모든 참가자에 대해 분명하게 AA 또는 B에 속하게 된다.

일단 분류기가 충분히 훈련을 받고 나면, 표지되지 않은 새로운 자극 군 세트가 제시된다. 이러한 자극은 각 대상체의 뇌가 정보를 분류하는 방식에 따라 상이한 뇌 분류를 유도할 수 있는 입력값을 나타낸다. 각 개체는 예컨대, 교육 수준, 인종 배경, 선호, 창의성 등인 범위의 매우 다양한 인자에 기초하여 상기 군들을 일치하는 것 또는 불일치하는 것으로 간주할 수 있는 가능성을 가지고 있다. 이는 바로 개시된 방법을 사용하여 조사되고 정량화될 수 있는 풍부한 변동성 공간이 되며, 이는 예컨대, 개체의 뇌가 정보를 분류하는 방법에 관한 깊은 통찰력을 제공한다.

감독 분류기의 예시적인 구현 방법

분류를 위해 일부 관심 특징을 개발하기 위해 본 발명자들은 조건 "c" 및 시점 "t"를 고정시켜 전체 모든 시험 "k"에 걸친 y[c,k,t]의 평균 및 표준 편차를 계산한다. 특정 시점 "t"에 대한, 전체 시험에 걸친 평균을 구하는 예시적인 방법은 하기 제시되어 있다. 예를 들어, 이는 대상체 전체에 대한 평균을 구하지 않는다는 점-개별 대상체에 특이적이라는 점을 제외하면, 이벤트 관련 전위 플롯을 생성하는 방법과 유사하다.

도 4는 수직 축에 제시된 다중 시험 간에 걸쳐 수집된, 350 ms 내지 450 ms의 시간 창을 나타내는 한 축 상의 EEG 데이터를 보여주는 3차원 플롯 (401)을 나타내는 것이다. 전체 모든 시험 k에 걸쳐 시점 y[c,k,t]에 대한 EEG의 평균을 구하여 350 ms 내지 450 ms 구간 내의 시점 t에서의 조건 c에 대한 y[c,t] 평균 전압을 얻는다.

유사한 계산을 구현하여 고정된 c 및 t에 대해, 전체 시험 k에 걸친 y[c,k,t]의 표준 편차를 산정한다. 두 개별 채널 (예컨대, FP1 (채널 1) 및 FP2 (채널 2))에 있어서, 평균 및 분산의 가장 기본적인 특징이 조건 "B"와 비교하여 조건 "AA"에 따라 어떻게 공변하는지 도 5A 및 5B에 제시되어 있다. 예를 들어, 각각의 청색 및 녹색 동그라미 표시는 특정 시점 "c"에 대한 "평균, std" 특징을 나타낸다. 청색은 조건 "AA"를 나타내고, 녹색은 조건 "B"를 나타낸다.

도 5A는 상이한 두 자극 조건, "AA" 및 "B" 하에서의 FP1 (채널 1) 전극으로부터의 개별 대상체 (예컨대, 대상체 10)의 평균 및 표준 편차를 보여주는 특징 플롯을 나타내는 것이다. 도 5B는 예시적인 상이한 두 자극 조건, "AA" 및 "B" 하에서의 FP2 (채널 2) 전극으로부터의 개별 대상체 (예컨대, 대상체 10)의 평균 및 표준 편차를 보여주는 특징 플롯을 나타내는 것이다. 도 5A 및 5B의 플롯에 제시된 바와 같이, 특징들은 뚜렷한 클러스터링을 나타내고, 이는 정확도가 높은 분류 방법으로 이어질 수 있다. 예를 들어, 5-분할 교차 검증(5-fold cross-validation)을 이용한 정확도는 채널 FP1 및 FP2, 둘 모두에 대해 100%였다.

예를 들어, 이들 특징들은 상이한 조건에 대해서 공통원이 없는 군으로 클러스터링하는 것이 주목된다. 예를 들어, 입력값으로서 상이한 조건에 있는 상기 언급된 예시적인 특징들을 사용하여 Matlab 통계학적 툴박스에서 가우시안(Gaussian) 커널을 이용하는 서포트 벡터 기계를 구현하였다. 예를 들어:

· 데이터세트를 분할하여 1/5은 검정하고, 4/5는 훈련시키고,

· 전체 모든 데이터에 걸쳐 검정할 때까지 검정 세트를 로테이트시키고,

· 분류 평균을 구하는 것과 같이,

5-분할 교차 검증을 사용하여 분류 비율(%)을 계산하였다.

분류기에 대한 예시적인 정확도 제어

하기 기술되는 도면 중 일부에서, 예컨대, 다중 대상체 및 채널 간에 걸친 서포트 벡터 기계의 수행의 예시적인 요약 통계가 제시되어 있다. 각 도면에서, x축은 다른 채널을 나타내고, y축은 다른 대상체별로 다양한, 상기 채널에 대한 박스 플롯에 관한 것이다. 예시적인 분류 방법은 개별 대상체로부터 획득된 예시적인 신경 데이터를 사용하였으며, 예컨대, 여기서, 분석된 데이터는 다중 대상체 및 다중 채널 간에 걸친 수행의 예시적인 요약 통계로 제시된다. 각 도면에서, 각 박스 플롯은 데이터 점의 다섯 수치 요약을 나타낸다. 예를 들어, 박스의 하단 및 상단은 항상 25번째 및 75번째 백분위수 (각각 상위 및 하위 사분위수)이고; 박스 중앙부 부근의 밴드는 항상 50번째 백분위수 (중위수)이고; "휘스커"는 데이터의 평균 미만 및 초과 값의 표준 편차를 나타내고; 적색 "+" 마크는 이상점을 나타낸다. 각 박스 플롯 아래에는 중위수의 정확도를 제공하는 샘플 표가 있다.

도 6은 예시적인 구현에서 시각 자극 패러다임에 대한 대상체-감독 분류기 수행을 표시하는 플롯 및 상응하는 표를 보여주는 것이다. 각각의 개별 채널의 경우 (예컨대, 플롯의 열), 분류기가 각 대상체에 대해 수행한 방법에 대한 요약 통계 정보를 제공한다. 도 6의 박스 플롯은 각 전극 위치당 5-분할 교차 검증 후 분류기 정확도를 나타내는 예시적인 결과를 보여주는 것이다. 도 6의 표에는 예시적인 FP1, FP2, P7, 또는 P8 전극을 사용하였을 때, 대상체 간에 걸친 중위수의 정확도가 열거되어 있다.

예컨대, 다수의 적용에서 사용될 수 있는 전두부 전극 FP1 및 FP2는 극도로 높은 분류 정확도를 입증하고, 가장 간단한 가능한 특징 및 MATLAB로부터의 커널에 달려있음에 주목한다. 다른 일례에서, 더욱 복잡한 접근법이 더욱 큰 범위의 대상체들 간에 더욱더 높은 분류 정확도를 제공할 수 있다.

예시적인 인지 및/또는 감각 프로파일: 개체 지식 평가 프로파일 ( IKEP )

상기 기술된 바와 같이, 대상체에게 자극을 제공하고, 대상체로부터 생리학적 데이터를 획득하고, 통계학적 정보를 알아낸 후, 예시적인 기법에서 다음 단계는 개체 지식 및/또는 인식 상태 프로파일을 생성하는 것을 포함한다. 도 7은 개별화된 지식 및/또는 인식 프로파일을 제공하는 가이드된 분류 알고리즘 및 그에 후속된 요약 통계에 관한 예시적인 구현을 표시하는 예시적인 다이어그램을 보여주는 것이다. 예를 들어, 예시적인 지식 평가 및/또는 인식 상태 프로파일은 특정 자극에 대한 사용자의 뇌 반응에 관한 간결한 요약 정보를 제공할 수 있다.

기술된 상기 제1 일례에서, 감독 분류기를 이용하여 "지식 평가" 컨텍스트 내에서 (이전 일례에서와 같이) 대상체 10에 대해 개별 프로파일을 계산한다. 구체적으로, 예를 들어, 도 5A 및 5B에 제시된 바와 같이, B 군 (녹색 동그라미) 및 AA 군 (청색 동그라미)에 대한 특징을 확인한다.

도 8은 대상체 10으로부터의 예시적인 채널 FP2에 관한 감독 분류기에 대한 예시적인 특징을 보여주는 것이다. 받침 초평면 (예컨대, 검은색 굵은 선)이 판정 경계로서의 역할을 한다. 검정하고자 하는 임의의 특징 (예컨대, 도 8에서 적색 동그라미)이 경계의 한쪽에 있다면, 이는 청색으로 분류될 것이며 (이 경우, AA), 나머지 다른 한쪽에 있다면, 이는 녹색으로 분류될 것이다 (이 경우, B). 경계까지의 거리 "d"는 분류에서 통계학적 신뢰도를 제공하는 프록시로서의 역할을 할 수 있다. 경계까지의 거리가 클수록, 분류에서 본 발명자들은 더욱 큰 신뢰도를 가지게 된다.

대상체를 시험할 때, 이들 특징은 구축된다. 관심 특징 (이 경우, 적색 동그라미)이 판정 경계의 한쪽에 있다면, 본 발명자들은 "AA"라고 선언하고, 그렇지 않다면, 본 발명자들은 "B"라고 선언한다. 하드 판정과 함께, 본 발명자들은 본 발명자들의 선언에 있어 얼마나 신뢰하는지를 제안하는 "소프트" 정보 또한 명시한다. 적색 점과 판정 경계 상의 임의의 점 사이의 최단 거리가 IKEP를 명시하는 함수에의 입력값으로서의 역할을 할 수 있다. 더욱 구체적으로, 예를 들어, 본 발명자들은 인식/지식 확률 = (2-e ^-d )/2를 선언할 수 있다.

예를 들어, 경계까지의 거리가 0일 경우, 구별 확률은 ½, 즉, 운이다 (예컨대, 대상체가 검정되는 두 조건 사이의 특징을 구별해 낼 수 있는 신뢰가능한 지식을 가지고 있지 않거나, 또는 다시 말해, 대상체는 한 항목과 나머지 다른 한 항목 사이를 구별해내지 못한다). 한편, 예를 들어, 경계까지의 거리가 매우 클 경우, 이때, 지식 확률은 예상대로 1이 되는 경향이 있다 (예컨대, 대상체는 제시되는 카테고리들 각각에 대해 알고, 그를 분간하는 방법을 알고 있다). 따라서, 예시적인 통계학적 신호 처리 프레임워크는 소프트 판정, 예를 들어: P_sc=P(같은 카테고리)=0.8, P_dc=P(다른 카테고리 = 0.2)를 추가로 제공할 수 있다.

이제, 본 일례는 이전에 기술된 것과 동일한 시각 제시 데이터 세트를 사용하여 예시적인 IKEP를 하기와 같이 확인할 수 있다. 도 8에서와 같이 예시적인 대상체 (대상체 10) 사용하에서, 본 발명자들이 청색 및 녹색 라벨을 이용하여 분류기를 훈련시켰다고 가정하였을 때, 적색 점에 대한 특징을 수득할 수 있고, 본 발명자들은 이를 "AA" 또는 "B"로 분류하고자 한다. 적색 동그라미에 대한 특징은 순서쌍 (예컨대, 0.75,12)이라는 점에 주목한다. 경계에 가장 가까운 점은 (0,11)이다. 따라서, 본 일례에서, 상기 두 점 사이의 거리는 1.25이고, 상기 대상체 (예컨대, 대상체 10)에 대한 후속 IKEP는 (2-e^-1.25)/2 = 85.67%이다. 도 9는 예시적인 대상체 10의 개체 지식 평가 프로파일에 대한 상기 예시적인 정량적 데이터에 관한 다이어그램을 보여주는 것이다.

I.1.6.2. 우도비 검정을 이용한 예시적인 비감독 분류기

"비감독" 분류기를 사용하는 본 일례에서, 본 기법은 분류기를 훈련시키는 어떤 훈련 데이터도 사용하지 않는다. 오히려, 분류기는 데이터를 일괄 입수한 후, 다른 자극으로부터의 정보를 같은 방식으로, 또는 다르게 분류하는 뇌의 우도에 관한 판정을 명시한다. 여기서, 본 발명자들은 대상체에게 예컨대, 그/그녀가 안다는 가정하에서 공지 반응을 가진 자극을 의도적으로 제공한다.

비감독 분류기의 예시적인 구현 방법

본 일례에서, 본 발명자들은 먼저 k에 걸친 평균 값을 구하여 (y[c,k,t]: k=l,...,K), y[c,t]를 얻는다. 검정하고자 하는 핵심 가설은 하기와 같다:

· H0 (널): (AA 및 B에 관한) y[1,t] 및 y[2,t]의 통계치는 동일하다.

· H1 (대체): (AA 및 B에 관한) y[1,t] 및 y[2,t]의 통계치는 동일하지 않다.

예시적인 자극 패러다임의 경우, y[1,t]-y[2,t]는 가우시안인 것으로 추정된다. 따라서, 널 가설 하에서, 이러한 차이의 평균은 0이고, 분산은 알려져 있지 않다. 대체 가설 하에서, 차이의 평균은 0이 아니고, 분산은 알려져 있지 않다 (H0 하의 분산과 반드시 동일한 것은 아니다).

예를 들어, H0 하의 분산 및 H1 하의 평균, 분산이 알려져 있지 않기 때문에, 이는 복합 가설 검정 문제가 되며, 예컨대, 각 가설 하에 많은 분포가 존재한다.

예시적인 구현은 다른 가정 하에 다른 방식으로 이론상 타당한 복합 가설 검정에 관한 한 군의 비감독 분류기를 구현하는 것을 포함하였다. 먼저, 관찰된 데이터의 함수인 검정 통계치를 밝혀낸다. 상기 검정 통계치로부터 p 값을 계산하거나, 추정하고, 이를 역치, 예컨대, 0.05와 비교한다. 본 일례에서, p 값이 0.05를 초과할 경우, 널 가설은 용인되고; 그렇지 않다며, 널 가설은 기각된다.

검정 통계치. 일반적으로, 차 (d[t]=y[1,t]-y[2,t]: t=1:T)를 수집하고, 검정 통계치 u=g(d)를 밝혀내는 데, 이는 관찰된 데이터의 함수이며, 널 가설 하에서보다 대체 가설 하에서 그 값은 더 크다. 구축될 수 있는 검정 통계치 유형의 일례는 하기와 같다:

T.A: P0 및 P1의 정규화된 최대 우도 (NML) 추정치를 가지는 로그 우도비. 예를 들어, 본 발명자들은 P0 (평균 0, 분산은 알려져 있지 않음) 및 P1 (평균은 0이 아니고, 분산은 알려져 있지 않음) 하에 분포를 모델링한다. 정규화된 최대 우도 방법을 통해 최악의 경우에는 복합 가설들 중 하나의 가설 하에 있는 모든 가능한 분포에 관하여 가능한 잘 수행하는 각 가설에 관한 통계 법칙을 만든다. 예를 들어, H0 하에서, 평균은 알려져 있지 않음 바, 이에 평균은 0이고, 분산은 알려져 있지 않은 모든 정규 분포의 통계 법칙을 조합하여 상기 부류 중의 임의 분포에 대하여 가능한 예측성을 띠는 통계 법칙을 만든다. 유사하게, H1에 대한 추정치를 밝혀낼 수 있으며, 여기서, 평균 및 분산이 사용된다. 검정 통계치 g(d)는

로 제시된다 (여기서,

이다).

T.B: 표준 통계학적 방법, 예컨대, 평균 및 분산 추정치에 기초한, ANOVA에 대한 F 점수.

P 값. 검정 통계치를 계산한 후, 널 가설 하에서 최소한 관찰된 것만큼 극치인 검정 통계치를 관찰할 수 있는 우도를 계산한다. 널 가설하에서는 분산이 알려져 있지 않지 않은 바, 이는 복합 가설 검정 문제가 되며, p 값을 계산할 수 있는 특정의 자연 방법은 존재하지 않는다. 본 발명자들은 p 값을 추정할 수 있는 다중의 방법을 개발한다:

P.A: 데이터로부터 추정되는 분산을 포함하는 정규 분포의 가정하에, P0 추정치를 사용하여 확률식을 평가하는 파라미터 방법 수행:

P.A.1: H0 하에 검정 통계치, g(d)의 분포가 폐쇄형인 것으로 알려져 있다면 (예컨대, t, Z, F, ANOVA 검정인 경우), 이때 본 발명자들은 직접 계산할 수 있거나, Matlab에서 순람표를 사용할 수 있다.

P.A.2: 더욱 복잡한 검정 통계치 (예컨대, 정규화된 우도비)가 사용된다면, 이때 본 발명자들은 몬테 카를로(Monte Carlo) 방법을 구현하여 확률을 추정한다. 데이터로부터 추정된 평균 0 및 분산을 포함하는 정규 분포 하에서 도출된 다수의 독립적이며 동일한 분포를 따르는 샘플 d[1]...d[N]을 생성한다. g(d[i])가 검정 통계치를 초과하는 (>) 시간 분율을 계수한다.

P.B: 비파라미터 부트스트랩 방법을 수행한다. y'의 무작위 순열인 N iid 샘플 d[1]...d[N]을 생성하여; "어떤 의미에서는," g(d[i])는 H0 하에서 g(d)에 따라 도출된다. g(d[i]) > t인 시간 분율을 계수한다. 도 10은 본 발명자들이 두 실험 조건에 대해 두 데이터 세트를 가질 때 (각각 n회 시험), 비파라미터 통계학적 검정을 수행하는 방법을 도시한 것이다. (1) 단일 세트로 두 실험 조건 (A 및 B)에 대한 n회 시험을 수집한다. (2) 조건 A에서의 시험만큼 상기 "조합된" 데이터 세트로부터 다수의 시험 (n회 시험)을 무작위 방식으로 이끌어 내고, 상기 시험을 서브세트 1에 배치한다. 이어서, 나머지 시험 (n회 시험)을 서브세트 2에 배치한다. 본 방법은 무작위 분할로 명명될 수 있다. (3) 상기 무작위 분할에 대해 검정 통계치를 계산한다. 검정 통계치를 계산하기 위해 관심 시간 동안 전체 모든 시험에 걸친 서브세트 1 및 2 각각에 대한 파형의 평균을 구한다. 서브세트 1의 파형 평균치를 서브세트 2의 파형 평균치로부터 감산한 후, 모든 차이의 요약으로서 검정 통계치를 계산한다. (4) 단계 및 3을 예컨대, 다회에 걸쳐 반복하고, 검정 통계치의 히스토그램을 구축한다. (5) (무작위 순열 없이) 본 발명자들의 원본 데이터 세트로부터 실제로 관찰되는 검정 통계치 및 단계 4의 히스토그램으로부터 관찰된 것보다 더 큰 검정 통계치를 형성하는 무작위 분할의 비율을 계산한다. 이 비율을 p 값으로 명명할 수 있다.

도 10은 부류 A로부터의 데이터 및 부류 B로부터의 데이터가 같은 통계학적 분포로부터 유래되었는지 여부를 명시하는 것에 관한 가설 검정을 위한 p 값을 추정하는 비파라미터 방법을 도시하는 다이어그램을 보여주는 것이다. 부류 A 및 부류 B에 대한 시험을 무작위 방식으로 순열식으로 변경하여 널 가설로부터 도출되는 검정 통계치를 생성한다. 이로부터, p 값 평가를 수행할 수 있는 히스토그램이 형성된다.

예를 들어, 일단 p 값이 계산되었을 때, 이 p 값이 0.05 미만일 경우, 널 가설은 기각되고; 그렇지 않을 경우, 이는 용인된다. 예시적인 구현에서, 대상체들은 모두 알고 있고, 제시된 예시적인 자극이 상기 조건 하에서 명백하게 맥락상 불일치하거나, 일치하거나, 또는 반복적으로 일치하기 때문에, 널 가설은 대부분의 대상체에 있어서 기각되어야 한다. 상기 예시적인 접근법의 수행은 하기와 같이, 널 가설이 기각되는 대상체 및 전극의 수를 정량화함으로써 특징이 규명된다.

예시적인 결과

대상체에게 제시된 각각의 예시적인 자극 패러다임에 있어서, 상이한 검정 통계치의 예시적인 수행 및 p 값을 계산하는 방법이 도 11-13에 제시되어 있다. 도 11은 시각 자극을 사용하는 AA vs B의 예시적인 rANOVA 분석에 대한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다. 도 12는 시각 자극을 사용하는 AA vs B의 예시적인 NML 파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다. 도 13은 시각 자극을 사용하는 AA vs B의 예시적인 NML 비파라미터 분석을 위한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.

도 11-13에서, 분류기의 p 값의 박스 플롯은 특정의 관심 전극 위치, 예컨대, FP1, FP2, P7, 및 P8에 대해 제공된다. 박스 플롯은 중위수 (적색 선), 표준 편차 (너비) 및 이상점 정보를 제공한다. 각 데이터 플롯을 가로지르는 녹색 수평선은 0.05인 p 값의 역치에 상응한다. 따라서, p 값 미만의 대상체 모두가 정확하게 분류되며, 그 초과인 모두는 부정확하게 분류된다. 각 박스 플롯과 함께, 전체 모든 대상체에 걸쳐 정확한 분류 (p 값 역치 0.05)의 전체 분율을 기술하는 간결한 상응 표 또한 존재한다.

도 11-13에서, 명명법은 하기와 같다:

· "AA vs B"는 d[t]=y[1,t]-y[2,t]: t=1:T (여기서, y[1,t]는 A 시각 자극에 관한 것이고, y[2,t]는 B 시각 자극에 관한 것이다)를 의미한다.

· "NML"은 섹션 T.A.의 검정 통계치를 계산하는 정규화된 최대 우도 방법에 대해 간결하게 된 것이다.

· "파라미터"는 p 값의 몬테 카를로 추정을 수행함으로써 (여기서, 검정 통계치에의 입력값은 샘플로부터 추정된 평균 및 분산을 포함하는 정규 분포에 따라 도출되었다) 섹션 P.A에 기술된, p 값을 추정하는 파라미터 방법을 나타내는 것이다.

· "비파라미터"는 P.B의, p 값을 추정하기 위한 비파라미터 방법을 나타내는 것이다.

· "rANOVA"는 방법 P.A.I의 표준 반복 측정 ANOVA 방법론을 사용하는 검정 통계치 및 p 값 계산 패러다임을 나타낸다.

상기와 같은 예시적인 분석을 개별적으로 수행한 후, 17명의 대상체를 포함하는 한 군의 데이터세트에 대한 평균을 구하였다. 예를 들어, 두드러지게 채널 FP1 및 FP2 (전부두이고, 모발의 겔화를 필요로 하지 않고, 따라서, 일부 적용에서 바람직한 실시양태로 사용될 수 있는)의 경우, 상기 분류 방법의 정확도는 균일하게 80-100% 범위이다. 이러한 예시적인 결과는 오직 전두부 전극만을 가지는 시스템이 높은 수행을 유도할 수 있다는 것을 제안한다. 개시된 방법은 전두부 활성을 획득하는 것을 항상 포함할 필요는 없다.

예시적인 인지 및/또는 감각 프로파일: 군 지식 평가 프로파일 ( GKEP ) 및 개체 지식 평가 프로파일 ( IKEP )

비감독 분류기 실시양태의 상기의 마지막 일례를 사용하고, 전두부 전극 FP1을 선택하여 상기 프로파일을 예시할 때, 본 방법의 예시적인 구현의 최종 생성물은 군 지식 평가 프로파일 (GKEP) 형태, 또는 개체 지식 평가 프로파일 (IKEP) 형태의 것일 수 있다.

예를 들어, 본 발명자들은 임의의 대상체에 대한 p 값을 확인하고, 검정된 카테고리 내에서 구별의 척도로서 (도 13에 제시된 바와 같은) 비파라미터 우도비 검정을 사용하여 100% p 값을 수행한다. 개체인 경우, 예시적인 대상체 10에 있어서, 이는 99.8%였다. 군 수준에서는 중위수 수준이 94.1%였다. 이러한 예시적인 결과는 도 14에 제시되어 있다. 도 14는 개별 대상체에 대한 개체 지식 평가 프로파일 및 한 군에 기초한 대상체에 대한 군 지식 평가 프로파일의 일례에 관한 다이어그램을 보여주는 것이다.

I.2. 청각 자극 패러다임을 이용하는 N400

I.2.1. 예시적인 자극

또 다른 일례 구현에서, 언어 자극에 대한 신경 반응, 더욱 정확하게, 영어 내의 맥락상 일치 및 불일치에 대한 조절 반응을 조사하였다. 예를 들어, 어도비 사운드부쓰(Adobe Soundbooth) CS5를 사용하여 총 80개의 자극 표본을 위해 각각 4명의 화자 (예컨대, 남성 2명, 여성 2명)로부터 20개의 단어 목록을 녹음하였다. 각 화자는 하기 예시적인 단어를 녹음하였다: 액션, 생일, 카메라, 양초, 치즈, 충돌, 위험, 사망, 마시다, 운전하다, 싸우다, 식품, 선물, 행복, 빛, 살인, 독물, 쏘다, 미소, 맛있다. 또한, 예를 들어, 어도비 사운드부쓰 CS5를 사용하여 하기 단계를 이용함으로써 자극내 및 자극간 조절을 수행하였다: (1) 각 자극을 정규화하는 단계 (예컨대, 처리 > 정규화), (2) 각 자극을 등화시키는 단계 (예컨대, 처리 > 볼륨 크기 등화), (3) 모든 자극 파일 간의 볼륨 크기를 등화시키는 단계 (예컨대, 모든 파일 선택 > 과제 진행 > 파일을 매칭되는 파일로 드래그 > 파일 매칭 > 목록내 제1 파일 선택). 예를 들어, 자극 풀의 지속 기간은 380 ms 내지 834 ms 범위, 예컨대, 평균적으로 615.675 ms였다. 이어서, 상기 예시적인 단어를 사용하여 뚜렷이 다른 90개의 3단어 문자열을 구축하였다.

이러한 예시적인 90개의 문자열을 동일하게 3개의 조건으로 나누었다: 일치 (30개의 문자열), 불일치 (30개), 및 반복적으로 일치 (30개). 각 문자열에서, 처음 두 단어가 컨텍스트를 생성하였다. 세번째 단어는 이전 두 단어에 의한 컨텍스트 세트와 매칭되거나 (일치) 또는 매칭되지 않았다 (불일치). 예를 들어, 반복적으로 일치하는 조건에서, 세번째 단어는 문자열 중 두번째 단어를 반복시켜 세트 컨텍스트와 매칭되었다. 또한, 4명의 화자가 존재하는 바, 예를 들어, 총 360개의 문자열 표본이 존재하였다. 문자열 내에서, 각각은 세 단어 각각에 대해 화자가 일치하였다. 그러나, 화자 및 화자의 성별이 문자열 사이에도 달라질 수 있다. 또한, 예를 들어, 최종 이벤트 관련 전위 및 통계학적 분석을 위해 단지 상기 문자열의 서브세트만을 사용하였다. 상기 서브세트를 조건간 단어 출현 및 빈도에 대해 조절하였다. 분석에 모든 다른 문자열을 사용하지는 않았으며, 대신 다양한 대상체의 감각 형성을 위해 "필러"로서 사용하였다.

2개의 예시적인 방법을 구현하여 고정 점 및 청색 사각형 자극을 만들었다. 예를 들어, 고정 점의 경우, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 컴퓨터 구현 프로세스를 사용하여 높이 및 너비가 350 픽셀인 검은색 배경 영상 (예컨대, 적색 건 = 0; 녹색 건 = 0; 청색 건 = 0)을 만들었다. 이어서, 예시적인 스크립트는 원에 대한 표준 방정식을 사용하여 중첩 포 루프을 진행함으로써 영상의 적색 건을 255로, 녹색 건을 0으로, 및 청색 건을 0으로 바꿈으로써 7 픽셀 길이의 반경 내의 픽셀을 적색으로 변경시켰다. 예를 들어, 청색 사각형 자극의 경우, 영상화 소프트웨어 (예컨대, 어도비 포토샵(Adobe Photoshop))를 사용하여 예컨대, 그의 적색 건은 0이고, 녹색은 0이고, 청색은 255인, 157 x 157 픽셀 크기의 영상을 만들었다.

I.2.2. EEG 기록을 위한 대상체 준비

EEG 기록을 위해 예시적인 대상체를 준비시키기 위하여, 각 대상체를 기록 챔버 내의 의자에 착석시키고, EEG 캡핑 프로세스를 시작하였다. 예를 들어, 상기 프로세스는 전통 EEG 캡을 대상체의 머리에 놓고, 고무 턱끈으로 이를 고정시키는 것을 포함하였다. 일부 일례에서, 예상되는 대상체의 머리 크기에 기초하여 직경이 56 cm 또는 58 cm인 캡이 사용되었다. 이어서, (예컨대, 파커 라보라토리즈로부터 입수한) 시그나 전극 겔을 곡선 모양의 플라스틱 시린지를 사용하여 각각의 캡 전극 아래에 주사하여 전극 그 자체와 대상체의 두피 사이에 전도성 브릿지를 만들었다. 또한, 예를 들어, 임피던스를 낮춤으로써 더욱 강력한 전도도를 구축하기 위해 목재 Q-팁을 사용하여 겔을 마사지하였다. 예를 들어, 상기 기법을 사용함으로써 예컨대, 접지 전극 및 기준 전극을 비롯한, 각 전극에 대해 임피던스 수준을 <5 kΩ으로 낮추었다. EEG 기록을 사용하여 예시적인 구현을 시작하기 전, 대상체를 제시 모니터 및 오디오 스피커 앞에 착석시키고, 가능한 한 신경생리학적 데이터 중 모션 아티팩트를 막기 위하여 단지 실험 진행 기간 동안 내내 적색의 중앙 고정 점에 시각 고정을 유지하도록 하고, 그의 운동 움직임을 제한하도록 요구하였다. 일부 일례에서, 대상체에게 온라인 상의 그의 원본 뇌파 기록을 보여줌으로써, 예컨대, 대상체가 눈을 깜빡이거고/거나, 이를 악물었을 때 데이터에 발생하는 것을 대상체에게 보여줌으로써 이러한 사항들을 강조하였다. 이후, 이어서 기록실의 조명을 낮추고, 자극 프로세스 및 EEG 기록을 시작하였다. 기록실의 창문을 완전하게 차단하고, 외부 빛이 들어가지 못하도록 그의 갈라진 틈을 실링하는 조치를 취하였다.

I.2.3. 예시적인 자극 제시 프로세스

코젠트 2000을 사용하여 본 일례의 자극 제시 프로세스에서 사용된 예시적인 자극 제시 패러다임을 프로그램화하였다. 예시적인 자극 제시를 화자에 기초하여 2개의 블록을 나누었다. 예를 들어, 블록 1은 총 180개의 문자열을 포함하였는데, 90개의 문자열은 남성 화자에 의한 것이고, 90개의 문자열은 여성 화자에 의한 것이었다. 블록 2는 또 다른 180개의 문자열을 포함하였는데, 90개의 문자열은 또 다른 남성 화자에 의한 것이고, 90개의 문자열은 또 다른 여성 화자에 의한 것이었다. 180개의 문자열들은 각각 1개의 제시 블록당 단 1번만 제시하였다. 문자열내 각 단어 제시 후, 1,000 ms의 자극간 간격 (ISI)이 주어졌다. 각 문자열 사이에는 2,500 ms의 시험간 간격 (ITI)을 줌으로써 각 문자열 제시 사이에 뚜렷한 휴지 기간을 형성하였다. 예를 들어, 매 6 내지 9개의 문자열 후, 2,000 ms 동안 청색 사각형을 제시하였는데, 이는 대상체가 잠시 동안 중단하고, 휴식을 취하고, 코를 긁을 수 있는 "단기 휴지 기간"을 나타내었다.

자극 제시 전, (예컨대, MATLAB 스크립트에서 프로그램화된) 프로세스는 먼저 예컨대, MATLAB의 randperm() 함수를 사용하여 문자열이 제시되는 순서를 무작위 방식으로 순열식으로 변경하였다. 이어서, 프로세스는 예시적인 randi() 함수를 사용하여 어느 시험 다음에 청색 사각형 자극이 이어지게 할지를 무작위 방식으로 결정하였다. 디스플레이, 사운드 카드, 및 병렬 포트를 설정하는 것 이외에도, 코젠트 2000 시스템을 사용하여 로그 파일을 설정하고, 초기화하였다. 예를 들어, 상기 로그 파일을 사용하여 자극, 즉 특정 문자열의 구성원에 관한 정보를 저장하였다. 이어서, 청각 및 시각 (예컨대, 고정 점, 청색 사각형) 자극, 둘 모두를 메모리 버퍼에 로딩하였다. 전산상 부하를 줄이고, 레이턴시 정밀도를 증가시키기 위하여 자극 제시 전에 상기 언급된 단계를 수행하였다.

청각 자극을 이용하는 예시적인 구현에서 사용된 예시적인 자극 제시 프로세스는 중첩 포 루프를 포함하였다. 예를 들어, "외부" 루프 내에서 비교체형 무작위 방식(random-without-replacement)으로 선택된 문자열을 확인하고, 문자열의 첫번째 단어/호출 개시 전 1,000 ms 동안 적색의 중앙 고정 점을 제시하였다. 고정 점을 문자열을 제시하는 전 기간 동안 내내 디스플레이하고, 세번째 단어/호출 오프셋 후 1,000 ms 동안 전원을 껐다. 예를 들어, "내부" 루프 내에서, 문자열 그 자체에 기초하여 트리거 정보를 계산하고, EEG 기록 컴퓨터로 전송하였다. 예시적인 MATLAB 내의 그의 위치가 자극 트리거에 대해 필요한 정보를 제공할 수 있도록 하는 방식으로 문자열을 조직화하였다. "내부" 루프 종료점에서, 표본을 제시하고, 병렬 포트를 0으로 재설정하고, 시험간 간격을 주었다. 예를 들어, 어드벤트 파워드 파트너즈(Advent Powered Partners) AV570 스피커를 사용하여 청각 자극을 제시하고, 소니 트리니트론 GDM-C520 모니터를 사용하여 시각 자극을 제시하였다.

도 15는 예시적인 제시된 일련의 청각 자극에 대한 다이어그램을 보여주는 것이다. 도 15의 예시적인 다이어그램 (1501) 및 (1502)는 3 단어로 이루어진 문자열로 된 특정의 제시되는 표본의 오디오 파형 및 스펙트로그램을 보여주는 것이다. 예를 들어, 다이어그램 (1501)에 제시된 예시적인 제시된 일련의 청각 자극은 맥락상 "일치하는" 문자열을 형성하는, "생일," "선물," 및 "행복"을 비롯한 연속되는 3개의 영어 단어를 포함하였다. 또한, 예를 들어, 다이어그램 (1502)에 제시된 예시적인 제시된 일련의 청각 자극은 맥락상 "불일치하는" 문자열을 형성하는, "독물," "위험," 및 "행복"을 비롯한 연속되는 3개의 영어 단어를 포함하였다. 다이어그램 (1501) 및 (1502)에서 제시된 두 일례 모두에서 처음 두 단어가 컨텍스트를 확립하고, 세번째 것은 맥락상 일치 또는 불일치하는 것과 일관성을 가진다. 또 다른 일련의 일례에서, 또 다른 검정 조건으로 문자열 중 두번째 및 세번째 단어가 정확하게 동일한 "반복적 일치" 또한 제시될 수 있다.

I.2.4. 예시적인 뇌파 (EEG) 기록

일부 구현에서, 강성 전극을 이용하는 전통 EEG 시스템을 사용하여 뇌파를 획득하였다. 예시적인 EEG 시스템으로는 브레인Amp DC 32-채널 시스템; 브레인비젼 리코더; 패스트 n 이지 32-채널 EEG 기록 캡 크기 56 cm; 패스트 n 이지 32-채널 EEG 기록 캡 크기 58 cm; 5k 레지스터가 장착된 브레인캡-MR용 PCB 리본 케이블; 및 브레인캡 MR 박스 1.2를 포함하였다.

I.2.5. 예시적인 전처리 분석 기법

청각 자극 패러다임을 사용하는 개시된 방법의 예시적인 분석 전처리 기법은 마커 데이터를 처리하는 기법을 포함할 수 있다. 예를 들어, 각 기록 세션 후, 예시적인 EEG 기록 시스템은 3개의 파일: 데이터 파일 (.eeg), 헤더 파일 (.vhdr), 및 마커 파일 (.vmrk)을 작성하였다. 마커 파일은 각 자극 개시에 대한 이벤트 트리거를 포함하였다. 본 일례에서, 병렬 포트 내에서는 출력값에 제한이 있기 때문에, 예시적인 코젠트 2000 로그 파일을 사용하여 표본의 특정 문자열의 구성원에 관한 추가 정보를 저장하였다. 그로부터, 분석 전처리 기법은 로그 파일 및 예시적인 EEG 기록 시스템 마커 파일, 둘 모두로부터 정보를 통합하고, 마커 파일 내의 자극 코드를 변경하여 하기와 같은 각 자극에 대한 정보, 예컨대, 조건 (일치, 불일치, 반복적 일치), 단어/호출 위치 (첫번째, 두번째, 세번째), 화자 성별 (영어 단어의 경우), 및 특정 단어/호출 (예컨대, "행복," "생일," "구구구구 소리(coo)," "비명")을 나타내는 (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 프로세스를 포함한다. 예를 들어, 일치하는 영어 단어 문자열 [생일; 선물; 행복]은 [C1M_2; C2M_13; C3M_14]로 재코딩되도록 하였다. 본 일례에서, 첫번째 디짓은 조건을 나타내고 (본 일례에서, 일치하는 경우, "C"), 두번째 디짓은 문자열내 위치를 나타내고 (첫번째, 두번째, 세번째), 세번째 디짓은 화자의 성별을 나타내고 (남성인 경우, "M," 여성인 경우, "F"), 및 밑줄 표시 다음의 디짓은 제시된 특정 단어를 나타낸다 (생일인 경우, "2," 선물이 경우, "13," 및 행복인 경우, "14").

개시된 방법의 예시적인 분석 전처리 기법은 일반 군에 대한 통계학적 분석 기법을 포함한다. 본원에 기술된 예시적인 구현에서, 통계학적 분석을 위해 MATLAB와 스타트소프트 스타티스티카 (버전 8.0) 소프트웨어의 조합을 사용하였다. 데이터 처리 및 분석 후, 예시적인 EEG 기록 시스템의 브레인비젼 애널라이저는 조건, 대상체, 시험, 전극 채널, 최고 레이턴시, 최고 전압, 및 평균 전압 진폭에 관한 데이터 값을 포함하는 텍스트 파일을 익스포팅하였다. 익스포팅된 텍스트 파일을 컴퓨터 구현 프로그램 (예컨대, MATLAB 프로그램)에 로딩하여 데이터를 더욱 액세스 가능한 포맷으로 분류하고, 조직화하였다. 구체적으로, 예를 들어, 예시적인 컴퓨터 구현 프로그램을 통해 예컨대, MATLAB의 변수 편집기를 사용함으로써 열에 의해 데이터를 더욱 쉽게 선택할 수 있다. 선택한 후, 데이터를 복사하여 스타티스티카 데이터 스프레드시트에 붙였다. 일부 구현에서, 예를 들어, 예컨대, 조건 효과, 즉, 영어 단어 및 붉은털 원숭이 호출, 둘 모두에 대한, 각 종의 일치, 불일치, 및 반복적 일치를 비교함으로써 각 스프레드시트에 대하여 반복 측정 ANOVA를 수행하였다. 인간 대상체인 경우, 예를 들어, 각 스프레드시트는 하기: 1) 실험: 영어 단어 또는 붉은털 원숭이 호출; 2) 컴포넌트: N400 또는 N800; 3) 전극 채널: Cz + Pz (전극 풀), Cz + Pz + Cp1 + Cp2 + P3 (전극 풀), Cz + Pz + Cp1 + Cp2 (전극 풀), 또는 Pz + Cp1 + Cp2 (전극 풀)에 대하여 특이적이었다. 예를 들어, 이러한 예시적인 풀링된 전극 분석을 위해, 이원 반복 측정 (예컨대, 인자 1: 조건; 인자 2: 전극 채널) ANOVA를 실행하였다. 유사하게, NHP 대상체의 경우, 예를 들어, 각 스프레드시트는 하기: 1) 실험: 영어 단어 또는 붉은털 원숭이 호출; 2) 컴포넌트: N400 또는 N800; 3) 전극 채널: Cz + Pz (전극 풀), Cz + Pz + P1 (전극 풀), Cz + Pz + P1 + Tp3 + C1 (전극 풀), O1 + O2 (전극 풀)에 대하여 특이적이었다. 이러한 예시적인 풀링된 전극 분석을 위해, 이원 반복 측정 (예컨대, 인자 1: 조건; 인자 2: 전극 채널) ANOVA를 실행하였다.

일부 일례에서, 조건 간의 첫번째와 세번째 위치의 단어/호출 사이의 효과 또한 분석하고, 억제를 검토하였다. 인간 대상체인 경우, 예를 들어, 각 스프레드시트는 하기: 1) 실험: 영어 단어 또는 붉은털 원숭이 호출; 2) 컴포넌트: N1, P2, N400, 또는 N800; 3) 전극 채널: Cz, 또는 Cz + Pz (전극 풀)에 대하여 특이적이었다. 유사하게, NHP 대상체의 경우, 예를 들어, 각 스프레드시트는 하기: 1) 실험: 영어 단어 또는 붉은털 원숭이 호출; 2) 컴포넌트: N1, P2, N400, 또는 N800; 3) 전극 채널: Cz, 또는 Cz + Pz (전극 풀)에 대하여 특이적이었다. 예를 들어, 단일 전극 분석을 위해, 이원 반복 측정 (인자 1: 위치; 인자 2: 조건) ANOVA를 실행하였다. 풀링된 전극 분석을 위해, 삼원 반복 측정 (예컨대, 인자 1: 위치; 인자 2: 전극; 인자 3: 조건) ANOVA를 실행하였다. 예를 들어, 일치 및 억제 효과 분석, 둘 모두를 위해 두 대상체 풀 모두에 대하여 대상체 수를 카테고리별 예측 변수로 사용하였다. 예를 들어, 본 발명자들의 영어 단어 패러다임을 사용한, 전극 Cz 및 Pz에서 (352와 452 ms 사이의) N400 ERP 효과에 반영된 일치 비교 (C3, I3, 및 CR3)에 관한 통계학적 분석으로 하기와 같은 결과가 밝혀졌다: F(2, 954) = 5.5791 및 P 값 = 0.0039. 예를 들어, 사후 피셔(Fisher) 검정으로 하기 P 값을 얻었다: C3 vs 13 = .008332 및 CR3 vs 13 = .037043. 이는 예시적인 방법을 구현함으로써 상이한 일치 조건 사이를 통계학상 유의적인 방식으로 구별할 수 있다는 것을 입증한다.

도 16은 (예컨대, 영어 단어를 사용하여) 청각 자극의 맥락상 변화 사이를 구별하는 뇌 패턴을 보여주는 한 군의 통계학적 분석으로부터 얻은 예시적인 결과를 제공하는 데이터 플롯을 나타내는 것이다. 도 16에서, 플롯 (1601) 및 플롯 (1602)은 각각 의미론적인 컨텍스트 변화와 관련된 전두부 및 두정부 채널 (예컨대, 각각 해부학상 두피의 전방 및 후방 위치)로부터의 뇌 파형 (예컨대, ERP)을 나타낸다.

도 16에 제시된 일례에서, 시각 N400의 경우에서와 같이, 의미론적인 위반이 있을 때-이 경우, 문자열의 "불일치" 유형의 컨텍스트 위반이 있을 때, 청각 N400 반응의 진폭이 더 높다. 예시적인 구현에서, 각 세트로부터 문자열의 세번째 단어에 대한 ERP를 계산하고, 예시적인 방법의 후속 단계, 예컨대, 분석 프로세스, 가이드된 분류 알고리즘 등에서 입력 데이터로서 N400 반응의 진폭 조절을 사용하여 예컨대, 대상체의 인식 상태 프로파일을 비롯한, 감각 및/또는 인지 프로파일을 생성하였다. 플롯 (1601) 및 (1602)의 청색-음영 처리된 영역(들)은 관심 효과에 대한 시간 간격을 나타낸다. 각 플롯에서, 적색 선은 "불일치" 문자열에 대한 ERP를 나타내고, 청색 선은 "일치" 문자열에 대한 ERP를 나타내고, 녹색 선은 "반복적 일치" 문자열에 대한 ERP를 나타낸다. 이는 각성/인식 상태의 대상체로 이루어진 한 군의 일례이며, 여기서, 맥락상 불일치 문자열에 대한 ERP 반응의 진폭이 일치 문자열에 대한 것보다 높다는 것을 알 수 있다. 시각 N400을 사용한 이전 일례에서와 같이, 기술된 방법론은 수동적이다 (예컨대, 청각 자극은 스피커 또는 헤드폰에 의해 전달되고, 대상체는 어떤 외현적 반응도 보일 필요는 없다). 일치 및 불일치하는 일련의 연속 사건에 대한 차등적인 반응에 기초하여, 기술된 방법을 이용하는 본 예시적인 구현의 적용은 어떤 종류의 행동 반응도 수행할 수 없는 주어진 사람의 인식 (또는 비-인식) 수준으로서, 일부 일례에서는 인식 상태 프로파일로 지칭되는 것을 평가할 수 있다.

I.2.6. (예컨대, 컨텍스트 특정 파라미터 이용하는) 예시적인 처리 및 가이드된 분류 기법

시각 자극과 함께 N400을 이용하는 예시적인 구현에서와 같이, 청각 자극과 함께 N400을 이용하는 예시적인 구현은 개별 대상체의 획득된 생리학적 신호 (예컨대, EEG 기록으로부터의 신경 신호)를 사용하는 분류 방법의 프레임워크를 사용하여 개별 대상체의 뇌 신호와 인지 상태를 상호 연관시킴으로써 대상체의 개념 지식 및/또는 인식 상태에 대한 정보 세트, 예컨대, 통계학적 정보를 포함하는 정보 세트를 제공하는 처리 기법을 구현하는 것을 포함하였다. 이러한 예시적인 처리 기법은 또한 단지 한 군에만 기초하는 것 뿐만 아니라, 일일이 한 대상체씩에 대해 그에 기초하여 적용함으로써 군 분석을 수행하여 개념 지식을 확인할 수 있는데 이는 개체가 정보를 분류하는 방법, 예컨대, 개체 간의 차이를 명확하게 확인하거나, 이용하는 방법을 확인하는 데 유익할 수 있다.

본 일례에서는 시각 자극 대신 청각 자극을 사용함으로써 예컨대, 본 방법론이 상이한 양식에 의해 수득된 뇌 반응에 성공적으로 적용될 수 있다는 것을 예시하고, 추가로, 최종 프로파일이 IKEP 대신 개체 인식 상태 프로파일(ISAP)이 되는 일례를 예시한다. 따라서, 본 예시적인 경우에서, 대상체가 맥락상 "일치하거나" 또는 맥락상 "불일치하는" 일련의 소리로부터의 정보를 통합하는 방법에 있어서의 차이를 이용한다. 예를 들어, 뇌가 방송되는 청각의 단어 문자열의 일치와 상관 관계가 있는 그의 신경 반응을 조절할 수 있도록 하기 위해서는 대상체는 각 단어를 듣고, 추가로 그 의미를 이해하여야 하며, 제시되는 처음 두 단어 사이의 맥락상의 상관 관계를 확립한 후, 이어서, 맥락상의 상관 관계를 세번째 단어의 의미와 비교하여 일치 또는 불일치 문자열과 일관되게 뇌 신호를 조절하여야 한다. 다시 말해, 대상체가 소리를 듣는 것은 충분하지 않고, 그/그녀는 인식적으로 그/그녀가 듣는 단어를 능동적으로 이해하고 상호 연관시켜야 한다. 예시적인 방법을 사용함으로써, 이는 상기 조절로부터의 추론에 의해 시험되는 사람의 인식 확률을 반영하는 개별 프로파일이 예컨대, 그/그녀로부터의 어떤 외현적 행동 반응 없이도 생성될 수 있도록 한다. 청각 자극 패러다임을 사용하는 하기 기술되는 이러한 예시적인 분석을 위해, 이전 섹션에서 제시된 것과 같은 청각 N400 데이터 세트를 사용하였다.

이는 수동적인 (행동을 보이지 않는) 사람으로부터 "개체 인식 상태 프로파일" (ISAP)을 수득하는 데 있어 주목할 만한 수행도를 가진 본 발명자들의 프레임워크를 구체적으로 입증하는 역할을 한다. 본 발명자들의 일반적인 방법론은 상기 접근법에 특이적인 것은 아니다; 오히려, 본 섹션에서는 본 발명자들의 프레임워크가 일일이 한 대상체씩에 대해 그에 기초하여 상기 정보를 구별할 수 있음을 보여준다.

하기 기술되는 바와 같이, 청각 자극 패러다임을 이용하는 개시된 처리 및 가이드된 분류 기법의 예시적인 구현은 일일이 한 대상체씩에 대해 그에 기초하여 수동적인 (행동을 보이지 않는) 사람으로부터 인식 상태 감각-인지 프로파일을 예시하는 이전 섹션에 기술되어 있는 것과 같은 데이터 세트를 사용하는 일례를 제공한다.

예를 들어, 예시적인 청각 데이터 세트에서 사용되는 독립 변수에 대한 기술은 하기를 포함하였다:

· 대상체 수 s, 1 내지 25

· 채널 수 e, 1 내지 31

· 조건 c, 1 내지 3 (불일치하는 경우, 1="I", 일치하는 경우, 2="C," 반복적으로 일치하는 경우, 3="CR")

· 시도 횟수 k, 1 내지 28

· 간격 내 관심 시점 t, 1 내지 T.

o 예를 들어, 간격은 [352 ms, 452 ms]가 되도록 한다. 샘플링 속도는 250 Hz였다. 이때, T=(0.452-0.352)*250 = 25

따라서, y[s,e,c,k,t]는 EEG 전압을 나타내는 실수이다. 임의의 대상체의 경우, 본 발명자들은 s를 일정하게 고정시킨다. 본 섹션에서 예시적인 분석 목적으로, 본 발명자들은 또한 전극 위치 e를 일정하게 고정시킨다. 따라서, 본 섹션에서 추가 분석을 위한 출발점은 EEG 전압을 나타내는 실수인 y[c,k,t]이다.

I.2.6.1. 훈련 데이터를 이용하는 감독 분류기

앞서 논의된 바와 같이, 감독 분류기는 개체가 상이한 항목을 조직화하고 분류하는 방법을 연구할 때 사용될 수 있다. 완전히 의식이 있고, 인식하고 있는 개체에 대해 운용할 때, 감독 분류기는 먼저 개체에 대해 "훈련될 수 있으며," 이는 청각 섹션에서 상기 설명된 바와 같이 잘 확립된 불일치 (I), 및 일치 (C) 자극 군 세트를 시작으로 그/그녀에 특이적인 임의의 자연적인 변동성을 설명한다. 이는 확실히 분명하게 I, 또는 C 카테고리에 속하도록 주의 깊게 구축된 자극 군이 될 것이다.

감독 분류기의 예시적인 구현 방법

시각 자극 일례에서와 같이, 분류를 위해 관심 특징을 개발하기 위해, 조건 "c" 및 시점 "t"를 고정시켜 전체 모든 시험 "k"에 걸친 y[c,k,t]의 평균 및 표준 편차를 계산한다. 예를 들어, 특정 시점 "t"에 대한, 전체 시험에 걸친 평균을 구하는 방법은 하기 기술되어 있다. 예를 들어, 이는 대상체 전체에 대한 평균을 구하지 않는다는 점-개별 대상체에 특이적이라는 점을 제외하면, 이벤트 관련 전위 플롯을 생성하는 방법과 유사할 수 있다.

도 17은 수직 축에 제시된, 청각 자극을 이용한 다중 시험 간에 걸쳐 수집된, 350 ms 내지 450 ms의 시간 창을 나타내는 한 축 상의 EEG 데이터를 보여주는 3차원 플롯 (1701)을 나타내는 것이다. 전체 모든 시험 k에 걸쳐 시점 y[c,k,t]에 대한 EEG의 평균을 구하여 350 ms 내지 450 ms 구간 내의 시점 t에서의 조건 c에 대한 y[c,t] 평균 전압을 얻는다.

유사한 계산을 구현하여 고정된 c 및 t에 대해, 전체 시험 k에 걸친 y[c,k,t]의 표준 편차를 산정하였다. 두 개별 채널 (예컨대, FP1 (채널 1) 및 FP2 (채널 2))에 있어서, 평균 및 분산의 가장 기본적인 특징이 조건 "I"와 비교하여 조건 "C"에 따라 어떻게 공변하는지 도 18A 및 18B에 제시되어 있다. 예를 들어, 각각의 청색 및 녹색 동그라미 표시는 특정 시점 "c"에 대한 "평균, std" 특징을 나타낸다. 청색은 조건 "C"를 나타내고, 녹색은 조건 "I"를 나타낸다.

도 18A는 상이한 두 자극 조건, "I" 및 "C" 하에서의 FP1 (채널 1) 전극으로부터의 개별 대상체 (예컨대, 대상체 5)의 평균 및 표준 편차를 보여주는 특징 플롯을 나타내는 것이다. 도 18B는 상이한 두 자극 조건, "I" 및 "C" 하에서의 FP2 (채널 2) 전극으로부터의 개별 대상체 (예컨대, 대상체 5)의 평균 및 표준 편차를 보여주는 특징 플롯을 나타내는 것이다. 도 18A 및 18B의 플롯에 제시된 바와 같이, 특징들은 뚜렷한 클러스터링을 나타내고, 이는 정확도가 높은 분류 방법으로 이어질 수 있다. 예를 들어, 5-분할 교차 검증을 이용한 정확도는 채널 FP1 및 FP2, 둘 모두에 대해 100%였다.

예를 들어, 이들 특징들은 상이한 조건에 대해서 공통원이 없는 군으로 클러스터링하는 것이 주목된다. 이들 특징들은 MATLAB 통계학적 툴박스를 포함하는 컴퓨터 시스템 상에서 구현되는 예시적인 서포트 벡터 기계 분류 알고리즘에의 입력값으로서의 역할을 한다. 예를 들어, 예시적인 구현에서, 5 중 1로 5-분할 교차 검증을 수행하였다. 예를 들어, 전두부 전극 FP1 및 FP2는 극도로 높은 분류 정확도를 입증하고, 이는 본 예시적인 구현에서 간단한 특징 및 MATLAB로부터의 커널을 이용하여 달성되었다는 것에 주목한다. 예시적인 방법은 개별 대상체 수준에서 상기 정보를 추출하도록 설정될 수 있다.

분류기에 대한 예시적인 정확도 제어

하기 기술되는 도면 중 일부에서, 예컨대, 다중 대상체 및 채널 간에 걸친 서포트 벡터 기계의 수행의 예시적인 요약 통계가 제시되어 있다. 각 도면에서, x축은 다른 채널을 나타내고, y축은 다른 대상체별로 다양한, 상기 채널에 대한 박스 플롯에 관한 것이다. 예시적인 분류 방법은 개별 대상체로부터 획득된 예시적인 신경 데이터를 사용하였으며, 예컨대, 여기서, 분석된 데이터는 다중 대상체 및 다중 채널 간에 걸친 수행의 예시적인 요약 통계로 제시된다. 각 도면에서, 각 박스 플롯은 데이터 점의 다섯 수치 요약을 나타낸다. 예를 들어, 박스의 하단 및 상단은 항상 25번째 및 75번째 백분위수 (각각 상위 및 하위 사분위수)이고; 박스 중앙부 부근의 밴드는 항상 50번째 백분위수 (중위수)이고; "휘스커"는 데이터의 평균 미만 및 초과 값의 표준 편차를 나타내고; 적색 "+" 마크는 이상점을 나타낸다. 각 박스 플롯 아래에는 중위수의 정확도를 제공하는 샘플 표가 있다.

도 19는 예시적인 구현에서 청각 자극 패러다임에 대한 대상체-감독 분류기 수행을 표시하는 플롯 및 상응하는 표를 보여주는 것이다. 각각의 개별 채널의 경우 (예컨대, 플롯의 열), 분류기가 각 대상체에 대해 수행한 방법에 대한 요약 통계 정보를 제공한다. 도 19의 박스 플롯은 각 전극 위치당 5-분할 교차 검증 후 분류기 정확도를 나타내는 예시적인 결과를 보여주는 것이다. 도 19의 표에는 예시적인 FP1, FP2, P7, 또는 P8 전극을 사용하였을 때, 대상체 간에 걸친 중위수의 정확도가 열거되어 있다.

예를 들어, 다수의 적용에서 사용될 수 있는 전두부 전극 FP1 및 FP2는 극도로 높은 분류 정확도를 입증한다는 점에 주목한다. 다른 일례에서, 더욱 복잡한 접근법이 더욱 큰 범위의 대상체들 간에 더욱더 높은 분류 정확도를 제공할 수 있다.

예시적인 인지 및/또는 감각 프로파일: 개체 인식 상태 프로파일 ( ISAP )

상기 기술된 바와 같이, 대상체에게 자극을 제공하고, 대상체로부터 생리학적 데이터를 획득하고, 통계학적 정보를 알아낸 후, 예시적인 기법에서 다음 단계는 개체 지식 및/또는 인식 상태 프로파일을 생성하는 것을 포함한다. 본 일례에서는 ISAP를 선택한다. 도 20은 개별화된 개별화된 지식 프로파일을 제공하는 가이드된 분류 알고리즘 및 그에 후속된 요약 통계에 관한 예시적인 구현을 표시하는 예시적인 다이어그램을 보여주는 것이다. 예를 들어, 예시적인 지식 평가 및/또는 인식 상태 프로파일은 특정 자극에 대한 사용자의 뇌 반응에 관한 간결한 요약 정보를 제공할 수 있다.

감독 분류기를 이용하여 "지식 평가" 컨텍스트 내에서 예시적인 대상체 5에 대해 개별 프로파일을 계산하였다. 구체적으로, 예를 들어, 도 18A 및 18B에 제시된 바와 같이, I 군 (녹색 동그라미) 및 C 군 (청색 동그라미)에 대한 특징을 확인한다.

도 21은 대상체 5로부터의 예시적인 채널 FP2에 관한 감독 분류기에 대한 예시적인 특징을 보여주는 것이다. 받침 초평면 (예컨대, 검은색 굵은 선)이 판정 경계로서의 역할을 한다. 예를 들어, 검정하고자 하는 임의의 특징 (예컨대, 도 21에서 적색 동그라미)이 경계의 한쪽에 있다면, 이는 청색으로 분류될 것이며 (이 경우, C), 나머지 다른 한쪽에 있다면, 이는 녹색으로 분류될 것이다 (이 경우, I). 경계까지의 거리 "d"는 분류에서 통계학적 신뢰도를 제공하는 프록시로서의 역할을 할 수 있다. 경계까지의 거리가 클수록, 분류에서 신뢰도는 더 커진다.

대상체를 시험할 때, 이들 특징은 구축된다. 관심 특징 (이 경우, 적색 동그라미)이 판정 경계의 한쪽에 있다면, 본 발명자들은 "I"라고 선언하고, 그렇지 않다면, 본 발명자들은 "C"라고 선언한다. 하드 판정과 함께, 본 발명자들은 본 발명자들의 선언에 있어 얼마나 신뢰하는지를 제안하는 "소프트" 정보 또한 명시한다. 적색 점과 판정 경계 상의 임의의 점 사이의 최단 거리가 ISAP를 명시하는 함수에의 입력값으로서의 역할을 할 수 있다. 더욱 구체적으로, 예를 들어, 본 발명자들은 인식/지식 확률 = (2-e ^-d )/2를 선언할 수 있다.

예를 들어, 경계까지의 거리가 0일 경우, 구별 확률은 ½, 즉, 운이다 (예컨대, 대상체가 검정되는 두 조건 사이의 특징을 구별해 낼 수 있는 신뢰가능한 지식을 가지고 있지 않거나, 또는 다시 말해, 대상체는 한 항목과 나머지 다른 한 항목 사이를 구별해내지 못한다). 한편, 예를 들어, 경계까지의 거리가 매우 클 경우, 이때, 지식 확률은 예상대로 1이 되는 경향이 있다 (예컨대, 대상체는 제시되는 카테고리들 각각에 대해 알고, 그를 분간하는 방법을 알고 있다). 따라서, 예시적인 통계학적 신호 처리 골격은 소프트 판정, 예를 들어: P_sc=P(같은 카테고리)=0.8, P_dc=P(다른 카테고리 = 0.2)를 추가로 제공할 수 있다.

이제, 본 일례에서 이전에 기술된 것과 동일한 청각 제시 데이터 세트를 사용하여 예시적인 ISAP를 하기와 같이 확인할 수 있다. 도 21에서와 같이 예시적인 대상체 (대상체 5) 사용하에서, 본 발명자들이 청색 및 녹색 라벨을 이용하여 분류기를 훈련시켰다고 가정하였을 때, 적색 점에 대한 특징을 수득할 수 있고, 본 발명자들은 이를 "I" 또는 "C"로 분류하고자 한다. 적색 동그라미에 대한 특징은 순서쌍 (예컨대, 1, 16.5)이라는 점에 주목한다. 경계에 가장 가까운 점은 (3,16)이다. 따라서, 상기 두 점 사이의 거리는 2.06이고, 상기 대상체 (예컨대, 대상체 5)에 대한 후속 ISAP는 (2-e^-2.06)/2 = 93.64%이다. 도 22는 예시적인 대상체 5의 개체 인식 상태 프로파일에 대한 상기 예시적인 정량적 데이터에 관한 다이어그램을 보여주는 것이다.

I.2.6.2. 우도비 검정을 이용한 예시적인 비감독 분류기

"비감독" 분류기를 사용하는 본 일례에서, 본 기법은 분류기를 훈련시키는 어떤 훈련 데이터도 사용하지 않는다. 오히려, 분류기는 데이터를 일괄 입수한 후, 일치도가 다른 단어 문자열로부터의 정보를 같은 방식으로, 또는 다르게 분류하는 뇌의 우도에 관한 판정을 명시한다.

비감독 분류기의 예시적인 구현 방법

대상체에게 제시되는 청각 자극을 사용하는 예시적인 구현에서 비감독 분류기에 대한 예시적인 방법은 예시적인 시각 자극 구현에 대한 이전 섹션에 기술된 바와 같은 방식으로 구현되었다.

예시적인 결과

대상체에게 제시된 각각의 예시적인 청각 자극 패러다임에 있어서, 상이한 검정 통계치의 예시적인 수행 및 p 값을 계산하는 방법이 도 23-25에 제시되어 있다. 도 23은 청각 자극을 사용하는 I vs C의 예시적인 rANOVA 분석에 대한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다. 도 24는 청각 자극을 사용하는 I vs C의 예시적인 NML 파라미터 분석에 대한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다. 도 25는 청각 자극을 사용하는 I vs C의 예시적인 NML 비파라미터 분석에 대한 데이터 플롯 및 상응하는 데이터 표를 보여주는 것이다.

도 23-25에서, 분류기의 p 값의 박스 플롯은 특정의 관심 전극 위치, 예컨대, FP1, FP2, P7, 및 P8에 대해 제공된다. 박스 플롯은 중위수 (적색 선), 표준 편차 (너비) 및 이상점 정보를 제공한다. 각 데이터 플롯을 가로지르는 녹색 수평선은 0.05인 p 값의 역치에 상응한다. 따라서, p 값 미만의 대상체 모두가 정확하게 분류되며, 그 초과인 모두는 부정확하게 분류된다. 각 박스 플롯과 함께, 전체 모든 대상체에 걸쳐 정확한 분류 (p 값 역치 0.05)의 전체 분율을 기술하는 간결한 상응 표 또한 존재한다.

도 23-25에서, 명명법은 하기와 같다:

· "I vs C"는 d[t]=y[1,t]-y[2,t]: t=1:T (여기서, y[1,t]는 불일치하는 "I" 청각 자극에 관한 것이고, y[2,t]는 일치하는 "C" 청각 자극에 관한 것이다)를 의미한다. "NML"은 섹션 T.A.의 검정 통계치를 계산하는 정규화된 최대 우도 방법에 대해 간결하게 된 것이지만, 검정 통계치 g(d)는

로 제시된다 (여기서,

이다).

· "파라미터"는 p 값의 몬테 카를로 추정을 수행함으로써 (여기서, 검정 통계치에의 입력값은 샘플로부터 추정된 평균 및 분산을 포함하는 정규 분포에 따라 도출되었다) 섹션 P.A에 기술된, p 값을 추정하는 파라미터 방법을 나타내는 것이다.

· "비파라미터"는 P.B의, p 값을 추정하는 비파라미터 방법을 나타내는 것이다.

· "rANOVA"는 방법 P.A.I의 표준 반복 측정 ANOVA 방법론을 사용하는 검정 통계치 및 p 값 계산 패러다임을 나타낸다.

상기와 같은 예시적인 분석을 개별적으로 수행한 후, 20명의 대상체를 포함하는 한 군의 데이터세트에 대한 평균을 구하였다. 상기 예시적인 구현에서, (전부두이고, 모발의 겔화를 필요로 하지 않는) 채널 FP1 및 FP2의 경우, 상기 예시적인 분류의 정확도는 균일하게 70-100% 범위인 것으로 예시되는 것에 주목한다. 이러한 예시적인 결과는 오직 전두부 전극만을 가지는 시스템이 높은 수행을 유도할 수 있다는 것을 제안한다. 개시된 방법은 전두부 활성을 획득하는 것을 항상 포함할 필요는 없다.

예시적인 인지 및/또는 감각 프로파일: 군 인식 상태 프로파일 ( GSAP ) 및 개체 인식 상태 프로파일 ( ISAP )

비감독 분류기 실시양태의 상기의 마지막 일례를 사용하고, 전두부 전극 FP1을 선택하여 상기 프로파일을 예시할 때, 본 방법의 예시적인 구현의 최종 생성물은 개체 인식 상태 프로파일 (ISAP) 형태, 또는 군 인식 상태 프로파일 (GSAP)의 것일 수 있다.

예를 들어, 본 발명자들은 임의의 대상체에 대한 p 값을 확인하고, 검정된 카테고리 내에서 구별의 척도로서 (도 25에 제시된 바와 같은) 비파라미터 우도비 검정을 사용하여 100% p 값을 수행한다. 개체인 경우, 예시적인 대상체 5에 있어서, ISAP는 99.9%였다. 군 수준에서 (예컨대, 1군) 중위수 GSAP 수준이 94.1%였다. 이러한 예시적인 결과는 도 26에 제시되어 있다. 도 26은 개별 대상체에 대한 개체 인식 상태 프로파일 및 한 군에 기초한 대상체에 대한 군 인식 상태 프로파일의 일례에 관한 다이어그램을 보여주는 것이다.

II. P300

P300은 중앙-두정부 최대 두피 분포와 함께 300 내지 800 ms 사이의 양으로 향하는 전기적 반응을 특징으로 하는 뇌 내인성 반응이다. P300은 항목의 주관적 발생 확률과 반비례하는 상관 관계가 있다. 예를 들어, P300은 표적이 다른 항목보다 더 높은 진폭 P300을 유도하는 시각 표적 검출 과제에서 사용되었다.

P300을 사용하는, 본원에 기술된 예시적인 구현에서, 임의의 시각 단서 (예컨대, 녹색 동그라미)를 형성하고, 시험되는 대상체는 이를 "보상" 생각과 관련시키도록 지시를 받았다. 이어서, 이러한 "보상" 자극에 대한 뇌 반응을 분석하였다. P300을 사용하는 개시된 방법의 예시적인 예시가 다양한 EEG 기록 기법 간의 광범위한 방법 적용을 설명한다. 예를 들어, 본 방법은 전통 강성 전극 EEG 시스템을 사용하여 기록된 뇌 데이터 (예컨대, EEG 신호) 뿐만 아니라, 착용가능한, 가요성 표피 전자 센서 (EES)를 사용하여 획득된 EEG 데이터를 이용하여 인지 및/또는 감각 프로파일을 평가하는 데 적용된다.

EES 장치의 일례에서, 장치는 모두 생물학상 불활성인 가요성 중합체에 얹혀 있는 사형(serpentine) 유사 와이어에 의해 서로 연결된 초박 실리콘 아일랜드를 포함한다. EES는 예컨대, 온도, 스트레인, 광학, 및 전기 생리학 (예컨대, EEG, 심전도 (ECG), 및 근전도 (EMG) 신호)을 포함하나, 이에 한정되지 않는 다양한 신호 양식을 감지할 수 있고, 일부 구현에서, 장치에 구성된 처리 유닛을 사용하여 검출된 신호를 처리한다. 일부 일례에서, 처리 유닛은 트랜지스터, 커패시터, 레지스터, 인덕터, 및 다른 회로 소자 등을 포함하도록 구성될 수 있다. 일부 구현에서, 예를 들어, EES 장치의 처리 유닛은 프로세서 및 메모리 유닛을 포함할 수 있다. EES 장치는 인간 모발보다 두껍지 않은 두께를 가지도록 구성될 수 있다. EES 장치는 피부에 기계적으로 매칭되는 가요성이고 연신성인 기판으로서, 여기서, 센서 컴포넌트 및 처리 유닛 컴포넌트는 기판 상에 또는 그 안에 구성되어 있을 수 있는 기판을 포함하도록 구조화될 수 있다. 일부 구현에서, EES 장치는 예컨대, 대상체가 그 눈을 감았을 때 생성되는 예를 들어, 알파 리듬파를 검출하는 것과 같이, 예컨대, 심장, 골격근 (예컨대, 대화하는 동안의 인후 근육 활성 또는 눈 깜빡임) 및 뇌에 의해 일어나는 생리학적 활성을 비롯한, 측정된/검출된 활성 정보를 전송하는 전송기 유닛을 포함할 수 있다.

II.1. 시각 및/또는 청각 자극 패러다임을 이용하는 P300

II.1.1. 예시적인 자극

일례 구현에서, 다중 뇌파 검사 (EEG) 기법 간의 표적 검출 과제에서 컬러 영상에 대한 반응으로 P300 뇌 마커를 사용하는 뇌 반응을 조사하였다. 예를 들어, 2가지 뇌 기록 기법: 전통 강성 전극 EEG 시스템 (예컨대, 이전 섹션에서 기술된 바와 같은 브레인 프로덕츠(Brain Products) 시스템) 및 EES 장치가 구현되었다. 추가로, 보상 감정/생각에 대한 신경 반응 또한 조사하였다. 두 ERP (P300 및 "보상") 모두 이는 각각 상관 관계가 있는 시각 자극에 의해 유도되었다. 예를 들어, 자극은 예컨대, 동물; 자동차; 얼굴; 꽃; 집; 임의의 물체; 오토바이; 비행기; 및 건물을 비롯한, 다중의 영상 카테고리로 구성되었다. 다양한 공급처로부터 예시적인 자극 풀을 입수하였다. 자극 풀을 입수한 후, (예컨대, MATLAB 스크립트로 프로그램화된) 컴퓨터 구현 방법을 사용하여 각 표본의 상대 휘도를 조절하였다. 예를 들어, 컴퓨터 구현 방법을 구현하여 먼저 컬러 영상으로 로딩하고, 하기의 예시적인 공식을 사용하여 상기 영상의 상대 휘도를 계산하였다:

(여기서, Y, R, G, 및 B는 각각 상대 휘도, 적색 건 값, 녹색 건 값, 및 청색 건 값을 나타낸다).

예를 들어, 원하는 상대 휘도 값이 120이 되도록 설정하였다. 스크립트가 각 영상의 초기 상대 휘도를 측정한 후, 평균 상대 휘도가 120이 되도록 하기 위해 영상내 모든 픽셀에 RGB 값을 가산하거나, 또는 감산하였다. 이어서, 영상을 100% 화질로 저장하였다.

휘도를 조절한 후, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 또 다른 컴퓨터 구현 프로세스를 사용하여 각 자극 표본 상에 중앙부에 위치하는 고정 점을 배치하였다. 예를 들어, 이는 대상체가 고정을 유지하고, 임의의 빈번한 단속성 안구 운동을 최소화하는 데 도움을 주었다. 이러한 예시적인 프로세스는 먼저 업로드된 영상의 크기를 측정하였다. 상기 측정치를 사용하여 영상의 중심을 계산한 후, 원에 대한 표준 방정식을 사용하여 고정 점을 만들었다. 픽셀의 적색 건을 255로, 녹색 건을 0으로, 및 청색 건을 0으로 바꿈으로써 중심 주변의 7 픽셀 길이의 반경 내의 픽셀을 변경시켰다.

마지막으로, 고정 점에 대한 시각 자극 및 "보상"에 대한 임의의 시각 단서를 만들었다. 예를 들어, 고정 점의 경우, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 컴퓨터 구현 프로세스를 사용하여 높이 및 너비가 350 픽셀인 회색 배경 영상 (예컨대, 적색 건 = 150; 녹색 건 = 150; 청색 건 = 150)을 만들었다. 이어서, 예시적인 스크립트는 원에 대한 표준 방정식을 사용하여 중첩 포 루프를 진행함으로써 예컨대, 영상의 적색 건을 255로, 녹색 건을 0으로, 및 청색 건을 0으로 바꿈으로써 7 픽셀 길이의 반경 내의 픽셀을 적색으로 변경시켰다. "보상"의 경우, 영상화 소프트웨어를 사용하여 350 x 350 픽셀의 회색 배경 (예컨대, 적색 건 = 150; 녹색 건 = 150; 청색 건 = 150) 배경 상에 녹색 동그라미 (예컨대, 적색 건 = 0; 녹색 건 = 255; 청색 건 = 0)를 만들었다.

II.1.2. EEG 기록을 위한 대상체 준비

EEG 기록을 위해 예시적인 대상체를 준비시키기 위하여, 각 대상체를 기록 챔버 내의 의자에 착석시키고, EEG 캡핑 프로세스를 시작하였다. 각 대상체는 2가지 EEG 기록 기법 (예컨대, 강성 전극 (브레인 프로덕츠) 양식 및 가요성, 착용가능한, 휴대용 전자 장치 (예컨대, 예시적인 EES 장치) 양식)을 각각 받았다.

강성 전극 양식을 사용하는 예시적인 구현을 위해, 상기 프로세스는 전통 EEG 캡을 대상체의 머리에 놓고, 고무 턱끈으로 이를 고정시키는 것을 포함하였다. 일부 일례에서, 예상되는 대상체의 머리 크기에 기초하여 직경이 56 cm 또는 58 cm인 캡이 사용되었다. 이어서, (예컨대, 파커 라보라토리즈로부터 입수한) 시그나 전극 겔을 곡선 모양의 플라스틱 시린지를 사용하여 각각의 캡 전극 아래에 주사하여 전극 그 자체와 대상체의 두피 사이에 전도성 브릿지를 만들었다. 또한, 예를 들어, 임피던스를 낮춤으로써 더욱 강력한 전도도를 구축하기 위해 목재 Q-팁을 사용하여 겔을 마사지하였다. 예를 들어, 상기 기법을 사용함으로써 예컨대, 접지 전극 및 기준 전극을 비롯한, 각 전극에 대해 임피던스 수준을 <5 kΩ으로 낮추었다.

예시적인 EES 장치를 사용하는 예시적인 구현을 위해, 먼저 대상체의 이마를 알콜 면봉 및 살균 처리된 거즈로 세정하였다. 알콜을 건조시킨 후, 예시적인 EES 장치를 대상체의 이마 위에 놓고, EES' ACF 케이블은 대상체의 오른쪽을 향하게 하였다. 예컨대, 곡선 모양의 플라스틱 시린지를 사용하여 예시적인 EES 장치를 수돗물로 적셨기 때문에, 대상체를 그/그녀의 머리를 뒤로 젖히도록 지시하였다. 동시에, 대상체는 물을 피하기 위하여 종이 타올을 사용하여 눈을 덮었다. 예를 들어, EES가 이마에 부착되어 같은 평면상에 있게 될 때까지, 촉촉한 손가락을 사용하여 EES를 부드럽게 문지를 수 있다. 이후, 본 일례에서, 넥스케어 노 스팅 리퀴드 밴디지(Nexcare No Sting Liquid Bandage)를 사용하여 EES를 이마에 더욱 단단하게 접착시켰다. 리퀴드 밴디지를 마르게 한 후, 보호 테이프를 사용하여 EES' DIN 케이블을 대상체의 머리에 붙여 놓았다. 예를 들어, 이는 케이블이 대상체의 시야에서 떨어지지 않게 하며, 또한 케이블이 EES 그 자체를 당기지 못하게 하였다. 또한, 예를 들어, DIN 케이블을 대상체의 셔츠 칼라에 고정시킴으로써 당기지 않게 하는 추가 조치를 취하였다.

EEG 기록을 사용하여 예시적인 구현을 시작하기 전, 대상체에게 설명서를 주고 읽도록 하였다. 예를 들어, 상기 설명서에는 실험 패러다임의 일반 편성 및 바라봐야 하는 것, 즉, 표적, 방해 자극, 고정 점 및 청색 사각형이 기술되어 있었다. 각 제시 블록에서 블록이 변경될 것이라는 설명 또한 있었다. 예를 들어, 블록 1에서, 과제는 그가 하나 이상의 인간 얼굴이 있는 영상을 본 횟수를 계수하는 것이었다. 블록 2에서, 과제는 그가 하나 이상의 자동차가 있는 영상을 본 횟수를 계수하는 것이었다. 블록 3에서, 과제는 그가 하나 이상의 동물이 있는 영상을 본 횟수를 계수하는 것이었다. 모든 다른 사진은 방해 자극인 것으로 간주하고, 이는 계수하지 않도록 대상체에게 지시하였다. 각각의 제시 블록 후, 대상체 그가 본 표적의 갯수를 보고하도록 요청하였다. 예를 들어, 청색 사각형은 보상을 나타내었다. 대상체 대상체를 제시 모니터 앞에 착석시키고, 신경생리학적 데이터 중 모션 아티팩트를 막기 위하여 단지 실험 진행 기간 동안 내내 적색의 중앙 고정 점에 시각 고정을 유지하도록 하고, 그의 운동 움직임을 가능한 한 제한하도록 요구하였다. 이후, 이어서 기록실의 조명을 낮추고, 자극 프로세스 및 EEG 기록을 시작하였다.

II.1.3. 예시적인 자극 제시 프로세스

코젠트 2000을 사용하여 본 일례의 자극 제시 프로세스에서 사용된 예시적인 자극 제시 패러다임을 프로그램화하고, 제시 지속 기간을 짧게 하여 일련의 시각 자극 제시를 포함하였다. 예를 들어, 고정 점 및 녹색 동그라미를 포함하지 않는, 자극 풀을 두 기록 기법 각각에 대해 하나씩으로 하는 2개의 군으로 나누었다. 각 기법은 900개의 자극을 포함하였으며, 기록 기법에 걸쳐 총 1,800개의 자극을 포함하였다. 예를 들어, 한 기법에서 표적 및 방해 자극을 포함하는 900개의 자극은 각각 100 ms 동안 제시되었으며, 이를 3개의 제시 블록으로 나누었다. 청색 사각형 자극 제시는 1,000 ms 동안 지속되었고, 각 제시 블록에서 30회 제시되었다. 고정 점은 모든 표적 시험, 방해 자극 시험, 및 자극간 간격 (ISI) 동안 가시적이었다.

예를 들어, 블록 1에서, 표적은 인간 얼굴이었다. 블록 2에서, 표적은 자동차였다. 블록 3에서, 표적은 동물이었다. 기록 기법을 무작위화하는 것 이외에도, 본 발명자들은 또한 각 기법 내에서 제시 블록의 순서도 무작위화하였다. 제시 블록은 기법 간에 절대 연속하여 반복되지 않았다 (예컨대, 블록 1, 블록 2, 블록 3, 블록 3, 블록 2, 블록 1, 블록 1, 블록 3, 블록 2). 대상체는 그가 특정 표적을 본 횟수를 계수하도록 지시를 받았는 바, 본 발명자들은 각 블록에 대한 표적의 정확한 개수를 달리하였다. 블록 1 (표적: 얼굴)에는 56개의 표적 및 244개의 방해 자극이 존재하였다. 블록 2 (표적: 자동차)에는, 62개의 표적 및 238개의 방해 자극이 존재하였다. 블록 3 (표적: 동물)에는, 60개의 표적 및 240개의 방해 자극이 존재하였다. 방해 자극은 모든 비표적 목적 카테고리로 구성되었다. 예를 들어, 블록 1 (표적: 얼굴)에서, 방해 자극은 자동차, 동물, 꽃, 집 등을 포함하였다. MATLAB 코드는 실험자가 대상체의 이니셜을 입력하고 어느 블록을 제시할지를 선택하라고 촉구함으로써 시작되었다. 선택된 블록 번호에 따라, 스크립트는 어느 목적 카테고리가 표적이 되는, 표적의 개수, 방해 자극의 개수를 계산하였다. 이후, MATLAB randperm() 함수를 사용하여 자극 제시 순서를 무작위화하였다. randperm() 함수를 20회 진행시켜 제시 순서가 더욱 잘 무작위화되도록 하였다. 이어서, randi() 함수를 사용하여 각 시험을 위한 자극간 간격 (ISI)을 생성하였다. 자극간 간격 범위는 500 ms 내지 600 ms였다. 디스플레이, 사운드 카드, 및 병렬 포트를 설정하는 것 이외에도, 코젠트 2000 내에서 로그 파일을 설정하고, 초기화하였다. 상기 로그 파일을 사용하여 그의 자극 유형 (표적, 방해 자극 및 청색 사각형)에 관한 모든 시험 이력을 작성하였다. 이어서, 자극을 메모리 버퍼에 로딩하였다. 전산상 부하를 줄이고, 레이턴시 정밀도를 증가시키기 위하여 자극 제시 전에 상기 언급된 단계를 수행하였다. 자극 제시는 미리 결정된 제시 순서를 반복한 포-루프를 사용하는 것을 포함하였다. 예를 들어, 제시 순서의 현재 자극 값에 기초하여, 컴퓨터 구현 프로세스는 그의 자극 유형을 산정하였고, 그의 자극 유형에 관한 적절한 정보를 로그 파일 및 병렬 포트로 전송하였고, 그의 트리거를 EEG 기록 컴퓨터로 전송하였다. 이어서, 프로그램은 ISI을 제시하였다. 각 제시 종료시, 병렬 포트를 0으로 재설정하고, 다음 시험을 준비하였다.

도 27은 예시적인 제시된 일련의 시각 자극에 대한 다이어그램을 보여주는 것이다. 본 다이어그램에는 구체적으로 제시된 표본의 영상 및 미리 프로그램화된 의사 무작위형 제시 순서가 묘사되어 있다. 각 해결안에 대해 적절한 자극 제시 구조를 가지는 것이 예시적인 방법의 고유하고, 중요한 부분이 된다. 본 일례에서, 관련 측면은 미리 결정된 "표적"을 나타내는 영상 대 ("방해 자극"으로 표지화된) 모든 다른 영상과, 미리 결정된 "표적"을 나타내는 영상 대 앞서 "보상" 표시와 연관되어진 청색 사각형 사이의 구별이다. 일련의 다른 영상 중에서 구현되는 표적으로서 관심 영상의 특정 콘텐트를 가지는 적절한 자극 구조 및 기술된 후속되는 전문화된 분석이 예시적인 방법에서 관련 뇌 마커를 사용하는 데, 예컨대, 본 예시적인 경우에서는 P300 및 "보상" 유도 ERP를 사용하여 개체 지식, 주의력 수준 및 특정 항목에 대한 선호를 평가하고 측정함으로써 개체 지식/선호 프로파일을 작성하는 데 중요하다.

예를 들어, 일부 적용에서, 이어서, 상기 프로파일은 후속 자극의 적응 변화를 제어하는 뇌-기계 인터페이스를 가이드하고/거나, 조정하는 사후 매칭 알고리즘에 의해 평가된다. 이는 예를 들어, 지원 학습 적용 또는 선호 분류 적용에서 사용될 수 있으며, 예컨대, 개인의 지식 또는 선호 프로파일을 결정한 후, 학생이 처음 사례에서 학습 결함을 보인 경우에는 정보 유형을 보강하거나, 또는 추후에는 다음에 제시된 항목을 개인의 선호 세트로 조정함으로써 뇌-기계 인터페이스는 후속 자극을 조정할 수 있다.

II.1.4. 예시적인 뇌파 (EEG) 기록

일부 구현에서, 강성 전극을 사용하는 전통 EEG 시스템을 이용하여 뇌파를 획득하였다. 예시적인 EEG 시스템으로는 브레인Amp DC 32-채널 시스템; 브레인비젼 리코더; 패스트 n 이지 32-채널 EEG 기록 캡 크기 56 cm; 패스트 n 이지 32-채널 EEG 기록 캡 크기 58 cm; 5k 레지스터가 장착된 브레인캡-MR용 PCB 리본 케이블; 및 브레인캡 MR 박스 1.2를 포함하였다. 예시적인 EES 센서 케이블을 상기와 동일한 EEG 시스템에 연결시켰다.

II.1.5. 예시적인 전처리 분석 기법

시각 자극 패러다임을 사용하는 개시된 방법의 예시적인 분석 전처리 기법은 마커 데이터를 처리하는 기법을 포함할 수 있다. 예를 들어, 각 기록 세션 후, 예시적인 EEG 기록 시스템은 3개의 파일: 데이터 파일 (.eeg), 헤더 파일 (.vhdr), 및 마커 파일 (.vmrk)을 작성하였다. 마커 파일은 각 자극 개시에 대한 이벤트 트리거를 포함하였다. 본 일례에서, 병렬 포트 내에서는 출력값에 제한이 있기 때문에, 코젠트 2000 로그 파일을 사용하여 표본의 자극 유형 (예컨대, 표적, 방해 자극 또는 녹색 동그라미)에 관한 추가의 판독가능한 정보를 저장하였다. 그로부터, (예컨대, MATLAB 스크립트를 사용하여 프로그램화된) 프로세스는 일대일 교체 방식으로 마커 파일 (.vmrk)의 이벤트 트리거를 로그 파일로부터의 이벤트 코드로 교체하였다. 예를 들어, .vmrk 파일의 제1 마커를 로그 파일의 제1 마커로 교체하고; .vmrk 파일의 제2 마커를 로그 파일의 제2 마커로 교체하는 것 등이 이루어졌다.

개시된 방법의 예시적인 분석 전처리 기법은 일반 개체에 대한 통계학적 분석 기법을 포함한다. 본원에 기술된 예시적인 구현에서, 통계학적 분석을 위해 MATLAB와 스타트소프트 스타티스티카 (버전 8.0) 소프트웨어의 조합을 사용하였다. 데이터 처리 및 분석 후, 예시적인 EEG 기록 시스템의 브레인비젼 애널라이저는 조건, 대상체, 시험, 전극 채널, 및 평균 전압 진폭에 관한 데이터 값을 포함하는 텍스트 파일을 익스포팅하였다. 예를 들어, 32 전극 EEG 캡 기법의 경우, 하기와 같은 관심 시간 간격 동안 전두부 전극 (FP2)에 대한 평균 전압 진폭을 추출하였다: 표적 및 방해 자극 - 자극 개시 후 352 ms 내지 452 ms; 보상 자극 - 자극 개시 후 452 ms 내지 552 ms. EES 기법 전두부 전극에 대해서는 같은 파라미터를 사용하였다. 상기 데이터를 예시적인 EEG 기록 시스템의 브레인비젼 애널라이저에 의해 텍스트 파일로 작성한 후, 컴퓨터 구현 프로그램 (예컨대, MATLAB 프로그램)에 로딩하여 데이터를 더욱 액세스 가능한 포맷으로 분류하고, 조직화하였다. 구체적으로, 예를 들어, 예시적인 컴퓨터 구현 프로그램을 통해 예컨대, MATLAB의 변수 편집기를 사용함으로써 열에 의해 데이터를 더욱 쉽게 선택할 수 있다. 선택한 후, 데이터를 복사하여 스타티스티카 데이터 스프레드시트에 붙였다.

예를 들어, 각 EEG 기록 기법에 대한 방해 자극과 표적 사이의 비교를 위해 각 스타티스티카 스프레드시트 상에서 일원 (인자 1: 조건) 반복 측정 ANOVA를 실행하였다. 예를 들어, 각 스프레드시트는 하기: (1) EEG 기법: 강성 전극 EEG 캡 또는 EES 전극; (2) 비교: 방해 자극 vs. 표적에 대하여 특이적이었다. 보상 조건의 경우, 0에 대해 보상 추출된 평균 진폭 값을 비교하는 T 검정을 실행하였다. 예를 들어, 각 스프레드시트는 하기: (1) EEG 기법: 강성 전극 EEG 캡 또는 EES 전극; (2) 비교: 방해 자극 vs. 표적에 대하여 특이적이었다. 브레인 프로덕츠 EEG캡으로부터의 Fp2 전극을 사용하여 방해 자극과 표적 사이를 비교한 경우, F(1,140) = 12.184 및 p 값 = 0.00064인 유의적인 효과를 발견하게 되었다. EES' 기록 전극을 사용하여 방해 자극과 표적 사이를 비교한 경우, F(1,148) = 17.307 및 p 값 = 0.00005인 유의적인 효과를 발견하게 되었다. 브레인 프로덕츠 EEG 캡으로부터의 Fp2 전극으로부터 보상과 상수 0을 비교한 경우, 평균 = 218.180138571428, 표준 편차 = 895.427245848706, N 샘플 크기 = 89, 표준 오차 = 34.6498548937238, T 값 = -3.13915892165244, 자유도 = 88, 및 p 값 = 0.00230642892515112인 유의적인 효과를 발견하게 되었다. EES' 기록 전극으로부터 보상과 상수 0을 비교한 경우, 평균 = 218.180138571428, 표준 편차 = 895.427245848706, N 샘플 크기 = 70, 표준 오차 = 107.024026181588, T 값 = 2.03860895871402, 자유도 = 69, 및 p 값 = 0.0453228914525858인 유의적인 효과를 발견하게 되었다.

I.1.6. 상이한 EEG 센싱 기술 간의 예시적인 구현

섹션 II.1.2 EEG 기록을 위한 대상체 준비에 기술된 바와 같이, EEG 기록 기술 간의 예시적인 방법의 실현 가능성 및 정확도 유지 둘 모두를 입증하기 위해, 강성 전극이 있는 전통의 전체 EEG 캡과 예컨대, 가요성 전자 장치 전극이 있는 표피 전자 장치 시스템과 같은, 예시적인 착용가능한, 휴대용 EEG 센서 시스템을 사용하여 같은 패러다임을 구현하였다.

II.1.6.1. 강성 전극 EEG 시스템

도 28A 및 28B는 예시적인 강성 전극 EEG 시스템을 사용하여 예시적인 방법의 데이터 획득 및 처리 프로세스의 구현으로부터 얻은 예시적인 결과의 영상 및 데이터 플롯을 보여주는 것으로서, 여기서, 개체 (예컨대, 단일 대상체) 통계학적 분석은 "표적"과 "방해 자극" 영상 사이의 구별에 관한 뇌 패턴 및 "보상" 생각과 관련된 뇌 패턴을 보여준다. 도 28A는 EEG 시스템의 강성 전극 EEG 센서 캡 (2800)를 착용한 개별 대상체를 보여주는 영상을 나타내는 것이다. 도 28B는 "표적" (적색 선) 대 "방해 자극" (검은색 선)에 대한 예시적인 ERP 반응을 보여주는 플롯 (2801) 및 "보상" (청색 선)과 관련된 청색 사각형 영상에 대한 ERP 반응을 보여주는 플롯 (2802)을 보여주는 것으로서, 여기서, 플롯 (2801) 및 (2802)에 디스플레이된 예시적인 데이터는 이용가능한 EEG 분석 소프트웨어 (예컨대, 브레인비젼 애널라이저 2)를 사용하여 수행된 처리로부터 측정된 것이다. 도 28B는 "표적" (적색 선) 대 "방해 자극" (검은색 선)에 대한 예시적인 ERP 반응을 보여주는 플롯 (2811) 및 "보상" (청색 선)과 관련된 청색 사각형 영상에 대한 ERP 반응을 보여주는 플롯 (2812)을 보여주는 것으로서, 여기서, 플롯 (2811) 및 (2812)에 디스플레이된 예시적인 데이터는 본 발명자들에 의해 개발된 주문 디자인된 코드를 사용하여 같은 처리 분석으로부터 측정된 것이다.

놀랍게도, 도 28B에 도시된 바와 같이, 분석 프로세스 중 적어도 일부를 포함하는, 예시적인 방법의 적어도 일부를 적용시킴으로써 강성 전극 EEG 캡을 사용하여 뇌 데이터를 획득할 수 있고, 그가 (통계학상 유의적인 방식으로) 개별 반응을 다른 영상으로부터 관심 영상을 구별하는 것으로, 및 "보상"과 관련된 시각 단서로 반영하도록 처리할 수 있다. 이어서, 예시적인 방법의 나머지 프로세스 (예컨대, 가이드된 분류 알고리즘 등)는 적용될 수 있고, 구현됨으로써 개별화된 지식 평가 프로파일을 생성할 수 있다. 또한, 예를 들어, 도 28B에 제시되어 있는 바와 같이, 본 발명자들에 의해 주문 디자인된 예시적인 코드를 사용함으로써 같은 ERP 계산 분석을 수행할 수 있고, 이로써, 강성 전극 EEG 시스템을 사용하였을 때 유사한 수행 정확도 (예컨대, 유사한 p 값)을 얻었다 (예컨대, 표적 vs. 방해 자극: 시판용 소프트웨어 (p=0.00064) 및 본 발명자들의 예시적인 주문 디자인된 분석 코드 (p=0.0000); 보상: 시판용 소프트웨어 (p=0.0023) 및 본 발명자들의 분석 코드 (p=0.0144)).

II.1.6.2. 표피 전자 장치 센서 EEG 시스템

도 29A 및 29B는 예시적인 가요성 표피 전자 장치 센서 장치 EEG 시스템을 사용하여 예시적인 방법의 데이터 획득 및 처리 프로세스의 구현으로부터 얻은 예시적인 결과의 영상 및 데이터 플롯을 보여주는 것으로서, 여기서, 개체 (예컨대, 단일 대상체) 통계학적 분석은 "표적"과 "방해 자극" 영상 사이의 구별에 관한 뇌 패턴 및 "보상" 생각과 관련된 뇌 패턴을 보여준다. 도 29A는 EEG 시스템의 예시적인 EES 장치 (2900)를 착용한 개별 대상체를 보여주는 영상을 나타내는 것이다. 도 29B는 "표적" (적색 선) 대 "방해 자극" (검은색 선)에 대한 예시적인 ERP 반응을 보여주는 플롯 (2901) 및 "보상" (청색 선)과 관련된 청색 사각형 영상에 대한 ERP 반응을 보여주는 플롯 (2902)을 보여주는 것으로서, 여기서, 플롯 (2901) 및 (2902)에 디스플레이된 예시적인 데이터는 이용가능한 EEG 분석 소프트웨어 (예컨대, 브레인비젼 애널라이저 2)를 사용하여 수행된 처리로부터 측정된 것이다. 도 29B는 "표적" (적색 선) 대 "방해 자극" (검은색 선)에 대한 예시적인 ERP 반응을 보여주는 플롯 (2911) 및 "보상" (청색 선)과 관련된 청색 사각형 영상에 대한 ERP 반응을 보여주는 플롯 (2912)을 보여주는 것으로서, 여기서, 플롯 (2911) 및 (2912)에 디스플레이된 예시적인 데이터는 본 발명자들에 의해 개발된 주문 디자인된 코드를 사용하여 같은 처리 분석으로부터 측정된 것이다.

놀랍게도, 도 29B에 도시된 바와 같이, 분석 프로세스 중 적어도 일부를 포함하는, 예시적인 방법의 적어도 일부를 적용시킴으로써 사용자-착용가능한 EES 장치를 사용하여 뇌 데이터를 획득할 수 있고, 그가 (통계학상 유의적인 방식으로) 개별 반응을 다른 영상으로부터 관심 영상을 구별하는 것으로, 및 "보상"과 관련된 시각 단서로 반영하도록 처리할 수 있다. 이어서, 예시적인 방법의 나머지 프로세스 (예컨대, 가이드된 분류 알고리즘 등)는 적용될 수 있고, 구현됨으로써 개별화된 지식 평가 프로파일을 생성할 수 있다. 또한, 예를 들어, 도 29B에 제시된 바와 같이, 본 발명자들에 의해 주문 디자인된 예시적인 코드를 사용함으로써 같은 ERP 계산 분석을 수행할 수 있고, 이로써, 가요성, 착용가능한 전자 장치 EEG 시스템을 사용하였을 때 유사한 수행 정확도 (예컨대, 유사한 p 값)을 얻었다 (예컨대, 표적 vs. 방해 자극: 시판용 소프트웨어 (p=0.0000) 및 본 발명자들의 예시적인 주문 디자인된 분석 코드 (p=0.0000); 보상: 시판용 소프트웨어 (p=0.0453) 및 본 발명자들의 분석 코드 (p=0.0002)).

II.1.6.3. (예컨대, 컨텍스트 특정 파라미터 이용하는) 예시적인 처리 및 가이드된 분류 기법

본 섹션에서는 개체 지식 및 보상 평가를 위한 분류기를 개발할 수 있는 능력을 기술한다. 예를 들어, 예시적인 구현에서, 앞서 논의된 바와 같이, 각 대상체에게 (예컨대, 강성 전극 EEG 시스템을 위한) 전체 EEG 캡 뿐만 아니라, 착용가능한 이마 탑재형 EEG 센서 장치를 제공하였다. 이전 섹션에서 보고된 예시적인 P 값은 개체로부터의 것이며, 따라서, 본 컨텍스트에서 직접 적용가능하였다. 따라서, 보상 및 방해 자극인 자극을 제공할 수 있으며, 예컨대, 강성 또는 표피 전자 장치 시스템을 사용한 전극 FP1로부터 기록된 바와 같이, 표적 및 방해 자극 파형 사이의 차이에 관한 t 검정을 사용하여 P 값을 계산할 수 있다. 예를 들어, 상기와 같은 경우, 100% - P 값을 개체 지식 평가 프로파일 (IKEP)에 대한 척도로서 사용할 수 있다. 예를 들어, 보상을 평가하는 데 유사한 방법이 직접 적용될 수 있다.

따라서, 도 30-33의 다이어그램에 제시되어 있는 바와 같이, 이전 섹션으로부터 얻은 p 값을 사용하여, 하기 개별화된 지식 평가 프로파일에서 예시적인 결과를 확인하였다. 도 30은 P300 ERP의 경우, 강성 전극 EEG 시스템, FP1 전극을 사용한 예시적인 대상체 (예컨대, 대상체 1)의 표적과 방해 자극 구별에 대한 예시적인 IKEP 정량 수준으로서, 이는 99.9999% (높음)로 측정된 것을 표시하는 다이어그램을 보여주는 것이다. 도 31은 전두부 P300 ERP의 경우, 표피 전자 장치 센서 장치 EEG 시스템을 사용한 예시적인 대상체 (예컨대, 대상체 1)의 표적과 방해 자극 구별에 대한 예시적인 IKEP 정량 수준으로서, 이는 99.9999% (높음)로 측정된 것을 표시하는 다이어그램을 보여주는 것이다. 도 32는 강성 전극 EEG 시스템, FP1 전극을 사용한 예시적인 대상체의 보상에 대한 예시적인 IKEP 정량 수준으로서, 이는 98.56% (높음)로 측정된 것을 표시하는 다이어그램을 보여주는 것이다. 도 33은 표피 전자 장치 센서 장치 EEG 시스템을 사용한 예시적인 대상체의 보상에 대한 예시적인 IKEP 정량 수준으로서, 이는 99.98% (높음)로 측정된 것을 표시하는 다이어그램을 보여주는 것이다.

뇌- 기계 인터페이스

앞서 도 1A에 제시된 바와 같이, 시스템 (100)은, 사용자와 기계 사이의 상호작용을 작동시킬 수 있는 뇌-기계 인터페이스 모듈 (160)을 포함한다. 일례에서, 뇌-기계 인터페이스 모듈 (160)은 프로파일 생성 모듈 (150)로부터, 예컨대, 시스템 (100)의 진행 중인 구현으로부터 또는 시스템 (100)에 의해 앞서 생성된 프로파일로부터 생성된 개별 대상체 또는 군 대상체의 인지 및/또는 감각 프로파일 (예컨대, IKEP, ISAP, GKEP, GSAP)에 기초하여 새로운 자극 또는 다중 자극을 자극 제시 모듈 (110)로 피드백을 전달할 수 있다.

본 섹션에서, 예시적인 프레임워크는, 사용자를 조사하여 그/그녀 인지 상태에 대한 의미를 추출하는 순차적인 방식인 일련의 실험 디자인에 일반적으로 적용될 수 있는 것으로 기술된다. 본 예시적인 일례에서, 예를 들어, 사용자는 그에 대한 줌이 그/그녀의 관심의 대상이 되는 것인 특정 지점을 맵 상에 가지고 있다고 가정한다. 일련의 실험 디자인 방법 및 시스템의 구현을 사용하여 복수 개의 부분 맵 (예컨대, 4개의 사분면)으로 맵을 분할하여 신경 및/또는 행동 반응이 관심 지점을 포함하는 부분 맵 (예컨대, 사분면)과 통계학상 서로 연관되는 실험을 디자인한다. 시스템을 관심점에 대한 그의 지식을 업데이트하고, 후속된 맵 및/또는 사분면 디스플레이를 최적화시킨다. 관심점이 (고성능으로) 추출될 때까지 실험 (예컨대, 자극을 조사하는 실험) 수행 횟수를 최소화하도록 시스템을 디자인할 수 있다.

예를 들어, 상기 환경 설정에서, 실험을 수행함으로써 어느 부류의 가설이 발생하는지 추측할 수 있다. 증거 수집 후, 후속 실험을 수행하게 된다. 발생한 가설에 대한 불확실성을 빠르게 감소시키기 위해, 2차 실험 디자인은 전형적으로 1차 실험 결과 (예컨대, 획득한 정보)에 의존하여야 한다.

개시된 기술의 예시적인 프레임워크의 컨텍스트 내에서, 이전 실험의 결과는 구축된 행동 정보와 함께 개별화된 지식 평가 프로파일 또는 인식 상태 프로파일에 관한 것이다. 예를 들어, 다른 것과 비교하여 특정 가설의 우도에 대한 한 세트의 통계학적 신뢰도를 코딩하는 것이 상기 프로파일에 중요하다. 후속 자극 제시를 가이드하여 시스템이 사용자/대상체에 대한 정보를 가능한 한 효율적으로 추출할 수 있도록 하는 프레임워크를 기술한다.

도 34A는 인지 및/또는 감각 프로파일을 정제하기 위해 개시된 방법에서 뇌 기계 인터페이스를 사용하기 위한 예시적인 모델의 블록 다이어그램을 보여주는 것이다. 블록 다이어그램에 제시된 바와 같이, 인덱스 "i"는 수행되고 있는 현 구현의 인텍스에 관한 것이다. 인덱스 "i" 및 (우측에서 좌측으로의) 피드백 화살표 표시는 프레임워크의 순차적인 성질, 및 뇌에 대한 이전 실험 및 통계학적 정보가 후속 감각 자극이 어느 것이 될지에 대해 어떻게 영향을 주는지를 나타내는 것이다. "W"는 정보의 뇌 상태 (예컨대, 대상체가 정보를 어떻게 분류하는지)를 나타낸다. 'X_i"는 W 및 현 감각 자극 V_i에 의존하는 맥락상 뇌 상태 (예컨대, 트리거된 기억력, 분류 위반, 또는 행동 계획 등)를 나타낸다. 처리 모듈 (3420) (예컨대, 컴퓨터)은 그가 유지하고 업데이트하는 확률 분포 π_i 측면에서 고려하여 그의 통계학적 정보를 업데이트한다. 예를 들어, 생리학적 데이터 및/또는 행동 데이터를 수집한 후, 예컨대, π_i로 주어지는 데이터 처리 모듈 (3420)에 의해 지식/인식 프로파일을 생성한다. 지식/인식 프로파일 (π_i)은 전산을 실행하고, 후속 실험의 기초를 이루는 다음 후속 자극을 확인하는 판정 엔진 (3410)으로 제공되는 통계학적 정보를 포함한다. 다이어그램에 제시된 바와 같이, 대상체에게 제공되는 자극 (V_i로 표시)은 대상체의 지식/인식 (W로 표시)과 상호작용하여 후속 뇌 반응 (X_i로 표시)을 생성할 수 있다. 이는 신경 및/또는 행동 신호 (Y_i로 표시)를 측정하고/거나, 분석하는 데이터 처리 모듈 (3420)에 의해 잡음 채널에 걸쳐 관찰된다. 뇌-기계 인터페이스의 구현으로 후속 감각 자극 V_i를 명시할 수 있고, 이로써, W에 대한 정보는 가능한 한 효율적으로 추출된다.

따라서, 예시적인 일련의 실험 디자인은 절차를 포함하며, 이에 n 실험 사용 후, 하기는 최대화된다: 지식/인식 (W로 표시)과, 획득된 신경 및/또는 행동 신호 (Y₁...Y_n으로 표시) 사이의 상호 정보 (또는 동등하게, 불확실성 최소화), I(W;Yⁿ):

1회 실험당 추출될 수 있는 정보량은 맥락상 뇌 상태 X와 신경 및/또는 행동 기록 Y 상의 잡음 채널의 채널 용량에 의해 상한 경계가 정의된다. 따라서, 정규화된 상호 정보는 상기와 같이 경계가 정의된다. 본원에서는 이전 부등식이 등식이 되도록 후속 실험 디자인을 조정하는 일련의 감각 자극 패러다임을 제공한다. 예를 들어, 이에 대한 충분한 조건은 "부족한 것을 디코더에 전송하는 것"이며, 이는 후속 맥락상 뇌 상태 X_i가 이전 신경 기록 Y₁....Y_{i -1} 모두와 통계학상 서로 관계가 없어야 한다는 것을 의미한다. 많은 일련의 실험 디자인 패러다임의 핵심 목표는 상기 언급된 부등식이 실제 등식이 되도록 자극 패러다임을 적응 방식으로 디자인하는 것이다. 본 섹션 나머지 부분 전역에 걸쳐, 상기 등식인 결과를 초래하는 임의의 방법은 "최적인" 것으로 언급된다.

개시된 기술은 정보를 최적으로 추출하는 자극 패러다임을 적응 방식으로 디자인하는 방법을 포함한다. 예를 들어, 본 발명자들은 관심의 대상이 되는 잠재 정보가 임의 차원에 있을 때, 입증가능하게 최적해로 수렴되는 기법으로 명시적인 효율적 알고리즘을 제공한다. 예시적인 접근법은 실시간으로 (예컨대, 그 중에서도 특히 휴대폰, 태블릿, 데스크톱 및/또는 랩톤 컴퓨터 프로세서를 포함하는) 다양한 하드웨어 구현에서 효율적으로 구현될 수 있는 순차적인 방법론을 가져온다.

도 34B는 원하는 정보를 최적으로 추출하는 자극 패러다임을 적응 방식으로 디자인하는 예시적인 방법에 대한 프로세스 다이어그램을 보여주는 것이다. 예를 들어, 도 34B에 제시된 방법 구현은 실시간으로 원하는 목표를 달성할 수 있도록 뇌 기능 측면에 관한 통계학적 지식을 순차적으로 추정하고/거나, 조정하는 방식을 제공할 수 있다. 추론 및/또는 제어하고자 하는 뇌 기능의 측면에 관한 것이기 때문에, 본 방법은 (예컨대, 상기 사용자를 이용한 이전 사용으로부터, 예컨대, 상기 사용자의 공지된 임상적 상태로부터, 또는 상기 개체와 유사성을 공유하는 다른 사용자, 예컨대, 특정의 신경학적 결함 또는 병리가 있는 타인들에 관한 군 지식으로부터) 사용자의 관심 뇌 기능 측면에 관한 선험적인 통계학적 정보를 평가하는 프로세스 (3450)를 포함할 수 있다. 본 방법은 (1) 관심의 대상이 되는 감각 자극 (또는 일련의 자극), 및 (2) 추론 및/또는 제어하고자 하는 뇌 기능의 원하는 측면이 어떻게 3) 기록된 생리학적 및/또는 행동 관찰 결과와 관련되는지에 관한 통계학적 모델을 평가하는 프로세스 (3451)를 포함할 수 있다. 본 방법은 원하는 목표를 최대화시키기 위해 상기 통계학적 지식을 사용하는 전산 방법을 사용함으로써 디자인 및 자극 (또는 일련의 자극), 예컨대, 시각, 청각, 체성 감각, 미각 등의 제시를 최적화하고, 이로써 장기간 목표가 최대화되는 것인 프로세스 (3452)를 포함할 수 있다. 본 방법은 사용자에게 자극 (또는 일련의 자극)을 전달하는 프로세스 (3453)를 포함할 수 있다. 본 방법은 자극 (또는 일련의 자극)에 대한 생리학적 및/또는 행동 반응을 사용자로부터 기록하는 프로세스 (3454)를 포함할 수 있다. 본 방법은 프로세스 (3450)에서 언급된 선험적인 통계학적 지식, 및 (1) 관심 감각 자극, (2) 뇌 기능의 내부 측면, 및 (3) 기록된 생리학적 및/또는 행동 반응 사이의 관계에 관한 통계학적 모델을 사용하여 관심의 대상이 되는 뇌 기능의 상태에 관한 통계학적 정보를 정제하는 프로세스 (3455)를 포함할 수 있다. 본 방법은 예컨대, 예시적인 일례에서, 컴퓨터 스크린 상의 커서 위치, 로보트 시스템의 동적 토크, 또는 컴퓨터 스크린 상의 픽셀의 컬러 맵을 결정하고/거나, 제어하는 것과 같이, 상기 통계학적 정보의, 외부 장치의 파라미터 또는 제어 신호로의 최적의 변환을 정량적으로 결정하는 프로세스 (3456)를 포함할 수 있다. 본 방법은 프로세스 (3456)에서 최적화된 상기 파라미터 또는 제어 신호로 외부 장치를 작동시키는 프로세스 (3457)를 포함할 수 있다. 본 방법은 외부 시스템 상태의, 사용자에 대한 감각 자극으로의 최적의 변환을 정량적으로 결정하여 장기간 목표가 최대화되는, 프로세스 (3458)를 포함할 수 있다. 예를 들어, 예시적인 일례는 로보트 시스템의 동적 토크를, 사용자에게 다시 디스플레이되는 소리로 맵핑하는 것을 포함할 수 있다. 본 방법은 프로세스 (3453)에서 방법을 반복하는 것을 포함할 수 있다. 일부 일례에서, 장기간 목표를 최대화시키는 것은 대상체의 마음 속에서 원하는 궤도와 예시적인 외부 시스템 (예컨대, 로보트 시스템)의 실제 궤도 사이의 오차 합을 최소화하는 것을 포함할 수 있다. 일부 일례에서, 장기간 목표를 최대화시키는 것은 관심의 대상이 되는 뇌 상태에 관한 통계학적 정보가 충분히 고성능일 때까지 반복되는 방법에서 실행되는 순환 루프 횟수를 최소화하는 것을 포함할 수 있다. 기술된 방법은 일반적으로 학습되거나, 또는 유발되는 다양한 뇌 상태에 관한 통계학적 지식을 최적화하고 정제하기 위해 광범위한 범주의 적용에 걸쳐 적용될 수 있다.

일부 접근법에서, 관심의 대상이 되는 잠재 정보, W는 단위 간격 상의 한 점 (예컨대, [0,1] 선)으로 표시될 수 있고, 이론상 최적이고, 상호 정보를 최대화시키는 비율로 "줌-인"을 진행하는 "확률론적 이분법"의 절차가 사용될 수 있다. 이러한 프레임워크는 뇌-컴퓨터 인터페이스가 문장을 명시하고, 경로를 평활화하는 데 사용될 수 있다.

도 35는 단위 간격 [0,1] 선의 모든 가능한 문자열 세트로의 예시적인 맵핑을 보여주는 것이다. 맵핑 다이어그램에 제시되어 있는 바와 같이, 예를 들어, "t"로 시작된 모든 문장 세트는 유의적인 양의 공간을 차지한다. 사용되는 공간량은 문자가 출현하는 우도비에 비례한다. "th" 열은 "t"에 대한 간격 범위 내에 포함되어 있다는 것에 주목한다. 이러한 의미에서, 예를 들어, 이는 데이터 압축 및 언어 통계에 기초하여 시각 디스플레이를 바꾸는 일부 시스템과 유사하다. 그러나, 중요한 차이는 본원에서 기술된 상기 방법론은 언어 통계 뿐만 아니라, 잡음 채널 간에도 신호를 받고 있다는 사실을 고려하여 그 스스로 순차적으로 업데이트되고 있다는 점이다. 본 일례의 경우에서, 사용자는 관심 표적 W가 현재 디스플레이 상에 놓여 있음을 확인한다. 적색 수직선 좌측에 있다면, 그/그녀는 왼손을 꽉 쥐는 것을 상상하고, 그렇지 않을 경우에는 오른손을 꽉 쥐는 것을 상상한다. 시스템은 신경 신호를 획득하고, 그의 사후 신뢰도 π_i를 업데이트한다. 개시된 기술의 예시적인 시스템은 상기 정보를 취하여 가능성이 더 큰 것에 대해서는 "줌인"하고, 가능성이 더 작은 것에 대해서는 줌아웃하고, 확률론적으로 가능한 빠르게 표적 문장 W에 대해서 줌인된다는 것을 보장한다.

도 35에서 영어 알파벳으로 된 각 문자는 A에서부터 Z로까지 오름차순으로 배열된, [0,1] 선의 비-중복 간격에 관한 것임에 주목한다. 또한, 가능성이 더 큰 문자는 너비가 더 넓다. 임의 문자 (예컨대, T) 내 영어 알파벳이 다시 오름차순으로 배치된다. 상기 간격 내에서 임의 문자의 너비는 첫번째 문자가 T라고 가정할 때, 상기 문자를 볼 수 있는 우도에 비례한다. 이는 영어 알파벳의 통계학적 모델에 기초하여 구체화되었다. 본 일례에서, 잠재 뇌 상태 W는 문장, 예컨대, "THE BLACK CAT JUMPED OVER THE LAZY DOG"를 포함하는 문자열에 관한 것이다. 대상체는 그의 잠재 뇌 상태 (또는 의도)를 조합하고, 적색 수직 막대와의 비교로 현재 디스플레이 V_i의 위치를 비교한다. 한쪽에 위치하는 경우, 이때 대상체는 (예컨대, 오른손과의 비교로, 왼속을 꽉 쥐는 것을 상상하는 것과 같이) 이진법 입력값을 제공하고, 시스템은 입력값의 "잡음" 버전인 신경 신호를 획득한다. 시스템은 획득한 신경 신호를 고려하여, 모든 가능한 문장의 우도에 대한 그의 사후 신뢰도를 업데이트한다. 이와 함께, 사후 분포의 누적 분포 함수에 관한 맵을 통해 반복함으로써 간단히 모든 가능한 문장을 다시 구상해 냄으로써 확률론적 이분법을 구현한다.

도 36은 예컨대, 시스템이 이를 적용하여 모든 가능한 문장을 다시 구상해 내는, 예시적인 최적의 맵의 전산 처리 이후의 맵핑을 보여주는 것이다. 본 경우에서, W는 문장 "The black cat jumped over the lazy dog"에 관한 것이다. "The ..."로 시작되는 문장은 유의적으로 줌인된다는 점에 주목한다. 도 36에 제시된 바와 같이 상기 맵 적용 후, "T"로 시작되는 문장은 줌인되고, 그 외의 것은 줌아웃된다. 비록 고유한 잡음이 존재하기는 하지만, 시스템이 여전히 "이분법-유사" 접근법을 구현하며, 궁극적으로는 최상의 문장W에 대해 "줌인"될 수 있다.

일반적으로, 일부 접근법의 경우, 예컨대, 특히 개체 지식 또는 인식에 관한 W를 확인하고자 시도하는 경우, W를 1차원 공간으로 내장하는 것이 항상 당연한 것은 아니다. 실제로, 많은 개념적 분류 도구 및 데이터베이스는 그래프, 예컨대, 고유하게 2차원 이상인 그래프를 이용한다. 예를 들어, 일부 관계 데이터베이스 시스템은 단어 간의 관계를 확인하여 적절하고 효율적으로 검색을 실행하는 2차원 시스템이다 (예컨대, "벨"은 알렉산더 그라함 벨(Alexander Graham Bell), 또는 초등 학교의 벨을 지칭할 수 있다). 도 37은 예컨대, 분류 및 관계를 반영하는 그래프로서 개체 지식 또는 인식 W를 나타내는 일례의 예시적인 다이어그램을 보여주는 것이다. W는 당연히 [0,1] 선 상의 한 점으로 표시될 수 없으며; 오히려, 이는 그래픽 특성을 가지는 고차원 공간으로 표시될 수 있다는 것을 고려하는 것이 중요하다. 그러한 환경 설정에서, 실험을 다시 질의하는 일련의 실험 디자인에 대한 폐쇄 형태의 표현은 없다. 예를 들어, 1차원을 초과하는 경우, 관심의 대상이 되는 원하는 잠재 변수에 대해 "줌인"하는 맵핑을 개발하는 방법에 있어서, 특히, 지식 정보의 상태를 추출하는 것을 포함하는 개시된 방법과 관련하여 문제가 발생한다.

개시된 시스템 및 방법은 본 발명자들이 잡음과 함께 획득하는 반응을 제공하는 시스템을 순차적으로 질의함으로써 불확실한 점에 "전념하기 위하여" 순차적인 질의에 대한 해결안 프레임워크를 제공할 수 있다. 예를 들어, 특히 관심의 대상이 되는 것은 W가 [0,1] 선 상에 있지 않을 때이다 (그러한 경우, 폐쇄형의 최적해가 존재한다). 이와 같이 더욱 일반적인 경우에서, 전산 알고리즘이 구현될 수 있지만, 그러나, 예컨대, 일반적으로 해결안을 기술하는 단순 방식은 일반적으로 존재하지 않는다. 상호 정보를 최대화시키기 위하여, 다음 뇌 반응 X_i는 이제까지 획득된 신경 신호 (Y_i...Y_{i -1})와 통계학상 서로 관계가 없어야 한다는 것은 중요하다. 예를 들어, W가 1차원인 아닌 상황에서 이를 보장하는 실험 디자인 패러다임을 체계적으로 제공하는 현 확장자는 공지되어 있지 않다.

상기 프레임워크를 입증하는 한 예시적인 적용은 하기와 같다. 불확실한 지식은 관심 위치 (예컨대, 프랑스 다운타운 및 에펠탑)에 관한, 2차원으로 된 점 W로서 추출된다. 일련의 세계에 대한 서브영상을 무작위 방식으로 제시한다. 실험 i에서, 시각 자극이 에펠탑을 포함한다면, 이때 X_i=1로 모델링되는 "ah-ha" 모멘트가 뇌 상태로서 발생하게 되며; 그렇지 않다면, 실험 i에서, X_i=0이다. 예를 들어, "ah-ha" 모멘트를 통해 P300 이벤트 관련 전위는 신경 활동 Y_i에서 "표적"으로서 일어나고; 그렇지 않다면, 신경 활동에 "방해 자극"이 존재하게 될 것이다. P300 이벤트 관련 전위에 의해 입증된 바와 같이, X_i=0일 때와 관련된 Y_i의 통계치는 X_i=1일 때와 다르며, 특히 300 ms의 시간 영역 내에서 그러하다. 개시된 기술의 예시적인 실험 디자인 패러다임은 출력 신경 활동 Y₁,...,Y_{i - 1}를 취하고, 맵 상의 어느 점이 표적이고, 어느 것이 방해 자극인지에 대한 확률 분포 또는 신뢰도를 진행한다. 개시된 기술의 예시적인 프레임워크는 디스플레이할 후속 영상을 확인하고, 이중 일부는 추가 질의를 위해 줌인되고, 그 나머지는 표적일 가능성이 없기 때문에 줌아웃된다. 이러한 맵핑을 최적으로 수행하고, 추가로는 이로써 효율적으로 수행될 수 있다. 2차원 사진 상의 한 점과 서브 영상에 관한, 상기 아이디어의 일례는 도 38에 제시되어 있다.

도 38은 (예컨대, 영상 (3801) 및 (3802) 상에서 청색 화살표가 가리키는 지점으로 표시되는) 사진 속에서 한점을 나타내는 것과 같이, 내부 지식 W가 2차원의 한 점인 것인 일례의 상황으로서 2개의 예시적인 영상 (3801) 및 (3802)을 보여주는 것이다. 영상 (3801)에서, 경계가 적색 수직선 및 수평선으로 표시되어 있는 4개의 서브 영상이 디스플레이된다. 일련의 상기 서브 영상이 디스플레이된다. 관심 점을 포함하는 한 서브 영상이 디스플레이될 때, "ah-ha" 내부 뇌 상태가 일어나고 (X_i=1), 이는 EEG에서 이벤트 관련 전위를 일으키며; 그렇지 않다면, X_i=0이다. 영상 (3802)에서, 예시적인 시스템은 이전의 일련의 영상으로부터 획득한 신경 신호를 통합하고, 일련의 서브 영상을 다시 제시하여 후속 실험시, 우도가 더 높은, 개체 지식 (W)을 포함하는 서브 영상은 추가로 줌인되고, 나머지는 줌아웃된다. 이는 두부는 줌인되고, 원본 영상의 다른 부분은 줌아웃되는, 도 38의 영상 (3802)에서 입증된다. 이러한 "줌인"은 정보-이론상 최적이며; 상호 정보 I(W;Y₁,...Y_n)를 최대화시키고, 확률론적으로 개체 지식 (W)에 대한 "줌인"이 가능한 한 효율적으로 이루어질 수 있도록 이를 보장한다.

개시된 기술의 예시적인 기법은 낮은 복잡도로 상기 일련의 실험 디자인이 최적으로 수행될 수 있도록 구현될 수 있다. 예를 들어, 지식에 대한 줌인이 가능한 한 효율적으로 이루어질 수 있도록 하는 도전 과제는 최적의 전송에 관하여 개시된 기법을 통해 해결될 수 있다. 현재 신뢰도 "p"를 관심의 대상이 되는 후속 신뢰도 "q"로 맵핑하는 것에 관한 핵심 방정식은 개체 지식 W가 분포 p를 가지고, Z = S(W)라면, 이때 Z는 q에 따라 도출될 것이라는 맵 "S"를 찾는 것이다.

방정식 (3)은 분포 (예컨대, 통계학적 기술 또는 우도)가 맵 S에 의해 어떻게 형상화되는지에 관한 야코비안 방정식을 나타내는 것이다. 일반적으로 상기 방정식에 대한 해답을 찾는 것은 비볼록형이며, 도전 과제가 된다 (예컨대, NP 하드).

일례로, 도 38의 영상 (3801) 상에서 픽셀 컬러를 모든 가능 점에 연관시킴으로써 사진을 "줌인"하는 것에 관한 것이다. (예컨대, 2차원으로 명시된) 점 u가 영상 (3801) 상에서 특정 픽셀 컬러 c를 가질 경우, 이때 점 S(u)는 영상 (3802) 상에서 동일한 특정 픽셀 컬러 c를 가지게 된다. 이는 영상의 특정 부분에 대한 "줌인"의 효과를 가지며, 그 이외의 다른 것은 줌아웃시킨다. 특정 분포 p 및 q를 명시함으로써 상호 정보는 상기 절차를 적용시키고, 상기 야코비안 방정식에 대한 해답 S(u)를 찾음으로써 최대화될 수 있다는 점 (예컨대, 존재하는 영상 중 관심의 대상이 되는 점에 대해 가능한 한 효율적으로 줌인이 이루어질 수 있다는 점)이 여기서 입증된다. 여기서, p는 가능한 W 값에 걸쳐 균일한 분포를 나타내고, q는 실험 i 이후의 사후 분포, π_i를 나타낸다.

또한, 예를 들어, 잡음 채널 모델 p(y│x)에 대한 적절한 가정하에 상기 야코비안 방정식에 대한 해답을 찾는 것 (그리고, 이로써, 상호 정보를 최대화시키기 위한 실험 디자인의 문제에 대한 해답을 찾는 것)이 전산상 효율적이다. 예를 들어, 신경 우도 p(y│x)가 x에서 로그-오목인 경우, 이때 최적의 맵을 찾는 것은 "쉽다" (즉, 볼록 최적화 문제).

로그-오목성이라는 가정은 예를 들어, x가 유한인 모든 채널 모델에 대해 적용가능하다 (예컨대, 본 특허 문서에서는 상기 언급된 적용에 대한 관심이 가장 크다). 또한, p(y│x)의 다수의 연속 입력 통계학적 모델, 예컨대, 가우시안, 푸아송(Poisson), 로지스틱, 및 모든 지수족 또한 상기와 같은 예시적인 특성을 나타낸다.

전산상 효율적인 볼록 최적화 문제에 관한 예시적인 기법은 하기와 같다:

예를 들어, 최적의 전송에 관하여 기술된 기법을 사용하여, 예시적인 문제 P4는 예컨대, (예컨대, 예시적인 CVX 볼록 최적화 소프트웨어 애드-온을 사용하는, MATLAB 스크립트로 프로그램화된) 개시된 기술의 컴퓨터 구현 방법을 구현함으로써 야코비안 방정식을 충족시키는 맵 S를 구할 수 있다. 다이어그램 (3802)는 본 컴퓨터 구현 방법의 예시적인 구현의 예시적인 결과를 보여주는 것이며, 예컨대, 잡음 채널을 통해 관심의 대상이 되는 한 점을 확인하는 것에 관한 의도에 대해 "줌인"을 실시하는 시뮬레이션을 보여주는 것이다.

예를 들어, 본 섹션에 기술된 바와 같이, 개시된 프레임워크는 베이지안 추론(Bayesian inference)에서 임의 문제에 적용될 수 있다. 특정 가정 (예컨대, 로그-오목성 - 대부분의 통계학적 모델에 적용가능)이 적용될 때, 기술된 기법은 전산상 효율적인 방식으로 관심의 대상이 되는 특징에 대한 "줌인"이 이루어질 수 있도록 구현될 수 있다. 본 일례에 의해 입증된 바와 같이, 기술된 일련의 실험 디자인 및 뇌-기계 인터페이스에 대한 결과는 매우 광범위하다.

본 특허 문서에 기술된 주제 및 기능적 연산의 구현은 다양한 시스템, 디지털 전자 회로에서, 또는 본 명세서에 개시된 구조 및 그의 구조 등가물을 비롯한, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 그 중 하나 이상의 것의 조합에서 구현될 수 있다. 본 명세서에 기술된 주제 구현은 하나 이상의 컴퓨터 프로그램 제품으로서, 즉, 데이터 처리 장치에 의한 실행을 위한, 또는 데이터 처리 장치의 연산을 제어하는 유형의 및 비-일시적인 컴퓨터 판독가능한 매체에 코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독가능한 매체는 기계-판독가능한 저장 장치, 기계-판독가능한 저장 기판, 메모리 장치, 기계-판독가능한 전송 신호를 수행하는 물질 조성물, 또는 그 중 하나 이상의 것의 조합일 수 있다. "데이터 처리 장치"라는 용어는 일례로 프로그램 가능한 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 비롯한, 데이터를 처리하는 모든 기구, 장치, 및 기계를 포함한다. 상기 장치는 하드웨어 이외에도, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예컨대, 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 그 중 하나 이상의 것의 조합을 포함할 수 있다.

(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로도 알려져 있는) 컴퓨터 프로그램은 컴파일된 언어 또는 해석 언어를 비롯한, 임의의 프로그래밍 언어 형태로 작성될 수 있고, 자립형 프로그램으로서, 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서 임의 형태로 배치될 수 있다. 컴퓨터 프로그램이 반드시 파일 시스템 중의 파일에 상응할 필요는 없다. 프로그램은 다른 프로그램 또는 데이터를 저장하는 파일의 일부 (예컨대, 마크업 언어 문서에 저장된 하나 이상의 스크립트)에, 해당 프로그램 전용의 단일 파일에, 또는 다중 조정된 파일 (예컨대, 하나 이상의 모듈, 부프로그램, 또는 코드 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 한 사이트에 위치하거나, 다중 사이트에 걸쳐 분산되어 있고, 통신망에 의해 연결되어 있는 단일 컴퓨터 또는 다중 컴퓨터 상에서 수행될 수 있도록 배치될 수 있다.

본 명세서에 기술된 프로세스 및 논리 흐름은 입력 데이터에 대해 운영하고, 출력값을 생성함으로써 하나 이상의 컴퓨터 프로그램을 실행하여 기능을 수행함에 따라 하나 이상의 프로그램 가능한 프로세서에 의해 실행될 수 있다. 프로세스 및 논리 흐름은 또한 특수 목적 논리 회로, 예컨대, FPGA (필드 프로그램 가능한 게이트 어레이) 또는 ASIC (응용 주문형 집적 회로)에 의해 실행될 수 있고, 장치는 또한 그러한 특수 목적 논리 회로로서 구현될 수 있다.

컴퓨터 프로그램을 실행하는 데 적합한 프로세서로는 일례로 범용 및 특수 목적 마이크로프로세서 및 임의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리 또는 랜덤 액세스 메모리, 또는 그 둘 모두로부터 명령 및 데이터를 수신하게 될 것이다. 컴퓨터의 필수 소자는 명령을 실행하는 프로세서 및 명령 및 데이터를 저장하는 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예컨대, 자기 디스크, 광자기 디스크, 또는 광디스크를 포함하거나, 또는 상기 저장 장치로부터 데이터를 수신하거나, 그로 데이터를 전송하도록 작동적으로 커플링될 것이다. 그러나, 컴퓨터는 상기 장치를 가질 필요는 없다. 컴퓨터 프로그램 명령 및 데이터를 저장하는 데 적합한 컴퓨터 판독가능한 매체는 일례로 반도체 메모리 장치, 예컨대, EPROM, EEPROM, 및 플래시 메모리 장치를 비롯한, 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나, 또는 그에 도입될 수 있다.

본 특허 문서는 다수의 세부 사항들을 포함할 수 있지만, 이들은 임의 발명의 범주, 또는 청구될 수 있는 것에 대해 한정하는 것으로 해석되지 않아야 하며, 오히려 특정 발명의 특정 실시양태에 특이적일 수 있는 특징을 설명하는 것으로서 해석되어야 한다. 본 특허 문서에 별개의 실시양태의 맥락에서 기술된 특정 특징들은 또한 단일 실시양태에서 조합되어 구현될 수 있다. 반대로, 단일 실시양태의 맥락에서 기술된 다양한 특징들은 또한 다중 실시양태에서 별개로, 또는 임의의 적합한 서브 조합으로서 구현될 수 있다. 또한 비록 특징들이 특정 조합으로 작용하는 것으로 상기 기술될 수 있고, 심지어는 처음 그와 같이 청구될 수 있지만, 일부 경우에서 청구되는 조합으로부터의 하나 이상의 특징이 상기 조합으로부터 배제될 수 있고, 청구되는 조합은 서브조합 또는 서브조합의 변형으로 지시될 수 있다.

유사하게, 연산이 도면에서 특정 순서로 도시되어 있지만, 이는 상기 연산이 제시된 바와 같이 특정 순서로 또는 순차적인 순서로 실행되어야 하는 것으로서 또는 바람직한 결과를 달성하기 위해서는 모든 도시된 연산이 실행되어야 하는 것으로서 이해되지 않아야 한다. 또한, 본 특허 문서에 기술된 실시양태에서 다양한 시스템 컴포넌트의 분리가 모든 실시양태에서 그러한 분리를 필요로 하는 것으로서 이해되지 않아야 한다.

오직 일부 구현 및 일례만이 기술되었고, 본 특허 문서에 기술되고 예시된 것에 기초하여 다른 구현, 개선 및 변형이 이루어질 수 있다.

Claims (67)

1. 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일로부터 프로파일 카테고리를 선택하는 단계;
   대상체에게 일련의 자극을 제시하는 단계로서, 여기서, 일련의 자극은 선택된 프로파일 카테고리에 기초하는 것인 단계;
   일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 생리학적 데이터를 생성하는 단계;
   생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계;
   대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계; 및
   변형된 일련의 자극을 대상체에게 제시하는 단계를 포함하는, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
2. 제1항에 있어서, 획득하는 단계가 대상체에 의한 행동 반응을 포함하지 않는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
3. 제1항에 있어서, 일련의 자극이 선택된 프로파일 카테고리에 기초한 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
4. 제1항에 있어서, 하나 이상의 정량 값이 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 또는 선호 중 1 이상의 것에 기초한 인지 및 감각 수행 중 하나 또는 그 둘 모두의 수준을 표시하는 정량적 점수를 포함하며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
5. 제1항에 있어서, 하나 이상의 정량 값이 특정 시점에서의 대상체의 인식 수준 또는 상태를 표시하는 정량적 점수를 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
6. 제1항에 있어서, 처리하는 단계가
   제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
   시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
   분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
7. 제6항에 있어서, 분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
8. 제6항에 있어서, 분류가 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정되는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
9. 제1항에 있어서, 처리하는 단계가
   제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
   시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
   대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
10. 제1항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고,
    초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고,
    분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
11. 삭제
12. 제1항에 있어서,
    변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하는 단계; 및
    새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
13. 제1항에 있어서, 각 프로파일 카테고리에 대한 초기 일련의 자극을 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
14. 제1항에 있어서, 생리학적 신호를 획득하는 단계가 대상체에 의해 생성된 뇌파도 (EEG) 신호를 기록하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
15. 제14항에 있어서, EEG 신호를 기록하는 것이 대상체의 두피에 장착된 하나 이상의 가요성 EEG 전극 센서 장치를 사용하여 기록된 EEG 신호를 측정하고, 원격 처리 유닛으로 전송하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
16. 제1항에 있어서, 생리학적 신호를 획득하는 단계가 대상체에 의해 생성된 근전도 (EMG) 신호를 기록하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
17. 제1항에 있어서, 생리학적 신호의 신호 대 잡음비를 증가시키기 위해 처리 단계 이전에 생리학적 신호를 필터링하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
18. 제1항에 있어서, 처리 단계 이전에 생리학적 데이터를 분할하거나, 또는 생리학적 데이터로부터 특징을 확인하는 것 중 하나 이상의 것을 비롯한, 생리학적 데이터를 전처리하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
19. 제1항에 있어서, 대상체에 대해 생성된 정보 세트에 기초하여 기계와 대상체 사이의 상호작용을 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
20. 제1항에 있어서, 일련의 자극을 제시하기 전에 대상체의 기준선 생리학적 신호를 획득하여 기준선 생리학적 데이터를 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
21. 제1항에 있어서, 대상체에게 제시되는 일련의 자극이 대상체의 뇌 반응을 수동적으로 자극시키는 환경 자극을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
22. 제1항에 있어서,
    일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 행동 신호를 획득하여 생리학적 데이터를 생성하는 단계; 및
    생리학적 데이터와 함께 행동 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
23. 그 안에 코드가 저장되어 있는 컴퓨터-판독가능한 저장 매체로서, 여기서, 상기 코드는 실행시 통신망 중의 컴퓨터 또는 컴퓨터 시스템의 프로세서가 대상체의 인지 또는 감각을 평가하는 방법을 구현하게 하고, 여기서, 상기 코드는 컴퓨터 또는 컴퓨터 시스템에 의해 실행되어,
    프롬프트를 대상체에게 제공하여 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일을 포함하는 프로파일 카테고리를 선택하는 단계;
    대상체에게 제시되는 일련의 자극을 장치를 통해 제어하는 단계로서, 여기서, 일련의 자극은 선택된 프로파일 카테고리에 기초하는 것인 단계;
    일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체로부터 획득된 생리학적 신호를 나타내는 생리학적 데이터를 수신하는 단계;
    생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계;
    대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계; 및
    대상체에게 제시되는 변형된 일련의 자극을 장치를 통해 제어하는 단계를 포함하는 방법을 구현하는, 컴퓨터-판독가능한 저장 매체.
24. 제23항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 컴퓨터-판독가능한 저장 매체.
25. 제24항에 있어서, 상기 방법은,
    분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함하는 것인 컴퓨터-판독가능한 저장 매체.
26. 제24항에 있어서, 분류가 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정되는 것인 컴퓨터-판독가능한 저장 매체
27. 제23항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인 컴퓨터-판독가능한 저장 매체.
28. 제23항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고,
    초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고,
    분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인 컴퓨터-판독가능한 저장 매체.
29. 삭제
30. 제23항에 있어서, 상기 방법은,
    변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체로부터 획득된 생리학적 신호를 나타내는 새로운 생리학적 데이터를 수신하는 단계; 및
    새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 추가로 포함하는 것인 컴퓨터-판독가능한 저장 매체.
31. 대상체에게 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체가 보이는 생리학적 신호를 검출하는, 대상체에게 접속하고 있는 센서 장치로서, 여기서, 일련의 자극은 인지 수행 프로파일, 감각 수행 프로파일, 및 인지 및 감각 수행 프로파일을 포함하는 인지-감각 프로파일 카테고리에 기초하는 것인 센서 장치; 및
    센서 장치와 통신하고, 하나 이상의 메모리 유닛 및 생리학적 데이터로서 생리학적 신호를 처리하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하도록 설정된 하나 이상의 프로세서를 포함하도록 구조화된 데이터 처리 시스템을 포함하고,
    상기 데이터 처리 시스템이
    센서 장치에 근접하게 위치하고, 그와 통신하여 센서 장치로부터 검출된 생리학적 신호를 수신하는 로컬 컴퓨터로서, 이는 검출된 생리학적 신호의 초기 처리를 수행하여 초기 생리학적 신호 데이터를 생성하도록 설정된 것인 로컬 컴퓨터, 및
    통신망 또는 링크를 통해 로컬 컴퓨터와 통신하여 로컬 컴퓨터로부터 초기 생리학적 신호 데이터를 수신하고, 초기 생리학적 신호 데이터를 처리하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 원격 컴퓨터를 포함하고,
    상기 데이터 처리 시스템은 대상체에게의 자극의 지속적인 제시 동안 일련의 자극을 적응적으로 수정함으로써 변형된 일련의 자극을 생성하도록 구성되며, 상기 변형된 일련의 자극은, 대상체에게의 자극의 지속적인 제시 동안 대상체에게 변형된 일련의 자극이 제시되도록, 상기 생성된 정보 세트와 연관되거나 또는 그로부터 도출된 데이터에 기초하는, 인지 또는 감각 평가용 시스템.
32. 제31항에 있어서, 센서 장치에 의해 검출되는 생리학적 신호가 대상체에 의한 일련의 자극에 대한 행동 반응을 요구하지 않고, 생성된 정보 세트는 대상체에 의한 행동 반응에 연관된 데이터를 포함하지 않는 것인, 인지 또는 감각 평가용 시스템.
33. 제31항에 있어서, 대상체에게 제시되는 일련의 자극을 생성하도록 구성되는 자극 전달 장치를 추가로 포함하며, 여기서, 자극은 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상을 포함하고, 자극 전달 장치는 또한 상기 지속적인 제시 동안 변형된 일련의 자극을 생성하도록 구성되는 것인, 인지 또는 감각 평가용 시스템.
34. 제33항에 있어서, 자극 전달 장치가 일련의 영상을 생성하는 디스플레이 스크린을 포함하는 것인, 인지 또는 감각 평가용 시스템.
35. 제33항에 있어서, 자극 전달 장치가 일련의 소리를 생성하는 스피커를 포함하는 것인, 인지 또는 감각 평가용 시스템.
36. 제33항에 있어서, 자극 전달 장치가 일련의, 후각, 촉각, 또는 미각 자극 중 1 이상의 자극을 생성하는 작동기를 포함하는 것인, 인지 또는 감각 평가용 시스템.
37. 제33항에 있어서, 자극 전달 장치가 데이터 처리 시스템과 통신하며, 여기서, 데이터 처리 시스템은 생성된 정보 세트에 기초하여 기계 절차를 진행시키도록 설정되고, 여기서, 데이터 처리 유닛에 의해 진행되는 기계 절차는 자극 전달 장치가 다음 회차에 대상체에게 제시하기 위한 일련의 자극을 변형시키도록 유발하는 것인, 인지 또는 감각 평가용 시스템.
38. 제37항에 있어서, 자극 전달 장치가 데스크톱 컴퓨터, 랩톱 컴퓨터, 또는 스마트폰 또는 태블릿을 포함하는 이동 통신 장치를 포함하는 것인, 인지 또는 감각 평가용 시스템.
39. 제38항에 있어서, 데이터 처리 시스템이 이동 통신 장치 내에 구성되어 있는 것인, 인지 또는 감각 평가용 시스템.
40. 제31항에 있어서, 데이터 처리 시스템이 생성된 정보 세트에 기초하여 기계 절차를 진행시키도록 설정되며, 여기서, 기계 절차는 또 다른 장치 또는 시스템이 생성된 정보 세트 내에 포함되어 있는 정보로부터 유도된 기능을 수행할 수 있도록 작동시키는 것인, 인지 또는 감각 평가용 시스템.
41. 제31항에 있어서, 하나 이상의 정량 값이 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 선호, 또는 인식 중 1 이상의 것에 기초한 인지 및 감각 수행 중 하나 또는 그 둘 모두의 수준을 표시하는 정량적 점수를 포함하며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시하는 것인, 인지 또는 감각 평가용 시스템.
42. 제31항에 있어서, 센서 장치가 가요성 기판, 가요성 기판 상의 센서 전극, 및 전극과 전기적으로 통신하고, 가요성 기판 상에 있는 전송기 유닛을 포함하며, 여기서, 센서 장치는 뇌파도 (EEG) 신호를 기록하고, 기록된 EEG 신호를 데이터 처리 유닛 또는 원격 컴퓨터 시스템 중 적어도 하나에 전송하도록 하는, 대상체의 두피 상에 장착된 하나 이상의 착용가능한 패치로서 구성되는 것인, 인지 또는 감각 평가용 시스템.
43. 제31항에 있어서, 센서 장치가 대상체로부터 전기적 신호를 수신하는, 대상체에 부착가능한 전극을 포함하는 것인, 인지 또는 감각 평가용 시스템.
44. 제31항에 있어서, 센서 장치가 대상체의 모션 또는 움직임을 나타내는 대상체의 영상을 포착하는 영상화 장치를 포함하는 것인, 인지 또는 감각 평가용 시스템.
45. 제44항에 있어서, 영상화 장치가 대상체의 시선 움직임을 포착하는 것인, 인지 또는 감각 평가용 시스템.
46. 삭제
47. 제31항에 있어서, 로컬 컴퓨터가 대상체에 특이적인 개별 데이터로서 초기 생리학적 신호 데이터를 생성하도록 설정되고, 원격 컴퓨터가 초기 생리학적 신호 데이터를 처리하여 대상체에 개별화된 정보 세트를 생성하도록 설정된 것인, 인지 또는 감각 평가용 시스템.
48. 제47항에 있어서,
    대상체의 위치에 위치하고, 대상체에게 제시되는 일련의 자극을 생성하도록 설정된 자극 전달 장치로서, 여기서, 자극은 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상의 것을 포함하는 것인 자극 전달 장치; 및
    원격 컴퓨터와 통신하여 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트와 관련되거나, 그로부터 도출된 데이터를 수신하여 대상체에 대한 일련의 자극을 적응적으로 변형시킴으로써 대상체에 대해 개별화된 변형된 일련의 자극을 생성하는 것인 자극 제시 컴퓨터 - 자극 제시 컴퓨터는 변형된 일련의 자극이 상기 지속적인 제시 동안 대상체에게 적용될 수 있도록 하는 자극 전달 장치에 커플링됨 - 를 더 포함하는 것인, 인지 또는 감각 평가용 시스템.
49. 제48항에 있어서, 원격 컴퓨터가 초기 생리학적 신호 데이터를 처리할 때, 하나 이상의 대상체 군 중의 다른 대상체의 생리학적 신호 데이터에 접속하고, 다른 대상체의 생리학적 신호 데이터를 사용하여 대상체에 개별화된 정보 세트를 생성하도록 설정된 것인, 인지 또는 감각 평가용 시스템.
50. 제48항 또는 제49항에 있어서, 원격 컴퓨터와 자극 제시 컴퓨터 사이에 구성되어 있고, 대상체에 대해 개별화된 변형된 일련의 자극을 생성할 때, 대상체에 개별화된 정보 세트를 자극 제시 컴퓨터에 의해 사용되는 적응 변화 또는 조정으로 변환시켜 대상체에 대한 일련의 자극을 변형시키도록 설정된 뇌-기계 인터페이스 모듈을 추가로 포함하는 것인, 인지 또는 감각 평가용 시스템.
51. 인지-감각 프로파일 카테고리에 기초하여 생성된 일련의 자극의 제시에 대해 대응하는 개체의 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리하는 단계를 포함하며,
    여기서, 상기 처리하는 단계를 통해 개체의 인지 수행 수준, 감각 수행 수준, 또는 인지 및 감각 수행 수준을 특징으로 하는 하나 이상의 정량 값을 포함하는 정보 세트를 생성하고,
    처리하는 단계는
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 데이터 및/또는 행동 데이터 내의 관심 시간 간격을 선택하고,
    선택된 관심 시간 간격에 상응하는 생리학적 데이터 및/또는 행동 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 하나 이상의 정량 값을 생성하고,
    대상체에 대해 생성된 정보 세트를 사용하여 대상체에 관하여 개별화된 변형된 일련의 자극을 형성하고,
    개별화된 변형된 일련의 자극을 대상체에게 제시하고,
    변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하고, 그리고
    새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
52. 제51항에 있어서, 통계학적 척도를 제공하는 단계가 하나 이상의 군 중 개체 또는 다른 개체들로부터 획득한 이전 생리학적 데이터 및/또는 행동 데이터를 사용하여 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
53. 삭제
54. 통신망 또는 링크를 통해 원격 컴퓨터 장치와 통신하는 하나 이상의 컴퓨터를 포함하며;
    여기서, 하나 이상의 컴퓨터는 인지-감각 프로파일 카테고리에 기초하여 생성된 일련의 자극의 제시에 대한 반응으로 개체로부터 획득된 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리함으로써 개체의 인지 수행 수준, 감각 수행 수준, 또는 인지 및 감각 수행 수준을 특징으로 하는 하나 이상의 정량 값을 포함하는 정보 세트를 생성하도록 설정되고,
    여기서, 하나 이상의 컴퓨터는 생성된 정보 세트를 원격 컴퓨터 장치에 제공하도록 설정되고, 그리고
    하나 이상의 컴퓨터는 대상체에 대해 생성된 정보 세트를 사용하여 대상체에 관하여 개별화된 변형된 일련의 자극을 형성하고, 개별화된 변형된 일련의 자극을 대상체에게 제시하고, 변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하고, 그리고 새로운 생리학적 데이터를 처리하여 선택된 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하도록 구성된 것인, 대상체의 인지 또는 감각을 평가하는 시스템.
55. 제54항에 있어서, 하나 이상의 컴퓨터에 의해 생리학적 데이터 및 행동 데이터 중 하나 또는 그 둘 모두를 처리하는 단계가
    제시된 자극 및 선택된 프로파일 카테고리에 기초하여 생리학적 데이터 및/또는 행동 데이터 내의 관심 시간 간격을 선택하고,
    선택된 관심 시간 간격에 상응하는 생리학적 데이터 및/또는 행동 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 하나 이상의 정량 값을 생성하는 것을 포함하는 것인 대상체의 인지 또는 감각을 평가하는 시스템.
56. 인지 또는 감각 기능의 하나 이상의 측면을 나타내는 인지-감각 프로파일 카테고리를 선택하는 단계;
    대상체에게 일련의 자극을 제시하는 단계로서, 여기서, 일련의 자극은 선택된 인지-감각 프로파일 카테고리에 기초하는 것인 단계;
    일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 생리학적 데이터를 생성하는 단계;
    생리학적 데이터를 처리하여 선택된 인지-감각 프로파일 카테고리와 관련된 하나 이상의 정량 값을 포함하는 정보 세트를 생성하는 단계;
    대상체에 대해 생성된 정보 세트를 사용하여 변형된 일련의 자극을 형성하는 단계;
    변형된 일련의 자극을 대상체에게 제시하는 단계;
    변형된 일련의 자극을 제시하기 전, 그동안, 그 이후에 대상체의 생리학적 신호를 획득하여 새로운 생리학적 데이터를 생성하는 단계; 및
    새로운 생리학적 데이터를 처리하여 선택된 인지-감각 프로파일 카테고리와 관련된 하나 이상의 증강된 정량 값을 포함하는 증강된 정보 세트를 생성하는 단계를 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
57. 제56항에 있어서, 일련의 자극이 선택된 인지-감각 프로파일 카테고리에 기초하여 시각, 청각, 후각, 촉각, 또는 미각 자극 매체 중 1 이상의 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
58. 제56항에 있어서, 하나 이상의 정량 값이 대상체의 주의력, 기억력, 학습 능력, 작화 특징, 패턴 통합 능력, 의미론적 통합 능력, 표적 검출 능력, 정서가, 선호, 또는 인식 상태 중 1 이상의 것에 기초한 인지 및 감각 수행 수준 하나 또는 그 둘 모두를 표시하는 정량적 점수를 포함하며, 여기서, 정량적 점수는 특정 시점에서의 수준을 표시하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
59. 제56항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
60. 제59항에 있어서, 분류된 데이터 세트의 신호 대 잡음비를 증가시키기 위해 생리학적 데이터를 처리하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
61. 제59항에 있어서, 분류가 개별 자극의 미리 지정된 카테고리 또는 연속 자극의 연관 관계 중 적어도 하나에 기초하여 결정되는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
62. 제56항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 분류하고,
    대상체 또는 다른 대상체들로부터 획득한 이전 생리학적 데이터를 사용하여 분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공함으로써 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
63. 제56항에 있어서, 처리하는 단계가
    제시된 자극 및 선택된 인지-감각 프로파일 카테고리에 기초하여 생리학적 신호와 관련된 시간 간격을 확인하고,
    시간 간격에 상응하는 생리학적 데이터를 하나 이상의 초기 분류된 데이터 세트로 분류하고,
    초기 분류된 데이터 세트를 포함하는 통계 검정을 사용함으로써 대상체에게 제시된 일련의 자극의 각 자극을 분류하고,
    분류된 자극에 기초하여, 시간 간격에 상응하는 생리학적 데이터를 하나 이상의 분류된 데이터 세트로 재분류하고,
    분류된 데이터 세트 간의, 또는 분류된 데이터 세트 내의 관계의 통계학적 척도를 제공하여 선택된 인지-감각 프로파일 카테고리에 대한 하나 이상의 정량 값을 생성하는 것을 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
64. 삭제
65. 삭제
66. 제56항에 있어서, 각 인지-감각 프로파일 카테고리에 대한 초기 일련의 자극을 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.
67. 제56항에 있어서, 대상체에 대해 생성된 정보 세트에 기초하여 기계와 대상체 사이의 상호작용을 생성하는 단계를 추가로 포함하는 것인, 시스템에 의해 대상체의 인지 또는 감각을 평가하는 방법.

Images