KR20080074099A

KR20080074099A - 심리 상태의 검출 및 그를 이용한 상호작용

Info

Publication number: KR20080074099A
Application number: KR1020087008749A
Authority: KR
Inventors: 탄 티 타이 리; 남 호이 두; 윌리엄 에이. 킹; 하이 하 팜; 마르코 델라 토레; 에미르 데릭; 존슨 티; 윙 홍 시우
Original assignee: 이모티브 시스템즈 피티와이 엘티디.
Priority date: 2005-09-12
Filing date: 2006-09-12
Publication date: 2008-08-12
Also published as: EP1924940A2; WO2007096706A3; CN101331490A; JP2009521246A; TW200727867A; US20070173733A1; WO2007096706A2

Abstract

심리 상태 검출 방법은 프로세서에서 하나 또는 그 이상의 생체 신호 검출기로부터 대상의 생체 신호를 수신하고, 위 프로세서에서 위 생체 신호가 대상의 특정한 심리 상태의 존재를 표현하는지 여부를 결정하는 단계를 포함한다. 검출된 심리 상태의 이용 방법은 프로세서에서 심리 상태가 대상에 존재하는지 여부를 표현하는 신호를 수신하는 단계를 포함한다. 위 심리 상태는 감정, 시그너처, 감각 등과 같은 비사고적인 심리 상태일 수 있다. 프로세서는 위 방법을 실행하도록 형성될 수 있으며, 머신 판독가능한 매체에 유형적으로 저장된 컴퓨터 프로그램 생성물은 위 방법을 실행하게끔 하는 동작가능한 명령어를 가진다.

Description

심리 상태의 검출 및 그를 이용한 상호작용{DETECTION OF AND INTERACTION USING MENTAL STATES}

본 발명은 일반적으로 비사고적(non-deliberative, 非思考的) 심리 상태의 검출과 관련되어 있다.

인간과 머신(machine) 사이의 상호작용은 통상적으로 키보드, 조이스틱 또는 다른 수동 작동 장비 등과 같이 귀찮은(cumbersome) 입력 장비의 이용으로 제한되어 있다. 위와 같은 인터페이스의 이용은 이용자의 능력을 제한하여 단지 사전에 계획되고 의식한 명령만을 제공하게 한다.

많은 수의 입력 장치가 이러한 사전에 계획되고 의식한 명령만을 제공하는 장애인들을 돕기 위하여 개발되어 왔다. 이러한 입력 장치의 몇몇은 위 장치를 동작하기 위하여 안구의 움직임을 검출하거나(detect) 또는 이용자에 의하여 요구되는 신체적 움직임을 최소화하기 위하여 음성 활성화된다. 그럼에도 불구하고, 위 입력 장치는 이용자에 의하여 의식적으로 제어되고 동작되어야 한다. 그러나 대부분의 인간 활동은 인간이 의식하지 못하는 또는 의식적으로 제어하지 못하는 것에 의하여 즉 비의식적인 정신에 의하여 유발된다. 비의식적으로 제어된 통신은 인간 사이의 통신에만 존재하고, 이는 흔히 직관(intuition)으로서 언급된다.

이용자를 위한 상호작용 경험을 향상시키기 위하여 인간 이용자와 전자적 여흥(entertainment) 플랫폼 또는 다른 상호작용적 엔터티(entities) 등의 머신 사이의 비의식적으로 제어된 통신을 용이하게 하는 방법을 제공하는 것이 바람직하다. 상당한 데이터 처리 자원의 사용을 요구함이 없이 많은 수의 응용에 적합하게 적용된 하나 또는 그 이상의 상호작용적 엔터티로써 사용자들의 상호작용 수단을 제공하는 것이 또한 바람직하다. 또한 공지된 상호작용 시스템의 하나 또는 그 이상의 단점을 개선하고 극복할 수 있는 하나 또는 그 이상의 상호작용적 엔터티로써 하나 또는 그 이상의 이용자 사이의 상호작용 방법을 제공하는 것이 바람직하다. 인간-머신 상호작용을 단순화시킬 수 있는 기술을 제공하는 것이 더욱 바람직하다. 이러한 기술이 강건하고(robust), 강력하며(powerful), 인간 이용자를 위하여 인간-머신 상호작용이 가능한 한 자연적일 수 있도록 하는 자연적이며 비의식적인 인간 상호작용 기술을 사용함이 바람직하다.

어떤 관점에서는, 본 발명은 심리 상태를 검출하는 방법과 관련성이 있다. 이 방법은 프로세서 안에서 하나 또는 그 이상의 생체신호(bio-signals) 검출기로부터 대상(subject)의 생체신호를 수신하는 것과 위 프로세서에서 위 생체신호가 대상의 특정한(particular) 심리 상태의 존재를 표현하는지 여부를 결정하는 것을 포함한다.

본 발명의 구현은 하나 또는 그 이상의 다음의 특성을 포함할 수 있다. 특정한 심리 상태는 감정(emotion), 기호(preference), 감각(sensation), 생리학적 상태(physiological state) 또는 조건(condition)과 같은 비사고적 심리 상태일 수 있다. 신호는 특정한 심리 상태가 존재하는지를 표현하는 프로세서로부터 생성될 수 있다. 위 생체신호는 EEG(electroencephalograph) 신호를 포함할 수 있다. 위 생체신호는 상이한 표현방식, 결정될 수 있는 위 상이한 표현방식의 하나 또는 그 이상의 특성값들 그리고 심리 상태 시그너처(signature)와 비교되는 값들로 변형될 수 있다. 비사고적 심리 상태의 존재 결정은 실질적으로 심리 상태 시그너처의 보정(calibration) 없이도 실행될 수 있다. 수신과 결정은 실질적으로 실시간으로(real time) 발생할 수 있다.

다른 관점에서는, 본 발명은 검출된 심리 상태를 이용하는 방법과 관련성이 있다. 위 방법은 프로세서에서 심리 상태가 대상에 존재하는지를 표현하는 신호 수신을 포함한다.

본 발명의 구현은 하나 또는 그 이상의 다음의 특성을 포함할 수 있다. 특정한 심리 상태는 감정, 기호, 감각, 생리학적 상태 또는 조건과 같은 비사고적 심리 상태일 수 있다. 위 신호는 저장되고 또한 액션(action)은 위 신호에 근거한 환경을 변경하기 위하여 선택될 수 있다. 타깃감정(target emotion)을 표현하는 데이터가 저장되고, 타깃 감정에 대한 대상의 감정적 반응을 변경시킬 것으로 기대되는 환경 변수에 대한 변경(alteration)은 프로세서에 의하여 결정될 수 있으며, 그리고 환경 변경의 변경이 결과물이 될 수 있다. 타깃 감정이 유발되는지 여부는 감정이 대상에 존재하는지 여부를 표현하는 신호에 기초하여 결정될 수 있다. 타깃 감정을 일으키는 환경 변수의 유효성을 표현하는 가중치(weightings)는 저장될 수 있으며, 위 가중치는 변경을 결정하는 데 이용될 수 있다. 위 가중치는 감정이 존재하는지 여부를 표현하는 신호에 근거한 학습 에이전트(learning agent)에 의하여 업데이트될 수 있다. 환경 변수는 물리적 또는 가상적 환경에서 발생할 수 있다.

또 다른 관점에서, 본 발명은 머신 판독가능한 매체에 유형적으로 저장된 컴퓨터 프로그램 생성물(product)과 관련성이 있으며, 위 생성물은 프로세서로 하여금 위에서 기술한 방법을 실행하게끔 하는 동작가능한 명령어를 포함한다. 또 다른 관점에서는, 본 발명은 형성된 프로세서가 위에서 기술한 방법을 실행하는 시스템과 관련성이 있다.

또 다른 관점에서, 본 발명은 심리 상태를 검출하고 이용하는 방법과 관련성이 있다. 위 방법은 하나 또는 그 이상의 생체 신호 검출기를 가지는 대상의 생체 신호를 검출하는 것, 위 생체 신호를 제 1 프로세서에 전하고, 위 제 1 프로세서에서 생체신호가 대상의 특정한 심리 상태의 존재를 표현하는지 여부를 결정하고, 제 1 프로세서로부터 위 특정한 심리 상태가 존재하는지 여부를 표현하는 신호를 생성하고, 제 2 프로세서에서 위 신호를 수신하고, 위 신호를 저장하거나 또는 위 신호에 기초한 환경을 변경하는 것을 포함한다.

또 다른 관점에서는, 본 발명은 하나 또는 그 이상의 생체 신호 검출기, 하나 또는 그 이상의 생체 신호 검출기로부터의 생체 신호에 따라 형성된 제 1 프로세서 - 위 생체 신호가 대상의 특정한 심리 상태의 존재를 지시하는지 여부를 결정하고 특정한 심리 상태가 존재하는지 여부를 표현하는 신호를 생성함 - 및 위 신호를 수신하고, 위 신호를 저장하거나 위 신호에 기초한 환경을 변경하게끔 형성된 제 2 프로세서를 포함하는 장치와 관련성이 있다.

또 다른 관점에서는, 본 발명은 이용자와 환경과의 상호작용 방법과 관련성이 있다. 위 방법은 이용자로부터의 하나 또는 그 이상의 생체 신호에 응답하는 미리 정해진 심리 상태의 존재를 검출하고 분류하는 것, 이용자의 감정적 반응에 영향을 주는 하나 또는 그 이상의 환경 변수를 선택하는 것, 및 위 선택된 환경 변수를 변경하기 위하여 하나 또는 그 이상의 액션을 실행하는 것 - 그로 인하여 이용자의 감정적 반응을 변경함 - 을 포함한다.

본 발명의 하나 또는 그 이상의 실시예에 대한 상세내용이 첨부 도면과 아래의 설명에서 개시된다. 본 발명의 다른 특성, 목적 및 장점은 상세한 설명, 도면으로부터 그리고 청구범위로부터 명백하질 것이다.

도 1은 검출된 심리 상태를 이용하는 시스템과 대상으로써 감정 등의 비사고적 심리 상태와 같은 심리 상태를 검출하고 분류하기 위한 시스템의 상호작용을 도시하는 개략 다이어그램이다.

도 1A는 감정 등의 비사고적 심리 상태와 같은 심리 상태를 검출하고 분류하기 위한 장치(apparatus)의 개략 다이어그램이다.

도 1B - 1D는 도 1A에서 보여진 장치의 변형(variants)이다.

도 2는 도 1에서 보여진 장치에서 사용된 헤드세트의 부분을 형성하는 두피 전극(scalp electodes) 형태의 생체 신호 검출기의 위치를 도시하는 간략 다이어그 램이다.

도 3 및 4는 도 1에서 보여진 장치에 의한 심리 상태 검출 및 분류 동안에 실행된 광범위한 기능적 단계를 도시하는 흐름도이다.

도 5는 도 1의 장치로부터 처리되는 생체 신호의 그래프적 표현 및 위 생체 신호의 변형이다.

도 6은 환경 변수를 제어하는 검출된 감정을 이용하기 위한 플랫폼의 개략 다이어그램이다.

도 7은 이용 중에 도 1에서 보여진 장치 및 플랫폼의 고수준(high level) 기능성을 도시하는 흐름도이다.

도 8 및 9는 도 4에서 보여진 플랫폼의 두 가지 변형이다.

본 발명은 일반적으로 이용자로부터 머신과의 통신에 관련되어 있다. 특히, 대상의 심리 상태는 검출되어 분류될 수 있으며, 이 심리 상태를 표현하는 신호는 생성되어 머신에 전송될 수 있다. 본 발명은 또한 일반적으로 머신에 의하여 제어되는 상호작용적 환경을 가진 하나 또는 그 이상의 이용자에 의하여 비의식적으로 제어된 통신을 이용한 상호작용 방법과 관련되어 있다. 본 발명은 이용자들이 실시간으로 상호작용하는 전자적 여흥 플랫폼 또는 다른 플랫폼에서의 이용에 적합하고, 이는 예시적이나 제한이 없는 응용과 관련한 본 발명을 설명하는데 편리할 것이다.

도 1을 살펴보면, 대상의 사고적 또는 비사고적 심리 상태를 검출하고 분류 하며 위 심리 상태를 표현하는 신호를 생성하기 위한 시스템(10)이 도시되어 있다. 일반적으로, 비사고적 심리 상태는 의지적 행동의 주관적 특질이 결여된 심리 상태가다. 이러한 비사고적 심리 상태는 때때로 비의식적 정신(non-conscious mind)으로 불리워지나, 이 문맥에서 비의식이란 의식적으로 선택하지 않음(not consciously selected)을 의미하며, 비사고적 심리 상태는 (모두가 반드시 그러한 것은 아니지만) 의식적으로 경험될 수 있음이 이해되어야 한다. 대조적으로, 사고적 심리 상태는 대상이 의식적으로 일(task), 이미지(image) 또는 의지의 경험(willed experience)에 촛점을 맞추는 경우에 발생한다.

시스템(10)에 의하여 검출될 수 있는 감정, 기호, 감각, 생리학적 상태 및 조건을 포함하는 비사고적인 심리 상태에는 몇몇의 카테고리가 있다. "감정"은 흥분, 행복, 두려움, 슬픔, 지루함 및 다른 감정을 포함한다. "기호"는 일반적으로 관찰되어진 어떤 것에 대한 우호적인 경향 또는 그 반대의 경향(예컨대 호감 또는 비호감)으로서 명시할 수 있다. "감각"이란 갈증, 고통 및 다른 신체적 감각을 포함하며, 위 감각을 완화시키거나 또는 증대시키기 위한 상응하는 욕구에 의하여 수반될 수 있다. "생리학적 상태"란 심박수, 체온 및 발한과 같은 신체의 생리를 실질적으로, 직접적으로 제어하는 뇌의 상태를 언급한다. "조건"이란 신체적 조건의 원인, 징후 또는 부수적 효과이나, 감각 또는 생리적 상태와 통상적으로 연관되지 않은 뇌의 상태를 언급한다. 간질 발작은 위 조건의 한 예이다. 어떤 사람이 녹내장(glaucoma)을 가질 때에 뇌가 후두엽(occipital lobe)에서의 시각적 정보를 처리하는 방법이 조건의 다른 예이다. 물론, 몇몇 비사고적인 심리 상태는 위 카테 고리 중의 하나 이상에 분류될 수 있으며, 또한 위 카테고리 중의 어느 것에도 잘 부합하지 않을 수도 있음은 이해되어야 한다.

시스템(10)은 대상(20)에 의하여 착용되거나 또는 운반되는 신경-생리학적(neuro-physiological) 신호 취득 장비(12)와 심리 상태 검출 엔진(14)의 두 주요 부품을 포함한다. 간단하게 말하면, 위 신경-생리학적 신호 취득 장치(12)는 대상(20)으로부터의 생체 신호를 검출하고, 심리 상태 검출 엔진(14)은 위 생체 신호를 대상 내의 특정한 심리 상태의 존재(선택적으로 강도)를 표현하는 신호로 변환하는 하나 또는 그 이상의 검출 알고리즘(114)을 구축한다. 심리 상태 검출 엔진(14)은 적어도 하나 이상의 프로세서를 포함하는데, 위 프로세서는 검출 알고리즘(114)을 실행하는, 소프트웨어 명령어로 프로그램된 범용 디지털 프로세서 또는 전문화된 프로세서(예컨대 ASIC)일 수 있다. 특히 소프트웨어 구축의 경우에, 심리 상태 검출 엔진(14)은 다수의 컴퓨터에도 동작하는 분산 시스템일 수 있다는 점은 이해되어야 한다.

동작 중에, 심리 상태 검출 엔진은 실제로 실시간으로 심리 상태를 검출할 수 있다(예컨대 50 밀리세컨드 미만의 지연이 비사고적인 심리 상태에 대하여 기대된다). 이는 인간 대 인간 상호작용을 위한 충분한 속도로 심리 상태 검출을 가능하게 한다(예컨대 좌절적인 지체 없이도 검출된 심리 상태에 근거하여 가상 환경의 아바타를 변형할 수 있다). 사고적 심리 상태의 검출은 다소 느릴 것이다(예컨대 2백 밀리세컨드 이하이지만, 인간-머신 상호작용에서 이용자의 좌절을 피하게 하기에는 충분히 빠르다).

심리 상태 검출 엔진(14)은 응용 프로그래밍 인터페이스(API) 등과 같은 인터페이스에 의하여 심리 상태를 표현하는 신호를 이용하는 시스템(30)과 결합된다. 시스템(30)은 쿼리를 생성하여 대상(20)의 심리 상태에 관한 데이터를 요청하는 시스템(10)에 보내고, 대상의 심리 상태를 표현하는 입력 신호를 수신하여 이 신호를 이용하는 응용 엔진(32)을 포함한다. 따라서 심리 상태 검출 알고리즘의 결과는 미리 정해진 비사고적 심리 상태의 입력 신호 표현으로서 시스템(30)에 전송된다. 선택적으로, 시스템(30)은 대상이 노출되는 환경(34)을 제어할 수 있으며, 환경(34)을 변형을 실행하는 이벤트(events)를 결정하는 대상의 심리 상태를 표현하는 신호를 이용할 수 있다. 예컨대, 시스템(30)은 타깃 감정을 표현하는 데이터를 저장할 수 있으며, 타깃 감정을 유발하는 환경(34)을 제어할 수 있다. 대안으로서, 시스템은 주로 데이터 수집을 위하여 이용될 수 있으며, 인간 판독가능한 형태로 이용자(대상이 되지 않을 수도 있음)에게 대상의 심리 상태에 관한 정보를 저장하고 디스플레이할 수 있다. 시스템(30)은 엔진(32)에 결합된 로컬 데이터 저장(36)을 포함할 수 있으며, 또한 인터넷과 같은 네트워크에 결합될 수 있다. 엔진(32)은 적어도 하나 이상의 프로세서 - 프로세서는 소프트웨어 명령어로 프로그램된 범용 디지털 프로세서 또는 ASIC과 같은 전문화된 프로세서일 수 있음 - 를 포함할 수 있다. 게다가 시스템(30)은 다수의 컴퓨터에서 동작할 수 있는 분산 시스템일 수 있음이 이해되어야 한다.

신경-생리학적 신호 취득 장비(12)는 대상으로부터의 다양한 생체 신호, 특히 EEG(electroencephalograph) 신호, EOG(electrooculargraph) 신호, EMG(electromyograph) 신호 및 유사한 신호 등과 같은 신체에 의하여 발생되는 전기적 신호를 검출할 수 있는 생체 신호 검출기를 포함한다. 그러나 주의할 점은 시스템(10)에 의하여 측정되고 이용되는 EEG 신호는 통상적으로 EEG를 위하여 기록되는 주파수 대역(예컨대 0.3 ~ 80 Hz) 외곽의 신호를 포함할 수 있다는 점이다. 시스템(10)은 심박수 모니터, 혈압 모니터 및 유사 장비에 의하여 얻어질 수 있는 심박수, 혈압, 호흡 또는 갈바니 피부 반응(galvanic skin response) 등과 같은 다른 생리적 과정의 직접적인 측정이 없이도 대상으로부터의 단지 전기적 신호 - 특히 EEG 신호- 만을 이용하여 심리 상태들(사고적 및 비사고적 모두)을 검출할 수 있다는 점이 일반적으로 사료되어야 한다. 게다가 검출될 수 있고 분류될 수 있는 심리 상태는 EEG 신호를 이용하여 통상적으로 측정되는 대상의 뇌 활동(예컨대 깨어 있거나 또는 수면의 한 유형(REM 또는 비 REM 수면 단계 등))의 총 상관관계(gross correlation)보다 더 특정적이다. 예컨대, 흥분과 같은 특정한 감정 또는 물건을 밀거나 또는 당기는 명령과 같은 특정한 의지적 작업이 검출될 수 있다.

예시적 실시예에서, 신경-생리적 신호 취득 장비는 대상(20)의 두부(頭部)에 맞는 헤드세트를 포함한다. 위 헤드세트는 대상 또는 이용자로부터 EEG 신호를 캡처할 수 있는 일련의 두피 전극을 포함한다. 이러한 두피 전극은 두피에 직접 연결될 수 있거나 또는 대안으로 두피에의 직접적인 배치를 요구하지 않는 비접촉 유형일 수 있다. MRI 또는 CAT 스캔과 같은 고해상도 3-D 뇌 스캔을 제공하는 시스템과 달리, 헤드세트는 일반적으로 이동성이 있거나 비속박성(non-constraining)이다.

일련의 두피 전극에 의하여 두피에서 검출된 전기적 변동(fluctuations)은 대체로 두개골에 또는 그 근처에 위치한 뇌 세포의 활동에 기인한다. 위 원천은 두피 아래의 뇌의 외표면에 위치한 상당한 양의 대뇌 피질(celeral cortex)의 전기적 활동이다. 두피 전극은 뇌에 의하여 자연적으로 생산되는 전기 신호를 취하여, 뇌 표면에 걸쳐 있는 전기적 펄스를 관찰하는 것을 가능하게 한다.

도 2는 헤드세트의 두피 전극 형성 부분의 배치에 대한 한 예를 도시한다. 도 2에 보이는 전극의 배치는 "10 - 20" 시스템으로서 언급되며, 전극의 위치 및 대뇌피질의 기저 영역 사이의 관계에 근거하고 있다. 전극 배치 시스템(200)상의 각 점은 가능한 두피 전극 위치를 지시한다. 각 면은 로드를 인식할 수 있는 문자와 반구 위치를 인식할 수 있는 수 또는 다른 문자를 지시한다. F, T, C, P 및 O의 문자들은 각 전두(Frontal), 측두(Temporal), 중앙(Central), 정수리(Parietal) 및 후두(Occipital)를 대표한다. 짝수는 우반구를 언급하며, 홀수는 좌반구를 언급한다. Z 문자는 중앙선에 위치한 전극을 언급한다. 중앙선(mid-line)은 네이전(nasion)으로부터 시작되는 시상면상(sagittal plane)상의 두피를 따라 머리 후부의 이니언(inion)에서 끝나는 선이다. "10" 및 "20"은 중앙선 분할의 퍼센티지를 언급한다. 중앙선은 7개의 위치, 즉 네이전, Fpz, Fz, Cz, Pz, Oz 및 이니언으로 분할되며, 인접 위치 사이의 각 간격(angular interval)은 각각 중앙선 길이의 10%, 20%, 20%, 20%, 20% 및 10%이다.

예시적 실시예에서, 헤드세트는 32개의 두피 전극을 포함하지만, 다른 실시예는 두피 전극의 상이한 수 및 상이한 배치를 포함할 수 있다. 예컨대 헤드세트 는 16개의 전극에다 기준점(reference) 및 접지(ground)도 포함할 수 있다.

도 1A를 살펴보면, 심리 상태를 검출하고 분류하기 위한 시스템을 포함하는 장치(100)와 심리 상태를 표현하는 신호를 이용하는 시스템을 포함하는 외부 장비(150)가 보여진다. 장치(100)은 위에서 언급한 대로 헤드세트(102)와 함께, 헤드세트(102)로부터의 신호로부터 대상의 심리 상태를 검출하고 분류하기 위한 프로세싱 전자장비(103)를 포함한다.

헤드세트(102)에 의하여 검출된 각 신호는 신호 강도를 부스트하기 위한 증폭기와 잡음을 제거하기 위한 필터가 포함될 수 있는 감각 인터페이스(104)를 통하여 제공된 이후, A/D 변환기(analog-to-digital converter, 106)에 의하여 디지털화된다. 두피 센서의 각각에 의하여 캡처된 위 신호의 디지털화된 샘플은 장치(103)의 동작 동안에 후속의 신호처리를 위하여 데이터 버퍼(108) 내에 저장된다. 장치(100)는 프로세싱 시스템(109)으로 하여금 원하는 기능적 단계를 실행하게끔 하기 위하여, DSP(digital signal processor, 112)를 포함하는 프로세싱 시스템(109), 코프로세서(co-processor, 110), 일련의 명령어를 저장하기 위한 관련 메모리나 그것이 아니면 컴퓨터 프로그램이나 컴퓨터 제어 로직으로서 공지된 것을 추가로 포함한다. 코프로세서(110)는 입력/출력 인터페이스(116)를 통하여 무선 2.4 GHz 장비, WiFi 또는 블루투스 장비, 또는 802.11 b/g 장비와 같은 전송 장비(118)에 연결된다. 전송 장비(118)는 장치(100)를 외부 장비(15)에 연결한다.

특히, 메모리는 미리 정해진 비사고적 심리 상태를 검출하고 분류하기 위한 DSP(112)에 의하여 실행될 수 있는 적어도 하나 이상의 알고리즘(114)을 정의하는 일련의 명령어를 포함한다. 일반적으로, DSP(112)는 잡음을 감소시키기 위한 디지털 신호 처리를 실행하며, 신호를 변형하여 대상의 피질의 특정한 모양으로부터 신호를 "개시하며(unfold)", 변형된 신호에 근거하여 감정 검출 알고리즘을 실행한다. 위 감정 검출 알고리즘은 분류 및 교정을 위하여 특정한 대상에 적응하는 신경 네트워크로서 동작한다. 위 감정 검출 알고리즘에 부가하여, DSP는 또한 사고적 심리 상태를 위한 및 눈 깜박임, 윙크, 미소 등과 같은 얼굴의 표현을 위한 검출 알고리즘을 저장한다.

코프로세서(110)는 API(application programming interface)의 장비적 측면으로서 실행하고, 다른 기능 중에서도 특히 전송 장비(118)를 동작하기 위하여 무선 통신 프로토콜과 같은 통신 프로토콜 스택을 구동한다. 특히, 코프로세서(11)는 예컨대 대상 안의 감정 등과 같은 특정한 비사고적 심리 상태의 존재 또는 강도에 관한 쿼리와 같은 외부 장비(15)로부터 수신한 쿼리를 처리하고 우선 순위를 정한다. 코프로세서(11)는 특정한 쿼리를 DSP(112)에 관한 전자적 명령으로 변환하며, DSP(112)로부터 수신한 데이터를 외부 장비(15)에 관한 응답으로 변환한다.

위 실시예에서, 심리 상태 검출 엔진은 소프트웨어에 구축되며 또는 일련의 명령어는 프로세싱 시스템(109)의 메모리에 저장된다. 일련의 명령어는 프로세싱 시스템(109)으로 하여금 여기서 기술된 본 발명의 기능을 실행하게끔 한다. 다른 실시예에서는, 심리 상태 검출 엔진은 예컨대 ASIC(application specific integrated circuit)과 같은 하드웨어 부품을 이용하여 또는 소프트웨어와 하드웨어의 조합 등을 이용하여 주로 하드웨어에 구축될 수 있다.

외부 장비(15)은 예컨대 감정의 유형과 같은 미리 정해진 비사고적 심리 상태의 존재 또는 부재 표현의 신호를 이용할 수 있는 범용 또는 게임 콘솔 등의 프로세서를 갖춘 머신이다. 만일 외부 정비가 범용 컴퓨터라면, 전형적으로 외부장비는 쿼리를 생성하여 대상의 심리 상태상의 데이터를 요청하는 장치(100)에 보내고, 대상의 심리 상태 표현의 입력 신호를 수신하는 엔진으로서 동작하는 하나 또는 그 이상의 응용(152)을 구동할 것이다. 응용(152)은 또한 환경(예컨대 실제 환경 또는 가상 환경)을 변형함으로써 이용자의 심리 상태를 표현하는 데이터에 응답할 수 있다. 따라서 이용자의 심리 상태는 게임 시스템 또는 다른 응용(시뮬레이터 또는 다른 상호작용 환경을 포함함)을 위한 제어 입력으로서 이용될 수 있다.

심리 상태를 표현하는 신호를 수신하고 응답하는 시스템은 소프트웨어 및 장비(15) 메모리에 저장될 수 있는 일련의 명령어에 구축될 수 있다. 다른 실시예에서는, 심리 상태를 표현하는 신호를 수신하고 응답하는 시스템은 예컨대 ASIC(application specific integrated circuit)과 같은 하드웨어 부품을 이용하여 또는 소프트웨어와 하드웨어의 조합을 이용하여 주로 하드웨어에 구축될 수 있다.

장치(100)의 다른 구현물은 가능하다. DSP 대신에, FPGA(field programmable gate array)가 이용될 수 있다. 별개의 DSP 및 코프로세서보다는, 프로세싱 기능은 하나의 프로세서에 의하여 실행될 수 있다. 버퍼(108)는 제거되거나 다중화기(MUX) 및 프로세싱 시스템의 메모리에 직접 저장된 데이터에 의하여 대체될 수 있다. 다중화기는 A/D 변환기 단계 이전에 배치될 수 있으며, 따라서 오직 하나의 A/D 변환기만이 필요하다. 장치(100) 및 플랫폼(120) 사이의 연결은 무선보다는 유선으로 연결될 수 있다.

심리 상태 검출 엔진이 도 1A에서는 1 개로 보여지지만, 다른 구현도 가능하다. 예컨대 도 1B에서도 보여진 대로, 장치는 헤드 세트, 다중화기, 다중화기 이전 또는 이후의 A/D 변환기(106), 무선 전송 장비, 전력 공급을 위한 밧데리를 포함하는 헤드세트 어셈블리(120)와 밧데리 이용을 제어하고 MUX 또는 A/D 변환기로부터 무선칩 등에 데이터를 전송하는 마이크로컨트롤러를 포함한다. A/D 변환기(106) 등은 물리적으로 헤드세트(102)상에 배치될 수 있다. 장치는 또한 헤드세트 어셈블리로부터 데이터를 수신하는 무선 수신기 및 DSP(112)와 코프로세서(11)와 같은 프로세싱 시스템을 포함하는 별개의 프로세서 유닛(122)일 수 있다. 프로세서 유닛(122)은 외부 장비(15)의 USB 입력에 연결되는 케이블(124)과 같은 유선 또는 무선 연결부(connection)에 의하여 외부 장비(15)에 연결될 수 있다. 이러한 구현은 헤드세트에 부착되는 부품의 수 및 최종 무게를 줄일 수 있는 무선 헤드세트를 제공하는 데에 유리할 것이다.

도 1C에 보여진 다른 예에서는 지정된 DSP(112)는 장비(170)에 직접 통합되어 있다. 장비(170)는 응용(114)을 구동하는 범용 디지털 프로세서 또는 대상의 비사고적 심리 상태에 관한 정보를 이용할 수 있는 응용-특정 프로세서를 포함한다. 위 경우에, 심리 상태 검출 엔진의 기능은 응용(152)을 구동하는 헤드세트 어셈블리(120) 및 장비(170) 사이에 분포된다. 도 1D에서 보여진 다른 예에서처럼, 지정된 DSP가 없고, 그 대신에 심리 상태 검출 알고리즘(114)은 범용 컴퓨터와 같은 장비(180)에서 응용(152)을 실행하는 동일한 프로세서에 의하여 실행된다. 위 마지막 실시예는 특히 심리 상태 검출 알고리즘(114) 및 장비(180)의 메모리에 저장되는 소프트웨어와 일련의 명령어로 구축되는 응용(152) 양자 모두에 대하여 적합하다.

동작시에, 시스템(200)에 따라 배치된 두피 전극을 포함한 헤드세트(102)는 EEG 신호를 검출하기 위하여 대상의 머리 위에 배치된다. 도 3은 위 EEG 신호의 캡처 및 프로세싱 시스템(109)에 의하여 실행된 후속적인 데이터 준비 동작 동안에 장치(100)에 의하여 실행되는 일련의 단계를 도시한다.

단계(300)에서, EEG 신호는 캡처된 이후, A/D 변환기(106)를 이용하여 디지털화된다. 데이터 샘플은 데이터 버퍼(108)에 저장된다. 헤드세트(102)에 의하여 검출된 EEG 신호는 특성 영역(range of characteristics)을 가질 수 있으나, 도시 목적상 전형적인 특성은 다음과 같다 : 진폭 10 - 4000 μV, 주파수 대역 0.16 - 256 Hz 및 샘플링 속도 128 - 2048 Hz.

단계(302)에서, 데이터 샘플은 후속적인 분석을 위하여 조절된다. 데이터 샘플로부터 제거되기를 원하는 가능한 잡음원은 신호 집합, 저장 및 검색(retrieval)에서 나타나는 외부적 간섭을 포함한다. EEG 신호에 있어, 외부 간섭의 예들로는 50/60 Hz에서의 전력선 신호 및 EEG 취득 하드웨어에 있는 스위칭 회로로부터 발생하는 고주파의 잡음을 포함한다. 이 조절 단계 동안에 실행되는 전형적인 동작은 고역 통과 필터(HPF)를 통한 베이스라인의 제거이다. 부가적 점검은 불량 신호가 헤드세트(102)로부터 검출되었을 때 데이터 샘플이 수집되지 않았음을 보장하기 위하여 실행된다. 신호 품질 정보는 이용자들이 교정적 조치를 취하는 것을 돕기 위하여 이용자에게로 역송될 수 있다.

이후 신호 간섭을 제거하기 위하여 아티팩트 제거 단계(304)가 실행된다. 이 예에서, EEG 신호는 이용자 두피상의 수많은 위치에서의 전위차 측정값으로 구성된다. 위 신호들은 몇몇의 "신호원" sm에 대한 관측값 x_n의 세트로 표현될 수 있는데, 여기서

, n은 채널 지수, N은 채널의 수, m은 소스 지수, M은 소스의 수이다. s_m과 x_n 사이의 관계를 기술하는 전달 함수 F 및 G의 세트가 존재한다면, 어떠한 소스 또는 부품이 관측값 x_n 및 그들의 특성에 뚜렷한 영향이 주는지를 일정한 자신감 수준까지는 식별할 수 있다. ICA(Independent Component Analysis)와 같은 상이한 기법은 x_n의 진폭에 가장 큰 영향을 주는 부품을 찾기 위하여 장치(100)에 의하여 적용된다. 위 부품들은 자주 전력선 잡음, 신호 강하(drop outs) 및 근육, 눈 깜박임 및 눈 움직임 아티팩트와 같은 간섭으로부터 발생한다.

단계들(306, 308 및 310)에서, EEG 신호는 헤드세트(102)의 이용자 심리 상태의 검출 및 분류를 용이하게 하는 상이한 표현으로 변환된다.

단계(306)에서, 데이터 샘플들은 우선 이포크(ephoch) 안에서 균일한 길이의 시간 세그먼트로 분할된다. 도 5에 도시된 예시적 실시예에서는, 이포크 안에 7개의 균일한 지속시간(duration)의 타임 세그먼트가 있지만, 다른 실시예에서는 타임 세그먼트의 개수 및 길이는 변경될 수 있다. 나아가, 또 다른 실시예에서, 타임 세그먼트는 균일한 지속시간이지 않을 수 있으며, 이포크 안에 오버랩될 수도 또는 되지 않을 수도 있다. 각 이포크의 길이는 아티팩트 제거 또는 시그너처 업데이트와 같은 검출 시스템에서의 이벤트에 동적으로 의존하면서 변화한다. 그러나 일반적으로, 이포크는 심리 상태의 변화가 있더라도 신뢰성 있게 검출될 수 있도록 충분히 길게 선택되어 진다. 도 5는 헤드세트(102)의 32개의 전극으로부터 검출된 EEG 신호의 그래프적 도시이다. 세 개의 이포크(500, 502 및 504)가 이용자의 심리 상태의 변화가 시작되기 이전 2초 및 시작된 이후 2초 동안에 관하여 보여진다. 일반적으로, 이벤트 이전의 베이스라인은 2초에 한정되지만, 반면 이벤트 이후의 부분(감정적 반응을 포함하는 EEG 신호)은 검출되는 현재의 감정에 의존하여 변화한다.

프로세싱 시스템(109)은 이포크(500, 502 및 504)를 타임 세그먼트로 분할한다. 도 5에 도시된 예에서, 이포크(500)은 1초 길이의 세그먼트(506 내지 518)로 분할되며, 각 세그먼트는 0.5초가 오버랩된다. 그렇다면 4초 길이의 세그먼트는 7개의 세그먼트를 양산한다.

프로세싱 시스템(109)은 단계들(308 및 310)에서 동작하여, 하나 또는 그 이상의 각 EEG 신호 표현의 특성값이 계산되고 단계(312)에서 대조할 수 있도록 EEG 신호를 상이한 표현으로 변환한다. 예컨대, 각 타임 세그먼트 및 각 채널에 대하여, EEG 신호는 시간 도메인(시간 함수로서의 신호 세기)로부터 주파수 도메인(주파수 함수로서의 신호 세기)로 변환될 수 있다. 예시적 실시예에서는, EEG 신호는 각각 0.16 및 256 Hz의 저주파 및 고주파의 차단(cut-off) 주파수로 대역-통과된 다(주파수 도메인으로의 변환 동안에).

다른 예에서와 같이, EEG 신호는 제 1 도함수를 근사화시키는 디퍼렌셜(differential) 도메인(시간 함수로서의 단일 강도에서의 한계적 변화(marginal changes))으로 변환될 수 있다. 디퍼렌셜 도메인이 주파수 스펙트럼의 상이한 타임 세그먼트와의 비교를 요구하지 않지만, 주파수 도메인은 또한 디퍼렌셜 도메인(주파수 함수로서의 단일 강도에서의 한계적 변화)으로 변환될 수 있다.

단계(312)에서, 각 EEG 신호 표현의 하나 또는 그 이상의 특성값은 계산될 수 있고(또는 변환이 스칼라 값을 생성한다면 이전 단계로부터 수집될 수 있음), 다양한 값들은 대상의 심리 상태의 다(多) 디멘션적인 표현을 제공하기 위하여 모아질 수 있다. EEG 신호의 변형된 표현으로부터의 계산된 값들에 더하여, 몇몇 값들은 원시적인 EEG 신호들로부터 계산될 수 있다.

특성값 계산의 예와 같이, 주파수 도메인에서는, 다수의 각 주파수 대역의 총합 신호 파워는 계산될 수 있다. 여기에 기술된 예시적 실시예에서, 7개의 주파수 대역은 다음의 주파수 영역을 사용한다 : δ(2 - 4 Hz), θ(4 - 8 Hz), α1(8 - 10 Hz), α2(10 - 13 Hz), β1(13 - 20 Hz), β2(20 - 30 Hz) 및 γ(30 - 45 Hz). 위의 각 주파수 대역의 신호 파워는 계산된다. 게다가 신호 파워는 채널 또는 대역의 다양한 조합을 위하여 계산될 수 있다. 예컨대 모든 주파수 대역에 걸친 각 공간 채널(spatial channel)(각 전극)의 총 신호 파워는 결정될 수 있으며, 또는 모든 채널에 걸쳐 주어진 주파수 밴드에 대한 총 신호 파워는 결정될 수 있다.

본 발명의 다른 실시예에서, 주파수 대역의 수나 영역 양자 모두가 특히 특 정한 응용 또는 구축되는 검출 방법에 의존하여 예시적 실시예와 달라질 수 있다. 게다가 주파수 대역은 오버랩될 수 있다. 나아가 실수부(real component), 위상, 피크 주파수 또는 평균 주파수 등의 총합의 신호 파워 외의 특성은 각 주파수 대역을 위한 주파수 도메인 표현로부터 계산될 수 있다.

이 예시적인 실시예에서, 신호 표현은 시간, 주파수 및 공간 도메인으로 되어 있다. 다수의 상이한 표현은 χⁿ _ijk로 나타내질 수 있으며, 여기서 n, i, j, k는 각각 이포크, 채널, 주파수 대역 및 세그먼트 지수이다. 위 파라미터에 대한 통상적인 값들은

32개의 공간적으로 구별가능한 채널들(Fp₁부터 CPz로 언급됨),

7개의 주파수의 구별가능한 대역들(δ 부터 γ로 언급됨)

이다.

단계(310 - 312)에서 실행되는 오퍼레이션은 자주 많은 수의 상태 변수를 생산한다. 예컨대, 7 개의 주파수 대역을 이용하여 32개의 채널로 이루어지는 2개의 4초 길이의 이포크를 위한 상관관계의 계산은 1 백만개 이상의 상태 변수를 가져온다.

³²C₂x7²x7² = 1190896

상이한 변환 도메인의 다양성으로부터의 광범위한 영역의 특성 뿐만 아니라 개별의 EEG 신호 및 상이한 센서로부터의 EEG 신호의 조합들이 이용될 수 있기 때문에, 프로세싱 시스템(109)에 의하여 분석되는 디멘션의 수는 극히 크다. 피질의 전체 또는 상당한 부분 및 특성의 전 영역은 심리 상태의 검출 및 분류시에 고려되므로, 이렇게 큰 디멘션의 수는 프로세싱 시스템(109)로 하여금 광범위한 영역의 심리 상태를 검출하게끔 한다.

단계(312)에서 프로세싱 시스템(109)에 의하여 계산되어야 하는 다른 공통적 특성들은 각 채널에서의 신호 파워, 각 채널의 각 주파수 대역에서의 파워의 한계적 변화, 상이한 채널 사이의 상관/간섭 관계(correlations/coherence) 및 각 주파수 대역에서의 파워의 한계적 변화 사이의 상관관계를 포함한다. 이러한 성질 사이의 선택은 구별하고자 하는 심리 상태의 유형에 의존한다. 일반적으로, 한계적 특성은 단기간의 감정 폭발의 경우에 중요한 반면, 장기간의 심리 상태에서는 다른 특성이 더 중요시된다.

다양한 기술은 EEG 신호를 상이한 표현으로 변형하고, EEG 신호 표현의 다양한 특성값을 측정하기 위하여 이용될 수 있다. 예컨대, 고속 퓨리에 변환(Fast Fourier Transform) 및 밴드 통과 필터링과 같은 전통적인 주파수 분해 기법이 단계(308)에서 프로세싱 시스템(109)에 의하여 실행될 수 있는 반면, 신호 간섭 및 상관 관계의 측정은 단계(310)에서 실행될 수 있다(후자의 경우에, 간섭 또는 상관 값들은 심리 상태의 다(多)-디멘션 표현의 부분이 되기 위하여 단계(312)에서 대조(collate)될 수 있다. 상관/간섭 관계가 상이한 채널 사이에서 계산된다고 가정하면, 이는 또한 도메인 - 예컨대 공간 간섭/상관 관계 도메인(전극 쌍의 함수로서 의 상관/간섭 관계) - 으로 여겨질 수 있다. 예컨대 다른 실시예에서는, 웨이브릿(wavelet) 변환, 동적 시스템 분석 또는 다른 선형 또는 비선형의 수학적 변형이 단계(312)에서 이용될 수 있다.

FFT는 2N₂ 부터 2N log₂N 까지의 N 개의 데이터 포인트에 필요한 계산의 수를 감소시키는 이산 퓨리에 변환의 효율적인 알고리즘이다. FFT를 통하여 시간 도메인의 데이터 채널을 넘기는 것은 복합 주파수 도메인에서의 데이터 세그먼트를 위한 설명을 생성시킬 것이다.

간섭 관계는 두 개의 상이한 시계열 사이의 연관 또는 결합량의 측정이다. 따라서 간섭 관계의 계산은 주파수 대역 Cn의 두 개의 채널 a 및 b 사이에서 실행될 수 있고, 여기서 주파수 fμ의 채널 a 및 b 의 퓨리에 성분은 xaμ 및 xbμ이다.

따라서 간섭 관계의 계산은 주파수 대역 ω_n에서 두 개의 채널 a 및 b 사이에 실행될 수 있고, 여기서 주파수 f_μ의 채널 a 및 b 의 퓨리에 성분은 x_a _μ 및 x_b _μ일 때, 간섭 관계 계산은

이다.

상관 관계란 두 개의 상이한 시계열 사이의 연관 또는 결합량을 측정하기 위한 간섭 관계에 대한 대안이다. 위의 간섭 섹션에서와 동일한 가정하에 두 채널 x _a(t _i) 및 x _b(t _i) 의 신호 사이에 계산이 행하여지는 상관 관계 r _ab 은,

로 정의되며, 여기서 x _ai 및 x _bi 는 이미 이들에 적용되는 공통 대역 통과 필터링(1010)을 가진다.

도 4는 우선적으로 실시간으로 실행되고, 이후 프로세싱 시스템(109)에 의하여 실행되는 다양한 데이터 프로세싱 오퍼레이션을 도시한다. 단계(400)에서, 각 신호 표현의 하나 또는 그 이상의 계산된 특성값은 이용자의 심리 상태를 분류하기 위하여 프로세싱 시스템(109)의 메모리에 저장된 하나 또는 그 이상의 심리 상태 시그너처와 비교된다. 각 심리 상태 시그너처는 미리 정해진 심리 상태의 지표(indicative)인 기준 특성값을 정의한다.

많은 수의 기술이 프로세싱 장비(109)에 의하여 심리 상태 시그너처에 대한 계산된 특성값의 패턴과 일치시키기 위하여 이용될 수 있다. 다층 퍼셉트론 신경망(multi layer perceptron neural network)은 신호 표현이 저장된 신호에 상응하는 심리 상태의 지표인지 여부를 분류하기 위하여 사용될 수 있다. 프로세싱 시스 템(109)은 n 개의 입력, m 개의 숨은 노드의 하나 또는 그 이상의 은폐층들(hidden layers) 및 l 개의 출력 노드를 가진 출력층이 있는 표준 퍼셉트론을 사용할 수 있다. 출력 노드의 수는 얼마나 많은 독립 심리 상태를 프로세싱 시스템이 인식하고자 노력하는지에 의하여 결정된다. 대안적으로, 이용된 네트워크의 수는 검출되는 심리 상태의 수에 따라 변화될 수 있다. 신경망의 출력 벡터는

로 표현될 수 있으며, 여기서 W₁은 m × (n + 1)의 가중치 행렬, W₂는 l × (m + 1)의 가중치 행렬(가중치 행렬에서 추가되는 열은 추가되는 바이어스 텀(bias term)을 허용함), X = (X₁, X₂, ... X_n)은 입력 벡터이다. F₁ 및 F₂는 다른 행 벡터를 생산하기 위하여 별도로 행 벡터의 성분에 작용하는 활성화 함수이며, Y는 출력 벡터이다. 활성화 함수는 어떻게 노드가 입력에 의하여 활성화되는지를 결정한다. 프로세싱 시스템(109)은 시그모이드(sigmoid) 함수를 이용한다. 다른 가능성으로는 쌍곡선 탄젠트 함수 또는 심지어 선형 함수가 있다. 가중치 행렬은 회귀적으로 또는 동시에 한꺼번에 중의 하나 방법으로 결정된다.

공지된 샘플에 대한 미지의 샘플 유사성 결정을 위한 거리 측정은 신경망의 대안적 기술로서 이용될 수 있다. 변형된 마할라노비스(Mahalanobis) 거리, 표준화된 유클리드 거리 및 투사거리(projection distance)와 같은 거리는 계산된 특성값과 그로써 이용자의 심리 상태가 얼마나 잘 심리 상태 시그너처의 각각을 반영하는지를 지시하는 다양한 심리 상태 시그너처에 의하여 정의된 기준 특성값 사이의 유사성을 결정하기 위하여 이용된다.

심리 상태의 시그너처 및 가중치는 미리 정의된다. 예컨대, 몇몇 심리상태에 대하여, 시그너처는 이전에 특정한 시그너처가 발전된 적이 있는 사람들 사이에 걸쳐 충분히 균일하기 때문에(예컨대 고의적으로 시험 대상의 심리 상태를 유발시키고 그 결과적 시그너처를 측정함), 이 시그너처는 메모리에 로딩될 수 있으며 특정한 이용자에 의하여 교정 없이 이용될 수 있다. 반면에, 몇몇의 심리 상태에 대하여는, 시그너처는 사람들 사이에 걸쳐 충분하게 균일하지 않으므로 미리 정의된 시그너처는 이용될 수 없으며 또는 대상에 의한 제한된 만족으로서만 이용될 수 있다. 이러한 경우에, 시그너처(및 가중치)는 아래에서 설명한 대로 특정한 이용자에 대하여 장치(100)에 의하여 생성될 수 있다(예컨대 이용자가 몇몇 결과에 대하여 의지적 노력을 하도록 요청하여, 결과적 시그너처를 측정함으로써). 물론 몇몇 심리 상태에 대하여는, 시험 대상으로부터 미리 결정된 시그너처 및/또는 가중치의 정확도는 특정한 이용자에 대한 교정으로 향상시킬 수 있다. 예컨대, 특정한 이용자에 대한 비사고적인 심리 상태의 대상 강도를 교정하기 위하여, 위 이용자는 특정한 정신 상태를 생산하게끔 기대되는 자극에 노출되어 그 결과의 생체 신호는 미리 정의된 시그너처에 비교될 수 있다. 이용자는 심리 상태의 강도에 관하여 쿼리될 수 있으며, 이용자로부터의 결과적 피드백은 가중치를 조절하기 위하여 적용될 수 있다. 대안으로서, 교정은 저장된 다(多)-디멘션 표현 영역의 통계적 분석에 의하여 실행될 수 있다. 사고적 심리 상태를 교정하기 위하여, 이용자는 일정한 결과에 대한 의지적 노력을 하도록 요청될 수 있으며, 결과적 심리 상태의 다(多)- 디멘션 표현은 시그너처 또는 가중치를 조절하기 위하여 이용될 수 있다.

장치(100)는 또한 이용자의 다양한 심리 상태를 지시하는 시그너처를 생성하고 업데이트하도록 적용될 수 있다. 단계(402)에서, 단계들(300 내지 310)에서 생성된 다양하고 상이한 EEG 신호 표현의 데이터 샘플은 프로세싱 시스템(109)에 의하여 메모리에, 우선적으로 장치(100)의 모든 이용자를 위하여 저장된다. 따라서 데이터 샘플의 진화하는 데이터베이스는 생성되고, 이는 프로세싱 장비(109)로 하여금 장치(100)의 하나 또는 그 이상의 이용자를 위한 심리 상태 검출의 정확도를 점진적으로 향상시키게 한다.

단계(404)에서, 하나 또는 그 이상의 통계적 기법은 상이한 심리 상태를 특징지우는 데 있어 각 특성이 얼마나 중요한지를 결정하기 위하여 적용된다. 상이한 좌표는 얼마나 그들을 잘 구별지울 수 있는지에 따라 레이팅이 주어진다. 프로세싱 시스템(109)에 의하여 구축된 기법은 뇌의 하이라이트 영역 또는 상이한 심리 상태 동안에 활성화하는 EEG 신호로부터의 뇌파 주파수에 가정적 실험 절차를 이용한다. 극단적으로 단순한 레벌에서는, 획정된 시간 간격으로부터 데이터 샘플 세트가 주어진다면 이러한 접근은 전형적으로 EEG 신호의 표현로서의 몇몇의 평균 파워값이 여타의 것과 상이한지 여부를 결정하는 것을 포함한다. 이러한 "평균 차이" 시험은 모든 신호 표현에 대하여 프로세싱 시스템(109)에 의하여 실행된다.

바람직하게는, 프로세싱 시스템(109)은 활성화 동안에 상이점을 찾기 위하여 짝지어진 학생들의 T 시험과 결합되어 분산 분석(ANOVA) F 비(an Analysis of Variance F ratio) 테스트를 구축한다. 위 T 시험은 두 그룹에 대하여 일방향 ANOVA 시험과 기능적으로 동등하나, 또한 분석되는 평균 차이 방향의 측정값을 허여한다(예컨대 심리 상태 1의 평균값이 심리 상태 2에 대한 평균값보다 큰지 여부, 또는 그 반대). 학생들의 T 시험에 대한 일반적 공식은

이다.

T 방정식 하반부에서의 분모인 "n"은 분자에서 대조되는 평균값을 보상하는 특정한 심리 상태에 대하여 기록된 시계열의 수이다(예컨대 업데이트 동안에 기록된 오버랩 또는 비오버랩 이포크의 수).

후속적인 t 값은 프로세싱 시스템(109)에 의하여 전형적으로 분석되는 많은 수천의 특성의 중요도를 결정하기 위하여 특성 공간 디멘션을 평가를 포함하여 다양한 방식으로 이용된다. 특성은 선형 또는 비선형 스케일로, 또는 일정한 수준의 중요도를 충족하지 못하는 특성을 제거함으로써 이진 방식(binary fashion)으로 가중될 수 있다.

시그너처 업데이트 동안에 많은 수천의 가설 시험으로부터 생성될 수 있는 t 값의 영역은 이용자에게 업데이트 동안에 검출되는 심리 상태가 얼마나 멀리 분리되었는지에 대한 총체적인 지시를 주는데 이용될 수 있다. t 값은 두 액션의 특정한 평균 분리의 지시이며, 모든 좌표에 걸친 t 값의 영역은 평균적으로 좌표 모두 가 얼마나 잘 분리되었는지에 대한 메트릭을 제공한다.

위에서 언급한 기법은 프로세싱 시스템(109)가 동시에 각 개별 좌표에 대한 분석을 실행하고, 위 개별 t 시험 또는 ANOVA 시험 결과에 근거하여 특성 선택 결정을 하기 때문에 단위변량(univariate) 접근으로 불리운다. 검정(correction)은 질량(mass) 단위변량 접근의 이용 때문에의 확률 오류의 증가된 가능성을 조절하기 위하여 단계(406)에서 행하여질 수 있다. 이 목적에 적합한 통계 기법은 본파리니(Bonferroni), FDR(False Discovery Rate) 및 던시댁(Dunn Sidack)과 같은 다음의 다중 검정 방법(multiplicity correction method)을 포함한다.

대안적 접근은 프로세싱 시스템(109)이 좌표 사이의 임의의 잠재적인 공분산(covariation)을 설명하기 위한 질량 다변량(multivariate) 가정 시험에서 모든 좌표를 함께 분석하기 위한 것이다. 따라서 프로세싱 시스템(109)은 다변량 방식에서 특성 공간을 선택하는 수단을 제공할 뿐만 아니라 실시간 환경에서 미지의 신호 표현을 실제로 분류하기 위한 분석 동안에 생성되는 고유치(eigenvalue)의 이용을 허여하는 DFA(Discriminant Function Analysis) 및 분산값의 멀티바리이트 분석(MANOVA)과 같은 기법을 적용할 수 있다.

단계(408)에서, 프로세싱 시스템(109)은 좌표에 가중치를 줌으로써 유입되는 실시간 데이터 분류를 준비하고, 그 결과 특정한 심리 상태를 검출하는데 최대의 중요성을 가진 것들에 우선권이 주어진다. 이는 어댑티브(adaptive) 가중치 준비, 신경망 훈련 또는 통계적 가중을 적용함으로써 실행될 수 있다.

프로세싱 시스템(109)의 메모리에 저장된 시그너처는 단계(410)에서 업데이 트되거나 보정된다. 위 업데이트 과정은 진화하는 데이터베이스에 더해지는 데이터 샘플을 취하는 것을 포함한다. 위 데이터는 특정한 심리 상태의 검출을 위하여 도출된다. 예컨대 의지적 노력의 심리 상태를 업데이트하기 위하여, 이용자는 데이터베이스에 더해지고 검출을 위한 시그너처를 변형하기 위하여 프로세싱 시스템(109)에 의하여 이용되는 의지적 노력과 신호 데이터 샘플에 촛점을 맞추는 것에 촉구되어야 한다. 시그너처가 존재하는 때에는, 검출은 검출을 정의하는 시그너처를 업데이트하기 위한 피드백을 제공할 수 있다. 예컨대, 만일 이용자가 객체를 밀어 내는 것을 의지하는 신호를 향상시키고자 원한다면, 존재하는 검출은 시그너처가 업데이트됨에 따라 피드백을 제공하는 데 이용될 수 있다. 이러한 시나리오에서, 이용자는 업데이트되는 프로세스에 대한 강화를 제공하는 검출 향상을 본다.

단계(412)에서, 감독되는 학습 알고리즘은 단계(410)로부터 동적으로 업데이트 데이터를 취하고, 업데이트되어 왔던 심리 상태에 대한 시그너처를 향상시키기 위하여 기록된 데이터 샘플의 진화하는 데이터베이스와 조합한다. 시그너처는 초기에는 비어 있거나, 또는 기준점 또는 공통적인 시작 시그너처를 형성하기 위하여 조합되어 왔던 다른 이용자로부터의 이력 데이터를 이용함으로써 준비될 수 있다.

단계(414)에서, 업데이트되어 왔던 심리 상태에 대한 시그너처는 단계(416)에서 시그너처 피드백 레이팅(rating) 뿐만 아니라 심리 상태 분류(단계(400) 에서)를 가능하게 된다. 이용자가 주어진 심리 상태를 위한 시그너처를 발전시킴에 따라, 실시간에서 심리 상태 검출이 어떻게 진행되는지를 반영하는 레이팅이 가능하게 된다. 따라서 장치(100)는 이용자에게, 그들로 하여금 시간의 흐름에 따른 신호의 진화를 관찰할 수 있게끔 하는 피드백을 제공할 수 있다. 위에서의 논의는 특정한 심리 상태의 존재 또는 부재의 결정에 촛점을 맞추어져 왔다. 그러나, 특정한 심리 상태의 강도를 결정하는 것도 가능하다. 강도는 이용자로부터 시그너처까지 변형된 신호의 "거리"를 측정함으로써 결정될 수 있다. 거리가 클수록, 강도는 낮아진다. 강도 스케일로 이용자에 의하여 경험되는 대상의 강도까지의 거리를 보정하기 위하여, 이용자는 심리 상태의 세기에 관하여 쿼리할 수 있다. 이용자로부터의 결과적 피드백은 강도 스케일로의 거리를 보정하는 가중치 조절을 위하여 적용된다.

장치(100)가 유리하게 실시간에 가까운 시그너처의 온라인 생성을 가능하게 하는 것은 이하 내용에서 이해되어야 한다. 이용자의 심리 상태의 검출 및 시그너처의 생성은 수 분안에 성취될 수 있으며, 이후 심리 상태에 대한 이용자의 시그너처가 업데이트되면서 시간에 따라 정교해진다. 이는 상호작용적 응용에서 매우 중요한데, 여기에서 시간의 흐름에 따른 점진적 향상뿐만 아니라 단기적 결과도 중요하다.

장치(100)는 유리하게 실시간에서 미리 생성된 시그너처(미리 정의되었던지 또는 특정한 이용자를 위하여 생성되었던 간에)를 가지는 심리 상태의 검출을 가능하게 하는 것은 이하 내용에서 또한 이해되어야 한다. 따라서 이용자의 특정한 심리 상태의 존재나 부재 또는 특정한 심리 상태의 강도의 검출은 실시간으로 이루어진다.

게다가, 시그너처는 미리 정의될 필요가 없는 심리 상태를 위하여 생성될 수 있다. 장치(100)는 미리 정의된 자극을 통하여 미리 정의되고 명백한 심리 상태만이 아니라 기록된 심리 상태를 분류할 수 있다.

각각의 또는 모든 인간의 뇌는 미묘하게 차이가 있다. 주요한 뇌회들(gyri, 腦回) (봉우리 부분) 및 열구들(sulci, 裂溝) (함몰 부분)과 같은 거시적인 구조는 공통적이지만, 이는 이러한 일반화가 이루어질 수 있는 가장 큰 규모의 형태에서만 그러하다. 피질의 복잡하고 미세한 접힘은 지문만큼이나 개별적이다. 이러한 접힘에서의 다양성은 상이한 개인의 두개골에 가까운 뇌의 상이한 부분의 원인이 된다.

이러한 이유로, 전기 임펄스는, 두피 위에 조합으로 측정될 때에, 개인마다 상이하다. 이는 두피상에 기록된 EEG가 개인별로 상이하게 해석되어야 한다는 것을 의미한다. 역사적으로, EEG 측정을 통하여 개인에게 통제 수단을 제공한다는 것을 목적으로 시스템은 자주 이용된 시스템의 및 항상 이용자에 의한 광범위한 훈련을 요구한다.

여기에 기술된 심리 상태 검출 시스템은 많은 공간 영역, 주파수 영역 및 다른 디멘션을 커버할 수 있는 방대한 수의 특성 디멘션을 이용할 수 있다. 시그너처를 생성하고 업데이트함에 있어, 시스템은 특정한 심리 상태를 구별하기 위하여 그들의 능력에 따라 특성의 등급을 정하며, 따라서 주어진 심리 상태에서의 뇌의 활동을 더 잘 캡처할 수 있는 그러한 특성을 강조한다. 이용자에 의하여 선택된 특성들은 특정한 심리 상태를 구별할 수 있는 두피상에서 측정되는 전기 신호의 특징을 반영하며, 그로 인하여 어떻게 특정한 피질 안의 신호가 두피에서 명백해지는 지를 반영한다. 간단히 말해서, 특정한 정신 상태를 지시하는 이용자의 개별적인 전기 신호는 식별되어 시그너처 안에 저장되어진다. 이는 수분 안에 EEG의 개별성을 상보하는 알고리즘을 통하여 실시간의 심리 상태의 검출 또는 생성을 허용한다.

시스템(30)에 대하여 살펴보면, 도 6은 플랫폼(600)의 개략적인 표현을 도시하는데, 플랫폼은 심리 상태를 표현하는 신호를 이용하는 시스템의 일 실시예이다. 플랫폼(600)은 소프트웨어로서, 하드웨어로서(예컨대 ASIC) 또는 하드웨어와 소프트웨어의 조합으로서 구축될 수 있다. 플랫폼은 하나 또는 그 이상의 대상으로부터 미리 정해진 비사고적인 심리 상태를 표현하는 입력 신호(예컨대 상이한 감정적 반응)를 수신하게끔 적용된다. 도 6에서, 제 1 이용자로부터의 감정 반응을 표현하는 입력 신호는 n 개의 입력에 대한 입력 1로 언급되고 제 1 장비(602)에서 수신되는 반면, 제 2 이용자로부터의 감정 반응을 표현하는 상응하는 입력 신호는 제 2 입력 장비(604)에 의하여 수신되고 처리된다. 입력 핸들러(606)는 하나 또는 다수의 대상으로부터 감정 반응을 표현하는 다수의 입력을 처리하고, 신경망 또는 다른 학습 에이전트(608)에 대한 각 입력의 처리를 용이하게 한다. 게다가 플랫폼(600)은 추가 장비(610, 예컨대 센서 또는 메모리)로부터의 일련의 환경적 입력을 수신하게끔 적용된다. 이러한 환경적 입력은 일정한 방식으로 하나 또는 그 이상의 대상에게 영향을 주는 환경 변수의 현재 상태의 표현 또는 값을 표현한다. 환경적 변수는 신체적 환경(기온 또는 방안의 조명 조건) 또는 가상 환경(예컨대 전자적 여흥 환경에서의 대상과 아바타 사이의 상호작용의 성질) 중 하나에서 발생할 수 있다. 입력 핸들러(602)는 대상에 의하여 인식되는 환경 변수를 표현하는 입력을 처리하기 위하여 작동하며, 학습 에이전트(608)에 의한 환경적 입력의 처리를 용이하게 한다.

일련의 가중치(614)는 플랫폼(600)에 의하여 유지되며, 대상 및 입력 핸들러(606 및 612)에 의하여 제공되는 환경적 입력의 프로세싱에서 학습 에이전트(608)에 의하여 이용된다. 출력 핸들러(616)는 학습 에이전트에 의하여 제공된(608) 하나 또는 다수의 출력 신호를 처리하여 다수의 가능한 액션으로 하여금 대상의 의하여 인식될 수 있는 선택된 환경 변수의 변경을 실행되게끔 할 수 있게 적응된 출력 장비(618)에 보낸다.

도 7에서 도시된 대로, 단계(700)에서, 헤드세트(102)가 피팅된 하나 또는 그 이상의 대상의 미리 결정된 비사고적인 심리 상태(예컨대 감정적 반응)는 검출되고 분류된다. 검출된 감정적 반응은 기쁨, 두려움, 슬픔 또는 기타 다른 비의식적으로 선택된 감정적 반응일 수 있다.

플랫폼(600)에서 유지되는 가중치(614)는 각 대상에서 특정한 감정을 유발시키는 환경 변수의 유효성을 표현하는 각각이며, 어느 액션(618)이 학습 에이전트(608)에 의하여 특정한 감정을 향한 이용자의 감정적 반응을 가져오기 위하여 실행되는지를 선택하는 데 이용되고, 또한 선택된 액션의 각각에 의하여 유발되는 선택된 환경 변수에서 상대적 변화를 결정하기 위하여 이용된다.

각 대상은 문제의 특정한 상호작용 환경과 상호작용함에 따라, 가중치가 학습 에이전트(608)에 의하여 액션들(618) 각각에 의하여 유발되는 환경 변수에서의 변화에 종속하는 각 대상의 감정적 반응성과 일치하여 업데이트된다.

그에 따라서, 단계(702)에서, 가중치(604)는 학습 에이전트(408)에 의하여 액션들로 하여금 대상에서 타깃 감정적 반응을 유발시키는 유효한 가능성이 가장 크게끔 하는 상호작용적인 환경에서 변경될 수 있는 환경 변수에 적용될 수 있는 가능한 액션(418)에 적용된다. 예컨대 특정한 응용은 슬픔의 감정적 반응의 제거라는 목표를 가질 수 있다. 따라서 특정한 대상에 대하여, 가중치는 기쁨, 고요, 평화 또는 유사한 긍정적 감정의 감정적인 반응을 유발시킬 것 같은 선택 액션(예컨대 대상이 있는 방에서 음악이 연주되게끔 하고 조명 레벨을 증가시킴)에 적용된다.

단계(704)에서, 학습 에이전트(608) 및 출력 핸들러(616)는 선택된 액션(618)으로 하여금 대상에 의하여 인식된 환경 변수 내의 변화에 영향을 주도록 작동되게끔 한다. 단계(706)에서, 이용자의 감정적 반응은 다시 각 대상의 EEG 신호에서의 감정적 반응의 존재 및 플랫폼(600)에서의 검출된 감정을 표현하는 입력 신호(602 및 604)의 수신를 검출하고 분류함으로서 모니터링된다. 학습 에이전트(608)는 각 대상의 감정적 상태에서 상대적 변화를 관찰하며, 단계(708)에서, 대상의 감정적 반응을 최적함에 있어 그들의 유효성에 의존한 가중치를 업데이트한다.

도 6에 도시한 예에서, 플랫폼(600)은 로컬의 상호작용적 환경에서 동작한다. 도 8은 원격 및 네트워크된 환경 양쪽에서 동작하는 대안적 플랫폼(800)을 도시한다. 하나 또는 그 이상의 대상 및 환경 변수의 상태 또는 값의 상응하는 검출된 감정적 반응을 처리하고, 로컬의 상호작용적인 환경에서 선택된 환경 변수를 변 화하기 위하기 액션에 가중치를 적용하는 것 외에, 학습 에이전트(608)는 액션(806)이 대상의 하나 또는 그 이상에 의하여 인식된 선택된 환경 변수의 변환을 실행할 수 있기 위하여 인터넷과 같은 데이터 네트워크(804)를 통하여 원격의 출력 핸들러(802)에 상호연결된다. 예컨대, 도박의 환경에서, 액션(608)은 이용자의 로컬의 도박 콘솔 또는 PC(personal computer)와 같은 로컬의 상호작용적인 환경에서 실행될 수 있는 반면, 액션(806)은 원격의 도박 콘솔 또는 PC에서 실행될 수 있다. 네트워크된 도박 콘솔이 관련된 시나리오에서, 제 1 의 대상이 좌절의 감정을 경험하는 곳에서, 학습 에이전트(608)는 액션으로 하여금 로컬 대상에 의하여 경험된 좌절의 수준을 줄일 가능성이 있는 원격의 도박 콘솔에서 미리 정해진 파라미터를 변환하기 위하여 다른 대상에 의하여 이용된 원격의 도박 콘솔에서 실행되게 한다.

한편 다른 변형이 도 9에 도시되어 있다. 위 그림에 도시된 플랫폼(790)은 여분의 학습 에이전트 또는 프로세서(902)가 네트워크(804) 및 출력 핸들러 사이에 제공되어 네트워크된 또는 원격의 상호작용 환경이 학습 에이전트(608)에 의한 하나 또는 그 이상의 변형에 의존하지 않고, 로컬의 환경 조건 및/또는 프로세서(902)가 상호연결되는 하나 또는 그 이상의 상호작용적 환경으로부터의 충돌하는 입력들을 고려하는 몇몇의 로컬 정보가 제공되는 예외 외에는 도 6의 플랫폼(800)과 동일하다.

본 발명의 실시예들 및 이 명세서에 기술된 기능적 동작 모두는 이 명세서에서 개시된 구조적 수단 및 그것의 구조적 균등물 또는 그것들의 조합을 포함하여 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구축될 수 있다. 본 발명의 실시예들은 하나 또는 그 이상의 컴퓨터 제품들 즉 다시 말하면 정보 캐리어 내에(예컨대 머신 판독가능한 저장 장비 내에 또는 하나의 프로그램할 수 있는 프로세서, 하나의 컴퓨터 또는 다수의 프로세서 또는 다수의 컴퓨터와 같은 데이터 프로세싱 장치를 실행하거나 또는 동작을 제어할 수 있는 전달되는 신호 내에) 유형적으로 구축된 하나 또는 그 이상의 컴퓨터 프로그램으로서 구축될 수 있다. 컴퓨터 프로그램(이는 프로그램, 소프트웨어, 소프트웨어 응용 또는 코드 등으로 알려져 있음)은 컴파일되거나 또는 해석되는 언어를 포함하여 임의의 프로그래밍 언어로 씌여질 수 있으며, 이는 독자적인 프로그램 또는 모듈, 부품, 서브루틴 또는 컴퓨터 환경 내의 이용에 적합한 다른 유닛을 포함한 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 반드시 파일에 상응하는 것은 아니다. 프로그램은 다른 프로그램이나 데이터를 포함하는 파일의 일부 내에, 문제의 프로그램을 전용으로 하는 단일 파일 내에 또는 다수의 통합 파일(예컨대 하나 또는 그 이상의 모듈, 서브프로그램 또는 코드의 일부들을 저장하는 파일들) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트 또는 다수의 사이트에 걸쳐 분산되어 하나의 컴퓨터 또는 다수의 컴퓨터에서 실행될 수 있도록 구축되며, 통신망에 의하여 상호연결된다.

이 명세서에 기술된 프로세서 및 로직 흐름은 입력 데이터를 동작시키고 출력을 생성함으로써 기능을 실행하는 하나 또는 그 이상의 컴퓨터 프로그램을 실행하는 하나 또는 그 이상의 프로그램가능한 프로세서에 의하여 실행될 수 있다. 프로세스 및 로직 흐름은 또한 특수용도 로직 회로(예컨대 FPGA(filed programmable gate array) 또는 ASIC(application specific integrated circuit)에 의하여 실행될 수 있고, 장비는 그와 같이 구축될 수 있다.

본 발명의 많은 수의 실시예들이 기술되었다. 그럼에도 불구하고 다양한 변형이 본 발명의 기술적 사상이나 범주를 벗어나지 않고도 만들어질 수 있다는 점은 이해되어야 한다.

예컨대, 본 발명은 심리 상태 검출 엔진(114)으로부터 정보를 "끌어오기(pull)" 위하여 인터페이스를 통하여 쿼리의 문맥에 기술되어져 왔으나, 그러나 심리 상태 검출 엔진은 정보를 인터페이스를 통하여 시스템(30)으로 "밀어내기(push)"를 하게끔 형성될 수 있다.

다른 예처럼, 시스템(10)은 선택적으로 심박수, 혈압, 호흡 및 전기적 저항(갈비니 피부 반응 또는 GSR)와 같은 대상의 생리학적 과정의 직접적인 측정을 가능하게 하는 부가적 센서를 포함한다. 몇몇의 이러한 센서, 갈바니 피부 반응을 측정하는 몇몇의 센서는 헤드세트(102) 자체 내에 통합될 수 있다. 이러한 부가적인 센서로부터의 데이터는 비사고적 상태의 검출을 확인하고 보정하는데 이용될 수 있다.

그에 따라서, 다른 실시예들은 다음의 청구범위의 범주 안에 있다.

Claims

심리 상태(mental state)를 검출하는(decect) 방법으로서,

프로세서에서 하나 또는 그 이상의 생체 신호 검출기(bio-signal detectors)로부터 대상(subject)의 생체 신호를 수신하는 단계; 및

상기 프로세서에서 상기 생체 신호가 상기 대상 내의 특정한(particular) 심리 상태의 존재를 표현하는지(represent) 여부를 결정하는 단계

를 포함하는

심리 상태 검출 방법.
제 1 항에 있어서,

상기 특정한 심리 상태는,

비사고적인(non-deliberative) 심리 상태를 포함하는

심리 상태 검출 방법.
제 2 항에 있어서,

상기 비사고적인 심리 상태는,

감정(emotion), 기호(prefernce), 감각(sensation), 생리학적 상태(physiological state) 또는 조건(condition)인

심리 상태 검출 방법.
제 1 항에 있어서,

상기 프로세서로부터 상기 특정한 심리 상태가 존재하는지 여부를 표현하는 신호를 생성하는 단계를 추가로 포함하는

심리 상태 검출 방법.
제 1 항에 있어서,

상기 생체 신호는,

EEG(electroencephalograph) 신호를 포함하는

심리 상태 검출 방법.
제 1 항에 있어서,

상기 결정 단계는,

상기 생체 신호를 상이한 표현(representation)로 변환하는 단계를 추가로 포함하는

심리 상태 검출 방법.
제 6 항에 있어서,

상기 결정 단계는,

상기 상이한 표현(representation)의 하나 또는 그 이상의 특성(features)을 위한 값(values)을 계산하는 단계를 포함하는

심리 상태 검출 방법.
제 7 항에 있어서,

상기 결정 단계는,

상기 값을 심리 상태 시그너처(signature)에 비교하는 단계를 포함하는

심리 상태 검출 방법.
제 8 항에 있어서,

상기 특정한 심리 상태는,

비사고적인 심리 상태를 포함하고,

상기 비사고적인 심리 상태의 존재를 결정하는 단계는,

상기 심리 상태 시그너처의 보정(calibration) 없이도 실질적으로 실행되는

심리 상태 검출 방법.
제 1 항에 있어서,

상기 수신 및 결정 단계는,

실질적으로 실시간으로 발생하는

심리 상태 검출 방법.
컴퓨터 프로그램 생성물(product)로서,

머신 판독가능한(machine readabel) 매체에 유형적으로(tangibly) 저장되고,

상기 생성물은 프로세서로 하여금 제 1 항 내지 제 10 항 중의 어느 한 항의 방법을 실행하게끔 하는 동작가능한 명령어를 포함하는

컴퓨터 프로그램 생성물.
시스템으로서,

제 1 항 내지 제 10 항 중의 어느 한 항의 방법을 실행하게끔 형성된(configured) 프로세서를 포함하는

시스템.
검출된 심리 상태를 이용하는 방법으로서,

프로세서에, 심리 상태가 대상에 존재하는지 여부를 표현하는 신호를 수신하는 단계를 포함하는

검출된 심리 상태의 이용 방법.
제 13 항에 있어서,

상기 특정한 심리 상태는 비사고적인 심리 상태를 포함하는

검출된 심리 상태의 이용 방법.
제 14 항에 있어서,

상기 비사고적인 심리 상태는,

감정, 시그너처, 감각, 생리학적 상태 또는 조건인

검출된 심리 상태의 이용 방법.
제 13 항에 있어서,

상기 신호를 저장하는 단계를 추가로 포함하는

검출된 심리 상태의 이용 방법.
제 13 항에 있어서,

상기 신호에 근거한 환경을 변경하기 위한 액션(action)를 선택하는 단계를 추가로 포함하는

검출된 심리 상태의 이용 방법.
제 13 항에 있어서,

상기 비사고적인 상태는,

감정이고,

상기 방법은,

타깃 감정(target emotion)을 표현하는 데이터를 저장하는 단계;

상기 프로세서로써, 상기 타깃 감정을 향한 대상(subject)의 감정적인 반응 을 변경하게끔 기대되는 환경 변수로의 변경을 결정하는 단계; 및

상기 환경 변수의 상기 변경을 일으키는 단계

를 포함하는

검출된 심리 상태의 이용 방법.
제 18 항에 있어서,

상기 감정이 상기 대상이 존재하는지 여부를 표현하는 신호에 근거하여 타깃 감정이 유발되었는지(evoke) 여부를 결정하는 단계를 추가로 포함하는

검출된 심리 상태의 이용 방법.
제 19 항에 있어서,

상기 타깃 감정을 유발함에 있어 상기 환경 변수의 유효성(effectiveness)을 표현하는 가중치(weightings)는 저장하고, 상기 변경을 결정하는 가중치를 이용하는 단계를 추가로 포함하는

검출된 심리 상태의 이용 방법.
제 20 항에 있어서,

상기 감정이 존재하는지 여부를 표현하는 상기 신호에 근거한 학습 에이전트(learning agent)로써 상기 가중치를 업데이트하는 단계를 추가로 포함하는

검출된 심리 상태의 이용 방법.
제 13 항에 있어서,

상기 환경 변수는,

물리적(physical) 또는 가상적(virtual) 환경에서 발생하는

검출된 심리 상태의 이용 방법.
컴퓨터 프로그램 생성물로서,

머신 판독가능한 매체에 유형적으로 저장되고,

상기 생성물은,

프로세서로 하여금 제 13 항 내지 제 22 항 중의 어느 한 항의 방법을 실행하게끔 하는 동작가능한 명령어를 포함하는

컴퓨터 프로그램 생성물.
시스템으로서,

제 13 항 내지 제 22 항 중의 어느 한 항의 방법을 실행하게끔 형성된 프로세서를 포함하는

시스템.
심리 상태를 검출하고 이용하는 방법으로서,

하나 또는 그 이상의 생체 신호 검출기로써 대상의 생체 신호를 검출하는 단 계;

상기 생체 신호를 제 1 프로세서로 보내는(direct) 단계

상기 제 1 프로세서에서 상기 생체 신호가 상기 대상에의 특정한 심리 상태의 존재를 표현하는지 여부를 결정하는 단계;

제 1 프로세서로부터 상기 특정한 심리 상태가 존재하는지 여부를 표현하는 신호를 생성하는(generating) 단계;

제 2 프로세서에서 상기 신호를 수신하는 단계; 및

상기 신호를 저장하거나 상기 신호에 근거하여 환경을 변경하는 단계

를 포함하는

심리 상태의 검출 및 이용 방법
장치로서,

하나 또는 그 이상의 생체 신호 검출기,

상기 생체 신호가 대상 내의 특정한 심리 상태의 존재를 지시하는지 여부를 결정하고, 상기 특정한 심리 상태가 존재하는지 여부를 표현하는 신호를 생성하는, 상기 하나 또는 그 이상의 생체 신호 검출기로부터의 생체 신호에 형성된(configured) 제 1 프로세서, 및

상기 신호를 수신하고 상기 신호를 저장하거나 상기 신호에 근거하여 환경을 변경하도록 형성된 제 2 프로세서

를 포함하는

장치.
이용자의 환경과의 상호 작용의 방법으로서,

상기 이용자로부터의 하나 또는 그 이상의 생체 신호에 응답하는 미리 예정된 심리 상태의 존재를 검출하고 분류하는(classfy) 단계;

상기 이용자의 감정적인 반응에 영향을 주는 하나 또는 그 이상의 환경 변수를 선택하는 단계; 및

상기 선택된 환경 변수를 변경하기 위한 하나 또는 그 이상의 액션을 실행하고, 그 결과 이용자의 감정적 반응을 변경하는 단계

를 포함하는

이용자의 환경과의 상호 작용 방법.