KR20210003718A - 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션 - Google Patents

신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션 Download PDF

Info

Publication number
KR20210003718A
KR20210003718A KR1020207022751A KR20207022751A KR20210003718A KR 20210003718 A KR20210003718 A KR 20210003718A KR 1020207022751 A KR1020207022751 A KR 1020207022751A KR 20207022751 A KR20207022751 A KR 20207022751A KR 20210003718 A KR20210003718 A KR 20210003718A
Authority
KR
South Korea
Prior art keywords
social interaction
data
controlling
cns
value
Prior art date
Application number
KR1020207022751A
Other languages
English (en)
Other versions
KR102649074B1 (ko
Inventor
아르벨 에이. 챠펠
루이스 에스. 오스트로버
게리 레이크-샬
Original Assignee
워너 브로스. 엔터테인먼트 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 워너 브로스. 엔터테인먼트 인크. filed Critical 워너 브로스. 엔터테인먼트 인크.
Publication of KR20210003718A publication Critical patent/KR20210003718A/ko
Application granted granted Critical
Publication of KR102649074B1 publication Critical patent/KR102649074B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/161—Flicker fusion testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/38—Arrangements for distribution where lower stations, e.g. receivers, interact with the broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Epidemiology (AREA)

Abstract

복합 신경 생리학적 상태(CNS) 값을 위한 애플리케이션은 컴퓨터 게임 및 다른 사회적 상호작용 애플리케이션에서 참가자 감정 상태의 지표와 같은 값을 사용하는 평가를 포함한다. CNS는 유의성, 흥분 및 지배와 같은 다수의 차원을 따라 컨텐츠와의 플레이어 참여를 표현하기 위해 처리된 생체 센서 데이터에 기초하여 계산된다. 장치는 하드웨어, 펌웨어 및/또는 소프트웨어를 사용하는 방법을 수행하도록 구성된다.

Description

신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
관련 출원에 대한 교차 참조
본 출원은 2018년 1월 8일 제출된 미국 가출원 제62/614,811호, 2018년 4월 23일 제출된 미국 가출원 제62/661,556호, 2018년 8월 7일 제출된 미국 가출원 제62/715,766호에 대해 우선권을 주장하며, 모든 개시 사항은 전체 내용이 참조로서 본 명세서에 포함된다.
기술 분야
본 발명은 통신 강화(communication enhancement) 및 게임 애플리케이션에서의 신경 생리학적 상태의 검출로부터 생체 센서 데이터의 신호 처리를 위한 애플리케이션, 방법 및 장치에 관한 것이다.
많은 사람은 통신 중에 다른 사람의 감정을 공감하는데 능숙하지만; 다른 사람은 그렇지 않다. 전자 매체가 대인 관계 또는 인간-기계 통신에 일반적으로 점점 더 많이 사용됨에 따라 가시적 및 청각적 신호를 통한 감정적 신호 전달이 전자 통신 매체를 사용하는 사람들 사이에서 더 어렵거나 불가능해졌다. 텍스트 미디어에서, 사용자는 이모티콘 또는 다른 매뉴얼 신호(manual signal)에 의존한다. 종종 감정적 통신이 실패하고 사용자는 서로의 의도를 오해한다. 또한, 일부 사람은 자신의 감정을 가장하는데 능숙하며 때로는 자신의 기술을 사용하여 다른 사람을 속이거나 오도한다. 거짓말 탐지기와 같은 장비는 제한된 상황에서 이러한 문제를 해결하는데 사용되지만 널리 사용되기에는 너무 번거롭고 방해가 된다.
관련 문제에서, 많은 컴퓨터 게임이 사용자의 감정적 신호에 반응하지 않아 플레이어가 시간이 지남에 따라 게임 플레이에 대한 관심을 잃게 할 수 있다.
따라서, 개선된 대인 관계 또는 인간-기계 통신 및 게임을 위한 새로운 방법 및 다른 새로운 기술을 개발하는 것이 바람직하며, 이는 종래 기술의 이들 및 다른 한계를 극복하고 제작자가 미래의 청중에게 더욱 매력적인 엔터테인먼트 경험을 제공하도록 돕는다.
이 요약 및 다음의 상세한 설명은 통합된 개시의 보완 부분으로 해석되어야 하며, 이 부분은 중복 주제 및/또는 보충 주제를 포함할 수 있다. 어느 한 섹션의 생략이 통합된 출원에 설명된 요소의 우선순위 또는 상대적인 중요성을 나타내지 않는다. 섹션 사이의 차이는 각각의 개시에서 명백한 바와 같이, 대안적인 실시예의 보충 개시, 추가의 상세, 또는 상이한 용어를 사용하는 동일한 실시예의 대안적인 설명을 포함할 수 있다. 2018년 4월 23일에 제출된 이전 출원인 제62/661,556호는 본 출원에 기술된 복합 신경 생리학적 상태(Composite Neuro-physiological State, CNS)와 유사한, 센서 데이터를 기초로 하여 컨텐츠 참여 파워(Content Engagement Power, CEP)의 디지털 표현을 포함하나 이에 제한되지 않는 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하기 위한 기초를 마련했다. 이전 출원에서 더 자세히 설명한 바와 같이, 컴퓨터 프로세스는 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 비자발적 응답을 감지하도록 배치된 적어도 하나의 센서로부터의 센서 데이터를 기반으로 컨텐츠에 대한 CEP를 개발한다. 예를 들어, 센서 데이터는 대응하는 센서로부터 수신되는 뇌전도(electroencephalographic, EEG) 데이터, 갈바닉 피부 반응(galvanic skin response, GSR) 데이터, 안면 근전도(facial electromyography, fEMG) 데이터, 심전도(electrocardiogram, EKG) 데이터, 비디오 얼굴 행동 유닛(video facial action unit, FAU) 데이터, 뇌 기계 인터페이스(brain machine interface, BMI) 데이터, 비디오 펄스 검출(video pulse detection, VPD) 데이터, 동공 확장 데이터, 기능 자기 공명 이미징(functional magnetic resonance imaging, fMRI) 데이터, 신체 화학 감지 데이터 및 기능 근적외선 데이터(functional near-infrared data, fNIR) 중 하나 이상을 포함할 수 있다. CNS 계산에 동일하거나 유사한 센서를 사용할 수 있다. “사용자”는 엔터테인먼트 목적으로 소비자로서 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션을 경험하는 청중 구성원을 의미한다. 본 출원은 아래에 요약된 다양한 적용에서 CNS를 사용하는 그 토대에 기초한다.
CNS는 자극, 예를 들어 비디오 게임을 플레이하거나 사회적 상호작용을 용이하게 하는 애플리케이션에 참여하면서 사회적 상호작용 동안 사용자의 신경 생리학적 상태에 상관되는 사용자의 생체 상태에 대한 객관적이고 알고리즘적인 디지털 전자 측정이다. 본 명세서에서 사용된 바와 같이, “사회적 상호작용”은 두 명 이상의 사람이 상호작용하는 임의의 게임, 그리고 사용자가 컴퓨터에 의해 작동하는 비 플레이어 캐릭터와 대항하거나 그 자신의 이전 공연(예를 들어, 비교함)에 대항하여 플레이할 때와 같이 대인 관계 통신 또는 시뮬레이션된 사회적 상호작용과 같은 사회적 상호작용의 다른 형태를 포함한다. 주어진 사회적 상호작용에서, 사용자는 내부 신경 생리학적 상태가 센서에 의해 감지할 수 있는 외부 효과에 어떻게 대응하는지 학습하는데 관심이 있을 수 있다. 관심 상태는 사용자 자신의 신경 생리학적 상태이거나 다른 사용자의 상태일 수 있다. 본 명세서에서 사용되는 “신경 생리학적”은 사람의 생리학적 상태, 신경학적 상태 또는 두 상태 모두를 나타내거나 그로부터 유래하는 것을 의미한다. “생체”는 “신경 생리학적”을 포함하고 다른 정보, 예를 들어 신원 정보를 포함할 수 있는 생물학적 상태의 척도를 의미한다. 예를 들어, 사람의 얼굴 또는 다른 신체 부분의 이미지와 같은 일부 데이터는 신원 및 신경 생리학적 상태 모두를 나타낼 수 있다. 본 명세서에서 사용된 바와 같이, “생체”는 “신경 생리학적”을 항상 포함한다.
CNS는 적어도 2 가지 직교 측정, 예를 들어 흥분(arousal) 및 유의성(valence)을 표현한다. 본 명세서에 사용된 바와 같이, “흥분”은 심리학에서의 의미에 따라 생리학적으로 경고적이고, 깨어 있고 주의를 기울이는(attentive) 상태 또는 조건을 의미한다. 높은 흥분은 관심과 주의를 나타내면, 낮은 흥분은 지루함과 무관심을 나타낸다. “유의성”은 또한 선량함 또는 매력의 심리적 감지로 본 명세서에서 사용된다. 양의 유의성은 매력을 나타내고 음의 유의성은 혐오를 나타낸다.
일 양태에서, 사용자의 신경 생리학적 상태의 표현(예를 들어, 정량적 측정 또는 정성적 기호)에 기초하여 사회적 상호작용 애플리케이션을 제어하는 방법은 적어도 하나의 프로세서에 의해 사회적 상호작용으로부터의 디지털 데이터, 예를 들어 게임 또는 구조화되지 않은 채팅을 모니터링하는 단계를 포함할 수 있다. 방법은 사회적 상호작용 동안 적어도 한 명의 사용자의 신경 생리학적 반응을 감지하도록 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계를 포함할 수 있다. 방법은 센서 데이터에 기초하여 복합 신경 생리학적 상태(CNS) 값을 결정하는 단계, 컴퓨터 메모리에 CNS 값을 기록하는 단계 및/또는 CNS 값의 표현을 사용자 또는 사회적 상호작용에서의 다른 참가자에게 통신하는 단계을 포함할 수 있다. 일 양태에서, CNS 값을 결정하는 단계는 센서 데이터에 기초하여 흥분 값을 결정하는 단계 및 센서 데이터에 기초한 자극 평균 흥분(stimulation average arousal)을 기대 평균 흥분(expectation average arousal)과 비교하는 단계를 더 포함할 수 있다. 센서 데이터는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 기능 자기 공명 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함할 수 있다.
일 양태에서, 복합 신경 생리학적 상태(CNS)를 계산하는 단계는 인지 평가 모델(cognitive appraisal model)에 기초할 수 있다. 또한, CNS를 계산하는 단계는 센서데이터에 기초하여 유의성 값을 계산하는 단계 및 신경 생리학적 상태의 측정을 결정하는 단계에 유의성 값을 포함시키는 단계를 포함할 수 있다. 유의성 값을 결정하는 단계는 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 공명 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 및 양전자 방출 단층 촬영(positron emission tomography, PET) 중 하나 이상을 포함하는 센서 데이터에 기초할 수 있다.
관련 양태에서, 방법은 알려진 오디오-비디오 자극에 관여하는 동안 수신자의 유사한 비자발적 응답을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 포함할 수 있다. 따라서, 방법은 알려진 비 흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오-비디오 자극을 재생하는 단계를 포함할 수 있다. CNS 값을 결정하는 단계, 하나 이상의 사용자 각각에 대한 다중 이벤트 파워 중 하나를 계산하는 단계, 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하는 단계, 기대 평균 흥분을 결정하는 단계 및 센서 데이터에 기초하여 유의성 값을 결정하는 단계의 더 상세한 양태는 본 명세서의 위 또는 아래의 보다 상세한 설명에서 다른 애플리케이션에 대해 설명된 바와 같을 수 있다.
전술한 방법은 컴퓨터 프로세서에 의해 실행될 때 장치가 설명된 동작을 수행하게 하는 비일시적 컴퓨터 판독 가능 매체에 제공된 프로그램 명령에 의해 임의의 적절한 프로그래밍 가능한 컴퓨터 장치에서 구현될 수 있다. 프로세서는 장치 및 사용자에게 로컬이거나, 원격으로 위치할 수 있거나, 또는 로컬 및 원격 프로세서의 조합을 포함할 수 있다. 장치는 컨텐츠 출력 장치에 대한 CNS 또는 유사한 참여 측정을 측정하고 통신하는데 사용되는 컴퓨터 또는 연결된 컴퓨터의 세트를 포함할 수 있다. 컨텐츠 출력 장치는 예를 들어 개인용 컴퓨터, 모바일 폰, 오디오 수신기(예를 들어, 블루투스 이어피스), 노트패드 컴퓨터, 텔레비전 또는 컴퓨터 모니터, 프로젝터, 가상 현실 장치, 증강 현실 장치 또는 햅틱 피드백 장치를 포함할 수 있다. 장치의 다른 요소는 예를 들어 방법의 실행에 참여하는 사용자 입력 장치 및 오디오 출력 장치를 포함할 수 있다. 장치는 사용자의 머리 및 다른 신체 부분의 움직임에 반응하는 헤드셋 또는 다른 디스플레이와 같은 가상 또는 증강 현실 장치를 포함할 수 있다. 장치는 CNS의 디지털 표현을 결정하기 위해 제어기에 의해 사용되는 데이터를 제공하는 생체 센서를 포함할 수 있다.
전술한 목적 및 관련 목적을 달성하기 위해, 하나 이상의 예는 이하에서 충분히 설명되고 특히 청구 범위에서 지적되는 특징을 포함한다. 다음의 설명 및 첨부된 도면은 특정한 예시적인 양태를 상세히 설명하고 실시예의 원리가 이용될 수 있는 다양한 방식 중 일부만을 나타낸다. 다른 이점 및 신규한 특징은 도면 및 개시된 실시예와 관련하여 고려될 때 다음의 상세한 설명으로부터 명백해질 것이며, 이러한 모든 양태 및 그 등가물을 포함한다.
본 발명의 특징, 특성 및 이점은 유사한 참조 번호가 명세서 및 도면 전체에 걸쳐 대응하는 유사한 요소를 나타내는 도면과 관련하여 후술될 상세한 설명으로부터 더 명백해질 것이다.
도 1은 하나 이상의 분배 시스템에 결합된 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하는 시스템 및 장치의 양태를 도시하는 개략적인 블록도이다.
도 2는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하기 위한 서버의 양태를 도시하는 개략적인 블록도이다.
도 3은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하기 위한 클라이언트 장치의 양태를 도시하는 개략적인 블록도이다.
도 4는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하기 위한 가상 현실 클라이언트 장치의 특징을 나타내는 개략도이다.
도 5는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 수행 동안 수집된 생체 센서 데이터에 기초하여 CNS의 디지털 표현을 결정하는 방법의 높은 수준의 동작을 도시하는 흐름도이다.
도 6은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 참여를 디지털로 표현하기 위한 시스템의 높은 수준의 양태를 도시하는 블록도이다.
도 7a는 2차원 신경 생리학적 공간의 축에 대한 신경 생리학적 상태의 배열을 나타내는 다이어그램이다.
도 7b는 3차원 신경 생리학적 공간의 축에 대한 신경 생리학적 상태의 배열을 나타내는 다이어그램이다.
도 8은 생체 반응 데이터에 기초하여 컨텐츠 참여 등급을 결정하기 위한 프로세스 및 알고리즘을 도시하는 흐름도이다.
도 9는 본 명세서에 설명된 방법 및 장치에 사용된 생체 데이터를 수집하기 위한 센서 및 액세서리와 함께 모바일 애플리케이션을 사용하는 사용자의 사시도이다.
도 10은 생체 센서 데이터를 사용하는 사회적 상호작용 애플리케이션을 제어하기 위한 방법의 양태를 도시하는 흐름도이다.
도 11은 플레이어 또는 사용자의 신경 생리학적 상태의 측정을 도시하는 흐름도이다.
도 12는 생체 인식(biometric tell)과의 대인 통신을 강화시키기 위해 생체 센서를 갖는 모바일 장치를 포함하는 시스템을 도시하는 다이어그램이다.
도 13은 생체 인식과의 대인 통신을 강화시키기 위해 시스템을 작동시키기 위한 방법의 양태를 도시하는 흐름도이다.
도 14-16은 도 21에 도시된 방법의 선택적인 추가 양태 또는 동작을 도시하는 흐름도이다.
도 17은 생체 인식과의 대인 통신을 강화시키기 위한 장치 또는 시스템의 컴포넌트를 도시하는 개념적인 블록도이다.
이제 다양한 양태가 도면을 참조하여 기술된다. 다음의 설명에서, 설명의 목적으로 하나 이상의 양태에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 이러한 특정 세부 사항 없이도 다양한 양태가 실행될 수 있음은 자명할 수 있다. 다른 예에서, 공지된 구조 및 장치는 이러한 양태의 설명을 용이하게 하기 위해 블록도의 형태로 도시된다.
도 1을 참조하면, 통신 참여 애플리케이션의 신경 생리학적 상태를 검출하기 위한 생체 센서 데이터의 신호를 처리하기 위한 방법은 클라이언트 서버 환경(100)에서 구현될 수 있다. 다른 아키텍쳐도 적합할 수 있다. 네트워크 아키텍처에서 센서 데이터는 로컬로 수집 및 처리될 수 있으며, 커뮤니케이션 또는 게임 프로세스를 제어하기 위한 또는 사용자의 자신의 신경 생리학적 상태 또는 개인 커뮤니케이션 또는 게임의 다른 사용자의 상태를 알리기 위한 생체 센서 데이터에 기초하여 사용자 신경 생리학적 상태의 디지털 표현을 계산하고 기계를 제어하기 위한 컴퓨터 메모리에서 사용하는 하나 이상의 대상으로부터 생체 센서 데이터를 처리하는 서버로 전송될 수 있다.
적합한 클라이언트 서버 환경(100)은 하나 이상의 네트워크, 예를 들어 광역 네트워크(WAN, 102)(예를 들어, 인터넷) 및/또는 무선 통신 네트워크(WCN, 104), 예를 들어 핸드폰 네트워크를 통해 통신하는 다양한 컴퓨터 서버 및 클라이언트 엔티티를 포함할 수 있다. 컴퓨터 서버는 다양한 아키텍처로 구현될 수 있다. 예를 들어, 환경(100)은 예를 들어 HTML, XML, PHP 및 자바 스크립트 문서 또는 실행 가능한 스크립트를 포함하지만 이에 제한되지 않는 월드 와이드 웹 프로토콜과 호환되는 문서 및 애플리케이션 코드를 포함하는 하나 이상의 웹/애플리케이션 서버(124)를 포함할 수 있다. 웹/애플리케이션 서버(124)는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 애플리케이션을 출력하고 컨텐츠를 경험하는 사용자로부터 생체 센서 데이터를 수집하기 위한 애플리케이션을 제공할 수 있다. 대안적으로, 데이터 수집 애플리케이션은 수학 서버(110), 클라우드 서버(122), 블록 체인 엔티티(128) 또는 컨텐츠 데이터 서버(126)로부터 제공될 수 있다. 이하에서 더 상세히 설명되는 바와 같이, 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션을 경험하기 위한 환경은 라이브 상호 작용 시어터를 위한 실제 세트 또는 가상 시어터를 제공하는 모델링 및 렌더링 엔진에 데이터를 공급하는 하나 이상의 데이터 수집 클라이언트의 조합을 포함할 수 있다.
환경(100)은 데이터, 예를 들어 클라이언트 장치를 사용하여 소비하기 위한 게임 또는 사회적 매체 애플리케이션의 비디오, 오디오-비디오, 오디오 및 그래픽 컨텐츠 컴포넌트, 클라이언트 장치와 함께 실행하기 위한 소프트웨어, 예를 들어 센서 제어 및 센서 신호 처리 애플리케이션 및 사용자 또는 클라이언트 장치로부터 수집된 데이터를 보유하기 위한 하나 이상의 데이터 서버(126)를 포함할 수 있다. 클라이언트 장치 또는 사용자로부터 수집된 데이터는 예를 들어 센서 데이터 및 애플리케이션 데이터를 포함할 수 있다. 센서 데이터는 클라이언트 장치 상에서 동작하는 배경(사용자 대면이 아닌) 애플리케이션에 의해 수집될 수 있고 데이터 싱크, 예를 들어 클라우드 기반 데이터 서버(122) 또는 이산 데이터 서버(126)로 전송될 수 있다. 애플리케이션 데이터는 다른 애플리케이션 입력, 출력 또는 내부 상태 또는 애플리케이션과의 사용자 상호작용의 레코드를 포함하지만 이에 제한되지 않는 애플리케이션 상태 데이터를 의미한다. 애플리케이션은 비디오 게임, 사회적 상호작용 또는 개인 트레이닝을 위한 소프트웨어를 포함할 수 있다. 애플리케이션 및 데이터는 다른 유형의 서버, 예를 들어 분산 블록 체인 데이터 구조(128)에 액세스하는 임의의 서버 또는 마이크로 서버 또는 클라이언트로서 동시에 동작하는 클라이언트 장치의 세트(118, 120)에 의해 제공될 수 있는 피어 투 피어(P2P) 서버(116)로부터 제공될 수 있다.
본 명세서에서 사용되는 바와 같이, “사용자”는 항상 시스템 노드가 게임 또는 다른 사회적 상호작용의 사용을 위한 감정적 상태의 디지털 표현을 결정하는데 사용하기 위한 신경 생리학적 반응 데이터를 수집하는 비디오 게임 또는 사회적 상호작용 애플리케이션의 소비자이다. 아바타 또는 다른 에이전시를 통해 게임 또는 사회적 경험에 적극적으로 참여하는 경우, 사용자는 본 명세서에서 플레이어 액터라고도 지칭될 수 있다. 시청자가 항상 사용자인 것은 아니다. 예를 들어, 방관자(bystander)는 시스템이 생체 반응 데이터를 수집하지 않는 수동 뷰어일 수 있다. 본 명세서에 사용된 바와 같이, “노드”는 컴퓨터 네트워크에 참여하는 클라이언트 또는 서버를 포함한다.
네트워크 환경(100)은 다양한 다양한 클라이언트 장치, 예를 들어 WCN(104) 및 WAN(102)을 통해 서버에 연결되는 모바일 스마트폰 클라이언트(106) 및 노트패드 클라이언트(108), 라우터(112) 및 WAN(102)을 통해 서버에 연결되는 혼합 현실(예를 들어, 가상 현실 또는 증강 현실) 클라이언트 장치(114)를 포함할 수 있다. 일반적으로, 클라이언트 장치는 서버를 통해 또는 로컬 스토리지로부터 제공된 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션에 액세스하기 위해 사용자에 의해 사용되는 컴퓨터일 수 있거나 이를 포함할 수 있다. 일 양태에서, 데이터 처리 서버(110)는 실시간 또는 오프라인 애플리케이션에 사용하기 위한 생체 데이터의 디지털 표현을 결정할 수 있다. 리얼 타임 애플리케이션은 예를 들어 비디오 게임, 클라이언트 장치를 통한 감정적 피드백이 있는 대면 소셜 게임, 개인 트레이닝 및 자기 개선을 위한 애플리케이션, 실시간 사회적 상호작용 예를 들어 텍스트 채팅, 보이스 채팅, 비디오 회의 및 가상 프레젠스 회의를 위한 애플리케이션을 포함할 수 있다. 오프라인 애플리케이션은 예를 들어 생산 제안을 “승인(green lighting)”, 승인 전의 생산 제안을 자동으로 스크리닝, 트레일러 또는 비디오 광고와 같은 판촉 컨텐츠의 자동 또는 반자동 패키징, 사용자 또는 사용자 코호트(cohort)를 위한 컨텐츠의 사용자 정의 편집(customized editing)(자동 및 반자동 모두)을 포함할 수 있다.
도 2는 환경(100)에서, 유사한 네트워크에서 또는 독립적인 서버로서 동작할 수 있는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션과의 사용자 참여를 디지털로 표현하기 위한 데이터 처리 서버(200)를 도시한다. 서버(200)는 하나 이상의 하드웨어 프로세서(202, 214)(하나 이상의 도시된 것들 중 2 개)를 포함할 수 있다. 하드웨어는 펌웨어를 포함한다. 하나 이상의 프로세서(202, 214) 각각은 사용자의 신경 생리학적 상태를 나타내는 생체 센서 데이터를 위한 소스(220)에 대한 입력/출력 포트(216)(예를 들어, 범용 직렬 버스 포트 또는 다른 직렬 또는 병렬 포트)에 연결될 수 있다. 서버의 일부 유형, 예를 들어 클라우드 서버, 서버 팜 또는 P2P 서버는 단일 서버의 기능을 수행하기 위해 협력하는 개별 서버(200)의 다중 인스턴스를 포함할 수 있다.
서버(200)는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 게임 또는 사회적 상호작용 동안 사용자 신경 생리학적 상태를 디지털로 표현하는데 사용되는 센서 및 애플리케이션 데이터를 포함하지만 이에 한정되지 않는 애플리케이션 및 데이터를 송수신하기 위한 네트워크 인터페이스(218)를 포함할 수 있다. 컨텐츠는 서버(200)로부터 클라이언트 장치로 제공되거나 클라이언트 장치에 의해 로컬로 저장될 수 있다. 클라이언트 장치에 로컬로 저장된 경우, 클라이언트 및 서버(200)는 센서 데이터의 수집 및 처리를 위해 서버(200)로의 전송을 처리하도록 협력할 수 있다.
서버(200)의 각각의 프로세서(202, 214)는 본 명세서에 기술된 방법을 수행하기 위한 애플리케이션 또는 애플리케이션들의 기능 모듈(206, 208, 210, 212)을 보유하는 적어도 하나의 메모리(204)에 동작 가능하게 연결될 수 있다. 모듈은 예를 들어 흥분 또는 유의성과 같은 하나 이상의 메트릭에 생체 피드백을 관련시키는 관련 모듈(206)을 포함할 수 있다. 관련 모듈(206)은 프로세서(202 및/또는 214)에 의해 실행될 때 머신 러닝(ML) 또는 다른 프로세스를 사용하여 서버로 하여금 생체 센서 데이터를 사용자의 하나 이상의 신경 생리학적(예를 들어, 감정) 상태와 상관시키도록 하는 명령을 포함할 수 있다. 이벤트 검출 모듈(208)은 데이터 임계 값을 초과하는 하나 이상의 생체 센서 입력의 척도 또는 지표에 기초하여 이벤트를 검출하기 위한 기능을 포함할 수 있다. 모듈은 예를 들어 정규화 모듈(210)을 더 포함할 수 있다. 정규화 모듈(210)은 프로세서(202 및/또는 214)에 의해 실행될 때 서버가 베이스라인 입력을 사용하여 측정 유의성, 흥분 또는 다른 값을 정규화하도록 하는 명령을 포함할 수 있다. 모듈은 프로세서에 의해 실행될 때 서버로 하여금 센서 데이터 및 업 스트림 모듈로부터의 다른 출력에 기초하여 CNS(Composite Neuro-physiological State)를 계산하게 하는 계산 기능(212)을 더 포함할 수 있다. CNS를 결정하는 세부 사항은 본 명세서에 나중에 개시된다. 메모리(204)는 추가 명령, 예를 들어 운영 체제 및 지원 모듈을 포함할 수 있다.
도 3을 참조하면, 컨텐츠 소비 장치(300)는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션 신호로부터 생성된 출력에 대한 사용자의 신경 생리학적 반응을 나타내는 생체 센서 데이터를 생성한다. 장치(300)는 예를 들어 프로세서(302), 예를 들어 IntelTM 또는 AMDTM에 의해 설계된 80×86 아키텍처에 기초한 중앙 처리 유닛, ARMTM에 의해 설계된 시스템 온 칩(system-on-a-chip) 또는 임의의 다른 적절한 마이크로프로세서를 포함할 수 있다. 프로세서(302)는 버스 또는 다른 연결을 사용하여 3D 환경 장치(300)의 보조 장치 또는 모듈에 통신 가능하게 연결될 수 있다. 선택적으로, 프로세서(302) 및 그 결합된 보조 장치 또는 모듈은 하우징(301), 예를 들어 텔레비전, 셋톱 박스, 스마트 폰, 웨어러블 구글, 안경 또는 바이저의 폼 팩터 또는 다른 폼 팩터를 갖는 하우징 내에 수용되거나 이에 연결될 수 있다.
사용자 인터페이스 장치(324)는 미디어 플레이어 및 데이터 수집 프로세스에 사용자 제어 입력을 제공하기 위한 프로세서(302)에 연결될 수 있다. 프로세스는 디스플레이 스크린 또는 프로젝션 디스플레이 장치를 위한 비디오 및 오디오를 출력하는 단계를 포함할 수 있다. 일부 실시예에서, 브랜칭된 컨텐츠 제어 프로세스는 프로세서(302) 상에서 실행되는 혼합 현실 몰입형 디스플레이 엔진에 의해 동작되는 몰입형 혼합 현실 컨텐츠 디스플레이 프로세스를 위한 오디오-비디오 출력일 수 있거나 이를 포함할 수 있다.
사용자 제어 입력은 예를 들어 터치 스크린, 키보드, 포인팅 장치(예를 들어, 게임 컨트롤러), 마이크로폰, 모션 센서, 카메라 또는 이들의 일부 조합 또는 블록(324)에 의해 표시되는 다른 입력 장치를 통해 생성된 그래픽 사용자 인터페이스 또는 다른 입력(예를 들어, 문자 또는 방향 명령)으로부터의 선택을 포함할 수 있다. 이러한 사용자 인터페이스 장치(324)는 입/출력 포트(326), 예를 들어 범용 직렬 버스(USB) 또는 등가 포트를 통해 프로세서(302)에 연결될 수 있다. 제어 입력은 또한 프로세서(302)에 연결된 센서(328)를 통해 제공될 수 있다. 센서(328)는 예를 들어 모션 센서(예를 들어, 가속도계), 위치 센서, 카메라 또는 카메라 어레이(예를 들어, 입체 어레이(stereoscopic array)), 생체 온도 또는 펄스 센서, 터치(압력) 센서, 고도계(altimeter), 위치 센서(예를 들어, GPS(Global Positioning System) 수신기 및 제어기), 근접 센서, 모션 센서, 연기 또는 증기 검출기, 자이로스코프 위치 센서, 라디오 수신기, 멀티 카메라 추적 센서/제어기, 눈 추적 센서, 마이크로폰 또는 마이크로폰 어레이, 뇌전도(EEG) 센서, 갈바닉 피부 반응(GSR) 센서, 안면 근전도(fEMG) 센서, 심전도(EKG) 센서, 비디오 얼굴 행동 유닛(FAU) 센서, 뇌 기계 인터페이스(BMI) 센서, 비디오 펄스 검출(VPD) 센서, 동공 확장 센서, 신체 화학 센서, 기능 자기 공명 이미징(fMRI) 센서, 광용적맥파(photoplethysmography, PPG) 센서, 위상 배열 레이더(phased-array rader, PAR) 센서 또는 기능 근적외선 데이터(fNIR) 센서이거나 이를 포함할 수 있다. 눈 추적 센서, FAU 센서, PAR 센서, 동공 확장 센서 또는 심박수 센서 중 하나 이상은 예를 들어, iPhone 10 및 안면 인식을 위한 다른 스마트폰에 사용되는 바와 같이 전면(또는 후면) 입체 카메라일 수 있거나 이를 포함할 수 있다. 마찬가지로, 스마트폰 또는 유사한 장치의 카메라는 예를 들어 동공 확장의 변화와 관련되는 주변 광 변화를 검출하도록 주변 광 검출을 위해 사용될 수 있다.
센서 또는 센서들(328)은 사용자의 신경 생리학적 상태의 지표, 예를 들어 얼굴 표정, 피부 온도, 동공 확장, 호흡 속도, 근육 긴장, 신경계 활동, 맥박, EEG 데이터, GSR 데이터, fEMG 데이터, EKG 데이터, FAU 데이터, BMI 데이터, 동공 확장 데이터, 화학 검출(예를 들어, 옥시토신) 데이터, fMRI 데이터, PPG 데이터 또는 FNIR 데이터 중 하나 이상으로 사용되는 생체 데이터를 검출할 수 있다. 또한, 센서(들)(328)는 사용자의 상황, 예를 들어 사용자의 물리적 환경 및 환경에서 객체의 식별 위치, 사이즈, 배향 및 이동 또는 사용자 인터페이스 디스플레이의 모션 또는 다른 상태, 예를 들어 가상 현실 헤드셋의 모션을 검출할 수 있다. 센서는 디스플레이 장치를 포함하여 또는 스마트 폰, 스마트 워치 또는 이식형 의료 모니터링 장치와 같은 보조 장비에 웨어러블 기어로 내장되거나 또는 비-웨어러블일 수 있다. 센서는 또한 예를 들어 핸즈 프리 네트워크 액세스에 사용되는 인터넷 연결 마이크로폰 및/또는 카메라 어레이 장치와 같은 주변 장치 또는 실제 세트에 걸쳐 어레이에 배치될 수 있다.
하나 이상의 센서(328)로부터의 센서 데이터는 디스플레이 출력을 제어하기 위해 CPU(302)에 의해 로컬로 처리될 수 있고 그리고/또는 서버에 의해 실시간으로 처리하기 위해 또는 비실시간 처리를 위해 서버(200)로 전송될 수 있다. 본 명세서에서 사용되는 “실시간”은 입력과 출력 사이에 임의의 지연 없이 사용자 입력에 반응하여 처리하는 것을 지칭하며; 즉, 기술적으로 가능한 한 빨리 반응한다. “비실시간” 또는 “오프라인”은 배치 처리 또는 디스플레이 제어를 위한 즉각적인 제어 입력을 제공하는데 사용되지는 않지만 임의의 지연 시간 후에 디스플레이를 제어할 수 있는 센서 데이터의 다른 사용을 지칭한다.
컴퓨터 네트워크의 다른 노드, 예를 들어 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션 서버(200)와의 통신을 가능하게 하기 위해, 클라이언트(300)는 네트워크 인터페이스(322), 예를 들어, 유선 또는 무선 이더넷 포트를 포함할 수 있다. 예를 들어, 비 영화 멀티 사용자 애플리케이션, 예를 들어 소셜 네트워킹, 그룹 엔터테인먼트 경험, 교육 환경, 비디오 게임 등과 같은 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 몰입형 또는 비몰입형 경험을 포함하는 멀티 플레이어 경험을 가능하게 하기 위해 네트워크 통신이 사용될 수 있다. 네트워크 통신은 또한 데이터 처리, 컨텐츠 전달, 컨텐츠 제어 및 추적을 포함하는 목적으로 클라이언트 및 네트워크의 다른 노드 사이의 데이터 전송에 사용될 수 있다. 클라이언트는 바람직하게는 사용자 관리를 요구하지 않고 애플리케이션 레벨 통신 요구 및 하부 레벨 통신 프로토콜을 처리하는 통신 모듈(306)을 사용하여 다른 네트워크 노드와의 통신을 관리할 수 있다.
디스플레이(320)는 예를 들어 프로세서(302) 또는 별도의 칩에 통합된 그래픽 처리 유닛(318)을 통해 프로세서(302)에 연결될 수 있다. 디스플레이(320)는, 예를 들어, 발광 다이오드(LED) 또는 다른 램프에 의해 조명되는 평면 스크린 컬러 액정 디스플레이(LCD), LCD 또는 DLP(digital light processing) 유닛에 의해 구동되는 프로젝터, 레이저 프로젝터 또는 다른 디지털 디스플레이 장치를 포함할 수 있다. 디스플레이 장치(320)는 가상 현실 헤드셋 또는 다른 몰입형 디스플레이 시스템에 통합될 수 있거나, 컴퓨터 모니터, 홈 시어터 또는 텔레비전 스크린 또는 스크리닝 룸(screening room) 또는 시어터의 프로젝터일 수 있다. 실제 사회적 상호작용 애플리케이션에서, 사용자 및 액터용 클라이언트는 이어폰 등을 통한 청각적 입력으로 또는 진동 수트(tactile suit)를 통한 촉감으로 디스플레이를 사용하는 것을 피할 수 있다.
가상 사회적 상호작용 애플리케이션에서, 프로세서(302) 상에서 동작하는 혼합 현실 디스플레이 엔진에 의해 구동되는 비디오 출력, 또는 몰입형 컨텐츠 디스플레이와 함께 사용자 입력을 조정하고 그리고/또는 디스플레이를 생성하기 위한 다른 애플리케이션은 디스플레이 장치(320)에 제공되고 비디오 디스플레이로서 사용자에게 출력될 수 있다. 유사하게, 증폭기/스피커 또는 다른 오디오 출력 트랜스듀서(316)는 오디오 프로세서(312)를 통해 프로세서(302)에 연결될 수 있다. 비디오 출력과 관련되고 미디어 플레이어 모듈(308), 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션 또는 다른 애플리케이션에 의해 생성된 오디오 출력은 오디오 트랜스듀서(316)에 제공되고 오디오 가청 사운드(audible sound)로서 사용자에게 출력될 수 있다. 오디오 프로세서(312)는 마이크로폰(314)으로부터 아날로그 오디오 신호를 수신하고 이를 프로세서(302)에 의해 처리하기 위해 디지털 신호로 변환할 수 있다. 마이크로폰은 신경 생리학적(예를 들어, 감정) 상태의 검출을 위한 센서 및 구두 명령의 사용자 입력을 위한 또는 다른 사용자에 대한 사회적 구두 반응을 위한 장치로서 사용될 수 있다.
3D 환경 장치(300)는 사용자로부터 수집된 생체 센서 데이터에 반응하여 비디오 게임 또는 사회적 상호작용을 용이하게 하는 애플리케이션을 제어하는 동안 프로세서에 의한 빠른 실행 또는 처리를 위한 프로그램 명령 및 데이터를 보유하는 랜덤 액세스 메모리(RAM, 304)를 더 포함할 수 있다. 장치(300)의 전원이 꺼지거나 비활성 상태인 경우, 프로그램 명령 및 데이터는 장기 메모리, 예를 들어 비휘발성 자기, 광학 또는 전자 메모리 저장 장치(미도시)에 저장될 수 있다. RAM(304) 또는 저장 장치 중 어느 하나 또는 둘 모두는 프로세서(302)에 의해 실행될 때 장치(300)가 본 명세서에 설명된 방법 또는 동작을 수행하게 하는 프로그램 명령을 보유하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 프로그램 명령은 C, C++, C#, JavaScript, PHP 또는 JavaTM과 같은 임의의 적합한 고급 언어로 작성될 수 있으며 프로세서에 의해 실행할 기계 언어 코드를 생성하도록 컴파일될 수 있다.
프로그램 명령은 코딩 효율 및 이해를 용이하게 하기 위해 기능 모듈(306, 308)로 그룹화될 수 있다. 통신 모듈(306)은 메타데이터의 경우 생체 센서 데이터의 계산 서버로의 통신을 조정하는 것을 포함할 수 있다. 센서 제어 모듈(308)은 센서 동작을 제어하고 계산 서버로 전송하기 위한 미처리 센서 데이터(raw sensor data)를 처리하는 것을 포함할 수 있다. 소스 코드에서 분할 또는 그룹화로 식별 가능하더라도 모듈(306, 308)은 기계 레벨 코딩에서 별도의 코드 블록으로 구분할 필요는 없다. 특정 유형의 기능에 대한 코드 번들은 번들의 머신 코드가 다른 머신 코드와 독립적으로 실행될 수 있는지 여부에 관계없이 모듈을 포함하는 것으로 간주될 수 있다. 모듈은 고 레벨 모듈 만일 수 있다. 미디어 플레이어 모듈(308)은 본 명세서에 설명된 임의의 방법 및 등가 방법의 동작을 전체적으로 또는 부분적으로 수행할 수 있다. 동작은 독립적으로 또는 다른 네트워크 노드 또는 노드들, 예를 들어 서버(200)와 협력하여 수행될 수 있다.
본 명세서에 개시된 컨텐츠 제어 방법은 가상 현실(VR) 또는 증강 현실(AR) 출력 장치, 예를 들어 가상 라이브 또는 로봇 상호 작용 시어터로 사용될 수 있다. 도 4는 보다 구체적인 폼 팩터에서 클라이언트(300)의 예로서, 한 유형의 몰입형 VR 입체 디스플레이 장치(400)를 도시한 개략도이다. 클라이언트 장치(300)는 다양한 폼 팩터로 제공될 수 있으며, 그 중 하나의 장치(400)를 일 예로 제공한다. 본 명세서에 기술된 혁신적인 방법, 장치 및 시스템은 단일 폼 팩터로 제한되지 않고 사용자의 CNS 표현을 사람에게 통신하는데 적합한 임의의 비디오 출력 장치에 사용될 수 있다. 본 명세서에서 사용된 바와 같이, “사회적 상호작용 애플리케이션 신호”는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션으로부터의 임의의 디지털 신호를 포함한다. 일 양태에서, 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 동작은 생체 센서 데이터로부터 계산된 사용자의 검출된 신경 생리학적 상태에 반응하여 변한다. 가상 현실 또는 증강 현실 애플리케이션에서, 사용자 아바타의 외모, 행동 및 기능은 사용자의 CNS에 반응하여 제어되어 게임 플레이 또는 사회적 경험에 대한 더 큰 현실감, 관심 또는 즐거움을 제공할 수 있다.
몰입형 환경이든 비 몰입형 환경이든, 애플리케이션은 하나 이상의 사용자로부터의 실시간 CNS 데이터에 반응하여 컴퓨터 제어 비 플레이어 캐릭터의 외모, 행동 및 기능을 제어할 수 있다. 예를 들어, CNS 데이터가 낮은 흥분을 나타내는 경우 컨트롤러는 경험의 어려움 또는 속도를 높이고 아바타, 비 플레이어 캐릭터, 플레이 환경 또는 이들의 조합의 특성을 수정할 수 있다. 추가 예를 들어, CNS 데이터가 과도한 긴장 또는 좌절을 나타내는 경우 컨트롤러는 유사하게 경험의 어려움 또는 속도를 줄일 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 고해상도 디스플레이 스크린, 예를 들어 LCD를 포함하는 휴대용 태블릿 컴퓨팅 또는 스마트폰 장치의 제거 가능한 배치를 지원하고 허용하도록 구성된 불투명한 경량 구조 재료(예를 들어, 경질 폴리머, 알루미늄 또는 카드보드)로 만들어진 태블릿 지지 구조를 포함할 수 있다. 장치(400)는 사용자의 얼굴에 가깝게 착용되도록 설계되어, 스마트폰에서와 같이 작은 스크린 사이즈를 사용하여 넓은 시야를 가능하게 한다. 지지 구조(426)는 디스플레이 스크린(412)과 관련하여 한 쌍의 렌즈(422)를 보유한다. 렌즈는 사용자가 사용자의 눈으로부터 대략 1 내지 3 인치로 유지될 수 있는 디스플레이 스크린(412)에 편안하게 초점을 맞출 수 있도록 구성될 수 있다.
장치(400)는 지지 구조(426)에 연결되고 사용자의 얼굴 맞춤형이고(form fitting) 외광을 차단하기 위해 부드럽고 가요성이거나 또는 다른 적절한 불투명 재료로 구성된 관찰 덮개(미도시)를 더 포함할 수 있다. 덮개는 사용자에게 유일한 가시광원이 디스플레이 스크린(412)이 되도록 하여 장치(400)의 사용에 몰입 효과를 향상시키도록 구성될 수 있다. 스크린 분배기는 스크린(412)을 독립적으로 구동되는 입체 영역으로 분리하는데 사용될 수 있으며, 각각의 영역은 렌즈(422) 중 대응하는 하나를 통해서만 볼 수 있다. 따라서, 몰입형 VR 입체 디스플레이 장치(400)는 입체 디스플레이 출력을 제공하기 위해 사용되어 보다 사실적인 3D 공간 인식을 사용자에게 제공할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 눈에 대한 렌즈(422)의 정확한 위치 설정을 용이하게 하기 위해 사용자의 코 위에 위치 설정하기 위한 브리지(미도시)를 더 포함할 수 있다. 장치(400)는 탄성 스트랩 또는 밴드(424) 또는 사용자의 머리 주위에 끼워지고 장치(400)를 사용자의 머리에 유지하기 위한 다른 헤드웨어를 더 포함할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 머리(430)와 관련하여 디스플레이 및 통신 유닛(402)(예를 들어, 태블릿 컴퓨터 또는 스마트폰)의 추가 전자 컴포넌트를 포함할 수 있다. 지지부(426)를 착용할 때, 사용자는 한 쌍의 렌즈(422)를 통해 디스플레이(412)를 본다. 디스플레이(412)는 내부 버스(417)를 통해 중앙 처리 유닛(CPU, 403) 및/또는 그래픽 처리 유닛(GPU, 410)에 의해 구동될 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 무선 커플링을 통해 CPU와 외부 서버 사이의 무선 통신을 가능하게 하는 송수신 컴포넌트 또는 컴포넌트들(418)을 더 포함할 수 있다. 송수신 컴포넌트(418)는 예를 들어 3G, 4G 또는 5G로 또한 알려진 3세대, 4세대 또는 5세대 파트너쉽 프로젝트(3GPP) LTE(Long Term Evolution), GSM(Global System for Mobile communication) 또는 UMTS(Universal Mobile Telecommunications System)와 같은 셀룰러 전화 기술 및/또는 IEEE(Institute of Electrical and Electronics Engineers) 802.11과 같은 프로토콜을 사용하는 무선 로컬 영역 네트워크(WLAN) 기술을 포함하는 임의의 적합한 고 대역폭 무선 기술 또는 프로토콜을 사용하여 동작할 수 있다. 송수신 컴포넌트 또는 컴포넌트들(418)은 로컬 또는 원격 비디오 서버로부터 디스플레이 및 통신 유닛(402)으로 비디오 데이터의 스트리밍을 가능하게 하고, 본 명세서에 기술된 바와 같이 제어 또는 청중 반응 기술을 위해 로컬 또는 원격 비디오 서버로 센서 및 다른 데이터의 업링크 전송을 가능하게 할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어, 통신 버스(417)를 통해 CPU(403)에 연결된 하나 이상의 센서(414)를 더 포함할 수 있다. 이러한 센서는 예를 들어 디스플레이 및 통신 유닛(402)의 배향을 나타내기 위한 배향 데이터를 제공하는 가속도계/경사계 어레이를 포함할 수 있다. 디스플레이 및 통신 유닛(402)이 사용자의 머리(430)에 고정됨에 따라, 이 데이터는 또한 헤드(430)의 배향을 나타내도록 교정될 수 있다. 하나 이상의 센서(414)는 예를 들어 사용자의 지리적 위치를 나타내는 GPS(Global Positioning System) 센서를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 하나 이상의 사용자의 눈의 배향을 검출하거나 사용자의 물리적 환경(VR 혼합 현실에 대한)의 비디오 이미지를 캡쳐하거나 또는 둘 다를 위해 위치된 카메라 또는 이미지 센서를 더 포함할 수 있다. 일부 실시예에서, 사용자의 눈 또는 눈 움직임을 검출하도록 구성된 카메라, 이미지 센서 또는 다른 센서가 지지 구조(426)에 장착될 수 있고 버스(416) 및 직렬 버스 포트(미도시), 예를 들어 범용 직렬 버스(USB) 또는 다른 적합한 통신 포트를 통해 CPU(403)에 연결될 수 있다. 하나 이상의 센서(414)는 예를 들어 지지 구조(404)에 위치되고 사용자의 눈에 표면 윤곽을 나타내도록 구성된 간섭계를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 마이크로폰, 마이크로폰의 어레이 또는 음성 사용자 명령 또는 구두 및 비 구두 오디오 가청 반응을 검출하여 출력을 표시하기 위한 다른 오디오 입력 트랜스듀서를 포함할 수 있다. 하나 이상의 센서는 Arnav Kapur, Pattie Maes 및 Shreyas Kapur가 2018년 ACM(Association for Computing Machinery) 지능형 사용자 인터페이스 컨퍼런스에서 발표한 논문에 설명된 대로 전극을 사용하는 하위 발성 마스크(subvocalization mask)를 포함할 수 있다. 하위 발성된 단어는 명령 입력, 흥분 또는 유의성의 표시 또는 둘 다로 사용될 수 있다. 하나 이상의 센서는 예를 들어 심박수를 감지하기 위한 전극 또는 마이크로폰, 사용자의 피부 또는 체온을 감지하도록 구성된 온도 센서, 얼굴 표정 또는 동공 확장을 검출하기 위해 분석 모듈에 연결된 이미지 센서, 구두 및 비구두 발화(utterance) 또는 도 3의 328과 관련하여 이미 설명된 바와 같은 임의의 센서를 포함하는 알고리즘 처리를 통해 감정을 나타낼 수 있는 신경계 반응을 포함하는 생체 피드백 데이터를 수집하기 위한 다른 생체 센서를 포함할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 오디오 트랜스듀서(420), 예를 들어 디스플레이 및 통신 유닛(402)에서 스피커 또는 압전 트랜스듀서 또는 헤드폰을 위한 오디오 출력 포트 또는 헤드기어(424)에 장착된 다른 오디오 출력 트랜스듀서 등을 더 포함할 수 있다. 오디오 출력 장치는 서라운드 사운드, 멀티 채널 오디오, 소위 '객체 배향 오디오' 또는 입체 몰입형 VR 비디오 디스플레이 컨텐츠를 동반하는 다른 오디오 트랙 출력을 제공할 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 메모리 버스를 통해 CPU(403)에 연결된 메모리 장치(408)를 더 포함할 수 있다. 메모리(408)는 예를 들어 프로세서에 의해 실행될 때 장치(400)가 본 명세서에 설명된 바와 같은 동작을 수행하게 하는 프로그램 명령을 저장할 수 있다. 메모리(408)는 또한 데이터, 예를 들어 네트워크 노드로부터 스트리밍하는 동안 버퍼링되는 라이브러리의 오디오-비디오 데이터를 저장할 수 있다.
통신 강화 애플리케이션에서 신경 생리학적 상태의 검출을 위한 생체 센서 데이터의 신호 처리를 수행하기 위한 적합한 클라이언트, 서버 및 네트워크의 예를 설명하였지만, 적합한 신호 처리 방법의 더 상세한 양태가 다루어질 것이다. 도 5는 임의의 기능적 순서로 또는 병렬로 4 개의 관련 동작을 포함할 수 있는 복합 신경 생리학적 상태(CNS)를 계산하기 위한 방법(500)의 오버뷰를 도시한다. 동작은 본 명세서에 기술된 바와 같이 서버에 대한 실행 가능한 명령으로 프로그래밍될 수 있다.
관련 동작(510)은 사용자 또는 사용자 코호트에 대한 생체 데이터를 신경 생리학적 지표와 관련시키기 위한 알고리즘을 사용한다. 선택적으로, 알고리즘은 정확도를 향상시킬 수 있는 생체 데이터 외에 상황 표시 데이터를 처리하도록 구성되는 머신 러닝 알고리즘일 수 있다. 상황 표시 데이터는 예를 들어 사용자 위치, 사용자 배치, 시각, 요일, 주변 광 레벨, 주변 소음 레벨 등을 포함할 수 있다. 예를 들어, 사용자의 상황이 주위가 산만하다면, 바이오 피드백 데이터는 조용한 환경에서와는 다른 유효성(significance)을 가질 수 있다.
본 명세서에서 사용된 바와 같이, “신경 생리학적 지표”는 사회적 상호작용에 참여한 사용자의 실시간 신경 생리학적 상태와 관련된 기계 판독 가능한 기호 값이다. 지표는 정량적이거나 비정량적일 수 있는 구성 요소를 가질 수 있다. 예를 들어, 지표는 인지 부하(cognitive load), 흥분 및 유의성과 같은 심리적 특성의 강도를 나타내는 값을 갖는 다차원 벡터로 설계될 수 있다. 본 명세서에서 사용된 바와 같이 심리학의 “유의성”은 사건, 객체 또는 상황의 매력 또는 바람직함의 상태를 의미하며; 유의성은 대상이 객체가 기피하거나 또는 나쁜 것으로 느낄 때 부정적이라고 하며, 어떤 것이 좋거나 매력적으로 느낄 때 긍정적이라고 한다. 본 명세서에서 사용된 바와 같이 심리학의 “흥분”은 대상의 주의 및 매력의 상태를 의미한다. 머신 러닝 알고리즘은 적어도 하나의 지도식 머신 러닝(supervised machine learning, SML) 알고리즘, 예를 들어 선형 회귀 알고리즘, 신경망 알고리즘(neural network algorithm), 지원 벡터 알고리즘, 나이브 베이즈 알고리즘(naive Bayes algorithm), 선형 분류 모듈 및 랜덤 포레스트 알고리즘 중 하나 이상을 포함할 수 있다.
이벤트 검출 동작(520)은 사용자에게 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션을 출력하는 동안 하나 이상의 센서로부터 시간 상관 신호를 분석하고, 신호가 임계값을 초과하는 이벤트를 검출한다. 임계값은 고정된 미리 결정된 값 또는 롤링 평균(rolling average)과 같은 가변 수일 수 있다. GSR(갈바닉 피부 반응) 데이터의 예가 이하에 제공된다. 신경 생리학적 반응의 개별 측정 값은 각 이벤트마다 계산될 수 있다. 신경 생리학적 상태는 직접 측정할 수 없으므로 센서 데이터는 센틱 변조(sentic modulation)를 나타낸다. 센틱 변조는 신경 생리학적 상태 또는 신경 생리학적 상태의 변화로 인한 생체 파형의 변조이다. 일 양태에서, 센틱 변조 및 신경 생리학적 상태 사이의 베이스 라인 상관 관계를 얻기 위해, 플레이어 액터는 알려진 시각 자극(예를 들어, 포커스 그룹 테스트 또는 개인 교정 세션으로부터)을 나타내어 특정 유형의 감정을 이끌어낼 수 있다. 자극 하에 있는 동안, 테스트 모듈은 플레이어 액터의 생체 데이터를 캡쳐하고 자극 생체 데이터를 휴지 생체 데이터와 비교하여 생체 데이터 파형에서 센틱 변조를 식별할 수 있다.
CNS 측정 및 관련 방법은 사회적 상호작용 애플리케이션용 드라이버 또는 제어 파라미터로서 사용될 수 있다. 의도된 효과 및 그룹 반응 사이의 측정된 에러는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 설계, 분배 및 마케팅 또는 사회적 상호작용 애플리케이션에 대한 코호트의 신경 생리학적 반응에 의해 영향을 받는 임의의 활동을 알리는데 유용할 수 있다. 또한, 측정된 에러는 컴퓨터 구현 애플리케이션 모듈에서 사용되어 사회적 상호작용 애플리케이션 경험의 실시간 동작을 제어하거나 영향을 줄 수 있다. 스마트폰 또는 태블릿을 사용하는 것은 포커스 그룹 테스트 중에 유용할 수 있는데, 이러한 프로그래밍 가능한 장치는 생체 데이터의 수집을 위한 하나 이상의 센서를 포함하기 때문이다. 예를 들어, AppleTM의 iPhoneTM은 예를 들어 눈 추적, FAU 감지, 동공 확장 측정, 심박수 측정 및 주변 광 추적에 유용할 수 있는 전면 입체 카메라를 포함한다. 포커스 그룹의 참가자는 스마트폰 또는 유사한 장치에서 사회적 상호작용 애플리케이션을 볼 수 있으며, 이는 시청 장치에서 동작하는 포커스 그룹 애플리케이션에 의해 참가자의 허락 하에 생체 데이터를 수집한다.
정규화 동작(530)은 알려진 자극에 대한 테스트 데이터와 사용자에 대한 측정된 신호 사이의 산술 또는 다른 수치 비교를 수행하고 이벤트에 대한 측정된 값을 정규화한다. 정규화는 개별 반응의 변화를 보상하고 보다 유용한 출력을 제공한다. 입력 센서 이벤트가 검출되고 정규화되면, 계산 동작(540)은 사용자 또는 사용자 코호트에 대한 CNS 값을 결정하고 그 값을 컴퓨터 메모리의 시간 상관 레코드에 기록한다.
AI라고도 하는 머신 러닝은 복잡한 현상 사이의 상관 관계를 밝혀내는 효율적인 툴일 수 있다. 도 6에 도시된 바와 같이, 사용자의 신경 생리학적 상태를 나타내는 센서 데이터(610)에 반응하는 시스템(600)은 사회적 상호작용 애플리케이션 경험으로부터의 감지 자극(620)과 생체 데이터(610) 사이의 상관 관계를 검출하기 위해 머신 러닝 훈련 프로세스(630)를 사용할 수 있다. 훈련 프로세스(630)는 미디어 플레이어 클라이언트(예를 들어, 클라이언트(300, 402))로부터 생체 데이터(610)와 시간 상관된 자극 데이터(620)를 수신할 수 있다. 데이터는 특정 사용자 또는 코호트와 관련되거나 일반적일 수 있다. 두 유형의 입력 데이터(일반적이고 사용자와 연관됨)는 함께 사용될 수 있다. 일반 입력 데이터는 사용되어 장면에 대한 신경 생리학적 반응을 위한 베이스 라인을 교정하고 사회적 상호작용을 자극하는 자극에 반응하는 베이스 라인 신경학적 반응을 분류할 수 있다. 예를 들어, 대부분의 사용자가 유사한 사회적 상호작용(예를 들어, 친절함, 행복함, 화남, 무서움, 매혹적 등)에 참여할 때 유사한 생체 인식(biometric tell)을 나타내는 경우, 각각의 유사한 상호작용은 사용자로부터 유사한 생체 데이터를 유발하는 유사한 상호작용으로 분류될 수 있다. 본 명세서에서 사용되는 바와 같이, 생체 데이터는 사용자가 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 그들의 경험에 대해 어떻게 느끼는고 생각하는지 즉, 게임 또는 사회적 상호작용에 대한 사용자의 신경 생리학적 반응인 “인식”을 제공한다. 유사한 상호작용은 자동화된 분석 툴을 사용하는 신경 생리학적 지표 메트릭(640)에서 상호작용의 점수를 매길 수 있는 인간에 의해 수집되고 검토될 수 있다. 대안적으로, 지표 데이터(640)는 유사한 상호작용으로 분류되지 않고 인간 및 반자동 처리에 의해 점수가 매겨질 수 있다. 사회적 상호작용 애플리케이션의 인간 점수 요소는 머신 러닝 프로세스(630)에 대한 훈련 데이터가 될 수 있다. 일부 실시예에서, 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 인간 채점 요소(human scoring element)는 온라인 설문 양식을 통한 것과 같이 사용자를 포함할 수 있다. 채점은 문화적 인구 통계를 고려해야 하며 장면 요소에 대한 상이한 문화의 반응에 대한 전문가 정보에 의해 알 수 있다.
ML 훈련 프로세스(630)는 사회적 상호작용의 인간 및 기계 결정된 점수를 비교하고 본 기술 분야에 공지된 반복 머신 러닝 방법을 사용하여 훈련 데이터와 그 자신의 추정치 사이의 에러를 감소시킨다. 창의적인 컨텐츠 분석가는 전문적인 판단 및 경험에 기초하여 다수의 사용자로부터 데이터에 점수를 매길 수 있다. 개별 사용자는 자신의 사회적 상호작용에 점수를 매길 수 있다. 예를 들어, 신경 생리학적 상태를 인식하기 위해 개인 “감독 소프트웨어” 훈련을 지원하려는 사용자는 게임을 플레이하거나 다른 사회적 상호작용에 참여하면서 자신의 감정에 점수를 매길 수 있다. 이 접근법의 문제는 사용자 스코어링이 정상적인 반응을 방해하여 머신 러닝 알고리즘을 오도할 수 있다는 것이다. 다른 훈련 방법에는 짧은 사회적 상호작용에 걸쳐 대상 생체 반응의 임상 테스트와 이에 이은 신경 생리학적 상태에 관한 임상 대상 조사를 포함한다. 머신 러닝 프로세스(630)에 대한 훈련 데이터를 개발하기 위해 이들 및 다른 접근법의 조합이 사용될 수 있다.
복합 신경 생리학적 상태는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션의 사용자 경험 전반에 걸친 복합 신경 생리학적 반응의 척도이며, 이는 상이한 기간에 대해 경험하는 동안 또는 완료 후에 모니터링되고 점수가 매겨질 수 있다. 전체 사용자 즐거움은 기대 생체 데이터 변조 파워(교정 동안 측정됨)와 평균 지속 생체 데이터 변조 파워 사이의 차이로서 측정된다. 사용자 참여의 측정은 다른 방법으로 수행될 수 있으며 복합 신경 생리학적 상태와 연관되거나 복합 신경 생리학적 상태의 점수를 매기는 것의 일부가 될 수 있다. 예를 들어, 구매, 구독 또는 팔로우를 위한 오퍼(offer)의 종료 인터뷰 응답 또는 수락이 복합 신경 생리학적 상태의 계산에 포함되거나 이를 조정하는데 사용될 수 있다. 오퍼 응답 속도는 사회적 상호작용의 참여 동안 또는 그 후에 사용자 신경 생리학적 반응의 보다 완전한 측정을 제공하기 위해 사용될 수 있다. 그러나, CNS를 계산하는 것의 목적은 반드시 수동 컨텐츠로의 사용자 참여를 증가시키는 것을 필수적으로 포함하지는 않지만 주로 사회적 상호작용의 다른 그리고 더 매력적인 사용자 경험을 제공하기 위해 게임 플레이의 양태를 제어하도록 지시될 수 있다는 것을 알아야 한다.
상호 작용에 참여하는 사용자의 기분은 내러티브 엔터테인먼트가 해석되는 방식에 영향을 미치므로 CNS의 계산은 기분을 교정할 수 있다. 프로세스가 기분을 교정할 수 없다면, 소셜 미디어 애플리케이션의 동작에서 이를 고려할 수 있다. 예를 들어, 사용자의 기분이 우울하다면, 사회적 상호작용 애플리케이션은 보다 긍정적으로 유의성화된(valenced) 상호작용 또는 보다 공감적인 파트너와의 매칭을 선호할 수 있다. 추가 예에서, 사용자의 기분이 상승하면, 애플리케이션은 더 어려운 만남을 선호할 수 있다. 본 개시의 인스턴트 시스템과 방법은 건강하고 차분한 개인에게 가장 효과적이지만 참여하는 모든 사람에게 사회적 상호작용 애플리케이션의 동작을 제어하는데 CNS의 사용을 가능하게 할 것이다.
도 7a는 수평 유의성 축 및 수직 흥분 축에 의해 정의된 2차원 신경 생리학적 공간의 축에 대한 신경 생리학적 상태의 배열(700)을 도시한다. 유의성/흥분 신경 생리학적 모델에 기초한 예시된 감정은 실제 또는 일반적인 측정된 값이 아닌 단지 예시로서 배열로 도시된다. 미디어 플레이어 클라이언트는 얼굴 동작 유닛을 측정하는 생체 센서로 유의성을 측정할 수 있으며, 예를 들어 흥분 측정은 GSR 측정을 통해 수행될 수 있다.
신경 생리학적 공간은 셋 이상의 축을 특징으로 할 수 있다. 도 7b는 신경 생리학적 공간의 3차원 인지 평가 모델(750)을 다이어그램으로 표시하며, 여기서 제3 축은 사회적 지배 또는 신뢰이다. 모델(750)은 VAD(유의성, 흥분, 신뢰) 모델을 예시한다. 3D 모델(750)은 소셜 계층이 포함된 복합 감정에 유용할 수 있다. 다른 실시예에서, 생체 데이터로부터의 신경 생리학적 상태 측정 값은 프로세서가 교정 후 1차 및 2차 감정을 결정할 수 있는 인지 작업량, 흥분 및 유의성을 제공하는 3차원 벡터로서 모델링될 수 있다. 참여 측정값은 N이 하나 이상인 N차원 모델 공간으로 일반화될 수 있다. 본 명세서에 기재된 예에서, CNS는 유의성 및 흥분 축을 갖는 2차원 공간(700)에 있지만, 이에 의해 CNS는 제한되지 않는다. 예를 들어, 신뢰는 추가될 수 있는 다른 심리학적 측정 축이며, 다른 축이 추가될 수 있으며, 유의성 및 흥분 외에 베이스 축 또한 유용할 수 있다. 베이스 라인 흥분 및 유의성은 감정 교정 동안 개별적으로 결정될 수 있다.
다음 상세한 예에서, 생체 센서로부터의 신경 생리학적 상태 결정은 유의성이 (긍정적/부정적)이고 흥분이 크기(magnitude)인 유의성/흥분 신경 생리학적 모델에 기초한다. 이 모델에서, 사회적 상호작용 애플리케이션 및 다른 창의적인 작품의 제작자는 긴장(희망 대 두려움) 및 긴장 증가(시간에 따라 흥분의 증가)와 같은 사회적 이론 구성을 측정하여 사회적 경험의 의도를 확인할 수 있다. 애플리케이션을 통해 중재되는 사회적 상호작용 동안 알고리즘은 사용자의 심리학적 상태 또는 성향에 따라 동적으로 애플리케이션의 동작을 위해 신경 생리학적 모델을 사용할 수 있다. 본 명세서에 기술된 본 발명의 개념은 본 명세서에 설명된 CNS 신경 생리학적 모델에 제한되지 않고 정량화 가능한 파라미터를 특징으로 하는 임의의 유용한 신경 생리학적 모델과 함께 사용하기에 적합할 수 있다.
테스트 환경에서, 전극 및 다른 센서는 임상 기능에서 대상 사용자에게 수동으로 배치될 수 있다. 소비자 애플리케이션의 경우 센서 배치가 덜 방해적이고 더 편리해야 한다. 예를 들어, 가시광선과 적외선 파장의 이미지 센서를 디스플레이 장비에 내장할 수 있다. 추가 예의 경우, 위상 배열 레이더 방출기는 마이크로 장치로서 제조될 수 있고 얼굴 행동 유닛 또는 동공 확장과 같은 생체 데이터를 검출하기 위해 모바일 폰 또는 태블릿의 디스플레이 스크린 뒤에 배치될 수 있다. VR 장비를 사용할 때와 같이 사용자가 기어를 착용하거나 컨트롤러를 잡는 경우 전극을 헤드 기어, 컨트롤러 및 다른 웨어러블 기어에 내장하여 피부 전도도, 펄스, 전기 활성을 측정할 수 있다.
비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션에 기초한 목표 스토리 아크는 사회적 상호작용, 예를 들어 유의성/흥분 모델에서의 사용자 신경 생리학적 상태를 표시하기 위한 임의의 유용한 신경 생리학적 모델에서 목표 값의 시퀀스로서 컴퓨터 데이터베이스에 저장될 수 있다. 유의성/흥분 모델의 예를 사용하여, 서버는 계획된/예측된 그리고 측정된 흥분 및 유의성 사이의 에러를 결정하도록 차분 계산(difference calculation)을 수행할 수 있다. 쉽게 이해하는 표현을 생성하기 위해 또는 애플리케이션 제어에 에러가 사용될 수 있다. 예측 및 측정 값 사이의 델타가 임계 값을 넘어가면 사회적 상호작용 애플리케이션 소프트웨어가 브랜칭된 동작을 명령할 수 있다. 예를 들어, 게임 설계에 기초하여 사용자의 유의성이 “잘못된” 방향에 있는 경우, 프로세서는 다음 논리에 의해 컨텐츠를 변경할 수 있다: (Valence Predict - Valence Measured)의 절대값이 0보다 크면 컨텐츠를 변경한다. 컨텐츠의 변경은 소프트웨어가 플레이어 액터에 대해 배운 내용과 관련된 여러가지 다른 아이템이거나 AI 프로세스의 시험 또는 권장 사항일 수 있다. 마찬가지로, 흥분 에러가 예측된 것((error)의 절대값 > 0.50 * 예측)의 임계값(예를 들어, 50%) 아래로 떨어지면 프로세서가 컨텐츠를 변경할 수 있다.
도 8은 복합 신경 생리학적 상태(CNS)를 포함하는 비디오 게임 또는 사회적 상호작용을 용이하게 하는 다른 애플리케이션에 대한 컨텐츠 등급을 결정하기 위한 방법(800)을 도시한다. 방법은 컴퓨터 프로세서에 의해 실행 가능한 알고리즘으로서 인코딩함으로써 구현될 수 있고 CNS의 계산이 요구되는 곳이라면 본 명세서에 기술된 다른 방법에 적용될 수 있다. CNS는 주제 컨텐츠에 대한 이벤트 파워의 합 'Pv'와 사회적 상호작용에 있는 비교 가능한 이벤트에 대한 기대 파워 'Px'의 비율이다. Pv와 Px는 서로 다른 주제 및 일반적인 경우 다른 사용자에 대해 동일한 방법론을 사용하여 계산된다. 따라서 총계는 주제 컨텐츠에 대한 'n'개의 이벤트 파워 기간의 합 △tv와 동일한 기간'tv'를 커버하는 상이한 총 시간 이벤트 파워 Pv를 커버한다:
Figure pct00001
마찬가지로, 기대 파워 Px는 기대 컨텐츠에 대한 'm'개의 이벤트 파워 기간의 합 △tx와 동일한 기간'tx'를 커버한다:
Figure pct00002
각각의 파워 Pv 및 Px는 주어진 이벤트 'n' 또는 'm'에 대해 다음과 같이 차원 i의 파워 벡터 P와 가중 벡터 W의 내적이다:
Figure pct00003
Figure pct00004
일반적으로, 파워 벡터
Figure pct00005
는 다양하게 정의될 수 있다. CNS의 임의의 주어진 계산에서, 사회적 상호작용 이벤트 및 기대 베이스라인에 대한 파워 벡터는 서로 일관되게 정의되어야 하고, 가중 벡터는 동일해야 한다. 파워 벡터는 흥분 측정만, 유의성 값만, 흥분 측정 및 유의성 측정의 조합 또는 전술한 것 중 임의의 것을 다른 측정, 예를 들어 신뢰 측정의 조합을 포함할 수 있다. 프로세서는 센서 데이터, 기대 베이스라인 및 가중 벡터의 서로 다른 조합을 기초로 동일한 사용자에 대해 동시에 다수의 상이한 파워 벡터를 계산할 수 있다. 일 실시예에서, CNS는 'j' 흥분 측정 값 'aj' 및 'k' 유의성 측정 값 'vk'의 조합에 의해 정의된 파워 벡터
Figure pct00006
를 사용하여 계산되며, 이들 각각은 알려진 자극으로부터의 교정 오프셋 'C'에 의해 조정되며, 여기서 j 및 k는 다음과 같은 임의의 음이 아닌 정수이다:
Figure pct00007
여기에서,
Figure pct00008
수학식 6에서 지수 'j'는 1부터 j+k까지의 지수를 나타내고, Sj는 스케일링 팩터를 나타내고, Oj는 센서 데이터 범위의 최소값과 실제 최소값 사이의 오프셋을 나타낸다. 수학식 5의 파워 벡터에 대응하는 가중 벡터
Figure pct00009
는 다음과 같이 표현될 수 있다.
Figure pct00010
여기서 각 가중치 값은 팩터의 상대적인 추정 신뢰도에 비례하여 대응하는 팩터의 배율을 조정한다(scale).
수학식 3 및 4에 의해 주어진 보정된 내적
Figure pct00011
,
Figure pct00012
및 수학식 1 및 2에 의해 주어진 시간 팩터를 이용하여, 프로세서는 다음과 같이 단일 사용자에 대한 복합 신경 생리학적 상태(CNS)를 계산할 수 있다:
Figure pct00013
비율
Figure pct00014
는 이종 시계열(disparate time series) 합에서 불일치를 정규화하고 비율을 단위가 없게 한다. 1보다 큰 사용자 CNS 값은 사용자/플레이어 액터/시청자가 이슈에서 사회적 상호작용의 유형에 대한 베이스라인 보다 더 큰 신경 생리학적 반응을 경험하는 것을 나타낸다. 1 미만의 사용자 CNS 값은 사회적 상호작용의 유형에 대한 베이스라인보다 작은 신경 생리학적 반응을 나타낸다. 프로세서는 상이한 파워 벡터에 기초하여 동일한 사용자에 대해 동시에 다수의 상이한 CNS 값을 계산할 수 있다.
수학식 5는 생체 센서 데이터로부터 도출된 흥분 및 유의성 척도로 구성된 교정된 파워 벡터를 기술한다. 대안적으로, 프로세서는 센서 데이터 신호가 디지털 값으로 변환되기 전에 저레벨 디지털 신호 처리의 일부로서 스케일링되고 사용자에 대해 오프셋되지 않은 부분적으로 교정되지 않은 파워 벡터를 다음과 같이 정의할 수 있다.
Figure pct00015
부분적으로 교정되지 않은 파워 벡터를 사용하는 경우 집계 교정 오프셋이 각 팩터에 대해 계산되어 복합 신경 생리학적 상태(CNS)를 계산하기 전에 수학식 3 및 4에 의해 주어진 내적
Figure pct00016
,
Figure pct00017
으로부터 감산될 수 있다. 예를 들어,
Figure pct00018
에 대한 집계 교정 오프셋은 다음과 같이 주어질 수 있다:
Figure pct00019
이러한 경우, 파워 벡터
Figure pct00020
의 보정된 값은 다음과 같이 계산될 수 있다:
Figure pct00021
교정된 벡터
Figure pct00022
는 유사하게 계산될 수 있다.
전술한 식이 사용될 수 있는 방법(800)을 다시 참조하면(도 8), 센서 데이터에 대한 교정 프로세스(802)가 알려진 자극, 예를 들어 알려진 휴지 자극(804), 알려진 흥분 자극(806), 알려진 긍정적인 유의성 자극(808) 및 알려진 부정적인 유의성 자극(810)에 대한 사용자 반응을 교정하기 위해 먼저 수행된다. 알려진 자극(806-810)은 문화적으로 그리고 인구학적으로 사용자의 목표 그룹과 유사하고 교정의 사용을 위해 데이터베이스에 유지되는 포커스 그룹을 사용하여 테스트될 수 있다. 예를 들어, IAPS(International Affective Picture System)는 심리학 연구에서 감정과 주의력을 연구하기 위한 사진 데이터베이스이다. 컨텐츠 플랫폼과 일관성을 유지하기 위해, IAPS 또는 유사한 지식 베이스에서 찾은 이들의 이미지는 교정에 사용하기 위해 목표 플랫폼과 일치하는 형식으로 생성될 수 있다. 예를 들어, 감정적으로 유발되는 대상의 사진을 비디오 클립으로 만들 수 있다. 교정은 센서가 예상대로 동작하고 사용자 사이에 데이터를 일관되게 제공하게 한다. 일치하지 않는 결과는 수정되거나 무시할 수 있는 오작동 또는 잘못 구성된 센서를 나타낸다. 프로세서는 장치 및/또는 사용자에 걸쳐 일관성을 위해 신호 값을 조정하기 위한 하나 이상의 교정 계수(816)를 결정할 수 있다.
교정은 스케일링 및 오프셋 특성 둘 다를 가질 수 있다. 흥분, 유의성 또는 기타 심리적 상태의 지표로서 유용하려면 센서 데이터를 스케일링 및 오프셋 팩터로 보정해야 할 수 있다. 예를 들어, GSR은 이론적으로 0과 1 사이에서 변할 수 있지만 실제로는 개인마다 그리고 시간에 따라 변하는 인간 피부의 고정 및 가변 조건에 의존한다. 임의의 주어진 세션에서, 대상의 GSR은 일부 GSRmin>0 및 일부 GSRmax<1 사이의 범위일 수 있다. 범위의 크기 및 스케일 둘 다는 알려진 자극이 있는 세션으로부터의 결과를 동일한 유형의 센서에 대한 기대 범위와 비교함에 의해 교정 팩터의 크기 및 스케일을 추정하고 대상을 알려진 자극에 노출시킴으로써 측정될 수 있다. 대부분의 경우, 교정의 신뢰성이 의심스럽거나 교정 데이터를 사용할 수 없으므로 라이브 데이터로부터 교정 팩터를 추정해야할 필요가 있다. 일부 실시예에서, 센서 데이터는 더 많은 데이터가 수신될 때 각각의 데이터 스트림에 대한 교정 팩터를 조정하고 교정을 조정하는 태스크로부터 더 높은 레벨의 처리를 피하게 하는(spare) 적응형 머신 러닝 알고리즘을 사용하여 사전 교정될 수 있다.
센서가 교정되면, 시스템은 예를 들어 수학식 8을 사용하여 812에서 장르 차이에 대한 센서 데이터 반응 데이터를 정규화한다. 다른 유형의 사회적 상호작용은 다른 유의성 및 흥분 점수를 생성한다. 예를 들어, 제1 사람 슈터 게임(first person shooter game)은 온라인 포커 또는 사회적 채팅과 다른 페이스, 초점 및 강도를 갖는다. 따라서, 애플리케이션의 참여 프로파일을 고려하지 않으면 상이한 애플리케이션 유형에 걸쳐 참여 파워를 비교할 수 없다. 장르 정규화는 동일한 유형의 애플리케이션에 대해 애플리케이션의 점수를 매기므로 장르에 걸쳐 동등한 기준으로 비교할 수 있다. 정규화(812)는 플레이 시작 전에 사용자 또는 사용자들에게 수행될 수 있다. 예를 들어, 사용자는 실제 게임 전에 시험판 시뮬레이션 게임을 플레이할 수 있으며, 프로세서는 시뮬레이션 게임의 데이터를 정규화에 사용할 수 있다. 대안적으로, 프로세서는 동일한 사용자 또는 동일한 사용자 코호트에 대한 아카이브된 데이터를 사용할 수 있다. 기대 파워는 사용된 것과 동일한 알고리즘을 사용하여 계산되거나 이벤트 파워의 측정에 사용될 것이며 동일한 교정 계수(816)를 사용하여 조정될 수 있다. 프로세서는 나중에 사용하기 위한 기대 파워(818)를 저장한다.
820에서, 프로세서는 주제 컨텐츠의 플레이 동안 센서 데이터를 수신하고 흥분 및 하나 이상의 유의성 품질과 같은 각 관심 측정에 대한 이벤트 파워를 계산한다. 828에서, 프로세서는 플레이가 완료된 후 또는 플레이 동안 컨텐츠에 대한 이벤트 파워를 합산하거나 그렇지 않으면 집계한다. 830에서, 프로세서는 전술한 바와 같이 사용자의 신경 생리학적 상태, 예를 들어 복합 신경 생리학적 상태(CEP)의 표현를 계산한다. 프로세서는 먼저 적용 가능한 교정 계수를 적용한 다음 위에서 설명한 대로 집계된 이벤트 파워를 기대 파워로 나누어 CEP를 계산한다.
선택적으로, 계산 기능(820)은 824에서 각각의 검출된 이벤트 또는 더 적은 서브 세트의 검출된 이벤트에 대한 이벤트 파워를 사회적/게임 경험에 대해 정의된 기준과 비교하는 단계를 포함할 수 있다. 기준은 예를 들어 게임 디자이너 또는 사용자의 이전 데이터에 의해 정의된 베이스라인일 수 있다. 예를 들어, 포커 또는 유사한 도박 게임에서, 블러핑은 게임 플레이의 중요한 부분이다. 게임 디자이너는 현재 이벤트 파워(예를 들어, 사용자가 베팅을 할 때 측정)를 베이스라인 기준(예를 들어, 손 사이 또는 게임 전에 측정)과 비교할 수 있다. 826에서, 프로세서는 하나 이상의 변수에 대한 에러를 설명하는 에러 벡터 값을 저장, 증분 또는 그렇지 않으면 축적할 수 있다. 에러 벡터는 특정 이벤트 또는 사회적 상호작용에 대한 각 측정된 값(예를 들어 흥분 및 유의성 값)에 대한 측정된 반응과 기준 사이의 차이를 포함할 수 있다. 에러 벡터 및 벡터의 매트릭스는 컨텐츠 평가 또는 컨텐츠 제어에 유용할 수 있다.
에러 측정은 컨텐츠 평가를 위한 다른 메트릭을 포함하거나 증강시킬 수 있다. 복합 신경 생리학적 상태 및 에러 측정은 구매, 구독 또는 제시된 컨텐츠와 관련된 다른 전환과 비교될 수 있다. 시스템은 표준 편차 또는 다른 통계적 측정을 사용하여 청중 응답의 일관성을 측정할 수도 있다. 시스템은 개인, 코호트 및 집계된 청중에 대한 복합 신경 생리학적 상태, 유의성 및 흥분을 측정할 수 있다.
도 9는 본 명세서에 기술된 방법 및 장치에서 사용되는 생체 데이터를 수집하기 위한 센서 및 액세서리(912, 920) 및 디스플레이 스크린(906)을 갖는 모바일 장치(904)를 포함하는 사용자(902)를 위한 모바일 시스템(900)을 도시한다. 모바일 시스템(900)은 전통적인 컨텐츠 와이드 포커스 그룹 테스트와 같은 애플리케이션의 유용한 실시간 또는 비 실시간 제어일 수 있다. 모바일 장치(904)는 소비자 장치(전화 테이블 등), 예를 들어 전면 입체 카메라(908(세로) 또는 910(가로))에 일반적으로 포함된 내장 센서를 사용할 수 있다. 종종 얼굴 검출 신원 확인을 위한 제조사에 의해 포함되는 카메라(908, 910)는 주의 추적을 위한 시선 추적, CNS-유의성 추적을 위한 FAU, CNS-흥분 추적을 위한 동공 확장 측정 및 펄스 검출 센서(914)를 포함하는 시계 액세서리(912)를 통해 또는 모바일 장치(904) 자체에 의해 이용 가능한 맥박이 또한 사용될 수 있다.
헤드폰(920), 모자 또는 VR 헤드셋과 같은 액세서리에는 EEG 센서(922)가 장착될 수 있다. 모바일 장치의 프로세서는 눈 추적 데이터를 또한 제공하는 3D 카메라(908, 910)를 통해 동공 확장에 의한 흥분을 검출할 수 있다. 감정적 흥분으로 인한 변화와 조리개(광의 변화)에 의한 동공 확장을 구분하기 위해 교정 방법이 사용될 수 있다. 장치(904)의 전방 및 후방 카메라 모두는 주변 광 검출 및 광 변화에 의해 야기되는 동공 확장 검출의 교정을 위해 사용될 수 있다. 예를 들어, 예상 주변 광 조건에 대한 수행 동안 기대되는 광의 동적 범위에 대한 동공 확장 거리(mm)의 측정은 교정 시퀀스 동안 이루어질 수 있다. 이로부터, 프로세서는 내러티브 요소의 추가 확장 변위와 교정 신호 테스트 결과를 측정하여 내러티브의 디자인을 기반으로 감정 또는 인지 워크로드의 효과 대 광 효과를 교정할 수 있다.
입체 카메라(908 또는 910) 대신에 또는 이에 추가하여, 모바일 장치(904)는 레이더 센서(930), 예를 들어 다중 요소 마이크로 칩 어레이 레이더(MEMAR)를 포함하여 안면 동작 유닛 및 동공 확장을 생성하고 추적할 수 있다. 레이더 센서(930)는 그 아래에 매립될 수 있고 대상에 가시 광선이 있거나 없는 모바일 장치(904) 상의 스크린(906)을 통해 볼 수 있다. 스크린(906)은 이미징 레이더 어레이에 의해 방사되는 RF 스펙트럼에 보이지 않으며, 이에 따라 임의의 양의 광 또는 어둠에서 스크린을 통해 레이더 이미징을 수행할 수 있다. 일 양태에서, MEMAR 센서(930)는 각각 6 개의 요소를 갖는 2 개의 어레이를 포함할 수 있다. 6 개의 요소를 갖는 2 개의 소형 RF 레이더 칩 안테나는 각각 이미징 레이더를 생성한다. 광학 센서(908, 910)에 비해 MEMAR 센서(930)의 장점은 얼굴의 조명이 필요하지 않기 때문에 얼굴 동작 유닛, 동공 확장 및 눈 추적의 감지가 어둠에 의해 방해받지 않는다는 것이다. 단 하나의 6-칩 MEMAR 어레이(930)가 도시되지만, 모바일 장치에는 보다 강력한 감지 기능을 위해 2 개 이상의 유사한 어레이가 장착될 수 있다.
도 10은 생체 센서 데이터를 사용하여 사회적 상호작용 애플리케이션을 제어하기 위한 방법(1000)의 양태를 도시한다. 방법은 다음 중 하나 이상이 발생하는 다양한 다른 게임 및 사회적 상호작용의 방식에 적용될 수 있다: (1) 사용자가 자신에 대한 하나 이상의 CNS 척도의 지표를 수신하거나; (2) 다른 플레이어, 관중 또는 모니터가 사용자의 CNS 척도의 지표를 수신하거나; 또는 (3) 애플리케이션이 동작 파라미터, 게임 플레이를 변경하거나 사용자의 CNS 척도를 베이스라인과 비교하는 것에 반응하여 일부 다른 동작을 취한다. 방법(1000)을 수행하기 위한 코드를 실행하는 프로세서는 이벤트, 예를 들어 이벤트 트리거(예를 들어, 사회적 상호작용 애플리케이션의 진행 또는 결과에 중요한 이벤트가 트리거됨, 예를 들어 배팅이 되거나 올라감, 비 플레이어 캐릭터 또는 다른 플레이어가 사용자의 아바타에 도전함, 컨테스트 이벤트가 시작함, 컨테스트 이벤트가 종료함, 사회적 상호작용이 발생함 등), 시간 경과(예를 들어, 플레이 중 15초마다) 또는 생체 센서 입력(예를 들어 고정된 미리 결정된 데이터 임계값 또는 롤링 평균과 같은 가변 수를 초과하는 하나 이상의 센서 입력의 측정 또는 표시의 발생)의 발생에 기초하여 CNS의 척도가 트리거될 수 있다. 일 양태에서, CNS의 척도는 전술한 것의 조합에 기초하여 트리거될 수 있다. 방법(1000)은 적어도 아래에 설명된 사회적 상호작용의 유형에 일반적이지만 아래에 설명된 애플리케이션에 제한되지 않는다.
방법(1000)은 예를 들어 포커, WerewolfTM, BalderdashTM 및 유사한 게임과 같이 금전적 베팅이 있거나 없는 경쟁적인 플러핑 게임에 사용될 수 있다. 이 게임에서 플레이어는 다른 플레이어를 속이기 위해 경쟁한다. 방법은 사용자만이 자신의 CNS 지표를 보는 훈련 모드, 모드 플레이어가 다른 플레이어의 CNS 지표를 보는 경쟁 모드, 플레이어가 이기거나 액세스 권한을 무작위로 받을 수 있는 필수 모드, 프로세서가 하나 이상의 플레이어의 CNS 지표에 기초하여 게임 플레이를 수정하는 대화형 모드, CNS 값이 관중에게 제공되는 관중 모드 또는 전술한 것의 임의의 조합에서 사용될 수 있다.
방법(1000)은 CNS 지표에 반응하여 사용자 경험을 개선하기 위해 임의의 게임 또는 다른 사회적 상호작용에 사용될 수 있다. 예를 들어, CNS 지표가 좌절을 나타내면 프로세서가 게임 플레이를 쉽게 할 수 있다. 지표가 지루함을 나타내면 프로세서는 새로운 요소를 도입하거나 외형과 속도에 영향을 미치는 게임의 기술적 파라미터를 변경하거나 다른 챌린지를 제공할 수 있다. 일 양태에서, 프로세서는 CNS 데이터를 게임 플레이에 상관시키는 것에 기초하여 임의의 원하는 파라미터(예를 들어, 사용자 참여)를 최적화하기 위해 머신 러닝 알고리즘을 적용할 수 있다.
방법(1000)은 예를 들어 사용자의 CNS 데이터를 다른 플레이어에게 공개하거나 공개하지 않고 선호하는 친구 또는 날짜를 선택; 옷 또는 상품, 밈(meme), 비디오 클립, 사진 또는 예술 작품 또는 다른 자극의 좋아하는 품목을 선택하는 것을 포함하는 임의의 주제에 대한 선호도를 공유하는 것을 포함하는 소셜 게임에서 사용될 수 있다. 이러한 소셜 게임은 가장 선호하는 사람 또는 사물을 선택하는 거소가 같은 경쟁 요소를 포함하거나 포함하지 않고 플레이될 수 있다.
방법(1000)은 참여자가 그의 사회적 상호작용의 감정적 충격을 더 잘 이해하고 그에 따라 그들의 행동을 조정하도록 함으로써 대인 관계 통신을 강화시키기 위해 소셜 게임에서 사용될 수 있다.
방법(1000)은 블러핑과 같이 오브젝트가 플레이어의 감정적 상태를 숨기는 것을 포함하는 소셜 게임에서, 또는 오브젝트가 플레이어의 감정적 상태를 드러내는 것을 포함하는 게임에서 사용될 수 있다. 두 경우 모두 CNS 데이터는 다른 플레이어의 성과를 비교하기 위한 양적 또는 질적 근거를 제공할 수 있다.
방법은 운동 컨테스트에서 사용될 수 있다. 프로세서는 플레이 관리를 위해 각 경쟁자 또는 경쟁자 팀에 속한 장치에 CNS를 제공할 수 있다. 대안적으로, 또는 추가로, 프로세서는 컨테스트의 안전 또는 즐거움을 개선하기 위해 하나 이상의 심판 또는 관중에게 속한 장치에 CNS를 제공할 수 있다. 대안적으로, 또는 추가로, 프로세서는 새로운 스타일의 플레이를 가능하게 하기 위해 상대 또는 상대 팀에 속한 장치에 CNS를 제공할 수 있다.
방법(1000)은 1002에서 프로세서가 하나 이상의 플레이어의 식별 및 사회적 상호작용 애플리케이션 동안 발생할 수 있는 하나 이상의 사회적 상호작용을 시뮬레이션하는 자극에 대한 대응하는 베이스라인 신경 생리학적 반응을 결정, 획득 또는 할당하는 단계를 포함할 수 있다. 예를 들어, 일 양태에서, 베이스라인은 베이스라인 흥분 및 유의성 값을 포함할 수 있다. 일 양태에서, 베이스라인 신경 생리학적 반응은 생체 데이터의 데이터베이스(예를 들어, 도 6: 610)로부터 획득될 수 있으며, 이는 주어진 플레이어에 따라 특정될 수 있거나(데이터베이스가 이미 플레이어로부터 획득한 베이스라인 데이터를 포함하는 범위까지), 또는 대안으로 플레이어 속한 문화적 또는 인구 통계학적 카테고리에 기인한 베이스라인 데이터의 세트에 기초하여 특정 플레이어에 일반 베이스라인 데이터의 세트를 할당하거나, 또는 베이스라인 데이터는 무작위로 할당하거나 다른 적절한 수단에 의해 할당될 수 있다. 일 양태에서, 베이스라인은 본 명세서에서 이전에 논의된 바와 같이 감정 교정 동안 결정될 수 있다. 그러나, 이러한 베이스라인 결정은 모든 플레이어에 대해 항상 필요한 것은 아니며, 게임의 각 플레이 세션 또는 본 개시에 의해 고려되는 다른 사회적 상호작용 애플리케이션에 대해 필요한 것도 아니다.
1004에서, 프로세서는 하나 이상의 플레이어(인간 및/또는 컴퓨터 플레이어를 포함함)가 참여하는 사회적 상호작용 애플리케이션의 플레이를 시작한다. 1006에서, 프로세서는 CNS의 척도가 트리거되도록 본 명세서에서 앞서 설명한 바와 같은 이벤트가 발생했는지 여부를 결정한다. 이를 위해, 예를 들어, 프로세서는 본 명세서에 셜멍된 바와 같은 센서 및 클라이언트 장치를 사용하여 하나 이상의 플레이어의 행동 또는 신경 생리학적 상태를 모니터링할 수 있다. 예를 들어, 플레이어의 행동은 바로 아래 단락에서 카지노의 게임 룸에서의 구현의 예와 관련하여 아래에 설명된 센서를 사용하여 모니터링될 수 있다. 이벤트가 감지되지 않으면, 1008에서, 프로세서는 감지될때까지 계속 대기한다. 이벤트가 감지되면, 1010에서, 프로세서는 하나 이상의 플레이어에 대한 CNS 값의 척도를 계산하는 것을 진행한다.
예를 들어, 제1 플레이어와 둘 이상의 다른 플레이어(딜러 포함) 사이에서의 포커 게임을 포함하는 방법(1000)에서, 제1 플레이어가 “언더 더 건(under the gun)”(다른 플레이어의 베팅과 일치시키거나 게임을 떠나는 것을 의미함) 플레이어라고 가정하며 75$의 빅 블라인드(big blind)를 게시한 플레이어를 즉시 따라간다. 핸드가 시작되고 딜라는 각 플레이어에게 두 장의 다운 카드를 나눈다. 언더 더 건 제1 플레이어는 본 명세서에 설명된 시스템 및 센서에 의해 검출된 바와 같이 빅 블라인드보다 큰 금액, 예를 들어 5000$로 칩을 배체하여 콜을 하고 베팅을 한다. 이러한 경우, 1006에서 프로세서는 이벤트(예를 들어, 베팅이 올라감)가 발생했다고 결정한다. 1010에서, 프로세서는 이벤트 발생 시 제1 플레이어에 대한 CNS 값의 척도를 계산하고 1012에서, 프로세서는 측정된 CNS를 나타내는 데이터 세트를 메모리에 저장한다.
일 양태에서, 1014에서, 프로세서는 계산된 CNS를 제1 플레이어에 출력할지 여부를 결정한다. 예를 들어, 방금 설명한 포커 게임의 핸드가 컴퓨터 알고리즘에 대한 제1 플레이어 훈련에 의해 이전에 훈련 세션 플레이어로 지정되었다고 가정한다. 이러한 경우 프로세서는 1010에서 계산된 CNS를 1014에서 제1 플레이어에게 출력해야 한다고 결정한다.
1016에서, 제1 플레이어는 계산된 CNS의 출력을 예를 들어 디지털 표현(예를 들어, 흥분 또는 유의성의 수치 또는 온도, 땀, 얼굴 표정, 자세, 제스처 등과 같은 다른 생체 데이터), 백분율, 색상, 소리(예를 들어, 오디오 피드백, 음악, 촉각 피드백 등)를 포함하는 적절한 정성적 또는 정량적 형태 중 하나 이상으로 인식하거나 감지할 수 있다. 예를 들어, 제1 플레이어가 베팅을 5000$로 올렸을 때 블러핑을 했고, 제1 플레이어가 블러핑 이벤트와 일치하는 본 발명의 생체 센서에 의해 검출 가능한 신경 생리학적 징후를 보였다고 가정한다. 이러한 경우, 트레이닝 모드의 구현에서, 프로세서는 블러핑이 검출되었음을 플레이어에게 제안하는 인식 가능한 촉각 피드백인 “블러핑”이라는 오디오 피드백과 텍스트 “블러핑”으로 플레이어를 표시하는 디스플레이 상의 경고 메시지 등을 제1 플레이어에게 제공할 수 있다.
프로세서가 계산된 CNS가 제1 플레이어에게 출력되지 않아야 한다고 결정하면, 1018에서 프로세서는 계산된 CNS가 다른플레이어에게 출력되어야 하는지 여부를 결정한다. 예를 들어, 1014에서 훈련 모드에서 포커 게임의 예에서 계속하여, 프로세서가 제1 플레이어가 블러핑을 한다고 결정했지만, 블러핑의 검출이 제1 플레이어에게 드러나거나 출력되지 않는 대안적인 훈련 모드에서 프로세서는 훈련 모드 프로그래밍의 일부로서 계산된 CNS를 다른 플레이어에게 대신 출력할 수 있다. 1020에서, 계산된 CNS는 1016의 제1 플레이어의 경우와 유사한 방식으로 다른 플레이어에게 출력될 수 있다.
1022에서, 프로세서는 사회적 상호작용 애플리케이션의 플레이를 변경할 수 있다. 예를 들어, 훈련 모드에서 포커 게임의 예를 계속하면, 프로세서는 전술한 바와 같이 제1 플레이어에 의해 블러핑이 검출된 후에 포커 게임에 참여하는 하나 이상의 컴퓨터 알고리즘 플레이어의 행동 과정을 결정할 수 있다. 예를 들어, 제1 플레이어가 베팅을 올리기 전에 컴퓨터 알고리즘 플레이어가 빅 블라인드(75$)를 매칭하여 배팅을 콜할 준비가 되어 있다고 가정한다. 대신 프로세서는 제1 플레이어의 베팅을 콜하고 이를 5100$로 올리는 방식으로 플레이를 변경한다.
1024에서, 프로세서는 CNS 척도의 에러 벡터를 계산할 수 있다. 예를 들어, 포커 게임의 예를 계속하여, 전체 핸드가 끝날 때 프로세서가 이전에 “블러핑”으로 결정한 제1 플레이어가 이 라운드에서 승리했다고 가정한다. 그런 다음 1024에서, 프로세서는 “블러핑” 결정을 위한 에러 벡터를 계산한다. 1026에서, 프로세서는 계산된 에러를 기반으로 동작을 선택한다. 예를 들어, 포커 게임의 예를 계속하여, 1026에서 프로세서는 “블러핑” 파라미터 값을 업데이트할 수 있으며 이전에 “블러핑”으로 플래그 지정된 동일한 생체 데이터 세트에 대해 프로세서는 더 이상 세트를 “블러핑”으로 간주하지 않는다. 1028에서, 프로세서는 새로운 동작을 구현할 수 있다. 예를 들어, “블러핑”을 검출하기 위한 파라미터가 업데이트된 포커 게임의 예를 계속하면, 제1 플레이어가 참여하는 향후 포커 게임 라운드에서 프로세서는 이전에 “블러핑”으로 플래그 지정된 동일한 생체 데이터 세트로 간주하지 않으며, 그 대신에, 컴퓨터 알고리즘 플레이어는 예를 들어 동일한 생체 인식 데이터 세트가 제1 플레이어로부터 검출되는 경우 폴드(fold)를 결정할 수 있다.
동작(1024)은 다른 이유로도 수행될 수 있다. 예를 들어, 소셜 소개 게임에서, 프로세서는 높은 에러 값에 기초하여 소셜 소개 세션에서 하나 이상의 참가자가 불안하다고 결정할 수 있다. 그 다음, 1026에서, 프로세서는 검출된 불편함을 감소시키기 위한 동작을 선택할 수 있다. 예를 들어, 프로세서는 1028에서 세션에서 참가자를 제거하고 제거된 참가자를 다른 사람과 함께 새로운 세션에 배치하는 것을 포함하여 불안의 원인을 검출하고 줄이기 위해 개입 스크립트를 실행할 수 있다. 추가 예로서, 프로세서가 액션 게임의 플레이어가 좌절하거나 지루하다고 결정하면 플레이어의 관심과 플레이 시간을 증가시키기 위해 게임이 제시하는 챌린지의 레벨을 감소시키거나 증가시킬 수 있다.
1030에서, 프로세서는 사회적 상호작용 애플리케이션이 완료되었는지 여부를 모니터링한다. 예를 들어, 포커 게임의 예를 계속하면, 다른 컴퓨터 알고리즘 플레이어와 대결하는 제1 플레이어가 테이블을 떠나거나 그렇지 않으면 게임 참여를 종료하면 게임이 종료된다.
방법(1000)의 특정 실시예는 베팅, 레이즈 및 블러핑의 예상을 포함하여 플레이어의 스탠딩의 강도의 난독화(obfuscation)를 포함하는 카지노 게임에서 플레이어 의도의 추정의 정확도를 개선하기 위해 생체 피드백을 사용하는 것을 포함할 수 있다. 본 명세서에 설명된 시스템 및 센서는 플레이어가 카지노 게임에 참여하는 동안 비디오 및 오디오 캡쳐, 열적 이미징, 호흡 모니터링 및 다른 생체 인식을 통해 생체 인식 및/또는 플레이어 행동, 제스처, 자세, 얼굴 표정 및 다른 생체 지표를 기록하는데 사용될 수 있다. 프로세서는 대상이 블러핑을 하거나 그렇지 않으면 속이는 행위에 참여할 때와 비교하여 침착할 때 감정적 피드백을 사용하여 교정과 관련하여 CNS 점수를 기록할 수 있다. 예를 들어, 카지노 등의 게임 룸에서의 구현은 다음을 포함할 수 있다: 1) 베팅 및 블러핑을 포함하는 포커 및 포커 파생 게임에서 카지노 세팅의 전면 입체 카메라(시선 추적, 동공 확장, FAU), 마이크로폰(오디오 음성 분석, NLP 단어 분석), 위상 배열 센서(시선 추적, 동공 확장, FAU), IR 센서(fNIR), 레이저 호흡 모니터를 배치하고, 카지노 관리자 및 딜러에게 실시간 분석 및 피드백을 제공는 것, 2) 포커 플레이 컴퓨터 알고리즘을 개선하여 인간 상대의 생체 상태에 대한 누락된 정보를 제공하는 것, 및 3) 머신 러닝을 사용하여 포커 플레이 컴퓨터가 인간의 의도, 베팅, 레이즈 및 블러핑에 대한 기대를 검출할 수 있도록 하는 것. 다른 애플리케이션은 예를 들어 토너먼트 세팅에서 인간 챔피언 포커 플레이어를 상대로 포커 플레이 컴퓨터를 배치하는 것, 즉 궁극적인 인간 대 컴퓨터 포커 기술을 테스트하는 것을 포함할 수 있다. 일부 구현에서, 제공자는 포커 게임 전문가가 게임을 개선하기 위해 인간의 의도를 검출하도록 생체 인식을 사용하는 컴퓨터 알고리즘에 대해 훈련하기 위해 사용하기 위해 입체 카메라, 마이크로폰, 위상 배열, IR 및 레이저 센서를 포함하는 하드웨어 키트를 패키징할 수 있다.
다른 애플리케이션은 예를 들어 군사 유닛 또는 장비 강도, 공격 예상, 후퇴, 트릭(ruse), 매복 및 블러핑에 관한 플레이어의 스탠딩의 강도의 난독화를 포함하는 전략 게임에서 생체 피드백을 사용할 수 있다. 전략 게임의 모든 플레이어에 대한 생체 피드백을 인간 또는 컴퓨터 상대에게 제공하여 상대방 또는 상대방의 상태 및 의도의 결정된 정확성을 높이고 게임의 챌린지를 증가시키거나 전적으로 블러핑을 기초로 한 새로운 형태의 플레이를 제공할 수 있다.
사회적 상호작용 애플리케이션에서 참여하는 동안 사용자 또는 다른 사람에게 시그널링하기 위한 특정 추가 동작 또는 양태(1100)를 도시하는 도 11을 참조하면, 방법(1000)은 1110에서 적어도 부분적으로 센서 데이터에 기초하여 흥분 값을 결정하고 기대 평균 흥분과 센서 데이터에 기초한 자극 평균 흥분을 비교함에 의해 복합 신경 생리학적 상태의 측정을 결정하는 단계를 더 포함할 수 있다. 예를 들어, CNS는 흥분 및 유의성의 측정을 포함한다. 흥분 검출을 위한 적합한 센서는 도 4 및 도 10와 관련하여 위에 나열되어 있다.
관련 양태에서, 방법(1000)은 1120에서 기간 동안 임계값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 적어도 부분적으로 검출함으로써 복합 신경 생리학적 상태의 측정을 결정하는 단계를 포함할 수 있다. 관련 양태에서, 방법(1000)은 1130에서 하나 이상의 청중 구성원 및 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하고 이벤트 파워를 집계하는 단계를 포함할 수 있다. 일 양태에서, 방법(1000)은 적어도 하나의 프로세서에 의해 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하는 단계를 포함할 수 있다. 1140에서, 방법(1000)은 적어도 부분적으로 센서 데이터에 기초하여 유의성 값을 결정하고 복합 신경 생리학적 상태의 측정을 결정하는데 유의성 값을 포함시킴으로써 복합 신경 생리학적 상태의 측정을 결정하는 단계를 더 포함할 수 있다. 비 제한적인 예인 적합한 센서의 리스트는 도 4 및 도 10과 관련하여 위에 제공된다.
사회적 상호작용 애플리케이션 생산을 제어하기 위해 본 명세서에 설명된 방법 및 장치는 가상 또는 실제 환경에서 사람 대 사람 통신을 개선하도록 구성될 수 있다. 도 12는 전자 통신 네트워크(1250)를 통해 제2 사람(1212)을 갖는 제2 노드(1220)와 통신하는 제1 사람(1202)을 갖는 제1 노드(1210)를 포함하는 시스템(1200)을 도시한다. 시스템(1200)은 CNS 값이 대화와 함께 제시되고 측정된 통신을 위한 CNS 모델을 사용할 수 있다. 예를 들어, 두 사람(1202, 1212)은 대화할 수 있고 참여 클라이언트(1206, 1216) 중 하나 이상은 각 참가자의 사진 또는 비디오(1242, 1244)와 함께 감정 영향에 대한 데이터(1240)를 제시한다. 참가자(1202, 1212)의 신경 생리학적 반응은 대응하는 생체 센서(1208, 1218)를 사용하여 감지되고 본 명세서의 다른 곳에서 설명된다. 각 클라이언트(1206, 1218)는 생체 센서(1208, 1218)로부터의 센서 신호를 생체 데이터로 변환하고 생체 데이터를 각 통신 컴포넌트(1207, 1217) 및 통신 네트워크(1250)를 통해 분석 서버(1230)로 전송할 수 있다. 서버(1230)는 유의성, 흥분, 지배, CNS 또는 신경 생리학적 반응의 임의의 다른 적절한 척도 중 하나 이상의 척도를 실시간 또는 거의 실시간으로 생성하고 네트워크(1250)를 통해 클라이언트(1206, 1216)에 하나 이상의 척도를 제공할 수 있다.
각 클라이언트(1206, 1216)는 출력 장치(1204, 1214), 예를 들어 디스플레이 스크린을 통해 그래픽 디스플레이(1240) 또는 다른 유용한 포맷(예를 들어, 가청 출력)으로 척도를 출력할 수 있다. 디스플레이(1240) 또는 다른 출력을 대화 순서 진술 또는 진술 그룹에 대한 신경 생리학적 상태 측정을 보고할 수 있다. 예를 들어, 디스플레이(1240)는 흥분(1246, 1250) 또는 유의성(1248, 1252)의 지표를 포함할 수 있다. 시스템(1200)은 흥분의 급격한 증가가 있을 때마다 경보를 제공하고 또한 증가와 관련된 유의성을 보고할 수 있다. 그런 다음 경보는 의미에 대해 사람이 평가할 수 있다. 시스템(1200)은 가상 몰입형 경험 내에서 플레이어 액터 사이의 인간 대 인간 통신에 특히 유용할 수 있으며 다른 맥락에서도 애플리케이션을 찾을 수 있다.
전술한 바와 같이, 추가 예로서, 도 13-16은 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 방법(1300)의 양태를 도시한다. 일부 양태에서, 사회적 상호작용 애플리케이션은 카드 게임, 블러핑 게임, 데이트 애플리케이션, 소셜 네트워킹 애플리케이션, 액션 비디오 게임, 어드벤처 비디오 게임, 롤플레이 비디오 게임, 시뮬레이션 비디오 게임, 전략 비디오 게임, 스포츠 비디오 게임 및 파티 비디오 게임 중 하나 이상일 수 있다. 방법(1300)은, 출력 장치와 통신하는 하나 이상의 컴퓨터에 의한, 또는 출력 장치와 통신하는 하나 이상의 컴퓨터와 출력 장치의 조합에 의한, 몰입형 혼합 현실 출력 장치 또는 비 몰입형 평면 스크린 당치, 프로젝터 또는 프로그래밍 가능한 컴퓨터를 포함하는 다른 출력 장치에 의해 수행될 수 있다.
도 13을 참조하면, 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 컴퓨터 구현 방법은 1310에서, 적어도 하나의 프로세서에 의해 애플리케이션의 사용자를 포함하는 사회적 상호작용으로부터의 디지털 데이터를 모니터링하는 단계를 포함할 수 있다. 디지털 데이터는 출력 장치, 예를 들어 휴대용 또는 비 휴대용 평면 스크린 장치, 디지털 프로젝터 또는 대체 현실 또는 증강 현실을 위한 웨어러블 기어를 위해 인코딩될 수 있으며, 각 경우에 오디오 출력 기능에 연결되고 선택적으로 기타 추력 기능(예를 들어, 모션, 촉감 또는 후각)에 연결된다. 디지털 데이터를 플레이하는 것은 예를 들어 디지털 데이터를 출력 장치의 캐시 또는 다른 메모리에 보관하고 출력 장치의 적어도 하나의 프로세서에 의한 출력을 위해 데이터를 처리하는 것을 포함할 수 있다. 디지털 데이터는 사회적 상호작용 또는 사회적 상호작용 애플리케이션의 상태, 예를 들어 게임 상태, 채팅 기록 또는 다른 사회적 상호작용의 상태를 나타낼 수 있으며, 또는 사회적 상호작용에서 하나 이상의 참가자의 신경 생리학적 반응과 상관시키기 위한 다른 데이터를 나타낼 수 있다.
방법(1300)은 1320에서, 사회적 상호작용과 관련된 사용자의 신경 생리학적 반응을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계를 포함할 수 있다. 센서 데이터는 흥분, 유의성 또는 다른 척도에 대한 본 명세서에 설명된 데이터 중 하나 이상을 포함할 수 있다.
방법(1300)은 1330에서 본 명세서에 전술한 바와 같이 알고리즘을 사용하여 센서 데이터에 기초하여 사회적 상호작용에 대한 복합 신경 생리학적 상태(CNS) 값을 결정하는 단계를 포함할 수 있다. 대안적으로, 방법은 신경 생리학적 반응에 대한 다른 척도를 결정할 수 있다. 방법은 1340에서 컴퓨터 메모리에서 사회적 상호작용과 관련된 신경 생리학적 척도 또는 CNS 값을 기록하는 단계를 포함할 수 있다. 대안적으로, 방법은 CNS 값 또는 다른 신경 생리학적 척도를 사용자 및/또는 수용자에게 표시하는 단계를 포함할 수 있다. 대안적으로, 방법은 CNS 값에 적어도 부분적으로 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 것을 포함할 수 있다.
도 14-16은 방법(1300)의 일부로서 수행될 수 있는 추가 동작(1400, 1500, 1600)을 나열한다. 동작(1400, 1500, 1600)의 요소는 임의의 동작 순서로 수행될 수 있으며, 이들 중 임의의 하나 또는 의의의 수는 방법(1300)에서 생략될 수 있다.
도 14를 참조하면, 방법(1300)은 CNS 값을 결정하기 위한 추가 동작(1400) 중 하나 이상을 포함할 수 있다. 방법(1300)은 1410에서 적어도 부분적으로 센서 데이터에 기초하여 흥분 값을 결정하고 기대 평균 흥분과 센서 데이터에 기초한 자극 평균 흥분을 비교함에 의해 CNS 값을 결정하는 단계를 포함할 수 있다. 흥분을 위한 센서 데이터는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 심전도(EKG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 기능 자기 공명 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함할 수 있다. 방법(1300)은 1420에서, 알려진 오디오-비디오 자극에 관여하는 동안 수신자의 유사한 비자발적 응담을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 포함할 수 있다.
다른 양태에서, 방법(1300)은 1430에서, 알려진 비 흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오-비디오 자극을 재생하는 단계를 포함할 수 있다. 방법(1300)은 1440에서, 기간 동안 임계값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 적어도 부분적으로 검출함으로써 CNS 값을 결정하는 단계를 포함할 수 있다. 방법(1300)은 1450에서, 하나 이상의 사용자 각각에 대해 그리고 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하고 이벤트 파워를 집계하는 단계를 포함할 수 있다. 방법(1300)은 1460에서, 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하는 단계를 포함할 수 있다.
도 15를 참조하면, 방법(1300)은 CNS 값을 결정하기 위한 추가 동작(1500) 중 하나 이상을 포함할 수 있다. 방법(1300)은 1510에서, 기간 동안 임계값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 적어도 부분적으로 검출하고 알려진 오디오-비디오 자극에 대한, 하나 이상의 사용자에 대한 그리고 자극 이벤트 각각에 대한 다수의 기대 파워 중 하나를 계산함으로써 기대 평균 흥분을 결정하는 단계를 포함할 수 있다. 방법(1300)은 1520에서, 기대 파워의 집합에 대한 이벤트 파워의 합의 비율을 적어도 부분적으로 계산함으로써 CNS 파워를 계산하는 단계를 포함할 수 있다.
관련 양태에서, 방법(1300)은 1530에서 센서 데이터에 기초하여 유의성 값을 결정하는 단계를 포함할 수 있다. 유의성을 위한 센서 데이터는 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 공명 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 및 양전자 방출 단층 촬영(PET) 중 하나 이상을 포함할 수 있다. 방법(1300)은 1540에서, 알려진 오디오-비디오 자극에 대해 수집된 유사 값에 기초하여 유의성 값을 정규화하는 단계를 포함할 수 있다. 방법(1300)은 1550에서, 유의성 값을 사회적 상호작용에 대한 목표 유의성에 비교한 것에 기초하여 유의성 에러 측정을 결정하는 단계를 포함할 수 있다.
도 16을 참조하면, 방법(1300)은 CNS 값을 결정하기 위한 추가 동작(1600) 중 하나 이상을 포함할 수 있다. 방법(1300)은 1610에서, 사회적 상호작용 애플리케이션의 재생 동안 사용자에게 할당된 클라이언트 장치에 CNS 값의 지표를 출력하는 단계를 포함할 수 있다. 방법은 1620에서, 사회적 상호작용 애플리케이션의 재생 동안 다른 참가자에게 할당된 클라이언트 장치에 CNS 값의 지표를 출력하는 단계를 포함할 수 있다. 방법은 1630에서, CNS 값에 적어도 부분적으로 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 단계를 포함할 수 있다. 예를 들어, 1640에서, 사회적 상호작용 애플리케이션의 진행을 제어하는 단계는 승자 결정, 오디오-비쥬얼 게임 출력을 위한 파라미터 세팅 변경, 사용자에 대한 새로운 챌린지 선택, 사용자를 다른 플레이어에 일치, 및 사용자 아바타, 경쟁 플레이어의 아바타, 또는 논 플레이어 캐릭터의 능력을 결정하는 것 중 적어도 하나를 포함할 수 있다.
도 17은 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 장치 또는 시스템(1700)의 컴포넌트를 도시하는 개념적 블록도이다. 장치 또는 시스템(1700)은 본 명세서에 설명된 바와 같은 기능 또는 프로세스 동작을 수행하기 위한 추가적인 또는 더 상세한 컴포넌트를 포함할 수 있다. 예를 들어, 프로세서(1710) 및 메모리(1716)는 전술한 바와 같이 CNS를 실시간으로 계산하기 위한 프로세스의 인스턴스를 포함할 수 있다. 도시된 바와 같이, 장치 또는 시스템(1700)은 프로세서, 소프트웨어, 또는 이들의 조합(예를 들어, 펌웨어)에 의해 구현되는 기능을 나타낼 수 있는 기능 블록을 포함할 수 있다.
도 17에 도시된 바와 같이, 장치 또는 시스템(1700)은 적어도 하나의 프로세서에 의해 애플리케이션의 사용자를 포함하는 사회적 상호작용으로부터의 디지털 데이터를 모니터링하기 위한 전기 컴포넌트(1702)를 포함할 수 있다. 컴포넌트(1702)는 상기 모니터링을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1716)에 그리고 적어도 하나의 생체 센서(1714)의 출력에 연결된 프로세서(1710)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 사회적 상호작용이 목표 신경 생리학적 반응을 유도하는 것을 포함하는 사회적 상호작용의 컨텍스트를 검출하고, 사회적 상호작용과 목표 반응 사이의 연관성을 생성하는 것을 포함할 수 있다.
장치(1700)는 사회적 상호작용에 관한 사용자의 신경 생리학적 반응을 감지하도록 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하기 위한 전기 컴포넌트(1704)를 더 포함할 수 있다. 컴포넌트(1704)는 상기 수신을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1716)에 연결된 프로세서(1710)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 알려진 센서로부터 센서 데이터를 수신하도록 데이터 포트를 구성하고, 센서에 대한 연결을 구성하고, 포트에 디지털 데이터를 수신하고, 디지털 데이터를 센서 데이터로 해석하는 것과 같은 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1700)는 센서 데이터에 기초하여 사회적 상호작용에 대한 복합 신경 생리학적 상태(CNS) 값을 결정하기 위한 전기 컴포넌트(1706)를 더 포함할 수 있다. 컴포넌트(1706)는 상기 결정을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1716)에 연결된 프로세서(1710)를 포함할 수 있다. 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 도 8과 관련하여 설명된 바와 같이 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1700)는 컴퓨터 메모리에 사회적 상호작용과 관련된 CNS 값을 기록하고, 사용자에게 CNS 값을 표시하고, 사회적 상호작용에서의 다른 참가자에게 CNS 값을 표시하고 그리고 CNS 값에 적어도 부분적으로 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 것 중 적어도 하나에 대한 전기 컴포넌트(1708)를 더 포함할 수 있다. 컴포넌트(1708)는 상기 기록 또는 표시를 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1716)에 연결된 프로세서(1710)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 CNS 값을 인코딩하거나, 컴퓨터 메모리에 인코딩된 값을 저장하거나 또는 인코딩된 값을 사용자에게 제시하기 위해 출력 장치로 전송하는 것과 같은 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1700)는 선택적으로 적어도 하나의 프로세서를 갖는 프로세서 모듈(1710)을 포함할 수 있다. 프로세서(1710)는 버스(1713) 또는 유사한 통신 커플링을 통해 모듈(1702-1708)과 동작적으로 통신할 수 있다. 대안적으로, 하나 이상의 모듈은 프로세서의 메모리에서 기능적 모듈로서 인스턴스화될 수 있다. 프로세서(1710)는 전기 컴포넌트(1702-1708)에 의해 수행되는 프로세스 또는 기능의 개시 및 스케줄링을 수행할 수 있다.
관련 양태에서, 장치(1700)는 컴퓨터 네트워크를 통해 시스템 구성 요소들과 통신하도록 동작 가능한 네트워크 인터페이스 모듈(1712) 또는 동등한 I/O 포트를 포함할 수 있다. 네트워크 인터페이스 모듈은 예를 들어 이더넷 포트 또는 직렬 포트(예를 들어, 범용 직렬 버스(USB) 포트), Wifi 인터페이스 또는 셀룰러 전화 인터페이스일 수 있거나 이를 포함할 수 있다. 추가 관련 양태에서, 장치(1700)는 선택적으로 예를 들어 메모리 장치(1716)와 같은 정보를 저장하기 위한 모듈을 포함할 수 있다. 컴퓨터 판독 가능 매체 또는 메모리 모듈(1716)은 버스(1713) 등을 통해 장치(1700)의 다른 컴포넌트에 동작 가능하게 연결될 수 있다. 메모리 모듈(1716)은 본 명세서에 개시된 모듈(1702-1708) 및 그 서브 컴포넌트의 프로세스 및 거동 또는 프로세서(1710), 방법(1300) 및 하나 이상의 추가 동작(1400-1600)을 수행하기 위한 컴퓨터 판독 가능 명령 및 데이터를 저장하도록 구성될 수 있다. 메모리 모듈(1716)은 모듈(1702-1708)과 관련된 기능을 실행하기 위한 명령을 보유할 수 있다. 메모리(1716) 외부에 있는 것으로 도시되어 있지만, 모듈(1702-1708)은 메모리(1716) 또는 프로세서(1710)의 온칩 메모리 내에 존재할 수 있음을 이해해야 한다.
장치(1700)는 임의의 적합한 유형일 수 있는 하나 이상의 생체 센서(1714)를 포함하거나 이에 연결될 수 있다. 적합한 생체 센서의 다양한 예가 본 명세서에 설명된다. 대안적인 실시예에서, 프로세서(1710)는 컴퓨터 네트워크를 통해 동작하는 장치로부터 네트워크화된 마이크로 프로세서를 포함할 수 있다. 또한, 장치(1700)는 I/O 모듈(1712) 또는 다른 출력 포트를 통해 본 명세서에 설명된 바와 같이 출력 장치에 연결될 수 있다.
당업자는 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로 구현될 수 있음을 추가로 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 일반적으로 그 기능성의 관점에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따른다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안된다.
본 출원에서 사용되는 용어 “컴포넌트”, “모듈”, “시스템” 등은 컴퓨터 관련 엔티티, 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트 또는 모듈은 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 제한되지는 않는다. 예를 들어, 서버에서 실행되는 애플리케이션과 서버 모두는 컴포넌트 또는 모듈일 수 있다. 하나 이상의 컴포넌트 또는 모듈은 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며 컴포넌트 또는 모듈은 하나의 컴퓨터에 국한되고 그리고/또는 2 개 이상의 컴퓨터 사이에 분산될 수 있다.
다수의 컴포넌트, 모듈 등을 포함할 수 있는 시스템의 관점에서 다양한 양태가 제시될 것이다. 다양한 시스템은 추가 컴포넌트, 모듈 등을 포함할 수 있고 도면과 관련하여 논의된 모든 컴포넌트, 모듈 등을 포함하지 않을 수 있음을 이해하고 인식해야 한다. 이들 접근법의 조합이 또한 사용될 수 있다. 본 명세서에 개시된 다양한 양태는 터치 스크린 디스플레이 기술, 헤드 업 사용자 인터페이스, 웨어러블 인터페이스 및/또는 마우스 및 키보드 타입 인터페이스를 이용하는 장치를 포함하는 전자 장치에서 수행될 수 있다. 이러한 장치의 예는 VR 출력 장치(예를 들어, VR 헤드셋), AR 출력 장치(예를 들어, AR 헤드셋), 컴퓨터(데스크탑 및 모바일), 텔레베전, 디지털 프로젝터, 스마트 폰, 개인 휴대 정보 단말기(PDA) 및 유선 및 무선의 다른 전자 장치를 포함한다.
또한, 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈 및 회로는 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 PLD(programmable logic device) 또는 complex PLD(CPLD), 이산 게이트(discrete gate), 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 본 명세서에 기술된 기능을 수행하기 위해 설계된 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 대안적으로는 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 DSP와 마이크로 프로세서, 복수의 마이크로 프로세서, DSP코어와 관련된 하나 이상의 마이크로 프로세서 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수 있다.
본 명세서에 개시된 동작 양태는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈 또는 이들의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, DVD(digital versatile disk), Blu-rayTM 또는 당 업계에 공지된 임의의 다른 형태의 스토리지 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 연결되어 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서와 일체형일 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 클라이언트 장치 또는 서버에서 개별 컴포넌트로서 상주할 수 있다.
또한, 하나 이상의 버전은 개시된 양태를 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치 또는 제조 물품으로서 구현될 수 있다. 비 일시적 컴퓨터 판독 가능 매체는 자기 저장 장치(예를 들어, 하드 디스크, 플로피 디스크, 자기 스트립 또는 다른 포맷), 광학 디스크(예를 들어, 컴팩트 디스크(CD), DVD, Blu-rayTM 또는 다른 포맷), 스마트 카드 및 플래시 메모리 장치(예를 들어, 카드, 스틱 또는 다른 포맷)를 포함할 수 있지만 이에 제한되지는 않는다. 물론, 당업자는 개시된 양태의 범위를 벗어나지 않고 이 구성에 많은 수정이 이루어질 수 있음을 인식할 것이다.
개시된 양태의 이전 설명은 당업자가 본 개시를 만들거나 사용할 수 있도록 제공된다. 이들 양태에 대한 다양한 수정은 당업자에게 명백할 것이며, 본 명세서에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 개시는 본 명세서에 도시된 실시예로 제한되는 것이 아니라 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위에 따라야 한다.
전술한 예시적인 시스템을 고려하여, 개시된 주제에 따라 구현될 수 있는 방법론이 여러 흐름도를 참조하여 설명되었다. 설명의 단순성을 위해, 방법론은 일련의 블록으로 도시되고 설명되지만, 청구된 주제는 블록의 순서에 의해 제한되지 않으며, 일부 블록은 상이한 순서로 그리고/또는 본 명세서에 도시되고 기술된 것으로부터 다른 블록과 동시에 발생할 수 있음을 이해하고 인식해야 한다. 또한, 본 명세서에 설명된 방법론을 구현하기 위해 도시된 모든 블록이 필요한 것은 아니다. 또한, 본 명세서에 개시된 방법론은 컴퓨터로 이러한 방법론을 전송 및 전달하는 것을 용이하게 하기 위해 제조 물품 상에 저장될 수 있음을 추가로 이해해야 한다.

Claims (39)

  1. 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 방법에 있어서,
    적어도 하나의 프로세서에 의해 애플리케이션의 사용자를 포함하는 사회적 상호작용으로부터 디지털 데이터를 모니터링하는 단계;
    상기 사회적 상호작용에 관련된 사용자의 신경 생리학적 반응을 감지하도록 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계;
    상기 센서 데이터에 기초하여 상기 사회적 상호작용에 대한 복합 신경 생리학적 상태(CNS) 값을 결정하는 단계; 및
    컴퓨터 메모리에서 상기 사회적 상호작용에 상관되는 CNS 값을 기록하는 단계, 상기 사용자에게 CNS 값을 표시하는 단계, 상기 사회적 상호작용의 다른 참가자에게 CNS 값을 표시하는 단계 및 CNS 값의 적어도 일부에 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 단계 중 적어도 하나;를 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  2. 제1항에 있어서,
    상기 CNS 값을 결정하는 단계는 센서 데이터에 기초하여 흥분(arousal) 값을 결정하는 단계 및 기대 평균 흥분(expectation average arousal)과 상기 센서 데이터에 기초한 자극 평균 흥분(stimulation average arousal)을 비교하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  3. 제2항에 있어서,
    상기 센서 데이터는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 안면 근전도(fEMG) 데이터, 심전도(EKG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 기능 자기 공명 이미징(fMRI) 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  4. 제2항에 있어서,
    알려진 오디오-비디오 자극에 관여하는 동안 수신자의 유사한 비자발적 응답을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  5. 제4항에 있어서,
    알려진 비 흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오 비디오 자극을 재생하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  6. 제2항에 있어서,
    상기 CNS 값을 결정하는 단계는 기간 동안 임계값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  7. 제6항에 있어서,
    상기 CNS 값을 결정하는 단계는 하나 이상의 사용자 각각에 대한 그리고 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하고 상기 이벤트 파워를 집계하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  8. 제7항에 있어서,
    상기 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  9. 제7항에 있어서,
    상기 기대 평균 흥분을 결정하는 단계는 기간 동안 임계값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하고, 알려진 오디오 비디오 자극에 대한, 하나 이상의 사용자에 대한 그리고 자극 이벤트 각각에 대한 다수의 기대 파워 중 하나를 계산하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  10. 제9항에 있어서,
    상기 CNS 파워를 계산하는 단계는 상기 기대 파워의 집합에 대한 이벤트 파워의 합의 비율을 계산하는 단계를 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  11. 제1항에 있어서,
    상기 센서 데이터에 기초하여 유의성(valence) 값을 결정하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  12. 제11항에 있어서,
    상기 센서 데이터는 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 공명 이미징(fMRI) 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  13. 제11항에 있어서,
    알려진 오디오-비디오 자극에 대해 수집된 유사 값에 기초하여 상기 유의성 값을 정규화하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  14. 제11항에 있어서,
    상기 사회적 상호작용에 대한 목표 유의성 값에 유의성 값을 비교하는 것에 기초하여 유의성 에러 측정을 결정하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  15. 제1항에 있어서,
    상기 사회적 상호작용 애플리케이션의 재생 동안 사용자에 할당된 클라이언트 장치에 CNS 값의 지표를 출력하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  16. 제1항에 있어서,
    상기 사회적 상호작용 애플리케이션의 재생 동안 다른 참가자에 할당된 클라이언트 장치에 CNS 값의 지표를 출력하는 단계를 더 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  17. 제1항에 있어서,
    상기 방법은 CNS 값에 적어도 부분적으로 기초하여 상기 사회적 상호작용 애플리케이션의 진행을 제어하는 단계를 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  18. 제17항에 있어서,
    상기 사회적 상호작용 애플리케이션의 진행을 제어하는 단계는 승자 결정, 오디오-비쥬얼 게임 출력을 위한 파라미터 세팅 변경, 사용자에 대한 새로운 챌린지 선택, 사용자를 다른 플레이어에 일치, 및 사용자 아바타, 경쟁 플레이어의 아바타, 또는 논 플레이어 캐릭터의 능력을 결정하는 것 중 적어도 하나를 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  19. 제1항에 있어서,
    상기 사회적 상호작용 애플리케이션은 카드 게임, 블러핑 게임, 데이트 애플리케이션, 소셜 네트워킹 애플리케이션, 액션 비디오 게임, 어드벤처 비디오 게임, 롤플레이 비디오 게임, 시뮬레이션 비디오 게임, 전략 비디오 게임, 스포츠 비디오 게임 및 파티 비디오 게임 중 하나 이상인,
    사회적 상호작용 애플리케이션을 제어하기 위한 방법.
  20. 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 장치로서,
    메모리 및 하나 이상의 생체 센서에 연결된 프로세서를 포함하며, 상기 메모리는 프로그램 명령을 보유하며 상기 프로그램 명령은 상기 프로세서에 의해 실행될 때 장치가:
    애플리케이션의 사용자를 포함하는 사회적 상호작용으로부터 디지털 데이터를 모니터링하는 단계;
    상기 사회적 상호작용에 관련된 사용자의 신경 생리학적 반응을 감지하도록 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계;
    상기 센서 데이터에 기초하여 상기 사회적 상호작용에 대한 복합 신경 생리학적 상태(CNS) 값을 결정하는 단계; 및
    컴퓨터 메모리에서 상기 사회적 상호작용에 상관되는 CNS 값을 기록하는 단계, 상기 사용자에게 CNS 값을 표시하는 단계, 상기 사회적 상호작용의 다른 참가자에게 CNS 값을 표시하는 단계 및 CNS 값의 적어도 일부에 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 단계 중 적어도 하나;를 수행하게 하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  21. 제20항에 있어서,
    상기 메모리는 적어도 부분적으로 센서 데이터에 기초하여 흥분 값을 결정하고 기대 평균 흥분과 상기 센서 데이터에 기초한 자극 평균 흥분을 비교함에 의해 CNS 값을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  22. 제21항에 있어서,
    상기 메모리는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 안면 근전도(fEMG) 데이터, 심전도(EKG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 기능 자기 공명 이미징(fMRI) 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함하는 센서 데이터를 수신하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  23. 제21항에 있어서,
    상기 메모리는 알려진 오디오-비디오 자극에 관여하는 동안 수신자의 유사한 비자발적 응답을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  24. 제23항에 있어서,
    상기 메모리는 알려진 비 흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오 비디오 자극을 재생하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  25. 제21항에 있어서,
    상기 메모리는 적어도 부분적으로 기간 동안 임계값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출함에 의해 CNS 값을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  26. 제25항에 있어서,
    상기 메모리는 적어도 부분적으로 하나 이상의 사용자 각각에 대한 그리고 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하고 상기 이벤트 파워를 집계함에 의해 CNS 값을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  27. 제26항에 있어서,
    상기 메모리는 상기 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  28. 제26항에 있어서,
    상기 메모리는 적어도 부분적으로 기간 동안 임계값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하고, 알려진 오디오 비디오 자극에 대한, 하나 이상의 사용자에 대한 그리고 자극 이벤트 각각에 대한 다수의 기대 파워 중 하나를 계산함에 의해 기대 평균 흥분을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  29. 제28항에 있어서,
    상기 메모리는 적어도 부분적으로 상기 기대 파워의 집합에 대한 이벤트 파워의 합의 비율을 계산함에 의해 CNS 파워를 계산하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  30. 제20항에 있어서,
    상기 메모리는 상기 센서 데이터에 기초하여 유의성 값을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  31. 제30항에 있어서,
    상기 메모리는 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 공명 이미징(fMRI) 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함하는 센서 데이터를 수신하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  32. 제30항에 있어서,
    상기 메모리는 알려진 오디오-비디오 자극에 대해 수집된 유사 값에 기초하여 상기 유의성 값을 정규화하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  33. 제30항에 있어서,
    상기 메모리는 상기 사회적 상호작용에 대한 목표 유의성 값에 유의성 값을 비교하는 것에 기초하여 유의성 에러 측정을 결정하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  34. 제20항에 있어서,
    상기 메모리는 상기 사회적 상호작용 애플리케이션의 재생 동안 사용자에 할당된 클라이언트 장치에 CNS 값의 지표를 출력하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  35. 제20항에 있어서,
    상기 메모리는 상기 사회적 상호작용 애플리케이션의 재생 동안 다른 참가자에 할당된 클라이언트 장치에 CNS 값의 지표를 출력하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  36. 제20항에 있어서,
    상기 메모리는 CNS 값에 적어도 부분적으로 기초하여 상기 사회적 상호작용 애플리케이션의 진행을 제어하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  37. 제36항에 있어서,
    상기 메모리는 적어도 부분적으로 승자 결정, 오디오-비쥬얼 게임 출력을 위한 파라미터 세팅 변경, 사용자에 대한 새로운 챌린지 선택, 사용자를 다른 플레이어에 일치, 및 사용자 아바타, 경쟁 플레이어의 아바타, 또는 논 플레이어 캐릭터의 능력을 결정하는 것 중 하나 이상에 의해 상기 사회적 상호작용 애플리케이션의 진행을 제어하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  38. 제20항에 있어서,
    상기 메모리는 카드 게임, 블러핑 게임, 데이트 애플리케이션, 소셜 네트워킹 애플리케이션, 액션 비디오 게임, 어드벤처 비디오 게임, 롤플레이 비디오 게임, 시뮬레이션 비디오 게임, 전략 비디오 게임, 스포츠 비디오 게임 및 파티 비디오 게임 중 하나 이상을 포함하는 상기 사회적 상호작용 애플리케이션을 제공하기 위한 추가 명령을 보유하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
  39. 사용자의 신경 생리학적 상태의 표현에 기초하여 사회적 상호작용 애플리케이션을 제어하기 위한 장치로서,
    애플리케이션의 사용자를 포함하는 사회적 상호작용으로부터 디지털 데이터를 모니터링하기 위한 수단;
    상기 사회적 상호작용에 관련된 사용자의 신경 생리학적 반응을 감지하도록 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하기 위한 수단;
    상기 센서 데이터에 기초하여 상기 사회적 상호작용에 대한 복합 신경 생리학적 상태(CNS) 값을 결정하기 위한 수단; 및
    컴퓨터 메모리에서 상기 사회적 상호작용에 상관되는 CNS 값을 기록하는 단계, 상기 사용자에게 CNS 값을 표시하는 단계, 상기 사회적 상호작용의 다른 참가자에게 CNS 값을 표시하는 단계 및 CNS 값의 적어도 일부에 기초하여 사회적 상호작용 애플리케이션의 진행을 제어하는 단계 중 적어도 하나를 위한 수단;을 포함하는,
    사회적 상호작용 애플리케이션을 제어하기 위한 장치.
KR1020207022751A 2018-01-08 2019-01-07 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션 KR102649074B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2019/012567 WO2019136394A1 (en) 2018-01-08 2019-01-07 Social interactive applications for detection of neuro-physiological state

Publications (2)

Publication Number Publication Date
KR20210003718A true KR20210003718A (ko) 2021-01-12
KR102649074B1 KR102649074B1 (ko) 2024-03-18

Family

ID=67143928

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207022751A KR102649074B1 (ko) 2018-01-08 2019-01-07 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
KR1020207022752A KR20210004951A (ko) 2018-01-08 2019-01-08 신경 생리학적 상태의 검출을 위한 센서 데이터를 사용하는 컨텐츠 생성 및 제어

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207022752A KR20210004951A (ko) 2018-01-08 2019-01-08 신경 생리학적 상태의 검출을 위한 센서 데이터를 사용하는 컨텐츠 생성 및 제어

Country Status (5)

Country Link
US (2) US20200405212A1 (ko)
EP (2) EP3737282A4 (ko)
KR (2) KR102649074B1 (ko)
CN (2) CN112118784B (ko)
WO (2) WO2019136394A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3688997A4 (en) 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
CN113993451A (zh) * 2019-06-12 2022-01-28 惠普发展公司， 有限责任合伙企业 基于生理测量的扩展现实调整
US11153555B1 (en) * 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11918359B2 (en) * 2020-06-17 2024-03-05 Lear Corporation System and method for deep analytics and strategic monetization of biomedical sensor data
US11925433B2 (en) * 2020-07-17 2024-03-12 Daniel Hertz S.A. System and method for improving and adjusting PMC digital signals to provide health benefits to listeners
US11045731B1 (en) * 2020-10-08 2021-06-29 Playtika Ltd. Systems and methods for combining a computer story game with a computer non-story game
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
CN112398952A (zh) * 2020-12-09 2021-02-23 英华达（上海）科技有限公司 电子资源推送方法、系统、设备及存储介质
US11399074B2 (en) * 2020-12-16 2022-07-26 Facebook Technologies, Llc Devices, systems, and methods for modifying features of applications based on predicted intentions of users
US11336707B1 (en) * 2020-12-21 2022-05-17 T-Mobile Usa, Inc. Adaptive content transmission
CN113017630B (zh) * 2021-03-02 2022-06-24 贵阳像树岭科技有限公司 一种视觉感知情绪识别方法
FR3123487B1 (fr) 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
US11670184B2 (en) * 2021-07-22 2023-06-06 Justin Ryan Learning system that automatically converts entertainment screen time into learning time
US11899922B2 (en) * 2021-07-27 2024-02-13 Carnegie Mellon University System, method, and device for interactive neurological training
KR102541146B1 (ko) * 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009193A1 (en) * 2009-07-10 2011-01-13 Valve Corporation Player biofeedback for dynamically controlling a video game state
US20160228744A1 (en) * 2014-12-09 2016-08-11 Movea Device and method for the classification and the reclassification of a user activity

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2071759C1 (ru) * 1994-08-16 1997-01-20 Копылов Виталий Александрович Способ лечения детского церебрального паралича
US6487583B1 (en) * 1998-09-15 2002-11-26 Ikimbo, Inc. System and method for information and application distribution
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
CN101578065A (zh) * 2006-09-08 2009-11-11 Ull测量仪股份公司 利用痛觉阈测量结果的方法
US8260189B2 (en) * 2007-01-03 2012-09-04 International Business Machines Corporation Entertainment system using bio-response
US20090088610A1 (en) * 2007-03-02 2009-04-02 Lee Hans C Measuring Physiological Response to Media for Viewership Modeling
KR20100038107A (ko) * 2007-07-30 2010-04-12 뉴로포커스, 인크. 신경-반응 자극 및 자극 속성 공명 추정기
US9521960B2 (en) * 2007-10-31 2016-12-20 The Nielsen Company (Us), Llc Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
US8069125B2 (en) * 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US8444485B2 (en) * 2008-08-05 2013-05-21 Warner Bros. Entertainment Inc. Seamless user navigation between high-definition movie and video game in digital medium
GB2470579A (en) * 2009-05-27 2010-12-01 Univ Abertay Dundee A behavioural biometric security system using keystroke metrics
EP2440124A1 (en) * 2009-06-12 2012-04-18 Koninklijke Philips Electronics N.V. Conditioning an organism
US8634701B2 (en) * 2009-12-04 2014-01-21 Lg Electronics Inc. Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US10843078B2 (en) * 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US9846628B2 (en) * 2010-06-15 2017-12-19 Microsoft Technology Licensing, Llc Indicating parallel operations with user-visible events
US10198775B2 (en) * 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
BR112013030406A2 (pt) * 2011-06-01 2016-12-13 Koninkl Philips Nv método e sistema para assistir pacientes
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US9301068B2 (en) * 2011-10-19 2016-03-29 Cochlear Limited Acoustic prescription rule based on an in situ measured dynamic range
JP5828552B2 (ja) * 2011-12-22 2015-12-09 本田技研工業株式会社 物体分類装置、物体分類方法、物体認識装置及び物体認識方法
US9569986B2 (en) * 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
US9254437B2 (en) * 2012-04-25 2016-02-09 Electronic Entertainment Design And Research Interactive gaming analysis systems and methods
US9304621B1 (en) * 2012-05-25 2016-04-05 Amazon Technologies, Inc. Communication via pressure input
US9748914B2 (en) * 2012-08-15 2017-08-29 Warner Bros. Entertainment Inc. Transforming audio content for subjective fidelity
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US9531985B2 (en) * 2013-03-15 2016-12-27 Samsung Electronics Co., Ltd. Measuring user engagement of content
US9788777B1 (en) * 2013-08-12 2017-10-17 The Neilsen Company (US), LLC Methods and apparatus to identify a mood of media
US10084880B2 (en) * 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
CN106030642A (zh) * 2014-02-23 2016-10-12 交互数字专利控股公司 认知与情感人机界面
EP3111447B1 (en) * 2014-02-24 2020-12-30 Ctrlmovie AG Device and method for playing an interactive audiovisual movie
US9704205B2 (en) * 2014-02-28 2017-07-11 Christine E. Akutagawa Device for implementing body fluid analysis and social networking event planning
CN107005747B (zh) * 2014-07-31 2020-03-06 普达普有限公司 经由用户可选择的叙事呈现递送媒体内容的方法、设备和制品
WO2016033545A1 (en) * 2014-08-29 2016-03-03 Sling Media Inc. Systems and processes for delivering digital video content based upon excitement data
CN105610884B (zh) * 2014-11-21 2019-03-29 阿里巴巴集团控股有限公司 旅游信息的提供方法及装置
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
US9792084B2 (en) * 2015-01-02 2017-10-17 Gracenote, Inc. Machine-led mood change
JP6049224B2 (ja) * 2015-04-14 2016-12-21 国立研究開発法人産業技術総合研究所 皮膚感覚の評価装置、および皮膚感覚の評価方法
WO2016172557A1 (en) * 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
CN204630657U (zh) * 2015-05-08 2015-09-09 国网上海市电力公司 一种电缆管道振动监测节点
US10242677B2 (en) * 2015-08-25 2019-03-26 Malaspina Labs (Barbados), Inc. Speaker dependent voiced sound pattern detection thresholds
US10213688B2 (en) * 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
EP3465331B1 (en) * 2016-06-06 2024-08-07 Warner Bros. Entertainment Inc. Mixed reality system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009193A1 (en) * 2009-07-10 2011-01-13 Valve Corporation Player biofeedback for dynamically controlling a video game state
US20160228744A1 (en) * 2014-12-09 2016-08-11 Movea Device and method for the classification and the reclassification of a user activity

Also Published As

Publication number Publication date
KR102649074B1 (ko) 2024-03-18
EP3737282A4 (en) 2021-11-24
EP3738230A4 (en) 2022-04-20
US20200405212A1 (en) 2020-12-31
CN112352390A (zh) 2021-02-09
US20200405213A1 (en) 2020-12-31
CN112118784B (zh) 2024-06-14
EP3737282A1 (en) 2020-11-18
CN112118784A (zh) 2020-12-22
KR20210004951A (ko) 2021-01-13
WO2019136394A1 (en) 2019-07-11
EP3738230A1 (en) 2020-11-18
WO2019136485A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
KR102649074B1 (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
CN111936036B (zh) 使用生物特征传感器数据检测神经状态来指导现场娱乐
US20240045470A1 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
JP7140138B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters
US20240123351A1 (en) Affective gaming system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant