KR20200127969A - 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어 - Google Patents

사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어 Download PDF

Info

Publication number
KR20200127969A
KR20200127969A KR1020207012095A KR20207012095A KR20200127969A KR 20200127969 A KR20200127969 A KR 20200127969A KR 1020207012095 A KR1020207012095 A KR 1020207012095A KR 20207012095 A KR20207012095 A KR 20207012095A KR 20200127969 A KR20200127969 A KR 20200127969A
Authority
KR
South Korea
Prior art keywords
user
emotional
movie content
nodes
story
Prior art date
Application number
KR1020207012095A
Other languages
English (en)
Inventor
아르벨 에이. 챠펠
루이스 에스. 오스트로버
Original Assignee
워너 브로스. 엔터테인먼트 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 워너 브로스. 엔터테인먼트 인크. filed Critical 워너 브로스. 엔터테인먼트 인크.
Publication of KR20200127969A publication Critical patent/KR20200127969A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Data Mining & Analysis (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dermatology (AREA)

Abstract

컴퓨터 제어되는 미디어 플레이어를 통해 사용자에게 영화 컨텐츠를 제공하기 위한 컴퓨터 구현 방법은 목표 감정 아크 및 각각의 디지털 객체의 감정 프로파일을 나타내는 하나 이상의 코드와 각각 관련된 디지털 객체의 집합을 포함하는 컨텐츠 패키지에 프로세서에 의해 액세스하는 단계, 상기 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이 하기 위한 오디오-비디오 신호를 출력하는 단계, 상기 출력 장치를 보는 사용자의 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계, 상기 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하는 단계, 및 상기 하나 이상의 감정 상태 변수, 상기 목표 감정 아크의 최근 값 및 감정 프로파일을 나타내는 하나 이상의 코드에 기초하여 상기 재생을 위한 디지털 객체를 선택하는 단계를 포함한다. 장치는 하드웨어, 펌웨어 및/또는 소프트웨어를 사용하여 방법을 수행하도록 구성된다.

Description

사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
관련 출원에 대한 교차 참조
본 출원은 2017년 9월 29일 제출된 미국 가출원 제62/566,257호, 2018년 1월 8일 제출된 제62/614,811호, 2018년 4월 23일 제출된 제62/661,556호, 2018년 8월 7일 제출된 제62/715,766호에 대해 우선권을 주장하며, 모든 개시 사항은 전체 내용이 참조로서 본 명세서에 포함된다.
기술 분야
본 발명은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠, 사용자와 비-플레이어 캐릭터의 상호작용. 또는 둘 모두를 생성 및 제어하기 위한 방법 및 장치에 관한 것이다.
컴퓨터 생성 오디오-비디오 엔터테인먼트에서의 브랜칭 내러티브(branching narrative)는 1980년대 또는 그 이전으로 거슬러 올라간다. 오늘날의 정교한 비디오 게임은 내러티브와 상호 작용 엔터테인먼트, 블렌딩 브랜칭(blending branching) 및 상호 작용 기술 사이의 경계를 흐리게 한다. 가상 현실 및 증강 현실과 같은 몰입형 엔터테인먼트 기술은 시청자를 사로잡기 위해 더 많은 기회를 제공한다. 머신 러닝에 의한 데이터 마이닝을 통해 소비자 선호도 및 성향을 포함하는 다양한 대상 및 저수준 데이터 사이의 새로운 대응 관계를 발견할 수 있다. 모바일 폰과 사물 인터넷(IoT) 장치가 확산되면서, 네트워크로 연결된 센서가 폭발적으로 증가한다. 이제 그 어느 때보다 컨텐츠 소비자에게 대한 더 많은 실시간 및 배치 데이터를 수집할 수 있다.
새로운 엔터테인먼트 매체 및 훨씬 더 화려한 효과가 전례 없이 시청자에게 즐거움을 주지만, 영화 컨텐츠의 기초는 여전히 스토리 및 배우이다. 성공적인 영화는 영화 장르에 대한 가장 광범위한 잠재 고객을 대상으로 하는 시각적 및 청각적으로 매력적인 배열 및 설득력 있는 배우와 매력적인 스토리를 결합한다. 그러나, 영화는 내러티브가 아니다. 제작 결정은 초기 배포 몇 년 또는 몇 달 전에 종종 형성되는 감독의 예술적 및 비즈니스 감성을 기반으로 한다. 많은 제작 예산은 대부분의 시청자가 한 번만 볼 수 있는 고정 제품에 사용된다. 제품은 항상 모두에게 동일하다. 감독은 모든 사람이 공감할 수 있는 제품을 제공할 수 없으므로 공통 분모 또는 틈새 시장(market niche)을 창출한다. 현재의 영화 제작물은 단일 컨텐츠 패키지 내에서 다양한 시청자에게 보다 흥미롭고 매력적인 컨텐츠를 제공하기 위해 사용 가능한 기술을 활용하지 않는다.
그러므로, 영화 컨텐츠의 제작 및 제어를 위한 새로운 방법 및 다른 새로운 기술을 개발하여, 종래 기술의 이들 및 다른 제한을 극복하고 미래의 청중(audiences of tomorrow)에게 보다 매력적인 엔터테인먼트 경험을 제공하는 것이 바람직할 것이다.
이 요약 및 다음의 상세한 설명은 통합된 개시의 보완 부분으로 해석되어야 하며, 이 부분은 중복 주제 및/또는 보충 주제를 포함할 수 있다. 어느 한 섹션의 생략이 통합된 출원에 설명된 요소의 우선순위 또는 상대적인 중요성을 나타내지 않는다. 섹션 사이의 차이는 각각의 개시에서 명백한 바와 같이, 대안적인 실시예의 보충 개시, 추가의 상세, 또는 상이한 용어를 사용하는 동일한 실시예의 대안적인 설명을 포함할 수 있다.
본 개시의 일 양태에서, 컴퓨터 제어 미디어 플레이어를 통해 영화 컨텐츠를 사용자에게 제공하기 위한 컴퓨터로 구현되는 방법은 미디어 플레이어의 프로세서에 의해 각 디지털 객체의 감정 프로파일을 나타내는 하나 이상의 코드와 각각 관련된 디지털 객체의 수집 및 목표 감정 아크(targeted emotional arc)를 포함하는 컨텐츠 패키지에 액세스하는 단계 및 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이하기 위한 오디오-비디오 신호를 출력하는 단계를 포함한다. 이 방법은, 사용자의 신경학적 상태를 나타내는 출력 장치를 보는 사용자의 변화하는 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계 및 하나 이상의 감정 상태 변수, 목표 감정 아크의 최근 값 및 감정 프로파일을 나타내는 하나 이상의 코드에 기초하여 재생하기 위해 디지털 객체를 선택하는 단계를 더 포함할 수 있다.
일 양태에서, 각각의 디지털 객체는 스토리 네트워크의 노드를 나타내는 하나 이상의 코드로 추가로 인코딩될 수 있으며, 선택 동작은 스토리 네트워크의 노드의 위치를 나타내는 하나 이상의 코드에 추가로 기초하여 디지털 객체를 선택하는 것을 더 포함할 수 있다. 스토리 네트워크는 노드를 포함하는 노드의 세트일 수 있거나 이를 포함할 수 있다. 노드 중 첫번째 것과 마지막 것을 제외한 각 노드는, 노드의 세트의 제1 적절한 비어있지 않은 서브세트로 구성된 하나 이상의 허용 가능한 선행 노드와, 그리고 제1 적절한 비어있지 않은 서브 세트를 제외한 노드의 제2 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 후속 노드와 고유하게 연관될 수 있다. 노드 각각의 선행 노드 및 후속 노드는 스토리 네트워크에서의 그 위치를 나타낼 수 있다.
스토리 네트워크는 스토리 노드의 개별 레이어를 포함할 수 있고, 선택하는 단계는 영화 컨텐츠의 장면에서 결합하기 위해 별도의 레이어 중 다른 레이어로부터 노드를 각각 나타내는 디지털 객체를 선택하는 단계를 더 포함할 수 있다. 일 양태에서, 재생은 조합을 형성하는 스토리 노드의 별도 레이어로부터 스토리 노드를 결합하는 것을 포함할 수 있다. 다른 양태에서, 선택하는 단계는 별도 레이어의 일치하는 노드를 나타내는 디지털 객체를 선택하는 단계를 더 포함할 수 있다. 일 양태에서, 노드의 세트의 적어도 일부는 별도 레이어 중 상이한 레이어에서 하나 이상의 일치하는 노드와 관련된다. 스토리 소프트웨어는 '임베디드 재생 체인(embedded playback chain)', 룩업 테이블(LUT) 또는 각 레벨 상의 노드를 통한 스레딩(threading)이 사용자의 감정 및/또는 명시적 상호작용과 계속 일치하도록 하고 스토리 및/또는 비 플레이어 캐릭터 거동 또는 아크가 필요에 따라 원활하게 조정되도록 하는 방법을 인코딩할 수 있다.
다른 양태에서, 재생은 조합에 기초하여 하나 이상의 비디오 프레임을 렌더링하는 것을 포함할 수 있다. 대안적으로 또는 추가적으로, 재생은 미리 렌더링된 데이터를 획득하고 출력 장치에 제공하는 것을 포함할 수 있다.
일 양태에서, 선택하는 단계는 하나 이상의 감정 상태 변수의 값을 목표 감정 아크의 최근값과 비교하는 단계 및 상기 비교하는 단계에서 측정된 결함에 대해 보상하는 감정 프로파일과 관련하여 적어도 부분적으로 디지털 객체를 선택하는 단계를 더 포함할 수 있다. 목표 감정 아크는 연속적인 시간 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 감정값의 세트일 수 있거나 이를 포함할 수 있다. 방법은 사용자에 대한 이전의 감정 반응 데이터 및 사용자의 인구 통계학적 프로파일 중 적어도 하나에 기초하여 재생하는 동안 목표 감정 아크를 자동으로 수정하는 단계를 포함할 수 있다.
감정 반응은 일반적으로 의도하지 않은 것이다. 다른 양태에서, 선택하는 단계는 재생에 반응하여 사용자에 의한 의도적인 상호작용을 나타내는 데이터에 추가로 기초할 수 있다. 의도적인 상호작용은, 예를 들어 출력에 나타나는 캐릭터에 대해 향하는 음성, 사용자 인터페이스 장치 또는 센서에 의해 감지된 의도적인 근육 운동, 또는 전기 센서에 의해 감지된 의도적인 뇌 활동 중 하나 이상을 포함할 수 있다. 방법은 재생에 반응하여 사용자에 의한 의도적인 상호작용을 나타내는 데이터에 기초하여 출력에 나타나는 캐릭터 또는 객체의 동작을 제어하는 단계를 더 포함할 수 있다.
전술한 방법은 컴퓨터 프로세서에 의해 실행될 때 장치로 하여금 기술된 동작을 수행하게 하는 비 일시적 컴퓨터 판독 가능 매체의 제공된 프로그램 명령에 의해 임의의 적합한 프로그램 가능 컴퓨팅 장치에서 구현될 수 있다. 프로세서는 장치 및 사용자에 대해 로컬일 수 있거나 원격으로 위치되거나 또는 로컬 및 원격 프로세서의 조합을 포함할 수 있다. 장치는 영화 제작에 사용되거나 영화 컨텐츠를 하나 이상의 사용자에게 출력하기 위해 사용되는 컴퓨터 또는 연결된 컴퓨터의 세트를 포함할 수 있다. 영화 출력 장치는 예를 들어 개인용 컴퓨터, 모바일 폰, 노트패드 컴퓨터, 가상 현실 장치 또는 증강 현실 장치를 포함할 수 있다. 장치의 다른 요소는 예를 들어 방법의 실행에 참여하는 오디오 출력 장치 및 사용자 입력 장치를 포함할 수 있다. 장치는 사용자의 머리 및 다른 신체 부분의 움직임에 반응하는 헤드셋 또는 다른 디스플레이와 같은 가상 또는 증강 현실 장치를 포함할 수 있다. 장치는 영화 컨텐츠의 세부 사항을 제어하기 위해 제어기에 의해 사용되는 데이터를 제공하는 생체 센서를 포함할 수 있다.
전술한 목적 및 관련 목적을 달성하기 위해, 하나 이상의 예는 이하에서 충분히 설명되고 특히 청구 범위에서 지적되는 특징을 포함한다. 다음의 설명 및 첨부된 도면은 특정한 예시적인 양태를 상세히 설명하고 실시예의 원리가 이용될 수 있는 다양한 방식 중 일부만을 나타낸다. 다른 이점 및 신규한 특징은 도면 및 개시된 실시예와 관련하여 고려될 때 다음의 상세한 설명으로부터 명백해질 것이며, 이러한 모든 양태 및 그 등가물을 포함한다.
본 발명의 특징, 특성 및 이점은 유사한 참조 번호가 명세서 및 도면 전체에 걸쳐 대응하는 유사한 요소를 나타내는 도면과 관련하여 후술될 상세한 설명으로부터 더 명백해질 것이다.
도 1은 하나 이상의 분배 시스템에 결합된 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠를 생성하고 제어하기 위한 장치 및 시스템의 양태를 도시하는 개략적인 블록도이다.
도 2는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠를 생성하기 위한 서버의 양태를 도시하는 개략적인 블록도이다.
도 3은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 클라이언트 장치의 양태를 도시하는 개략적이 블록도이다.
도 4는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 가상 현실 클라이언트 장치의 특징을 도시하는 개략도이다.
도 5는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 생성 또는 제어하기 위한 방법의 높은 수준의 동작을 나타내는 흐름도이다.
도 6은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 시스템의 높은 수준의 양태를 도시하는 블록도이다.
도 7은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 방법의 양태를 도시하는 흐름도이다.
도 8은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하는 감정 아크를 갖는 디지털 영화 컨텐츠의 브랜칭 및 레이어의 맵을 도시하는 개념도이다.
도 9a는 도 8에 맵핑된 바와 같이 영화 컨텐츠의 장면 및 상이한 객체 사이의 연관 및 메타 데이터를 나타내는 블록도이다.
도 9b는 캐릭터, 스토리 및 감정 아크 사이의 관계를 나타내는 계층적 네트워크 다이어그램이다.
도 10은 사용자(플레이어 액터)의 감정 상태 또는 다수의 사용자에 대한 감정 상태의 집합에 반응하여 실시간 장면 선택의 양태를 도시하는 흐름도이다.
도 11은 사용자의 감정 상태에 반응하여 실시간 장면 또는 객체 선택을 위한 선택 알고리즘의 예를 도시하는 흐름도이다.
도 12는 사용자의 감정 상태에 반응하여 실시간 장면 또는 객체 선택에 사용될 수 있는 감정 프로파일의 양태를 도시하는 블록도이다.
도 13은 3-액트 감정 아크에서 스토리에 대한 의미 요소(semantic element)의 예를 도시하는 개념도이다.
도 14는 미리 결정된 감정 아크를 참조하여 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하는 시스템 또는 방법 및 플레이어 액터 사이의 상호작용의 예를 도시하는 개념도이다.
도 15a는 2차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 도면이다.
도 15b는 3차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 도면이다.
도 16은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 방법의 양태를 도시하는 흐름도이다.
도 17 및 18은 도 16에 도시된 방법의 추가의 선택적 양태 또는 동작을 나타내는 흐름도이다.
도 19는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 장치 또는 시스템의 구성 요소를 나타내는 개념적인 블록도이다.
이제 다양한 양태가 도면을 참조하여 기술된다. 다음의 설명에서, 설명의 목적으로 하나 이상의 양태에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 이러한 특정 세부 사항 없이도 다양한 양태가 실행될 수 있음은 자명할 수 있다. 다른 예에서, 공지된 구조 및 장치는 이러한 양태의 설명을 용이하게 하기 위해 블록도의 형태로 도시된다.
도 1을 참조하면, 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하는 방법은 클라이언트 서버 환경(100)에서 구현될 수 있다. 다른 아키텍처도 적합할 수 있다. 네트워크 아키텍처에서 센서 데이터는 로컬로 수집 및 처리될 수 있으며 네트워크 소스로부터의 스트리밍 데이터를 제어하는데 사용된다. 대안적인 실시예에서, 영화 컨텐츠는 로컬로 제어될 수 있으며, 머신 러닝 알고리즘을 개선하고 사용을 추적하기 위해 원격 서버에 로그 데이터가 제공될 수 있다. 본 명세서에 사용된 바와 같이, “영화 컨텐츠”는 내러티브 긴장(narrative tension)을 위한 방식에 따라 시청자의 감정을 즐겁게하고 유발하도록 설계된 스크립트에 의해 적어도 부분적으로 배열된 디지털 오디오-비디오 컨텐츠를 지칭하며, 때때로 본 명세서에서 “감정 아크”로 지칭된다. 감정 아크에 의해 계획된 내러티브 긴장은 사용자가 특정 극적인 사건, 캐릭터, 객체, 이미지, 사운드, 음악 또는 디지털 오디오-비디오 컨텐츠로부터 생성된 다른 자극에 반응하여 또는 다른 시간에 반대 극성의 감정, 예를 들어 두려움과 자신감 또는 혐오와 매력을 경험하게 할 수 있다. 이러한 감정의 강도는 종종 사용자가 경험에서 얻는 관심과 즐거움과 관련이 있으며 긴장이 고조되고 절정에 이르고 완화됨에 따라 감정 아크에 의해 계획될 수 있다. 영화 컨텐츠의 사용자는 긴장의 신경학적 또는 신경생리학적 상태를 무의식적으로 진입함으로써 감정 아크를 경험하는 동안 자연스럽게 반응한다(예: 때때로 흥분(arousal)이라고 하는 반응의 강도(intensity), 진폭 또는 강도(strength), 때때로 유의성(valence)이라고 하는 긍정적 또는 부정적 감정). 다양한 실시예에서, 영화 컨텐츠는 비디오 게임 특징과 유사한 상호 작용 특징을 지원하도록 구성될 수 있거나 사용자 신경학적 또는 신경생리학적 상태를 나타내는 데이터에 반응하는 것을 제외하고는 상호 작용 특징이 없을 수 있다.
컨텐츠가 이를 지원하도록 구성된 경우, 사용자(“플레이어 액터”라고도 함)는 또한 영화 컨텐츠에 나타나는 캐릭터 또는 다른 객체와 적극적으로 상호 작용할 수 있다. 본 명세서에서 사용되는 바와 같이, “플레이어 액터”는 클라이언트 장치 또는 인터페이스를 사용하여 무의식적으로 신경학적 또는 신경 생리학적 상태(예를 들어, 감정을 드러냄(emoting))로 진입함으로써 캐릭터 또는 객체와 상호 작용하는, 생체 센서가 장착되거나 결합된 클라이언트 장치 또는 인터페이스의 사용자이며, 직접 입력을 제공하기 위해 컨트롤러를 사용하는지의 여부와 관련없이, 플레이어 액터에 의해 의도적인 동작을 요구하지 않고 캐릭터 또는 객체의 내러티브 거동이 변경되도록 한다. “내러티브 거동”은 캐릭터 대화 또는 동작과 같은 내러티브를 변경하는 거동을 의미한다. 따라서, 플레이어 액터는 의도적인 동작을 취하지 않고 내적 또는 외적으로 감정을 드러냄으로써 내러티브에 영향을 미치는 사용자를 포함한다. 본 설명은 영화 AI를 논의할 때 “사용자” 및 “플레이어 액터”를 상호 교환적으로 사용한다. 영화 AI는 영화 컨텐츠의 적응을 통해 사용자의 비자발적 신경학적 또는 신경 생리학적 상태, 예를 들어 유의성 또는 흥분의 생체 감지를 통한 실시간 신경학적 피드백을 기반으로 사용자에 의해 경험된 내러티브 긴장을 증가시키거나 유지시킬 수 있다.
적합한 클라이언트 서버 환경(100)은 하나 이상의 네트워크, 예를 들어 광역 네트워크(WAN, 102)(예를 들어, 인터넷) 및/또는 무선 통신 네트워크(WCN, 104), 예를 들어 핸드폰 네트워크를 통해 통신하는 다양한 컴퓨터 서버 및 클라이언트 엔티티를 포함할 수 있다. 컴퓨터 서버는 다양한 아키텍처로 구현될 수 있다. 예를 들어, 환경(100)은 예를 들어 HTML, XML, PHP 및 자바 스크립트 문서 또는 실행 가능한 스크립트를 포함하지만 이에 제한되지 않는 월드 와이드 웹 프로토콜과 호환되는 문서 및 애플리케이션 코드를 포함하는 하나 이상의 웹/애플리케이션 서버(124)를 포함할 수 있다. 환경(100)은 데이터, 예를 들어 비디오, 오디오-비디오, 오디오 및 그래픽 컨텐츠 구성요소, 클라이언트 장치 상에서 또는 클라이언트 장치와 함께 실행하기 위한 소프트웨어, 예를 들어 센서 제어 및 감정 검출 애플리케이션 및 사용자 또는 클라이언트 장치로부터 수집된 데이터를 보유하기 위한 하나 이상의 데이터 서버(126)를 포함할 수 있다. 클라이언트 장치 또는 사용자로부터 수집된 데이터는 예를 들어 센서 데이터 및 애플리케이션 데이터를 포함할 수 있다. 센서 데이터는 클라이언트 장치 상에서 동작하는 배경(사용자 대면이 아닌) 애플리케이션에 의해 수집될 수 있고 데이터 싱크, 예를 들어 클라우드 기반 데이터 서버(122) 또는 이산 데이터 서버(126)로 전송될 수 있다. 애플리케이션 데이터는 다른 애플리케이션 입력, 출력 또는 내부 상태 또는 애플리케이션과의 사용자 상호 작용의 레코드를 포함하지만 이에 제한되지 않는 애플리케이션 상태 데이터를 의미한다. 애플리케이션은 영화 컨텐츠 및 지원 기능을 제어하기 위한 소프트웨어를 포함한다. 애플리케이션 및 데이터는 다른 유형의 서버, 예를 들어 분산 블록 체인 데이터 구조(128)에 액세스하는 임의의 서버 또는 마이크로 서버 또는 클라이언트로서 동시에 작동하는 클라이언트 장치의 세트(118, 120)에 의해 제공될 수 있는 피어 투 피어(P2P) 서버(116)로부터 제공될 수 있다.
본 명세서에서 사용되는 바와 같이, 사용자는 항상 시스템 노드가 영화 출력을 제어하는데 사용하기 위한 실시간 감정 반응 데이터를 수집하는 영화 컨텐츠의 시청자이다. 아바타 또는 다른 에이전시를 통해 컨텐츠에 적극적으로 참여하는 경우, 사용자는 본 명세서에서 플레이어 액터라고도 지칭될 수 있다. 시청자가 항상 사용자인 것은 아니다. 예를 들어, 방관자(bystander)는 감정 반응을 통해 컨텐츠와 상호 작용하지 않는 수동 뷰어일 수 있다. 본 명세서에 사용된 바와 같이, “노드”는 컴퓨터 네트워크에 참여하는 클라이언트 또는 서버를 포함한다. 위에서 언급한 바와 같이, 본 설명은 또한 사용자가 “플레이어 캐릭터”로 지칭되는 종래의 상호 작용 내러티브와 구별하기 위해 “플레이어 액터”라는 용어를 사용한다. 플레이어 캐릭터는 컨트롤러(예를 들어, 키보드 또는 전용 게임 컨트롤러) 또는 다른 직접 입력을 조작하여 내러티브와 상호 작용한다. 플레이어 액터와 달리 플레이어 캐릭터는 임의의 의도적인 동작 없이 생체 인식 가능한 신경학적 상태를 달성함으로써 내러티브를 변경할 수 없다.
감정 표현에 의해 영화 AI와 상호 작용할 때, 사용자는 영화 AI 내러티브의 플레이어 액터이다. 플레이어 액터는 NPC 및 다른 플레이어 액터와의 자연적인 언어 커뮤니케이션, 몰입형 경험 내에서의 운동(locomotion) 및 가상 운동 및 다른 플레이어 액터, NPC 및 내러티브 환경과의 감정 피드백 루프를 포함하는 다양한 방식으로 컨텐츠와 상호 작용할 수 있다.
네트워크 환경(100)은 다양한 다양한 클라이언트 장치, 예를 들어 WCN(104) 및 WAN(102)을 통해 서버에 연결되는 모바일 스마트폰 클라이언트(106) 및 노트패드 클라이언트(108); 전술한 클라이언트 장치 및 개인용 컴퓨터 클라이언트 장치(110) 중 임의의 하나, 라우터(112) 및 WAN(102)을 통해 서버에 연결되는 혼합 현실(예를 들어, 가상 현실 또는 증강 현실) 클라이언트 장치(114)를 포함할 수 있다. 일반적으로, 클라이언트 장치는 서버를 통해 또는 로컬 스토리지로부터 제공된 영화 컨텐츠에 액세스하기 위해 사용자에 의해 사용되는 컴퓨터일 수 있거나 이를 포함할 수 있다.
도 2는 환경(100)에서, 유사한 네트워크에서 또는 독립적인 서버로서 동작할 수 있는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 영화 컨텐츠 서버(200)를 도시한다. 서버(200)는 하나 이상의 하드웨어 프로세서(202, 214)(하나 이상의 도시된 것들 중 2 개)를 포함할 수 있다. 하드웨어는 펌웨어를 포함한다. 하나 이상의 프로세서(202, 214) 각각은 사용자의 감정 상태 및 시청 히스토리를 나타내는 센서 데이터를 위한 소스(220)에 대한 입력/출력 포트(216)(예를 들어, 범용 직렬 버스 포트 또는 다른 직렬 또는 병렬 포트)에 연결될 수 있다. 시청 히스토리는 컨텐츠 패키지를 위한 베이스 라인 스크립트로부터의 로그 레벨 레코드 또는 플레이어 액터 감정 상태 및 다른 입력에 반응하여 만들어진 제어 결정의 동등한 레코드를 포함할 수 있다. 시청 히스토리는 TV, Netflix 및 기타 소스에서 시청한 컨텐츠도 포함할 수 있다. 도출된 감정 아크를 포함하는 임의의 소스는 감정적으로 반응하는 컨텐츠를 제어 알고리즘에 입력하는데 유용할 수 있다. 서버(200)는 개인 또는 코호트(cohort)에 대한 다수의 컨텐츠 타이틀에 걸쳐 플레이어 액터 동작 및 감정 반응을 추적할 수 있다. 서버의 일부 유형, 예를 들어 클라우드 서버, 서버 팜 또는 P2P 서버는 단일 서버의 기능을 수행하기 위해 협력하는 개별 서버(200)의 다중 인스턴스를 포함할 수 있다.
서버(200)는 영화 컨텐츠를 제어하는데 사용되는 센서 및 애플리케이션 데이터를 포함하지만 이에 한정되지 않는 애플리케이션 및 데이터를 송수신하기 위한 네트워크 인터페이스(218)를 포함할 수 있다. 컨텐츠는 서버(200)로부터 클라이언트 장치로 제공되거나 클라이언트 장치에 의해 로컬로 저장될 수 있다. 클라이언트 장치에 로컬로 저장된 경우, 클라이언트 및 서버(200)는 센서 데이터 및 다른 플레이어 액터 기능을 처리하도록 협력할 수 있다. 일부 실시예에서, 클라이언트는 모든 컨텐츠 제어 기능을 처리할 수 있고 서버(200)는 추적용으로만 사용될 수 있거나 전혀 사용되지 않을 수 있다. 다른 실시예에서, 서버(200)는 컨텐츠 제어 기능을 수행한다.
서버(200)의 각각의 프로세서(202, 214)는 본 명세서에 기술된 방법을 수행하기 위한 애플리케이션 또는 애플리케이션들의 기능 모듈(206, 208)을 보유하는 적어도 하나의 메모리(204)에 동작 가능하게 연결될 수 있다. 모듈은 예를 들어 클라이언트 장치 및 서버와 통신하기 위한 통신 모듈(206)을 포함할 수 있다. 통신 모듈(206)은 프로세서(202 및/또는 214)에 의해 실행될 때 서버로 하여금 네트워크 또는 다른 연결을 통해 클라이언트 장치와 제어 데이터, 컨텐츠 데이터 및 센서 데이터를 통신하게 하는 명령을 포함할 수 있다. 추적 모듈(208)은 사용자 허가 및 프라이버시 설정에 따라 하나 이상의 컨텐츠 타이틀에 대해 사용자 또는 코호트에 대한 감정 반응 및 다른 상호 작용 데이터를 추적하는 기능을 포함할 수 있다.
모듈은 예를 들어 머신 러닝 프로세스(MLP) 모듈(210)을 포함할 수 있다. MLP 모듈(210)은 프로세서(202 및/또는 214)에 의해 실행될 때 서버로 하여금 플레이어 액터 감정 반응을 나타내는 데이터로 컴퓨터 언어에서 인코딩된 머신 러닝 프로세스를 적용하고, 이로써 컨텐츠 제어 알고리즘에 유용한 사용자의 내부 상태를 식별하는 것 중 하나 이상을 수행하게 하는 명령을 포함할 수 있다. 프로세서에 의해 실행될 때 머신 러닝 프로세스(210)는 서버가 특정 제어 동작에 대해 목표된 결과, 예를 들어 영화 컨텐츠의 감정 아크를 목표로 하는 정의된 감정 상태의 우도(likelihood)를 할당하게 할 수 있다.
모듈은 프로세서에 의해 실행될 때 서버로 하여금 미디어 플레이어에 대해 본 명세서에서 설명된 기능 중 임의의 하나 이상을 수행하게 하는 원격 미디어 플레이어 기능(212)을 더 포함할 수 있다. 대안적인 실시예에서, 원격 미디어 플레이어 기능은 서버 메모리(204)에서 제거될 수 있고 클라이언트 장치의 메모리에 제공될 수 있다. 메모리(204)는 추가 명령, 예를 들어 운영 시스템 및 지원 모듈을 포함할 수 있다.
도 3을 참조하면, 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 컨텐츠 소비 장치(300)의 양태. 장치(300)는 예를 들어 프로세서(302), 예를 들어 IntelTM 또는 AMDTM에 의해 설계된 80×86 아키텍처에 기초한 중앙 처리 유닛, ARMTM에 의해 설계된 시스템 온 칩(system-on-a-chip) 또는 임의의 다른 적절한 마이크로프로세서를 포함할 수 있다. 프로세서(302)는 버스 또는 다른 연결을 사용하여 3D 환경 장치(300)의 보조 장치 또는 모듈에 통신 가능하게 연결될 수 있다. 선택적으로, 프로세서(302) 및 그 결합된 보조 장치 또는 모듈은 하우징(301), 예를 들어 텔레비전, 셋톱 박스, 스마트 폰, 웨어러블 구글, 안경 또는 바이저 또는 다른 폼 팩터 내에 수용되거나 이에 연결될 수 있다.
사용자 인터페이스 장치(324)는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 프로세서에 사용자 제어 입력을 제공하기 위한 프로세서(302)에 연결될 수 있다. 프로세스는 종래의 평면 스크린 또는 프로젝션 디스플레이 장치를 위한 비디오 및 오디오를 출력하는 단계를 포함할 수 있다. 일부 실시예에서, 영화 제어 프로세스는 프로세서(302) 상에서 실행되는 혼합 현실 몰입형 디스플레이 엔진에 의해 작동되는 몰입형 혼합 현실 컨텐츠 디스플레이 프로세스를 위한 오디오-비디오 출력일 수 있거나 이를 포함할 수 있다.
사용자 제어 입력은 예를 들어 터치 스크린, 키보드, 포인팅 장치(예를 들어, 게임 컨트롤러), 마이크로폰, 모션 센서, 카메라 또는 이들의 일부 조합 또는 블록(324)에 의해 표시되는 다른 입력 장치를 통해 생성된 그래픽 사용자 인터페이스 또는 다른 입력(예를 들어, 문자 또는 방향 명령)으로부터의 선택을 포함할 수 있다. 이러한 사용자 인터페이스 장치(324)는 입/출력 포트(326), 예를 들어 범용 직렬 버스(USB) 또는 등가 포트를 통해 프로세서(302)에 연결될 수 있다. 제어 입력은 또한 프로세서(302)에 연결된 센서(328)를 통해 제공될 수 있다. 센서는 예를 들어 모션 센서(예를 들어, 가속도계), 위치 센서, 카메라 또는 카메라 어레이(예를 들어, 입체 어레이(stereoscopic array)), 생체 온도 또는 펄스 센서, 터치(압력) 센서, 고도계(altimeter), 위치 센서(예를 들어, GPS(Global Positioning System) 수신기 및 제어기), 근접 센서, 모션 센서, 연기 또는 증기 검출기, 자이로스코프 위치 센서, 라디오 수신기, 멀티 카메라 추적 센서/컨트롤러, 눈 추적 센서, 마이크로폰 또는 마이크로폰 어레이를 포함할 수 있다. 센서 또는 센서들(328)은 사용자의 감정 상태의 지표, 예를 들어 얼굴 표정, 피부 온도, 동공 확장, 호흡 속도, 근육 긴장, 신경계 활동 또는 맥박으로 사용되는 생체 데이터를 검출할 수 있다. 또한, 센서(들)(328)는 사용자의 상황, 예를 들어 사용자의 물리적 환경 및 환경에서 객체의 식별 위치, 사이즈, 배향 및 이동 또는 사용자 인터페이스 디스플레이의 다른 상태, 예를 들어 가상 현실 헤드셋의 모션을 검출할 수 있다.
하나 이상의 센서로부터의 센서 데이터는 디스플레이 출력을 제어하기 위해 CPU(302)에 의해 로컬로 처리될 수 있고 그리고/또는 서버에 의해 실시간으로 처리하기 위해 또는 비실시간 처리를 위해 서버(200)로 전송될 수 있다. 본 명세서에서 사용되는 “실시간”은 입력과 출력 사이에 임의의 지연 없이 사용자 입력에 반응하여 처리하는 것을 지칭하며; 즉, 기술적으로 가능한 한 빨리 반응한다. “비실시간”은 배치 처리 또는 디스플레이 제어를 위한 즉각적인 제어 입력을 제공하는데 사용되지는 않지만 임의의 지연 시간 후에 디스플레이를 제어할 수 있는 센서 데이터의 다른 사용을 지칭한다.
컴퓨터 네트워크의 다른 노드, 예를 들어 영화 컨텐츠 서버(200)와의 통신을 가능하게 하기 위해, 클라이언트(300)는 네트워크 인터페이스(322), 예를 들어, 유선 또는 무선 이더넷 포트를 포함할 수 있다. 예를 들어, 영화 컨텐츠의 몰입형 또는 비몰입형 경험을 포함하는 멀티 플레이어 경험을 가능하게 하기 위해 네트워크 통신이 사용될 수 있다. 시스템은 또한 비 영화 멀티 사용자 애플리케이션, 예를 들어 소셜 네트워킹, 그룹 엔터테인먼트 경험, 교육 환경, 비디오 게임 등에 사용될 수 있다. 네트워크 통신은 또한 데이터 처리, 컨텐츠 전달, 컨텐츠 제어 및 추적을 포함하여 클라이언트 및 네트워크의 다른 노드 사이의 데이터 전송에 사용될 수 있다. 클라이언트는 바람직하게는 사용자 관리를 요구하지 않고 애플리케이션 레벨 통신 요구 및 하부 레벨 통신 프로토콜을 처리하는 통신 모듈(306)을 사용하여 다른 네트워크 노드와의 통신을 관리할 수 있다.
디스플레이(320)는 예를 들어 프로세서(302) 또는 별도의 칩에 통합된 그래픽 처리 유닛(318)을 통해 프로세서(302)에 연결될 수 있다. 디스플레이(320)는, 예를 들어, 발광 다이오드(LED) 또는 다른 램프에 의해 조명되는 평면 스크린 컬러 액정(LCD) 디스플레이, LCD 디스플레이 또는 DLP(digital light processing) 유닛에 의해 구동되는 프로젝터, 레이저 프로젝터 또는 다른 디지털 디스플레이 장치를 포함할 수 있다. 디스플레이 장치(320)는 가상 현실 헤드셋 또는 다른 몰입형 디스플레이 시스템에 통합될 수 있다. 프로세서(302) 상에서 동작하는 혼합 현실 디스플레이 엔진에 의해 구동되는 비디오 출력, 또는 몰입형 컨텐츠 디스플레이와 함께 사용자 입력을 조정하고 그리고/또는 디스플레이를 생성하기 위한 다른 애플리케이션은 디스플레이 장치(320)에 제공되고 비디오 디스플레이로서 사용자에게 출력될 수 있다. 유사하게, 증폭기/스피커 또는 다른 오디오 출력 트랜스듀서(316)는 오디오 프로세서(312)를 통해 프로세서(302)에 연결될 수 있다. 비디오 출력과 관련되고 미디어 플레이어 모듈(308), 영화 컨텐츠 제어 엔진 또는 다른 애플리케이션에 의해 생성된 오디오 출력은 오디오 트랜스듀서(316)에 제공되고 오디오 가청 사운드(audible sound)로서 사용자에게 출력될 수 있다. 오디오 프로세서(312)는 마이크로폰(314)으로부터 아날로그 오디오 신호를 수신하고 이를 프로세서(302)에 의해 처리하기 위해 디지털 신호로 변환할 수 있다. 마이크로폰은 감정 상태의 검출을 위한 센서 및 구두 명령의 사용자 입력을 위한 또는 NPC 또는 다른 플레이어 액터에 대한 사회적 구두 반응을 위한 장치로서 사용될 수 있다.
3D 환경 장치(300)는 사용자의 감정 상태에 반응하여 영화 컨텐츠를 제어하는 동안 프로세서에 의한 빠른 실행 또는 처리를 위한 프로그램 명령 및 데이터를 보유하는 랜덤 액세스 메모리(RAM, 304)를 더 포함할 수 있다. 장치(300)의 전원이 꺼지거나 비활성 상태인 경우, 프로그램 명령 및 데이터는 장기 메모리, 예를 들어 비휘발성 자기, 광학 또는 전자 메모리 저장 장치(미도시)에 저장될 수 있다. RAM(304) 또는 저장 장치 중 어느 하나 또는 둘 모두는 프로세서(302)에 의해 실행될 때 장치(300)가 본 명세서에 설명된 방법 또는 동작을 수행하게 하는 프로그램 명령을 보유하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 프로그램 명령은 C, C++, C#, JavaScript, PHP 또는 JavaTM과 같은 임의의 적합한 고급 언어로 작성될 수 있으며 프로세서에 의해 실행할 기계 언어 코드를 생성하도록 컴파일될 수 있다.
프로그램 명령은 코딩 효율 및 이해를 용이하게 하기 위해 기능 모듈(306, 308)로 그룹화될 수 있다. 소스 코드에서 분할 또는 그룹화로 식별 가능하더라도 모듈은 기계 레벨 코딩에서 별도의 코드 블록으로 구분할 필요는 없다. 특정 유형의 기능에 대한 코드 번들은 번들의 머신 코드가 다른 머신 코드와 독립적으로 실행될 수 있는지 여부에 관계없이 모듈을 포함하는 것으로 간주될 수 있다. 모듈은 고 레벨 모듈 만일 수 있다. 미디어 플레이어 모듈(308)은 본 명세서에 설명된 임의의 방법 및 등가 방법의 동작을 전체적으로 또는 부분적으로 수행할 수 있다. 동작은 독립적으로 또는 다른 네트워크 노드 또는 노드들, 예를 들어 서버(200)와 협력하여 수행될 수 있다.
2차원(평면 또는 곡면) 스크린(예를 들어, 텔레비전, 모바일 스크린 또는 프로젝터) 상에 디스플레이하기 위한 종래의 2D 출력 또는 3D 출력에 더하여, 본 명세서에 개시된 영화 제어 방법은 가상 현실(VR) 또는 증강 현실(AR) 출력 장치로 사용될 수 있다. 도 4는 보다 구체적인 폼 팩터에서 클라이언트(300)의 예로서, 한 유형의 몰입형 VR 입체 디스플레이 장치(400)를 도시한 개략도이다. 클라이언트 장치(300)는 다양한 폼 팩터로 제공될 수 있으며, 그 중 하나의 장치(400)를 일 예로 제공한다. 본 명세서에 기술된 혁신적인 방법, 장치 및 시스템은 단일 폼 팩터로 제한되지 않고 영화 출력에 적합한 임의의 비디오 출력 장치에 사용될 수 있다. 본 명세서에서 사용된 바와 같이, 영화 출력은 브랜칭 및 상호 작용일 수 있는 스크립트 또는 내러티브에 따른 오디오-비디오 출력을 생성하는 임의의 디지털 신호를 포함한다. 일 양태에서, 영화 컨텐츠는 사용자의 검출된 감정 상태에 반응하여 변한다.
몰입형 VR 입체 디스플레이 장치(400)는 고해상도 디스플레이 스크린, 예를 들어 LCD 디스플레이를 포함하는 휴대용 태블릿 컴퓨팅 또는 스마트폰 장치의 제거 가능한 배치를 지원하고 허용하도록 구성된 불투명한 경량 구조 재료(예를 들어, 경질 폴리머, 알루미늄 또는 카드보드)로 만들어진 태블릿 지지 구조를 포함할 수 있다. 장치(400)는 사용자의 얼굴에 가깝게 착용되도록 설계되어, 스마트폰에서와 같이 작은 스크린 사이즈를 사용하여 넓은 시야를 가능하게 한다. 지지 구조(426)는 디스플레이 스크린(412)과 관련하여 한 쌍의 렌즈(422)를 보유한다. 렌즈는 사용자가 사용자의 눈으로부터 대략 1 내지 3 인치로 유지될 수 있는 디스플레이 스크린(412)에 편안하게 초점을 맞출 수 있도록 구성될 수 있다.
장치(400)는 지지 구조(426)에 연결되고 사용자의 얼굴 맞춤형이고(form fitting) 외광을 차단하기 위해 부드럽고 가요성이거나 또는 다른 적절한 불투명 재료로 구성된 관찰 덮개(미도시)를 더 포함할 수 있다. 덮개는 사용자에게 유일한 가시광원이 디스플레이 스크린(412)이 되도록 하여 장치(400)의 사용에 몰입 효과를 향상시키도록 구성될 수 있다. 스크린 분배기는 스크린(412)을 독립적으로 구동되는 입체 영역으로 분리하는데 사용될 수 있으며, 각각의 영역은 렌즈(422) 중 대응하는 하나를 통해서만 볼 수 있다. 따라서, 몰입형 VR 입체 디스플레이 장치(400)는 입체 디스플레이 장치 출력을 제공하기 위해 사용되어 보다 사실적인 3D 공간 인식을 사용자에게 제공할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 눈에 대한 렌즈(422)의 정확한 위치 설정을 용이하게 하기 위해 사용자의 코 위에 위치 설정하기 위한 브리지(미도시)를 더 포함할 수 있다. 장치(400)는 탄성 스트랩 또는 밴드(424) 또는 사용자의 머리 주위에 끼워지고 장치(400)를 사용자의 머리에 유지하기 위한 다른 헤드웨어를 더 포함할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 머리(430)와 관련하여 디스플레이 및 통신 유닛(402)(예를 들어, 태블릿 컴퓨터 또는 스마트폰)의 추가 전자 컴포넌트를 포함할 수 있다. 지지부(426)를 착용할 때, 사용자는 한 쌍의 렌즈(422)를 통해 디스플레이(412)를 본다. 디스플레이(412)는 내부 버스(417)를 통해 중앙 처리 유닛(CPU, 403) 및/또는 그래픽 처리 유닛(GPU, 410)에 의해 구동될 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 무선 커플링을 통해 CPU와 외부 서버 사이의 무선 통신을 가능하게 하는 송수신 컴포넌트 또는 컴포넌트들(418)을 더 포함할 수 있다. 송수신 컴포넌트(418)는 예를 들어 3GPP(3rd Generation Partnership Project) LTE(Long Term Evolution), GSM(Global System for Mobile communication) 또는 UMTS(Universal Mobile Telecommunications System)와 같은 셀룰러 전화 기술 및/또는 IEEE(Institute of Electrical and Electronics Engineers) 802.11과 같은 프로토콜을 사용하는 무선 로컬 영역 네트워크(WLAN) 기술을 포함하는 임의의 적합한 고 대역폭 무선 기술 또는 프로토콜을 사용하여 동작할 수 있다. 송수신 컴포넌트 또는 컴포넌트들(418)은 로컬 또는 원격 비디오 서버로부터 디스플레이 및 통신 유닛(402)으로 비디오 데이터의 스트리밍을 가능하게 하고, 본 명세서에 기술된 바와 같이 제어 또는 청중 반응 기술을 위해 로컬 또는 원격 비디오 서버로 센서 및 다른 데이터의 업링크 전송을 가능하게 할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어, 통신 버스(417)를 통해 CPU(403)에 연결된 하나 이상의 센서(414)를 더 포함할 수 있다. 이러한 센서는 예를 들어 디스플레이 및 통신 유닛(402)의 배향을 나타내기 위한 배향 데이터를 제공하는 가속도계/경사계 어레이를 포함할 수 있다. 디스플레이 및 통신 유닛(402)이 사용자의 머리(430)에 고정됨에 따라, 이 데이터는 또한 헤드(430)의 배향을 나타내도록 교정될 수 있다. 하나 이상의 센서(414)는 예를 들어 사용자의 지리적 위치를 나타내는 GPS(Global Positioning System) 센서를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 하나 이상의 사용자의 눈의 배향을 검출하거나 사용자의 물리적 환경(VR 혼합 현실에 대한)의 비디오 이미지를 캡쳐하거나 또는 둘 다를 위해 위치된 카메라 또는 이미지 센서를 더 포함할 수 있다. 일부 실시예에서, 사용자의 눈 또는 눈 움직임을 검출하도록 구성된 카메라, 이미지 센서 또는 다른 센서가 지지 구조(426)에 장착될 수 있고 버스(416) 및 직렬 버스 포트(미도시), 예를 들어 범용 직렬 버스(USB) 또는 다른 적합한 통신 포트를 통해 CPU(403)에 연결될 수 있다. 하나 이상의 센서(414)는 예를 들어 지지 구조(404)에 위치되고 사용자의 눈에 표면 윤곽을 나타내도록 구성된 간섭계를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 마이크로폰, 어레이 또는 마이크로폰들 또는 음성 사용자 명령 또는 구두 및 비구두 오디오 가청 반응을 검출하여 출력을 표시하기 위한 다른 오디오 입력 트랜스듀서를 포함할 수 있다. 하나 이상의 센서는 예를 들어 심박수를 감지하기 위한 전극 또는 마이크로폰, 사용자의 피부 또는 체온을 감지하도록 구성된 온도 센서, 얼굴 표정 또는 동공 확장을 검출하기 위해 분석 모듈에 연결된 이미지 센서, 구두 및 비구두 발화(utterance) 또는 알고리즘 처리를 통해 감정을 나타낼 수 있는 신경계 반응을 포함하는 생체 피드백 데이터를 수집하기 위한 다른 생체 센서를 포함할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 오디오 트랜스듀서(420), 예를 들어 디스플레이 및 통신 유닛(402)에서 스피커 또는 압전 트랜스듀서 또는 헤드폰을 위한 오디오 출력 포트 또는 헤드기어(424)에 장착된 다른 오디오 출력 트랜스듀서 등을 더 포함할 수 있다. 오디오 출력 장치는 서라운드 사운드, 멀티 채널 오디오, 소위 '객체 배향 오디오' 또는 입체 몰입형 VR 비디오 디스플레이 컨텐츠를 동반하는 다른 오디오 트랙 출력을 제공할 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 메모리 버스를 통해 CPU(403)에 연결된 메모리 장치(408)를 더 포함할 수 있다. 메모리(408)는 예를 들어 프로세서에 의해 실행될 때 장치(400)가 본 명세서에 설명된 바와 같은 동작을 수행하게 하는 프로그램 명령을 저장할 수 있다. 메모리(408)는 또한 데이터, 예를 들어 네트워크 노드로부터 스트리밍하는 동안 버퍼링되는 라이브러리의 오디오-비디오 데이터를 저장할 수 있다.
사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하는 방법을 수행하기 위한 적합한 클라이언트, 서버 및 네트워크의 예를 설명하였지만, 이들 방법의 더 상세한 양태가 다루어질 것이다. 도 5는 임의의 기능적 순서로 또는 병렬로 3 개의 관련 동작을 포함할 수 있는 방법(500)의 오버뷰를 도시한다. 관련 동작(510)은 머신 러닝 알고리즘을 사용하여 사용자 또는 사용자 코호트에 대한 생체 데이터를 감정 지표와 관련시킨다. 선택적으로, 머신 러닝 알고리즘은 생체 데이터 외에 상황 표시 데이터를 처리하여 정확도를 향상시킬 수 있도록 구성될 수 있다. 상황 표시 데이터는 예를 들어 사용자 위치, 사용자 배치, 시각, 요일, 주변 광 레벨, 주변 소음 레벨 등을 포함할 수 있다. 예를 들어, 사용자의 상황이 주위가 산만하다면, 바이오 피드백 데이터는 조용한 환경에서와는 다른 유효성(significance)을 가질 수 있다. 감정 지표는 감정 아크와 관련된 상징적인 값일 수 있다. 지표는 정량적이거나 비정량적일 수 있는 구성 요소를 가질 수 있다. 예를 들어, 지표는 인지 부하(cognitive load), 흥분 및 유의성과 같은 심리적 특성의 강도를 나타내는 값을 갖는 다차원 벡터로 설계될 수 있다. 심리학의 유의성은 사건, 객체 또는 상황의 매력 또는 바람직함의 상태이며; 유의성은 대상이 객체가 기피하거나 또는 나쁜 것으로 느낄 때 부정적이라고 하며, 어떤 것이 좋거나 매력적으로 느낄 때 긍정적이라고 한다. 흥분은 대상의 주의 및 매력의 상태이다. 머신 러닝 알고리즘은 적어도 하나의 지도식 머신 러닝(supervised machine learning, SML) 알고리즘, 예를 들어 선형 회귀 알고리즘, 신경망 알고리즘(neural network algorithm), 지원 벡터 알고리즘, 나이브 베이즈 알고리즘(naive Bayes algorithm), 선형 분류 모듈 및 랜덤 포레스트 알고리즘 중 하나 이상을 포함할 수 있다.
내러티브 브랜칭 동작(520)은 감정 지표, 감정 반응의 예측 및 목표 감정 아크에 기초하여 영화 컨텐츠의 내러티브 포크에서 목적지 브랜치를 선택한다. 참여 제어 노드(participating control node)는 사용자 또는 코호트에서 목표 감정 상태를 생성할 가능성이 있는 내러티브 요소를 예측하기 위해 머신 러닝 툴을 사용하여 예측할 수 있다. 예측이 이루어지면, 제어 노드는 목표 감정 반응을 생성할 가능성이 가장 높은 요소들의 조합을 갖는 브랜치를 선택한다. 또한, 제어 노드는 감정 지표와 함께 직접 입력을 계량함으로써 상호 작용 비디오 게임과 유사한 방식으로 플레이어 액터 직접 입력에 부분적으로 브랜칭 결정을 기초로 할 수 있다. 직접 사용자 입력은 예를 들어 음성 또는 텍스트 구두 입력, 게임 컨트롤러로부터의 입력, 카메라 어레이에 의해 검출된 신체 움직임 또는 사용자 인터페이스에서 제어 링크의 선택을 포함할 수 있다. 또한, 제어 노드는 NPC 또는 다른 플레이어 액터와의 대화와 같은 상황 지표에 부분적으로 브랜칭 결정을 기초로 할 수 있다.
영화 컨텐츠 제어 노드는 내러티브를 변경하거나 변경하지 않고 영화 컨텐츠(통칭하여 “지지 컨텐츠”)에 나타나는 캐릭터, 객체 또는 환경의 특성 또는 거동을 변경하도록 구성될 수 있다. 지지 컨텐츠 선택 동작(530)은 사용자 및 코호트에 대한 감정 지표, 감정 반응의 예측 및 목표 감정 아크에 기초하여 오디오-비디오 요소의 특성 및 거동을 선택한다. 지지 컨텐츠 선택은 브랜치 선택을 병렬화하는 기술을 사용하여 변경에 대한 반응을 예측하고 사용자 입력으로 감정 입력을 계량할 수 있다. 예를 들어, 제1 사용자의 과거 반응은 적색과 행복 사이의 연관성을 나타낼 수 있고 제2 사용자의 반응은 녹색과 행복 사이의 반응을 나타낸다. 행복함을 의도하는 장면을 위해, 지지 컨텐츠 선택 동작은 제1 사용자에 대해 더 많은 적색 객체가, 제2 사용자에 대해 더 많은 녹색 객체가 표시되도록 할 수 있다. 더 복잡한 지지 컨텐츠 선택은 캐릭터 상호 작용을 포함할 수 있으며, 이는 아래에 더 논의된다.
감정을 어떻게 양자화(quantise) 하는가? 감정은 직접 측정될 수 없으므로 센틱 변조(sentic modulation)를 측정해야 한다. 센틱 변조는 감정 상태 또는 감정 상태의 변화로 인한 생체 파형의 변조이다. 일 양태에서, 센틱 변조 및 감정 상태 사이의 베이스 라인 상관 관계를 얻기 위해, 플레이어 액터는 알려진 시각 자극(예를 들어, 포커스 그룹 테스트 또는 개인 교정 세션으로부터)을 나타내어 특정 유형의 감정을 이끌어낼 수 있다. 자극 하에 있는 동안, 테스트 모듈은 플레이어 액터의 생체 데이터를 캡쳐하고 자극 생체 데이터를 휴지 생체 데이터와 비교하여 생체 데이터 파형에서 센틱 변조를 식별할 수 있다.
AI라고도 하는 머신 러닝은 복잡한 현상 사이의 상관 관계를 밝혀내는 효율적인 툴일 수 있다. 도 6에 도시된 바와 같이, 사용자의 감정 상태를 나타내는 센서 데이터(610)에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 시스템(600)은 오디오-비디오 및 내러티브 자극(620)과 생체 데이터(610) 사이의 상관 관계를 검출하기 위해 머신 러닝 훈련 프로세스(630)를 사용할 수 있다. 훈련 프로세스(630)는 미디어 플레이어 클라이언트(예를 들어, 클라이언트(300, 402))로부터 생체 데이터(610)와 시간 상관된 자극 데이터(620)를 수신할 수 있다. 데이터는 특정 사용자 또는 코호트와 관련되거나 일반적일 수 있다. 두 유형의 입력 데이터(일반적이고 사용자와 연관됨)는 함께 사용될 수 있다. 일반 입력 데이터는 사용되어 감정 반응에 대한 베이스 라인을 교정하고 장면 또는 영사(cinematographic) 요소 배열에 대한 베이스 라인 감정 반응을 분류할 수 있다. 대부분의 사용자가 내러티브 상황 내에서 장면을 볼 때 유사한 생체 인식(biometric tell)을 나타내는 경우, 장면은 사용자로부터 유사한 생체 데이터를 유발하는 다른 장면으로 분류될 수 있다. 유사한 장면은 자동화된 분석 툴에 의해 도움을 받아 감정 지표 메트릭(640)에서 장면의 점수를 수동으로 매길 수 있는 인간 창작 생산자(human creative producer)에 의해 수집되고 검토될 수 있다. 대안적으로, 지표 데이터(640)는 유사한 장면으로 분류되지 않고 인간 및 반자동 처리에 의해 점수가 매겨질 수 있다. 이러한 인간 점수 요소는 머신 러닝 프로세스(630)에 대한 훈련 데이터가 된다. 일부 실시예에서, 영화 컨텐츠의 인간 채점 요소(human scoring element)는 온라인 설문 양식을 통한 것과 같이 사용자를 포함할 수 있다. 채점은 문화적 인구 통계를 고려해야 하며 장면 요소에 대한 상이한 문화의 반응에 대한 전문가 정보에 의해 알 수 있다.
ML 훈련 프로세스(630)는 장면 또는 다른 영사 요소의 인간 및 기계 결정된 점수를 비교하고 본 기술 분야에 공지된 반복 머신 러닝 방법을 사용하여 훈련 데이터와 그 자신의 추정치 사이의 에러를 감소시킨다. 창의적인 컨텐츠 분석가는 전문적인 판단 및 경험에 기초하여 다수의 사용자로부터 데이터에 점수를 매길 수 있다. 개별 사용자는 자신의 컨텐츠에 점수를 매길 수 있다. 예를 들어, 감정 상태를 인식하기 위해 개인 “감독 소프트웨어” 훈련을 지원하려는 사용자는 컨텐츠를 시청하면서 자신의 감정에 점수를 매길 수 있다. 이 접근법의 문제는 사용자 스코어링이 정상적인 반응을 방해하여 머신 러닝 알고리즘을 오도할 수 있다는 것이다. 다른 훈련 방법에는 짧은 컨텐츠 세그먼트에 걸쳐 대상 생체 반응의 임상 테스트와 이에 이은 감정 상태에 관련 임상 대상 조사를 포함한다. 머신 러닝 프로세스(630)에 대한 훈련 데이터를 개발하기 위해 이들 및 다른 접근법의 조합이 사용될 수 있다.
프로세스가 사용자 또는 사용자의 그룹에 대한 상관 관계를 학습하면, 실시간 컨텐츠 소비 동안 학습된 상관 관계를 적용할 준비가 된다. 멀티 레벨 AI 루프는 영화 AI를 위한 협력 소프트웨어 모듈에 정보를 제공한다. 시험(trial)은 과거의 AI 성공 사례를 탐색하고 AI 툴을 사용하여 목표를 달성하도록 기회를 식별한다. 절차는 각 시험에 사용된 AI 툴을 구현한다. 목표 달성 시 툴의 적용에 대한 보상을 장려한다.
스토리 관리 소프트웨어는 각 플레이어 액터에 대해 멀티 레벨 AI 루프를 생성하는 방법을 구현하는데 사용될 수 있다. 루프는 예를 들어 스토리 월드 루프, 비플레이어 캐릭터(NPC) 루프 및 플레이어 액터 루프를 포함할 수 있다. 스토리 월드 AI 루프에서, 스토리는 감정 계획 또는 “아크”에 따라 목표로 활성화되고 NPC와 상호 작용하는 플레이어 액터의 감정을 검출함으로써, 선택적으로 VR 또는 AR 헤드셋을 사용하여 몰입형 컨텐츠를 시청함으로써 목표를 달성하도록 실시간으로 적응시킨다. NPC AI 루프에서, 목표는 플레이어 액터와의 NPC 상호 작용을 제어함으로써 특정 스토리 요소 감정을 이끌어내는 것이다. 플레이어 액터 AI 루프에서, AI는 생체 데이터 및 플레이어 액터의 대응하는 감정의 센틱 변조를 정확하게 식별하도록 지향된다.
도 7은 협력 AI 루프를 사용하여 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 방법(700)의 양태를 도시한다. 방법(700)은 도 5에 도시된 방법 오버뷰(500)의 더 상세한 예를 제공하는데, 여기서 플레이어 액터는 스토리 아크 및 영화 컨텐츠 내에서 역할을 수행하는 컴퓨터 제어 캐릭터(예를 들어, “봇(bot)” 또는 NPC)와 상호 작용한다. 이러한 캐릭터는 지지 컨텐츠의 예이며, 영화 컨텐츠가 따르도록 설계된 내러티브 및 감정 아크를 지원하지만 무효화하지는 않는다.
블록(702-704)은 플레이어 액터 루프에 대응한다. 702에서, 미디어 플레이어는 플레이어 액터에 의해 사용되도록 자체 교정된다. 여기에는 머신 러닝 알고리즘의 훈련, 베이스 라인 측정, 플레이어 액터와의 세션에 사용하기 위해 서버로부터 사용가능한 교정 데이터 다운로드 또는 다른 사용자 지정을 포함할 수 있다. 일 양태에서, 교정은 가능한 한 방해받지 않도록 설계된다. 예를 들어, 미디어 플레이어에 의한 교정은 단독으로 또는 하나 이상의 인공 지능(AI) 서버와 협력하여 시스템이 사용자의 보다 정확한 감정 프로파일을 구축함에 따라 지속적으로 또는 간격을 두고 발생하고 시간에 따라 점진적으로 개선될 수 있다. 휴지 생리학적 센서 교정 이외에, 교정 시스템은 또한 플레이어 액터 사이의 생체 데이터를 정규화하여 플레이어 사이의 생체 반응을 비교하기 위한 베이스 라인을 확립할 수 있다. 추가의 컨텐츠 기대 정규화가 컨텐츠의 플레이어 기대를 정량화하기 위해 측정될 수 있다. 이 프로세스는 대표적인 자극 컨텐츠 하에서 생체 반응의 측정을 포함할 수 있다. 교정 및 정규화는 함께 사용될 때 플레이어 사이의 단일 및 집합 생체 반응 모두를 계산하기 위한 강력한 베이스 라인 방법을 제공한다. 교정 및 정규화 팩터는 감정 반응 및 컨텐츠와의 참여(engagement)를 계산하는데 사용될 수 있다.
704에서, 미디어 플레이어는 영화 컨텐츠를 재생하기 시작하고 플레이어 액터는 이를 시청하기 시작하고 미디어 플레이어의 센서는 감정 표시에 사용되는 생체 신호를 검출하기 시작한다. 생체 신호를 검출하는데 사용되는 생체 센서는 의료 분야에 공지되어 있으며 본 출원에서 감지에 적합할 수 있다. 예를 들어, 생리학적 신호를 모니터링할 수 있는 의료용으로 개발된 센서는 예를 들어 골격근에 의해 생성된 전기 활동을 감지하는 근전도(EMG) 센서, 뇌의 전기 활동을 검출하는 뇌전도(EEG) 센서, 피부의 전기 저항의 변화를 검출하는 갈바니 피부 반응(GSR) 센서, 심박동을 검출하는 심전도(ECG/EKG) 센서; 신체 언어, 얼굴 표정, 시선 방향 및 각막 변형을 검출하는 광학 센서, 뇌와 결합된 기계 사이에서 가능한 양방향 통신이 있거나 없는 결합된 기계(예를 들어, 미디어 플레이어 또는 중간 기계(intermediate machine))와 향상된 두뇌를 직접 연결하는 뇌-컴퓨터 인터페이스(BCI) 신호 및 음성 변조와 같은 감정 지표를 검출하기 위한 오디오 분석용 마이크로폰을 포함할 수 있다.
706에서, 시스템(예를 들어, 선택적으로 네트워크 노드에 의한 참여를 갖는 미디어 플레이어)은 센서 데이터를 디지털화하고 처리함으로써, 스토리 텔링 소프트웨어에 의해 스토리 아크의 감정 목표와 상관될 수 있는 상징적인 감정 지표를 도출한다. 머신 러닝/AI 툴을 사용하여 센서 데이터를 처리하고 지표를 실시간으로 도출할 수 있다. 감정 지표는 바람직하게는 컴팩트한 형태로 상징화된 감정 품질(symbolized emotional quality)의 정량적 척도일 수 있다. 예를 들어, 64비터 머신 판독 가능 값은 0에서 8까지의 스케일로 21 개의 서로 다른 감정 품질의 값을 전달할 수 있으며, 품질의 동일성은 그 값의 비트 위치에 의해 전달된다. 예를 들어, 처음 3 개의 비트는 행복 값을 나타내고, 두 번째 3 개의 비트는 긴장 값 등을 나타낼 수 있다. 머신 판독 가능 데이터에서 감정을 나타내기 위한 방식이 아래에 더 상세하게 설명된다.
블록(708-720)은 비 플레이어 캐릭터(NPC) 루프에 대응한다. 708에서, 미디어 플레이어의 프로세서는 하나 이상의 NPC에 대한 초점 또는 초점들을 결정한다. 결정(708)으로의 관련 입력은 플레이어 액터 루프(블록 706) 및 스토리 루프(726)로부터의 장면 식별자를 포함할 수 있다. 장면 데이터로부터, 프로세서는 예를 들어 데이터베이스 쿼리(database query)를 사용하여 컨텐츠 디자이너가 장면과 관련된 모든 NPC 식별자를 검색하여 이용 가능한 NPC의 목록을 현재 장면에 사용 가능한 NPC의 목록으로 좁힌다. 프로세스(706)로부터의 플레이어 액터의 현재 감정 상태는 아래에 설명하는 후속 단계에서 사용된다.
프로세스(708)에 대한 추가적인 관련 입력은 NPC의 감정 임팩트 점수를 포함할 수 있다. 각 NPC는 미리 결정된 감정 임팩트 점수와 연관될 수 있으며, 이는 플레이어 액터에 대해 맞춤화되거나 일반적일 수 있다. 예를 들어, 어린 아동 NPC는 일반적인 동정 스케일에서 높은 점수를 받고, 아동에 대해 혐오감을 갖는 플레이어 액터에 맞춤화된 동정 스케일에서 낮은 점수를 받을 수 있다. 감정 임팩트 점수는 경험적 데이터 및/또는 컨텐츠 디자이너의 경험을 기반으로 한 예측 값이다. 잘 만들어진 NPC의 감정 임팩트 점수는 NPC가 플레이어 액터에서 가장 많이 유발할 수 있는 감정 반응을 예측할 것이다. 예를 들어, 귀여운 어린이 NPC는 동정심이 높고 두려움이 낮을 점수를 받을 수 있다. 유사하게, 프로세스(708)는 NPC가 사용하기 위한 전술, 예를 들어 대립, 재확인 등을 선택할 수 있다. 각 NPC는 감정 프로파일에 적합한 하나 이상의 전술과 관련될 수 있다.
감정 임팩터 점수에 기초하여 NPC를 선택하기 전에, 프로세서는 710에서 플레이어 액터에 대한 감정 목표 또는 목표들을 결정한다. 예를 들어, 프로세서는 722에서 감정 아크 탐색 프로세스로부터 플레이어 액터에 대한 목표 감정이 726에서 식별된 장면에 대해 긴장감이 넘치게 불안하다고 결정할 수 있다. 업스트림 프로세스(708)를 통해 프로세스(706)로부터 현재 플레이어 액터 감정 지표 값을 수신한 경우, 목표 설정 프로세스(710)는 현재 값을 목표 값과 비교하고 에러를 결정할 수 있다. 예를 들어, 목표가 긴장 상태이지만 현재 감정 상태 지표는 플레이어 액터가 지루하다고 표시한다. 응답하여, 목표 설정 프로세스는 플레이어 액터를 지루함에서 긴장 상태로 이동시키는 목표를 설정한다. 프로세서(710)는 NPC가 동작할 NPC 및 스크립트를 선택하는 다운스트림 프로세스(712)에 목표를 제공할 수 있다. 대안적으로, 프로세스는 NPC가 따라가야 할 다른 전술을 선택할 수 있으며, 이는 다른 스크립트와 관련될 수 있다. 예를 계속하여, 선택 프로세스는 플레이어 액터에 대한 무관심을 긴장 상태로 변환하기 위해 높은 점수를 주는 감정 임팩트 프로파일 및 동일 카테고리에서 높은 점수를 주는 스크립트를 갖는 NPC를 선택할 수 있다.
714에서, 프로세서는 선택된 스크립트에 따라 선택된 NPC를 동작시킨다. 스크립트는 상호 작용할 수 있어서, NPC가 플레이어 액터와 직접 상호작용 하거나 업데이트된 감정 지표에 기초하여 다르게 거동할 수 있다. 일 양태에서, 프로세스(714)는 718로 도시된 예측된 스크립트를 작동시킬 수 있다. 예측된 스크립트는 프로세스(714)에 의해 목표 아크로부터 플레이어 액터의 편차를 정정할 수 있을 것으로 예측되는 스크립트이다. 예측된 스크립트가 실패하거나 랜덤 또는 준-랜덤 팩터에 기초하면, 프로세스(714)는 716에 도시된 실험 스크립트를 작동시킬 수 있다. 실험 스크립트는 시도되지 않은 상황에 대한 플레이어 액터의 반응을 테스트한다. 이러한 스크립트는 스크립트 또는 테마가 반복되거나 예상 반응 데이터가 부족한 플레이어 액터의 지루함을 피하는데 유용할 수 있다.
720에서, 프로세서는 NPC 및 스크립트 선택을 담당하는 AI 알고리즘을 훈련시키기 위해 사용되는 관련 데이터 구조에 NPC 및 스크립트의 감정 효과를 기록한다. 이에 따라 성공 및 실패는 NPC 상호 작용을 사용하여 플레이어 액터를 감정 목표로 향하게 하는 방법(700)의 미래 효과를 개선하는데 사용되는 새로운 데이터가 된다. 넛징(nudging)이 실패하면, 프로세스는 감정 센서 데이터가 목표 반응이 플레이어 액터로부터 도출되지 않음을 나타낼 때 임의의 지점에서 다른 NPC, 전술 또는 스크립트를 선택하고 구현할 수 있다. 방법(708)은 다음 장면에 대한 블록(708)으로 되돌아갈 수 있다.
블록(722-734)은 스토리 루프에 대응한다. 스토리 루프는 NPC 루프와 유사하게 진행되지만 NPC 선택 및 거동 대신 주요 영화 컨텐츠의 장면 선택에 관한 것이다. 722에서, 프로세서는 플레이어 액터의 현재 감정 지표를 스토리에 대한 디지털 데이터의 정의된 감정 아크와 비교한다. 감정 아크의 예는 아래에 설명된다. 724에서, 프로세서는 플레이어 액터에 대한 예측 AI에 기초하여 내러티브 브랜치를 선택한다. AI는 브랜치가 함유하는 장면에 대해 감정 임팩트 점수의 집합일 수 있는 브랜치에 대한 감정 임팩트 점수를 기반으로 하는 디렉터의 감정 아크를 경험할 가능성이 가장 높은지를 예측한다. 726에서, 프로세서는 감정 임팩트 및 에러의 추정에 다시 기초하여 내러티브 브랜치에서 다음 장면을 선택한다. 단일 내러티브 브랜치는 주요 스토리 라인을 변화시키지 않고 사용자에게 더 큰 감정 임팩트를 주기 위해 맞춤화된 대체 장면을 포함할 수 있다. 예를 들어, 어린이와 성인 플레이어 액터에 대해 서로 다른 장면을 사용하여 동일한 스토리를 들을 수 있다. 프로세서가 감정 에러를 검출하지 못하면, 기본 장면 또는 브랜치를 사용할 수 있다.
730 및 732에서, 프로세서는 예측 분석(732) 또는 실험 트라이얼(730)에 기초하여 장면을 선택한다. 예측 및 실험 장면은 예측 및 실험 NPC 및 스크립터 사이의 결정에 사용된 동일한 또는 유사한 팩터에 기초하여 프로세서에 의해 선택될 수 있다. 734에서, 프로세서는 미래의 AI 예측을 개선하기 위해 측정된 감정 반응을 기록한다. 따라서, 플레이어 액터 루프, NPC 루프 및 스토리 루프는 플레이어 액터가 위에 약술한(outlined) 바와 같이 목표 감정을 향해 영향을 미치기 위한 브랜치, 장면 및 NPC 제어 방식을 포함하여 플레이어 액터의 센틱 변조와 상호 작용하는 방식을 적극적으로 구현하기 위해 동시에 협력적으로 실행될 수 있다.
다수의 스토리는 영화 AI를 위해 생성된 영화 컨텐츠로 프로그래밍될 수 있다. 스토리 요소는 AI 엔진에 의해 플레이어 액터로부터의 감정 피드백에 반응하여 셀 수 없이 많은 방식으로 결합될 수 있으며, 생성 프로세스 동안 컨텐츠 디자이너가 어렵풋이(dimly)만 이해하는 스토리 패턴을 생성한다. 많은 다양한 것들이 마음에 들지 않으면, 너무 많은 다양한 것이 약점이 될 수 있다. 기술적인 과제는 사용자가 사회적 시간을 논의하는데 보내고 시청하는데 매력이 있는 영화 컨텐츠의 사용자 자신의 버전을 찾는 빈도를 높이는 것이다. 빈도가 높은 점수에 도달하면, 다양성의 양은 책임이 아닌 자산이 될 것이다. 플레이어 액터는 개인 버전을 비교하는 새로운 취미를 같게 될 것이다. 개인적으로 식별할 수 있는 시청 히스토리가 대상에 의해 제어하에 있는 경우, “친구만을 위한 지식”으로서의 사회적 가치는 제작자가 정보에 접근할 수 없는 경우에도 정보 제작자에게 경제적 가치를 창출한다. 사적인 사회적 교환을 위한 자료로서, 그 가치는 영화 컨텐츠에 대한 수요를 창출하는데 있다.
감정 반응 및 AI 선택에 대한 데이터는 개인 식별 정보가 제거된(stripped of) 경제적 가치를 가질 것이다. 따라서 멸균된 연구원 및 제작자는 AI 툴 영화 AI를 사용하여 데이터를 연구하여 사용 추세를 이해하고 새로운 컨텐츠를 설계할 수 있다. 단일 사용자 또는 코호트로부터 특정 속성 또는 다른 관련 스토리/아크/경험 구성 요소를 추적(링크)하는 감정 프록시('알림') 정보를 사용하여 순간의 실시간 컨텐츠 흐름을 유도하는 것 외에도 더 많은 스토리 또는 아크 또는 경험 속성의 생성을 유도할 수 있다. 스토리 관리 프로세스를 공급하기 위해 단일 사용자 또는 사용자의 코호트로부터 수집된 감정 지표는 새로운 컨텐츠(예를 들어, 스토리의 다음 챕터, 게임의 레벨, 에피소드적 요금(episodic fare)의 에피소드, 영화 속편 등)의 윤곽을 잡거나, 마케팅 및 홍보용 트레일러를 제작하거나 정보에 기초한 예상 스토리 아이디어 승인(green-light)을 위한 추가 가치를 갖는다. 또한, 개인화되지 않은 데이터는 첨부된 부록 및 도 9b와 관련하여 설명된 바와 같이, 컨텐츠의 사용자 등급에 유용할 수 있다.
도 7과 관련하여 언급된 바와 같이, 하나의 접근법에서 스토리 브랜치는 스토리 관리 소프트웨어에 피드백 루프를 제공하는 플레이어 액터 감정에 의해 트리거된다. 스토리 관리 소프트웨어는 환경 및 인공 캐릭터 포함 및 목표를 제어한다. 작가와 감독은 스토리 관리 AI를 훈련하지만 AI는 플레이어 액터 상호작용 및 감정에 의해 가능한 새로운 스토리(emergent story)를 제어한다.
성공 빈도를 개선하기 위한 하나의 기술은 점수라고도 하는 스토리 요소 감정 코드를 사용하는 것일 수 있다. 스토리 관리 소프트웨어는 NPC 목표를 기반으로 장면 및 NPC를 변화시켜 플레이어 액터로부터 감정을 이끌어내도록 설계되었다. 감정 반응은 예를 들어 공격 지점, 흥미로운 사건(inciting incident), 절정(climax), 첫 정점(first culmination) 및 해결(resolution)을 포함하는 일반적인 스토리 요소에 매핑될 것이다. 스토리 요소 감정 코드는 다양한 패턴의 동적 감성 브랜칭을 가능하게 한다.
도 8은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하는 감정 아크(820)를 갖는 디지털 영화 컨텐츠의 브랜칭 및 계층의 맵(800)을 도시한다. 맵은 초기 시간(t0)에서 시작하는 타임라인(810)에 대해 시간 관련된다. 감정 아크(820)는 시간 간격 동안 우세한 감정을 요약하는 일련의 목표 기간을 포함한다. 예를 들어, 제1 세그먼트(822)에서 우세한 감정은 행복 및 편안함이며, 제2 구간(826)에서 위협 인식(약한 두려움), 제3 구간(828)에서 긴장 고조, 제4 구간(830)에서 절정(흥분), 제 5 구간(832)에서 완화 및 휴식이다. 간격은 시간 t1 및 t2 사이의 첫번째(824) 전환 기간에 의해 분리될 수 있으며, 이 때 감정이 중첩된다. 감정 아크는 다른 모델로 모델링될 수 있다. 예를 들어, 일련의 간격(820) 대신에, 감정 아크는 주기적으로(예를 들어, 5초 이하마다) 업데이트된 변수 값의 벡터로 모델링될 수 있으며, 여기서 벡터의 각각의 값은 감정 품질의 정량적 값을 나타낸다. 우세한 감정의 세그먼트로 나누는 것은 편리한 요약일 뿐이다.
장면 계층(840)은 노드(예를 들어, 노드 s01 내지 s20)의 DAG(directed acyclic graph)일 수 있거나 이를 포함할 수 있다. 스토리 트리(story tree)는 각 아동 노드에 부모가 하나만 있을 수 있는 제한된 형태의 DAG이다. 장면 계층은 트리 또는 임의의 다른 DAG로 배열될 수 있다. 도 8은 트리에 제한되지 않는 DAG에서의 장면 계층(840)을 도시한다. 일부 다운 스트림 장면에는 둘 이상의 부모가 있을 수 있으며, 계층은 스팟에서 평행 체인으로 분리될 수 있다. 예를 들어, 장면 s04은 부모 s02와 s03을 갖는다. 장면 s12-s14는 경쟁 병렬 서브 체인을 형성한다. 각 장면은 시간에 정해진 길이를 갖는다. 예를 들어, 스토리 소프트웨어는 포기하기 전에 감정 목표에 도달하기 위한 장면 또는 NPC를 위해 허용된 최대 시간으로서 상호 작용 장면에 대해 시간의 최대 길이를 정의할 수 있다. 갭은 단지 예시적인 분리를 위해 장면 사이에 도시된다. 대부분의 영화 컨텐츠에서, 각 장면은 다음 장면과 매끄럽게 맞거나 혼합되어야 한다. 예를 들어 이전 오프라인 데이터 또는 초기 교정 운동을 기반으로 특정 장면이나 순간을 삭제하기 위해 각 플레이어 액터의 선호를 예측함으로써 갭을 피할 수 있다. 이렇나 방식으로, 특정 장면 또는 순간이 요약되어야 하는 경우 일부 갭이 발생할 수 있음을 알고, 스토리 컨트롤러는 교체 장면 또는 순간을 호출하거나, 갭을 피하기 위해 적절한 다음 노드 또는 노드의 세트로 원활한 '브랜칭'을 구현할 수 있다.
객체 계층(850)은 임의의 장면에서 나타나거나, 외고나 또는 임의의 장면에 영향을 미치거나 또는 임의의 장면의 오디오 컨텐츠를 변경하는 감정에 영향을 미치는 임의의 객체를 보유한다. 객체는 상호 작용 NPC 및 이전에 설명한 바와 같은 소품, 배경, 환경, 조명 방식(lightning scheme), 표면 색상 및 질감, 오디오 트랙 또는 플레이어 액터의 감정 반응을 이끌어내도록 제어되는 장면의 임의의 다른 객체가 포함될 수 있다. 레이어(850)에서, 제1 객체 'Obj. 1'은 장면 s01-s02에서 나타나거나 작동할 수 있다. 제2 및 제3 객체 'Obj. 2' 및 'Obj. 3'은 긴 장면 s10에서만 나타나거나 작동한다. 제4 객체 'Obj. 4'는 s16 또는 s19 장면 모두에서 나타나거나 작동할 수 있다. 예시적인 단순성을 위해 맵(800)에 몇몇 객체가 도시된다. 대부분의 영화 컨텐츠의 실제 맵에서, 대부분의 장면은 수많은 다른 객체와 연관될 것이다. 맵(800)은 단순화되었지만, 도 7에 도시된 바와 같이 멀티 루프 제어 프로세스(700) 동안 영화 AI에 구조 및 안내를 제공하기 위해 사용될 수 있는 것과 같은 맵의 예를 도시한다.
도 9a는 도 8에 매핑된 바와 같이 영화 컨텐츠의 장면 및 다른 객체 사이의 메타 데이터 및 연관 시스템(900)을 도시한다. 장면(910)은 그 자체가 객체이고 장면 메타 데이터, 예를 들어 프레임 또는 타임라인에서 시간 위치, 지속 시간(예를 들어, 초 또는 프레임의 수), 렌더링된 데이터 및/또는 런타임에 렌더링 가능한 프레임 데이터에 대한 링크, 허용 가능한 다음 장면에 대한 식별자, 장면이 초기 장면인지 여부(즉, 부모 장면이 없음)에 대한 표시 및 감정 프로파일로도 불리는 감정 임팩트 점수를 특징으로 할 수 있다. 지지 장면 객체는 예를 들어 오디오 객체 또는 객체들(920), 렌더링 가능한 캐릭터(예를 들어, 상호 작용 NPC) 또는 캐릭터들(930), 렌더링된 객체 또는 객체들(940) 및 조명/착색 객체 또는 객체들(945)을 포함할 수 있다. 객체는 미도시된 NPC 스크립트를 더 포함할 수 있다.
각각의 오디오 객체(920)는 예를 들어 디지털 오디오 데이터에 대한 링크를 포함하는 오디오 파라미터 및 재생 파라미터, 런타임에 알고리즘적으로 결정될 수 있거나 고정된 리스트일 수 있는 허용 가능한 장면 및 감정 프로파일을 포함하는 메타데이터를 특징으로 할 수 있다. 허용 가능한 장면 및 감정 프로파일(임팩트 점수)은 시스템(900)에 도시된 모든 객체에 대한 메타데이터로 존재한다. 또한, 각각의 렌더링 가능한 캐릭터 객체(930) 메타 데이터는 모델 파라미터, 예를 들어 지오메트리 및 표면 특성, 애니메이션 파라미터, 렌더링 파라미터 및 NPC 스크립트의 서브-객체에 대한 대화 차트 또는 링크를 특징으로 할 수 있다. 각각의 렌더링된 객체(940) 메타데이터는 렌더링된 객체를 장면과 블렌딩하기 위한 지속 시간 및 합성 파라미터를 특징으로 할 수 있다. 각각의 조명/착색 객체(945)는 조명 파라미터 및 착색 파라미터를 포함하는 메타데이터를 특징으로 할 수 있다. 예시된 파라미터 및 메타데이터는 단지 예일 뿐이다.
도 9b는 트리 계층(950)으로 배열된 보다 상세한 양태 또는 캐릭터 및 스토리를 도시한다. 데이터 구조는 객체 또는 다른 스토리 노드와 스토리의 모든 가능한 순열(permutation) 사이의 관계를 나타낼 수 있다. 예를 들어, 데이터 구조는 스토리, 테마, 감정 아크, 시퀀스, 장면 및 장면에서의 캐릭터 당 LUT(Look Up Table)일 수 있거나 이를 포함할 수 있다. 이 이진 LUT는 대응 스토리 월드에 대한 모든 가능한 순열과 선택을 포함할 수 있다. 캐릭터는 목표와 전술을 갖는 것으로 인코딩될 수 있기 때문에, 캐릭터는 목표를 달성하거나 달성하지 못한다. 예를 들어, 장면은 플레이어 액터가 경험할 수 있는 각 캐릭터 및 상황에 대한 이진 선택 및 결과의 트리로 매핑될 수 있다. 관련 플레이어 액터 상호 작용 및 감정 코드와 함께 이러한 관계는 스토리에서 모든 결정을 내리는 기초를 형성할 수 있다. 스토리 소프트웨어는 잠재 의식 입력 데이터 및 감정을 사용하여 LUT를 해결하기 위한 입력으로서 사용자 선택을 식별할 수 있다.
대안적으로, 스토리 소프트웨어는 적어도 2 가지 이유 때문에 가능한 모든 조합을 인코딩할 필요는 없다: 첫번째, 일부 변형은 다른 것과 너무 비슷해서 다른 경로가 큰 임팩트를 주지 않기 때문에, 별로 중요하지 않으며; 두번째, '내장된 재생 체인'(예를 들어 DVD와 같은)은 각 관련 노드 블록에 다음 선택된 경로로 진행하는 방법을 사전 인코딩할 수 있다. 예를 들어, 버전 1의 경우, 다음 노드 X로 점프하며; 버전 2의 경우, 동일한 현재 노드는 다음 노드 Y로의 점프를 지시한다. 각각의 경우에, 다음 노드는 경로를 관련된 다음 노드(예를 들어, 버전 1, 2 등)로 안내하기 위해 미리 인코딩된 명령을 갖는다. 시청자가 마음을 바꾸거나 감정 지표가 어떤 경로의 변화를 제안하면, 재생 체인은 틀어지지 않고(without upset) 변화를 처리할 것이다. 각 노드에는 플레이어 액터가 현재 노드에 도달하기 위해 취한 노드 경로에 따라 다음 스토리 노드를 인코딩하는 코드 또는 메타데이터가 포함된다. 요약하면, 스토리 소프트웨어는 가능한 모든 순열로 가장 중요한 LUT를 인코딩하거나 내장된 재생 체인이 플레이어 액터의 경험에 차이를 줄 것으로 예상되는 가능성을 단순화할 수 있다.
캐릭터는 정신적 특성, 사회적 특성, 신체적 특성 및 기억(예를 들어, 배경 이야기(back story))과 같은 클래스로 개념적으로 배열될 수 있는 시뮬레이션된 특성을 가질 수 있다. 각 특성은 파라미터로 특징 지어진 알고리즘을 사용하여 모델링될 수 있다. 신경망은 특성을 모델링하기 위한 비결정적 알고리즘의 예를 제공한다. 네트워크는 다양한 자극에 대한 모델 캐릭터의 반응을 사용하여 훈련될 수 있으며, 훈련되면 이전 및 새로운 자극에 대한 캐릭터의 출력을 모두 제어할 수 있다. 스토리 엔진은 또한 결정적 알고리즘을 사용할 수 있으며, 예를 들어 자극은 스토리 소프트웨어가 매트릭스가 곱하여 출력 벡터를 생성하는 입력 벡터에 의해 표현될 수 있다. 상이한 매트릭스는 상이한 특성을 모델링하는데 사용할 수 있거나, 통합 매트릭스는 입력 자극을 출력 동작으로 변환시키기 위해 함께 작용하는 다양한 특성에 대한 값을 포함할 수 있다.
캐릭터의 정신적 특성은 예를 들어 캐릭터의 감정이 입력, 지능 레벨, 위트 레벨, 성격 유형(예를 들어, 마이어스-브릭스(Meyers briggs) 또는 다른 스케일) 및 유의성 및 흥분의 베이스 라인 레벨에 얼마나 빨리 반응하는지를 결정하는 감정 슬로프(emotional slope)를 포함할 수 있다. 캐릭터의 사회적 특성은 예를 들어 이름, 문화, 사회적 필요, 관계, 성적 선호도, 지배 수준 및 NPC 및 아바타의 사회적 선호도를 포함할 수 있다. 캐릭터의 목표는 예를 들어 원하는 것 또는 욕구, 바람직한 그리고 이용 가능한 전술, 구체적인 대화 및 성공의 측정값을 포함할 수 있다.
비 플레이어 캐릭터 객체는 대화를 포함하여 목표 및 전술을 갖는 것으로 프로그래밍될 수 있다. 캐릭터는 목표를 달성하거나 달성하지 못하므로 모든 대화 장면은 플레이어 액터가 있을 수 있는 각 캐릭터 및 상황에 대한 이진 결과의 모음으로 분석될 수 있다. 대화에는 음성 및 신체 언어 또는 다른 동작(흘낏 봄(glance), 제스처, 무언의 발언(wordless utterance) 등)이 포함될 수 있다. “대화 장면”은 단어가 포함되지 않을 수도 있다. 단어를 말하지 않고(또는 몇 단어를 말하고) 스토리 소프트웨어가 이를 고려할 수 있는 경우에도 선택은 명백할 수 있다. 아이러니, 속임수 또는 다른 자연 언어 연산자가 작동하는 경우, 드라마에서 캐릭터에 의해 만들어지는 실제 선택으로 착각하게 될 수 있기 때문에 명백한 문자 그대로의 단어가 잘못될 수 있다.
기억 특성은 트리거, 장면에 대한 내러티브 드라이버, 자극에 반응하여 유의성 및 흥분에 대한 과거 경험을 포함할 수 있다. 소프트웨어 엔진에 의해 모델링되는 물리적 특성은 예를 들어 키, 장애, 능력, 언어 패턴 및 외관을 포함할 수 있다.
캐릭터는 스토리 월드(이는 더 큰 스토리 유니버스의 일부일 수 있음)에 적합하다. 스토리 월드는 캐릭터, 캐릭터 사이 및 캐릭터와 아바타 사이의 관계 및 스토리를 수용한다. 스토리는 하이 레벨 코드를 특징으로 할 수 있으며, 테마, 시퀀스, 동작(장면의 그룹), 장면 및 감정 목표(예를 들어, 흥분, 유의성)와 같은 로우 레벨 요소를 포함할 수 있다. 테마는 감정 아크, 연주된 악보 및 환경 디자인(예를 들어, 세트, 조명 및 카메라 파라미터)를 특징으로 할 수 있다.
일 양태에서, 스토리 소프트웨어는 어떤 감정 아크가 센틱 변조 파워를 측정 및 계산함으로써 가장 효과적인지를 결정하기 위해 인코딩된다. 스토리 컨트롤러는 (예상 파워 측정을 위한) 경험 전 대 자극 파워(자극을 받는 동안 평균 파워)을 경험 전체에 걸쳐 측정할 수 있다. 기본 계산 방정식은 다음일 수 있거나, 이를 포함할 수 있다: 플레이어 액터 즐거움(player actor enjoyment) = 평균(자극 센틱 변조 파워)-(예측 센틱 변조 파워), 여기서 평균 자극 파워는 자극 컨텐츠 하에서 시간에 걸쳐 평균화되고, 예측 파워는 자극 컨텐츠 전에 측정된다(베이스라인 무드 측정 & 질문 반응 측정). 감정이 파동으로 나타나고 상이한 신호의 중첩에 의해 검출되기 때문에, 스토리 소프트웨어는 시간 변화 신호를 나타내기 위한 입력 신호의 RMS(root mean square) 값을 계산하도록 인코딩될 수 있다. 또한, 제어 알고리즘은 다른 신호에 가중치를 할당할 수 있다. 방정식의 결과는 소비자가 컨텐츠에 얼마나 영향을 받았는지에 대한 경험적 값을 포함할 수 있다. 숫자가 클수록 더 음수인 숫자에 비해 소비자는 컨텐츠를 더 좋아한다.
일 양태에서, 다수의 사용자로부터의 이 데이터는 임의의 컨텐츠의 피스(piece)의 강도(파워)에 대한 경험적 값을 얻기 위해 함께 집계될 수 있다. 집합 데이터는 텍스트 리뷰 또는 시청자 및 비평가의 임의 점수에 대한 대안으로서 경험적인 박스 오피스 등급을 제공할 수 있다. 또한, 포커스 그룹 테스트로부터의 시사회(pre-release) 집합 데이터는 배포 전에 컨텐츠 및 마케팅 계획을 수정하는데 도움이 될 수 있다. 필름이 배포된 후 시사회 테스트 심사를 기반으로 집계된 점수를 공개하여 작품을 홍보할 수 있다. 따라서, 감정 반응의 생체 측정은 영화(또는 게임) 컨텐츠에 대한 잠재 청중 참여를 측정할 뿐만 아니라 장르와 유형에 대한 청중 참여 파워를 비교할 수 있도록 하는데 유용하다. 추가 설명 도면 및 텍스트는 “생체 영화 등급”이라는 제목의 첨부 부록에 제시된다.
도 10은 미디어 플레이어의 프로세서에 의해 단독으로 또는 네트워크의 지지 노드와 함께 실행될 수 있는 다수의 사용자에 대한 감정 상태의 집합 또는 사용자(플레이어 액터)의 감정 상태에 반응하여 실시간 장면 선택 방법(1000)의 양태를 도시한다. 방법(1000)은 몰입형 혼합 현실(MX/R) 컨텐츠에 대해 도시되지만, 통상의 기술자에 의해 비몰입형 컨텐츠에 적응될 수 있다. 입력(1010)은 예를 들어 도 6과 관련하여 설명된 프로세스(640)에 의해 제공되는 바와 같이 사용자의 감정 상태의 실시간 지표를 포함한다. 입력은 도 7-9와 관련하여 설명되고 매핑되는 바와 같이 컨텐츠 탐색 데이터를 더 포함할 수 있다. 비교기 모듈 또는 프로세스(1030)는 입력(1010, 1020)을 처리하고 목표 감정 아크에 대한 사용자의 감정 상태 및 궤적의 에러 측정 및 방향(추세)(1040)을 결정한다. 에러 측정 및 관련 데이터(1040)는 AI 훈련 및 예측을 위한 프로세스(630) 및 에러를 정정하기 위해 보상 장면 및 객체를 선택할 수 있는 선택 프로세스(1050)에 제공될 수 있다. 선택기(1050)의 출력은 선택된 장면 및 지지 객체(1060)에 대한 식별자를 포함할 수 있다. 식별자(1060)는 식별자(1060)를 사용하여 영화 컨텐츠 데이터 구조로부터 객체 데이터를 지원하고 장면을 호출하는 컴파일러/렌더링 프로세스(1070)에 제공될 수 있다. 컴파일러/렌더러(1070)는 혼합 현실 데이터(1080)(또는 다른 오디오/비디오 데이터)를 출력한다. 즉, 출력 장치, 예를 들어 혼합 현실 헤드셋 또는 평면 스크린 디스플레이 장치에 의해 출력된다(1090).
도 11은 도 10에 다이어그램으로 표시된 선택기 프로세스(1050)에 의해 사용될 수 있는 것과 같은 사용자의 감정 상태에 반응하여 실시간 장면 또는 객체 선택을 위한 선택 알고리즘 방법(1100)을 도시한다. 1110에서, 프로세서는 사용자의 감정 상태 및 컨텐츠에 대한 감정 아크에 의해 정의된 목표 상태 사이의 차이를 나타내는 에러 데이터를 수신한다. 두 가지의 상이한 접근법이 다이어그램으로 표시된다. 제1 접근법에서, 프로세서는 1120에서 머신 러닝 알고리즘을 사용하여 에러에 대한 정정 자극을 예측한다. 1130에서, 프로세서는 가장 가능한 교정 자극을 이용 가능한 장면 노드 및 지지 객체에 매칭시킨다. 사용 가능한 장면 노드 및 객체는 영화 컨텐츠 맵에서 현재 장면의 다운 스트림이다. 프로세서는 원하는 자극의 템포, 톤 및 타이밍과 일치하는 영화 컨텐츠 DAG(“스토리 네트워크”)에서 다운 스트림 객체의 조합을 식별한다. 1140에서, 프로세서는 가장 가까운 허용 가능한 조합을 선택하고 결과를 다운 스트림 프로세스로 출력한다(1180).
제2 접근법, 1150에서 프로세서는 스토리 네트워크에서 다운스트림 노드의 그리고 플레이어 액터의 미리 결정된 감정 프로파일을 식별한다. 프로세서는 에러 정보에 대한 플레이어 액터 프로파일과 노드의 비교에 기초하여 노드를 점수를 매긴다(1160). 1170에서, 프로세서는 다운 스트림 노드의 최고 점수를 갖는 허용 가능한 조합을 선택하고, 1180에서 선택된 조합을 다운 스트림 프로세스로 출력한다.
도 12는 사용자의 감정 상태에 반응하여 실시간 장면 또는 객체 선택에 사용될 수 있는 것과 같은 감정 프로파일 벡터(1200)의 예를 도시한다. 스케일링된 데이터 구조(1202)는 사이에서 수치 스케일이 확장될 수 있는 감정 품질의 양극 쌍(bipolar pair)을 포함할 수 있다. 양극 쌍의 예는 무관심/공감(1204), 지루함/관심(1206), 고요/흥분(1208), 슬픔/행복(1210), 졸림/재미있음(1212), 용감함/두려움(1214) 및 경멸/감탄(1216)을 포함한다. 양극 쌍은 벡터를 나타내며, 각각의 쌍은 쌍의 대향하는 터미널 사이의 감정 스펙트럼의 값을 나타내는 벡터의 위치를 갖는다. 감정 스케일 또는 벡터(1202)는 감정 아크에 의해 정의된 객체의 클래스(1218), 객체/자극(1220) 또는 감정 목표(1222)를 기술할 수 있다. 유의성은 긍정적 감정과 부정적 감정 사이의 일반적인 감정 프로파일의 예이며, 위의 예에 따른 감정의 카테고리를 나타내기 위해 센서 데이터에 의해 구체화될 수 있다. 본 명세서에 사용된 바와 같이 감정 프로파일은 하나 이상의 카테고리로 나누어 진 원자가의 척도이다.
도 13은 인간이 읽을 수 있는 내러티브 코멘터리(human-readable narrative commentary)의 보다 상세한 예를 도시한다. 타임 라인과의 상관 관계는 명백하다. 따라서, 아크(13)는 도 8에 도시된 바와 같이 영화 컨텐츠를 위한 맵에 적합할 수 있다. 기계 판독 가능한 아크는 인간의 코멘터리를 필요로 하지 않을 것이며, 위에 설명한 감정 프로파일 벡터를 사용하는 것과 같이 정량적 방식으로 생체 센틱 변조 데이터와 관련된 보다 상세한 감정 정보를 포함해야 한다. 그럼에도 불구하고, 아크(1300)는 인간이 인지할 수 있는 내러티브 구조에서 기계 판독 가능한 감정 아크의 기원을 나타내는데 유용하고 잘 알려진 3 액트 구조를 예시한다.
도 14는 소정의 감정 아크를 참조하여 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하는 방법 또는 시스템과 플레이어 액터 사이의 상호 작용(1400)의 예를 도시한다. 내러티브 이론에서, 도 13-14에 제시된 곡선과 시퀀스 감정은 가장 인기있는 이야기 유형과 관련된 감정 반응으로 관찰된 내용의 예를 제공한다. 감성에 대한 지성에 호소하는 덜 인기 있는(적어도 미국에서는) 구조가 있다. 이들 내러티브 구조에 대해, 영화 컨텐츠는 다른 생체 신호에 반응하도록 구성될 수 있다. 예를 들어, 감정을 찾는 대신에, 센서가 사람이 인지적으로 관여하고 흥분됐을 때 어떠한 영화 컨텐츠가 반응하도록 구성될 것인지 결정하기 위해(“테스트”) 인지 작업량을 측정하도록 사용될 수 있다. 자신의 감정을 가장 적게 나타내는 사람의 경우 핵심 팩터는 측정하기 어려울 수 있는 유의성이다. 그러나 시각적 감정 지표에 의존하지 않는 센서를 사용하여 비개방적인(non-demonstrative) 유형의 경우에도 흥분을 측정할 수 있으므로, 모델이 인지적 작업량 및 흥분을 적응하고 찾을 수 있다. 미디어 플레이어는 예를 들어 목표 감정 아크에 대한 참여를 위해 생물학적(센틱 변조)를 모니터링하도록 훈련된 센서의 시스템을 포함할 수 있다. 목표 아크는 감정적 및 인지적(지적 참여) 구성 요소를 모두 포함할 수 있다.
인지 AI 프로세스는 2 가지에 대한 테스트를 수행한다: (1) 상호 작용 성공 - NPC AI는 플레이어 액터가 그들이 원하는 행위를 하도록 설득했는가 즉, NPC AI가 그들의 목표를 달성 했는가; 그리고 (2) 생체 데이터 - 플레이어 액터가 이 상호 작용에 대해 어떻게 느끼는지, 즉 참여하는지에 대한 “이야기”(이는 내러티브 이론에서 엔터테인먼트 가치에 대한 값이다). 경험에 대한 전체적인 참여는 경험이 완료되면 모니터링되고 점수가 매겨진다. 전체 사용자의 즐거움은 기대 생체 데이터 변조 파워(교정 동안 측정됨)와 평균 지속 생체 데이터 변조 파워 사이의 차이로서 측정된다.
생체 데이터는 프로세서가 교정 후 1차 및 2차 감정을 결정할 수 있는 인지적 작업량, 흥분 및 유의성을 제공하는 3차원 벡터로서 작용한다. 상호 작용에 참여하는 사용자의 기분은 “스토리” 해석 방식에 영향을 미치므로 스토리 경험은 가능한 경우 이를 교정하려고 시도해야 한다. 프로세서가 기분을 교정할 수 없다면, 스토리 컨트롤러가 플레이어 액터의 유의성 상태의 척도를 나타내는 생체 데이터를 수신하는 경우 높은 유의성과 관련된 상호 작용을 선호하는 감정 아크에서 이를 고려할 수 있다. 인스턴트 시스템과 방법은 건강하고 차분한 개인에게 가장 효과적이지만 참여하는 모든 사람에게 상호 작용 경험을 제공할 것이다.
도 15a는 2차원 감정 공간의 축에 대한 감정 상태의 배열(1500)을 도시한다. 플레이어 액터가 딴 이야기로 벗어나면(stray), 시스템은 감정 반응을 이끌어내기 위한 의미를 갖는 새로운 캐릭터를 소개함에 의해 그들을 “테스트”할 수 있다. 성공한 캐릭터는 새로운 경로를 설정하고 해당 스토리의 감정 아크는 이전 경로를 고려하여 실행된다.
유의성/흥분 감정 모델에 기초한 관련 감정이 배열(1500)에 도시된다. 미디어 플레이어 클라이언트는 얼굴 동작 유닛을 측정하는 생체 센서로 유의성을 측정할 수 있으며, 예를 들어 흥분 측정은 GSR 측정을 통해 수행될 수 있다. 스토리 요소 당 가능한 유의성/흥분 시퀀스 목표는 다음과 같다:
시퀀스 1: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 흥분이 유지된 베이스 라인 위에 있는 음의 유의성(공격 지점 테스트 객체)
시퀀스 2: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 흥분이 유지된 베이스 라인 훨씬 위에 있는 음의 유의성(흥미로운 사건 테스트 객체)
시퀀스 3: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 흥분이 유지된 베이스 라인 위에 있는 양의 유의성(펀 앤 게임(fun & game) 테스트 객체 - 상승 동작)
시퀀스 4: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 흥분이 유지된 베이스 라인 훨씬 위에 있는 양의 유의성(중간지점) 이어서 반대 방향의 유의성에서 강하고 급격한 반전이 뒤따름
시퀀스 5: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 흥분이 감소하는 양을 향해 천천히 증가하는 음의 유의성(서브 플롯 테스트 객체 … 액트 1의 이전 조우로부터의 캐릭터의 복귀)
시퀀스 6: 목표 지향 객체, 상황 또는 NPC AI로부터의 상호 작용에 따라 증가하는 흥분과 함께 음으로 천천히 감소하는 중성 유의성
시퀀스 7: 유의성이 중성화되고 흥분이 안정화된다. 반전(twist) 객체는 마지막으로 증가된 흥분 및 음의 유의성에 대해 “테스트”한다(반전 파이트 테스트 객체)
시퀀스 8: 양의 유의성 및 베이스라인 흥분
감정 공간은 셋 이상의 축을 특징으로 할 수 있다. 도 15b는 감정 공간의 3차원 모델(1550)을 다이어그램으로 표시하며, 여기서 제3 축은 사회적 지배 또는 신뢰이다. 모델(1550)은 VAD(유의성, 흥분, 신뢰) 모델을 예시한다. 3D 모델(1550)은 소셜 계층이 포함된 복잡한 감정에 유용할 수 있다.
베이스 라인 흥분과 유의성은 감정 교정 동안 개별적으로 결정될 수 있다. 위의 시퀀스는 유의성 흥분 스케일에서 경험한 감정을 계획한다(map out). 그러나 실제 스토리는 목표 감정을 이끌어 내기 위해 플레이어 액터와 상호작용하는 “테스트” 객체로 정의된다. 이는 스토리가 등장하는 한 가지 방법이지만 감정 아크가 반드시 그런 것은 아니다. 감정 목표가 실패하면, 프로세서는 감정 아크 계획을 현재의 플레이어 액터 또는 기분에 적합한 둘 이상으로 변경할 수 있다. 예를 들어, 이전 경험으로부터 강한 반응을 이끌어 낸 캐릭터를 부활시키는 것이 포함될 수 있다.
전술한 바와 같이, 추가의 예로서, 도 16-18은 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠를 제어하기 위한 방법(1600) 또는 방법들의 양태를 도시한다. 방법(1600)은 몰입형 MX/R 출력 장치 또는 프로그래밍 가능한 컴퓨터를 포함하는 비몰입형 평면 스크린 장치에 의해, 출력 장치와 통신하는 하나 이상의 컴퓨터에 의해 또는 출력 장치와 통신하는 하나 이상의 컴퓨터와 출력 장치의 조합에 의해 수행될 수 있다.
도 16을 참조하면, 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 컴퓨터로 구현되는 방법은 1610에서 미디어 플레이어의 프로세서에 의해 영화 컨텐츠 패키지에 액세스하는 단계를 포함할 수 있다. 컨텐츠 패키지는 본 명세서에 기술된 바와 같이 목표 감정 아크를 포함하거나 이에 연관된다. 감정 아크는 각각 아크의 타임 라인의 일부에 대한 감정 상태를 나타내는 인코딩된 이진 값의 시간 시퀀스(타임 라인)를 포함한다. 감정 상태 변수라고도 하는 인코딩된 이진 값은 인공 지능(머신 러닝) 모듈을 통해 사용자 또는 사용자의 코호트에 대한 생체 센틱 변조 데이터와 관련이 있다. 이러한 변수의 세트는 감정 상태 벡터를 구성할 수 있다. 본 명세서에 사용된 바와 같이, 용어 “감정 상태 변수”는 구어체적으로 “감정”으로 간주되는지 여부에 관계 없이, 컨텐츠 제어에 유용한 임의의 가변 신경학적 또는 신경 생리학적 상태를 나타내는 인코딩된 값을 포함한다. 예를 들어, 호기심 또는 관심이 감정으로 간주되는지 여부는 신경학적 상태로서 감정 상태 변수로 인코딩될 수 있다. 컨텐츠 패키지는 각각의 디지털 객체의 감정 프로파일(예를 들어, 임팩트 점수)을 나타내는 하나 이상의 코드와 각각 연관된 디지털 객체의 컬렉션을 더 포함하거나 이에 연관된다. 디지털 객체는 전술한 임의의 유형일 수 있다. 하나 이상의 코드는 Ai를 사용하여 처리된 경험적 사용자 생체 데이터를 사용하여 도출될 수 있고, 사용자 또는 사용자의 코호트에 대한 디지털 객체의 가능성 있는 감정 효과를 예측한다.
방법(1600)은 1620에서 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이하기 위한 오디오-비디오 신호를 출력하는 단계를 포함할 수 있다. 방법(1600)은, 1630에서 출력 장치를 보는 시청자의 가변 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계를 포함할 수 있으며, 가변 생체 특징은 시청자의 신경학적 또는 신경 생리학적 상태를 나타낸다. 센서 데이터는 전술한 바와 같이 다양한 유형의 생체 센서 중 임의의 하나 이상으로부터 유래될 수 있다.
방법(1600)은 1640에서 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하는 단계를 포함할 수 있다. 예를 들어, AI 모듈은 컨텐츠를 시청하는 사용자로부터 실시간 생체 데이터를 수신하고 훈련 세트에 기초하여 하나 이상의 감정 상태 변수를 선택한다. 모듈은 변수를 이진수로 표현된 감정 상태 벡터로 어셈블할 수 있으며, 이 모듈은 다운 스트림 컨텐츠 선택 프로세스에 제공할 수 있다. AI 모듈은 도 6과 관련하여 설명된 바와 같이 훈련될 수 있다. 감정 상태 벡터의 예가 도 12에 다이어그램으로 표시된다.
방법(1600)은 1650에서 프로세서가 하나 이상의 감정 상태 변수의 값, 목표 감정 아크의 최근 값, 및 감정 프로파일을 표시하는 하나 이상의 코드에 기초하여 재생을 위한 디지털 객체를 선택하는 단계를 포함할 수 있다. 디지털 객체를 선택하는 단계는 도 11과 관련하여 그리고 본 명세서의 다른 곳에서 설명된 바와 같이 보다 상세한 동작을 포함할 수 있다.
방법(1600)은 임의의 작동 가능한 순서로 도 17-18에 도시된 추가 동작(1700 또는 1800) 중 임의의 하나 이상을 포함할 수 있다. 이러한 추가 동작 각각이 방법의 모든 실시예에서 반드시 수행되는 것은 아니며, 동작(1700 또는 1800) 중 임의의 하나의 존재가 이들 추가 동작 중 임의의 다른 동작이 또한 수행될 필요성을 요구하지 않는다.
스토리 네트워크를 탐색하기 위한 특정 추가 동작(1700)을 도시하는 도 17을 참조하면, 방법(1600)은 1710에서 스토리 네트워크의 노드의 위치를 나타내는 하나 이상의 코드에 추가로 기초하여 디지털 객체를 선택하는 단계를 더 포함할 수 있다. 디지털 객체 각각은 스토리 네트워크의 노드를 나타내는 하나 이상의 코드로 인코딩될 수 있다. 스토리 네트워크는 도 8와 관련하여 설명되 바와 같이 장면의 DAG(directed acyclic graph)로 구성될 수 있다. 선택하는 단계는 현재 노드의 다운 스트림이 아닌 노드를 제거함으로써 이용 가능한 노드를 획득하는 단계를 포함할 수 있다. 선택하는 단계는 목표 감정 상태에 대해 사용자에게 영향을 주기 위해 가장 높은 점수를 갖는 집합 감정 영향을 갖는 이용 가능한 노드의 조합을 식별하는 단계를 더 포함할 수 있다.
일 양태에서, 스토리 네트워크는 선택된 노드를 포함하는 노드의 세트를 포함한다. 첫번째 및 마지막 노드를 제외한 노드 각각은 노드의 세트의 제1 적절한 비어있지 않은 서브 세트로 구성되는 하나 이상의 허용 가능한 선행 노드 및 제1 적절한 비어있지 않은 서브세트를 제외한 노드의 세트의 제2 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 후속 노드와 고유하게 연관될 수 있다. 노드 각각의 선행 노드 및 후속 노드는 스토리 네트워크에서의 위치를 나타낼 수 있다.
스토리 네트워크는 예를 들어 도 8, 9a 또는 9b에 도시된 바와 같이 다양한 계층의 디지털 객체를 포함할 수 있다. 관련된 양태에서, 방법(1600)은 1720에서 영화 컨텐츠의 장면에서 결합하기 위해 별도의 계층 중 상이한 계층으로부터 노드를 각각 나타내는 디지털 객체를 선택하는 단계를 포함할 수 있다. 관련된 양태에서, 방법(1600)은 1730에서 조합을 형성하는 스토리 노드의 별도의 계층으로부터 스토리 노드를 조합하는 단계를 포함할 수 있다. 조합은 예를 들어 딥 뉴럴 네트워크(deep neural network) 또는 다른 머신 러닝 알고리즘을 사용하여 사용자를 목표 감정 상태로 영향을 주기 위해 가장 높은 점수를 갖는 집합 감정 영향을 가짐으로써 식별될 수 있다. 방법은 장면 데이터를 생성하기 위해 디지털 객체를 조합하고, 장면을 사용자 출력 장치에 제공하는 단계를 포함할 수 있다.
방법(1600)은 1740에서 별도 계층의 일치 노드(coinciding node)를 나타내는 디지털 객체를 선택하는 단계를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, “일치 노드”는 데이터 기록 또는 다른 디지털 객체에 대한 다른 연관에 의해 연관된 디지털 객체이다. 예를 들어, 비플레이어 캐릭터 노드는 하나 이상의 장면, 캐릭터 스크립트의 세트 및 소품 또는 액세서리의 세트에 의해 연관될 수 있다. 일치 노드의 예가 도 8에 도시된다.
또한, 방법(1600)은 1750에서 비디오 객체의 조합에 기초하여 하나 이상의 비디오 프레임을 렌더링하는 단계를 포함할 수 있다.
특정 추가적인 동작(1800)을 도시하는 도 18을 참조하면, 방법(1600)은 1810에서 프로세서가 하나 이상의 감정 상태 변수의 값을 목표 감정 아크의 최근 값과 비교하는 단계 및 비교하는 단계에서 측정된 결함(에러)을 보상하는 감정 프로파일과 관련하여 적어도 부분적으로 디지털 객체를 선택하는 단계를 더 포함할 수 있다. 언급된 바와 같이, 목표 감정 아크는 연속적인 시간 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 감정 값의 세트를 포함할 수 있다. 방법(1600)은 1820에서 시청자에 대한 이전의 감정 반응 데이터 또는 시청자의 인구통계학적 프로파일 중 적어도 하나에 기초하여 재생하는 동안 목표 감정 아크를 자동으로 수정하는 단계를 더 포함할 수 있다. 수정하는 단계는 예를 들어 플레이어 액터의 감지된 감정 또는 컨텐츠의 알려진 감정 프로파일이 공격적이거나 정이 가지 않는(off-putting) 것으로 나타내는 또는 이와 같이 간주하는 컨텐츠를 제거하는 단계를 포함할 수 있다. 예를 들어, 사용자와 상호작용하는 NPC가 보통 으스스하고 민감한 정치적 문제 또는 종교 문제를 언급하는 한다면, 그러한 언어, 제스처 또는 거동으로 인해 화가 났거나 정이 가지 않는 사용자의 경우 방법은 민감 컨텐츠를 생략시키는 단계 및 선택적으로 사용자가 비 공격적일 가능성이 높은 컨텐츠를 대체하는 단계를 포함할 수 있다. 스토리 소프트웨어가 잘 설계되어 있다면, 효과는 단순한 검열(censorship)이 아니라 그 목적에 반하는 감정 트리거를 피함으로써 감독의 극적인 목적을 달성하는 것이다. 반대로, 방법은 정상보다 불안한 컨텐츠가 시청자의 목표 감정 아크를 더 잘 달성하는 것을 나타내는 감정 프로파일을 갖는 사용자에 대해 나타나지 않는 불안한 컨텐츠(edgy content)를 도입하는 단계를 포함할 수 있다. 예를 들어, 일부 사용자는 불안한 대화 또는 동작을 관련 있는 영웅과 연관지을 수 있으며; 다른 경우, 동일한 행위는 플레이어 액터가 소스를 악의적이거나 동정적이지 않은 것으로 인식할 수 있다.
생체 센서에 의해 검출된 감정 반응은 일반적으로 의도하지 않은 것이다. 또한, 방법(1600)은 1830에서 재생에 반응하여 시청자에 의한 의도적인 상호 작용을 나타내는 데이터에 추가로 기초하여 선택을 수행하는 단계를 더 포함할 수 있다. 영화 컨텐츠는 전술한 비 플레이어 캐릭터와 같은 상호 작용 객체를 지원할 수 있다. 이러한 객체와 사용자의 상호작용은 컨텐츠 탐색 프로세스에 대한 감정 상태 정보를 제공하며 컨텐츠의 감정 아크에 의해 목표화된 감정 상태를 향해 사용자에게 영향을 줄 수도 있다. 따라서, 방법(1600)은 1840에서 의도적인 상호작용을 나타내는 사용자 입력에 반응하여 그리고 컨텐츠 패키지로부터 선택된 디지털 객체의 재생에 반응하여 시청자에 의한 의도적인 상호 작용을 나타내는 데이터에 기초하여 출력에 나타나는 캐릭터 또는 객체의 동작을 제어하는 단계를 더 포함할 수 있다. 의도적인 상호 작용은 예를 들어 출력에 나타나는 캐릭터에 대한 음성, 사용자 인터페이스 장치 또는 센서에 의해 감지된 의도적인 근육 운동 또는 전기적 센서에 의해 감지된 의도적인 뇌 활동 중 하나 이상을 포함할 수 있다. 방법은 프로세서에 의해 재생에 반응하여 사용자에 의한 의도적인 상호 작용을 나타내는 데이터에 기초하여 출력에 나타나는 캐릭터 또는 객체의 동작을 제어하는 단계를 포함할 수 있다.
사람은 복잡하고, 때때로 문제에 대한 그들의 감정을 억제하면서 하나의 견해나 입장을 공언한다. 다시 말해, 사람은 때때로 사회적 관계를 포함하는 문제에 관해 내부 갈등이 있을 수 있다. 따라서, 동작 스토리 소프트웨어는 때때로 사용자가 좋아하거나 싫어한다고 공언하는 것과 그들의 감정이 드러나는 것 사이의 갈등을 드러낼 수 있다. 어떤 경우에는 내부 갈등이 사용자에게 창피하거나 다른 부정적인 사회적 반응을 일으킬 수 있다. 예를 들어, 일부 시청자는 선전성에 대한 긍정적 변연 반응(limbic reaction)을 가질 수 있지만 시청 환경에 따라 이러한 반응이 불편하거나 창피할 수 있다. 따라서, 방법의 일 양태에서, 제어 프로세서는 사용자 프로파일에 대해 논란의 여지가 없는 것으로 계산된 일부 기본 컨텐츠에 유리하게 사용자의 생체 감정 지표를 무시하는 옵션을 사용자에게 제공할 수 있다. 예를 들어, 스토리 컨트롤러는 예를 들어 컨텐츠가 사용자에게 사회적으로 또는 개인적으로 바람직하지 않다는 것을 경고하기 위해 제어 인터페이스를 통해 의도적 또는 비의도적 입력을 수신할 수 있다. 컨트롤러는 시간이 지남에 따라 의도적 입력을 축적하여 시청자의 감정 프로파일을 구체화하여 컨텐츠가 사용자의 고급 기능(예를 들어, 지적 및 사회적)의 한계 내에서 사용자의 감정을 자극하여 사용자 편의를 촉진한다. 또한, 또는 대안으로, 영화 AI는 예고편(trailer) 또는 서막(prelude) 동안 의도적 입력에 의해 각각의 시청 경험 전에 교정될 수 있다. AI는 제어 인터페이스를 사용하여 현재 시청 경험에 대한 사용자의 단기 및 장기 내부 갈등을 보다 잘 수용할 수 있도록 정보를 수집할 수 있다.
도 19는 사용자의 감정 상태를 나타내는 센서 데이터에 반응하여 디지털 영화 컨텐츠의 출력을 제어하기 위한 장치 또는 시스템(1900)의 구성 요소를 나타내는 개념적인 블록도이다. 장치 또는 시스템(1900)은 본 명세서에 기술된 기능 또는 프로세스 동작을 수행하기 위한 추가의 또는 더 상세한 구성 요소를 포함할 수 있다. 예를 들어, 프로세서(1910) 및 메모리(1916)는 전술한 바와 같이 센틱 변조 데이터에 반응하여 스토리 네트워크를 탐색하기 위한 프로세스의 인스턴스화를 포함할 수 있다. 도시된 바와 같이, 장치 또는 시스템(1900)은 프로세서, 소프트웨어 또는 이들의 조합(예를 들어, 펌웨어)에 의해 구현되는 기능을 나타낼 수 있는 기능 블록을 포함할 수 있다.
도 19에 도시된 바와 같이, 장치 또는 시스템(1900)은 각각 감정 프로파일을 갖는 객체 및 목표 감정 아크를 갖는 컨텐츠에 액세스하기 위한 전기 컴포넌트(1902)를 포함할 수 있다. 컴포넌트(1902)는 상기 액세스를 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에, 그리고 센서 어레이(미도시)의 출력에 연결된 프로세서(1910)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 보다 상세한 동작의 시퀀스, 예를 들어 아크 및 객체를 갖는 컨텐츠를 포함하는 인코딩된 디지털 데이터 패키지 또는 그에 대한 링크를 수신하는 단계; 상기 디지털 데이터 패키지를 판독하도록 구성된 루틴을 포함하는 애플리케이션을 실행하는 단계; 실행 애플리케이션에 의해 디지털 데이터 패키지를 판독하고, 감정 아크 및 하나 이상의 객체를 프로세서에 연결된 단기 메모리(예를 들어, 랜덤 액세스 메모리)에 로딩하는 단계를 포함할 수 있다.
장치(1900)는 컨텐츠 패키지로부터 선택된 디지털 객체를 재생하기 위한 전기 컴포넌트(1904)를 더 포함할 수 있다. 컴포넌트(1904)는 상기 재생을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있고, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 더 상세한 동작의 시퀀스, 예를 들어 재생을 위한 디지털 객체의 세트 또는 현재 디지털 객체를 결정하는 단계, 디지털 객체의 세트 또는 현재 디지털 객체를 렌더링 또는 획득함으로써 디지털 오디오-비디오 데이터를 생성하는 단계 및 임의의 적절한 출력 장치로 오디오-비디오 데이터를 출력하는 단계를 포함할 수 있다.
장치(1900)는 신경학적 또는 신경 생리학적 상태를 나타내는 시청자의 가변 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하기 위한 전기 컴포넌트(1905)를 더 포함할 수 있다. 컴포넌트(1905)는 상기 수신을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916) 및 하나 이상의 생체 센서(1914)에 연결된 프로세서(1910)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 보다 상세한 동작의 시퀀스, 예를 들어 센서와 각각 관련된 하나 이상의 입력 포트에서 데이터를 수신하는 단계; 아날로그 형태로 수신되면 데이터를 디지털 형태로 변환시키는 단계; 데이터를 처리함으로써 그것이 포함하는 정보의 보다 컴팩트한 표현을 도출하는 단계; 더 컴팩트한 표현을 소스-식별 정보로 태깅 또는 타임스탬핑하여, 태그된 그리고 타임 스탬핑된 데이터를 다운 스트림 프로세스에 제공하거나 지정된 메모리 위치 또는 데이터 구조에 이를 저장하는 단계를 포함할 수 있다.
장치(1900)는 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하기 위한 전기 컴포넌트(1906)을 더 포함할 수 있다. 컴포넌트(1906)는 상기 결정을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있고, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 도 6과 관련하여 설명된 바와 같이 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1900)는 하나 이상의 감정 상태 변수, 목표 감정 아크 및 감정 프로파일에 기초하여 디지털 객체를 선택하기 위한 전기 컴포넌트(1908)를 더 포함할 수 있다. 컴포넌트(1908)는 상기 선택을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있고, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 도 10-11과 관련하여 기술된 바와 같이 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1900)는 선택적으로 적어도 하나의 프로세서를 갖는 프로세서 모듈(1910)을 포함할 수 있다. 프로세서(1910)는 버스(1913) 또는 유사한 통신 커플링을 통해 모듈(1902-1908)과 동작적으로 통신할 수 있다. 대안적으로, 하나 이상의 모듈은 프로세서의 메모리에서 기능적 모듈로서 인스턴스화될 수 있다. 프로세서(1910)는 전기 컴포넌트(1902-1908)에 의해 수행되는 프로세스 또는 기능의 개시 및 스케줄링을 수행할 수 있다.
관련 양태에서, 장치(1900)는 컴퓨터 네트워크를 통해 시스템 구성 요소들과 통신하도록 동작 가능한 네트워크 인터페이스 모듈(미도시)을 포함할 수 있다. 네트워크 인터페이스 모듈은 예를 들어 이더넷 포트 또는 직렬 포트(예를 들어, 범용 직렬 버스(USB) 포트), Wifi 인터페이스 또는 셀룰러 전화 인터페이스일 수 있거나 이를 포함할 수 있다. 추가 관련 양태에서, 장치(1900)는 선택적으로 예를 들어 메모리 장치(1916)와 같은 정보를 저장하기 위한 모듈을 포함할 수 있다. 컴퓨터 판독 가능 매체 또는 메모리 모듈(1916)은 버스(1913) 등을 통해 장치(1900)의 다른 컴포넌트에 동작 가능하게 연결될 수 있다. 메모리 모듈(1916)은 본 명세서에 개시된 모듈(1902-1908) 및 그 서브 컴포넌트의 프로세스 및 거동 또는 프로세서(1910), 방법(1600) 및 하나 이상의 추가 동작(1700-1800) 또는 본 명세서에 개시된 미디어 플레이어 의해 수행되는 임의의 방법을 수행하기 위한 컴퓨터 판독 가능 명령 및 데이터를 저장하도록 구성될 수 있다. 메모리 모듈(1916)은 모듈(1902-1908)과 관련된 기능을 실행하기 위한 명령을 보유할 수 있다. 메모리(1916) 외부에 있는 것으로 도시되어 있지만, 모듈(1902-1908)은 메모리(1916) 또는 프로세서(1910)의 온칩 메모리 내에 존재할 수 있음을 이해해야 한다.
메모리 모듈(1916)은 노드를 포함하는 노드의 세트를 포함하는 스토리 네트워크의 카피 또는 표현을 보유할 수 있으며, 노드의 첫번째 및 마지막 노드를 제외한 각 노드는 노드의 세트의 제1 적절한 비어 있지 않은 서브 세트로 구성되는 하나 이상의 허용 가능한 선행 노드 및 제1 적절한 비어 있지 않은 서브 세트를 제외한 노드의 세트의 제2 적절한 비어 있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 후속 노드와 고유하게 연관된다. 일 양태에서, 각 노드의 선행 노드 및 후속 노드는 스토리 네트워크에서의 위치를 나타낸다. 또한, 메모리 모듈(1916)은 스토리 노드의 별도 계층을 포함하는 스토리 네트워크의 표현을 보유할 수 있다. 이러한 실시예에서, 메모리(1916)는 영화 컨텐츠의 장면에서 결합하기 위해 별도 계층의 상이한 계층으로부터 노드를 각각 나타내는 디지털 객체를 선택하고; 결합을 형성하는 스토리 노드의 별도 계층으로부터 스토리 노드를 결합하는 것을 포함하는 재생을 수행하고; 별도 계층의 일치 노드를 나타내는 디지털 객체를 선택함에 의해 적어도 부분적으로 선택을 수행하기 위한 추가 명령을 보유할 수 있다. 스토리 네트워크의 저장된 구조에서, 노드의 세트의 적어도 일부는 별도의 계층의 상이한 계층에서 하나 이상의 일치 노드와 연관될 수 있다. 스토리 네트워크 및 장치에서의 그의 사용의 추가 세부 사항은 본 명세서에서 도면과 관련하여 설명된 바와 같을 수 있다.
장치(1900)는 예를 들어 RFID 태그 또는 위치 정보 송신기와 같은 다른 시스템 컴포넌트로/시스템 컴포넌트로부터 통신 신호를 송수신하기 위한 무선 송신기/수신기 또는 유선 송신기/수신기로 구성된 송수신기(1912)를 포함할 수 있다. 대안적인 실시예에서, 프로세서(1910)는 컴퓨터 네트워크를 통해 작동하는 장치로부터 네트워크화된 마이크로 프로세서를 포함할 수 있다. 또한, 장치(1900)는 몰입형 컨텐츠를 디스플레이 하기 위한 입체 디스플레이 또는 다른 몰입형 디스플레이 장치, 또는 다른 적절한 출력 장치를 포함할 수 있다. 입체 디스플레이 장치는 전술한 바와 같이 임의의 적절한 입체 AR 또는 VR 출력 장치일 수 있거나 이를 포함할 수 있다. 장치(1900)는 임의의 적절한 유형일 수 있는 하나 이상의 생체 센서(1914)를 포함하거나 이에 연결될 수 있다. 적절한 생체 센서의 다른 예가 본 명세서에 설명되어 있다.
당업자는 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로 구현될 수 있음을 추가로 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 일반적으로 그 기능성의 관점에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따른다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안된다.
본 출원에서 사용되는 용어 “컴포넌트”, “모듈”, “시스템” 등은 컴퓨터 관련 엔티티, 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트 또는 모듈은 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 제한되지는 않는다. 예를 들어, 서버에서 실행되는 애플리케이션과 서버 모두는 컴포넌트 또는 모듈일 수 있다. 하나 이상의 컴포넌트 또는 모듈은 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며 컴포넌트 또는 모듈은 하나의 컴퓨터에 국한되고 그리고/또는 2 개 이상의 컴퓨터 사이에 분산될 수 있다.
다수의 컴포넌트, 모듈 등을 포함할 수 있는 시스템의 관점에서 다양한 양태가 제시될 것이다. 다양한 시스템은 추가 컴포넌트, 모듈 등을 포함할 수 있고 도면과 관련하여 논의된 모든 컴포넌트, 모듈 등을 포함하지 않을 수 있음을 이해하고 인식해야 한다. 이들 접근법의 조합이 또한 사용될 수 있다. 본 명세서에 개시된 다양한 양태는 터치 스크린 디스플레이 기술, 헤드 업 사용자 인터페이스, 웨어러블 인터페이스 및/또는 마우스 및 키보드 타입 인터페이스를 이용하는 장치를 포함하는 전자 장치에서 수행될 수 있다. 이러한 장치의 예는 VR 출력 장치(예를 들어, VR 헤드셋), AR 출력 장치(예를 들어, AR 헤드셋), 컴퓨터(데스크탑 및 모바일), 텔레베전, 디지털 프로젝터, 스마트 폰, 개인 휴대 정보 단말기(PDA) 및 유선 및 무선의 다른 전자 장치를 포함한다.
또한, 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈 및 회로는 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 PLD(programmable logic device) 또는 complex PLD(CPLD), 이산 게이트(discrete gate), 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 본 명세서에 기술된 기능을 수행하기 위해 설계된 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 대안적으로는 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 DSP와 마이크로 프로세서, 복수의 마이크로 프로세서, DSP코어와 관련된 하나 이상의 마이크로 프로세서 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수 있다.
본 명세서에 개시된 동작 양태는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈 또는 이들의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, DVD(digital versatile disk), Blu-rayTM 또는 당 업계에 공지된 임의의 다른 형태의 스토리지 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 연결되어 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서와 일체형일 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 클라이언트 장치 또는 서버에서 개별 컴포넌트로서 상주할 수 있다.
또한, 하나 이상의 버전은 개시된 양태를 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치 또는 제조 물품으로서 구현될 수 있다. 비 일시적 컴퓨터 판독 가능 매체는 자기 저장 장치(예를 들어, 하드 디스크, 플로피 디스크, 자기 스트립 또는 다른 포맷), 광학 디스크(예를 들어, 컴팩트 디스크(CD), DVD, Blu-rayTM 또는 다른 포맷), 스마트 카드 및 플래시 메모리 장치(예를 들어, 카드, 스틱 또는 다른 포맷)를 포함할 수 있지만 이에 제한되지는 않는다. 물론, 당업자는 개시된 양태의 범위를 벗어나지 않고 이 구성에 많은 수정이 이루어질 수 있음을 인식할 것이다.
개시된 양태의 이전 설명은 당업자가 본 개시를 만들거나 사용할 수 있도록 제공된다. 이들 양태에 대한 다양한 수정은 당업자에게 명백할 것이며, 본 명세서에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 개시는 본 명세서에 도시된 실시예로 제한되는 것이 아니라 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위에 따라야 한다.
전술한 예시적인 시스템을 고려하여, 개시된 주제에 따라 구현될 수 있는 방법론이 여러 흐름도를 참조하여 설명되었다. 설명의 단순성을 위해, 방법론은 일련의 블록으로 도시되고 설명되지만, 청구된 주제는 블록의 순서에 의해 제한되지 않으며, 일부 블록은 상이한 순서로 그리고/또는 본 명세서에 도시되고 기술된 것으로부터 다른 블록과 동시에 발생할 수 있음을 이해하고 인식해야 한다. 또한, 본 명세서에 설명된 방법론을 구현하기 위해 도시된 모든 블록이 필요한 것은 아니다. 또한, 본 명세서에 개시된 방법론은 컴퓨터로 이러한 방법론을 전송 및 전달하는 것을 용이하게 하기 위해 제조 물품 상에 저장될 수 있음을 추가로 이해해야 한다.

Claims (21)

  1. 컴퓨터 제어되는 미디어 플레이어를 통해 사용자에게 영화 컨텐츠를 제공하는 방법으로서,
    미디어 플레이어의 프로세서에 의해 목표 감정 아크(targeted emotional arc) 및 각각의 디지털 객체의 감정 프로파일을 나타내는 하나 이상의 코드와 각각 관련된 디지털 객체의 집합을 포함하는 컨텐츠 패키지에 액세스하는 단계;
    상기 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이 하기 위한 오디오-비디오 신호를 출력하는 단계;
    상기 출력 장치를 보는 사용자의 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계;
    상기 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하는 단계; 및
    상기 하나 이상의 감정 상태 변수, 상기 목표 감정 아크의 최근 값 및 감정 프로파일을 나타내는 하나 이상의 코드에 기초하여 상기 재생을 위한 디지털 객체를 선택하는 단계;를 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  2. 제1항에 있어서,
    상기 디지털 객체 각각은 스토리 네트워크의 노드를 나타내는 하나 이상의 코드로 추가로 인코딩되며, 상기 선택하는 단계는 스토리 네트워크에서 상기 노드의 위치를 나타내는 하나 이상의 코드에 추가로 기초하여 상기 디지털 객체를 선택하는 단계를 더 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  3. 제2항에 있어서,
    상기 스토리 네트워크는 상기 노드를 포함하는 노드의 세트를 포함하고, 노드 중 첫번째 및 마지막 노드를 제외한 각 노드는, 노드의 세트의 제1 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 선행 노드와, 그리고 상기 제1 적절한 비어있지 않은 서브 세트를 제외한 노드 세트의 제2 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 후속 노드와 고유하게 연관되며, 각 노드의 선행 노드 및 후속 노드는 스토리 네트워크에서의 위치를 나타내는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  4. 제3항에 있어서,
    상기 스토리 네트워크는 스토리 노드의 별도 계층을 포함하며, 상기 선택하는 단계는 영화 컨텐츠의 장면에서 결합하기 위해 별도의 계층 중 상이한 계층으로부터 노드를 각각 나타내는 디지털 객체를 선택하는 단계를 더 포함하며, 상기 재생은 결합을 형성하는 스토리 노드의 별도의 계층으로부터 스토리 노드를 결합시키는 단계를 더 포함하며, 상기 선택하는 단계는 별도의 계층의 일치 노드(coinciding node)를 나타내는 상기 디지털 객체를 선택하는 단계를 더 포함하며, 노드의 세트의 적어도 일부는 별도의 계층 중 상이한 계층에서 하나 이상의 일치 노드와 연관되는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  5. 제4항에 있어서,
    상기 재생은 상기 결합에 기초하여 하나 이상의 비디오 프레임을 렌더링하는 단계를 더 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  6. 제1항에 있어서,
    상기 선택하는 단계는 하나 이상의 감정 상태 변수의 값을 목표 감정 아크의 최근 값과 비교하는 단계 및 상기 비교하는 단계에서 측정된 결함을 보상하는 감정 프로파일과 관련하여 적어도 부분적으로 디지털 객체를 선택하는 단계를 더 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  7. 제1항에 있어서,
    상기 목표 감정 아크는 연속적인 타임 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 감정 값의 세트를 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  8. 제1항에 있어서,
    사용자에 대한 이전의 감정 반응 데이터 및 사용자의 인구 통계학적 프로파일 중 적어도 하나에 기초하여 재생하는 동안 상기 목표 감정 아크를 자동으로 수정하는 단계를 더 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  9. 제1항에 있어서,
    상기 선택하는 단계는 상기 재생에 반응하여 사용자에 의한 의도적인 상호 작용을 나타내는 데이터에 추가로 기초하며, 상기 의도적인 상호 작용은, 출력에 나타나는 캐릭터를 향한 음성, 사용자 인터페이스 장치 또는 센서에 의해 감지되는 의도적인 근육 운동 및 전기 센서에 의해 감지된 의도적인 뇌 활동 중 하나 이상을 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  10. 제9항에 있어서,
    상기 재생에 반응하여 사용자에 의해 의도적인 상호 작용을 나타내는 데이터에 기초하여 출력에 나타나는 캐릭터 또는 객체의 동작을 제어하는 단계를 더 포함하는,
    사용자에게 영화 컨텐츠를 제공하는 방법.
  11. 컴퓨터 제어되는 미디어 플레이어를 통해 사용자에게 영화 컨텐츠를 제공하기 위한 장치로서,
    메모리에 연결된 프로세서를 포함하며, 상기 메모리는 프로그램 명령을 보유하며 상기 프로그램 명령은 상기 프로세서에 의해 실행될 때 장치가:
    목표 감정 아크 및 각각의 디지털 객체의 감정 프로파일을 나타내는 하나 이상의 코드와 각각 관련된 디지털 객체의 집합을 포함하는 컨텐츠 패키지에 액세스하는 단계;
    상기 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이 하기 위한 오디오-비디오 신호를 출력하는 단계;
    상기 출력 장치를 보는 사용자의 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계;
    상기 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하는 단계; 및
    상기 하나 이상의 감정 상태 변수, 상기 목표 감정 아크의 최근 값 및 감정 프로파일을 나타내는 하나 이상의 코드에 기초하여 상기 재생을 위한 디지털 객체를 선택하는 단계;를 수행하게 하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  12. 제11항에 있어서,
    상기 디지털 객체 각각은 스토리 네트워크의 노드를 나타내는 하나 이상의 코드로 추가로 인코딩되며, 상기 메모리는 스토리 네트워크에서 상기 노드의 위치를 나타내는 하나 이상의 코드에 기초하여 상기 디지털 객체를 선택하는 단계를 위한 프로그램 명령을 추가로 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  13. 제12항에 있어서,
    상기 메모리는 노드를 포함하는 노드의 세트를 포함하는 상기 스토리 네트워크의 표현을 보유하고, 노드 중 첫번째 및 마지막 노드를 제외한 각 노드는, 노드의 세트의 제1 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 선행 노드와, 그리고 상기 제1 적절한 비어있지 않은 서브 세트를 제외한 노드 세트의 제2 적절한 비어있지 않은 서브 세트로 구성된 하나 이상의 허용 가능한 후속 노드와 고유하게 연관되며, 각 노드의 선행 노드 및 후속 노드는 스토리 네트워크에서의 위치를 나타내는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  14. 제13항에 있어서,
    상기 메모리는 스토리 노드의 별도 계층을 포함하는 상기 스토리 네트워크의 표현을 보유하며, 상기 선택하는 단계는 영화 컨텐츠의 장면에서 결합하기 위해 별도의 계층 중 상이한 계층으로부터 노드를 각각 나타내는 디지털 객체를 선택하는 단계를 더 포함하며, 상기 재생은 결합을 형성하는 스토리 노드의 별도의 계층으로부터 스토리 노드를 결합시키는 단계를 더 포함하며, 상기 선택하는 단계는 별도의 계층의 일치 노드를 나타내는 상기 디지털 객체를 선택하는 단계를 더 포함하며, 노드의 세트의 적어도 일부는 별도의 계층 중 상이한 계층에서 하나 이상의 일치 노드와 연관되는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  15. 제14항에 있어서,
    상기 메모리는 상기 결합에 기초하여 하나 이상의 비디오 프레임을 렌더링하는 것에 의해 적어도 부분적으로 재생하기 위한 추가 명령을 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  16. 제11항에 있어서,
    상기 메모리는 하나 이상의 감정 상태 변수의 값을 목표 감정 아크의 최근 값과 비교하고 그리고 상기 비교하는 단계에서 측정된 결함을 보상하는 감정 프로파일과 관련하여 적어도 부분적으로 디지털 객체를 선택함으로써 적어도 부분적으로 선택하기 위한 추가 명령을 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  17. 제11항에 있어서,
    상기 메모리는, 연속적인 타임 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 감정 값의 세트로서 목표 감정 아크를 처리하기 위한 추가 명령을 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  18. 제11항에 있어서,
    상기 메모리는 사용자에 대한 이전의 감정 반응 데이터 및 사용자의 인구 통계학적 프로파일 중 적어도 하나에 기초하여 재생하는 동안 상기 목표 감정 아크를 자동으로 수정하기 위한 추가 명령을 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  19. 제11항에 있어서,
    상기 메모리는 상기 재생에 반응하여 사용자에 의한 의도적인 상호 작용을 나타내는 데이터에 기초하여 적어도 부분적으로 선택하기 위한 추가 명령을 보유하며, 상기 의도적인 상호 작용은, 출력에 나타나는 캐릭터를 향한 음성, 사용자 인터페이스 장치 또는 센서에 의해 감지되는 의도적인 근육 운동 및 전기 센서에 의해 감지된 의도적인 뇌 활동 중 하나 이상을 포함하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  20. 제19항에 있어서,
    상기 메모리는 상기 재생에 반응하여 사용자에 의해 의도적인 상호 작용을 나타내는 데이터에 기초하여 출력에 나타나는 캐릭터 또는 객체의 동작을 제어하기 위한 추가 명령을 보유하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
  21. 컴퓨터 제어되는 미디어 플레이어를 통해 사용자에게 영화 컨텐츠를 제공하기 위한 장치로서,
    목표 감정 아크 및 각각의 디지털 객체의 감정 프로파일을 나타내는 하나 이상의 코드와 각각 관련된 디지털 객체의 집합을 포함하는 컨텐츠 패키지에 액세스하기 위한 수단;
    상기 컨텐츠 패키지로부터 선택된 디지털 객체를 재생함으로써 출력 장치에 의해 디스플레이 하기 위한 오디오-비디오 신호를 출력하기 위한 수단;
    상기 출력 장치를 보는 사용자의 생체 특징을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하기 위한 수단;
    상기 센서 데이터에 기초하여 하나 이상의 감정 상태 변수의 값을 결정하기 위한 수단; 및
    상기 하나 이상의 감정 상태 변수, 상기 목표 감정 아크의 최근 값 및 감정 프로파일을 나타내는 하나 이상의 코드에 기초하여 상기 재생을 위한 디지털 객체를 선택하기 위한 수단;을 포함하는,
    사용자에게 영화 컨텐츠를 제공하기 위한 장치.
KR1020207012095A 2017-09-29 2018-09-27 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어 KR20200127969A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566257P 2017-09-29 2017-09-29
US62/566,257 2017-09-29
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2018/053218 WO2019067783A1 (en) 2017-09-29 2018-09-27 PRODUCTION AND CONTROL OF KINEMATIC CONTENT IN RESPONSE TO AN EMOTIONAL USER STATUS

Publications (1)

Publication Number Publication Date
KR20200127969A true KR20200127969A (ko) 2020-11-11

Family

ID=65902772

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020207012095A KR20200127969A (ko) 2017-09-29 2018-09-27 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
KR1020207012101A KR20200130231A (ko) 2017-09-29 2018-09-28 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
KR1020207012099A KR102662981B1 (ko) 2017-09-29 2018-09-28 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현
KR1020247001201A KR20240011874A (ko) 2017-09-29 2018-09-28 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207012101A KR20200130231A (ko) 2017-09-29 2018-09-28 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
KR1020207012099A KR102662981B1 (ko) 2017-09-29 2018-09-28 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현
KR1020247001201A KR20240011874A (ko) 2017-09-29 2018-09-28 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅

Country Status (5)

Country Link
US (3) US20200297262A1 (ko)
EP (3) EP3688997A4 (ko)
KR (4) KR20200127969A (ko)
CN (3) CN111742560B (ko)
WO (3) WO2019067783A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068554A (ko) * 2020-11-19 2022-05-26 주식회사 핏투게더 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3688997A4 (en) 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US11412298B1 (en) 2018-10-02 2022-08-09 Wells Fargo Bank, N.A. Systems and methods of interactive goal setting tools
US11265597B2 (en) * 2018-10-23 2022-03-01 Rovi Guides, Inc. Methods and systems for predictive buffering of related content segments
US11417045B2 (en) * 2019-04-08 2022-08-16 Battelle Memorial Institute Dialog-based testing using avatar virtual assistant
WO2020223529A1 (en) * 2019-05-01 2020-11-05 Massachusetts Institute Of Technology Software and methods for controlling neural responses in deep brain regions
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
US11298559B2 (en) * 2019-05-24 2022-04-12 Galibots Inc. Independent readiness determination for automated external defibrillator deployment
JP7307198B2 (ja) * 2019-06-04 2023-07-11 ザ・ボーイング・カンパニー 囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体
WO2020249726A1 (en) * 2019-06-12 2020-12-17 Unity IPR ApS Method and system for managing emotional relevance of objects within a story
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11429839B2 (en) * 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines
JPWO2021059770A1 (ko) * 2019-09-24 2021-04-01
CN110719505B (zh) * 2019-09-26 2022-02-25 三星电子（中国）研发中心 一种基于情绪的共享媒体内容提供方法及系统
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
US11532245B2 (en) 2019-10-01 2022-12-20 Warner Bros. Entertainment Inc. Technical solutions for customized tours
US11645578B2 (en) 2019-11-18 2023-05-09 International Business Machines Corporation Interactive content mobility and open world movie production
US11496802B2 (en) * 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
US11537209B2 (en) 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技（深圳）有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11483593B2 (en) 2020-01-28 2022-10-25 Smart Science Technology, LLC System for providing a virtual focus group facility
US11538355B2 (en) * 2020-03-24 2022-12-27 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for predicting a condition of living-being in an environment
EP3925521A1 (en) * 2020-06-18 2021-12-22 Rockwell Collins, Inc. Contact-less passenger screening and identification system
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
US11691076B2 (en) * 2020-08-10 2023-07-04 Jocelyn Tan Communication with in-game characters
WO2022047184A1 (en) * 2020-08-28 2022-03-03 Mindwell Labs Inc. Systems and method for measuring attention quotient
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
US11527046B2 (en) 2020-11-30 2022-12-13 Sony Interactive Entertainment LLC. Real world beacons indicating virtual locations
EP4260492A4 (en) * 2020-12-14 2024-01-10 Funai Electric Co., Ltd. REAL-TIME MULTIPLE USER MERSION
CN112800252A (zh) * 2020-12-31 2021-05-14 腾讯科技（深圳）有限公司 虚拟场景中媒体文件的播放方法、装置、设备及存储介质
WO2022141894A1 (zh) * 2020-12-31 2022-07-07 苏州源想理念文化发展有限公司 融合表情和肢体运动的三维特征情绪分析方法
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
US20240130651A1 (en) * 2021-03-24 2024-04-25 Nec Corporation Information processing device, control method, and storage medium
FR3123487B1 (fr) 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
CN113221850B (zh) * 2021-06-09 2023-02-03 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
CN113420553A (zh) * 2021-07-21 2021-09-21 北京小米移动软件有限公司 文本生成方法、装置、存储介质及电子设备
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
US20230038347A1 (en) * 2021-08-09 2023-02-09 Rovi Guides, Inc. Methods and systems for modifying a media content item based on user reaction
WO2023018084A1 (en) * 2021-08-11 2023-02-16 Samsung Electronics Co., Ltd. Method and system for automatically capturing and processing an image of a user
US11651528B2 (en) * 2021-09-22 2023-05-16 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system
WO2023075746A1 (en) * 2021-10-25 2023-05-04 Earkick, Inc. Detecting emotional state of a user
CN114170356B (zh) * 2021-12-09 2022-09-30 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
US11849179B2 (en) * 2021-12-21 2023-12-19 Disney Enterprises, Inc. Characterizing audience engagement based on emotional alignment with characters
KR102541146B1 (ko) 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체
WO2023128841A1 (en) * 2021-12-27 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and means for rendering extended reality
US11930226B2 (en) * 2022-07-29 2024-03-12 Roku, Inc. Emotion evaluation of contents
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN117041807B (zh) * 2023-10-09 2024-01-26 深圳市迪斯声学有限公司 蓝牙耳机播放控制方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
DE10242903A1 (de) * 2002-09-16 2004-03-25 Denz, Peter, Dipl.-Ing. Verfahren zum Übermitteln von Regie- und ähnlichen Anweisungen an Personen
US20060005226A1 (en) * 2004-05-17 2006-01-05 Lee Peter S System and method for synchronization of a portable media player to a user's profile
US7694226B2 (en) 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context
WO2008129356A2 (en) * 2006-03-13 2008-10-30 Imotions-Emotion Technology A/S Visual attention and emotional response detection and display system
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
EP2063767A4 (en) 2006-09-05 2014-05-21 Innerscope Res Inc METHOD AND SYSTEM FOR DETERMINING THE RESPONSE OF A PUBLIC TO A SENSORY STIMULUS
US20140323899A1 (en) * 2006-12-22 2014-10-30 Neuro-Insight Pty. Ltd. Psychological Evaluation and Methods of Use
US8260189B2 (en) 2007-01-03 2012-09-04 International Business Machines Corporation Entertainment system using bio-response
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US8069125B2 (en) 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8125314B2 (en) 2008-02-05 2012-02-28 International Business Machines Corporation Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20140221866A1 (en) 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US9959549B2 (en) * 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10198775B2 (en) 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US20170251262A1 (en) * 2011-11-07 2017-08-31 Monet Networks, Inc. System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
US20140350349A1 (en) * 2011-12-16 2014-11-27 Koninklijke Philips. N.V. History log of users activities and associated emotional states
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US8904419B2 (en) * 2012-03-19 2014-12-02 Rentrak Corporation System and method for measuring television audience engagement
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
KR101445923B1 (ko) * 2012-08-06 2014-11-03 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
US10459972B2 (en) * 2012-09-07 2019-10-29 Biobeats Group Ltd Biometric-music interaction methods and systems
CA2924837A1 (en) * 2012-09-17 2014-03-20 Mario Perron System and method for participants to perceivably modify a performance
US9833698B2 (en) * 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
US20150248615A1 (en) * 2012-10-11 2015-09-03 The Research Foundation Of The City University Of New York Predicting Response to Stimulus
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20150193089A1 (en) 2013-01-15 2015-07-09 Google Inc. Dynamic presentation systems and methods
US9531985B2 (en) * 2013-03-15 2016-12-27 Samsung Electronics Co., Ltd. Measuring user engagement of content
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US10084880B2 (en) 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US9471912B2 (en) * 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
GB201402533D0 (en) * 2014-02-13 2014-04-02 Piksel Inc Sensed content delivery
US9681166B2 (en) 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
GB2524241A (en) * 2014-03-17 2015-09-23 Justin Philip Pisani Sensor media control device
US10120413B2 (en) 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
EP3032455A1 (en) * 2014-12-09 2016-06-15 Movea Device and method for the classification and the reclassification of a user activity
WO2016172557A1 (en) 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
US9788056B2 (en) * 2015-06-26 2017-10-10 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
KR101716408B1 (ko) * 2015-11-09 2017-03-14 고려대학교 산학협력단 영상 컨텐츠의 몰입도 측정 방법 및 장치
US10025972B2 (en) 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170147202A1 (en) 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US10431116B2 (en) * 2015-12-10 2019-10-01 International Business Machines Corporation Orator effectiveness through real-time feedback system with automatic detection of human behavioral and emotional states of orator and audience
WO2017105385A1 (en) 2015-12-14 2017-06-22 Thomson Licensing Apparatus and method for obtaining enhanced user feedback rating of multimedia content
WO2017105440A1 (en) 2015-12-16 2017-06-22 Thomson Licensing Methods and apparatuses for processing biometric responses to multimedia content
CN106249903B (zh) * 2016-08-30 2019-04-19 广东小天才科技有限公司 一种虚拟现实场景内容的播放方法及装置
US10097888B2 (en) * 2017-02-06 2018-10-09 Cisco Technology, Inc. Determining audience engagement
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端
WO2018207183A1 (en) * 2017-05-09 2018-11-15 Eye-Minders Ltd. Deception detection system and method
US11070862B2 (en) 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
EP3688997A4 (en) 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
CN112118784B (zh) 2018-01-08 2024-06-14 华纳兄弟娱乐公司 用于检测神经生理状态的社交交互应用
US10880601B1 (en) * 2018-02-21 2020-12-29 Amazon Technologies, Inc. Dynamically determining audience response to presented content using a video feed
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US11086907B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data
US11429839B2 (en) 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068554A (ko) * 2020-11-19 2022-05-26 주식회사 핏투게더 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치

Also Published As

Publication number Publication date
KR102662981B1 (ko) 2024-05-02
CN111936036A (zh) 2020-11-13
CN111742560B (zh) 2022-06-24
US11303976B2 (en) 2022-04-12
WO2019067783A1 (en) 2019-04-04
EP3688997A1 (en) 2020-08-05
EP3688897A1 (en) 2020-08-05
US20200296458A1 (en) 2020-09-17
CN111742560A (zh) 2020-10-02
US11343596B2 (en) 2022-05-24
EP3687388A1 (en) 2020-08-05
WO2019068035A1 (en) 2019-04-04
WO2019068025A1 (en) 2019-04-04
CN111758229B (zh) 2022-06-24
CN111758229A (zh) 2020-10-09
EP3688997A4 (en) 2021-09-08
KR20240011874A (ko) 2024-01-26
US20200296480A1 (en) 2020-09-17
KR20200127150A (ko) 2020-11-10
KR20200130231A (ko) 2020-11-18
US20200297262A1 (en) 2020-09-24
EP3688897A4 (en) 2021-08-04
EP3687388A4 (en) 2021-07-07
CN111936036B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US11303976B2 (en) Production and control of cinematic content responsive to user emotional state
US20240045470A1 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
CN112118784B (zh) 用于检测神经生理状态的社交交互应用
JP7140138B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US10171858B2 (en) Utilizing biometric data to enhance virtual reality content and user response
US10843078B2 (en) Affect usage within a gaming context
Rossi et al. Socially assistive robot for providing recommendations: Comparing a humanoid robot with a mobile application
US20150058327A1 (en) Responding to apprehension towards an experience with an explanation indicative of similarity to a prior experience
KR20190027354A (ko) 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters
US20240205464A1 (en) Systems and methods for configuring adaptive streaming of content items based on user comfort levels
Robinson A Design Exploration of Affective Gaming
CA3223819A1 (en) Systems and methods for configuring adaptive streaming of content items based on user comfort levels

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right