KR102662981B1 - 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현 - Google Patents
생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현 Download PDFInfo
- Publication number
- KR102662981B1 KR102662981B1 KR1020207012099A KR20207012099A KR102662981B1 KR 102662981 B1 KR102662981 B1 KR 102662981B1 KR 1020207012099 A KR1020207012099 A KR 1020207012099A KR 20207012099 A KR20207012099 A KR 20207012099A KR 102662981 B1 KR102662981 B1 KR 102662981B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- audio
- content
- delete delete
- sensor data
- Prior art date
Links
- 238000007654 immersion Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 140
- 230000004044 response Effects 0.000 claims abstract description 46
- 230000002996 emotional effect Effects 0.000 claims description 66
- 230000037007 arousal Effects 0.000 claims description 60
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 12
- 238000002567 electromyography Methods 0.000 claims description 8
- 230000010344 pupil dilation Effects 0.000 claims description 8
- 230000000638 stimulation Effects 0.000 claims description 8
- 230000002964 excitative effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 231100000430 skin reaction Toxicity 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 208000003443 Unconsciousness Diseases 0.000 claims description 2
- 230000008569 process Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 26
- 230000008451 emotion Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 238000005259 measurement Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 15
- 230000005284 excitation Effects 0.000 description 15
- 238000010606 normalization Methods 0.000 description 14
- 230000006397 emotional response Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000001256 tonic effect Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 230000000926 neurological effect Effects 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 238000013186 photoplethysmography Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- XNOPRXBHLZRZKH-UHFFFAOYSA-N Oxytocin Natural products N1C(=O)C(N)CSSCC(C(=O)N2C(CCC2)C(=O)NC(CC(C)C)C(=O)NCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(CCC(N)=O)NC(=O)C(C(C)CC)NC(=O)C1CC1=CC=C(O)C=C1 XNOPRXBHLZRZKH-UHFFFAOYSA-N 0.000 description 2
- 101800000989 Oxytocin Proteins 0.000 description 2
- 102100031951 Oxytocin-neurophysin 1 Human genes 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- UCTWMZQNUQWSLP-UHFFFAOYSA-N adrenaline Chemical compound CNCC(O)C1=CC=C(O)C(O)=C1 UCTWMZQNUQWSLP-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008512 biological response Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- JYGXADMDTFJGBT-VWUMJDOOSA-N hydrocortisone Chemical compound O=C1CC[C@]2(C)[C@H]3[C@@H](O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 JYGXADMDTFJGBT-VWUMJDOOSA-N 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- XNOPRXBHLZRZKH-DSZYJQQASA-N oxytocin Chemical compound C([C@H]1C(=O)N[C@H](C(N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CSSC[C@H](N)C(=O)N1)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CC(C)C)C(=O)NCC(N)=O)=O)[C@@H](C)CC)C1=CC=C(O)C=C1 XNOPRXBHLZRZKH-DSZYJQQASA-N 0.000 description 2
- 229960001723 oxytocin Drugs 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- QZAYGJVTTNCVMB-UHFFFAOYSA-N serotonin Chemical compound C1=C(O)C=C2C(CCN)=CNC2=C1 QZAYGJVTTNCVMB-UHFFFAOYSA-N 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- SFLSHLFXELFNJZ-QMMMGPOBSA-N (-)-norepinephrine Chemical compound NC[C@H](O)C1=CC=C(O)C(O)=C1 SFLSHLFXELFNJZ-QMMMGPOBSA-N 0.000 description 1
- 206010002942 Apathy Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 102000009025 Endorphins Human genes 0.000 description 1
- 108010049140 Endorphins Proteins 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- OIPILFWXSMYKGL-UHFFFAOYSA-N acetylcholine Chemical compound CC(=O)OCC[N+](C)(C)C OIPILFWXSMYKGL-UHFFFAOYSA-N 0.000 description 1
- 229960004373 acetylcholine Drugs 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000000981 bystander Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 229960000890 hydrocortisone Drugs 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000035987 intoxication Effects 0.000 description 1
- 231100000566 intoxication Toxicity 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000005155 neural progenitor cell Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229960002748 norepinephrine Drugs 0.000 description 1
- SFLSHLFXELFNJZ-UHFFFAOYSA-N norepinephrine Natural products NCC(O)C1=CC=C(O)C(O)=C1 SFLSHLFXELFNJZ-UHFFFAOYSA-N 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000003016 pheromone Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000012191 relaxation of muscle Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229940076279 serotonin Drugs 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Abstract
오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현을 획득하기 위한 컴퓨터 구현 방법은, 디지털 데이터에 기초하여 오디오-비디오 출력을 출력하는 출력 장치에 의해 오디오-비디오 컨텐츠를 포함하는 디지털 데이터를 재생하는 단계 및 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 무의식적 반응을 감지하기 위해 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계를 포함한다. 방법은 센서 데이터에 기초하여 컨텐츠 몰입 파워(CEP) 값을 결정하는 단계, 및 컴퓨터 메모리에 CEP의 디지털 표현을 레코딩하는 단계를 더 포함한다. 장치는 하드웨어, 펌웨어, 및/또는 소프트웨어를 사용하는 방법을 수행하도록 구성된다.
Description
관련 출원에 대한 교차 참조
본 출원은 2017년 9월 29일 제출된 미국 가출원 제62/566,257호, 2018년 1월 8일 제출된 제62/614,811호, 2018년 4월 23일 제출된 제62/661,556호, 2018년 8월 7일 제출된 제62/715,766호에 대해 우선권을 주장하며, 모든 개시 사항은 전체 내용이 참조로서 본 명세서에 포함된다.
기술 분야
본 발명은 사용자의 감정 상태를 나타내는 센서 데이터에 기초하여 디렉팅된 디지털 컨텐츠로 사용자 몰입(user engagement)의 등급을 매기기 위한 방법 및 장치에 관한 것이다.
새로운 엔터테인먼트 매체 및 훨씬 더 화려한 효과가 전례 없이 시청자에게 즐거움을 주지만, 영화 컨텐츠의 기초는 여전히 스토리 및 배우이다. 성공적인 영화는 영화 장르에 대한 가장 광범위한 잠재 고객을 대상으로 하는 시각적 및 청각적으로 매력적인 배열 및 설득력 있는 배우와 매력적인 스토리를 결합한다. 제작 결정은 초기 배포 몇 년 또는 몇 달 전에 종종 형성되는 감독의 예술적 및 비지니스 감성을 기반으로 한다. 많은 제작 예산은 대부분의 시청자가 한 번만 볼 수 있는 고정 제품에 사용된다. 제품은 항상 모두에게 동일하다. 감독은 모든 사람이 공감할 수 있는 제품을 제공할 수 없으므로 공통 분모 또는 틈새 시장(market niche)을 창출한다.
내러티브를 위한 하나의 기술은 브랜칭(branching)이다. 컴퓨터 생성 오디오-비디오 엔터테인먼트에서의 브랜칭 내러티브는 1980년대 또는 그 이전으로 거슬러 올라간다. 오늘날의 정교한 비디오 게임은 내러티브와 상호 작용 엔터테인먼트, 블렌딩 브랜칭(blending branching) 및 상호 작용 기술 사이의 경계를 흐리게 한다. 가상 현실 및 증강 현실과 같은 몰입형 엔터테인먼트 기술은 시청자를 사로잡기 위해 더 많은 기회를 제공한다. 머신 러닝에 의한 데이터 마이닝을 통해 소비자 선호도 및 성향을 포함하는 다양한 대상 및 저수준 데이터 사이의 새로운 대응 관계를 발견할 수 있다. 모바일 폰과 사물 인터넷(IoT) 장치가 확산되면서, 네트워크로 연결된 센서가 폭발적으로 증가한다. 이제 그 어느 때보다 컨텐츠 소비자에게 대한 더 많은 실시간 및 배치 데이터를 수집할 수 있다.
브랜칭과는 별도로, 컨텐츠 제작자는 제작에 투입하기 전에 계획된 컨텐츠의 매력을 측정하기 위해 많은 기술을 사용한다. 특징이 생성되면 설문 조사, 포커스 그룹 및 테스트 마케팅을 수행하여 컨텐츠 내러티브를 세밀하게 조정하고 마케팅 전략을 계획할 수 있다. 정확하고 세분화된 청중 반응 데이터는 전통적인 방법으로 수집하기가 어렵고 시간이 많이 걸린다.
그러므로, 디렉팅된 컨텐츠로 사용자 몰입을 등급을 매기기 위한 새로운 방법 및 다른 새로운 기술을 개발하는 것이 바람직할 것이며, 이는 종래 기술의 이들 및 다른 한계를 극복하고 생산자가 미래의 청중에게 보다 매력적인 엔터테인먼트 경험을 제공할 수 있게 돕는다.
이 요약 및 다음의 상세한 설명은 통합된 개시의 보완 부분으로 해석되어야 하며, 이 부분은 중복 주제 및/또는 보충 주제를 포함할 수 있다. 어느 한 섹션의 생략이 통합된 출원에 설명된 요소의 우선순위 또는 상대적인 중요성을 나타내지 않는다. 섹션 사이의 차이는 각각의 개시에서 명백한 바와 같이, 대안적인 실시예의 보충 개시, 추가의 상세, 또는 상이한 용어를 사용하는 동일한 실시예의 대안적인 설명을 포함할 수 있다.
본 개시의 일 양태에서, 컴퓨터 메모리에서 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 컴퓨터 구현 방법은 디지털 데이터를 기초로 하는 오디오-비디오 출력을 출력하는 출력 장치에 의해 오디오-비디오 컨테츠를 포함하는 디지털 데이터를 재생하는 단계를 포함한다. “사용자”는 엔터테인먼트 목적으로 소비자로서 디렉팅된 컨텐츠를 경험하는 청중 구성원을 의미한다. 이 방법은 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 무의식적 반응을 감지하도록 위치된 적어도 하나의 센서로부터 적어도 하나의 컴퓨터 프로세서에 의해 센서 데이터를 수신하는 단계를 더 포함한다. 예를 들어, 센서 데이터는 대응하는 센서로부터 수신되는 뇌전도(electroencephalographic, EEG) 데이터, 갈바닉 피부 반응(galvanic skin response, GSR) 데이터, 안면 근전도(facial electromyography, fEMG) 데이터, 심전도(electrocardiogram, EKG) 데이터, 비디오 얼굴 행동 유닛(video facial action unit, FAU) 데이터, 뇌 기계 인터페이스(brain machine interface, BMI) 데이터, 비디오 펄스 검출(video pulse detection, VPD) 데이터, 동공 확장 데이터, 기능 자기 이미징(functional magnetic imaging, fMRI) 데이터, 신체 화학 감지 데이터 및 기능 근적외선 데이터(functional near-infrared data, fNIR) 중 하나 이상을 포함할 수 있다. 방법은 센서 데이터에 기초하여 컨텐츠 몰입 파워(Content Engagement Power, CEP)의 적어도 하나의 디지털 표현을 적어도 하나의 컴퓨터 프로세서에 의해 알고리즘 실행함으로써 결정하는 단계 및 컴퓨터 메모리에서 CEP의 적어도 하나의 디지털 표현을 기록하는 단계를 더 포함할 수 있다.
CEP는 자극, 즉 디렉팅된 컨텐츠와 사용자의 몰입과 관련된 사용자의 생체 상태에 대한 객관적이고 알고리즘적인 디지털 전자 측정이다. 우리는 CEP, 흥분(arousal) 및 유의성(valence)에 대해 2 가지 직교 측정을 사용한다. 본 명세서에 사용된 바와 같이, “흥분”은 심리학에서의 의미에 따라 생리학적으로 경고적이고, 깨어 있고 주의를 기울이는(attentive) 상태 또는 조건을 의미하기 위해 사용된다. 높은 흥분은 관심과 주의를 나타내면, 낮은 흥분은 지루함과 무관심을 나타낸다. “유의성”은 또한 선량함 또는 매력의 심리적 감지로 본 명세서에서 사용된다. 양의 유의성은 매력을 나타내고 음의 유의성은 혐오를 나타낸다.
CEP의 적어도 하나의 디지털 표현은 CEP의 디지털 표현의 시퀀스를 포함할 수 있으며, 시퀀스의 각 멤버는 오디오-비디오 컨텐츠에서의 이산 주기에 기초하여 계산된다. 방법은 CEP의 적어도 하나의 디지털 표현의 상징적인 표현을 디스플레이 스크린 또는 오디오 트랜스듀서에 출력하는 단계를 포함할 수 있다. 일부 실시예에서, 방법은 라이브 공연 동안 적어도 하나의 액터에 의해 디지털 데이터를 기록하는 단계 및 여전히 라이브 공연 동안 디스플레이 스크린 또는 적어도 하나의 액터에 의해 인식될 수 있도록 디스플레이 스크린 또는 트랜스듀서를 배열하는 단계를 포함할 수 있다.
일 양태에서, CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 센서 데이터에 기초하여 흥분 값을 결정하는 단계 및 센서 데이터에 기초하여 자극 평균 흥분(stimulation average arousal)을 기대 평균 흥분(expectation average arousal)과 비교하는 단계를 더 포함한다. 방법은 알려진 오디오-비디오 자극에 관여하면서 하나 이상의 사용자의 비자발적 반응을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 더 포함할 수 있다. 기대 평균 흥분은 개별 사용자 간의 차이를 정상화하는데 사용하기 위해 알려진 자극에 대한 각 사용자의 흥분 반응을 디지털로 표현한 것이다. 방법은 선택적으로 개별 사용자의 실질적으로 상이한 상황, 예를 들어 흥분, 기분, 피로, 휴식, 건강, 약물 치료 또는 중독의 사용자 초기 상태를 기록하는(noting) 동안, 알려진 비흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오-비디오 자극을 재생하는 단계를 더 포함할 수 있다.
다른 양태에서, CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 기간 동안 임계 값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계를 포함할 수 있다. 또한, 방법은 하나 이상의 사용자 각각 및 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하는 단계 및 이벤트 파워를 집계하는 단계를 포함할 수 있다. 방법은 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당하는 단계를 포함할 수 있다. 기대 평균 흥분을 결정하는 단계는 기간 동안 임계 값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계 및 하나 이상의 사용자 및 자극 이벤트 각각에 대한 알려진 오디오-비디오 자극에 대한 다수의 기대 파워 중 하나를 계산하는 단계를 더 포함할 수 있다. CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 기대 파워의 집합에 대한 이벤트 파워의 합의 비율을 계산하는 단계를 포함할 수 있다.
다른 양태에서, 방법은 흥분 값을 오디오 비디오 컨텐츠에 대한 목표 감정 아크(targeted emotional arc)에 비교하는 것에 기초하여 흥분 에러 측정을 결정하는 단계를 포함할 수 있다. 목표 감정 아크는 연속적인 시간 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 흥분 값의 세트를 포함할 수 있으며, 방법은 센서 데이터에 기초하여 유의성의 디지털 표현을 결정하는 단계를 포함할 수 있다.
CEP의 디지털 표현을 결정하는 것의 일부로서, 또는 다른 용도로, 방법은 센서 데이터에 기초하여 사용자 유의성의 디지털 표현을 결정하는 단계를 포함할 수 있다. 유의성 결정에 적합한 센서 데이터는 예를 들어 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 이미징(fMRI) 데이터, 신체 화학 감지 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함할 수 있다. 방법은 알려진 오디오-비디오 자극에 대해 수집된 유사한 값에 기초하여 유의성의 디지털 표현을 정규화하는 단계를 포함할 수 있다. 일 양태에서, 방법은 유의성의 디지털 표현을 오디오-비디오 컨텐츠에 대한 목표 감정 아크와 비교하는 것에 기초하여 유의성 에러 측정을 결정하는 단계를 포함할 수 있다. 목표 감정 아크는 디지털 오디오-비디오 컨텐츠에 대한 연속적인 시간 시퀀스 또는 프레임 시퀀스의 상이한 간격과 각각 고유하게 관련된 유의성 및/또는 흥분의 목표 디지털 표현의 세트를 포함할 수 있다.
전술한 방법은 컴퓨터 프로세서에 의해 실행될 때 장치로 하여금 기술된 동작을 수행하게 하는 비일시적 컴퓨터 판독 매체에 제공된 프로그램 명령에 의해 임의의 적합한 프로그램 가능 컴퓨팅 장치에서 구현될 수 있다. 프로세서는 장치 및 사용자에게 로컬일 수 있거나 또는 원격으로 위치되거나 또는 로컬 및 원격 프로세서의 조합을 포함할 수 있다. 장치는 컨텐츠 출력 장치에 대한 디렉팅된 컨텐츠의 생성에 사용되는 컴퓨터 또는 연결된 컴퓨터의 세트를 포함할 수 있다. 컨텐츠 출력 장치는 예를 들어 개인용 컴퓨터, 모바일 폰, 노트패드 컴퓨터, 텔레비전 또는 컴퓨터 모니터, 프로젝터, 가상 현실 장치 또는 증강 현실 장치를 포함할 수 있다. 장치의 다른 요소는 예를 들어 방법의 실행에 참여하는 사용자 입력 장치 및 오디오 출력 장치를 포함할 수 있다. 장치는 사용자의 머리 및 다른 신체 부분의 움직임에 반응하는 헤드셋 또는 다른 디스플레이와 같은 가상 또는 증강 현실 장치를 포함할 수 있다. 장치는 CEP의 디지털 표현을 결정하기 위해 제어기에 의해 사용되는 데이터를 제공하는 생체 센서를 포함할 수 있다.
전술한 목적 및 관련 목적을 달성하기 위해, 하나 이상의 예는 이하에서 충분히 설명되고 특히 청구 범위에서 지적되는 특징을 포함한다. 다음의 설명 및 첨부된 도면은 특정한 예시적인 양태를 상세히 설명하고 실시예의 원리가 이용될 수 있는 다양한 방식 중 일부만을 나타낸다. 다른 이점 및 신규한 특징은 도면 및 개시된 실시예와 관련하여 고려될 때 다음의 상세한 설명으로부터 명백해질 것이며, 이러한 모든 양태 및 그 등가물을 포함한다.
본 발명의 특징, 특성 및 이점은 유사한 참조 번호가 명세서 및 도면 전체에 걸쳐 대응하는 유사한 요소를 나타내는 도면과 관련하여 후술될 상세한 설명으로부터 더 명백해질 것이다.
도 1은 하나 이상의 분배 시스템에 결합된 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 시스템 및 장치의 양태를 도시하는 개략적인 블록도이다.
도 2는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 서버의 양태를 도시하는 개략적인 블록도이다.
도 3은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 클라이언트 장치의 양태를 도시하는 개략적인 블록도이다.
도 4는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 가상 현실 클라이언트 장치의 특징을 나타내는 개략도이다.
도 5는 디렉팅된 컨텐츠의 수행 동안 수집된 생체 센서 데이터에 기초하여 CEP의 디지털 표현을 결정하는 방법의 높은 수준의 동작을 도시하는 흐름도이다.
도 6은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 시스템의 높은 수준의 양태를 도시하는 블록도이다.
도 7a는 2차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 다이어그램이다.
도 7b는 3차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 다이어그램이다.
도 8은 얼굴 행동 유닛(FAU)을 측정하기 위한 애플리케이션으로부터의 출력의 예를 도시하는 데이터 표이다.
도 9는 감정 흥분에 관련되는데 유용한 피크 갈바닉 피부 반응(GSR)을 도시하는 차트이다.
도 10은 감정 흥분에 관련되는 시간에 따른 토닉(tonic) 및 페이식(phasic) GSR 반응을 도시하는 차트이다.
도 11은 컨텐츠 몰입 파워의 측정을 위한 생체 입력 옵션을 도시하는 표이다.
도 12는 생체 반응 데이터에 기초하여 컨텐츠 등급을 결정하기 위한 프로세스를 도시하는 흐름도이다.
도 13은 유의성, 흥분 및 컨텐츠 몰입 파워 측정을 결정하기 위한 프로세스를 도시하는 흐름도이다.
도 14는 생체 유의성 및 흥분 데이터에 반응하는 컨텐츠에 대한 데이터 처리 사용 사례를 도시하는 블록도이다.
도 15는 컨텐츠의 제작 및 배포에서 사용자 몰입의 디지털 표현을 위한 사용 사례를 도시하는 흐름도이다.
도 16은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 방법의 양태를 도시하는 흐름도이다.
도 17-18은 도 16의 다이어그램으로 표시된 방법의 추가의 선택적 양태 또는 동작을 도시하는 흐름도이다.
도 19는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 장치 및 시스템의 컴포넌트를 도시하는 개념적인 블록도이다.
도 1은 하나 이상의 분배 시스템에 결합된 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 시스템 및 장치의 양태를 도시하는 개략적인 블록도이다.
도 2는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 서버의 양태를 도시하는 개략적인 블록도이다.
도 3은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 클라이언트 장치의 양태를 도시하는 개략적인 블록도이다.
도 4는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 가상 현실 클라이언트 장치의 특징을 나타내는 개략도이다.
도 5는 디렉팅된 컨텐츠의 수행 동안 수집된 생체 센서 데이터에 기초하여 CEP의 디지털 표현을 결정하는 방법의 높은 수준의 동작을 도시하는 흐름도이다.
도 6은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 시스템의 높은 수준의 양태를 도시하는 블록도이다.
도 7a는 2차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 다이어그램이다.
도 7b는 3차원 감정 공간의 축에 대한 감정 상태의 배열을 나타내는 다이어그램이다.
도 8은 얼굴 행동 유닛(FAU)을 측정하기 위한 애플리케이션으로부터의 출력의 예를 도시하는 데이터 표이다.
도 9는 감정 흥분에 관련되는데 유용한 피크 갈바닉 피부 반응(GSR)을 도시하는 차트이다.
도 10은 감정 흥분에 관련되는 시간에 따른 토닉(tonic) 및 페이식(phasic) GSR 반응을 도시하는 차트이다.
도 11은 컨텐츠 몰입 파워의 측정을 위한 생체 입력 옵션을 도시하는 표이다.
도 12는 생체 반응 데이터에 기초하여 컨텐츠 등급을 결정하기 위한 프로세스를 도시하는 흐름도이다.
도 13은 유의성, 흥분 및 컨텐츠 몰입 파워 측정을 결정하기 위한 프로세스를 도시하는 흐름도이다.
도 14는 생체 유의성 및 흥분 데이터에 반응하는 컨텐츠에 대한 데이터 처리 사용 사례를 도시하는 블록도이다.
도 15는 컨텐츠의 제작 및 배포에서 사용자 몰입의 디지털 표현을 위한 사용 사례를 도시하는 흐름도이다.
도 16은 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 방법의 양태를 도시하는 흐름도이다.
도 17-18은 도 16의 다이어그램으로 표시된 방법의 추가의 선택적 양태 또는 동작을 도시하는 흐름도이다.
도 19는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 장치 및 시스템의 컴포넌트를 도시하는 개념적인 블록도이다.
이제 다양한 양태가 도면을 참조하여 기술된다. 다음의 설명에서, 설명의 목적으로 하나 이상의 양태에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 그러나, 이러한 특정 세부 사항 없이도 다양한 양태가 실행될 수 있음은 자명할 수 있다. 다른 예에서, 공지된 구조 및 장치는 이러한 양태의 설명을 용이하게 하기 위해 블록도의 형태로 도시된다.
도 1을 참조하면, 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 방법은 클라이언트 서버 환경(100)에서 구현될 수 있다. 다른 아키텍쳐도 적합할 수 있다. 네트워크 아키텍처에서 센서 데이터는 로컬로 수집 및 처리될 수 있으며, 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입의 디지털 표현을 계산하는 서버로 전송될 수 있다. 본 명세서에서 사용되는 바와 같이, “디렉팅된 컨텐츠”는 “감정 아크”로서 본 명세서에서 때때로 지칭되는 내러티브 긴장을 조절하기 위한 계획에 따라 시청자에 감정을 불러 일으키면서 즐겁게하거나 또는 알리도록 설계된 방식에 따라 적어도 부분적으로 디렉팅되는 디지털-오디오 컨텐츠를 지칭한다. 디렉팅된 컨텐츠는 영화 또는 영화 길이 특징으로 제시된 컨텐츠로 제한되지 않으며, 모바일 폰 및 다른 작은 스크린, VR 및 AR 컨텐츠 및 내러티브 요소를 포함하고 심지어 또한 비 내러티브 요소를 포함하는 상호 작용 게임을 포함하는 임의의 오디오-비디오 컨텐츠를 포함할 수 있다. 감정 아크에 의해 계획된 내러티브 긴장은 사용자가 다른 시간에 또는 특정 극적인 이벤트, 캐릭터, 객체, 이미지, 소리, 음악 또는 디지털 오디오-비디오 컨텐츠로부터 생성된 다른 자극에 반응하여 반대 극성, 예를 들어 공포 및 자신감 또는 혐오 또는 매력의 느낌을 경험하게 할 수 있다. 이러한 느낌의 강도는 종종 사용자가 경험에서 얻은 관심 및 즐거움과 관련이 있으며 긴장이 고조되고 절정에 이르고 완화됨에 따라 감정 아크에 의해 계획될 수도 있다. 영화 컨텐츠의 사용자는 긴장 상태에서 신경학적 또는 신경 생리학적 상태로 무의식적으로 진입함으로써 감정 아크를 경험하는 동안 자연스럽게 반응한다(예를 들어, 때로는 유의성이라고도 하는 긍정적 또는 부정적 감정 때로는 흥분이라고도 하는 반응의 강도(intensity), 진폭 또는 강도(strength)).
디렉팅된 컨텐츠는 또한 비디오 게임 특징과 유사한 상호 작용 특징을 지원하도록 구성될 수 있거나 상호 작용 특징이 없을 수 있다. 디렉팅된 컨텐츠는 사용자 감정을 나타내는 데이터에 반응하여 브랜칭되거나 브랜칭되지 않을 수 있다. 전통적인 스크립트를 사용하여 제작된 컨텐츠 외에, 디렉팅된 컨텐츠는 전통적인 스크립트 이외의 툴을 사용하여 디렉팅되는 프로그램, 예를 들어 게임 쇼, 버라이어티 쇼, 다큐멘터리 및 리얼리티 쇼를 포함할 수 있다.
디렉팅된 컨텐츠의 사용자는 디렉팅된 컨텐츠 신호를 수신하는 출력 장치에 의해 생성된 가시적, 청각적, 후각적 또는 촉각적 감각을 경험하는 동안 감정의 자연스러운 표현에 의해 반응한다. 디렉팅된 컨텐츠가 이를 지원하도록 구성된 경우, 사용자(보다 정확하게는 “플레이어 액터”)는 디렉팅된 컨텐츠에 나타나는 캐릭터 또는 다른 객체와 적극적으로 상호 작용할 수 있다. 본 명세서에서 사용되는 바와 같이, “플레이어 액터”는 클라이언트 장치 또는 인터페이스를 사용하여 무의식적으로 생체 센서에 의해 검출된 신경학적 또는 신경 생리학적 상태(예를 들어, 감정을 드러냄(emoting))로 진입함으로써 디렉팅된 컨텐츠와 상호작용하는, 생체 센서가 장착되거나 연결된 클라이언트 장치 또는 인터페이스의 사용자이며, 직접 입력을 제공하기 위해 제어기를 사용하는지의 여부와 관련없이, 플레이어 액터에 의해 의도적인 동작을 요구하지 않고 감지된 생체 반응에 응답하여 디렉팅된 컨텐츠가 변경된다. “수학” 서버(110)와 같은 데이터 처리 서버는 디렉팅된 컨텐츠의 소비 동안 청중의 신경학적, 신경 생리학적 또는 생리학적 반응을 검출하도록 위치된 생체 센서로부터 센서 데이터를 수신할 수 있다. 서버(100)는 하나 이상의 측정 축(예를 들어, 흥분 및 유의성)을 나타내는 시간 또는 비디오 프레임의 함수로서 디렉팅된 컨텐츠에 대한 청중의 신경학적, 신경 생리학적 또는 생리학적 반응(편의를 위해 “감정 반응”)을 나타내는 디지털 표현을 획득하기 위해 센서 데이터를 처리할 수 있다. 대안적인 실시예에서, 컨텐츠 적응형(content-adaptive) 인공 지능(AI)은 실시간 감정 피드백에 기초하여 내러티브에서 캐릭터 관점에 대한 플레이어 액터에 의한 몰입을 증가시키거나 유지하도록 디렉팅된 컨텐츠를 적응시킬 수 있다.
적합한 클라이언트 서버 환경(100)은 하나 이상의 네트워크, 예를 들어 광역 네트워크(WAN, 102)(예를 들어, 인터넷) 및/또는 무선 통신 네트워크(WCN, 104), 예를 들어 핸드폰 네트워크를 통해 통신하는 다양한 컴퓨터 서버 및 클라이언트 엔티티를 포함할 수 있다. 컴퓨터 서버는 다양한 아키텍처로 구현될 수 있다. 예를 들어, 환경(100)은 예를 들어 HTML, XML, PHP 및 자바 스크립트 문서 또는 실행 가능한 스크립트를 포함하지만 이에 제한되지 않는 월드 와이드 웹 프로토콜과 호환되는 문서 및 애플리케이션 코드를 포함하는 하나 이상의 웹/애플리케이션 서버(124)를 포함할 수 있다. 웹/애플리케이션 서버(124)는 디렉팅된 컨텐츠를 출력하고 디렉팅된 컨텐츠를 경험하는 사용자로부터 생체 센서 데이터를 수집하기 위한 애플리케이션을 제공할 수 있다. 대안적으로, 데이터 수집 애플리케이션은 수학 서버(110), 클라우드 서버(122), 블록 체인 엔티티(128) 또는 컨텐츠 데이터 서버(126)로부터 제공될 수 있다.
환경(100)은 데이터, 예를 들어 비디오, 오디오-비디오, 오디오 및 그래픽 컨텐츠 콤포넌트, 클라이언트 장치 상에서 또는 클라이언트 장치와 함께 실행하기 위한 소프트웨어, 예를 들어 센서 제어 및 감정 검출 애플리케이션 및 사용자 또는 클라이언트 장치로부터 수집된 데이터를 보유하기 위한 하나 이상의 데이터 서버(126)를 포함할 수 있다. 클라이언트 장치 또는 사용자로부터 수집된 데이터는 예를 들어 센서 데이터 및 애플리케이션 데이터를 포함할 수 있다. 센서 데이터는 클라이언트 장치 상에서 동작하는 배경(사용자 대면이 아닌) 애플리케이션에 의해 수집될 수 있고 데이터 싱크, 예를 들어 클라우드 기반 데이터 서버(122) 또는 이산 데이터 서버(126)로 전송될 수 있다. 애플리케이션 데이터는 다른 애플리케이션 입력, 출력 또는 내부 상태 또는 애플리케이션과의 사용자 상호 작용의 레코드를 포함하지만 이에 제한되지 않는 애플리케이션 상태 데이터를 의미한다. 애플리케이션은 디렉팅된 컨텐츠를 출력하고, 생체 센서 데이터를 수집하고, 기능을 지원하기 위한 소프트웨어를 포함할 수 있다. 애플리케이션 및 데이터는 다른 유형의 서버, 예를 들어 분산 블록 체인 데이터 구조(128)에 액세스하는 임의의 서버 또는 마이크로 서버 또는 클라이언트로서 동시에 작동하는 클라이언트 장치의 세트(118, 120)에 의해 제공될 수 있는 피어 투 피어(P2P) 서버(116)로부터 제공될 수 있다.
본 명세서에서 사용되는 바와 같이, “사용자”는 항상 시스템 노드가 디렉팅된 컨텐츠와의 몰입의 디지털 표시를 결정하는데 사용하기 위한 감정 반응 데이터를 수집하는 디렉팅된 컨텐츠의 소비자이다. 아바타 또는 다른 에이전시를 통해 컨텐츠에 적극적으로 몰입하는 경우, 사용자는 본 명세서에서 플레이어 액터라고도 지칭될 수 있다. 시청자가 항상 사용자인 것은 아니다. 예를 들어, 방관자(bystander)는 시스템이 감정 반응 데이터를 수집하지 않는 수동 뷰어일 수 있다. 본 명세서에 사용된 바와 같이, “노드”는 컴퓨터 네트워크에 참여하는 클라이언트 또는 서버를 포함한다.
네트워크 환경(100)은 다양한 다양한 클라이언트 장치, 예를 들어 WCN(104) 및 WAN(102)을 통해 서버에 연결되는 모바일 스마트폰 클라이언트(106) 및 노트패드 클라이언트(108), 라우터(112) 및 WAN(102)을 통해 서버에 연결되는 혼합 현실(예를 들어, 가상 현실 또는 증강 현실) 클라이언트 장치(114)를 포함할 수 있다. 일반적으로, 클라이언트 장치는 서버를 통해 또는 로컬 스토리지로부터 제공된 디렉팅된 컨텐츠에 액세스하기 위해 사용자에 의해 사용되는 컴퓨터일 수 있거나 이를 포함할 수 있다. 일 양태에서, 데이터 처리 서버(110)는 실시간 또는 오프라인 애플리케이션에 사용하기 위한 생체 데이터의 디지털 표현을 결정할 수 있다. 내러티브 컨텐츠에서 객체의 활동 또는 브랜칭을 제어하는 것은 실시간 애플리케이션의 예이다. 오프라인 애플리케이션은 예를 들어 생산 제안을 “승인(green lighting)”, 승인 전의 생산 제안을 자동으로 스크리닝, 트레일러 또는 비디오 광고와 같은 판촉 컨텐츠의 자동 또는 반자동 패키징, 사용자 또는 사용자 코호트(cohort)를 위한 컨텐츠의 사용자 정의 편집(customized editing)(자동 및 반자동 모두)을 포함할 수 있다.
도 2는 환경(100)에서, 유사한 네트워크에서 또는 독립적인 서버로서 동작할 수 있는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 데이터 처리 서버(200)를 도시한다. 서버(200)는 하나 이상의 하드웨어 프로세서(202, 214)(하나 이상의 도시된 것들 중 2 개)를 포함할 수 있다. 하드웨어는 펌웨어를 포함한다. 하나 이상의 프로세서(202, 214) 각각은 사용자의 감정 상태 및 시청 히스토리를 나타내는 센서 데이터를 위한 소스(220)에 대한 입력/출력 포트(216)(예를 들어, 범용 직렬 버스 포트 또는 다른 직렬 또는 병렬 포트)에 연결될 수 있다. 시청 히스토리는 컨텐츠 패키지를 위한 베이스 라인 스크립트로부터의 로그 레벨 레코드 또는 플레이어 액터 감정 상태 및 다른 입력에 반응하여 만들어진 제어 결정의 동등한 레코드를 포함할 수 있다. 시청 히스토리는 TV, Netflix 및 기타 소스에서 시청한 컨텐츠도 포함할 수 있다. 도출된 감정 아크를 포함하는 임의의 소스는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 알고리즘에 입력하는데 유용할 수 있다. 서버(200)는 개인 또는 코호트에 대한 다수의 컨텐츠 타이틀에 걸쳐 플레이어 액터 동작 및 감정 반응을 추적할 수 있다. 서버의 일부 유형, 예를 들어 클라우드 서버, 서버 팜 또는 P2P 서버는 단일 서버의 기능을 수행하기 위해 협력하는 개별 서버(200)의 다중 인스턴스를 포함할 수 있다.
서버(200)는 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는데 사용되는 센서 및 애플리케이션 데이터를 포함하지만 이에 한정되지 않는 애플리케이션 및 데이터를 송수신하기 위한 네트워크 인터페이스(218)를 포함할 수 있다. 컨텐츠는 서버(200)로부터 클라이언트 장치로 제공되거나 클라이언트 장치에 의해 로컬로 저장될 수 있다. 클라이언트 장치에 로컬로 저장된 경우, 클라이언트 및 서버(200)는 센서 데이터의 수집 및 처리를 위해 서버(200)로의 전송을 처리하도록 협력할 수 있다.
서버(200)의 각각의 프로세서(202, 214)는 본 명세서에 기술된 방법을 수행하기 위한 애플리케이션 또는 애플리케이션들의 기능 모듈(206, 208, 210, 212)을 보유하는 적어도 하나의 메모리(204)에 동작 가능하게 연결될 수 있다. 모듈은 예를 들어 흥분 또는 유의성과 같은 하나 이상의 메트릭에 생체 피드백을 관련시키는 관련 모듈(206)을 포함할 수 있다. 관련 모듈(206)은 프로세서(202 및/또는 214)에 의해 실행될 때 머신 러닝(ML) 또는 다른 프로세스를 사용하여 서버로 하여금 생체 센서 데이터를 사용자의 하나 이상의 생리학적 또는 감정 상태와 상관시키도록 하는 명령을 포함할 수 있다. 이벤트 검출 모듈(208)은 데이터 임계 값을 초과하는 감정 척도에 기초하여 이벤트를 검출하기 위한 기능을 포함할 수 있다. 모듈은 예를 들어 정규화 모듈(210)을 더 포함할 수 있다. 정규화 모듈(210)은 프로세서(202 및/또는 214)에 의해 실행될 때 서버가 베이스라인 입력을 사용하여 측정 유의성, 흥분 또는 다른 값을 정규화하도록 하는 명령을 포함할 수 있다. 모듈은 프로세서에 의해 실행될 때 서버로 하여금 센서 데이터 및 업 스트림 모듈로부터의 다른 출력에 기초하여 CEP(Content Engagement Power)를 계산하게 하는 계산 기능(212)을 더 포함할 수 있다. CEP를 결정하는 세부 사항은 본 명세서에 나중에 개시된다. 메모리(204)는 추가 명령, 예를 들어 운영 체제 및 지원 모듈을 포함할 수 있다.
도 3을 참조하면, 컨텐츠 소비 장치(300)는 디렉팅된 컨텐츠 신호로부터 생성된 출력에 대한 사용자의 신경학적 또는 감정 반응을 나타내는 생체 센서 데이터를 생성한다. 장치(300)는 예를 들어 프로세서(302), 예를 들어 IntelTM 또는 AMDTM에 의해 설계된 80×86 아키텍처에 기초한 중앙 처리 유닛, ARMTM에 의해 설계된 시스템 온 칩(system-on-a-chip) 또는 임의의 다른 적절한 마이크로프로세서를 포함할 수 있다. 프로세서(302)는 버스 또는 다른 연결을 사용하여 3D 환경 장치(300)의 보조 장치 또는 모듈에 통신 가능하게 연결될 수 있다. 선택적으로, 프로세서(302) 및 그 결합된 보조 장치 또는 모듈은 하우징(301), 예를 들어 텔레비전, 셋톱 박스, 스마트 폰, 웨어러블 구글, 안경 또는 바이저 또는 다른 폼 팩터 내에 수용되거나 이에 연결될 수 있다.
사용자 인터페이스 장치(324)는 미디어 플레이어 및 데이터 수집 프로세스에 사용자 제어 입력을 제공하기 위한 프로세서(302)에 연결될 수 있다. 프로세스는 종래의 평면 스크린 또는 프로젝션 디스플레이 장치를 위한 비디오 및 오디오를 출력하는 단계를 포함할 수 있다. 일부 실시예에서, 디렉팅된 컨텐츠 제어 프로세스는 프로세서(302) 상에서 실행되는 혼합 현실 몰입형 디스플레이 엔진에 의해 작동되는 몰입형 혼합 현실 컨텐츠 디스플레이 프로세스를 위한 오디오-비디오 출력일 수 있거나 이를 포함할 수 있다.
사용자 제어 입력은 예를 들어 터치 스크린, 키보드, 포인팅 장치(예를 들어, 게임 컨트롤러), 마이크로폰, 모션 센서, 카메라 또는 이들의 일부 조합 또는 블록(324)에 의해 표시되는 다른 입력 장치를 통해 생성된 그래픽 사용자 인터페이스 또는 다른 입력(예를 들어, 문자 또는 방향 명령)으로부터의 선택을 포함할 수 있다. 이러한 사용자 인터페이스 장치(324)는 입/출력 포트(326), 예를 들어 범용 직렬 버스(USB) 또는 등가 포트를 통해 프로세서(302)에 연결될 수 있다. 제어 입력은 또한 프로세서(302)에 연결된 센서(328)를 통해 제공될 수 있다. 센서는 예를 들어 모션 센서(예를 들어, 가속도계), 위치 센서, 카메라 또는 카메라 어레이(예를 들어, 입체 어레이(stereoscopic array)), 생체 온도 또는 펄스 센서, 터치(압력) 센서, 고도계(altimeter), 위치 센서(예를 들어, GPS(Global Positioning System) 수신기 및 제어기), 근접 센서, 모션 센서, 연기 또는 증기 검출기, 자이로스코프 위치 센서, 라디오 수신기, 멀티 카메라 추적 센서/제어기, 눈 추적 센서, 마이크로폰 또는 마이크로폰 어레이, 뇌전도(EEG) 센서, 갈바닉 피부 반응(GSR) 센서, 안면 근전도(fEMG) 센서, 심전도(EKG) 센서, 비디오 얼굴 행동 유닛(FAU) 센서, 뇌 기계 인터페이스(BMI) 센서, 비디오 펄스 검출(VPD) 센서, 동공 확장 센서, 신체 화학 센서, 기능 자기 이미징(fMRI) 센서, 광용적맥파(photoplethysmography, PPG) 센서 또는 기능 근적외선 데이터(fNIR) 센서이거나 이를 포함할 수 있다. 센서 또는 센서들(328)은 사용자의 감정 상태의 지표, 예를 들어 얼굴 표정, 피부 온도, 동공 확장, 호흡 속도, 근육 긴장, 신경계 활동, 맥박, EEG 데이터, GSR 데이터, fEMG 데이터, EKG 데이터, FAU 데이터, BMI 데이터, 동공 확장 데이터, 화학 검출(예를 들어, 옥시토신) 데이터, fMRI 데이터, PPG 데이터 또는 FNIR 데이터 중 하나 이상으로 사용되는 생체 데이터를 검출할 수 있다. 또한, 센서(들)(328)는 사용자의 상황, 예를 들어 사용자의 물리적 환경 및 환경에서 객체의 식별 위치, 사이즈, 배향 및 이동 또는 사용자 인터페이스 디스플레이의 모션 또는 다른 상태, 예를 들어 가상 현실 헤드셋의 모션을 검출할 수 있다. 센서는 디스플레이 장치 자체를 포함하여 또는 스마트 폰, 스마트 워치 또는 이식형 의료 모니터링 장치와 같은 보조 장비에 웨어러블 기어 또는 비-웨어러블로 내장될 수 있다. 센서는 또한 예를 들어 핸즈 프리 네트워크 액세스에 사용되는 인터넷 연결 마이크로폰 및/또는 카메라 어레이 장치와 같은 주변 장치에 배치될 수 있다.
하나 이상의 센서(328)로부터의 센서 데이터는 디스플레이 출력을 제어하기 위해 CPU(302)에 의해 로컬로 처리될 수 있고 그리고/또는 서버에 의해 실시간으로 처리하기 위해 또는 비실시간 처리를 위해 서버(200)로 전송될 수 있다. 본 명세서에서 사용되는 “실시간”은 입력과 출력 사이에 임의의 지연 없이 사용자 입력에 반응하여 처리하는 것을 지칭하며; 즉, 기술적으로 가능한 한 빨리 반응한다. “비실시간” 또는 “오프라인”은 배치 처리 또는 디스플레이 제어를 위한 즉각적인 제어 입력을 제공하는데 사용되지는 않지만 임의의 지연 시간 후에 디스플레이를 제어할 수 있는 센서 데이터의 다른 사용을 지칭한다.
컴퓨터 네트워크의 다른 노드, 예를 들어 디렉팅된 컨텐츠 서버(200)와의 통신을 가능하게 하기 위해, 클라이언트(300)는 네트워크 인터페이스(322), 예를 들어, 유선 또는 무선 이더넷 포트를 포함할 수 있다. 예를 들어, 디렉팅된 컨텐츠의 몰입형 또는 비몰입형 경험을 포함하는 멀티 플레이어 경험을 가능하게 하기 위해 네트워크 통신이 사용될 수 있다. 시스템은 또한 비 영화 멀티 사용자 애플리케이션, 예를 들어 소셜 네트워킹, 그룹 엔터테인먼트 경험, 교육 환경, 비디오 게임 등에 사용될 수 있다. 네트워크 통신은 또한 데이터 처리, 컨텐츠 전달, 컨텐츠 제어 및 추적을 포함하는 목적으로 클라이언트 및 네트워크의 다른 노드 사이의 데이터 전송에 사용될 수 있다. 클라이언트는 바람직하게는 사용자 관리를 요구하지 않고 애플리케이션 레벨 통신 요구 및 하부 레벨 통신 프로토콜을 처리하는 통신 모듈(306)을 사용하여 다른 네트워크 노드와의 통신을 관리할 수 있다.
디스플레이(320)는 예를 들어 프로세서(302) 또는 별도의 칩에 통합된 그래픽 처리 유닛(318)을 통해 프로세서(302)에 연결될 수 있다. 디스플레이(320)는, 예를 들어, 발광 다이오드(LED) 또는 다른 램프에 의해 조명되는 평면 스크린 컬러 액정(LCD) 디스플레이, LCD 디스플레이 또는 DLP(digital light processing) 유닛에 의해 구동되는 프로젝터, 레이저 프로젝터 또는 다른 디지털 디스플레이 장치를 포함할 수 있다. 디스플레이 장치(320)는 가상 현실 헤드셋 또는 다른 몰입형 디스플레이 시스템에 통합될 수 있거나, 컴퓨터 모니터, 홈 시어터 또는 텔레비전 스크린 또는 스크리닝 룸(screening room) 또는 시어터의 프로젝터일 수 있다. 프로세서(302) 상에서 동작하는 혼합 현실 디스플레이 엔진에 의해 구동되는 비디오 출력, 또는 몰입형 컨텐츠 디스플레이와 함께 사용자 입력을 조정하고 그리고/또는 디스플레이를 생성하기 위한 다른 애플리케이션은 디스플레이 장치(320)에 제공되고 비디오 디스플레이로서 사용자에게 출력될 수 있다. 유사하게, 증폭기/스피커 또는 다른 오디오 출력 트랜스듀서(316)는 오디오 프로세서(312)를 통해 프로세서(302)에 연결될 수 있다. 비디오 출력과 관련되고 미디어 플레이어 모듈(308), 디렉팅된 컨텐츠 제어 엔진 또는 다른 애플리케이션에 의해 생성된 오디오 출력은 오디오 트랜스듀서(316)에 제공되고 오디오 가청 사운드(audible sound)로서 사용자에게 출력될 수 있다. 오디오 프로세서(312)는 마이크로폰(314)으로부터 아날로그 오디오 신호를 수신하고 이를 프로세서(302)에 의해 처리하기 위해 디지털 신호로 변환할 수 있다. 마이크로폰은 감정 상태의 검출을 위한 센서 및 구두 명령의 사용자 입력을 위한 또는 NPC 또는 다른 플레이어 액터에 대한 사회적 구두 반응을 위한 장치로서 사용될 수 있다.
3D 환경 장치(300)는 사용자의 감정 상태에 반응하여 디렉팅된 컨텐츠를 제어하는 동안 프로세서에 의한 빠른 실행 또는 처리를 위한 프로그램 명령 및 데이터를 보유하는 랜덤 액세스 메모리(RAM, 304)를 더 포함할 수 있다. 장치(300)의 전원이 꺼지거나 비활성 상태인 경우, 프로그램 명령 및 데이터는 장기 메모리, 예를 들어 비휘발성 자기, 광학 또는 전자 메모리 저장 장치(미도시)에 저장될 수 있다. RAM(304) 또는 저장 장치 중 어느 하나 또는 둘 모두는 프로세서(302)에 의해 실행될 때 장치(300)가 본 명세서에 설명된 방법 또는 동작을 수행하게 하는 프로그램 명령을 보유하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 프로그램 명령은 C, C++, C#, JavaScript, PHP 또는 JavaTM과 같은 임의의 적합한 고급 언어로 작성될 수 있으며 프로세서에 의해 실행할 기계 언어 코드를 생성하도록 컴파일될 수 있다.
프로그램 명령은 코딩 효율 및 이해를 용이하게 하기 위해 기능 모듈(306, 308)로 그룹화될 수 있다. 통신 모듈(306)은 메타데이터의 경우 센서 데이터의 계산 서버로의 통신을 조정하는 것을 포함할 수 있다. 센서 제어 모듈(308)은 센서 동작을 제어하고 계산 서버로 전송하기 위한 미처리 센서 데이터(raw sensor data)를 처리하는 것을 포함할 수 있다. 소스 코드에서 분할 또는 그룹화로 식별 가능하더라도 모듈(306, 308)은 기계 레벨 코딩에서 별도의 코드 블록으로 구분할 필요는 없다. 특정 유형의 기능에 대한 코드 번들은 번들의 머신 코드가 다른 머신 코드와 독립적으로 실행될 수 있는지 여부에 관계없이 모듈을 포함하는 것으로 간주될 수 있다. 모듈은 고 레벨 모듈 만일 수 있다. 미디어 플레이어 모듈(308)은 본 명세서에 설명된 임의의 방법 및 등가 방법의 동작을 전체적으로 또는 부분적으로 수행할 수 있다. 동작은 독립적으로 또는 다른 네트워크 노드 또는 노드들, 예를 들어 서버(200)와 협력하여 수행될 수 있다.
2차원(평면 또는 곡면) 스크린(예를 들어, 텔레비전, 모바일 스크린 또는 프로젝터) 상에 디스플레이하기 위한 종래의 2D 출력 또는 3D 출력에 더하여, 본 명세서에 개시된 영화 제어 방법은 가상 현실(VR) 또는 증강 현실(AR) 출력 장치로 사용될 수 있다. 도 4는 보다 구체적인 폼 팩터에서 클라이언트(300)의 예로서, 한 유형의 몰입형 VR 입체 디스플레이 장치(400)를 도시한 개략도이다. 클라이언트 장치(300)는 다양한 폼 팩터로 제공될 수 있으며, 그 중 하나의 장치(400)를 일 예로 제공한다. 본 명세서에 기술된 혁신적인 방법, 장치 및 시스템은 단일 폼 팩터로 제한되지 않고 컨텐츠 출력에 적합한 임의의 비디오 출력 장치에 사용될 수 있다. 본 명세서에서 사용된 바와 같이, “디렉팅된 컨텐츠 신호”는 브랜칭 및 상호 작용 또는 비 상호 작용일 수 있는 디렉팅된 컨텐츠의 오디오-비디오 출력을 위한 임의의 디지털 신호를 포함한다. 일 양태에서, 디렉팅된 컨텐츠는 사용자의 검출된 감정 상태에 반응하여 변한다.
몰입형 VR 입체 디스플레이 장치(400)는 고해상도 디스플레이 스크린, 예를 들어 LCD 디스플레이를 포함하는 휴대용 태블릿 컴퓨팅 또는 스마트폰 장치의 제거 가능한 배치를 지원하고 허용하도록 구성된 불투명한 경량 구조 재료(예를 들어, 경질 폴리머, 알루미늄 또는 카드보드)로 만들어진 태블릿 지지 구조를 포함할 수 있다. 장치(400)는 사용자의 얼굴에 가깝게 착용되도록 설계되어, 스마트폰에서와 같이 작은 스크린 사이즈를 사용하여 넓은 시야를 가능하게 한다. 지지 구조(426)는 디스플레이 스크린(412)과 관련하여 한 쌍의 렌즈(422)를 보유한다. 렌즈는 사용자가 사용자의 눈으로부터 대략 1 내지 3 인치로 유지될 수 있는 디스플레이 스크린(412)에 편안하게 초점을 맞출 수 있도록 구성될 수 있다.
장치(400)는 지지 구조(426)에 연결되고 사용자의 얼굴 맞춤형이고(form fitting) 외광을 차단하기 위해 부드럽고 가요성이거나 또는 다른 적절한 불투명 재료로 구성된 관찰 덮개(미도시)를 더 포함할 수 있다. 덮개는 사용자에게 유일한 가시광원이 디스플레이 스크린(412)이 되도록 하여 장치(400)의 사용에 몰입 효과를 향상시키도록 구성될 수 있다. 스크린 분배기는 스크린(412)을 독립적으로 구동되는 입체 영역으로 분리하는데 사용될 수 있으며, 각각의 영역은 렌즈(422) 중 대응하는 하나를 통해서만 볼 수 있다. 따라서, 몰입형 VR 입체 디스플레이 장치(400)는 입체 디스플레이 장치 출력을 제공하기 위해 사용되어 보다 사실적인 3D 공간 인식을 사용자에게 제공할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 눈에 대한 렌즈(422)의 정확한 위치 설정을 용이하게 하기 위해 사용자의 코 위에 위치 설정하기 위한 브리지(미도시)를 더 포함할 수 있다. 장치(400)는 탄성 스트랩 또는 밴드(424) 또는 사용자의 머리 주위에 끼워지고 장치(400)를 사용자의 머리에 유지하기 위한 다른 헤드웨어를 더 포함할 수 있다.
몰입형 VR 입체 디스플레이 장치(400)는 사용자의 머리(430)와 관련하여 디스플레이 및 통신 유닛(402)(예를 들어, 태블릿 컴퓨터 또는 스마트폰)의 추가 전자 컴포넌트를 포함할 수 있다. 지지부(426)를 착용할 때, 사용자는 한 쌍의 렌즈(422)를 통해 디스플레이(412)를 본다. 디스플레이(412)는 내부 버스(417)를 통해 중앙 처리 유닛(CPU, 403) 및/또는 그래픽 처리 유닛(GPU, 410)에 의해 구동될 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 무선 커플링을 통해 CPU와 외부 서버 사이의 무선 통신을 가능하게 하는 송수신 컴포넌트 또는 컴포넌트들(418)을 더 포함할 수 있다. 송수신 컴포넌트(418)는 예를 들어 3G, 4G 또는 5G로 또한 알려진 3세대, 4세대 또는 5세대 파트너쉽 프로젝트(3GPP) LTE(Long Term Evolution), GSM(Global System for Mobile communication) 또는 UMTS(Universal Mobile Telecommunications System)와 같은 셀룰러 전화 기술 및/또는 IEEE(Institute of Electrical and Electronics Engineers) 802.11과 같은 프로토콜을 사용하는 무선 로컬 영역 네트워크(WLAN) 기술을 포함하는 임의의 적합한 고 대역폭 무선 기술 또는 프로토콜을 사용하여 동작할 수 있다. 송수신 컴포넌트 또는 컴포넌트들(418)은 로컬 또는 원격 비디오 서버로부터 디스플레이 및 통신 유닛(402)으로 비디오 데이터의 스트리밍을 가능하게 하고, 본 명세서에 기술된 바와 같이 제어 또는 청중 반응 기술을 위해 로컬 또는 원격 비디오 서버로 센서 및 다른 데이터의 업링크 전송을 가능하게 할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어, 통신 버스(417)를 통해 CPU(403)에 연결된 하나 이상의 센서(414)를 더 포함할 수 있다. 이러한 센서는 예를 들어 디스플레이 및 통신 유닛(402)의 배향을 나타내기 위한 배향 데이터를 제공하는 가속도계/경사계 어레이를 포함할 수 있다. 디스플레이 및 통신 유닛(402)이 사용자의 머리(430)에 고정됨에 따라, 이 데이터는 또한 헤드(430)의 배향을 나타내도록 교정될 수 있다. 하나 이상의 센서(414)는 예를 들어 사용자의 지리적 위치를 나타내는 GPS(Global Positioning System) 센서를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 하나 이상의 사용자의 눈의 배향을 검출하거나 사용자의 물리적 환경(VR 혼합 현실에 대한)의 비디오 이미지를 캡쳐하거나 또는 둘 다를 위해 위치된 카메라 또는 이미지 센서를 더 포함할 수 있다. 일부 실시예에서, 사용자의 눈 또는 눈 움직임을 검출하도록 구성된 카메라, 이미지 센서 또는 다른 센서가 지지 구조(426)에 장착될 수 있고 버스(416) 및 직렬 버스 포트(미도시), 예를 들어 범용 직렬 버스(USB) 또는 다른 적합한 통신 포트를 통해 CPU(403)에 연결될 수 있다. 하나 이상의 센서(414)는 예를 들어 지지 구조(404)에 위치되고 사용자의 눈에 표면 윤곽을 나타내도록 구성된 간섭계를 더 포함할 수 있다. 하나 이상의 센서(414)는 예를 들어 마이크로폰, 어레이 또는 마이크로폰들 또는 음성 사용자 명령 또는 구두 및 비구두 오디오 가청 반응을 검출하여 출력을 표시하기 위한 다른 오디오 입력 트랜스듀서를 포함할 수 있다. 하나 이상의 센서는 Arnav Kapur, Pattie Maes 및 Shreyas Kapur가 2018년 ACM(Association for Computing Machinery) 지능형 사용자 인터페이스 컨퍼런스에서 발표한 논문에 설명된 대로 전극을 사용하는 하위 발성 마스크(subvocalization mask)를 포함할 수 있다. 하위 발성된 단어는 명령 입력, 흥분 또는 유의성의 표시 또는 둘 다로 사용될 수 있다. 하나 이상의 센서는 예를 들어 심박수를 감지하기 위한 전극 또는 마이크로폰, 사용자의 피부 또는 체온을 감지하도록 구성된 온도 센서, 얼굴 표정 또는 동공 확장을 검출하기 위해 분석 모듈에 연결된 이미지 센서, 구두 및 비구두 발화(utterance) 또는 도 3의 328과 관련하여 이미 설명된 바와 같은 임의의 센서를 포함하는 알고리즘 처리를 통해 감정을 나타낼 수 있는 신경계 반응을 포함하는 생체 피드백 데이터를 수집하기 위한 다른 생체 센서를 포함할 수 있다.
디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 오디오 트랜스듀서(420), 예를 들어 디스플레이 및 통신 유닛(402)에서 스피커 또는 압전 트랜스듀서 또는 헤드폰을 위한 오디오 출력 포트 또는 헤드기어(424)에 장착된 다른 오디오 출력 트랜스듀서 등을 더 포함할 수 있다. 오디오 출력 장치는 서라운드 사운드, 멀티 채널 오디오, 소위 '객체 배향 오디오' 또는 입체 몰입형 VR 비디오 디스플레이 컨텐츠를 동반하는 다른 오디오 트랙 출력을 제공할 수 있다. 디스플레이 및 통신 유닛(402)의 컴포넌트는 예를 들어 메모리 버스를 통해 CPU(403)에 연결된 메모리 장치(408)를 더 포함할 수 있다. 메모리(408)는 예를 들어 프로세서에 의해 실행될 때 장치(400)가 본 명세서에 설명된 바와 같은 동작을 수행하게 하는 프로그램 명령을 저장할 수 있다. 메모리(408)는 또한 데이터, 예를 들어 네트워크 노드로부터 스트리밍하는 동안 버퍼링되는 라이브러리의 오디오-비디오 데이터를 저장할 수 있다.
생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 방법을 수행하기 위한 적합한 클라이언트, 서버 및 네트워크의 예를 설명하였지만, 이들 방법의 더 상세한 양태가 다루어질 것이다. 도 5는 임의의 기능적 순서로 또는 병렬로 4 개의 관련 동작을 포함할 수 있는 컨텐츠 몰입 파워(CEP)를 계산하기 위한 방법(500)의 오버뷰를 도시한다. 동작은 본 명세서에 기술된 바와 같이 서버에 대한 실행 가능한 명령으로 프로그래밍될 수 있다.
관련 동작(510)은 사용자 또는 사용자 코호트에 대한 생체 데이터를 감정 지표와 관련시키기 위한 알고리즘을 사용한다. 선택적으로, 알고리즘은 정확도를 향상시킬 수 있는 생체 데이터 외에 상황 표시 데이터를 처리하도록 구성되는 머신 러닝 알고리즘일 수 있다. 상황 표시 데이터는 예를 들어 사용자 위치, 사용자 배치, 시각, 요일, 주변 광 레벨, 주변 소음 레벨 등을 포함할 수 있다. 예를 들어, 사용자의 상황이 주위가 산만하다면, 바이오 피드백 데이터는 조용한 환경에서와는 다른 유효성(significance)을 가질 수 있다.
감정 지표는 감정 아크와 관련된 상징적인 값일 수 있다. 지표는 정량적이거나 비정량적일 수 있는 구성 요소를 가질 수 있다. 예를 들어, 지표는 인지 부하(cognitive load), 흥분 및 유의성과 같은 심리적 특성의 강도를 나타내는 값을 갖는 다차원 벡터로 설계될 수 있다. 심리학의 유의성은 사건, 객체 또는 상황의 매력 또는 바람직함의 상태이며; 유의성은 대상이 객체가 기피하거나 또는 나쁜 것으로 느낄 때 부정적이라고 하며, 어떤 것이 좋거나 매력적으로 느낄 때 긍정적이라고 한다. 흥분은 대상의 주의 및 매력의 상태이다. 머신 러닝 알고리즘은 적어도 하나의 지도식 머신 러닝(supervised machine learning, SML) 알고리즘, 예를 들어 선형 회귀 알고리즘, 신경망 알고리즘(neural network algorithm), 지원 벡터 알고리즘, 나이브 베이즈 알고리즘(naive Bayes algorithm), 선형 분류 모듈 및 랜덤 포레스트 알고리즘 중 하나 이상을 포함할 수 있다.
이벤트 검출 동작(520)은 사용자에게 디렉팅된 컨텐츠를 출력하는 동안 하나 이상의 센서로부터 시간 상관 신호를 분석하고, 신호가 임계값을 초과하는 이벤트를 검출한다. 임계값은 고정된 미리 결정된 값 또는 롤링 평균(rolling average)와 같은 가변 수일 수 있다. GSR 데이터의 예가 이하에 제공된다. 감정 반응의 개별 측정 값은 각 이벤트마다 계산될 수 있다. 감정은 직접 측정할 수 없으므로 센서 데이터는 센틱 변조(sentic modulation)를 나타낸다. 센틱 변조는 감정 상태 또는 감정 상태의 변화로 인한 생체 파형의 변조이다. 일 양태에서, 센틱 변조 및 감정 상태 사이의 베이스 라인 상관 관계를 얻기 위해, 플레이어 액터는 알려진 시각 자극(예를 들어, 포커스 그룹 테스트 또는 개인 교정 세션으로부터)을 나타내어 특정 유형의 감정을 이끌어낼 수 있다. 자극 하에 있는 동안, 테스트 모듈은 플레이어 액터의 생체 데이터를 캡쳐하고 자극 생체 데이터를 휴지 생체 데이터와 비교하여 생체 데이터 파형에서 센틱 변조를 식별할 수 있다.
정규화 동작(530)은 알려진 자극에 대한 테스트 데이터와 사용자에 대한 측정된 신호 사이의 산술 또는 다른 수치 비교를 수행하고 이벤트에 대한 측정된 값을 정규화한다. 정규화는 개별 반응의 변화를 보상하고 보다 유용한 출력을 제공한다. 입력 센서 이벤트가 검출되고 정규화되면, 계산 동작(540)은 사용자 또는 사용자 코호트에 대한 CEP 값을 결정하고 그 값을 컴퓨터 메모리의 시간 상관 레코드에 기록한다.
AI라고도 하는 머신 러닝은 복잡한 현상 사이의 상관 관계를 밝혀내는 효율적인 툴일 수 있다. 도 6에 도시된 바와 같이, 사용자의 감정 상태를 나타내는 센서 데이터(610)에 반응하는 시스템(600)은 오디오-비디오 및 내러티브 자극(620)과 생체 데이터(610) 사이의 상관 관계를 검출하기 위해 머신 러닝 훈련 프로세스(630)를 사용할 수 있다. 훈련 프로세스(630)는 미디어 플레이어 클라이언트(예를 들어, 클라이언트(300, 402))로부터 생체 데이터(610)와 시간 상관된 자극 데이터(620)를 수신할 수 있다. 데이터는 특정 사용자 또는 코호트와 관련되거나 일반적일 수 있다. 두 유형의 입력 데이터(일반적이고 사용자와 연관됨)는 함께 사용될 수 있다. 일반 입력 데이터는 사용되어 감정 반응에 대한 베이스 라인을 교정하고 장면 또는 영사(cinematographic) 요소 배열에 대한 베이스 라인 감정 반응을 분류할 수 있다. 대부분의 사용자가 내러티브 상황 내에서 장면을 볼 때 유사한 생체 인식(biometric tell)을 나타내는 경우, 장면은 사용자로부터 유사한 생체 데이터를 유발하는 다른 장면으로 분류될 수 있다. 유사한 장면은 자동화된 분석 툴에 의해 도움을 받아 감정 지표 메트릭(640)에서 장면의 점수를 수동으로 매길 수 있는 인간 창작 생산자(human creative producer)에 의해 수집되고 검토될 수 있다. 대안적으로, 지표 데이터(640)는 유사한 장면으로 분류되지 않고 인간 및 반자동 처리에 의해 점수가 매겨질 수 있다. 이러한 인간 점수 요소는 머신 러닝 프로세스(630)에 대한 훈련 데이터가 된다. 일부 실시예에서, 영화 컨텐츠의 인간 채점 요소(human scoring element)는 온라인 설문 양식을 통한 것과 같이 사용자를 포함할 수 있다. 채점은 문화적 인구 통계를 고려해야 하며 장면 요소에 대한 상이한 문화의 반응에 대한 전문가 정보에 의해 알 수 있다.
ML 훈련 프로세스(630)는 장면 또는 다른 영사 요소의 인간 및 기계 결정된 점수를 비교하고 본 기술 분야에 공지된 반복 머신 러닝 방법을 사용하여 훈련 데이터와 그 자신의 추정치 사이의 에러를 감소시킨다. 창의적인 컨텐츠 분석가는 전문적인 판단 및 경험에 기초하여 다수의 사용자로부터 데이터에 점수를 매길 수 있다. 개별 사용자는 자신의 컨텐츠에 점수를 매길 수 있다. 예를 들어, 감정 상태를 인식하기 위해 개인 “감독 소프트웨어” 훈련을 지원하려는 사용자는 컨텐츠를 시청하면서 자신의 감정에 점수를 매길 수 있다. 이 접근법의 문제는 사용자 스코어링이 정상적인 반응을 방해하여 머신 러닝 알고리즘을 오도할 수 있다는 것이다. 다른 훈련 방법에는 짧은 컨텐츠 세그먼트에 걸쳐 대상 생체 반응의 임상 테스트와 이에 이은 감정 상태에 관한 임상 대상 조사를 포함한다. 머신 러닝 프로세스(630)에 대한 훈련 데이터를 개발하기 위해 이들 및 다른 접근법의 조합이 사용될 수 있다.
본 명세서에서 사용되는 바와 같이, 생체 데이터는 사용자가 디렉팅된 컨텐츠의 그들의 경험에 대해 어떻게 느끼는지 즉, 내러티브 이론에서 엔터테인먼트 가치의 감지에 관여하고 있는지에 대한 “이야기”를 제공한다. 컨텐츠 몰입 파워는 경험하는 동한 또는 경험의 완료 시 모니터링되고 점수가 매겨진 디렉팅된 컨텐츠의 사용자 경험 전체에 걸쳐 전체 몰입의 측정이다. 전체 사용자 몰입은 기대 생체 데이터 변조 파워(교정 동안 측정됨)와 평균 지속 생체 데이터 변조 파워 사이의 차이로서 측정된다. 사용자 몰입의 측정은 다른 방법으로 수행될 수 있으며 컨텐츠 몰입 파워와 연관되거나 컨텐츠 몰입 파워의 점수를 매기는 것의 일부가 될 수 있다. 예를 들어, 구매, 구독 또는 팔로우를 위한 오퍼(offer)의 종료 인터뷰 응답 또는 수락이 컨텐츠 몰입 파워의 계산에 포함되거나 이를 조정하는데 사용될 수 있다. 오퍼 응답 속도는 컨텐츠의 프리젠테이션 동안 또는 그 후에 사용자 몰입의 보다 완전한 측정을 제공하기 위해 사용될 수 있다.
상호 작용에 참여하는 사용자의 기분은 “스토리” 해석 방식에 영향을 미치므로 스토리 경험은 가능한 경우 이를 교정하려고 시도해야 한다. 프로세서가 기분을 교정할 수 없다면, 플레이어 액터의 유의성을 측정할 수 있는 경우보다 긍정적인 유의성 상호 작용을 선호하는 감정 아크에서 이를 고려할 수 있다. 인스턴트 시스템과 방법은 건강하고 차분한 개인에게 가장 효과적이지만 참여하는 모든 사람에게 상호 작용 경험을 제공할 것이다.
도 7a는 수평 유의성 축 및 수직 흥분 축에 의해 정의된 2차원 감정 공간의 축에 대한 감정 상태의 배열(700)을 도시한다. 유의성/흥분 감정 모델에 기초한 예시된 감정은 실제 또는 일반적인 측정된 값이 아닌 단지 예시로서 배열로 도시된다. 미디어 플레이어 클라이언트는 얼굴 동작 유닛을 측정하는 생체 센서로 유의성을 측정할 수 있으며, 예를 들어 흥분 측정은 GSR 측정을 통해 수행될 수 있다.
감정 공간은 셋 이상의 축을 특징으로 할 수 있다. 도 7b는 감정 공간의 3차원 모델(750)을 다이어그램으로 표시하며, 여기서 제3 축은 사회적 지배 또는 신뢰이다. 모델(750)은 VAD(유의성, 흥분, 신뢰) 모델을 예시한다. 3D 모델(750)은 소셜 계층이 포함된 복잡한 감정에 유용할 수 있다. 다른 실시예에서, 생체 데이터로부터의 몰입 측정 값은 프로세서가 교정 후 1차 및 2차 감정을 결정할 수 있는 인지 작업량, 흥분 및 유의성을 제공하는 3차원 벡터로서 모델링될 수 있다. 몰입 측정값은 N이 하나 이상인 N차원 모델 공간으로 일반화될 수 있다. 현재, 우리는 유의성 및 흥분 축을 갖는 2차원 공간(700)에 CEP의 기초를 두지만, 이에 의해 CEP는 제한되지 않는다. 예를 들어, 신뢰는 추가될 수 있는 다른 심리학적 측정 축이다. 베이스 라인 흥분 및 유의성은 감정 교정 동안 개별적으로 결정될 수 있다.
생체 센서로부터의 감정 결정은 유의성이 (양수/음수)이고 흥분이 크기(magnitude)인 유의성/흥분 감정 모델에 기초한다. 2018년 1월 8일 제출된 US 가출원 제62/614,811호에 더 상세히 기술된 바와 같이, 이 모델에서 우리는 긴장(희망 대 두려움) 및 긴장 증가(시간에 따라 흥분의 증가)와 같은 내러티브 이론 구성을 측정하고 사용자의 심리학을 기초로 하여 더 많은 스토리 요소를 동적으로 변경함으로써 창의적인 작품의 의도를 확인할 수 있다. 본 개시 내용은 아래에 보다 상세하게 설명되는 바와 같이 실시간 및 오프라인 애플리케이션에 대한 유의성 및 흥분의 유효한 측정값(CEP)을 결정하는데 초점을 둔다.
테스트 환경에서, 전극 및 다른 센서는 임상 기능에서 대상 사용자에게 수동으로 배치될 수 있다. 소비자 애플리케이션의 경우 센서 배치가 덜 방해적이고 더 편리해야 한다. 예를 들어, 가시광선과 적외선 파장의 이미지 센서를 디스플레이 장비에 내장할 수 있다. VR 장비를 사용할 때와 같이 사용자가 기어를 착용하거나 컨트롤러를 잡는 경우 전극을 헤드 기어, 컨트롤러 및 다른 웨어러블 기어에 내장하여 피부 전도도, 펄스, 전기 활성을 측정할 수 있다.
감정 유의성은 얼굴 변위(facial displacement)/음성 스펙트럼 분석을 사용하여 나타내고 측정될 수 있다. Paul Ekman이 개발한 얼굴 동작 유닛을 사용하는 얼굴 분석은 유용한 방법 중 하나이다. 예를 들어, Affectiva가 개발한 애플리케이션 플러그인은 얼굴 표현에 대한 자체 보고된 감정 및 통계에 기초하여 대상의 감정의 가능성을 제공한다. 플러그인은 스펙트럼 분석(음성에 대한) 및 주로 얼굴에 대한 광대근(zygomaticus)/추미근(corrugator) 이동을 기반으로 감정 유의성의 가능성을 생성하여 작동한다. 현재까지 Affectiva는 700만 이상의 얼굴을 측정했다. 디렉팅된 컨텐츠를 소비하는 사용자의 평가를 위해 최적화된 FAU에 기초한 방법론을 개발하는 것이 바람직할 수 있다. 도 8은 상이한 사용자로부터 FAU를 평가하는 Affectiva의 인스턴스로부터의 샘플 출력을 포함하는 표(800)를 도시한다. 열에는 선택된 FAU의 수치 측정 값이 포함된다. 출력은 디렉팅된 컨텐츠에 대한 몰입 측정을 결정하는데 사용되는 가장 유용한 FAU(most telling FAU)를 식별하도록 머신 러닝 또는 다른 기술을 사용하여 최적화될 수 있다.
중복성은 신뢰성에 유용할 수 있다. 서버는 유의성 및 흥분 다수의 방법을 계산할 수 있으며, 1표당 2표의 투표(2 for 1 voting)를 사용하여 유의성 및 흥분 측정값의 신뢰성과 가용성을 높일 수 있다. 예를 들어, 여분의 센서 입력으로 서버는 1에서 갈바닉 피부 반응, 0.25에서 심박수 변동성 및 0.25에서 최대 유의성 신호의 %를 가중할 수 있다. 추가 예를 들어, 유의성 센서 입력에 대해 서버는 1에서 뇌전도 데이터 및 0.75에서 얼굴 행동 유닛 데이터를 가중할 수 있다. 도 11에 도시된 표(1100)에 요약된 바와 같이, 몇 가지 다른 유의성 및 흥분의 측정이 또한 유용할 수 있다. 바람직한 입력의 표시는 실제적인 고려에 기초하며 기술이 개선됨에 따라 변경될 수 있다. 고 가중 입력(highly-weighted input)은 저 가중 입력(lower-weighted input)보다 더 정확하거나 신뢰할 수 있는 것으로 생각된다. 테스트 환경에서도 모든 데이터 소스를 거의 사용할 수 없다. 그럼에도 불구하고, 아래 요약된 바와 같이 시스템 설계자는 다양한 옵션 측정을 사용할 수 있다.
뇌전도(EEG) 전전두엽(pre-frontal) 비대칭 분석은 유의성에 대한 감정 이야기(emotional tell)로서 접근 대 회피를 측정하는 유용한 방법일 수 있다. 센서는 뇌를 통과하는 뉴런의 전압 전위를 측정하고 다른 반구의 알파 파 파워(alpha wave power)를 계산한다. 두 반구의 파워 변동은 접근과 회피 또는 긍정적인 감정 대 부정적인 감정을 이야기한다. 예를 들어, 전두엽 대칭 지수(frontal asymmetry index)는 우반구 파워 대 좌반구 파워의 비율의 로그로서 계산될 수 있고, 접근 대 회피 또는 긍정적 대 부정적 유의성과 관련될 수 있다.
유의성 측정의 강도를 사용하여 흥분을 측정하는 것이 또한 가능할 수 있다. 예를 들어, 측정 시스템은 미소 동안 얼굴의 MAX 근육 변위를 측정하기 위해 사용될 수 있다. 그런 다음 전류 대 MAX 변위의 비율 또는 다른 비교 계산에 의해 흥분이 예상된다.
감정 흥분은 갈바닉 피부 임펄스(Galvanic Skin Impulse)(위상) 반응을 포함하는 다양한 방법에 의해 측정될 수 있다. 대상이 흥분할 때 신체에 작은 전류를 보내고 저항을 측정하여 측정할 수 있는 피부 저항의 급격한 변화가 발생한다. 도 9는 시간에 따른 GSR 피크 반응을 도시한다. 시간이 지남에 따라 관찰된 임펄스 반응(피크)의 수는 흥분의 강도와 관련이 있다. 따라서, 가장 간단한 이벤트 파워의 측정은 EP=C이다. 여기서 'EP'는 이벤트 파워이고 'C'는 신호가 적용 가능한 임계값을 초과하는 횟수이다. 또한, 피크 진폭은 흥분의 강도를 나타내며 이는 흥분 파워로 변환될 수 있다. 예를 들어, 'Pa'가 각 이벤트의 진폭인 식 는 컨텐츠에 대한 이벤트 파워의 측정 값을 제공한다. 동등한 단위 없는 이벤트 파워 측정 값은 로 제공되며, 'Savg'는 컨텐츠의 평균 신호 값이다. 두 측정 방법 모두 유용할 수 있다. 다른 유용한 측정 값은 진폭 곡선 아래의 통합 영역일 수 있다. 예를 들어, 신호 반응 라인(1010) 및 고정 임계 값(1020) 또는 가변 임계 값(1030) 사이의 영역은 신호가 임계 값 라인 위에 있는 경우 계산될 수 있다. 이벤트 카운트, 피크 진폭 및 통합 영역은 임의의 유용한 방식으로 결합될 수 있다. 예를 들어, 'A'가 임계 값 라인 위에 있을 때 신호 라인에 의해 정의된 총 영역이고, 't'가 최소 시간 증분(예를 들어, 1초)이고 다른 기호는 위에서 정의된 바와 같은 식 는 컨텐츠의 임의의 세그먼트에 대한 단위 없는 측정 값을 제공한다. 다른 측정, 예를 들어, 단위 시간 당 이벤트 파워도 관심이 있을 수 있다. 단위 시간 당 이벤트 파워는 전술한 단위 없는 이벤트 파워 중 임의의 것을 컨텐츠의 실행 길이로 나눔으로써 도출될 수 있다.
갈바닉 피부 토닉(Galvanic Skin Tonic) 반응은 또한 흥분을 나타내는 느린 저항 반응이다. 신호의 주요 DC 쉬프트는 흥분을 나타내는 신호이다. 결합된 토닉 및 페이식 GSR 반응(1010)의 그래프(1000)가 도 10에 도시된다. 고정 임계 값(1020)은 CEP를 계산하는데 사용된 이벤트를 검출하는데 사용될 수 있다. 대안적으로, 장기 변동성을 보상하기 위해 가변 임계 값(1030), 예를 들어 롤링 평균이 사용될 수 있다.
서버는 전류가 GSR회로로부터의 공급 전류와 동일한 P(DC)=I^2R을 사용하여 피크 진폭으로부터 흥분 파워 소비를 계산할 수 있다. 또한 동일한 방정식을 사용하지만 토닉 반응에 대한 흥분 DC 파워 쉬프트를 계산할 수 있다. GSR을 기반으로 전체 임펄스(위상) 파워 반응 및 토닉 파워 반응을 위해 이 둘을 결합할 수 있다.
도 10은 GSR에 대한 흥분 진폭 또는 흥분을 나타내는 임의의 다른 정량적 신호를 나타내지만, 임의의 원하는 유의성 측정에 대한 이벤트 파워를 계산하기 위해 유사한 측정이 사용될 수 있다. 다른 측정이 다른 유의성 품질에 대해 필요할 수 있다.
얼굴 행동 유닛은 도 8과 관련하여 이미 논의되었다. FAU 분석의 출력은 규칙 기반 알고리즘 및/또는 머신 러닝을 사용하여 처리되어 유의성 및 흥분을 검출할 수 있다. FAU는 정상적으로 표현하는 사용자를 위해 높은 신뢰성과 넓은 측정 범위를 가져야 한다. 신뢰성은 현재 입증되지 않았지만 흥분을 감지하는데 사용될 수도 있다.
심박 변이도(heart rate variability, HRV)는 펄스 검출(라인 4)로서 도 11의 표에 도시된 감정 유의성의 다른 유용한 측정 값이다. 펄스는 전극, 오디오 또는 진동 분석, 오디오 센소 똔느 가속도계를 사용하여 펄스의 청취 또는 느낌을 사용하여 검출될 수 있다. 펄스는 또한 이비지 분석으로 검출될 수 있다. 심방동 펄스 동안의 혈압 변화는 이미지 센서 및 이미지 프로세서를 사용하여 검출될 수 있는 얼굴 또는 팔다리(extremity)에서 가시적인 효과를 유발한다. 건강한 개인은 심박수 변동 빈도가 0.15 헤르츠보다 더 크다. 자극 후의 저주파 HRV는 흥분과 관련된 교감 신경계(sympathetic nervous system) 반응에 기인한다. 경험하는 동안 CEP를 결정하는 서버는 교정하는 동안 그리고 사용자의 경험 전체에 걸쳐 HRV를 모니터링할 수 있다. 마찬가지로, 심박수 증가는 감정 유의성의 척도이다. CEP 서버는 교정하는 동안 그리고 사용자의 경험 전체에 걸쳐 사용자의 심박수를 모니터링할 수 있다. 심박수의 변화율을 계산하고 임계 값을 적용하여 흥분 이벤트를 감지할 수 있다. 예를 들어, 심박수가 베이스 라인의 10%를 초과하고 심박 변이도가 0.15 Hz를 초과하면 대상이 흥분한다.
동공 확장(라인 5)은 흥분의 신뢰성 있는 지표이며 이비지 분석을 사용하여 검출될 수 있다. 기능 근적외선(fNIR, 라인 6)은 인간 피부 온도의 범위에서 작동하도록 교정된 적외선 센서를 사용하여 구현하기가 비교적 쉽다. 피부 온도는 다른 측정을 확인하는데 사용될 때 흥분 및 유의성 둘 다를 나타낸다.
안면 근전도(fEMG)는 얼굴의 근육에 적용되는 EMG이다. 이는 감정 검출에 유용한 것으로 알려져 있다. 근육 섬유의 수축과 이완은 특정 근육 그룹에 걸쳐 부착된 전극 쌍에 의해 검출될 수 있는 전기 신호를 생성한다. 찡그림에 사용되는 눈썹주름근육(corrugator supercilii) 그룹 및 웃는데 사용되는 큰 광대근 그룹인 얼굴에 2 개의 근육 그룹이 특히 유용할 수 있다. 그러나, 이미지 분석 및 얼굴 행동 유닛을 사용하여 사용자가 전극을 착용할 필요 없이 찡그림, 미소 및 다른 표현이 검출될 수 있다. 사용자가 얼굴 표현의 이미징을 차단하는 헤드기어를 착용하는 혼합 현실(VR 또는 AR) 애플리케이션에서, fEMG는 감정 반응과 관련된 데이터를 수집하기 위한 대안을 제공할 수 있다.
하위 발성은 스피치와 관련된 근육 그룹의 활동을 검출할 수 있는 fEMG의 종으로 간주될 수 있다. 사용자는 아랫 입술의 바로 바깥의 턱(chin), 목 및 턱(jaw)의 선택된 영역에 대해 전극 어레이를 유지하는 부분 마스크를 착용한다. 신경망은 90% 초과의 정확도로 사용자의 하위 발성을 검출하도록 훈련될 수 있다. 하위 발성 스피치는 어떤 목적으로든 스피치에 사용될 수 있다. 몰입 파워를 계산할 때, 자발적인 하위 발성 스피치(예를 들어, 감탄사)가 흥분 및 유의성을 나타낼 수 있다. 얼굴 표정과 달리, 하위 발성은 이미지 분석을 사용하여 검출 가능하지 않다. 따라서, 사용자가 소리내지 않고 게임 또는 다른 엔터테인먼트 프로세스와 대화하기를 원하는 경우, 하위 발성을 위한 안면 마스크의 사용이 가장 바람직할 수 있다.
심전도(EKG)는 대상의 가슴 및/또는 등에 부착된 전극을 사용하여 심장 근육의 수축 및 이완을 측정한다. 이는 심장 질환의 환자 모니터링 및 진단을 위해 건강 관리에 사용된다. EKG는 단순한 맥박보다 흥분에 관한 더 많은 정보를 제공할 수 있는 심장 활동에 대한 보다 자세한 사진을 제공한다. 대안적으로, 다른 형태의 펄스 검출 방법보다 편리한 경우, 단순화된 형태의 EKG가 사용될 수 있다. 예를 들어, 사용자가 펄스 감지를 위해 위치된 하나 이상의 전극과 함께 EKG 모듈(예를 들어, 스마트 워치, 피드니스 트래커(fitness tracker) 또는 다른 기어)을 착용하고 있는 경우, 데이터 수집 모듈은 EKG 모듈로부터 신호를 수신하고 심박 변이도(HRV)와 같은 심장 신호의 다른 특징 또는 펄스 검출의 신호를 처리할 수 있다.
뇌 기계 인터페이스(BMI)는 뇌 활동에 반응하는 이식된 전극 또는 다른 전기 또는 전기화학 센서를 지칭한다. BMI 장치는 임상 환경에 사용될 수 있지만 가까운 미래에 소비자가 사용하지는 않을 것 같다. BMI는 기술이 소비자 애플리케이션에서 사용 가능해지면 미래의 가능성으로 본 명세서에서 언급된다.
기능 자기 공명 영상(fMRI)은 혈류를 검출함으로써 뇌 활동을 측정한다. 기존의 MRI와 달리, fMRI는 혈액 산소 수준을 감지하여 시간이 지남에 따라 조직의 변화를 검출한다. 따라서 fMRI는 뇌 활동과 밀접한 관련이 있으며 다른 뇌 영역의 활동이나 비활동을 감지하는데 유용하다. 그러나, 현재 fMRI 장비는 부피가 커서 임상 환경 밖에서 사용하기에 실용적이지 않다.
화학 검출 장비는 분광기(spectroscopy)로부터 특정 화학 물질에 특화된 마이크로 또는 나노 센서에 이르기까지 복잡성과 부피가 다양하다. 출력 기어에 통합된 마이크로 또는 나노 센서는 초기에 가장 실용적일 것이다. 예를 들어, 하나 이상의 마이크로전자 화학 센서를 포함하는 화학 센서는 코 및 입 근처의 헤드 기어에 배치될 수 있다. 대안적으로 또는 추가로, 센서는 땀으로 배출되는 화학 물질을 검출하기 위해 피부에 배치될 수 있다. 흥분 및 유의성을 검출하기 위한 관심있는 화학 물질 및 화합물은 예를 들어 코티솔, 아드레날린, 노르 에피네프린, 옥시토신, 아세틸콜린, 도파민, 엔도르핀, 세르토닌 및 페로몬을 포함할 수 있다. 그러나 이러한 화학 물질 중 다수는 외부 센서를 사용하여 감지하기 어려울 수 있다.
시선 방향(라인 13)은 이미지 분석을 사용하여 검출하기 쉽다. 각막 굴곡(corneal flexing)을 측정하여 초점 심도를 검출할 수 있다. 초점의 방향과 깊이는 유의성 또는 흥분을 나타내지 않고 관심을 나타낸다. 사용자 관심은 컨텐츠 제어 또는 다른 센서 데이터를 보다 잘 활용하는데 유용할 수 있다. 예를 들어, 사용자가 "잘못된" 컨텐츠를 보고 있는 동안 데이터에 유의성 또는 흥분의 에러가 있음을 나타내면, 순간적인 산만함을 위해 에러가 덜 가중될 수 있다.
디렉팅된 컨텐츠에 기초한 목표 감성 아크는 컴퓨터 데이터베이스에 유의성/흥분 목표로서 저장될 수 있다. 서버는 차분 계산(difference calculation)을 수행하여 계획/예측 및 측정된 감정 흥분 및 유의성 사이의 에러를 결정할 수 있다. 컨텐츠 제어에 에러가 사용될 수 있다. 예측 및 측정 사이의 델타가 임계 값을 넘어가면 스토리 관리 소프트웨어가 교정을 명령한다. (목표 감정 아크에 기초하여) 예측에 의해 제어되는 바와 같이 사용자의 유의성이 잘못된 방향에 있는 경우, 프로세서는 다음 논리에 의해 컨텐츠를 변경할 수 있다: (Valance Predict - Valance Measured)의 절대값이 0보다 크면 컨텐츠를 변경한다. 컨텐츠의 변경은 소프트웨어가 플레이어 액터에 대해 배운 내용과 관련된 여러가지 다른 아이템이거나 AI 프로세스의 시험 또는 권장 사항일 수 있다. 마찬가지로, 흥분 오류가 예측된 것((error)의 절대값 > 0.50 * 예측)의 아래로 떨어지면 프로세서가 컨텐츠를 변경할 수 있다. 컨텐츠의 변경은 소프트웨어가 플레이어 액터에 대해 배운 내용과 관련된 여러 가지 다른 아이템이거나 AI 프로세스의 시험 또는 권장 사항일 수 있다.
도 12는 컨텐츠 몰입 파워(CEP)를 포함하는 오디오-비디오 컨텐츠에 대한 컨텐츠 등급을 결정하기 위한 방법(1200)을 도시한다. CEP는 주제 컨텐츠에 대한 이벤트 파워의 합 'Pv'와 장르에 있는 비교 가능한 컨텐츠에 대한 기대 파워 'Px'의 비율이다. Pv와 Px는 서로 다른 주제 및 일반적인 경우 다른 사용자에 대해 동일한 방법론을 사용하여 계산된다. 따라서 총계는 주제 컨텐츠에 대한 'n'개의 이벤트 파워 기간의 합 △tv와 동일한 기간'tv'를 커버하는 상이한 총 시간 이벤트 파워 Pv를 커버한다:
마찬가지로, 기대 파워 Px는 기대 컨텐츠에 대한 'm'개의 이벤트 파워 기간의 합 △tx와 동일한 기간'tx'를 커버한다:
각각의 파워 Pv 및 Px는 주어진 이벤트 'n' 또는 'm'에 대해 다음과 같이 차원 i의 파워 벡터 P와 가중 벡터 W의 내적이다:
일반적으로, 파워 벡터 는 다양하게 정의될 수 있다. CEP의 임의의 주어진 계산에서, 주제 컨텐츠 및 기대 베이스라인에 대한 파워 벡터는 서로 일관되게 정의되어야 하고, 가중 벡터는 동일해야 한다. 파워 벡터는 흥분 측정만, 유의성 값만, 흥분 측정 및 유의성 측정의 조합 또는 전술한 것 중 임의의 것을 다른 측정, 예를 들어 신뢰 측정의 조합을 포함할 수 있다. 일 실시예에서, CEP는 'j' 흥분 측정 값 'aj' 및 'k' 유의성 측정 값 'vk'의 조합에 의해 정의된 파워 벡터 를 사용하여 계산되며, 이들 각각은 알려진 자극으로부터의 교정 오프셋 'C'에 의해 조정되며, 여기서 j 및 k는 다음과 같은 임의의 음이 아닌 정수이다:
여기에서,
수학식 6에서 지수 'j'는 1부터 j+k까지의 지수를 나타내고, Sj는 스케일링 팩터를 나타내고, Oj는 센서 데이터 범위의 최소값과 실제 최소값 사이의 오프셋을 나타낸다. 수학식 5의 파워 벡터에 대응하는 가중 벡터 는 다음과 같이 표현될 수 있다.
여기서 각 가중치 값은 팩터의 상대적인 추정 신뢰도에 비례하여 대응하는 팩터의 배율을 조정한다(scale).
수학식 3 및 4에 의해 주어진 보정된 내적 , 및 수학식 1 및 2에 의해 주어진 시간 팩터를 이용하여, 프로세서는 다음과 같이 단일 사용자에 대한 컨텐츠 몰입 파워(CEP)를 계산할 수 있다:
비율 는 이종 시계열(disparate time series) 합에서 불일치를 정규화하고 비율을 단위가 없게 한다. 1보다 큰 사용자 CEP 값은 사용자/플레이어 액터/시청자가 장르에 대한 기대치 보다 감정적으로 매력적인 경험을 가지고 있음을 나타낸다. 1 미만의 사용자 CEP 값은 몰입이 컨텐츠 장르에 대한 사용자의 기대치보다 작음을 나타낸다.
CEP는 또한 다음과 같이 동일한 사용자일 필요는 없지만 'x' 사용자에 대한 컨텐츠 이벤트 파워와 'm'에 대한 기대 파워의 비율로서 'v' 사용자의 청중에 걸쳐 컨텐츠에 대해 계산될 수 있다:
변수 v 및 x는 각각 컨텐츠 사용자 및 몰입 베이스라인 시청자의 수이다. 분모의 청중 기대 파워는 컨텐츠가 청중에게 가져오는 기대치를 나타내고 분자의 이벤트 파워는 컨텐츠를 경험하는 동안 청중의 흥분 또는 유의성 이벤트의 합을 나타낸다. 프로세서는 각 이벤트(n) 및 사용자(v)에 대한 이벤트 파워와 각 이벤트(m) 및 사용자(x) 각각에 대한 기대 파워를 합산한다. 그런 다음 이벤트 파워 대 기대 파워의 비율을 계산하고 이종 시간 합계 및 청중 수를 비율 로 정규화하여 CEP를 계산한다. CEP는 컨텐츠 등급의 컴포넌트이다. 컨텐츠 등급의 다른 컴포넌트는 특정 유의성 목표(예를 들어, 승리, 절망 등)에 대한 집계 유의성 에러 및 유의성 에러를 포함할 수 있다.
수학식 5는 생체 센서 데이터로부터 도출된 흥분 및 유의성 측정값으로 구성된 교정된 파워 벡터를 기술한다. 대안적으로, 프로세서는 센서 데이터 신호가 디지털 값으로 변환되기 전에 저레벨 디지털 신호 처리의 일부로서 스케일링되고 사용자에 대해 오프셋되지 않은 부분적으로 교정되지 않은 파워 벡터를 다음과 같이 정의할 수 있다.
부분적으로 교정되지 않은 파워 벡터를 사용하는 경우 집계 교정 오프셋이 각 팩터에 대해 계산되어 컨텐츠 몰입 파워(CEP)를 계산하기 전에 수학식 3 및 4에 의해 주어진 내적 , 으로부터 감산될 수 있다. 예를 들어, 에 대한 집계 교정 오프셋은 다음과 같이 주어질 수 있다:
이러한 경우, 파워 벡터 의 보정된 값은 다음과 같이 계산될 수 있다:
교정된 벡터 는 유사하게 계산될 수 있다.
전술한 식이 사용될 수 있는 방법(1200)을 다시 참조하면(도 12), 센서 데이터에 대한 교정 프로세스(1202)가 알려진 자극, 예를 들어 알려진 휴지 자극(1204), 알려진 흥분 자극(1206), 알려진 긍정적인 유의성 자극(1208) 및 알려진 부정적인 유의성 자극(1210)에 대한 사용자 반응을 교정하기 위해 먼저 수행된다. 알려진 자극(1206-1210)은 문화적으로 그리고 인구학적으로 목표 청중과 유사하고 교정의 사용을 위해 데이터베이스에 유지되는 포커스 그룹을 사용하여 테스트될 수 있다. 예를 들어, IAPS(International Affective Picture System)는 심리학 연구에서 감정과 주의력을 연구하기 위한 사진 데이터베이스이다. 컨텐츠 플랫폼과 일관성을 유지하기 위해, IAPS 또는 유사한 지식 베이스에서 찾은 이미지 또는 이미지는 교정에 사용하게 위해 목표 플랫폼과 일치하는 형식으로 생성될 수 있다. 예를 들어, 감정적으로 유발되는 대상의 사진을 비디오 클립으로 만들 수 있다. 교정은 센서가 예상대로 작동하고 사용자 사이에 데이터를 일관되게 제공하게 한다. 일치하지 않는 결과는 수정되거나 무시할 수 있는 오작동 또는 잘못 구성된 센서를 나타낸다. 프로세서는 장치 및/또는 사용자에 걸쳐 일관성을 위해 신호 값을 조정하기 위한 하나 이상의 교정 계수(1216)를 결정할 수 있다.
교정은 스케일링 및 오프셋 특성 둘 다를 가질 수 있다. 흥분, 유의성 또는 기타 심리적 상태의 지표로서 유용하려면 센서 데이터를 스케일링 및 오프셋 팩터로 보정해야할 수 있다. 예를 들어, GSR은 이론적으로 0과 1 사이에서 변할 수 있지만 실제로는 개인마다 그리고 시간에 따라 변하는 인간 피부의 고정 및 가변 조건에 의존한다. 임의의 주어진 세션에서, 대상의 GSR은 일부 GSRmin>0 및 GSRmax<1 사이의 범위일 수 있다. 범위의 크기 및 스케일 둘 다는 알려진 자극이 있는 세션으로부터의 결과를 동일한 유형의 센서에 대한 기대 범위와 비교함에 의해 교정 팩터의 크기 및 스케일을 추정하고 대상을 알려진 자극에 노출시킴으로써 측정될 수 있다. 대부분의 경우, 교정의 신뢰성이 의심스럽거나 교정 데이터를 사용할 수 없으므로 라이브 데이터로부터 교정 팩터를 추정해야할 필요가 있다. 일부 실시예에서, 센서 데이터는 더 많은 데이터가 수신될 때 각각의 데이터 스트림에 대한 교정 팩터를 조정하고 교정을 조정하는 태스크로부터 더 높은 레벨의 처리를 피하게 하는(spare) 적응형 머신 러닝 알고리즘을 사용하여 사전 교정될 수 있다.
센서가 교정되면, 시스템은 예를 들어 수학식 8 또는 9를 사용하여 1212에서 장르 차이에 대한 센서 데이터 반응 데이터를 정규화한다. 다른 장르는 다른 유의성 및 흥분 점수를 생성한다. 예를 들어, 액션 어드벤처 장르는 다른 페이스, 감정 목표 및 강도를 갖는다. 따라서, 장르의 몰입 프로파일을 고려하지 않으면 장르에 걸쳐 몰입 파워를 비교할 수 없다. 장르 정규화는 동일한 장르의 컨텐츠를 기준으로 컨텐츠의 점수를 매기므로 장르에 걸쳐 동등한 기준으로 비교할 수 있다. 정규화(1212)는 예상 정규화 자극(1214)을 사용하여 테스트 청중 또는 포커스 그룹 또는 주요 특징 이전의 대상 그룹에서 수행될 수 있다. 예를 들어, 청중은 주요 특징과 동일한 장르에서 하나 이상의 트레일러를 볼 수 있으며, 이벤트 파워는 하나 이상의 트레일러에 대해 계산될 수 있다. 대안적으로, 동일한 사용자 또는 동일한 사용자 코호트에 대한 아카이브된 데이터는 기대 파워를 계산하는데 사용될 수 있다. 기대 파워는 사용된 것과 동일한 알고리즘을 사용하여 계산되거나 이벤트 파워의 측정에 사용될 것이며 동일한 교정 계수(1216)를 사용하여 조정될 수 있다. 프로세서는 나중에 사용하기 위한 기대 파워(1218)를 저장한다.
1220에서, 프로세서는 주제 컨텐츠의 재생 동안 센서 데이터를 수신하고 흥분 및 하나 이상의 유의성 품질과 같은 각 관심 측정에 대한 이벤트 파워를 계산한다. 1228에서, 프로세서는 재생이 완료된 후 또는 재생 동안 실행중인 컨텐츠에 대한 이벤트 파워를 합산하거나 그렇지 않으면 집계한다. 1230에서, 프로세서는 전술한 바와 같이 컨텐츠 몰입 파워(CEP)를 포함하여 컨텐츠 등급을 계산한다. 프로세서는 먼저 적용 가능한 교정 계수를 적용한 다음 위에서 설명한 대로 집계된 이벤트 파워를 기대 파워로 나누어 CEP를 계산한다.
선택적으로, 계산 기능(1220)은 1224에서 각각의 검출된 이벤트 또는 더 적은 서브 세트의 검출된 이벤트에 대한 이벤트 파워를 컨텐츠에 대해 정의된 기준 감정 아크와 비교하는 단계를 포함할 수 있다. 기준 아크는 예를 들어 창작 생산자에 의해 정의된 목표 아크, 예측 아크, 컨텐츠에 대한 과거 아크 또는 아크들 또는 상기의 조합일 수 있다. 1226에서, 프로세서는 하나 이상의 변수에 대한 에러를 설명하는 에러 벡터 값을 저장, 증분 또는 축적할 수 있다. 에러 벡터는 특정 장면, 기간 또는 비디오 프레임의 세트에 대한 각 측정된 값(예를 들어 흥분 및 유의성 값)에 대한 측정된 반응과 기준 아크 사이의 차이를 포함할 수 있다. 에러 벡터 및 벡터의 매트릭스는 컨텐츠 평가 또는 컨텐츠 제어에 유용할 수 있다.
에러 측정은 컨텐츠 평가를 위한 다른 메트릭을 포함하거나 증강시킬 수 있다. 컨텐츠 몰입 파워 및 에러 측정은 구매, 구독 또는 제시된 컨텐츠와 관련된 다른 전환과 비교될 수 있다. 시스템은 표준 편차 또는 다른 통계적 측정을 사용하여 청중 응답의 일관성을 측정할 수도 있다. 시스템은 개인, 코호트 및 집계된 청중에 대한 컨텐츠 몰입 파워, 유의성 및 흥분을 측정할 수 있다.
도 13을 참조하면, 감정 유의성 및 흥분을 측정하고 컨텐츠 몰입 파워(1326)를 결정하기 위한 대안적인 방법(1300)은 302에서 AI 기반 브랜치 및 규칙 기반 브랜치로 분기된다. 그러나, 다른 적절한 방법은 AI 및 규칙 기반 접근법을 다양한 방식으로 결합할 수 있다. 두 브랜치 모두 센서 데이터(1312, 1308)로 시작한다. 개별적인 흐름 객체(1312, 1308)는 설명을 간단하게 하기 위해 도시되어 있지만, 두 브랜치 모두 동일한 센서 데이터를 사용할 수 있으며, 이는 본 명세서에서 설명된 임의의 하나 이상의 생체 센서로부터 유래한다.
AI 브랜치에서, 센서 훈련 데이터(1310)와 함께 센서 측정 데이터(1312)는 본 명세서에 기재된 바와 같이 감정 파워 계산 프로세스(1320)에 대한 감정 유의성, 흥분 및 이벤트 파워 값의 측정을 출력하는 머신 러닝 패턴 분석 프로세스(1330)에 입력된다. 파워 계산(1320)은 AI 유래 데이터를 사용할 때 교정 및 정규화가 생략될 수 있는데, 이는 교정 및 정규화가 머신 러닝 프로세스의 일체형 부분(integral part)으로 취급되기 때문이다. 어떤 의미에서, 정규화 및 교정은 훈련 데이터(1310)에 내장된다. 적합한 AI 프로세스의 예는 도 6과 관련하여 본 명세서에 기술된다. AI 프로세스 브랜치로부터의 출력은 규칙 기반 출력과 관련이 있지만 상이한 알고리즘의 사용으로 인해 동일하지는 않을 것이다. 파워 계산 프로세스(1320)는 상술한 바와 같이 흥분, 이벤트 파워 및 기대 파워의 상이한 측정값을 비교하고 이들로부터 컨텐츠 몰입 파워를 도출한다. 흥분 측정으로부터 도출되었지만, 컨텐츠 몰입 파워(1336)는 파워 임펄스 또는 연속 측정에 기초하여 전체 컨텐츠 타이틀 또는 주요 서브 컴포넌트에 대한 단위 없는 비교 측정이다. CEP(1336)는 에러 결정 또는 컨텐츠 프로파일링을 위한 비디오 컨텐츠의 특정 시간 또는 프레임과 관련되고 비교되지 않는 흥분 데이터(1334)와 다르다.
규칙 기반 브랜치에서, 교정 및 기대 센서 데이터(1306)를 위한 베이스 라인 센서 데이터(1304)는 전술한 바와 같이 교정 및 정규화 계수를 결정하기 위한 규칙 기반 프로세스(1314)에 의해 액세스된다. 교정 및 정규화 계수는 감정 파워 계산 프로세스(1320), 유의성 계산 프로세스(1318) 및 흥분 계산 프로세스(1316)를 포함하는 다운 스트림 규칙 기반 계산 프로세스로 출력된다. 센서 측정 데이터는 마찬가지로 3 개의 계산 프로세스에 입력된다. 유의성 출력(1324) 및 흥분 출력(1322)은 하나 이상의 센서 입력으로부터 시간 상관된 유의성 및 흥분 진폭이다. 상이한 센서 유형으로부터의 측정은 상기에 요약된 바와 같이 신뢰성에 따라 조합되고 가중될 수 있다.
도 14는 유의성 및 흥분 데이터에 반응하여 구성가능한 컨텐츠를 생성 및 분배하기 위한 시스템(1400)을 도시한다. 생산 에코 시스템(1410)은 컨텐츠 및 관련 디지털 오디오-비디오 자산(1430)에 대한 데이터 모델(1420)을 생성한다. 비디오 및 오디오 클립 외에도, A/V 데이터(1430)는 3D 모델링 및 렌더링 데이터, 가상 현실 또는 증강 현실을 위한 비디오 및 디지털 객체, 메타 데이터 및 재생 중에 필요한 임의의 다른 디지털 자산을 포함할 수 있다. 데이터 모델(1420)은 스토리, 시퀀스, 장면, 대화, 감정 아크 및 캐릭터와 같은 컨텐츠 요소를 정의한다. 요소는 고정되거나 구성 가능할 수 있다. 예를 들어, 구성 가능한 스토리는 브랜칭 내러티브로 정의될 수 있다. 대안적으로, 내러티브는 고정될 수 있고, 구성 가능한 요소는 캐릭터 또는 객체의 외관 및 대화의 라인을 표현하기 위한 대안적인 문구와 같은 특징을 지원하는 것으로 제한될 수 있다. 데이터 모델(1420)은 독점 형식(proprietary formal, 1440)으로 표현될 수 있고 재생에 필요한 오디오-비디오 자산(1430)과 함께 데이터 서버(1450)에 제공될 수 있다. 클라우드 서버(1450)는 또한 목적 플랫폼에 사용하기에 적합한 표준 포맷, 예를 들어 JSON(JavaScript Object Notation) 또는 XML(Extensible Markup Language)에서 스토리 포맷에 대한 제어 문서(1470)를 생성하는 애플리케이션을 제공한다. 제어 문서(1470)는 컨텐츠에 대한 목표 감정 아크의 정의를 포함할 수 있다.
클라우드 서버(1450)는 스토리 요소 제어 문서(1470)에 목적 사용자 및 플랫폼을 위해 선택된 오디오-비디오 컨텐츠(1460)를 제공한다. 예를 들어, 모바일 플랫폼 용으로 제공된 자산(1460)은 홈 시어터 용 자산과 다를 수 있으며, 둘 다 영화 또는 가상 현실 경험을 위한 자산과는 다를 수 있다. 추가 예를 들어, 성인 사용자를 위한 컨텐츠는 어린 아이를 위해 지정된 컨텐츠와 다를 수 있다. 다른 컨텐츠 선택에 대한 많은 다른 이유가 적용될 수 있다. 스토리 요소 제어 문서(1460)는 선택된 컨텐츠에 맞게 조정될 수 있고 JavaScript 또는 클라이언트(1480) 상에서 실행되는 유사한 컨텐츠 시청 애플리케이션에 의해 사용되도록 구성될 수 있다. 클라이언트(1480) 상의 시청 애플리케이션(1485)은 예를 들어 도 3-4와 관련하여 전술한 바와 같이 센서 입력을 수신하도록 구성될 수 있다. 센서 입력 및 스토리 요소 문서(1470)에 가초하여, 애플리케이션(1485)은 센서 입력을 감정 아크의 기대 값과 비교함으로써 검출된 유의성 및/또는 흥분 에러를 감소시키기 위한 프로세스를 실행할 수 있다. 애플리케이션은 대안적인 스토리 요소를 선택하기 위해 과거 사용자 반응 및 선호도에 대한 사용 가능한 정보로 보강된 시행 착오 접근법(trial-and-error approach)을 사용할 수 있다. 선택된 요소는 출력 장치(1490)에 제공되며, 이는 오디오 트랜스듀서를 사용하는 가청 출력 및 스크린, 프로젝터 또는 다른 광전 장치를 사용하는 가시 디스플레이를 제공한다. 다른 출력은 예를 들어 모션, 촉각 또는 후각 출력을 포함할 수 있다. 시스템(1400)은 클라이언트 장치에 의한 실시간 컨텐츠 제어를 위한 사용 사례를 도시한다. 클라이언트에게 스트리밍되는 컨텐츠에 대한 서버 레벨에서 실시간 제어가 또한 구현될 수 있다.
도 15는 컨텐츠 몰입 파워 및 특정 유의성 및 흥분 시간 또는 컨텐츠 상관 매트릭을 포함하는 센서 기반 컨텐츠 등급에 대한 오프라인 사용 사례 및 실시간 제어 사례를 모두 포함하는 방법(1500)을 나타내는 방법(1500)을 도시한다. 방법(1500)은 컨텐츠 디자인(1502)으로 시작하며, 이는 과거에 비교할 수 있는 제품에 대한 입력 마케팅 및 감정 반응(예를 들어, 컨텐츠 등급) 데이터 중 하나로서 수신한다. 입력은 또한 목표 감정 아크를 포함할 수 있다. 대안적으로, 컨텐츠 디자인(1502) 동안 감정 아크가 정의될 수 있다. 컨텐츠 디자인(1502)이 원하는 장면 및 정면 시퀀스를 정의하면, 드래프트 장면의 준비는 1506에서 시작할 수 있다. 드래프트는 전술한 바와 같이 드래프트 출력을 경험하고 처리되고 등급을 매겨 컨텐츠 등급(1508)을 준비할 수 있는 생체 감정 반응 센서 데이터를 생성하는 포커스 그룹으로 시험성을 위해 완료될 수 있다. 프로덕션 팀은 컨텐츠 등급을 검토하고 드래프트 장면을 수정한다. 수정이 완료되면, 컨텐츠 등급 프로세스(1508)가 컨텐츠 타이틀의 드래프트 버전에 다시 적용될 수 있다. 타이틀이 1510에서 공개될 준비가 되면 하나 이상의 분배 채널에 진입한다. 컨텐츠가 감정 피드백 데이터에 반응하지 않으면, 시장 분석 팀은 본 명세서에 설명된 툴 및 기술을 사용하여 다른 마케팅 메트릭으로서 감정 반응을 테스트 및 추적(1516)할 수 있다. 감정 반응 데이터는 미래 제품의 설계에 사용하기 위해 마케팅 및 컨텐츠 등급 데이터(1504)에 추가될 수 있다. 1514를 다시 참조하면, 컨텐츠가 반응형이면 컨텐츠가 재생 및 제어(1518)를 위해 제공된다. 재생 동안, 미디어 플레이어는 본 명세서에 설명된 바와 같은 하나 이상의 생체 감정 센서에 의해 측정(1522)으로부터 감정 반응 센서 데이터(1524)를 수신하고 처리한다. 각각의 재생 장치가 재생을 완료하면 센서 피드백을 처리하여 컨텐츠 등급을 개발하거나 피드백 데이터를 서버(미도시)에 제공할 수 있다. 컨텐츠에 대한 컨텐츠 등급이 완료되면, 미래 제품 설계에 사용하기 위해 컨텐츠 등급 데이터(1504)에 추가될 수 있다.
전술한 바와 같이, 추가의 예로서, 도 16-18은 생체 센서 데이터 및 관련 기능에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 방법(1600) 또는 방법들의 양태를 도시한다. 방법(1600)은 몰입형 혼합 현실 출력 장치 또는 비몰입형 평면 스크린 장치, 프로젝터 또는 프로그램 가능한 컴퓨터를 포함하는 다른 출력 장치에 의해, 출력 장치와 통신하는 하나 이상의 컴퓨터에 의해, 또는 출력 장치와 통신하는 하나 이상의 컴퓨터 및 출력 장치의 조합에 의해 수행될 수 있다.
도 16을 참조하면, 생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 컴퓨터 구현 방법은 1610에서 디지털 데이터에 기초하여 오디오-비디오 출력을 출력하는 출력 장치에 의해 오디오-비디오 컨텐츠를 포함하는 디지털 데이터를 재생하는 단계를 포함할 수 있다. 출력 장치는 각각 휴대용 또는 비휴대용 평면 스크린 장치, 디지털 프로젝터 또는 대체 현실 또는 증강 현실을 위한 웨어러블 기어일 수 있거나 이를 포함할 수 있으며, 각각의 경우에 오디오 출력 능력 및 선택적으로 다른 출력 능력(예를 들어, 모션, 촉각 또는 후각)에 결합된다. 디지털 데이터를 재생하는 단계는 예를 들어 출력 장치의 캐시 또는 다른 메모리에 디지털 데이터를 유지하고 출력 장치의 적어도 하나의 프로세서에 의해 출력하기 위해 데이터를 처리하는 단계를 포함할 수 있다.
방법(1600)은 1620에서 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 무의식적 반응을 감지하도록 위치된 하나 이상의 센서로부터 하나 이상의 컴퓨터 프로세서에 의해 센서 데이터를 수신하는 단계를 포함할 수 있다. 센서 데이터는 본 명세서에 설명된 데이터, 예를 들어, 도 11에 요약된 측정 유형 데이터 중 임의의 하나 이상을 포함할 수 있다.
방법(1600)은 1630에서, 센서 데이터에 기초하여 컨텐츠 몰입 파워(CEP)의 적어도 하나의 디지털 표현을 적어도 하나의 컴퓨터 프로세서에 의해 실행되는 알고리즘에 의해 결정하는 단계를 포함할 수 있다. 알고리즘은 예를 들어 장르 내 비교 가능한 컨텐츠에 대한 집계 기대 파워 대 집계 이벤트 파워의 비율을 계산하는 단계를 포함할 수 있다. 집계된 이벤트 파워는 임계 값을 초과하여 정의된 이벤트에 대한 흥분을 나타내는 센서 진폭의 합일 수 있다. 집계된 기대 파워는 이벤트 파워와 동일한 방법에 의해 비교 가능한 컨텐츠에 대해 계산될 수 있다. 알고리즘의 추가 세부 사항 및 예시적인 예는 도 11과 관련하여 위에 설명된 바와 같을 수 있다. 방법(1600)은 1640에서 컴퓨터 메모리에 CEP의 적어도 하나의 디지털 표현을 레코딩하는 단계를 포함할 수 있다.
방법(1600)은 작동 가능한 순서로 도 17-18에 도시된 추가 동작(1700 또는 1800) 중 임의의 하나 이상을 포함할 수 있다. 이들 추가 동작 각각이 방법의 모든 실시예에서 반드시 수행될 필요는 없으며, 동작(1700 또는 1800) 중 임의의 하나의 존재가 이들 추가 동작 중 임의의 다른 동작이 또한 수행될 필요는 없다.
생체 센서 데이터에 기초하여 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 특정 추가 동작 또는 양태(1700)를 도시하는 도 17을 참조하면, 방법(1600)은 1710에서 센서 데이터에 기초하여 흥분 값을 결정하는 단계 및 센서 데이터에 기초한 자극 평균 흥분을 기대 평균 흥분에 비교하는 단계에 의해 적어도 부분적으로 CEP의 적어도 하나의 디지털 표현을 결정하는 단계를 더 포함할 수 있다. 흥분을 감지하기 위해, 센서 데이터는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 안면 근전도(fEMG) 데이터, 심전도 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 신체 화학 감지 데이터, 기능 자기 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 중 임의의 하나 이상을 포함할 수 있다.
관련 양태에서, 방법(1600)은 1720에서 알려진 오디오-비디오 자극, 예를 들어 컨텐츠와 동일한 장르에서 비교 가능한 컨텐츠에 관여하면서 하나 이상의 사용자의 유사한 무의식적 반응을 측정하는 추가의 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 포함할 수 있다. 비교 가능한 컨텐츠는 유사한 청중 및 플랫폼 및 유사한 길이를 위해 의도된 동일한 장르 컨텐츠를 포함할 수 있다. 관련 양태에서, 방법(1600)은 1730에서 센서 데이터의 교정을 위해 알려진 흥분 자극 및 알려진 비흥분 자극을 포함하는 알려진 오디오-비디오 자극을 재생하는 단계를 포함할 수 있다. 1740에서, 방법(1600)의 CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 기간 동안 임계 값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계를 더 포함할 수 있다. 이러한 경우, 방법(1600)은 하나 이상의 사용자 각각 및 자극 이벤트 각가에 대한 다수의 이벤트 파워 중 하나를 계산하는 단계 및 이벤트 파워를 집계하는 단계를 포함할 수 있다. 일 양태에서, 프로세서는 센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 이벤트 파워 각각에 가중치를 할당할 수 있다. 이들 동작 및 이벤트 파워의 추가 설명은 도 10과 관련하여 위에서 설명된다.
관련 양태에서, 방법(1600)은 1750에서 기간 동안 임계 값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극을 적어도 부분적으로 검출하여 기대 평균 흥분을 검출하는 단계 및 하나 이상의 사용자 및 각각의 자극 이벤트에 대해 알려진 오디오-비디오 자극에 대한 다수의 기대 파워 중 하나를 계산하는 단계를 포함할 수 있다. 1760에서, CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 도 12와 관련하여 상기에 제공된 표현에 도시된 바와 같이, 기대 파워의 집계에 대한 이벤트 파워의 합의 비율을 계산하는 단계를 포함할 수 있다.
특정 추가 동작(1800)을 도시하는 도 18을 참조하면, 방법(1600)은 1810에서 흥분 값을 오디오-비디오 컨텐츠에 대한 목표 감정 아크와 비교하는 것에 기초하여 흥분 에러 측정을 결정하는 단계를 더 포함할 수 있다. 목표 감정 아크는 디지털 오디오-비디오 컨텐츠에 대한 연속 시간 시퀀스 또는 프레임 시퀀스의 상이한 간격과 각각 고유하게 연관된 유의성의 목표 디지털 표현의 세트일 수 있거나 이를 포함할 수 있다. 에러는 값의 차이, 값의 비율 또는 차이와 비율의 조합, 예를 들어 (Target-Actual)/Target에 의해 측정될 수 있다. 관련 양태에서, 방법(1600)은 1820에서 센서 데이터에 기초하여 유의성의 디지털 표현을 결정하는 단계를 포함할 수 있다. 유의성의 디지털 표현은 검출된 감정의 크기에 대응하는 센서 신호(들)의 진폭 또는 파워를 나타내는 정량적 측정을 포함할 수 있다. 유의성에 대한 적합한 센서 데이터는 예를 들어 뇌전도(EEG) 데이터, 안면 근전도(fEMG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 기능 자기 이미징(fMRI) 데이터, 신체 화학 감지 데이터, 하위 발성 데이터 및 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함할 수 있다. 방법(1600)은 예를 들어 잡음 및 왜곡을 제거하기 위해 필터링, 스캐일로 정규화 및 이진 코드로 표현된 기호 수치 값의 시간-상관 리스트로 변환하는 컴퓨터 프로세서에 의해 예를 들어 센서 데이터에 기초하여 유의성의 디지털 표현을 결정하는 단계를 포함할 수 있다.
관련 양태에서, 방법(1600)은 1830에서 알려진 오디오-비디오 자극에 대해 수집된 유사한 값에 기초하여 유의성의 디지털 표현을 정규화하는 단계를 더 포함할 수 있다. “유사한 값”은 유의성의 디지털 표현과 동일한 방법 및 처리 알고리즘을 사용하여 수집된 값 또는 동일한 표현을 사용하여 비교할 수 있는 변환된 값을 의미한다. 알려진 자극은 전술한 바와 같이 교정 자극 및 정규화 자극을 포함할 수 있다. 정규화 동작(1830)은 유의성 에러가 계산되는 컨텐츠와 동일한 장르에서 유사한 컨텐츠로부터의 정규화 자극을 이용한다.
다른 관련 양태에서, 방법(1600)은 1840에서 유의성의 디지털 표현을 오디오-비디오 컨텐츠에 대한 목표 감정 아크에 비교하는 것에 기초하여 유의성 에러 측정을 결정하는 단계를 더 포함할 수 있다. 목표 감정 아크는 연속 시간 시퀀스 또는 프레임 시퀀스의 상이한 간격과 각각 고유하게 관련된 유의성의 목표 디지털 표현의 세트를 포함할 수 있다. 프레임 시퀀스는 일정한 프레임 속도로 실행되는 컨텐츠에 대한 타임 시퀀스의 형태이다.
다른 양태에서, CEP의 적어도 하나의 디지털 표현은 CEP의 디지털 표현의 시퀀스를 포함하며, 시퀀스의 각 멤버는 오디오-비디오 컨텐츠에서 이산 주기에 기초하여 계산된다. 이산 기간은 시간 또는 프레임 카운트에 의해 정의될 수 있다. 방법(1600)은 1850에서 CEP의 적어도 하나의 디지털 표현의 기호 표현을 디스플레이 스크린 및 오디오 트랜스듀서 중 적어도 하나에 출력하는 단계를 더 포함할 수 있다.
감정 피드백은 또한 라이브 엔터테인먼트를 제어하거나 영향을 주기 위해 사용될 수 있다. 따라서, 방법(1600)은 1850에서 적어도 하나의 액터에 의해 라이브 공연의 오디오-비디오 컨텐츠를 포함하는 디지털 데이터를 레코딩하는 단계 및 CEP 및/또는 유의성 또는 흥분 에러의 표현 또는 동등한 측정값을 라이브 공연 동안 적어도 하나의 액터에 의해 인식될 수 있도록 배열된 디스플레이 스크린 또는 오디오 트랜스듀서에 출력하는 단계를 포함할 수 있다. 예를 들어, 디스플레이 스크린은 스테이지 모니터를 포함할 수 있고 오디오 트랜스듀서는 이어폰에 통합될 수 있다. 따라서, 액터는 유의성 및 흥분에 대한 자세한 정보를 수신하고 목표를 달성하기 위해 성능을 조절할 수 있다.
도 19는 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 장치 또는 시스템(1900)의 컴포넌트를 나타내는 개념적인 블록도이다. 장치 또는 시스템(1900)은 본 명세서에 기술된 기능 또는 프로세스 동작을 수행하기 위한 추가의 또는 더 상세한 컴포넌트를 포함할 수 있다. 예를 들어, 프로세서(1910) 및 메모리(1916)는 전술한 바와 같이 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 표현하기 위한 프로세스의 인스턴스화를 포함할 수 있다. 도시된 바와 같이, 장치 또는 시스템(1900)은 프로세서, 소프트웨어 또는 이들의 조합(예를 들어, 펌웨어)에 의해 구현되는 기능을 나타낼 수 있는 기능 블록을 포함할 수 있다.
도 19에 도시된 바와 같이, 장치 또는 시스템(1900)은 디지털 데이터에 기초하여 오디오-비디오 출력을 출력하는 출력 장치에 의한 오디오-비디오 컨텐츠를 포함하는 디지털 데이터를 재생하기 위한 전기 컴포넌트(1902)를 포함할 수 있다. 컴포넌트(1902)는 상기 재생을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에, 그리고 적어도 하나의 생체 센서(1914)의 출력에 연결된 프로세서(1910)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 오디오-비디오 컨텐츠를 기술하는 메타 데이터를 판독하고, 컴퓨터 판독 가능 매체에 저장된 하나 이상의 파일을 열거나 스트리밍 연결을 통해 오디오-비디오 데이터를 수신하고, 오디오-비디오 컨텐츠를 디코딩하고 그리고 컨텐츠에 대한 디지털 비디오 스트림 및 디지털 오디오 스트림을 생성하고, 비디오 및 오디오 프로세서 각각에 스트림을 향하게 하는 단계를 포함할 수 있다.
장치(1900)는 오디오-비디오 출력에 관여하면서 하나 이상의 사용자의 무의식적 반응을 감지하도록 위치된 적어도 하나의 센서로부터 센서 데이터를 수신하기 위한 전기 컴포넌트(1904)를 더 포함할 수 있다. 컴포넌트(1904)는 상기 수신을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있고, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 플레이어 컴포넌트(1902)와 병렬로 더 상세한 동작의 시퀀스, 예를 들어 센서 데이터를 수신하기 위해 할당된 하나 이상의 포트를 검사하고, 할당된 포트에서 수신된 데이터를 디코딩하고, 데이터 품질을 검사하고 선택적으로 데이터 품질이 테스트에 실패하는 경우 에러 루틴을 실행하고, 컴포넌트(1904 및 1906)에 의한 사용을 위해 정의된 캐시 메모리 위치에서 디코딩된 센서 데이터를 저장하는 단계를 포함할 수 있다.
장치(1900)는 센서 데이터에 기초하여 적어도 하나의 컨텐츠 몰입 파워(CEP) 값을 결정하기 위한 전기 컴포넌트(1906)를 더 포함할 수 있다. 컴포넌트(1906)는 상기 결정을 위한 수단이거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 예를 들어 도 12와 관련하여 설명된 바와 같이 보다 상세한 동작의 시퀀스를 포함할 수 있다.
장치(1900)는 컴퓨터 메모리에 적어도 하나의 디지털 표현을 레코딩하기 위한 전기 컴포넌트(1908)를 더 포함할 수 있다. 컴포넌트(1908)는 상기 레코딩을 위한 수단일 수 있거나 이를 포함할 수 있다. 상기 수단은 메모리(1916)에 연결된 프로세서(1910)를 포함할 수 있으며, 프로세서는 메모리에 저장된 프로그램 명령에 기초하여 알고리즘을 실행한다. 이러한 알고리즘은 보다 상세한 동작의 시퀀스, 예를 들어 데이터 구조 또는 CEP 및 다른 컨텐츠 등급을 저장하기 위한 다른 데이터 구조를 유지하는 애플리케이션에 연결하고, 메시지의 CEP를 컨텐츠 타이틀 및 시간 주기 또는 애플리케이션의 프로그램 인터페이스(API)에 따른 프레임 세트와 같은 관련 관계 데이터(relevant relational data)로 인코딩하고, API에 따른 메시지를 전송하는 단계를 포함할 수 있다.
장치(1900)는 선택적으로 적어도 하나의 프로세서를 갖는 프로세서 모듈(1910)을 포함할 수 있다. 프로세서(1910)는 버스(1913) 또는 유사한 통신 커플링을 통해 모듈(1902-1908)과 동작적으로 통신할 수 있다. 대안적으로, 하나 이상의 모듈은 프로세서의 메모리에서 기능적 모듈로서 인스턴스화될 수 있다. 프로세서(1910)는 전기 컴포넌트(1902-1908)에 의해 수행되는 프로세스 또는 기능의 개시 및 스케줄링을 수행할 수 있다.
관련 양태에서, 장치(1900)는 컴퓨터 네트워크를 통해 시스템 구성 요소들과 통신하도록 동작 가능한 네트워크 인터페이스 모듈(1912) 또는 동등한 I/O 포트를 포함할 수 있다. 네트워크 인터페이스 모듈은 예를 들어 이더넷 포트 또는 직렬 포트(예를 들어, 범용 직렬 버스(USB) 포트), Wifi 인터페이스 또는 셀룰러 전화 인터페이스일 수 있거나 이를 포함할 수 있다. 추가 관련 양태에서, 장치(1900)는 선택적으로 예를 들어 메모리 장치(1916)와 같은 정보를 저장하기 위한 모듈을 포함할 수 있다. 컴퓨터 판독 가능 매체 또는 메모리 모듈(1916)은 버스(1913) 등을 통해 장치(1900)의 다른 컴포넌트에 동작 가능하게 연결될 수 있다. 메모리 모듈(1916)은 본 명세서에 개시된 모듈(1902-1908) 및 그 서브 컴포넌트의 프로세스 및 거동 또는 프로세서(1910), 방법(1600) 및 하나 이상의 추가 동작(1700-1800) 또는 본 명세서에 개시된 미디어 플레이어 의해 수행되는 임의의 방법을 수행하기 위한 컴퓨터 판독 가능 명령 및 데이터를 저장하도록 구성될 수 있다. 메모리 모듈(1916)은 모듈(1902-1908)과 관련된 기능을 실행하기 위한 명령을 보유할 수 있다. 메모리(1916) 외부에 있는 것으로 도시되어 있지만, 모듈(1902-1908)은 메모리(1916) 또는 프로세서(1910)의 온칩 메모리 내에 존재할 수 있음을 이해해야 한다.
장치(1900)는 임의의 적합한 유형일 수 있는 하나 이상의 생체 센서(1914)를 포함하거나 이에 연결될 수 있다. 적합한 생체 센서의 다양한 예가 본 명세서에 설명된다. 대안적인 실시예에서, 프로세서(1910)는 컴퓨터 네트워크를 통해 동작하는 장치로부터 네트워크화된 마이크로 프로세서를 포함할 수 있다. 또한, 장치(1900)는 I/O 모듈(1912) 또는 다른 출력 포트를 통해 본 명세서에 설명된 바와 같이 출력 장치에 연결될 수 있다.
당업자는 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로 구현될 수 있음을 추가로 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 일반적으로 그 기능성의 관점에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따른다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안된다.
본 출원에서 사용되는 용어 “컴포넌트”, “모듈”, “시스템” 등은 컴퓨터 관련 엔티티, 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트 또는 모듈은 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 제한되지는 않는다. 예를 들어, 서버에서 실행되는 애플리케이션과 서버 모두는 컴포넌트 또는 모듈일 수 있다. 하나 이상의 컴포넌트 또는 모듈은 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며 컴포넌트 또는 모듈은 하나의 컴퓨터에 국한되고 그리고/또는 2 개 이상의 컴퓨터 사이에 분산될 수 있다.
다수의 컴포넌트, 모듈 등을 포함할 수 있는 시스템의 관점에서 다양한 양태가 제시될 것이다. 다양한 시스템은 추가 컴포넌트, 모듈 등을 포함할 수 있고 도면과 관련하여 논의된 모든 컴포넌트, 모듈 등을 포함하지 않을 수 있음을 이해하고 인식해야 한다. 이들 접근법의 조합이 또한 사용될 수 있다. 본 명세서에 개시된 다양한 양태는 터치 스크린 디스플레이 기술, 헤드 업 사용자 인터페이스, 웨어러블 인터페이스 및/또는 마우스 및 키보드 타입 인터페이스를 이용하는 장치를 포함하는 전자 장치에서 수행될 수 있다. 이러한 장치의 예는 VR 출력 장치(예를 들어, VR 헤드셋), AR 출력 장치(예를 들어, AR 헤드셋), 컴퓨터(데스크탑 및 모바일), 텔레베전, 디지털 프로젝터, 스마트 폰, 개인 휴대 정보 단말기(PDA) 및 유선 및 무선의 다른 전자 장치를 포함한다.
또한, 본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈 및 회로는 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 PLD(programmable logic device) 또는 complex PLD(CPLD), 이산 게이트(discrete gate), 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 본 명세서에 기술된 기능을 수행하기 위해 설계된 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 대안적으로는 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 DSP와 마이크로 프로세서, 복수의 마이크로 프로세서, DSP코어와 관련된 하나 이상의 마이크로 프로세서 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수 있다.
본 명세서에 개시된 동작 양태는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈 또는 이들의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, DVD(digital versatile disk), Blu-rayTM 또는 당 업계에 공지된 임의의 다른 형태의 스토리지 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 연결되어 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서와 일체형일 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 클라이언트 장치 또는 서버에서 개별 컴포넌트로서 상주할 수 있다.
또한, 하나 이상의 버전은 개시된 양태를 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치 또는 제조 물품으로서 구현될 수 있다. 비 일시적 컴퓨터 판독 가능 매체는 자기 저장 장치(예를 들어, 하드 디스크, 플로피 디스크, 자기 스트립 또는 다른 포맷), 광학 디스크(예를 들어, 컴팩트 디스크(CD), DVD, Blu-rayTM 또는 다른 포맷), 스마트 카드 및 플래시 메모리 장치(예를 들어, 카드, 스틱 또는 다른 포맷)를 포함할 수 있지만 이에 제한되지는 않는다. 물론, 당업자는 개시된 양태의 범위를 벗어나지 않고 이 구성에 많은 수정이 이루어질 수 있음을 인식할 것이다.
개시된 양태의 이전 설명은 당업자가 본 개시를 만들거나 사용할 수 있도록 제공된다. 이들 양태에 대한 다양한 수정은 당업자에게 명백할 것이며, 본 명세서에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 개시는 본 명세서에 도시된 실시예로 제한되는 것이 아니라 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위에 따라야 한다.
전술한 예시적인 시스템을 고려하여, 개시된 주제에 따라 구현될 수 있는 방법론이 여러 흐름도를 참조하여 설명되었다. 설명의 단순성을 위해, 방법론은 일련의 블록으로 도시되고 설명되지만, 청구된 주제는 블록의 순서에 의해 제한되지 않으며, 일부 블록은 상이한 순서로 그리고/또는 본 명세서에 도시되고 기술된 것으로부터 다른 블록과 동시에 발생할 수 있음을 이해하고 인식해야 한다. 또한, 본 명세서에 설명된 방법론을 구현하기 위해 도시된 모든 블록이 필요한 것은 아니다. 또한, 본 명세서에 개시된 방법론은 컴퓨터로 이러한 방법론을 전송 및 전달하는 것을 용이하게 하기 위해 제조 물품 상에 저장될 수 있음을 추가로 이해해야 한다.
Claims (41)
- 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하기 위한 컴퓨터 구현 방법으로서,
디지털 데이터에 기초하여 오디오-비디오 출력을 출력하는 출력 장치에 의해 오디오 비디오 컨텐츠를 포함하는 디지털 데이터를 재생하는 단계;
상기 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 무의식적 반응을 감지하기 위해 위치된 적어도 하나의 센서로부터 적어도 하나의 컴퓨터 프로세서에 의해 센서 데이터를 수신하는 단계;
상기 센서 데이터에 기초하여 컨텐츠 몰입 파워(CEP)의 적어도 하나의 디지털 표현을 적어도 하나의 컴퓨터 프로세서에 의해 실행하는 알고리즘에 의해 결정하는 단계 ― 센서 데이터에 기초하여 흥분 값을 결정하는 단계 및 센서 데이터에 기초하는 자극 평균 흥분(stimulation average arousal)을 기대 평균 흥분(expectation average arousal)과 비교하는 단계를 포함함 ― ;
상기 오디오-비디오 컨텐츠에 대한 목표 감정 아크에 흥분 값을 비교하는 것에 기초하여 흥분 에러 측정을 결정하는 단계; 및
컴퓨터 메모리에 CEP의 적어도 하나의 디지털 표현을 레코딩하는 단계;를 포함하는,
컴퓨터 구현 방법. - 제1항에 있어서,
상기 센서 데이터는 뇌전도(EEG) 데이터, 갈바닉 피부 반응(GSR) 데이터, 안면 근전도(fEMG) 데이터, 심전도(EKG) 데이터, 비디오 얼굴 행동 유닛(FAU) 데이터, 뇌 기계 인터페이스(BMI) 데이터, 비디오 펄스 검출(VPD) 데이터, 동공 확장 데이터, 신체 화학 감지 데이터, 기능 자기 이미징(fMRI) 데이터, 기능 근적외선 데이터(fNIR) 중 하나 이상을 포함하는,
컴퓨터 구현 방법. - 제1항에 있어서,
알려진 오디오-비디오 자극에 관여하는 동안 하나 이상의 사용자의 유사한 무의식적 반응을 측정하는 추가 센서 데이터에 기초하여 기대 평균 흥분을 결정하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제3항에 있어서,
알려진 비흥분 자극 및 알려진 흥분 자극을 포함하는 알려진 오디오-비디오 자극을 재생하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제3항에 있어서,
상기 CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 기간 동안 임계 값을 초과하는 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제5항에 있어서,
하나 이상의 사용자 각각 및 자극 이벤트 각각에 대한 다수의 이벤트 파워 중 하나를 계산하는 단계 및 상기 이벤트 파워를 집계하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제6항에 있어서,
센서 데이터에 대한 하나 이상의 소스 아이덴티티에 기초하여 상기 이벤트 파워 각각에 가중치를 할당하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제6항에 있어서,
기대 평균 흥분을 결정하는 단계는 기간 동안 임계 값을 초과하는 추가 센서 데이터에 기초하여 하나 이상의 자극 이벤트를 검출하는 단계 및 하나 이상의 사용자 및 자극 이벤트 각각에 대한 알려진 오디오-비디오 자극에 대한 다수의 기대 파워 중 하나를 계산하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제8항에 있어서,
상기 CEP의 적어도 하나의 디지털 표현을 결정하는 단계는 이벤트 파워의 합과 기대 파워의 집합의 비율을 계산하는 단계를 포함하는,
컴퓨터 구현 방법. - 제1항에 있어서,
상기 목표 감정 아크는 연속적인 시간 시퀀스의 상이한 간격과 각각 고유하게 관련된 목표 흥분 값의 세트를 포함하는,
컴퓨터 구현 방법. - 제1항에 있어서,
상기 CEP의 적어도 하나의 디지털 표현은 CEP의 디지털 표현의 시퀀스를 포함하며, 시퀀스의 각 멤버는 오디오-비디오 컨텐츠의 이산 기간에 기초하여 계산되는,
컴퓨터 구현 방법. - 제1항에 있어서,
디스플레이 스크린 및 오디오 트랜스듀서 중 적어도 하나에 CEP의 적어도 하나의 디지털 표현의 기호 표현을 출력하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 제12항에 있어서,
적어도 하나의 액터에 의해 라이브 공연의 디지털 데이터를 레코딩하는 단계 및 적어도 하나의 액터에 의해 인식될 수 있도록 배열된 디스플레이 스크린 또는 오디오 트랜스듀서에 디지털 표현을 출력하는 단계를 더 포함하는,
컴퓨터 구현 방법. - 컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 장치로서,
메모리에 연결된 프로세서를 포함하며, 상기 메모리는 프로그램 명령을 보유하며 상기 프로그램 명령은 상기 프로세서에 의해 실행될 때 장치가:
디지털 데이터에 기초하여 오디오-비디오 출력을 출력하는 출력 장치에 의해 오디오-비디오 컨텐츠를 포함하는 디지털 데이터를 재생하는 단계;
상기 오디오-비디오 출력에 관여하는 동안 하나 이상의 사용자의 무의식적 반응을 감지하기 위해 배치된 적어도 하나의 센서로부터 센서 데이터를 수신하는 단계;
적어도 부분적으로 상기 센서 데이터에 기초하여 흥분 값을 결정하고 상기 센서 데이터에 기초한 자극 평균 흥분을 기대 평균 흥분과 비교함으로써, 상기 센서 데이터에 기초하여 적어도 하나의 컨텐츠 몰입 파워(CEP) 값을 결정하는 단계;
상기 오디오-비디오 컨텐츠에 대한 목표 감정 아크에 흥분 값을 비교하는 것에 기초하여 흥분 에러 측정을 결정하는 단계; 및
컴퓨터 메모리에 CEP의 적어도 하나의 디지털 표현을 레코딩하는 단계;를 수행하게 하는,
컴퓨터 메모리의 오디오-비디오 컨텐츠와의 사용자 몰입을 디지털로 표현하는 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762566257P | 2017-09-29 | 2017-09-29 | |
| US62/566,257 | 2017-09-29 | ||
| US201862614811P | 2018-01-08 | 2018-01-08 | |
| US62/614,811 | 2018-01-08 | ||
| US201862661556P | 2018-04-23 | 2018-04-23 | |
| US62/661,556 | 2018-04-23 | ||
| US201862715766P | 2018-08-07 | 2018-08-07 | |
| US62/715,766 | 2018-08-07 | ||
| PCT/US2018/053614 WO2019068025A1 (en) | 2017-09-29 | 2018-09-28 | DIGITAL REPRESENTATION OF USER IMPLICATION WITH CONTENT DIRECTED BASED ON BIOMETRIC SENSOR DATA |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200127150A KR20200127150A (ko) | 2020-11-10 |
| KR102662981B1 true KR102662981B1 (ko) | 2024-05-02 |
Family
ID=
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211439A1 (en) * | 2006-09-05 | 2010-08-19 | Innerscope Research, Llc | Method and System for Predicting Audience Viewing Behavior |
| US20140270683A1 (en) * | 2013-03-15 | 2014-09-18 | Samsung Electronics Co., Ltd. | Measuring user engagement of content |
| KR101716408B1 (ko) * | 2015-11-09 | 2017-03-14 | 고려대학교 산학협력단 | 영상 컨텐츠의 몰입도 측정 방법 및 장치 |
| WO2017105440A1 (en) * | 2015-12-16 | 2017-06-22 | Thomson Licensing | Methods and apparatuses for processing biometric responses to multimedia content |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211439A1 (en) * | 2006-09-05 | 2010-08-19 | Innerscope Research, Llc | Method and System for Predicting Audience Viewing Behavior |
| US20140270683A1 (en) * | 2013-03-15 | 2014-09-18 | Samsung Electronics Co., Ltd. | Measuring user engagement of content |
| KR101716408B1 (ko) * | 2015-11-09 | 2017-03-14 | 고려대학교 산학협력단 | 영상 컨텐츠의 몰입도 측정 방법 및 장치 |
| WO2017105440A1 (en) * | 2015-12-16 | 2017-06-22 | Thomson Licensing | Methods and apparatuses for processing biometric responses to multimedia content |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11343596B2 (en) | Digitally representing user engagement with directed content based on biometric sensor data | |
| US20200405213A1 (en) | Content generation and control using sensor data for detection of neurological state | |
| US20230221801A1 (en) | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data | |
| US10606353B2 (en) | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data | |
| Soleymani et al. | A multimodal database for affect recognition and implicit tagging | |
| WO2016011457A1 (en) | Generating and using a predictive virtual personification | |
| WO2012150657A1 (ja) | 集中有無推定装置及びコンテンツ評価装置 | |
| US20230047787A1 (en) | Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power | |
| KR102662981B1 (ko) | 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현 | |
| US11822719B1 (en) | System and method for controlling digital cinematic content based on emotional state of characters | |
| US20240134454A1 (en) | System and method for controlling digital cinematic content based on emotional state of characters |