KR20210099141A - 비디오 게임 상태를 동적으로 제어하기 위한 플레이어 바이오피드백 - Google Patents
비디오 게임 상태를 동적으로 제어하기 위한 플레이어 바이오피드백 Download PDFInfo
- Publication number
- KR20210099141A KR20210099141A KR1020217022160A KR20217022160A KR20210099141A KR 20210099141 A KR20210099141 A KR 20210099141A KR 1020217022160 A KR1020217022160 A KR 1020217022160A KR 20217022160 A KR20217022160 A KR 20217022160A KR 20210099141 A KR20210099141 A KR 20210099141A
- Authority
- KR
- South Korea
- Prior art keywords
- video game
- biofeedback
- game player
- measurements
- player
- Prior art date
Links
- 238000005259 measurement Methods 0.000 claims abstract description 180
- 230000037007 arousal Effects 0.000 claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 40
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 23
- 238000000537 electroencephalography Methods 0.000 claims description 17
- 230000001537 neural effect Effects 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 9
- 230000004424 eye movement Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000010344 pupil dilation Effects 0.000 claims description 6
- 238000004497 NIR spectroscopy Methods 0.000 claims description 5
- 230000017531 blood circulation Effects 0.000 claims description 5
- 230000035790 physiological processes and functions Effects 0.000 claims description 5
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 210000000707 wrist Anatomy 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 206010048909 Boredom Diseases 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 201000003152 motion sickness Diseases 0.000 claims description 2
- 208000019901 Anxiety disease Diseases 0.000 claims 1
- 230000036506 anxiety Effects 0.000 claims 1
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 50
- 238000004458 analytical method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 241000699666 Mus <mouse, genus> Species 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 15
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 12
- 239000001301 oxygen Substances 0.000 description 12
- 229910052760 oxygen Inorganic materials 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000002996 emotional effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000002567 electromyography Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004883 computer application Methods 0.000 description 4
- 238000002570 electrooculography Methods 0.000 description 4
- 238000009532 heart rate measurement Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000002747 voluntary effect Effects 0.000 description 4
- 206010040914 Skin reaction Diseases 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 235000014510 cooky Nutrition 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 230000035483 skin reaction Effects 0.000 description 3
- 231100000430 skin reaction Toxicity 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000036284 oxygen consumption Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000036558 skin tension Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 206010000234 Abortion spontaneous Diseases 0.000 description 1
- 206010003497 Asphyxia Diseases 0.000 description 1
- 241000452734 Eudoraea Species 0.000 description 1
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 239000004783 Serene Substances 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 208000015994 miscarriage Diseases 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000009914 physiological arousal Effects 0.000 description 1
- WVMLRRRARMANTD-FHLIZLRMSA-N ram-316 Chemical compound C1=CCC[C@@]2(O)[C@H]3CC4=CC=C(OC)C(O)=C4[C@]21CCN3C WVMLRRRARMANTD-FHLIZLRMSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- MTCFGRXMJLQNBG-UHFFFAOYSA-N serine Chemical compound OCC(N)C(O)=O MTCFGRXMJLQNBG-UHFFFAOYSA-N 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000000995 spontaneous abortion Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
다양한 실시예들은, 그 후에 비디오 게임의 플레이의 상태를 동적으로 수정하기 위해 사용될 수 있는 바이오피드백 측정치들을 획득하기 위해 비디오 게임 플레이어 상에 또는 그 근처에 배열되는 하나 이상의 물리적 센서들을 이용하는 것에 관한 것이다. 센서들은 게임 플레이어에 연결되거나 또는 심지어 분리될 수 있으며, 전통적인 물리적 게임 제어기들을 대체하거나 또는 달리 증강할 수 있다. 센서들은 다양한 바이오피드백 측정치들을 수집하고, 이러한 측정치들을 바이오피드백 애플리케이션 프로그래밍 인터페이스(application programming interface; API)에 제공한다. 비디오 게임 플레이 이전에 및/또는 동안에, 비디오 게임은 게임 플레이어의 각성 상태에 대한 추론들을 요청하기 위해 바이오피드백 API에 질의한다. 그런 다음, 질의에 대한 응답은 비디오 게임 플레이의 상태를 수정하기 위해 사용된다. 비디오 게임이 다중-플레이어 비디오 게임인 경우, 다른 게임 플레이어들로부터의 바이오피드백 측정치들이 또한 획득되고 비디오 게임 플레이의 상태를 추가로 수정하기 위해 사용될 수 있다.
Description
본 개시는 전반적으로 상호작용 비디오 게임들에 관한 것으로서, 보다 더 구체적으로는, 비배타적으로, 비디오 게임 상태를 수정하기 위해 게임 플레이어로부터의 바이오피드백을 사용하는 것에 관한 것이다.
오늘날, 컴퓨터 게이밍 산업은 수십억 달러의 산업이다. 이러한 인기는 부분적으로 더 빠른 컴퓨팅 디바이스들, 더 높은 품질의 그래픽들, 및 더 양호한 품질의 게임들에 기인할 수 있다. 오늘날의 비디오 게임들 중 다수는 게임과 상호작용하기 위해 게임 플레이어에 의해 이용가능한 다양하고 상이한 입력/출력 디바이스들을 제공한다. 예를 들어, 다수의 비디오 게임들은 플레이어가 키보드 및/또는 마우스를 사용하여 상호작용하는 것을 허용한다. 이러한 입력/출력 제어기들이 게임 플레이어가 게임과 상호작용하는 것을 허용하지만, 게임 플레이어는, 이들이 게임에 몰입된다고 '느끼지' 못할 수 있다. 따라서, 다수의 비디오 게임들은. 비디오 게임 플레이어를 몰입시키는 방법들을 제공하기 위해 게임패드, 조이스틱, 트랙볼, 게임 패들, 및 유사한 것의 사용을 허용하도록 재설계되었다. 일부 조이스틱들 및/또는 패들(paddle)들은 플레이되고 있는 비디오 게임에 부합하는 디바이스의 유형을 모방하도록 구성된다. 예를 들어, 일부 비행 시뮬레이션 게임들에 대하여, 조이스틱은, 게임 플레이어들이 마치 항공기 조종석 내에서 비행하고 있는 것처럼 게임 플레이어들에게 보이는 스로틀 사분면들, 레벨들, 휠들 및 핸드헬드 스틱들을 제공하도록 설계될 수 있다.
입력 디바이스들을 수정함으로써, 비디오 게임 플레이어들은 비디오 게임에 더 많이 관련되고 그에 따라서 이를 즐기게 될 가능성이 높다. 이와 같이, 비디오 게임 플레이어들은 계속해서 게임을 플레이하고, 게임을 다른 사람들과 공유하며, 아마도 장래에 유사한 게임들을 구매할 가능성이 더 높다. 더 많은 게임 플레이어 참여를 갖도록 입력 디바이스들을 수정하는 이러한 경향은 무선 제어기들의 출현으로 훨씬 더 분명해졌다. 예를 들어, 하나의 인기 있는 비디오 게임에서, 게임 입력 제어기는, 내장 가속도계, 적외선 검출기들, 또는 유사한 컴포넌트들을 포함할 수 있는 무선 핸드헬드 제어기이다. 이러한 컴포넌트들은 원격 센서 바(bar) 내의 발광 다이오드(light emitting diode; LED)에 포인팅될 때 3차원 공간 내의 제어기의 위치를 센싱하기 위해 사용된다. 그러면, 게임 플레이어는, 볼링, 가상 악기들, 복싱 게임들, 또는 유사한 것과 같은 게임들을 플레이하기 위해 전통적인 버튼들뿐만 아니라 물리적 제스처들을 사용하여 게임을 제어한다.
그러나, 다수의 게임 플레이어들이 이것이 비디오 게임에서 증가된 참여 레벨을 제공한다는 것을 느낄 수 있지만, 반면 다른 게임 플레이어들은 여전히 비디오 게임에서의 참여가 불완전하다고 느낄 수 있다. 따라서, 본 개시는 이러한 고려사항들 및 다른 것들에 대하여 이루어졌다.
본 개시의 비제한적이고 철저하지 않은 실시예들이 첨부된 도면들을 참조하여 설명된다. 도면들에서, 유사한 참조 번호들은 달리 특정되지 않는 한 다양한 도면들 전체에 걸쳐 유사한 부분들을 나타낸다.
본 개시의 더 양호한 이해를 위하여, 첨부된 도면들과 연관되어 숙독될 다음의 상세한 설명에 대한 참조가 이루어질 것이다.
도 1은, 본 개시의 하나 이상의 특징들을 구현하기에 적절한 환경의 일 실시예를 예시하는 도식적 블록도이다.
도 2는 도 1의 환경에서 사용하기 위한 클라이언트 디바이스의 일 실시예를 도시한다.
도 3은 도 1의 환경에서 사용하기 위한 네트워크 디바이스의 일 실시예를 도시한다.
도 4는, 비디오 게임의 게임 플레이 상태를 수정하기 위해 게임 플레이어로부터의 바이오피드백(biofeedback) 측정치들을 이용하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 5는, 비디오 게임에서 사용하기 위해 게임 플레이어로부터의 바이오피드백 측정치들의 분석을 수행하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 6은, 바이오피드백 측정치들에 대하여 바이오피드백 애플리케이션 프로그래밍 인터페이스(application programming interface; API)를 질의하는데 사용하기 위한 질의들의 철저하지 않고 비제한적인 예의 일 실시예를 예시한다.
도 7은, 경기장 전투 비디오 게임에서 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 철저하지 않는 비제한적인 예의 일 실시예를 예시한다.
도 8은, 우주 비디오 게임에서 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 철저하지 않는 비제한적인 예의 일 실시예를 예시한다.
도 9는, 비디오 게임 플레이어의 추적된 응시 위치에 기초하여 비디오 게임의 게임 플레이를 동적으로 수정하거나 또는 증강하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 10은, 사용자 인터페이스의 사용자의 곧 있을(upcoming) 움직임들을 검출하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 11은, 사용자 인터페이스의 사용자의 곧 있을 움직임들을 검출하도록 동작할 수 있는 모델을 업데이트하거나 또는 트레이닝시키는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 12는, 본 개시의 하나 이상의 특징들을 구현하기에 적절한 환경의 일 실시예를 예시하는 도식적 블록도이다.
도 13은, 바이오피드백 측정치들을 분석함으로써 사용자 인터페이스를 동작시키는 사용자의 어려움들을 해결하기 위하여 사용자 인터페이스를 적응시키는 프로세스의 일 실시예에 대한 순서도를 예시한다.
본 개시의 더 양호한 이해를 위하여, 첨부된 도면들과 연관되어 숙독될 다음의 상세한 설명에 대한 참조가 이루어질 것이다.
도 1은, 본 개시의 하나 이상의 특징들을 구현하기에 적절한 환경의 일 실시예를 예시하는 도식적 블록도이다.
도 2는 도 1의 환경에서 사용하기 위한 클라이언트 디바이스의 일 실시예를 도시한다.
도 3은 도 1의 환경에서 사용하기 위한 네트워크 디바이스의 일 실시예를 도시한다.
도 4는, 비디오 게임의 게임 플레이 상태를 수정하기 위해 게임 플레이어로부터의 바이오피드백(biofeedback) 측정치들을 이용하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 5는, 비디오 게임에서 사용하기 위해 게임 플레이어로부터의 바이오피드백 측정치들의 분석을 수행하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 6은, 바이오피드백 측정치들에 대하여 바이오피드백 애플리케이션 프로그래밍 인터페이스(application programming interface; API)를 질의하는데 사용하기 위한 질의들의 철저하지 않고 비제한적인 예의 일 실시예를 예시한다.
도 7은, 경기장 전투 비디오 게임에서 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 철저하지 않는 비제한적인 예의 일 실시예를 예시한다.
도 8은, 우주 비디오 게임에서 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 철저하지 않는 비제한적인 예의 일 실시예를 예시한다.
도 9는, 비디오 게임 플레이어의 추적된 응시 위치에 기초하여 비디오 게임의 게임 플레이를 동적으로 수정하거나 또는 증강하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 10은, 사용자 인터페이스의 사용자의 곧 있을(upcoming) 움직임들을 검출하는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 11은, 사용자 인터페이스의 사용자의 곧 있을 움직임들을 검출하도록 동작할 수 있는 모델을 업데이트하거나 또는 트레이닝시키는 프로세스의 일 실시예에 대한 순서도를 예시한다.
도 12는, 본 개시의 하나 이상의 특징들을 구현하기에 적절한 환경의 일 실시예를 예시하는 도식적 블록도이다.
도 13은, 바이오피드백 측정치들을 분석함으로써 사용자 인터페이스를 동작시키는 사용자의 어려움들을 해결하기 위하여 사용자 인터페이스를 적응시키는 프로세스의 일 실시예에 대한 순서도를 예시한다.
이제, 본 개시의 하나 이상의 구현예들이, 예시로서 특정 예시적인 실시예들을 도시하며 본 개시의 부분을 형성하는 첨부된 도면들을 참조하여 이하에서 더 완전하게 설명된다. 그러나, 본 개시의 구현예들이 다수의 상이한 형태들로 구현될 수 있으며 본원에서 기술되는 실시예들에 한정되는 것으로서 해석되지 않아야만 하고, 오히려, 이러한 실시예들은 본 개시가 완전하고 철저해질 수 있도록 제공되며, 본 개시의 범위를 당업자들에게 완전하게 전달할 것이다. 다른 것들 중에서도 특히, 하나 이상의 구현예들은 방법들 또는 디바이스들로 구현될 수 있다. 따라서, 실시예들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 측면들을 결합하는 실시예의 형태를 취할 수 있다. 따라서, 다음의 상세한 설명은 제한적인 의미로 취해지지 않는다.
본 명세서 및 청구범위 전체에 걸쳐, 다음의 용어들은, 문맥이 명백하게 달리 표시하지 않는 한 본원에서 명시적으로 연관되는 의미들을 취한다. 본원에서 사용되는 구절 "일 실시예에 있어서"는 그럴 수도 있지만 반드시 동일한 실시예를 나타내지는 않는다. 추가로, 본원에서 사용되는 구절 "다른 실시예에 있어서"는 그럴 수도 있지만 반드시 상이한 실시예를 나타내지는 않는다. 따라서, 이하에서 설명되는 바와 같은, 다양한 실시예들은 본 개시의 사상 또는 범위로부터 벗어나지 않고 용이하게 결합될 수 있다.
이에 더하여, 본원에서 사용되는 용어 "또는"은, 문맥이 명백하게 달리 표시하지 않는 한, 포괄적인 "또는" 연산자이며, 용어 "및/또는"과 동등하다. 용어 "~에 기초하여"는 비배타적이며, 문맥이 명백하게 달리 표시하지 않는 한, 설명되지 않은 추가적인 인자들에 기초하는 것을 허용한다. 이에 더하여, 본 명세서 전체에 걸쳐, "일", 및 "상기"의 의미는 복수의 지시대상들을 포함한다. "내의(in)"의 의미는 "내의" 및 "상의(on)"를 포함한다.
본원에서 사용되는 용어들 "바이오피드백" 및 "생리학적"은 게임 플레이어의 특정하고 수량화할 수 있는 신체적 기능들의 측정치들을 나타낸다. 이러한 바이오피드백 측정치들은 전형적으로 무의식 또는 비자발적 신체 기능들의 측정치로도 지칭된다. 이러한 바이오피드백 측정치들은, 비제한적으로, 혈압, 심박수, 안구 운동들, 동공 확장들, 피부 온도들, 땀샘 활동, 근육 긴장들, 및 유사한 신체 기능들을 포함할 수 있다. 본원에서 추가로 설명되는 바와 같이, 이러한 측정치들은 게임 플레이어의 각성(arousal) 상태 또는 감정 상태에 대한 추론을 수행하는데 사용가능하다. 각성 상태가 감정 상태뿐만 아니라 생리학적 상태도 마찬가지로 포함한다는 것을 유의해야 한다. 또한, 본원에서 사용되는 바와 같은, 각성 상태는 생리학적 측정치들에 기초하는 참여(engagement), 유의성(valence), 및/또는 다른 사용자 상태들을 더 포함한다.
다음은 본 개시의 일부 측면들의 기본적인 이해를 제공하기 위하여 실시예들을 간략하게 설명한다. 이러한 간략한 설명은 광범위한 개괄로서 의도되지 않는다. 이는 중요 또는 핵심 엘리먼트들을 식별하거나, 또는 범위를 제한하거나 또는 달리 좁히도록 의도되지 않는다. 이의 목적은 단지, 아래에서 제공되는 더 상세한 설명에 대한 서문으로서 일부 개념들을 간략화된 형태로 제공하는 것이다.
간략하게 말하면, 다양한 실시예들은, 비디오 게임의 플레이의 상태를 동적으로 수정하거나 또는 다른 기능을 제공하기 위해 사용할 수 있는 게임 플레이어에 대한 바이오피드백 측정치들을 획득하기 위하여 비디오 게임 플레이어 상에 또는 근처에 배열되는 하나 이상의 물리적 센서들을 이용하는 것에 관한 것이다. 일 실시예에 있어, 수정들은 실질적으로 실시간으로 수행될 수 있다. 다른 실시예에 있어서, 수정들은 후속 게임 플레이에서 사용하기 위해 수행될 수 있다. 물리적 센서들은 게임 플레이어에 연결될 수 있으며, 일부 구현예들에 있어서, 전통적인 물리적 게임 제어기들을 대체하거나 및/또는 달리 증강할 수 있다. 다른 실시예에 있어서, 물리적 센서들은 게임 플레이어에 연결될 필요가 없으며, 그 대신에 게임 플레이어 근처에 위치될 수 있다. 이러한 물리적 비연결 센서들의 비제한적인 예들은 비디오 카메라, 안구 추적 시스템, 그 위에 게임 플레이어가 앉을 수 있는 중량/위치 센서 패드들, 또는 유사한 것을 포함한다. 센서들은 심장 활동, 갈바닉(galvanic) 피부 반응들, 체온들, 안구 움직임들, 머리 또는 다른 신체 움직임들, 또는 유사한 것과 같은 다양한 바이오피드백 측정치들을 수집하고 이러한 측정치들을 바이오피드백 애플리케이션 프로그래밍 인터페이스(application programming interface; API)에 제공하도록 배열된다. 비디오 게임 플레이 이전에 및/또는 동안에, 비디오 게임은, 이하에서 추가로 설명되는 바와 같이 바이오피드백 측정치들에 기초하여 게임 플레이어의 각성 상태, 감정 상태, 정신 상태 또는 유사한 것에 대한 추론을 위해 바이오피드백 API에 질의할 수 있다. 그런 다음, 질의에 대한 응답에 기초하여, 비디오 게임은 비디오 게임 플레이의 상태를 수정한다. 이러한 방식으로, 비디오 게임은, 게임 플레이어의 현재 생리학적 상태가 비디오 게임이 제공하고자 할 수 있는 경험의 유형 및/또는 레벨과 부합되는지 여부를 결정할 수 있다. 예를 들어, 게임 플레이어의 스트레스 또는 각성 상태가 주어진 임계 이상이라고 결정되는 경우, 비디오 게임은 긴장을 풀거나 또는 회복할 기회를 게임 플레이어에게 제공하기 위해 게임의 상태를 수정할 수 있다. 다른 실시예에 있어서, 게임 플레이어의 스트레스 또는 각성 상태가 다른 임계 이하인 것으로 결정되는 경우, 비디오 게임은 게임 플레이어에 대해 증가된 레벨의 흥분을 제공하기 위해 게임 플레이의 상태를 수정할 수 있다.
일 실시예에 있어서, 임계는 특정 게임 플레이어에 대한 이력적인 바이피드백 측정치들 및/또는 추론들에 기초할 수 있다. 다른 실시예에 있어서, 임계는 현재 비디오 게임 플레이에 대한 특정 게임 플레이어의 분석에 기초할 수 있다. 도 다른 실시예에 있어서, 임계는 복수의 게임 플레이어들의 통계적 분석에 기초할 수 있다.
일 실시예에 있어서, 비디오 게임이 다중-플레이어 비디오 게임으로 구성되는 경우, 다른 게임 플레이어들로부터의 바이오피드백 측정치들이 또한 획득되고 비디오 게임 플레이의 상태를 추가로 수정하기 위해 사용될 수 있다.
예시적인 동작 환경
도 1은, 본 개시의 하나 이상의 특징들이 실시될 수 있는 시스템의 일 실시예의 개괄을 전반적으로 도시하는 블록도를 예시한다. 시스템(100)은 도 1에 도시된 것들보다 더 적거나 또는 더 많은 컴포넌트들을 포함할 수 있다. 그러나, 도시된 컴포넌트들은 예시적인 실시예들을 개시하기에 충분한다. 도면에 도시된 바와 같이, 시스템(100)은, 근거리 네트워크(local area network; “LAN")들/광역 네트워크(wide area network; “WAN")들(네트워크(105)), 무선 네트워크(111), 클라이언트 디바이스(101), 게임 서버 디바이스(game server device; GSD)(110), 및 바이오피드백 센서들(120)을 포함한다.
클라이언트 디바이스(101)로서 사용할 수 있는 클라이언트 디바이스의 일 일시예는 도 2와 함께 이하에서 더 상세하게 설명된다. 그러나, 간략하게, 클라이언트 디바이스(101)는 네트워크(111) 또는 유사한 것과 같은 네트워크를 통해 메시지를 수신하고 전송할 수 있는 실질적으로 임의의 모바일 컴퓨팅 디바이스를 포함할 수 있다. 이러한 디바이스들은, 라디오 주파수(radio frequency; RF) 디바이스들, 적외선(infrared; IR) 디바이스들, 개인용 디지털 보조기기(Personal Digital Assistant; PDA)들, 게임 콘솔들, 핸드헬드 컴퓨터들, 랩탑 컴퓨터들, 착용형 컴퓨터들, 태블릿 컴퓨터들, 이상의 디바이스들 중 하나 이상을 결합하는 통합 디바이스들, 또는 유사한 것과 같은 휴대용 디바이스들을 포함한다. 클라이언트 디바이스(101)는, 개인용 컴퓨터들, 다중프로세서 시스템들, 마이크로프로세서-기반 프로그램가능 가전 기기들, 네트워크 PC들, 또는 유사한 것과 같은, 유선 통신 매체 예컨대 네트워크(105)를 사용하여 전형적으로 연결되는 실질적으로 임의의 컴퓨팅 디바이스를 또한 포함할 수 있다. 따라서, 일 실시예에 있어서, 클라이언트 디바이스(101)는 유선 및/또는 무선 네트워크를 통해 동작하도록 구성될 수 있다.
클라이언트 디바이스(101)는 전형적으로 성능들 및 특징들과 관련하여 광범위한 범위이다. 예를 들어, 핸드헬드 디바이스는, 그 위에 오직 텍스트만이 디스플레이될 수 있는 모노크롬 LDC 디스플레이의 몇몇 라인들 및 수치 키보드를 가질 수 있다. 다른 예에 있어서, 웹-가능형 클라이언트 디바이스는 터치 감지 스크린, 스타일러스, 및 텍스트와 그래픽 둘 모두가 디스플레이될 수 있는 컬러 LCD 디스플레이의 몇몇 라인들을 가질 수 있다.
웹-가능형 클라이언트 디바이스는, 웹 페이지들, 웹-기반 메시지들, 또는 유사한 것을 수신하고 전송하도록 구성된 브라우저 애플리케이션을 포함할 수 있다. 브라우저 애플리케이션은, 무선 애플리케이션 프로토콜 메시지(wireless application protocol messages; WAP)들 또는 유사한 것을 포함하여, 실질적으로 임의의 웹 기반 언어를 이용하여, 그래픽들, 텍스트, 멀티미디어, 또는 유사한 것을 수신하고 디스플레이하도록 구성될 수 있다. 일 실시예에 있어서, 브라우저 애플리케이션은, 핸드헬드 디바이스 마크업 언어(Handheld Device Markup Language; HDML), 무선 마크업 언어(Wireless Markup Language; WML), WML스크립트, 자바스크립트, 표준 범용 마크업 언어(Standard Generalized Markup Language; SMGL), 하이퍼텍스트 마크업 언어(HyperText Markup Language; HTML), 확장가능 마크업 언어(eXtensible Markup Language; XML), 또는 유사한 것을 이용하여 정보를 디스플레이하고 전송하도록 인에이블된다.
클라이언트 디바이스(101)는 또한, 다른 컴퓨팅 디바이스로부터 콘텐트를 수신하도록 구성된 적어도 하나의 애플리케이션을 포함할 수 있다. 애플리케이션은, 비디오 게임 또는 유사한 것과 같은 컴퓨터 애플리케이션으로 텍스트 콘텐트, 멀티미디어 정보, 컴포넌트들을 제공하고 이를 수신하기 위한 성능을 포함할 수 있다. 애플리케이션은, 유형, 성능, 명칭 또는 유사한 것을 포함하는 그 자체를 식별하는 정보를 추가로 제공할 수 있다. 일 실시예에 있어서, 클라이언트 디바이스(101)는, 전화 번호, 모바일 식별 번호(Mobile Identification Number; MIN), 전자 일련 번호(electronic serial number; ESN), 모바일 디바이스 식별자, 네트워크 어드레스, 또는 다른 식별자를 포함하는, 다양한 메커니즘들 중 임의의 메커니즘을 통해 그들을 고유하게 식별할 수 있다. 식별자는 다른 컴퓨팅 디바이스로 전송되는 메시지 또는 유사한 것 내에 제공될 수 있다.
클라이언트 디바이스(101)는 또한, 다른 컴퓨팅 디바이스 사이에서, 예컨대, 이메일, 단문 메시지 서비스(Short Message Service; SMS), 멀티미디어 메시지 서비스(Multimedia Message Service; MMS), 인스턴스 메시징(instant messaging; IM), 인터넷 릴레이 채팅(internet relay chat; IRC), 마르담-바이 IRC(Mardam-Bey’s IRC; mIRC), 재버(Jabber), 또는 유사한 것을 통해 메시지를 통신하도록 구성될 수 있다. 그러나, 본 개시가 이러한 메시지 프로토콜들에 한정되지 않으며, 실질적으로 임의의 다른 메시지 프로토콜이 이용될 수 있다. 따라서, 일 실시예에 있어서, 클라이언트 디바이스(101)는, 사용자들이 채팅 세션, 메시징을 갖는 게이밍 세션, 또는 유사한 것과 같은 하나 이상의 메시징 세션들에 참여하는 것을 가능하게 할 수 있다. 이러한 메시징 세션들은, 통신들이 텍스트를 사용하여 달성된다는 점에 있어서, 텍스트 지향될 수 있다. 그러나, 다른 메시징 세션들은, 비제한적으로, 오디오, 그래픽, 비디오, 및/또는 텍스트, 오디오, 그래픽 및/또는 비디오의 조합을 포함하여, 통신하기 위해 다른 메커니즘들을 이용하는 클라이언트 디바이스(101)를 사용하여 발생할 수 있다.
클라이언트 디바이스(101)는, 다양한 바이오피드백 센서들(120)로부터 메시지들, 이미지들, 및/또는 다른 바이오피드백 측정치들을 수신하도록 구성될 수 있다. 사용자에게 연결되거나 또는 연결되지 않을 수 있으며, 전통적인 물리적 게임 제어기들을 대체하거나, 및/또는 달리 증강할 수 있는 가능한 물리적 바이오피드백 센서들(120)의 비제한적이고 철저하지 않은 예들이 도 1에 예시된다. 따라서, 예시된 바와 같이, 바이오피드백 센서들(120)은 게임 제어기 내에 통합될 수 있거나(센서(123)), 하나 이상의 키들, 휠들 또는 유사한 것 내에, 키보드 상에 통합될 수 있다(센서(124)). 일 실시예에 있어서, 게임 제어기는, 모듈식 및/또는 플러그가능 센서들(123)을 포함할 수 있는 모듈식 및/또는 플러그가능 컴포넌트들을 포함할 수 있다.
유사하게, 바이오피드백 센서(120)는 카메라(121), 터치 패드(122), 또는 심지어 머리 디바이스(125)를 포함할 수 있다. 그러나, 언급된 바와 같이, 안경, 손목 밴드, 손가락 센서 부착물, 컴퓨터 마우스들 내에 또는 그 위에 통합된 센서들, 다양한 음성 패터들을 측정하기 위한 마이크, 또는 유사한 것을 포함하는 다른 바이오피드백 센서들(120)이 또한 이용될 수 있다. 따라서, 다양한 실시예들이 실질적으로 게임 플레이어의 바이오피드백 측정치들을 획득하도록 구성될 수 있는 임의의 메커니즘을 이용할 수 있다는 것이 당업자에게 명백할 것이다.
바이오피드백 센서들(120)은, 비디오 게임 플레이 이전에, 이후에, 및/또는 동안에 게임 플레이어의 다양한 측정치들을 수집하도록 배열될 수 있다. 이러한 측정치들은, 비제한적으로, 심박수 및/또는 심박수 변동성; 갈바닉 피부 반응들; 체온; 안구 움직임; 머리, 얼굴, 손, 또는 다른 신체 움직임, 제스처들, 위치들, 표정들, 자세들, 안면 긴장, 또는 유사한 것을 포함한다. 추가적으로, 바이오피드백 센서들(120)은, 혈액 산소 레벨들, 다른 형태들의 피부 전도도 레벨들, 호흡률, 피부 긴장, 음성 스트레스 레벨들, 음성 인식, 혈압, 뇌파(Electroencephalography; EEG) 측정치들, 근전도(Electromyography; EMG) 측정치들, 반응 시간들, 눈전위도검사(Electrooculography; EOG), (예를 들어, IR 카메라를 통한) 혈류, 기능적 근적외선 분광(functional near-infrared spectroscopy; fNIR) 분광검사, 힘-감지 저항기(force-sensitive resistor; FSR), 또는 유사한 것을 포함하는 다른 측정치들을 수집할 수 있다.
바이오피드백 센서들(120)은 측정치들을 클라이언트 디바이스(101)에 제공할 수 있다. 일 실시예에 있어서, 측정치들은 다양한 유선 및/또는 무선 연결들 중 임의의 것을 통해 클라이언트 디바이스(101)에 제공될 수 있다. 따라서, 바이오피드백 측정치들은, 이를 이용하여 다른 정보가 또한 게임 플레이를 위해 통신될 수 있는 다양한 케이블들, 와이어들, 또는 유사한 것을 통해 통신될 수 있다. 예를 들어, 바이오피드백 측정치들은, 이를 이용하여 마우스, 키보드, 게임 제어기, 또는 유사한 것이 또한 클라이언트 디바이스(101)에 연결되는 USB 케이블, 동축 케이블, 또는 유사한 것을 통해 송신될 수 있다. 그러나, 다른 실시예에 있어서, 별개의 유선 연결이 이용될 수 있다. 유사하게, 바이오피드백 센서들(120)은 바이오피드백 측정치들을 통신하기 위하여 다양한 무선 연결들을 이용할 수 있다. 이에 더하여, 다양한 통신 프로토콜들 중 임의의 것이 측정치들을 통신하기 위해 사용될 수 있다. 따라서, 본 개시가 특정 유선 또는 무선 통신 메커니즘 및/또는 통신 프로토콜에 한정되는 것으로 해석되지 않아야 한다.
일 실시예에 있어서, 클라이언트 디바이스(101)는, 하나 이상의 물리적 센서들(120)이 동작하는지 여부를 결정하고 물리적 센서들(120)로부터의 바이오피드백 측정치들의 수신을 관리하도록 구성된 바이오피드백 디바이스 인터페이스(biofeedback device interface; BFI)를 포함할 수 있다. BFI의 일 일시예는 도 2와 함께 이하에서 더 상세하게 설명된다. 그러나, 간략하게, BFI는 추가로, 수신된 바이오피드백 측정치들을 타임스탬핑(timestamp)하거나, 측정치들 중 적어도 일부를 버퍼링하거나, 및/또는 현재 또는 장래 비디오 게임 플레이의 상태를 수정하는데 사용하기 위하여 측정치들을 GSD(110)로 포워딩할 수 있다. 수신된 바이오피드백 측정치들을 버퍼링하는 것은, BFI가 수신된 측정치들에 대해 품질 분석을 수행하고 분석 결과에 기초하여 경고 메시지들을 제공하는 것을 가능하게 할 수 있다.
무선 네트워크(111)는 클라이언트 디바이스(101)를 네트워크(105)와 결합하도록 구성된다. 무선 네트워크(111)는, 클라이언트 디바이스(101)에 대한 인프라스트럭처-지향 연결을 제공하기 위해, 독립형 애드-호크(ad-hoc) 네트워크들을 추가로 오버레이(overlay)할 수 있는 다양한 무선 서브-네트워크들 중 임의의 것을 포함할 수 있다. 이러한 서브-네트워크들은, 메시 네트워크들, 무선 랜(Wireless LAN; WLAN) 네트워크들, 셀룰러 네트워크들, 또는 유사한 것을 포함할 수 있다.
무선 네트워크(111)는, 무선 라디오 링크들 또는 유사한 것에 의해 연결된 단말들, 게이트웨이들, 라우터들, 또는 유사한 것의 자율 시스템을 더 포함할 수 있다. 이러한 커넥터들은 자유롭고 랜덤하게 움직이고 그들 자체를 임의적으로 조직하도록 구성될 수 있으며, 그 결과 무선 네트워크(111)의 토폴로지(topology)가 빠르게 변화할 수 있다.
무선 네트워크(111)는 추가로, 셀룰러 시스템들, WLAN, 무선 라우터(Wireless Router; WR) 메시, 또는 유사한 것에 대하여 2세대(2G), 3세대(3G), 4세대(4G) 라디오 액세스를 포함하는 복수의 액세스 기술들을 이용할 수 있다. 2G, 2.5G, 3G, 4G, 및 장래의 액세스 네트워크들과 같은 액세스 기술들은, 다양한 정도의 이동성을 가지고 클라이언트 디바이스(101)와 같은 클라이언트 디바이스들에 대한 광범위한 커버리지를 가능하게 할 수 있다. 예를 들어, 무선 네트워크(111)는, 모바일 통신을 위한 전역 시스템(Global System for Mobile communication; GSM), 범용 패킷 라디오 서비스(General Packet Radio Services; GPRS), 향상된 데이터 GSM 환경(Enhanced Data GSM Environment; EDGE), 광대역 코드 분할 다중 액세스(Wideband Code Division Multiple Access; WCDMA), 블루투스, 또는 유사한 것과 같은 라디오 네트워크를 통한 라디오 연결을 가능하게 할 수 있다. 본질적으로, 무선 네트워크(111)는 실질적으로, 이에 의해 정보가 클라이언트 디바이스(101)와 다른 컴퓨팅 디바이스, 네트워크, 또는 유사한 것 사이에서 이동할 수 있는 임의의 무선 통신 메커니즘을 포함할 수 있다.
네트워크(105)는, 잠재적으로 무선 네트워크(111)를 통해 클라이언트 디바이스(101)에 결합하는 것을 포함하여, GSD(110)와 같은 컴퓨팅 디바이스를 다른 컴퓨팅 디바이스들에 결합하도록 구성된다. 그러나, 예시된 바와 같이, 클라이언트 디바이스(101)는 또한 네트워크(105)를 통해 GSD(110)에 연결될 수 있다. 어쨌든, 네트워크(105)는 하나의 전자 디바이스로부터 다른 전자 디바이스로 정보를 통신하기 위하여 임의의 형태의 컴퓨터 판독가능 매체를 이용하는 것이 가능해진다. 또한, 네트워크(105)는, 인터넷 이외에 근거리 네트워크(LAN)들, 광역 네트워크(WAN)들, 예컨대 범용 직렬 버스(universal serial bus; USB) 포트를 통한 직접 연결들, 다른 형태들의 컴퓨터-판독가능 매체, 또는 이들의 임의의 조합을 포함할 수 있다. 상이한 아키텍처들 및 프로토콜들에 기초하는 것들을 포함하여 LAN들의 상호연결된 세트 상에서, 라우터는 LAN들 사이의 링크로서 역할하며, 이는 메세지들이 하나로부터 다른 것으로 전송되는 것을 가능하게 한다. 또한, LAN들 내의 통신 링크들은 전형적으로 연선(twisted wire) 쌍 또는 동축 케이블을 포함하며, 한편 네트워크들 사이의 통신 링크들은 아날로그 전화 라인들, T1, T2, T3, 및 T4를 포함하는 완전 또는 부분적 전용 디지털 라인들, 통합 서비스 디지털 네트워크(Integrated Services Digital Network; ISDN)들, 디지털 가입자 라인(Digital Subscriber Line; DSL)들, 위성 링크들을 포함하는 무선 링크들, 또는 당업자들에게 알려진 다른 통신 링크들을 사용할 수 있다. 추가로, 원격 컴퓨터들 및 다른 관련 전자 디바이스들은 모뎀 및 일시적인 전화 링크를 통해 LAN들 또는 WAN들 중 하나에 원격으로 연결될 수 있다. 본질적으로, 네트워크(105)는, 이에 의해 정보가 컴퓨팅 디바이스들 사이에서 이동할 수 있는 임의의 통신 방법을 포함한다.
GSD(110)의 일 일시예는 도 3과 함께 이하에서 더 상세하게 설명된다. 그러나, 간략하게, GSD(110)는, 사용자가, 비제한적으로 단일 플레이어 게임들뿐만 아니라 다중-플레이어 게임들을 포함하는 하나 이상의 온라인 게임들에 참여하는 것을 가능하게 하기 위하여 네트워크(105)에 연결될 수 있는 임의의 컴퓨팅 디바이스를 포함할 수 있다. 따라서, 도 1이 바이오피드백 센서들(120)을 갖는 단일 클라이언트 디바이스(101)를 예시하지만, 본 개시가 이에 한정되는 것은 아니며, 바이오피드백 센서들을 갖는 복수의 유사한 클라이언트 디바이스들이 시스템(100) 내에서 사용될 수 있다.
따라서, GSD(110)는, 하나 이상의 게임 플레이어들로부터 다양한 바이오피드백 측정치들을 수신하고 비디오 게임의 상태를 수정하기 위해 수신된 측정치들을 이용하도록 구성된다. GSD(110)는, 바이오피드백 측정치들에 기초하여 게임 플레이 난이도 및/또는 비디오 게임의 다른 측면들을 동적으로 조정하기 위해 바이오피드백을 이용할 수 있다. 예를 들어, 일 실시예에 있어서, 사용자가 임계에 기초하여 과도한 것으로 정의된 스트레스의 레벨을 경험하고 있다고 결정되는 경우, GSD(110) 내의 비디오 게임은 결정된 스트레스 레벨의 감소를 가능하게 하기 위해 상이한 게임 플레이를 제공할 수 있다.
GSD(110)는 또한, 비디오 게임이 게임 플레이어의 바이오피드백 측정치들에 기초하여 이것에 플레이될 때마다 고유한 경험을 제공하는 것을 가능하게 할 수 있다. 예를 들어, 일 실시예에 있어서, 물체의 컬러, 크기, 형상, 및/또는 게임 캐릭터의 액션, 또는 유사한 것이 바이오피드백 측정치들에 기초하여 조정될 수 있다. 즉, 게임 배경 내에 디스플레이되는 배경의 다양한 측면들이 바이오피드백 측정치들의 분석의 결과들에 기초하여 수정될 수 있다.
일 실시예에 있어서, 이력적 측정치들은, GSD(110)가 특정 게임 플레이어에 대하여 현재 게임 플레이를 수정하거나 또는 특정 게임 플레이어를 검출하는 것을 가능하게 하기 위해 저장되고 분석될 수 있다. 그런 다음, 이러한 저장된 측정치들은, 결정된 경향 결정 또는 유사한 것에 기초하여 특정 게임 플레이어에 대한 게임 플레이를 개인화하고, 특정 게임 플레이어에 의한 게임 플레이의 변화들을 식별하기 위해 사용될 수 있다. 일 실시예에 있어서, 바이오피드백 측정치들의 분석과 함께 이력적 측정치들은 게임 플레이어가 현재 이전 사용자 프로파일과 연관되는지 여부 - 즉, 이러한 게임 플레이어가 이전에 플레이했던 어떤 사람인지 여부를 결정하기 위해 사용될 수 있다. GSD(110)는 또한, 게임 플레이 동안 사용자의 참여 레벨, 이력적 패턴들, 또는 유사한 것의 결정에 기초하여 제공되는 게임 플레이의 유형을 조정할 수 있다.
GSD(110)는 추가로, 다중플레이어 게임 세션을 추구할 수 있는 게임 플레이의의 생리학적 또는 감정 상태에 전적으로 또는 부분적으로 기초하여 매치메이킹(matchmaking) 결정들을 제공할 수 있다. 또 다른 실시예들에 있어서, GSD(110)는, 수신된 바이오피드백 측정치들에 기초하여 게임 플레이 지시들, 튜토리얼들, 또는 유사한 것을 동적으로 조정할 수 있다. 예를 들어, 게임 플레이어가 지시들, 튜토리얼들, 또는 유사한 것에 지루해하거나 또는 달리 관심이 없다고 결정되는 경우, GSD(110)는 자료를 빠르게 하거나, 스킵하거나 또는 유사한 것을 가능하게 할 수 있다. 대안적으로, 바이오피드백 측정치들에 기초하여 게임 플레이어가 혼란을 겪고 있거나 또는 결정을 내리는데 어려움을 겪고 있다고 결정되는 경우, 튜토리얼들 또는 다른 안내가 게임 플레이어를 보조하기 위해 제공될 수 있다.
GSD(110)는 바이어피드백 측정치들이 사용될 수 있는 방법의 이러한 예들에 한정되지 않으며, 게임 플레이 상태를 수정하기 위한 바이오피드백 측정치들을 이용하는 다른 방식들이 또한 사용될 수 있다. 예를 들어, 바이오피드백 측정치들은 게임 플레이의 측면을 직접 제어하기 위해 이용될 수 있다. 이의 비제한적인 일 예는 도 8과 함께 이하에서 더 상세하게 설명된다.
또 다른 실시예들에 있어서, GSD(110)는, 게임 캐릭터 내에 게임 플레이어의 감정, 생리학적 상태 및/또는 게임 플레이어의 표정의 다른 측면들을 표시할 수 있다. 예를 들어, 게임 플레이어에 대한 수신된 바이오피드백 측정치들에 기초하여, 게임 플레이어의 아바타는 게임 플레이어의 심장 박동수로 뛰는 심장을 디스플레이하도록 수정될 수 있거나, 또는, 아바타는 게임 플레이어의 레이트로 호흡하거나 또는 땀을 흘리거나 또는 심지어 표정 또는 신체 위치를 표시하도록 표현될 수 있다. 따라서, GSD(110)는 게임 플레이의 상태를 수정하기 위해 다양한 방식들 중 임의의 방식으로 바이오피드백 측정치들을 이용할 수 있다.
GSD(110)로 동작할 수 있는 디바이스들은 개인용 컴퓨터들, 데스크탑 컴퓨터들, 다중프로세서 시스템들, 비디오 게임 콘솔들, 마이크로프로세서-기반 또는 프로그램가능 가전 기기들, 네트워크 PC들, 서버 디바이스들, 및 유사한 것을 포함한다.
또한, GSD(110)는 단일 네트워크 디바이스로 예시되지만, 본 개시가 이에 한정되는 것은 아니다. 예를 들어, GSD(110)와 연관된 기능들 중 하나 이상은, 본 개시의 사상 또는 범위로부터 벗어나지 않고, 피어-투-피어 시스템 구조에 걸쳐 분산된 복수의 상이한 네트워크 디바이스들, 또는 유사한 것 내에 구현될 수 있다. 따라서, 도 3과 함께 이하에서 설명되는 바와 같이, 네트워크 디바이스(300)는 게임의 상태를 수정하기 위해 바이오피드백 측정치들을 사용하여 게임 플레이를 관리하도록 구성된다. 그러나, 다른 구성들이 또한 고려된다.
예를 들어, 다른 실시예에 있어서, 클라이언트 디바이스(101)는, 클라이언트 디바이스(101)가 GSD(110)와 독립적으로 동작할 수 있도록 GSD(110)로부터의 컴포넌트들을 포함하도록 구성될 수 있다. 즉, 일 실시예에 있어서, 클라이언트 디바이스(101)는 바이오피드백, 바이오피드백 애플리케이션 프로그래밍 인터페이스(API)들, 및 유사한 것을 갖는 게임 소프트웨어를 포함할 수 있으며, GSD(110)에 대한 네트워크 연결의 사용 없이 동작할 수 있다. 따라서, 클라이언트 디바이스(101)는, 본질적으로 바이오피드백 센서들 및 사용자의 즐거움을 위한 다른 입력/출력 디바이스들에 대한 인터페이스들을 갖는 독립형 게임 디바이스로서 동작할 수 있다. 따라서, 본 개시는 도면들에 도시된 구성들에 의해 제한되거나 또는 달리 한정되지 않는다.
단일 클라이언트 디바이스(101)가 단일 게임 플레이어 및 바이오피드백 센서들(120)의 '단일 세트'를 갖는 것으로 도 1에 예시되지만, 다른 실시예들이 또한 고려된다. 예를 들어, 일 실시예에 있어서, 각기 자신의 바이오피드백 센서들을 갖는 복수의 게임 플레이어들이 동일한 클라이언트 디바이스(101)를 통해 또는 네트워크를 통해 함께 연결된 다수의 클라이언트 디바이스들을 통해 상호작용하고 동일한 비디오 게임을 함께 플레이할 수 있다. 따라서, 다중-플레이어 구성들은, 다수의 게임 플레이어들이 동일한 또는 상이한 클라이언트 디바이스들을 이용하는 것과 같은 이러한 변형들을 포함할 수 있다. 따라서, 도 1은 단일 게임 플레이어 구성으로 한정되는 것으로 해석되지 않아야 한다.
예시적인 클라이언트 디바이스
도 2는, 본 개시를 구현하는 시스템 내에 포함될 수 있는 클라이언트 디바이스(200)의 일 실시예를 도시한다. 클라이언트 디바이스(200)는 도 2에 도시된 것들보다 더 많거나 또는 더 적은 컴포넌트들을 포함할 수 있다. 예를 들어, 클라이언트 디바이스(200)는 독립형 비디오 게임 디바이스와 같이 사용하기 위한 컴포넌트들의 감소된 세트를 가지고 구성될 수 있다. 그러나, 도시된 컴포넌트들은 예시적인 실시예들을 개시하기에 충분한다. 클라이언트 디바이스(200)는, 예를 들어, 도 1의 클라이언트 디바이스(101)를 나타낼 수 있다.
도 2에 도시된 바와 같이, 클라이언트 디바이스(200)는 버스(224)를 통해 대용량 메모리(230)와 통신하는 프로세싱 유닛(processing unit; CPU)(222)을 포함한다. 클라이언트 디바이스(200)는 또한, 전원 공급장치(226), 하나 이상의 네트워크 인터페이스들(250), 오디오 입력을 수신할 뿐만 아니라 오디오 출력을 제공하도록 구성될 수 있는 오디오 인터페이스(252), 디스플레이(254), 키패드(256), 조명기(258), 입력/출력 인터페이스(260), 촉각 인터페이스(262), 및 위성 항법 시스템(global positioning system; GPS) 수신기(264)를 포함한다. 전원 공급장치(226)는 전력을 클라이언트 디바이스(200)에 제공한다. 충전가능 또는 비-충전가능 배터리가 전력을 제공하기 위해 사용될 수 있다. 전력은 또한, 배터리를 보충하거나 및/또는 충전하는 AC 어댑터 또는 전원형 도킹 크래들과 같은 외부 전원에 의해 제공될 수 있다. 클라이언트 디바이스(200)는 또한, 예컨대 카메라, 스캐너, 또는 유사한 것을 통해 그래픽 입력을 수신하도록 구성될 수 있는 그래픽 인터페이스(266)를 포함할 수 있다.
네트워크 인터페이스(250)는 클라이언트 디바이스(200)를 하나 이상의 네트워크들에 결합하기 위한 회로부를 포함하며, 비제한적으로, 모바일 통신을 위한 전역 시스템(global system for mobile communication; GSM), 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 사용자 데이터그램 프로토콜(user datagram protocol; UDP), 송신 제어 프로토콜/인터넷 프로토콜(transmission control protocol/Internet protocol; TCP/IP), SMS, 범용 패킷 라디오 서비스(general packet radio service; GPRS), WAP, 초 광대역(ultra wide band; UWB), IEEE 802.16 와이맥스(Worldwide Interoperability for Microwave Access; WiMax), SIP/RTP, 블루투스, 와이파이, 지그비, UMTS, HSDPA, WCDMA, WEDGE, 또는 다양한 다른 유선 및/또는 무선 통신 프로토콜들 중 임의의 것을 포함하는 하나 이상의 통신 프로토콜들 및 기술들과 함께 사용하기 위해 구성된다. 네트워크 인터페이스(250)는 때때로 트랜시버, 트랜시버 디바이스, 또는 네트워크 인터페이스 카드(network interface card; NIC)로 알려질 수 있다.
오디오 인터페이스(252)는 인간 음성의 사운드와 같은 오디오 신호들을 생성하고 수신하도록 배열된다. 예를 들어, 오디오 인터페이스(252)는, 다른 것들과의 전기 통신을 가능하게 하기 위하여 및/또는 일부 액션에 대한 오디오 수신확인(acknowledgement)을 생성하기 위해 스피커 및 마이크(미도시)에 결합될 수 있다. 디스플레이(254)는 액정 디스플레이(liquid crystal display; LCD), 가스 플라즈마, 발광 다이오드(light emitting diode; LED), 또는 컴퓨팅 디바이스와 함께 사용하기 위한 임의의 다른 유형의 디스플레이일 수 있다. 디스플레이(254)는 또한 인간의 손으로부터의 디지트(digit) 또는 스타일러스와 같은 물체로부터의 입력을 수신하도록 배열된 터치 감지 스크린을 포함할 수 있다.
키패드(256)는 사용자로부터 입력을 수신하도록 배열된 임의의 입력 디바이스를 포함할 수 있다. 예를 들어, 키패드(256)는 푸시 버튼 수치 다이얼, 또는 키보드를 포함할 수 있다. 키패드(256)는, 이미지들, 게임 플레이, 메시징 세션들, 또는 유사한 것을 선택하고 전송하는 것과 연관되는 공통 버튼들을 포함할 수 있다. 일 실시예에 있어서, 키패드(256)는, 비제한적으로, 압력 판독치들, 응답 시간 판독치들, 땀 판독치들, 또는 유사한 것을 포함하는 다양한 측정치들을 획득하도록 배열된 다양한 바이오피드백 센서들을 포함할 수 있다.
조명기(258)는 상태 표시를 제공하거나 및/또는 광을 제공할 수 있다. 조명기(258)는 이벤트들에 응답하여 또는 시간의 특정 기간 동안 활성 상태로 남아 있을 수 있다. 예를 들어, 조명기(258)가 활성 상태일 때, 이것은 키패드(256) 상의 버튼들을 백라이팅(backlight)할 수 있으며, 클라이언트 디바이스에 전원이 공급되는 동안 켜져 있을 수 있다. 또한, 조명기(258)는, 다른 클라이언트 디바이스를 다이얼링(dial)하는 것과 같은 특정 액션들이 수행될 때 이러한 버튼들을 다양한 패턴들로 백라이팅할 수 있다. 조명기(258)는 또한, 클라이언트 디바이스의 투명 또는 반투명 케이스 내에 위치된 광원들이 액션들에 응답하여 조명하게끔 할 수 있다.
클라이언트 디바이스(200)는 또한, 비제한적으로, 조이스틱, 마우스, 또는 유사한 것을 포함하는 다른 입력 또는 출력 디바이스들 또는 헤드셋과 같은 외부 디바이스들과 통신하기 위한 입력/출력 인터페이스(260)를 포함한다. 도 1과 함께 이상에서 설명된 바와 같이, 클라이언트 디바이스(200)는 입력/출력 인터페이스(260)를 통해 하나 이상의 바이오피드백 센서들과 통신하도록 구성될 수 있다. 입력/출력 인터페이스(260)는 USB, 적외선, Bluetooth®, 또는 유사한 것과 같은 하나 이상의 통신 기술들을 사용할 수 있다. 촉각 인터페이스(262)는 클라이언트 디바이스의 사용자에 대한 촉각적 피드백을 제공하도록 배열된다. 예를 들어, 촉각 인터페이스는, 컴퓨팅 디바이스의 다른 사용자가 호출(call)할 때 클라이언트 디바이스(200)를 특정한 방식으로 진동시키기 위해 이용될 수 있다.
GPS 트랜시버(264)는 지표면 상의 클라이언트 디바이스(200)의 물리적 좌표들을 결정할 수 있으며, 이는 전형적으로 위도 및 경도 값들로서 위치를 출력한다. GPS 트랜시버(264)는 또한, 지표면 상의 클라이언트 디바이스(200)의 물리적 위치를 추가로 결정하기 위해, 삼각 측량, 보조 GPS(assisted GPS; AGPS), E-OTD, CI, SAI, ETA, BSS, 또는 유사한 것을 포함하는 다른 지리적-위치결정 메커니즘들을 이용할 수 있다. 상이한 조건들 하에서, GPS 트랜시버(264)는 클라이언트 디바이스(200)에 대하여 수 밀리미터 이내의 물리적 위치를 결정할 수 있으며; 다른 경우들에 있어서, 결정된 물리적 위치는 일 미터 또는 상당히 더 큰 거리 내와 같이 덜 정밀할 수 있다는 것이 이해될 것이다. 그러나, 일 실시예에 있어서, 클라이언트 디바이스(200)는, 다른 컴포넌트들을 통해서, 예를 들어, MAC 어드레스, IP 어드레스, 또는 다른 네트워크 어드레스를 포함하는, 디바이스의 지리적 물리적 위치를 결정하기 위해 이용될 수 있는 다른 정보를 제공할 수 있다.
대용량 메모리(230)는 RAM(232), ROM(234), 및/또는 다른 저장부를 포함한다. 대용량 메모리(230)는, 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 컴퓨터 저장 매체의 다른 예를 예시한다. 대용량 메모리(230)는 클라이언트 디바이스(200)의 저-레벨 동작을 제어하기 위한 기본 입력/출력 시스템(basic input/output system; "BIOS")(240)을 저장한다. 대용량 메모리는 또한 클라이언트 디바이스(200)의 동작을 제어하기 위한 운영 시스템(241)을 저장한다. 이러한 컴포넌트가 UNIX, 또는 LINUX™의 버전과 같은 범용 운영 시스템, 또는 Windows Mobile™, Symbian® 운영 시스템과 같은 특수 클라이언트 통신 운영 시스템, 또는 심지어 다양한 비디오 게임 콘솔 운영 시스템들 중 임의의 것을 포함할 수 있음이 이해될 것이다. 운영 시스템은, 자바 애플리케이션 프로그램들을 통한 하드웨어 컴포넌트들 및/또는 운영 시스템 동작들의 제어를 가능하게 하는 자바 가상 머신 모듈을 포함하거나 또는 이와 인터페이스할 수 있다.
메모리(230)는, 다른 것들 중에서도, 애플리케이션들 및/또는 다른 데이터를 저장하기 위해 클라이언트 디바이스(200)에 의해 사용될 수 있는 하나 이상의 데이터 저장부(244)를 더 포함한다. 예를 들어, 데이터 저장부(244)는 또한, 클라이언트 디바이스(200)의 다양한 성능들, 디바이스 식별자, 및 유사한 것을 설명하는 정보를 저장하기 위해 이용될 수 있다. 성능 정보는 추가로, 통신 동안 헤더의 부분으로서 전송되는 것, 요청 시에 전송되는 것, 또는 유사한 것을 포함하여, 다양한 이벤트들 중 임의의 이벤트에 기초하여 다른 디바이스에 제공될 수 있다. 데이터 저장부(244)는 또한 바이오피드백 센서로부터 수신되는 하나 이상의 측정치들을 버퍼링하기 위해 이용될 수 있다.
일 실시예에 있어서, 데이터 저장부(244)는 또한, 쿠키들, 컴퓨터 애플리케이션의 부분들, 사용자 선호사항들, 게임 플레이 데이터, 메시징 데이터, 및/또는 다른 디지털 콘텐트, 및 유사한 것을 포함할 수 있다. 저장된 데이터의 적어도 부분은 또한 선택적인 하드 디스크 드라이브(272), 선택적인 휴대용 저장 매체(270), 또는 클라이언트 디바이스(200) 내의 다른 저장 매체(미도시) 상에 저장될 수 있다.
애플리케이션들(242)은, 클라이언트 디바이스(200)에 의해 실행될 때, 메시지들(예를 들어, SMS, MMS, IMS, IM, 이메일, 및/또는 다른 메시지들), 오디오, 비디오를 송신하거나, 수신하거나, 및/또는 달리 프로세싱하며, 다른 클라이언트 디바이스의 다른 사용자와 전기 통신을 가능하게 하는 컴퓨터 실행가능 명령어들을 포함할 수 있다. 애플리케이션 프로그램들의 다른 예들은, 캘린더들, 브라우저들, 이메일 클라이언트들, IM 애플리케이션들, VOIP 애플리케이션들, 접촉 관리자들, 태스크 관리자들, 데이터베이스 프로그램들, 워드 프로세싱 프로그램들, 보안 프로그램들, 스프레드시트 프로그램들, 탐색 프로그램들, 등을 포함한다. 애플리케이션들(242)은 브라우저(245), 메신저(243), 게임 클라이언트(248), 및 바이오피드백 디바이스 인터페이스(biofeedback device interface; BFI)(249)를 더 포함할 수 있다.
메신저(243)는, 비제한적으로, 이메일, 단문 메시지 서비스(SMS), 인스턴스 메시지(IM), 멀티미디어 메시지 서비스(MMS), 인터넷 릴레이 채팅(IRC), mIRC, VOIP, 또는 유사한 것을 포함하는, 다양한 메시징 통신들 중 임의의 것을 사용하여 메시지 세션을 개시하고 관리하도록 구성될 수 있다. 예를 들어, 일 실시예에 있어서, 메신저(243)는, AOL 인스턴트 메신저, Yahoo! 메신저, .NET 메신저 서버, ICQ, 또는 유사한 것과 같은 IM 애플리케이션으로 구성될 수 있다. 일 실시예에 있어서, 메신저(243)는, Elm, Pine, MH, Outlook, Eudora, Mac Mail, Mozilla Thunderbird, 또는 유사한 것과 같은 메일 사용자 에이전트(mail user agent; MUA)를 포함하도록 구성될 수 있다. 다른 실시예에 있어서, 메신저(243)는, 다양한 메시징 프로토콜들을 통합하고 이용하도록 구성된 클라이언트 애플리케이션일 수 있다. 또한, 메신저(243)는 복수의 메시징 세션을 동시에 관리하도록 구성될 수 있으며, 이는 사용자가 상이한 메시징 세션들 및/또는 동일한 메시징 세션에서 복수의 상이한 다른 사용자들과 통신하는 것을 가능하게 한다. 본원에서 사용되는 용어 "활성 메시징 세션"은, 사용자가 메시징 세션을 재시작하거나 및/또는 재설정해야 하는 것과 무관하게 다른 사용자와 통신할 수 있는 메시징 세션을 나타낸다. 따라서, 메시징 세션을 활성 상태로 유지하는 것은, 메시징 세션이 설정되고, 종료되지 않았거나, 또는 달리 슬립 모드에 위치되었거나, 또는 다른 활성 모드에 위치되어 메시지들이 능동적으로 전송되거나 또는 수신되지 않을 수 있다는 것을 나타낸다.
브라우저(245)는, 실질적으로 임의의 웹 기반 언어를 이용하여, 그래픽들, 텍스트, 멀티미디어, 또는 유사한 것을 수신하고 디스플레이하도록 구성된 실질적으로 임의의 클라이언트 애플리케이션을 포함할 수 있다. 일 실시예에 있어서, 브라우저 애플리케이션은, 메시지를 디스플레이하고 전송하기 위하여, 핸드헬드 디바이스 마크업 언어(Handheld Device Markup Language; HDML), 무선 마크업 언어(Wireless Markup Language; WML), WML스크립트, 자바스크립트, 표준 범용 마크업 언어(Standard Generalized Markup Language; SMGL), 하이퍼텍스트 마크업 언어(HyperText Markup Language; HTML), 확장가능 마크업 언어(eXtensible Markup Language; XML), 및 유사한 것을 이용하도록 인에이블된다. 그러나, 다양한 다른 웹 기반 언어들 중 임의의 것이 또한 이용될 수 있다.
게임 클라이언트(248)는, 사용자가 플레이할 하나 이상의 게임들을 선택하거나, 하나 이상의 게임들에 대한 액세스를 위해 등록하거나, 및/또는 온라인 상호작용 플레이를 위해 하나 이상의 게임들을 런칭(launch)하는 것을 가능하게 하도록 구성된 게임 애플리케이션 컴포넌트를 나타낸다. 일 실시예에 있어서, 게임 클라이언트(248)는, 하나 이상의 컴퓨터 게임들의 등록, 구매, 이에 대한 액세스, 및/또는 플레이를 가능하게 하기 위하여 GSD(110) 또는 유사한 것과 같은 네트워크 디바이스를 가지고 네트워크를 통한 통신을 수립할 수 있다.
게임 클라이언트(248)는, 비제한적으로, 사용자로부터 이상에서 언급된 것들을 포함하는 다양한 사용자 입력 디바이스들을 통해 컴퓨터 게임을 런칭하기 위한 지시들을 수신할 수 있다. 그런 다음, 게임 클라이언트(248)는, 클라이언트 디바이스(200)와 GSD(110), 다른 클라이언트 디바이스, 또는 유사한 것 사이의 게임 데이터의 통신들을 가능하게 할 수 있다.
일 실시예에 있어서, 게임 클라이언트(248)는 컴퓨터 게임 애플리케이션을 나타내지만; 그러나, 게임 클라이언트(248)가 게임 애플리케이션들에 한정되지 않으며, 사실상 임의의 상호작용 컴퓨터 애플리케이션 또는 다른 상호작용 디지털 콘텐트를 또한 나타낼 수 있다. 따라서, 본원에서 비디오 게임 플레이의 상태를 수정하기 위해 바이오피드백 측정치들을 이용하는 것으로 설명되지만, 본 개시가 비디오 게임 플레이에 한정되는 것으로 해석되지 않아야 하며, 다른 애플리케이션들의 상태들이 또한 수정될 수 있다. 예를 들어, 표현, 튜토리얼, 또는 유사한 것이 바이오피드백 측정치들에 기초하여 수정될 수 있다.
따라서, 일 실시예에 있어서, 게임 엔진(248)은 온라인 다중-사용자 게임 플레이 및/또는 단일 게임 플레이어 사용을 가능하게 하기 위해 사용될 수 있는 클라이언트 컴포넌트를 나타낸다. 이러한 컴퓨터 게임들의 비제한적이고 철저하지 않은 예들은, 워싱턴, 벨뷰 소재의 밸브 코퍼레이션에 의해 개발된 Day of Defeat, Half-Life, Team Fortress, Portal, Counter-Strike, 및 Left 4 Dead를 포함하지만 이에 한정되지는 않는다.
BFI(249)는 하나 이상의 바이오피드백 센서들의 연결을 검출하고, 이러한 센서들로부터 수신되는 측정치들을 수집하도록 구성된다. 일 실시예에 있어서, BFI(249)는, 바이오피드백 센서와의 연결이 검출되었음을 나타내는 정보를 원격 네트워크 디바이스 및/또는 게임 클라이언트(248)에 제공할 수 있다. BFI(249)는 추가로 수신된 측정치들 중 적어도 일부를 버퍼링할 수 있다. 다른 실시예에 있어서, BFI(249)는, 그 대신에, 버퍼링 없이 사실상 실시간으로 수신된 측정치들을 원격 네트워크 디바이스로 제공할 것을 선택할 수 있다. 일 실시예에 있어서, BFI(249)는, 네트워크를 통해 원격 네트워크 디바이스로 측정치들을 통신하기 위해 사용될 수 있는 포맷 및/또는 프로토콜로 측정치들을 변환할 수 있다. 다른 실시예에 있어서, BFI(249)는, 예컨대, 클라이언트 디바이스(200)가 독립형 유형의 비디오 게임 콘솔로서 구성될 수 있을 때, 네트워크를 통해 측정치들을 통신하지 않을 것을 선택할 수 있다. 일 실시예에 있어서, BFI(249)는 또한, 측정치들이 용이하게 상관될 수 있도록 수신된 측정치들을 타임 스탬핑할 수 있다. 추가로, BFI(249)는, 측정치들이 그것의 센서 소스에 기초하여 구별될 수 있도록 측정치들에 센서 소스 식별자를 제공할 수 있다.
BFI(249)는 추가로, 센서가 잘못된 판독치들을 제공하는지, 분리되었는지, 또는 유사한 것을 결정하기 위해 수신된 측정치들에 대한 하나 이상의 분석을 수행할 수 있다. 이러한 결정들은, 수신된 측정치에 대한 값들의 예상된 범위로부터의 변화들을 검출하기 위하여 주어진 센서에 대한 복수의 수신된 측정치들의 시간에 걸친 비교에 기초할 수 있다. 예를 들어, BFI(249)가 센서 측정치가 심박수 센서이고 측정치들이, 예를 들어, 분 당 2회의 심박수, 또는 심지어 초 당 100회의 심박수를 검출하는 경우, BFI(249)는 센서 측정치들이 잘못되었음을 결정할 수 있다. 그러나, BFI(249)가 다른 범위 값들을 이용할 수 있으며, 이러한 예시적인 범위 값들에 한정되지 않는다는 것이 명확하다. 또한, BFI(249)는 상이한 센서들에 대해 상이한 범위 값들을 이용할 수 있다. 일 실시예에 있어서, BFI(249)는, 게임 플레이어가 일시적으로 센서를 조정하고 있다는 가정 하에서, 적어도 주어진 시간 기간 동안 네트워크를 통해 잘못된 것으로 결정된 측정치들을 제공할 수 있다. 그러나, 다른 실시예에 있어서, 센서가 주어진 시간 기간을 넘어 잘못된 것으로 결정되는 경우, BFI(249)는 측정치들의 송신을 중단하거나 및/또는 원격 네트워크 디바이스로 메시지를 전송할 것을 선택할 수 있다.
도 1과 함께 이상에서 언급된 바와 같이, 클라이언트 디바이스(200)는, 바이오피드백 API들, 게임 서버 컴포넌트들, 및 유사한 것을 포함하여, (도 3과 함께 이하에서 설명되는) 네트워크 디바이스(300)의 컴포넌트들을 포함하도록 구성될 수 있다. 이러한 실시예에 있어서, 클라이언트 디바이스(200)는 본질적으로, 네트워크 디바이스(300)와 통신하지 않는 독립형 게임 콘솔로서 동작할 수 있다. 이러한 구성에 있어서, 클라이언트 디바이스(200)는 독립형 비디오 게임 디바이스로서 지칭될 수 있다.
예시적인 네트워크 디바이스
도 3은 일 실시예에 따른 네트워크 디바이스의 일 실시예를 도시한다. 네트워크 디바이스(300)는 도시된 것들보다 더 많거나 또는 더 적은 컴포넌트들을 포함할 수 있다. 그러나, 도시된 컴포넌트들은 예시적인 실시예들을 개시하기에 충분한다. 네트워크 디바이스(300)는, 예를 들어, 도 1의 GSD(110)를 나타낼 수 있다.
네트워크 디바이스(300)는, 프로세싱 유닛(312), 비디오 디스플레이 어댑터(314), 및 대용량 메모리를 포함하며, 이들 모두는 버스(322)를 통해 서로 통신한다. 대용량 메모리는 일반적으로 RAM(316), ROM(322), 및 하나 이상의 영구 대용량 저장 디바이스들, 예컨대 하드 디스크 드라이브(328), 및 테이프 드라이브, 광학적 드라이브, 및/또는 플로피 디스크 드라이브를 나타낼 수 있는 착탈가능 저장 디바이스(326)를 포함한다. 대용량 메모리는 네트워크 디바이스(300)의 동작을 제어하기 위한 운영 시스템(320)을 저장한다. 임의의 범용 운영 시스템이 이용될 수 있다. 기본 입력/출력 시스템("BIOS")(318)이 또한 네트워크 디바이스(300)의 저-레벨 동작을 제어하기 위해 제공된다. 도 3에 예시된 바와 같이, 네트워크 디바이스(300)는 또한, TCP/IP 프로토콜, 와이파이, 지그비, WCDMA, HSDPA, 블루투스, WEDGE, EDGE, UMTS, 또는 유사한 것을 포함하는 다양한 통신 프로토콜들과 함께 사용하기 위해 구성된 네트워크 인터페이스 유닛(310)을 통해 인터넷, 또는 다른 어떤 통신 네트워크와 통신할 수 있다. 네트워크 인터페이스(310)는 때때로 트랜시버, 트랜시버 디바이스, 또는 네트워크 인터페이스 카드(NIC)로 알려질 수 있다.
이상에서 설명된 바와 같은 대용량 메모리는 다른 유형의 컴퓨터-판독가능 매체, 즉, 컴퓨터 저장 매체를 예시한다. 컴퓨터-판독가능 저장 매체는, 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위하여 임의의 방법 또는 기술로 구현된 휘발성, 비휘발성, 착탈가능, 및 비-착탈가능 매체를 포함할 수 있다. 컴퓨터-판독가능 저장 매체의 예들은, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술품, CD-ROM, 디지털 다기능 디스크(digital versatile disk; DVD), 또는 광 저장장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 희망되는 정보를 저장하기 위해 사용될 수 있으며 컴퓨팅 디바이스에 의해 액세스될 수 있는 다른 유형의 컴퓨터 판독가능 매체를 포함한다.
대용량 메모리는 또한 프로그램 코드 및 데이터를 저장한다. 일 실시예에 있어서, 대용량 메모리는 데이터 저장부(356)를 포함할 수 있다. 데이터 저장부(356)는 사실상, 비제한적으로, 게임 플레이어 선호사항들, 게임 플레이 상태 및/도는 다른 게임 플레이 데이터, 메시징 데이터, 바이오피드백 측정치들, 및 유사한 것을 포함하는 데이터를 저장하도록 구성되고 배열되는 임의의 컴포넌트를 포함한다. 데이터 저장부(356)는 또한 사실상, 컴퓨터 애플리케이션들, 비디오 게임들, 및 유사한 것과 같은 디지털 콘텐트를 저장하고 관리하도록 구성되고 배열되는 임의의 컴포넌트를 포함한다. 이와 같이, 데이터 저장부들(356)은 데이터 베이스, 파일, 디렉토리, 또는 유사한 것을 사용하여 구현될 수 있다. 저장된 데이터의 적어도 일 부분은 하드 디스크 드라이브(328), 휴대용 디바이스 예컨대 cd-롬/dvd-롬 드라이브(326) 상에, 또는 심지어 네트워크 디바이스(300) 내의 다른 저장 매체들(미도시) 상에 또는 또 다른 네트워크 디바이스 상에 원격으로 저장될 수 있다.
하나 이상의 애플리케이션들(350)은 대용량 메모리 내에 로딩되고, 운영 시스템(320) 상에서 실행된다. 애플리케이션 프로그램들의 예들은, 트랜스코더들, 스케줄러들, 캘린더들, 데이터베이스 프로그램들, 워드 프로세싱 프로그램들, HTTP 프로그램들, 맞춤화가능 사용자 인터페이스 프로그램들, IPSec 애플리케이션들, 컴퓨터 게임들, 암호화 프로그램들, 보안 프로그램들, VPN 프로그램들, SMS 메시지 서버들, IM 메시지 서버들, 이메일 서버들, 계정 관리부 등을 포함할 수 있다. 애플리케이션들(350)은 또한 웹 서비스들(346), 메시지 서버(354), 바이오피드백(biofeedback; GSB)을 갖는 게임 서버(352), 및 바이오피드백 API(Biofeedback API; BAPI)들(353)을 포함할 수 있다.
웹 서비스들(346)은, 네트워크를 통해 다른 컴퓨팅 디바이스에 제공하도록 구성되는 다양한 서비스들 중 임의의 것을 나타낸다. 따라서, 웹 서비스들(346)은, 예를 들어, 웹 서버, 메시징 서버, 파일 전송 프로토콜(File Transfer Protocol; FTP) 서버, 데이터베이스 서버, 콘텐트 서버, 또는 유사한 것을 포함한다. 웹 서비스들(346)은, 비제한적으로, WAP, HDML, WML, SMGL, HTML, XML, cHTML, xHTML, 또는 유사한 것을 포함하는 다양한 포맷들 중 임의의 것을 사용하여 네트워크를 통해 콘텐트를 제공할 수 있다.
메시지 서버(354)는 사실상, 메시지 사용자 에이전트들 및/또는 다른 메시지 서버들로부터의 메시지들을 관리하거나 또는 메시지 애플리케이션, 하나의 다른 네트워크 디바이스로 메시지들을 전달하도록 구성되고 배열되는 임의의 컴퓨팅 컴포넌트 또는 컴포넌트들을 포함할 수 있다. 메시지 서버(354)는 특정 유형의 메시징으로 한정되지 않는다. 따라서, 메시지 서버(354)는, 비제한적으로, 이메일, SMS, MMS, IM, IRC, mIRC, Jabber, VOIP, 및/또는 하나 이상의 메시징 서비스들의 조합을 포함하는 이러한 메시징 서비스들에 대한 성능을 제공할 수 있다.
GSB(352)는, 도 1의 클라이언트 디바이스(101)와 같은 하나 이상의 클라이언트 디바이스들로부터 획득된 바이오피드백 정보를 사용하여 비디오 게임의 전달 및 플레이를 관리하도록 구성된다. 전형적으로, GSB(352)는, 네트워크를 통해 클라이언트 디바이스에 대한 게임 애플리케이션과 같은 애플리케이션에 컴포넌트들을 제공할 수 있다. 일 실시예에 있어서, 제공되는 컴포넌트들 중 적어도 하나는 다양한 암호화 메커니즘들 중 임의의 것을 사용하여 암호화된다. 예를 들어, 일 실시예에 있어서, 암호 기술들의 개방-소스 클래스 라이브러리인 Crypto++가 애플리케이션의 컴포넌트들을 암호화하거나 또는 복호화하는데 이용된다. 그러나, 사실상 임의의 다른 암호화 및 복호화 메커니즘이 사용될 수 있다.
GSB(352)는 추가로, 애플리케이션에 대한 액세스를 위한 클라이언트 디바이스로부터의 요청을 수신하거나 및/또는 인증할 수 있다. GSB(352)는 컴퓨터 게임과 같은 애플리케이션의 구매를 제공할 수 있거나, 애플리케이션의 플레이를 위한 등록을 가능하게 할 수 있거나, 및/또는 애플리케이션에 대한 다운로드 액세스를 가능하게 할 수 있다.
GSB(352)는 추가로, 클라이언트 디바이스들 사이에서 다양한 데이터, 메시지들, 또는 유사한 것을 수신하거나 및/또는 제공함으로써 다중-플레이어 애플리케이션에 참여하는 클라이언트 디바이스들 사이의 통신들을 가능하게 할 수 있다.
GSB(352)는, 하나 이상의 게임 플레이어의 상태 또는 각성에 대한 정보 및/또는 게임 플레이어(들)에 대한 다른 정보에 대하여 바이오피드백 API(BAPI)(353)에 질의할 수 있다. 그러면, GSB(352)는 질의에 대해 수신된 응답들에 기초하여 비디오 게임 플레이의 상태를 수정할 수 있다. GSB(352)가 BAPI(353)에 제출할 수 있는 질의들의 비제한적이고 철저하지 않은 예들은 이하에서 도 6과 함께 설명된다. 비디오 게임 플레이가 수정될 수 있는 가능한 방식들의 비제한적이고 철저하지 않은 예들은 이하에서 도 7 내지 도 8과 함께 설명된다. 일 실시예에 있어서, GSB(352)는 일반적으로 그것의 액션들 중 적어도 일부를 수행하기 위해 도 5 내지 도 6과 함께 이하에서 설명되는 바와 같은 프로세스들을 이용할 수 있다.
BAPI(353)는, 수신된 바이오피드백 측정치들로부터 다양한 분석을 수행하고 GSB(352)로부터의 다양한 질의들에 대한 응답들을 제공하도록 구성된다. 일 실시예에 있어서, BAPI(353)는, 데이터 분석이 수행되는 것을 가능하게 하거나, 시간 기간에 걸친 감사(auditing)가 수행되는 것을 가능하게 하거나, 이력적 데이터가 수집되고 분석되는 것을 가능하게 하거나, 또는 유사한 것을 가능하게 하기 위하여 수신된 바이오피드백 측정치들을 수집하고 데이터 저장부(356) 내에 저장할 수 있다. 일 실시예에 있어서, BAPI(353)는 실질적으로 실시간으로 수신된 바이오피드백 측정치들에 대하여 적어도 일부 분석을 수행할 수 있다. 즉, 측정치들이 BAPI(353)에 의해 수신되자 마자, 적어도 일부 분석이 측정치들에 대해 수행된다.
언급된 바와 같이, BAPI(353)는, 비제한적으로, 도 1과 함께 이상에서 설명된 것들을 포함하는, 다양하고 상이한 바이오피드백 센서들로부터 바이오피드백 측정치들을 수신할 수 있다. 일 실시예에 있어서, 수신된 측정치들은 심박수 센서, 갈바닉 피부 센서, 또는 유사한 것과 같은 센서 소스로서 식별될 수 있다.
BAPI(353)는, 언급된 바와 같이, 수신된 측정치들에 대하여 분석을 수행할 수 있다. 예를 들어, BAPI(353)는, '원시(raw)' 바이오피드백 측정치들을 수신하고, 측정치들에 기초하여 측정치들로부터 심박을 결정할 수 있다. 다른 실시예에 있어서, BAPI(353)는 연관된 게임 플레이어에 대한 다른 생리학적 정보를 결정하기 위해 하나 이상의 측정치들을 이용할 수 있다. 예를 들어, BAPI(353)는 심장 센서 측정치들로부터 심박수 변동성을 계산할 수 있다. 유사하게, BAPI(353)는, 정의된 시간 기간에 걸쳐 심박수 활동의 표준 편차를 계산하거나, 심박수에서 시간에 걸친 경향을 결정하거나, 및/또는 다른 심장 패턴들을 결정할 수 있다. BAPI(353)는, 예를 들어, 푸리에 변환들, 또는 유사한 분석 기술들을 사용하여, 박동 간격들을 다양한 주파수들로 분해하는 것을 포함하여, 심박수 데이터의 주파수 스펙트럼들을 분석할 수 있다. BAPI(353)는 또한, 비제한적으로, 호흡률, 이완 레벨, 싸움 또는 비행 데이터, 또는 유사한 것을 포함하여, 게임 플레이어에 대한 다른 생리학적 정보를 결정하기 위해 다양한 측정치들을 이용할 수 있다.
BAPI(353)는, 후속 게임 플레이 동안 사용하기 위해 분석의 결과들을 저장하거나 또는 사실상 실시간으로 결과들을 결정하고 이용할 수 있다. BAPI(353)는 추가로, 예컨대 점진적 재교정 활동들을 포함하여, 다양한 재교정 활동들을 수행할 수 있다. 일 실시예에 있어서, 재교정 활동들은 센서들에 대해 수행될 수 있거나, 및/또는 시간에 걸친 생리학적 변화들을 고려하기 위해 수행될 수 있다.
유사하게, BAPI(353)는, 패턴 매칭 또는 유사한 것을 포함하여, 다양한 메커니즘들을 통해, 특정 게임 플레이어, 프로파일, 또는 유사한 것은 인식하기 위해 바이오피드백 측정치들에 기초하여 이력적 데이터를 이용할 수 있다. BAPI(353)는 추가로, 누락 및/또는 손상 바이오피드백 측정치들, 패턴 변환들, 또는 유사한 것과 같은 이러한 활동들에 기초하여, 1명의 게임 플레이어가 센서들로부터 분리되거나 및/또는 다른 게임 플레이어에 의해 교체될 때를 인식할 수 있다.
BAPI(353)는 또한, 수신된 바이오피드백 측정치들을 분석하는 것으로부터 특정 패턴들, 조건들, 또는 유사한 것을 검출하도록 구성될 수 있다. 예를 들어, 일 실시예에 있어서, BAPI(353)는, 예를 들어, 심박수, 혈압, 및/또는 다른 측정치들 사이의 인과적 코히어런스(coherence)에 기초하여, 멀미의 징후를 검출하거나 및/또는 심지어 예측할 수 있다. 그러나, BAPI(353)는 추가로, 게임 플레이를 중단하기 위해 비디오 게임 플레이어 및/또는 GSB(352)로 경고 메시지의 전송을 보장하는 심각성(severity)일 수 있는 다른 상황들을 검출할 수 있다. 그러나, BAPI(353)이 이러한 액션들에 한정되지 않으며, 다른 것들이 또한 수행될 수 있다.
이상에서 언급된 바와 같이, BAPI(353)는 추가로, 수신된 바이오피드백 측정치들의 분석에 기초하여 게임 플레이어의 각성 상태, 감정 상태, 또는 유사한 것에 대한 추론을 생성하도록 구성된다. 이러한 추론들은, 수신된 바와 같은 측정치들에 기초하여, 및/또는 게임 플레이어 및/또는 다른 게임 플레이어들에 대한 이력적 데이터에 기초하여 수행될 수 있다. GSB(352)는, 추론들에 부분적으로 기초하여 하나 이상의 게임 플레이어의 상태 또는 각성에 대한 정보 및/또는 게임 플레이어(들)에 대한 다른 정보에 대하여 BAPI(353)에 질의할 수 있다.
일 실시예에 있어서, GSB(352)는 게임 플레이어의 각성 상태에 대한 정보에 대한 질의 요청을 전송할 수 있다. 이에 응답하여, BAPI(353)는, "행복하다", "슬프다", "스트레스를 받는다", "거짓말한다", "지루하다", "흥분된다", 또는 유사한 것과 같은 질적 응답을 제공할 수 있다. 그러나, 다른 실시예에 있어서, 응답은, 0으로부터 10까지, 또는 유사한 것과 같은 행복의 레벨을 나타내는 양적 응답일 수 있다. 그러나, 본 개시는 이러한 값들 또는 심지어 이러한 예시적인 범위로 한정되지 않으며, 명백하게 다른 값들 및/또는 범위들이 사용될 수 있다. 예를 들어, 행복의 레벨을 나타내는 양적 응답은 또한 문자 등급일 수 있다.
어쨌든, 도 6은, GSB(352)가 BAPI(353)으로 전송할 수 있는 질의들의 비제한적이고 철저하지 않은 예들의 일 실시예를 예시한다. 예를 들어, 예시된 바와 같이, GSB(352)는 게임 플레이어가 "불만족"하는지 여부를 결정하는 것을 추구하는 질의를 전송할 수 있다. 유사하게, GSB(352)는, 게임 플레이어가 "지루한지", "편안한지", "조닝(zoning)하는지"(이는 게임 플레이어가 게임 플레이에 집중하지 않음을 나타냄), 또는 유사한 상태인지 여부를 결정하는 것을 추구하는 질의를 전송할 수 있다. GSB(352)는 또한, 게임 플레이어가 어떤 액션에 "참여하고 있는지" 여부를 질의할 수 있다. 이러한 정보는, 예를 들어, 피부 전도도 레벨들, 심박수 측정치들, 또는 유사한 것에 기초할 수 있다.
GSB(352)는 또한, "심박수 경향을 결정하는 것", (피부 전도도 레벨에 대한) "SCL 경향을 결정하는 것", 또는 유사한 것과 같은 특정 바이오피드백 정보를 추구하는 질의를 전송할 수 있다. GSB(352)는 추가로, "플레이어가 놀랐었다" 또는 유사한 것과 같은 게임 플레이어의 과거 상태에 대한 정보를 추구하는 것을 질의할 수 있다.
도 6에 예시된 바와 같이, GSB(352)는 또한, 다른 정보와 비교된 게임 플레이어의 정보를 제공하기 위한 질의 요청들을 전송할 수 있다. 예를 들어, 도시된 바와 같이, GSB(352)는, 게임 플레이어의 현재 상태와 이전 상태의 비교를 획득하기 위하여, 뿐만 아니라 다른 게임 플레이어들, 기준선, 벤치마크, 또는 유사한 것에 대한 게임 플레이어의 비교를 수행하기 위하여 질의할 수 있다. 도 6이 가능한 질의들의 다수의 예들을 제공하지만, 다른 질의들이 또한 수행될 수 있다는 것이 명백할 것이다. 따라서, 본 개시는 이러한 예들에 한정되지 않는다.
어쨌든, 그런 다음 GSB(352)는 다양한 방식들 중 임의의 방식으로 게임 플레이의 상태를 수정하기 위해 질의들의 결과들을 이용한다. 일 실시예에 있어서, 그리고 본원에서 사용되는 바와 같이, 그런 다음 GSB(352)에 대한 질의의 결과는 바이오피드백 정보 또는 "바이오특성(biocharacteristic)"으로 지칭될 수 있는 결과들 제공할 수 있다. 게임 플레이어의 바이오피드백으로부터 획득된 이러한 바이오특성들을 사용하는 것은 전통적인 게임 플레이보다 더 몰입감 있는 게임 플레이의 경험을 제공하기 위한 것이다. 예를 들어, 게임 플레이의 상태는, 플레이어의 감정 상태의 아바타 모방을 가능하게 함으로써 수정될 수 있다. 예를 들어, 플레이어가 행복하다고 결정된 경우, 플레이어의 아바타는 행복함을 나타내도록 수정될 수 있다. 유사하게, 플레이어가 화난 것으로 결정되는 경우, 게임 상태는, 플레이어가 행복한 것으로 결정되는 경우와는 상이한 게임 플레이 경험들의 세트를 플레이어에게 제공하도록 수정될 수 있다.
추가로, 적어도 일부 실시예에 있어서, 게임 플레이어의 각성 상태와 같은 바이오특성들은 입력 및/또는 입력/출력 사용자 디바이스의 특성을 수정하기 위해 사용될 수 있다. 예를 들어, 조이스틱의 컬러, 조이스틱의 저항의 레벨, 또는 유사한 것이 게임 플레이어의 각성 상태의 결과로서 수정될 수 있다. 유사하게, 일부 다른 입력/출력 사용자 디바이스의 컬러는 심박 레이트, 심박수, 스트레스의 레벨, 지루함, 또는 게임 플레이어의 각성 상태를 나타내는 다른 바이오특성들에 기초하는 강도 및/또는 컬러의 변화 레벨들에 기초하여 변화할 수 있다.
GSB(352) 및 BAPI(353)이 (도 1의 클라이언트 디바이스(101)와 같은) 클라이언트 디바이스로부터 원격의 네트워크 디바이스 내에 상주하는 것으로 예시되지만, 본 개시가 이에 한정되지 않는다는 것을 유의해야 한다. 따라서, 다른 실시예에 있어서, GSB(352) 및/또는 BAPI(353)는 클라이언트 디바이스, 복수의 상이한 클라이언트 디바이스들, 및/또는 하나 이상의 상이한 네트워크 디바이스들에 걸쳐 상주할 수 있다. 유사하게, BAPI(353)는 본 개시의 범위로부터 벗어나지 않고 GSB(352) 내에 상주할 수 있다.
일반화된 동작
이제 본 개시의 특정 측면들의 동작이 설명될 것이다. 도 4는, 비디오 게임의 게임 플레이 상태를 수정하기 위해 게임 플레이어로부터의 바이오피드백 측정들을 이용하는 프로세스의 일 실시예에 대한 순서도를 예시한다. 일 실시예에 있어서, 도 4의 프로세스(400)는 도 3의 GSB(352) 및 BAPI(353)의 조합을 가지고 구현될 수 있다.
도 4의 프로세스(400)는, 시작 블록 이후에, 결정 블록(402)에서 시작하며, 여기에서 바이오피드백 센서들이 연결되는지 여부에 대한 결정이 이루어진다. 이러한 결정은, 클라이언트 디바이스, 게임 서버 애플리케이션, 또는 유사한 것으로부터 수신된 플래그, 스위치, 또는 유사한 것에 기초할 수 있다. 다른 실시예에 있어서, 결정은, 측정치들은 예상된 범위 내에 있는 것으로 결정되는 경우, 하나 이상의 바이오피드백 센서들로부터 바이오피드백 측정치들을 수신하는 것에 기초하여 이루어질 수 있다. 예를 들어, 배경 잡음 측정치들을 나타내는 것으로 나타나는 심박수 센서에 대한 측정치들이 수신되는 경우, 센서에 고장이 있거나 및/또는 달리 연결되지 않았거나 또는 유사한 것이 결정될 수 있다. 어쨌든, 바이오피드백 센서들이 게임 플레이의 상태를 수정하기 위한 목적을 위해 연결되지 않았다고 결정되는 경우, 프로세싱은 블록(420)으로 진행되며; 그렇지 않으면, 프로세싱은 블록(404)으로 진행된다.
블록(420)에서, 다른 사용자 입력들이 수신된다. 이러한 다른 사용자 입력들은, 비제한적으로, 조이스틱, 게임 제어기, 키보드, 마우스 입력들, 오디오 입력들, 또는 유사한 것을 포함할 수 있다. 이러한 입력들은 전형적으로, 바이오피드백 측정 입력들과는 대조적으로, 게임 플레이어의 부분에 대한 자발적인 또는 의식적인 액션의 결과로서 간주된다. 그런 다음, 프로세싱은 블록(422)으로 계속되며, 여기에서 게임 플레이의 상태가 이러한 다른 사용자 입력들에 기초하여 수정된다. 그런 다음, 프로세싱은 결정 블록(416)으로 진행되며, 여기에서 게임 플레이가 계속되는지 여부에 대한 결정이 이루어진다. 게임 플레이가 계속되는 경우, 프로세싱은 결정 블록(402)으로 되돌아가고; 그렇지 않으면, 프로세싱은 블록(418)으로 진행되며, 여기에서 게임 플레이가 종료된다. 그런 다음, 프로세싱은 다른 액션들을 수행하기 위한 호출 프로세스로 복귀한다.
대안적으로, 결정 블록(402)에서, 바이오피드백 센서들인 연결된 것으로 결정되는 경우, 프로세싱은 블록(404)으로 진행되며, 여기에서 하나 이상의 바이오피드백 센서들로부터 바이오피드백 측정치들이 수신된다. 일 실시예에 있어서, 바이오피드백 센서들을 수신하는 것은, 측정치들에 대한 품질 분석을 수행하는 것, 측정치들을 타임 스탬핑하는 것, 바이오피드백 센서 소스를 식별하는 것, 또는 유사한 것을 포함한다. 또한, 이러한 바이오피드백 측정치들을 수신하는 것은, 이상에서 설명된 바와 같이, 네트워크를 통해 측정치들을 바이오피드백 API로 전송하는 것을 포함할 수 있다. 그런 다음, 프로세싱은 블록(406)으로 진행되며, 여기에서, 블록(420)과 함께 설명된 바와 같은 자발적인 또는 의식적인 사용자 입력들을 포함하여 다른 사용자 입력들이 수신된다. 블록들(406 및 408)이 상이한 순서로 발생할 수 있거나 또는 심지어 동시에 수행될 수 있다는 것을 유의해야 한다.
그런 다음, 프로세싱은 블록(408)으로 계속되며, 이는 도 5와 함께 이하에서 더 상세하게 설명된다. 그러나, 간략하게, 이력적 데이터를 생성하기 위해 바이오피드백 측정치들에 대해 분석이 수행되거나, 및/또는 게임 플레이어의 각성 또는 다른 바이오특성들의 상태를 결정하기 위한 다른 분석이 수행된다. 일 실시예에 있어, 블록(408)은, 바이오피드백 측정치들이 수신될 때 실질적으로 실시간으로 수행될 수 있다.
프로세싱은 블록(410)으로 계속되며, 여기에서 게임 애플리케이션(또는 다른 상호작용 애플리케이션)에 의해 그 이전에, 그 동안에, 및/또는 그 이후에 질의가 수행될 수 있다. 이러한 질의들은, 비제한적으로, 도 6과 함께 이상에서 설명된 것들을 포함할 수 있다.
블록(411)으로 계속되어, 게임 플레이의 상태는 조이스틱 입력들, 게임 제어기 입력들, 키보드 입력들, 오디오 입력들, 마우스 입력들, 또는 유사한 것과 같은 이러한 다른 사용자 입력들에 기초하여 수정된다. 그런 다음, 프로세싱은 블록(412)으로 진행되며, 게임 플레이어의 바이오특성을 획득하기 위한 질의의 결과에 기초하여, 게임 플레이의 상태가 수정될 수 있다. 게임 플레이 상태를 수정하는 예들은, 비제한적으로, 게임에서 상대방들의 유형 및/또는 수를 수정하는 것; 게임의 페이스(pace) 또는 템포를 수정하는 것; 게임 이벤트에 대한 시간 제한을 증가시키는 것/감소시키는 것; 전투, 퍼즐, 또는 다른 도전 난이도를 수정하는 것; 게임에서 공급물들, 파워-업 아이템들, 및/또는 아이템들의 다른 측면들의 이용가능성을 수정하는 것; 사운드, 음악, 및/또는 다른 오디오 특징의 볼륨 및/또는 유형을 수정하는 것; 게임의 배경 특징을 포함하여, 게임의 컬러 또는 다른 측면을 수정하는 것; 게임 내의 조명, 날씨 효과들, 및/또는 다른 환경적 측면들을 수정하는 것; 아마도 게임 플레이어를 나타내는 아바타를 수정하는 것을 포함하여 게임 내의 다양한 캐릭터들의 대화를 수정하는 것; 게임 힌트들, 제안들을 제공하는 것 또는 금지하는 것, 애플리케이션의 외관 또는 기능을 수정하는 것, 또는 유사한 것을 포함한다. 예를 들어, 일 실시예에 있어서, 사용자 인터페이스는 다양한 바이오특성들에 기초하여 수정될 수 있다. 유사하게, 튜토리얼들, 지시들, 또는 유사한 것이 또한 표현을 스킵하거나, 표현의 레이트를 감속하거나/가속하거나, 또는 유사한 것에 의해 수정될 수 있다. 질의로부터 결과적인 바이오특성들에 기초하여 게임 상태를 수정하는 다른 방식들이 이용될 수 있다는 것이 당업자에게 자명할 것이다. 그런 다음, 프로세싱은 결정 블록(416)으로 계속되며, 여기에서 이상에서 설명된 바와 같이 게임 플레이가 계속되는지 여부에 대한 결정이 이루어진다.
도 5는, 비디오 게임에서 사용하기 위해 게임 플레이어로부터의 바이오피드백 측정치들의 분석을 수행하는 프로세스의 일 실시예에 대한 순서도를 예시한다. 도 5의 프로세스(500)는, 일 실시예에서, 도 3의 BAPI(353) 내에 구현될 수 있다.
프로세스(500)는, 시작 블록이후에, 블록(502)에서 시작하며, 여기에서 바이오피드백 측정치들이 수신된다. 블록(504)으로 계속되어, 자발적인 또는 의식적인 사용자 입력들과 같은 다른 사용자 입력들이 수신된다. 적어도 하나의 실시예에 있어서, 바이오피드백 측정치들의 분석은 자발적인 또는 의식적인 사용자 입력들로부터 획득된 정보를 이용하거나 또는 이에 의해 보완될 수 있다. 예를 들어, 사용자가 키보드로 특정 명령, 텍스트, 또는 유사한 것을 타이핑하는 경우, 텍스트 또는 명령은 심박수 변동성의 해석 또는 유사한 것을 보완하기 위해 사용될 수 있다. 유사하게, 블록(506)으로 진행되어, 다른 게임 상태 데이터가 선택적으로 수신되고 바이오피드백 측정치들의 분석을 추가로 보조하기 위해 이용될 수 있다. 예를 들어, 이러한 게임 상태 데이터는, 게임이 극도로 어려운 난이도로 게임 플레이어에게 제공되고 있다는 것 또는 유사한 것을 나타낼 수 있다. 그러나, 심박수 측정치들은, 휴식을 취하고 있는 전형적인 성인 남성의 것으로 결정될 수 있다.
따라서, 블록(508)으로 진행되어, 누락 및/또는 손상 데이터가 존재하는지 여부를 결정하기 위해 수신된 바이오피드백 측정치들에 대한 제 1 분석이 수행될 수 있다. 일 실시예에 있어서, 이러한 결정은, 바이오피드백 센서가 고장이 났다는 것, 또는 게임 플레이어가 센서를 제거했다는 것, 또는 유사한 것을 나타낼 수 있다. 일 실시예에 있어서, 제 1 시간 기간 동안 측정치들이 손상되거나 또는 달리 잘못된 것으로 결정되지만, 제 2 시간 기간 동안 손상되지 않거나 또는 잘못이 없는 것으로 발견되는 경우, 수신된 측정치들을 '평활화(smooth)')하기 위해 보간이 수행될 수 있다. 다른 실시예에 있어서, 손상된/잘못된 측정치들과 연관된 센서는 손상된 것으로 마킹되거나 또는 달리 식별될 수 있다. 이러한 경우에 있어서, 일 실시예에서, 마킹된 센서로부터의 측정치들이 무시될 수 있다. 또 다른 실시예에 있어서, 이력적으로 양호한 것으로 알려진 최근 데이터가, 예를 들어, 센서 재-조정 동안의 시간 기간을, 및/또는 데이터의 다른 섭동(perturbance)들을 '브리지(bridge)'하기 위해 손상된/잘못된, 누락된, 또는 유사한 것으로 결정된 데이터를 대체하기 위해 사용될 수 있다.
그런 다음, 프로세싱은 블록(510)으로 진행되며, 여기에서, 게임 플레이어의 각성 상태 및/또는 다른 바이오특성들을 결정하기 위해, 부분적으로, 다른 수신된 데이터를 사용하여 수신된 바이오피드백 측정치들에 대한 제 2 분석이 수행된다. 블록(510) 동안 정보의 조합을 사용하면, 게임 플레이어가 지루하거나, 조닝하거나, 또는 유사한 상태라는 것이 결정될 수 있다. 어쨌든, 블록들(502, 504, 506 및 508)이 다른 순서로 또는 심지어 동시에 수행될 수 있다는 것을 유의해야 한다.
통계적 분석, 패턴 매칭, 또는 유사한 것을 수행하는 것을 포함하여 본원에서 설명되는 다양한 메커니즘들은 게임 플레이어의 바이오특성, 및/또는 다른 생리학적 특성들을 추론하기 위해 사용될 수 있다. 일 실시예에 있어서, 1명 이상의 게임 플레이어들에 대한 이력적 정보는, 게임 플레이어의 각성 상태를 포함하여, 게임 플레이어의 다양한 바이오특성들을 추론하기 위한 분석을 수행하는 것을 돕기 위해 사용될 수 있다.
그런 다음, 프로세싱은 블록(512)으로 진행되며, 여기에서, 일 실시예에서, 추론들, 측정치들, 및/또는 다른 데이터의 적어도 일부는 사용자 프로파일을 업데이트하기 위해 사용될 수 있다. 그런 다음, 프로세싱은 블록(514)으로 진행되며, 여기에서 추론들, 바이오피드백 측정치들, 및/또는 다른 데이터에 기초하여 선택된 우선순위 조건들이 식별될 수 있다. 예를 들어, 일 실시예에 있어서, 게임 플레이어의 측정치들이 게임 플레이어가 아프다고 추론하기 위해 사용될 수 있다고 결정될 수 있는 경우, 이러한 조건은 추가적인 액션들을 위해 식별될 수 있다. 따라서, 프로세싱은 그 다음 결정 블록(516)으로 진행되며, 여기에서 임의의 이러한 우선순위 조건들이 식별되는지 여부에 대한 결정이 이루어진다. 그러한 경우, 프로세싱은 블록(520)으로 진행되며, 여기에서 경고가 게임 플레이어, 관리자, 또는 유사한 사람에게 전송될 수 있다. 일 실시예에 있어서, 게임 플레이가 종료될 수 있다. 그런 다음 프로세싱은 결정 블록(518)으로 진행된다.
그러나, 우선순위 조건이 식별되지 않는 경우, 프로세싱은 결정 블록(518)으로 진행되며, 여기에서 수신된 바이오피드백 측정치들에 대한 분석을 계속 수행할지 여부에 대한 결정이 이루어진다. 그러한 경우, 프로세싱은 블록(502)으로 되돌아가며; 그렇지 않으면, 프로세싱은 호출 프로세스로 복귀할 수 있다.
다음은 게임 플레이어의 상태를 수정하기 위한 바이오피드백 측정치들의 사용을 설명되는 가능한 몇몇 사용 케이스들을 설명한다. 그러나, 본 개시가 이러한 사용 케이스들에 한정되지 않으며 다른 것들이 또한 이용될 수 있다는 것을 유의해야 한다.
언급된 바와 같이, 도 6은, 바이오피드백 측정치들에 대하여 바이오피드백 애플리케이션 프로그래밍 인터페이스(application programming interface; API)를 질의하는데 사용하기 위한 질의들의 철저하지 않고 비제한적인 예의 일 실시예를 예시한다. 본 개시가 도 6에 예시된 이러한 질의 예들에 한정되지 않으며, 다른 것들이 또한 이용될 수 있다는 것을 유의해야 한다. 그러나, 도시된 바와 같이, 비제한적으로, 플레이어의 각성 레벨 및/또는 감정 레벨을 결정하는 것을 포함하여 다양하고 상이한 질의들이 수행될 수 있다. 일 실시예에 있어서, 각성에 관한 특정 질의들은, 플레이어가 "행복하다", "슬프다", "불만족스럽다", "활기차다", (게임 플레이에) "참여한다", "지루하다", "편안하다", 또는 심지어 "조닝한다"를 포함할 수 있다. 질의들은 또한, 플레이어가 어떤 액션을 예상하고 있거나, 놀라거나, 놀랐거나, 또는 유사한 상태로 결정되는지 여부에 대하여 수행될 수 있다. 유사하게, 예를 들어, 심박수 경향, SCL 경향, 또는 어떤 다른 신호 경향을 포함하는 특정 바이오피드백이 획득될 수 있다. 실시예에 있어서, 이에 걸쳐 경향이 결정될 시간 기간이 질의와 함께 제공될 수 있다.
질의들은 이러한 예들에 한정되지 않으며, 다른 질의들은, 플레이어 및/또는 다른 플레이어에 대한 정보를 비교하는 것을 포함할 수 있다. 일 실시예에 있어, 임의적인 질의가 생성될 수 있다. 예를 들어, 바이오피드백 측정치들의 특정 공식, 방정식, 조합, 또는 유사한 것이 제출될 수 있다.
도 7은, 경기장 전투 비디오 게임에서 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 철저하지 않는 비제한적인 예의 일 실시예를 예시한다.
예시된 바와 같이, 도 7의 프로세스(700)는, 시작 블록 이후에 블록(702)에서 시작하며, 여기에서 전투 시나리오를 제공하도록 구성된 컴퓨터 게임이 실행된다. 컴퓨터 게임의 실행은 플레이어를 전투 경기장에 위치시킨다. 즉, 일 실시예에 있어서, 컴퓨터 게임 내에 플레이터를 표현하기 위해 아바타 또는 메커니즘이 이용될 수 있다. 플레이어는 이상에서 설명된 것들과 같은 하나 이상의 바이오피드백 센서들을 이용하고 있다.
따라서, 프로세싱은 블록(704)으로 진행되며, 여기에서, BAPI가 플레이어에 대한 바이오피드백 측정치들의 판독치들의 기준선을 수립할 것을 요청하기 위해 컴퓨터 게임 동안 요청이 이루어질 수 있다. 일 실시예에 있어서, 바이오피드백 측정치들은 심박수 기준선, 피부 전도도 레벨, 또는, 그 후에 플레이어의 각성 상태 또는 바이오특성을 결정하기 위해 분석될 수 있는 다른 바이오피드백 측정치들을 포함할 수 있다.
그런 다음, 프로세싱은 블록(706)으로 진행되며, 여기에서 플레이어와의 전투를 위해 적이 경기장 내로 도입된다. 일 실시예에 있어서, 적의 선택은 결정된 기준선 각성 상태에 기초한다. 일 실시예에 있어서, 기준선은, 이러한 플레이어가, 그 플레이어가 이러한 게임 또는 유사한 게임을 이전에 플레이했음을 나타내는 사용자 프로파일과 연관되는지 여부를 검출하기 위해 사용될 수 있다. 사용자 프로파일에 기초하여, 적은 또한, 플레이어를 지루하게 하거나 또는 불만스럽게 하지 않고 플레이어들에게 충분하게 도전이 되도록 결정된 레벨로 선택될 수 있다.
프로세싱은 다음으로 블록(708)로 이동하며, 여기에서 플레이어와 제공된 게임 적 사이에 전투가 플레이된다. 전투가 플레이됨에 따라, 다양한 바이오피드백 측정치들이 수집되거나, 기록되거나, 및/또는 분석된다.
일 실시예에 있어서, 그런 다음, 프로세싱은 결정 블록(710)으로 진행되며, 여기에서 전투가 해결되었는지 여부에 대한 결정이 이루어진다. 즉, 플레이어 또는 게임 적이 이겼는가? 전투가 해결된 경우, 프로세싱은 결정 블록(712)으로 진행될 수 있거나; 그렇지 않으면, 프로세싱은 블록(708)으로 되돌아갈 수 있다.
결정 블록(712)에서, 플레이어가 게임 적을 물리쳤는지 여부에 대한 결정이 이루어진다. 그러한 경우, 프로세싱은 블록(714)으로 진행되며; 그렇지 않으면, 프로세싱은 블록(722)으로 진행된다.
다른 실시예에 있어서, 결정 블록(710)이 제거될 수 있으며, 그 결과 동일한 전투 동안 결정이 이루어질 수 있다는 것을 유의해야 한다. 즉, 결정 블록(712)은 결정 블록(710)이 삭제된 상태로 수정될 수 있으며, 그 결과 플레이어가 게임 적을 물리쳤는지 또는 이에 대하여 이겼는지 여부에 대한 결정이 이루어진다. 이러한 방식으로, 게임 상태에 대한 변화들이 동일한 게임 전투를 동적으로 수정할 수 있다.
어쨌든, 블록(722)에서, 블록(708)의 전투 동안 획득되는 바이오피드백 측정치들을 분석하기 위한 질의가 BAPI에 제공될 수 있다. 일 실시예에 있어서, 분석은, 블록(704)로부터의 플레이어에 대한 기준선으로부터 결정된 각성 상태에 대한 블록(708) 동안의 각성 상태의 비교를 포함할 수 있다.
그런 다음, 프로세싱은 결정 블록(724)으로 진행되며, 여기에서 플레이어가 전투 동안 낮은 각성 상태를 가졌는지 여부에 대한 결정이 이루어진다. 이러한 결정은, 블록(722)에서의 비교로부터의 차이가 정의된 임계 값 이상인지 여부에 기초할 수 있다. 다른 실시예에 있어서, 통계적 분석은, 어떤 신뢰도 레벨 내에서, 플레이어가 통계적으로 상당히 흥분되었다고 결정되는지 여부를 결정하기 위해 수행될 수 있다. 어쨌든, 플레이어가 흥분하고 있는 것으로 결정되는 경우, 프로세싱은 블록(728)으로 진행되며, 여기에서 이전의 적과 유사한 파워 레벨 또는 난이도를 갖는 다른 적이 게임에 도입될 수 있다. 그런 다음 프로세싱은 블록(708)으로 진행된다.
그러나, 각성 상태가 통계적으로 상당하지 않은 것으로 결정되는 경우 또는 어떤 임계 값 이하로 결정되는 경우, 프로세싱은 블록(726)으로 진행되며, 여기에서 이전의 적보다 덜 강력한 적이 도입된다. 그런 다음 프로세싱은 블록(708)으로 진행된다.
그러나, 결정 블록(712)에서, 플레이어가 패배했거나 또는 패배하고 있다고 결정되는 경우, 프로세싱은 블록(714)으로 진행되며, 여기에서 블록(722)과 실질적으로 유사한 질의가 수행된다. 계속해서, 결정 블록(716)에서, 플레이어의 각성 상태가 결정 블록(724)의 결정과 실질적으로 유사하게 낮은지 여부에 대한 결정이 이루어진다. 각성 상태가 낮은 경우, 프로세싱은 블록(718)으로 진행되며; 그렇지 않으면, 프로세싱은 블록(720)으로 진행된다.
블록(718)에서, 이전의 적보다 더 강력한 적이 도입된다. 그런 다음 프로세싱은 블록(708)으로 되돌아온다. 블록(720)에서, 이전의 적과 유사한 파워를 갖는 적이 도입될 수 있다. 그런 다음, 프로세싱은 또한 블록(708)으로 되돌아온다.
명백하게, 프로세스(700)가 동일한 전투가 계속되는 동안 적의 파워를 동적으로 수정하기 위해 수정되는 경우, 적의 교환은, 예를 들어, 단지 현재 적으로부터 어떤 파워를 향상시키거나 또는 감소시키는 것, 추가적인 적들을 도입하거나 및/또는 제거하는 것, 또는 유사한 것을 포함하여 몇몇 형태들을 취할 수 있다.
도 8은, 게임 플레이 상태를 수정하는데 사용하기 위하여 바이오피드백 측정치들을 사용하는 다른 철저하지 않는 비제한적인 예의 다른 실시예를 예시한다. 도 8의 프로세스(800)에서, 예시되는 게임은 우주 비디오 게임이다. 이러한 예시적인 게임에서, 플레이어는 그들의 공기 소비를 제어하려고 시도함으로써 산소의 양을 보존하려고 시도하는 도전을 받는다. 예를 들어, 게임은, 플레이어를 5 분과 같은 주어진 시간 기간 내에 이들이 구조되어야 하는 상황에 도입할 수 있다. 그러나, 플레이어의 우주복은, 초 당 산소의 1 단위라는 미리 정의된 "정규" 소비율로 소비되는 경우 6분 분량의 산소만을 포함하고 있다. 그런 다음, 플레이어는, 플레이어의 바이오피드백 측정치들에 기초하여 수정될 수 있는 다양한 상황들에 도입될 수 있다. 따라서, 일 실시예에 있어서, 게임 상태는 게임을 더 복잡하게 또는 덜 복잡하게 만들기 위해 수정될 수 있으며, 이는, 플레이어의 바이오피드백 측정치들에 기초하여 플레이어가 수행해야 할 더 많은 활동들을 도입하거나 또는 활동들의 수를 감소시킨다. 게임 플레이 동안, 플레이어는 그들의 산소 소비를 관리할 것으로 추가로 예상된다. 따라서, 플레이어는, 일 실시예에서, 적에 대한 전투, 퍼즐을 해결하는 것, 또는 다른 문제, 또는 유사한 것과 같은 비디오 게임 내에서 다양한 스트레스 작업들을 처리하면서, 생리학적 각성의 감소된 레벨-이는 비디오 게임 아바타에 의한 산소의 소비와 연관될 수 있음-를 유지하려고 시도함으로써 그들의 공기 소비를 제어하도록 도전을 받을 수 있다.
도시된 바와 같이, 이러한 실시예에 있어서, 그러면, 프로세스(800)는 시작 블록 이후에 블록(804)에서 시작하며, 여기에서, 예를 들어, 게임에 대한 시간, 산소 레벨, 소비 레이트, 및 유사한 것을 포함하는 다양한 게임 변수들이 설정될 수 있다. 다음으로 블록(806)으로 진행되어, 지시들, 또는 유사한 정보, 또는 유사한 것이 플레이어에게 디스플레이될 수 있다. 지시들 또는 유사한 것의 디스플레이 동안, 다양한 바이오피드백 측정치들이 플레이어에 대한 기준선을 결정하기 위해 수신되고 분석될 수 있다. 예를 들어, 일 실시예에 있어서, 바이오피드백 측정치들은 플레이어에 대한 심박수 측정치를 포함할 수 있다.
프로세싱은 블록(808)으로 계속되며, 여기에서 어떤 시간의 기간 동안 플레이어에 대한 평균 박동수를 결정하기 위해 BAPI가 질의될 수 있다. 도 8에 도시된 바와 같이, 하나의 시간의 기간은 30 초이다. 그러나, 명백할 바와 같이, 게인 시간 기간들뿐만 아니라 다른 파라미터들은 단지 예시를 위한 것이며, 다른 값들이 사용될 수 있다. 어쨌든, 그런 다음 질의의 결과가 기준선 심박수로서 사용될 수 있다.
프로세싱은 다음으로 블록(812)으로 진행되며, 여기에서 게임 플레이가 시작될 수 있다. 블록(814)으로 계속되어, 플레이어는, 플레이를 움직이거나, 전투를 수행하거나, 음악은 연주하거나, 및/또는 달리 아이템들을 수리하거나, 다른 플레이어들과 대화하거나, 또는 유사한 것을 포함할 수 있는 다양한 플레이의 게임 상태들로 도입된다. 블록(816)으로 진행되어, 게임 플레이 동안, 게임은 추가적인 심박수 측정치들을 수집하기 위하여 추가적인 질의 요청들을 수행한다. 그런 다음, 평균 심박수는 게임 플레이의 가장 최근 10 초와 같은 어떤 시간의 기간에 걸쳐 결정될 수 있다. 블록(818)으로 계속되어, 산소의 소비율은, 추가로, 바이오피드백 측정치들에 기초하여 플레이어가 산소를 소비하는 것으로 결정된 레이트에 기초하여 결정될 수 있다. 일 실시예에 있어서, 산소 소비는 플레이어의 현재 심박수 대 플레이어에 대한 평균 기준선 심박수의 비율로부터 도출되거나 또는 달리 추론될 수 있다.
블록(820)으로 계속되어, 게임 플레이에 대한 시간이 감분된다. 블록(822)으로 계속되어, 남아 있는 산소의 양이 플레이어의 결정된 소비율에 기초하여 결정된다. 결정 블록(824)으로 이동하여, 산소가 더 남아 있는지 여부에 대한 결정이 이루어질 수 있다. 그러한 경우, 프로세싱은 결정 블록(828)으로 진행되며; 그렇지 않으면, 프로세싱은 블록(826)으로 진행된다.
블록(826)에서, 플레이어의 캐릭터가 산소를 다 썼으며, 따라서 질식으로 죽었다는 것이 결정된다. 그런 다음, 게임이 종료되고 호출 프로세스로 복귀할 수 있다. 대안적으로, 결정 블록(828)에서, 게임 내의 남은 시간이 0인지 여부에 대한 결정이 이루어진다. 그러한 경우, 게임이 종료된 것으로 결정되고, 플레이어의 캐릭터가 블록(830)에서 생존한 것으로 결정된다. 그런 다음, 프로세싱이 복귀한다. 그러나, 시간이 더 남아 있는 경우, 프로세싱은 블록(814)으로 되돌아가서 게임을 계속한다.
순서도 예시의 각각의 블록, 및 순서도 예시들 내의 블록들의 조합들이 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 것이다. 이러한 프로그램 명령어들은 머신을 생성하기 위한 프로세서에 제공될 수 있으며, 그 결과 프로세서 상에서 실행되는 명령어들이 순서도 블록 또는 블록도에 지정된 액션들을 수행하기 위한 수단을 생성한다. 컴퓨터 프로그램 명령어들은, 프로세서 상에서 실행될 때 순서도 블록 또는 블록들에 지정된 액션들을 구현하기 위한 단계들을 제공하도록 컴퓨터 구현형 프로세스를 생성하기 위해 일련의 동작 단계들이 프로세서에 의해 실행되게끔 하기 위하여 프로세서에 의해 실행될 수 있다.
따라서, 순서도 예시의 블록들은, 지정된 액션들을 수행하기 위한 수단의 조합들, 지정된 액션들을 수행하기 위한 단계들의 조합들 및 지정된 액션들을 수행하기 위한 프로그램 명령어 수단을 지원한다. 흐름도 예시의 각각의 블록, 및 흐름도 예시의 블록들의 조합들이 지정된 액션들 또는 단계들을 수행하는 특수 목적 하드웨어-기반 컴퓨터 시스템들 또는 특수 목적 하드웨어 및 컴퓨터 명령어들의 조합들에 의해 구현될 수 있다는 것이 또한 이해될 것이다.
이상의 게임 예들로부터 보일 수 있는 바와 같이, 바이오피드백 측정치들은 게임 플레이의 상태를 수정하기 위해 다양한 방식들로 사용될 수 있다. 그러나, 변형예들이 이상에서 설명된 것들로 한정되지 않는다. 예를 들어, 이상의 게임들에 대한 변형예에 있어서, 바이오피드백 측정치들은 게임에 대한 입력을 제어하기 위해 사용될 수 있다. 예를 들어, 큰 크리처(creature)가 게임 플레이어의 캐릭터를 사냥하는 경우, 플레이어는 그들의 위치들을 크리처에게 알리는 것을 회피하기 위해 그들의 스트레스레벨을 유지하거나 또는 감소시킬 것으로 예상될 수 있다. 유사한 게임에서, 플레이어는 위협으로부터 탈출하기 위해 수갑 또는 다른 제약구들을 풀기 위해 또는 잠긴 문을 부수기 위하여 날카로운 생리학적 각성을 보일 것이 요구될 수 있다.
다른 게임 시나리오에서, 사용자에게 쿠키를 주는 작은 엘프 캐리터들은 오직 플레이어가 침착할 때에만 나타나며, 사용자가 침착하지 않은 것으로 결정되는 경우 사라진다. 쿠키들(또는 다른 보상)을 희망하는 플레이어는 캐릭터들을 끌어당기기 위해 평온한 상태를 달성해야 한다. 또 다른 게임 시나리오에서, 숲 모험에서, 플레이어가 각성의 특정 생리학적 상태에 있다고 결정될 때 무성하고 푸른 나무들을 가지고 화창할 수 있다. 플레이어가 그 상태로부터 벗어남에 따라, 하늘이 어두워질 수 있으며, 나무들이 시들거나 및/또는 어두워질 수 있고, 및/또는 다양한 컬러들, 음악, 및/또는 다른 사운드들이 변화할 수 있다. 따라서, 게임 내의 다양한 배경 측면들이 플레이어의 바이오피드백 측정치들에 기초하여 동적으로 수정될 수 있다.
유사하게, 플레이어로부터의 바이오피드백 측정치들에 기초하여, 다양한 비-플레이어 캐릭터들은, 사용자의 추론된 각성 상태 또는 다른 바이오특성들에 대하여 직접적으로 언급하는 것을 포함하여, 대화 선택들을 하고, 그들의 디스플레이를 변화시킬 수 있는 등이다.
또 다른 예들에 있어서, 사용자의 아바타는 가시적인 심장, 뇌, 또는 다른 신체 측면을 보여줄 수 있으며, 이는 바이오피드백 측정치들에 기초하여 수정될 수 있다. 예를 들어, 심장은 지루함, 분노, 행복, 또는 유사한 것을 보여주기 위해 컬러가 변화할 수 있다. 유사하게, 심장은 플레이어의 심박수와 일치하여 박동할 수 있다. 또 다른 실시예에 있어서, 아바타의 심박수는, 플레이어가 평온해지도록 지시하는 것을 시도하기 위해 플레이의 심박수보다 약간 더 느리게 수정될 수 있다. 아바타의 표정들이 또한, 웃음, 찌푸림, 분노, 또는 유산하 것을 보여주는 것을 포함하여, 추론된 플레이어의 각성 상태의 결과로서 변화할 수 있다.
이에 더하여, 사용자 인터페이스 디바이스 스크린 디스플레이 또는 유사한 것은 플레이어의 추론된 각성 상태에 기초하여 수정될 수 있다. 따라서, 플레이어가 스트레스를 받고 있는 것으로 결정되는 경우, 사용자 인터페이스는, 이들이 게임 플레이에서 경험하고 있는 문제에 대한 해법에 대하여 플레이어를 가이드하기 위한 도움 특징을 디스플레이할 수 있다. 바이오피드백 측정치들이 게임 플레이의 상태를 수정할 수 있는 다수의 다른 방식들이 여전히 존재한다. 따라서, 언급된 바와 같이, 본 개시는 이상에서 설명된 것들에 한정되지 않는다.
도 9는, 비디오 게임에서 사용하기 위해 게임 플레이어로부터 응시 위치를 나타내는 바이오피드백 측정치들의 분석을 수행하고, 바이오피드백 측정치들의 분석에 응답하여 이러한 비디오 게임을 수정하거나 또는 증강하는 프로세스의 일 실시예에 대한 순서도를 예시한다. 프로세스(900)는, 일 실시예에서, 하나 이상의 컴퓨팅 디바이스들 내에 예컨대 각기 일반적으로 "비디오 게임 디바이스들"로 지칭되는 도 2 및 도 3의 디바이스들(200 및 300) 중 하나 또는 둘 모두 내에 구현될 수 있다.
프로세스(900)는 시작 블록 이후에 블록(902)에서 시작하며, 여기에서 비디오 게임 디바이스는 비디오 게임에 대한 기능을 제공하는 사용자 인터페이스를 통해 게임 플레이를 비디오 게임 플레이어에게 제공한다. 블록(904)에서, 비디오 게임 디바이스는, 비디오 게임 플레이어가 비디오 게임을 플레이하고 있는 동안 하나 이상의 물리적 바이오피드백 센서들로부터 비디오 게임 플레이어에 대한 바이오피드백 측정치들을 수신한다. 하나 이상의 바이오피드백 센서들은, 플레이어가 비디오 게임을 플레이하는 동안 비디오 게임 플레이어의 눈들 중 하나 또는 둘 모두의 안구 추적을 수행하도록 동작할 수 있다. 하나 이상의 물리적 바이오피드백 센서들은 적어도 하나의 광학적 센서, 예컨대 머리-착용형 디바이스(예를 들어, 머리-착용형 디스플레이 디바이스)에 결합된 하나 이상의 광학적 센서들(예를 들어, IR 센서, 비디오 카메라)을 포함할 수 있다. 적어도 일부 구현예들에 있어서, 하나 이상의 물리적 바이오피드백 센서들은 적어도 하나의 적외선 광원 및 적어도 하나의 적외선 광 센서를 포함할 수 있다.
블록(906)에서, 비디오 게임 디바이스는 비디오 게임의 게임 플레이 동안 비디오 게임 플레이어의 응시 지점을 추적하기 위해 바이오피드백 측정치들을 프로세싱한다. 일 예로서, 바이오피드백 측정치들은, 사용자가 비디오 게임을 플레이할 때 비디오 게임 플레이어가 보고 있는 비디오 게임의 디스플레이 상의 위치를 결정하기 위해 사용될 수 있다.
본원에서 사용되는 바와 같은, 통계적 분석을 수행하는 것, 패턴 매칭, 하나 이상의 모델들을 사용하는 것, 또는 유사한 것을 포함하는 다양한 메커니즘들은 응시 위치를 결정하기 위해 사용될 수 있다. 일 실시예에 있어서, 1명 이상의 게임 플레이어들에 대한 이력적 정보는, 응시 위치 기능을 수행하는 것을 돕기 위해 사용될 수 있다.
908에서, 비디오 게임 디바이스는 적어도 부분적으로 비디오 게임 플레이어의 추적된 응시 지점에 기초하여 비디오 게임의 게임 플레이를 동적으로 수정하거나 또는 증강한다. 일 예로서, 비디오 게임 디바이스는, 비디오 게임 플레이어가 현재 응시하고 있지 않은 영역 내에 캐릭터 또는 다른 물체가 나타나게끔 할 수 있으며, 이는 비디오 게임 플레이어에 대하여 놀라운 엘리먼트를 생성할 수 있다. 다른 예로서, 비디오 게임 디바이스는, 비디오 게임 플레이어가 현재 응사하고 있는 영역 내에 캐릭터 또는 다른 물체가 나타나게끔 할 수 있으며, 이는 비디오 게임 플레이어가 이동하기를 의도하는 경로 내에 이러한 물체가 나타나게끔 할 수 있다.
적어도 일부 구현예들에 있어서, 비디오 게임 디바이스는 추적된 응시 위치에 기초하여 힌트 또는 다른 지원이 비디오 게임 플레이어에게 제공되게끔 할 수 있다. 예를 들어, 비디오 게임 플레이어가 연장된 시간 기간 동안 문 또는 벽을 응시하고 있는 경우, 비디오 게임 디바이스는 비디오 게임을 진행하기 위한 방법에 관한 힌트를 제공하기 위해 시각적 및/또는 청각적 통지를 비디오 게임 플레이어에게 제공할 수 있다. 예를 들어, 비디오 게임 디바이스는, 추적된 응시 위치에 기초하여 플레이어가 길을 잃었다는 것을 인식할 때 플레이어에게 맵 또는 이동 방향을 제공할 수 있다.
다른 예로서, 비디오 게임 디바이스는, 추적된 응시 위치에 기초하여 튜토리얼이 비디오 게임 플레이어에게 제시되게끔 할 수 있다. 예를 들어, 비디오 게임 플레이어는, 비디오 게임 플레이어가 도움을 필요로 한다는 것을 결정하기 위해 소정의 패턴으로 디스플레이를 응시할 수 있다. 이러한 패턴을 검출하는 것에 응답하여, 비디오 게임 디바이스는, 플레이어가 비디오 게임을 플레이하거나 또는 비디오 게임을 진행하기 위한 방식을 학습하는 것을 돕기 위하여 비디오 게임 플레이어에게 튜토리얼 또는 다른 도움을 제시할 수 있다.
도 10는, 비디오 게임에서 사용하기 위해 게임 플레이어로부터 바이오피드백 측정치들의 분석을 수행하고, 바이오피드백 측정치들의 분석에 응답하여 비디오 게임 플레이어의 다음 움직임을 결정하는 프로세스의 일 실시예에 대한 순서도를 예시한다. 프로세스(1000)는, 일 실시예에서, 예를 들어, 각기 도 2 및 도 3의 디바이스들(200 및 300) 중 하나 또는 둘 모두 내에 구현될 수 있다.
프로세스(1000)는 시작 블록 이후에 블록(1002)에서 시작하며, 여기에서 비디오 게임 디바이스는 비디오 게임에 대한 기능을 제공하는 사용자 인터페이스를 통해 게임 플레이를 비디오 게임 플레이어에게 제공한다. 1004에서, 비디오 게임 디바이스는, 비디오 게임 플레이어가 비디오 게임을 플레이하고 있는 동안 하나 이상의 물리적 바이오피드백 센서들로부터 비디오 게임 플레이어에 대한 바이오피드백 측정치들을 수신한다. 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 뇌파검사(EEG) 전극들을 포함할 수 있으며, 바이오피드백 측정치들은 EEG 신호들을 포함할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 전극들을 포함할 수 있으며, 바이오피드백 측정치들은 신경 신호들을 포함할 수 있다. 이러한 경우들에 있어서, 하나 이상의 전극들은 비디오 게임 플레이어의 목, 등, 가슴, 어깨, 팔, 손목, 손, 등 상에 위치될 수 있다. 비제한적인 예들로서, 바이오피드백 측정치들은, 신경 신호들, EEG 신호들, EMG 신호들, EOG 신호들, fNIR 신호들, (IR 카메라로부터의) 혈류를 나타내는 신호들, 기능적 근적외선 분광(functional near-infrared spectroscopy; fNIR) 분광검사 신호들, 힘-감지 저항기(force-sensitive resistor; FSR) 신호들, 표정 검출 신호들, 동공 확장 표시 신호들, 안구 움직임 신호들, 제스처 모션 신호들, 등 중 하나 이상의 포함할 수 있다.
1006에서, 비디오 게임 디바이스는 비디오 게임의 게임 플레이 동안 비디오 게임 플레이어의 다음 또는 곧 있을 움직임을 결정하기 위해 바이오피드백 측정치들을 분석한다. 분석은, 하나 이상의 신경망들을 사용하는 하나 이상의 모델들과 같은 하나 이상의 학습된 또는 트레이닝된 모델들을 사용하는 것을 포함할 수 있다. 예를 들어, 비디오 게임 디바이스는, 수신된 바이오피드백 측정치들에 기초하여, 비디오 게임 플레이어가 마우스, 키보드, 핸드-헬드 제어기와 같은 비디오 게임 디바이스의 입력 디바이스로 입력을 제공할 것이라고 결정할 수 있다. 입력은 버튼, 키, 휠, 트리거, 또는 입력 디바이스의 다른 입력을 작동시키는 것일 수 있다. 다음 움직임은 또한 입력 디바이스(예를 들어, 제어기)를 물리적으로 움직이는 것일 수 있다. 일부 구현예들에 있어서, 다음 움직임은 비디오 게임 플레이어의 물리적인 움직임, 예컨대, 팔을 움직이는 것, 다리를 움직이는 것, 제스처를 취하는 것, 일어서는 것, 앉는 것, 표정을 변화시키는 것, 응시 위치를 변화시키는 것, 또는 임의의 다른 물리적인 움직임일 수 있다.
1008에서, 비디오 게임 디바이스는 비디오 게임 플레이어의 결정된 다음 움직임에 의해 초래될 액션을 개시한다. 적어도 일부 구현예들에 있어서, 비디오 게임 디바이스는, 다음 움직임은 비디오 게임 디바이스에 의해 예상되도록 비디오 게임 플레이어가 다음 움직임을 시작하기 이전에 액션을 개시할 수 있다. 예를 들어, 비디오 게임 디바이스는, 비디오 게임 플레이어가 마우스 버튼을 클릭할 것임을 결정하기 위해 바이오피드백 신호들(예를 들어, 신경 신호들, EEG 신호들)을 분석할 수 있다. 이러한 결정에 응답하여, 비디오 게임 디바이스는, 비디오 게임 플레이어가 실제로 마우스 버튼을 클릭하기 이전에 마우스 클릭을 개시할 수 있으며, 그럼으로써 이전에 가능했던 것보다 훨씬 더 빠른 반응 시간을 제공한다. 다른 예로서, 비디오 게임 디바이스는 바이오피드백 신호들에 기초하여 비디오 게임 플레이어가 움직일 것임을 검출할 수 있으며, 비디오 게임 디바이스는 비디오 게임 플레이어가 실제로 움직이기 이전에 물체(예를 들어, 게임 플레이어에 대응하는 캐릭터, 가상 무기)가 움직이게끔 할 수 있다. 이러한 특징들은, 비디오 게임 플레이어가 움직일 것을 결정하는 것과 실제 움직임의 발생 사이에 존재하는 레이턴시(latency)를 감소시킨다.
적어도 일부 구현예들에 있어서, 비디오 게임 디바이스는, 비디오 게임 플레이어가 실제로 결정된 다음 움직임을 수행하였는지 여부의 표시를 수신할 수 있다. 예를 들어, 비디오 게임 디바이스는, 플레이어가 실제로 마우스 버튼을 클릭했는지 여부의 표시를 수신할 수 있다. 비디오 게임 플레이어가 다음 움직임을 수행하지 않았다는 표시의 수신에 응답하여, 비디오 게임 디바이스는 정확하지 않게 예상된 움직임의 영향을 "되돌리거나" 또는 최소화하기 위해 개시된 액션(예를 들어, 마우스 클릭, 캐릭터의 움직임, 등)을 수정하거나 또는 역전(reverse)시킬 수 있다.
도 10의 프로세스(1000)가 비디오 게임의 맥락에서 설명되지만, 본 개시가 이에 한정되지 않는다는 것이 이해되어야 한다. 일반적으로, 본원에서 논의되는 특징들은, 사용자가 컴퓨팅 디바이스의 사용자 인터페이스와 상호작용하는 다양한 애플리케이션들과 같은 다수의 애플리케이션들에서 사용될 수 있다.
도 11은, 사용자 움직임들을 예상하도록 동작할 수 있는 모델을 업데이트하거나 또는 트레이닝시키기 위해 사용자로부터의 바이오피드백 측정치들의 분석을 수행하는 프로세스의 일 실시예에 대한 순서도를 예시한다. 프로세스(1100)는, 예를 들어, 각기 도 2 및 도 3의 디바이스들(200 및 300)과 같은 컴퓨팅 디바이스에 의해 구현될 수 있다.
프로세스(1100)는 시작 블록 이후에 블록(1102)에서 시작하며, 여기에서 컴퓨팅 디바이스는 사용자에게 사용자 인터페이스를 제공한다. 사용자 인터페이스는 마우스, 키보드, 제어기, 마이크, 비디오 카메라, 등과 같은 하나 이상의 입력 디바이스들을 포함할 수 있다.
블록(1104)에서, 컴퓨팅 디바이스는, 사용자가 사용자 인터페이스와 상호작용하고 있는 동안 하나 이상의 물리적 바이오피드백 센서들로부터 사용자에 대한 바이오피드백 측정치들을 수신한다. 이상에서 논의된 바와 같이, 하나 이상의 물리적 바이오피드백 센서들은, 신경 신호들을 측정하는 하나 이상의 전극들 또는 EEG 신호들을 획득하는 하나 이상의 EEG 전극들을 포함할 수 있다. 하나 이상의 전극들은 비디오 게임 플레이어의 목, 등, 가슴, 어깨, 팔, 손목, 손, 등 상에 위치될 수 있다. 일반적으로, 바이오피드백 측정치들은, 신경 신호들, EEG 신호들, EMG 신호들, EOG 신호들, fNIR 신호들, (IR 카메라로부터의) 혈류를 나타내는 신호들, 기능적 근적외선 분광(functional near-infrared spectroscopy; fNIR) 분광검사 신호들, 힘-감지 저항기(force-sensitive resistor; FSR) 신호들, 표정 검출 신호들, 동공 확장 표시 신호들, 안구 움직임 신호들, 제스처 모션 신호들, 등 중 하나 이상의 포함할 수 있다.
1106에서, 컴퓨팅 디바이스는, 사용자에 의한 하나 이상의 입력 디바이스와의 상호작용을 예상하기 위해 하나 이상의 학습된 모델들에 기초하여 바이오피드백 측정치들을 분석할 수 있다. 학습된 또는 트레이닝된 모델들은, 예를 들어, 하나 이상의 신경망들을 사용하는 하나 이상의 모델들을 포함할 수 있다. 예를 들어, 비디오 게임 디바이스는, 수신된 바이오피드백 측정치들에 기초하여, 비디오 게임 플레이어가 마우스, 키보드, 핸드-헬드 제어기와 같은 비디오 게임 디바이스의 입력 디바이스로 입력을 제공할 것이라고 결정할 수 있다. 입력은 버튼, 키, 휠, 트리거, 또는 입력 디바이스의 다른 입력을 작동시키는 것일 수 있다. 다음 움직임은 또한 입력 디바이스(예를 들어, 제어기)를 물리적으로 움직이는 것일 수 있다. 일부 구현예들에 있어서, 다음 움직임은 비디오 게임 플레이어의 물리적인 움직임, 예컨대, 팔을 움직이는 것, 다리를 움직이는 것, 제스처를 취하는 것, 일어서는 것, 앉는 것, 표정을 변화시키는 것, 응시 위치를 변화시키는 것, 또는 임의의 다른 물리적인 움직임일 수 있다.
1108에서, 컴퓨팅 디바이스는, 사용자가 실제로 예상된 바와 같이 적어도 하나의 입력 디바이스와 상호작용했는지 여부를 검출할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 컴퓨팅 디바이스가 이러한 것을 예상했을 때 사용자가 실제로 마우스 클릭을 수행했는지 여부를 결정할 수 있다.
1110에서, 컴퓨팅 디바이스는, 사용자가 실제로 예상된 바와 같이 적어도 하나의 입력 디바이스와 상호작용했는지 여부의 결정에 기초하여 학습된 모델을 업데이트할 수 있다. 다시 말해서, 컴퓨팅 디바이스는, 사용자 또는 다른 사용자들의 장래 움직임들을 예상하기 위한 모델의 능력을 업데이트(예를 들어, 수정, 트레이닝, 재-트레이닝)하거나 또는 달리 개선하기 위해 지도 학습 프로세스에서 사용될 수 있는 새로운 라벨링된 샘플들을 제공하기 위해 피드백을 사용할 수 있다.
도 12는, 본원에서 설명되는 프로세스들 중 임의의 것과 같은 본 개시의 하나 이상의 특징들이 실시될 수 있는 시스템(1200)의 일 실시예의 개괄을 전반적으로 도시하는 개략도를 예시한다. 시스템(1200)은 도 12에 도시된 것들보다 더 적거나 또는 더 많은 컴포넌트들을 포함할 수 있다. 도 12에 도시된 바와 같이, 시스템(1200)은 사용자(1202)에 의해 동작되는 클라이언트 컴퓨팅 디바이스(1204)를 포함한다. 클라이언트 컴퓨팅 디바이스는 도 1의 클라이언트 디바이스(101)와 유사하거나 또는 동일할 수 있다. 도 12에 도시되지 않았지만, 시스템(1200)은 또한, 도 1의 시스템(100)에 도시된 바와 같은, 하나 이상의 유선 또는 무선 네트워크들, 하나 이상의 게이밍 서버 디바이스들, 등을 포함할 수 있다는 것이 이해되어야 한다.
클라이언트 디바이스(1204)는, 다양한 바이오피드백 센서들(1208)로부터 메시지들, 신호들, 이미지들, 및/또는 다른 바이오피드백 측정치들을 수신하도록 구성될 수 있다. 사용자(1202)에게 연결되거나 또는 연결되지 않을 수 있으며, 전통적인 물리적 게임 제어기들을 대체하거나, 및/또는 달리 증강할 수 있는 가능한 물리적 바이오피드백 센서들(1208)의 비제한적이고 철저하지 않은 예들이 도 12에 예시된다. 예시된 실시예에 있어서, 바이오피드백 센서들(1208)은, EEG 신호들 또는 다른 신호들을 측정하기 위해 사용될 수 있는 머리-착용형 바이오피드백 센서(1208c)를 포함한다. 시스템(1200)은 대안적으로 또는 추가적으로 센서들(1208a 또는 1208b)을 포함할 수 있으며, 이들은, 사용자(1202)의 등, 어깨, 팔, 손목, 손, 손가락 등에 위치될 수 있는 하나 이상의 전극들을 포함할 수 있고 사용자의 움직임을 예상하기 위해 신경 신호들을 측정하도록 동작할 수 있다. 바이오피드백 센서들(1208)은 게임 제어기, 하나 이상의 키들, 휠들, 또는 유사한 것 내에 또는 키보드 상에 통합될 수 있다. 일 실시예에 있어서, 게임 제어기는, 모듈식 및/또는 플러그가능 센서들을 포함할 수 있는 모듈식 및/또는 플러그가능 컴포넌트들을 포함할 수 있다.
바이오피드백 센서들(1208)은 카메라, 터치 패드, 또는 머리 디바이스(예를 들어, HMD 디바이스 내에 통합된 센서들)를 포함할 수 있다. 그러나, 언급된 바와 같이, 안경, 손목 밴드, 손가락 센서 부착물, 컴퓨터 마우스들 내에 또는 그 위에 통합된 센서들, 다양한 음성 패터들을 측정하기 위한 마이크, 또는 유사한 것을 포함하는 다른 바이오피드백 센서들(1208)이 또한 이용될 수 있다. 따라서, 다양한 실시예들이 실질적으로 게임 플레이어의 바이오피드백 측정치들을 획득하도록 구성될 수 있는 임의의 메커니즘을 이용할 수 있다는 것이 당업자에게 명백할 것이다.
바이오피드백 센서들(1208)은, 컴퓨팅 디바이스와의 상호작용(예를 들어, 비디오 게임 플레이) 이전에, 이후에, 및/또는 동안에 사용자의 다양한 측정치들을 수집하도록 배열될 수 있다. 이러한 측정치들은, 비제한적으로, 신경 신호들, EEG 신호들, 심박수 및/또는 심박수 변동성; 갈바닉 피부 반응들; 체온; 안구 움직임; 머리, 얼굴, 손, 또는 다른 신체 움직임, 제스처들, 위치들, 표정들, 자세들, 또는 유사한 것을 포함한다. 추가적으로, 바이오피드백 센서들(1208)은, 혈액 산소 레벨들, 다른 형태들의 피부 전도도 레벨들, 호흡률, 피부 긴장, 음성 스트레스 레벨들, 음성 인식, 혈압, EEG 측정치들, 근전도(Electromyography; EMG) 측정치들, 반응 시간들, 눈전위도검사(Electrooculography; EOG), (예를 들어, IR 카메라를 통한) 혈류, 기능적 근적외선 분광(functional near-infrared spectroscopy; fNIR) 분광검사, 힘-감지 저항기(force-sensitive resistor; FSR), 또는 유사한 것을 포함하는 다른 측정치들을 수집할 수 있다.
바이오피드백 센서들(1208)은 측정치들을 클라이언트 디바이스(1204)에 제공할 수 있다. 일 실시예에 있어서, 측정치들은 다양한 유선 및/또는 무선 연결들 중 임의의 것을 통해 클라이언트 디바이스(1204)에 제공될 수 있다. 따라서, 바이오피드백 측정치들은, 이를 이용하여 (예를 들어, 게임 플레이에 대한) 다른 정보가 또한 통신될 수 있는 다양한 케이블들, 와이어들, 또는 유사한 것을 통해 통신될 수 있다. 예를 들어, 바이오피드백 측정치들은, 이를 이용하여 마우스, 키보드, 게임 제어기, 또는 유사한 것이 또한 클라이언트 디바이스(1204)에 연결되는 USB 케이블, 동축 케이블, 또는 유사한 것을 통해 송신될 수 있다. 그러나, 다른 실시예에 있어서, 별개의 유선 연결이 이용될 수 있다. 유사하게, 바이오피드백 센서들(1208)은 바이오피드백 측정치들을 통신하기 위하여 다양한 무선 연결들을 이용할 수 있다. 이에 더하여, 다양한 통신 프로토콜들 중 임의의 것이 측정치들을 통신하기 위해 사용될 수 있다. 따라서, 본 개시가 특정 유선 또는 무선 통신 메커니즘 및/또는 통신 프로토콜에 한정되는 것으로 해석되지 않아야 한다.
도 13은, 사용자의 어려움들 또는 다른 문제를 바로잡기 위해 사용자 인터페이스를 동작시키는 사용자로부터의 바이오피드백 측정치들의 분석을 수행하는 프로세시의 일 실시예에 대한 순서도를 예시한다. 프로세스(1300)는, 예를 들어, 각기 도 2 및 도 3의 디바이스들(200 및 300)과 같은 컴퓨팅 디바이스에 의해 구현될 수 있다.
프로세스(1300)는 시작 블록 이후에 블록(1302)에서 시작하며, 여기에서 컴퓨팅 디바이스는 사용자에게 사용자 인터페이스를 제공한다. 사용자 인터페이스는 마우스, 키보드, 제어기, 마이크, 비디오 카메라, 등과 같은 하나 이상의 입력 디바이스들을 포함할 수 있다. 1304에서, 컴퓨팅 디바이스는, 사용자가 사용자 인터페이스와 상호작용하고 있는 동안 하나 이상의 물리적 바이오피드백 센서들로부터 사용자에 대한 바이오피드백 측정치들을 수신한다. 이상에서 논의된 바와 같이, 하나 이상의 물리적 바이오피드백 센서들은, 예를 들어, 본원의 다른 곳에서 논의된 바이오피드백 센서들 중 임의의 것을 포함할 수 있다.
1306에서, 컴퓨팅 디바이스는, 사용자가 사용자 인터페이스와의 또는 결정하는 것과의 어려움을 갖는지 여부를 결정하기 위해 수신된 바이오피드백 측정치들을 분석한다. 예를 들어, 컴퓨팅 디바이스는, 사용자가 혼란스러운지, 불만족스러운지, 물체를 선택하는데 어려움을 갖는지 등을 결정하기 위해 수신된 바이오피드백 측정치들을 분석할 수 있다.
1308에서, 사용자가 이러한 어려움을 갖는다는 결정에 응답하여, 컴퓨팅 디바이스는 사용자의 어려움을 바로잡기 위해 사용자 인터페이스를 적응시킨다. 예를 들어, 비디오 게임에서, 컴퓨팅 디바이스는, 바이오피드백 측정치들에 기초하여 사용자가 게임을 플레이하는 것을 학습할 때 만족하지 못한다고 결정할 수 있으며, 이러한 결정에 응답하여 안내를 제공할 수 있다. 다른 예로서, 컴퓨팅 디바이스는, 사용자의 응시 위치에 기초하여 사용자가 비디오 게임에서 무기와 같은 물체를 선택하는데 어려움을 갖는다는 것을 결정할 수 있다. 이러한 결정에 응답하여, 컴퓨팅 디바이스는 선택할 물체에 관한 제안을 사용자에게 제공할 수 있다.
적어도 일부 구현예들에 있어서, 컴퓨팅 디바이스는, 비디오 게임을 플레이하면서 스킬들을 획득하는 것, 소프트웨어 프로그램을 동작시키면서 스킬들을 획득하는 것, 등과 같은 사용자가 스킬들을 획득하는 방식을 결정하기 위해 단독으로 또는 바이오피드백 센서들과 함께 하나 이상의 입력 디바이스들로부터의 데이터를 사용할 수 있다. 컴퓨팅 디바이스는 사용자가 문제를 겪고 있을 때를 결정하기 위해 입력 디바이스 데이터 및/또는 바이오피드백 데이터를 사용할 수 있으며, 사용자를 보조하기 위해 사용자 인터페이스를 적응시킬 수 있다. 일 예로서, 비디오 게임에서, 컴퓨팅 디바이스는, 사용자가 특정 스킬들에 대하여 어려움을 겪고 있다는 것을 결정할 수 있으며, 사용자를 보조하기 위해 트레이닝 또는 튜토리얼을 제공할 수 있다. 다른 예로서, 컴퓨팅 디바이스는, 사용자 입력 및/또는 바이오피드백 측정치들에 기초하여 사용자가 사용자 인터페이스에 압도된다는 것을 결정할 수 있으며, 이러한 결정에 응답하여 사용자 인터페이스를 단순화할 수 있다.
이상의 상세한 설명은 블록도들, 개략도들 및 예들의 사용을 통해 디바이스 및/또는 프로세스들의 다양한 구현예를 기술하였다. 이러한 블록도들, 개략도들, 및 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도들, 순서도들, 또는 예들 내의 각각의 기능 및/또는 동작이, 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수 있음이 당업자들에 의해 이해될 것이다. 일 구현예에 있어서, 본 주제는 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)를 통해 구현될 수 있다. 그러나, 당업자들은, 본원에서 개시되는 구현예들이, 전체적으로 또는 부분적으로, 하나 이상의 컴퓨터들 상에서 실행되는 하나 이상의 컴퓨터 프로그램들로서(예를 들어, 하나 이상의 컴퓨터 시스템들 상에서 실행되는 하나 이상의 프로그램들로서), 하나 이상의 제어기들(예를 들어, 마이크로제어기들) 상에서 실행되는 하나 이상의 프로그램들로서, 하나 이상의 프로세서들(예를 들어, 마이크로프로세서들) 상에서 실행되는 하나 이상의 프로그램들로서, 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서, 표준 집적 회로들 내에서 동등하게 구현될 수 있다는 것, 및 회로부를 설계하는 것 및/또는 소프트웨어 및/또는 펌웨어에 대한 코드를 작성하는 것이 본 개시의 내용을 고려하여 당업자의 기술 범위 내에 있다는 것을 인식할 것이다.
당업자들은, 본원에서 기술되는 방법들 및 알고리즘들 중 다수가 추가적인 액트들을 이용할 수 있거나, 일부 액트들을 생략할 수 있거나, 및/또는 명시된 것과는 상이한 순서로 실행될 수 있다는 것을 인식할 것이다.
이에 더하여, 당업자들은, 본원에서 교시되는 메커니즘들이 다양한 형태들의 프로그램 제품들로서 배포될 수 있다는 것, 및 예시적인 구현예가 실제로 배포를 수행하기 위하여 사용되는 신호 함유 매체들의 특정 유형과 무관하게 동일하게 적용된다는 것을 이해할 것이다. 신호 함유 매체들의 예들은, 비제한적으로, 다음을 포함한다: 기록가능 유형 매체 예컨대 플로피 디스크들, 하드 디스크 드라이브들, CD ROM들, 디지털 테이프, 및 컴퓨터 메모리.
이상에서 설명된 다양한 구현예들이 추가적인 구현예들을 제공하기 위하여 결합될 수 있다. 이들이 본원의 특정 교시들 및 정의들과 부합되지 않는 정도까지, 2018년 12월 14일자로 출원된 미국 정규 특허 출원 제16/220,432호, 2016년 12월 05일자로 출원된 미국 정규 특허 출원 제15/369,625호, 및 2009년 07월 10일자로 출원된 미국 정규 특허 출원 제12/501,284호를 포함하여, 본 명세서에서 언급된 미국 특허들, 미국 특허 출원 공보들, 미국 특허 출원들, 외국 특허들, 외국 특허 출원들 및 비-특허 공개문헌들의 전부는 그 전체가 본원에 참조로서 포함된다. 추가적인 구현예들을 제공하기 위하여 다양한 특허들, 출원들 및 공개문헌들의 시스템들, 회로들 및 개념들을 이용하는 것이 필요한 경우, 구현예들의 측면들이 수정될 수 있다.
이상의 상세한 설명을 고려하여 구현예들에 대하여 이러한 그리고 다른 변화들이 이루어질 수 있다. 일반적으로, 다음의 청구항들에 있어, 사용되는 용어들은 청구항들을 명세서 및 청구항들에 개시된 특정 구현예들로 한정하도록 해석되지 않아야만 하며, 오히려 이러한 청구항들에 대한 등가물들의 완전한 범위와 함께 가능한 모든 구현예들을 포함하는 것으로 해석되어야만 한다. 따라서, 청구항들은 본 개시에 의해 한정되지 않는다.
Claims (39)
- 비디오 게임 디바이스로서,
하나 이상의 물리적 바이오피드백(biofeedback) 센서들;
명령어들 및 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체 및 상기 하나 이상의 물리적 바이오피드백 센서들에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는,
비디오 게임에 대한 기능을 제공하는 사용자 인터페이스를 통해 게임 플레이를 비디오 게임 플레이어에게 제공하고;
상기 비디오 게임 플레이어가 상기 비디오 게임을 플레이하고 있는 동안 상기 하나 이상의 물리적 바이오피드백 센서들로부터 상기 비디오 게임 플레이어에 대한 바이오피드백 측정치들을 수신하며;
상기 비디오 게임의 상기 게임 플레이 동안 상기 비디오 게임 플레이어의 응시 지점을 추적하기 위해 상기 바이오피드백 측정치들을 프로세싱하고;
적어도 부분적으로 상기 비디오 게임 플레이어의 추적된 응시 지점에 기초하여 상기 비디오 게임의 상기 게임 플레이를 동적으로 수정하거나 또는 증강하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 적어도 하나의 광학적 센서를 포함하는, 비디오 게임 디바이스.
- 청구항 2에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 머리-착용형 디바이스에 결합된 적어도 하나의 광학적 센서를 포함하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 적어도 하나의 적외선 광원 및 적어도 하나의 적외선 광 센서를 포함하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
적어도 부분적으로 상기 추적된 응시 지점에 기초하여 상기 비디오 게임의 상기 게임 플레이를 동적으로 수정하거나 또는 증강하기 위하여, 상기 적어도 하나의 프로세서는,
상기 비디오 게임 플레이어가 응시하지 않는 영역 내에 물체가 나타나게끔 하거나;
상기 비디오 게임 플레이어가 응시하고 있는 영역 내에 물체가 나타나게끔 하거나;
상기 비디오 게임 플레이어에게 힌트가 제시되게끔 하거나; 또는
상기 비디오 게임 플레이어에게 튜토리얼이 제시되게끔 하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
상기 적어도 하나의 프로세서는,
상기 추적된 응시 지점에 기초하여 상기 비디오 게임 플레이어가 경로를 찾고 있다는 것을 결정하고;
상기 결정에 응답하여 상기 비디오 게임 플레이어에게 이동 방향을 제공하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
상기 적어도 하나의 프로세서는,
상기 추적된 응시 지점에 기초하여 상기 비디오 게임 플레이어가 결정하는 것에 대한 어려움을 갖는다는 것을 결정하고;
상기 결정에 응답하여 상기 비디오 게임 플레이어에게 안내를 제공하는, 비디오 게임 디바이스.
- 청구항 1에 있어서,
상기 적어도 하나의 프로세서는,
상기 추적된 응시 지점에 기초하여 상기 비디오 게임 플레이어가 캐릭터를 찾고 있다는 것을 결정하고;
상기 결정에 응답하여 캐릭터가 상기 비디오 게임 플레이어에게 제시되게끔 하는, 비디오 게임 디바이스.
- 비디오 게임 디바이스로서,
하나 이상의 물리적 바이오피드백(biofeedback) 센서들;
명령어들 및 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체 및 상기 하나 이상의 물리적 바이오피드백 센서들에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는,
비디오 게임에 대한 기능을 제공하는 사용자 인터페이스를 통해 게임 플레이를 비디오 게임 플레이어에게 제공하고;
상기 비디오 게임 플레이어가 상기 비디오 게임을 플레이하고 있는 동안 상기 하나 이상의 물리적 바이오피드백 센서들로부터 상기 비디오 게임 플레이어에 대한 바이오피드백 측정치들을 수신하며;
상기 비디오 게임의 상기 게임 플레이 동안 상기 비디오 게임 플레이어의 다음 움직임을 결정하기 위해 상기 바이오피드백 측정치들을 분석하고;
상기 비디오 게임 플레이어의 결정된 다음 움직임에 의해 초래될 액션을 개시하는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 다음 움직임은 상기 적어도 하나의 프로세서에 동작가능하게 결합된 입력 디바이스에 대한 입력을 포함하는, 비디오 게임 디바이스.
- 청구항 10에 있어서,
상기 다음 움직임은 상기 입력 디바이스의 버튼, 키, 휠, 또는 트리거를 작동시키는 것을 포함하는, 비디오 게임 디바이스.
- 청구항 10에 있어서,
상기 다음 움직임은 상기 비디오 게임 플레이어가 상기 입력 디바이스를 물리적으로 움직이는 것을 포함하는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 적어도 하나의 프로세서는 상기 비디오 게임 플레이어가 상기 다음 움직임을 시작하기 이전에 상기 액션을 개시하는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 뇌파검사(electroencephalography; EEG) 전극들을 포함하며, 상기 바이오피드백 측정치들은 EEG 신호들을 포함하는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 전극들을 포함하며, 상기 바이오피드백 측정치들은 신경 신호들을 포함하는, 비디오 게임 디바이스.
- 청구항 15에 있어서,
상기 하나 이상의 전극들은 상기 비디오 게임 플레이어의 목, 등, 가슴, 어깨, 팔, 손목 또는 손 상에 위치될 수 있는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 적어도 하나의 프로세서는,
상기 비디오 게임 플레이어가 실제로 상기 결정된 다음 움직임을 수행하였는지 여부의 표시를 수신하고;
상기 비디오 게임 플레이어가 상기 다음 움직임을 수행하지 않았다는 표시의 수신에 응답하여, 상기 개시된 액션을 수정하거나 또는 역전시키는, 비디오 게임 디바이스.
- 청구항 9에 있어서,
상기 바이오피드백 측정치들은, 신경 신호들, EEG 신호들, EMG 신호들, EOG 신호들, fNIR 신호들, 혈류를 나타내는 신호들, 기능적 근적외선 분광(functional near-infrared spectroscopy; fNIR) 분광검사 신호들, 힘-감지 저항기(force-sensitive resistor; FSR) 신호들, 표정 검출 신호들, 동공 확장 표시 신호들, 안구 움직임 신호들, 또는 제스처 모션 신호들 중 적어도 하나를 포함하는, 비디오 게임 디바이스.
- 컴퓨팅 디바이스로서,
하나 이상의 물리적 바이오피드백(biofeedback) 센서들;
적어도 하나의 입력 디바이스;
명령어들 및 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체, 상기 하나 이상의 물리적 바이오피드백 센서들, 및 상기 적어도 하나의 입력 디바이스에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 상기 적어도 하나의 프로세서는,
사용자에게 사용자 인터페이스를 제공하고;
상기 사용자가 상기 사용자 인터페이스와 상호작용하고 있는 동안 상기 하나 이상의 물리적 바이오피드백 센서들로부터 상기 사용자에 대한 바이오피드백 측정치들을 수신하며;
상기 사용자에 의한 상기 하나 이상의 입력 디바이스와의 상호작용을 예상하기 위해 학습된 모델들에 기초하여 상기 바이오피드백 측정치들을 분석하고;
상기 사용자가 실제로 예상된 바와 같이 상기 적어도 하나의 입력 디바이스와 상호작용했는지 여부를 검출하며;
상기 사용자가 실제로 예상된 바와 같이 상기 적어도 하나의 입력 디바이스와 상호작용했는지 여부의 결정에 기초하여 상기 학습된 모델을 업데이트하는, 컴퓨팅 디바이스.
- 청구항 19에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 전극들을 포함하며, 상기 바이오피드백 측정치들은 신경 신호들을 포함하는, 컴퓨팅 디바이스.
- 청구항 20에 있어서,
상기 하나 이상의 전극들은 상기 비디오 게임 플레이어의 목, 등, 가슴, 어깨, 팔, 손목 또는 손 상에 위치될 수 있는, 컴퓨팅 디바이스.
- 청구항 19에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 하나 이상의 뇌파검사(electroencephalography; EEG) 전극들을 포함하며, 상기 바이오피드백 측정치들은 EEG 신호들을 포함하는, 컴퓨팅 디바이스.
- 청구항 19에 있어서,
상기 학습된 모델은 적어도 하나의 신경망을 포함하는, 컴퓨팅 디바이스.
- 청구항 19에 있어서,
상기 입력 디바이스와의 상호작용은, 상기 입력 디바이스의 움직임 또는 상기 입력 디바이스의 버튼, 키, 휠, 또는 트리거의 작동 중 적어도 하나를 포함하는, 컴퓨팅 디바이스.
- 청구항 19에 있어서,
상기 바이오피드백 측정치들은, 신경 신호들, EEG 신호들, EMG 신호들, 표정 신호들, 동공 확장 신호들, 안구 움직임 신호들, 또는 제스처 모션 신호들 중 적어도 하나를 포함하는, 컴퓨팅 디바이스.
- 컴퓨팅 디바이스로서,
하나 이상의 물리적 바이오피드백(biofeedback) 센서들;
명령어들 및 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체 및 상기 하나 이상의 물리적 바이오피드백 센서들에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는,
사용자에게 상호작용하기 위한 사용자 인터페이스를 제공하고;
상기 사용자가 상기 사용자 인터페이스와 상호작용하고 있는 동안 상기 하나 이상의 물리적 바이오피드백 센서들로부터 상기 사용자에 대한 바이오피드백 측정치들을 수신하며;
상기 사용자가 상기 사용자 인터페이스에 대한 또는 결정하는 것에 대한 어려움을 갖는지 여부를 결정하기 위해 상기 수신된 바이오피드백 측정치들을 분석하고;
상기 사용자가 이러한 어려움을 갖는다는 결정에 응답하여, 상기 사용자의 어려움을 바로잡기 위해 상기 사용자 인터페이스를 적응시키는, 컴퓨팅 디바이스.
- 청구항 26에 있어서,
상기 적어도 하나의 프로세서는,
상기 사용자가 결정하는 것에 대한 어려움을 갖는다는 것을 결정하고;
상기 결정에 응답하여 상기 사용자에게 안내를 제공하는, 컴퓨팅 디바이스.
- 청구항 26에 있어서,
상기 적어도 하나의 프로세서는,
상기 사용자가 물체를 선택하는 것에 대한 어려움을 갖는다는 것을 결정하고;
상기 결정에 응답하여, 선택할 물체에 관한 제안을 사용자에게 제공하는, 컴퓨팅 디바이스.
- 청구항 26에 있어서,
상기 바이오피드백 측정치들은 응시 지점 정보를 포함하며, 적어도 하나의 프로세서는, 상기 응시 지점 정보에 기초하여 상기 사용자가 상기 사용자 인터페이스에 대한 어려움을 갖는다는 것을 결정하는, 컴퓨팅 디바이스.
- 청구항 26에 있어서,
상기 사용자 인터페이스는 비디오 게임을 제공하며, 상기 적어도 하나의 프로세서는,
상기 사용자가 상기 비디오 게임에 대한 어려움을 갖는다는 것을 결정하기 위해 상기 수신된 바이오피드백 측정치들을 분석하고;
상기 결정에 응답하여 상기 사용자에게 안내를 제공하는, 컴퓨팅 디바이스.
- 비디오 게임 디바이스로서,
하나 이상의 물리적 바이오피드백(biofeedback) 센서들;
명령어들 및 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체 및 상기 하나 이상의 물리적 바이오피드백 센서들에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는,
비디오 게임 플레이어가 비디오 게임에 대한 기능을 제공하는 사용자 인터페이스를 제공하는 비디오 게임을 플레이하고 있는 동안 상기 비디오 게임 플레이어에 대한 바이오피드백 측정치들을 수신하되, 상기 수신된 바이오피드백 측정치들은 상기 비디오 게임 플레이어에 대한 동공 확장의 표시를 제공하고;
상기 비디오 게임 플레이어의 각성 상태에 대하여 적어도 하나의 추론을 만들기 위해 상기 수신된 바이오피드백 측정치들을 분석하며;
상기 비디오 게임 플레이어의 상기 추론된 각성 상태를 최소 임계 또는 최대 임계와 비교하고;
상기 추론된 각성 상태와 상기 최소 임계 또는 상기 최대 임계 사이의 비교에 기초하여 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
추론된 상기 생리학적 상태는 스트레스, 멀미, 불안함, 지루함, 분노, 또는 불만 중 적어도 하나를 포함하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 하나 이상의 물리적 바이오피드백 센서들은 광학적 센서를 포함하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 상기 각성 상태가 상기 최대 임계 이상이라고 결정하는 것에 응답하여 상기 비디오 게임 플레이어가 긴장을 풀거나 또는 회복하기 위한 기회를 제공하기 위해 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 상기 각성 상태가 상기 최소 임계 이하라고 결정하는 것에 응답하여 상기 비디오 게임 플레이어에 대하여 증가된 레벨의 흥분을 제공하기 위해 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 상기 비디오 게임 플레이어의 상기 각성 상태와 상기 최소 임계 또는 상기 최대 임계의 비교에 응답하여 상기 비디오 게임의 난이도를 동적으로 조정하기 위해 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 상기 비디오 게임 플레이어의 상기 각성 상태와 상기 최소 임계 또는 상기 최대 임계의 비교에 응답하여 게임 플레이 지시 또는 튜토리얼의 표현을 동적으로 조정하기 위해 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 상기 비디오 게임에서 상대방들의 유형 또는 수를 수정하는 것, 상기 비디오 게임의 페이스(pace) 또는 템포를 수정하는 것, 상기 비디오 게임의 게임 이벤트에 대한 시간 제한을 증가시키는 것 또는 감소시키는 것, 상기 비디오 게임의 도전 난이도를 수정하는 것, 상기 비디오 게임에서 공급물들 또는 파워-업 아이템들의 이용가능성을 수정하는 것, 상기 비디오 게임의 오디오 특징을 수정하는 것, 상기 비디오 게임의 비디오 특징을 수정하는 것, 상기 비디오 게임 내의 환경적 측면을 수정하는 것, 상기 비디오 게임 내의 캐릭터의 대화를 수정하는 것, 또는 상기 비디오 게임에 대한 힌트들 또는 제안들을 제공하거나 또는 금지하는 것 중 적어도 하나에 의해 상기 사용자 인터페이스를 수정하는, 비디오 게임 디바이스.
- 청구항 31에 있어서,
상기 적어도 하나의 프로세서는, 감소된 각성 레벨을 유지하도록 상기 게임 플레이어의 도전 의식을 북돋우거나 또는 유인하기 위해 상기 게임 상태를 동적으로 수정하는, 비디오 게임 디바이스.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/220,432 US11253781B2 (en) | 2009-07-10 | 2018-12-14 | Player biofeedback for dynamically controlling a video game state |
| US16/220,432 | 2018-12-14 | ||
| PCT/US2019/066036 WO2020123840A1 (en) | 2018-12-14 | 2019-12-12 | Player biofeedback for dynamically controlling a video game state |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210099141A true KR20210099141A (ko) | 2021-08-11 |
Family
ID=71077476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217022160A KR20210099141A (ko) | 2018-12-14 | 2019-12-12 | 비디오 게임 상태를 동적으로 제어하기 위한 플레이어 바이오피드백 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3894998A4 (ko) |
| JP (1) | JP7516371B2 (ko) |
| KR (1) | KR20210099141A (ko) |
| CN (1) | CN113260425A (ko) |
| WO (1) | WO2020123840A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112021005591A5 (de) | 2020-10-20 | 2023-08-31 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Kontrollieren eines Computerprogramms und Computerprogrammprodukt |
| CN113900609B (zh) * | 2021-09-24 | 2023-09-29 | 当趣网络科技(杭州)有限公司 | 大屏终端交互方法、大屏终端及计算机可读存储介质 |
| WO2023214602A1 (ko) * | 2022-05-06 | 2023-11-09 | 주식회사 엔씨소프트 | 훈련된 신경망에 기반한 피격 반응 생성 방법 및 컴퓨터 판독가능 저장 매체 |
| WO2024176568A1 (ja) * | 2023-02-22 | 2024-08-29 | パナソニックＩｐマネジメント株式会社 | 情報処理方法、情報処理装置、及びプログラム |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0468340A3 (en) * | 1990-07-24 | 1992-12-16 | Biocontrol Systems, Inc. | Eye directed controller |
| US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| US8704653B2 (en) * | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
| US9511289B2 (en) * | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
| CA2847975A1 (en) | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
| US20140191939A1 (en) | 2013-01-09 | 2014-07-10 | Microsoft Corporation | Using nonverbal communication in determining actions |
| CA3187490A1 (en) * | 2013-03-15 | 2014-09-18 | Interaxon Inc. | Wearable computing apparatus and method |
| US10242462B2 (en) * | 2013-04-02 | 2019-03-26 | Nvidia Corporation | Rate control bit allocation for video streaming based on an attention area of a gamer |
| US10137363B2 (en) * | 2013-06-20 | 2018-11-27 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
| WO2014205422A2 (en) * | 2013-06-20 | 2014-12-24 | Parshionikar Uday | Systems, methods, apparatuses, computer readable medium for controlling electronic devices |
| KR102154912B1 (ko) * | 2013-10-11 | 2020-09-11 | 인터디지탈 패튼 홀딩스, 인크 | 시선 구동 증강 현실 |
| US10120413B2 (en) * | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
| JP2016207042A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
| JP2016202716A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
| KR102386299B1 (ko) * | 2015-07-03 | 2022-04-14 | 삼성전자주식회사 | 도움 가이드 제공 방법 및 장치 |
| JP6404196B2 (ja) * | 2015-09-16 | 2018-10-10 | グリー株式会社 | 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 |
| CN106562793B (zh) * | 2015-10-08 | 2021-12-21 | 松下电器（美国）知识产权公司 | 信息提示装置的控制方法、以及信息提示装置 |
| JP6460255B2 (ja) * | 2015-10-19 | 2019-01-30 | 富士通株式会社 | 作業支援システム、作業支援方法および作業支援プログラム |
| US10552752B2 (en) * | 2015-11-02 | 2020-02-04 | Microsoft Technology Licensing, Llc | Predictive controller for applications |
| JP2017134558A (ja) * | 2016-01-27 | 2017-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2017164139A (ja) | 2016-03-15 | 2017-09-21 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、及びプログラム |
| US11163358B2 (en) * | 2016-03-17 | 2021-11-02 | Sony Interactive Entertainment Inc. | Spectating virtual (VR) environments associated with VR user interactivity |
| US20170322679A1 (en) * | 2016-05-09 | 2017-11-09 | John C. Gordon | Modifying a User Interface Based Upon a User's Brain Activity and Gaze |
| CN110337269B (zh) * | 2016-07-25 | 2021-09-21 | 脸谱科技有限责任公司 | 基于神经肌肉信号推断用户意图的方法和装置 |
| JP6225242B1 (ja) * | 2016-12-28 | 2017-11-01 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
| US20180217666A1 (en) | 2017-01-30 | 2018-08-02 | Neuroverse, Inc. | Biometric control system |
-
2019
- 2019-12-12 WO PCT/US2019/066036 patent/WO2020123840A1/en unknown
- 2019-12-12 CN CN201980083686.6A patent/CN113260425A/zh active Pending
- 2019-12-12 JP JP2021526282A patent/JP7516371B2/ja active Active
- 2019-12-12 KR KR1020217022160A patent/KR20210099141A/ko not_active Application Discontinuation
- 2019-12-12 EP EP19895801.9A patent/EP3894998A4/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3894998A1 (en) | 2021-10-20 |
| JP2022510793A (ja) | 2022-01-28 |
| EP3894998A4 (en) | 2023-01-04 |
| CN113260425A (zh) | 2021-08-13 |
| WO2020123840A1 (en) | 2020-06-18 |
| JP7516371B2 (ja) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10981054B2 (en) | Player biofeedback for dynamically controlling a video game state | |
| US12005351B2 (en) | Player biofeedback for dynamically controlling a video game state | |
| US20200298100A1 (en) | Brain-computer interfaces for computing systems | |
| JP7516371B2 (ja) | ビデオゲームデバイス | |
| US9795884B2 (en) | Interactive gaming analysis systems and methods | |
| Liu et al. | Dynamic difficulty adjustment in computer games through real-time anxiety-based affective feedback | |
| KR20210005603A (ko) | 인공 지능을 사용하는 음성 지원 시스템 | |
| US10315116B2 (en) | Dynamic virtual environment customization based on user behavior clustering | |
| KR20210003718A (ko) | 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션 | |
| Smerdov et al. | Collection and validation of psychophysiological data from professional and amateur players: A multimodal esports dataset | |
| US11772000B2 (en) | User interaction selection method and apparatus | |
| WO2023120176A1 (ja) | ゲームプログラム、情報処理装置、情報処理方法及び情報処理システム | |
| Ferreira et al. | Understanding and proposing a design rationale of digital games based on brain-computer interface: Results of the admiralmind battleship study | |
| US9669297B1 (en) | Using biometrics to alter game content | |
| US11890545B2 (en) | Enhancement of gameplay experience based on analysis of player data | |
| CN117940196A (zh) | 增强现实人工智能增强用户感知自己的方式 | |
| Torres | Development of biofeedback mechanisms in a procedural environment using biometric sensors | |
| US20240123351A1 (en) | Affective gaming system and method | |
| US20240123352A1 (en) | Affective gaming system and method | |
| US20240273815A1 (en) | Generating souvenirs from extended reality sessions | |
| JP2024097228A (ja) | 情報処理装置、方法、プログラム、およびシステム | |
| JP2010026748A (ja) | コンテンツ生成装置、サーバ装置、及びコンテンツ生成システム | |
| Torres | desenvolvimento de mecanismos de biofeedback num ambiente procedimental através de sensores biométricos | |
| KR20170107950A (ko) | 게임 서비스 방법 및 이를 수행하기 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |