KR20130111234A - 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 - Google Patents

인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 Download PDF

Info

Publication number
KR20130111234A
KR20130111234A KR1020127033285A KR20127033285A KR20130111234A KR 20130111234 A KR20130111234 A KR 20130111234A KR 1020127033285 A KR1020127033285 A KR 1020127033285A KR 20127033285 A KR20127033285 A KR 20127033285A KR 20130111234 A KR20130111234 A KR 20130111234A
Authority
KR
South Korea
Prior art keywords
user
story
images
linear
narrative
Prior art date
Application number
KR1020127033285A
Other languages
English (en)
Other versions
KR101838312B1 (ko
Inventor
앤드류 풀러
루디 포앳
알렉스 아벤-아타 킵맨
캐스린 스톤 페레즈
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20130111234A publication Critical patent/KR20130111234A/ko
Application granted granted Critical
Publication of KR101838312B1 publication Critical patent/KR101838312B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A63F13/10—
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/632—Methods for processing data by generating or executing the game program for controlling the execution of the game in time by branching, e.g. choosing one of several possible story developments at a given point in time
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인터랙티브한 게임 양태들을 선형 스토리로 결합하는 시스템 및 방법에 개시된다. 사용자는 NUI 시스템을 통해 선형 스토리와 인터랙션함으로써 사용자에게 프리젠테이션되는 스토리 및 이미지를 변경할 수 있다. 일례로, 사용자는 사전 정의된 탐사 제스처를 취함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는 디스플레이된 이미지의 3-D 세계로 사용자를 데려간다. 특히, 화면에 디스플레이된 이미지는 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 다른 관점에서 가상 객체를 탐사하고 조사하거나, 또는 가상 객체들 주위를 응시하게 수 있게 할 수 있다.

Description

인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력{NATURAL USER INPUT FOR DRIVING INTERACTIVE STORIES}
과거에는, 컴퓨터 게임 및 멀티미디어 애플리케이션을 비롯한 컴퓨팅 애플리케이션에서 제어기, 리모콘, 키보드, 마우스 등을 사용하여 사용자들이 게임 캐릭터나 애플리케이션의 기타 양태들을 제어할 수 있었다. 최근 들어, 컴퓨터 게임 및 멀티미디어 애플리케이션은 카메라 및 소프트웨어 제스처 인식 엔진을 이용하여 내츄럴 사용자 인터페이스("NUI")를 제공하기 시작하였다. NUI를 통해, 사용자 제스처 및 음성(speech)이 탐지, 해석 및 사용되어 게임 캐릭터나 애플리케이션의 기타 양태들을 제어하게 된다.
지금은, 게임 애플리케이션에서 NUI 시스템이 널리 사용되고 있다. 그러나, 지금까지 NUI 시스템은 선형 스토리 텔링(linear story telling)의 매체로서 사용되지는 않았다. 선형 스토리는 예컨대, 종래의 TV 프로그램, 영화 및 책에서 제공되는 것과 같이, 전통적이고, 수동적이며, 넌-인터랙티브한(non-interactive) 경험이다. 선형 스토리는 수십년 동안 대중에게 폭넓게 이용되어 왔다. 특히 NUI 시스템을 갖고 있는 게임은 상대적으로 새로운 것으로, 지금까지 훨씬 더 제한적으로 받아들여졌다.
인터랙티브한 게임 양태들을 선형 스토리로 결합하는 인터랙티브한 스토리 경험을 제공하는 시스템 및 방법이 본원에 개시된다. 사용자는 원한다면 사용자 인터랙션 없이 처음부터 끝까지 선형 스토리를 볼 수 있다. 또는, 사용자는 선형 스토리와 인터랙션하여 인터랙티브한 경험을 제공할 수도 있다. 사용자는, 컴퓨팅 환경, 사용자 움직임 데이터를 캡쳐하고 이를 컴퓨팅 장치에 제공하는 캡쳐 장치, 및 스토리를 프리젠테이션하기 위한 오디오비주얼 장치를 포함하는 NUI 시스템을 통해 선형 스토리와 인터랙션할 수 있다.
일 실시예에서, 사용자는 사전 정의된 탐사 제스처(exploration gesture)를 수행함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는, 캡쳐 장치에서 탐지되어 컴퓨팅 환경에서 인식될 때, 디스플레이된 이미지의 3-D 세계로 사용자를 데려온다. 특히, 화면에 디스플레이된 이미지는 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 그 장면에서 돌아다닐 수 있고, 그 장면의 다른 관점에서 가상 객체들을 탐사하고 조사하거나, 또는 그 장면의 가상 객체들 주위를 응시하게 할 수 있다.
일 실시예에서, 본원의 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법에 관한 것이다. 상기 방법은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하는 단계 - 선형 스토리는 사용자가 스토리와 인터랙션하지 않는 경우 사용자에게 프리젠테이션되는 이미지 또는 내러티브의 기본 집합을 가지고 있음 -, b) 캡쳐 장치를 통해 사용자의 움직임 및 음성 명령어 중 적어도 하나를 탐지하는 단계, c) 단계 b)에서 탐지된 움직임 또는 음성 명령어가 이미지들 또는 내러티브의 기본 집합에 포함되지 않는 추가 이미지들 및 추가 내러티브 중 적어도 하나를 가지고 있는 스토리 분기를 포함하도록 선형 스토리를 변경하는 선형 스토리와의 인터랙션인지를 식별하는 단계, 및 d) 오디오비주얼 장치를 통해 추가 이미지들 및 추가 내러티브의 적어도 하나를 사용자에게 프리젠테이션함으로써 선형 스토리를 변경하는 단계를 포함한다.
다른 실시예에서, 본 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법을 실행하도록 프로세서를 프로그래밍하는 프로세서-판독가능 저장 매체에 관한 것으로, 상기 방법은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하는 단계 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -, b) 오디오비주얼 장치에 연계된 캡쳐 장치를 통해 사용자에 의한 움직임을 탐지하는 단계, c) 단계 b)에서 탐지된 움직임이 이미지들의 기본 집합에는 포함되지 않는 추가 이미지들을 가지고 있는 스토리 분기를 포함하도록 선형 스토리의 수정을 필요로 하는 선형 스토리와의 인터랙션인지를 식별하는 단계, d) 저장되거나 처리된 데이터를 기초로 하여 추가 이미지들이 렌더링될 수 있는지를 판단하는 단계, e) 추가 이미지들이 단계 d)에서 렌더링될 수 있다고 판단되는 경우, 오디오비주얼 장치를 통해 사용자에게 추가 이미지들을 프리젠테이션함으로써 선형 스토리를 변경하는 단계, 및 f) 사용자 인터랙션에 점수를 매기는 단계 - 인터랙션은 인터랙션에 기초하여 사전 결정된 점수를 부여하거나 빼는 것에 대응됨 - 를 포함한다.
또 다른 실시예에서, 본 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하기 위한 시스템에 관한 것이다. 상기 시스템은 이미지들 및 오디오 나레이션 중 적어도 하나를 프리젠테이션하는 오디오비주얼 장치, 사용자로부터 이미지들 및 오디오 데이터 중 적어도 하나를 캡쳐하는 이미지 캡쳐 장치, 및 오디오비주얼 장치 및 이미지 캡쳐 장치에 접속된 컴퓨팅 환경을 포함한다. 상기 컴퓨팅 환경은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하고 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -, b) 캡쳐 장치를 통해 사용자의 움직임을 탐지하며, c) 탐지된 움직임이 탐사 제스처인지를 식별하고, d) 움직임을 탐사 제스처로 식별하면 선형 스토리로부터 스토리 분기로 분기하도록 동작한다. 상기 분기는 d1) 사용자가 가리키는 오디오비주얼 장치 상의 포인트를 감지하고, d2) 사용자의 일부로부터 사용자가 가리키는 오디오비주얼 장치 상의 포인트까지의 3-D 현실 세계 벡터를 계산하며, d3) 3-D 현실 세계 벡터를 현재 관점에서의 기점 및 3-D 머신 공간에서의 가상 객체에서의 종점을 갖고 있는 3-D 머신 공간 벡터로 해석하고, d4) 3-D 머신 공간 벡터의 종점에서의 관점에서 가상 객체를 디스플레이하는 동작들을 포함한다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 컨셉을 간략화된 형태로 소개하기 위한 것이다. 본 요약은 특허청구된 대상의 핵심적인 특징 또는 필수적인 특징을 밝히기 위한 것이 아니며, 특허청구된 대상의 범위를 결정하는 데 일조하기 위해 사용되는 것도 아니다. 또한, 특허청구된 대상은 본 개시에서 언급된 임의의 또는 모든 단점들을 해결하는 구현에 한정되지 않는다.
도 1a는 인터랙티브한 스토리 경험을 제공하는 타겟 인식, 분석 및 트래킹 시스템의 예시적인 실시예를 도시한다.
도 1b는 인터랙티브한 스토리 경험을 제공하는 타겟 인식, 분석 및 트래킹 시스템의 예시적인 추가 실시예를 도시한다.
도 2는 타겟 인식, 분석 및 트래킹 시스템에서 사용될 수 있는 캡쳐 장치의 예시적인 실시예를 도시한다.
도 3a는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 예시적인 실시예를 도시한다.
도 3b는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 다른 예시적인 실시예를 도시한다.
도 4는 도 1a-2의 타겟 인식, 분석 및 트래킹 시스템에서 생성된 사용자의 골격 매핑(skeletal mapping)을 도시한다.
도 5는 인터랙티브한 스토리 경험을 제공하는 본 기술의 실시예의 동작에 관한 상위 레벨 순서도이다.
도 6은 캡쳐 장치에 의해 탐지된 음성과 인터랙티브한 스토리 경험을 상호 연관시키는 본 기술의 실시예의 동작에 관한 순서도이다.
도 7은 가상 장면의 3-D 탐사에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 8은 온스크린 캐릭터 행동의 사용자 제어에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9는 인터랙티브한 스토리 경험의 플롯(plot)을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9a는 장면이 사전-녹화된 비디오로 프리젠테이션되는 인터랙티브한 스토리 경험의 플롯을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 또 다른 실시예의 동작에 관한 순서도이다.
도 10은 디스플레이된 장면에서 가상 객체들을 탐사 및 조사하기 위한 사용자의 탐사 제스처 실행의 일례이다.
도 11은 단일 스토리 결과로 다시 모이는 분기 서브플롯(branching subplot)을 도시한다.
도 12는 복수의 스토리 결과 중 하나가 되는 분기 플롯을 도시한다.
도 13은 제스처를 인식하는 제스처 인식 엔진을 나타내는 블록도이다.
도 14는 도 13의 제스처 인식 엔진의 동작에 관한 순서도이다.
이제 도 1a-14를 참조하여, 일반적으로 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 인터랙티브한 스토리 경험을 제공하는 시스템 및 방법에 관한 본 기술의 실시예들이 설명될 것이다. 인터랙티브한 스토리 애플리케이션을 실행하기 위한 NUI 시스템이 제공된다. 사용자 인터랙션 없이 실행되는 경우, 스토리 애플리케이션은 사용자에게 처음부터 끝까지 선형 스토리를 제공하게 된다. 또는, 사용자는 NUI 시스템을 통해 스토리 애플리케이션과 인터랙션하여 다양한 동작들을 실행할 수도 있다.
일 실시예에서, 사용자는 사전 정의된 탐사 제스처를 수행함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는 사용자가 자신에게 디스플레이되는 삼차원(3-D) 가상 세계에 들어가서 탐사하기 원하는 시스템에 전달된다. 실행된 탐사 제스처에 따라, 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 그 장면에서 돌아다닐 수 있고, 그 장면의 다른 관점에서 가상 객체를 탐사하고 조사할 수 있도록 디스플레이된 이미지가 변경될 수 있다. 사용자는 그 장면의 가상 객체들 뒤를 응시하여, 이들 가상 객체의 뒷면을 보거나 또는 전경에 있는 객체에 의해 잘 보이지 않는 다른 객체들을 보다 가깝게 조사할 수 있다.
3-D 가상 세계 안에서 탐사하면서, 또는 다른 제스처나 움직임을 실행함으로써, 사용자는 선형 스토리의 플롯을 변경할 수 있다. 본 실시예에서, 스토리 애플리케이션은 다른 서브플롯들 및 가능한 경우 다른 스토리 결과로 분기할 수 있다.
처음에 도 1a-2를 참조하면, 본 기술을 구현하기 위한 하드웨어는 사용자(18)와 같은 인간 타겟을 인식, 분석 및/또는 트래킹하는 데 사용 가능한 타겟 인식, 분석 및 트래킹 시스템(10)을 포함한다. 타겟 인식, 분석 및 트래킹 시스템(10)의 실시예로 이하에서 설명되는 바와 같은 인터랙티브한 스토리 애플리케이션과 같은 게임 또는 기타 애플리케이션을 실행하는 컴퓨팅 환경(12)이 포함된다. 컴퓨팅 환경(12)은 게임 및/또는 비-게임 애플리케이션을 실행하는 데 사용될 수 있도록 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 포함할 수 있다. 일 실시예에서, 컴퓨팅 환경(12)은 본원에 설명된 프로세스를 실행하기 위한 프로세서 판독가능 저장 장치에 저장된 인스트럭션을 실행 가능한 표준화된 프로세서, 특화된 프로세서, 마이크로 프로세서 등을 비롯한 프로세서를 포함할 수 있다.
또한 시스템(10)은 캡쳐 장치에 의해 감지된 하나 이상의 사용자 및/또는 객체에 관한 이미지 및 오디오 데이터를 캡쳐할 수 있는 캡쳐 장치(20)를 포함한다. 실시예에서, 캡쳐 장치(20)는 한 명 이상의 사용자의 움직임, 제스처 및 음성과 관련된 정보를 캡쳐하기 위해 사용될 수 있고, 이 정보는 컴퓨팅 환경에서 수신되어 게임 또는 기타 애플리케이션의 양태들을 렌더링, 인터랙션 및/또는 제어하는 데 사용된다. 컴퓨팅 환경(12) 및 캡쳐 장치(20)의 예시들이 이하에서 보다 상세하게 설명된다.
타겟 인식, 분석 및 트래킹 시스템(10)의 실시예들이 디스플레이(14)가 있는 오디오/비주얼 장치(16)에 연결될 수 있다. 이 장치(16)는 예를 들어, 사용자에게 게임 또는 애플리케이션 비주얼 및/또는 오디오를 제공하는 텔레비전, 모니터, HDTV(high-definition television) 등일 수 있다. 예를 들어, 컴퓨팅 환경(12)은 게임 또는 기타 애플리케이션에 관련된 오디오/비주얼 신호를 제공할 수 있는 그래픽 카드 등의 비디오 어댑터 및/또는 사운드 카드 등의 오디오 어댑터를 포함할 수 있다. 오디오/비주얼 장치(16)는 컴퓨팅 환경(12)으로부터 오디오/비주얼 신호를 수신하여, 이 오디오/비주얼 신호와 관련된 게임 또는 애플리케이션의 비주얼 및/또는 오디오를 사용자(18)에게 제공할 수 있다. 일 실시예에 따르면, 오디오/비주얼 장치(16)는 예를 들어, S-Video 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블 등을 통해 컴퓨팅 환경(12)에 연결될 수 있다.
도 1a 및 1b에 도시된 바와 같이, 예시적인 일 실시예에서, 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션은 다양한 스토리 설정을 나타낼 수 있다. 도 1a에는 집(21), 괴물(23), 및 구름(25)을 포함하는 장면(19)을 도시하고 있다. 이하에서 설명되는 바와 같이, 사용자는 다양한 방식으로 장면(19)과 인터랙션할 수 있다. 일례로, 사용자는 스토리 애플리케이션에서 제공하는 선형 스토리를 변경할 수 있는 구름들(25)을 도시된 대로 함께 이동시킬 수 있다. 예를 들어, 구름들을 함께 이동시킴으로써 비가 내릴 수 있다.
실시예에서, 컴퓨팅 환경(12), A/V 장치(16) 및 캡쳐 장치(20)는 협력하여, 사용자(18)에 의해 최소한 부분적으로 제어되는 디스플레이(14) 상의 온스크린 캐릭터(23)를 렌더링할 수 있다. 도 1b에 도시된 바와 같이, 온스크린 캐릭터(23)는 현실 세계에서 사용자(18)의 움직임을 본 그대로 흉내낸다. 따라서, 사용자(18)는 디스플레이(14) 상의 캐릭터(23)의 움직임 및 행동을 제어하는 움직임을 실행할 수 있다. 또한, 사용자는 사전 정의된 제스처로서 컴퓨팅 환경에서 인식하고 있는 특정 움직임을 실행할 수도 있다. 이들 사전 정의된 제스처는 제어되는 캐릭터(23)로 하여금 사전 정의된 제스처와 관련된 메모리의 특정 행동들을 실행하게 할 수 있다. 사전 정의된 제스처는 아래에서 설명되는 바와 같이 다양한 다른 행동들을 시작하기 위해 사용될 수도 있다.
도 1a 및 1b의 장면(19)은 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션에서 생성될 수 있는 많은 다른 장면들 중 하나이다. 또한, 시스템(10)을 사용하여 사용자(18)의 움직임을 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션 영역 밖의 운영 체제 및/또는 애플리케이션 제어로서 해석할 수 있다.
시스템(10) 및 그 컴포넌트들의 적절한 예시들은 다음의 동시 계류 중인 특허 출원들: "Environment And/Or Target Segmentation"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,094호, "Auto Generating a Visual Representation"이라는 발명의 명칭으로 2009년 7월 29일에 출원된 미국 특허 출원 제 12/511,850호, "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호, "Pose Tracking Pipeline"이라는 발명의 명칭으로 2009년 10월 21일에 출원된 미국 특허 출원 제 12/603,437호, "Device for Identifying and Tracking Multiple Humans Over Time"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,308호, "Human Tracking System"이라는 발명의 명칭으로 2009년 10월 7일에 출원된 미국 특허 출원 제 12/575,388호, "Gesture Recognizer System Architecture"라는 발명의 명칭으로 2009년 4월 13일에 출원된 미국 특허 출원 제 12/422,661호, "Standard Gestures"라는 발명의 명칭으로 2009년 2월 23일에 출원된 미국 특허 출원 제 12/391,150호, "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호에서 발견되며, 이들 모두는 특히 참조로서 본원에 통합된다.
도 2는 타겟 인식, 분석 및 트래킹 시스템(10)에서 사용 가능한 캡쳐 장치(20)의 예시적인 실시예를 도시한다. 예시적인 실시예에서, 캡쳐 장치(20)는 비행 시간(time-of-flight), 구조광(structured light), 스테레오 이미지 등을 포함하는 적절한 임의 기술을 통해, 깊이 값을 포함하는 깊이 이미지 등 깊이 정보가 있는 비디오를 캡쳐하도록 구성될 수 있다. 일 실시예에 따르면, 캡쳐 장치(20)는 "Z 레이어들", 또는 깊이 카메라로부터 시선을 따라 연장되는 Z 축에 수직인 레이어들로 깊이 정보를 체계화시킬 수 있다.
도 2에 도시된 바와 같이 캡쳐 장치(20)는 이미지 카메라 컴포넌트(22)를 포함할 수 있다. 일 실시예에 따르면, 이미지 카메라 컴포넌트(22)는 장면의 깊이 이미지를 캡쳐하는 깊이 카메라일 수 있다. 깊이 이미지는 캡쳐된 장면의 2-D(two-dimensional) 화소 영역을 포함할 수 있고, 2-D 화소 영역의 각 화소는 카메라로부터 캡쳐된 장면에서 사물의 길이 또는 거리 등의 깊이 값을 센티미터, 밀리미터 등으로 나타낼 수 있다.
도 2에 도시된 바와 같이, 예시적인 실시예에 따르면, 이미지 카메라 컴포넌트(22)는 장면의 깊이 이미지를 캡쳐하기 위해 사용되는 적외선 컴포넌트(IR light component, 24), 3-D(three-dimensional) 카메라(26) 및 RGB 카메라(28)를 포함할 수 있다. 예를 들면, 비행 시간 분석법에서는, 캡쳐 장치(20)의 적외선 컴포넌트(24)가 장면으로 적외선을 내보내고, 센서들(도시되지 않음)을 사용하여 3-D 카메라(26) 및/또는 RGB 카메라(28)를 사용한 장면의 하나 이상의 타겟 및 사물들의 표면으로부터 후방 산란되는 빛을 검출한다.
몇몇 실시예에서는, 펄스 적외선(pulsed infrared light)을 사용하여, 나가는 광 펄스와 이에 대응하여 들어오는 광 펄스 간의 시간을 측정하고, 이를 사용하여 캡쳐 장치(20)로부터 장면의 타겟 또는 사물들의 특정 지점까지의 물리적인 거리를 결정할 수 있다. 또한, 또 다른 실시예에서는, 나가는 광파의 위상과 들어오는 광파의 위상을 비교하여 위상 변위(phase shift)를 결정할 수 있다. 이후, 이 위상 변위를 사용하여 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 결정할 수 있다.
다른 실시예에 따르면, 비행 시간 분석법을 사용하여 셔터 광 펄스 이미징(shuttered light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 따른 반사광의 강도를 분석함으로써 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 간접적으로 결정할 수 있다.
또 다른 실시예에서, 캡쳐 장치(20)는 구조광을 사용하여 깊이 정보를 캡쳐할 수 있다. 이러한 분석법에서는, 패턴화된 광(즉, 그리드 패턴이나 스트라이프 패턴과 같이 공지된 패턴으로 디스플레이되는 광)이 적외선 컴포넌트(24)를 통해 장면에 투사될 수 있다. 그 장면의 하나 이상의 타겟 또는 사물의 표면에 부딪치면, 패턴이 그에 따라 변형되게 된다. 이러한 패턴의 변형이 예컨대, 3-D 카메라(26) 및/또는 RGB 카메라(28)에 의해 캡쳐된 후에 분석되어, 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 결정할 수 있다.
또 다른 실시예에 따르면, 캡쳐 장치(20)는, 깊이 정보의 생성을 위해 분석되는 비주얼 스테레오 데이터를 얻기 위해 각기 다른 각도에서 장면을 볼 수 있는 물리적으로 분리된 둘 이상의 카메라들을 포함할 수 있다. 또 다른 실시예에서, 캡쳐 장치(20)는 포인트 클라우드 데이터(point cloud data) 및 타겟 디지털화 기법을 사용하여 사용자의 특징들을 탐지할 수 있다.
캡쳐 장치(20)는 마이크로폰(30)을 더 포함할 수 있다. 마이크로폰(30)은 소리를 수신하여 이를 전기 신호로 변환하는 변환기(transducer) 또는 센서를 포함할 수 있다. 일 실시예에 따르면, 마이크로폰(30)은 타겟 인식, 분석 및 트래킹 시스템(10)의 캡쳐 장치(20)와 컴퓨팅 환경(12) 사이의 피드백을 감소시키기 위해 사용될 수 있다. 게다가, 컴퓨팅 환경(12)에서 실행 가능한 게임 애플리케이션, 비게임 애플리케이션 등의 애플리케이션들을 제어하기 위해 사용자로부터 제공되는 오디오 신호를 수신하기 위해 마이크로폰(30)이 사용될 수 있다.
일 실시예에서, 캡쳐 장치(20)는 이미지 카메라 컴포넌트(22)와 통신 가능한 논리 프로세서(32)를 더 포함할 수 있다. 프로세서(32)는 깊이 이미지를 수신하고, 그 깊이 이미지에 적절한 타겟의 포함 여부를 결정하고, 적절한 타겟을 타겟의 골격 형상 또는 모델로 변환하는 인스트럭션을 포함하는 인스트럭션들 또는 기타 임의의 적절한 인스트럭션을 실행하는 표준화된 프로세서, 특화된 프로세서, 마이크로 프로세서를 포함할 수 있다.
캡쳐 장치(20)는, 프로세서(32)로 실행 가능한 인스트럭션, 3-D 카메라 또는 RGB 카메라로 캡쳐된 이미지 또는 이미지 프레임, 또는 기타 임의의 적절한 정보, 이미지 등을 저장하는 메모리 컴포넌트(34)를 더 포함할 수 있다. 일 실시예에 따르면, 메모리 컴포넌트(34)는 RAM(random access memory), ROM(read only memory), 캐시(cache), 플래시 메모리, 하드 디스크 또는 기타 적절한 저장 컴포넌트를 포함한다. 도 2에 도시된 바와 같이, 일 실시예에서, 메모리 컴포넌트(34)는 이미지 카메라 컴포넌트(22) 및 프로세서(32)와 통신하는 별개의 컴포넌트일 수 있다. 또 다른 실시예에 따르면, 메모리 컴포넌트(34)가 프로세서(32) 및/또는 이미지 카메라 컴포넌트(22)에 통합될 수도 있다.
도 2에 도시된 바와 같이, 캡쳐 장치(20)는 통신 링크(36)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 통신 링크(36)는 USB 연결, 파이어와이어(Firewire) 연결, 이더넷 케이블 연결 등을 포함하는 유선 연결 및/또는 무선 802.11b, g, a 또는 n 연결 등의 무선 연결일 수 있다. 일 실시예에 따르면, 컴퓨팅 환경(12)은 장면을 언제 캡쳐할 지를 결정하는 데에 사용되는 클럭을 통신 링크(36)를 통해 캡쳐 장치(20)로 제공할 수 있다.
또한, 캡쳐 장치(20)는 예를 들어, 3-D 카메라(26) 및/또는 RGB 카메라(28)에서 캡쳐되는 깊이 정보 및 이미지들, 및/또는 캡쳐 장치(20)로부터 생성되는 골격 모델을 통신 링크(36)를 통해 컴퓨팅 환경(12)으로 제공할 수 있다. 캡쳐 장치(20)에 의해 탐지된 타겟 또는 객체가 인간 타겟에 대응하는 지를 결정하기 위한 다양한 공지 기술이 존재한다. 사용자의 골격 상의 다양한 지점들, 손, 손목, 팔꿈치, 무릎, 코, 발목, 어깨 및 골반이 척추를 만나는 곳의 관절들을 결정하는 데 골격 매핑 기법이 사용될 수 있다. 다른 기법들로는 이미지를 사람의 신체 모델 형상으로 전환하고, 이미지를 사람의 메쉬 모델 형상으로 전환하는 것이 있다.
컴퓨팅 환경이 다양한 동작을 실행할 수 있도록 골격 모델이 컴퓨팅 환경(12)에 제공될 수 있다. 컴퓨팅 환경은 또한, 예컨대, 골격 모델로부터 인식된 사용자의 제스처에 기반하여, 컴퓨팅 환경에서 실행되고 있는 애플리케이션에서 어떤 제어를 수행할 지를 결정할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 컴퓨팅 환경(12)은 사용자가 사전 정의된 제스처를 언제 수행하였는 지를 결정하기 위한 제스처 인식 엔진(190)을 포함할 수 있다.
도 3a는 타겟 인식, 분석 및 트래킹 시스템에서 사용자의 여러 위치 및 모션을 해석하는 데에 사용되는 컴퓨팅 환경의 일 실시예를 도시한다. 도 1a-2와 관련하여 전술한 컴퓨팅 환경(12) 등의 컴퓨팅 환경은 게임 콘솔과 같은 멀티미디어 콘솔(100)일 수 있다. 도 3a에 도시된 바와 같이, 멀티미디어 콘솔(100)은, 레벨 1 캐시(102), 레벨 2 캐시(104) 및 플래시 ROM(106)을 포함하는 CPU(central processing unit, 101)를 갖는다. 레벨 1 캐시(102) 및 레벨 2 캐시(104)는 데이터를 임시로 저장하여 메모리 액세스 사이클의 수를 감소시킴으로써, 처리 속도와 처리율을 향상시킨다. CPU(101)에는 하나 이상의 코어, 따라서 추가적인 레벨 1 및 레벨 2 캐시(102 및 104)가 제공될 수 있다. 플래시 ROM(106)은 멀티미디어 콘솔(100)의 전원이 켜질 때 부팅 프로세스(boot process)의 초기 단계 동안 로딩되는 실행가능 코드를 저장할 수 있다.
그래픽 처리 장치(GPU, 108)와 비디오 인코더/비디오 코덱(코더/디코더, 114)은 고속 및 고해상도 그래픽 처리를 위해 비디오 처리 파이프라인을 형성한다. 데이터는 버스를 통해 GPU(108)에서 비디오 인코더/비디오 코덱(114)으로 전달된다. 비디오 처리 파이프라인은 텔레비전이나 다른 디스플레이로의 전송을 위해 A/V(오디오/비디오) 포트(140)로 데이터를 출력한다. 메모리 제어기(110)는 GPU(108)에 접속되어, RAM과 같은, 하지만 이에 제한되지는 않는, 다양한 유형의 메모리(112)로의 프로세서 액세스를 용이하게 한다.
멀티미디어 콘솔(100)은, 모듈(118)에서 바람직하게 구현되는 I/O 제어기(120), 시스템 관리 제어기(122), 오디오 처리 장치(123), 네트워크 인터페이스 제어기(124), 제 1 USB 호스트 제어기(126), 제 2 USB 호스트 제어기(128), 및 전면 패널 I/O 서브어셈블리(130)를 포함한다. USB 제어기들(126 및 128)은 주변 제어기들(142(1) ~ 142(2)), 무선 어댑터(148) 및 외부 메모리 장치(146, 예를 들어, 플래시 메모리, 외부 CD/DVD ROM 드라이브, 이동식 매체 등)를 위한 호스트들로서 기능한다. 네트워크 인터페이스(124) 및/또는 무선 어댑터(148)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)로의 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 아주 다양한 유무선 어댑터 컴포넌트들 중 임의의 것일 수 있다.
시스템 메모리(143)는 부팅 프로세스 동안에 로딩되는 애플리케이션을 저장하기 위해 제공된다. 미디어 드라이브(144)가 제공되고, 이는 DVD/CD 드라이브, 하드 드라이브, 또는 다른 이동식 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(144)는 멀티미디어 콘솔(100)의 내부 또는 외부에 있을 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(100)에 의한 실행, 플레이백 등을 위해 미디어 드라이브(144)를 통해 액세스될 수 있다. 미디어 드라이브(144)는, 직렬 ATA 버스 또는 기타 고속 접속(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(120)에 접속된다.
시스템 관리 제어기(122)는 멀티미디어 콘솔(100)의 가용성의 보장과 관련된 다양한 서비스 기능들을 제공한다. 오디오 처리 장치(123)와 오디오 코덱(132)은 고신뢰성과 스테레오 처리를 갖는 대응 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크를 통해 오디오 처리 장치(123)와 오디오 코덱(132) 사이에서 전달된다. 오디오 처리 파이프라인은 오디오 기능이 있는 외부 오디오 플레이어 또는 장치에 의한 재생을 위해 A/V 포트(140)로 데이터를 출력시킨다.
전면 패널 I/O 서브어셈블리(130)는 전원 버튼(150), 배출 버튼(eject button, 152), 및 멀티미디어 콘솔(100)의 외부 표면에 노출된 임의의 LED들(light emitting diodes) 또는 기타 인디케이터들의 기능을 지원한다. 시스템 전원 모듈(136)은 멀티미디어 콘솔(100)의 컴포넌트들에 전력을 공급한다. 팬(fan, 138)은 멀티미디어 콘솔(100) 내의 회로를 냉각시킨다.
멀티미디어 콘솔(100) 내의 CPU(101), GPU(108), 메모리 제어기(110) 및 기타 다양한 컴포넌트들은 직렬 및 병렬 버스들, 메모리 버스, 주변장치 버스, 또는 다양한 버스 아키텍처들 중의 임의의 것을 사용하는 프로세서나 로컬 버스를 포함하는 하나 이상의 버스들을 통해 상호접속된다. 예를 들어, 이러한 아키텍쳐에는 PCI(Peripheral Component Interconnects) 버스, PCI 익스프레스(PCI-Express) 버스 등이 포함될 수 있다.
멀티미디어 콘솔(100)의 전원이 켜질 때, 시스템 메모리(143)로부터 애플리케이션 데이터가 메모리(112) 및/또는 캐시(102, 104)로 로딩되어, CPU(101)에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(100)에서 이용 가능한 다른 미디어 유형들로 네비게이트할 때 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제공할 수 있다. 동작 시에는, 미디어 드라이브(144) 내에 포함된 애플리케이션들 및/또는 기타 미디어들이 미디어 드라이브(144)로부터 시작되거나 재생되어, 멀티미디어 콘솔(100)에 추가 기능들을 제공할 수 있다.
멀티미디어 콘솔(100)은 텔레비전이나 기타 디스플레이에 시스템을 단순히 접속시킴으로써 독립형 시스템으로서 동작할 수 있다. 이 독립형 모드에서, 멀티미디어 콘솔(100)은 한 명 이상의 사용자들이 시스템과 인터랙트하고, 영화를 보고, 음악을 듣게 하도록 할 수 있다. 그러나, 네트워크 인터페이스(124) 또는 무선 어댑터(148)를 통해 이용가능하게 된 통합 광대역 접속으로 인해, 멀티미디어 콘솔(100)은 보다 큰 네트워크 커뮤니티의 참가자로서 동작할 수도 있다.
멀티미디어 콘솔(100)의 전원이 켜지면, 설정량의 하드웨어 리소스들이 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 예약된다. 이러한 리소스들은 메모리(예컨대, 16 MB), CPU 및 GPU 사이클(예컨대, 5 %), 네트워킹 대역폭(예컨대, 8 kbs) 등의 예약을 포함할 수 있다. 이러한 리소스들은 시스템 부팅 시간에 예약되기 때문에, 애플리케이션의 관점에서는 예약된 리소스들이 존재하지 않는다.
특히, 개시 커널(launch kernel), 동시(concurrent) 시스템 애플리케이션 및 드라이버를 포함할 수 있을 정도로 메모리 예약이 충분히 큰 것이 바람직하다. 예약된 CPU 사용량이 시스템 애플리케이션에서 사용되지 않는 경우, 휴지 쓰레드(idle thread)가 미사용 사이클들을 쓸 수 있도록 CPU 예약이 일정한 것이 바람직하다.
GPU 예약과 관련하여, 팝업이 오버레이되도록 코드를 스케줄링하는 GPU 인터럽트를 사용하여, 시스템 애플리케이션에서 생성되는 간단한 메시지(예컨대, 팝업)가 디스플레이된다. 오버레이에 필요한 메모리량은 오버레이 영역 크기에 따르며, 오버레이는 스크린 해상도에 맞춰 스케일링되는 것이 바람직하다. 동시 시스템 애플리케이션이 풀 유저 인터페이스(full user interface)를 사용하는 경우에는, 애플리케이션 해상도와는 별개의 해상도를 사용하는 것이 바람직하다. 주파수를 변경하고 TV를 재동기화시킬 필요가 없도록 이 해상도를 설정하기 위해, 스케일러가 사용될 수 있다.
멀티미디어 콘솔(100)이 부팅되고 시스템 리소스가 예약된 후에, 동시 시스템 애플리케이션이 실행되어 시스템 기능들을 제공한다. 시스템 기능들은, 상기에서 설명한 예약된 시스템 리소스들 내에서 실행되는 일련의 시스템 애플리케이션에서 캡슐화되어 있다. 운영 체제 커널은 시스템 애플리케이션 쓰레드인지 게임 애플리케이션 쓰레드인지를 식별한다. 일관적인 시스템 리소스 뷰를 애플리케이션에 제공하기 위해, 시스템 애플리케이션은 사전 설정된 시간 및 간격으로 CPU(101)에서 실행되도록 스케줄링되는 것이 바람직하다. 스케줄링은 콘솔에서 실행되는 게임 애플리케이션에 대한 캐시 중단을 최소화하기 위한 것이다.
동시 시스템 애플리케이션이 오디오를 필요로 할 때, 오디오 처리는 시간에 대한 민감도로 인해 게임 애플리케이션과 비동기적으로 스케줄링된다. 시스템 애플리케이션이 동작할 때, 멀티미디어 콘솔 애플리케이션 관리자(이하에서 설명됨)는 게임 애플리케이션 오디오 레벨(예컨대, 음소거(mute), 감쇠(attenuate))을 제어한다.
게임 애플리케이션 및 시스템 애플리케이션은 입력 장치들(예컨대, 제어기(142(1) 및 142(2)))을 공유한다. 입력 장치들은 예약된 리소스들이 아니지만, 각 시스템 애플리케이션 및 게임 애플리케이션이 입력 장치의 포커스를 갖도록 애플리케이션들 사이에서 스위칭될 것이다. 애플리케이션 관리자는 게임 애플리케이션에 대한 정보 없이 입력 스트림의 스위칭을 제어하는 것이 바람직하며, 드라이버는 포커스 스위치에 관한 상태 정보를 보유한다. 카메라(26, 28) 및 캡쳐 장치(20)는 콘솔(100)을 위한 추가적인 입력 장치들일 수 있다.
도 3b는 타겟 인식, 분석 및 트래킹 시스템에서의 여러 위치 및 모션들의 해석, 및/또는 타겟 인식, 분석 및 트래킹 시스템에 의해 디스플레이되는 아바타, 온스크린 캐릭터, 온스크린 객체 등의 가상 캐릭터의 애니메이션화를 위해 사용되는 도 1a-2에 도시된 컴퓨팅 환경(12)의 또 다른 실시예인 컴퓨팅 환경(220)을 도시한다. 컴퓨팅 시스템 환경(220)은 적합한 컴퓨팅 환경의 일례일 뿐, 본원에 개시된 대상의 사용이나 기능의 범위를 제한하는 것은 아니다. 컴퓨팅 환경(220)은, 예시적인 운영 환경(220)에 도시된 임의의 컴포넌트 또는 컴포넌트 조합에 관한 의존성이나 요구 사항을 가지는 것으로 해석되어서는 안 된다. 몇몇 실시예에서, 도시된 다양한 컴퓨팅 구성요소들은 본 개시의 특정 양태들에 대한 예를 들어 설명하는 회로를 포함할 수 있다. 예를 들어, 본 개시에서 사용되는 회로는 펌웨어나 스위치로 기능(들)을 실행하도록 구성되는 특화된 하드웨어 컴포넌트들을 포함할 수 있다. 또 다른 실시예에서, 회로는 기능(들)을 실행하는 논리 동작을 구현하는 소프트웨어 인스트럭션으로 구성되는 범용 처리 장치(general purpose processing unit), 메모리 등을 포함할 수 있다. 하드웨어와 소프트웨어의 조합을 포함하는 회로의 실시예들에 있어서, 구현자는 논리를 구현하는 소스 코드를 작성하고, 이 소스 코드는 범용 처리 장치에서 처리될 수 있는 기계 판독가능 코드로 컴파일될 수 있다. 실시예들에서, 당업자라면 하드웨어, 소프트웨어 또는 하드웨어/소프트웨어의 조합 간에 차이가 거의 없는 방향으로 선행 기술이 발전해왔다는 점을 알 수 있으므로, 특정 기능을 구현하기 위한 하드웨어 대 소프트웨어의 선택은 구현자에게 달려 있는 설계 선택에 불과하다. 특히, 당업자라면 소프트웨어 프로세스가 동등한 하드웨어 구조로 변환가능하고, 하드웨어 구조 또한 동등한 소프트웨어 프로세스로 변환가능하다는 점을 알 수 있다. 따라서, 하드웨어 구현 대 소프트웨어 구현의 선택은 설계 선택으로, 구현자에게 달려 있다.
도 3b에서, 컴퓨팅 환경(220)은, 일반적으로 다양한 컴퓨터 판독가능 매체를 포함하는 컴퓨터(241)를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(241)가 액세스할 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 모두를 포함하는 임의의 가용 매체일 수 있다. 시스템 메모리(222)는 ROM(223) 및 RAM(260)과 같은 휘발성 및/또는 비휘발성 메모리의 형태인 컴퓨터 저장 매체를 포함한다. 스타트업 동안과 같이 컴퓨터(241) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS, 224)은 일반적으로 ROM(223)에 저장된다. RAM(260)은 일반적으로 처리 장치(259)에 의해 즉시 액세스 가능 및/또는 바로 동작되는 데이터 및/또는 프로그램 모듈들을 포함한다. 예를 들어, 도 3b는 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227), 및 프로그램 데이터(228)를 도시하고 있으며, 이들로서 제한되는 것은 아니다. 애플리케이션 프로그램(226)의 일례로 본원에서 설명되는 바와 같이 사용자에게 인터랙티브한 스토리 경험을 프리젠테이션하기 위해 사용되는 스토리 애플리케이션(226)이 있다. 도 3b는 고속 및 고해상도 그래픽 처리 및 저장을 위한 관련 비디오 메모리(230)를 갖고 있는 그래픽 처리 장치(GPU, 229)도 포함한다. GPU(229)는 그래픽 인터페이스(231)를 통해 시스템 버스(221)에 접속될 수 있다.
또한, 컴퓨터(241)는 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예를 들어, 도 3b는 비이동식, 비휘발성 자기 매체에 판독 또는 기록하는 하드 디스크 드라이브(238), 이동식, 비휘발성 자기 디스크(254)에 판독 또는 기록하는 자기 디스크 드라이브(239), 및 CD ROM 또는 다른 광학 매체와 같은 이동식, 비휘발성 광 디스크(253)에 판독 또는 기록하는 광 디스크 드라이브(240)를 도시한다. 예시적인 운영 환경에서 사용 가능한 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체는, 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만, 이들로서 제한되는 것은 아니다. 하드 디스크 드라이브(238)는 일반적으로 인터페이스(234)와 같은 비이동식 메모리 인터페이스를 통해 시스템 버스(221)에 연결되며, 자기 디스크 드라이브(239) 및 광 디스크 드라이브(240)는 일반적으로 인터페이스(235)와 같은 이동식 메모리 인터페이스에 의해 시스템 버스(221)에 연결된다.
앞서 논의되었으며 도 3b에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(241)를 위한 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 및 기타 데이터를 저장한다. 도 3b에서, 예를 들어, 하드 디스크 드라이브(238)는 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256) 및 프로그램 데이터(255)를 저장하는 것으로 도시되어 있다. 이러한 컴포넌트들은 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227) 및 프로그램 데이터(228)와 동일할 수도 또는 다를 수도 있음을 알 것이다. 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256), 및 프로그램 데이터(255)는, 최소한 이들이 상이한 카피들임을 나타내기 위해 본원에서 상이한 번호가 부여된다. 사용자는 키보드(251), 및 일반적으로 마우스, 트랙볼, 또는 터치 패드로 불리는 포인팅 장치(252)를 비롯한 입력 장치들을 통해 명령어 및 정보를 컴퓨터(241)에 입력할 수 있다. 다른 입력 장치들(도시되지 않음)은 마이크, 조이스틱, 게임 패드, 위성 접시, 스캐너, 리모콘 등을 포함할 수 있다. 이들 및 다른 입력 장치들은 보통 시스템 버스에 연결된 사용자 입력 인터페이스(236)를 통해 처리 장치(259)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)를 비롯한 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 카메라(26, 28) 및 캡쳐 장치(20)는 콘솔(100)의 추가 입력 장치에 해당한다. 모니터(242) 또는 다른 형태의 디스플레이 장치도 비디오 인터페이스(232)와 같은 인터페이스를 통해 시스템 버스(221)에 접속된다. 모니터뿐만 아니라, 컴퓨터들은, 출력 주변 기기 인터페이스(233)를 통해 접속될 수 있는 스피커(244) 및 프린터(243)를 비롯한 다른 주변 기기 출력 장치들을 포함할 수 있다.
컴퓨터(241)는 원격 컴퓨터(246)와 같은 하나 이상의 원격 컴퓨터들에 대한 논리적인 연결들을 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(246)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치(peer device) 또는 다른 공통 네트워크 노드일 수 있으며, 단지 메모리 저장 장치(247)만이 도 3b에 도시되어 있지만, 일반적으로 컴퓨터(241)와 관련하여 전술한 다수의 또는 모든 구성요소들을 포함한다. 도 4에 도시된 논리적인 연결은 LAN(local area network, 245) 및 WAN(wide area network, 249)을 포함하지만, 또한 다른 네트워크들도 포함할 수 있다. 이러한 네트워킹 환경들은 사무실, 기업(enterprise-wide) 컴퓨터 네트워크, 인트라넷 및 인터넷에 흔하다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 네트워크 인터페이스 또는 어댑터(237)를 통해서 LAN(245)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 일반적으로 모뎀(250) 또는 인터넷과 같이 WAN(249)을 통해 통신을 구축하기 위한 다른 수단을 포함한다. 내부 또는 외부에 존재할 수 있는 모뎀(250)은 사용자 입력 인터페이스(236), 또는 다른 적절한 메카니즘을 통해 시스템 버스(221)에 연결될 수 있다. 네트워킹 환경에서, 컴퓨터(241) 또는 그 일부분에 관련하여 도시된 프로그램 모듈들이 원격 메모리 저장 장치 내에 저장될 수 있다. 예를 들면, 도 3b는 메모리 장치(247) 상에 존재하는 원격 애플리케이션 프로그램들(248)을 도시하고 있다. 도시된 네트워크 연결들은 예시적인 것이며, 컴퓨터들 간에 통신 링크를 구축하는 다른 수단이 사용될 수 있음을 이해할 것이다.
도 4는 캡쳐 장치(20)에서 캡쳐되는 이미지 데이터로부터 생성될 수 있는 사용자의 골격 매핑의 일례를 도시한다. 본 실시예에서, 각 손(302), 각 팔뚝(304), 각 팔꿈치(306), 이두박근(308), 각 어깨(310), 각 엉덩이(312), 각 허벅지(314), 각 무릎(316), 각 종아리(318), 각 발(320), 머리(322), 몸통(324), 척추 상부(326)와 하부(328) 및 허리(330) 등 다양한 관절들과 뼈들이 식별된다. 더 많은 포인트들이 트래킹되면, 손가락 또는 발가락의 뼈 및 관절들, 또는 코 및 눈과 같은 얼굴 각각의 특징 등의 추가 특징들이 식별될 수 있다.
도 5는 내츄럴 사용자 인터페이스를 통해 인터랙티브한 스토리 경험을 제공하는 본 기술의 실시예의 동작에 관한 상위 레벨 순서도이다. 단계(400)에서, 사용자는 시스템(10)을 시작하고 컴퓨팅 환경(12) 및 캡쳐 장치(20)를 동작시킬 수 있다. 단계(404)에서, 시스템(10)은 스토리 애플리케이션(226)을 실행한다. 단계(406)에서, 스토리 애플리케이션은 디스플레이(14)를 통해 사용자에게 스토리의 다음 프레임을 프리젠테이션한다.
스토리는 디스플레이(14)를 통해 그래픽으로 프리젠테이션되고, 관련 음성 내러티브(audio narrative)를 가질 수도 있다. 스토리는 디스플레이(14) 상에 불연속, 정지-이미지 패널(still-image panel)로, 즉, 정지 프레임으로써 연속해서 프리젠테이션되는 일련의 정적 이미지로 디스플레이될 수 있다. 또는, 이야기는 동적 컴퓨터-그래픽(CG) 애니메이션으로 또는 비디오 카메라로 찍힌 실제 배우들의 장면으로 프리젠테이션될 수도 있다. 음성 내러티브는 이하에서 설명되는 바와 같이, 스토리 애플리케이션, 사용자, 및/또는 스토리가 프리젠테이션되는 동안에는 나타나지 않는 제삼자가 제공하는 오디오일 수 있다. 음성 내러티브는 또한 프리젠테이션되는 스토리의 캐릭터들 간의 대화도 포함할 수 있다. 역시, 이 캐릭터들 간의 대화는 스토리 애플리케이션, 한 명 이상의 사용자, 및/또는 스토리가 프리젠테이션되는 동안에는 나타나지 않는 한 명 이상의 제삼자에 의해 제공될 수 있다.
CG 애니메이션을 사용하는 실시예에서, 스토리 애플리케이션(226)은 컴퓨팅 환경(12)의 GPU에서 생성되는 애니메이션의 첫 번째 프레임을 프리젠테이션할 수 있고, 프레임은 캡쳐 장치의 재생 빈도(refresh rate)(예컨대, 30 Hz)로 재생될(refresh) 수 있다. 재생 빈도는 다른 실시예에서의 재생 빈도보다 빠르거나 늦을 수 있다. 정지-이미지 패널을 사용하는 실시예에서, 정적 이미지는 책이나 만화책의 페이지와 유사하다. 정적 이미지는 예컨대 몇 초 동안 디스플레이에 프리젠테이션될 수 있다. 비디오를 사용하는 실시예에서, 프레임은 비디오의 프레임 빈도(frame rate)로 재생될 수 있고, 이는 예컨대, 30 Hz일 수 있다.
실시예에서, 스토리 애플리케이션을 실시하면, 사용자(18)는 프리젠테이션된 스토리와 인터랙션할 필요가 없다. 즉, 사용자는 단순히 스토리의 처음부터 끝까지 그 스토리를 시청할 수 있다. 아래에서 설명되는 추가 실시예에서, 사용자는 스토리 애플리케이션(226)에 의해 프리젠테이션되는 스토리와 인터랙션할 수도 있다.
캡쳐 장치(20)는 사용자가 스토리 애플리케이션을 보거나 및/또는 스토리 애플리케이션과 인터랙션할 때 사용자를 모니터링하고 있다. 단계(408)에서, 캡쳐 장치(20)에서 사용자가 시야에서 벗어나고 있음을 감지하면, 스토리 애플리케이션은 사용자가 시야로 다시 들어올 때까지 단계(412)에서 일시 정지할 수 있다. 단계(408 및 412)는 다른 실시예에서 생략될 수도 있다. 앞서 언급한 바와 같이, 사용자는 단순히 앉아서, 스토리 애플리케이션에서 프리젠테이션하는 스토리를 시청할 수 있다. 단계(416)에서, 사용자 인터랙션이 감지되지 않는 경우, 스토리는 그냥 끝까지 계속될 것이다. 하지만, 사용자 인터랙션이 단계(416)에서 감지되는 경우, 아래에서 설명되는 바와 같이, 시스템은 일반적으로 인터랙션을 결정하고, 그 인터랙션에 따라 다른 동작들을 실행하게 된다.
단계(418)에서, 스토리 애플리케이션은 캡쳐 장치(20)의 마이크로폰 어레이(30)에서 음성을 탐지하였는지를 확인할 수 있다. 마이크로폰 어레이(30)에서 얻은 소리를 구분하여 소리 중 하나 이상이 사람의 음성인지 여부를 결정하기 위한 기법이 알려져 있다. 마이크로폰 어레이(30)는 마이크로폰 어레이(30)에서 탐지 가능한 저대역 노이즈를 감쇠하기 위해, 예컨대, 고대역 필터와 같은 각종 공지된 필터를 포함할 수 있다.
단계(418)에서 음성이 탐지되면, 시스템은 도 6에 제시된 단계들을 실행하며, 이는 이제부터 설명될 것이다. 실시예에서, 특정 사용자가 화자(speaker)인지 또는 음성이 다른 소스로부터 오고 있는지를 식별하는 것이 바람직할 수 있다. 예컨대, 음성 특성의 특정 사용자와의 이전 연관성 및 음향 소스 국지화 기법(acoustic source localization technique)과 같이, 시야 내의 사용자와 음성을 연계시키기 위한 다양한 기법이 존재한다. 이들 및 기타 기법을 사용하여 단계(450)에서 화자를 식별할 수 있다. 단계(450)은 다른 실시예에서 생략될 수 있다.
스토리 애플리케이션은 오디오/비주얼 장치(16)와 연계된 스피커를 통해 방송될 수 있는 스토리를 나레이션하기 위한 관련 내러티브를 가지고 있을 수 있다. 그러나, 스토리를 듣는 사용자가 읽을 수 있도록 내러티브가 화면에 글로 디스플레이될 수도 있다. 일례로, 아이가 디스플레이(14)에서 펼쳐지는 스토리를 보면서, 아이는 읽는 법을 배우고 부모는 그 스토리를 읽을 수 있다. 화면에 나타나는 글 대신에, 사용자는 컴퓨팅 환경(12)과 한 쌍을 이루며 스토리 애플리케이션(12)의 동일한 인스턴스에 참여하고 있는 컴퓨팅 장치를 가지고 있을 수 있다. 본 실시예에서, 내러티브를 위한 글은 디스플레이(14) 대신에 사용자의 한 쌍을 이루는 컴퓨팅 장치에 디스플레이될 수 있다.
다른 실시예로, 스토리 애플리케이션(226)이 시스템(10) 상에서 스토리를 보여주고 있을 때 참석하지 않은 제삼자가 내러티브를 읽을 수 있는 경우를 생각해 본다. 제삼자는 누구든지 될 수 있고, 실시예에서, 제삼자는, 예컨대, 스토리 애플리케이션이 실행 중일 때 참석하지 않지는 않았지만 시스템(10) 상의 스토리를 듣고 보는 아이에게 프리젠테이션되는 내러티브의 음성이기를 원하는 부모나 조부모일 수 있다.
본 실시예에서, 제삼자는 스토리 애플리케이션을 위한 내러티브를 사전에 녹음하고, 스토리 애플리케이션이 실행될 때 이 녹음이 재생되어 스토리에 대한 내러티브를 제공할 수 있다. 본 실시예에서, 녹음은 시스템(10)에 연계되거나 연계되지 않은 오디오 재생 장치에서 재생될 수 있다. 다른 실시예에서, 시스템(10) 상에서 스토리 애플리케이션이 실행될 때 제삼자가 실시간으로 스토리 애플리케이션(226)의 내러티브를 읽을 수도 있지만, 제삼자는 전화 또는 VOIP 접속을 통해 컴퓨팅 환경(12)에 연결된다.
단계(454)에서, 스토리 애플리케이션은 단계(418)에서 감지된 음성이 스토리의 내러티브와 연관성이 있는지를 결정한다. 이를 위해, 내러티브의 공지된 단어를 음소(phoneme)로 파싱하고, 마이크로폰 어레이(30)에서 감지한 음성에 대해서도 동일하게 파싱하고, 매치를 찾기 위해 두 음소 스트림을 비교하는 것을 포함한 공지된 음성 분석 기법이 사용될 수 있다.
단계(454)에서, 발성 음성(spoken voice)이 스토리 애플리케이션의 내러티브와 연관성이 있는 경우, 그 발성 음성은 스토리 애플리케이션이 스토리를 진행시키는 속도를 설정할 수 있다. 예를 들어, 스토리가 정지 이미지 패널로 프리젠테이션될 때, 스토리 애플리케이션은 특정 패널에 관련된 내러티브의 마지막 말을 하였는지를 단계(464)에서 결정할 수 있다. 하지 않았다면, 다음 패널로 진행할 시간이 아직 아니므로, 도 5에 관해 이하에서 설명되는 바와 같이 흐름은 다음 인터랙션을 찾기 위해 되돌아갈 수 있다. 반면, 스토리 애플리케이션에서 특정 패널에 관련된 내러티브의 마지막 말을 하였다고 결정하면, 스토리 애플리케이션은 단계(466)에서 다음 패널로 진행될 수 있다. 흐름은 도 5에 관해 이하에서 설명되는 바와 같이 다음 인터랙션을 찾기 위해 되돌아갈 수 있다.
이미지가 비디오 또는 동적 애니메이션인 경우, 스토리 애플리케이션은 내러티브를 발성 음성에 연관시키고, 디스플레이된 이미지의 속도를 높이거나 낮추어 사용자나 제삼자가 말하는 내러티브의 속도와 동기화시킬 수 있다. 스토리 애플리케이션은 도 5의 순서도에서 순환될 수 있으며, 주기적으로 음성을 확인하고, 그 음성이 프리젠테이션된 스토리의 내러티브와 연관성이 있는지를 확인하며, 프리젠테이션된 이미지를 내러티브를 읽는 속도와 동기화시킬 수 있다.
스토리 애플리케이션이 단계(454)에서 음성을 내러티브와 연관시킬 수 없는 경우, 스토리 애플리케이션은 다음 단계(456)에서 그 소리가 스토리 애플리케이션 또는 시스템(10)의 동작에 대한 음향 명령어(audible instruction)로 인식되는지를 확인할 수 있다. 인식되지 않는 경우, 이하에서 설명되는 바와 같이, 컴퓨팅 환경(12)은 도 5로 되돌아가서 단계(422)에서 스토리 애플리케이션과의 다른 가능한 사용자 인터랙션을 찾을 수 있다. 반면, 단계(456)에서 음성이 명령어로 인식되는 경우, 그 명령어와 관련된 동작이 단계(460)에서 실행된 후에, 시스템은 다음 인터랙션을 확인하기 위해 도 5의 순서도로 되돌아갈 수 있다.
이제 도 5로 되돌아가서, 단계(422)에서 본 시스템은 본원에서 "탐사 제스처"라고 하는 특정 유형의 제스처를 찾을 수 있다. 특히, 사용자가 실제로 디스플레이(14)에 프리젠테이션된 가상 세계로 들어와, 디스플레이 상의 가상 객체들을 탐사 및/또는 조사하게 되는 하나의 유형의 인터랙션을 가능하게 하는 것이 본 기술의 특징이다. 매우 다양한 예시들 중 하나로, 스토리에서 사용자에게 방을 디스플레이할 수 있다. 사용자의 인터랙션 없이도, 사용자에게 일정 기간 동안 방을 보여준 후, 스토리는 다른 장소를 보여주려고 이동할 수 있다. 하지만, 단순히 이동하는 대신에, 사용자는 자세히 보기 위해 및/또는 다른 관점에서 객체들을 보기 위해 방안의 가상 객체들을 탐사 및 조사하려는 바람을 나타내며 탐사 제스처를 취할 수 있다. 실시예에서, 사용자가 장면 안의 가상 객체들을 집고 조작할 수 있게끔, 컴퓨팅 환경(12)에 의해 해석되는 제스처 및 모션을 사용자가 실행할 수도 있다.
도 5의 단계(422)에서, 컴퓨팅 환경(12)은 사전 정의된 탐사 제스처를 찾는다. 본 기술의 실시예에서는 사용자에 의한 다양한 움직임 및 제스처가 사전 정의된 탐사 제스처로 설정될 수 있다. 이제 도 10과 관련하여 설명되는 이런 일 실시예에서, 캡쳐 장치(20)는 사용자의 머리 및/또는 몸 움직임을 캡쳐한다. 예를 들어, 도 10에서, 사용자는 현실 세계에서 객체 주변 또는 객체 뒤를 들여다보려 할 때 옆으로 숙여 목을 길게 뺐다. 제스처 인식 엔진(190)의 동작이 이하에서 설명되며, 제스처 인식 엔진(190)은 이런 몸 움직임을 찾기 위해 사전 정의된 규칙을 가지고 있으며, 움직임을 찾으면, 이를 탐사 제스처로 해석한다. 목을 길게 빼고 및/또는 허리를 숙이는 것뿐만 아니라, 탐사 제스처는 추가적으로 및 이를 대신하여 예컨대, 도 10에 도시된 것과 같은 가리키는 제스처와 같은 다른 제스처를 포함할 수 있다.
다른 실시예에서 매우 다양한 다른 몸 움직임이 탐사 제스처로 정의될 수 있음을 알 것이다. 이런 몇몇 실시예에서, 사용자 움직임은 사용자가 가상 세계에서 하길 원하는 동작에 대해 현실 세계에서의 연관성을 가질 수 있다. 사용자가 옆으로 숙여 목을 길게 빼서 객체 주변 또는 객체 뒤를 보려는 바람을 나타내는 일례가 앞서 소개되었다. 다른 실시예에서, 사용자는 가상 세계로 들어가려는 바람을 나타내며, 추가적으로 또는 대안적으로 디스플레이 방향으로 걸어갈 수 있다. 다른 실시예에서, 현실 세계에서 의미가 없는 일련의 임의의 제스처들이 정의될 수 있다. 하지만, 임의의 몸 및/또는 음성 제스처가 실행될 때, 제스처 인식 엔진이 이를 인식하여 객체 뒤를 보려고 가상 장면으로 들어오는 것과 같은 관련 동작을 실행하도록 하기 위해, 제스처 인식 엔진(190)에서 이런 임의의 몸 및/또는 음성 제스처를 개발 및 기록할 수 있다.
단계(422)에서 탐사 제스처가 인식되면, 컴퓨팅 환경(12)은 도 7의 순서도와 관련하여 이제부터 설명되는 단계들(490에서 538)을 실행한다. 단계(490)에서, 컴퓨팅 환경(12)은 사용자가 다른 위치에서 디스플레이된 장면을 보기 위한 디스플레이를 보여주는 삼차원 가상 세계로 들어가기 원하는지를 결정한다. 역시, 이런 바람은 물론 사용자가 가상 장면으로 들어가려는 방향 또한 사전 정의된 머리, 손 또는 기타 제스처를 통해 사용자에 의해 제어된다. 본 실시예는 장면이 CG 애니메이션으로 프리젠테이션되는 경우에도 동작할 수 있다. 장면이 고정 패널이나 녹화된 비디오로 프리젠테이션되는 경우, CG 애니메이션이 그 디스플레이 모델에 삽입되어 아래에서 설명되는 바와 같은 가상 장면의 탐사를 제공할 수 있다. 다른 실시예에서, 비디오는 360도로 촬영되어, 사용자의 비디오 장면으로의 입장 및 탐사를 어느 정도 가능하게 할 수도 있다.
일례로, 탐사 제스처가 실행되면, 캡쳐 장치(20) 및 컴퓨팅 장치(12)는 예컨대, 도 10의 포인트(610)와 같이 사용자가 초점을 맞추고 있는 디스플레이 상의 포인트를 결정할 수 있다. 이 포인트는 사용자의 눈이 가리키는 곳을 캡쳐함으로써 및/또는 사용자의 손이 가리키는 곳을 캡쳐함으로써 결정될 수 있다. 다른 실시예에서, 사용자는 추가적으로 또는 대안적으로 그 방향으로 걸어갈 수도 있다. 단계(490)에서 사용자가 그 장면을 다른 위치에서 보기 원한다고 결정되면, 컴퓨팅 환경은 단계(494)에서 사용자가 가상 세계에서 이동하기 원하는 벡터를 정의할 수 있다.
단계(494)에서 벡터는 사용자에 있는 기준 포인트(point of reference)로부터 디스플레이 상의 관심 포인트(610)까지의 하나 이상의 현실 세계 삼차원 벡터들(612)에 기초하여 결정될 수 있다. 도 10에서, 벡터들(612)은 사용자의 눈으로부터 관심 포인트(610)까지 및 사용자의 가리키는 손으로부터 관심 포인트(610)까지이다. 기준 포인트(눈, 손 등)는 공지된 x, y 및 z 좌표 위치를 가진다.
디스플레이(14) 상의 가상 장면은 3-D 데이터로 표현된다. 즉, 가상 장면 및 그 장면 내의 가상 객체의 포인트들에 x, y 및 z 값이 부여되어, 본원에서 3-D 머신 공간이라고 하는 3-D 가상 공간을 생성한다. 사용자가 움직이고 있는 현실 세계에 대한 캡쳐 장치(20)의 공지된 위치에 대해, 3-D 현실 세계 공간과 3-D 머신 공간 사이에 공지된 관계가 존재한다. 따라서, 벡터들(612)은 공지된 변환 행렬을 사용하여 3-D 현실 세계 공간에서 3-D 머신 공간으로 해석될 수 있다. 현실 세계 벡터들(612)의 3-D 머신 공간으로의 해석은 사용자가 3-D 가상 장면으로 움직여야 하는 벡터를 단계(494)에서 제공한다. 이하에서 설명되는 바와 같이, 사용자가 가상 장면으로 이동하여 가상 객체들을 검토하는 효과를 만들기 위해, 장면의 다른 영역 및 객체들의 뷰를 상이한 줌인 또는 줌아웃 위치로부터 제공하도록 디스플레이의 관점이 바뀌게 된다. 이는, 가상 객체들이 단지 디스플레이 상에서 2-차원 포인트들로서 정의된 것이 아니라 머신 공간에서 3-D 해상도를 가지고 있기 때문에 가능한 것이다.
단계(498)에서, 사용자를 원하는 장소로 즉시 옮기는 대신에, 사용자의 가상 머신에 대한 뷰가 점차 증가되어 바뀔 수 있다. 사용자 뷰가 바뀌는 증가분은 임의로 설정될 수 있지만, 실시예에서, 사용자가 정상적으로 걷는 속도로 장면에 걸어 들어가는 인상을 만들도록 그 뷰가 바뀐다. 단계(502)에서, 디스플레이(14) 상에 디스플레이되는 장면의 뷰는 단계(498)의 점차 증가하여 변하는 뷰로 업데이트될 수 있다. 다시 말하지만, 디스플레이된 장면의 뷰를 3-D 머신 공간의 임의의 관점으로 해석하는 변환 행렬은 공지되어 있다. 단계(506)에서, 단계(502)에서 결정된 새로운 위치의 뷰로부터 장면이 렌더링될 수 있다.
이후에 순서는 단계(490)로 되돌아 가서, 사용자가 객체를 조사하기 원하는 가상 장면 내의 위치에 도착했는지 또는 사용자가 가상 장면 내에서 계속 움직이기 원하는지를 결정할 수 있다. 이는 사용자의 몸 위치 및 사용자가 디스플레이 상에서 초점을 두고 있는 곳, 또는 기타 임의의 몸 움직임이나 음성 제스처로 나타낼 수 있다. 사용자가 가상 장면 내에서 계속 이동하기 원하는 경우, 사용자가 가상 장면 내에서 원하는 위치에 도달할 때까지 단계들(490에서 506)이 반복된다.
단계(490)에서 사용자가 가상 장면에서 원하는 위치에 있는지(즉, 장면이 원하는 관점에서 디스플레이에 프리젠테이션이 되는지)를 결정하면, 흐름은 단계(510)로 분기되어, 사용자가 장면 내에서의 그 위치에서 좀 더 가까이 객체에 초점을 맞추길 원하는지를 결정할 수 있다. 또한, 이런 바람은 하나 이상의 사전 정의된 제스처로, 즉, 사용자가 현실 세계에서 객체 쪽으로 이동 및/또는 객체에 초점을 맞추는 현실 세계 움직임을 흉내 내거나 또는 가상 세계 내의 객체를 탐사하고 객체에 초점을 맞추기 위해 정의된 임의의 제스처로 나타낼 수 있다.
단계(510)에서 사용자가 장면의 객체에 좀 더 가까이에서 초점을 맞추기 원한다고 결정되는 경우, 컴퓨팅 환경(12)은 단계(514)에서 현재 위치(즉, 장면의 현재 뷰)를 기준 위치로 저장한다. 이하에서 설명되는 바와 같이, 이 기준 위치는 사용자가 특정 가상 객체에 대한 초점 맞추기를 끝낼 때 시스템이 되돌아가는 뷰로서 사용될 것이다. 단계(518)에서, 컴퓨팅 환경(12)은 기준 위치로부터 가상 객체까지의 벡터 방향을 결정한다. 이는 전술한 바와 같이 현실 세계에서 x, y, z 공간에서의 사용자의 머리 위치 및 사용자가 디스플레이 상에서 보고 있는 곳을 탐지하여 그 벡터를 가상 머신 공간의 벡터로 해석함으로써 수행될 수 있다.
단계(522)에서, 이 벡터를 따라 중간 증가 위치(intermediate incremental position)가 전술한 바와 같이 결정될 수 있다. 단계(524)에서, 장면의 관점이 단계(522)에서 결정된 위치로 해석될 수 있고, 단계(528)에서는, 단계(524)에서 결정된 관점에서 장면이 렌더링될 수 있다. 단계(532)에서, 시스템은 사용자가 가상 장면 내의 특정 객체에 초점을 둔 것을 마쳤는지를 결정할 수 있다. 이는 각종 사전 정의된 제스처 중 임의의 제스처로 나타낼 수 있다. 시스템이 사용자가 초점 뷰를 마쳤다고 판단하지 않으면, 흐름은 단계(510)로 되돌아가고, 단계들(510에서 528)이 반복되어 장면 내의 가상 객체들에 대한 다른 추가적인 초점을 제공할 수 있다. 반면, 단계(532)에서 사용자가 초점을 두었던 뷰를 마쳤다고 나타내는 사전 정의된 제스처를 실행하면, 단계(536)에서 그 뷰는 (단계(514)에서 저장된) 기준 위치로부터의 뷰로 다시 해석될 수 있다.
컴퓨팅 환경(12)이 단계(490 및 510)에서의 추가 탐사 제스처를 구분하지 못하는 경우, 흐름은 단계(538)로 분기되어, 사용자가 장면 탐사를 마쳤음을 나타내는 사전 정의된 제스처를 실행하고 있는지를 본다. 실행하고 있지 않으면, 흐름은 단계(490)로 되돌아가서 사용자가 다른 위치에서 장면을 보기 원하는지를 보고, 원하지 않으면, 흐름은 단계(510)로 이동하여 사용자가 그 현재 위치에서 장면 내의 객체에 초점을 맞추기 원하는지를 결정한다. 한편, 단계(538)에서 사용자가 3-D 장면 내에서의 탐사를 마쳤음을 나타내는 사전 정의된 특정 제스처가 실행되는 경우, 흐름은 도 5로 되돌아가서 다음 유형의 사용자 인터랙션이 있는지를 확인할 수 있다.
단계들(490에서 538)은 사용자가 스토리 애플리케이션에 의해 디스플레이(14) 상에 제공되는 삼차원 가상 세계로 어떻게 들어가서 이동하는지에 관한 일례에 불과하다는 것을 알 것이다.
본 시스템의 실시예에서, 사용자는 스토리를 보고 3-D 가상 세계에서 탐사를 하는 것뿐만 아니라, 스토리 안의 하나 이상의 캐릭터를 제어하는 옵션도 가질 수 있다. 본 실시예는 장면이 CG 애니메이션으로 프리젠테이션되는 경우에도 동작할 수 있다. 장면이 고정 패널이나 녹화된 비디오로 프리젠테이션되는 경우, CG 애니메이션이 그 디스플레이 모델에 삽입되어 아래에서 설명되는 바와 같이 캐릭터 제어를 할 수 있다.
실시예에서, 사용자(18)는 온스크린 캐릭터(23)의 움직임 및/또는 동작을 제어하려는 사용자의 바람을 나타내는 사전 정의된 특정 제스처를 취할 수 있다. 사전 정의된 제스처는 예컨대, 특정 온스크린 캐릭터를 가리키는 사용자의 모션과 관련된 임의의 제스처들일 수 있다. 이와 같은 캐릭터 제어가 스토리 애플리케이션(226)에서 허용될 때, 사용자는 단계(426)에서 그 캐릭터로서 등록된 후, 도 8의 단계들(540에서 558)에 관해서 이하에서 설명되는 바와 같이 사용자가 그 캐릭터를 제어할 수 있게 된다.
사용자가 캐릭터를 제어하는 것으로 등록된 이후에, 사용자는 제어되는 온스크린 캐릭터의 행동을 애니메이션화고 그 행동에 영향을 주기 위해 사용되는 특정 모션 및 제스처를 취할 수 있다. 단계(540)에서, 컴퓨팅 환경은 사용자가 사전 정의되고 인식된 제스처를 취하였는지를 결정한다. 제스처를 취한 경우, 컴퓨팅 환경은 단계(542)에서 온스크린 캐릭터가 인식된 제스처에 대응하는 동작을 행하도록 허용되었는지 여부를 확인한다. 특히, 실시예에서, 사용자는 온스크린 캐릭터의 동작 또는 행동을 전적으로 제어하기 보다는, 스토리 애플리케이션(226)과 온스크린 캐릭터의 제어를 공유하고 있다. 실시예에서, 사용자는 캐릭터의 움직임을 어느 정도 제어할 수 있지만, 애플리케이션이 이런 움직임에 대한 경계를 정의하고, 예컨대, 캐릭터의 행동 및 개성에 관련된 것과 같은 온스크린 캐릭터의 다른 양태들의 제어를 제한할 수 있다. 예컨대, 사용자가 온스크린 캐릭터가 가능한 스토리 분기(story branch)(이하에서 설명됨)에서 예상하지 못한 특정 동작을 행하도록 하는 경우, 사용자의 무제한적인 온스크린 캐릭터 제어는 스토리 애플리케이션의 진행을 방해할 수 있다. 한편, 다른 실시예에서는, 사용자에게 온스크린 캐릭터의 무제한적인 제어권이 주어질 수도 있음을 이해할 것이다.
단계(542)에서 스토리 애플리케이션에 의해 캐릭터(23)가 제스처 동작을 취하도록 허용된 경우, 캐릭터는 단계(544)에서 제스처에 관련된 그 동작을 수행한다. 도 1b는 사용자에게 온스크린 캐릭터(23)의 상체를 제어하는 능력이 부여되는 일례를 도시한다. 이런 특정 스토리 애플리케이션은 사용자가 팔을 들어올리는 제스처를 인식할 수 있고, 이는 예컨대, 위협을 위해 팔을 들어올리는 괴물과 같은 온스크린 캐릭터에 대응한다. 도 8의 단계(540)에서 이런 사용자 제스처를 인식하면, 캐릭터는 단계(544)에서 대응 동작을 수행한다.
단계(540)에서 인식된 제스처가 아무것도 실행되지 않은 경우, 컴퓨팅 환경은 그 다음으로 캡쳐 장치(20)에 의해 사용자 움직임이 탐지되었는지를 단계(546)에서 확인한다. 탐지되었다면, 시스템은(550)은 전술한 바와 같이, 온스크린 캐릭터가 사용자가 움직인 대로 움직이도록 허용되었는지를 단계(550)에서 확인한다. 허용되었다면, 온스크린 캐릭터는 단계(552)에서 사용자의 움직임 본 그대로의 방식으로 애니메이션화된다. 컴퓨팅 환경이 단계(540)에서 사전 정의된 제스처를 또는 단계(546)에서 사용자 움직임을 탐지하지 못하면, 컴퓨팅 환경은 도 5의 단계(428)로 되돌아가서 이하에서 설명되는 바와 같이 장면과의 다른 사용자 인터랙션을 탐지할 수 있다.
단계(554)에서, 시스템은 사용자가 캐릭터의 제어를 종료하려는 바람을 나타내는 몇몇 사전 정의된 제스처 취했는지를 확인한다. 단계(554)에서 이런 제스처가 탐지되면, 사용자의 캐릭터 제어가 종료되고, 캐릭터는 단계(556)에서 스토리 애플리케이션(226)에 의해 전적으로 제어된다. 시스템이 단계(546)에서 사용자 움직임을 탐지하지만 캐릭터가 단계(550)에서 그 방식대로 움직이도록 허용되지 않는 경우, 또는 사용자가 단계(554)에서 캐릭터 제어를 종료하는 경우, 시스템은 도 5의 단계(428)로 되돌아가서 디스플레이된 장면과 사용자의 다른 인터랙션을 찾을 수 있다.
이제 도 5로 돌아와서, 단계(428)에서 컴퓨팅 환경(12)은 디스플레이된 장면과 사용자의 인터랙션, 특히 스토리의 서브플롯의 결과에 영향을 주거나 또는 스토리의 전체 결과에 영향을 줄 수 있는 사용자 인터랙션을 찾을 수 있다. 이런 인터랙션이 탐지되면, 시스템은 도 9의 단계들(560에서 588)을 실행한다. 이는, 단계(418)과 관련하여 전술한 음성 명령어의 결과, 단계(422)와 관련하여 전술한 탐사 제스처, 단계(426)와 관련하여 전술한 온스크린 캐릭터의 사용자 제어, 또는 스토리와의 다른 인터랙션의 결과로서 일어날 수 있다.
인터랙션의 정도(degree of interactivity)는 스토리에서 디스플레이되는 이미지의 유형에 의해 부분적으로 결정될 수 있다. CG 애니메이션은 높은 수준의 인터랙션을 제공하는 반면, 정지 패널 및 녹화된 비디오는 그보다는 낮은 수준의 인터랙션을 제공할 수 있다. CG 애니메이션이 정지 패널 및/또는 녹화된 비디오에 삽입되어 더 많은 인터랙션을 제공할 수 있음을 이해할 것이다. 실시예에서, 스토리의 불연속적인 지점에서 온스크린 스토리와 인터랙션할 기회가 사용자에게 주어질 수 있다. 이들 지점은 스토리에서 일시 정지 또는 프롬프트로 사용자에게 표시될 수 있다. 다른 실시예에서, 사용자는 애플리케이션(226)에 의한 스토리 프리젠테이션 도중에 임의의 지점에서 스토리와 인터랙션하는 옵션을 가질 수 있다.
단계(428)에서 디스플레이된 장면과의 인터랙션이 있으면, 시스템은 처음에 사용자가 모션 또는 인식된 제스처를 취했는지를 결정하는 단계(560)를 실행한다. 모션 또는 인식된 제스처를 취했다면, 컴퓨팅 환경(12)은 다음으로 단계(564)에서 그 모션 또는 제스처에 관련된 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 확인한다. 사용자 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 결정하고 그 스토리 분기로부터 어떻게 진행할지를 결정하기 위한 다양한 공지된 방법이 존재한다. 일례로, 스토리 애플리케이션은 스토리 안의 모든 객체 및 캐릭터에 대해 상태 데이터 값을 유지할 수 있다. 장면 또는 캐릭터에 관한 무언가가 변하면, 그 장면 또는 캐릭터에 대한 상태 데이터도 따라서 변한다. 이들 상태 데이터 값은 스토리 객체 또는 캐릭터를 렌더링하고 이들 객체 또는 캐릭터에 일어나는 일을 제어하는 데 사용될 수 있다.
실시예에서, 스토리 애플리케이션은 객체 및 캐릭터에 대한 상태 데이터 값에 따라 각종 다른 스토리 라인으로 분기될 수 있으며, 이 상태 데이터는 객체 및/또는 캐릭터와의 사용자 인터랙션의 결과에 따라 변경될 수 있다. 다른 실시예에서, 사용자는 온스크린 객체 또는 캐릭터와 인터랙션하지 않거나 이에 영향을 미치지 않는 특정 제스처를 취할 수 있지만, 그럼에도 불구하고 스토리 라인이 변경될 수 있다. 일례로서, 사용자는 방에 관해서 보여지고 설명될 스토리의 중요한 양태들이 밝혀지기 전에 스크린 상에 디스플레이된 방을 떠나기로 선택할 수 있다.
단계(564)에서, 컴퓨팅 환경(12)은 사용자가 취한 제스처와 관련된 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 결정한다. 언급한 바와 같이, 이는 사용자에 의해 변경된, 스토리의 객체 및 캐릭터에 대한 상태 데이터 값을 가지고 일어날 수 있다. 특히, 상태 데이터 값이 바뀌어서 단계(560)에서의 사용자의 제스처 이전에 존재했던 스토리를 계속하는 것이 전체적으로 객체, 캐릭터 또는 스토리와 관련된 현재 상태 데이터 값에 부합하지 않게 된다. 사용자의 제스처가 다른 스토리 라인으로의 분기를 필요로 하는 경우, 컴퓨팅 환경(12)은 사용자의 인터랙션과 일치하는 스토리의 공지된 분기가 있는지를 단계(568)에서 확인할 수 있다.
사용자가 단계(560)에서 모션 또는 인식된 제스처를 취하지 않는 경우, 또는 단계(564)에서 사용자의 모션/인식된 제스처가 다른 스토리 라인으로의 분기를 필요로 하지 않는 경우, 시스템은 도 5로 되돌아가서, 이하에서 설명되는 바와 같이 단계(432)에서 다른 임의의 유형의 움직임 또는 제스처를 찾을 수 있다. 또한, 사용자가 다른 스토리 라인으로의 분기를 필요로 하는 동작을 취했지만 스토리 애플리케이션(226)이 알고 있거나 또는 식별 가능한 사용자의 인터랙션과 일치하는 분기가 없는 경우, 단계(568)에서 스토리 라인에 대한 사용자의 제스처의 영향은 무시되어, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아갈 수 있다.
사용자의 제스처가 새로운 분기 스토리 라인으로의 분기를 필요로 하고, 그 스토리 라인이 스토리 애플리케이션에 의해 실행될 수 있다고 가정하면, 스토리 애플리케이션은 사용자가 취한 모션 또는 제스처에 따라 객체, 캐릭터 및 애플리케이션과 관련된 상태 데이터를 전체적으로 수정할 수 있다. 도 11 및 12를 참조하면, 몇몇 사용자 인터랙션은 전체 결과에는 영향을 주지 않고 단지 스토리의 서브플롯에 변화를 주는 스토리 분기에 영향을 준다. 도 11에서 볼 수 있는 것처럼, 사용자는 스토리 애플리케이션을 분기 1, 분기 2, ..., 분기 N으로 분기시키는 인터랙션(620)을 수행할 수 있고, 이후에는 모든 분기들이 다시 모여 원래 스토리 라인이 계속된다. 매우 다양한 이런 서브플롯 스토리 분기들을 생각할 수 있다. 예를 들어, 도 1a에서, 사용자는 집(21)에 비를 내리게 하는 지점으로 구름(25)을 이동시키는 제스처를 취할 수 있다. 비가 전체 플롯에는 영향을 주지 않을 수 있다. 비가 한동안 내리다가, 멈추고, 스토리 라인은 비가 내리지 않았을 경우에서와 같이 계속될 수 있다. 다른 실시예에서, 애플리케이션 스토리는 사용자가 질문에 대답하거나 퍼즐을 풀도록 묻고, 스토리 라인은 그 물음에 대한 사용자의 대답에 따라 다른 서브플롯으로 분기할 수 있다. 사용자가 질문에 잘 대답하거나 퍼즐을 풀면, 스토리가 원래 스토리 라인으로 다시 모여 계속될 수 있다.
한편, 다른 유형의 사용자 인터랙션이 스토리의 전체적인 결과에 변화를 주는 스토리 분기에 영향을 미칠 수 있다. 즉, 스토리와의 사용자 인터랙션에 따라 스토리가 다르게 종료될 것이다. 예를 들어, 도 12에서, 사용자는 스토리 분기를 다시 모이지 않는 N 개의 분기 중 하나로 가게 하는 인터랙션(624)을 수행한다. 또한, 이들 분기 중 임의의 분기는 이후에 추가 사용자 인터랙션에 따라 자체적으로 분기할 수 있다. 예를 들어, 사용자 인터랙션(624)이 분기 번호 1로 스토리를 분기시키면, 사용자는 그 스토리를 추가적으로 가능한 결과들로 분기되게 하는 다른 인터랙션(628)을 수행할 수 있다. 스토리 애플리케이션이 많은 서브플롯 및 전체 플롯 분기들을 처리하도록 작성되었는지에 따라, 스토리는 임의의 수의 서브플롯 분기 또는 전체 플롯 분기를 가질 수 있다.
실시예에서, 한 명의 사용자가 스토리 애플리케이션이 서브플롯 분기 또는 전체 플롯 분기를 수행하게 하는 인터랙션을 수행할 수 있다. 다른 실시예에서, 다수의 사용자들이 스토리를 보고 있을 수 있다. 이들 다수의 사용자들은 애플리케이션(226)의 동일한 인스턴스 및 동일한 스토리 경험을 공유할 수 있도록 네트워크화된 상이한 시스템(10)을 사용하여 같은 장소에 있거나 다른 장소에 있을 수 있다. 본 실시예에서, 스토리 애플리케이션(226)은 스토리 라인이 새로운 서브플롯 또는 새로운 전체 플롯으로 분기하기 전에는 여러 명의 사용자들의 일치된 동작을 필요로 할 수 있다.
이제 도 9로 돌아가서, 컴퓨팅 환경(12)이 단계(564)에서 스토리 라인 분기를 필요로 하는 사용자 움직임이나 제스처를 식별하고, 스토리 애플리케이션이 그 새로운 스토리 라인을 처리하도록 준비된 경우, 단계(570)에서 스토리 애플리케이션(226)은 그 새로운 라인으로 분기된다. 스토리 애플리케이션은 단계(572)에서 임의의 객체, 캐릭터, 또는 애플리케이션에 대한 상태 데이터를 전체적으로 수정한다. 단계(574)에서, 스토리 애플리케이션(226)은 새로운 스토리 라인 및 상태 데이터에 따라 장면의 그래픽을 렌더링할 수 있고, 스토리 애플리케이션은 단계(578)에서 식별된 분기대로 계속될 수 있다.
본 시스템의 하나의 양태는 사용자에게 보여지고 있는 스토리에 게임 메카닉(game meganics)을 추가하는 것이다. 따라서, 스토리를 보여주는 것은 물론, 스토리 애플리케이션(226)은 사용자가 스토리와 어떻게 인터랙션하는지에 따라 증가 또는 감소될 수 있는 사용자 점수를 보관할 수 있다. 특히, 사용자의 특정 제스처 또는 동작은 사전 결정된 스토리 값, 및 관련 제스처의 수행에 따라 사용자의 전체 점수에 더하거나 빼야 하는 관련 점수들을 가지고 있을 수 있다. 따라서, 단계(582)에서, 스토리 애플리케이션은 단계(560)에서 수행된 사용자 인터랙션과 관련된 점수가 있는지를 확인한다. 없다면, 흐름은 도 5의 단계(432)로 되돌아간다. 사용자 인터랙션과 관련된 점수가 있는 경우, 사용자의 점수는 그에 따라 단계(588)에서 조정되고, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아 갈 수 있다.
도 9의 실시예는 정적 이미지 패널이나 동적 CG 이미지 애니메이션을 사용하는 스토리에서 사용될 수 있다. 도 9a는 녹화 비디오의 사용에 관한 추가적인 실시예를 도시한다. 단계들(560에서 572)은 도 9에서 전술한 것과 같다. 실시예에서, 녹화 비디오와의 인터랙션은 비디오와의 사전 정의된 인터랙션 포인트에서 발생하게 된다. 녹화된 비디오 스토리의 경우, 스토리 애플리케이션은 스토리의 가능한 각각의 분기에 대해 다른 비디오 클립을 가지고 있을 수 있다. 단계(590)에서 스토리 애플리케이션은 스토리의 결정된 분기에 적합한 미디어 클립을 검색할 수 있다. 단계(594)에서, 컴퓨팅 환경(12)이 그 클립을 렌더링할 수 있다. 다른 분기들에 대해 사전-녹화된 비디오 클립 대신에 또는 클립에 더해서, 컴퓨팅 환경에 의해 CG 애니메이션이 구성되어 삽입될 수도 있다.
스토리 분기로부터의 이미지를 사용자가 본 후에, 단계(596)에서 스토리가 새로운 라인으로 분기되지 않았다면, 스토리 애플리케이션(226)은 그 스토리에 대한 미디어 클립으로 되돌아가 이를 보여줄 수 있다. 예를 들어, 스토리는 형사들이 용의자를 심문하려고 하는 범죄 드라마에 관련될 수 있다. 사용자는 스토리 애플리케이션과 인터랙션하여 용의자를 심문하기 원하고 있음을 나타내는 사전 정의된 제스처를 취할 수 있다. 사용자는 질문을 하고, 다른 방식 및 다른 태도로 심문을 할 수 있다. 이들 동작은 예컨대, 사용자가 질문을 선택할 수 있는 스크립트에 의해 그 범위가 제한될 수 있다. 또는, 사용자가 묻고 싶은 임의의 질문일 수도 있다.
사용자는 또한 심문 중인 용의자 캐릭터에게 잘 통할 것 같은 다른 태도로 질문을 할 수도 있다. 사용자는 용의자에게 겁을 주려고 할 수도 있고, 상냥한 태도로 진행해 정보를 얻으려 할 수도 있다. 캡쳐 장치(20)는 이렇게 상이한 매너리즘을 탐지할 수 있고, 특정 동작이 정의되어 저장된 매너리즘 데이터에 매치하는 경우, 컴퓨팅 환경(12)에서 이런 상이한 매너리즘을 식별할 수 있다. 사용자가 심문을 마치면, 심문을 한 형사의 비디오 클립이 재생될 수 있다. 형사 캐릭터가 재생된 장면에서 얻은 정보와 비교하여 사용자가 용의자로부터 얻을 수 있었던 정보의 양의 면에서, 사용자는 자신이 형사보다 잘 했는지 못 했는지를 볼 수 있다.
단계(600)에서 스토리 라인은 식별된 분기로 계속된다. 이는 원래 스토리 라인으로 다시 모일 수도 있고, 또는 전체 플롯에 대한 새로운 결과를 가져올 수도 있다. 단계(604)에서, 사용자의 인터랙션에 점수가 매겨질 수 있다. 예를 들어, 사용자가 상기의 예시에서 형사 캐릭터가 얻은 정보보다 더 많은 정보를 얻어낼 수 있었다면, 사용자는 사전 정의된 점수를 받을 수 있다. 또는 사용자가 적은 정보를 얻었다면, 사전 결정된 점수를 잃을 수 있다. 사용자의 점수가 그런 식으로 조정되고, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아갈 수 있다.
도 5로 되돌아가서, 사용자의 제스처는 단계(422)에서 탐사 제스처가 아니고, 단계(426)에서 캐릭터를 제어하기 위한 것도 아니며, 단계(428)에서 스토리 라인을 바꾸기 위해 디스플레이된 장면과 인터랙션하는 것도 아닐 수 있다. 따라서, 컴퓨팅 환경(12)은 다른 이런 제스처를 단계(432)에서 확인하게 된다. 단계(432)에서 다른 이런 제스처가 인식되지 않는 경우, 스토리 애플리케이션은 단계(406)으로 다시 돌아가서 스토리의 다음 프레임을 프리젠테이션하고 전술한 단계들이 반복된다. 반면, 단계(432)에서 다른 제스처가 인식되는 경우, 시스템은 그 제스처가 스토리를 종료하기 위한 것인지를 단계(434)에서 확인한다. 만일 그렇다면, 스토리는 단계(436)에서 종료된다. 아닌 경우, 단계(438)에서, 시스템은 단계(432)에서 인식된 제스처와 관련된 임의의 동작을 수행하고, 흐름은 단계(406)로 되돌아 가서 스토리의 다음 프레임을 프리젠테이션한다.
앞서 언급한 바와 같이, 사용자가 스토리를 들을 때 아무런 동작을 취하지 않는 경우, 스토리는 각각의 이미지 및/또는 내러티브의 기본 집합 또는 대화에 대해 선형으로 진행될 수 있다. 다른 실시예에서, 사용자가 아무런 동작을 취하지 않을 때조차, 선형 스토리의 구성 요소들이 미리 정해진 각종 인자에 기초하여 스토리의 인스턴스에 대해 동적으로 바뀔 수 있다. 이들 인자로 스토리가 보여진 횟수(예컨대, 네 번째에 새로운 사건이 일어남), 시청자의 수, 및 날씨 또는 시각(예컨대, 스토리의 날씨가 계절에 따라 변하거나 또는 현실 세계 날씨와 연동됨)을 포함할 수 있다. 날씨 또는 시각은 시스템(10)에 알려져 있거나, 또는 시스템(10)과 네트워크로 연결된 서비스에 저장될 수 있다. 또한, 다른 스토리에서의 이벤트가 영향을 줄 수 있다 - 스토리 B에서 소개된 캐릭터를 스토리 A에 등장하게 할 수 있다. 전술한 본 시스템의 다른 특징들과 함께, 이런 특징들은 스토리를 좀 더 역동적이게 하고 또한 반복적으로 시청하고 실험하도록 장려하게 된다.
전술한 인터랙션 중 다수가 사전 정의된 제스처에 의해 트리거된다. 도 13은 제스처 인식 엔진(190)의 블록도를 도시하며, 도 14는 도 13의 제스처 인식 엔진(190)의 동작에 관한 블록도를 도시한다. 제스처 인식 엔진(190)은 단계(660)에서 자세(pose) 정보(650)를 수신한다. 자세 정보는 이미지 데이터에서 탐지된 사용자의 신체 부위 및 관절의 위치 및/또는 모션에 관한 각종 파라미터들을 포함할 수 있다.
제스처 인식 엔진(190)은 단계(664)에서 수신된 자세 정보(650)를 분석하여, 자세 정보가 제스처 라이브러리(654)에 저장된 사전 정의된 규칙(658)에 매치하는지를 살펴본다. 저장된 규칙(658)은 자세 정보(650)가 나타내는 특정 위치 및/또는 운동(kinetic) 모션을 사전 정의된 제스처로서 언제 해석해야 할지를 설명한다. 실시예에서, 각각의 제스처는 상이하고, 고유한 규칙 또는 일련의 규칙들(658)을 가지고 있을 수 있다. 각각의 규칙은 도 4에 도시되는 신체 부위 중 하나 이상에 대해 여러 파라미터들(관절 위치 벡터, 최대/최소 위치, 위치의 변화 등)을 가지고 있을 수 있다. 저장된 규칙은, 각각의 파라미터 및 도 4에 도시된 각각의 신체 부위(302에서 330)에 대해, 단일 값, 값 범위, 최대값, 최소값, 또는 그 신체 부위에 대한 파라미터가 규칙에 포함되는 제스처의 결정과는 무관하다는 표시를 정의할 수 있다. 규칙들은 게임 작가, 게임 플랫폼의 호스트 또는 사용자들에 의해 작성될 수 있다.
제스처 인식 엔진(190)은 식별된 제스처 및 사용자의 위치/움직임이 그 제스처에 해당될 가능성인 신뢰도(confidence level)를 출력할 수 있다. 특히, 규칙은, 제스처를 위해 필요한 파라미터들을 정의하는 것뿐만 아니라, 자세 정보(650)가 제스처로서 해석되기 전에 필요한 임계 신뢰도 역시 포함할 수 있다. 몇몇 제스처는 시스템 명령어 또는 게임 설명보다 더 큰 영향을 미칠 수 있으므로, 그런 경우에 하나의 자세가 그 제스처로 해석되기 전에 고도의 신뢰도를 요구하게 된다. 규칙에 관해 저장된 파라미터와 자세 정보의 비교로 인해 자세 정보가 제스처를 나타내는지에 대한 누적된 신뢰도가 도출된다.
특정 자세 또는 모션이 특정 제스처 규칙을 만족하는지에 관해 신뢰도가 결정되면, 제스처 인식 엔진(190)은 신뢰도가 고려 중인 규칙에 대해 사전 결정된 임계치를 초과하는지를 단계(668)에서 결정한다. 임계 신뢰도는 고려 중인 규칙과 관련해 저장될 수 있다. 신뢰도가 임계치 이하이면, 아무런 제스처도 탐지되지 않고(단계(670)) 아무런 동작도 취해지지 않는다. 반면, 신뢰도가 임계치를 초과하면, 사용자의 모션이 고려 중인 제스처 규칙을 충족하는 것으로 결정되어, 제스처 인식 엔진(190)은 단계(674)의 식별된 제스처로 되돌아 간다. 제스처 인식 엔진(190)은 다른 실시예에서 다른 방법으로 동작할 수 있다.
본 발명의 시스템의 전술된 상세한 설명은 예시 및 설명의 목적으로 제시되었다. 이는 포괄적이거나 본 발명의 시스템을 개시된 정확한 형태로 제한하기 위한 것이 아니다. 많은 수정 및 변형이 전술된 개시에 기초하여 가능하다. 설명된 실시예는 본 발명의 시스템의 원리 및 그의 실질적인 애플리케이션을 가장 잘 설명함으로써 당업자들이 고려되는 특정 사용에 적합하게 된 바와 같이 다양한 실시예에서 그리고 다양한 수정과 함께 본 발명의 시스템을 가장 잘 이용하게 하기 위해 선택되었다. 본 발명의 시스템의 범위는 본 명세서에 첨부된 특허청구범위에 의해 제한되도록 의도된다.

Claims (15)

  1. 사용자 모션을 캡쳐하는 캡쳐 장치 및 이미지 디스플레이 및/또는 오디오 제공을 위한 오디오비주얼 장치에 접속된 컴퓨팅 환경을 포함하는 시스템에서, 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법으로서,
    a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하는 단계 - 상기 선형 스토리는 사용자가 상기 스토리와 인터랙션하지 않는 경우 사용자에게 프리젠테이션되는 이미지 또는 내러티브의 기본 집합을 가지고 있음 -,
    b) 상기 캡쳐 장치를 통해 사용자의 움직임 및 음성 명령어 중 적어도 하나를 탐지하는 단계,
    c) 상기 단계 b)에서 탐지된 움직임 및/또는 음성 명령어가 상기 이미지들 또는 내러티브의 기본 집합(default set)에 포함되지 않는 추가 이미지들 및 추가 내러티브 중 적어도 하나를 가지고 있는 스토리 분기를 포함하도록 상기 선형 스토리를 변경하는 상기 선형 스토리와의 인터랙션인지를 식별하는 단계, 및
    d) 상기 오디오비주얼 장치를 통해 상기 추가 이미지들 및 추가 내러티브중 적어도 하나를 사용자에게 프리젠테이션함으로써 상기 선형 스토리를 변경하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 선형 스토리는 가상 머신 공간에서 장면의 삼차원 설명에 의해 정의되는 스토리 장면을 가지고 있는 이미지들을 포함하고, 상기 선형 스토리를 변경하는 상기 단계 d)는 상기 가상 머신 공간 내의 다른 삼차원 관점에서 상기 이미지의 기본 집합으로부터의 장면을 보여주는 추가 이미지들을 프리젠테이션하는 단계 e)를 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면으로 들어가는 인상(impression)을 만들어내는 방법.
  4. 제 2 항에 있어서,
    상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면의 객체를 다른 관점에서 조사하는 인상을 만들어내는 방법.
  5. 제 2 항에 있어서,
    상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면에서 객체의 뒤를 보고 있는 인상을 만들어내는 방법.
  6. 제 1 항에 있어서,
    상기 선형 스토리는 오디오 내러티브 및 이미지들을 포함하고,
    상기 선형 스토리를 프리젠테이션하는 상기 단계 a)는
    a1) 사용자가 상기 내러티브를 말하는 단계,
    a2) 상기 사용자가 말한 내러티브를 상기 선형 스토리의 대응 이미지들에 매치시키는 단계, 및
    a3) 상기 사용자가 말한 내러티브의 속도(pace)에 의해 결정되는 속도로 상기 이미지들을 프리젠테이션하는 단계를 포함하는 방법.
  7. 제 1 항에 있어서,
    상기 선형 스토리는 사용자에게 프리젠테이션되는 오디오 내러티브 및 이미지들을 포함하고,
    상기 선형 스토리를 프리젠테이션하는 상기 단계 a)는
    a1) 제삼자가 상기 내러티브를 말하는 단계 - 상기 제삼자는 상기 사용자와 함께 있지 않으며 상기 제삼자의 음성은 상기 사용자 근처에서 스피커를 통해 상기 내러티브로서 제공됨,
    a2) 상기 제삼자가 말한 내러티브를 상기 선형 스토리의 대응 이미지들에 매치시키는 단계, 및
    a3) 상기 제삼자가 말한 내러티브의 속도에 의해 결정되는 속도로 상기 이미지들을 프리젠테이션하는 단계를 포함하는 방법.
  8. 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법을 실행하도록 프로세서를 프로그래밍하는 프로세서-판독가능 저장 매체에 있어서,
    상기 방법은
    a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하는 단계 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 상기 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -,
    b) 상기 오디오비주얼 장치에 연계된 캡쳐 장치를 통해 사용자에 의한 움직임을 탐지하는 단계,
    c) 상기 단계 b)에서 탐지된 상기 움직임이 상기 이미지들의 기본 집합에는 포함되지 않는 추가 이미지들을 가지고 있는 스토리 분기를 포함하도록 상기 선형 스토리의 수정을 필요로 하는 상기 선형 스토리와의 인터랙션인지를 식별하는 단계,
    d) 저장되거나 처리된 데이터를 기초로 하여 상기 추가 이미지들이 렌더링될 수 있는지를 판단하는 단계,
    e) 상기 추가 이미지들이 상기 단계 d)에서 렌더링될 수 있다고 판단되는 경우, 상기 오디오비주얼 장치를 통해 사용자에게 상기 추가 이미지들을 프리젠테이션함으로써 상기 선형 스토리를 변경하는 단계, 및
    f) 사용자 인터랙션에 점수를 매기는 단계 - 상기 인터랙션은 상기 인터랙션에 기초하여 사전 결정된 점수를 부여하거나 빼는 것에 대응됨 - 를 포함하는 프로세서-판독가능 저장 매체.
  9. 제 8 항에 있어서,
    상기 선형 스토리는 가상 머신 공간에서의 상기 장면의 삼차원 설명에 의해 정의된 스토리 장면들을 갖고 있는 이미지들을 포함하고, 상기 선형 스토리를 변경하는 상기 단계 e)는 상기 가상 머신 공간 내의 다른 삼차원 관점에서 상기 이미지들의 기본 집합으로부터의 장면을 보여주는 추가 이미지들을 프리젠테이션하는 단계 g)를 포함하는 프로세서-판독가능 저장 매체.
  10. 제 8 항에 있어서,
    상기 단계 b)는 상기 선형 스토리의 일부로서 디스플레이되는 캐릭터의 적어도 부분적인 제어를 사용자가 맡는 단계 h)를 포함하는 프로세서-판독가능 저장 매체.
  11. 제 8 항에 있어서,
    상기 단계들 a) 및 e)는 정지-이미지 패널, 동적 컴퓨터 그래픽 애니메이션 및 선형 비디오 중 적어도 하나로 상기 선형 스토리 및/또는 스토리 분기를 디스플레이하는 단계를 포함하는 프로세서-판독가능 저장 매체.
  12. 인터랙티브한 게임 양태들을 선형 스토리로 결합하기 위한 시스템에 있어서,
    상기 시스템은
    이미지들 및 오디오 나레이션 중 적어도 하나를 프리젠테이션하는 오디오비주얼 장치,
    사용자로부터 이미지들 및 오디오 데이터 중 적어도 하나를 캡쳐하는 이미지 캡쳐 장치, 및
    상기 오디오비주얼 장치 및 이미지 캡쳐 장치에 접속된 컴퓨팅 환경을 포함하고,
    상기 컴퓨팅 환경은
    a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하고 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 상기 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -,
    b) 상기 캡쳐 장치를 통해 사용자의 움직임을 탐지하며,
    c) 상기 탐지된 움직임이 탐사 제스처인지를 식별하고,
    d) 상기 움직임을 탐사 제스처로 식별하면 상기 선형 스토리로부터 스토리 분기로 분기하고, 상기 분기는
    d1) 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 포인트를 감지하고,
    d2) 상기 사용자의 일부로부터 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트까지의 3-D 현실 세계 벡터를 계산하며,
    d3) 상기 3-D 현실 세계 벡터를 상기 현재 관점에서의 기점(start point) 및 3-D 머신 공간에서의 상기 가상 객체에서의 종점을 갖고 있는 3-D 머신 공간 벡터로 해석하고, 및
    d4) 상기 3-D 머신 공간 벡터의 상기 종점에서의 관점에서 상기 가상 객체를 디스플레이하는 것을 포함하는 시스템.
  13. 제 12 항에 있어서,
    상기 컴퓨팅 환경은 상기 사용자의 머리 위치를 감지하는 상기 캡쳐 장치에 의해 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트를 감지하는 시스템.
  14. 제 12 항에 있어서,
    상기 컴퓨팅 환경은 상기 사용자의 손이 가리키는 포인트를 감지하는 상기 캡쳐 장치에 의해 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트를 감지하는 시스템.
  15. 제 12 항에 있어서,
    상기 사용자는 상기 선형 및 분기된 스토리와 인터랙션 시에 상기 사용자의 경험과 관련된 점수를 증가시킬 수 있는 시스템.
KR1020127033285A 2010-06-21 2011-06-09 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 KR101838312B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/819,983 US8381108B2 (en) 2010-06-21 2010-06-21 Natural user input for driving interactive stories
US12/819,983 2010-06-21
PCT/US2011/039881 WO2011162974A2 (en) 2010-06-21 2011-06-09 Natural user input for driving interactive stories

Publications (2)

Publication Number Publication Date
KR20130111234A true KR20130111234A (ko) 2013-10-10
KR101838312B1 KR101838312B1 (ko) 2018-03-13

Family

ID=45329786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127033285A KR101838312B1 (ko) 2010-06-21 2011-06-09 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력

Country Status (8)

Country Link
US (2) US8381108B2 (ko)
EP (1) EP2583155A4 (ko)
JP (1) JP5944384B2 (ko)
KR (1) KR101838312B1 (ko)
CN (1) CN102947774B (ko)
CA (1) CA2800533C (ko)
TW (1) TWI531396B (ko)
WO (1) WO2011162974A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428014B1 (ko) * 2013-10-31 2014-08-07 동국대학교 산학협력단 가상화 환경에서 nui 및 nux를 시뮬레이션하는 방법 및 장치
KR20150125060A (ko) * 2014-04-29 2015-11-09 주식회사 두드림 체험형 콘텐츠 제공 시스템 및 방법
WO2018190507A1 (ko) * 2017-04-14 2018-10-18 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
KR20190072277A (ko) * 2017-12-15 2019-06-25 주식회사 디자인에이포인트 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645140B2 (en) * 2009-02-25 2014-02-04 Blackberry Limited Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device
US9208147B1 (en) 2011-01-07 2015-12-08 Narrative Science Inc. Method and apparatus for triggering the automatic generation of narratives
US11989659B2 (en) 2010-05-13 2024-05-21 Salesforce, Inc. Method and apparatus for triggering the automatic generation of narratives
US8355903B1 (en) 2010-05-13 2013-01-15 Northwestern University System and method for using data and angles to automatically generate a narrative story
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120042282A1 (en) * 2010-08-12 2012-02-16 Microsoft Corporation Presenting Suggested Items for Use in Navigating within a Virtual Space
US10657201B1 (en) 2011-01-07 2020-05-19 Narrative Science Inc. Configurable and portable system for generating narratives
US9720899B1 (en) 2011-01-07 2017-08-01 Narrative Science, Inc. Automatic generation of narratives from data using communication goals and narrative analytics
US10185477B1 (en) 2013-03-15 2019-01-22 Narrative Science Inc. Method and system for configuring automatic generation of narratives from data
US9250798B2 (en) * 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
KR20120119756A (ko) * 2011-04-22 2012-10-31 삼성전자주식회사 타 기기와 연동하여 상호 동작이 가능한 에듀테인먼트 시스템을 위한 방법 및 장치
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8881010B2 (en) * 2011-09-29 2014-11-04 Microsoft Corporation Adapting trick commands to prior usage
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
TWI557685B (zh) * 2012-05-23 2016-11-11 雲南恆達睿創三維數字科技有限公司 網格動畫製作方法
TWI470511B (zh) * 2012-06-06 2015-01-21 Wistron Corp 雙模輸入裝置
WO2014008185A1 (en) * 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
US9833698B2 (en) * 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
KR20140039757A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9141281B2 (en) * 2012-09-28 2015-09-22 Fabrizio Ferri Photography System and method for controlling the progression of multmedia assets on a computing device
CN102945672B (zh) * 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
EP2916558B1 (en) * 2012-11-05 2022-03-09 Sony Interactive Entertainment Inc. Information processing device
US20140192140A1 (en) * 2013-01-07 2014-07-10 Microsoft Corporation Visual Content Modification for Distributed Story Reading
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10268660B1 (en) 2013-03-15 2019-04-23 Matan Arazi Real-time event transcription system and method
CN103164995A (zh) * 2013-04-03 2013-06-19 湖南第一师范学院 儿童体感交互式学习系统及方法
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
US9836984B2 (en) * 2013-09-16 2017-12-05 Disney Enterprises, Inc. Storytelling environment: story and playgroup creation
US9474068B2 (en) 2013-09-16 2016-10-18 Disney Enterprises, Inc. Storytelling simulator and device communication
US20150165310A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Dynamic story driven gameworld creation
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
CN106232010B (zh) * 2014-07-02 2020-03-31 柯惠有限合伙公司 用于检测气管的系统和方法
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US10747823B1 (en) 2014-10-22 2020-08-18 Narrative Science Inc. Interactive and conversational data exploration
US11341338B1 (en) 2016-08-31 2022-05-24 Narrative Science Inc. Applied artificial intelligence technology for interactively using narrative analytics to focus and control visualizations of data
US11288328B2 (en) 2014-10-22 2022-03-29 Narrative Science Inc. Interactive and conversational data exploration
US11238090B1 (en) 2015-11-02 2022-02-01 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from visualization data
US11922344B2 (en) 2014-10-22 2024-03-05 Narrative Science Llc Automatic generation of narratives from data using communication goals and narrative analytics
US11250630B2 (en) * 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
CN109388142B (zh) * 2015-04-30 2021-12-21 广东虚拟现实科技有限公司 一种基于惯性传感器进行虚拟现实行走控制的方法及系统
CN104932549B (zh) * 2015-06-01 2018-12-21 广东小天才科技有限公司 一种智能控制终端旋转的方法
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
GB2559296A (en) * 2015-08-25 2018-08-01 Bernard Davis George Presenting interactive content
US10249091B2 (en) * 2015-10-09 2019-04-02 Warner Bros. Entertainment Inc. Production and packaging of entertainment data for virtual reality
US11170038B1 (en) 2015-11-02 2021-11-09 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from multiple visualizations
US11222184B1 (en) 2015-11-02 2022-01-11 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from bar charts
US11232268B1 (en) 2015-11-02 2022-01-25 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from line charts
US10928915B2 (en) * 2016-02-10 2021-02-23 Disney Enterprises, Inc. Distributed storytelling environment
US10311622B2 (en) * 2016-03-29 2019-06-04 Htc Corporation Virtual reality device and method for virtual reality
US10092827B2 (en) * 2016-06-16 2018-10-09 Disney Enterprises, Inc. Active trigger poses
JP6190497B1 (ja) * 2016-07-13 2017-08-30 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
TWI605862B (zh) * 2016-07-28 2017-11-21 南臺科技大學 可偵測認知功能的個人化遊戲系統
US10272329B2 (en) * 2016-08-10 2019-04-30 Google Llc Cooperative immersive live action 360-degree video and virtual reality
US10135950B2 (en) * 2016-10-10 2018-11-20 Google Llc Creating a cinematic storytelling experience using network-addressable devices
US10525355B2 (en) * 2016-11-01 2020-01-07 Htc Corporation Method, device, and non-transitory computer readable storage medium for interaction to event in virtual space
US10990753B2 (en) * 2016-11-16 2021-04-27 Disney Enterprises, Inc. Systems and methods for a procedural system for emergent narrative construction
US10467808B2 (en) * 2017-02-09 2019-11-05 Disney Enterprises, Inc. Systems and methods to provide narrative experiences for users of a virtual space
US10719542B1 (en) 2017-02-17 2020-07-21 Narrative Science Inc. Applied artificial intelligence technology for ontology building to support natural language generation (NLG) using composable communication goals
US11568148B1 (en) 2017-02-17 2023-01-31 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on explanation communication goals
US11954445B2 (en) 2017-02-17 2024-04-09 Narrative Science Llc Applied artificial intelligence technology for narrative generation based on explanation communication goals
US10699079B1 (en) 2017-02-17 2020-06-30 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on analysis communication goals
US11068661B1 (en) 2017-02-17 2021-07-20 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on smart attributes
US10943069B1 (en) 2017-02-17 2021-03-09 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on a conditional outcome framework
CN111417442B (zh) * 2017-10-16 2023-08-08 乐高公司 交互式游戏设备
US10535345B2 (en) * 2017-10-20 2020-01-14 Yingjia LIU Interactive method and system for generating fictional story
WO2019083805A1 (en) * 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
TWI635418B (zh) * 2017-11-14 2018-09-11 國立政治大學 Wearable virtual interactive display system
US11042708B1 (en) 2018-01-02 2021-06-22 Narrative Science Inc. Context saliency-based deictic parser for natural language generation
US11003866B1 (en) 2018-01-17 2021-05-11 Narrative Science Inc. Applied artificial intelligence technology for narrative generation using an invocable analysis service and data re-organization
US11182556B1 (en) 2018-02-19 2021-11-23 Narrative Science Inc. Applied artificial intelligence technology for building a knowledge base using natural language processing
US11343595B2 (en) 2018-03-01 2022-05-24 Podop, Inc. User interface elements for content selection in media narrative presentation
TWI721429B (zh) * 2018-05-21 2021-03-11 仁寶電腦工業股份有限公司 互動式投影系統和互動式投影方法
US10706236B1 (en) 2018-06-28 2020-07-07 Narrative Science Inc. Applied artificial intelligence technology for using natural language processing and concept expression templates to train a natural language generation system
US11012760B2 (en) * 2018-10-03 2021-05-18 Wanjeru Kingori System and method for branching-plot video content and editing thereof
CN109284056A (zh) * 2018-10-24 2019-01-29 深圳市领点科技有限公司 一种高效的虚拟场景共享方法和装置
US11145306B1 (en) 2018-10-31 2021-10-12 Ossum Technology Inc. Interactive media system using audio inputs
US11341330B1 (en) 2019-01-28 2022-05-24 Narrative Science Inc. Applied artificial intelligence technology for adaptive natural language understanding with term discovery
US11551803B1 (en) 2019-04-22 2023-01-10 Aimcast Ip, Llc System, method, and program product for generating and providing simulated user absorption information
US11228810B1 (en) 2019-04-22 2022-01-18 Matan Arazi System, method, and program product for interactively prompting user decisions
US11017688B1 (en) 2019-04-22 2021-05-25 Matan Arazi System, method, and program product for interactively prompting user decisions
US11328009B2 (en) 2019-08-28 2022-05-10 Rovi Guides, Inc. Automated content generation and delivery
US11520677B1 (en) 2019-09-25 2022-12-06 Aimcast Ip, Llc Real-time Iot device reliability and maintenance system and method
CN111212311A (zh) * 2020-01-13 2020-05-29 四川长虹电器股份有限公司 一种语音交互视频的生成及播放方法
CN113409778A (zh) * 2020-03-16 2021-09-17 阿里巴巴集团控股有限公司 语音交互方法、系统和终端
US11394799B2 (en) * 2020-05-07 2022-07-19 Freeman Augustus Jackson Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data
US11285388B2 (en) * 2020-08-31 2022-03-29 Nawaf Al Dohan Systems and methods for determining story path based on audience interest
EP3979245A1 (en) * 2020-09-30 2022-04-06 Al Sports Coach GmbH System and method for providing interactive storytelling
US20240077984A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Recording following behaviors between virtual objects and user avatars in ar experiences
CN116009748B (zh) * 2023-03-28 2023-06-06 深圳市人马互动科技有限公司 儿童互动故事中图片信息交互方法及装置

Family Cites Families (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5274758A (en) * 1989-06-16 1993-12-28 International Business Machines Computer-based, audio/visual creation and presentation system and method
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5181162A (en) * 1989-12-06 1993-01-19 Eastman Kodak Company Document management and production system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
JPH04307585A (ja) * 1991-04-05 1992-10-29 Matsushita Electric Ind Co Ltd 語学学習装置
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5953485A (en) * 1992-02-07 1999-09-14 Abecassis; Max Method and system for maintaining audio during video control
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5938447A (en) * 1993-09-24 1999-08-17 Readspeak, Inc. Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work
US6062863A (en) * 1994-09-22 2000-05-16 Kirksey; William E. Method of associating oral utterances meaningfully with word symbols seriatim in an audio-visual work and apparatus for linear and interactive application
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5692212A (en) 1994-06-22 1997-11-25 Roach; Richard Gregory Interactive multimedia movies and techniques
US5999172A (en) * 1994-06-22 1999-12-07 Roach; Richard Gregory Multimedia techniques
US5948040A (en) * 1994-06-24 1999-09-07 Delorme Publishing Co. Travel reservation information and planning system
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
DE69531599T2 (de) * 1994-12-20 2004-06-24 Sun Microsystems, Inc., Mountain View Verfahren und Gerät zum Auffinden und Beschaffen personalisierter Informationen
US5799304A (en) * 1995-01-03 1998-08-25 Intel Corporation Information evaluation
US5636995A (en) * 1995-01-17 1997-06-10 Stephen A. Schwartz Interactive story book and graphics tablet apparatus and methods for operating the same
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
AU5442796A (en) * 1995-04-06 1996-10-23 Avid Technology, Inc. Graphical multimedia authoring system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
GB9517806D0 (en) * 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Information handling for interactive apparatus
GB9517808D0 (en) 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Interactive entertainment personalisation
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6278418B1 (en) 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
GB9602431D0 (en) 1996-02-07 1996-04-03 Philips Electronics Nv Interactive audio entertainment apparatus
WO1997030397A1 (en) * 1996-02-16 1997-08-21 Cyber Marketing, Inc. Remote interactive multimedia preview and data collection kiosk system
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6705868B1 (en) 1998-03-18 2004-03-16 Purdue Research Foundation Apparatus and methods for a shape memory spring actuator and display
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6243740B1 (en) * 1998-02-13 2001-06-05 Xerox Corporation Public interactive document
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6088020A (en) 1998-08-12 2000-07-11 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Haptic device
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP2026035A2 (en) 1998-12-16 2009-02-18 3DV Systems Ltd. 3D camera for distance measurements
US6342901B1 (en) * 1998-12-22 2002-01-29 Xerox Corporation Interactive device for displaying information from multiple sources
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6190174B1 (en) 1999-06-03 2001-02-20 Kader Industrial Company Limited Electronic story board
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7333967B1 (en) 1999-12-23 2008-02-19 International Business Machines Corporation Method and system for automatic computation creativity and specifically for story generation
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US7246315B1 (en) 2000-05-10 2007-07-17 Realtime Drama, Inc. Interactive personal narrative agent system and method
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6544040B1 (en) 2000-06-27 2003-04-08 Cynthia P. Brelis Method, apparatus and article for presenting a narrative, including user selectable levels of detail
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US20020108009A1 (en) * 2000-12-29 2002-08-08 Michele Borgatti Electronic system having modular expansion function facilities
BR0207103A (pt) * 2001-02-07 2004-03-02 Infosphere Inc Método para transferir uma apresentação de meios interativos para um terminal de cliente; e sistema de computador para a transferência de uma apresentação de meios interativos a um terminal de cliente
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
WO2002093344A1 (en) * 2001-05-14 2002-11-21 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6705686B2 (en) 2002-03-26 2004-03-16 Ford Motor Company Method and apparatus for braking a hybrid electric vehicle
US7062712B2 (en) * 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
WO2003089277A1 (de) 2002-04-19 2003-10-30 Iee International Electronics & Engineering S.A. Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7962430B1 (en) * 2002-11-11 2011-06-14 James Ralph Heidenreich Systems and methods for facilitating user thinking about an arbitrary problem with additional search capabilities
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20080094404A1 (en) * 2003-11-19 2008-04-24 Reuven Bakalash Computing system having multi-mode parallel graphics rendering subsystem including multiple graphics processing pipelines (GPPLS) and supporting automated division of graphics commands and data during automatic mode control
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7295220B2 (en) * 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
KR100458287B1 (ko) * 2004-06-07 2004-11-26 엔에이치엔(주) 건물 발전 방식의 온라인 롤-플레잉 게임 서비스 시스템 및 그 방법
US20060003824A1 (en) * 2004-07-01 2006-01-05 Aruze Corporation Game system
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US20060190285A1 (en) * 2004-11-04 2006-08-24 Harris Trevor M Method and apparatus for storage and distribution of real estate related data
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
PE20060777A1 (es) * 2004-12-24 2006-10-06 Boehringer Ingelheim Int Derivados de indolinona para el tratamiento o la prevencion de enfermedades fibroticas
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
JPWO2006098299A1 (ja) * 2005-03-14 2008-08-21 新世代株式会社 情報処理システム及びそのための情報入力装置
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
TW200707257A (en) 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070087798A1 (en) * 2005-10-13 2007-04-19 Elliot Mcgucken Morality system and method for video game: system and method for creating story, deeper meaning and emotions, enhanced characters and AI, and dramatic art in video games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070248261A1 (en) * 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
US7627536B2 (en) 2006-06-13 2009-12-01 Microsoft Corporation Dynamic interaction menus from natural language representations
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
EP1912193A1 (en) * 2006-10-02 2008-04-16 Koninklijke Philips Electronics N.V. Interactive storyteller system
TW200839666A (en) 2006-11-14 2008-10-01 Patent Category Corp Interactive system
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP5639764B2 (ja) * 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
WO2008124820A1 (en) 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
KR100930370B1 (ko) * 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
CN102016877B (zh) 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
MY168264A (en) * 2008-07-15 2018-10-16 Dtt holdings pty ltd Method for preparing a patent for a medical treatment
EP2331222A4 (en) * 2008-08-11 2012-07-25 Haven Holdings Llc INTERACTIVE ENTERTAINMENT AND COMPETITION SYSTEM
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
CN101739120A (zh) * 2008-11-12 2010-06-16 华硕电脑股份有限公司 交互式显示方法及其相关显示装置
US8219513B2 (en) * 2008-12-19 2012-07-10 Eastman Kodak Company System and method for generating a context enhanced work of communication
WO2010132718A2 (en) * 2009-05-13 2010-11-18 Coincident.Tv , Inc. Playing and editing linked and annotated audiovisual works
US7967731B2 (en) * 2009-05-29 2011-06-28 Sk Telecom Americas, Inc. System and method for motivating users to improve their wellness
US8510656B2 (en) * 2009-10-29 2013-08-13 Margery Kravitz Schwarz Interactive storybook system and method
US9299223B2 (en) * 2010-05-19 2016-03-29 Bally Gaming, Inc. Controlling bingo game interactivity
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
EP3543958B1 (en) * 2010-09-13 2020-11-11 Barry Lynn Jenkins System and method of delivering and controlling streaming interactive media comprising predetermined packets of geometric, texture, lighting and other data which are rendered on a receiving device
US8613646B2 (en) * 2011-01-21 2013-12-24 Henk B. Rogers Systems and methods for controlling player characters in an interactive multiplayer story
US10127563B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH System and method for providing sports and sporting events related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, gambling and/or services integrated with 3D spatial geomapping, company and local information for selected worldwide locations and social networking
US9031382B1 (en) * 2011-10-20 2015-05-12 Coincident.Tv, Inc. Code execution in complex audiovisual experiences

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428014B1 (ko) * 2013-10-31 2014-08-07 동국대학교 산학협력단 가상화 환경에서 nui 및 nux를 시뮬레이션하는 방법 및 장치
KR20150125060A (ko) * 2014-04-29 2015-11-09 주식회사 두드림 체험형 콘텐츠 제공 시스템 및 방법
WO2018190507A1 (ko) * 2017-04-14 2018-10-18 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
US11004452B2 (en) 2017-04-14 2021-05-11 Naver Corporation Method and system for multimodal interaction with sound device connected to network
KR20190072277A (ko) * 2017-12-15 2019-06-25 주식회사 디자인에이포인트 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치

Also Published As

Publication number Publication date
TW201210663A (en) 2012-03-16
TWI531396B (zh) 2016-05-01
WO2011162974A3 (en) 2012-03-29
US20110314381A1 (en) 2011-12-22
US9274747B2 (en) 2016-03-01
EP2583155A2 (en) 2013-04-24
US20130165225A1 (en) 2013-06-27
CN102947774B (zh) 2016-05-04
JP2013538593A (ja) 2013-10-17
EP2583155A4 (en) 2013-10-16
KR101838312B1 (ko) 2018-03-13
JP5944384B2 (ja) 2016-07-05
CN102947774A (zh) 2013-02-27
US8381108B2 (en) 2013-02-19
CA2800533A1 (en) 2011-12-29
WO2011162974A2 (en) 2011-12-29
CA2800533C (en) 2018-03-06

Similar Documents

Publication Publication Date Title
US9274747B2 (en) Natural user input for driving interactive stories
US10534438B2 (en) Compound gesture-speech commands
US8866898B2 (en) Living room movie creation
US8542252B2 (en) Target digitization, extraction, and tracking
JP5632474B2 (ja) ユーザーから学習した入力を介し視覚表示を実写のようにする方法及びシステム
US8334842B2 (en) Recognizing user intent in motion capture system
US20110311144A1 (en) Rgb/depth camera for improving speech recognition
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
US8654152B2 (en) Compartmentalizing focus area within field of view
US9400695B2 (en) Low latency rendering of objects
US8856691B2 (en) Gesture tool
US9069381B2 (en) Interacting with a computer based application
US20110221755A1 (en) Bionic motion
CN102449576A (zh) 姿势快捷方式
US20100295771A1 (en) Control of display objects
US20120311503A1 (en) Gesture to trigger application-pertinent information

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant