KR20120011023A - 가상 포트들의 관리 - Google Patents

가상 포트들의 관리 Download PDF

Info

Publication number
KR20120011023A
KR20120011023A KR1020117025953A KR20117025953A KR20120011023A KR 20120011023 A KR20120011023 A KR 20120011023A KR 1020117025953 A KR1020117025953 A KR 1020117025953A KR 20117025953 A KR20117025953 A KR 20117025953A KR 20120011023 A KR20120011023 A KR 20120011023A
Authority
KR
South Korea
Prior art keywords
user
gesture
computing environment
virtual
virtual port
Prior art date
Application number
KR1020117025953A
Other languages
English (en)
Other versions
KR101674234B1 (ko
Inventor
케스린 스톤-페레즈
제프리 마르골리스
마크 제이 피노치오
브라이언 이 킨
루디 자코베스 풋
스티븐 지 라타
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120011023A publication Critical patent/KR20120011023A/ko
Application granted granted Critical
Publication of KR101674234B1 publication Critical patent/KR101674234B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3206—Player sensing means, e.g. presence detection, biometrics
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3209—Input means, e.g. buttons, touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

가상 포트들을 관리하는 기술들이 개시된다. 각각의 이런 가상 포트는 예를 들면 특권들, 권한들 또는 옵션들과 같은 다른 연관된 특성들을 가질 수 있다. 한 명 이상의 사용자들이 제스처 기반 시스템의 캡처 장면 내에 있을 때, 시스템은 가상 포트들을 사용자들과 연관시킬 수 있고 가상 포트들을 유지할 수 있다. 또한, 가상 포트들을 사용자와 연관 해제시키는 기술들 또는 둘 이상의 사용자들 사이의 가상 포트들을 상호 교환시키는 기술들이 개시된다.

Description

가상 포트들의 관리 {MANAGING VIRTUAL PORTS}
일반적인 컴퓨팅 환경에서, 사용자는 키보드, 마우스, 조이스틱 또는 그와 유사한 것과 같은 입력 장치를 가지고, 이들은 케이블, 유선, 무선 연결, 또는 다른 연결 수단에 의해서 컴퓨팅 환경과 연결될 수 있다. 만약에 컴퓨팅 환경의 제어 수단이 연결된 제어부로부터 제스처 기반 제어부로 옮겨간다면, 사용자는 컴퓨팅 환경에게 어느 포트(port)가 사용자와 연관되어 있는지 알려주는 연결된 장치를 더 이상 가지지 않을 수 있다. 더 나아가, 만약에 복수의 사용자들이 제스처 기반 환경의 캡처 영역에 있다면, 시스템은 무시해야 하는 사용자의 제스처들, 주의를 기울여야하는 대상인 사용자, 또는 누가 어느 포트와 연관되었는지 여부를 반드시 판단해야한다. 마지막으로, 만약에 복수의 사용자들이 동시에 컴퓨팅 환경에 제스처 기반 입력들을 제공한다면, 시스템은 복수의 사용자들을 구별해야하고, 그들에 대한 우선 순위 또는 프로토콜(protocol)을 판단해야한다.
이론적 제스처 기반 제어 시스템 내의 사용자 경험은 여러 문제점도 가질 수 있다. 예를 들면, 컴퓨팅 환경이 제어부 또는 키보드와 같은 셋 입력(set input)을 가질 때, 사용자는 사용자가 포트와 연결된 제어부가 있고 사용자가 키들 또는 버튼들을 누르면 시스템이 반응한다는 것을 판단할 수 있다. 컴퓨팅 환경에 대한 제어부가 사용자의 제스처들로 옮겨가면, 사용자는 사용자가 감지되고 있는지 여부, 사용자가 시스템에 제어부의 기능을 수행하는지 여부 등을 알려주는 피드백을 필요로 할 수 있다.
그래서, 컴퓨팅 환경이 컴퓨팅 환경에 대한 주된 사용자를 선택하는데 있어서 시스템들 및 방법들이 요구된다. 또한, 제어부가 제스처 기반인 경우에 컴퓨팅 환경의 핸드오프(handoff) 또는 그 외에 제어의 취득, 상실 또는 이동 등을 가능하게 하기 위해서 사용자의 시스템 접속 개시 또는 접속 종료에 대한 방법들 및 시스템들의 필요성이 인정된다.
여기서 가상 포트들을 관리하는 기술들이 개시된다. 사용자를 제스처 기반 시스템에 결속시키는 기술들과 사용자들에게 피드백을 제공하는 기술들도 여기서 개시된다.
실시예에서, 사용자와 가상 포트 시스템과의 상호 작용의 레벨을 나타내는 많은 상태들이 정의된다. 이들 상태들은, 예를 들면, 캡처 영역 내에 사용자가 감지되지 않고 캡처 장치와 사용자가 결속되지 않은 언바운드(unbound)/무감지(undetected) 상태를 포함할 수 있다. 상태들은 또한 사용자가 영역 안에서 감지되지만, 아직 시스템이 사용자와 결속되지 않은 언바운드/감지(detected) 상태를 포함할 수 있다. 상태들은 또한 사용자가 캡처 장치에 의해서 감지도 되고 결속도 되어버린 바운드(bound)/감지 상태를 포함할 수 있고, 이 상태에서 사용자는 제스처 기반 시스템에 제스처 기반 명령들을 제공할 수 있다. 시스템은 또한 결속된 사용자가 캡처 장치의 감지 영역 밖으로 이동한 경우인 바운드/무감지 상태일 수도 있다.
포트의 현재 상태 및 상태 내 변경을 나타내기 위해서 사용자에게 피드백이 제공될 수 있다. 이런 피드백은, 예를 들면, 시각적 디스플레이의 형태를 취할 수 있고, 이런 시각적 디스플레이는 광(light)의 스위치 온/오프, 색들의 변화 또는 플래시일 수 있다. 음향 피드백과 같은 다른 적합한 피드백 종류들 또한 사용될 수 있다.
다른 실시예는 제스처 기반 시스템에서 사용자들을 가상 포트들과 연관시키는 시스템들 및 방법들을 개시한다. 컴퓨터 세션에 들어서는 제 1 사용자는 엔트리 제스처를 취한다. 제스처 기반 시스템이 이 엔트리 제스처를 인지할 때, 시스템은 제 1 사용자를 주된 가상 포트에 연관시킨다. 만약에 제 2 사용자가 캡처 영역으로 들어서고 엔트리 제스처를 취한다면, 시스템은 제 2 사용자를 제 2 가상 포트와 연관시킬 수 있다. 만약에 제 3 사용자가 캡처 영역으로 들어서고 엔트리 제스처를 취한다면, 시스템은 제 3 사용자를 제 3 가상 포트와 연관시킬 수 있다. 사용자에게 각각의 가상 포트를 배정하는 이런 패턴은 추가적인 사용자가 있을 때마다 반복될 수 있다. 각각의 가상 포트는 예를 들면 특권들(privileges), 권한들(rights) 또는 옵션들을 포함하는 각각의 특성들(features)의 세트를 가질 수 있다. 예를 들면, 주된 포트는, 반드시 그런 것은 아니지만, 다른 포트들에게 사용 가능하지 않은 추가적인 특성들을 가질 수 있다.
다른 실시예에서, 둘 이상의 사용자들은 가상 포트들을 변경하기로 결정할 수 있다. 예를 들어, 만약에 두 명의 사용자들이 있고, 한 명은 주된 포트, 그리고 다른 한 명은 제 2 포트를 가지고 있다면, 사용자들은 예를 들면 악수 등의 제스처를 취할 수 있고, 그 뒤에 컴퓨터는 두 사용자들의 가상 포트들을 서로 교환할 수 있다.
다른 실시예에서, 제 1 사용자는 시스템의 제스처 기반 제어를 종료하기 위해서 종료 제스처를 취할 수 있다. 이 실시예의 한 측면에서, 만약에 컴퓨팅 환경 내 가상 포트들과 연관된 다른 사용자들이 있다면, 시스템은 제 1 사용자의 종료 직후에 가상 포트들을 재-연관할 수 있다.
다른 실시예에서, 애플리케이션은 사용자 엔트리, 종료, 핸드오프, 시스템 중지 등을 허용하는 특정 제스처들을 가질 수 있다. 특정 애플리케이션은 또한 개개의 업무들에 대한 지원자들(volunteers)을 요청할 수 있다. 이런 경우에, 한 명 이상의 사용자들은 지원 제스처를 취할 수 있고, 이는 시스템으로 하여금 적어도 특정 업무 시간 동안에는 가상 포트들을 재할당하도록 유발할 수 있다.
도 1a, 1b, 그리고 1c는 사용자가 게임을 하는 제스처 기반 제어 시스템의 예시적 실시예를 도시한다.
도 2는 제스처 기반 시스템 안에서 사용될 수 있는 캡처 장치의 예시적 실시예를 도시한다.
도 3은 제스처 기반 시스템에 결속되고 가상 포트와 연관된 사용자의 하나 이상의 제스처들을 해석하는데 사용될 수 있는 컴퓨팅 환경의 예시적 실시예를 도시한다.
도 4는 제스처 기반 시스템에 결속되고 가상 포트와 연관된 사용자의 하나 이상의 제스처들을 해석하는데 사용될 수 있는 컴퓨팅 환경의 다른 예시적 실시예를 도시한다.
도 5는 컴퓨팅 환경을 제어하기 위해서 케이블 또는 무선으로 제어부들이 연결된 게임 시스템에 대한 종래 제어 환경의 예시를 도시한다.
도 6은 사용자에게 결속될 수 있고, 사용자에게 피드백을 제공할 수 있고 그리고 사용자를 가상 포트와 결속시킬 수 있는 제스처 기반 시스템의 캡처 영역 안에 복수의 사용자들이 있는 것을 도시한다.
도 7은 제스처 기반 시스템에 의해 모델링 될 수 있는 사용자의 한 예시를 도시하고, 여기서 사용자는 관절들과 팔다리들로 모델링될 수 있고, 이들 관절들과 팔다리들의 움직임은 제스처 기반 컴퓨팅 환경을 위한 제스처들을 해석하는데 사용될 수 있다.
도 8은 제스처 기반 시스템 안에서 사용자가 취할 수 있는 일련의 제스처들을 도시하고, 이런 제스처들은 한 명 이상의 사용자들을 가상 포트들과 연관시키고, 핸드오프, 종료, 중지, 선택, 이동 등을 수행하기 위해서 사용될 수 있다.
도 9는 제스처 기반 시스템을 언바운드 상태에서 바운드 상태로 변경하고 사용자에게 사용자의 상태에 대한 피드백을 제공하는 플로우 다이어그램을 도시한다.
도 10은 사용자가 캡처 영역 밖으로 나갈 때 사용자에게 사용자 상태에 대한 피드백을 제공하는 플로우 다이어그램을 도시한다.
도 11은 가상 포트들과 사용자들을 연관시키는 플로우 다이어그램을 도시한다.
도 12는 제스처 기반 시스템으로부터의 지원자 요청에 기초하여 가상 포트들을 둘 이상의 사용자들과 연관시키는 플로우 다이어그램을 도시한다.
도 13은 둘 이상의 사용자들 사이에 가상 포트들의 핸드오프를 생성하는 플로우 다이어그램을 도시한다.
여기서 서술될 내용과 같이, 제스처 기반 시스템은 결속 상태들과 가상 포트 연관들의 피드백을 제공하면서 개개인에게 결속될 수 있고 가상 포트들과 연관될 수 있다. 컴퓨팅 환경의 다른 측면들은 사용자와 결속시키기 위해서 또는 사용자에게 정보를 알려주기 위해서 조정될 수 있고, 사용자와 가상 포트를 연관시킬 수 있고, 또는 일관성 있는 경험을 유지할 수 있다.
도 1a 및 1b는 사용자(18)가 복싱 게임을 하는 제스처 기반 시스템(10)의 설정의 예시적 실시예를 도시한다. 예시적 실시예에서, 제스처 기반 시스템은 사람 목표물(human target)과 결속, 인지, 분석, 추적, 연관하고, 피드백의 제공, 및/또는 사용자(18)와 같은 사람 목표물의 측면들에 적응하는데 사용될 수 있다.
도 1a에서 볼 수 있듯이, 제스처 기반 시스템(10)은 컴퓨팅 환경(12)을 포함할 수 있다. 컴퓨팅 환경(12)은 컴퓨터, 게임 시스템 또는 콘솔, 또는 그와 유사한 것일 수 있다. 예시적 실시예에 따르면, 컴퓨팅 환경(12)은 컴퓨팅 환경(12)이 게임 애플리케이션, 비-게임(non-game) 애플리케이션 등과 같은 애플리케이션들을 실행하는데 사용될 수 있는 하드웨어 요소들 및/또는 소프트웨어 요소들을 포함할 수 있다.
도 1a에서 볼 수 있듯이, 제스처 기반 시스템(10)은 더 나아가 캡처 장치(20)를 포함할 수 있다. 캡처 장치(20)는, 예를 들면 사용자(18)와 같은 하나 또는 그 이상의 사용자들을 모니터하는데 사용될 수 있는 감지장치일 수 있고, 상세하게 후술 되는 것과 같이 하나 또는 그 이상의 사용자들에 의해 수행되는 제스처들은 애플리케이션 내에서 하나 또는 그 이상의 제어들 또는 행동들을 수행하기 위해서 캡처 되고, 분석되고, 추적될 수 있다.
한 실시예에 따르면, 제스처 기반 시스템(10)은 텔레비전, 모니터, 고해상도 텔레비전(HDTV), 등과 같은 사용자(18)에게 가상 포트들과 결속(binding)에 대한 피드백, 게임 또는 애플리케이션 비쥬얼들 및/또는 음향을 제공할 수 있는 시청각 장치(16)와 연결될 수 있다. 예를 들면, 컴퓨팅 환경(12)은 가상 포트들과 결속에 대한 피드백과 연관된 시청각적 신호들을 제공할 수 있는 그래픽 카드와 같은 비디오 어댑터 및/또는 사운드 카드와 같은 오디오 어댑터, 게임 애플리케이션, 비-게임 애플리케이션 등을 포함할 수 있다. 시청각 장치(16)는 컴퓨팅 환경(12)으로부터 시청각 신호들을 수신할 수 있고 그 뒤에 시청각 신호들과 연관된 게임 또는 애플리케이션 비쥬얼들 및/또는 오디오를 사용자(18)에게 출력할 수 있다. 한 실시예에 따르면, 시청각 장치(16)는 예를 들면 S-비디오 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 무선 연결 등을 통해서 컴퓨팅 환경(12)과 연결될 수 있다.
도 1a 및 1b에서 볼 수 있듯이, 제스처 기반 시스템(10)은 사용자(18)와 같은 사람 목표물을 인식, 분석, 및/또는 추적하는데 사용될 수 있다. 예를 들면, 사용자(18)는 캡처 장치(20)를 사용해서 추적될 수 있고, 사용자(18)의 위치, 움직임 그리고 크기가 컴퓨터 환경(12)에 의해 실행되는 애플리케이션에 영향을 미치는데 사용되는 제어부들로 해석될 수 있다. 따라서, 한 실시예에 따르면, 사용자(18)는 애플리케이션을 제어하기 위해서 그 또는 그녀의 몸을 움직일 수 있다.
캡처 장치(20)의 캡처 영역에 사용자가 없는 경우에, 제스처 기반 시스템(10)은 시스템(10)의 언바운드(unbound)/무감지 상태에 대해서 피드백을 제공할 수 있다. 사용자(18)가 감지 장치(20)의 캡처 영역으로 들어올 때, 피드백 상태는 언바운드/무감지 상태에서 언바운드/감지 상태로 변경될 수 있다. 시스템(10)은 그 뒤에 사용자(18)를 결속시킬 수 있고, 이는 피드백 상태를 언바운드/감지상태에서 바운드 상태로 변경시킬 수 있다. 사용자(18)가 제스처 기반 컴퓨팅 환경(12)에 결속된 후에, 사용자는 시스템(10)의 나머지 부분의 가동을 개시할 수 있는 제스처를 취할 수 있다. 사용자(18)는 또한 사용자를 가상 포트와 연관시킬 수 있는 제 2 제스처를 취할 수 있다. 피드백 상태는 사용자가 그가 가상 포트와 연관된 것을 인지하는 상태로 변경될 수 있다. 사용자는 그 뒤에 제스처 기반 시스템(10)을 제어하기 위해서 일련의 제스처들을 제공할 수 있다. 예를 들면, 만약 사용자(18)가 시스템(10)의 하나 또는 그 이상의 메뉴들을 열거나 하나 또는 그 이상의 프로세스들을 정지시켜려 할 때, 사용자는 정지 또는 메뉴 제스처를 취할 수 있다. 컴퓨팅 세선 종료 후에, 사용자는 종료(exit) 제스처를 취할 수 있고, 이는 제스처 기반 시스템으로 하여금 사용자(18)를 가상 포트로부터 연관 해제되도록 할 수 있다. 이것은 피드백 상태로 하여금 가상 포트와 연관된 상태에서 바운드/감지 상태로 변경되게 할 수 있다. 사용자(18)는 그 뒤에 센서들의 범위 밖으로 이동할 수 있고, 이는 피드백 상태로 하여금 바운드/감지 상태에서 비-감지 상태로 변경되게 할 수 있다. 만약에 시스템(10)이 사용자(18)로부터 비결속된다면, 피드백 상태는 언바운드 상태로 변경될 수 있다.
도 1a 및 1b에서 볼 수 있듯이, 예시적 실시예에서, 컴퓨터 환경(12)에서 실행되는 애플리케이션은 사용자(18)가 하는 복싱 게임일 수 있다. 예를 들면, 컴퓨팅 환경(12)은 시청각 장치(16)를 사용하여 사용자(18)에게 복싱 상대방(22)의 시각적 표현을 제공할 수 있다. 컴퓨팅 환경(12)은 또한 사용자(18)가 스크린(14) 상의 사용자의 움직임들로 제어하는 사용자 아바타(24)의 시각적 표현을 제공하는데 있어서 시청각 장치(16)를 사용할 수 있다. 예를 들면, 도 1b에 도시된 바와 같이, 사용자(18)는 게임 공간에서 사용자 아바타(24)로 하여금 주먹을 휘두르게 하기 위해서 물리적 공간에서 주먹을 휘두를 수 있다. 따라서, 예시적 실시예에 따르면, 컴퓨터 환경(12)과 제스처 기반 시스템(10)의 캡처 장치(20)는 물리적 공간에서의 사용자(18)의 주먹질을 인식하고 분석하는데 사용되어 그 주먹질이 게임 공간에서 사용자 아바타(24)의 게임 제어로 해석되도록 할 수 있다.
사용자(18)는 컴퓨팅 환경(12)의 가상 포트와 연관될 수 있다. 가상 포트의 상태의 피드백은 시청각 장치(16)의 소리 또는 디스플레이, LED 또는 백열 전구와 같은 디스플레이, 또는 컴퓨팅 환경(12) 상의 스피커, 또는 사용자에게 피드백을 제공하는 임의의 다른 수단들의 형식으로 사용자에게 주어질 수 있다. 피드백은 사용자(18)에게 사용자가 캡처 장치(20)의 캡처 영역에 위치하는 경우, 사용자가 제스처 기반 시스템(10)에 결속되는지 여부, 어떤 가상 포트와 사용자가 연관되었는지 여부, 그리고 언제 사용자가 아바타(24)와 같은 아바타를 제어하는지 여부를 통지하는데 사용될 수 있다. 사용자(18)에 의한 제스처들은 시스템(10)의 상태를 변경시킬 수 있고, 따라서 사용자(18)가 시스템(10)으로부터 수신하는 피드백 역시 변경될 수 있다.
사용자(18)에 의한 다른 움직임들 또한 위 아래로 움직이기, 위빙(weave), 셔플(shuffle), 블록, 잽, 다양한 다른 주먹을 휘두르기 등의 제어부들과 같은 다른 제어부들 또는 행동들로 해석될 수 있다. 더 나아가, 일부 움직임들은 사용자 아바타(24) 제어 이외의 행동들에 부합되는 제어부들로 해석될 수 있다. 예를 들면, 사용자(18)는 움직임들을 사용해서 개시, 종료, 시스템 온/오프, 중단, 자원, 가상 포트들 변경, 게임 저장, 레벨 선택, 프로파일 또는 메뉴, 최고 점수 조회, 친구와 대화 등을 할 수 있다. 추가적으로, 사용자(18)의 움직임의 전 범위가 애플리케이션과 상호 작용하기 위해 임의의 적절한 방식으로 사용 가능, 사용, 그리고 분석될 수 있다.
도 1c에서, 사용자(18)와 같은 사람 목표물은 라켓(21)과 같은 객체를 가질 수 있다. 이런 실시예들에서, 전자 게임의 사용자는 예를 들면 온스크린(on-screen) 공(23)을 치는 것과 같은 사용자와 객체의 움직임들이 게임의 매개 변수들을 조정 및/또는 제어하는데 사용될 수 있도록 객체를 잡고 있을 수 있다. 라켓(21)을 쥐고 있는 사용자의 움직임은 전자 스포츠 게임 내의 온스크린(on-screen) 라켓을 제어하기 위해서 추적되고 활용될 수 있다. 다른 예시적 실시예에서, 객체를 들고 있는 사용자의 움직임은 전자 전투 게임 내에서 온스크린 무기를 제어하기 위해서 추적되고 이용되고 활용될 수 있다. 하나 또는 그 이상의 글러브들, 공들, 배트들, 클럽들, 기타들, 마이크들, 스틱들, 애완동물들, 동물들, 드럼들 등과 같은 임의의 다른 객체들 또한 포함될 수 있다.
다른 예시적 실시예에 따르면, 제스처 기반 시스템(10)은 더 나아가 게임들 영역 밖의 운용 시스템 및/또는 애플리케이션 제어들과 같은 목표물 움직임들을 해석하는데 사용될 수도 있다. 예를 들면, 운용 시스템 및/또는 애플리케이션의 거의 모든 임의의 제어 가능 측면들이 사용자(18)와 같은 목표물의 움직임들에 의해 제어될 수 있다.
도 2에서 볼 수 있듯이, 예시적 실시예에 따르면, 영상 카메라 요소(25)는 IR 광 요소(26), 삼차원 (3-D) 카메라(27), 그리고 장면의 깊이 영상을 캡처하는데 사용될 수 있는 RGB 카메라(28)를 포함할 수 있다. 예를 들면, 비행 시간 분석(in time-of-flight anaylsis)에서, 캡처 장치(20)의 IR 광 요소(26)는 적외광을 장면으로 발광할 수 있고 그 뒤에 예를 들면 3-D 카메라(27) 및/또는 RGB 카메라(28)를 사용하는 장면 내의 하나 또는 그 이상의 목표물 및 객체들의 표면으로부터 후방 산란되는 빛을 감지하기 위해서 센서들(미도시)을 사용할 수 있다. 일부 실시예들에서, 펄스된 적외광이 사용될 수 있고, 출사광 펄스와 그와 대응되는 입사광 펄스 사이의 시간이 측정될 수 있고 캡처 장치(20)로부터 장면 내의 목표물들 또는 객체들의 특정 위치 사이의 물리적 거리를 판단하는데 사용될 수 있다. 추가적으로, 다른 예시적 실시예들에서, 위상 변위를 판단하기 위해서 출사 광파(light wave)의 위상이 입사 광파의 위상과 비교될 수 있다. 위상 변환은 그 뒤에 캡처 장치로부터 목표물 또는 객체들의 특정 위치까지의 물리적 거리를 판단하는데 사용될 수 있다.
다른 예시적 실시예에 따르면, 비행 시간 분석은 예를 들면 SLP(shuttered light pulse) 영상을 포함하는 다양한 기술들을 통해서 시간의 흐름에 따른 반사광의 강도를 분석하는 방식으로 캡처 장치(20)로부터 목표물들 또는 객체들의 특정 위치까지의 물리적 거리를 간접적으로 판단하는데 사용될 수 있다.
다른 예시적 실시예에서, 캡처 장치(20)는 깊이 정보를 캡처하기 위해서 구조광(structured light)을 사용할 수 있다. 이런 분석에서, 패턴화된 광(즉 격자무늬 또는 줄무늬 패턴과 같은 공지의 패턴으로 디스플레이되는 빛)은 예를 들면 IR 광 요소(26)를 통해서 장면에 투사될 수 있다. 장면 내 하나 또는 그 이상의 목표물들 또는 객체들의 표면과 충돌하자마자, 패턴은 그에 대한 응답으로 변형될 수 있다. 이런 패턴의 변형은 예를 들면, 3-D 카메라(27) 및/또는 RGB 카메라(28)에 의해 캡처될 수 있고, 그 뒤에 캡처 장치와 목표물들 또는 객체들의 특정 위치 사이의 물리적 거리를 판단하기 위해서 분석될 수 있다.
다른 실시예에 따르면, 캡처 장치(20)는 깊이 영상을 생성하기 위해서 분석될 수 있는 시각적 스테레오 데이터(visual stereo data)를 얻기 위해서 장면을 다른 각도에서 볼 수 있는 둘 이상의 물리적으로 분리된 카메라들을 포함할 수 있다.
캡처 장치(20)는 더 나아가 마이크로폰(30)을 포함할 수 있다. 마이크로폰(30)은 음향을 수신하고 전기적 신호로 변환할 수 있는 변환기 또는 센서를 포함할 수 있다. 한 실시예에 따르면, 마이크로폰(30)은 캡처 장치(20)와 제스처 기반 시스템(10) 내 컴퓨팅 환경(12) 사이의 피드백을 줄이는데 사용될 수 있다. 추가적으로, 마이크로폰(30)은 게임 애플리케이션들, 비-게임 애플리케이션들, 또는 컴퓨팅 환경(12)에 의해 실행될 수 있는 유사한 것과 같은 애플리케이션들을 제어하도록 사용자에 의해 제공될 수 있는 음향 신호를 수신하는데 사용될 수 있다.
캡처 장치(20)는 더 나아가 피드백 요소(31)를 포함할 수 있다. 피드백 요소(31)는 LED 또는 백열 전구와 같은 광(light), 스피커 등으로 구성될 수 있다. 피드백 장치는 색 변경, 가동 개시/중단, 밝기 증가 또는 감소, 다양한 속도에서 플래시 중 적어도 하나를 수행할 수 있다. 피드백 요소(31)는 또한 하나 또는 그 이상의 상태들에 대한 피드백으로서 하나 이상의 음향들 또는 소리를 제공할 수 있는 스피커로 구성될 수 있다. 피드백 요소는 또한 캡처 장치의 임의의 다른 요소, 제스처 기반 시스템 등을 사용해서 사용자에게 하나 또는 그 이상의 피드백 형태들을 제공하기 위해서 컴퓨팅 환경(12) 또는 프로세서(32)와 결합해서 가동할 수 있다.
예시적 실시예에서, 캡처 장치(20)는 더 나아가 영상 카메라 요소(25)와 의사 소통할 수 있는 프로세서(32)를 포함할 수 있다. 프로세서(32)는 표준화된 프로세서, 전문화된 프로세서, 마이크로 프로세서, 또는 깊이 영상 수신에 대한 명령, 적절한 목표물이 깊이 영상에 포함되어 있는지 여부 판단에 대한 명령, 적절한 목표물을 목표물의 뼈대 표현 또는 모델(skeletal representation or model)로 변환하는 명령들, 또는 임의의 다른 적절한 명령을 포함하는 명령들을 실행할 수 있는 유사한 것들을 포함할 수 있다.
캡처 장치(20)는 더 나아가 프로세서(32)에 의해 실행될 수 있는 명령들, 3-D 카메라 또는 RGB 카메라에 의해 캡처된 영상들 또는 영상들의 프레임들, 사용자 프로파일들 또는 임의의 다른 적절한 정보, 영상들을 저장할 수 있는 메모리 요소(34)를 포함할 수 있다. 예시적 실시예에 따르면, 메모리 요소(34)는 RAM(random access memory), ROM(read only memory), 캐시, 플래시 메모리, 하드 디스크, 또는 임의의 다른 적절한 저장 요소를 포함할 수 있다. 도 2에서 볼 수 있듯이, 한 실시예에서, 메모리 요소(34)는 영상 캡처 요소(25) 및 프로세서(32)와 의사 소통할 수 있는 독립된 요소일 수 있다. 다른 실시예에 따르면, 메모리 요소(34)는 프로세서(32) 및/또는 영상 캡처 요소(25)와 통합될 수 있다.
도 2에서 볼 수 있듯이, 캡처 장치(20)는 통신 링크(36)를 통해서 컴퓨팅 환경(12)과 의사 소통할 수 있다. 통신 링크(36)는 USB 연결, 파이어와이어 연결(Firewire connection), 이더넷 케이블 연결 등을 포함하는 유선 연결과, 무선 802.11b.g.a.또는 n 연결과 같은 무선 연결일 수 있다. 한 실시예에 따르면, 컴퓨팅 환경(12)은 예를 들면 통신 링크(36)를 통한 장면을 언제 캡처할 것인지 판단하는데 사용될 수 있는 시계를 캡처 장치(20)에게 제공할 수 있다.
추가적으로, 캡처 장치(20)는 예를 들면, 3-D 카메라(27) 및/또는 RGB 카메라(28)에 의해 캡처된 영상 및 깊이 정보, 그리고 캡처 장치(20)에 의해 생성될 수 있는 뼈대 모델을 통신 링크(36)를 통해서 컴퓨팅 환경(12)에게 제공할 수 있다. 컴퓨팅 환경(12)은 그 뒤에 뼈대 모델, 깊이 정보, 그리고 캡처된 영상들을 사용하여, 예를 들면, 가상 스크린 생성, 사용자 인터페이스 조정 및 게임 또는 워드 프로세서와 같은 애플리케이션을 제어할 수 있다. 예를 들면, 도 2에서 볼 수 있듯이, 컴퓨팅 환경(12)은 제스처들 라이브러리(gestures library)(190)를 포함할 수 있다. 제스처들 라이브러리(190)는 그 각각이 뼈대 모델에 의해 수행될 수 있는 제스처와 관련된 정보로 구성되는 제스처 필터들의 컬렉션을 포함할 수 있다(사용자의 움직임에 따라). 카메라들(26, 27)에 의해 캡처된 데이트와 뼈대 모델 형태의 장치(20)와 그것과 연관된 움직임들은 제스처 라이브러리(190)의 제스처 필터들에 의해 언제 사용자(뼈대 모델에 의해 표현된)가 하나 또는 그 이상의 제스처 수행했는지를 식별하기 위해서 비교될 수 있다. 이들 제스처들은 애플리케이션의 다양한 제어부들과 연관될 수 있다. 따라서, 컴퓨팅 환경(12)은 뼈대 모델의 움직임들의 해석 그리고 움직임들에 기초해서 애플리케이션을 제어하기 위해서 제스처 라이브러리(190)를 사용할 수 있다.
도 3은 목표물 인식, 분석, 그리고 추적 시스템 안에서 하나 또는 그 이상의 제스처들을 분석하는데 사용될 수 있는 컴퓨팅 환경의 예시적 실시예를 도시한다. 도 1a-2와 관련되어 위에서 서술된 컴퓨팅 환경(12)과 같은 컴퓨팅 환경은 게임 콘솔과 같은 멀티미디어 콘솔(100)일 수 있다. 도 3에서 볼 수 있듯이, 멀티미디어 콘솔(100)은 CPU(101)를 가질 수 있고, CPU(101)는 레벨 1 캐시(102), 레벨 2 캐시(104), 그리고 플래시 ROM(read only memory)(106)을 가진다. 레벨 1 캐시(102)와 레벨 2 캐시(104)는 일시적으로 데이터를 저장하고 그런 이유로 메모리 접속 사이클의 수를 절감하며, 따라서 처리 속도와 출력량을 개선한다. CPU(101)는 하나 이상의 코어와 그에 따라 추가적인 레벨 1 및 레벨 2 캐시들(102 및 104)을 가질 수 있다. 플래시 ROM(106)은 멀티미디어 콘솔(100)의 전원이 켜질 때 부트 프로세스(boot process)의 초기 단계 동안에 로딩되는 실행 가능한 코드를 저장할 수 있다.
그래픽 프로세싱 유닛(GPU; 108) 및 비디오 인코더/비디오 코덱(코더/디코더; 114)이 고속 및 고해상도 그래픽 프로세싱을 위한 비디오 프로세싱 파이프라인을 형성한다. 데이터는 버스를 통해 그래픽 프로세싱 유닛(108)으로부터 비디오 인코더/비디오 코덱(114)으로 전달된다. 비디오 프로세싱 파이프라인은 텔레비전 또는 다른 디스플레이에 데이터를 전송하는 A/V(오디오/비디오) 포트(140)에 데이터를 출력한다. 메모리 제어기(110)는 GPU(108)에 연결되어, 프로세서가 RAM과 같은 (이에만 한정된 것은 아님) 다양한 유형의 메모리(112)에 액세스할 수 있게 한다.
멀티미디어 콘솔(100)은 I/O 제어기(120), 시스템 관리 제어기(122), 오디오 프로세싱 유닛(123), 네트워크 인터페이스 제어기(124), 제1 UBS 호스트 제어기(126), 제2 USB호스트 제어기(128) 및 프런트 패널 I/O 서브어셈블리(front panel I/O subassembly)를 포함하며, 이들은 모듈(118) 상에 구현되는 것이 바람직하다. USB 제어기(126 및 128)는 주변 제어기 (142(1)-142(2)), 무선 어댑터(148) 및 외장형 메모리 장치(146)(예를 들어, 플래시 메모리, 외장형 CD/DVD ROM 드라이브, 분리형 매체 등)용 호스트로서 동작한다. 네트워크 인터페이스(124) 및/또는 무선 어댑터(148)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)에의 액세스를 제공하며, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 매우 광범위하고 다양한 유무선 어댑터 컴포넌트 중 임의의 것일 수 있다.
부트 프로세스 동안 로드되는 애플리케이션 데이터를 저장하기 위한 시스템 메모리(143)가 제공된다. DVD/CD 드라이브, 하드 드라이브 또는 다른 분리형 미디어 드라이브 등을 포함할 수 있는 미디어 드라이브(144)가 제공된다. 미디어 드라이브(144)는 멀티미디어 콘솔(100)에 내장되거나 외장될 수 있다. 미디어 드라이브(144)를 통해 애플리케이션 데이터에 접속함으로써, 멀티미디어 콘솔(100)이 실행, 역재생 등을 수행할 수 있다. 미디어 드라이브(144)는 시리얼 ATA 버스 또는 다른 고속 연결(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(120)에 연결된다.
시스템 관리 제어기(122)는 멀티미디어 콘솔(100)의 사용 가능성을 보증하는 것에 관련된 다양한 서비스 기능을 제공한다. 오디오 프로세싱 유닛(123) 및 오디오 코덱(132)은 높은 충실도 및 스테레오 프로세싱을 갖는 대응하는 오디오 프로세싱 파이프라인을 형성한다. 통신 링크를 통해 오디오 프로세싱 유닛(123)과 오디오 코덱(132) 사이에 오디오 데이터가 전달된다. 오디오 프로세싱 파이프라인은 재생을 위해서 A/V 포트(140)에 외장 오디오 플레이어 또는 오디오 성능을 가지는 장치에 의해 데이터를 출력한다.
프런트 패널 I/O 서브어셈블리(130)는 LED(light emitting diode) 또는 멀티미디어 콘솔(100)의 외부 표면상에 노출되어 있는 표시기뿐만 아니라 전원 버튼(150) 및 이젝트 버튼(eject button; 152)의 기능을 지원한다. 시스템 전원 공급 모듈(136)은 멀티미디어 콘솔(100)의 컴포넌트에 전원을 제공한다. 팬(138)은 멀티미디어 콘솔(100) 내의 회로를 냉각시킨다.
프런트 패널 I/O 서브어셈블리(130)는 LEDs, 시각적 디스플레이 스크린, 백열 전구, 스피커 또는 사용자(18)에게 멀티미디어 콘솔(100)의 제어 상태의 음향적 또는 시각적 피드백을 제공할 수 있는 다른 임의의 수단들을 포함할 수 있다. 예를 들면, 만약에 시스템이 캡처 장치(20)에 의해 어떤 사용자도 감지 못 하는 상태에 있다면, 이런 상태는 프런트 패널 I/O 서브어셈블리에 반영될 수 있다. 만약에 시스템의 상태가 변경되면, 예를 들면, 사용자가 시스템에 결속된다면, 피드백 상태는 상태의 변경을 반영하도록 프런트 패널 I/O 서브어셈블리 상에서 업데이트될 수 있다.
CPU(101), GPU(108), 메모리 제어기(110) 및 멀티미디어 콘솔(100) 내의 다양한 다른 컴포넌트들은 시리얼 버스, 직렬 버스, 메모리 버스, 주변 버스, 및 다양한 버스 구조 중 임의의 것을 이용하는 프로세서 또는 로컬 버스를 포함하는 하나 이상의 버스를 통해 상호연결된다. 예를 들어, 이러한 구조는 PCI 버스, PCI 익스프레스 버스 등을 포함할 수 있다.
멀티미디어 콘솔(100)의 전원이 켜지면, 애플리케이션 데이터가 시스템 메모리(143)로부터 메모리(112) 및/또는 캐시(102, 104)로 로드되고, CPU(101) 상에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(100) 상에서 이용가능한 상이한 미디어 유형들을 네비게이팅할 때 일관적인 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 동작시에, 애플리케이션 및/또는 미디어 드라이브(144)에 포함된 다른 미디어들은, 멀티미디어 콘솔(100)에 추가적인 기능을 제공하기 위해 미디어 드라이브(144)로부터 시작되거나 재생될 수 있다.
멀티미디어 콘솔(100)은 시스템을 텔레비전 또는 다른 디스플레이에 단순히 연결시킴으로써 독립형 시스템으로 동작할 수 있다. 이 독립형 모드에서, 멀티미디어 콘솔(100)은 한 명 이상의 사용자가 시스템과 상호작용하거나, 동영상을 보거나, 음악을 들을 수 있게 한다. 그러나 네트워크 인터페이스(124) 또는 무선 어댑터(148)를 통해 가능해진 광대역 연결을 통합함으로써, 멀티미디어 콘솔(100)은 보다 넓은 네트워크 통신의 참여자로 더욱 동작할 수 있다.
멀티미디어 콘솔(100)의 전원이 켜지면, 일정량의 하드웨어 리소스(resource)가 멀티미디어 콘솔 운용 시스템에 의한 시스템 사용을 위해 확보된다. 이러한 리소스는 메모리(예를 들어, 16MB), CPU 및 GPU 사이클(예를 들어, 5%), 네트워킹 대역폭(예를 들어, 8kbs) 등의 확보를 포함한다. 이러한 리소스들은 시스템 부트 타임에 확보되기 때문에, 애플리케이션의 시각에서는 존재하지 않는다.
특히, 메모리는 시작 커널, 병행 시스템 애플리케이션 및 드라이버를 포함할 수 있도록 충분히 크게 확보되는 것이 바람직하다. 확보된 CPU 용량이 시스템 애플리케이션에 의해 이용되지 않으면, 휴지 스레드가 임의의 미사용된 사이클을 사용하도록, CPU를 일정하게 확보하는 것이 바람직하다.
GPU 확보에 관하여, 시스템 애플리케이션에 의해 생성된 중요하지 않은 메시지(예를 들어, 팝업)는 오버레이(overlay)에 팝업을 렌더링하도록 코드를 스케줄링하는 GPU 인터럽트(interrupt)를 이용하여 디스플레이된다. 오버레이를 위해 요청되는 총 메모리는 오버레이 영역 크기에 따르며, 오버레이는 스크린 해상도로 크기가 조정되는 것이 바람직하다. 사용자 인터페이스 전체가 병행 시스템 애플리케이션에 의해 이용되면, 애플리케이션 해상도에 독립적인 해상도를 이용하는 것이 바람직하다. 주파수를 수정하고 TV 재동기화하는 필요성을 제거하기 위해, 이 해상도를 설정하는데 스케일러(scaler)가 이용될 수 있다.
멀티미디어 콘솔(100)이 부팅되고 시스템 리소스가 확보된 후, 병행 시스템 애플리케이션이 실행되어 시스템 기능이 제공된다. 시스템 기능은 상기 설명된 확보된 시스템 리소스 내에서 실행되는 시스템 애플리케이션의 세트 내에 캡슐화(encapsulate)된다. 오퍼레이팅 시스템 커널은 게임 애플리케이션 스레드에 대한 시스템 애플리케이션 스레드인 스레드를 식별한다. 애플리케이션에게 일관적인 시스템 리소스를 제공하기 위해, 시스템 애플리케이션이 미리 결정된 시간 및 휴지시간에 CPU(101) 상에서 작동되도록 스케줄링 된다. 콘솔 상에서 동작중인 게임 애플리케이션에 대한 캐시 중단을 최소화하기 위해서 스케줄링을 한다.
병행 시스템 애플리케이션이 오디오를 요청하면, 오디오 프로세싱은 시간에 민감하기 때문에 게임 애플리케이션에 비동기적으로 스케줄링 된다. (다음에 설명된) 멀티미디어 콘솔 애플리케이션 관리자는, 시스템 애플리케이션이 활성일 때 게임 애플리케이션 오디오 레벨을 제어(예를 들어, 소리를 줄이거나 약하게 함)한다.
입력 장치(예를 들어, 제어기(142(1) 및 142(2)))는 게임 애플리케이션과 시스템 애플리케이션에 의해 공유된다. 입력 장치는 확보된 리소스는 아니지만, 시스템 애플리케이션과 게임 애플리케이션 각각이 입력 장치의 포커스(focus)를 갖도록 하기 위해 그 두 애플리케이션 사이에 스위칭 된다. 애플리케이션 관리자는 가급적 게임 애플리케이션의 지식 없이 입력 스트림의 스위칭을 제어하고, 드라이버는 포커스 스위치에 관한 상태 정보를 유지한다. 카메라(27, 28) 그리고 캡처 장치(20)는 콘솔(100)에 대한 추가적인 입력 장치들을 정의할 수 있다.
도 4는 목표물 인식, 분석, 그리고 추적 시스템 안에서 하나 이상의 제스처들을 해석하는데 사용되는 도 1a-2에서 나타난 컴퓨팅 환경(12)을 포함할 수 있는 컴퓨팅 환경(220)의 다른 예시적 실시예를 도시한다. 컴퓨팅 시스템 환경(220)은 적절한 컴퓨팅 환경의 하나의 예시에 불과할 뿐 여기 제시된 발명의 범위 또는 기능에 어떠한 한정도 부가하지 않는다. 또한, 컴퓨팅 환경(220)은 예시적 운용 환경(220)에 도시된 요소들 중 임의의 하나 혹은 조합에 관련되어 임의의 의존성 또는 요구 조건을 가지는 것으로 해석되어서도 안 된다. 일부 실시예들에서 다양한 도시된 컴퓨팅 요소들은 본 발명의 특정 측면들을 인스턴트화시키도록 설정된 회로를 포함할 수 있다. 예를 들면, 여기서 사용된 용어 "회로"는 펌웨어 또는 스위치들에 의해서 기능(들)을 수행하도록 설정된 전문화된 하드웨어 요소들을 포함할 수 있다. 다른 예시적 실시예들에서 용어 "회로"는 기능(들)을 수행하도록 로직을 운용하는 소프트웨어 명령들에 의해 설정되는 일반적 목적의 처리 유닛, 메모리 등을 포함한다. 회로가 하드웨어와 소프트웨어의 결합을 포함하는 예시적 실시예들에서, 구현자는 로직을 구현하는 소스 코드를 작성할 수 있고 소스 코드는 일반적 목적 처리 유닛에 의해 처리될 수 있는 기계적 판독 가능 코드로 컴파일될 수 있다. 본 기술의 당업자는 본 기술의 상태가 하드웨어, 소프트웨어, 또는 하드웨어/소프트웨어의 조합 사이에 거의 차이가 없는 상태로 발달하였고, 특정 기능들을 유발시키는 하드웨어 대 소프트웨어의 선택은 구현자에게 맡겨진 디자인적인 선택이라는 것을 인지할 수 있을 것이다. 보다 구체적으로, 본 기술의 당업자는 소프트웨어 프로세스가 균등한 하드웨어적 구조로 변환될 수 있고, 하드웨어 구조 또한, 그와 균등한 소프트웨어 프로세스로 변환될 수 있음을 인지할 것이다. 따라서, 하드웨어적 구현 대 소프트웨어적 구현의 선택은 구현자에게 맡겨진 디자인적인 선택 중 하나이다.
도 4에서 컴퓨터 환경(220)은 컴퓨터(241)로 구성되고, 컴퓨터(241)는 보통 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(241)에 의해 접속될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 모두를 포함한다. 시스템 메모리(222)는 ROM(223)과 RAM(260) 같은 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함한다. 시작할 때 등에, 컴퓨터(241) 내의 구성 요소들 사이의 정보 전달을 돕는 기본적인 루틴들을 포함하는 기본적인 입력/출력 시스템 (224)(BIOS)은 일반적으로 ROM(223)에 저장된다. RAM(260)은 전형적으로 직접 액세스 가능하고/하거나 현재 프로세싱 유닛(259)에 의해 동작되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 제한을 가하지 않는 예로서, 도 4는 운영 시스템(225), 애플리케이션 프로그램(226), 기타 프로그램 모듈(227) 및 프로그램 데이터(228)를 도시한다.
컴퓨터(241)는 또한 다른 분리형/비분리형인 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 오직 예시로서, 도 4는 비분리형 비휘발성 자기 매체를 판독하거나 기입하는 하드 디스크 드라이브(238), 분리형 비휘발성 자기 디스크(254)를 판독하거나 기록하는 자기 디스크 드라이브(239) 및 CD ROM이나 기타 광학 매체와 같은 분리형 비휘발성 광학 디스크(253)를 판독하거나 기록하는 광학 디스크 드라이브(240)를 도시한다. 예시적인 운영 환경에서 사용될 수 있는 기타 분리형/비분리형 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만 이들로 제한되지는 않는다. 하드디스크 드라이브(238)는 전형적으로 인터페이스(234)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(221)로 연결되고, 자기 디스크 드라이브(239) 및 광학 디스크 드라이브(240)는 전형적으로 인터페이스(235)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(221)로 연결된다.
상술 되고 도 4에 도시된 드라이브들과 관련 컴퓨터 저장 매체는 컴퓨터(241)에 대해 컴퓨터 판독가능 명령어들, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 예를 들어 도 4에서, 하드 디스크 드라이브(238)는 운영 시스템(258), 애플리케이션 프로그램(257), 기타 프로그램 모듈(256) 및 프로그램 데이터(255)를 저장하는 것으로 도시된다. 이러한 컴포넌트들은 운영 시스템(225), 애플리케이션 프로그램(226), 기타 프로그램 모듈(227) 및 프로그램 데이터(228)와 동일할 수도 있고 다를 수도 있다는 점을 유의해야 한다. 운영 시스템(258), 애플리케이션 프로그램(257), 기타 프로그램 모듈(256) 및 프로그램 데이터(255)는 여기서 최소한 그것들이 다른 것들이라는 것을 도시하기 위하여 다른 번호를 부여받는다. 사용자는 키보드(251) 및 일반적으로 마우스, 트랙볼 또는 터치패드로서 언급되는 포인팅 장치(252)와 같은 입력 장치를 통해 컴퓨터(241)로 명령어 및 정보를 입력할 수 있다. 기타 입력 장치들(도시되지 않음)은 마이크, 조이스틱, 게임 패드, 위성 디쉬, 스캐너 등을 포함할 수 있다. 이러한 장치들과 기타 입력 장치들은 종종 시스템 버스로 연결되는 사용자 입력 인터페이스(236)를 통해 프로세싱 유닛(239)으로 연결되는데, 기타 인터페이스 및 병렬 포트, 게임 포트 또는 USB와 같은 버스 구조에 의해 연결될 수 있다. 카메라(27, 28) 및 캡처 장치(20)는 콘솔(100)에 대한 추가 입력 장치를 형성할 수 있다. 모니터(242)나 다른 종류의 디스플레이 장치 또한 비디오 인터페이스(232)와 같은 인터페이스를 통해 시스템 버스(221)로 연결된다. 모니터 외에, 컴퓨터는 스피커(244)와 프린터(243) 같은 기타 주변 출력 장치들을 포함할 수 있고, 그것은 출력 주변 인터페이스(233)를 통해 연결될 수 있다.
컴퓨터(241)는 원격 컴퓨터(246)와 같은 하나 이상의 원격 컴퓨터들로의 논리적 연결을 사용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(246)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 기타 공통 네트워크 노드일 수 있으며, 도 4에는 메모리 저장 장치만이 도시되지만 전형적으로 컴퓨터(241)와 관련되어 상술된 구성요소들 중 다수 혹은 모두를 포함한다. 도 2에 도시된 논리적 연결들은 근거리 통신망(LAN)(245)과 광역 통신망(WAN)(249)을 포함하지만, 다른 네트워크들도 포함할 수 있다. 그러한 네트워킹 환경들은 사무실, 기업 규모 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔한 것이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 네트워크 인터페이스나 어댑터(237)를 통해 LAN(245)으로 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 전형적으로 인터넷과 같은 WAN(249)을 거쳐 통신을 설정하기 위한 모뎀(250)이나 다른 수단을 포함한다. 내장되거나 외장일 수 있는 모뎀(250)은 사용자 입력 인터페이스(236)나 기타 적합한 메커니즘을 통해 시스템 버스(221)로 연결될 수 있다. 네트워크 환경에서, 컴퓨터(241)와 관련되어 기술된 프로그램 모듈이나 그들의 일부는 원격 메모리 저장 장치에 저장될 수 있다. 제한을 가하지 않는 예로서, 도 2b는 원격 애플리케이션 프로그램들(248)을 메모리 장치(247)에 상주하는 것으로 도시한다. 도시된 네트워크 연결들은 예시이고, 컴퓨터들 사이에 통신 링크를 설정하기 위한 다른 수단들이 사용될 수 있다는 것을 잘 알 수 있을 것이다.
도 5는 연결된 제어부들만을 사용하는 종래 기술 시스템의 예시적 실시예를 도시한다. 이런 실시예에서, 게임 제어부, 조이스틱, 마우스, 키보드 등과 같은 제어부들(294)은 컴퓨팅 환경(12)과 케이블(292) 또는 무선으로 연결된다. 특정 버튼 또는 키들을 누리는 것은 설정된 신호들이 컴퓨팅 환경으로 발신되는 것을 유발할 수 있다. 더 나아가, 이들 제어부들은 일반적으로 특정 물리적 포트들(290)과 연관되어 있다. 예시적 게임 환경에서, 제 1 제어부는 제 1 물리적 포트에 플러그 되고, 제 2 제어부는 제 2 물리적 포트에 플러그 될 수 있다. 제 1 제어부는 그 안에서 가장 우선되는 제어, 또는 다른 제어부들은 사용할 수 없는 게임 환경 내 특정 측면들의 제어와 연관될 수 있다. 예를 들면, 격투 게임에서 특정 레벨 또는 보드를 선택할 때, 제 1 제어부만 선택이 가능하다.
제스처 기반 시스템(10)과 같은 제스처 기반 시스템은 가상 포트들을 하나 이상의 사용자들과 연관시켜야할 필요가 있을 수 있고, 물리적 케이블들 또는 종래 기술의 포트들의 사용 없이 제 1 제어부와 사용자를 연관시켜야할 필요가 있을 수 있다. 만약에 그 각각이 가상 포트와 연관된 복수의 사용자들이 있다면, 사용자들은 그들이 어떤 포트와 연관되어있는지를 판단하기 위해서 피드백이 필요할 수 있다. 만약에, 사용자와 가상 포트의 초기 결합 이후에, 포트가 제 2 사용자와 재-연관할 필요가 있다면, 사용자들 둘 다에게 가상 포트가 재-연관되었다는 것을 나타내는 어떤 피드백이 필요할 수 있다. 가상 포트들이 다른 사용자들과 재-연관될 때, 사용자들에게 재-연관가 발생했다는 것을 추가로 통지하기 위해서 추가적인 음향적 또는 시각적 피드백(계속해서 디스플레이될 수 있는 일반적 피드백에 추가되어)이 재-연관시점 또는 그 부근에 제공될 수 있다. 스크린상의 그들의 캐릭터들, 분할 스크린 게임 내 그들이 있는 스크린 면, 그리고 다른 측면들과 같은 각각의 사용자 게임 환경의 다른 측면들은 가상 포트의 재-연관시에 변경되지 않을 수도 있다.
도 6은 도 2를 참조해서 위에서 서술된 바와 같이 캡처 장치(20)에 의해 캡처될 수 있는 것과 같은 캡처 영역(300)을 도시한다. 실시예에서, 만약 캡처 영역(300)과 같은 캡처 영역 내에 사용자가 없다면, 컴퓨팅 환경(12)의 프런트 패널, 캡처 장치(20) 또는 시청각 디스플레이(16)는 그 제 1 상태의 피드백을 제공할 수 있다. 이런 제 1 상태는 언바운드/무-감지 상태로 간주될 수 있다.
도 6의 두 번째 실시예에서, 제 1 사용자(302)는 부분적으로 캡처 영역(300)에 들어올 수 있다. 도 6에서, 제 1 사용자(302)는 캡처 장치(20)의 캡처 영역(300)에 완전히 들어오지 않았고, 이것은 제스처 기반 시스템(10)이 제 1 사용자(302)를 결속시키지 못할 수 있다는 것을 의미할 수 있다. 이런 경우에, 컴퓨팅 환경(12), 또는 캡처 장치(20) 또는 시청각 디스플레이(16)에 의해 제 1 사용자(302)에게 제공되는 피드백은 언바운드/감지 상태를 나타낼 수 있다. 제스처 기반 제어 시스템(10)은 사용자가 캡처 영역으로 들어오는 모든 경우 또는 사용자(302)처럼 사용자가 단지 부분적으로만 캡처 영역 내에 있는 경우에 언바운드/감지 상태일 수 있다.
다른 실시예에서, 제 2 사용자(304)가 캡처 영역(300) 안에 있을 수 있다. 이런 경우에, 제스처 기반 제어 시스템(10)은 제 2 사용자(304)를 제스처 기반 제어 시스템(10)의 제어부로 결속시킬 수 있다. 캡처 장치(20), 시청각 디스플레이(16) 또는 컴퓨팅 환경(12) 중 적어도 하나에 의한 피드백이 피드백의 바운드 상태의 형식으로 사용자(304)에게 제공될 수 있다.
다른 측면에서, 만약에 사용자(304)와 같은 제 2 사용자가 제스처 기반 제어 시스템과 결속되어 있고 캡처 영역(300)에서 벗어난다면, 시스템은 제 2 사용자(304)가 여전히 시스템(10)에 결속되어 있으나 현재 감지되지 않는 상태를 입력할 수 있다. 이런 상태는 바운드/무감지 상태일 수 있다. 제 2 사용자(304)가 여전히 사용자가 제스처 기반 제어 시스템에 결속되어 있는 시간대 동안에 캡처 영역(300)으로 돌아올 때, 캡처 장치(20), 컴퓨팅 환경(12) 또는 시청각 장치(16) 중 적어도 하나에 의해 피드백이 제공될 수 있다. 사용자와 가상 포트들 사이의 연관는 사용자가 캡처 영역(300)을 벗어나는 경우에도 유지될 것이다.
만약에 복수의 사용자들이 캡처 영역(300)에 위치한다면, 제스처 기반 제어 시스템(10)은 캡처 영역 내 각각의 사용자의 상태에 대한 피드백을 제공할 수 있다. 예를 들면, 모든 사용자들에게 제스처 기반 시스템(10)이 결속되고 가상 포트들이 연관되고 각각의 사용자에게 특정된 바운드/연관 상태의 피드백이 제공될 수 있다. 제공된 피드백은 또한 제 1 사용자(302)와 제 2 사용자(304)에게 그들이 어떤 가상 포트와 연관되었는지에 대한 피드백을 포함할 수 있다. 예를 들면, 제 1 사용자(302)는 주된 가상 포트와 연관될 수 있고, 피드백은 제 1 사용자(302)에게 제 1 사용자가 주된 가상 포트와 연관되어 있다는 것을 나타내기 위해서 제공될 수 있다.
캡처 영역(300)을 가지는 제스처 기반 제어 시스템(10)의 다른 측면에서, 사용자는 캡처 장치(20)에 대하여 너무 멀리, 너무 가깝게, 오른편 또는 왼편으로 너무 많이 들어설 수 있다. 이런 상황에서, 제스처 기반 제어 시스템(10)은 "범위 이탈(out of range)" 신호, 또는 캡처 장치(20)가 올바르게 사용자의 이미지를 캡처하기 위해서는 사용자가 특정 방향으로 이동해야한다는 사실을 통지하는 특정된 피드백의 형식으로 피드백을 제공할 수 있다. 예를 들면, 만약에 제 2 사용자(304)가 왼편으로 너무 멀리 이동하면, 스크린상에 사용자에게 오른편을 이동할 것을 지시하는 화살표가 팝업할 수 있다. 사용자에게 제공된 이런 방향들을 또한, 캡처 장치(20) 또는 컴퓨팅 환경(12)에 의해서도 제공될 수 있다. 앞에서 서술된 시각적 피드백에 음향 신호가 동반될 수 있다.
한 실시예에서, 다른 피드백 상태들이 다른 색 발광기들(color light emitters)의 형태를 취할 수 있다. 예를 들면, 언바운드/무감지 상태에 대한 피드백은 검은색 또는 절전일 수 있고, 바운드/감지 상태에 대한 피드백은 녹색일 수 있고, 그리고 바운드/무감지 상태 또는 "범위 이탈" 상태에 대한 피드백은 파란색일 수 있다. 이런 색 운영 계획(color scheme)은 단순히 예시로 제시된 것일 뿐이고, 임의의 다른 색 운영 계획이 사용될 수 있다. 다른 실시예에서, 피드백 상태들은 플래시(flashing)와 지속적인 발광 사이의 비교와 관련될 수 있다. 예를 들면, 언바운드/무감지 상태에 대한 피드백은 절전 될 수 있고, 언바운드/감지 상태에 대한 피드백은 플래시일 수 있고, 그리고 바운드 상태에 대한 피드백은 지속적인 발광일 수 있다. 다른 실시예에서, 상태들 사이의 변경들 또는 특정 상태에 대한 음향적 피드백이 있을 수 있다. 사용자에게 컴퓨팅 환경(12)의 제어부로서 그의 상태에 대해 제공되는 피드백은 앞에서 서술한 예시들의 임의의 l조합 및 임의의 다른 적합한 피드백을 포함할 수 있다.
각각의 사용자에 대한 피드백은 아바타 또는 캡처 장치(20), 컴퓨팅 환경(12) 또는 시청각적 디스플레이(16) 상의 특정 광(light) 또는 디스플레이와 연관될 수 있다. 하나 이상의 컴퓨팅 세션들 동안에 사용자와 연관된 가상 포트에 대하여 변경들이 있을 수 있다. 어떤 실시예들은 사용자들에게 그들이 한 가상 포트로부터 다른 포트로 변경했다는 것을 알려주는 피드백을 제공할 수 있으나, 컴퓨팅 환경의 어떤 측면들과 사용자들에 대한 피드백은 동일하게 유지될 수 있다. 예를 들면, 만약에 사용자가 그의 세션과 연관된 특정 광 또는 LED를 가진다면, 광 또는 LED는 사용자가 가상 포트를 변경한 경우에도 여전히 사용자를 표현할 수 있다. 다른 예시에서, 사용자와 연관된 아바타는 사용자가 가상 포트들을 변경한 경우에도 동일하게 유지될 수 있다. 추가적인 예시로서, 만약에 사용자가 가상 포트들을 변경할 때, 사용자의 아바타는 하이라이트 되거나 또는 모습 상에서 어떤 변화를 보여줄 수 있다. 다른 실시예에서, 만약 분할 스크린 게임 또는 사용자가 세션을 시작하는 스크린 측이 있는 경우에, 가상 포트들의 재-연관가 있더라도 이들 요소들은 변경되지 않을 수 있다.
도 7은 캡처 장치(20)와 컴퓨팅 환경(12)을 사용해서 생성될 수 있는 인간 사용자(510)의 모델을 도시한다. 이 모델은 제스처들 등을 판단하기 위해서 제스처 기반 시스템(10)의 하나 이상의 측면들에 의해서 사용될 수 있다. 이 모델은 관절들(512)과 뼈들(514)로 구성될 수 있다. 이들 관절들과 뼈들을 추적하는 것은 제스처 기반 시스템으로 하여금 사용자가 어떤 제스처를 취하고 있는지를 판단할 수 있게 한다. 이들 제스처들은 제스처 기반 시스템을 제어하는데 사용될 수 있다.
도 8은 손(520)을 들거나 흔들기, 팔들(522)로 X자 만들기, 또는 하이 파이브(524)와 같은 일련의 제스처들을 도시한다. 도시된 소수의 제스처들에 한정되는 것은 아니지만, 임의의 다른 제스처들과 함께 이들 제스처들은 제스처 기반 시스템(10)의 명령들일 수 있다. 한 실시예에서, 제스처들은 특정 소프트웨어 또는 하드웨어 애플리케이션에 한정되지 않고 일반적으로 통용될 수 있다. 다른 실시예에서, 컴퓨팅 환경(12)에서 구동되는 게임들 또는 다른 프로그램들은 프로그램 특정적 제스처들을 가질 수 있다. 예를 들면, 가상 포트를 핸드오프(handoff)하는 일반적 제스처는 악수일 수 있으나, 레슬링 게임과 같은 게임에서는 사용자가 하이 파이브(524)를 수행할 때 핸드오프를 수행하는 프로그램 특정적 제스처를 가질 수 있다.
사용자를 가상 포트들에 결속 및 연관시키는 것에 대한 일반적인 제스처들은 사용자가 가상 포트와 제스처를 취하는 사용자를 연관시키는 제스처, 가상 포트와 연관 해제되는 제스처, 정지 제스처, 메뉴 제스처, 자원 제스처, 시스템 전원 켜기 제스처, 시스템 전원 끄기 제스처, 선택 제스처, 종료 제스처, 핸드오프 제스처 등을 포함할 수 있다.
도 9는 사용자를 제스처 기반 시스템에 결속시키는 단계와 사용자 상태에 대하여 사용자에게 피드백을 제공하는 단계에 대한 블록도(600)를 도시한다. 한 실시예에서, 사용자를 제어부로 입력하는 단계에 대한 프로세스는 사용자 감지 단계, 그 뒤에 사용자를 결속시키고 사용자와 가상 포트를 연관시키는 특정 명령을 감지하는 단계를 포함한다. 시스템으로부터의 어떤 피드백 없이는, 사용자는 제스처 기반 시스템 안에서 사용자의 상태를 인지하지 못할 수 있다. 예를 들면, "언바운드/감지" 상태의 사용자는 굉장히 흥분하여 예를 들면 시스템을 켜는 제스처를 취할 수 있다. 시스템은 사용자가 바운드 상태에 도달하기 전까지는 이 기능을 수행할 능력이 없을 수 있고, 이것은 만약 사용자가 제스처 기반 시스템 내 자신의 상태에 대해서 인지하지 못하고 있다면 사용자를 불쾌하게 할 수 있다. 다른 예시로, 만약에 제스처 기반 시스템에 결속되고 가상 포트와 연관된 사용자가 캡처 장치에 의한 감지 범위를 이탈해서 이동한다면, 시스템은 명령들의 수신 능력을 상실할 수 있다. 이런 경우에, 사용자가 캡처 영역으로 돌아와 제스처 기반 시스템에게 제스처 기반 명령들을 입력할 필요가 있다는 것을 사용자에게 통지하는 피드백을 제공하는 것이 중요할 수 있다.
602에서, 캡처 영역에서 감지되는 사용자가 없을 때, 제스처 기반 시스템은 언바운드/무감지 상태에 있을 수 있고 이 상태를 나타내는 피드백을 제공할 수 있다. 이 피드백은, 예를 들면, 발광부의 오프 상태(off state), 또는 스피커의 침묵 상태, 또는 특정 색 또는 모양 또는 주기적인 발광부일 수 있다.
604에서, 도 1a-1b와 관련해서 위에서 서술된 캡처 장치(20) 상의 하나 이상의 센서들이 사용자를 감지할 수 있다. 한 실시예에서, 사용자는 캡처 장치의 하나 이상의 카메라들의 캡처 영역으로 들어올 수 있다. 다른 실시예에서, 마이크로폰 등이 사용자로부터 발생하는 소음을 감지한다.
606에서, 사용자가 감지된 때, 제스처 시스템의 피드백 상태는 "언바운드/무감지" 상태에서 "언바운드/감지"상태로 변경될 수 있다. 이 피드백 상태는 특정 색의 발광, 소음, 또는 발광부의 플래시일 수 있다. 한 실시예에서는, 이 상태는 완전히 건너뛸 수 있고, 피드백 상태는 바운드와 언바운드로만 존재할 수도 있다.
608에서, 제스처 기반 시스템은 사용자와 결속될 수 있다. 결속은 시스템이 도 7과 관련해서 서술되는 모델(510)과 같은 모델을 생성할 때 발생할 수 있다. 다른 실시예에서, 결속은 하나 이상의 사용자 프로파일들을 검색하고 사용자의 모델을 사용자 프로파일들과 비교하는 것을 포함할 수 있다. 608에서 결속 이후에, 시스템은 사용자로부터 제스처를 수신하고 제스처를 명령으로 해석할 수 있는 상태가 된다.
610에서, 시스템은 사용자가 바운드 상태임을 통지하는 피드백을 제공할 수 있다. 앞에서와 같이, 이 피드백은 임의의 소음 또는 임의의 스크린, 표면, 또는 제스처 기반 시스템으로부터의 프로젝션 상의 발광 형식을 취할 수 있다.
도 10은 사용자를 제스처 기반 시스템으로부터 결속 해제하는 블록도(620)를 도시한다. 한 실시예에서, 622에서 포트와 사용자는 바운드 상태이다. 사용자는 단순히 캡처 영역(300)과 같은 캡처 영역에서 걸어나갈 수 있고, 이것은 624에서 감지된다. 만약에 사용자가 돌아오지 않는다면, 피드백 상태는 628에서 바운드 상태에서 언바운드/무감지 상태로 변경된다. 한 실시예에서, 사용자(18)와 같은 사용자가 캡처 영역에서 나가는 시간과 시스템이 결속 해제되고(unbound) 언바운드 피드백을 사용자에게 제공하는 시간 사이에 지연이 발생할 수 있다. 이런 지연은 사용자로 하여금 사용자의 가상 포트와 사용자의 컴퓨팅 세션의 다른 요소들을 유지한 상태에서 세션 도중 또는 짧은 시간 동안에 캡처 영역에서 나갔다가 캡처 영역으로 돌아오는 것을 가능하게 할 수 있다.
도 11은 제스처 기반 시스템의 가상 포트들과 한 명 이상의 사용자들을 연관시키는 예시적 실시예의 블록도(640)를 도시한다. 제스처 기반 시스템에서, 사용자는 일반적으로 확립된 물리적 포트를 가지는 제어부를 가지고 있지 않다. 대신에, 시스템은 가상 포트들을 한 명 이상의 사용자들에게 반드시 배정해야 한다. 더 나아가, 이들 가상 포트들은 주된 포트 또는 제 2의 포트 또는 제 3 의 포트 등 중 하나로 반드시 배정되어야 하고 예를 들면 특권들, 권리들 또는 옵션들과 같은 다른 특성들이 그들과 반드시 연관되어야 한다. 이들 특성들은 하나 이상의 컴퓨팅 세션들 도중에 변경될 수 있다.
642에서, 사용자는 앞에서 서술된 바와 같이 시스템에 결속될 수 있다. 사용자가 제스처 기반 시스템에 결속되면, 사용자는 하나 이상의 제스처를 취하는 방식으로 시스템에 대해 명령들을 제공할 수 있다. 이런 제스처 중 하나는 엔트리(entry)일 수 있다. 644에서 제스처 기반 시스템은 제 1 사용자로부터 엔트리 명령을 감지할 수 있다. 엔트리 명령은 선택적 특징이고, 그리고 사용자는 포트와 연관되기 위해서 반드시 엔트리 명령을 제공할 필요는 없다. 일부 경우들에서, 단순히 캡처 영역에 등장 또는 감지되는 것만으로도 포트와 연관되기에 충분하다.
646에서, 제스처 기반 시스템은 사용자를 주된 가상 포트와 연관시킬 수 있다. 주된 가상 포트는 제스처 기반 시스템과 연관된 다른 포트들이 가지지 못하는 추가적인 제어들을 제스처 기반 시스템에 대해서 가질 수 있다. 예를 들면, 주된 포트와 연관된 사용자는 메뉴 또는 타이틀 페이지들에서 초기 선택들을 할 수 있다. 주된 포트와 연관된 사용자는 또한 게임 환경에서 아바타들 또는 보드들과 같은 다른 요소들을 가장 먼저 선택하는 사용자일 수 있다.
648에서, 제 2 사용자는 캡처 영역 내에 들어서서 감지될 수 있고 제스처 기반 시스템에 결속될 수 있다. 제 2 사용자가 제스처 기반 시스템에 결속된 직후에, 사용자는 하나 이상의 제스처들을 취하는 방식으로 시스템에 명령들을 제공할 수 있다. 이런 제스처들 중 하나는 엔트리 제스처이다. 제 2 사용자에 의해 제공된 엔트리 제스처는 제 1 사용자에 의해 제공된 엔트리 제스처와 동일할 수도 있고 다를 수도 있다. 하나 이상의 엔트리 제스처들이 있을 수도 있고, 가상 포트와 연관되기 위해서 그들 중 임의의 하나를 사용자는 제스처 기반 시스템에 제공할 수 있다. 엔트리 명령은 선택적 특성이고, 사용자가 포트와의 연관하기 위해서 반드시 엔트리 명령을 제공할 필요는 없다. 일부 경우들에서 단순히 캡처 영역에 등장 또는 감지되는 것만으로도 포트와 연관되기에 충분하다.
652에서, 제 2 사용자는 제 2 가상 포트와 연관될 수 있다. 제 2 가상 포트는 주된 가상 포트와 연관된 것들과는 다른 특성들을 가질 수 있다. 한 예시에서, 제 2 가상 포트는 커서와 연관될 수 있다. 그러나, 커서는 특정 메뉴 스크린들 또는 선택 스크린들에서 선택을 내릴 때 사용되지 않을 수도 있다. 다른 예시에서, 제 2 가상 포트는 주된 가상 포트에게 선택할 권한이 없는 특정 스크린들 상의 하나 이상의 옵션들을 선택하는데 사용될 수 있다. 예를 들면, 제 2 사용자는 제 1 사용자가 스크린 또는 스크린의 부분에 대한 통제권을 가지고 있지 않을 때, 아바타 등을 선택할 수 있다.
도 12는 지원자를 요청하고 지원에 기초하여 가상 포트들을 배정하는 제스처 기반 시스템의 블록도(660)를 도시한다. 662에서, 둘 이상의 사용자가 제스처 기반 환경에 결속될 수 있고 주된 포트를 포함하는 둘 이상의 포트들과 연관될 수 있다.
664에서, 제스처 기반 시스템은 사용자에게 하나 이상의 지원자들에 대한 요청을 제공할 수 있다. 한 실시예에서, 이 프로세스는 하나 이상의 가상 포트들을 한 명 이상의 사용자들에게 재배정하는데 사용될 수 있다. 다른 실시예에서, 지원은 한 명 이상의 사용자들에게 특정 업무들이 배정되는 게임 애플리케이션과 같은 소프트웨어 또는 하드웨어 애플리케이션에서 사용될 수 있다. 제스처 기반 시스템은 사용자로 하여금 지원자 제스처를 취하고, 캡처 영역 내 특정 지점으로 이동할 것을 요청할 수 있고, 또는 사용자가 지원자로 행동하기 위해서 취하는 일반적 제스처가 있을 수 있다. 다른 실시예에서, 제스처 기반 환경은 가상 스포트라이트를 방으로 투영할 수 있고, 지원자는 지원하기 위해서 스크린상의 표현을 가질 수 있는 가상 스포트라이트 안으로 들어설 수 있다.
666에서, 시스템은 한 명 이상의 사용자들로부터 하나 이상의 지원 제스처들을 감지할 수 있다. 제스처 기반 시스템은 지원 제스처들을 기초로 668에서 가상 포트들과 재-연관할 수 있다. 한 실시예에서, 사용자가 지원할 때, 주된 포트는 지원 작업 기간 동안에 그들과 연관될 수 있다. 다른 실시예에서, 주된 포트는 세션 종료시 또는 가상 포트들과의 재-연관를 생성하는 다른 이벤트가 발생할 때까지 지원하는 사용자와 연관될 수 있다. 가상 포트들은 재-연관될 수 있긴 하지만, 시스템의 다른 측면들은 동일하게 유지될 수 있다. 예를 들면, 아바타들, 위치들, 피드백 등은 가상 포트의 재-연관에 있어서 변경되지 않을 수 있다. 다른 실시예에서, 아바타들, 위치들, 피드백 등 중 적어도 하나는 가상 포트들이 사용자들 사이에 연관를 변경할 때, 변경된다.
도 13은 두 명 이상의 사용자들 사이에서 가상 포트들을 핸드오프 또는 변경하는 예시적 방법의 블록도(680)를 도시한다. 682에서, 한 명 이상의 사용자들은 컴퓨팅 환경 내 하나 이상의 가상 포트들과 연관될 수 있다. 사용자들 중 하나는 684에서 제스처 기반 시스템에 의해 감지되는 핸드오프 제스처를 취할 수 있다. 제스처 기반 시스템은 686에서 핸드오프 제스처를 기초로 하나 이상의 가상 포트들과 재-연관할 수 있다.
예시로서, 제 1 가상 포트와 연관된 제 1 사용자는 현재 어떤 가상 포트와도 연관되지 않는 제 2 사용자에게 핸드오프 제스처를 취할 수 있다. 이것은 제 1 가상 포트로 하여금 제 1 사용자로부터 제 2 사용자로 변경을 유발한다. 이것은 또한, 제 1 사용자로 하여금 다른 사용 가능한 가상 포트로 재지정되도록 한다.
다른 예시로, 제 1 가상 포트와 연관된 제 1 사용자는 현재 제 2 가상 포트와 연관되어 있는 제 2 사용자에게 핸드오프 제스처를 취할 수 있다. 이것은 제 1 가상 포트로 하여금 제 1 사용자에게서 제 2 사용자로의 변경을 유발한다. 이것은 또한 제 2 가상 포트로 하여금 제 2 사용자에게서 제 1 사용자로의 변경을 유발한다.
태그 팀 레슬링 게임과 같은 다른 예시에서, 두 명 이상의 사용자들은 가상 포트 또는 게임의 제어를 핸드오프 하기 위해서 하이파이브를 할 수 있다. 태그 팀 레슬링 예시에서, 각각의 사용자는 가상 포트와 연관되어 있을 수 있으나, 한번에 오직 한 사용자만이 주된 포트와 연관될 수 있고 따라서 주된 포트에게 독점된 특정 명령들을 수행할 수 있게 된다. 하이파이브는 주된 포트가 사용자들을 변경할 것이라는 것을 시사할 수 있고, 따라서 다른 사용자들로 하여금 주된 포트에 독점된 특정 명령들의 수행을 가능하게 할 것이라는 것을 시사할 수 있다. 다른 예시에서, 특정 핸드오프 제스처들은 사용자들의 세트로 하여금 특정 항목들 또는 객체들을 동시에 제어할 수 있게 한다. 예를 들면, 핸드오프 제스처 이전에는 오직 제 1 사용자만이 레슬링 링 안에서 아바타를 제어하는 명령들을 입력할 수 있다. 그러나 핸드오프 제스처 이후에는, 제 1 사용자와 제 2 사용자 모두가 아바타를 동시에 제어할 수 있다.
제스처 기반 시스템(12)은 도 2 및 3을 참조해서 메모리(112) 또는 메모리(32) 또는 컴퓨팅 환경(12) 내 임의의 다른 메모리를 가질 수 있다. 메모리는 한 명 이상의 사용자들과 관련되는 정보를 포함하는 하나 이상의 프로파일들을 저장하고 있을 수 있다. 한 실시예에서, 프로파일들은 자동으로 사용자와 가상 포트를 연관시키는 정보를 포함할 수 있다. 예를 들면, 사용자는 메모리 내 저장된 프로파일이 사용자가 캡처 영역에 있을 때마다 자동으로 사용자가 주된 포트와 연관하도록 설정할 수 있다. 다른 예시에서, 컴퓨팅 환경은 가상 포트들의 연관에 대한 일반적 또는 디폴트 순서를 제공하는 한 명 이상의 사용자들에 대한 정보를 저장할 수 있다. 다른 실시예에서, 주된 사용자 또는 제스처 기반 시스템의 소유자는 사용자가 캡처 영역에 있을 때마다 주된 포트와 연관될 수 있다. 다른 예시에서, 제스처 기반 시스템은 제스처 기반 시스템 제어에 있어서 한 명 이상의 사용자들이 가질 수 있는 무능(inability)에 대한 정보를 저장할 수 있고, 따라서 사용자는 그들을 일반적으로 제 2 또는 제 3 포트와 연관할 수 있다.
제스처 기반 시스템은 또한 가상 포트들과의 연관를 설정하기 위해서 다른 정보를 사용할 수 있다. 예를 들면, 만약에 한 명 이상의 아동들이 캡처 영역에 부모와 함께 들어오면, 제스처 기반 시스템은 사용자의 크기 및 다른 측면들에 기초해서 부모와 자녀가 있다는 것을 판단할 수 있다. 컴퓨팅 환경은 그 뒤에 부모가 주된 가상 포트와 연관되도록 가상 포트들과 연관 또는 재-연관될 수 있다. 다른 예시로, 만약에 한 명 이상의 사용자들이 제스처 기반 시스템에 제스처 기반 입력을 제공하는데 어려움을 겪고 있다면, 시스템은 주된 포트를 다른 사용자와 재-연관시켜서 연관된 포트의 변경에 대한 피드백을 제공할 수 있다.
여기서 서술된 설정들 및/또는 접근들은 예시적이고, 이들 특정 실시예들 또는 예시들은 한정적으로 해석되지 않는다. 여기서 서술된 특정 루틴들 또는 방법들은 많은 프로세싱 전략들 중에서 하나 이상의 전략을 나타낼 수 있다. 예시로 설명된 다양한 행동들은 서술된 순서대로, 다른 순서로, 또는 병행적으로 수행될 수 있다. 이와 유사하게, 앞에서 서술된 프로세스들의 순서는 변경될 수 있다.
추가적으로, 본 발명의 내용은 여기서 서술된 다양한 프로세스들, 시스템들 및 설정들, 그리고 다른 특징들, 기능들, 행동들, 및/또는 속성들의 결합 및 서브 결합들을 포함함은 물론이고 이들의 등가물들도 포함한다.

Claims (15)

  1. 제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법으로서,
    캡처 영역(300) 안의 제 1 사용자를 감지하는 단계(642); 그리고
    상기 제 1 사용자를 주된 가상 포트와 연관시키는(associating) 단계(646)를 포함하는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  2. 제 1 항에 있어서,
    상기 캡처 ds 영역 안의 제 2 사용자를 감지하는 단계(648); 그리고
    상기 제 2 사용자를 제 2 가상 포트로 연관시키는 단계(652)를 추가로 포함하는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  3. 제 1 항에 있어서,
    핸드오프(handoff) 제스처(682)에 대한 응답으로, 상기 주된 가상 포트가 제 1 상기 제 1 사용자로부터 제 2 사용자로 옮겨가는(686)
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  4. 제 1 항에 있어서,
    핸드오프(handoff) 제스처(682)에 대한 응답으로, 상기 제 1 사용자와 연관된 특징이 제 2 사용자로 옮겨가는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  5. 제 1 항에 있어서,
    엔트리 명령(644)에 대한 응답으로 상기 제 1 사용자가 상기 주된 가상 포트와 연관되는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 사용자가 상기 캡처 영역(300)에서 퇴장할 때, 종료 명령을 취할 때, 또는 게임에서 질 때에 대한 응답으로 제 1 사용자를 주된 가상 포트로부터 연관 해제시키는 단계를 추가로 포함하는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  7. 제 2 항에 있어서,
    상기 제 1 사용자를 상기 주된 가상 포트로부터 연관 해제시키는 단계; 그리고
    상기 제 2 사용자의 상기 가상 포트를 상기 제 2 가상 포트로부터 상기 주된 가상 포트로 업데이트시키는 단계를 추가로 포함하는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  8. 제 1 항에 있어서,
    지원 명령을 제기(664)하는 방식에 의해 상기 컴퓨팅 환경 안에 특정 업무에 대하여 한 명 이상의 사람들이 지원하는(666)
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  9. 제 1 항에 있어서,
    영역(300) 내의 한 명 이상의 사용자들(18)의 측면들을 판단하는 단계;
    사용자 프로파일 정보를 수신하는 단계; 그리고
    상기 사용자의 상기 측면들 및 상기 사용자 프로파일 정보에 기초해서 가상 포트 연관를 업데이트하는 단계를 추가로 포함하는
    제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 방법.
  10. 제스처 기반 컴퓨팅 환경의 하나 이상의 가상 포트들을 관리하는 시스템으로서,
    캡처 영역(300) 내의 사용자들(18)을 감지하는 캡처 장치(20);
    주된 가상 포트; 그리고
    명령들을 실행하는 프로세서(32)를 포함하고,
    상기 명령들이,
    상기 캡처 영역 내의 제 1 사용자를 감지하는 단계(642); 그리고
    상기 제 1 사용자를 주된 가상 포트에 연관시키는 단계(646)를 포함하는
    제스처 기반 컴퓨팅 환경의 하나 이상의 가상 포트들을 관리하는 시스템.
  11. 제 10 항에 있어서,
    제 2 가상 포트가 추가적으로 포함되는(652)
    제스처 기반 컴퓨팅 환경의 하나 이상의 가상 포트들을 관리하는 시스템.
  12. 제 10 항에 있어서,
    상기 캡처 장치가 한 명 이상의 사용자들로부터 하나 이상의 제스처들을 감지할 수 있고, 그리고 제스처는 엔트리 제스처, 핸드오프 제스처 그리고 종료 제스처 중 적어도 하나인
    제스처 기반 컴퓨팅 환경의 하나 이상의 가상 포트들을 관리하는 시스템.
  13. 제스처 기반 컴퓨팅 환경의 가상 포트들을 관리하는 컴퓨터 실행 가능 명령들이 저장된 컴퓨터 판독 가능한 매체로서,
    캡처 영역(300) 내 제 1 사용자를 감지하는 단계; 그리고
    상기 제 1 사용자를 주된 가상 포트(646)에 연관시키는 단계를 포함하는
    컴퓨터 판독 가능한 매체.
  14. 제 13 항에 있어서,
    상기 캡처 영역 내 제 2 사용자를 감지하는 단계(648); 그리고
    상기 제 2 사용자를 제 2 가상 포트에 연관시키는 단계(652)에 대한 명령들을 추가로 포함하는
    컴퓨터 판독 가능한 매체.
  15. 제 14 항에 있어서,
    핸드오프 제스처에 대한 응답으로 상기 주된 가상 포트가 상기 제 1 사용자로부터 상기 제 2 사용자로 옮겨지는 단계와 상기 제 2 가상 포트가 상기 제 2 사용자로부터 상기 제 1 사용자로 옮겨지는 단계에 대한 명령들을 추가로 포함하는
    컴퓨터 판독 가능한 매체.
KR1020117025953A 2009-05-01 2010-04-29 가상 포트들의 관리 KR101674234B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/434,584 US8181123B2 (en) 2009-05-01 2009-05-01 Managing virtual port associations to users in a gesture-based computing environment
US12/434,584 2009-05-01
PCT/US2010/032975 WO2010127121A2 (en) 2009-05-01 2010-04-29 Managing virtual ports

Publications (2)

Publication Number Publication Date
KR20120011023A true KR20120011023A (ko) 2012-02-06
KR101674234B1 KR101674234B1 (ko) 2016-11-08

Family

ID=43031364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117025953A KR101674234B1 (ko) 2009-05-01 2010-04-29 가상 포트들의 관리

Country Status (9)

Country Link
US (2) US8181123B2 (ko)
EP (1) EP2424632B1 (ko)
JP (1) JP5410596B2 (ko)
KR (1) KR101674234B1 (ko)
CN (1) CN102413887B (ko)
BR (1) BRPI1014358A2 (ko)
CA (1) CA2757057C (ko)
RU (1) RU2555220C2 (ko)
WO (1) WO2010127121A2 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL189514A (en) 2007-02-14 2011-12-29 Marvell Israel Misl Ltd Logical mediation system and method
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
DE102009024656A1 (de) * 2009-06-12 2011-03-24 Volkswagen Ag Verfahren zum Steuern einer grafischen Benutzerschnittstelle und Bedienvorrichtung für eine grafische Benutzerschnittstelle
US8625594B2 (en) 2009-11-02 2014-01-07 Marvell World Trade Ltd. Switching apparatus and method based on virtual interfaces
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
EP2528671A2 (en) * 2010-01-25 2012-12-05 Rambus Inc. Directional beam steering system and method to detect location and motion
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
US8964742B1 (en) 2010-07-28 2015-02-24 Marvell Israel (M.I.S.L) Ltd. Linked list profiling and updating
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9167289B2 (en) * 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US20130318445A1 (en) * 2011-02-28 2013-11-28 April Slayden Mitchell User interfaces based on positions
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
CN103620535B (zh) * 2011-06-13 2017-06-27 西铁城时计株式会社 信息输入装置
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
CN103092810B (zh) 2011-11-02 2017-03-01 飞思卡尔半导体公司 处理器、对处理器编程的方法以及电子设备
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
DE112012005414B4 (de) 2011-12-23 2022-04-28 Apple Inc. Verfahren und System zur Darstellung mindestens eines Bilds zumindest einer Anwendung auf einer Anzeigevorrichtung
EP2795430A4 (en) 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
AU2012397818B2 (en) 2012-12-31 2016-05-12 Halliburton Energy Services, Inc. Time-frequency domain multiplexing apparatus, methods, and systems
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US20140250413A1 (en) * 2013-03-03 2014-09-04 Microsoft Corporation Enhanced presentation environments
EP2924541B1 (en) * 2014-03-28 2019-05-29 Wipro Limited System and method for guided continuous body tracking for complex interaction
US9727778B2 (en) * 2014-03-28 2017-08-08 Wipro Limited System and method for guided continuous body tracking for complex interaction
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
US9977565B2 (en) 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
RU168332U1 (ru) * 2016-06-06 2017-01-30 Виталий Витальевич Аверьянов Устройство для воздействия на виртуальные объекты дополненной реальности
US10973678B2 (en) 2016-07-27 2021-04-13 Purewick Corporation Apparatus and methods for receiving discharged urine
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN108965129B (zh) * 2018-06-25 2021-01-26 烽火通信科技股份有限公司 一种vpls业务组播物理端口迭代的实现方法
WO2021095175A1 (ja) * 2019-11-13 2021-05-20 株式会社Ａｂａｌ 仮想空間体感システム
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1681658A2 (en) * 2005-01-12 2006-07-19 Microsoft Corporation Game console notification system
KR20090047454A (ko) * 2006-08-08 2009-05-12 마이크로소프트 코포레이션 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법
KR20100074180A (ko) * 2007-09-14 2010-07-01 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱

Family Cites Families (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
CN100524015C (zh) * 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP2001517782A (ja) 1997-09-24 2001-10-09 スリーディーヴィー システムズ リミテッド 音響画像形成システム
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6241612B1 (en) * 1998-11-09 2001-06-05 Cirrus Logic, Inc. Voice communication during a multi-player game
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
AU5646299A (en) * 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6823363B1 (en) * 1999-10-26 2004-11-23 Beth S. Noveck User-moderated electronic conversation process
US20030021032A1 (en) 2001-06-22 2003-01-30 Cyrus Bamji Method and system to display a virtual input device
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6767287B1 (en) * 2000-03-16 2004-07-27 Sony Computer Entertainment America Inc. Computer system and method for implementing a virtual reality environment for a multi-player game
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US20020075334A1 (en) * 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
WO2003054683A2 (en) 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8125459B2 (en) * 2007-10-01 2012-02-28 Igt Multi-user input systems and processing techniques for serving multiple users
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050183035A1 (en) * 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
KR100594005B1 (ko) * 2004-04-14 2006-06-30 삼성전자주식회사 이동통신 단말기용 육성 시뮬레이션 방법 및 장치
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060205517A1 (en) * 2005-03-08 2006-09-14 Malabuyo Paolo V Systems and methods for providing a system level user interface in a multimedia console
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
WO2006099597A2 (en) * 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US20060258427A1 (en) * 2005-05-13 2006-11-16 Igt Wide area table gaming monitor and control system
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US8241118B2 (en) * 2006-01-27 2012-08-14 Great Play Holdings Llc System for promoting physical activity employing virtual interactive arena
US7433024B2 (en) * 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
EP2016562A4 (en) * 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
CA2700843C (en) 2006-10-26 2016-11-01 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
US8157652B2 (en) * 2006-11-10 2012-04-17 Igt Interactive gaming table
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20090005141A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Personalized Multiplayer Media Game or Quiz
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
JP5844044B2 (ja) * 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
CN101299227B (zh) * 2008-06-27 2010-06-09 北京中星微电子有限公司 基于三维重构的多人游戏系统及方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1681658A2 (en) * 2005-01-12 2006-07-19 Microsoft Corporation Game console notification system
KR20090047454A (ko) * 2006-08-08 2009-05-12 마이크로소프트 코포레이션 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법
KR20100074180A (ko) * 2007-09-14 2010-07-01 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱

Also Published As

Publication number Publication date
CA2757057C (en) 2017-09-26
BRPI1014358A2 (pt) 2016-04-05
JP2012525230A (ja) 2012-10-22
CN102413887A (zh) 2012-04-11
EP2424632B1 (en) 2018-11-14
RU2555220C2 (ru) 2015-07-10
EP2424632A4 (en) 2013-11-06
CA2757057A1 (en) 2010-11-04
KR101674234B1 (ko) 2016-11-08
US8762894B2 (en) 2014-06-24
CN102413887B (zh) 2014-05-07
RU2011144125A (ru) 2013-05-10
EP2424632A2 (en) 2012-03-07
WO2010127121A3 (en) 2011-02-24
JP5410596B2 (ja) 2014-02-05
US20100281437A1 (en) 2010-11-04
US8181123B2 (en) 2012-05-15
US20120144348A1 (en) 2012-06-07
WO2010127121A2 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
KR101674234B1 (ko) 가상 포트들의 관리
US9015638B2 (en) Binding users to a gesture based system and providing feedback to the users
US20170095738A1 (en) User movement feedback via on-screen avatars
US10210382B2 (en) Human body pose estimation
US8176442B2 (en) Living cursor control mechanics
US9529566B2 (en) Interactive content creation
US9069381B2 (en) Interacting with a computer based application
US8773355B2 (en) Adaptive cursor sizing
US20110055846A1 (en) Techniques for using human gestures to control gesture unaware programs
US20110313768A1 (en) Compound gesture-speech commands
US20150194187A1 (en) Telestrator system
US8605205B2 (en) Display as lighting for photos or video
US9215478B2 (en) Protocol and format for communicating an image from a camera to a computing environment

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant