KR20140023951A - 수동 및 카메라 기반 게임 제어 - Google Patents

수동 및 카메라 기반 게임 제어 Download PDF

Info

Publication number
KR20140023951A
KR20140023951A KR1020137028313A KR20137028313A KR20140023951A KR 20140023951 A KR20140023951 A KR 20140023951A KR 1020137028313 A KR1020137028313 A KR 1020137028313A KR 20137028313 A KR20137028313 A KR 20137028313A KR 20140023951 A KR20140023951 A KR 20140023951A
Authority
KR
South Korea
Prior art keywords
player
computer game
control
gesture
display
Prior art date
Application number
KR1020137028313A
Other languages
English (en)
Inventor
토마스 윌리엄 랜스데일
찰스 로버트 그리피스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140023951A publication Critical patent/KR20140023951A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

수동 및 카메라 기반 게임 제어가 설명된다. 일 실시예에서, 게임 시스템은 게임의 플레이어를 묘사하는 이미지 스트림을 수신하고 또한 플레이어에 의해 사용되는 손으로 동작되는 제어기로부터 수동 입력을 수신한다. 일 예에서, 수동 입력은 아바타를 제어하는데 사용될 수 있고 이미지 스트림은 플레이어의 제스처를 인식하고 인식된 제스처를 사용하여 게임 내의 배경 개체를 제어하는데 사용된다. 예를 들어, 머리 회전과 같은 제스처를 사용함으로써, 플레이어의 손은 자유롭게 되어 핸드 헬드 제어기를 계속 조작할 수 있고 플레이어는 증가된 제어 및 실감나는 게임 플레이 경험을 갖는다. 다양한 실시예에서, 이미지 스트림으로부터 머리 제스처를 실시간으로 검출하는 방법, 예를 들어 플레이어 머리의 속도 및 이미지 스트림의 사분면을 통한 움직임을 검출하는 방법이 개시된다.

Description

수동 및 카메라 기반 게임 제어{MANUAL AND CAMERA-BASED GAME CONTROL}
기존의 비디오 및 컴퓨터 게임 제어 시스템은 플레이어가 게임 디스플레이에 묘사된 아바타 또는 다른 개체를 제어할 수 있도록 버튼 및 조이스틱을 통합한 핸드 헬드 제어기를 사용한다. 이들 유형의 핸드 헬드 제어기의 디자인은, 강력하고 사용하기 쉬우며 직관적인 방식으로 게임 플레이를 미세하게 제어할 수 있도록 하는 것을 추구한다.
보다 최근에는, 몇몇 컴퓨터 게임 제어 시스템은 플레이어가 게임 인터페이스를 제어할 수 있도록 하는데 음성 인식 기술 및 제스처 인식을 사용한다. 이러한 경우, 게이머는 핸드 헬드 제어기를 구비하고 있지 않으며 또한 핸드 헬드 제어기와 같은 물리적인 사용자 입력 장치에 구애받지 않으면서 게임과 쉽게 상호작용할 수 있다.
이하에서 기술되는 실시예들은 공지된 게임 제어 시스템의 임의의 또는 모든 단점을 해결하는 실시예에 국한되지는 않는다.
이하에서는 독자에게 기본적인 이해를 제공하기 위해 본 발명의 간단한 요약이 제공된다. 이 요약은 본 발명의 광범위한 개요는 아니며 본 발명의 핵심/중요한 요소를 식별하거나 본 발명의 범주를 기술하려는 것은 아니다. 본 요약의 단 한 가지 목적은 본 명세서에서 기술되는 선택된 개념을 이후에 설명되는 보다 상세한 설명에 대한 서막으로서 간단히 제시하려는 것이다.
수동 및 카메라 기반 게임 제어가 설명된다. 일 실시예에서, 게임 시스템은 게임의 플레이어를 묘사하는 이미지 스트림을 수신하고 또한 플레이어에 의해 사용되는 손으로 조작되는 제어기로부터 수동 입력을 수신한다. 일 예에서, 수동 입력은 아바타를 제어하는데 사용될 수 있고 이미지 스트림은 플레이어의 제스처를 인식하고 인식된 제스처를 사용하여 게임 내의 배경 개체를 제어하는데 사용된다. 예를 들어, 머리 회전과 같은 제스처를 사용함으로써, 플레이어의 손은 자유롭게 되어 핸드 헬드 제어기를 계속 조작할 수 있고 플레이어는 증가된 제어 및 실감나는 게임 플레이 경험을 갖는다. 다양한 실시예에서, 이미지 스트림으로부터 머리 제스처를 실시간으로 검출하는 방법, 예를 들어 플레이어 머리의 속도 및 이미지 스트림의 사분면을 통한 움직임을 검출하는 방법이 개시된다.
첨부한 도면과 연계하여 후속하는 상세한 설명을 참조하면 다수의 부속 특징들이 쉽게 이해될 것이다.
본 발명은 첨부한 도면에 비추어 후속하는 상세한 설명으로부터 보다 잘 이해될 것이다.
도 1은 깊이 카메라를 구비한 게임 장치 앞에 앉아서 게임 제어기를 붙잡고 있는 플레이어의 개략도.
도 2는 이미지 캡처 장치, 핸드 헬드 제어기, 컴퓨팅 장치 및 디스플레이를 포함한 게임 시스템의 개략도.
도 3은 핸드 헬드 제어기의 평면도.
도 4는 도 3의 핸드 헬드 제어기의 투시도.
도 5는 게임 플레이 동안의 디스플레이의 개략도.
도 6은 게임 시스템의 동작의 방법에 대한 흐름도.
도 7은 게임 시스템의 동작의 또 다른 방법에 대한 흐름도.
도 8은 머리 추적 프로세스에 관한 개략도.
도 9는 게임 시스템의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 기반 장치를 나타내는 도면.
첨부한 도면에서 유사한 부분들을 나타내기 위해 유사한 참조 번호들이 사용된다.
이하에서 첨부한 도면과 연계하여 제공되는 상세한 설명은 본 예시들의 설명으로서 제공되고 본 예시들이 구성 또는 이용될 수 있는 유일한 형태를 나타내지는 않는다. 상세한 설명은 예시의 기능들을 및 예시를 구성하고 동작시키는 단계들의 시퀀스를 설명한다. 그러나, 동일한 또는 등가의 기능 및 시퀀스는 다른 예들에 의해 달성될 수도 있다.
비록 본 예시들은 본 명세서에서 2차원 측면 스크롤링 플랫폼 게임을 위한 게임 시스템에서 구현되는 것으로 설며 및 예시되어 있지만, 설명되는 시스템은 예시로서 제공되는 것일 뿐 제한으로서 제공되는 것은 아니다. 당업자라면 알 수 있는 바와 같이, 본 예시들은 다양한 상이한 유형의 게임 시스템에서 적용될 수 있다.
먼저 도 1을 참조하면, 컴퓨터 게임을 제어하는 예시적인 제어 시스템(100)이 도시되어 있다. 이 예에서, 제어 시스템은 핸드 헬드 제어기 및 카메라 기반 제어 시스템 모두를 포함한다. 이들 두 타입의 제어를 포함함으로써, 게임 플레이어는 이들 두 타입의 제어 시스템이 가지고 있는 이점들을 경험할 수 있다. 본 명세서에서 기술되는 바와 같이 이들 두 타입의 제어가 포함되어 강력하고 사용하기 쉬운 방식으로 게임 시스템의 미세한 제어가 가능하게 되어 플레이어 경험을 강화한다. 도 1은 이 예에서 2차원 측면 스크롤링 플랫폼 게임을 하고 있는 사용자(102)를 나타낸다. 이러한 유형의 게임은 2차원 도면으로 명확히 묘사될 수 있지만, 본 명세서에서 기술된 방법은 또한 3차원 게임, 증강 현실 애플리케이션 및 그 밖의 다른 유형의 게임에 적용될 수 있다. 몇몇 예에서, 카메라 기반 제어 시스템(100)은 특히 신체 자세를 판정하고, 결합하고, 인식하고, 분석하고, 추적하고, 사람 타겟에 연관시키고, 피드백을 제공하고, 및/또는 사용자(본 명세서에서 플레이어라고도 함)와 같은 사람 타겟의 측면(aspects)에 적응시키는데 사용될 수 있다. 이 예에서, 명확성을 위해 하나의 플레이어가 도시되어 있다. 그러나, 둘 이상의 플레이어가 또한 제어 시스템을 동시에 사용할 수 있다.
카메라 기반 제어 시스템(100)은 컴퓨팅 장치(104)를 포함한다. 컴퓨팅 장치(104)는 범용 컴퓨터, 게이밍 시스템 또는 콘솔, 또는 전용 이미지 처리 장치일 수 있다. 컴퓨팅 장치(104)는 이 컴퓨팅 장치(104)가 게이밍 애플리케이션 및/또는 비-게이밍 애플리케이션과 같은 애플리케이션을 실행하는데 사용될 수 있도록 하드웨어 구성요소 및/또는 소프트웨어 구성요소를 포함할 수 있다. 컴퓨팅 장치(104)의 구조는 이하에서 도 9를 참조하여 설명된다.
카메라 기반 제어 시스템(100)은 캡처 장치(106)를 더 포함한다. 캡처 장치(106)는 예를 들어 하나 이상의 사용자(예를 들어 사용자(102))를 시각적으로 모니터링하여 하나 이상의 사용자에 의해 수행되는 제스처가 캡처되고, 분석되고, 처리되며 수정되어 게임 또는 애플리케이션 내에서 하나 이상의 제어 또는 동작을 수행할 수 있도록 하는 이미지 센서 또는 검출기일 수 있으며, 이에 대해 이하에서 보다 자세히 설명된다.
카메라 기반 제어 시스템(100)은 컴퓨팅 장치(104)에 연결된 디스플레이 장치(108)를 더 포함할 수 있다. 컴퓨팅 장치는 게임 또는 애플리케이션 비주얼(및 선택에 따라 오디오)을 사용자(102)에게 제공할 수 있는 텔레비전, 모니터, 고해상도 텔레비전(HDTV) 등일 수 있다.
동작시, 사용자(102)는 사용자(102)의 위치, 이동 및 크기가 컴퓨팅 장치(104)(및/또는 캡처 장치(106))에 의해 컴퓨팅 장치(104)에 의해 실행되는 애플리케이션에 영향을 주는데 사용될 수 있는 제어로서 해석될 수 있도록 캡처 장치(106)를 사용하여 추적될 수 있다. 그에 따라, 실행되는 게임 또는 애플리케이션을 제어하기 위해 사용자(102)는 자신의 몸(또는 자기 신체의 일부)을 이동시킬 수 있다.
도 1의 예시적인 예에서, 컴퓨팅 장치(102)에서 실행되는 애플리케이션은 사용자(102)가 플레이하고 있는 2차원 측면 스크롤링 플랫폼 게임이다. 이 예에서, 컴퓨팅 장치(104)는 풍경, 나무 및 태양을 포함하는 지형을 나타내는 시각적 표현을 사용자(102)에게 제공하도록 디스플레이 장치(108)를 제어한다. 컴퓨팅 장치(104)는 또한 사용자(102)가 자신의 움직임을 통해 및/또는 핸드 헬드 제어기(110)를 사용하여 제어할 수 있는 사용자 아바타의 시각적 표현을 제공하도록 디스플레이 장치(108)를 제어한다. 예를 들어, 컴퓨팅 장치(104)는 사용자의 상이한 신체 부분을 인식하고 추적하고, 이들을 아바타에 맵핑하도록 구성된 신체 자세 추정기를 포함할 수 있다. 이러한 식으로, 아바타는 사용자(102)의 움직임을 복사하고 그에 따라 예를 들어 사용자(102)가 물리적인 공간에서 걸어가는 경우, 이것은 사용자 아바타가 게임 공간에서 걸어가도록 하게 한다.
그러나, 게임 공간에서 사용자 이동만을 복사하는 것은 사용자와 게임 간의 상호작용의 유형 및 복잡성을 제한한다. 예를 들어, 다수의 게임내 제어(in-game control)는 전통적인 게임 시스템에서의 버튼 누름을 통해 트리거될 수 있는 순간적인 동작 또는 명령이다. 이들에 대한 예는 펀치, 총쏘기, 무기 변경, 던지기, 차기, 점프 및/또는 쭈그리기와 같은 동작을 포함한다. 이러한 동작 또는 명령은 사용자의 움직임만을 단순히 복사하기 보다는, 사용자가 이들 동작 중 하나를 수행하고 대응하는 게임내 동작을 트리거링하고 있음을 인식함으로써 제어될 수 있다. 또한, 핸드 헬드 제어기에서의 사용자 입력과 카메라 기반 제어 시스템을 통한 사용자 입력의 결합이 사용되어 게임 장치를 제어할 수 있다.
이제 도 2를 참조하면, 도 1의 카메라 기반 제어 시스템(100)에서 사용될 수 있는 캡처 장치(106)의 개략도가 도시되어 있다. 도 2의 예에서, 캡처 장치(106)는 깊이 정보를 갖는 비디오 이미지를 캡처하도록 구성된다. 이러한 캡처 장치는 깊이 카메라로서 지칭될 수 있다. 깊이 정보는 깊이 값, 즉 깊이 카메라와 깊이 이미지의 각 이미지 요소에 위치한 아이템 또는 개체 간의 거리와 관련된, 깊이 이미지의 각 이미지 요소와 연관된 값을 포함하는 깊이 이미지의 형태를 가질 수 있다. "이미지 요소"라는 용어는 픽셀, 픽셀들의 그룹, 복셀, 복셀들의 그룹 또는 이미지의 다른 보다 높은 레벨의 구성요소를 지칭하는데 사용된다.
깊이 정보는 예를 들어 TOF(time-of-flight), 구조화된 광, 스테레오 이미지 등을 포함하는 임의의 적절한 기법을 사용하여 얻어질 수 있다. 몇몇 예에서, 캡처 장치(106)는 깊이 이미지를 "Z 층" 또는 깊이 카메라로부터 그의 시야를 따라 확장하는 Z-축에 수직할 수 있는 층들로 조직할 수 있다.
도 2에 도시되어 있는 바와 같이, 캡처 장치(106)는 적어도 하나의 이미징 센서(200)를 포함한다. 도 2에 도시되어 있는 예에서, 이미징 센서(200)는 장면의 깊이 이미지를 캡처하도록 구성된 깊이 카메라(202)를 포함한다. 캡처된 깊이 이미지는 캡처된 장면의 2차원(2-D) 영역을 포함할 수 있는데, 2-D 영역 내의 각 이미지 요소는 깊이 카메라(202)로부터 캡처된 장면 내의 개체의 거리 또는 길이와 같은 깊이 값을 나타낸다.
캡처 장치는 깊이 정보가 깊이 카메라(202)에 의해 확인될 수 있는 방식으로 장면을 조명하도록 구성된 방사체(emitter)(204)도 포함할 수 있다. 예를 들어, 깊이 카메라(202)가 적외선(IR) TOF 카메라인 경우, 방사체(204)는 IR 광을 장면 상에 비추고, 깊이 카메라(202)는 장면 내의 하나 이상의 타겟 및 개체들의 표면으로부터 후방 산란된 광을 검출하도록 구성된다. 몇몇 예에서, 펄스형 적외선 광이 방사체(204)로부터 방출되어 출력 광 펄스와 대응하는 입력 광 펄스 간의 시간이 깊이 카메라에 의해 검출되고 측정되며 사용되어 캡처 장치(106)로부터 장면 내의 타겟 또는 개체 상의 위치까지의 물리적 거리를 측정할 수 있다. 또한, 몇몇 예에서, 방사체(204)로부터의 출력 광파의 위상은 깊이 카메라(202)에서의 입력 광파의 위상과 비교되어 위상 시프트를 판정할 수 있다. 이 위상 시프트는 캡처 장치(106)로부터 타겟 또는 개체 상의 위치까지의 물리적 거리를 판정하는데 사용될 수 있다. 또 다른 예에서, TOF 분석이 사용되어 예를 들어 셔터링된 광 펄스 이미징(shuttered light pulse imaging)을 포함한 다양한 기법을 통해 시간에 따라 광의 반사되는 빔의 강도를 분석함으로써 캡처 장치(106)로부터 타겟 또는 개체 상의 위치까지의 물리적 거리를 간접적으로 판정할 수 있다.
또 다른 예에서, 캡처 장치(106)는 구조화된 광을 이용하여 깊이 정보를 캡처할 수 있다. 이러한 기법에서, 패터닝된 광(예를 들어, 시간에 따라 변할 수 있는 점, 격자 또는 줄무늬 패턴과 같은 공지된 패턴으로 디스플레이되는 광)이 방사체(204)를 사용하여 장면 상에 투사될 수 있다. 장면 내의 하나 이상의 타겟 또는 개체의 표면 상에 비추게 되면, 패턴은 변형될 수 있다. 이러한 패턴의 변형은 깊이 카메라(202)에 의해 캡처될 수 있고 분석되어 캡처 장치(106)로부터 장면 내의 타겟 또는 개체 상의 위치까지의 물리적 거리를 판정할 수 있다.
또 다른 예에서, 깊이 카메라(202)는 깊이 정보를 분석될 수 있는 비주얼 스테레오 데이터가 얻어지도록, 상이한 각도로 장면을 보는 물리적으로 분리되어 있는 둘 이상의 카메라의 형태를 가질 수 있다. 이 경우, 방사체(204)는 장면을 조명하는데 사용될 수 있고, 또는 생략될 수 있다.
몇몇 예에서, 깊이 카메라(202)에 더해, 또는 이에 대한 변화로서, 캡처 장치(106)는 RGB 카메라(206)로 지칭되는 비디오 카메라를 포함할 수 있다. RGB 카메라(206)는 가시광선 주파수에서 장면의 이미지들의 시퀀스를 캡처하도록 구성되고, 따라서 깊이 이미지를 증강시키는데 사용될 수 있다. 몇몇 예에서, RGB 카메라(206)는 깊이 카메라(202) 대신에 사용될 수 있다. 캡처 장치(106)는 또한 선택에 따라 사용자로부터 음성 입력과 같은 소리 정보를 캡처하도록 구성되고 음성 인식용으로 사용될 수 있는 (지향성 및/또는 조종가능할 수 있는) 마이크로폰(207) 또는 마이크로폰 어레이를 포함한다.
도 2에 도시되어 있는 캡처 장치(106)는 이미징 센서(200)(즉, 도 2의 예에 도시된 깊이 카메라(202) 및 RGB 카메라(206)), 방사체(204) 및 마이크로폰(207)과 통신하는 적어도 하나의 프로세서(208)를 더 포함한다. 프로세서(208)는 범용 마이크로프로세서 또는 특화된 신호/이미지 프로세서일 수 있다. 프로세서(208)는 이미징 센서(200), 방사체(204) 및 마이크로폰(207)을 제어하여 깊이 이미지, RGB 이미지 및/또는 음성 신호를 캡처하도록 하는 명령어를 실행하도록 구성된다. 프로세서(208)는 선택에 따라 이들 이미지 및 신호들에 대한 처리를 수행하도록 구성될 수 있으며, 이에 대해서는 이하에서 보다 자세히 설명한다.
도 2에 도시된 캡처 장치(106)는 프로세서(208)에 의해 실행되는 명령어들, 깊이 카메라(202) 또는 RGB 카메라(206)에 의해 캡처되는 이미지들 또는 이미지들의 프레임들, 또는 임의의 다른 적절한 정보, 이미지 등을 저장하도록 구성된 메모리(210)를 더 포함한다. 몇몇 예에서, 메모리(210)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 캐시, 플래시 메모리, 하드 디스크 또는 임의의 다른 적절한 저장 구성요소를 포함할 수 있다. 메모리(210)는 프로세서(208)와 통신하는 별개의 구성요소이거나 또는 프로세서(208) 내에 통합될 수 있다.
캡처 장치(106)는 또한 프로세서(208)와 통신하고 통신 링크를 통해 컴퓨팅 장치(104)에 데이터를 제공하도록 구성된 출력 인터페이스(212)도 포함한다. 통신 링크는 예를 들어 유선 연결(예를 들어, USB, 파이어와이어, 이더넷 등) 및/또는 무선 연결(예를 들어, WiFi, 블루투스 등)일 수 있다. 다른 예에서, 출력 인터페이스(212)는 하나 이상의 통신 네트워크(예를 들어, 인터넷)와 인터페이싱할 수 있고 이들 네트워크를 통해 컴퓨팅 장치(104)에 데이터를 제공할 수 있다.
캡처 장치의 일부로서 제어기(110)가 또한 제공된다. 이 제어기는 도 1에 개략적으로 도시되어 있는 핸드 헬드 제어기일 수 있거나, 또는 핸드 헬드 방식이 아닌 또 다른 보다 큰 장치에 통합될 수 있다. 제어기는 플레이어가 게임 시스템에 입력을 수행할 수 있도록 하는 버튼, 조이스틱, 터치 패드, 스위치와 같은 복수의 사용자 입력 장치를 포함한다. 사용자 입력 데이터는 유선 연결 및/또는 무선 연결을 통해 제어기로부터 컴퓨팅 장치(104)로 전송된다.
컴퓨팅 장치(104)는 선택적인 신체 자세 추정기(214) 및 제스처 인식 엔진(216)과 같이 카메라 기반 제스처 인식에 관련된 다수의 기능을 실행한다. 신체 자세 추정기(214)는 사용자의 상이한 신체 일부들을 검출 및 추적하기 위해 컴퓨터 비전 기법을 사용하도록 구성된다. 신체 자세 추정기의 일 예는 2009년 5월 20일에 출원된 "사람 신체 자세 추정"이라는 제목의 미국 특허 출원 US-2010-0278384-A1 호에 개시되어 있다. 신체 자세 추정기(214)는 사용자의 신체 자세에 관련된 데이터의 시계열 형식으로 데이터를 제스처 인식 엔진에 제공할 수 있다. 이것은 사용자의 완전히 추적된 골격 모델의 형태, 또는 사용자의 보여지는 신체 일부의 보다 개략적인 식별의 형태를 가질 수 있다. 예를 들어, 이들 시계열 시퀀스는 사용자의 적어도 2개의 신체 일부 간의 시변 각도, 사용자의 적어도 2개의 신체 일부 간의 각도의 변화의 비율, 사용자의 적어도 하나의 신체 일부에 대한 움직임 속도, 또는 이들의 조합에 대한 데이터를 포함할 수 있다. 상이한 유형의 데이터(소정의 신체 부분들 간의 각도, 속도 등)는 "피처(features)"로 알려져 있다. 다른 예에서, 신체 자세 추정기(214)는 시간에 걸쳐 사용자의 변화하는 자세로부터 다른 데이터 시퀀스(즉, 다른 피처)를 도출할 수 있다. 또 다른 예에서, 제스처 인식 엔진(216)은 신체 자세 추정기 이외의 다른 소스로부터 도출된 입력(즉, 피처)을 이용할 수 있다. 애플리케이션 소프트웨어(218)는 또한 컴퓨팅 장치(104) 상에서 실행될 수 있고 제스처를 사용하여 제어될 수 있다. 애플리케이션 소프트웨어는 디스플레이(220)에서 게임의 디스플레이를 제어하도록 구성된다.
도 3은 예시적인 핸드 헬드 제어기(110)의 평면도이다. 그것은 일반적으로 날개 다른 형상을 가지며 각 날개 또는 어깨(316)는 한 손에 움켜쥘 수 있는 크기 및 형상을 갖는다. 제어기는 이제 이하에서 보다 자세히 설명되는 복수의 버튼, 스위치 및 조이스틱을 지탱하는 하우징을 포함한다. 그러나, 이것은 단지 예일 뿐이고 다른 유형의 제어기(110)기 사용될 수 있다.
녹색의 A 버튼, 적색의 B 버튼, 청색의 X 버튼 및 황색의 Y 버튼을 포함하는 4개의 디지털 동작 버튼(302)이 제어기의 우측면에 제공된다. 두 개의 아날로그 조이스틱(310,312)이 제공된다. 이들 조이스틱은 각 조이스틱 아래에 있는 디지털 버튼을 활성화시키기 위해 눌러지거나 클릭될 수 있다. 디지털 시작 버튼(306), 후퇴 버튼(308) 및 안내 버튼(304)은 하우징 상에서 가운데에 위치한다. 예를 들어, 가이드 버튼은 제어기를 켜고 메뉴를 액세스하는데 사용된다.
도 4는 제어기의 투시도이고 좌측 범퍼(406) 및 우측 범퍼(404)를 나타내고 각 범퍼는 사용자에 의해 눌러질 수 있는 버튼이다. 모두가 아날로그인 좌측 트리거(400) 및 우측 트리거(402)는 제어기의 아랫면에 주어져 있다(도 4에서는 보여짐). 컴퓨팅 장치(104)로의 유선 접속을 가능하게 하는 접속부(408)가 제공될 수 있다.
도 5는 예를 들어 디스플레이 스크린(108)에서 게임플레이 동안의 디스플레이의 개략도이다. 이 예에서, 게임은 2차원 측면 스크롤링 플랫폼 게임이다. 플레이어가 이 예에서 태양(504)의 존재로 인해 대낮의 풍경을 포함하는 환경을 나아가기 위해 수동 제어기(110)를 이용하여 아바타(500)를 제어한다. 이 예에서, 아바타(500)의 경로를 가로막는 복수의 적(502)이 도시되어 있다. 이들 적들의 일부 주위에 무기들이 위험의 구름으로서 표현된다. 플레이어는 예를 들어 이들 적을 점프하는 것과 같이 적들을 피함으로써 게임을 진행할 수 있다. 이 예에서, 아바타의 경로에 많은 수의 적들이 있는 관계로 플레이어가 성공하기는 어렵다.
수동 제어기를 사용하여 아바타(500)를 제어하는 것에 덧붙여, 플레이어는 카메라 기반 제어 시스템을 사용하여 게임 시스템을 제어할 수 있다. 도 5의 예에서, 플레이어는 게임 시스템을 제어하기 위해 특정 제스처를 취할 수 있다. 예를 들어, 플레이어는 태양(504)을 지게 하고 적들(502)이 자게 하도록 하기 위해 자신의 머리를 회전시킬 수 있다. 적들이 잠들게 되면, 플레이어는 적들로부터의 공격없이 아바타(500)를 진행시킬 수 있다.
도 6은 게임 시스템의 동작의 방법을 흐름도이다. 게임은 예를 들어 디스플레이 스크린(108)에 디스플레이된다(600). 게임의 적어도 하나의 플레이어를 묘사하는 이미지 스트림이 수신된다(602). 예를 들어, 이미지 스트림은 이미지 캡처 시스템(106)으로부터 획득되고 깊이 이미지 및 컬러 이미지를 포함할 수 있다. 예를 들어 신체 자세 추정기(214) 및 제스처 인식 엔진(216)을 사용하여 이미지 스트림에 대해 제스처 인식이 수행된다(606). 제스처 인식 프로세스의 출력은 게임의 코스에 영향을 주는데 사용된다(608). 또한, 제어기(604)로부터의 수동 입력이 게임의 코스에 영향을 주는데 사용된다. 게임은 디스플레이되고(610) 디스플레이는 플레이어의 수동 입력, 이미지 스트림, 및 시간, 랜덤 요소 및 다른 인자와 같은 다른 선택된 인자와 연계하여 게임의 룰에 따라 계속된다. 수동 플레이어 입력과 제스처 입력 모두를 통해 게임 시스템의 하이브리드 제어를 가능하게 함으로써, 플레이어는 게임 시스템의 증가된 제어를 갖고 게임 경험에 몰두하게 된다.
몇몇 예에서, 게임 시스템의 카메라 기반 제어는 아바타의 환경에서 배경 개체만을 제어하는데 사용된다. 배경 개체는 연관된 물리적 모델이 없는 게임 내의 임의의 개체이다. 예를 들어, 도 5의 아바타(500) 및 적(502)은 배경 개체가 아니고 태양(504)이 배경 개체이다. 몇몇 예에서, 게임 시스템의 카메라 기반 제어는 게임의 특정 상태에서만 또한 지정된 제스터를 사용해서만 이용가능하다. 예를 들어, 지정된 제스처는 수동 제어기를 붙잡고 있을 때와 동시에 플레이어에 의해 수행될 수 있는 제스처일 수 있다. 이러한 제스처의 일부 예들은 완전한 머리 회전, 부분적인 머리 회전, 다리 이동, 발 이동, 무리 이동이다.
도 7은 수동 제어 및 제스처 기반 제어 모두를 사용하는 게임 시스템의 동작에 대한 방법의 흐름도이다. 적어도 하나의 배경 개체를 갖는 환경 내에 아바타가 디스플레이된다. 예를 들어, 배경 개체는 태양, 나무, 건물, 시계일 수 있다. 수동 입력이 게임의 플레이어로부터 수신된다(702). 수동 입력은 아바타를 제어하는데 사용된다(704). 태양과 같은 지정된 배경 개체는 특정 게임 상태에 도달하는 경우 하이라이팅된다(706). 게임 상태는 게임 내의 스크립트된 이동일 수 있고, 또는 제어기에서 수동 입력을 사용하여 플레이어에 의해 활성화될 수 있는 상태일 수 있다. 배경 개체를 하일라이팅하기 위해, 태양은 색깔이 변경될 수 있고 및/또는 진동할 수 있다. 그러나, 이것은 필수적인 것은 아니다. 배경 개체를 하일라이팅하기 위한 다른 방식이 사용될 수 있다. 플레이어의 신체의 적어도 일부의 움직은 이미지 스트림 및 제스처 인식을 사용하여 추적될 수 있다(708). 지정된 개체(예를 들어, 태양)의 움직임은 플레이어의 신체 또는 신체 일부의 추적된 움직임에 따라 디스플레이된다(710). 예를 들어, 게임 내에서 태양의 디스플레이는 플레이어의 머리의 움직임에 일치하는 방식으로 이동한다. 이것은 플레이어가 플레이어의 신체 또는 신체 일부를 이동시킴으로써 배경 개체에 대한 제어를 갖는다는 표시를 플레이어에 제공한다. 지정된 제스처가 검출되는 경우(712), 게임 상태는 적어도 지정된 개체의 상태를 변경함으로써 변경된다(714). 예를 들어, 태양은 저물고 적은 잠잔다.
전술한 예에서, 하나의 플레이어가 게임 시스템을 동작시킨다. 그러나, 복수의 플레이어가 동시에 게임을 할 수도 있다. 이 경우, 이미지 스트림은 복수의 플레이어를 묘사하고 플레이어들은 제스처 인식 프로세스의 일부로서 이미지 스트림으로부터 분할된다. 다른 예에서, 복수의 플레이어가 게임을 하고 각 플레이어는 카메라 기반 제어 및 수동 제어를 갖는 자신의 게임 시스템을 구비한다. 이들 방식의 조합도 가능하다.
일 예에서 이제 도 8을 참조하여 설명되는 바와 같이 제스처 인식 시스템에 의해 머리 회전이 검출된다. 이미지 스트림은 코너에서 코너로 "컷팅되고" 중앙에서 만나는 4개의 사분면(802)으로 나뉘어진다. 플레이어의 머리 위치는 전형적으로 상단 사분면에 존재하고 도 8에서 참조번호(804)에 도시되어 있다. 플레이어의 머리가 시각방향으로 및 지정된 시간 내에 각 사분면을 이동하는 경우, 특정 제스처가 검출된다. 이것은 도 8에서 머리 위치(804, 806, 808, 810)에 의해 표시되어 있다. 머리 이동 제스처를 검출하는 다른 방식이 사용될 수 있다. 예를 들어, 실제 공간에서 플레이어의 머리 아래에 있는 지점을 취하고 그 지점에 대해 플레이어의 머리 위치를 추적하는 방식, 또는 플레이어의 머리의 수평 움직임을 검출하고 정확한 수직 움직임을 가정하는 방식이 사용될 수 있다. 다른 예에서, 머리의 제스처는 이미지 스트림에서 머리의 움직임의 속도를 모니터링하고 그것을 임계치에 비교함으로써 검출된다.
도 9는 임의의 형태의 컴퓨팅 및/또는 전자 장치로서 구현될 수 있고, 전술한 게임 제어 기법이 구현될 수 있는 예시적인 컴퓨팅 장치(104)의 다양한 구성요소를 예시한다.
컴퓨팅 장치(104)는 마이크로프로세서, 제어기 또는 게임 시스템을 제어하기위해 컴퓨터 실행가능 명령어들을 처리하는 임의의 다른 적절한 유형의 프로세서일 수 있는 하나 이상의 프로세서(902)를 포함한다. 몇몇 예에서, 예를 들어, 시스템 온 칩 아키텍처가 사용되는 경우, 프로세서(902)는 (소프트웨어 또는 펌웨어보다는) 하드웨어로 게임 제어 방법의 일부를 구현하는 하나 이상의 고정된 기능 블록(가속장치라고도 함)을 포함할 수 있다.
컴퓨팅 기반 장치(104)는 또한 도 2의 캡처 장치(106) 및/또는 도 3 및 도 4의 제어기와 같은 하나 이상의 장치로부터 입력을 수신하도록 구성된 입력 인터페이스(904)를 포함한다. 예를 들어 컴퓨팅 기반 장치와 통합되거나 또는 그와 통신하는 디스플레이 시스템(예를 들어, 디스플레이 장치(108 또는 220))에 출력을 제공하도록 구성된 출력 인터페이스(906)이 또한 제공된다. 디스플레이 시스템은 그래픽 사용자 인터페이스, 또는 임의의 적절한 유형의 다른 사용자 인터페이스를 제공할 수 있으나, 이것이 필수적인 것은 아니다. 하나 이상의 통신 네트워크(예를 들어, 인터넷)과 통신하도록 구성될 수 있는 통신 인터페이스(908)가 선택에 따라 제공될 수 있다.
컴퓨터 실행가능 명령어들은 컴퓨팅 기반 장치(104)에 의해 액세스가능한 임의의 컴퓨터 판독가능 매체를 사용하여 제공될 수 있다. 컴퓨터 판독가능 매체는 예를 들어 메모리(910)와 같은 저장 매체 및 통신 매체를 포함할 수 있다. 메모리(910)와 같은 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 및 기술로 구현되는 휘발성 및 비휘발성, 제거가능 및 제거가능하지 않은 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장소, 자기 카셋트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의한 액세스를 위해 정보를 저장하는데 사용될 수 있는 임의의 다른 비전송 매체를 포함하나 여기에 국한되지는 않는다. 이와 대조적으로, 통신 매체는 반송파 또는 다른 운송 메카니즘과 같은 변조된 데이터 신호로 컴퓨터 판독가능 명령어들, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 구현할 수 있다. 본 명세서에서 정의되어 있는 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 따라서, 컴퓨터 저장 매체는 그 자체가 전파 신호로서 해석되어서는 안된다. 컴퓨팅 기반 장치(104) 내에 컴퓨터 저장 매체(메모리(910))가 도시되어 있지만, 저장소는 멀리 떨어져 분포 또는 위치될 수 있고 (예를 들어, 통신 인터페이스(908)를 사용하여) 네트워크 또는 다른 통신 링크를 통해 액세스될 수 있음을 알 수 있을 것이다.
운영 시스템(912)를 포함하는 플랫폼 소프트웨어 또는 임의의 다른 적절한 플랫폼 소프트웨어가 컴퓨팅 기반 장치에 제공되어 애플리케이션 소프트웨어(218)가 장치 상에서 실행되도록 한다. 메모리(910)는 신체 자세 추정기(214) 및 제스처 인식 엔진(216)의 기능을 구현하는 실행가능 명령어들을 저장할 수 있다. 메모리(910)는 또한 게임 제어 기법을 수행하는 경우 프로세서(902)에 의해 사영되는 데이터, 예를 들어 임의의 스탠스(stance) 템플릿, 임계치, 파라미터, 스크린 공간 매핑 기능 또는 다른 데이터를 위한 저장소를 제공하는데 사용될 수 있는 데이터 저장소(914)를 제공할 수 있다.
본 명세서에서 사용되는 '컴퓨터'라는 용어는 명령어들을 실행할 수 있는 처리 기능을 갖는 임의의 장치를 지칭한다. 당업자라면 이러한 처리 기능은 다수의 다른 장치 내에 통합될 수 있고 따라서 '컴퓨터'라는 용어는 PC, 서버, 이동 전화기, 개인 보조 단말기 및 다수의 다른 장치를 포함함을 알 수 있을 것이다.
본 명세서에서 기술한 방법은 유형의 저장 매체 상의 머신 판독가능 형태, 예를 들어 프로그램이 컴퓨터에서 실행되는 경우 본 명세서에서 기술한 임의의 방법의 모든 단계들을 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 형태의 소프트웨어에 의해 수행될 수 있는데, 컴퓨터 프로그램은 컴퓨터 판독가능 매체에 수록될 수 있다. 유형의(또는 비일시적인) 저장 매체의 예는 디스크, 썸 드라이브, 메모리 등을 포함하고 전파되는 신호는 포함하지 않는다. 소프트웨어는 병렬 프로세서 또는 직렬 프로세서에서 실행되어 방법 단계들이 임의의 순서로 또는 동시에 실행될 수 있도록 하는데 적합할 수 있다.
이것은 소프트웨어가 가치있고, 별개로 판매가능한 상품일 수 있다는 것을 인정한다. 기술되어 있는 기능을 수행하기 위해 실행되는 또는 "덤(dumb)" 또는 표준 하드웨어를 제어하는 소프트웨어를 포함하려 한다. 또한, 원하는 기능을 수행하기 위해, 실리콘 칩을 디자인하는데 또는 범용 프로그램가능 칩을 구성하는데 사용되는 HDL(hardware description language) 소프트웨어와 같은, 하드웨어의 구성을 "기술" 또는 정의하는 소프트웨어를 포함하려 한다.
당업자라면, 프로그램 명령어들을 저장하는데 사용되는 저장 장치는 네트워크를 통해 분산될 수 있음을 알 수 있을 것이다. 예를 들어, 원격 컴퓨터는 기술한 프로세스의 예를 소프트웨어로서 저장할 수 있다. 로컬 또는 단말 컴퓨터는 원격 컴퓨터를 액세스할 수 있고 프로그램을 실행하기 위해 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 이와 달리, 로컬 컴퓨터는 필요에 따라 소프트웨어의 조각들을 다운로드할 수 있거나, 또는 로컬 단말기에서 몇몇 소프트웨어 명령어들을 실행할 수 있고 원격 컴퓨터(또는 컴퓨터 네트워크)에서 몇몇 소프트웨어 명령어들을 실행할 수 있다. 당업자라면, 당업자에게 알려져 있는 종래의 기법을 사용하여, 소프트웨어 명령어들의 전부 또는 일부가 DSP, 프로그램가능 로직 어레이 등과 같은 전용 회로를 통해 수행될 수 있음을 알 수 있을 것이다.
본 명세서서 주어진 임의의 범위 또는 장치 값은 당업자라면 알 수 있는 바와 같이 효과에 영향을 주지 않고 확장 또는 변경될 수 있다.
본 발명은 구조적 피처 및/또는 방법론적 동작에 특정된 언어로 기술되었지만, 청구항에 정의된 본 발명은 전술한 특정 피처 또는 동작에 국한될 필요는 없음을 알 수 있을 것이다. 오히려, 전술한 특정 피처 및 동작은 청구항을 구현하는 예시적인 형태로 개시되어 있다.
전술한 이점 및 장점은 하나의 실시예에 관련될 수 있고 또는 몇몇 실시예에 관련될 수 있음을 이해할 것이다. 실시예들은 지적한 문제들 중 임의의 또는 모든 문제들을 해결하는 실시예 또는 언급한 이점들 및 장점들 중 임의의 또는 모든 이점 또는 장점을 갖는 실시예에 국한되지는 않는다. 단수로 취급된 항목은 하나 이상의 항목을 지칭함을 알 수 있을 것이다.
본 명세서에서 기술한 방법들의 단계들은 때에 따라 임의의 적절한 순서 또는 동시에 수행될 수 있다. 또한, 개개의 블록들이 본 발명의 사상 및 범주를 벗어나지 않는 한 임의의 방법들로부터 삭제될 수 있다. 전술한 예들의 측면들은 효과를 잃지 않으면서 또 다른 예를 형성하기 위해 다른 기술한 예들 중 임의의 예의 측면들과 결합될 수 있다.
본 명세서에서 사용되는 '포함하는"이라는 용어는 확인된 방법 블록 또는 요소를 포함하나, 이러한 블록 또는 요소는 배타적인 리스트를 포함하지 않고 방법 또는 장치는 추가의 블록 또는 요소를 포함할 수 있음을 의미한다.
전술한 설명은 단지 예로서 제공되었고 당업자에 의해 다양한 변형이 이루어질 수 있음을 알 수 있을 것이다. 전술한 상세한 설명, 예 및 데이터는 예시적인 실시예의 구조 및 사용에 대한 완전한 설명을 제공한다. 앞에서 다양한 실시예가 소정의 특수성을 가지고 설명되거나 또는 하나 이상의 개별 실시예를 참조하여 설명되었지만, 당업자라면 본 상세한 설명의 사상 또는 범주를 벗어나지 않으면서 기술되어 있는 실시예에 대해 다수의 변형을 수행할 수 있을 것이다.

Claims (10)

  1. 컴퓨터 게임 시스템을 제어하는 방법으로서,
    게임의 적어도 하나의 플레이어를 묘사하는 이미지의 스트림을 이미지 캡처 장치로부터 수신하는 단계와,
    상기 이미지의 스트림을 분석함으로써 상기 플레이어의 제스처를 인식하는 단계와,
    상기 플레이어에 의해 조작되는 손으로 조작되는 제어기로부터 플레이어 수동 입력을 수신하는 단계와,
    적어도 2개의 개체를 포함하는 컴퓨터 게임을 상기 적어도 하나의 플레이어가 보고 있는 디스플레이에 디스플레이하는 단계와,
    상기 컴퓨터 게임의 개체들 중 하나의 개체의 디스플레이를 상기 인식된 제스처에 기초하여 제어하고 상기 컴퓨터 게임의 다른 개체의 디스플레이를 상기 제어기로부터의 수동 입력에 기초하여 제어하는 단계
    를 포함하는 컴퓨터 게임 시스템 제어 방법.
  2. 제1항에 있어서,
    상기 컴퓨터 게임을 디스플레이하는 단계는 상기 적어도 2개의 개체 중 하나의 개체로서 아바타를, 다른 개체인 적어도 하나의 배경 개체를 포함하는 환경에 디스플레이하는 단계를 포함하고, 상기 컴퓨터 게임의 디스플레이를 제어하는 단계는 상기 인식된 제스처를 사용하여 상기 배경 개체를 제어하는 단계를 포함하는,
    컴퓨터 게임 시스템 제어 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 배경 개체의 디스플레이를 제어하는 단계는 연관된 물리적 모델없이 이루어지는,
    컴퓨터 게임 시스템 제어 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제스처를 인식할 때 사용되는 지정된 제스처의 세부사항을 저장하는 단계를 포함하고, 상기 지정된 제스처는 손으로 조작되는 제어기에서 수동 입력을 행하는 때와 동시에 플레이어에 의해 수행될 수 있는,
    컴퓨터 게임 시스템 제어 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 인식된 제스처를 사용하여 상기 배경 개체의 디스플레이를 제어하는 단계는 상기 게임의 스크립트된 순간에서만 또는 상기 플레이어로부터의 수동 입력에 의해서만 가능한,
    컴퓨터 게임 시스템 제어 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 컴퓨터 게임을 디스플레이하는 단계는 상기 개체들 중 하나로서 아바타를 환경 내에 디스플레이하는 단계를 포함하고, 상기 컴퓨터 게임의 디스플레이를 제어하는 단계는 상기 제어기로부터의 수동 입력을 사용하여 상기 아바타를 제어하고 상기 인식된 제스처를 사용하여 상기 환경 내의 다른 개체를 제어하는 단계를 포함하는,
    컴퓨터 게임 시스템 제어 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제스처를 인식하는 단계는 상기 플레이어의 머리를 검출하고 상기 이미지 스트림에서 상기 머리의 움직임을 추적하는 단계를 포함하는,
    컴퓨터 게임 시스템 제어 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 이미지의 스트림의 각 이미지를 4개의 사분면으로 분할하고 상기 머리가 상기 4개의 사분면의 각각에서 차례대로 검출되는 경우 머리 회전을 인식하는 단계를 더 포함하는,
    컴퓨터 게임 시스템 제어 방법.
  9. 게임의 적어도 하나의 플레이어를 묘사하는 이미지의 스트림을 수신하도록 구성된 이미지 캡처 장치와,
    상기 이미지의 스트림을 분석함으로써 상기 플레이어의 제스처를 인식하도록 구성된 제스처 인식 엔진과,
    손으로 조작되는 제어기로부터 플레이어 수동 입력을 수신하도록 구성된 입력부와,
    적어도 2개의 개체를 포함하는 컴퓨터 게임을 상기 적어도 하나의 플레이어가 보고 있는 디스플레이에 디스플레이하도록 구성된 출력부와,
    상기 컴퓨터 게임의 개체들 중 하나의 개체의 디스플레이를 상기 인식된 제스처에 기초하여 제어하고 상기 컴퓨터 게임의 다른 개체의 디스플레이를 상기 제어기로부터의 수동 입력에 기초하여 제어하도록 구성된 프로세서
    를 포함하는 컴퓨터 게임 시스템.
  10. 제9항에 있어서,
    상기 제스처 인식 엔진 및 플레이어 수동 입력을 수신하도록 구성된 상기 입력부는 거의 동시에 동작하도록 구성된,
    컴퓨터 게임 시스템.
KR1020137028313A 2011-04-28 2012-04-23 수동 및 카메라 기반 게임 제어 KR20140023951A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161480046P 2011-04-28 2011-04-28
US61/480,046 2011-04-28
US13/220,609 2011-08-29
US13/220,609 US20120277001A1 (en) 2011-04-28 2011-08-29 Manual and Camera-based Game Control
PCT/US2012/034677 WO2012148853A2 (en) 2011-04-28 2012-04-23 Manual and camera-based game control

Publications (1)

Publication Number Publication Date
KR20140023951A true KR20140023951A (ko) 2014-02-27

Family

ID=47068300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137028313A KR20140023951A (ko) 2011-04-28 2012-04-23 수동 및 카메라 기반 게임 제어

Country Status (6)

Country Link
US (1) US20120277001A1 (ko)
EP (1) EP2701817B1 (ko)
JP (1) JP2014523258A (ko)
KR (1) KR20140023951A (ko)
CN (1) CN103501869A (ko)
WO (1) WO2012148853A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190202517A1 (en) * 2017-12-30 2019-07-04 Enriqueta Heras Therapeutic multi-seat bicycle

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
TW201227399A (en) * 2010-12-24 2012-07-01 Hon Hai Prec Ind Co Ltd Motion recognition module, electronic device appling the motion recognition module and method thereof
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
JP6205901B2 (ja) * 2013-06-28 2017-10-04 カシオ計算機株式会社 計測装置、計測方法及びプログラム
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP3611807B2 (ja) * 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
WO2007130793A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US20070197290A1 (en) * 2003-09-18 2007-08-23 Ssd Company Limited Music Game Device, Music Game System, Operation Object, Music Game Program, And Music Game Method
WO2007038622A2 (en) * 2005-09-28 2007-04-05 The Government Of The United State Of America , As Represented By The Secretary Of The Navy Open-loop controller
JP2010533006A (ja) * 2007-03-01 2010-10-21 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 仮想世界とコミュニケーションを取るためのシステムおよび方法
US20100292007A1 (en) * 2007-06-26 2010-11-18 Nintendo Of America Inc. Systems and methods for control device including a movement detector
JP5286267B2 (ja) * 2007-08-03 2013-09-11 株式会社キャメロット ゲーム装置、ゲームプログラム及びオブジェクトの操作方法
TWI333156B (en) * 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US20090258703A1 (en) * 2008-04-09 2009-10-15 Aaron Philip Brunstetter Motion Assessment Using a Game Controller
US8403753B2 (en) * 2008-09-30 2013-03-26 Nintendo Co., Ltd. Computer-readable storage medium storing game program, game apparatus, and processing method
JP5433215B2 (ja) * 2008-11-21 2014-03-05 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
US8761412B2 (en) * 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190202517A1 (en) * 2017-12-30 2019-07-04 Enriqueta Heras Therapeutic multi-seat bicycle

Also Published As

Publication number Publication date
US20120277001A1 (en) 2012-11-01
CN103501869A (zh) 2014-01-08
EP2701817A4 (en) 2014-10-15
EP2701817B1 (en) 2018-09-12
JP2014523258A (ja) 2014-09-11
EP2701817A2 (en) 2014-03-05
WO2012148853A3 (en) 2013-01-10
WO2012148853A2 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
KR20140023951A (ko) 수동 및 카메라 기반 게임 제어
US9259643B2 (en) Control of separate computer game elements
US8702507B2 (en) Manual and camera-based avatar control
US10691216B2 (en) Combining gestures beyond skeletal
US8933884B2 (en) Tracking groups of users in motion capture system
US9519970B2 (en) Systems and methods for detecting a tilt angle from a depth image
US8803889B2 (en) Systems and methods for applying animations or motions to a character
US9349040B2 (en) Bi-modal depth-image analysis
US9498718B2 (en) Altering a view perspective within a display environment
US9804696B2 (en) User-input control device toggled motion tracking

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid