KR101945553B1 - 수동 및 카메라 기반 아바타 제어 - Google Patents

수동 및 카메라 기반 아바타 제어 Download PDF

Info

Publication number
KR101945553B1
KR101945553B1 KR1020137028321A KR20137028321A KR101945553B1 KR 101945553 B1 KR101945553 B1 KR 101945553B1 KR 1020137028321 A KR1020137028321 A KR 1020137028321A KR 20137028321 A KR20137028321 A KR 20137028321A KR 101945553 B1 KR101945553 B1 KR 101945553B1
Authority
KR
South Korea
Prior art keywords
player
avatar
hand
controller
display
Prior art date
Application number
KR1020137028321A
Other languages
English (en)
Other versions
KR20140021619A (ko
Inventor
토마스 윌리엄 랜스데일
찰스 로버트 그리피스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140021619A publication Critical patent/KR20140021619A/ko
Application granted granted Critical
Publication of KR101945553B1 publication Critical patent/KR101945553B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

예를 들어 컴퓨터 게임 시스템에서의 수동 및 카메라 기반 아바타 제어가 설명된다. 일 실시예에서, 이미지 캡처 시스템은 실제 개체를 붙들고 있는 플레이어의 팔의 움직임을 추적하고 플레이어는 또한 그와 동시에 수동 제어기를 사용하여 게임 시스템으로 입력을 수행한다. 일 예에서, 플레이어의 팔의 추적된 움직임은 게임 디스플레이에서 가상 다트(virtual dart)의 목표를 제어하는데 사용되고 플레이어는 그 다트를 발사하기 위해 제어기에서 수동 입력을 행한다. 다양한 실시예에서, 플레이어의 일부의 위치가 검출되고, 변경될 수 있는 매핑 기능을 사용하여 스크린 공간에 맵핑된다. 예를 들어, 스크린 공간에서 플레이어의 손의 맵핑된 위치는 아바타의 팔을 뻗음으로써 아바타의 손의 위치를 제어하는데 사용된다. 다양한 예에서, 조건들은 아바타의 카메라 기반 제어에 앞서 만족된다.

Description

수동 및 카메라 기반 아바타 제어{MANUAL AND CAMERA-BASED AVATAR CONTROL}
기존의 비디오 및 컴퓨터 게임 제어 시스템은 플레이어가 게임 디스플레이에 묘사된 아바타 또는 다른 개체를 제어할 수 있도록 버튼 및 조이스틱을 통합한 핸드 헬드 제어기를 사용한다. 이들 유형의 핸드 헬드 제어기의 디자인은, 강력하고 사용하기 쉬우며 직관적인 방식으로 게임 플레이를 미세하게 제어할 수 있도록 하는 것을 추구한다.
보다 최근에는, 몇몇 컴퓨터 게임 제어 시스템은 플레이어가 게임 인터페이스를 제어할 수 있도록 하는데 음성 인식 기술 및 제스처 인식을 사용한다. 이러한 경우, 게이머는 핸드 헬드 제어기를 구비하고 있지 않으며 또한 핸드 헬드 제어기와 같은 물리적인 사용자 입력 장치에 구애받지 않으면서 게임과 쉽게 상호작용할 수 있다.
이하에서 기술되는 실시예들은 공지된 게임 제어 시스템의 임의의 또는 모든 단점을 해결하는 실시예에 국한되지는 않는다.
이하에서는 독자에게 기본적인 이해를 제공하기 위해 본 발명의 간단한 요약이 제공된다. 이 요약은 본 발명의 광범위한 개요는 아니며 본 발명의 핵심/중요한 요소를 식별하거나 본 발명의 범주를 기술하려는 것은 아니다. 본 요약의 단 한 가지 목적은 본 명세서에서 기술되는 선택된 개념을 이후에 설명되는 보다 상세한 설명에 대한 서막으로서 간단히 제시하려는 것이다.
예를 들어 컴퓨터 게임 시스템에서의 수동 및 카메라 기반 아바타 제어가 설명된다. 일 실시예에서, 이미지 캡처 시스템은 실제 개체(real world object)를 붙들고 있는 플레이어의 팔의 움직임을 추적하고 플레이어는 또한 그와 동시에 수동 제어기를 사용하여 게임 시스템으로 입력을 수행한다. 일 예에서, 플레이어의 팔의 추적된 움직임은 게임 디스플레이에서 가상 다트(virtual dart)의 목표를 제어하는데 사용되고 플레이어는 그 다트를 발사하기 위해 제어기에서 수동 입력을 행한다. 다양한 실시예에서, 플레이어의 일부분의 위치가 검출되고, 변경될 수 있는 매핑 기능을 사용하여 스크린 공간에 맵핑된다. 예를 들어, 스크린 공간에서 플레이어의 손의 맵핑된 위치는 아바타의 팔을 뻗음으로써 아바타의 손의 위치를 제어하는데 사용된다. 다양한 예에서, 플레이어 조건들은 아바타의 카메라 기반 제어에 앞서 만족된다.
첨부한 도면과 연계하여 후속하는 상세한 설명을 참조하면 다수의 부속 특징들이 쉽게 이해될 것이다.
본 발명은 첨부한 도면에 비추어 후속하는 상세한 설명으로부터 보다 잘 이해될 것이다.
도 1은 깊이 카메라를 구비한 게임 장치 앞에 앉아서 게임 제어기를 붙잡고 있는 플레이어의 개략도.
도 2는 이미지 캡처 장치, 핸드 헬드 제어기, 컴퓨팅 장치 및 디스플레이를 포함한 게임 시스템의 개략도.
도 3은 핸드 헬드 제어기의 평면도.
도 4는 도 3의 핸드 헬드 제어기의 투시도.
도 5는 게임 플레이 동안의 디스플레이의 개략도.
도 6은 게임 시스템의 동작의 방법에 대한 흐름도.
도 7은 게임 시스템의 동작의 또 다른 방법에 대한 흐름도.
도 8은 도 7의 방법과 연계하여 사용되는 게임 시스템의 동작의 방법에 대한 흐름도.
도 9는 게임 시스템의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 기반 장치를 나타내는 도면.
첨부한 도면에서 유사한 부분들을 나타내기 위해 유사한 참조 번호들이 사용된다.
이하에서 첨부한 도면과 연계하여 제공되는 상세한 설명은 본 예시들의 설명으로서 제공되고 본 예시들이 구성 또는 이용될 수 있는 유일한 형태를 나타내지는 않는다. 상세한 설명은 예시의 기능들을 및 예시를 구성하고 동작시키는 단계들의 시퀀스를 설명한다. 그러나, 동일한 또는 등가의 기능 및 시퀀스는 다른 예들에 의해 달성될 수도 있다.
비록 본 예시들은 본 명세서에서 2차원 측면 스크롤링 플랫폼 게임을 위한 게임 시스템에서 구현되는 것으로 설며 및 예시되어 있지만, 설명되는 시스템은 예시로서 제공되는 것일 뿐 제한으로서 제공되는 것은 아니다. 당업자라면 알 수 있는 바와 같이, 본 예시들은 다양한 상이한 유형의 게임 시스템에서 적용될 수 있다.
먼저 도 1을 참조하면, 컴퓨터 게임을 제어하는 예시적인 제어 시스템(100)이 도시되어 있다. 이 예에서, 제어 시스템은 핸드 헬드 제어기 및 카메라 기반 제어 시스템 둘 다를 포함한다. 이들 두 타입의 제어를 포함함으로써, 게임 플레이어는 이들 두 타입의 제어 시스템이 가지고 있는 이점들을 경험할 수 있다. 본 명세서에서 기술되는 바와 같이 이들 두 타입의 제어가 포함되어 강력하고 사용하기 쉬운 방식으로 게임 시스템의 미세한 제어가 가능하게 되어 플레이어 경험을 강화한다. 도 1은 이 예에서 2차원 측면 스크롤링 플랫폼 게임을 하고 있는 사용자(102)를 나타낸다. 이러한 유형의 게임은 2차원 도면으로 명확히 묘사될 수 있지만, 본 명세서에서 기술된 방법은 또한 3차원 게임, 증강 현실 애플리케이션 및 그 밖의 다른 유형의 게임에 적용될 수 있다. 몇몇 예에서, 카메라 기반 제어 시스템(100)은 특히 신체 자세를 판정하고, 결합하고, 인식하고, 분석하고, 추적하고, 사람 타겟에 연관시키고, 피드백을 제공하고, 및/또는 사용자(본 명세서에서 플레이어라고도 함)와 같은 사람 타겟의 측면(aspects)에 적응시키는데 사용될 수 있다. 이 예에서, 명확성을 위해 하나의 플레이어가 도시되어 있다. 그러나, 둘 이상의 플레이어가 또한 제어 시스템을 동시에 사용할 수 있다.
카메라 기반 제어 시스템(100)은 컴퓨팅 장치(104)를 포함한다. 컴퓨팅 장치(104)는 범용 컴퓨터, 게이밍 시스템 또는 콘솔, 또는 전용 이미지 처리 장치일 수 있다. 컴퓨팅 장치(104)는 이 컴퓨팅 장치(104)가 게이밍 애플리케이션 및/또는 비-게이밍 애플리케이션과 같은 애플리케이션을 실행하는데 사용될 수 있도록 하드웨어 구성요소 및/또는 소프트웨어 구성요소를 포함할 수 있다. 컴퓨팅 장치(104)의 구조는 이하에서 도 9를 참조하여 설명된다.
카메라 기반 제어 시스템(100)은 캡처 장치(106)를 더 포함한다. 캡처 장치(106)는 예를 들어 하나 이상의 사용자(예를 들어 사용자(102))를 시각적으로 모니터링하여 하나 이상의 사용자에 의해 수행되는 제스처가 캡처되고, 분석되고, 처리되며 수정되어 게임 또는 애플리케이션 내에서 하나 이상의 제어 또는 동작을 수행할 수 있도록 하는 이미지 센서 또는 검출기일 수 있으며, 이에 대해 이하에서 보다 자세히 설명된다.
카메라 기반 제어 시스템(100)은 컴퓨팅 장치(104)에 연결된 디스플레이 장치(108)를 더 포함할 수 있다. 컴퓨팅 장치는 게임 또는 애플리케이션 비주얼(및 선택에 따라 오디오)을 사용자(102)에게 제공할 수 있는 텔레비전, 모니터, 고해상도 텔레비전(HDTV) 등일 수 있다.
동작시, 사용자(102)는 사용자(102)의 위치, 이동 및 크기가 컴퓨팅 장치(104)(및/또는 캡처 장치(106))에 의해 컴퓨팅 장치(104)에 의해 실행되는 애플리케이션에 영향을 주는데 사용될 수 있는 제어로서 해석될 수 있도록 캡처 장치(106)를 사용하여 추적될 수 있다. 그에 따라, 실행되는 게임 또는 애플리케이션을 제어하기 위해 사용자(102)는 자신의 몸(또는 자기 신체의 일부)을 이동시킬 수 있다.
도 1의 예시적인 예에서, 컴퓨팅 장치(102)에서 실행되는 애플리케이션은 사용자(102)가 플레이하고 있는 2차원 측면 스크롤링 플랫폼 게임이다. 이 예에서, 컴퓨팅 장치(104)는 풍경, 나무 및 태양을 포함하는 지형을 나타내는 시각적 표현을 사용자(102)에게 제공하도록 디스플레이 장치(108)를 제어한다. 컴퓨팅 장치(104)는 또한 사용자(102)가 자신의 움직임을 통해 및/또는 핸드 헬드 제어기(110)를 사용하여 제어할 수 있는 사용자 아바타의 시각적 표현을 제공하도록 디스플레이 장치(108)를 제어한다. 아바타는 캐릭터 및/또는 도구, 무기 또는 아바타가 제어하는 것으로 묘사되는 다른 개체의 시각적 표현이다. 예를 들어, 컴퓨팅 장치(104)는 사용자의 상이한 신체 부분을 인식하고 추적하고, 이들을 아바타에 맵핑하도록 구성된 신체 자세 추정기를 포함할 수 있다. 이러한 식으로, 아바타는 사용자(102)의 움직임을 복사하고 그에 따라 예를 들어 사용자(102)가 물리적인 공간에서 걸어가는 경우, 이것은 사용자 아바타가 게임 공간에서 걸어가도록 하게 한다.
그러나, 게임 공간에서 사용자 이동만을 복사하는 것은 사용자와 게임 간의 상호작용의 유형 및 복잡성을 제한한다. 예를 들어, 다수의 게임내 제어(in-game control)는 전통적인 게임 시스템에서의 버튼 누름을 통해 트리거될 수 있는 순간적인 동작 또는 명령이다. 이들에 대한 예는 펀치, 총쏘기, 무기 변경, 던지기, 차기, 점프 및/또는 쭈그리기와 같은 동작을 포함한다. 이러한 동작 또는 명령은 사용자의 움직임만을 단순히 복사하기 보다는, 사용자가 이들 동작 중 하나를 수행하고 대응하는 게임내 동작을 트리거링하고 있음을 인식함으로써 제어될 수 있다. 또한, 핸드 헬드 제어기에서의 사용자 입력과 카메라 기반 제어 시스템을 통한 사용자 입력의 결합이 사용되어 게임 장치를 제어할 수 있다.
이제 도 2를 참조하면, 도 1의 카메라 기반 제어 시스템(100)에서 사용될 수 있는 캡처 장치(106)의 개략도가 도시되어 있다. 도 2의 예에서, 캡처 장치(106)는 깊이 정보를 갖는 비디오 이미지를 캡처하도록 구성된다. 이러한 캡처 장치는 깊이 카메라로서 지칭될 수 있다. 깊이 정보는 깊이 값, 즉 깊이 카메라와 깊이 이미지의 각 이미지 요소에 위치한 아이템 또는 개체 간의 거리와 관련된, 깊이 이미지의 각 이미지 요소와 연관된 값을 포함하는 깊이 이미지의 형태를 가질 수 있다. "이미지 요소"라는 용어는 픽셀, 픽셀들의 그룹, 복셀, 복셀들의 그룹 또는 이미지의 다른 보다 높은 레벨의 구성요소를 지칭하는데 사용된다.
깊이 정보는 예를 들어 TOF(time-of-flight), 구조화된 광, 스테레오 이미지 등을 포함하는 임의의 적절한 기법을 사용하여 얻어질 수 있다. 몇몇 예에서, 캡처 장치(106)는 깊이 이미지를 "Z 층" 또는 깊이 카메라로부터 그의 시야를 따라 확장하는 Z-축에 수직할 수 있는 층들로 조직할 수 있다.
도 2에 도시되어 있는 바와 같이, 캡처 장치(106)는 적어도 하나의 이미징 센서(200)를 포함한다. 도 2에 도시되어 있는 예에서, 이미징 센서(200)는 장면의 깊이 이미지를 캡처하도록 구성된 깊이 카메라(202)를 포함한다. 캡처된 깊이 이미지는 캡처된 장면의 2차원(2-D) 영역을 포함할 수 있는데, 2-D 영역 내의 각 이미지 요소는 깊이 카메라(202)로부터 캡처된 장면 내의 개체의 거리 또는 길이와 같은 깊이 값을 나타낸다.
캡처 장치는 깊이 정보가 깊이 카메라(202)에 의해 확인될 수 있는 방식으로 장면을 조명하도록 구성된 방사체(emitter)(204)도 포함할 수 있다. 예를 들어, 깊이 카메라(202)가 적외선(IR) TOF 카메라인 경우, 방사체(204)는 IR 광을 장면 상에 비추고, 깊이 카메라(202)는 장면 내의 하나 이상의 타겟 및 개체들의 표면으로부터 후방 산란된 광을 검출하도록 구성된다. 몇몇 예에서, 펄스형 적외선 광이 방사체(204)로부터 방출되어 출력 광 펄스와 대응하는 입력 광 펄스 간의 시간이 깊이 카메라에 의해 검출되고 측정되며 사용되어 캡처 장치(106)로부터 장면 내의 타겟 또는 개체 상의 위치까지의 물리적 거리를 측정할 수 있다. 또한, 몇몇 예에서, 방사체(204)로부터의 출력 광파의 위상은 깊이 카메라(202)에서의 입력 광파의 위상과 비교되어 위상 시프트를 판정할 수 있다. 이 위상 시프트는 캡처 장치(106)로부터 타겟 또는 개체 상의 위치까지의 물리적 거리를 판정하는데 사용될 수 있다. 또 다른 예에서, TOF 분석이 사용되어 예를 들어 셔터링된 광 펄스 이미징(shuttered light pulse imaging)을 포함한 다양한 기법을 통해 시간에 따라 광의 반사되는 빔의 강도를 분석함으로써 캡처 장치(106)로부터 타겟 또는 개체 상의 위치까지의 물리적 거리를 간접적으로 판정할 수 있다.
또 다른 예에서, 캡처 장치(106)는 구조화된 광을 이용하여 깊이 정보를 캡처할 수 있다. 이러한 기법에서, 패터닝된 광(예를 들어, 시간에 따라 변할 수 있는 점, 격자 또는 줄무늬 패턴과 같은 공지된 패턴으로 디스플레이되는 광)이 방사체(204)를 사용하여 장면 상에 투사될 수 있다. 장면 내의 하나 이상의 타겟 또는 개체의 표면 상에 비추게 되면, 패턴은 변형될 수 있다. 이러한 패턴의 변형은 깊이 카메라(202)에 의해 캡처될 수 있고 분석되어 캡처 장치(106)로부터 장면 내의 타겟 또는 개체 상의 위치까지의 물리적 거리를 판정할 수 있다.
또 다른 예에서, 깊이 카메라(202)는 깊이 정보를 분석될 수 있는 비주얼 스테레오 데이터가 얻어지도록, 상이한 각도로 장면을 보는 물리적으로 분리되어 있는 둘 이상의 카메라의 형태를 가질 수 있다. 이 경우, 방사체(204)는 장면을 조명하는데 사용될 수 있고, 또는 생략될 수 있다.
몇몇 예에서, 깊이 카메라(202)에 더해, 또는 이에 대한 변화로서, 캡처 장치(106)는 RGB 카메라(206)로 지칭되는 비디오 카메라를 포함할 수 있다. RGB 카메라(206)는 가시광선 주파수에서 장면의 이미지들의 시퀀스를 캡처하도록 구성되고, 따라서 깊이 이미지를 증강시키는데 사용될 수 있다. 몇몇 예에서, RGB 카메라(206)는 깊이 카메라(202) 대신에 사용될 수 있다. 캡처 장치(106)는 또한 선택에 따라 사용자로부터 음성 입력과 같은 소리 정보를 캡처하도록 구성되고 음성 인식용으로 사용될 수 있는 (지향성 및/또는 조종가능할 수 있는) 마이크로폰(207) 또는 마이크로폰 어레이를 포함한다.
도 2에 도시되어 있는 캡처 장치(106)는 이미징 센서(200)(즉, 도 2의 예에 도시된 깊이 카메라(202) 및 RGB 카메라(206)), 방사체(204) 및 마이크로폰(207)과 통신하는 적어도 하나의 프로세서(208)를 더 포함한다. 프로세서(208)는 범용 마이크로프로세서 또는 특화된 신호/이미지 프로세서일 수 있다. 프로세서(208)는 이미징 센서(200), 방사체(204) 및 마이크로폰(207)을 제어하여 깊이 이미지, RGB 이미지 및/또는 음성 신호를 캡처하도록 하는 명령어를 실행하도록 구성된다. 프로세서(208)는 선택에 따라 이들 이미지 및 신호들에 대한 처리를 수행하도록 구성될 수 있으며, 이에 대해서는 이하에서 보다 자세히 설명한다.
도 2에 도시된 캡처 장치(106)는 프로세서(208)에 의해 실행되는 명령어들, 깊이 카메라(202) 또는 RGB 카메라(206)에 의해 캡처되는 이미지들 또는 이미지들의 프레임들, 또는 임의의 다른 적절한 정보, 이미지 등을 저장하도록 구성된 메모리(210)를 더 포함한다. 몇몇 예에서, 메모리(210)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 캐시, 플래시 메모리, 하드 디스크 또는 임의의 다른 적절한 저장 구성요소를 포함할 수 있다. 메모리(210)는 프로세서(208)와 통신하는 별개의 구성요소이거나 또는 프로세서(208) 내에 통합될 수 있다.
캡처 장치(106)는 또한 프로세서(208)와 통신하고 통신 링크를 통해 컴퓨팅 장치(104)에 데이터를 제공하도록 구성된 출력 인터페이스(212)도 포함한다. 통신 링크는 예를 들어 유선 연결(예를 들어, USB, 파이어와이어, 이더넷 등) 및/또는 무선 연결(예를 들어, WiFi, 블루투스 등)일 수 있다. 다른 예에서, 출력 인터페이스(212)는 하나 이상의 통신 네트워크(예를 들어, 인터넷)와 인터페이싱할 수 있고 이들 네트워크를 통해 컴퓨팅 장치(104)에 데이터를 제공할 수 있다.
캡처 장치의 일부로서 제어기(110)가 또한 제공된다. 이 제어기는 도 1에 개략적으로 도시되어 있는 핸드 헬드 제어기일 수 있거나, 또는 핸드 헬드 방식이 아닌 또 다른 보다 큰 장치에 통합될 수 있다. 제어기는 플레이어가 게임 시스템에 입력을 수행할 수 있도록 하는 버튼, 조이스틱, 터치 패드, 스위치와 같은 복수의 사용자 입력 장치를 포함한다. 사용자 입력 데이터는 유선 연결 및/또는 무선 연결을 통해 제어기로부터 컴퓨팅 장치(104)로 전송된다.
컴퓨팅 장치(104)는 선택적인 신체 자세 추정기(214) 및 제스처 인식 엔진(216)과 같이 카메라 기반 제스처 인식에 관련된 다수의 기능을 실행한다. 신체 자세 추정기(214)는 사용자의 상이한 신체 일부들을 검출 및 추적하기 위해 컴퓨터 비전 기법을 사용하도록 구성된다. 신체 자세 추정기의 일 예는 2009년 5월 20일에 출원된 "사람 신체 자세 추정"이라는 제목의 미국 특허 출원 US-2010-0278384-A1 호에 개시되어 있다. 신체 자세 추정기(214)는 사용자의 신체 자세에 관련된 데이터의 시계열 형식으로 데이터를 제스처 인식 엔진에 제공할 수 있다. 이것은 사용자의 완전히 추적된 골격 모델의 형태, 또는 사용자의 보여지는 신체 일부의 보다 개략적인 식별의 형태를 가질 수 있다. 예를 들어, 이들 시계열 시퀀스는 사용자의 적어도 2개의 신체 일부 간의 시변 각도, 사용자의 적어도 2개의 신체 일부 간의 각도의 변화의 비율, 사용자의 적어도 하나의 신체 일부에 대한 움직임 속도, 또는 이들의 조합에 대한 데이터를 포함할 수 있다. 상이한 유형의 데이터(소정의 신체 부분들 간의 각도, 속도 등)는 "피처(features)"로 알려져 있다. 다른 예에서, 신체 자세 추정기(214)는 시간에 걸쳐 사용자의 변화하는 자세로부터 다른 데이터 시퀀스(즉, 다른 피처)를 도출할 수 있다. 또 다른 예에서, 제스처 인식 엔진(216)은 신체 자세 추정기 이외의 다른 소스로부터 도출된 입력(즉, 피처)을 이용할 수 있다. 애플리케이션 소프트웨어(218)는 또한 컴퓨팅 장치(104) 상에서 실행될 수 있고 제스처를 사용하여 제어될 수 있다. 애플리케이션 소프트웨어는 디스플레이(220)에서 게임의 디스플레이를 제어하도록 구성된다.
도 3은 예시적인 핸드 헬드 제어기(110)의 평면도이다. 그것은 일반적으로 날개 다른 형상을 가지며 각 날개 또는 어깨(316)는 한 손에 움켜쥘 수 있는 크기 및 형상을 갖는다. 제어기는 이제 이하에서 보다 자세히 설명되는 복수의 버튼, 스위치 및 조이스틱을 지탱하는 하우징을 포함한다. 그러나, 이것은 단지 예일 뿐이고 다른 유형의 제어기(110)기 사용될 수 있다.
녹색의 A 버튼, 적색의 B 버튼, 청색의 X 버튼 및 황색의 Y 버튼을 포함하는 4개의 디지털 동작 버튼(302)이 제어기의 우측면에 제공된다. 두 개의 아날로그 조이스틱(310,312)이 제공된다. 이들 조이스틱은 각 조이스틱 아래에 있는 디지털 버튼을 활성화시키기 위해 눌러지거나 클릭될 수 있다. 디지털 시작 버튼(306), 후퇴 버튼(308) 및 안내 버튼(304)은 하우징 상에서 가운데에 위치한다. 예를 들어, 가이드 버튼은 제어기를 켜고 메뉴를 액세스하는데 사용된다.
도 4는 제어기의 투시도이고 좌측 범퍼(406) 및 우측 범퍼(404)를 나타내고 각 범퍼는 사용자에 의해 눌러질 수 있는 버튼이다. 둘 다가 아날로그인 좌측 트리거(400) 및 우측 트리거(402)는 제어기의 아랫면에 주어져 있다(도 4에서는 보여짐). 컴퓨팅 장치(104)로의 유선 접속을 가능하게 하는 접속부(408)가 제공될 수 있다.
도 5는 예를 들어 도 1의 디스플레이 스크린(108)에서 게임플레이 동안의 디스플레이의 개략도이다. 풍경 및 태양(500)을 포함하는 환경 내에 아바타가 도시되어 있다. 이 환경은 게임의 코스에 영향을 미칠 수 있는 복수의 능동 개체를 포함한다. 이 예에서, 능동 개체는 공격 구름으로 포위된 적(506)과, 문 손잡이(502)를 포함한다. 비활성 개체(504)는 통과할 수 없는 벽이고 문 손잡이(502)는 플레이어가 아바타를 벽쪽으로 이동시키고 오른쪽으로 계속 움직일 수 있도록 해주는 수단을 제공한다. 또 다른 비활성 개체(510)가 또한 디스플레이의 코너에 디스플레이되고 게임 시스템에 의해 현재 캡처되고 있고 게임의 플레이어를 묘사하는 이미지 스트림을 표현을 포함한다. 복수의 플레이어가 게임 시스템을 함께 사용하고 있는 경우, 이미지 스트림은 이미지 캡쳐 시스템의 임의의 폐색 및 시야에 따라 이미지 스트림에서 보이도록 모든 플레이어를 묘사한다. 비활성 개체(510)를 사용하는 것이 필수적인 것은 아니다. 도 5에서 주어진 예에서, 아바타의 팔(508) 중 하나가 문 손잡이(502)쪽으로 뻗어져 있다. 이것은 이미지 스트림에서 (스크린 공간에 대한) 플레이어의 손의 위치를 검출하고 검출된 플레이어의 손의 위치에 기초하여 아바타의 팔을 뻗음으로써 이루어진다. 도 5의 시나리오는 하나의 예시일뿐이다. 플레이어의 신체 일부의 위치 및/또는 플레이어의 제스처는 다른 방식으로 아바타를 제어하는데 사용될 수 있다.
도 6은 게임 시스템의 동작의 방법을 흐름도이다. 게임 시스템은 환경 내에 적어도 하나의 아바타를 포함하는 게임을 디스플레이한다(600). 게임의 적어도 하나의 플레이어에 대한 이미지 스트림이 수신되고(602), 예를 들어 도 2의 신체 자세 추정기를 사용하여 이미지 스트림 내에서 신체 부분 및/또는 조인트 위치가 검출된다(606). 선택에 따라, 제스처 인식이 또한 수행된다. 도 3 및 도 4의 것과 같은 핸드 헬드 제어기일 수 있는 제어기로부터 수동 입력이 또한 수신된다(604). 이 수동 입력은 신체 부분 위치 및 제스처 인식과 실질적으로 동시에 수신될 수 있다. 게임 시스템은 적어도 카메라 기반 입력 및 제어기로부터의 수동 입력 둘 다에 기초하여 아바타를 제어한다. 게임은 디스플레이되고(610), 임의의 수동 입력에 덧붙여 카메라 기반 입력이 계속 수신된다. 게임 플레이가 지연되지 않고 플레이어가 게임 경험에 몰두할 수 있도록 신체 부분 위치 검출 및 선택적인 제스처 인식은실시간으로 수행된다.
도 7은 아바타를 제어하기 위해 카메라 기반 입력을 사용하기 전에 수동 입력에 대한 특정 플레이어 조건이 만족되는 게임 시스템의 동작에 대한 방법의 흐름도이다. 이러한 식으로, 카메라 기반 제어와 수동 제어 간의 충돌을 피하는 방식으로 게임 시스템의 하이브리드 제어가 달성되고, 이러한 하이브리드 제어는 정밀한 제어를 제공하고 사용하기에 직관적이다. 이러한 예에서, 카메라 기반 제어는 아바타의 팔을 뻗는데 사용된다. 그러나, 이것은 하나의 예일뿐이다. 방법은 또한 게임 내에서 아바타 또는 다른 개체를 다른 방식으로 제어하는데 사용될 수 있다.
게임 시스템은 환경 내에 아바타를 디스플레이하고(700) 도 2를 참조하여 전술한 바와 같은 이미지 캡처 장치를 사용하여 플레이어의 진행중인 이미지 스트림을 수신한다. 도 3 및 도 4의 핸드 헬드 제어기와 같은 제어기 또는 임의의 다른 수동 제어기로부터 수동 입력이 수신된다(704). 제어기의 하나의 범퍼만이 눌러져 있는지에 대한 체크가 이루어진다(706). 예를 들어, 이것은 도 4의 좌측 버퍼(406) 또는 우측 범퍼(404)일 수 있다. 범퍼를 사용하는 것이 필수적인 것은 아니다. 플레이어의 손에 의해 사용될 수 있도록 설계된 한 쌍 중 하나인 임의의 버튼, 스위치, 터치 패드 또는 다른 손으로 조작되는 사용자 입력 장치가 사용될 수 있다. 하나의 범퍼만이 눌러져 있는 경우, 게임 시스템은 플레이어의 손들 중 어느 손이 자유롭게 될 가능성이 있는지에 대한 정보를 갖는다. 게임 시스템은 자유롭게 될 가능성이 있는 손에 대한 이미지 스트림을 체크하고 자유로운 손의 위치가 제어기로부터 임계 거리보다 멀리 떨어져 있는지에 대해 계산한다(708). 그러한 경우, 게임 시스템은 제어기에 대한 플레이어의 자유로운 손의 위치를 추적한다(710).
게임 시스템은 플레이어의 자유로운 손의 판정된 위치를 맵핑 기능을 사용하여 아바타 주변의 스크린 공간에 맵핑한다(712). 맵핑 기능은 게임 시스템에 저장될 수 있고 맵핑 기능의 파라미터는 게임 상태에 따라 변경될 수 있다(714). 예를 들어, 맵핑 기능은 스크린 공간 내의 맵핑된 위치가 아바타 주변의 지정된 영역 내에 있도록 하고 또한 맵핑된 위치가 예를 들어 비례 관계, 비선형 관계를 사용하여 또는 다른 방식으로 플레이어의 자유로운 손의 판정된 위치에 관련되도록 보장할 수 있다. 아바타의 팔은 아바타의 손이 스크린 공간 내의 맵핑된 위치에 있도록 확장된다(716).
도 7의 예에서 도시되어 있는 바와 같이, 수동 입력 조건 및 카메라 기반 입력 조건이 둘 다 만족되게 함으로써, 이들 두 개의 제어 방법을 사용하는 아바타의 제어 간의 충돌은 완화된다. 706의 것과 같은 수동 입력 조건을 사용하는 것이 필수적인 것은 아니다. 플레이어의 이미지 스트림은 예를 들어 플레이어의 하나의 손만이 제어기 상에 있는지를 체크하는데 사용될 수 있다.
도 8을 참조하면, 아바타의 손이 (스큰 공간 내의 맵핑된 위치까지 확장된 이후) 특정 개체(예를 들어, 도 5의 문 손잡이)에 뻗어있는지에 대한 체크(800)가 이루어진다. 그러한 경우, 아바타의 손은 특정 개체를 붙잡고 있는 것으로 디스플레이될 수 있다(802). 플레이어의 자유로운 손의 추적 및 수동 입력이 계속되고(804) 플레이어가 범퍼를 계속 누르고 있고 그들의 자유로운 손은 뻗어져 있는지에 대한 체크가 이루어진다(806). 그렇지 않은 경우, 아바타의 손은 뻗어져 있지 않은 상태로 되돌려진다. 플레이어가 범퍼를 계속 누르고 있고 자유로운 손은 뻗어져 있는 경우, 플레이어는 아바타의 팔이 뻗여져 있는 채로 아바타를 이동시킬 수도 있다. 예를 들어, 제어기 상의 조이스틱에서 입력을 행함으로써 이동시킬 수 있다. 아바타의 움직임이 아바타의 팔이 뻗여져 있는 동안 플레이어에 의한 수동 입력에 따라 디스플레이된다(810). 예를 들어, 이 상태에서, 아바타가 개체를 붙잡은 상태를 유지하기 위해 하나의 팔을 뻗어 회전하도록 플레이어는 그들의 엄지손가락을 이용하여 아바타를 제어한다.
플레이어가 범퍼를 누르고 있는 동안 추적된 손을 제어기로 되돌리는 경우(812), 아바타는 개체로 들어올려지는 것으로 디스플레이될 수 있다(814). 플레이어가 범퍼의 누름을 해제하는 경우, 아바타의 손은 뻗어지지 않은 상태로 되돌려질 수 있다. 지정된 게임 상태에 도달하면(816), 아바타의 손은 뻗어있지 않은 상태로 되돌려질 수 있다(808). 예를 들어, 지정된 게임 상태는 적으로부터의 부상일 수 있고, 아바타가 개체로부터 멀리 임계 거리를 너머 이동하는 경우일 수 있고, 지정된 시간에 도달하는 경우일 수 있으며, 지정된 파워 미터 레벨에 도달하는 경우일 수 있다.
또 다른 예에서, 카메라 기반 입력이 사용되어 아바타의 검의 스윙의 방향을 제어한다. 또 다른 예에서, 카메라 기반 입력은 지동 상의 한 지점에 총을 겨냥하는데 사용되고, 수동 입력은 총의 방아쇠를 당기는데 사용된다. 본 명세서에서 기술한 다양한 예에서, 플레이에 의해 행해진 신체 일부 위치 또는 이동은 게임 내에서 이루어진 아바타의 제어와 유사하다. 예를 들어, 플레이어가 한 손을 위로 올리고 그들의 동작은 게임 내에서 증폭된 또는 과장된 방식으로 아바타에 의해 복사된다. 그러나, 이것은 필수적인 것이 아니다. 플레이어에 의해 만들어진 이동은 야기되는 아바타의 제어와 무관할 수 있다.
도 9는 임의의 형태의 컴퓨팅 및/또는 전자 장치로서 구현될 수 있고, 전술한 게임 제어 기법이 구현될 수 있는 예시적인 컴퓨팅 장치(104)의 다양한 구성요소를 예시한다.
컴퓨팅 장치(104)는 마이크로프로세서, 제어기 또는 게임 시스템을 제어하기위해 컴퓨터 실행가능 명령어들을 처리하는 임의의 다른 적절한 유형의 프로세서일 수 있는 하나 이상의 프로세서(902)를 포함한다. 몇몇 예에서, 예를 들어, 시스템 온 칩 아키텍처가 사용되는 경우, 프로세서(902)는 (소프트웨어 또는 펌웨어보다는) 하드웨어로 게임 제어 방법의 일부를 구현하는 하나 이상의 고정된 기능 블록(가속장치라고도 함)을 포함할 수 있다.
컴퓨팅 기반 장치(104)는 또한 도 2의 캡처 장치(106) 및/또는 도 3 및 도 4의 제어기와 같은 하나 이상의 장치로부터 입력을 수신하도록 구성된 입력 인터페이스(904)를 포함한다. 예를 들어 컴퓨팅 기반 장치와 통합되거나 또는 그와 통신하는 디스플레이 시스템(예를 들어, 디스플레이 장치(108 또는 220))에 출력을 제공하도록 구성된 출력 인터페이스(906)이 또한 제공된다. 디스플레이 시스템은 그래픽 사용자 인터페이스, 또는 임의의 적절한 유형의 다른 사용자 인터페이스를 제공할 수 있으나, 이것이 필수적인 것은 아니다. 하나 이상의 통신 네트워크(예를 들어, 인터넷)과 통신하도록 구성될 수 있는 통신 인터페이스(908)가 선택에 따라 제공될 수 있다.
컴퓨터 실행가능 명령어들은 컴퓨팅 기반 장치(104)에 의해 액세스가능한 임의의 컴퓨터 판독가능 매체를 사용하여 제공될 수 있다. 컴퓨터 판독가능 매체는 예를 들어 메모리(910)와 같은 저장 매체 및 통신 매체를 포함할 수 있다. 메모리(910)와 같은 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 및 기술로 구현되는 휘발성 및 비휘발성, 제거가능 및 제거가능하지 않은 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장소, 자기 카셋트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의한 액세스를 위해 정보를 저장하는데 사용될 수 있는 임의의 다른 비전송 매체를 포함하나 여기에 국한되지는 않는다. 이와 대조적으로, 통신 매체는 반송파 또는 다른 운송 메카니즘과 같은 변조된 데이터 신호로 컴퓨터 판독가능 명령어들, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 구현할 수 있다. 본 명세서에서 정의되어 있는 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 따라서, 컴퓨터 저장 매체는 그 자체가 전파 신호로서 해석되어서는 안된다. 컴퓨팅 기반 장치(104) 내에 컴퓨터 저장 매체(메모리(910))가 도시되어 있지만, 저장소는 멀리 떨어져 분포 또는 위치될 수 있고 (예를 들어, 통신 인터페이스(908)를 사용하여) 네트워크 또는 다른 통신 링크를 통해 액세스될 수 있음을 알 수 있을 것이다.
운영 시스템(912)를 포함하는 플랫폼 소프트웨어 또는 임의의 다른 적절한 플랫폼 소프트웨어가 컴퓨팅 기반 장치에 제공되어 애플리케이션 소프트웨어(218)가 장치 상에서 실행되도록 한다. 메모리(910)는 신체 자세 추정기(214) 및 제스처 인식 엔진(216)의 기능을 구현하는 실행가능 명령어들을 저장할 수 있다. 메모리(910)는 또한 게임 제어 기법을 수행하는 경우 프로세서(902)에 의해 사영되는 데이터, 예를 들어 임의의 스탠스(stance) 템플릿, 임계치, 파라미터, 스크린 공간 매핑 기능 또는 다른 데이터를 위한 저장소를 제공하는데 사용될 수 있는 데이터 저장소(914)를 제공할 수 있다.
본 명세서에서 사용되는 '컴퓨터'라는 용어는 명령어들을 실행할 수 있는 처리 기능을 갖는 임의의 장치를 지칭한다. 당업자라면 이러한 처리 기능은 다수의 다른 장치 내에 통합될 수 있고 따라서 '컴퓨터'라는 용어는 PC, 서버, 이동 전화기, 개인 보조 단말기 및 다수의 다른 장치를 포함함을 알 수 있을 것이다.
본 명세서에서 기술한 방법은 유형의 저장 매체 상의 머신 판독가능 형태, 예를 들어 프로그램이 컴퓨터에서 실행되는 경우 본 명세서에서 기술한 임의의 방법의 모든 단계들을 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 형태의 소프트웨어에 의해 수행될 수 있는데, 컴퓨터 프로그램은 컴퓨터 판독가능 매체에 수록될 수 있다. 유형의(또는 비일시적인) 저장 매체의 예는 디스크, 썸 드라이브, 메모리 등을 포함하고 전파되는 신호는 포함하지 않는다. 소프트웨어는 병렬 프로세서 또는 직렬 프로세서에서 실행되어 방법 단계들이 임의의 순서로 또는 동시에 실행될 수 있도록 하는데 적합할 수 있다.
이것은 소프트웨어가 가치있고, 별개로 판매가능한 상품일 수 있다는 것을 인정한다. 기술되어 있는 기능을 수행하기 위해 실행되는 또는 "덤(dumb)" 또는 표준 하드웨어를 제어하는 소프트웨어를 포함하려 한다. 또한, 원하는 기능을 수행하기 위해, 실리콘 칩을 디자인하는데 또는 범용 프로그램가능 칩을 구성하는데 사용되는 HDL(hardware description language) 소프트웨어와 같은, 하드웨어의 구성을 "기술" 또는 정의하는 소프트웨어를 포함하려 한다.
당업자라면, 프로그램 명령어들을 저장하는데 사용되는 저장 장치는 네트워크를 통해 분산될 수 있음을 알 수 있을 것이다. 예를 들어, 원격 컴퓨터는 기술한 프로세스의 예를 소프트웨어로서 저장할 수 있다. 로컬 또는 단말 컴퓨터는 원격 컴퓨터를 액세스할 수 있고 프로그램을 실행하기 위해 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 이와 달리, 로컬 컴퓨터는 필요에 따라 소프트웨어의 조각들을 다운로드할 수 있거나, 또는 로컬 단말기에서 몇몇 소프트웨어 명령어들을 실행할 수 있고 원격 컴퓨터(또는 컴퓨터 네트워크)에서 몇몇 소프트웨어 명령어들을 실행할 수 있다. 당업자라면, 당업자에게 알려져 있는 종래의 기법을 사용하여, 소프트웨어 명령어들의 전부 또는 일부가 DSP, 프로그램가능 로직 어레이 등과 같은 전용 회로를 통해 수행될 수 있음을 알 수 있을 것이다.
본 명세서서 주어진 임의의 범위 또는 장치 값은 당업자라면 알 수 있는 바와 같이 효과에 영향을 주지 않고 확장 또는 변경될 수 있다.
본 발명은 구조적 피처 및/또는 방법론적 동작에 특정된 언어로 기술되었지만, 청구항에 정의된 본 발명은 전술한 특정 피처 또는 동작에 국한될 필요는 없음을 알 수 있을 것이다. 오히려, 전술한 특정 피처 및 동작은 청구항을 구현하는 예시적인 형태로 개시되어 있다.
전술한 이점 및 장점은 하나의 실시예에 관련될 수 있고 또는 몇몇 실시예에 관련될 수 있음을 이해할 것이다. 실시예들은 지적한 문제들 중 임의의 또는 모든 문제들을 해결하는 실시예 또는 언급한 이점들 및 장점들 중 임의의 또는 모든 이점 또는 장점을 갖는 실시예에 국한되지는 않는다. 단수로 취급된 항목은 하나 이상의 항목을 지칭함을 알 수 있을 것이다.
본 명세서에서 기술한 방법들의 단계들은 때에 따라 임의의 적절한 순서 또는 동시에 수행될 수 있다. 또한, 개개의 블록들이 본 발명의 사상 및 범주를 벗어나지 않는 한 임의의 방법들로부터 삭제될 수 있다. 전술한 예들의 측면들은 효과를 잃지 않으면서 또 다른 예를 형성하기 위해 다른 기술한 예들 중 임의의 예의 측면들과 결합될 수 있다.
본 명세서에서 사용되는 '포함하는"이라는 용어는 확인된 방법 블록 또는 요소를 포함하나, 이러한 블록 또는 요소는 배타적인 리스트를 포함하지 않고 방법 또는 장치는 추가의 블록 또는 요소를 포함할 수 있음을 의미한다.
전술한 설명은 단지 예로서 제공되었고 당업자에 의해 다양한 변형이 이루어질 수 있음을 알 수 있을 것이다. 전술한 상세한 설명, 예 및 데이터는 예시적인 실시예의 구조 및 사용에 대한 완전한 설명을 제공한다. 앞에서 다양한 실시예가 소정의 특수성을 가지고 설명되거나 또는 하나 이상의 개별 실시예를 참조하여 설명되었지만, 당업자라면 본 상세한 설명의 사상 또는 범주를 벗어나지 않으면서 기술되어 있는 실시예에 대해 다수의 변형을 수행할 수 있을 것이다.

Claims (20)

  1. 컴퓨터 게임 시스템을 제어하는 방법에 있어서,
    게임의 적어도 하나의 플레이어를 묘사하는 이미지들의 스트림을 이미지 캡처 장치로부터 수신하는 단계;
    상기 이미지들의 스트림을 분석함으로써 상기 플레이어의 일부 위치를 판정하는 단계;
    상기 플레이어에 의해 조작되는 손으로 조작되는(hand operated) 제어기로부터 플레이어 수동 입력을 수신하는 단계;
    컴퓨터 게임을 상기 적어도 하나의 플레이어가 보고 있는 디스플레이 - 상기 디스플레이는 적어도 하나의 아바타 및 환경을 포함함 - 에 디스플레이하는 단계;
    복수의 플레이어 조건들 - 상기 조건들 중 적어도 하나의 조건은 상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있거나 또는 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있는 것임 - 이 만족되는지 체크하는 단계; 및
    상기 플레이어 조건들이 만족되는 경우, 상기 판정된 플레이어 일부 위치 및 상기 제어기로부터의 수동 입력 둘 다에 기초하여 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  2. 제1항에 있어서, 상기 플레이어의 일부 위치는 상기 플레이어의 신체 일부 위치이거나 상기 플레이어가 붙잡고 있는 실제 개체(real world object)의 위치인 것인 컴퓨터 게임 시스템 제어 방법.
  3. 제1항에 있어서, 상기 플레이어의 판정된 일부 위치를 맵핑 함수를 사용하여 스크린 공간 내의 맵핑된 위치에 맵핑하고 상기 스크린 공간 내의 맵핑된 위치에 대해 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  4. 제3항에 있어서, 상기 스크린 공간 내의 맵핑된 위치를 향해 상기 아바타의 일부를 확장시킴으로써 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  5. 제3항에 있어서, 상기 스크린 공간 내의 맵핑된 위치를 향해 상기 아바타를 이동시킴으로써 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  6. 제1항에 있어서, 상기 플레이어의 일부 위치를 추적하고 상기 추적된 일부 위치에 기초하여 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  7. 제1항에 있어서, 상기 플레이어의 일부 위치를 추적하는 단계; 상기 플레이어의 추적된 일부 위치를 맵핑 함수를 사용하여 스크린 공간 내의 복수의 맵핑된 위치들에 맵핑하고 상기 스크린 공간 내의 맵핑된 위치들에 대해 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  8. 제1항에 있어서, 상기 복수의 플레이어 조건들이 만족되는지 체크하는 단계는 상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있는지를 체크하는 단계를 포함하는 것인 컴퓨터 게임 시스템 제어 방법.
  9. 제8항에 있어서, 상기 복수의 조건들은 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있는지를 체크하는 것을 포함하는 것인 컴퓨터 게임 시스템 제어 방법.
  10. 제9항에 있어서, 상기 복수의 조건들은 상기 수신된 이미지들의 스트림만을 사용하여 체크되는 것인 컴퓨터 게임 시스템 제어 방법.
  11. 제9항에 있어서, 상기 복수의 조건들은 상기 수신된 이미지들의 스트림 및 상기 수동 입력 둘 다를 사용하여 체크되는 것인 컴퓨터 게임 시스템 제어 방법.
  12. 제3항에 있어서, 상기 게임의 상태에 따라 상기 맵핑 함수의 파라미터들을 변경하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  13. 컴퓨터 게임 시스템에 있어서,
    게임의 적어도 하나의 플레이어를 묘사하는 이미지들의 스트림을 수신하도록 구성된 이미지 캡처 장치;
    상기 이미지들의 스트림을 분석함으로써 상기 플레이어의 일부 위치를 판정하도록 구성된 프로세서;
    손으로 조작되는 제어기로부터 플레이어 수동 입력을 수신하도록 구성된 입력부;
    복수의 플레이어 조건들 - 상기 조건들 중 적어도 하나의 조건은 상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있거나 또는 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있는 것임 - 이 만족되는지 체크하도록 구성된 상기 프로세서;
    컴퓨터 게임을 상기 적어도 하나의 플레이어가 보고 있는 디스플레이 - 상기 디스플레이는 적어도 하나의 아바타 및 환경을 포함함 - 에 디스플레이하도록 구성된 출력부; 및
    상기 플레이어 조건들이 만족되는 경우, 상기 판정된 플레이어 일부 위치 및 상기 제어기로부터의 수동 입력 둘 다에 기초하여 상기 아바타의 디스플레이를 제어하도록 구성된 상기 프로세서 - 상기 프로세서는 상기 플레이어 조건들이 만족되지 않을 때, 상기 제어기로부터의 수동 입력에 기초하여 상기 아바타의 디스플레이를 제어하도록 구성됨 - 를 포함하는 컴퓨터 게임 시스템.
  14. 제13항에 있어서, 상기 프로세서는 상기 플레이어의 일부 위치를 추적하고 상기 추적된 일부 위치에 기초하여 상기 아바타의 디스플레이를 제어하도록 구성된 것인 컴퓨터 게임 시스템.
  15. 제13항에 있어서, 상기 프로세서는 상기 플레이어의 일부 위치를 추적하고; 상기 플레이어의 추적된 일부 위치를 맵핑 함수를 사용하여 스크린 공간 내의 복수의 맵핑된 위치들에 맵핑하고 상기 스크린 공간 내의 맵핑된 위치들에 대해 상기 아바타의 디스플레이를 제어하도록 구성된 것인 컴퓨터 게임 시스템.
  16. 제13항에 있어서, 상기 프로세서는 상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있는지를 적어도 체크함으로써 상기 플레이어 조건들을 체크하도록 구성된 것인 컴퓨터 게임 시스템.
  17. 제16항에 있어서, 상기 복수의 조건들은 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있는지를 체크하는 것을 포함하는 것인 컴퓨터 게임 시스템.
  18. 제16항에 있어서, 상기 복수의 조건들은 상기 수신된 이미지들의 스트림만을 사용하여 체크되는 것인 컴퓨터 게임 시스템.
  19. 컴퓨터 게임 시스템을 제어하는 방법에 있어서,
    게임의 적어도 하나의 플레이어를 묘사하는 이미지들의 스트림을 이미지 캡처 장치로부터 수신하는 단계;
    상기 이미지들의 스트림을 분석함으로써 상기 플레이어의 일부의 움직임(motion)을 추적하는 단계;
    상기 플레이어에 의해 조작되는 손으로 조작되는 제어기로부터 플레이어 수동 입력을 수신하는 단계;
    컴퓨터 게임을 상기 적어도 하나의 플레이어가 보고 있는 디스플레이 - 상기 디스플레이는 적어도 하나의 아바타 및 환경을 포함함 - 에 디스플레이하는 단계;
    상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있는지와 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있는지를 체크하는 단계; 및
    상기 체크하는 단계에서 상기 플레이어의 한 손만이 상기 손으로 조작되는 제어기 상에 있고 상기 플레이어의 한 손이 상기 제어기로부터 임계 거리보다 멀리 떨어져 있다면, 상기 플레이어의 일부의 추적된 움직임 및 상기 제어기로부터의 수동 입력 둘 다에 기초하여 상기 아바타의 디스플레이를 제어하는 단계를 포함하는 컴퓨터 게임 시스템 제어 방법.
  20. 제19항에 있어서, 상기 플레이어의 일부 위치는 상기 플레이어의 신체 일부 위치이거나 상기 플레이어가 붙잡고 있는 실제 개체의 위치인 것인 컴퓨터 게임 시스템 제어 방법.
KR1020137028321A 2011-04-28 2012-04-23 수동 및 카메라 기반 아바타 제어 KR101945553B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161480089P 2011-04-28 2011-04-28
US61/480,089 2011-04-28
US13/237,714 2011-09-20
US13/237,714 US8702507B2 (en) 2011-04-28 2011-09-20 Manual and camera-based avatar control
PCT/US2012/034726 WO2012148866A2 (en) 2011-04-28 2012-04-23 Manual and camera-based avatar control

Publications (2)

Publication Number Publication Date
KR20140021619A KR20140021619A (ko) 2014-02-20
KR101945553B1 true KR101945553B1 (ko) 2019-02-07

Family

ID=47068298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137028321A KR101945553B1 (ko) 2011-04-28 2012-04-23 수동 및 카메라 기반 아바타 제어

Country Status (6)

Country Link
US (1) US8702507B2 (ko)
EP (1) EP2701816B1 (ko)
JP (1) JP6077523B2 (ko)
KR (1) KR101945553B1 (ko)
CN (1) CN103517742B (ko)
WO (1) WO2012148866A2 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9033795B2 (en) * 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
US20140135121A1 (en) * 2012-11-12 2014-05-15 Samsung Electronics Co., Ltd. Method and apparatus for providing three-dimensional characters with enhanced reality
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9415963B2 (en) 2013-01-30 2016-08-16 Fife Corporation Sensor controller for interpreting natural interaction sensor for web handling
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
JP6425416B2 (ja) * 2013-05-10 2018-11-21 国立大学法人電気通信大学 ユーザインタフェース装置およびユーザインタフェース制御プログラム
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
KR20160007913A (ko) * 2014-07-10 2016-01-21 주식회사 홍인터내셔날 다트 게임 대전 모드를 제공하는 방법, 장치 및 컴퓨터-판독가능 매체
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP6560074B2 (ja) * 2015-09-16 2019-08-14 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
WO2017079731A1 (en) 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10218882B2 (en) * 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
US10619976B2 (en) * 2017-09-15 2020-04-14 Tactacam LLC Weapon sighted camera system
JP7058034B2 (ja) * 2017-09-29 2022-04-21 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP6639561B2 (ja) * 2018-05-29 2020-02-05 株式会社コロプラ ゲームプログラム、方法、および情報処理装置
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP7165604B2 (ja) * 2019-03-06 2022-11-04 日産自動車株式会社 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
CN111790140A (zh) * 2020-07-07 2020-10-20 杭州脸脸会网络技术有限公司 互动方法、系统、计算机设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US20090209343A1 (en) 2008-02-15 2009-08-20 Eric Foxlin Motion-tracking game controller

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6697072B2 (en) 2001-03-26 2004-02-24 Intel Corporation Method and system for controlling an avatar using computer vision
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
JP2003325981A (ja) 2002-05-09 2003-11-18 Nintendo Co Ltd 多人数参加型ゲームシステムおよび多人数参加型ゲームプログラム
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7528835B2 (en) 2005-09-28 2009-05-05 The United States Of America As Represented By The Secretary Of The Navy Open-loop controller
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9205329B2 (en) 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
CA2682586A1 (en) 2007-03-30 2008-10-09 Ntn Buzztime, Inc. Video feed synchronization in an interactive environment
US8210945B2 (en) 2007-05-16 2012-07-03 Eyecue Vision Technologies Ltd. System and method for physically interactive board games
US8237656B2 (en) 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8386918B2 (en) 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US20100302253A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8830329B2 (en) 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US20090209343A1 (en) 2008-02-15 2009-08-20 Eric Foxlin Motion-tracking game controller

Also Published As

Publication number Publication date
JP6077523B2 (ja) 2017-02-08
CN103517742A (zh) 2014-01-15
WO2012148866A3 (en) 2013-01-10
US8702507B2 (en) 2014-04-22
CN103517742B (zh) 2016-05-11
EP2701816B1 (en) 2022-03-23
EP2701816A2 (en) 2014-03-05
JP2014523259A (ja) 2014-09-11
WO2012148866A2 (en) 2012-11-01
US20120276995A1 (en) 2012-11-01
EP2701816A4 (en) 2014-10-15
KR20140021619A (ko) 2014-02-20

Similar Documents

Publication Publication Date Title
KR101945553B1 (ko) 수동 및 카메라 기반 아바타 제어
US9259643B2 (en) Control of separate computer game elements
EP2701817B1 (en) Manual and camera-based game control
US9349040B2 (en) Bi-modal depth-image analysis
TWI546725B (zh) 於手勢和使用者介面元件間之延續虛擬連結技術
US8740702B2 (en) Action trigger gesturing
US8657683B2 (en) Action selection gesturing
US9821224B2 (en) Driving simulator control with virtual skeleton
JP2019535347A (ja) ゲームの制御のために制御機器のセンサを用いる方法及びシステム
US20160195940A1 (en) User-input control device toggled motion tracking
US8845431B2 (en) Shape trace gesturing
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템
Ionescu et al. A multimodal interaction method that combines gestures and physical game controllers
CN112711326A (zh) 虚拟物体操作系统及虚拟物体操作方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant