KR101922058B1 - 다중-이미지 대화형 게임 디바이스 - Google Patents

다중-이미지 대화형 게임 디바이스 Download PDF

Info

Publication number
KR101922058B1
KR101922058B1 KR1020157000143A KR20157000143A KR101922058B1 KR 101922058 B1 KR101922058 B1 KR 101922058B1 KR 1020157000143 A KR1020157000143 A KR 1020157000143A KR 20157000143 A KR20157000143 A KR 20157000143A KR 101922058 B1 KR101922058 B1 KR 101922058B1
Authority
KR
South Korea
Prior art keywords
camera
user
controller
interactive environment
images
Prior art date
Application number
KR1020157000143A
Other languages
English (en)
Other versions
KR20150024385A (ko
Inventor
안톤 미카일로브
리차드 마크스
에릭 라센
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20150024385A publication Critical patent/KR20150024385A/ko
Application granted granted Critical
Publication of KR101922058B1 publication Critical patent/KR101922058B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

이미지 캡처 디바이스는: 하우징; 하우징의 전방 표면을 따라 정의된 제1 카메라; 제1 노출 설정에서 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하도록 제1 카메라를 제어하기 위해 구성된 제1 카메라 제어기; 하우징의 전방 표면을 따라 정의된 제2 카메라; 제1 노출 설정보다 낮은 제2 노출 설정에서의 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하도록 제2 카메라를 제어하기 위해 구성된 제2 카메라 제어기를 포함하며, 제2 카메라로부터의 캡처된 이미지들은 대화형 환경에서의 조명된 오브젝트를 식별 및 추적하기 위해 분석된다.

Description

다중-이미지 대화형 게임 디바이스{MULTI-IMAGE INTERACTIVE GAMING DEVICE}
우선권 주장
본 출원은 "다중-이미지 대화형 게임 디바이스"라는 제목의 2012년 6월 4일에 출원된, 미국 가 출원 번호 제61/655,459호, "다중-이미지 대화형 게임 디바이스라는 제목의, 2013년 3월 15일에 출원된, 미국 특허 출원 번호 제13/842,573호, 및 "멀티플레이어 게임에서 제어기 쌍을 관리하는 방법" 이라는 제목의, 2013년 3월 15일에 출원된, 미국 특허 출원 번호 제13,842,872호에 대한 우선권을 주장하며, 그 각각의 개시는 여기에 참조로서 통합된다.
관련 출원
본 출원은 "게임 제어기"라는 제목의, 2012년 6월 30일에 출원된, 미국 출원 번호 제13/539,311호에 관련된다.
본 출원은 "컴퓨터 대화형 프로세싱과 함께 선택적 사운드 소스 청취" 라는 제목의, 2010년 7월 20일에 발행된, 미국 특허 번호 제7,760,248호에 관련된다.
본 출원은 "기록된 게임플레이에 기초하여 클라우드-게임을 위한 제안된 미니-게임들의 자동 생성" 이라는 제목의, 2012년 12월 21일에 출원된, 미국 가 출원 번호 제61/745,281호에 관련된다.
이들 출원들의 개시들은 모든 목적들을 위해 전체적으로 여기에 참조로서 통합된다.
발명의 분야
본 발명은 대화형 프로그램과 인터페이스하기 위한 제어기들에 관한 것이다.
비디오 게임 산업은 수년 간 많은 변화들을 보여왔다. 연산력이 확대됨에 따라, 비디오 게임들은 마찬가지로 연산력에서의 이들 증가들을 이용하는 게임 소프트웨어를 생성하여 왔다. 이를 위해, 비디오 게임 개발자들은 매우 현실적인 게임 경험을 생성하기 위해 정교한 동작들 및 계산들을 통합하는 게임들을 코딩하여 왔다.
예시적인 게임 플랫폼들은 소니 플레이스테이션(Sony Playstation)®, 소니 플레이스테이션2®(PS2), 및 소니 플레이스테이션3®(PS3)일 수 있으며, 그 각각은 게임 콘솔의 형태로 판매된다. 잘 알려진 바와 같이, 게임 콘솔은 모니터(보통 텔레비전)에 연결하며 핸드헬드 제어기들을 통해 사용자 상호작용을 가능하도록 설계된다. 핸드헬드 제어기의 일 예는 소니 컴퓨터 엔터테인먼트 인크(Sony Computer Entertainment Inc)에 의해 제조된 DUALSHOCK® 3 무선 제어기이다.
이러한 맥락에서 본 발명의 실시예들이 발생한다.
본 발명의 실시예들은 비디오 게임과 같은 대화형 애플리케이션과 인터페이싱하기 위한 시스템들 및 방법들을 제공한다. 본 발명의 여러 개의 발명의 실시예들이 이하에 설명된다.
일 실시예에서, 대화형 애플리케이션에 입력을 제공하기 위한 이미지 캡처 디바이스가 제공된다. 이미지 캡처 디바이스는: 하우징; 상기 하우징의 전방 표면을 따라 정의된 제1 카메라; 제1 노출 설정에서의 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성된 제1 카메라 제어기; 상기 하우징의 상기 전방 표면을 따라 정의된 제2 카메라; 상기 제1 노출 설정보다 낮은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경의 이미지들을 캡처하도록 상기 제2 카메라를 제어하도록 구성된 제2 카메라 제어기로서, 상기 제2 카메라로부터의 상기 캡처된 이미지들은 상기 대화형 환경에서 조명된 오브젝트를 식별 및 추적하기 위해 분석되는, 상기 제2 카메라 제어기를 포함한다.
일 실시예에서, 상기 제1 카메라로부터의 상기 캡처된 이미지들은 사용자를 식별 및 추적하기 위해 분석된다.
일 실시예에서, 상기 사용자를 식별 및 추적하는 것은 상기 사용자의 얼굴을 식별 및 추적하는 것을 포함한다.
일 실시예에서, 상기 제1 카메라 및 상기 제2 카메라는 상기 하우징의 상기 전방 표면을 따라 수평으로 정렬된다.
일 실시예에서, 상기 이미지 캡처 디바이스는 상기 대화형 환경으로부터 사운드를 캡처하기 위한 마이크로폰 어레이를 더 포함한다.
일 실시예에서, 상기 제1 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제1 노출 설정을 결정하기 위해 분석된다.
일 실시예에서, 상기 제2 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제2 노출 설정을 결정하기 위해 분석된다.
또 다른 실시예에서, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템이 제공되며, 상기 시스템은: 이미지 캡처 디바이스로서, 상기 이미지 캡처 디바이스는 제1 카메라, 제2 카메라, 제1 노출 설정에서의 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성된 제1 카메라 제어기, 및 상기 제1 노출 설정보다 작은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성된 제2 카메라 제어기를 포함한, 상기 이미지 캡처 디바이스; 상기 이미지 캡처 디바이스에 연결된 컴퓨팅 디바이스로서, 상기 컴퓨팅 디바이스는 상기 대화형 애플리케이션을 실행하도록 구성되고, 상기 컴퓨팅 디바이스는 상기 대화형 환경에서 조명된 오브젝트를 식별 및 추적하기 위해 상기 제2 카메라로부터 상기 캡처된 이미지들을 분석하도록 구성되는, 상기 컴퓨팅 디바이스를 포함한다.
일 실시예에서, 상기 컴퓨팅 디바이스는 사용자를 식별 및 추적하기 위해 상기 제1 카메라로부터의 상기 캡처된 이미지를 분석하도록 구성된다.
일 실시예에서, 상기 사용자를 식별 및 추적하는 것은 상기 사용자의 얼굴을 식별 및 추적하는 것을 포함한다.
일 실시예에서, 상기 제1 카메라 및 상기 제2 카메라는 상기 하우징의 상기 전방 표면을 따라 수평으로 정렬된다.
일 실시예에서, 상기 시스템은 상기 대화형 환경으로부터 사운드를 캡처하기 위한 마이크로폰 어레이를 더 포함한다.
일 실시예에서, 상기 제1 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제1 노출 설정을 결정하기 위해 분석된다.
일 실시예에서, 상기 제2 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제2 노출 설정을 결정하기 위해 분석된다.
또 다른 실시예에서, 다음의 방법 동작들을 포함한, 대화형 애플리케이션과의 상호작용을 위한 방법이 제공되며, 상기 방법 동작들은: 제1 노출 설정에서의 사용자 상호작용 동안 대화형 환경으로부터 이미지들을 캡처하는 단계; 상기 제1 노출 설정보다 낮은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경으로부터 이미지들을 캡처하는 단계; 상기 대화형 환경에서 조명된 오브젝트를 식별 및 추적하기 위해 상기 제2 노출 설정에서 캡처된 상기 이미지들을 분석하는 단계를 포함한다.
일 실시예에서, 상기 방법은 사용자를 식별 및 추적하기 위해 상기 제1 노출 설정에서 캡처된 상기 이미지들을 분석하는 것을 더 포함한다.
일 실시예에서, 상기 사용자를 식별 및 추적하는 것은 상기 사용자의 얼굴을 식별 및 추적하는 것을 포함한다.
일 실시예에서, 상기 방법은 AR 태그를 식별 및 추적하기 위해 상기 제1 노출 설정에서 캡처된 상기 이미지들을 분석하는 것을 더 포함한다.
일 실시예에서, 상기 방법은 상기 대화형 환경으로부터 사운드를 캡처하는 것을 더 포함한다.
일 실시예에서, 상기 방법은 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하는 것; 및 상기 제1 노출 설정 또는 상기 제2 노출 설정 중 하나 이상을 결정하기 위해 상기 사용자 상호작용 이전에 캡처된 상기 이미지들을 분석하는 것을 더 포함한다.
또 다른 실시예에서, 다음의 방법 동작들을 포함하는, 대화형 애플리케이션을 가진 멀티-플레이어 상호작용을 관리하기 위한 방법이 제공되며, 상기 방법 동작들은: 제1 제어기의 위치를 결정하는 단계; 제2 제어기의 위치를 결정하는 단계; 제1 사용자의 생체 인식 식별자의 위치를 결정하는 단계; 제2 사용자의 생체 인식 식별자의 위치를 결정하는 단계; 상기 제1 제어기의 상기 위치 및 상기 제1 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제1 사용자에 상기 제1 제어기를 짝지우는 단계; 상기 제2 제어기의 상기 위치 및 상기 제2 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제2 사용자에 상기 제2 제어기를 짝지우는 단계를 포함하며; 상기 방법은 프로세서에 의해 실행된다.
일 실시예에서, 상기 제1 제어기의 상기 위치를 결정하는 단계는 상기 제1 제어기의 조명된 부분을 식별하는 단계를 포함하며; 상기 제2 제어기의 상기 위치를 결정하는 단계는 상기 제2 제어기의 조명된 부분을 식별하는 단계를 포함한다.
일 실시예에서, 상기 제1 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제1 제어기의 상기 조명된 부분에 의해 정의된 제1 컬러를 식별하는 단계를 포함하며; 상기 제2 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제2 제어기의 상기 조명된 부분에 의해 정의된 제2 컬러를 식별하는 단계를 포함하고, 상기 제2 컬러는 상기 제1 컬러와 상이한 컬러이다.
일 실시예에서, 상기 방법은: 상기 제2 사용자에 대한 상기 제1 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 사용자에 대한 상기 제2 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 컬러로부터 상기 제2 컬러로 상기 제1 제어기의 상기 조명된 부분을 변경하는 단계; 상기 제2 컬러로부터 상기 제1 컬러로 상기 제2 제어기의 상기 조명된 부분을 변경하는 단계를 더 포함한다.
일 실시예에서, 상기 제1 사용자의 생체 인식 식별자는 상기 제1 사용자의 얼굴, 음성, 크기, 또는 지문 중 하나 이상에 의해 정의되며; 상기 제1 사용자의 생체 인식 식별자는 상기 제2 사용자의 얼굴, 음성, 크기, 또는 지문 중 하나 이상에 의해 정의된다.
일 실시예에서, 상기 제1 사용자의 생체 인식 식별자의 상기 위치를 결정하는 단계는 상기 제1 제어기의 부근을 결정하는 단계 및 상기 제1 사용자의 상기 생체 인식 식별자를 식별하기 위해 상기 제1 사용자의 부근을 탐색하는 단계를 포함하며; 상기 제2 사용자의 상기 생체 인식 식별자의 상기 위치를 결정하는 단계는 상기 제2 제어기의 부근을 결정하는 단계 및 상기 제2 사용자의 상기 생체 인식 식별자를 식별하기 위해 상기 제2 제어기의 상기 부근을 탐색하는 단계를 포함한다.
일 실시예에서, 상기 방법은 상기 대화형 애플리케이션의 분할-스크린 뷰를 제공하는 단계로서, 상기 분할-스크린 뷰는 상기 제1 사용자를 위해 정의된 제1 뷰 및 상기 제2 사용자를 위해 정의된 제2 뷰를 포함하는, 상기 분할-스크린 뷰 제공 단계를 더 포함하며; 상기 분할-스크린 뷰에서 상기 제1 뷰 및 상기 제2 뷰의 위치들은 상기 제1 제어기의 위치, 상기 제2 제어기의 위치, 상기 제1 사용자의 생체 인식 식별자의 상기 위치, 또는 상기 제2 사용자의 생체 인식 식별자 중 하나 이상에 기초하여 결정된다.
일 실시예에서, 현재 설명된 방법들 중 임의의 것이 컴퓨터 판독 가능한 매체 상에 구체화된 프로그램 지시들의 형태로 정의된다.
또 다른 실시예에서, 다음의 방법 동작들을 포함한, 대화형 애플리케이션과의 멀티-플레이어 상호작용을 관리하기 위한 방법이 제공되며, 상기 방법 동작들은: 대화형 환경의 이미지들을 캡처하는 단계; 제1 제어기의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계; 제2 제어기의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계; 제1 사용자의 생체 인식 식별자의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계; 제2 사용자의 생체 인식 식별자의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계; 상기 제1 제어기의 상기 위치 및 상기 제1 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제1 사용자에 상기 제1 제어기를 짝지우는 단계; 상기 제2 제어기의 상기 위치 및 상기 제2 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제2 사용자에 상기 제2 제어기를 짝지우는 단계를 포함하며, 상기 방법은 프로세서에 의해 실행된다.
일 실시예에서, 상기 제1 제어기의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계는 상기 제1 제어기의 조명된 부분을 식별하는 단계를 포함하며; 상기 제2 제어기의 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계는 상기 제2 제어기의 조명된 부분을 식별하는 단계를 포함한다.
일 실시예에서, 상기 제1 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제1 제어기의 상기 조명된 부분에 의해 정의된 제1 컬러를 식별하는 단계를 포함하며; 상기 제2 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제2 제어기의 상기 조명된 부분에 의해 정의된 제2 컬러를 식별하는 단계를 포함하고, 상기 제2 컬러는 상기 제1 컬러와 상이한 컬러이다.
일 실시예에서, 상기 방법은: 상기 제2 사용자에 대한 상기 제1 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 사용자에 대한 상기 제2 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 컬러로부터 상기 제2 컬러로 상기 제1 제어기의 상기 조명된 부분을 변경하는 단계; 상기 제2 컬러로부터 상기 제1 컬러로 상기 제2 제어기의 상기 조명된 부분을 변경하는 단계를 더 포함한다.
일 실시예에서, 상기 제1 사용자의 생체 인식 식별자는 상기 제1 사용자의 얼굴에 의해 정의되며, 상기 제1 사용자의 생체 인식 식별자는 상기 제2 사용자의 얼굴에 의해 정의된다.
일 실시예에서, 상기 제1 사용자의 생체 인식 식별자의 상기 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계는 상기 제1 제어기의 부근을 결정하는 단계 및 상기 제1 사용자의 생체 인식 식별자를 식별하기 위해 상기 제1 제어기의 상기 부근을 탐색하는 단계를 포함하며; 상기 제2 사용자의 생체 인식 식별자의 상기 위치를 결정하기 위해 상기 캡처된 이미지들을 분석하는 단계는 상기 제2 제어기의 부근을 결정하는 단계 및 상기 제2 사용자의 생체 인식 식별자를 식별하기 위해 상기 제2 제어기의 상기 부근을 탐색하는 단계를 포함한다.
일 실시예에서, 상기 방법은: 상기 대화형 애플리케이션의 분할-스크린 뷰를 제공하는 단계로서, 상기 분할-스크린 뷰는 상기 제1 사용자를 위해 정의된 제1 뷰 및 상기 제2 사용자를 위해 정의된 제2 뷰를 포함하는, 상기 분할-스크린 뷰 제공 단계를 더 포함하며; 상기 분할-스크린 뷰에서의 상기 제1 뷰 및 상기 제2 뷰의 위치들은 상기 제1 제어기의 상기 위치, 상기 제2 제어기의 상기 위치, 상기 제1 사용자의 생체 인식 식별자의 상기 위치, 또는 상기 제2 사용자의 상기 생체 인식 식별자 중 하나 이상에 기초하여 결정된다.
또 다른 실시예에서, 다음의 방법 동작들을 포함한, 클라우드 프로세싱 서버 상에서 실행한 대화형 애플리케이션과의 멀티-플레이어 상호작용을 관리하기 위한 방법이 제공되며, 상기 방법 동작들은: 대화형 환경으로부터 캡처된 이미지 데이터를 수신하는 단계; 제1 제어기의 위치, 제2 제어기의 위치, 제1 사용자의 생체 인식 식별자의 위치, 및 제2 사용자의 생체 인식 식별자의 위치를 결정하기 위해 상기 캡처된 이미지 데이터를 프로세싱하는 단계; 상기 제1 제어기의 상기 위치 및 상기 제1 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제1 사용자에 상기 제1 제어기를 짝지우는 단계; 상기 제2 제어기의 상기 위치 및 상기 제2 사용자의 생체 인식 식별자의 상기 위치에 기초하여 상기 제2 사용자에 상기 제2 제어기를 짝지우는 단계를 포함하며, 상기 방법은 프로세서에 의해 실행된다.
일 실시예에서, 상기 제1 제어기의 위치를 결정하는 단계는 상기 제1 제어기의 조명된 부분을 식별하기 위해 상기 캡처된 이미지 데이터를 분석하는 단계를 포함하며; 상기 제2 제어기의 위치를 결정하는 단계는 상기 제2 제어기의 조명된 부분을 식별하기 위해 상기 캡처된 이미지 데이터를 분석하는 단계를 포함한다.
일 실시예에서, 상기 제1 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제1 제어기의 상기 조명된 부분에 의해 정의된 제1 컬러를 식별하는 단계를 포함하며; 상기 제2 제어기의 상기 조명된 부분을 식별하는 단계는 상기 제2 제어기의 상기 조명된 부분에 의해 정의된 제2 컬러를 식별하는 단계를 포함하고, 상기 제2 컬러는 상기 제1 컬러와 상이한 컬러이다.
일 실시예에서, 상기 방법은 상기 제2 사용자에 대한 상기 제1 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 사용자에 대한 상기 제2 제어기의 이전 짝짓기를 결정하는 단계; 상기 제1 컬러로부터 상기 제2 컬러로 상기 제1 제어기의 상기 조명된 부분을 변경하기 위한 지시를 전송하는 단계; 상기 제2 컬러로부터 상기 제1 컬러로 상기 제2 제어기의 상기 조명된 부분을 변경하기 위한 지시를 전송하는 단계를 더 포함한다.
본 발명의 다른 양상들은 본 발명의 원리들을 예로서 예시하는, 첨부한 도면들과 함께 취해진, 다음의 상세한 설명으로부터 명백해질 것이다.
본 발명은 첨부한 도면들과 함께 취해진 다음의 설명에 대한 참조에 의해 가장 양호하게 이해될 수 있다.
도 1a는 본 발명의 실시예에 따라, 다수의 플레이어들이 비디오 게임과 상호작용하는 대화형 환경을 예시한다.
도 1b는 본 발명의 실시예에 따른, 이미지 캡처 디바이스를 예시한다.
도 1c는 본 발명의 실시예에 따른, 이미지 캡처 디바이스의 개략도이다.
도 2는 본 발명의 실시예에 따라, 고 노출 카메라에 의해 캡처된 대화형 환경의 이미지를 예시한다.
도 3은 본 발명의 실시예에 따라, 저 노출 카메라에 의해 캡처된 대화형 환경의 이미지를 예시한다.
도 4는 본 발명의 실시예에 따라, 대화형 환경에서의 애플리케이션과 상호작용하기 위한 제어기들을 동작시키는 복수의 사용자들을 예시한다.
도 5는 본 발명의 실시예에 따라, 비디오 게임과 상호작용하는 두 명의 플레이어들을 예시한다.
도 6은 본 발명의 실시예에 따라, 대화형 환경에서 모션 제어기(212)를 동작시키는 사용자를 예시한다.
도 7은 본 발명의 실시예에 따라, 디스플레이 상에서 렌더링된 대화형 애플리케이션과 상호작용하는 사용자를 예시한다.
도 8은 본 발명이 일 실시예에 따라, 비디오 게임과의 상호작용을 제공하기 위해 사용될 수 있는 하드웨어 및 사용자 인터페이스들을 예시한다.
도 9는 본 발명의 일 실시예에 따라, 지시들을 프로세싱하기 위해 사용될 수 있는 부가적인 하드웨어를 예시한다.
도 10은 본 발명의 일 실시예에 따라, 인터넷을 통해 서버 프로세싱에 연결되는 게임 클라이언트들(1102)과 상호작용하는 각각의 사용자 A 내지 사용자 E를 가진 장면 A 내지 장면 E의 대표적인 예시이다.
도 11은 정보 서비스 제공자 아키텍처의 실시예를 예시한다.
다음의 실시예들은 대화형 프로그램과 상호작용하기 위한 방법들 및 장치를 설명한다.
그러나, 본 발명은 이들 특정 세부사항들의 일부 또는 모두 없이 실시될 수 있다는 것이 이 기술분야의 숙련자에게 명백할 것이다. 다른 인스턴스들에서, 잘 알려진 프로세스 동작들은 본 발명을 불필요하게 모호하게 하지 않도록 상세히 설명되지 않는다.
도 1a는 본 발명의 실시예에 따라, 다수의 플레이어들이 비디오 게임과 상호작용하는 대화형 환경을 예시한다. 컴퓨팅 디바이스(100)는 디스플레이(102) 상에서 비디오 게임을 렌더링하기 위한 이미지 데이터 및 오디오 데이터를 제공한다. 컴퓨팅 디바이스(100)는 범용 컴퓨터, 게임 콘솔, 또는 비디오 게임의 이미지 데이터 및 오디오 데이터를 디스플레이(102)에 제공하도록 구성된 임의의 다른 유형의 디바이스일 수 있다. 비디오 게임은 컴퓨팅 디바이스(100) 상에서 실행될 수 있거나, 또는 렌더링하기 위해 및 사용자들로부터 입력을 수신 및 송신하기 위해 이미지 데이터 및 오디오 데이터를 제공하기 위한 단말기로서 동작하는 컴퓨팅 디바이스(100)를 갖고, 원격으로 실행될 수 있다. 이미지 캡처 디바이스(104)는 두 대의 카메라들: 고 노출 카메라(106), 및 저 노출 카메라(108)를 포함한다. 고 노출 카메라(106)는 대화형 환경의 많은 양의 세부사항의 캡처를 가능하게 하기 위해 설정된 노출 레벨에서 대화형 환경의 이미지들을 캡처하도록 구성된다. 대체로, 고 노출 카메라(106)의 노출 레벨은 대화형 환경으로부터의 전체 동적 범위의 광 강도에 기초하여 결정되며 세부사항의 최대 캡처를 가능하게 하기 위해 최적화될 수 있다. 반대로, 저 노출 카메라(108)는 대화형 환경의 비교적 적은 양의 세부사항을 캡처하기 위해 설정된 하위 노출 레벨에서 대화형 환경의 이미지들을 캡처하도록 구성된다. 대체로, 저 노출 카메라(108)의 노출 레벨은 또한 대화형 환경의 전체 동적 범위의 광 강도에 기초하여 결정될 수 있지만, 보다 적은 세부사항을 가진 이미지들의 캡처를 가능하게 하는 하위 레벨에서 설정된다. 저 노출 카메라(108)의 노출 레벨이 고 노출 카메라(106)의 것보다 낮은 레벨에서 설정되기 때문에, 저 노출 카메라(108)로부터의 캡처된 이미지들은 보다 낮은 광 강도를 가진 대화형 환경의 영역들로부터 보다 적은 세부사항을 제공하거나 또는 세부사항을 전혀 제공하지 않을 것이다.
도 1b는 고 노출 카메라(106) 및 저 노출 카메라(108)를 포함한, 이미지 캡처 디바이스(104)를 예시한다. 몇몇 실시예들에서, 고 노출 카메라(106)는 또한 저 노출 카메라(108)보다 높은 분해능 카메라이다. 고 노출 카메라(106) 및 저 노출 카메라(108) 양쪽 모두의 분해능은 또한 이미지 캡처 디바이스(104)의 동작 동안 설정될 수 있다. 따라서, 고 노출 카메라는 또한 보다 많은 세부사항을 캡처하며 보다 낮은 분해능을 가진 저 노출 카메라(108)에 비교하여 보다 높은 분해능을 가진 결과로서 보다 많은 양들의 데이터를 생성할 수 있다. 고 노출 카메라(106) 및 저 노출 카메라(108)는 알려진 거리만큼 서로로부터 분리될 수 있으며 입체 이미지 캡처를 가능하게 하기 위해 동시에 동작될 수 있다. 카메라들 사이에서의 거리가 알려져 있기 때문에, 3-차원 효과들이 입체 이미지 캡처에 기초하여 제공될 수 있다. 일 실시예에서, 고 노출 카메라(106) 및 저 노출 카메라(108)는 대략 6 내지 10 센티미터들의 거리만큼 서로로부터 분리된다. 다른 실시예들에서, 카메라들이 10 센티미터들 이상만큼 서로로부터 분리된다.
몇몇 실시예들에서, 고 및 저 노출 카메라들 각각은 동일한 하드웨어 능력들을 갖지만, 상이한 방식으로 동작하도록 제어될 수 있어서, 하나가 다른 것보다 높은 노출 또는 분해능을 달성하도록 한다.
부가적으로, 이미지 캡처 디바이스(104)는 마이크로폰들(109A, 109B, 109C, 및 109D)을 포함한, 마이크로폰 어레이를 포함할 수 있다. 마이크로폰 어레이는 대화형 환경으로부터 사운드를 캡처하기 위해 이용될 수 있다. 부가적으로, 마이크로폰 어레이의 마이크로폰들의 각각으로부터의 사운드는 대화형 환경에서 사운드들의 위치를 결정하기 위해 분석될 수 있다. 특정 사운드 구역들은 사운드가 캡처되는 대화형 환경 내에서 정의될 수 있다. 사운드 구역들은 여기에서의 다른 곳에 설명되는 바와 같이 상호작용의 구역들에 따라 결정될 수 있다. 예로서, 주어진 대화형 구역으로부터 캡처된 사운드는 특정 사용자와 연관되며 대화형 구역의 외부로부터 비롯된 사운드들을 제외하고 상기 사용자의 게임플레이를 위해 프로세싱될 수 있다.
도 1c는 본 발명의 실시예에 따른, 이미지 캡처 디바이스(104)의 개략도를 예시한다. 이미지 캡처 디바이스(104)는 카메라 제어기(121)에 의해 제어되는, 각각 고 및 저 노출 카메라들(106 및 108)을 포함한다. 카메라 제어기(121)는 이미지 캡처의 프레임 레이트, 셔터 속도 또는 각각의 캡처의 시간, 분해능, 어퍼처, 및 다양한 다른 이미지 캡처 특성들과 같은, 카메라들의 다양한 설정들을 제어할 수 있다. 이미지 프로세서(122)는 탑재된 이미지 프로세싱, 예로서 원 데이터 변환, 이미지 데이터 압축 또는 변환 등을 수행한다. 마이크로폰 제어기(123)는 마이크로폰들(109A-D)의 감도를 제어한다. 일 실시예에서, 마이크로폰 제어기(123)는 또한 각각의 마이크로폰의 방향을 제어한다. 오디오 프로세서(124)는 오디오 데이터의 탑재된 프로세싱, 예로서 아날로그 대 디지털 변환, 오디오 데이터 압축을 수행한다. 몇몇 실시예들에서, 오디오 프로세서(124)는 대화형 환경에서 사운드 소스들의 식별을 수행하도록 구성될 수 있거나, 또는 대화형 환경에서 하나 이상의 특정된 구역들로부터가 온 것이 아닌 사운드들을 감소 또는 제거하기 위해 마이크로폰 어레이로부터의 인입 오디오 신호들을 프로세싱하도록 구성될 수 있다.
이미지 캡처 디바이스는 CPU(124)에 동작적으로 연결되며, 이것은 게임 콘솔 또는 로컬 컴퓨팅 디바이스의 프로세서일 수 있거나, 또는 클라우드-컴퓨팅 디바이스와 같은, 원격 컴퓨팅 디바이스의 프로세서일 수 있다. CPU(124)는 여기에 설명된 원리들 및 방법들에 따른, 프로세싱 및 분석을 위한, 마이크로폰 어레이로부터의 오디오 스트림들뿐만 아니라 고 및 저 노출 카메라들의 이미지 스트림들을 수신할 수 있다.
도 2는 고 노출 카메라(106)에 의해 캡처된 대화형 환경의 이미지(130)를 예시한다. 대화형 환경에서, 모두가 이미지(130)에서 가시적인, 램프(132), 그림(134), 창(136), 카우치(138), 및 식물(140)을 포함한, 다수의 오브젝트을 보여주고 있다. 사용자(142)는 조명된 추적 피처(146)를 포함하는 제어기(144)를 동작시킨다. 사용자(142) 및 제어기(144)는 또한 캡처된 이미지(130)에서 가시적이다.
도 3은 저 노출 카메라(108)에 의해 캡처된 동일한 대화형 환경의 이미지(150)를 예시한다. 이미지(150)에서, 저 노출 카메라(108)의 노출 레벨이 고 노출 카메라(106)보다 낮기 때문에, 단지 대화형 환경에서 높은 광 강도들을 생성하는 가장 밝은 오브젝트들만이 가시적이다. 도시된 바와 같이, 이들 오브젝트들이 대화형 환경에서 가장 높은 광 강도들을 생성하기 때문에, 단지 램프(132), 창(136), 및 제어기(144)의 조명된 추적 피처(146)의 불이 켜진 부분만이 이미지(150)에서 가시적이다.
본 발명의 실시예들에 따르면, 저 노출 카메라(108)로부터의 캡처된 이미지들은 제어기(144)의 조명된 추적 피처(146)의 검출 및 추적을 위해 이용될 수 있다. 저 노출 카메라(108)로부터의 이미지들이 고 노출 카메라(106)로부터의 것들보다 낮은 노출 설정에서 캡처되기 때문에, 그것들은 대부분의 상황들에서, 동일한 대화형 환경의 고 노출 카메라에 의해 캡처된 이미지들보다 적은 데이터를 가진다. 따라서, 조명된 추적 피처(146)가 저 노출 카메라(108)로부터의 캡처된 이미지들에서 검출되기에 충분히 밝다고(충분히 높은 광 강도를 생성하는) 가정하면, 그 후 이들 이미지들의 분석에 기초한 조명된 추적 피처의 검출 및 추적은 보다 높은 노출 이미지들의 분석에 기초하여 요구될 것보다 적은 프로세싱을 요구한다.
또한, 본 발명의 실시예들에 따르면, 저 노출 카메라(108)는 고 노출 카메라(106)의 것보다 작은 어퍼처를 이용할 수 있으며, 그에 의해 고 노출 카메라(106)의 보다 큰 애퍼처를 갖고 가능한 것보다 더 넓은 범위의 깊이에 걸쳐 보다 급격한 깊이의 필드를 제공한다. 이것은 제어기(144)의 추적 피처(146)의 정확한 검출 및 추적을 추가로 강화하여, 보다 큰 애퍼처를 이용하여 캡처된 상위 노출 이미지들의 분석으로부터 획득될 깊이 검출의 특히 개선된 정확도를 제공한다.
저 노출 카메라(108)로부터의 캡처된 이미지들의 분석에 기초한 조명된 추적 피처(146)의 검출 및 추적을 위해, 조명된 추적 피처(146)가 대화형 환경에서의 가장 밝은 오브젝트들 중 보다 밝은 것 중에 있는 것이 바람직하다는 것이 이해될 것이다. 이것이 그 경우임을 보장하기 위해, 일 실시예에서, 전체 동적 범위의 대화형 환경이 결정되며, 조명된 추적 피처(146)의 광 강도는 그 후 대화형 환경에서 보다 밝은 또는 가장 밝은 오브젝트들 중에 있도록 조정된다. 조명된 추적 피처(146)의 광 강도가 대화형 환경에서 가장 밝은 오브젝트이도록 조정된다면, 저 노출 카메라(108)의 노출 설정은 저 노출 카메라(108)에 의해 캡처된 이미지들로부터의 대화형 환경의 나머지를 제거하는 값으로 설정될 수 있으며, 그에 의해 조명된 추적 피처(146)가 근본적으로 이러한 이미지들에서 유일한 검출 가능한 오브젝트이기 때문에, 이러한 이미지들에 기초하여 조명된 추적 피처(146)의 검출 및 추적의 프로세스를 간소화한다.
그러나, 대화형 환경에서 가장 밝은 오브젝트가 되도록 예를 들면, 대화형 환경에서 사용자들 또는 다른 것들로 분산되지 않도록 또는 시각적으로 제자리에 있지 않은 것처럼 보이도록, 조명된 추적 피처(146)를 설정하지 않는 것이 또한 바람직할 수 있다. 따라서, 다양한 실시예들에서, 조명된 추적 피처(146)의 광 강도 레벨은 전체 동적 범위의 대화형 환경의 최고 값과 동일(즉, 대화형 환경에서의 가장 밝은 오브젝트(들)와 동일한)하도록 정의될 수 있다. 또 다른 실시예에서, 조명된 추적 피처(146)의 광 강도 레벨은 동적 범위의 상단의 특정한 부분 내에, 예로서, 대화형 환경의 동적 범위의 최상위 n% 내에 있도록 설정될 수 있다. 몇몇 실시예들에서, 조명된 추적 피처(108)의 광 강도 레벨은 대화형 환경을 위한 중앙 광 강도 값들에 기초하여 설정될 수 있으며, 따라서 조명된 추적 피처는 대화형 환경의 최고 광 강도 값들 중에서 광 강도를 가진다.
몇몇 실시예들에서, 전체 동적 범위의 대화형 환경에 대하여 조명된 추적 피처(108)의 광 강도 값은 대화형 환경의 광 강도 특성들에 기초하여 설정될 수 있다. 예를 들면, 일 실시예에서, 대화형 환경의 전체 주위 조명 상태들이 낮은 것으로 결정된다면, 조명된 추적 피처(108)의 광 강도는 대화형 환경으로부터 검출된 최대 광 강도보다 낮도록 설정된다. 반면에 대화형 환경의 전체 주위 조명 상태들이 높은 것으로 결정된다면, 조명된 추적 피처(108)의 광 강도는 대화형 환경으로부터의 최대 검출된 광 강도보다 크거나 또는 같도록 설정된다. 이것이 가능하지 않다면, 조명된 추적 피처의 광 강도는 그것의 최대 가능한 값으로 설정된다. 이러한 방식으로, 낮은 주위 조명 상태들이 검출될 때, 조명된 추적 피처(108)의 광 강도는 그 외 낮은 주위 광 환경에서 시각적으로 분산시키지 않도록 조정된다. 반면에, 높은 주위 조명 상태들이 검출될 때, 그 후 조명된 추적 피처(108)의 광 강도는 높은 주위 조명 상태들 하에서, 밝은 오브젝트가 덜 거슬리는 것으로서 지각될 수 있기 때문에 전체 대화형 환경에 대하여 더 밝게 조정된다.
도 4는 본 발명의 실시예에 따라, 대화형 환경에서의 애플리케이션과 상호작용하기 위한 제어기들을 동작시키는 복수의 사용자들을 예시한다. 예시된 장면에서, 사용자(110)는 조명된 추적 피처(164)를 가진 제어기(116)를 동작시키고; 사용자(112)는 조명된 추적 피처(174)를 가진 제어기(118)를 동작시키며 사용자(114)는 조명된 추적 피처(184)를 가진 제어기(120)를 동작시킨다. 여기에 설명된 원리들에 따르면, 대화형 환경의 이미지들은 고 노출 카메라(106) 및 저 노출 카메라(108)에 의해 캡처된다. 제어기들의 예들은 소니 컴퓨터 엔터테인먼트에 의해 제조된 플레이스테이션 무브 모션 제어기와 같은 모션 제어기들을 포함한다.
일 실시예에서, 고 노출 카메라(106)로부터의 대화형 환경의 캡처된 이미지들은 플레이어들의 위치들을 결정하기 위해 분석된다. 보다 구체적으로, 캡처된 이미지들은 사용자들의 얼굴들을 포함하는 안면 영역들을 결정하기 위해 분석될 수 있다. 예시된 실시예에서, 안면 영역(166)은 사용자(110)의 얼굴을 포함하고; 안면 영역(176)은 사용자(112)의 얼굴을 포함하며, 안면 영역(186)은 사용자(114)의 얼굴을 포함한다. 식별된 안면 영역들은 고 노출 카메라(106)로부터의 캡처된 이미지들의 분석에 기초하여 추적될 수 있다. 예시된 안면 영역들은 단지 예로서 도시되며, 이용된 안면 인식 방법들의 세부 사항들에 따라 다양한 형태들 및 크기들을 가질 수 있다는 것이 이해될 것이다. 안면 영역들은 사용자의 전체 머리를 포함할 수 있거나, 또는 단지 사용자의 머리의 선택된 특징들, 예로서, 눈들, 코, 및 입을 포함하지만, 사용자의 얼굴 및 머리의 다른 특징들을 제외하는 영역만을 포함할 수 있다.
저 노출 카메라(108)로부터의 대화형 환경의 캡처된 이미지들은 제어기들의 조명된 추적 피처들의 배향 및 3-차원 위치, 및 결과적으로 제어기들 스스로의 위치를 검출하기 위해 분석된다. 대체로, 캡처된 이미지들에서 조명된 추적 피처의 배향 및 크기는 대화형 환경 내에서의 그것의 배향 및 위치, 및 결과적으로 조명된 추적 피처가 연관되는 제어기의 배향 및 위치를 결정하기 위해 분석될 수 있다. 조명된 추적 피처들(164, 174, 및 184)은 저 노출 카메라(108)를 통해 그것들의 식별 및 추적을 용이하게 하기 위해 상이한 컬러, 패턴, 또는 다른 구별 특성을 디스플레이하도록 구성될 수 있다.
몇몇 실시예들에서, 각각의 제어기는 애플리케이션에 정확한 대화형 입력을 제공하기 위해 특정한 사용자와 연관되거나 또는 짝을 이루게 된다. 예를 들면, 멀티-플레이어 비디오 게임에서, 여러 명의 사용자들이 있을 수 있으며, 그 각각은 비디오 게임에서 연관된 캐릭터, 아바타, 오브젝트 또는 다른 대표적인 엔티티에 의해 비디오 게임에 표현된다. 많은 이러한 비디오 게임들에서, 각각의 사용자는 그것들의 대표적인 엔티티를 제어할 책임이 있으며, 따라서 각각의 제어기는 특정한 사용자와 연관된다. 사용자와 제어기를 연관시키는 종래의 방법들은 일반적으로 종종 실제 게임플레이를 지연시키는 엄격한 절차들에 대한 고수를 요구하는, 다루기 힘든 메뉴들 및 절차들을 통해 선택들을 신중하게 표시하도록 사용자들에게 요구하였다. 그러나, 여기에 설명된 원리들에 따르면, 상당히 덜 거슬리는 방법들이 사용자들과 제어기들을 연관시키기 위해 이용될 수 있다.
일 실시예에서, 각각의 제어기는 고유 컬러와 같은, 고유 특성을 디스플레이하는 그것의 조명된 추적 피처를 갖도록 구성된다. 이에 기초하여, 각각의 제어기는 저 노출 카메라에 의해 캡처된 이미지들의 분석에 기초하여 식별된다. 예로서 도 4를 참조하면, 제어기(116)가 조명된 추적 피처(164)의 검출에 기초하여 식별될 때, 제어기에 인접한 안면 탐색 영역(168)이 정의되며, 그것 내에서 안면 인식 프로세스가 적용된다. 안면 탐색 영역(168)은 제어기가 상호작용을 위해 사용자에 의해 동작된다면 사용자의 얼굴이 존재하는 것으로 타당하게 예상될 수 있는 대화형 환경의 영역으로서 정의된다. 안면 탐색 영역은 예로서, 제어기로부터의 미리 정의된 거리 또는 제어기에 대하여 배향된 미리 정의된 영역 형태에 기초하여 결정될 수 있다. 예시된 실시예에서, 안면 탐색 영역(168)으로의 안면 인식 프로세스의 적용은 사용자(110)의 얼굴을 포함한 안면 영역(166)의 식별을 야기한다. 사용자(110)의 식별된 얼굴은 그러므로 제어기(116)와 연관된다. 유사한 방식으로, 제어기들(118 및 120)은 각각 그것들의 조명된 추적 피처들(174 및 184)에 기초하여 식별될 수 있다. 안면 탐색 영역들(178 및 188)은 그 후 각각 제어기들(118 및 120)에 대해 정의된다. 이들 안면 탐색 영역들에 안면 인식 프로세스를 적용하는 것은 사용자(112)의 안면 영역(176) 및 사용자(114)의 안면 영역(186)을 식별한다. 그러므로, 사용자(112)의 안면 영역(176)은 제어기(118)와 연관되며 안면 영역(186)은 사용자(114)와 연관된다. 현재 설명된 방법의 적용은 어두운 환경들에서 제어기 및 사용자들의 식별 및 연관을 개선할 수 있다. 사용자들의 얼굴들에 대한 전체 캡처된 영역을 탐색하는 대신에, 제한된 탐색 영역들이 먼저 제어기 위치들의 식별에 기초하여 탐색하기 위해 식별된다. 또한, 사용자들이 시간에 걸쳐 이동함에 따라, 그것들의 안면 영역들 및 그것들의 연관된 제어기들이 추적될 수 있다.
또 다른 실시예에서, 사용자들 및 제어기들의 얼굴들 각각의 대화형 환경에서 식별되며, 얼굴들은 고 노출 카메라로부터 캡처된 이미지들로의 안면 인식 프로세스의 적용에 기초하여 식별되며, 제어기들은 저 노출 카메라로부터의 캡처된 이미지들의 분석에 기초하여 식별된다. 각각의 제어기 또는 식별된 얼굴에 대해, 대응하는 가장 가까운 식별된 얼굴 또는 제어기가 그것과 연관된다. 일 실시예에서, 식별된 얼굴과 제어기의 연관은 제어기 및 얼굴이 미리 결정된 거리 이상만큼 분리되지 않는다면 발생할 수 있다. 다른 실시예들에서, 두 개의 얼굴들이 주어진 제어기로부터 등거리일 때, 그 후 주어진 제어기에 길이 방향으로 더 가까운 얼굴이 선호될 수 있다. 또는 다른 제어기들 및 얼굴들이 먼저 주어진 제어기를 연관시키기 전에 연관될 수 있으며, 따라서 다른 얼굴들이 고려사항으로부터 제거될 수 있다.
현재 설명된 방법들에 따르면, 제어기의 부근 내에서 발견되지 않은 얼굴들은 제어기와 연관되지 않는다는 것이 이해될 것이다. 그리고 어떤 얼굴도 그것에 근접하여 식별되지 않는 제어기는 임의의 사용자의 얼굴과 연관되지 않는다. 따라서, 사용 중이지 않은 비디오 게임 또는 제어기들에 참여하지 않는 사용자들은 비디오 게임과의 상호작용을 위해 연관되거나 또는 부적절하게 활성화되지 않는다.
일 실시예에서, 각각의 사용자의 얼굴의 프로필 사진이 저장된다. 주어진 사용자의 프로파일 사진은 고 노출 카메라(108)에 의해 취해진 후속 캡처된 이미지들에서의 사용자를 인식하기 위해 이용된다. 각각의 제어기는, 상기 표시된 바와 같이, 그것의 조명된 추적 피처를 통해 상이한 컬러와 같은 상이한 특성을 디스플레이하도록 구성된다. 얼굴이 대화형 환경에서 검출되는 각각의 사용자에 대해, 가장 가까운 식별 제어기가 상기 사용자에 할당된다. 따라서, 계속해서 도 4를 참조하면, 사용자(110)는 안면 영역(166)의 안면 인식에 기초하여 식별되며, 제어기(116)는 예를 들면, 조명된 추적 피처(164)에 의해 디스플레이된 고유 컬러에 기초하여 식별된다. 그 후, 사용자(110)에게 가장 가까운 식별 제어기인, 제어기(116)는 대화형 애플리케이션과의 상호작용을 위해 사용자(110)와 연관된다. 유사한 방식으로, 제어기들(118 및 120)의 각각은 각각 그것들의 조명된 추적 피처들(174 및 184)을 갖도록, 고유 컬러들을 디스플레이하도록 구성된다. 그 후, 안면 영역들(176 및 186)의 안면 인식에 기초하여, 사용자들(112 및 114)이 식별된다. 식별된 제어기(118)는 그 후 그것이 사용자(112)에게 가장 가까운 제어기인 것으로 결정되기 때문에 사용자(112)와 연관되는 반면, 제어기(120)는 그것이 사용자(114)에게 가장 가까운 제어기인 것으로 결정되기 때문에 사용자(114)와 연관된다.
다양한 실시예들에서, 어떤 제어기를 어떤 사용자와 연관시킬지를 결정하는 방법은 다양한 기술들을 이용할 수 있다. 예를 들면, "가장 가까운" 제어기는 사용자에 대하 제어기의 예상된 위치를 결정 또는 추정하기 위해, 안면 인식에 관련하여 몸체 인식에 부분적으로 기초하여 결정될 수 있다. 예상된 위치는 예를 들면, 사용자의 중간부의 부근에 있는 사용자의 대략 앞에 있는 영역일 수 있다. 사용자의 팔들 또는 다른 몸체 특징들의 인식은 제어기 연관 프로세스의 정확도를 강화할 수 있다.
특정한 사용자와 특정한 제어기를 적절히 연관시키고/할당하기 위해 안면 인식 및 제어기 인식을 이용함으로써, 다루기 힘든 초기화 절차들이 회피된다. 더욱이, 사용자들이 몇몇 이유로 제어기들을 스위칭한다면(예로서, 사용자들이 게임으로부터 잠시 휴식을 취하고 나중에 게임을 재개하지만, 프로세스에서 제어기들을 스위칭한다), 정확한 제어기는 추가의 사용자 입력을 요구하지 않고 적절한 사용자에 빨리 할당될 수 있다. 따라서, 일 실시예에서, 제어기 할당 프로세스는 대화형 비디오 게임의 개시뿐만 아니라 또한 상호 작용성에서의 다음의 휴식들 또는 휴지들 동안 실행된다. 이것은 예를 들면, 사용자가 잠시 멈추며 게임플레이를 재개할 때, 비디오 게임이 섹션들 또는 레벨들, 또는 사용자들이 제어기들을 스위칭할 수 있을 때의 임의의 다른 휴식 또는 시간 기간 사이에서 전이할 때 발생할 수 있다.
또 다른 실시예에 따르면, 특정한 대화형 비디오 게임들에서, 플레이어들은 게임플레이의 특정 대화형 구역들에 할당될 수 있다. 예로서, 각각의 대화형 구역은 대화형 구역에서 검출된 사용자 상호작용 을 통해 제어되는 특정한 캐릭터 또는 엔티티에 대응할 수 있다. 그러나, 사용자들이 구역들을 스위칭한다면, 특정한 사용자 및 그/그녀의 엔티티 사이에서의 대응은 깨어질 수 있다. 그러므로, 여기에 설명된 원리들에 따르면, 사용자의 얼굴 및 제어기가 특정 대화형 구역에서 인식될 때, 그 후 상기 대화형 구역은 사용자 및 제어기와 연관될 수 있다. 사용자가 구역들 또는 제어기들을 스위칭한다면, 사용자들에게로의 대화형 구역들 및 제어기들의 할당은 사용자의 얼굴들 및 제어기들의 업데이트된 검출에 기초하여 스위칭될 수 있다.
여기에 설명된 바와 같이 제어기 추적과 조합하여 안면 인식을 이용하는 것은 부가적인 기능 및 이득들을 제공할 수 있다. 예를 들면, 계속해서 도 4를 참조하면, 제어기 대화형 구역(168)이 사용자(110)에 대해 결정될 수 있다. 제어기 대화형 구역(168)은 사용자(110)에 할당된 제어기(116)가 위치되는 것으로 예상될 수 있는 대화형 환경의 영역이다. 제어기 대화형 구역(168)은 예로서, 사용자(110)의 팔 뻗기 또는 다른 인자들의 추정에 기초하여, 결정될 수 있다. 예시된 실시예에서, 제어기 대화형 구역들(178 및 188)은 각각 사용자들(112 및 114)을 위해 결정된다.
본 발명의 실시예들이 따라서 특정 사용자들과 짝을 이루는 제어기에 대한 기초로서 안면 인식을 참조하여 설명되었지만, 다른 실시예들에서, 다른 형태들의 생체 인식 식별이 대체되거나 또는 안면 인식과 조합하여 이용될 수 있다는 것이 이 기술분야의 숙련자들에 의해 이해될 것이다. 다른 생체 인식 식별자들은 사람의 음성, 사람 크기 또는 무게, 지문 등의 식별을 포함할 수 있다. 일 실시예에서, 사용자의 음성은 그들의 이름과 같은 무언가를 말하도록 사용자에게 요청하며, 사용자를 식별하기 위해 저장된 사용자 스피치 프로필에 대하여 기록된 스피치를 분석함으로써 식별될 수 있다. 이에 관련하여, 사용자의 스피치 프로필은 사용자로 하여금 텍스트의 미리 정의된 부분을 읽게 함으로써 생성될 수 있다. 또 다른 실시예에서, 사용자의 지문은 사용자로 하여금 그들의 제어기 디바이스의 터치 민감 부분 상에 그들의 손가락을 위치시키며, 사용자에 대해 이전 저장된 것에 획득된 지문을 매칭시킴으로써 획득될 수 있다.
여기에서 논의된 바와 같이, 다양한 제어기들의 조명된 부분들은 대화형 환경으로부터의 캡처된 이미지들의 분석에 기초하여 그것들의 식별을 용이하게 하는 상이한 컬러들을 갖도록 구성될 수 있다. 게임플레이의 과정 동안, 사용자들의 그룹은 그들의 게임플레이를 잠시 멈추며 그들의 제어기들을 내려놓을 수 있으며, 그들이 돌아올 때, 그것들의 일부 또는 모두는 그들의 게임플레이를 잠시 멈추기 전에 그들이 사용한 것들과 상이한 제어기들을 집을 수 있다. 그러나, 상이한 제어기들을 집음에도 불구하고, 이러한 컬러가 또한 그것들의 게임플레이와 연관될 수 있기 때문에, 사용자들의 각각에 대해 그것들의 제어기와 연관된 동일한 컬러를 갖는 것이 여전히 바람직할 수 있다. 그러므로, 일 실시예에서, 제어기가 사용자와 짝을 이룰 때, 게임플레이 세션 동안 이전 짝짓기가 존재하는지 여부 및 그것이 현재 결정된 짝짓기와 일치하는지 여부가 결정된다. 사용자의 이전 제어기 짝짓기 및 그것들의 현재 제어기 짝짓기 사이에서 불일치가 검출된다면, 일 실시예에서, 일단 모든 나머지 제어기들이 그것들의 각각의 사용자들과 짝을 이룬다면, 그 후 사용자의 제어기 컬러는 사용자가 게임플레이를 잠시 멈추기 전에 동작시켰던 제어기에 의해 보여지는 이전 컬러로 변경된다.
간단한 2-플레이어 예가 상기 설명된 개념을 예시하도록 작용할 것이다. 예를 들면, 제1 플레이어가 적색 컬러를 갖도록 조명된 일 부분을 가진 제1 제어기를 동작시키며, 제2 플레이어는 청색 컬러를 갖도록 조명된 일 부분을 가진 제2 제어기를 동작시킨다고 가정한다. 이전에 설명된 바와 같이 생체 인식 식별과 조합하여 제어기 식별에 기초하여 제1 제어기는 제1 플레이어와 짝을 이루며 제2 제어기는 제2 플레이와 짝을 이루게 된다. 부가적으로, 플레이되는 비디오 게임에서, 적색 컬러는 제1 플레이어와 연관되며 청색 컬러는 제2 플레이어와 연관된다. 이러한 컬러 연관은 그것들의 제어기 및 그것들이 제어하는 비디오 게임의 요소들 사이에서의 관계를 이해하기 위해 플레이어들에 대한 직관적 메커니즘을 제공한다. 예로서, 제1 사용자에 의해 제어된 아바타 또는 캐릭터는 그것이 제1 제어기(조명된 적색)에 의해 제어됨을 표시하는 적색 컬러링된 마커를 특징으로 삼을 수 있는 반면, 제2 사용자에 의해 제어된 아바타 또는 캐릭터는 그것이 제2 제어기(조명된 청색)에 의해 제어됨을 표시하는 청색 컬러링된 마커를 특징으로 삼을 수 있다.
그러나, 제1 플레이어 및 제2 플레이어가 어떻게든 제어기들을 스위칭한다면(예로서, 게임플레이로부터 휴식을 취하며 나중에 리턴한 후), 짝짓기 프로세스는 어떤 제어기가 어떤 사용자와 짝을 이룰지를 결정하기 위해 반복될 수 있다. 이러한 경우에, 청색 제어기는 이제 제1 사용자와 짝이 이루어지며 적색 제어기는 제2 사용자와 짝이 이루어지지 않는다. 사용자들에 대한 컬러들의 이러한 연관은 이전 연관과 일치하지 않기 때문에, 일단 제어기들이 어떤 제어기가 어떤 사용자에 의해 동작되는지를 식별하는 의미에서 사용자들과 짝이 이루어진다면, 그 후 제어기들에 의해 보여지는 컬러들은 사용자들에 대한 컬러들의 이전 연관과 일치하도록 변경될 수 있다. 이러한 경우에, 제2 제어기(이제 제1 사용자에 의해 동작된)의 컬러는 청색에서 적색으로 변경되어, 제1 사용자를 적색 컬러링된 제어기로 회복시키며; 제1 제어기(이제 제2 사용자에 의해 동작된)의 컬러는 적색에서 청색으로 변경되어, 제2 사용자를 청색 컬러링된 제어기로 회복시킨다.
도 5는 본 발명의 실시예에 따라, 비디오 게임과 상호작용하는 두 명의 플레이어들을 예시한다. 예시된 실시예에서, 플레이어들(190 및 192)은 각각 제어기들(194 및 196)을 동작시킨다. 비디오 게임은 분할-스크린 모드로 디스플레이(102) 상에서 렌더링된다. 시청의 용이함을 위해, 사용자(190)가 대화형 환경에서 좌측 상에 위치되고 사용자(192)가 우측 상에 위치됨에 따라, 비디오 게임 뷰들은 사용자(190)를 위한 비디오 게임 뷰가 디스플레이(102)의 좌측 부분(198) 상에 렌더링되며 사용자(192)의 비디오 게임 뷰가 디스플레이(102)의 우측 부분(200) 상에 렌더링되도록 분할-스크린 모드에서 할당된다. 그러나, 사용자들(190, 192)이 장소들을 스위칭한다면, 제어기 인식 또는 안면 인식에 기초하여, 사용자들이 장소들을 스위칭하였다고 결정될 수 있으며, 비디오 게임 뷰들이 분할-스크린의 반대 측면에 재할당될 수 있다. 따라서, 사용자들(190 및 192)이 장소들을 스위칭할 때, 그들의 얼굴들 또는 제어기들이 검출되며 인식되고, 사용자(192)를 위한 비디오 게임 뷰가 이제 좌측 부분(198) 상에 도시되는 반면, 사용자(190)를 위한 비디오 게임 뷰가 우측 부분(200) 상에 도시된다. 앞서 말한 실시예가 대응하는 좌측 및 우측 분할 스크린 부분들을 가진 두 명의 사용자들에 대하여 설명되었지만, 본 발명의 실시예들에 따라 서로에 할당될 수 있는, 임의의 수의 사용자들 및 대응하는 분할 스크린 부분들이 있다는 것이 이 기술분야의 숙련자들에 의해 이해될 것이다.
도 6은 본 발명의 실시예에 따라, 대화형 환경에서 모션 제어기(212)를 동작시키는 사용자(210)를 예시한다. 모션 제어기(212)는 이미지 캡처 디바이스(104)의 저 노출 카메라(108)에 의해 캡처된 이미지들의 분석에 기초하여 추적되는 조명된 추적 피처(214)를 포함한다. 부가적으로, 사용자(210)는 증강 현실(AR) 태그(216)를 유지하고 있다. AR 태그는 이미지 캡처 디바이스(104)의 고 노출 카메라(106)로부터 캡처된 이미지들의 분석에 기초하여 식별되고 추적된다. 일 실시예에서, AR 태그는 디스플레이(102) 상에 디스플레이된 사용자의 비디오에서의 오브젝트(218)로 교체된다. 제어기(212)는 디스플레이된 비디오에서의 오브젝트(220)로 교체된다. 상이한 노출 레벨들 및/또는 분해능들에서 동작하도록 구성된 두 대의 카메라들의 애플리케이션은 조명된 추적 피처들 및 AR 태그들의 동시 식별 및 추적을 가능하게 한다. AR 태그들 외에, 다양한 다른 증강 현실 방법들이 이미지 캡처 디바이스(104)의 고 노출 카메라(106)로부터의 캡처된 이미지들의 분석에 기초하여 적용될 수 있다는 것이 이해될 것이다. 이것은 강화된 사용자 상호작용 경험을 제공하기 위해 조명된 추적 피처의 동시 추적과 조합될 수 있다.
도 7은 본 발명의 실시예에 따라, 디스플레이(102) 상에서 렌더링된 대화형 애플리케이션과 상호작용하는 사용자(210)를 예시한다. 제어기(212)는 본 개시의 다른 곳에서 설명된 방법들 및 원리들에 따라, 사용자(210)와 연관된다. 일 실시예에서, 제스처 영역(230)은 사용자(210)를 위해 식별된다. 제스처 영역(230)은 대화형 애플리케이션과의 상호작용을 위해 사용자(210)에 의한 제스처들을 검출하기 위해 분석된다. 일 실시예에서, 제스처 검출은 고 노출 카메라로부터의 캡처된 이미지들의 분석에 기초하는 반면, 제어기(212)의 추적은 설명되는 바와 같이 저 노출 카메라로부터 캡처된 이미지들의 분석에 기초한다. 제스처 영역은 제어기의 위치에 인접한 영역인 것으로 결정될 수 있다. 일 실시예에서, 제스처 영역은 제어기를 유지하는 사용자의 손을 식별하며 제어기에 인접한 영역을 식별함으로써 결정되지만, 사용자의 비-제어기 유지 손이 위치되는 제어기의 측면 상에서의 포인트가 중심이 된다. 또 다른 실시예에서, 제스처 영역은, 사용자가 사용자의 양쪽 손들에 의해 유지되도록 설계된 제어기를 동작시킬 때 사용자가 이러한 영역에서 제스처할 수 있기 때문에, 제어기의 측면들 위 및 또는 그것으로의 영역으로서 정의된다.
몇몇 실시예들에서, 주지된 바와 같이, 이미지 캡처 디바이스(104)는 조명된 오브젝트의 고 충실도 추적 및 고 품질 이미지 캡처를 달성하기 위해 상이한 방식들로 동작되는 두 대의 카메라들을 포함할 수 있다. 두 대의 카메라들은 하나가 보다 높은 분해능 및 노출에서 고 품질 이미지들을 생성하는 반면, 다른 것이 보다 낮은 분해능 및 노출에서 저 품질 이미지들을 생성하도록 동작될 수 있다. 더욱이, 카메라들의 각각의 개개의 프레임레이트들은 상이할 수 있다. 예로서, 고 품질 카메라는 보다 높은 노출을 달성하기 위해 보다 긴 노출 시간들을 요구할 수 있으며, 그러므로 보다 낮은 프레임레이트를 필요하게 만든다. 반면에 저 품질 카메라가 비교적 더 낮은 노출을 달성하기 위해 보다 짧은 노출 시간들을 요구할 수 있고, 그러므로 추적 목적들을 위해 유리한 보다 빠른 프레임레이트를 제공한다.
도 8은 본 발명이 일 실시예에 따라, 비디오 게임과의 상호작용을 제공하기 위해 사용될 수 있는 하드웨어 및 사용자 인터페이스들을 예시한다. 도 8은 소니®플레이스테이션 3® 엔터테인먼트 디바이스의 전체 시스템 아키텍처, 즉 본 발명의 실시예들에 따른 기본 컴퓨팅 디바이스에서 실행하는 컴퓨터 프로그램을 갖고 제어 디바이스를 인터페이스하기 위해 호환 가능할 수 있는 콘솔을 개략적으로 예시한다. 시스템 유닛(700)은, 시스템 유닛(700)에 연결 가능한 다양한 주변 디바이스들을 갖고, 제공된다. 시스템 유닛(700)은: 셀 프로세서(728); 램버스® 동적 랜덤 액세스 메모리(XDRAM) 유닛(726); 전용 비디오 랜덤 액세스 메모리(VRAM) 유닛(732)을 가진 현실 신시사이저 그래픽스 유닛(730); 및 I/O 브리지(734)를 포함한다. 시스템 유닛(700)은 또한 I/O 브리지(734)를 통해 액세스 가능한 디스크(740a)로부터 판독하기 위한 블루 레이® 디스크 BD-ROM® 광 디스크 판독기(740) 및 착탈 가능한 슬롯-인 하드 디스크 드라이브(HDD)(736)를 포함한다. 선택적으로 시스템 유닛(700)은 또한 유사하게 I/O 브리지(734)를 통해 액세스 가능한 콤팩트 플래시 메모리 카드들, 메모리 스틱® 메모리 카드들 등을 판독하기 위한 메모리 카드 판독기(738)를 포함한다.
I/O 브리지(734)는 또한 6개의 범용 직렬 버스(USB) 2.0 포트들(724); 기가비트 이더넷 포트(722); IEEE 802.11b/g 무선 네트워크(Wi-Fi) 포트(720); 및 7개까지의 블루투스 연결들을 지원할 수 있는 블루투스® 무선 링크 포트(718)에 연결한다.
동작 중에, I/O 브리지(734)는 하나 이상의 게임 제어기들(702 내지 703)로부터의 데이터를 포함한, 모든 무선, USB 및 이더넷 데이터를 핸들링한다. 예를 들면 사용자가 게임을 플레이할 때, I/O 브리지(734)는 블루투스 링크를 통해 게임 제어기(702 내지 703)로부터 데이터를 수신하며 그에 따라 게임의 현재 상태를 업데이트하는 셀 프로세스(728)로 그것을 전달한다.
무선, USB 및 이더넷 포트들은 또한 원격 제어(704); 키보드(706); 마우스(708); 소니 플레이스테이션 포터블® 엔터테인먼트 디바이스와 같은 휴대용 엔터테인먼트 디바이스(710); 아이토이(EyeToy)® 비디오 카메라(712)와 같은 비디오 카메라; 마이크로폰 헤드셋(714); 및 마이크로폰(715)과 같은, 게임 제어기들(702 내지 703) 이외에 다른 주변 디바이스들을 위한 연결성을 제공한다. 이러한 주변 디바이스들은 그러므로 원칙적으로 무선으로 시스템 유닛(700)에 연결될 수 있으며; 예를 들면, 휴대용 엔터테인먼트 디바이스(710)는 Wi-Fi 애드-혹 연결을 통해 통신할 수 있는 반면에, 마이크로폰 헤드셋(714)은 블루투스 링크를 통해 통신할 수 있다.
이들 인터페이스들의 제공은 플레이스테이션 3 디바이스가 또한 디지털 비디오 레코더들(DVR들), 셋-탑 박스들, 디지털 카메라들, 휴대용 미디어 플레이어들, VoIP(Voice over IP) 전화기들, 이동 전화기들, 프린터들 및 스캐너들과 같은 다른 주변 디바이스들과 잠재적으로 호환 가능하다는 것을 의미한다.
또한, 레거시 메모리 카드 판독기(716)는 USB 포트(724)를 통해 시스템 유닛에 연결될 수 있어서, 플레이스테이션® 또는 플레이스테이션 2® 디바이스들에 의해 사용된 종류의 메모리 카드들(748)의 판독을 가능하게 한다.
게임 제어기들(702 내지 703)은 블루투스 링크를 통해 시스템 유닛(700)과 무선으로 통신하거나, 또는 USB 포트에 연결되도록 동작 가능하며, 그에 의해 게임 제어기들(702 내지 703)의 배터리를 충전하는 전력을 또한 제공한다. 게임 제어기들(702 내지 703)은 또한 메모리, 프로세서, 메모리 카드 판독기, 플래시 메모리와 같은 영구 메모리, 조명된 구형 섹션과 같은 광 이미터들, LED들, 또는 적외선 광들, 초음파 통신들을 위한 마이크로폰 및 스피커, 음향 챔버, 디지털 카메라, 내부 클록, 게임 콘솔을 향하는 구형 섹션과 같은 인식 가능한 형태, 및 블루투스®, WiFi™ 등과 같은 프로토콜들을 사용하는 무선 통신들을 포함할 수 있다.
게임 제어기(702)는 두 손들과 함께 사용되도록 설계된 제어기이며, 게임 제어기(703)는 부가 장치를 가진 단일-손 제어기이다. 하나 이상의 아날로그 조이스틱들 및 종래의 제어 버튼들 외에, 게임 제어기는 3-차원 위치 결정에 영향을 받기 쉽다. 결과적으로 게임 제어기의 사용자에 의한 제스처들 및 움직임들은 종래의 버튼 또는 조이스틱 명령어들 이외에 또는 그 대신에 게임에 대한 입력들로서 변환될 수 있다. 선택적으로, 플레이스테이션™ 포터블 디바이스와 같은 다른 무선으로 가능한 주변 디바이스들이 제어기로서 사용될 수 있다. 플레이스테이션™ 포터블 디바이스의 경우에, 부가적인 게임 또는 제어 정보(예를 들면, 제어 지시들 또는 라이브들의 수)가 디바이스의 스크린 상에 제공될 수 있다. 댄스 매트(도시되지 않음), 라이트 건(도시되지 않음), 조향 핸들 및 페달들(도시되지 않음) 또는 신속-응답 퀴즈 게임을 위한 단일 또는 여러 개의 대형 버튼들(또한 도시되지 않음)과 같은, 비스포크 제어기들과 같이, 다른 대안적인 또는 보완적인 제어 디바이스들이 또한 사용될 수 있다.
원격 제어(704)가 또한 블루투스 링크를 통해 시스템 유닛(700)과 무선으로 통신하도록 동작 가능하다. 원격 제어(704)는 블루 레이TM 디스크 BD-ROM 판독기(540)의 동작에 및 디스크 콘텐트의 내비게이션에 적합한 제어들을 포함한다.
블루 레이TM 디스크 BD-ROM 판독기(740)는 종래의 사전-기록된 및 기록 가능한 CD들, 및 소위 수퍼 오디오 CD들 이외에, 플레이스테이션 및 플레이스테이션 2 디바이스들과 호환 가능한 CD-ROM들을 판독하도록 동작 가능하다. 판독기(740)는 또한 종래의 사전-기록된 및 기록 가능한 DVD들 이외에, 플레이스테이션 2 및 플레이스테이션 3 디바이스들과 호환 가능한 DVD-ROM들을 판독하도록 동작 가능하다. 판독기(740)는 플레이스테이션 3 디바이스와 호환 가능한 BD-ROM들, 뿐만 아니라 종래의 사전-기록된 및 기록 가능한 블루-레이 디스크들을 판독하도록 추가로 동작 가능하다.
시스템 유닛(700)은, 하나의 디스플레이(744) 및 하나 이상의 라우드스피커들(746)을 가진 모니터 또는 텔레비전 세트와 같은 디스플레이 및 사운드 출력 디바이스(742)에 대한 오디오 및 비디오 커넥터들을 통해, 현실 신시사이저 그래픽스 유닛(730)을 경유하여 플레이스테이션 3 디바이스에 의해 생성되거나 또는 디코딩된, 오디오 및 비디오를 공급하도록 동작 가능하다. 비디오 커넥터들(752)이 다양하게 구성요소 비디오, S-비디오, 복합 비디오 및 하나 이상의 고 화질 멀티미디어 인터페이스(HDMI) 출력들을 포함할 수 있는 반면 오디오 커넥터들(750)은 종래의 아날로그 및 디지털 출력들을 포함할 수 있다. 결과적으로, 비디오 출력은 PAL 또는 NTSC와 같은 포맷들에, 또는 720p, 1080i 또는 1080p 고 화질에 있을 수 있다.
오디오 프로세싱(생성, 디코딩 등)이 셀 프로세서(728)에 의해 수행된다. 플레이스테이션 3 디바이스의 운영 시스템은 돌비® 5.1 서라운드 사운드, 돌비® 시어터 서라운드(DTS), 및 블루-레이® 디스크들로부터의 7.1 서라운드 사운드의 디코딩을 지원한다.
본 실시예에서, 비디오 카메라(712)는 단일 전하 결합 디바이스(CCD), LED 표시기, 및 압축된 비디오 데이터가 시스템 유닛(700)에 의한 디코딩을 위한 이미지-내 기반 MPEG(동화상 전문가 그룹) 표준과 같은 적절한 포맷으로 송신될 수 있도록 하드웨어 기반 실시간 데이터 압축 및 인코딩 장치를 포함한다. 카메라 LED 표시기는 예를 들면 부정적인 조명 상태들을 나타내기 위해, 시스템 유닛(700)으로부터의 적절한 제어 데이터에 응답하여 조명하도록 배열된다. 비디오 카메라(712)의 실시예들은 USB, 블루투스 또는 Wi-Fi 통신 포트를 통해 시스템 유닛(700)에 다양하게 연결할 수 있다. 비디오 카메라의 실시예들은 하나 이상의 연관된 마이크로폰들을 포함할 수 있으며 또한 오디오 데이터를 송신할 수 있다. 비디오 카메라의 실시예들에서, CCD는 고-화질 비디오 캡처에 적합한 분해능을 가질 수 있다. 사용 중에, 비디오 카메라에 의해 캡처된 이미지들은 예를 들면 게임 내에 통합되거나 또는 게임 제어 입력들로서 해석될 수 있다. 또 다른 실시예에서 카메라는 적외선 광을 검출하기에 적합한 적외선 카메라이다.
일반적으로, 성공적인 데이터 통신이 시스템 유닛(700)의 통신 포트들 중 하나를 통해 비디오 카메라 또는 원격 제어와 같은 주변 디바이스를 갖고 발생하기 위해, 디바이스 드라이버와 같은 소프트웨어의 적절한 조각이 제공되어야 한다. 디바이스 드라이버 기술이 잘 알려져 있으며 디바이스 드라이버 또는 유사한 소프트웨어 인터페이스가 설명된 본 실시예에서 요구될 수 있다는 것을 숙련자가 알고 있을 것이라고 말하는 것을 제외하고, 여기에서 상세히 설명되지 않을 것이다.
도 9는 본 발명의 일 실시예에 따라, 지시들을 프로세싱하기 위해 사용될 수 있는 부가적인 하드웨어를 예시한다. 셀 프로세서(728)는 4개의 기본 구성요소들을 포함한 아키텍처를 가진다: 메모리 제어기(860) 및 이중 버스 인터페이스 제어기(870A,B)를 포함한 외부 입력 및 출력 구조들; 전력 프로세싱 요소로서 불리우는 메인 프로세서(850); 시너지 프로세싱 요소들(SPE들)로서 불리우는 8개의 코-프로세서들(810A-H); 요소 상호연결 버스로서 불리우는 상기 구성요소들을 연결하는 원형 데이터 버스(880). 셀 프로세서의 총 부동 소수점 성능은 218 GFLOPS이며, 플레이스테이션 2 디바이스의 이모션 엔진의 6.2 GFLOP들과 비교된다.
전력 프로세싱 요소(PPE)(850)는 3.2 GHz의 내부 클록을 갖고 구동하는 2-방향 동시 멀티스레딩 파워 570 순응 파워PC 코어(PPU)(855)에 기초한다. 그것은 512 kB 레벨 2(L2) 캐시 및 32 kB 레벨 1(L1) 캐시를 포함한다. PPE(850)는 클록 사이클 당 8개의 단일 위치 동작들이 가능하여, 3.2 GHz에서 25.6 GFLOP들로 변환한다. PPE(850)의 1차 역할은 계산 작업부하의 대부분을 핸들링하는, 시너지 프로세싱 요소들(810A-H)을 위한 제어기로서 동작하는 것이다. 동작에 있어서, PPE(850)는 작업 큐를 유지하여, 시너지 프로세싱 요소들(810A-H)을 위한 작업들을 스케줄링하며 그것들의 진행을 모니터링한다. 결과적으로, 각각의 시너지 프로세싱 요소(810A-H)는 그 역할이 작업을 인출하고, 그것을 실행하며 PPE(850)와 동기화되는 것인 커널을 구동한다.
각각의 시너지 프로세싱 요소(SPE)(810A-H)는 각각의 시너지 프로세싱 유닛(SPU)(820A-H), 및 결과적으로 각각의 동적 메모리 액세스 제어기(DMAC)(842A-H)), 각각의 메모리 관리 유닛(MMU)(844A-H)) 및 버스 인터페이스(도시되지 않음)를 포함한 각각의 메모리 흐름 제어기(MFC)(840A-H))를 포함한다. 각각의 SPU(820A-H)는 3.2 GHz에서 클록킹되며 원칙적으로 4 GB까지 확장 가능한, 256 kB 로컬 RAM(830A-H)을 포함하는 RISC 프로세서이다. 각각의 SPE는 단정도 성능의 이론적 25.6 GFLOPS를 제공한다. SPU는 단일 클록 사이클에서 4개의 단정도 부동 소수점 멤버들, 4개의 32-비트 숫자들, 8개의 16-비트 정수들, 또는 16개의 8-비트 정수들 상에서 동작할 수 있다. 동일한 클록 사이클에서, 그것은 또한 메모리 동작을 수행할 수 있다. SPU(820A-H)는 시스템 메모리 XDRAM(726)을 직접 액세스하지 않고; SPU(820A-H)에 의해 형성된 64-비트 어드레스들은 그것의 DMA 제어기(842A-H))에 요소 상호연결 버스(880) 및 메모리 제어기(860)를 통해 메모리를 액세스하도록 지시하는 MFC(840A-H))로 전달된다.
요소 상호연결 버스(EIB)(880)는 상기 프로세서 요소들, 즉 PPE(850), 메모리 제어기(860), 이중 버스 인터페이스(870A,B) 및 8개의 SPE들(810A-H), 총 12개의 참가자들을 연결하는 셀 프로세서(728)의 내부에 있는 논리적으로 원형 통신 버스이다. 참가자들은 클록 사이클 당 8 바이트들의 레이트로 동시에 버스를 판독하며 그것에 기록할 수 있다. 이전에 주지된 바와 같이, 각각의 SPE(810A-H)는 보다 긴 판독 또는 기록 시퀀스들을 스케줄링하기 위해 DMAC(842A-H))를 포함한다. EIB는 4개의 채널들을 포함하며, 2개의 각각은 시계 및 반-시계 방향들에 있다. 12개의 참가자들에 대해 결과적으로, 임의의 두 개의 참가자들 사이에서의 가장 긴 단계적 데이터-흐름은 적절한 방향에서 6개의 단계들이다. 12개의 슬롯들을 위한 이론적인 피크 순시적 EIB 대역폭은, 그러므로 참가자들 사이에서의 중재를 통한 전체 이용의 경우에, 클록 당 96B이다. 이것은 3.2GHz의 클록 레이트에서 307.2 GB/초(초당 기가바이트들)의 이론적 피크 대역폭과 같다.
메모리 제어기(860)는 램버스 인코포레이티드에 의해 개발된, XDRAM 인터페이스(862)를 포함한다. 메모리 제어기는 25.6 GB/초의 이론적 피크 대역폭을 가진 램버스 XDRAM(726)과 인터페이싱한다.
이중 버스 인터페이스(870A,B)는 램버스 FlexIO® 시스템 인터페이스(872A,B)를 포함한다. 인터페이스는 각각 폭이 8비트들인 12개의 채널들로 조직되며, 5개의 경로들은 인바운드이고 7개는 아웃바운드이다. 이것은 제어기(870A)를 통한 셀 프로세서 및 I/O 브리지(734) 및 제어기(870B)를 통한 현실 시뮬레이터 그래픽스 유닛(730) 사이에 62.4 GB/초(36.4 GB/초 아웃바운드, 26 GB/초 인바운드)의 이론적 피크 대역폭을 제공한다.
셀 프로세서(728)에 의해 현실 시뮬레이터 그래픽스 유닛(730)에 전송된 데이터는 통상적으로, 꼭짓점들을 그리기 위한 명령어들의 시퀀스인 디스플레이 리스트들을 포함하고, 텍스터들을 다각형들에 적용하고, 조명 상태들을 특정하는 것 등을 포함할 것이다.
도 10은 본 발명의 일 실시예에 따라, 인터넷을 통해 서버 프로세싱에 연결되는 게임 클라이언트들(1102)과 상호작용하는 각각의 사용자 A 내지 사용자 E를 가진 장면 A 내지 장면 E의 대표적인 예시이다. 게임 클라이언트는 사용자들이 인터넷을 통해 서버 애플리케이션들 및 프로세싱에 연결하도록 허용하는 디바이스이다. 게임 클라이언트는 사용자들이 이에 제한되지 않지만 게임들, 영화들, 음악 및 사진들과 같은 온라인 엔터테인먼트 콘텐트를 액세스 및 재생하도록 허용한다. 부가적으로, 게임 클라이언트는 VOIP, 텍스트 채팅 프로토콜들, 및 이메일과 같은 온라인 통신 애플리케이션들에 대한 액세스를 제공할 수 있다.
사용자는 제어기를 통해 게임 클라이언트와 상호작용한다. 몇몇 실시예들에서, 제어기는 게임 클라이언트 특정 제어기인 반면, 다른 실시예들에서, 제어기는 키보드 및 마우스 조합일 수 있다. 일 실시예에서, 게임 클라이언트는 모니터/텔레비전 및 연관된 오디오 장비를 통해 멀티미디어 환경을 생성하기 위해 오디오 및 비디오 신호들을 출력할 수 있는 독립형 디바이스이다. 예를 들면, 게임 클라이언트는, 이에 제한되지 않지만, 씬 클라이언트, 내부 PCI-익스프레스 카드, 외부 PCI-익스프레스 디바이스, 익스프레스카드 디바이스, 내부, 외부, 또는 무선 USB 디바이스, 또는 파이어와이어 디바이스 등일 수 있다. 다른 실시예들에서, 게임 클라이언트는 텔레비전 또는 DVR, 블루-레이 플레이어, DVD-플레이어 또는 다-채널 수신기와 같은 다른 멀티미디어 디바이스와 통합된다.
도 10의 장면(A) 내에서, 사용자(A)는 게임 클라이언트(1102A)와 짝을 이룬 제어기(1106A)를 사용하여 모니터(1104A) 상에 디스플레이된 클라이언트 애플리케이션과 상호작용한다. 유사하게, 장면(B) 내에서, 사용자(B)는 게임 클라이언트(1102B)와 짝을 이루는 제어기(1106B)를 사용하여 모니터(1104B) 상에서 디스플레이되는 또 다른 클라이언트 애플리케이션과 상호작용한다. 장면(C)는 사용자(C)가 게임 클라이언트(1102C)로부터의 게임 및 버디 리스트를 디스플레이하는 모니터를 보기 때문에 그의 뒤에서부터의 뷰를 예시한다. 도 10은 단일 서버 프로세싱 모듈을 도시하지만, 일 실시예에서, 전세계에 걸쳐 다수의 서버 프로세싱 모듈들이 있다. 각각의 서버 프로세싱 모듈은 사용자 세션 제어, 공유/통신 로직, 사용자 지오-로케이션, 및 부하 분산 프로세싱 서비스를 위한 서브-모듈들을 포함한다. 더욱이, 서버 프로세싱 모듈은 네트워크 프로세싱 및 분산된 저장 장치를 포함한다.
게임 클라이언트(1102)가 서버 프로세싱 모듈에 연결할 때, 사용자 세션 제어는 사용자를 인증하기 위해 사용될 수 있다. 인증된 사용자는 가상화된 분산 저장 장치 및 가상화된 네트워크 프로세싱을 연관시킬 수 있다. 사용자의 가상화된 분산 저장 장치의 일부로서 저장될 수 있는 예시적인 아이템들이 이에 제한되지 않지만 게임들, 비디오들 및 음악 등과 같은 구매된 미디어를 포함한다. 부가적으로, 분산 저장 장치는 다수의 게임들에 대한 게임 상태, 개개의 게임들에 대한 맞춤화된 설정들, 및 게임 클라이언트에 대한 일반적인 설정들을 저장하기 위해 사용될 수 있다. 일 실시예에서, 서버 프로세싱의 사용자 지오-로케이션 모듈은 사용자 및 그들의 각각의 게임 클라이언트의 지리적 위치를 결정하기 위해 사용된다. 사용자의 지리적 위치는 다수의 서버 프로세싱 모듈들의 지리적 위치 및 프로세싱 요구들에 기초하여 성능을 최적화시키기 위해 공유/통신 로직 및 부하 분산 프로세싱 서비스 양쪽 모두에 의해 사용될 수 있다. 네트워크 프로세싱 및 네트워크 저장 장치 중 하나 또는 양쪽 모두를 가상화하는 것은 게임 클라이언트들로부터의 프로세싱 태스크들이 충분히 이용되지 않은 서버 프로세싱 모듈(들)로 동적으로 시프팅되도록 허용할 것이다. 따라서, 부하 분산은 서버 프로세싱 모듈들 및 게임 클라이언트들 사이에서의 데이터 통신과 및 저장 장치로부터의 리콜 양쪽 모두와 연관된 대기 시간을 최소화하기 위해 사용될 수 있다.
서버 프로세싱 모듈은 서버 애플리케이션(A) 및 서버 애플리케이션(B)의 인스턴스들을 가진다. 서버 프로세싱 모듈은 서버 애플리케이션(X1) 및 서버 애플리케이션(X2)에 의해 표시된 바와 같이 다수의 서버 애플리케이션들을 지원할 수 있다. 일 실시예에서, 서버 프로세싱은 클러스터 내에서의 다수의 프로세서들이 서버 애플리케이션들을 프로세싱하도록 허용하는 클러스터 컴퓨팅 아키텍처에 기초한다. 또 다른 실시예에서, 상이한 유형의 다중-컴퓨터 프로세싱 기법이 서버 애플리케이션들을 프로세싱하기 위해 적용된다. 이것은 서버 프로세싱이 다수의 클라이언트 애플리케이션들 및 대응하는 서버 애플리케이션들을 실행하는 보다 많은 게임 클라이언트들을 수용하기 위해 스케일링되도록 허용한다. 대안적으로, 서버 프로세싱은 보다 요구가 많은 그래픽스 프로세싱 또는 게임, 비디오 압축, 또는 애플리케이션 복잡도에 의해 필요하게 된 증가된 컴퓨팅 요구들을 수용하기 위해 스케일링될 수 있다. 일 실시예에서, 서버 프로세싱 모듈은 서버 애플리케이션을 통해 대다수의 프로세싱을 수행한다. 이것은 그래픽스 프로세서들, RAM, 및 일반 프로세서들과 같은 비교적 값비싼 구성요소들이 중앙에 위치되며 게임 클라이언트 비용으로 감소하도록 허용한다. 프로세싱된 서버 애플리케이션 데이터는 인터넷을 통해 모니터 상에 디스플레이될 대응하는 게임 클라이언트로 되돌려 보내어진다.
장면(C)은 게임 클라이언트 및 서버 프로세싱 모듈에 의해 실행될 수 있는 대표적인 애플리케이션을 예시한다. 예를 들면, 일 실시예에서 게임 클라이언트(1102C)는 사용자(C)가 사용자(A), 사용자(B), 사용자(D), 및 사용자(E)를 포함하는 버디 리스트(1120)를 생성하고 보도록 허용한다. 도시된 바와 같이, 장면(C)에서, 사용자(C)는 모니터(1104C) 상에서 각각의 사용자의 실시간 이미지들 또는 아바타들을 볼 수 있다. 서버 프로세싱은 게임 클라이언트(1102C)의 및 사용자들(A), 사용자(B), 사용자(D) 및 사용자(E)의 각각의 게임 클라이언트들(1102)과 함께 각각의 애플리케이션들을 실행한다. 서버 프로세싱은 게임 클라이언트(B)에 의해 실행되는 애플리케이션들을 알고 있기 때문에, 사용자(A)에 대한 버디 리스트는 어떤 게임 사용자(B)가 플레이하고 있는지를 표시할 수 있다. 뿐만 아니라, 일 실시예에서, 사용자(A)는 사용자(B)로부터 직접 게임 비디오에서 현실을 볼 수 있다. 이것은 단순히 게임 클라이언트(B) 외에 게임 클라이언트(A)로 사용자(B)를 위한 프로세싱된 서버 애플리케이션 데이터를 전송함으로써 가능해진다.
버디들로부터의 비디오를 볼 수 있는 것 외에, 통신 애플리케이션은 버디들 사이에서의 실시간 통신들을 허용할 수 있다. 이전 예에 적용된 바와 같이, 이것은 사용자(A)가 사용자(B)의 실시간 비디오를 보면서 격려 또는 힌트들을 제공하도록 허용한다. 일 실시예에서, 2-방향 실시간 음성 통신은 클라이언트/서버 애플리케이션을 통해 수립된다. 또 다른 실시예에서, 클라이언트/서버 애플리케이션은 텍스트 채팅을 가능하게 한다. 또 다른 실시예에서, 클라이언트/서버 애플리케이션은 버디의 스크린 상에서의 디스플레이를 위해 스피치에서 텍스트로 변환한다.
장면(D) 및 장면(E)은 각각 게임 콘솔들(1110D 및 1110E)과 상호작용하는 각각의 사용자(D) 및 사용자(E)를 예시한다. 각각의 게임 콘솔(1110D 및 1110E)은 서버 프로세싱 모듈에 연결되며 서버 프로세싱 모듈들이 콘솔들 및 게임 클라이언트들 양쪽 모두를 위해 게임 플레이를 조정하는 네트워크를 예시한다.
도 11은 정보 서비스 제공자 아키텍처의 실시예를 예시한다. 정보 서비스 제공자들(ISP)(1370)은 지리적으로 분산되며 네트워크(1386)를 통해 연결된 사용자들(1382)에 다수의 정보 서비스들을 전달한다. ISP는 주가 업데이트들과 같은 단지 일 유형의 서비스, 또는 방송 미디어, 뉴스, 스포츠, 게임 등과 같은 다양한 서비스들을 전달할 수 있다. 부가적으로, 각각의 ISP에 의해 제공된 서비스들은 동적이며, 즉 서비스들은 임의의 시간 포인트에서 부가되거나 또는 제거될 수 있다. 따라서, 특정한 개개인에 특정한 유형의 서비스를 제공하는 ISP는 시간에 걸쳐 변할 수 있다. 예를 들면, 사용자는 사용자가 그녀의 홈 타운에 있는 동안 사용자에 근접하여 있는 ISP에 의해 서비스될 수 있으며, 사용자는 사용자가 상이한 도시로 이동할 때 상이한 ISP에 의해 서비스될 수 있다. 홈-타운 ISP는 요구된 정보 및 데이터를 새로운 ISP에 전달할 것이며, 따라서 사용자 정보는 데이터를 사용자에 더 가깝게 및 액세스하기 더 용이하게 만드는 새로운 도시로 사용자를 "따른다". 또 다른 실시예에서, 마스터-서버 관계는 사용자를 위한 정보를 관리하는 마스터 ISP, 및 마스터 ISP로부터의 제어 하에서 사용자와 직접 인터페이스하는 서버 ISP 사이에서 수립될 수 있다. 다른 실시예에서, 데이터는 클라이언트가 보다 양호한 위치에서의 ISP가 이들 서비스들을 전달하는 하나인 사용자를 서비스하게 하기 위해 전세계로 이동함에 따라 하나의 ISP로부터 또 다른 ISP로 전달된다.
ISP(1370)는 애플리케이션 서비스 제공자(ASP)(1372)를 포함하며, 이것은 네트워크에 걸쳐 고객들에게 컴퓨터-기반 서비스들을 제공한다. ASP 모델을 사용하여 제공된 소프트웨어는 또한 때때로 요구형 소프트웨어 또는 서비스로서의 소프트웨어(software as a service; SaaS)로서 불리우다. 특정한 애플리케이션 프로그램(고객 관계 관리와 같은)에 대한 액세스를 제공하는 간단한 형태는 HTTP와 같은 표준 프로토콜을 사용하는 것에 의한다. 애플리케이션 소프트웨어는 벤더의 시스템 상에 존재하며 HTML을 사용한 웹 브라우저를 통해 사용자들에 의해, 벤더에 의해 제공된 특수 목적 클라이언트 소프트웨어에 의해, 또는 씬 클라이언트와 같은 다른 원격 인터페이스에 의해 액세스된다.
광범위한 지리적 영역에 걸쳐 전달된 서비스들은 종종 클라우드 컴퓨팅을 사용한다. 클라우드 컴퓨팅은 종종 동적으로 확장 가능하며 종종 가상화된 리소스들이 인터넷을 통해 서비스로서 제공되는 컴퓨팅의 스타일이다. 사용자들은 그것들을 지원하는 "클라우드" 에서의 기술 기반 시설에서의 전문가가 되도록 요구하지 않는다. 클라우드 컴퓨팅은 서비스로서의 기반시설(IaaS), 서비스로서의 플랫폼(PaaS), 및 서비스로서의 소프트웨어(SaaS)와 같은, 상이한 서비스들에서 분할될 수 있다. 클라우드 컴퓨팅 서비스들은 종종 웹 브라우저로부터 액세스되는 공통 비즈니스 애플리케이션들을 온라인으로 제공하는 반면, 소프트웨어 및 데이터는 서버들 상에 저장된다. 용어(클라우드)는 인터넷이 컴퓨터 네트워크 다이어그램들에서 어떻게 묘사되는지에 기초하여, 인터넷에 대한 은유로서 사용되며, 그것이 감추는 복잡한 기반시설에 대한 추상화이다.
뿐만 아니라, ISP(1370)는 게임 클라이언트들에 의해 단일 및 멀티플레이어 비디오 게임들을 플레이하기 위해 사용되는 게임 프로세싱 서버(GPS)(1374)를 포함한다. 인터넷을 통해 플레이되는 대부분의 비디오 게임들은 게임 서버로의 연결을 통해 동작한다. 통상적으로, 게임들은 플레이어들로부터의 데이터를 수집하여 그것을 다른 플레이어들에게 분배하는 전용 서버 애플리케이션을 사용한다. 이것은 피어-투-피어 배열보다 더 효율적이고 효과적이지만, 그것은 서버 애플리케이션을 호스팅하기 위해 별개의 서버를 요구한다. 또 다른 실시예에서, GPS는 집중화된 GPS에 의존하지 않고 플레이어들 및 그들 각각의 게임-플레잉 디바이스들 교환 정보 사이에서의 통신을 수립한다.
전용 GPS들은 클라이언트와 관계없이 구동하는 서버들이다. 이러한 서버들은 보통 데이터 센터들에 위치된 전용 하드웨어 상에서 구동하여, 보다 많은 대역폭 및 전용 프로세싱 전력을 제공한다. 전용 서버들은 대부분의 PC-기반 멀티플레이어 게임들에 대한 게임 서버들을 호스팅하는 바람직한 방법이다. 대규모 멀티플레이어 온라인 게임들은 보통 게임 타이틀을 소유하는 소프트웨어 회사에 의해 호스팅된 전용 서버들 상에서 구동하여, 그것들이 콘텐트를 제어 및 업데이트하도록 허용한다.
방송 프로세싱 서버(BPS)(1376)는 오디오 또는 비디오 신호들을 청중에게 분배한다. 매우 좁은 범위의 청중으로 방송하는 것은 때때로 내로캐스팅(narrowcasting)이라 불리운다. 방송 분배의 최종 레그는 신호가 어떻게 청취자 또는 시청자에게 이르는지이며, 그것은 안테나 및 수신기로의 라디오 스테이션 또는 TV 스테이션과 마찬가지로 방송에 의해 올 수 있거나, 또는 스테이션을 경유하여 또는 네트워크로부터 직접 케이블 TV 또는 케이블 라디오(또는 "무선 케이블" )를 통해 올 수 있다. 인터넷은 또한 라디오 또는 TV를 수신인으로 가져올 수 있으며, 특히 멀티캐스팅은 신호 및 대역폭이 공유되도록 허용한다. 이력적으로, 방송들은 국영 방송들 또는 지역 방송과 같은, 지리적 영역에 의해 범위가 정하여진다. 그러나, 빠른 인터넷의 급증에 따라, 방송들은 콘텐트가 세계에서의 거의 임의의 국가에 도달할 수 있음에 따라 지리들에 의해 정의되지 않는다.
저장 서비스 제공자(SSP)(1378)는 컴퓨터 저장 공간 및 관련된 관리 서비스들을 제공한다. SSP들은 또한 주기적 백업 및 아카이빙을 제공한다. 서비스로서 저장 장치를 제공함으로써, 사용자들은 요구된 대로 보다 많은 저장 장치를 주문할 수 있다. 또 다른 주요 이점은 SSP들이 백업 서비스들을 포함하며 사용자들이 그들의 컴퓨터들의 하드 드라이브들이 고장났다면 모든 그들의 데이터를 잃지 않을 것이라는 점이다. 뿐만 아니라, 복수의 SSP들은 사용자 데이터의 총 또는 부분적 사본들을 가질 수 있어서, 사용자들이 사용자가 위치되는 장소 또는 데이터를 액세스하기 위해 사용되는 디바이스에 관계없이 효율적인 방식으로 데이터를 액세스하도록 허용한다. 예를 들면, 사용자는 홈 컴퓨터에서, 뿐만 아니라 사용자가 여행 중인 동안 이동 전화기에서 개인 파일들을 액세스할 수 있다.
통신 제공자(380)는 사용자들에 대한 연결성을 제공한다. 일 종류의 통신 제공자는 인터넷에 대한 액세스를 제공하는 인터넷 서비스 제공자(ISP)이다. ISP는 다이얼-업, DSL, 케이블 모뎀, 무선 또는 전용 고-속 상호연결들과 같은, 인터넷 프로토콜 데이터그램들을 전달하기에 적절한 데이터 송신 기술을 사용하여 그것의 고객들을 연결한다. 통신 제공자는 또한 이-메일, 인스턴트 메시징, 및 SMS 텍스팅과 같은, 메시징 서비스들을 제공할 수 있다. 또 다른 유형의 통신 제공자는 인터넷에 대한 직접 백본 액세스를 제공함으로써 대역폭 또는 네트워크 액세스를 판매하는 네트워크 서비스 제공자(NSP)이다. 네트워크 서비스 제공자들은 전기통신 회사들, 데이터 캐리어들, 무선 통신 제공자들, 인터넷 서비스 제공자들, 케이블 텔레비전 운영자들 제공 고-속 인터넷 액세스 등으로 이루어질 수 있다.
데이터 교환부(1388)는 ISP(1370) 내부에 여러 개의 모듈들을 상호 연결하며 이들 모듈들을 네트워크(1386)를 통해 사용자들(1382)에 연결한다. 데이터 교환부(1388)는 ISP(1370)의 모듈들 모두가 아주 근접하여 있는 작은 면적을 커버할 수 있거나, 또는 상이한 모듈들이 지리적으로 분산될 때 큰 지리적 면적을 커버할 수 있다. 예를 들면, 데이터 교환부(1388)는 데이터 센터의 캐비닛 내에서의 고속 기가비트 이더넷(또는 보다 빠른), 또는 대륙간 가상 영역 네트워크(VLAN)를 포함할 수 있다.
사용자들(1382)은 적어도 CPU, 디스플레이 및 I/O를 포함하는, 클라이언트 디바이스(1384)를 갖고 원격 서비스들을 액세스한다. 클라이언트 디바이스는 PC, 이동 전화기, 넷북, PDA 등일 수 있다. 일 실시예에서, ISP(1370)는 클라이언트에 의해 사용된 디바이스의 유형을 인식하며 이용된 통신 방법을 조정한다. 다른 경우들에서, 클라이언트 디바이스들은 ISP(1370)를 액세스하기 위해, html과 같은 표준 통신 방법을 사용한다.
본 발명의 실시예들은 핸드-헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램 가능한 소비자 전자 장치들, 미니컴퓨터들, 메인프레임 컴퓨터들 등을 포함한 다양한 컴퓨터 시스템 구성들을 갖고 실시될 수 있다. 본 발명은 또한 태스크들이 유선-기반 또는 무선 네트워크를 통해 연결되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다.
상기 실시예들을 고려하여, 본 발명은 컴퓨터 시스템들에 저장된 데이터를 수반한 다양한 컴퓨터-구현 동작들을 이용할 수 있다는 것이 이해되어야 한다. 이들 동작들은 물리적 양들의 물리적 조작을 요구하는 것들이다. 본 발명의 일부를 형성하는 여기에 설명된 동작들 중 임의의 것은 유용한 기계 동작들이다. 본 발명은 또한 이들 동작들을 수해하기 위한 디바이스 또는 장치와 관련된다. 장치는 요구된 목적을 위해 특수하게 구성될 수 있거나, 또는 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 또는 구성된 범용 컴퓨터일 수 있다. 특히, 다양한 범용 기계들은 여기에서의 교시들에 따라 기록된 컴퓨터 프로그램들과 함께 사용될 수 있거나, 또는 그것은 요구된 동작들을 수해하기 위해 보다 전문화된 장치를 구성하기에 더 편리할 수 있다.
본 발명은 또한 컴퓨터 판독 가능한 매체 상에서의 컴퓨터 판독 가능한 코드로서 구체화될 수 있다. 컴퓨터 판독 가능한 매체는 그 후 컴퓨터 시스템에 의해 판독될 수 있는, 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 판독 가능한 매체의 예들은 하드 드라이브들, 네트워크 부착 저장 장치(NAS), 판독-전용 메모리, 랜덤-액세스 메모리, CD-ROM들, CD-R들, CD-RW들, 자기 테이프들 및 다른 광학적 및 비-광학적 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 코드가 분산 방식으로 저장되며 실행되도록 네트워크-결합 컴퓨터 시스템에 걸쳐 분산된 컴퓨터 판독 가능한 유형 매체를 포함할 수 있다.
비록 방법 동작들이 특정 순서로 설명되었지만, 오버레이 동작들의 프로세싱이 바람직한 방식으로 수행되는 한, 다른 하우스키핑 동작들이 동작들 사이에서 수행될 수 있거나, 또는 동작들이 그것들이 약간 상이한 시간들에서 발생하도록 조정될 수 있거나, 또는 프로세싱과 연관된 다양한 간격들에서 프로세싱 동작들의 발생을 허용하는 시스템에서 분배될 수 있다는 것이 이해되어야 한다.
앞서 말한 발명은 이해의 명료함을 위해 어느 정도 상세하게 설명되었지만, 특정한 변화들 및 수정들이 첨부된 청구항들의 범위 내에서 실시될 수 있다는 것이 명백할 것이다. 따라서, 본 실시예들은 예시적이며 비 제한적인 것으로 고려되며, 본 발명은 여기에 주어진 세부사항들에 제한되지 않지만 첨부된 청구항들의 범위 및 등가물들 내에서 수정될 수 있다.

Claims (40)

  1. 대화형 애플리케이션에 입력을 제공하기 위한 이미지 캡처 디바이스에 있어서,
    하우징;
    상기 하우징의 전방 표면을 따라 정의된 제1 카메라;
    제1 노출 설정에서 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성되며, 상기 제1 카메라로부터의 상기 캡처된 이미지들은 사용자를 추적하기 위해 분석되는, 제1 카메라 제어기;
    상기 하우징의 상기 전방 표면을 따라 정의된 제2 카메라;
    상기 제1 노출 설정보다 낮은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성된 제2 카메라 제어기로서, 상기 제2 카메라로부터의 상기 캡처된 이미지들은 상기 대화형 환경에서 조명된 오브젝트를 추적하기 위해 분석되는, 상기 제2 카메라 제어기를 포함하고,
    상기 조명된 오브젝트의 광 강도는 상기 대화형 환경에서 보다 밝은 오브젝트 중에 있도록 상기 대화형 환경의 감지된 동적 범위에 응답하여 조정되는
    이미지 캡처 디바이스.
  2. 삭제
  3. 청구항 1에 있어서, 상기 사용자를 추적하는 것은 상기 사용자의 얼굴을 추적하는 것을 포함하는, 이미지 캡처 디바이스.
  4. 청구항 1에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 상기 하우징의 상기 전방 표면을 따라 수평으로 정렬되는, 이미지 캡처 디바이스.
  5. 청구항 1에 있어서, 상기 대화형 환경으로부터 사운드를 캡처하기 위한 마이크로폰 어레이를 더 포함하는, 이미지 캡처 디바이스.
  6. 청구항 1에 있어서, 상기 제1 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제1 노출 설정을 결정하기 위해 분석되는, 이미지 캡처 디바이스.
  7. 청구항 1에 있어서, 상기 제2 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성되며, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제2 노출 설정을 결정하기 위해 분석되는, 이미지 캡처 디바이스.
  8. 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템에 있어서,
    조명된 오브젝트를 구비한 제어기 디바이스;
    이미지 캡처 디바이스로서, 상기 이미지 캡처 디바이스는 제1 카메라, 제2 카메라, 제1 노출 설정에서의 사용자 상호작용 동안 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성된 제1 카메라 제어기, 및 상기 제1 노출 설정보다 낮은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성된 제2 카메라 제어기를 포함하는, 상기 이미지 캡처 디바이스;
    상기 이미지 캡처 디바이스에 연결된 컴퓨팅 디바이스로서, 상기 컴퓨팅 디바이스는 상기 대화형 애플리케이션을 실행하도록 구성되고, 상기 대화형 환경에서 사용자를 추적하기 위해 상기 제1 카메라로부터의 상기 캡처된 이미지들을 분석하도록 구성되며, 상기 대화형 환경에서의 상기 조명된 오브젝트를 추적하기 위해 상기 제2 카메라로부터의 상기 캡처된 이미지들을 분석하도록 구성되는, 상기 컴퓨팅 디바이스를 포함하는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  9. 삭제
  10. 청구항 8에 있어서, 상기 사용자를 추적하는 것은 상기 사용자의 얼굴을 추적하는 것을 포함하는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  11. 청구항 8에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 하우징의 전방 표면을 따라 수평으로 정렬되는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  12. 청구항 8에 있어서, 상기 대화형 환경으로부터의 사운드를 캡처하기 위한 마이크로폰 어레이를 더 포함하는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  13. 청구항 8에 있어서, 상기 제1 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제1 카메라를 제어하도록 구성되고, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제1 노출 설정을 결정하기 위해 분석되는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  14. 청구항 8에 있어서, 상기 제2 카메라 제어기는 상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하기 위해 상기 제2 카메라를 제어하도록 구성되고, 상기 사용자 상호작용 이전에 캡처된 상기 이미지들은 상기 제2 노출 설정을 결정하기 위해 분석되는, 대화형 애플리케이션과의 상호작용을 가능하게 하기 위한 시스템.
  15. 대화형 애플리케이션과의 상호작용을 위한 방법에 있어서,
    제1 노출 설정에서의 사용자 상호작용 동안 대화형 환경으로부터 이미지들을 캡처하는 단계;
    사용자를 추적하기 위해 상기 제1 노출 설정에서 캡처된 상기 이미지들을 분석하는 단계;
    상기 제1 노출 설정에서 상기 이미지들을 캡처하는 단계와 동시에, 상기 제1 노출 설정보다 낮은 제2 노출 설정에서의 상기 사용자 상호작용 동안 상기 대화형 환경으로부터 이미지들을 캡처하는 단계;
    상기 대화형 환경에서 조명된 오브젝트를 추적하기 위해 상기 제2 노출 설정에서 캡처된 상기 이미지들을 분석하는 단계를 포함하는, 대화형 애플리케이션과의 상호작용을 위한 방법.
  16. 삭제
  17. 청구항 15에 있어서, 상기 사용자를 추적하는 것은 상기 사용자의 얼굴을 추적하는 것을 포함하는, 대화형 애플리케이션과의 상호작용을 위한 방법.
  18. 청구항 15에 있어서, AR 태그를 식별 및 추적하기 위해 상기 제1 노출 설정에서 캡처된 상기 이미지들을 분석하는 단계를 더 포함하는, 대화형 애플리케이션과의 상호작용을 위한 방법.
  19. 청구항 15에 있어서, 상기 대화형 환경으로부터의 사운드를 캡처하는 단계를 더 포함하는, 대화형 애플리케이션과의 상호작용을 위한 방법.
  20. 청구항 15에 있어서,
    상기 사용자 상호작용 이전에 상기 대화형 환경의 이미지들을 캡처하는 단계; 및
    상기 제1 노출 설정 또는 상기 제2 노출 설정 중 하나 이상을 결정하기 위해 상기 사용자 상호작용 이전에 캡처된 상기 이미지들을 분석하는 단계를 더 포함하는, 대화형 애플리케이션과의 상호작용을 위한 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020157000143A 2012-06-04 2013-06-04 다중-이미지 대화형 게임 디바이스 KR101922058B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261655459P 2012-06-04 2012-06-04
US61/655,459 2012-06-04
US13/842,573 2013-03-15
US13/842,573 US9724597B2 (en) 2012-06-04 2013-03-15 Multi-image interactive gaming device
US13/842,872 2013-03-15
US13/842,872 US10150028B2 (en) 2012-06-04 2013-03-15 Managing controller pairing in a multiplayer game
PCT/IB2013/001882 WO2013182914A2 (en) 2012-06-04 2013-06-04 Multi-image interactive gaming device

Publications (2)

Publication Number Publication Date
KR20150024385A KR20150024385A (ko) 2015-03-06
KR101922058B1 true KR101922058B1 (ko) 2019-02-20

Family

ID=49670903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157000143A KR101922058B1 (ko) 2012-06-04 2013-06-04 다중-이미지 대화형 게임 디바이스

Country Status (6)

Country Link
US (4) US9724597B2 (ko)
EP (2) EP3072563B1 (ko)
JP (2) JP6039796B2 (ko)
KR (1) KR101922058B1 (ko)
CN (1) CN104363970B (ko)
WO (1) WO2013182914A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342516B2 (en) * 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9389765B2 (en) * 2013-03-12 2016-07-12 Google Inc. Generating an image stream
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
US9579567B2 (en) * 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Managing controller pairings
TWI504292B (zh) * 2013-06-19 2015-10-11 D Link Corp Network camera with network repeater function and its setting method
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
US9937415B1 (en) 2013-12-17 2018-04-10 Amazon Technologies, Inc. Virtual controller for touchscreen
US9277056B2 (en) * 2014-01-07 2016-03-01 Crestron Electronics Inc. Conference room audio/video cable interface device
JP5878938B2 (ja) * 2014-01-29 2016-03-08 株式会社ソニー・コンピュータエンタテインメント 配信システム、配信方法、配信プログラム
USD821183S1 (en) 2014-06-12 2018-06-26 Crestron Electronics, Inc. Cable management hub
USD788777S1 (en) 2014-06-12 2017-06-06 Crestron Electronics Inc. Cable management hub
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
US10076711B2 (en) 2015-09-15 2018-09-18 Square Enix Holdings Co., Ltd. Remote rendering server with broadcaster
JP2017183825A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
CN105892665B (zh) * 2016-03-31 2019-02-05 联想(北京)有限公司 信息处理方法及电子设备
WO2017208991A1 (ja) * 2016-06-01 2017-12-07 シャープ株式会社 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10338695B1 (en) * 2017-07-26 2019-07-02 Ming Chuan University Augmented reality edugaming interaction method
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
JPWO2019207728A1 (ja) * 2018-04-26 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
SG10201804153SA (en) * 2018-05-16 2018-11-29 Voyager Innovations Inc System and method for determining an outcome associated with an event
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
US11474620B2 (en) * 2019-03-01 2022-10-18 Sony Interactive Entertainment Inc. Controller inversion detection for context switching
US20210208673A1 (en) * 2020-01-03 2021-07-08 Facebook Technologies, Llc Joint infrared and visible light visual-inertial object tracking
JP7513564B2 (ja) * 2021-04-13 2024-07-09 株式会社ソニー・インタラクティブエンタテインメント システム、情報処理方法および情報処理プログラム
US11790627B2 (en) * 2022-01-20 2023-10-17 Lenovo Global Technology (United States) Inc. Using an object key to deprioritize processing of relative regions
US20230398435A1 (en) * 2022-05-27 2023-12-14 Sony Interactive Entertainment LLC Methods and systems for dynamically adjusting sound based on detected objects entering interaction zone of user
US20240001223A1 (en) * 2022-07-01 2024-01-04 Sony Interactive Entertainment Inc. Virtual reality/augmented reality systems configurable with multiple types of controllers
WO2024085368A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051089A1 (en) 2008-10-27 2010-05-06 Sony Computer Entertainment Inc Control device for communicating visual information
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5354063A (en) 1992-12-04 1994-10-11 Virtual Golf, Inc. Double position golf simulator
US5574511A (en) * 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US6270413B1 (en) * 1996-07-03 2001-08-07 Sega Enterprises, Ltd. Display method for games displays
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US7657910B1 (en) * 1999-07-26 2010-02-02 E-Cast Inc. Distributed electronic entertainment method and apparatus
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
JP2001334064A (ja) 2000-05-29 2001-12-04 Oki Electric Ind Co Ltd 遊技システム
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
JP2004223110A (ja) * 2003-01-27 2004-08-12 Nintendo Co Ltd ゲーム装置、ゲームシステムおよびゲームプログラム
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
US7351148B1 (en) * 2004-09-15 2008-04-01 Hasbro, Inc. Electronic sequence matching game and method of game play using same
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4849829B2 (ja) 2005-05-15 2012-01-11 株式会社ソニー・コンピュータエンタテインメント センタ装置
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
JP3934151B2 (ja) * 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
US8147332B2 (en) * 2005-10-21 2012-04-03 Broadcom Corporation Method of indicating the ordinal number of a player in a wireless gaming system
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
JP4798705B2 (ja) 2006-03-23 2011-10-19 任天堂株式会社 位置算出装置、位置算出プログラム、ゲーム装置、およびゲームプログラム
JP4781181B2 (ja) * 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント ユーザインタフェースプログラム、装置および方法、情報処理システム
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP4142073B2 (ja) * 2006-10-13 2008-08-27 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP4925817B2 (ja) 2006-12-28 2012-05-09 株式会社コナミデジタルエンタテインメント シューティング玩具
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
JP5042651B2 (ja) 2007-01-31 2012-10-03 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
KR101378880B1 (ko) * 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
EP2231291B1 (en) 2007-11-15 2011-10-26 Ergowerx, LLC Motorized game controller
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP5166409B2 (ja) * 2007-11-29 2013-03-21 株式会社東芝 映像処理方法および映像処理装置
US8535130B2 (en) * 2008-02-14 2013-09-17 Peter Ciarrocchi Amusement pod entertainment center
US8620213B2 (en) * 2009-12-24 2013-12-31 Sony Computer Entertainment Inc. Wireless device pairing methods
US9167071B2 (en) * 2008-06-24 2015-10-20 Sony Computer Entertainment Inc. Wireless device multimedia feed switching
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US8464160B2 (en) * 2008-09-29 2013-06-11 Panasonic Corporation User interface device, user interface method, and recording medium
US8221229B2 (en) * 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
JP4911165B2 (ja) * 2008-12-12 2012-04-04 カシオ計算機株式会社 撮像装置、顔検出方法及びプログラム
AU2008264197B2 (en) * 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
US9189082B2 (en) * 2009-04-08 2015-11-17 Qualcomm Incorporated Enhanced handheld screen-sensing pointer
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8953029B2 (en) * 2009-05-08 2015-02-10 Sony Computer Entertainment America Llc Portable device interaction via motion sensitive controller
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US20100303297A1 (en) * 2009-05-30 2010-12-02 Anton Mikhailov Color calibration for object tracking
US20100332229A1 (en) * 2009-06-30 2010-12-30 Sony Corporation Apparatus control based on visual lip share recognition
EP2327460B1 (en) * 2009-07-24 2022-01-12 Nintendo Co., Ltd. Game system and controller
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
CN102301693B (zh) * 2009-12-01 2014-09-24 松下电器产业株式会社 识别用摄像装置以及其控制方法
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US9106086B2 (en) 2010-03-11 2015-08-11 Qualcomm Incorporated Detection and protection of devices within a wireless power system
US8405736B2 (en) * 2010-04-07 2013-03-26 Apple Inc. Face detection using orientation sensor data
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
JP5058316B2 (ja) 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
JP5625643B2 (ja) * 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
US8640021B2 (en) 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
KR20120068253A (ko) 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8672754B2 (en) * 2011-02-23 2014-03-18 Disney Enterprises, Inc. System and method for number of players determined using facial recognition
US9129181B1 (en) * 2011-03-03 2015-09-08 Vaidhi Nathan Object detection, location, and/or tracking with camera and lighting system
US9317111B2 (en) * 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130102387A1 (en) 2011-10-21 2013-04-25 Microsoft Corporation Calculating metabolic equivalence with a computing device
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US9162144B2 (en) * 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
US9342139B2 (en) * 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US20130182079A1 (en) * 2012-01-17 2013-07-18 Ocuspec Motion capture using cross-sections of an object
US9092675B2 (en) * 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9754154B2 (en) * 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051089A1 (en) 2008-10-27 2010-05-06 Sony Computer Entertainment Inc Control device for communicating visual information
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Also Published As

Publication number Publication date
JP6039796B2 (ja) 2016-12-07
EP3072563B1 (en) 2018-08-15
WO2013182914A3 (en) 2014-07-17
EP3072563A1 (en) 2016-09-28
CN104363970B (zh) 2020-02-11
WO2013182914A2 (en) 2013-12-12
JP2015527627A (ja) 2015-09-17
JP6448603B2 (ja) 2019-01-09
US10150028B2 (en) 2018-12-11
US20130324244A1 (en) 2013-12-05
US11065532B2 (en) 2021-07-20
US20170333786A1 (en) 2017-11-23
US20190262699A1 (en) 2019-08-29
EP2858728B1 (en) 2016-08-17
CN104363970A (zh) 2015-02-18
JP2017047251A (ja) 2017-03-09
US10315105B2 (en) 2019-06-11
KR20150024385A (ko) 2015-03-06
US9724597B2 (en) 2017-08-08
US20130324243A1 (en) 2013-12-05
EP2858728A2 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
US11065532B2 (en) Split-screen presentation based on user location and controller location
US10610778B2 (en) Gaming controller
US8870654B2 (en) Gaming controller
US8888593B2 (en) Directional input for a video game
EP3749427A1 (en) Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
KR20120101379A (ko) 이동 감응 제어기를 통한 휴대용 장치의 상호작용
TWI565504B (zh) 遊戲控制器
US11771981B2 (en) Sharing buffered gameplay in response to an input request

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
N231 Notification of change of applicant
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101006029; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161021

Effective date: 20180731

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant