JP6077523B2 - 手動およびカメラ・ベースのアバター制御 - Google Patents

手動およびカメラ・ベースのアバター制御 Download PDF

Info

Publication number
JP6077523B2
JP6077523B2 JP2014508473A JP2014508473A JP6077523B2 JP 6077523 B2 JP6077523 B2 JP 6077523B2 JP 2014508473 A JP2014508473 A JP 2014508473A JP 2014508473 A JP2014508473 A JP 2014508473A JP 6077523 B2 JP6077523 B2 JP 6077523B2
Authority
JP
Japan
Prior art keywords
player
controller
display
avatar
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014508473A
Other languages
English (en)
Other versions
JP2014523259A5 (ja
JP2014523259A (ja
Inventor
ランズデール，トーマス・ウィリアム
グリフィス，チャールズ・ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014523259A publication Critical patent/JP2014523259A/ja
Publication of JP2014523259A5 publication Critical patent/JP2014523259A5/ja
Application granted granted Critical
Publication of JP6077523B2 publication Critical patent/JP6077523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Description

[0001] 既存のビデオおよびコンピューター・ゲームの制御システムは、ハンド・ヘルド・コントローラー(hand held controller)を用い、このコントローラーは、プレーヤーがゲーム・ディスプレイに表示されるアバターまたはその他の物体を制御することを可能にするために、ボタンおよびジョイスティックを内蔵する。これらの形式のハンド・ヘルド・コントローラーの設計は、きめの細かい堅実なゲーム・プレー制御、使いやすさ、および直感的な操作(manner)を可能にすることを目指している。
[0002] 更に最近になって、一部のコンピューター・ゲームの制御システムは音声認識技術およびジェスチャー認識を用いて、プレーヤーがゲーム・インターフェースを制御することを可能にしている。この状況では、ゲームをする者はハンド・ヘルド・コントローラーを持たずに、単純明快に、ハンド・ヘルド・コントローラーのような物理的なユーザー入力デバイスによる制約を受けずに、ゲームと対話処理することができる。
[0003] 以下に記載する実施形態は、既知のゲーム制御システムの欠点のいずれかを解決する実施態様にも、欠点の全てを解決する実施態様にも限定されない。
[0004] 以下に紹介するのは、読者に基本的な理解が得られるようにするために、本開示を簡略化した摘要である。この摘要は、本開示の広範な全体像ではなく、主要な／必須の要素を特定するのでも、本明細書の範囲を明確に定めるのでもない。その唯一の目的は、本明細書に開示する概念から選択したものを、簡略化した形態で、以降で紹介する更に詳細な説明に対する序説として紹介することである。
[0005] コンピューター・ゲーム・システムにおける手動およびカメラ・ベースのアバター制御について記載する。一実施形態では、画像キャプチャー・システムが、実世界物体を掴んでいるプレーヤーの腕の動き(motion)を追跡し、プレーヤーは同時に手動コントローラーを用いてゲーム・システムに入力も行う。一例では、追跡するプレーヤーの腕の動きを用いて、ゲーム表示における仮想ダーツの標的を制御し、プレーヤーは、ダーツを投げる(fire)ためにコントローラーにおいて手動入力を行う。種々の実施形態において、プレーヤーの一部の位置を検出し、マッピング関数を用いて、画面空間にマッピングする。マッピング関数は可変であってもよい。例えば、場面空間においてプレーヤーの手がマッピングされる位置は、アバターの腕を延ばすことによって、アバターの手の位置を制御するために用いられる。種々の例では、アバターのカメラ・ベース制御の前に、プレーヤーの条件が満たされる。
[0006] 付帯する特徴の多くは、以下の詳細な説明を参照し添付図面と関連付けて検討することによって理解が進むに連れて、一層容易に認められるであろう。
[0007] 本記載は、以下の詳細な説明を添付図面を参照しながら読解することによって一層深く理解されるであろう。添付図面において同様の部分を示すために、同様の参照番号を用いる。
図１は、プレーヤーがゲーム・コントローラーを手に持ち、深度カメラを有するゲーム装置の前に座っている姿の模式図である。 図２は、画像キャプチャー・デバイス、ハンド・ヘルド・コントローラー、計算デバイス、およびディスプレイを内蔵したゲーム・システムの模式図である。 図３は、ハンド・ヘルド・コントローラーの平面図である。 図４は、図３のハンド・ヘルド・コントローラーの斜視図である。 図５は、ゲーム・プレー中におけるディスプレイの模式図である。 図６は、ゲーム・システムの動作方法の流れ図である。 図７は、ゲーム・システムの他の動作方法の流れ図である。 図８は、図７の方法と合わせて用いるゲーム・システムの動作方法の流れ図である。 図９は、ゲーム・システムの実施形態を実現することができる、計算ベース・デバイス(computing-based device)の一例を示す。
[0008] 添付図面と関連付けて以下に示す詳細な説明は、本例を説明することを意図しており、本例を構成または利用することができる唯一の形態を表すことを意図しているのではない。この説明は、本例の機能、および本例を構成し動作させるステップのシーケンスを明記する。しかしながら、同じまたは同等の機能およびシーケンスを異なる例によって遂行することもできる。
[0009] 本明細書では、二次元サイド・スクローリング・プラットフォーマー・ゲーム(two dimensional side-scrolling platformer game)のためのゲーム・システムにおいて実現されるものとして本例を説明し図示するが、記載するシステムは、一例として提示されるのであって、限定としてではない。当業者には認められようが、本例は、種々の異なるタイプのゲーム・システムにおける応用に適している。
[0010] 最初に図１を参照すると、コンピューター・ゲームを制御する制御システム例１００が示されている。この例では、制御システムは、ハンド・ヘルド・コントローラーおよびカメラ・ベース制御システムの双方を備えている。両方のタイプの制御を統合することによって、ゲーム・プレーヤーは両タイプの制御システムの利点を体験する。本明細書において説明するように、きめの細かいゲーム・システムの制御を使いやすく堅実に可能にしてユーザー体験を向上させるために、統合を行う。図１は、この図示例では、二次元サイド・スクローリング・プラットフォーマー・ゲームをプレーしているユーザー１０２を示す。このタイプのゲームは、二次元の図面において明確に描くことができる。しかしながら、本明細書において説明する方法は、三次元ゲーム、拡張現実アプリケーション、および他のタイプのゲームにも応用可能である。例の中には、カメラ・ベース制御システム１００が、とりわけ、身体の姿勢を判断する、人間の標的を結び付ける(bind)、認識する、分析する、追跡する、人間の標的に関連付ける、フィードバックを提供する、および／またはユーザー１０２のような人間の標的（本明細書ではプレーヤーとも呼ぶ）の態様に適応するために、用いることができる場合もある。この例では、明確にするために、1人のプレーヤーを示す。しかしながら、２人以上のプレーヤーが同時に本制御システムを用いてもよい。
[0011] カメラ・ベース制御システム１００は、計算デバイス１０４を備えている。計算デバイス１０４は、汎用コンピューター、ゲーミング・システムまたはコンソール、あるいは専用画像処理デバイスとすることができる。計算デバイス１０４は、ゲーミング・アプリケーションおよび／またはゲーミング以外のアプリケーションというようなアプリケーションを実行するために計算デバイス１０４を用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。計算デバイス１０４の構造については、図９を参照しながら後で論ずることにする。
[0012] 更に、カメラ・ベース制御システム１００は、キャプチャー・デバイス１０６も備えている。キャプチャー・デバイス１０６は、例えば、１人以上のユーザー（ユーザー１０２のような）を視覚的に監視するために用いることができる画像センサーまたは検出器とすることができ、以下で更に詳しく説明するように、これら１人以上のユーザーによって行われるジェスチャーを取り込み、分析し、処理し、そして追跡して、ゲームまたはアプリケーション内において１つ以上の制御または処置(action)を実行することができるようにする。
[0013] 更に、カメラ・ベース制御システム１００は、計算デバイス１０４に接続されているディスプレイ・デバイス１０８も備えることができる。計算デバイスは、ゲームまたはアプリケーションの映像（および任意に音響）をユーザー１０２に供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等とすることができる。
[0014] 動作において、キャプチャー・デバイス１０６を用いてユーザー１０２を追跡し、ユーザー１０２の位置、移動、および体格を計算デバイス１０４（および／またはキャプチャー・デバイス１０６）によって、計算デバイス１０４が実行しているアプリケーションに作用するために用いることができる制御として解釈することができる。その結果、ユーザー１０２は彼または彼女の身体（あるいは彼または彼女の身体の一部）を動かして、実行中のゲームまたはアプリケーションを制御することができる。
[0015] 図１の図示例では、計算デバイス１０４上で実行しているアプリケーションは、ユーザー１０２がプレーしている二次元サイド・スクローリング・プラットフォーマ・ゲームである。この例では、計算デバイス１０４はディスプレイ・デバイス１０８を制御して、風景、樹木、および太陽を含む地勢(terrain)の視覚的表現をユーザー１０２に供給する。また、計算デバイス１０４は、ディスプレイ・デバイス１０８を制御して、ユーザーのアバターの視覚的表現も供給する。ユーザーのアバターは、ユーザー１０２が彼または彼女の移動(movement)によって、および／またはハンド・ヘルド・コントローラー１１０を使用することによって制御することができる。アバターとは、キャラクタおよび／またはツール、兵器、あるいは制御しつつアバターが描かれるその他の物体の視覚表現とすることができる。例えば、計算デバイス１０４は、身体姿勢推定器を備えることができる。身体姿勢推定器は、ユーザーの異なる身体部分を認識および追跡し、これらをアバターにマッピングするように構成されている。このように、アバターはユーザー１０２の移動をコピーして、ユーザーが、例えば、物理的空間内を歩行した場合、ユーザーのアバターにゲーム空間内で歩行させるようになっている。
[0016] しかしながら、ゲーム空間においてユーザーの移動をコピーするだけでは、ユーザーとゲームとの間における対話処理の種類および複雑さが限られてしまう。例えば、多くのゲーム内制御は、一時的な動作(action)またはコマンドであり、従前からのゲーミング・システムではボタンの押下を用いて誘起することができる。これらの例には、殴る、撃つ、兵器を交換する、投げる、蹴る、飛ぶ、および／または屈むというような行為が含まれる。このような行為またはコマンドは、ユーザーがこれらの行為の内１つを行っていることを認識し、対応するゲーム内動作を誘起することによって制御することができるのであって、単にユーザーの動きをコピーするのではない。加えて、ハンド・ヘルド・コントローラーにおけるユーザー入力と、カメラ・ベース制御システムを介した入力との組み合わせも、ゲーム装置を制御するために用いることができる。
[0017] これより図２を参照すると、図１のカメラ・ベース制御システム１００において用いることができるキャプチャー・デバイス１０６の模式図が示されている。図２の例では、キャプチャー・デバイス１０６は、深度情報を有するビデオ画像を取り込むように構成されている。このようなキャプチャー・デバイスは、深度カメラと呼ぶことができる。深度情報は、深度値を含む深度画像の形態とすることができる。即ち、深度値とは、深度画像の各画像エレメントに関連付けられ、深度カメラと当該画像エレメントに位置する物品または物体との間の距離に関係する値である。尚、「画像エレメント」という用語は、画素、１群の画素、ボクセル、１群のボクセル、またはその他の更に上位の画像成分を指すために用いるものとする。
[0018] 深度情報は、適した技法であればいずれを用いても得ることができる。例えば、適した技法には、飛行時間、構造化光、ステレオ画像等が含まれる。例の中には、キャプチャー・デバイス１０６が深度情報を「Ｚレイヤー」、即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直となるはずのレイヤーに編成できるものもある。
[0019] 図２に示すように、キャプチャー・デバイス１０６は少なくとも１つの撮像センサー２００を含む。図２に示す例では、撮像センサー２００は、場面の深度画像を取り込むように配置されている深度カメラ２０２を備えている。取り込まれた深度画像は、取り込まれた場面の二次元（２−Ｄ）エリアを含むことができ、この２−Ｄエリアにおける各画像エレメントは、深度カメラ２０２から、取り込まれた場面における物体の長さまたは距離というような、深度値を表す。
[0020] また、キャプチャー・デバイスは、エミッター２０４も含むことができる。エミッター２０４は、深度情報を深度カメラ２０２によって確認できるようなやり方で場面に照明を当てるように配置されている。例えば、深度カメラ２０２が赤外線（ＩＲ）飛行時間カメラである場合、エミッター２０４はＩＲ光を場面に放出し、深度カメラ２０２は、この場面における１つ以上の標的および物体の表面からの後方散乱光を検出するように配置される。例の中には、出射光パルスと対応する入射光パルスとの間の時間を深度カメラによって検出し、キャプチャー・デバイス１０６から場面における標的または物体上の位置までの物理的距離を判定するために用いることができるように、パルス状赤外線光をエミッター２０４から放出できる場合もある。加えて、例の中には、エミッター２０４からの出射光波の位相を、深度カメラ２０２における入射光波の位相と比較して、位相のずれを判定することができる場合もある。次いで、キャプチャー・デバイス１０６から標的または物体上の位置までの物理距離を判定するために、この位相ずれを用いることができる。他の例では、飛行時間分析を用いると、例えば、散乱光パルス撮像を含む種々の技法によって、経時的な反射光ビームの強度を分析することによって、キャプチャー・デバイス１０６から標的または物体上の位置までの物理距離を間接的に判定することができる。
[0021] 他の例では、キャプチャー・デバイス１０６は、構造化光を用いて深度情報を取り込むことができる。このような技法では、エミッター２０４を用いて、パターン化光（例えば、点、格子、または縞模様というような既知のパターンとして表示される光。これも時間と共に可変であってもよい）を場面に投射することができる。場面における１つ以上の標的または物体の表面に衝突すると、パターンは変形する。このようなパターンの変形を深度カメラ２０２によって取り込み、次いで分析して、キャプチャー・デバイス１０６から場面における標的または物体上の位置までの物理的距離を判定することができる。
[0022] 他の例では、深度カメラ２０２が２つ以上の物理的に分離されたカメラという形態をなすことができ、視覚的ステレオ・データーが得られるように、これらのカメラが１つの場面を異なる角度から捉えて、この視覚的ステレオ・データーを解明して深度情報を生成することができる。この場合、エミッター２０４は、場面に照明を当てるために用いることができ、あるいは省略することができる。
[0023] 例の中には、深度カメラ２０２に加えてまたはこれの代わりに、キャプチャー・デバイス１０６がビデオ・カメラを備えることができる場合もある。このビデオ・カメラをＲＧＢカメラ２０６と呼ぶ。ＲＢＧカメラ２０６は、可視光周波数において場面の画像のシーケンスを取り込むように配置され、したがって、深度画像を増強する(augment)ために用いることができる画像を供給することができる。例の中には、ＲＧＢカメラ２０６を深度カメラ２０２の代わりに用いることができる場合もある。また、キャプチャー・デバイス１０６は任意にマイクロフォン２０７またはマイクロフォン・アレイ（指向性および／または方向転換可能(steerable)とすることができる）も備えることができ、ユーザーからの音声入力のような音響情報を取り込むように配置され、音声認識のために用いることができる。
[0024] 図２に示すキャプチャー・デバイス１０６は、更に、少なくとも１つのプロセッサー２０８を備えている。プロセッサー２０８は、撮像センサー２００（即ち、図２の例では、深度カメラ２０２およびＲＧＢカメラ２０６）、エミッター２０４、およびマイクロフォン２０７と通信可能である。プロセッサー２０８は、汎用マイクロプロセッサー、または特殊信号／画像プロセッサーとすることができる。プロセッサー２０８は、深度画像、ＲＧＢ画像、および／または音声信号を取り込むために撮像センサー２００、エミッター２０４、およびマイクロフォン２０７を制御する命令を実行するように構成されている。また、以下で更に詳しく全体的に説明するが、プロセッサー２０８は、任意に、これらの画像および信号に対する処理を実行するように構成することもできる。
[0025] 更に、図２に示すキャプチャー・デバイス１０６は、メモリー２１０も含む。メモリー２１０は、プロセッサー２０８によって実行する命令、深度カメラ２０２またはＲＧＢカメラ２０６によって取り込まれた画像または画像のフレーム、あるいは他のあらゆる適した情報、画像等を格納するように構成されている。例の中には、メモリー２１０がランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、またはいずれかの他の適した記憶コンポーネントを含むことができる場合もある。メモリー２１０は、プロセッサー２０８と通信する別個のコンポーネントであること、またはプロセッサー２０８に統合することもできる。
[0026] また、キャプチャー・デバイス１０６は、出力インターフェース２１２も備えている。出力インターフェース２１２は、プロセッサー２０８と通信可能であり、通信リンクを通じてデーターを計算デバイス１０４に供給するように構成されている。通信リンクは、例えば、有線接続（ＵＳＢ、Firewire、イーサネット（登録商標）または同様物のような 有線接続）、および／またはワイヤレス接続（WiFi、Bluetooth（登録商標）または同様物のようなワイヤレス接続）とすることができる。他の例では、出力インターフェース２１２は、１つ以上の通信ネットワーク（インターネット）とインターフェースし、これらのネットワークを通じてデーターを計算デバイス１０４に供給することができる。
[0027] キャプチャー・デバイスの一部として、コントローラー１１０も設けられている。このコントローラーは、図１に模式的に示したようなハンド・ヘルド・コントローラーであってもよく、または手持ちではないもっと大きな他のデバイスと一体になっていてもよい。コントローラーは、ボタン、ジョイスティック、タッチ・パッド、スイッチというような、複数のユーザー入力デバイスを備えており、プレーヤーがゲーム・システムに入力することを可能にする。ユーザー入力データーは、コントローラーから計算デバイス１０４に、有線接続および／またはワイヤレス接続を通じて送られる。
[0028] 計算デバイス１０４は、任意の身体姿勢推定器２１４およびジェスチャー認識エンジン２１６というような、カメラ・ベース・ジェスチャー認識に関係する多数の機能を実行する。身体姿勢推定器２１４は、コンピューター映像技法を用いてユーザーの異なる身体部分を検出し追跡するように構成されている。身体姿勢推定器の一例が、２００９年５月２０日に出願された米国特許公開US-2010-0278384-A1,"Human body pose estimation"（人の身体姿勢推定）に記載されている。身体姿勢推定器２１４は、出力を、ユーザーの身体姿勢に関する時系列データーの形態で、ジェスチャー認識エンジンに供給することができる。これは、ユーザーをもれなく追跡したスケルトン・モデルの形態、またはユーザーの身体の内見ることができる部分のもっと粗い識別(identification)の形態とすることができる。例えば、これらの時系列シーケンスは、ユーザーの少なくとも２つの身体部分間における時間可変角度に関するデーター、ユーザーの少なくとも２つの身体部分間における角度の変化率、ユーザーの少なくとも１つの身体部分についての動き(motion)の速度、またはその組み合わせを含むことができる。異なるタイプのデーター（ある身体部分間の角度、速度等）は、「特徴」として知られる。他の例では、身体姿勢推定器２１４は、時間の経過と共に変化するユーザーの姿勢から他のデーター・シーケンス（即ち、他の特徴）を導き出すことができる。更に他の例では、ジェスチャー認識エンジン２１６は、身体姿勢推定器以外の異なるソースから導き出された入力（即ち、特徴）を利用することができる。また、アプリケーション・ソフトウェア２１８を計算デバイス１０４上で実行し、ジェスチャーを用いて制御することもできる。アプリケーション・ソフトウェアは、ディスプレイ２２０におけるゲームの表示を制御するように構成されている。
[0029] 図３は、ハンド・ヘルド・コントローラーの一例１１０の平面図である。これは、全体的に翼の形状をなし、３１６である各翼または肩１２２が、１つの手の中に握り締められる大きさおよび形状になっている。このコントローラーは、これより詳細に説明する複数のボタン、スイッチ、およびジョイスティックを支持する筐体を備えている。しかしながら、これは一例に過ぎず、他のタイプのコントローラー１１０を用いてもよい。
[0030] ４つのディジタル・アクション・ボタン３０２が、コントローラーの右面上に設けられており、緑色のＡボタン、赤いＢボタン、青いＸボタン、およびアンバーのＹボタンから成る。２つのアナログ・ジョイスティック３１０および３１２が設けられている。これらのジョイスティックも、各ジョイスティックの直下にあるディジタル・ボタンを作動させるために、押下またはクリックすることができる。ディジタル開始ボタン３０６、戻るボタン３０８、およびガイド・ボタン３０４が、筐体の中央に位置付けられている。例えば、ガイド・ボタンは、コントローラーをオンに切り替えてメニューにアクセスするために用いられる。
[0031] 図４は、前述のコントローラーの斜視図であり、左バンパー４０６および右バンパー４０４を示す。これらの各々は、ユーザーが押下することができるボタンになっている。左トリガー４００および右トリガー４０２は、双方共アナログであり、コントローラーの下側に設けられている（図４において見ることができる）。計算デバイス１０４への有線接続を可能にするために、接続部４０８を設けるとよい。
[0032] 図５は、例えば、図１の表示画面１０８におけるゲームプレーの間の表示の模式図である。風景および太陽５００を含む環境の中に、アバターが示されている。この環境は、複数の活動物体(active object)を含み、これらがゲームの進展を左右することもある。この例では、活動物体は、攻撃の雲に取り囲まれた敵５０６、およびドアの取っ手５０２を含む。非活動物体５０４は通過できない壁であり、ドアの取っ手５０２は、プレーヤーがアバターを壁の上まで引き上げ、右に移動し続ける手段を設ける。また、他の非活動物体５１０もディスプレイの角に表示されており、ゲーム・システムによって現在捉えられている画像ストリームの表現を含み、ゲームのプレーヤーを描いている。複数のプレーヤーが一緒にゲーム・システムを用いている場合、画像ストリームは、あらゆる遮蔽や画像キャプチャ・システムの視野に応じて、画像ストリームにおいて見ることができる全てのプレーヤーを描く。非活動物体５１０を用いることは必須ではない。図５に示す例では、アバターの腕５０８の１本を、ドアの取っ手５０２に向けて延ばしている。これは、画像ストリームにおけるプレーヤーの手の位置を検出し（画面空間に対する）、検出したプレーヤーの手の位置に基づいて、アバターの腕を伸ばすことによって行われる。尚、図５の場面は一例に過ぎないことを注記しておく。プレーヤーの身体部分の位置、および／またはプレーヤーのジェスチャーを用いて、違う方法でアバターを制御することもできる。
[0033] 図６は、ゲーム・システムの動作方法の流れ図である。ゲーム・システムは、環境において少なくとも１つのアバターを含むゲームを表示する（６００）。ゲームの少なくとも１人のプレーヤーの画像ストリームを受け取り（６０２）、例えば、図２の身体姿勢推定器を用いて、画像ストリームにおいて身体部分の位置および／または関節の位置を検出する（６０６）。任意に、ジェスチャー認識も実行する。また、コントローラーから手動入力も受け取る（６０４）。コントローラーは、図３および図４のような、ハンド・ヘルド・コントローラーとしてもよい。手動入力は、身体部分位置およびジェスチャー認識と実質的に同時に受け取ることができる。ゲーム・システムは、カメラ・ベース入力およびコントローラーからの手動入力の双方に少なくとも部分的に基づいて、アバターを制御する。ゲームを表示し（６１０）、あらゆる手動入力に加えて、カメラ・ベース入力を受け取り続ける。ゲーム・プレーが遅れることなくプレーヤーが没頭するゲーム体験が得られるようにするために、身体部分位置検出および任意のジェスチャー認識をリアル・タイムで実行する。
[0034] 図７は、アバターを制御するためにカメラ・ベース入力を用いる前に、手動入力およびプレーヤー身体部分位置について特定のプレーヤー条件が満たされる、ゲーム・システムの動作方法の流れ図である。このように、ゲーム・システムの混成制御が、リアル・タイムで、カメラ・ベース制御と手動制御との間における衝突を回避するように行われて、きめの細か制御が行われ直感的に使用できる。この例では、カメラ・ベース制御を用いて、アバターの腕を伸ばす。しかしながら、これは一例に過ぎない。ゲームにおけるアバターまたは他の物体を他のやり方で制御するためにも、本方法を用いることができるはずである。
[0035] ゲーム・システムは、環境においてアバターを表示し（７００）、図２を参照して先に説明したような画像キャプチャー・システムを用いて、継続中のプレーヤーの画像ストリームを受け取る。図３および図４のハンド・ヘルド・コントローラーまたは他のいずれかの手動コントローラーのような、コントローラーから手動入力を受け取る（７０４）。コントローラーの１つのバンパーのみが押下されたか否かについてチェックを行う（７０６）。例えば、これは、図４の左バンパー４０６または右バンパー４０４であってもよい。バンパーを用いることは必須ではない。ボタン、スイッチ、タッチ・パッド、またはその他の手で操作するユーザー入力デバイスであればいずれでも、用いることができる。これは、ユーザーの手による使用に合わせて設計された１対の内の１つである。１つのバンパーのみが押下された場合、ゲーム・システムは、プレーヤーのどちらの手が空いていそうであるかについての情報が得られる。ゲーム・システムは画像ストリームをチェックして、空いていそうな手を見つけ、この空いている手の位置が、コントローラーから閾値距離よりも遠くにあるか否か計算する（７０８）。そうである場合、ゲーム・システムは、コントローラーに対するプレーヤーの空いている手の位置を追跡する（７１０）。
[0036] ゲーム・システムは、マッピング関数を用いて、判定したプレーヤーの空いている手の位置を、アバター周囲の画面空間にマッピングする（７１２）。マッピング関数は、ゲーム・システムに格納することができ、マッピング関数のパラメーターは、ゲーム状態にしたがって様々に変化させることができる（７１４）。例えば、マッピング関数は、画面空間においてマッピングした位置が、アバターの指定領域以内にあること、そしてマッピングした位置が、判定したプレーヤーの空いている手の位置に関係があることを、例えば、比例関係、非線形関係を用いて、またはその他の方法で確認することができる。次いで、アバターの手が画面空間においてマッピングした位置に来るように、アバターの腕を伸ばす（７１６）。
[0037] 図７の例によって示すように、手動入力の条件およびカメラ・ベース入力の条件が双方共満たされることを確認することによって、これら２つの制御方法のいずれを用いても、アバターの制御間における衝突が軽減される。７０６のような手動入力条件を用いることは必須ではない。例えば、プレーヤーの画像ストリームを用いて、プレーヤーの１つの手のみがコントローラー上にあるか否かチェックしてもよい。
[0038] 図８を参照すると、アバターの手（画面空間においてマッピングした位置に伸ばした後）が特定の物体（図５のドアの取っ手のような）の上にあるか否かチェックを行う（８００）。そうである場合、その特定の物体を掴んでいるアバターの手を表示することができる（８０２）。プレーヤーの空いている手の追跡および手動入力は継続し（８０４）、プレーヤーがバンパーを押下し続け、彼の空いている手を伸ばし続けているか否かチェックを行う（８０６）。続けていない場合、アバターの手を伸ばしていない状態に戻す（８０８）。プレーヤーがバンパーを押下し続け、空いている手を伸ばし続けている場合、アバターの腕が伸びているままプレーヤーがアバターを移動させている可能性があると考えられる。例えば、コントローラー上のジョイスティックで入力を行う。アバターの腕を伸ばしている間のアバターの動き(motion)を、プレーヤーによる手動入力にしたがって表示する（８１０）。例えば、この状態では、プレーヤーは彼の親指を用いてアバターを制御し、１本の腕を伸ばすことによってアバターが走り回り、その腕を回転させると、物体を掴んだままでいるようにすることができる。
[0039] プレーヤーがバンパーを押下しながら、追跡されている手をコントローラーに戻した場合、物体に向けて動かされた(lift)アバターを表示することができる（８１４）。プレーヤーがバンパーを放すと、アバターの手は伸びていない状態に戻ることができる。指定されたゲーム状態が発生した場合（８１６）、アバターの手は伸びていない状態に戻ることができる（８０８）。例えば、指定されたゲーム状態は、敵からの怪我、掴んでいる物体から閾値距離よりも遠くにアバターが移動すること、指定時刻に達したこと、指定電力計レベルに達したことであってもよい。
[0040] 他の例では、カメラ・ベース入力を用いて、アバターが剣を振り下ろす方向を制御する。他の例では、カメラ・ベース入力を用いて、地図上のある地点に銃を向け、手動入力を用いて銃の引き金を引く。本明細書において説明した種々の例では、身体部分の位置またはプレーヤーが行う移動(movement)は、ゲームにおいて行われるアバターの制御に似ている。例えば、プレーヤーが一方の手を上に伸ばしたなら、その行為を増幅即ち誇張してゲームにおけるアバターにコピーする。しかしながら、これは必須ではない。プレーヤーが行う移動は、結果的に行われるアバターの制御に関係なくてもよい。
[0041] 図９は、計算デバイスの一例１０４の種々のコンポーネントを示し、これらはいずれの形態の計算デバイスおよび／または電子デバイスとしても実現することができ、以上で説明したゲーム制御技法の実施形態を実現することができる。
[0042] 計算デバイス１０４は、１つ以上のプロセッサー９０２を備えている。プロセッサー９０２は、マイクロプロセッサー、コントローラー、またはゲーム・システムを制御する計算実行可能命令を処理する適したタイプのプロセッサーであれば他のいずれでもよい。例の中には、例えば、チップ上システム・アーキテクチャーを用いる場合、プロセッサー９０２は、ハードウェア（ソフトウェアやファームウェアではなく）でゲーム制御方法の一部を実現する１つ以上の固定機能ブロック（アクセレレーターとも呼ぶ）を含むこともできる。
[0043] また、計算ベース・デバイス１０４は、入力インターフェース９０４も備えている。入力インターフェース９０４は、図２のキャプチャー・デバイス１０６および／または図３および図４のコントローラーというような、１つ以上のデバイスから入力を受け取るように構成されている。また、出力インターフェース９０６も設けられており、例えば、計算ベース・デバイスと一体となっている、またはこれと通信可能なディスプレイ・システム（ディスプレイ・デバイス１０８または２２０のような）に出力を供給するように構成されている。ディスプレイ・システムは、グラフィカル・ユーザー・インターフェース、またはいずれかの適したタイプの他のユーザー・インターフェースを設けることができるが、これは必須ではない。通信インターフェース９０８も任意に設けることができ、１つ以上の通信ネットワーク（例えば、インターネット）と通信するように構成することができる。
[0044] 計算ベース・デバイス１０４によってアクセス可能ないずれかのコンピューター読み取り可能媒体を用いて、コンピューター実行可能命令を供給することができる。コンピューター読み取り可能媒体は、例えば、メモリー９１０のようなコンピューター記憶媒体、および通信媒体を含むことができる。メモリー９１０のようなコンピューター記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の記憶のためのいずれかの方法または技術で実現する。コンピューター記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは計算デバイスによるアクセスのために情報を格納するために用いることができる他のあらゆる非送信媒体(non-transmission medium)が含まれるが、これらに限定されるのではない。対照的に、通信媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターを、搬送波のような変調データー信号、あるいは他の伝達メカニズムに具体化することができる。本明細書における定義では、コンピューター記憶媒体は通信媒体を含まないこととする。したがって、コンピューター記憶媒体がそれ自体伝搬信号であると解釈すべきではない。コンピューター記憶媒体（メモリー９１０）は計算ベース・デバイス１０４内部に示されているが、ストレージは、ネットワークまたは他の通信リンク（例えば、通信インターフェース９０８を用いて）を通じて分散しまたは離れて配置し、アクセスしてもよいことは認められよう。
[0045] オペレーティング・システム９１２を構成するプラットフォーム・ソフトウェア、または他のいずれかの適したプラットフォーム・ソフトウェアを計算ベース・デバイスにおいて設けると、アプリケーション・ソフトウェア２１８をそのデバイス上で実行することが可能になる。メモリー９１０は、身体姿勢推定器２１４およびジェスチャー認識エンジン２１６の機能を実現するための実行可能命令を格納することができる。また、メモリー９１０はデーター・ストア９１４も設けることができる。データー・ストア９１４は、いずれかのスタンス・テンプレート(stance template)、閾値、パラメーター、画面空間マッピング機能、または他のデーターに対してというように、ゲーム制御技法を実行するときにプロセッサー９０２によって用いられるデーターに記憶場所を設けるために用いることができる。
[0046] 「コンピューター」という用語は、本明細書で用いられる場合、命令を実行できるように処理能力を有するあらゆるデバイスを指す。尚、このような処理能力は、多くの異なるデバイスに組み込まれており、したがって、「コンピューター」という用語は、ＰＣ、サーバー、移動体電話機、パーソナル・ディジタル・アシスタント、および多くの他のデバイスを含むことは、当業者には理解されるはずである。
[0047] 本明細書において説明した方法は、有形記憶媒体上において機械読み取り可能な形態で、例えば、コンピューター・プログラムの形態としたソフトウェアによって実行することができる。コンピューター・プログラムは、このプログラムをコンピューター上で実行すると、本明細書において説明した方法のいずれでも、その全てのステップを実行するように構成されたコンピューター・プログラム・コード手段を備えている。コンピューター・プログラムは、コンピューター読み取り可能媒体上に具体化することができる。有形（または、一時的でない）記憶媒体の例には、ディスク、サム・ドライブ、メモリー等が含まれ、伝搬信号は含まれない。ソフトウェアは、適したいずれかの順序でまたは同時に本方法のステップを実行できるように、パラレル・プロセッサー上における実行またはシリアル・プロセッサー上における実行に適するはずである。
[0048] これは、ソフトウェアが価値のある、別個に取引可能な商品となることができることを承認する。これは、所望の機能を実行するために、標準的なハードウェア上で実行するまたは「ダム」(dumb)を制御するソフトウェアを包含することを意図している。また、これは、所望の機能を実行するようにシリコン・チップを設計するまたはユニバーサル・プログラマブル・チップを構成する際に用いられるような、ＨＤＬ（ハードウェア記述言語）ソフトウェアというような、ハードウェアの構成を「記述する」または定義するソフトウェアも包含することも意図している。
[0049] 尚、プログラム命令を格納するために利用する記憶デバイスは、ネットワークを跨いで分散できることは、当業者には理解されよう。例えば、リモート・コンピューターが、ソフトウェアとして記述されるプロセスの一例を格納することができる。ローカル・コンピューターまたは端末コンピューターが、このリモート・コンピューターにアクセスし、そのソフトウェアの一部または全部をダウンロードして、プログラムを実行することができる。あるいは、ローカル・コンピューターが、必要に応じて、ソフトウェアの一部をダウンロードすること、または一部のソフトウェア命令をローカル端末において実行し、一部をリモート・コンピューター（またはコンピューター・ネットワーク）において実行することもできる。また、当業者には周知である従来の技法を利用することによって、ソフトウェア命令の全部または一部を、ＤＳＰ、プログラマブル・ロジック・アレイ等のような専用回路によって実行できることも、当業者には理解されよう。
[0050] 本明細書において示したいずれの範囲またはデバイス値も、求められる効果を失うことなく、拡大または変更することもできる。これは、当業者には明白であろう。
[0051] 以上、主題について構造的特徴および／または方法論的動作に特定的な文言で説明したが、添付した特許請求の範囲において定義されている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは言うまでもない。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示したまでである。
[0052] 尚、以上で説明した効果および利点は、一実施形態に関係するのでもよく、または様々な実施形態に関係するのでもよいことは言うまでもない。実施形態は、以上で述べた問題の内いずれかを解決するものにも、全てを解決するものにも限定されず、以上で述べた効果および利点の内いずれかを有するものにも、全てを有するものにも限定されない。更に、「ある」品目(an item)と言うときは、その品目が１つ以上あることを意味することは言うまでもない。
[0053] 本明細書において説明した方法のステップは、適した順序であればいずれでも実行することができ、またしかるべきときには同時に実行してもよい。加えて、個々のブロックは、本明細書において説明した主題の主旨および範囲から逸脱することなく、それらの方法のいずれからも削除してもよい。以上で説明した例はそのいずれも、その態様を、説明した他の例の内のいずれの態様とも組み合わせて、求めている効果を失うことなく、更に他の例を形成することができる。
[0054] "comprising"（備えている）という用語は、本明細書において用いられる場合、特定した方法ブロックまたはエレメントを含むが、このようなブロックまたはエレメントは、網羅的な羅列を構成するのではなく、方法または装置が追加のブロックまたはエレメントを含んでもよいことを意味する。
[0055] 尚、以上の説明は、一例として示したに過ぎず、当業者によって種々の変更も行えることは言うまでもない。以上の明細書、例、およびデーターは、実施形態例の構造および使用の完全な記述を提供する。以上では、ある程度の特定性をもって、または１つ以上の個々の実施形態を参照して、種々の実施形態について説明したが、当業者であれば、本明細書の主旨や範囲から逸脱することなく、開示した実施形態に対して多数の変更を行うことができよう。

Claims (20)

  1. コンピューター・ゲーム・システムを制御する方法であって、
    ゲームの少なくとも１人のプレーヤーを描写している画像のストリームを画像キャプチャー・デバイスから受け取るステップと、
    前記画像のストリームを分析することによって前記プレーヤーの一部の位置を判定するステップと、
    前記プレーヤーにより操作される手動操作コントローラーからプレーヤーの手動入力を受け取るステップと、
    前記少なくとも１人のプレーヤーによって見られている表示においてコンピューター・ゲームを表示するステップであって、前記表示は、少なくとも１つのアバターと環境とを含む、ステップと、
    複数のプレーヤー条件が満たされていることをチェックするステップであって、前記条件の少なくとも１つは、前記プレーヤーが一方の手のみを前記手動操作コントローラー上に置いていること、または前記プレーヤーが一方の手を前記コントローラーから閾値距離よりも離していることである、ステップと、
    一旦前記プレーヤー条件が満たされたなら、前記判定されたプレーヤーの一部の位置と前記コントローラーからの前記手動入力との両方に基づいて、前記アバターの前記表示を制御するステップと、
    前記プレーヤー条件が満たされない場合、前記コントローラーからの前記手動入力に基づいて前記アバターの前記表示を制御するステップと、
    を含む方法。
  2. 前記プレーヤーの前記一部の位置は、前記プレーヤーの身体部分の位置、または前記プレーヤーによって掴まれた実世界物体の位置である、請求項１に記載の方法。
  3. 前記プレーヤーの前記判定された一部の位置を、マッピング関数を用いて場面空間のマッピング位置にマッピングするステップと、前記アバターの前記表示を場面空間の前記マッピング位置に関連して制御するステップとを含む、請求項１に記載の方法。
  4. 前記アバターの一部を場面空間の前記マッピング位置に向けて伸ばすことによって前記アバターの前記表示を制御するステップを含む、請求項３に記載の方法。
  5. 前記アバターを場面空間の前記マッピング位置に向けて動かすことによって前記アバターの前記表示を制御するステップを含む、請求項３に記載の方法。
  6. 前記プレーヤーの前記一部の位置を追跡するステップと、前記追跡された一部の位置に基づいて前記アバターの前記表示を制御するステップとを含む、請求項１に記載の方法。
  7. 前記プレーヤーの前記一部の位置を追跡するステップと、前記プレーヤーの前記追跡された一部の位置を、マッピング関数を用いて場面空間の複数のマッピング位置にマッピングするステップと、前記アバターの前記表示を場面空間の前記マッピング位置に関連して制御するステップとを含む、請求項１に記載の方法。
  8. 複数のプレーヤー条件が満たされていることをチェックする前記ステップは、前記プレーヤーが一方の手のみを前記手動操作コントローラー上に置いていることをチェックするステップを含む、請求項１に記載の方法。
  9. 前記複数の条件は、前記プレーヤーが一方の手を前記コントローラーから閾値距離よりも離していることをチェックすることを含む、請求項８に記載の方法。
  10. 前記複数の条件は、前記受け取られた画像のストリームのみを用いてチェックされる、請求項９に記載の方法。
  11. 前記複数の条件は、前記受け取られた画像のストリームと前記手動入力との両方を用いてチェックされる、請求項９に記載の方法。
  12. 前記ゲームの状態にしたがって前記マッピング関数のパラメーターを変化させるステップを含む、請求項３に記載の方法。
  13. コンピューター・ゲーム・システムであって、
    ゲームの少なくとも１人のプレーヤーを描写している画像のストリームを受け取るように構成された画像キャプチャー・デバイスと、
    前記画像のストリームを分析することによって前記プレーヤーの一部の位置を判定するように構成されたプロセッサーと、
    手動操作コントローラーからプレーヤーの手動入力を受け取るように構成された入力と、
    前記少なくとも１人のプレーヤーによって見られている表示においてコンピューター・ゲームを表示するように構成された出力であって、前記表示は、少なくとも１つのアバターと環境とを含む、出力と、
    を備え、
    前記プロセッサーは、複数のプレーヤー条件が満たされていることをチェックするように構成され、前記条件の少なくとも１つは、前記プレーヤーが一方の手のみを前記手動操作コントローラー上に置いていること、または前記プレーヤーが一方の手を前記コントローラーから閾値距離よりも離していることであり、
    前記プロセッサーは、一旦前記プレーヤー条件が満たされたなら、前記判定されたプレーヤーの一部の位置と前記コントローラーからの前記手動入力との両方に基づいて、前記アバターの前記表示を制御するように構成され、
    前記プロセッサーは、前記プレーヤー条件が満たされない場合、前記コントローラーからの前記手動入力に基づいて前記アバターの前記表示を制御するように構成される、
    コンピューター・ゲーム・システム。
  14. 前記プロセッサーは、前記プレーヤーの前記一部の位置を追跡し、前記追跡された一部の位置に基づいて前記アバターの前記表示を制御するように構成される、請求項１３に記載のコンピューター・ゲーム・システム。
  15. 前記プロセッサーは、前記プレーヤーの前記一部の位置を追跡し、前記プレーヤーの前記追跡された一部の位置を、マッピング関数を用いて場面空間の複数のマッピング位置にマッピングし、前記アバターの前記表示を場面空間の前記マッピング位置に関連して制御するように構成される、請求項１３に記載のコンピューター・ゲーム・システム。
  16. 前記プロセッサーは、前記プレーヤーが一方の手のみを前記手動操作コントローラー上に置いていることを少なくともチェックすることによって、前記プレーヤー条件をチェックするように構成される、請求項１３に記載のコンピューター・ゲーム・システム。
  17. 前記複数の条件は、前記プレーヤーが一方の手を前記コントローラーから閾値距離よりも離していることをチェックすることを含む、請求項１６に記載のコンピューター・ゲーム・システム。
  18. 前記複数の条件は、前記受け取られた画像のストリームのみを用いてチェックされる、請求項１６に記載のコンピューター・ゲーム・システム。
  19. コンピューター・ゲーム・システムを制御する方法であって、
    ゲームの少なくとも１人のプレーヤーを描写している画像のストリームを画像キャプチャー・デバイスから受け取るステップと、
    前記画像のストリームを分析することによって前記プレーヤーの一部の動きを追跡するステップと、
    前記プレーヤーにより操作される手動操作コントローラーからプレーヤーの手動入力を受け取るステップと、
    前記少なくとも１人のプレーヤーによって見られている表示においてコンピューター・ゲームを表示するステップであって、前記表示は、少なくとも１つのアバターと環境とを含む、ステップと、
    前記プレーヤーが一方の手のみを前記手動操作コントローラー上に置いていること、および前記プレーヤーが一方の手を前記コントローラーから閾値距離よりも離していることをチェックするステップと、
    もしそうである場合、前記プレーヤーの一部の前記追跡された動きと前記コントローラーからの前記手動入力との両方に基づいて、前記アバターの前記表示を制御するステップと、
    そうでない場合、前記コントローラーからの前記手動入力に基づいて前記アバターの前記表示を制御するステップと、
    を含む方法。
  20. 前記プレーヤーの前記一部の位置は、前記プレーヤーの身体部分の位置、または前記プレーヤーによって掴まれた実世界物体の位置である、請求項１９に記載の方法。
JP2014508473A 2011-04-28 2012-04-23 手動およびカメラ・ベースのアバター制御 Active JP6077523B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161480089P 2011-04-28 2011-04-28
US61/480,089 2011-04-28
US13/237,714 US8702507B2 (en) 2011-04-28 2011-09-20 Manual and camera-based avatar control
US13/237,714 2011-09-20
PCT/US2012/034726 WO2012148866A2 (en) 2011-04-28 2012-04-23 Manual and camera-based avatar control

Publications (3)

Publication Number Publication Date
JP2014523259A JP2014523259A (ja) 2014-09-11
JP2014523259A5 JP2014523259A5 (ja) 2015-06-18
JP6077523B2 true JP6077523B2 (ja) 2017-02-08

Family

ID=47068298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014508473A Active JP6077523B2 (ja) 2011-04-28 2012-04-23 手動およびカメラ・ベースのアバター制御

Country Status (6)

Country Link
US (1) US8702507B2 (ja)
EP (1) EP2701816B1 (ja)
JP (1) JP6077523B2 (ja)
KR (1) KR101945553B1 (ja)
CN (1) CN103517742B (ja)
WO (1) WO2012148866A2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9033795B2 (en) * 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
US20140135121A1 (en) * 2012-11-12 2014-05-15 Samsung Electronics Co., Ltd. Method and apparatus for providing three-dimensional characters with enhanced reality
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9415963B2 (en) 2013-01-30 2016-08-16 Fife Corporation Sensor controller for interpreting natural interaction sensor for web handling
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
JP6425416B2 (ja) * 2013-05-10 2018-11-21 国立大学法人電気通信大学 ユーザインタフェース装置およびユーザインタフェース制御プログラム
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
KR20160007913A (ko) * 2014-07-10 2016-01-21 주식회사 홍인터내셔날 다트 게임 대전 모드를 제공하는 방법, 장치 및 컴퓨터-판독가능 매체
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP6560074B2 (ja) * 2015-09-16 2019-08-14 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
WO2017079731A1 (en) 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
US10218882B2 (en) * 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
SG11202002344XA (en) * 2017-09-15 2020-04-29 Tactacam LLC Weapon sighted camera system
JP7058034B2 (ja) * 2017-09-29 2022-04-21 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP6639561B2 (ja) * 2018-05-29 2020-02-05 株式会社コロプラ ゲームプログラム、方法、および情報処理装置
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP7165604B2 (ja) * 2019-03-06 2022-11-04 日産自動車株式会社 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
CN111790140A (zh) * 2020-07-07 2020-10-20 杭州脸脸会网络技术有限公司 互动方法、系统、计算机设备及可读存储介质

Family Cites Families (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6697072B2 (en) 2001-03-26 2004-02-24 Intel Corporation Method and system for controlling an avatar using computer vision
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
JP2003325981A (ja) 2002-05-09 2003-11-18 Nintendo Co Ltd 多人数参加型ゲームシステムおよび多人数参加型ゲームプログラム
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7731588B2 (en) 2005-09-28 2010-06-08 The United States Of America As Represented By The Secretary Of The Navy Remote vehicle control system
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9205329B2 (en) 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
CA2682586A1 (en) 2007-03-30 2008-10-09 Ntn Buzztime, Inc. Video feed synchronization in an interactive environment
US8210945B2 (en) 2007-05-16 2012-07-03 Eyecue Vision Technologies Ltd. System and method for physically interactive board games
US8237656B2 (en) 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8386918B2 (en) 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US20100302253A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8830329B2 (en) 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking

Also Published As

Publication number Publication date
US8702507B2 (en) 2014-04-22
KR101945553B1 (ko) 2019-02-07
WO2012148866A2 (en) 2012-11-01
CN103517742B (zh) 2016-05-11
EP2701816B1 (en) 2022-03-23
EP2701816A2 (en) 2014-03-05
JP2014523259A (ja) 2014-09-11
WO2012148866A3 (en) 2013-01-10
CN103517742A (zh) 2014-01-15
US20120276995A1 (en) 2012-11-01
KR20140021619A (ko) 2014-02-20
EP2701816A4 (en) 2014-10-15

Similar Documents

Publication Publication Date Title
JP6077523B2 (ja) 手動およびカメラ・ベースのアバター制御
US9259643B2 (en) Control of separate computer game elements
JP2014523258A (ja) 手動およびカメラ・ベースのゲーム制御
US8740702B2 (en) Action trigger gesturing
US8657683B2 (en) Action selection gesturing
US8736583B2 (en) Virtual links between different displays to present a single virtual object
TWI546725B (zh) 於手勢和使用者介面元件間之延續虛擬連結技術
US8556716B2 (en) Image generation system, image generation method, and information storage medium
US9349040B2 (en) Bi-modal depth-image analysis
CN102592045B (zh) 通过虚拟骨架的第一人称射击者控制
US8845431B2 (en) Shape trace gesturing
JP7171403B2 (ja) プログラム、ゲーム方法、および情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150423

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170112

R150 Certificate of patent or registration of utility model

Ref document number: 6077523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250