JP4598117B2 - One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data - Google Patents

One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data Download PDF

Info

Publication number
JP4598117B2
JP4598117B2 JP2008333907A JP2008333907A JP4598117B2 JP 4598117 B2 JP4598117 B2 JP 4598117B2 JP 2008333907 A JP2008333907 A JP 2008333907A JP 2008333907 A JP2008333907 A JP 2008333907A JP 4598117 B2 JP4598117 B2 JP 4598117B2
Authority
JP
Japan
Prior art keywords
gearing
user
computer
action
system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008333907A
Other languages
Japanese (ja)
Other versions
JP2009112829A (en
Inventor
エム. ザルースキ ゲイリー
マオ シャドン
マークス リチャード
Original Assignee
ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US11/381,725 priority Critical patent/US7783061B2/en
Priority to US11/381,721 priority patent/US8947347B2/en
Priority to US11/381,729 priority patent/US7809145B2/en
Priority to US11/381,727 priority patent/US7697700B2/en
Priority to US11/381,724 priority patent/US8073157B2/en
Priority to US11/381,728 priority patent/US7545926B2/en
Priority to US11/382,038 priority patent/US7352358B2/en
Priority to US11/382,036 priority patent/US9474968B2/en
Priority to US11/382,041 priority patent/US7352359B2/en
Priority to US11/382,040 priority patent/US7391409B2/en
Application filed by ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー filed Critical ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Publication of JP2009112829A publication Critical patent/JP2009112829A/en
Application granted granted Critical
Publication of JP4598117B2 publication Critical patent/JP4598117B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/02Accessories
    • A63F13/06Accessories using player-operated means for controlling the position of a specific area display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/10Control of the course of the game, e.g. start, progess, end
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition

Description

ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。 The video game industry has experienced many changes over the years. 演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきている。 As the computing power is to expand, as well developers of video games, it has been to create a game software that takes advantage of these increases in computing power.

このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。 To this end, video game developers have been coding to produce a very realistic gaming experience, games that incorporate sophisticated operations and mathematics.
ゲームプラットフォームの例に、ソニープレイステーションまたはソニープレイステーション2(PS2)があり、これらはそれぞれ、ゲームコンソールの形で販売されている。 Example gaming platforms, may Sony Playstation or Sony Playstation 2 (PS2), each of which is sold in the form of a game console. 周知のように、ゲームコンソールはモニタ(通常はテレビ)と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。 As is well known, the game console is connected to a monitor (usually a television), and is designed to allow interaction with the user by the hand-held controller of. ゲームコンソールは、CPU、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。 Game console, CPU, processing amount of graphics synthesizer for many graphics operations, and specialized processing hardware, such as a vector system for performing geometric conversion, other tie to become hardware That glue hardware, firmware and software is designed with like.
また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。 The game console, according to the game console is designed with an optical disc tray for receiving game compact discs for local play. また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒にインタラクティブにプレイすることができるオンラインゲームも可能である。 In addition, the user, and play against other users on the Internet, or, online games is also possible to be able to play interactively with other users.

ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能を実現するために革新を続けてきている。 Game have continued to innovate to be those of a complex is the fact that Hikitsuzuke the interest of players, manufacturers of game software and hardware to realize further interactivity. しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。 But, in fact, a method for the user to the game and interact with is, did not change dramatically to over the years. 一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。 In general, the user is, still, or to play a computer game using a hand-held controller, is doing the interaction with the program by using the mouse pointing device. 前述を鑑みて、ゲームプレイにおいてより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。 In view of the foregoing, methods and systems that enable more advanced user interactivity in the game play is required.

概して、本発明は、コンピューティングシステムとのダイナミックなユーザインタラクティビティを可能にする方法、システムおよび装置を提供することによって、このニーズを満たす。 Generally, the present invention is a method that enables dynamic user interactivity between computing systems by providing a system and apparatus, satisfies this need. 一実施形態では、コンピューティングシステムはプログラムを実行しており、プログラムがインタラクティブなものとなっている。 In one embodiment, the computing system is executing a program, the program becomes as interactive. プログラムは、例えば、インタラクティブなオブジェクトやフィーチャを定義するビデオゲームであってもよい。 Program, for example, may be a video game that defines interactive objects and features. インタラクティビティには、処理が実行される際の程度の調整を行うギアリング要素を調整する能力をユーザに与えることが含まれる。 The interactivity includes providing the ability to adjust the gearing elements for adjusting the degree of when the processing is executed to the user. 一実施形態では、ギアリングは、入力デバイスの移動量対コンピュータプログラムのオブジェクトやフィーチャが行う移動量間の相対移動に設定することができる。 In one embodiment, gearing can be set to the relative movement between the moving amount of the object and features of the moving amount-computer program input device performed.

別の実施形態では、ギアリングは、コンピュータプログラムのフィーチャに対して設定することができ、入力デバイスからの検出は、慣性アナライザの処理に基づくものであってもよい。 In another embodiment, gearing can be set for the feature of the computer program, the detection of the input device may be based on the inertial analyzer process. この慣性アナライザは、慣性アクティビティに対する入力デバイスを追跡し、その情報をプログラムに伝達する。 The inertial analyzer will track an input device for inertial activity, and transmits the information to the program. 次に、プログラムは、慣性アナライザからの出力を処理して、出力にギアリング量をかけることができるようにする。 The program then processes the output from the inertial analyzer so can apply a gearing amount to the output. ギアリング量は、プログラムがオペレーションを計算する際の程度または比率を決定する。 Gearing amount will then dictate a degree or ratio by which a program will compute an operation. オペレーションは任意の数の形態をとることができ、オペレーションの一例としては、ノイズ、可変ノイズ、オブジェクトが行う移動、または変数の生成、を挙げることができる。 Operation can take any number of forms, as an example of operations can include noise, variable noise, the moving object is performed, or the generation of a variable, a. 出力が変数であれば、この変数(例えば、乗数など)を使用してプロセスを完了するようにしてもよい。 If the output is a variable, the variable (e.g., multipliers, etc.) may be complete the process used. これにより、プロセスはギアリング量を考慮するようになる。 Thus, the process is to consider the amount of gearing. ギアリング量は、ユーザが事前に設定しても動的に設定してもよく、または要求に応じて調整することができる。 Gearing amount can be user adjusted according to may be set also dynamically set in advance, or the request.

一実施形態では、追跡は音響アナライザによって行うことができる。 In one embodiment, the tracking can be performed by the acoustic analyzer. 音響アナライザは入力デバイスから音響信号を受信するように構成され、実行されているコマンドやインタラクションにかけられるギアリング量を伝達することができる。 Acoustic analyzer can be transmitted is configured from an input device to receive acoustic signals, the gearing amount applied to the command or interaction being executed. 音響アナライザは、コンピュータプログラムのセグメントの形態であってもよく、または、音響信号情報を処理するように設計された回路に特別に形成されたものであってもよい。 Acoustic analyzer may be in the form of a segment of a computer program, or may be those specially formed in the circuit that is designed to process the acoustic signal information. したがって、音響信号情報は、プログラムによって動的に設定されるか、要求に応じて、(コントローラ上のボタン、音声コマンドなどを選択することによって)入力デバイスを介してユーザにより設定されるギアリングデータを含むことができる。 Therefore, whether the acoustic signal information is dynamically set by the program, on request, gearing data set by the user through the input device (button on the controller, by selecting the voice command) it can contain.

一実施形態では、入力デバイスの追跡は、画像アナライザを介してなされてもよい。 In one embodiment, tracking of the input device may be made via an image analyzer. 以下に説明しているように、画像アナライザは、ユーザならびに入力デバイスが位置する空間の画像をキャプチャするカメラを備え得る。 As described below, the image analyzer may comprise a camera for capturing an image of the space user and input device is located. この例では、画像アナライザは、処理プログラムのフィーチャにそれぞれのアクションを行わせるように、コントローラの位置を決定している。 In this example, an image analyzer, as to perform each action to a feature of the processing program, and determines the position of the controller. プログラムはゲームであり、フィーチャは入力デバイスによって制御されているオブジェクトであってもよい。 Program is a game, features may be objects that are controlled by the input device. さらに、画像アナライザは、位置データを入力ギアリング値とミックスするように構成される。 Further, the image analyzer is configured to mix the input gearing value position data. ギアリング値は、ユーザにより、実行において動的に与えられてもよく、あるいは、実行セッションのアクティビティに応じてプログラムにより設定されてもよい。 Gearing value, the user may be dynamically provided in the execution, or may be set by a program in accordance with the activity execution session. ギアリング入力は、ユーザによる入力ジェスチャやアクションに基づいて、コンピュータプログラムによる幾分かの処理に相対的インパクトを設定する。 Gearing input, based on the input gesture or action by the user, sets the relative impact on some of the processing by a computer program. 一実施形態では、ギアリングは、ユーザやユーザ入力デバイスからのコマンドやアクションをプログラムのフィーチャに変換する。 In one embodiment, the gearing converts a command or action from the user and the user input device to the program feature. プログラムのフィーチャは可視オブジェクトでなくてもよいが、音声、振動または画像の移動のいずれかのパラメータ、予測、あるいは変換を幾分か計算するように使用される変数の調整を含むことができる。 Program features may not be visible objects but may include voice, any parameter of the movement of the vibration or the image, the adjustment of the variables used to calculate somewhat predictable, or transformation. したがって、ギアリングは、プログラムとプログラムのフィーチャ間に与えられるインタラクティビティを制御するための更なる意味を付加することになる。 Thus, gearing will be added further meaning to control the interactivity applied between program and program features. さらに別の実施形態では、ミキサアナライザが提供される。 In yet another embodiment, mixer analyzer is provided. このミキサアナライザは、ゲームのフィーチャにハイブリッド効果をもたらすように設計される。 The mixer analyzer is designed to generate a hybrid effect the game feature. 例えば、ミキサアナライザは、画像アナライザ、音響アナライザ、慣性アナライザなどの組合せからの入力を扱う。 For example, the mixer analyzer treats image analyzer, an acoustic analyzer, the input from the combination of such inertial analyzer. したがって、一実施形態では、このミキサアナライザはいくつかのギアリング変数を受信する。 Thus, in one embodiment, the mixer analyzer receives several gearing variables. これらの変数は混合ならびに合成されて、プログラムのフィーチャとのハイブリッドな結果、コマンド、あるいはインタラクションをもたらす。 These variables are mixed and synthetic, hybrid result of the features of the program, resulting in a command or interaction. 同様に、プログラムのフィーチャは視覚オブジェクトならびに非視覚オブジェクト、移動の処理に使用する変数、可聴反応に対する調節などを含むものと広く理解されるべきである。 Likewise, features of the program visual objects as well as non-visual objects, variables used in the movement of the treatment, it should be understood broadly as including such adjustments to audible reaction.

1つの特定の例では、ユーザのコントローラによる移動をゲームのフィーチャ上の移動またはアクションに変換する量の少なくとも一部は設定された、あるいは決定されたギアリングに関係する。 In one particular example, relating to at least a portion has been set, or determined gearing amount for converting the movement by the user of the controller with the movement or action on the game features. ギアリングは、ゲームに対して動的に設定もしくは事前に設定されてもよく、あるいはゲームのプレイ中にユーザによって調整されてもよい。 Gearing may be adjusted by the user while playing dynamically set or may be set in advance or a game, the game. さらに、この反応は、ビデオゲームのオブジェクトもしくはフィーチャに対応づけられ、別のレベルのユーザインタラクティビティと強化した体験とを与えることができる。 Moreover, this reaction is associated with the object or feature of the video game may provide experience and reinforced with user interactivity another level.

本発明は、プロセス、装置、システム、デバイスまたは方法など、多くの方法で実装することができる点を理解されたい。 The present invention is a process, an apparatus, system, device or method, it should be understood that it can be implemented in many ways. 以下に本発明のいくつかの発明の実施形態を記載する。 It describes Several inventive embodiments of the present invention are described below.

一実施形態では、コンピュータゲームシステムとインタラクティブにインターフェースする方法が提供される。 In one embodiment, a method for interactive interfacing with a computer gaming system is provided. このコンピュータゲームシステムは、画像データをキャプチャするビデオキャプチャ装置を含む。 The computer game system includes a video capture device for capturing image data. 上記方法において、入力デバイスがビデオキャプチャ装置に表示され、入力デバイスは、変調される複数の光源を有しており、この入力デバイスの位置と、キャプチャしたデータ分析ならびに複数の光源の状態に基づくコンピュータゲームシステムにより解釈される通信データとが伝達される。 In the above method, the input device is displayed on a video capture device, an input device has a plurality of light sources to be modulated, and position of the input device, based on the state of the captured data analysis and multiple light sources computers and communication data are transmitted to be interpreted by the game system. さらに上記方法において、コンピュータゲームシステムにより実行されるコンピュータゲームのオブジェクトの移動つまりムーブメントや動き、動作が定義される。 In addition the method, the mobile i.e. movement or motion of objects in a computer game to be executed by a computer game system, the operation is defined. これにより、オブジェクトの移動は、キャプチャした画像データで検出した入力デバイスの位置における移動あるいは移動や動作に対応づけられる。 Thus, movement of the object is associated with the movement or the movement and by the position of the input device detected in the captured image data. 次に、上記方法において、コンピュータゲームのオブジェクトの移動と、入力デバイスの位置における移動あるいは移動と、の間のギアリングが定められる。 Then, in the above method, the movement of objects in computer games, a moving or movement in position of the input device is determined gearing between the. ギアリングは、入力デバイスの移動とオブジェクトの移動との間の比率を定める。 Gearing defines the ratio between the movement of the moving and the object of the input device. ギアリングは、ゲームやユーザにより動的に設定されてもよいし、ソフトウェアまたはギアリングアルゴリズムに従って配置されたユーザにより事前に設定されてもよい。 Gearing may be set dynamically by the game and the user, the user arranged according to software or gearing algorithm may be set in advance.

別の実施形態では、コンピュータゲームシステムとインタラクティブにインターフェースする方法が開示されている。 In another embodiment, a method for interactive interfacing with a computer gaming system is disclosed. コンピュータゲームシステムは、画像データをキャプチャするビデオキャプチャ装置を含む。 Computer game system includes a video capture device for capturing image data. 上記方法にいおいて、入力デバイスがビデオキャプチャ装置に表示される。 At the method Nii, the input device is displayed on the video capture device. これにより、入力デバイスの位置と、キャプチャした画像データ分析に基づくコンピュータゲームシステムにより解釈される通信データとが伝達される。 Thus, the position of the input device, the communication data that are interpreted by a computer game system based on image analysis of data captured is transmitted. 次に、上記方法において、コンピュータゲームシステムにより実行されるコンピュータゲームのオブジェクトの移動が定義され、さらに、このオブジェクトの移動がキャプチャした画像データで検出した入力デバイスの移動に対応づけられる。 The method then defines the movement of objects in a computer game to be executed by a computer game system, furthermore, the movement of the object is associated with the movement of the input device detected in the captured image data. 次に、上記方法において、コンピュータゲームのオブジェクトの移動対入力デバイスの移動間のギアリングが定められる。 Then, in the above method, the gearing between the movement of the moving pair input device objects of a computer game is determined. ギアリングは、入力デバイスの移動とオブジェクトの移動との間における、ユーザにより調節可能な比率を定める。 Gearing between the movement of the moving and the object of the input device defines an adjustable ratio by the user.

さらに別の実施形態では、コンピュータゲームシステムとインタラクティブにインターフェースするプログラム命令を含む、コンピュータ可読媒体が提供される。 In yet another embodiment, it includes program instructions for interactive interfacing with a computer gaming system, the computer readable medium is provided. コンピュータゲームシステムは、画像データをキャプチャするビデオキャプチャ装置を含む。 Computer game system includes a video capture device for capturing image data. コンピュータ可読媒体は、入力デバイスの表示をビデオキャプチャ装置に検出するプログラム命令を含む。 Computer-readable media includes program instructions for detecting the display of the input device to the video capture device. 入力デバイスは、入力デバイスの位置とキャプチャした画像データ分析に基づくコンピュータゲームシステムによって解釈される通信データを伝達する。 Input device transmits the communication data to be interpreted by a computer game system based on image analysis of data located and capture the input device. さらに、コンピュータ可読媒体は、コンピュータゲームシステムにより実行されるコンピュータゲームのオブジェクトの移動を定義するプログラム命令を含み、オブジェクトの移動は、キャプチャした画像データで検出した入力デバイスの移動に対応づけられる。 Further, the computer readable medium includes program instructions for defining the movement of the object in a computer game to be executed by a computer game system, movement of the object is associated with the movement of the input device which is detected in the captured image data. さらに、コンピュータ可読媒体は、コンピュータゲームのオブジェクトの移動と入力デバイスの移動との間のギアリングを定めるプログラム命令を含み、ギアリングは入力デバイスの移動とオブジェクトの移動との間のユーザにより調節可能な比率を定める。 Further, the computer readable medium includes program instructions for determining a gearing between the movement of the moving and the input device of the object of a computer game, gearing adjustable by the user between the movement of the moving and the object of the input device defining a such ratio. ユーザにより調節可能な比率は、ゲームのプレイ中、ゲームプレイセッション前、あるいはゲーム中のある特定のアクションイベント中に動的に変更することができる。 Adjustable proportions by the user, while playing the game, can be dynamically changed during a particular action event with during game play session before or game.

さらに別の実施形態では、ユーザのアクションと、コンピュータプログラムのオブジェクトにより実施されるアクションとの間に動的なユーザインタラクティビティを可能にするシステムが提供される。 In yet another embodiment, the actions of the user, the system for enabling dynamic user interactivity between the actions to be implemented by an object of a computer program are provided. 上記システムは、コンピューティングシステム、コンピューティングシステムに結合されたビデオキャプチャ装置、コンピューティングシステムから入力を受信するディスプレイを備える。 The system includes a computing system, video capture device coupled to a computing system, a display for receiving input from the computing system. さらに、上記システムは、コンピューティングシステムにより実行されるコンピュータプログラムとインターフェースする入力デバイスを備える。 Furthermore, the system comprises an input device for interfacing with a computer program executed by a computing system. 入力デバイスは、対応付けられた入力デバイスと制御されるオブジェクトの移動との間の比率を定めるギアリングコントロールを有する。 Input device has a gearing control for establishing a ratio between the movement of the object to be controlled and the associated input device. オブジェクトは、コンピュータプログラムにより定義されており、コンピューティングシステムにより実行される。 Objects are defined by a computer program, executed by a computing system. 入力デバイスの移動はビデオキャプチャ装置により識別される。 Movement of the input device is identified by a video capture device. また、ディスプレイに表示されたオブジェクトの移動は、入力デバイスのギアリングコントロールにより設定された、設定されたギアリング値を有する。 Also, movement of the object displayed on the display has been set by the gearing control input device, with the set gearing value. この実施形態では、入力デバイスと対応づけられたギアリングを一般のアプリケーションに適用してもよく、ゲームに対して適用することが必須であるわけではない。 In this embodiment, it may be applied to correspondence was gearing with the input device to the general application, and it is not essential to apply the game.

さらに別の実施形態では、ユーザのアクションと、コンピュータプログラムのオブジェクトにより実施されるアクション間に動的なユーザインタラクティビティを可能にする装置が提供されている。 In yet another embodiment, the actions of the user, apparatus for enabling dynamic user interactivity between actions to be implemented by an object of a computer program is provided. この装置には、コンピューティングシステムにより実行されるコンピュータプログラムとインターフェースする入力デバイスを含む。 The apparatus includes an input device for interfacing with a computer program executed by a computing system. 入力デバイスは、制御されるオブジェクトの移動に対応づけられた入力デバイスの移動間の比率を定めるギアリングコントロールを有する。 Input device has a gearing control for establishing a ratio between movement of the input device associated with the movement of the object to be controlled. オブジェクトはコンピュータプログラムにより定義されており、コンピューティングシステムにより実行され、入力デバイスの移動は、ビデオキャプチャ装置により識別され、オブジェクトの移動は、入力デバイスのギアリングコントロールによって設定された、設定されたギアリング値を有するものとしてディスプレイに表示される。 Objects are defined by a computer program, it is executed by a computing system, movement of the input device is identified by a video capture device, the movement of the object, set by the gearing control of the input device, the set gear It is displayed on the display as having a ring value.

別の実施形態では、コンピュータプログラムのフィーチャにギアリングをかけることができ、入力デバイスからの検出は慣性アナライザの処理に基づくものであってもよい。 In another embodiment, it is possible to apply a gearing to a feature of the computer program, the detection of the input device may be based on the inertial analyzer process. 慣性アナライザは、慣性アクティビティに対する入力デバイスを追跡し、その情報をプログラムに伝達する。 Inertial analyzer will track an input device for inertial activity, and transmits the information to the program. 次に、プログラムは、慣性アナライザからの出力を扱い、出力にギアリング量をかけることができるようにする。 Then, the program treats the output from the inertial analyzer so can apply a gearing amount to the output. ギアリング量は、プログラムがオペレーションを計算する際の程度または比率を決定する。 Gearing amount will then dictate a degree or ratio by which a program will compute an operation. オペレーションは任意の数の形態をとることができ、その一例としては、ノイズ、可変ノイズ、オブジェクトが行う移動、または変数の生成を挙げることができる。 Operation can take any number of forms, examples thereof can include noise, variable noise, the moving object is performed, or the generation of a variable.

出力が変数であれば、この変数(例えば、乗数など)を使用してプロセスを完了するようにしてもよい。 If the output is a variable, the variable (e.g., multipliers, etc.) may be complete the process used. これにより、プロセスはギアリング量を考慮するようになる。 Thus, the process is to consider the amount of gearing. ギアリング量は、ユーザが事前に設定しても動的に設定してもよく、または要求に応じて調整することができる。 Gearing amount can be user adjusted according to may be set also dynamically set in advance, or the request. 一実施形態では、追跡は音響アナライザによって行うことができる。 In one embodiment, the tracking can be performed by the acoustic analyzer. 音響アナライザは入力デバイスから音響信号を受信するように構成され、実行されているコマンドやインタラクションにかけられるギアリング量を伝達することができる。 Acoustic analyzer can be transmitted is configured from an input device to receive acoustic signals, the gearing amount applied to the command or interaction being executed. 音響アナライザは、コンピュータプログラムのセグメントの形態であってもよく、または、音響信号情報を処理するように設計された回路に特別に形成されたものであってもよい。 Acoustic analyzer may be in the form of a segment of a computer program, or may be those specially formed in the circuit that is designed to process the acoustic signal information. したがって、音響信号情報は、プログラムによって動的に設定されるか、要求に応じて、(コントローラ上のボタン、音声コマンドなどを選択することによって)入力デバイスを介してユーザにより設定されるギアリングデータを含むことができる。 Therefore, whether the acoustic signal information is dynamically set by the program, on request, gearing data set by the user through the input device (button on the controller, by selecting the voice command) it can contain. さらに別の実施形態では、ミキサアナライザが提供される。 In yet another embodiment, mixer analyzer is provided.

このミキサアナライザは、ゲームのフィーチャにハイブリッド効果をもたらすように設計される。 The mixer analyzer is designed to generate a hybrid effect the game feature. 例えば、ミキサアナライザは、画像アナライザ、音響アナライザ、慣性アナライザなどの組合せからの入力を扱う。 For example, the mixer analyzer treats image analyzer, an acoustic analyzer, the input from the combination of such inertial analyzer.
したがって、一実施形態では、このミキサアナライザはいくつかのギアリング変数を受信する。 Thus, in one embodiment, the mixer analyzer receives several gearing variables. これらの変数は混合ならびに合成されて、プログラムのフィーチャとのハイブリッドな結果、コマンド、あるいはインタラクションをもたらす。 These variables are mixed and synthetic, hybrid result of the features of the program, resulting in a command or interaction. 同様に、プログラムのフィーチャは視覚オブジェクトならびに非視覚オブジェクト、オペレーションの処理に使用する変数、可聴反応に対する調節などを含むものと広く理解されるべきである。 Likewise, features of the program variables used visual objects and non-visual object, the operation of the process, it should be understood broadly as including such adjustments to audible reaction. 本発明の利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。 An advantage of the present invention, taken in conjunction with the accompanying drawings, illustrating the principles of the present invention for purposes of illustration, will become apparent upon reading the following detailed description.

本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。 The present invention will be readily understood by the following detailed description in conjunction with the accompanying drawings. 図面においては、同じ構造要素には同じ参照符号を付した。 In the drawings, the same structural elements denoted by the same reference numerals. 以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。 In the following description, in order to provide a thorough understanding of the present invention, numerous specific details are set forth. しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。 However, it is obvious to those skilled in the art that without some or all of these details may implement the present invention. 場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。 Optionally, the present invention so as not to unnecessarily obscure, not been described in detail in well known process steps.

本明細書に記載する技術は、コンピュータプログラムとのインタラクションを行うために、アクティブにギアリング(gearing)がかけられた入力を与えるように使用することができる。 Techniques described herein can be used to interact with the computer program, it can be used to provide input to active the gearing (gearing) has been applied. ギアリングをかえることは、一般に広い意味では、大きさおよび/あるいは時間において程度を様々に異なるものとすることができる入力であるとして定義できる。 Varying the gearing, in general broad sense, it can be defined as an input, which can vary in different degrees in magnitude and / or time. ギアリングの程度がコンピューティングシステムに伝達される。 The degree of gearing is transmitted to the computing system. ギアリングの程度がコンピューティングシステムにより実施されるプロセスにかけられる。 The degree of gearing is subjected to a process performed by the computing system. 例えるならば、プロセスは、入出力を備えた流体のバケツとイメージすることができる。 If analogy, the process can be a bucket and images of the fluid with the input and output. この流体のバケツは、システム上で実行中のプロセスである。 Bucket of the fluid is a process running on the system. よって、ギアリングは、コンピューティングシステムによって実行される処理の形態を制御する。 Thus, gearing controls the form of the processing performed by the computing system. 一例では、ギアリングは、バケツに入っていく流体の滴と考えられる入力量に対して、流体のバケツから出ていく速度を制御することができる。 In one example, the gearing on the input amount considered drops of fluid going into the bucket, it is possible to control the speed exiting the bucket fluid. したがって、充てんならびに排水速度は動的であり、この排水速度はギアリングによる影響を受ける。 Therefore, the filling and drainage rate is dynamic, the drainage rate is affected by the gearing. よって、ゲームプログラムなどのプログラムに流れている変化値を調整するように、ギアリングを調整または時間設定することができる。 Therefore, to adjust the change value flowing in the program such as a game program, it is possible to set the gearing adjustment or time.

さらに、ギアリングは、移動データカウンタなどのカウンタに影響を及ぼし、プロセッサによるアクション、つまりは、ゲーム素子、オブジェクト、プレーヤ、キャラクタなどが行うアクションを制御する。 Furthermore, gearing affects the counter, such as a mobile data counter, action by the processor, that controls the game device, object, player, an action like performs character. この例をより具体的な計算例にしてみると、流体が出ていく速度は、コンピュータプログラムのフィーチャによって、いくらかの入力とギアリングに応じて制御がなされる速度、または制御が行われる速度である。 Looking to the example more concrete calculation example, the rate exiting the fluid, the features of a computer program, speed control is performed in response to some input and gearing or at a rate control is performed, is there. このコンピュータプログラムのフィーチャは、オブジェクト、プロセス、変数、あるいは所定の/カスタムアルゴリズム、キャラクタ、ゲームプレーヤ、マウス(二次元もしくは三次元)などであってもよい。 Features of this computer program, objects, processes, variable or predetermined / custom algorithm, character, game player, or the like may be used a mouse (two-dimensional or three-dimensional). ギアリングによって変更され得た処理結果は、任意の数の方法でオブザーバに伝達することができる。 Gearing processing result obtained is modified by, it can be transmitted to the observer in any number of ways.

このような方法としては、ディスプレイ画面上で視覚的に伝達する方法、音声を介して可聴的に伝達する方法、手触りによる振動音響によって伝達する方法、これらの組合せによって伝達する方法、または、単にゲームやプログラムのインタラクティブエレメントに対する処理の反応を修正することで伝達する方法が挙げられる。 Such methods include a method of transmitting method, a method for audibly transmitted via the voice, by the vibration sound by hand to visually communicated on a display screen, a method for transmitting a combination thereof, or simply a game how to transfer the like by modifying the response of the process for the interactive elements and programs. 入力は、(1)画像分析(2)慣性分析(3)音響分析あるいは、(1)(2)(3)のハイブリッドミックス分析を介して実行される追跡により取得することができる。 Input may be obtained by tracking to be performed via a hybrid mix analysis (1) image analysis (2) inertial analyzer (3) acoustic analysis, or, (1) (2) (3). 画像分析ならびに適用されるギアリングに関しては様々な例が挙げられているが、追跡はビデオによる方法に限らず、様々な方法によって、具体的には、慣性分析、音響分析、これらをミックスしたものにより、および適切なアナライザによって行うことができることを理解されたい。 Those terms gearing which is image analysis and applied are listed various examples, tracking is not limited to the method by the video, by a variety of methods, specifically, the inertial analyzer, acoustic analysis, a mix of these by, and it is to be understood that it is possible to perform the appropriate analyzer.

各種実施形態においては、ビデオカメラ(例えば、画像分析)を有するコンピュータあるいはゲームシステムは、画像データを処理し、焦点ゾーンあるいは所定の場所(ビデオカメラの前であってもよい)で行われている様々なアクションを識別する。 In various embodiments, a computer or gaming system having a video camera (e.g., image analysis) can process the image data, it has been made at the focal zone or a predetermined location (which may be a previous video camera) It identifies the various actions. 一般的に、そのようなアクションとして、三次元空間でのオブジェクトの移動や回転、または、ボタン、ダイアル、ジョイスティックなどの様々なコントロールのアクチュエーションを挙げることができる。 In general, can be cited as such an action, moving or rotating the object in three-dimensional space, or, buttons, dials, actuation of the various controls such as a joystick. これらの技術に加えて、本発明の技術はさらに、本明細書ではギアリングと呼ばれるスケーリング因子を調整するさらなる機能を与え、ディスプレイ画面の1つ以上の対応するアクションやプログラムのフィーチャに対する入力に対して感度を調整するようにする。 In addition to these techniques, the technique of the present invention further herein provide additional functionality of adjusting a scaling factor called gearing, the input to one or more corresponding actions and programs features of the display screen so as to adjust the sensitivity Te. 例えば、ディスプレイ画面のアクションは、ビデオゲームの焦点となり得るオブジェクトであってもよい。 For example, the action of the display screen may be an object that can be a focus of a video game. さらに、オブジェクトは、変数、乗数、または計算などのプログラムのフィーチャとすることもでき、音声、振動、ディスプレイ画面の画像、またはこれらとの組合せで表現され、さらに、ギアリングがかけられた出力の他の表現と組合せて表現される。 Furthermore, objects are variables, multipliers or can also be a programmed feature, such as computing, voice, vibration, display screen of the image or is expressed by a combination of these, and further, the output gearing is subjected It is expressed in combination with other representations.

別の実施形態では、コンピュータプログラムのフィーチャにギアリングをかけることができ、入力デバイスの検出は慣性アナライザによる処理に基づくものであってもよい。 In another embodiment, it is possible to apply a gearing to a feature of the computer program, the detection of the input device may be based on processing by an inertial analyzer. 慣性アナライザは、慣性アクティビティに対する入力デバイスを追跡し、その情報をプログラムに伝達する。 Inertial analyzer will track an input device for inertial activity, and transmits the information to the program.
次に、プログラムは、慣性アナライザからの出力を扱い、出力にギアリング量をかけることができるようにする。 Then, the program treats the output from the inertial analyzer so can apply a gearing amount to the output. ギアリング量は、プログラムがオペレーションを計算する際の程度または比率を決定する。 Gearing amount will then dictate a degree or ratio by which a program will compute an operation. オペレーションは任意の数の形態をとることができ、オペレーションの一例としては、ノイズ、可変ノイズ、オブジェクトの移動、または変数の生成、視覚および/あるいは可聴結果を出力するプログラムによる計算、を挙げることができる。 Operation can take any number of forms, as an example of the operation noise, variable noise, movement of the object or product variables, calculated by a program which outputs a visual and / or audible result, and the like it can. 出力が変数であれば、この変数を使用してプロセスを完了するようにしてもよい。 If the output is variable, it may be complete process using this variable. これにより、プロセスはギアリング量を考慮するようになる。 Thus, the process is to consider the amount of gearing. ギアリング量は、ユーザが事前に設定しても動的に設定してもよく、または要求に応じて調整することができる。 Gearing amount can be user adjusted according to may be set also dynamically set in advance, or the request.

様々なタイプの慣性センサを使用して、6つの自由度(例えば、X、YおよびZ軸方向の変換(例えば、加速度)およびX、YおよびZ軸を中心とした回転)についての情報を提供することができる。 Use inertial sensors of various types, provides information about six degrees of freedom (e.g., rotation and X, converting Y and Z-axis direction (e.g., acceleration) and X, about the Y and Z-axis) can do. 6自由度についての情報を提供する適切な慣性センサーの例としては、加速度計、1つ以上の1軸加速度計、機械的ジャイロスコープ、リングレーザジャイロスコープ、あるいはこれらの2つ以上の組合せを挙げることができる。 Examples of suitable inertial sensors for providing information on 6 degrees of freedom, given accelerometer, one or more single axis accelerometers, mechanical gyroscopes, ring laser gyroscopes or combinations of two or more thereof, be able to.

センサーからの信号が分析されて、発明の方法に従うビデオゲームのプレイ中に、コントローラの動きおよび/あるいは方向が決定される。 Signal from the sensor is analyzed, while playing a video game according to the method of the invention, the motion and / or direction of the controller is determined. そのような方法は、プロセッサ読み取り可能媒体に記憶され、デジタルプロセッサ上で実行されるプログラムコード命令を実行可能な一連のプロセッサとして実装されてもよい。 Such methods are stored in the processor readable medium may be implemented as a series of processor executable program code instructions executed on a digital processor. 例えば、ビデオゲームシステムは1つ以上のプロセッサを備えることができる。 For example, the video game system may include one or more processors. 各プロセッサは、例えばビデオゲームコンソールやカスタム設計のマルチプロセッサコアに通常使用されるマイクロプロセッサのような、デジタルプロセッサ装置であってもよい。 Each processor, for example, such as a microprocessor typically used for a multi-processor core video game consoles or custom designed, or may be a digital processor unit. 一実施形態では、プロセッサは、プロセッサ読み取り可能命令の実行を通じて、慣性アナライザを実装してもよい。 In one embodiment, the processor, through execution of processor-readable instructions, may implement an inertial analyzer. 命令の一部はメモリに記憶されてもよい。 Some of the instructions may be stored in the memory.

他の形態では、慣性アナライザは、例えば特定用途向け集積回路(ASIC)として、またはデジタルシグナルプロセッサ(DSP)としてハードウェアに実装されてもよい。 In another embodiment, the inertial analyzer, for example, as an application specific integrated circuit (ASIC), or may be implemented in hardware as a digital signal processor (DSP). そのようなアナライザハードウェアは、コントローラまたはコンソール上に設けられるか、または遠隔の場所に設けられてもよい。 Such analyzer hardware is either provided on the controller or console, or may be provided at a remote location. ハードウェアでの実装では、アナライザは、例えばプロセッサからの外部信号、または、例えばUSBケーブル、イーサネットにより、ネットワーク、インターネット、短距離無線接続、広帯域無線、ブルートゥース、またはローカルネットワークを介して接続される他の遠隔にあるソースからの外部信号に応じて、プログラム可能であってもよい。 Other implementations in hardware, the analyzer, which is connected, for example, an external signal from the processor, or, for example, a USB cable, the Ethernet network, the Internet, short-range wireless connection, broadband wireless, Bluetooth, or via a local network depending on the external signals from a source remote may be programmable.

慣性アナライザは、慣性センサにより生成される信号を分析する命令を備えるか実装し、コントローラの位置および/または方向に関する情報を利用してもよい。 Inertia Analyzer or implement comprising instructions to analyze the signals generated by the inertial sensor, may use information about the position and / or orientation of the controller. 慣性センサ信号が分析されて、コントローラの位置および/または方向に関する情報を決定してもよい。 Inertial sensor signal is analyzed, it may determine information regarding the position and / or orientation of the controller. この位置および/あるいは方向情報は、ビデオゲームのプレイ中にシステムとともに利用されてもよい。 The position and / or orientation information may be utilized with the system during video game play.

一実施形態では、ゲームコントローラは、慣性信号を介して位置情報および/または方向情報をプロセッサに提供できる1つ以上の慣性センサを備えてもよい。 In one embodiment, the game controller, the position and / or orientation information via an inertial signal may comprise one or more inertial sensors that can be provided to a processor. 方向情報には、コントローラの傾き、ロールあるいはヨーなどの角度情報が含まれてもよい。 The direction information, the inclination of the controller may include angular information such as a roll or yaw. 上述のように、また、一例として、慣性センサには、任意の数の加速度計、ジャイロスコープまたは傾斜センサ、またはこれらの任意の組合せが含まれていてもよい。 As described above, also, by way of example, the inertial sensors, accelerometers any number, gyroscopes or tilt sensors or may include any combination thereof. 一実施形態では、慣性センサには、傾斜およびロール軸に対するジョイスティックコントローラの方向を検知するように構成された傾斜センサと、ヨー軸沿いの加速度を検知するように構成された第1の加速度計、およびヨー軸に対する角加速度を検知するように構成された第2の加速度計を備える。 In one embodiment, the inertial sensors, tilt and a tilt sensor configured to sense the direction of the joystick controller with respect to the roll axis, a first accelerometer adapted to sense acceleration along the yaw axis, and a second accelerometer adapted to sense angular acceleration with respect to the yaw axis. 加速度計は、例えば、1つ以上のばねで取り付けられた質量と1つ以上の方向に対する質量の変位を検知するセンサとを備えるMEMS装置として実装されてもよい。 Accelerometer, for example, may be implemented as a MEMS device and a sensor for detecting displacement of the mass relative to one or more mass mounted in spring and one or more directions. 質量の変位に依存するセンサからの信号は、ジョイスティックコントローラの加速度決定に用いられてもよい。 Signal from a sensor depends on the mass of the displacement may be used for the acceleration determining of the joystick controller. そのような技術は、メモリに記憶されプロセッサによって実行されるゲームプログラムや一般のプログラムからの命令によって実現される。 Such techniques may be implemented by instructions from the game program or general program to be executed by being stored in the memory processor.

一例では、慣性センサーとして適切な加速度計は、例えばばねなどでフレームに3〜4点で伸縮自在に接続された単一の質量であってもよい。 In one example, a suitable accelerometer as an inertial sensor may be a single mass that is freely connected stretchable 3-4 points on the frame for example, a spring or the like. ピッチ軸とロール軸は、ジョイスティックコントローラに設けられたフレームと交差する面に存在する。 Pitch and roll axes lie in a plane that intersects the frame, which is mounted to the joystick controller. フレーム(およびジョイスティックコントローラ)がピッチ軸、ロール軸の回りを回転するにつれて、質量が重力の影響下で変位し、ばねがピッチ角および/あるいはロール角に依存した態様で伸縮する。 Frame (and the joystick controller) pitch axis, as it rotates about the roll axis, the mass will displace under the influence of gravity and the springs will elongate or compress in a manner that depends on the pitch angle and / or roll angle. 質量の変位が検知され、ピッチ量および/あるいはロール量に依存した信号に変換される。 The displacement and of the mass can be sensed and converted to a signal that is dependent on the amount of pitch and / or roll amount. ヨー軸回りの角加速度またはヨー軸沿いの線形加速度は、ばねの伸縮または質量の動きの特徴的なパターンを生成し、それらのパターンは検知されて角加速度量または線形加速度の量に応じた信号に変換される。 Signal linear acceleration about the yaw axis of the angular acceleration or along the yaw axis may also produce characteristic patterns of stretching or mass movement of the spring, that these patterns are according to the amount of detected by the angular acceleration amount or linear acceleration It is converted to. このような加速度装置は、質量の動きおよびばねの伸縮力を追跡することによって傾斜、ヨー軸回りのロール角加速度とおよびヨー軸沿いの線形加速度を計測できる。 Such acceleration device can measure the linear acceleration of the slope, the yaw axis roll angular acceleration and and along the yaw axis by tracking the stretching force of the mass movement and spring. 質量の位置および/あるいはそれに働く力を追跡する方法には多くの違った方法があり、それらには、抵抗ひずみゲージ材料、光センサ、磁気センサ、ホール効果素子、圧電素子、容量センサなどが含まれる。 There are many different ways how to track the position and / or forces exerted on its mass and include resistive strain gauge material, an optical sensor, including a magnetic sensor, Hall effect elements, piezoelectric elements, capacitive sensors, and the like It is.

さらに、光源は、例えば、パルスコード、振幅変調または周波数変調フォーマットでテレメトリ信号をプロセッサに提供してもよい。 Further, the light source, for example, pulse code, may provide telemetry signals to the processor in amplitude modulation or frequency modulation format. そのようなテレメトリ信号は、いずれのジョイスティックボタンが押されているか、および/またはどれ位強くボタンが押されているかを表してもよい。 Such telemetry signals may indicate the joystick buttons are being pressed and / or how-position may represent how hard such buttons are being pressed. テレメトリ信号は、例えばパルス符号化、パルス幅変調、周波数変調または光強度(振幅)変調などによって、光信号に符号化されてもよい。 Telemetry signal, for example, by pulse coding, pulse width modulation, such as by frequency modulation or light intensity (amplitude) modulation, it may be encoded into the optical signal. プロセッサは、光信号からテレメトリ信号を復号化し、復号化されたテレメトリ信号に応じてゲームコマンドを実行してもよい。 The processor decodes the telemetry signals from the optical signal, may execute a game command in response to the decoded telemetry signal. テレメトリ信号は、画像キャプチャ装置で得られたジョイスティックの画像の分析から復号化されてもよい。 Telemetry signals may be decoded from analysis of the resulting joystick image by the image capture device. 他の形態では、装置は、光源からのテレメトリ信号受信専用の、独立した光学センサを備えることができる。 In another form, the device of the telemetry signal reception only from the light source may comprise a separate optical sensor.

プロセッサは、画像キャプチャ装置で検出された光源からの光信号、および/あるいは、マイクロホン配列によって検出された音響信号からの音源場所と音源特性情報とともに、慣性センサからの慣性信号を用いて、コントローラおよび/あるいはそのユーザの場所および/あるいは方向に関する情報を推測してもよい。 Processor, the optical signal from the detected light source in the image capture device, and / or, together with the sound source location and the sound source characteristic information from acoustic signals detected by the microphone array by using the inertial signals from the inertial sensor, the controller and / or it may infer information about the location and / or direction of the user. 例えば、「音響レーダ」の音源場所およびその特性は、マイクロフォン配列と共に用いられて、ジョイスティックコントローラの動きが(慣性センサおよび/または光源を通じて)独立に追跡されている間、移動音源を追跡する。 For example, the sound source location and characterization of "acoustic radar" is used with a microphone array, while the movement of the joystick controller is tracked independently (through the inertial sensor and / or a light source), to track moving sound sources. 音響レーダでは、較正済み聴取領域が実行時間において選択され、較正済み聴取領域以外の音源から生じる音声が除去される。 The acoustic radar, calibrated listening zone is selected at run time, the sound arising from sources outside the pre-calibrated listening zone is removed. 較正済み聴取領域は、画像キャプチャ装置の焦点または視野にある音量に対応した聴取領域を含んでいてもよい。 Calibrated listening zone may include a listening zone that corresponds to the volume in the focus or field of view of the image capture device.

一実施形態では、音響アナライザによって追跡を行ってもよい。 In one embodiment, it may be traced by the acoustic analyzer. 音響アナライザは入力デバイスからの音響信号を受信するように構成され、実行されるコマンドやインタラクションにかけられるギアリング量を伝達することができる。 Acoustic analyzer can transfer gearing amount is configured to receive acoustic signals are subjected to a command or interaction to be performed from the input device. 音響アナライザは、コンピュータプログラムセグメントの形態であってもよく、または、音響信号情報を処理するように設計された回路上に特別に形成されたものであってもよい。 Acoustic analyzer may be in the form of a computer program segment, or may be those specially formed on a circuit that is designed to process the acoustic signal information. したがって、音響信号情報は、プログラムによって動的に設定されるか、要求に応じて、(コントローラ上のボタン、音声コマンドなどを選択することによって)入力デバイスを介してユーザにより設定されるギアリングデータを含むことができる。 Therefore, whether the acoustic signal information is dynamically set by the program, on request, gearing data set by the user through the input device (button on the controller, by selecting the voice command) it can contain. 例えば、音声アナライザは、その開示内容が参照により本明細書に援用される、2006年5月4日に出願された米国特許出願"SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING"(発明者:Xiadong Mao, Richard L. Marks and Gary, M. Zalewski、代理人整理番号:SCEA04005JUMBOUS)に記載されている。 For example, the voice analyzer, the disclosure of which is incorporated herein by reference, patent US filed on May 4, 2006 filed "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING" (inventor: Xiadong Mao, Richard L. Marks and Gary, M. Zalewski, attorney docket number: SCEA04005JUMBOUS) which is incorporated herein by reference. これらアナライザはマッピングチェーンを用いて構成することができる。 These analyzers may be configured with a mapping chain. マッピングチェーンは、アナライザやミキサに対する設定ができるように、ゲームプレイ中にゲームによって交換することができる。 Mapping chains, so that it can be configured for analyzer or mixers can be replaced by the game during gameplay.

一実施形態では、入力デバイスの追跡は画像アナライザによるものであってもよい。 In one embodiment, the tracking of the input device may be by image analyzer. 以下に説明しているように、画像アナライザは、ユーザならびに入力デバイスが位置する空間の画像をキャプチャするカメラを備え得る。 As described below, the image analyzer may comprise a camera for capturing an image of the space user and input device is located. この例では、画像アナライザは、処理プログラムのフィーチャにそれぞれのアクションを行わせるように、コントローラの位置を決定している。 In this example, an image analyzer, as to perform each action to a feature of the processing program, and determines the position of the controller. プログラムはゲームであり、フィーチャは入力デバイスによって制御されているオブジェクトであってもよい。 Program is a game, features may be objects that are controlled by the input device. さらに、画像アナライザは、位置データを入力ギアリング値とミックスするように構成される。 Further, the image analyzer is configured to mix the input gearing value position data. ギアリング値は、ユーザにより、実行中に動的に与えられてもよく、または、実行セッションのアクティビティに応じてプログラムにより設定されてもよい。 Gearing value, the user may be dynamically applied during or may be set by a program in accordance with the activity execution session. ギアリング入力は、ユーザによる入力ジェスチャやアクションに基づいて、コンピュータプログラムによる幾分かの処理に相対的インパクトを設定する。 Gearing input, based on the input gesture or action by the user, sets the relative impact on some of the processing by a computer program. 一実施形態では、ギアリングは、ユーザやユーザ入力デバイスからのコマンドやアクションをプログラムのフィーチャに変換する。 In one embodiment, the gearing converts a command or action from the user and the user input device to the program feature. プログラムのフィーチャは可視オブジェクトでなくてもよいが、音声、振動または画像の移動のいずれかのパラメータ、予測、あるいは変換を幾分か計算するように使用される変数の調整を含むことができる。 Program features may not be visible objects but may include voice, any parameter of the movement of the vibration or the image, the adjustment of the variables used to calculate somewhat predictable, or transformation. したがって、ギアリングは、プログラムとプログラムのフィーチャ間に与えられるインタラクティビティを制御するための更なる意味を付加することになる。 Thus, gearing will be added further meaning to control the interactivity applied between program and program features.

さらに別の実施形態では、ミキサアナライザが提供される。 In yet another embodiment, mixer analyzer is provided. このミキサアナライザはゲームのフィーチャにハイブリッド効果をもたらすように設計される。 The mixer analyzer is designed to generate a hybrid effect to features of the game. 例えば、ミキサアナライザは、画像アナライザ、音響アナライザ、慣性アナライザなどの組合せからの入力を扱う。 For example, the mixer analyzer treats image analyzer, an acoustic analyzer, the input from the combination of such inertial analyzer. したがって、一実施形態では、このミキサアナライザは、いくつかのギアリング変数を受信する。 Thus, in one embodiment, the mixer analyzer receives several gearing variables. 次に、これらの変数は混合ならびに合成されて、プログラムのフィーチャとのハイブリッドな結果、コマンド、あるいはインタラクションをもたらす。 Next, these variables mixed and synthesized to generate a hybrid result of the features of the program, resulting in a command or interaction. 同様に、プログラムのフィーチャは視覚オブジェクトならびに非視覚オブジェクト、オペレーションの処理に使用する変数、可聴反応に対する調節などを含むものと広く理解されるべきである。 Likewise, features of the program variables used visual objects and non-visual object, the operation of the process, it should be understood broadly as including such adjustments to audible reaction.

図1は、本発明の一実施形態によるインタラクティブ(対話型)ゲーム構成100を示す。 Figure 1 shows an interactive (interactive) Game configuration 100 according to one embodiment of the present invention. インタラクティブゲーム構成100は、コンピュータ102(本明細書では「コンソール」とも呼ぶ)を有し、これは、ディスプレイ画面110と接続されうる。 Interactive games arrangement 100 includes a computer 102 (also referred to herein as "console"), which may be connected to a display screen 110. ディスプレイ画面110の上には画像キャプチャ装置105が置かれ、コンピュータ102と接続されうる。 Image capture device 105 is placed on top of the display screen 110, may be connected to the computer 102. コンピュータ102は、一実施形態では、ユーザが、コントローラ108によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールであってもよい。 Computer 102, in one embodiment, a user, or to play games by the controller 108, or may be a console game system capable of video games and interfaces. コンピュータ102は、インタラクティブなオンラインゲームをすることができるように、インターネットにも接続されうる。 Computer 102 is, as can be interactive online game can be connected to the Internet. 画像キャプチャ装置105は、ディスプレイ画面110の上に置かれて示されているが、画像キャプチャ装置105が、ディスプレイ画面110のほぼ前方にある画像をキャプチャできれば、ほかの近くの位置に置かれていてもよいことが理解されよう。 Image capture device 105 is shown positioned over the display screen 110, the image capture device 105, if capture images in almost the front of the display screen 110, which is located in addition to the near position it will be understood that also may. これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ2003年2月21日に出願された英国特許出願公開第0304024.3号明細書(国際公開第GB2004/000693号パンフレット)および英国特許出願公開第0304022.7明細書(国際公開第GB2004/000703号パンフレット)号に記載されており、これらの各々は参照によりここに援用される。 Although techniques for capturing these moving and interaction can vary, an exemplary technique, respectively British Patent Application Publication No. 0304024.3 Pat filed February 21, 2003 (WO GB2004 / 000693 pamphlet) and UK Patent application Publication No. 0304022.7 herein (as described in WO GB2004 / 000 703 pamphlet) No., each of which is incorporated herein by reference.

一実施形態では、画像キャプチャ装置105は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。 In one embodiment, the image capture device 105 can be as simple as a standard webcam, or may be one with advanced technology. 画像キャプチャ装置105は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ102に送信することができる。 Image capture device 105 captures an image, the image is digitized, it is possible to transmit the image data to the computer 102. 一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置105が、デジタル化のために、アナログビデオ信号をコンピュータ102に送信してもよい。 In some embodiments, a logic circuit for performing a digitization, may also be incorporated in the image capture device, in another embodiment, the image capture device 105, for digitizing an analog it may transmit a video signal to the computer 102. いずれの場合も、画像キャプチャ装置105は、画像キャプチャ装置105の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。 In either case, the image capture device 105 of any object in front of the image capture device 105 may capture a color or black and white images.

図2は、画像キャプチャおよび処理システムを使用した例示的なコンピュータインタラクション処理を示している。 Figure 2 illustrates an exemplary computer interaction process using an image capture and processing system. コンピュータ102は、視野202から画像を生成する画像キャプチャ装置105から画像データを受信する。 Computer 102 receives the image data from the image capture device 105 for generating an image from the field of view 202. 視野202には、おもちゃの飛行機のオブジェクト215を操作するユーザ210が含まれる。 The field of view 202 includes the user 210 to manipulate the object 215 of the airplane toy. オブジェクト215は、画像キャプチャ装置105から視覚的に認識可能な複数のLED212を含む。 Object 215 includes a plurality of LED212 a visually recognizable from the image capture device 105. LED212は、オブジェクト215の位置情報および姿勢情報を提供する。 LED212 is, to provide location information and attitude information of the object 215. さらに、オブジェクト215は、コンピュータの入力を生成するために、ボタン、トリガ、ダイアルなどの1つ以上の操作素子を含む。 Furthermore, the object 215 is included to generate input computer, buttons, triggers, one or more operating element, such as a dial. さらに、音声コマンドが使用されうる。 Further, the voice command can be used. 一実施形態では、オブジェクト215は、画像キャプチャ装置105を介してデータをコンピュータ102に送信するために、LED212を変調する論理を含む回路220を含む。 In one embodiment, the object 215 via the image capture device 105 to send data to the computer 102 includes a circuit 220 including logic for modulating the LED 212. データは、操作手段の変調に応えて生成される符号化されたコマンドを含む。 Data includes encoded command is generated in response to the modulation of the operating means.

オブジェクト215が画像キャプチャ装置105により、視覚的に認識可能な3次元空間で移動ならびに回転されると、画像データ中に表されるLEDの位置は、以下の図3〜6に関して説明しているように、3次元空間内の座標に変換される。 The object 215 is an image capturing apparatus 105, and moved and rotated in a visually recognizable 3-dimensional space, the position of the LED that is represented in the image data, as described with respect to Figures 3-6 below to be converted into the coordinates in the three-dimensional space. この座標は、α、β、およびγ値に関する姿勢情報に加えて、x、y、およびz座標に関する位置情報を説明したものである。 The coordinates, alpha, beta, and in addition to the attitude information about the γ value is obtained by describing the position information about the x, y, and z coordinates. この座標はコンピュータのアプリケーションに送信される。 The coordinates are sent to the computer application. このアプリケーションは、おもちゃの飛行機がディスプレイ110に、現実の、あるいは動画の飛行機215'として表示される飛行機ゲームであってもよく、飛行機215'はおもちゃの飛行機215の変調に応えて様々なスタントを行うことができる。 This application to the plane display 110 toys, reality, or 'may be an airplane game displayed as an airplane 215' Airplane 215 videos various stunts in response to modulation of the toy airplane 215 It can be carried out. 他の形態では、ユーザ210は、おもちゃの飛行機215ではなくコントローラ108(図1に示す)を扱うこともでき、コントローラ108の移動は追跡可能であり、ディスプレイ画面でオブジェクトを移動させるようにコマンドがキャプチャされる。 In another embodiment, the user 210 may also be handled without the controller 108 the toy airplane 215 (shown in FIG. 1), the movement of the controller 108 is traceable, a command to move the object on the display screen It is captured.

一実施形態では、ユーザ210はさらに、動画の飛行機215'とのインタラクティビティの程度を変更あるいは修正するように選択することができる。 In one embodiment, the user 210 may further be selected to change or modify the degree of interactivity with the video plane 215 '. インタラクティビティの程度は、ユーザ215が「ギアリング」構成要素を調整できるようにすることで変更することができる。 The degree of interactivity can be changed by the user 215 to be able to adjust the "gearing" component. このギアリング構成要素は、ユーザのコントローラ108(あるいは、おもちゃの飛行機215)による移動が動画の飛行機215'による移動に対応づけられる量を調整するものである。 The gearing components, user controller 108 (or airplane 215 toys) in which movement by the adjusting the amount to be associated with the movement by the aircraft 215 'videos. ゲームに対して動的に設定もしくは事前に設定され、あるいは、ユーザ210によるゲームのプレイ中に調整されるギアリングに応じて、動画の飛行機215'(例えば、ビデオゲームオブジェクト)に対応づけられる反応が変化し、別のレベルのユーザインタラクティビティと強化した体験とを与えることができる。 Is set to dynamically set or pre the game, or depending on the gearing being adjusted during game play by the user 210, video plane 215 '(e.g., a video game object) is associated to the reaction There was change, it is possible to give the experience and reinforced with the user interactivity of another level. ギアリングに関する詳細は、以下に図7〜20に関連して説明する。 For more information on the gearing will be described in connection with FIG. 7 to 20 below.

図3は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトとのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。 3 can be used to implement embodiments of the present invention, is a block diagram of an exemplary user input system for interacting process of an object on a graphical display. 図3に示すように、ユーザ入力システムは、ビデオキャプチャ装置300、入力画像プロセッサ302、出力画像プロセッサ304、およびビデオ表示装置306から構成される。 As shown in FIG. 3, the user input system is comprised of a video capture device 300, an input image processor 302, the output image processor 304, and a video display device 306. ビデオキャプチャ装置300は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ(ウェブカメラなど)や同様の画像キャプチャ装置などである。 Video capture device 300 may be any one so long as it is a device capable of capturing a sequence of video images, in one embodiment, it is a digital video camera (such as a web camera) or similar image capture device.

ビデオキャプチャ装置300は、深度画像を提供するように構成されうる。 Video capture device 300 may be configured to provide depth image. 本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。 In this specification, the term "depth camera" and "three-dimensional camera" refers to any camera that can acquire other, distance information or depth information of the two-dimensional pixel information. 例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。 For example, a depth camera can utilize controlled infrared lighting to obtain distance information. 他の例示的な深度カメラに、立体カメラ対があり、これは2台の基準カメラを使用して距離情報を三角測量によって求める。 Another exemplary depth camera can be a stereo camera pair, which triangulates distance information using two standard cameras. 同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。 Similarly, the term "depth sensing device", as well as two-dimensional pixel information refers to any type of device which is capable of obtaining distance information.

このため、カメラ300は、通常の二次元のビデオ像に加えて、3番目の次元をキャプチャおよびマップする能力を提供することができる。 Therefore, camera 300, in addition to normal two-dimensional video image, it is possible to provide a third capture dimensions and map capacity. 通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。 Similar to normal cameras, a depth camera captures two-dimensional data of a plurality of pixels that comprise the video image. これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青(RGB)の値である。 These values ​​are color values ​​of pixels, usually is the value of red in each pixel, green, blue (RGB). このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。 In this manner, objects captured by the camera is displayed as a two-dimensional object on the monitor. しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値を表すシーンのz成分もキャプチャする。 However, unlike a conventional camera, a depth camera, z components of the scene, which represent the depth values ​​of the scene to capture. 通常、深度値はz軸に割り当てられるため、深度値は、「z値」と呼ばれることも多い。 Since normally, depth values ​​are assigned to the z-axis, the depth values ​​are often referred to as "z value".

オペレーションにおいては、シーンの各ピクセルについてz値がキャプチャされる。 In operation, z values ​​are captured for each pixel of the scene. 各z値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。 Each z values ​​from the camera, and represents the distance to the object corresponding to the associated pixel in the scene. また、最大検出範囲が、深度値が検出されなくなる境界を定義しうる。 The maximum detection range may define a boundary depth value is not detected. 本発明の各種実施形態では、この最大範囲の面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。 In various embodiments of the present invention, by using the surface of the maximum range, it is possible to provide a tracking of the user-defined object. このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。 Therefore, the use of depth cameras can track each object in three dimensions. この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてz値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。 As a result, computer system embodiment of the present invention may utilize a z value in conjunction with two-dimensional pixel data, to create an enhanced three-dimensional interactive environment for the user. 深度分析の詳細については、2003年5月29日出願の米国特許出願第10/448,614号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法(System and Method for Providing a Real-time three dimensional interactive environment)」を参照されたい。 For more information about the depth analysis, system and method for providing a U.S. Patent Application No. 10 / 448,614 Pat "real-time three-dimensional interactive environment filed May 29, 2003 (System and Method for Providing a Real -time three dimensional interactive environment) ", which is incorporated herein by reference. 同文献を参照によりここに援用する。 Incorporated herein by reference to this document.

深度カメラは、一実施形態に従って使用され得るが、三次元空間におけるオブジェクトの位置ならびに座標の場所を識別するために必要とされるものと解釈されてはならない。 A depth camera, but may be used in accordance with an embodiment, should not be interpreted as being required to identify the location of the position and coordinates of an object in three-dimensional space. 例えば、図2に描いたシナリオでは、オブジェクト215とカメラ105間の距離は、最左LED212と最右LED212の距離を測定することにより、推測することができる。 For example, in the scenario depicted in FIG. 2, the distance between the object 215 and the camera 105, by measuring the distance rightmost LED 212 and the leftmost LED 212, can be inferred. 画像キャプチャ装置105によって生成される画像において、LED212それぞれの距離が近いほど、オブジェクト215はカメラ105から離れている。 The image produced by the image capture device 105, LED 212 closer the respective distances, the object 215 is separated from the camera 105. したがって、一般のデジタルカメラによって生成される二次元画像から、z軸座標をかなり正確に推測することができる。 Thus, from the two-dimensional image generated by the ordinary digital camera, it can be inferred quite accurately z-axis coordinate.

図3に戻ると、入力画像プロセッサ302は、キャプチャされた制御オブジェクトのビデオ画像(深度画像など)を信号に変換し、この信号が出力画像プロセッサに送られる。 Returning to FIG. 3, the input image processor 302 converts captured control object video image (such as depth images) to the signal, the signal is sent to the output image processor. 一実施形態では、入力画像プロセッサ302は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および/または移動に応じた出力信号を発生させるようにプログラムされる。 In one embodiment, input image processor 302, from the background of the captured video image, separates the control object with depth information, is programmed to generate an output signal corresponding to the position and / or movement of the control object . 出力画像プロセッサ304は、入力画像プロセッサ302から受け取った信号に応じて、ビデオ表示装置306に表示したオブジェクトの並進移動および/または回転移動を変更するようにプログラムされうる。 Output image processor 304, in response to signals received from the input image processor 302 may be programmed to change the translational movement and / or rotational movement of the object displayed on the video display device 306. 本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する1つ以上のプロセッサによって実装され得る。 These aspects and other aspects of the present invention may be implemented by one or more processors which execute software instructions. 本発明の一実施形態によれば、1つのプロセッサが入力画像処理と出力画像処理の両方を実行する。 According to an embodiment of the present invention, a single processor executes both input image processing and output image processing. しかし、図に示すように、説明を容易にするために、オペレーション処理が、入力画像プロセッサ302と出力画像プロセッサ304に分けられるものとして説明する。 However, as shown in the figure, for ease of description, operation process will be described as being divided into the output image processor 304 to the input image processor 302. 本発明が、特定のプロセッサの構成(複数プロセッサなど)に限定されると解釈すべきではないことを留意すべきである。 The present invention, it should be noted that should not be construed as limited to the configuration of the particular processor (such as multiple processors). 図3の複数の処理ブロックは、説明の便宜上、示したに過ぎない。 A plurality of processing blocks in FIG. 3, for convenience of explanation, only indicated.

図4は、本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。 Figure 4 is a simplified block diagram of a computer processing system to implement various embodiments of the invention described herein. この処理システムは、メインメモリ420とグラフィック処理ユニット(GPU)426に結合された中央処理装置(CPU)424を備えた、コンピュータベースのエンターテイメントシステムの実施形態であってもよい。 The processing system with a central processing unit (CPU) 424 coupled to main memory 420 and graphical processing unit (GPU) 426, may be in the embodiment of the computer-based entertainment system. CPU424は、入出力プロセッサ(Input/Output Processor:IOP)バス428にも結合される。 CPU424 is input-output processor (Input / Output Processor: IOP) is also coupled to bus 428. 一実施形態では、GPU426は、ピクセルベースのグラフィックデータを高速に処理するために内部バッファを備える。 In one embodiment, GPU426 comprises an internal buffer to process the pixel-based graphic data at high speed. 更に、GPU426は、エンターテイメントシステムまたはその構成要素の外部に接続された表示装置427に送信するために、画像データを処理して、例えばNTSCやPALなどの標準のテレビジョン信号に変換する出力処理部またはその機能を備えうる。 Furthermore, GPU426, in order to transmit to the display device 427 that is connected to an external entertainment system or component thereof, and processes the image data, for example, the output processing unit for converting a standard television signal such as NTSC or PAL or it may comprise its function. 別の実施形態では、データ出力信号が、コンピュータモニタ、LCD(液晶ディスプレイ)装置やその他のタイプの表示装置などのテレビジョンモニタ以外の表示装置に供給されてもよい。 In another embodiment, the data output signal, a computer monitor, LCD may be supplied to a (liquid crystal display) device and a display device other than a television monitor, such as other type of display device.

IOPバス428は、CPU424を、各種の入出力装置、または他のバスやデバイスに接続している。 IOP bus 428, a CPU 424, are connected to various input and output devices or other buses and devices, the. IOPバス428は、入出力プロセッサメモリ430、コントローラ432、メモリカード434、ユニバーサルシリアルバス(USB)ポート436、IEEE1394(Firewireインタフェースとも呼ばれる)ポート438、およびバス450に接続される。 IOP bus 428, the input-output processor memory 430, controller 432, memory card 434 (also known as Firewire interface) Universal Serial Bus (USB) port 436, IEEE1394 port 438, and is connected to the bus 450. バス450は、システムの他のいくつかの構成要素をCPU424に接続しており、このような構成要素には、オペレーティングシステム(OS)ROM440、フラッシュメモリ442、音声処理ユニット(SPU)444、光ディスク制御4、ハードディスクドライブ(HDD)448がある。 Bus 450, several other components of the system are connected to the CPU 424, the such components, an operating system (OS) ROM 440, flash memory 442, sound processing unit (SPU) 444, the optical disk control 4, there is a hard disk drive (HDD) 448. この実施形態の一態様では、ビデオキャプチャ装置は、IOPバス428に直結されていてもよく、これを介してCPU424に送信を行っており、CPU424では、ビデオキャプチャ装置からのデータを使用して、GPU426でグラフィック画像の生成に使用される値が変更または更新される。 In one aspect of this embodiment, the video capture device may be directly connected to IOP bus 428, and performs transmission to the CPU 424 through which the CPU 424, using the data from the video capture device, the value used to generate the graphic image is changed or updated in the GPU426.

更に、本発明の各種実施形態は、画像処理のさまざまな構成および技術を使用することができ、これには、2003年2月11日出願の米国特許出願第10/365,120号明細書「リアルタイムのモーションキャプチャのための方法および装置(METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE)」に記載されたものなどがある。 Further, various embodiments of the present invention can use a variety of configurations and techniques of the image processing, including U.S. Patent Application No. 10 / 365,120 Pat filed Feb. 11, 2003 " there are such as those described in real time method and apparatus for motion capture (mETHOD aND aPPARATUS fOR REAL TIME mOTION cAPTURE) ". 同文献を参照によりその全体をここに援用する。 By reference to this document is incorporated herein in its entirety. コンピュータ処理システムは、CELL(登録商標)プロセッサで実行されうる。 The computer processing system may be performed in CELL (TM) processor. 図5は、本発明の一実施形態に係る代替入力デバイスとして機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。 Figure 5 is a block diagram showing the configuration of the various components of the adapted video game consoles for use with a manipulation object to serve as an alternative input device according to an embodiment of the present invention. 例示的なゲームコンソール510は、コンソール510全体を制御するためのマルチプロセッサユニット(MPU)512、プログラムの各種オペレーションおよびデータ保存に使用されうるメインメモリ514、幾何学処理に必要な浮動小数点のベクトル演算を実行するベクトル演算ユニット516、MPU512からの制御に基づいてデータを生成すると共に、ビデオ信号をモニタ110(CRTなど)に出力する画像プロセッサ520、MPU512またはベクトル演算ユニット516と画像プロセッサ520との間の伝送バス上で調停等を実行するグラフィックインタフェース(GIF)522、周辺機器との間でデータを送受信できるようにする入出力ポート524、カーネル等の制御を実行するための、フラッシュメモリ等で構 Exemplary game console 510, console 510 multiprocessor unit for controlling the entire (MPU) 512, a main memory 514 which may be used for various operations and data storage program, a vector floating-point operation necessary for geometry processing vector unit 516 for execution, as well as generating data based on controls from MPU 512, between the image processor 520, MPU 512 or vector calculation unit 516 and an image processor 520 which outputs a video signal to the monitor 110 (such as a CRT) graphic interface (GIF) 522 for performing arbitration, etc. on the transmission bus, input and output ports 524 to send and receive data to and from peripheral devices, for performing control such as kernel, configured in the flash memory or the like された内部OSD機能ROM(OSDROM)526、ならびにカレンダ機能およびタイマ機能を備えたリアルタイムクロック528を備える。 It has been provided with an internal OSD functional ROM (OSDROM) 526 and real time clock 528 having a calendar function, and timer functions.

メインメモリ514、ベクトル演算ユニット516、GIF522、OSDROM526、リアルタイムクロック(RTC)528および入出力ポート524は、データバス530を介してMPU512に接続されている。 Main memory 514, vector calculation unit 516, GIF522, OSDROM526, real-time clock (RTC) 528 and input and output ports 524 are connected to MPU512 via a data bus 530. バス530には、圧縮済みの動画およびテクスチャ画像を伸張して、これにより画像データを展開するプロセッサである画像処理ユニット538も接続されている。 The bus 530, and decompresses the compressed video and texture image, the image processing unit 538 is also connected a processor thereby developing image data. 例えば、画像処理ユニット538は、MPEG2またはMPEG4の標準フォーマットに従って、ビットストリームをデコードおよび展開したり、マイクロブロックをデコードしたり、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担う。 For example, the image processing unit 538, according to the standard format of MPEG2 or MPEG4, or decode and expand the bit stream, or decoding a macroblock, the inverse discrete cosine transformations, color space conversion, it performs a function of executing and vector quantization .

音声システムは、MPU512からの命令に基づいて音楽やその他の音響効果を生成する音声処理ユニット(SPU)571、SPU571が波形データを記録するための音声バッファ573、およびSPU571が生成した音楽やその他の音響効果を出力するスピーカ575で構成されうる。 Audio system, the audio processing unit (SPU) 571, SPU 571 is the audio buffer 573 for recording waveform data, and music and other which SPU 571 is generated for generating musical or other sound effects on the basis of instructions from MPU512 It may be configured by a speaker 575 that outputs sound effects. なお、スピーカ575はモニタ110の一部として組み込まれていても、あるいは、外部スピーカ575を取り付けるための別個のオーディオライン出力端子として提供されてもよい。 Incidentally, the speaker 575 may be incorporated as part of the monitor 110 or may be provided as a separate audio line output terminal for mounting an external speaker 575.

バス530に接続されており、本発明に従ってデジタルデータの入出力を行うと共にデジタルコンテンツを入力する機能を備えたインタフェースである通信インタフェース540も提供される。 Is connected to the bus 530, communication interface 540 is an interface having a function of inputting the digital content performs input and output of digital data in accordance with the present invention are also provided. 例えば、オンラインビデオゲームアプリケーションを実現するために、この通信インタフェース540を介して、ネットワーク上のサーバ端末との間でユーザ入力データを送信したり、状態データを受信することができる。 For example, in order to achieve the online video game application, via the communication interface 540, and transmits the user input data to and from the server terminal on a network, it is possible to receive the status data. コンソール510に対してデータ(キー入力データまたは座標データなど)を入力する入力デバイス532(コントローラとも呼ばれる)と、各種プログラムおよびデータ(すなわちオブジェクトに関するデータ、テクスチャデータなど)を有するCD―ROMなどの光学ディスク569の内容を再生するディスク装置536とが入出力ポート524に接続されている。 Input device 532 for inputting data (such as key input data or coordinate data) with respect to the console 510 (also referred to as controller), optical such as CD-ROM with various programs and data (i.e. data about an object, texture data, etc.) a disk device 536 for reproducing the contents of the disc 569 is connected to the input and output ports 524.

更に、本発明は、デジタルビデオカメラ105を備え、これは入出力ポート524に接続される。 Furthermore, the present invention includes a digital video camera 105, which is connected to the input and output ports 524. 入出力ポート524は、シリアルインタフェースやUSBインタフェースなどの1つ以上の入力インタフェースによって実装され得、デジタルビデオカメラ190は、USB入力や、カメラ105との併用に適したその他の任意の従来のインタフェースを有利に利用し得る。 Output port 524 may be implemented by one or more input interfaces such as a serial interface or USB interface, the camera 190 is USB input or, any other conventional interface appropriate for use with the camera 105 It may be utilized to advantage.

上記の画像プロセッサ520は、レンダリングエンジン570、インタフェース572、画像メモリ574、およびディスプレイ制御装置576(プログラム可能なCRTコントローラなど)を備える。 The image processor 520 described above, includes a rendering engine 570, interface 572, image memory 574, and a display control device 576 (such as a programmable CRT controller). レンダリングエンジン570は、メモリインタフェース572を介して、かつMPU512から送られるレンダリングコマンドによって、所定の画像データを画像メモリにレンダリングする処理を実行する。 The rendering engine 570 via the memory interface 572, and the rendering command sent from the MPU 512, executes a process of rendering a predetermined image data in the image memory. レンダリングエンジン570は、NTSC方式またはPAL方式に準拠し、より詳細には、例えば、1/60秒〜1/30秒の間隔で10〜数十回を越えるレートで、320×240ピクセルまたは640×480ピクセルの画像データをリアルタイムに描画できる機能を備える。 The rendering engine 570, conforms to the NTSC or PAL, and more particularly, for example, at a rate in excess of ten to several tens of times at intervals of 1/60 second to 1/30 seconds, 320 × 240 pixels or 640 × a function capable of drawing the image data of 480 pixels in real time.

メモリインタフェース572とレンダリングエンジン570との間にバス578が接続され、メモリインタフェース572と画像メモリ574との間に第2バス580が接続され得る。 Bus 578 is connected between memory interface 572 and the rendering engine 570, a second bus 580 may be connected between memory interface 572 and the image memory 574. 第1バス578と第2バス580のビット幅は、例えばそれぞれ128ビットであり、レンダリングエンジン570は、画像メモリに対して高速レンダリング処理を実行することができる。 A first bus 578 bit width of the second bus 580, for example are each 128 bits, rendering engine 570 is capable of executing high speed rendering processing with respect to the image memory. 画像メモリ574は、一元化された記憶構造を採用しており、この構造では、例えば、テクスチャレンダリング領域と表示レンダリング領域とを同じ領域に設定することができる。 The image memory 574 employs a centralized storage structure, in this structure, for example, it is possible to set a texture rendering region and a display rendering area in the same area.

ディスプレイコントローラ576は、光ディスク装置536によって光ディスク569から取得したテクスチャデータ、またはメインメモリ514に作成されたテクスチャデータを、メモリインタフェース572を介して画像メモリ574のテクスチャレンダリング領域に書き込むように構成される。 Display controller 576, texture data obtained from the optical disk 569 by the optical disc apparatus 536 or the texture data generated in the main memory 514, configured to write the texture rendering area of ​​the image memory 574 via the memory interface 572. 画像メモリ174の表示レンダリング領域にレンダリングされた画像データは、メモリインタフェース572を介して読み出されて、モニタ110に出力され、その画面に表示されうる。 Image data rendered in the display rendering area of ​​the image memory 174 is read out through the memory interface 572, is output to the monitor 110 can be displayed on the screen.

図6は、本発明の一実施形態による、ユーザによるユーザ入力デバイスの操作中に、ユーザ入力デバイスに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。 6, according to one embodiment of the present invention, during the operation of the user input device by the user, is a block diagram showing a functional block for determining and tracking the pixel group corresponding to the user input device. ブロックが表している諸機能は、図5のゲームコンソール510のMPU512によって実行されるソフトウェアによって実装される点を理解されたい。 Various functions blocks is representative is to be understood that it is implemented by software executed by MPU512 game console 510 of FIG. 更に、図6のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。 Moreover, all the functions blocks of FIG. 6 represents is not necessarily used in each embodiment. 最初に、カメラから入力されたピクセルデータが、入出力ポートインタフェース524を介してゲームコンソール510に送られ、これにより、以下に記載するプロセスがゲームコンソール510で実行される。 First, the pixel data input from the camera is sent to the game console 510 through the input-output port interface 524, thereby, the process described below is executed on the game console 510. まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理ステップS201が実行される。 First, each pixel of the image, for example, is sampled by the raster-based, color separation processing step S201 is executed. これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元部分に分割される。 Thus, be determined color of each pixel, the image is divided into various two-dimensional parts of different colors. 次に、実施形態によっては、色遷移定位ステップS203が実行される。 Then, in some embodiments, a color transition localization step S203 is performed. これにより、色の異なる部分が隣接している領域がより詳細に決定されて、はっきりした色の遷移が発生する画像の位置が特定される。 Thus, be determined in more detail the area where different parts of the colors are adjacent, the position of the image is specified transition of distinct color is generated. 次に、幾何学処理S205のステップが実行される。 Next, steps of the geometry processing S205 is performed. このステップでは、実施形態に応じて、エッジ検出プロセスまたは面積の統計値(area statistics:AS)の計算の実行が行われて、対象のオブジェクトのエッジに相当する線、曲線および/または多角形が代数的または幾何学的に定義される。 In this step, depending on the embodiment, the statistical value of the edge detection process or area (area statistics: AS) performing calculations is performed for the line corresponding to the edge of the target object, curves and / or polygons It is algebraic or geometric definition.

ステップS207で、アルゴリズムを用いてオブジェクトの三次元の位置および姿勢が計算される。 In step S207, the three-dimensional position and orientation of the object is calculated using the algorithm. このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。 This algorithm is described below with respect to preferred embodiments of the present invention. 質の向上のため、三次元の位置および姿勢のデータに対して、カルマンフィルタリング処理ステップS209が実行される。 For improving the quality of, for data of the three-dimensional position and orientation, Kalman filtering process step S209 is executed. この処理を実行するのは、所定の時点においてオブジェクトが存在する位置を概算することで、発生することがあり得ないであろうことから正しいデータ群から外れていると考えられる、誤った測定値を除去するためである。 To perform this process, by estimating the position where the object exists at a given point in time, it is considered to be out of the correct data group since that would not may occur, false readings in order to remove. カルマンフィルタリングを実行するもう1つの理由は、カメラ105は画像を30Hzで生成するが、一般的なディスプレイは60Hzで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。 Another reason for Kalman filtering is a camera 105 generates image at 30 Hz, for typical display is operating at 60 Hz, so Kalman filtering shortage of data used for controlling the operation of the game program it is to fill the. カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。 Smoothing of discrete data via Kalman filtering is in the field of computer vision is known, is not described in detail here. 図7は、オブジェクト705の移動を画像キャプチャ装置105によってとらえられる空間体積702に対応づける例示的画像処理システム700の概略的ブロック図を示す。 Figure 7 shows a schematic block diagram of an exemplary image processing system 700 to be associated with the volume of space 702 to be taken to move the object 705 by the image capture device 105. この例では、オブジェクト705が三次元空間702で、x の距離を移動すると、画像処理システム700は、オブジェクト705のキャプチャしたビデオ画像を解釈し、オブジェクト705の移動を識別し、その後、対応するアクションをディスプレイ画面110に生成する。 In this example, the object 705 is a three-dimensional space 702, moving the distance x 1, the image processing system 700 interprets the video images captured of the object 705 to identify the movement of the object 705, then the corresponding action is generated on the display screen 110.

具体的には、画像キャプチャ装置105は、当技術分野では周知のように、レンズを通過した後にセンサに入射する、画像を形成した光を表す画像データを生成するデジタル画像センサを含む。 Specifically, the image capturing apparatus 105 includes art As is well known in the art, is incident on the sensor after passing through the lens, a digital image sensor for generating image data representing the light forming the image. さらに、画像キャプチャ装置105は、光によって形成される画像を表すアナログ信号を生成するアナログビデオカメラを備えるようにしてもよい。 Furthermore, the image capture device 105 may be an analog video camera for generating an analog signal representing an image to be formed by light. 後者の場合、アナログ信号は、画像をデジタル表現に変換し、その後、認識装置710による処理が行われる。 In the latter case, the analog signal, converts the image into a digital representation, then the processing by the recognition unit 710 is performed. 三次元空間702の連続する二次元画像を表す画像データは、認識装置710に送られる。 Image data representing a two-dimensional continuous image of the three-dimensional space 702 is sent to the recognizer 710. 一実施形態では、認識装置710は、図6に関連して上述したように、オブジェクト705の識別のために様々な処理ステップを実行する。 In one embodiment, the recognition device 710, as described above in connection with FIG. 6, performs various processing steps to identify the object 705. オブジェクト705の位置は、マッパ712に送られる。 Position of the object 705 is sent to the mapper 712. 例えば、三次元空間702でのオブジェクト705の絶対座標が計算され、マッパ712に送信される。 For example, absolute coordinates of the object 705 in the three-dimensional space 702 is calculated and transmitted to the mapper 712. x軸方向の座標及びy軸方向の座標は、各画像に表示されたオブジェクトの位置から決定することができる。 Coordinate and the y-axis direction of the coordinate of the x-axis direction can be determined from the position of the object displayed in the image. オブジェクトのz軸方向の座標は、オブジェクトの寸法から推測できる。 z-axis direction of the coordinate of the object can be inferred from the size of the object. つまり、オブジェクト705が画像キャプチャ装置105に近いほど、オブジェクトが画像に大きく表示される。 That is, the object 705 is closer to the image capture device 105, the object is displayed large in the image. したがって、オブジェクトが画像に表示されると、オブジェクトの直径などの寸法は、画像キャプチャ装置105からの距離、即ちz軸座標、を求めるように使用される。 Accordingly, an object is displayed in the image, the dimensions, such as diameter of the object, are used to determine the distance from the image capture device 105, i.e., z-axis coordinate, the.

位置情報に加えて、認識装置710は、オブジェクト705から受信したコマンドを識別する。 In addition to location information, recognition device 710 identifies the command received from the object 705. コマンドは、オブジェクト705の伝送/変形、音声ならびに発光などから解釈される。 Command transmission / deformation of the object 705, is interpreted by voice and emission. オブジェクト705から受信したコマンドは、認識装置によって解釈され、受信したコマンドに対応するデータは、アプリケーション714に伝達される。 The command received from the object 705, is interpreted by the recognition device, data corresponding to the received command is transmitted to the application 714. アプリケーション714はゲームアプリケーションあるいはリクエストされたその他のコンピュータアプリケーションであってもよい。 Application 714 may be any other computer applications that are game application or requests. あるいは、そうでなければ、画像キャプチャ装置105からユーザの入力を受け入れることができるものである。 Alternatively, otherwise, in which the image capture device 105 can accept user input. 一実施形態では、マッパ712は、認識装置710から絶対座標を入力し、これらの座標をギアリング量によってスケーリングされている出力座標に対応づける。 In one embodiment, the mapper 712 inputs the absolute coordinate from the recognition device 710, these coordinates associates with the output coordinates are scaled by gearing amount.

別の実施形態では、マッパ712は連続する座標情報を認識装置710から受信し、座標情報の変更をオブジェクト705のベクトル移動に変換する。 In another embodiment, the mapper 712 receives the coordinate information which is continuous from the recognizer 710 converts the change in the coordinate information on the vector movement of the object 705. 例えば、オブジェクト705が、時間t1から時間t の間にx の距離を移動した場合、ベクトルx ,0,0が生成され、アプリケーション714に送信される。 For example, the object 705, when you move the distance x 1 between the time t1 of time t 2, the vector x 1, 0,0 is generated and transmitted to the application 714. 時間t からt は、画像キャプチャ装置105により生成されるビデオの連続フレーム間の時間間隔であってもよい。 T 2 from time t 1 may be a time interval between successive frames of video to be generated by the image capture device 105. マッパ712は、スケーリングアルゴリズムに従い、例えば、ベクトルにギアリング量を乗算することでベクトルをスケーリングしてもよい。 Mapper 712 in accordance with scaling algorithm, for example, may be scaled to vector by multiplying a gearing amount vector. 別の実施形態では、各座標には、G 、G ならびにG などの対応するギアリング因子(gearing factor)を乗算する。 In another embodiment, each coordinate is multiplied by the corresponding gearing factors such as G x, G y and G z (gearing factor). したがって、ディスプレイ110に表示されるように、仮想オブジェクト705'の対応する移動は距離x であり、x ではない。 Thus, as displayed on the display 110, the mobile is the distance x 2 corresponding to the virtual object 705 ', not the x 1.

アプリケーション714は、認識装置710から受信したコマンド713に従ってギアリング量を変更するか、マッパ712にギアリングデータを送信し、ギアリング量を変更させるソフトウェアの通常のオペレーションに従ってギアリング量を変更する。 Application 714, change the gearing amount in accordance with a command 713 received from the recognizer 710 transmits gearing data mapper 712, to change the gearing amount according to the normal operation of the software for changing the gearing amount. ギアリングデータは、ユーザコマンド、各種イベント、またはアプリケーション714のオペレーションモードに応じてマッパ712に送信される。 Gearing data, user commands are sent various events or mapper 712 in accordance with the operation mode of the application 714,. したがって、ギアリング量は、ユーザコマンドに応じてリアルタイムで変更されるか、ソフトウェアによって制御されてもよい。 Thus, gearing amount can either be modified in real time according to user commands, or may be controlled by software. これにより、マッパ712は、オブジェクト705の動きの出力ベクトルをアプリケーション714に送信する。 Thus, the mapper 712 transmits an output vector of the motion of the object 705 to the application 714. この出力は、空間702中のオブジェクト705の位置の変化ならびにギアリング量に対して変更される。 This output is changed to the change and the gearing in position of the object 705 in the space 702. 一実施形態では、アプリケーション714はビデオゲームであり、出力ベクトルを対応するアクションに変換し、変換されたアクションがディスプレイ110に表示される。 In one embodiment, the application 714 is a video game, and converts the output vector to the corresponding action, converted action is displayed on the display 110.

図8は図7の画像処理システム700の例示的アプリケーションを示す。 Figure 8 illustrates an exemplary application of the image processing system 700 of FIG. コンピュータシステム102は、シーン810をとらえる画像キャプチャ装置105を備える。 Computer system 102 includes an image capture device 105 to capture the scene 810. シーン810は、認識装置(図7)によって認識されるオブジェクト804を把持したユーザ802を含む。 Scene 810 includes a user 802 holding the object 804 to be recognized by the recognition device (Fig. 7). このアプリケーションプログラムは、この例ではチェッカーゲームであり、オブジェクト804からのコマンドを認識し、チェッカーボード801にチェッカー808を拾い上げるか落す。 This application program is, in this example a checker game, recognize a command from the object 804, drop or pick up checker 808 checkerboard 801. ユーザがオブジェクト805を画像キャプチャ装置105の前に移動させると、コンピュータ102はオブジェクト804の移動を識別するように画像を処理し、その移動をディスプレイ110の仮想オブジェクト805'の移動に変換する。 When the user moves the object 805 in front of the image capture device 105, the computer 102 processes the image to identify the movement of the object 804 and converts the movement into movement of the virtual object 805 on the display 110 '. 仮想オブジェクト805'が現実のオブジェクト805に対して移動する距離は、ギアリング量806によって決まる。 Distance virtual object 805 'moves relative to the real object 805 is determined by the amount of gearing 806. この例では、ギアリング量はディスプレイ110「3」と表示される。 In this example, gearing amount will be displayed as a display 110 "3". 一実施形態では、ギアリング量ユーザにより選択可能である。 In one embodiment, it can be selected by gearing amount user. ギアリング量が大きければ、チェッカー805'がディスプレイ110で特定の距離を移動する、現実のオブジェクト805の移動は小さくてもよい。 The larger the gearing amount, checker 805 'to move a particular distance in the display 110, the movement of the real object 805 may be small.

図9、10は、画像キャプチャ装置105(図1)とのインタラクションを行う例示的コントローラ900を示す。 9 and 10 show an exemplary controller 900 that performs interaction with the image capture device 105 (FIG. 1). コントローラ900は、各種のボタンおよびジョイスティックを含む複数のインターフェース装置を有するインターフェース902を備える。 The controller 900 includes an interface 902 having a plurality of interface devices including various buttons and joysticks. ここに記載するコントローラは、有線であっても無線であってもよい。 The controller described herein may be a wireless be wired. WiFi、ブルートゥース(登録商標)、赤外線、音声、光などの技術が、ゲームコンソールなどのコンピュータとインタフェースするために使用され得る。 WiFi, Bluetooth, infrared, sound, technologies such as light, may be used to computers and interfaces, such as a game console. 一実施形態では、コントローラ900は、LEDアレイ905を有する。 In one embodiment, the controller 900 has a LED array 905. LEDアレイは、さまざまなレイアウトで構成することができ、このようなレイアウトには、例えば、各LEDが、想像上の矩形または正方形の結合ボックスの頂点に配置されている2×2のスタックがある。 LED arrays may be configured in various layouts, such a layout, for example, each LED, there is a rectangular or 2 × 2 stacks disposed at the apex of the coupling box square imaginary . 画像キャプチャ装置が作成する画像平面に投射されたときの、結合ボックスの位置および変形を追跡することによって、変化および変形がビデオアナライザで分析され、コントローラの位置および姿勢の情報が解読され得る。 When the image capturing apparatus is projected in the image plane to create, by tracking the position and deformation of the coupling box, changes and modifications are analyzed by video analyzer, information of the position and attitude of the controller can be decrypted.

LEDアレイ905は、赤外光または可視光を発し得る。 LED array 905 may emit infrared light or visible light. 画像キャプチャ装置105(図1)は、本発明のさまざまな実施形態に関して説明したように、LEDアレイ905を識別することができる。 Image capture device 105 (FIG. 1), as described in connection with various embodiments of the present invention, it is possible to identify the LED array 905. 例えば、各コントローラに対して、スイッチ910を使用して、例えば、プレーヤ1〜プレーヤ4と割り振られ、これによって、ユーザが、プレーヤ番号1〜4から選択できるようになる。 For example, for each controller, using the switch 910, for example, allocated a player 1 player 4, whereby the user will be able to select the player numbers 1-4. プレーヤ番号のそれぞれの選択は、LEDアレイ905が発光している一意的なLEDのパターンまたは変調に対応している。 Each selection of the player numbers, LED array 905 corresponds to a pattern or modulation of unique LED that emits light. 例えば、プレーヤ1の場合は、1番目、3番目および5番目のLEDが点灯する。 For example, if the player 1, the first, the third and fifth LED lights. このようなプレーヤ情報は符号化されて、複数のビデオフレーム間で、所定の期間にわたり、繰り返し伝送され得る。 Such player information is encoded, among a plurality of video frames, for a predetermined period of time, can be repeatedly transmitted. コントローラまたは装置のLEDが、トラッキングモードと伝送モードを切り替えるように、インタリーブ方式が使用されることが望ましいことがある。 LED controller or device, to switch the transmission mode and the tracking mode, it may be desirable to interleave scheme is used. トラッキングモードでは、サイクルの第1の部分の間、全てのLEDが点灯しうる。 In the tracking mode, during the first part of the cycle, all the LED may be illuminated.

伝送モードでは、サイクルの第2の部分の間、LEDによって情報の変調が行われうる。 In transmission mode, during a second portion of the cycle, the modulation information may be performed by the LED. 所定の期間、LEDは、信号を受け取ることができるビデオアナライザまたは適切な装置に、トラッキング情報と通信情報を伝送する。 Predetermined time period, LED is a video analyzer or suitable device capable of receiving a signal, and transmits the communication information and tracking information. 伝送モードでは、LEDは、プレーヤのIDを表す情報を符号化しうる。 In transmission mode, LED may encode information that represents the ID of the player. 期間と動作周期は、トラッキングの速度、点灯条件、コントローラの台数などに対応するように選択され得る。 Period and duty cycle, the speed of tracking, the lighting conditions may be selected to correspond the like to the number of controllers. 通信とトラッキング情報をインタリーブすることによって、ビデオキャプチャ装置は、適切な情報が与えられて、各コントローラのトラッキングパラメータを計算し、コントローラ同士を区別することができる。 By interleaving the communication and tracking information, video capture device, appropriate information is given, to calculate the tracking parameters for each controller, it is possible to distinguish the controller together. このような区別は、位置および姿勢や、コントローラの移動の他の評価基準をモニタおよびトラッキングする際に、各物理コントローラを分離するために、ビデオアナライザで使用され得る。 This distinction is and the position and attitude, in monitoring and tracking the other criteria of the movement of the controller, in order to separate the physical controller can be used in video analyzer. 伝送モードでは、コマンドまたは状態情報などの他の情報が、コントローラまたは装置のLEDによって、公知の符号化および変調の方式に従って伝送され得る。 In transmission mode, other information such as a command or state information, the controller or device LED of may be transmitted according to known encoding and modulation scheme. 受信側では、ビデオキャプチャ装置に結合されたビデオアナライザが、LEDの状態と同期して、これをトラッキングし、情報とコントローラの移動を復号化し得る。 On the receiving side, the video analyzer coupled to the video capture device, in synchronization with the state of the LED, which tracks can decrypt the transfer of information and the controller. 伝送モードサイクルでは、フレーム間でデータを変調させることによって、高帯域が得られることが知られている。 In transmission mode cycle, by modulating the data between frames, it is known that high bandwidth is obtained.

ユーザがインタフェース902とのインタラクションを行うと、LEDアレイ905の1つ以上のLEDが変調および/または変色し得る。 When a user to interact with the interface 902, one or more LEDs of the LED array 905 can modulate and / or discoloration. 例えば、ユーザがジョイスティックを動かすと、LEDが明るさを変えるか、または情報を伝送しうる。 For example, when the user moves the joystick, LED can transmit or information change the brightness. 強度または色の変化が、コンピュータシステムによってモニタされて、強度値としてゲームプログラムに提供される。 Change in intensity or color, are monitored by a computer system, it is provided to the game program as an intensity value. 更に、各ボタンが、LEDアレイ905の1つ以上のLEDの色または強度の変化にマッピングされうる。 Furthermore, each button can be mapped to a change in the color or intensity of one or more LEDs of the LED array 905. コントローラ900が三次元空間内で移動され、ロール、ヨーまたはピッチの方向のいずれかに回転されると、画像キャプチャ装置105は、コンピュータシステム102と共に、この変化を識別して、画像平面での移動を記述するために二次元ベクトルを、あるいは、三次元の空間での移動を記述するために三次元のベクトルを生成することができる。 The controller 900 is moved in the three-dimensional space, roll, when it is rotated in either direction of yaw or pitch, the image capture device 105 with a computer system 102, identifying this change, the movement of the image plane the two-dimensional vector to describe, or can generate a three-dimensional vector to describe the movement in three dimensional space. ベクトルは、画像キャプチャ装置105に対する相対移動および/または絶対位置を記述している一連の座標として提供されうる。 Vector may be provided as a series of coordinates describing the relative movement and / or absolute position relative to the image capture device 105. 当業者にとって明らかなように、画像キャプチャ装置105の見通線に垂直な面(画像平面)での移動は、画像キャプチャゾーン内の絶対位置によって特定することができる。 As will be apparent to those skilled in the art, movement in a plane perpendicular to the line-of-sight of the image capture device 105 (image plane) can be specified by the absolute position of the image capture zone. これに対して、画像キャプチャ装置105にコントローラが近づくという移動は、LEDアレイによって、拡大するように見えることによって識別できる。 In contrast, the movement of the controller approaches the image capture device 105, the LED array can be identified by appears to expand.

これらLED905が矩形に構成されていることから、3つの軸上でのコントローラ900の移動と、各軸を中心とした回転とが検出可能になる。 Since these LED905 is configured in a rectangular, moving the controller 900 on three axes, rotation and becomes detectable around the respective axes. 図示しているのは4つのLEDだけであるが、これは例示のみを目的としており、いずれの構成においてもLEDは任意の個数とすることが可能である。 Although What illustrated is only four LED, which are for illustrative purposes only, LED in any configuration can be any number. コントローラ900が前後にピッチ運動すると、上下のLEDの距離が近づくが、左右のLED間の距離は変わらない。 When the controller 900 is pitch motion back and forth, the distance between the upper and lower LED approaches, the distance between the left and right LED is not changed. 同様に、コントローラが左右にヨー運動すると、左右のLEDが接近して見えるが、上下のLED間の距離は変わらない。 Similarly, when the controller yaw motion to the left and right, but the left and right LED is visible close, the distance between the upper and lower LED is not changed. コントローラのロール運動は、画像平面におけるLEDの向きを特定することによって検出することができる。 Rolling motion of the controller can be detected by identifying the LED orientation in the image plane. コントローラが、画像キャプチャ装置105の見通線に沿って画像キャプチャ装置105に近づくと、全てのLEDが接近して見える。 Controller approaches the image capture device 105 along the line-of-sight of the image capture device 105, all the LED appear closer. 最後に、画像平面に沿ったコントローラの移動は、画像平面上のLEDの位置を特定することによってトラッキングすることができ、これにより、x軸およびy軸のそれぞれに沿った移動が特定できる。 Finally, the movement of the controller along the image plane, can be tracked by determining the location of the LED on the image plane, thereby, can be identified it is moved along the respective x and y axes.

さらに、コントローラ900は、可聴音または超音波を発生させるスピーカ915を含む。 Furthermore, the controller 900 includes a speaker 915 for generating an audible sound or ultrasound. スピーカ915は、インタラクティビティを強化する音響効果を生成するか、インターフェース902からのコマンドを、マイクロフォンあるいは伝達を受け入れる他の素子を有するコンピュータシステムに伝達する。 Speaker 915, or generates a sound effect to enhance the interactivity, the command from the interface 902 and transmits it to a computer system having other element for receiving the microphone or transmission.

図11は、図9、10のコントローラ900の例示的アプリケーションを示す。 Figure 11 illustrates an exemplary application of the controller 900 in FIG. 9 and 10. このアプリケーションでは、ドライビングシミュレーションはコントローラ900の回転を仮想自動車のハンドルの回転と解釈する。 In this application, driving simulation interprets the rotational rotation of the virtual vehicle steering wheel controller 900. ユーザ(図示せず)が矢印1105に示すようにコントローラ900を回転させると、仮想ハンドル900'はディスプレイ110で矢印1105'に示すように回転する。 When a user (not shown) rotates the controller 900 as indicated by an arrow 1105, the virtual handle 900 'is arrow 1105 in display 110' to rotate as shown in FIG. 一実施形態では、コントローラ900の回転のそれぞれの程度に対してハンドル900'の回転量を決定するギアリング量は、図8に関連して上述したように、ユーザが選択できる。 In one embodiment, gearing amount to determine the amount of rotation of handle 900 'for each degree of rotation of the controller 900, as described above in connection with FIG. 8, the user can select. 別の実施形態では、ギアリング量は、図12の例示的グラフ1200に示すように、ソフトウェアにより制御される。 In another embodiment, gearing amount, as shown in the exemplary graph 1200 of FIG. 12, is controlled by software. この例では、ギアリング量はコントローラ900の中心部、つまり、垂直方向からの距離に対して変更される。 In this example, gearing amount is the heart of the controller 900, that is, is changed with respect to the distance from the vertical direction. これにより、コントローラ900を90度回転させるだけで、仮想ハンドル900'を最大540度回転させることができる。 Thus, only by rotating the controller 900 by 90 degrees, the virtual handle 900 'can be rotated up to 540 degrees. 0度(中心部)に近い位置でギアリング量を低くしておくことで、通常は著しいハンドル回転を必要としない高速ドライビングに対して、高い制御性を保つことができる。 At a position close to 0 degrees (center) that keep low gearing amount, usually for high-speed driving that does not require significant handle rotation, it is possible to maintain a high controllability. コントローラ900が中心部から離れて回転されると、グラフ1200に示しているようにギアリング量は増加し、通常、低速時に求められる急カーブに対応できるようになる。 When the controller 900 is rotated away from the center, gearing amount as shown in the graph 1200 is increased, typically, it will be able to correspond to the sharp curve required for low speed.

図13は、ユーザにより操作されるハンドル1305を有する別の例示的コントローラ1300を示す。 Figure 13 shows another exemplary controller 1300 having a handle 1305 which is operated by a user. この場合、ハンドル1305の回転ならびにインターフェース1302のボタン操作は、LED1310を介してデータの伝達を行うコントローラ1300により解釈される。 In this case, the button operation of the rotation and the interface 1302 of the handle 1305 is interpreted by a controller 1300 which transmits the data via the LED1310.

図14は、コントローラ1300の例示的なアプリケーションを示す。 Figure 14 illustrates an exemplary application of the controller 1300. この例では、アプリケーションはドライビングシミュレーションであり、ハンドル1305の回転に応じて発行されるコマンドを受信し、このコマンドをディスプレイ110の仮想ハンドル1305に対応する回転として解釈する。 In this example, the application is driving simulation, it receives a command issued in accordance with the rotation of the handle 1305, interpreted as a rotation corresponding to this command to the virtual handle 1305 of the display 110. ハンドル1305の回転を仮想ハンドル1305'の対応の回転にスケーリングするギアリング量は、インターフェース1302(図13)とのユーザインタラクションに応じて、あるいはソフトウェアによる制御に応じて変更することができる。 Gearing amount to scale the rotation of the handle 1305 to the rotation of the corresponding virtual handle 1305 'can be changed depending on in response to a user interaction with the interface 1302 (FIG. 13), or control by software.

図15は、所定の期間におけるギアリング量の例示的な変化を描いた例示的グラフ1500を示す。 Figure 15 shows an exemplary graph 1500 depicting an exemplary change in the gearing amount in a predetermined period. 一例では、ギアリングにおける変化は、ユーザにより、ゲームのプレイ中に動的に設定される。 In one example, the change in the gearing, the user is dynamically set during game play. さらに、グラフ1500に示しているように、ギアリングは、長時間ステップ、短時間ステップ、あるいはこの組合せいおいて、滑らかに、または急激に遷移する。 Furthermore, as shown in graph 1500, gearing, long steps, short steps, or the combination Ioite, smooth or abrupt transitions. したがって、ギアリングは、ゲームセッション中の所定の期間、ゲームによって設定あるいは変更され、これにより、よりリアルなインタラクティブ体験を提供することができる。 Thus, gearing for a predetermined period during the game session is set or changed by the game, which makes it possible to provide a more realistic interactive experience. さらに、ユーザにギアリングを制御をさせることで、従来のゲームに見られる所定の制御を超えた、別次元の制御が可能となる。 Further, by controlling the gearing to the user, exceeds a predetermined control found in conventional game, it is possible to control the different dimension.

図16は、ユーザインタラクションに応える画像処理システムの別の例示的アプリケーションを示す。 Figure 16 illustrates another exemplary application of the image processing system to respond to user interaction. この例では、ユーザ1602は、画像処理システムが入力オブジェクトと認識し得るおもちゃの野球バット1605をスイングすることにより、野球のシミュレーションとインタラクトする。 In this example, the user 1602, by swinging a baseball bat 1605 toy image processing system may recognize that the input object is a baseball simulation and interact. このおもちゃの野球バットがスイングされると、ユーザおよび/またはソフトウェアはギアリング量を制御し、仮想野球バット1605'の速度や距離を操作する。 When baseball bat This toy is swung, the user and / or software to control the gearing amount, operating the speed and distance of the virtual baseball bat 1605 '. 一実施形態では、バットは、ゲームのプレイ中に押すことのできる多数のボタンを備えており、このボタンを押すことでギアリングを変更することができる。 In one embodiment, the bat is provided with a number of buttons that can be pressed during the play of the game, it is possible to change the gearing by pressing this button. 別の実施形態では、ユーザは、ギアリングレベルと組み合わせて事前に設定できるか、プログラムでき、バットのスイング時に適用されるようにする。 In another embodiment, the user can either be set in advance in conjunction with gearing level can be programmed, to be applied during a swing of the bat.

図17はそれぞれ別の時間t 〜t において、スイングの長さに沿った例示的なギアリング量を描いたグラフ1700を示す。 Figure 17 is the t 1 ~t 5 separate times, shows a graph 1700 depicting an exemplary gearing amount along the length of the swing. このギアリング量は、バットをスイングする前にユーザにより設定されたものであるか、カメラ105がとらえたバットの位置に応じて、ゲームによって動的に設定されたものである。 The gearing amount is either one that is set by the user before swinging a bat, according to the position of the vat camera 105 is captured, in which set dynamically by the game. 同様に、図17には、ギアリングが所定の期間においてどのように変化し、特定の時間間隔において一定に保たれ、または漸進的に増加される様子が示されている。 Similarly, in FIG. 17, the gearing is how changes in a predetermined time period, is kept constant at a specific time interval, or progressively manner to be increased is shown. グラフ1700においては、ギアリングは時間t 〜t 間にて高く設定されている。 In the graph 1700, gearing is set to be higher at between time t 1 ~t 3. よって、バットのスイングは、ボールと接触したときによりパワフルなものになる。 Thus, the swing of the bat will powerful ones by when in contact with the ball. さらに、バットがボールと接触した後の時間t 〜t においては、ギアリングは緩和される。 Further, at time t 3 ~t 4 after the butt is in contact with the ball, gearing is relaxed. 一実施形態では、それぞれの時間は、ユーザによって予測されるか、コンピュータによって決定される。 In one embodiment, each time, or as predicted by the user, is determined by the computer.

一例では、ユーザは何度かスイングをし、コンピュータがユーザの実際のスイング能力に対応するいくつものタイムスロット例を定める。 In one example, the user several times swing determines the timeslot example of several of the computer corresponding to the actual swing capability of the user. 次に、ユーザは、どの程度ゲームインタラクティビティに影響を及ぼしたいかに応じて、それぞれの時間間隔に対して特定のギアリングを独自に割当てることができる。 Next, the user, depending on whether you affect how the game interactivity can be assigned its own particular gearing for each time interval. ギアリングが設定されると、ユーザによるバット1605の移動がバット1605'(例えば、ゲームオブジェクト)の移動に対応付けられる。 When gearing is set, the movement of the bat 1605 by the user bat 1605 '(e.g., game objects) associated with the movement of the. 同様に、ギアリングは、別のアクション中にゲームによって事前に設定され、ユーザによってゲーム中に設定され、さらに、ゲームのプレイ中にリアルタイムで調整される。 Similarly, gearing game is preset by during another action, is set in the game by the user, further, it is adjusted in real time during play of the game.

図18は、ユーザインタラクションに反応する画像処理システムの別の例示的なアプリケーションを示す。 Figure 18 illustrates another exemplary application of the image processing system that responds to user interaction. この例では、ユーザ(図示せず)は、おもちゃのフットボール用ボールを使って投球動作をし、作動装置(アクチュエータ)を押してボールを放すようにすることで、フットボールのシミュレーションとインタラクトする。 In this example, the user (not shown), a pitching action using the football ball toy, by so release the ball by pressing an actuator (actuator), to simulate football interact. 当然、おもちゃのフットボール用ボールではなくて、コントローラを使用してもよい。 Of course, rather than a football ball of toys, you may be using the controller. 仮想プレーヤー1802は、ユーザインタラクションに反応して仮想のフットボール用ボールを操作する。 Virtual player 1802, to operate the football ball of virtual in response to user interaction. 一実施形態では、作動装置は、フットボールシミュレーションアプリケーションに送信されるコマンドとして、LEDに、画像処理システムによって認識される色を明るくするか変化させるようにする。 In one embodiment, the actuator, as a command to be sent to the football simulation applications, the LED, so as to vary or to brighten the color recognized by the image processing system. ユーザは、ボールを放した後に、選択した受信側の動作などの、フィールド上でのある特定のアクションを制御することができる。 The user, after releasing the ball, can be controlled, such as the receiving side of the operation selected, the particular action that is on the field. 一実施形態では、ボールを放すことで、アプリケーションがマッパ(図7)にギアリングデータを送り、ギアリング量を変更して、例えば、入力オブジェクトのより細かな移動や動作を区別することができる。 In one embodiment, by releasing the ball, the application sends a gearing data mapper (FIG. 7), by changing the gearing amount, for example, it can be distinguished finer movement and operation of the input object .

図19は、ボールの“放した”後のギアリング量の変化を示した例示的グラフ1900を示す。 Figure 19 illustrates an exemplary graph 1900 illustrating the variation of the "release was" gearing amount after the ball. グラフ1900は単純なグラフとして図示されているが、ギアリングはゲームのオブジェクトに応じてどのようなプロファイルにもなり得ることを理解されたい。 Graph 1900 is illustrated as a simple graph, gearing should be understood that can become to any profile according to the game object.

図20は、コンピュータプログラムに対するユーザ入力を受信する例示的な手順を示すフローチャート200を示す。 Figure 20 shows a flowchart 200 illustrating exemplary steps for receiving a user input to the computer program. この手順は開始ブロック2002に示すように開始し、操作2004に進み、コントロール入力の位置が特定される。 The procedure begins as indicated by start block 2002, flow proceeds to operation 2004, the position of the control inputs are identified. コントロール入力は、図7に関して上述したような三次元空間における入力オブジェクトの位置か、図14に関して上述したようなユーザインターフェース装置の位置であってもよい。 Control inputs, or the position of the input object in three-dimensional space as described above with respect to FIG. 7, may be a position of the user interface device as described above with respect to FIG. 14. この位置は、1つの代表値、あるいはベクトルなどの複数の値として表される。 This position is one representative value, or expressed as a multiple of the value of such vectors. この手順は、コントロール入力の位置を特定後に、操作2006に進む。 This procedure, after identifying the position of the control input, the process proceeds to operation 2006.

操作2006では、位置が変更したかどうかが判断される。 Operation in 2006, whether or not the position has changed is determined. 位置に変更がなければ、手順は操作2004に戻る。 If there is no change in position, the procedure returns to operation 2004. 一実施形態では、操作2004は、画像キャプチャ装置から新たな画像データのフレームを受信するまで遅延される。 In one embodiment, operation 2004 is delayed until receiving a frame of a new image data from the image capture device. 操作2006において、位置変更があったと判断されれば、手順は操作2008に進む。 In operation 2006, if it is determined that a position change, the procedure proceeds to operation 2008.

操作2008では、移動ベクトルが計算される。 In operation 2008, a movement vector is calculated. この移動ベクトルは、いずれの次元数であってもよい。 The movement vector may be any number of dimensions. 例えば、移動が三次元空間における入力オブジェクトであれば、移動ベクトルは三次元ベクトルとしての動作を説明する。 For example, if the mobile is the input object in three-dimensional space, moving vector describing the operation of a three-dimensional vector. しかし、移動がハンドルなどの、一次元のコントロール入力であれば、移動ベクトルは、ハンドルの回転量を説明する一次元ベクトルである。 However, movement of such handle, if one-dimensional control input, the movement vector is a one-dimensional vector describing the rotation of the handle. 移動ベクトルを決定後に、手順は操作2010に進む。 After determining the movement vector, the procedure proceeds to operation 2010.

操作2010では、移動ベクトルは現在のギアリング量に掛けられ、入力ベクトルが決定される。 In operation 2010, the mobile vector is subjected to a current gearing amount, the input vector is determined. 現在のギアリング量は、スカラ量または多次元値である。 Current gearing amount is a scalar quantity or multidimensional values. ギアリング量がスカラ量であれば、移動ベクトルの全次元が同じ量だけ掛けられる。 If gearing amount is a scalar amount, the total dimension of the movement vector is multiplied by the same amount. ギアリング量が多次元値であれば、移動ベクトルの各次元は、対応する、ギアリング量の次元に掛けられる。 If gearing amount multidimensional values, each dimension of the movement vector corresponding, subjected to dimensional gearing amount. ギアリング量はユーザ入力に応じて変化し、さらに、ギアリング量はソフトウェアの制御下にある。 Gearing amount will vary depending on the user input, further gearing amount is under the control of software. 従って、現在のギアリング量はその都度変化する。 Therefore, the current gearing amount varies each time. 移動ベクトルに現在のギアリング量を掛け合わせた後に、手順は操作2012に進む。 The movement vector after multiplying the current gearing amount, the procedure proceeds to operation 2012.

操作2012では、操作2010で求めた入力ベクトルを使って、仮想オブジェクトの新たな位置が計算される。 In operation 2012, by using the input vector obtained in operation 2010, a new position of the virtual object is calculated. この新たな位置は、カメラ位置や、仮想ハンドルなどのオブジェクトの位置であってもよい。 This new position is a camera position or may be a position of an object such as a virtual handle. 仮想オブジェクトはディスプレイ画面には表示されない。 The virtual object is not displayed on the display screen. 仮想オブジェクトの新たな位置が計算されると、手順は操作2014に進み、新たな位置を表すデータがアプリケーションプログラムに送られる。 When a new position of the virtual object is calculated, the procedure proceeds to operation 2014, the data representing the new position is sent to the application program. 手順は、終了ブロック2016に示すように終了する。 Procedure ends as indicated by ending block 2016. しかし、このフローは事実上は例示的なものに過ぎず、他の形態が可能であることに留意されたい。 However, this flow is merely nature is exemplary, it should be noted that it is capable of other embodiments.

一実施形態では、操作において、入力デバイスならびに入力デバイスの移動が検出される。 In one embodiment, in operation, the movement of the input device and the input device is detected. 入力デバイスの移動は、入力デバイスをとらえているカメラによって決定される。 Movement of the input device is determined by the camera that captures an input device. ユーザによる制御や事前の設定あるいは事前にプログラムされた設定により、ギアリング値がかけられる。 The control by the user or pre-set or pre-programmed set, gearing value is applied. ギアリング値がユーザにより設定されたものであれば、ギアリング値は、例えば、ユーザに入力デバイス(例えば、コントローラ)のボタンを押させるようにすることで選択される。 As long as the gearing value is set by the user, gearing value is, for example, user input devices (e.g., controllers) is selected by so as to press the button. ギアリング量に応じて、移動制御がコンピュータゲームのオブジェクトに対応づけられる。 Depending on the gearing amount, movement control is associated with the object in a computer game. ユーザがゲームのアクションフィギュアを制御するように入力デバイスを使用している場合、設定されたギアリングもしくは設定されるように制御されたギアリングは、入力デバイスの移動がコンピュータゲームのアクションフィギュアの移動にどのように対応づけられるかに対して影響を及ぼす。 If the user is using the input device to control the game action figures, controlled gearing as gearing or set is set, the moving movement of the input device action figures computer game effect on how is associated to. したがって、ギアリングとギアリングの変更により、コンピュータゲームの一部であり得るオブジェクトによって対応づけられた反応を動的に適用することが可能になる。 Therefore, by changing the gearing and the gear ring, it is possible to dynamically apply the reactions associated with possible objects on some computer games.

各種の実施形態では、強度値、コントローラのプレーヤー番号、コントローラを含む1つ以上の入力オブジェクトの姿勢および/または位置を決定するための上記の画像処理機能は、コンピュータシステムで実行中のプロセスで実行されてもよい。 In various embodiments, the intensity value, the player number of the controller, the image processing function for determining the orientation and / or position of one or more input objects including controllers, perform a process running on a computer system it may be. コンピューティングシステムは、本明細書では、アプリケーションプログラムと呼ばれ、ゲームアプリケーションであり得るメインプロセスを実行していてもよく、画像または音声処理から得られるデータを要求するか、このデータを受け取る。 Computing system is herein called the application program may be running the main process, which may be a game application or requests the data obtained from the image or audio processing, and receives the data. このようなデータには、コントローラのプレーヤ番号、コントローラを含む1つ以上の入力オブジェクトの姿勢および/または位置、コントローラの操作などが含まれる。 Such data, the controller of the player numbers, the attitude and / or position of one or more input objects including a controller, etc. The controller operations.

各種実施形態では、画像および/または音声処理機能を実行しているプロセスは、ビデオカメラまたはビデオ/音声監視装置のドライバであってもよく、このドライバは、一般に知られているように実装に特有であり、当業界で知られ、理解されているように、任意のタイプのプロセス間通信を介して、メインプロセスにデータを提供する。 In various embodiments, the process executing the image and / or audio processing functions may be a driver of a video camera or a video / audio surveillance device, specific to this driver, mounted as is generally known , and the known in the art, as is understood, through the communication between any type of process, to provide data to the main process. 画像または音声処理を実行するプロセスは、ゲームソフトウェアや他のアプリケーションプログラムを実行しているものと同じプロセッサで実行されても、別のプロセッサで実行されてもよい。 The process of executing the image or audio processing, performed in the same processor as running game software and other application programs may be executed by another processor. さらに、画像または音声処理とゲーム機能に対して、例えば、プロシージャコールを使用して、同じプロセス内で共通のプロセスとしてもよい。 Further, the image or audio processing and game function, for example, using a procedure call, may be common process in the same process. このため、本明細書において、入力ベクトルやほかの情報が「『プログラムに』提供される」と言及することがあるが、本発明には、1つのプロセスが、画像処理機能とゲーム機能の両方を実行することができるように、プロシージャコールやその他のソフトウェア機能を使用して、このようなデータをプロセスのルーチンに提供することも含まれていることを理解すべきである。 Both Therefore, in the present specification, the input vector and other information may be referred to as "" program "is provided" in the present invention, one process, the image processing function and a game function to be able to run, using a procedure call or other software functions, it should be understood that also includes providing such data to the process routine.

また、これら機能を異なるプロセスに分割して、共通のプロセッサコアまたは複数のプロセッサコアで実行される1つ以上のプロセスが、本明細書に記載したような画像および/または音声処理を実行して、別のプロセスがゲーム機能を実行してもよい。 Further, by dividing these functions to different processes, one or more processes running on a common processor core or multiple processor cores, and perform image and / or audio processing as described herein , another process may perform the game functions. 本発明は、ここに記載したように使用されても、ほかのユーザ入力機構、音の角度方向をトラッキングする他の機構、および/またはオブジェクトの位置を能動的または受動的にトラッキングする機構、機械的視野を使用する機構、これらの組み合わせと共に使用されてもよい。 The present invention may be used as described herein, other user input mechanism, other mechanisms to track the angular orientation of the sound, and / or active position of the object or passively tracked mechanism, mechanical mechanism using the perspective, may be used with these combinations. トラッキングされるオブジェクトは、システムへのフィードバックを操作する補助的制御部またはボタンを備えていてもよい。 Object to be tracked may include a supplementary control unit or buttons for operating the feedback to the system. このようなフィードバックには、光源からの発光、音歪み手段または他の適切な送信器および変調器のほかに、ボタン、圧力パッドなどがあるが、これらに限定されない。 Such feedback, light emission from the light source, in addition to the sound distortion means or other suitable transmitters and modulators, buttons, and the like pressure pads, and the like. これらは、その伝達または変調、符号化状態および/またはトラッキング対象の装置との間でやり取りされるコマンドに影響しうる。 These can affect the command exchanged between the transmission or modulation, coding state and / or tracking target device. 本発明は、ゲームコンソール、ゲームコンピュータまたはコンピューティング装置、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステムの構成によって実施されてもよい。 The present invention is a game console, a game computer or computing device, exemplary portable devices, microprocessor systems, microprocessor-based programmable consumer electrical products, minicomputers, mainframe computers and the like, depending on the configuration of the other computer system it may be.

また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。 Further, the present invention may be practiced in distributed computing environments, in such an environment, a task by remote processing devices that are linked through a network is executed. 例えば、オンラインのゲームシステムおよびソフトウェアが使用されてもよい。 For example, online gaming systems and software may be used. 上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。 In consideration of the above-described embodiments, the present invention is, using the data stored in the computer system, it should be understood that the invention may use a variety of computer-implemented operations. これらの操作は、物理量の物理的操作を必要とする。 These operations are those requiring physical manipulations of physical quantities. この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。 The physical quantity is normally stored, transferred, combined, take the form of electrical or magnetic signals operation capable of such comparison, but are not necessarily limited to. 更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。 Further, the manipulations performed are generated, specific, often referred to as determining, or comparing. 本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械的操作である。 Forms part of the present invention, any of the operations described herein are useful machine operations. 本発明は、これらの操作を実行するデバイスまたは装置にも関する。 The present invention also relates to a device or an apparatus for performing these operations. この装置は、上記に記載したキャリアネットワークなどの所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。 This device, even those made specially for the desired purposes, such as the carrier network as described above, or a general-purpose computer, or selectively activated by a computer program stored in the computer configuration may be. 特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。 In particular, there is a variety of general purpose machines may be used with computer programs written in accordance with the teachings herein, or also it is highly convenient prefer to construct a more specialized apparatus to perform the desired operation .

本発明は、また、コンピュータ可読媒体上のコンピュータ可読コードとして実施されてもよい。 The present invention may also be embodied as computer readable code on a computer readable medium. コンピュータ可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。 The computer readable medium is any data storage device that can store data which can be thereafter read by a computer system, may be of any type. コンピュータ可読媒体の例には、ハードディスク、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、FLASHベースメモリ、CD−ROM、CD−R、CD−RW、DVD、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。 Examples of the computer readable medium include hard drives, network attached storage (NAS), read-only memory, random access memory, FLASH based memory, CD-ROM, CD-R, CD-RW, DVD, magnetic tape and other optical and the like wherein the data storage device and a non-optical data storage devices. また、コンピュータ可読媒体は、コンピュータ可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。 The computer-readable medium, the computer readable code is stored in a distributed fashion, to run, or may be distributed via a computer system coupled to the network.

さらに、ビデオゲームに関連してギアリングについて述べてきたが、コンピュータによって制御された環境であればどのような環境にもギアリングをかけることができることを理解すべきである。 Furthermore, have been described gearing in connection with a video game, it should be understood that applying a gearing to any environment In an environment that is controlled by a computer. 一例では、ギアリングは、情報のインタラクション、選択あるいは入力を可能にするコンピュータの入力デバイスに関連づけられる。 In one example, gearing, information interaction is associated with the input device of the computer that allows for selection or input. 様々な入力操作やインタラクティブ操作において、様々に異なるギアリングをかけることで、設定済みの制御設定を有する環境では通常みられない操作のさらなる程度が可能となる。 In various input operations and interactivity, by applying a variety of different gearing, usually it is possible to further the degree of operation not found in the environment having a configured control settings. したがって、本明細書に定義しているように、ギアリングの実施形態には広範囲にわたっての用途が与えられるべきである。 Thus, as defined herein, in the embodiments of the gearing it should be given applications over a wide range.

ギアリングが決定されると、このギアリングをジェスチャにかけることができ、これがコンピュータプログラムに伝達される。 When gearing is determined, it is possible to apply the gearing to the gesture, which is transmitted to the computer program. 上述のように、ジェスチャや入力デバイスのトラッキングは、画像分析、慣性分析あるいは可聴音分析によって実現することができる。 As mentioned above, gesture or input device tracking can be achieved by image analysis, inertial analyzer or audible sound analysis. ジェスチャの例としては、ボールなどのオブジェクトを投げる、バットやゴルフクラブなどを振る、手押しポンプを押す、ドアまたは窓を開閉する、ハンドルまたは他の車両コントロールを回す、格闘家がパンチなどを出す、研磨動作、ワックス掛けとワックスふき取り、家のペンキ塗り、振動、おしゃべり、ロール、フットボール投げ、野球の投球、ノブを回す動き、3D/2Dマウスの動き、スクロール、周知のプロファイルを持った動き、記録可能なあらゆる動き、あらゆるベクトルに沿った前後の動き、すなわち、空間内の任意の方向に沿ったタイヤの空気入れ、経路に沿った移動、正確な停止時間と開始時間を持った動き、ノイズフロア内やスプライン内などで記録、追跡および繰返し可能なユーザ操作に基づく任意の時刻、など As an example of gesture, throwing an object such as a ball, shake, such as bat and golf club, press the hand pump, opening and closing the door or window, turn the steering wheel or other vehicle control, martial arts moves such as punches, polishing operation, wiping waxing and wax, paint the house, shakes, rattles, rolls, football toss, baseball pitching, movement to turn the knob, 3D / 2D mouse movements, scrolling, movement with a well-known profile, record possible any movement, before and after the movement along any vector, i.e., the tire along any direction in space air placed, moving along the path, the motion having precise stop and start times, the noise floor recording, etc. within or in splines, any time based on the tracking and repeatable user operations, etc. あるがこれらに限定されない。 There, but are not limited to these.

これらのジェスチャはそれぞれ、経路データから事前に記録し、時間基準のモデルとして記憶できる。 Each of these gestures may be pre-recorded from path data and stored as a time-based model. このため、ギアリングは、ユーザまたはプログラムにより設定されたギアリングの程度に応じて、これらのジェスチャのうちのいずれか1つにかけることができる。 Thus, gearing, depending on the degree of gearing set by the user or the program can be subjected to any one of these gestures. 上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。 Above, has been described in some detail for purposes of clarity of understanding of the present invention, it will be obvious that the same may be carried out modifications or variations within the scope of the appended claims. したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。 Accordingly, the present embodiments are illustrative, and not limiting, the present invention is not limited to the details given as described herein, the scope of the appended claims and the range of their equivalents it may be changed by the inner.

画像キャプチャ装置を有するインタラクティブゲーム構成の説明図。 Illustration of interactive games configuration having an image capture device. 画像処理システムを用いた例示的コンピュータインタラクションの説明図。 Illustration of an example computer interaction with the image processing system. グラフディスプレイ上のオブジェクトとインタラクトする例示的ユーザ入力システムのブロック図。 Block diagram of an exemplary user input system for objects and interact on the graph display. 本文に記載された発明の実施形態を実装するように構成されたコンピュータプロセスシステムの簡略ブロック図。 Simplified block diagram of a computer processing system to implement embodiments of the invention described herein. 代替入力デバイスとして機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図。 Block diagram showing the configuration of the various components of the adapted video game consoles for use with a manipulation object to serve as an alternative input device. ユーザによる操作中に、ユーザ入力デバイスに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図。 During operation by the user, block diagram showing a functional block for determining and tracking the pixel group corresponding to the user input device. 例示的画像処理システムの概略ブロック図。 Schematic block diagram of an exemplary image processing system. 図7の画像処理システムの例示的アプリケーションの説明図。 Illustration of an exemplary application of the image processing system of FIG. 画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの平面図ならびに上面図。 Exemplary plan view and a top view of a controller for performing the interaction with the image capture device. 画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの平面図ならびに上面図。 Exemplary plan view and a top view of a controller for performing the interaction with the image capture device. 図9および図10のコントローラに対する例示的アプリケーションの説明図。 Illustration of an exemplary application for the controller of FIG. 9 and FIG. 10. 図11に示したアプリケーションの例示的なソフトウェアの制御されたギアリング量を示した説明図。 Exemplary illustration showing a controlled gearing amount of software application shown in FIG. 11. ハンドルを有する例示的コントローラの説明図。 Illustration of an example controller having a handle. 図13のコントローラの例示的アプリケーションの説明図。 Illustration of an exemplary application of the controller of FIG. 所定の期間のギアリング量の例示的な変化を示した例示的グラフの説明図。 Illustration of an example graph illustrating an exemplary variation of the gearing of a predetermined time period. ユーザインタラクションに反応する画像処理システムの別の例示的アプリケーションの説明図。 Illustration of another exemplary application of the image processing system that responds to user interaction. 図16に示したアプリケーションの野球バットのスイングの長さに沿った、異なる時間における例示的なギアリング量を示したグラフの説明図。 Along the length of the bat swing of the application shown in Figure 16, illustration of a graph showing an exemplary gearing amount at different times. ユーザインタラクションに反応する画像処理システムの別の例示的アプリケーションの説明図。 Illustration of another exemplary application of the image processing system that responds to user interaction. 図18に示したアプリケーションのフットボールを”放した”後のギアリング量の例示的変化を示したグラフの説明図。 Illustration of a graph showing an exemplary variation football the "release was" gearing amount after the application shown in Figure 18. ユーザ入力をコンピュータプログラムに受信する例示的手順を示したフローチャート。 Flow chart illustrating an exemplary procedure for receiving user input to a computer program.

符号の説明 DESCRIPTION OF SYMBOLS

100 ゲーム構成102 コンピュータシステム105 画像キャプチャ装置108 コントローラ110 ディスプレイ174 画像メモリ215 オブジェクト300 カメラ302 入力画像プロセッサ304 出力画像プロセッサ306 ビデオ表示装置420 メインメモリ430 入出力プロセッサメモリ432 コントローラ434 メモリカード436 ポート438 ポート442 フラッシュメモリ450 バス510 コンソール514 メインメモリ516 ベクトル演算ユニット520 画像プロセッサ524 入出力ポート524 入出力ポート530 データバス532 入力デバイス536 光ディスク装置538 画像処理ユニット540 通信インタフェース1200 グラフ1300 コントローラ1302 インターフェース1305 ハンドル 100 Game Configuration 102 computer system 105 the image capture apparatus 108 the controller 110 displays 174 the image memory 215 object 300 camera 302 input image processor 304 outputs the image processor 306 video display device 420 main memory 430 output processor memory 432 controller 434 memory card 436 port 438 port 442 flash memory 450 bus 510 console 514 main memory 516 vector unit 520 image processor 524 output port 524 O port 530 data bus 532 input device 536 an optical disk apparatus 538 image processing unit 540 communication interface 1200 graph 1300 controller 1302 interfaces 1305 handle 1605 野球バット 1605 baseball bat

Claims (20)

  1. コンピュータゲームシステムとインタラクティブにインターフェースする方法であって、 A method for interactive interfacing with a computer gaming system,
    前記コンピュータゲームシステムにより解釈される音響データを伝達する入力デバイスを提供するステップと、 Comprising: providing an input device for transmitting sound data to be interpreted by the computer gaming system,
    前記コンピュータゲームシステムによって実行される、前記入力デバイスによって提供された前記音響データに対応づけられているアクションを識別するステップと、 The executed by a computer game system, identifying the actions associated with the sound data provided by the input device,
    前記コンピュータゲームシステムによって実行される前記アクションと、前記入力デバイスから受信した前記音響データ間にギアリングをかけるステップと、を含み、 Wherein said action to be performed by the computer gaming system, the steps of: applying a gearing between the acoustic data received from the input device,
    前記ギアリングは、前記コンピュータゲームシステムによって実行される前記アクションに影響を与えるように調節をスケーリングし、さらに、前記ギアリングはユーザ設定に基づいて動的に調整可能なものであるか、または、前記コンピュータゲームシステムによって実行されるプログラムにより、その実行中にわたって動的な調整を行うために定義され The gearing scales the adjusted to influence the actions performed by the computer gaming system, further, the gear or ring is dynamic adjustable based on user settings, or, the program executed by the computer gaming system, are defined in order to perform a dynamic adjustment throughout its running,
    前記ギアリングの対象となるアクションの間に、前記ギアリングによるスケーリングが行われる、方法。 During the action to be of the gearing, scaling by the gearing takes place, method.
  2. 前記アクションは、(a)前記コンピュータゲームシステムにより実行されたコンピュータゲームのオブジェクトにより、移動量を設定する(b)処理を実行する変数を設定する(c)音声または振動に影響を及ぼす処理に対して変化率を設定する、または(d)グラフィカルオブジェクトの移動の変化率を設定する、のうちの1つを含む、請求項1記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 The action is the object of a computer game that is executed by (a) the computer game system, to set the amount of movement (b) processing for setting a variable to the execution (c) affects the processing to the sound or vibration to setting the rate of change Te, or (d) setting a rate of change of the graphical object comprises one of a method for interactive interfacing with a computer gaming system of claim 1, wherein.
  3. 少なくとも周期的に前記音響データを分析するステップと、前記ギアリングによりアップデートされた変更を用いて、少なくとも周期的に前記アクションを再度適用するステップと、をさらに含む、請求項1記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 And analyzing at least periodically the acoustic data, with the changes that have been updated by the gearing, further comprising the steps of applying at least periodically the action again, the, according to claim 1, wherein the computer game system how to interface interactively with.
  4. 前記ギアリングがアップデート済みであると判断された場合に、前記アップデートされたギアリングを、次のアクションの前に、または所定の期間において段階的に、前記アクションの処理を続行しながら適用する、請求項3記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 When the gearing is determined to be already updated, the updated gearing, before the next action, or stepwise in a predetermined period, applying while continuing the processing of the action, how interactive interfacing with a computer gaming system of claim 3, wherein.
  5. 前記ギアリングが調整済みの場合、前記調整済みのギアリングは(a)段階的に、(b)漸進的に、または(c)スムーズにかけられ、前記アクションに影響を与えるようにする、請求項3記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 If the gearing is adjusted, the adjusted gearing is (a) stepwise, (b) progressively, or (c) subjected to smoothly and to affect the action claim 3 method for interactive interfacing with a computer gaming system according.
  6. 前記音響データは、前記入力デバイスの座標情報を識別するために分析され、前記座標情報は、前記対応付けによってベクトルデータに変換されて前記アクションに適用される、請求項1記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 The acoustic data is analyzed to identify the coordinate information of the input device, the coordinate information, the correspondence is converted into vector data by being applied to the actions, and computer game system of claim 1, wherein how to interface to interactive.
  7. 前記ベクトルデータは、前記ギアリングの調整に応じてスケーリングされる、請求項6記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 The vector data, the scaled according to the adjustment of the gearing, a method for interactive interfacing with a computer gaming system of claim 6 wherein.
  8. 前記ベクトルデータは、前記ベクトルデータを前記ギアリングにより定義されるギアリング量で掛けることによりスケーリングされる、請求項6記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 The vector data, the vector data is scaled by multiplying by gearing amount defined by the gearing and method for interactive interfacing with a computer gaming system of claim 6 wherein.
  9. 前記入力デバイスは、前記入力デバイスの位置と通信データとを検出するように使用される複数の光源を含む、請求項6記載のコンピュータゲームシステムとインタラクティブにインターフェースする方法。 The input device is, how to interface comprising a plurality of light sources, the computer gaming system and interactive according to claim 6 which is used to detect the communication data with the position of the input device.
  10. ユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステムであって、 A system for enabling dynamic user interactivity between actions performed by the user's action and a computer program,
    コンピューティングシステムと、 前記コンピューティングシステムに結合されているか、または前記コンピューティングシステムにより実行される音響アナライザと、 A computing system, an acoustic analyzer to be executed by the computing system or are linked or the computing system,
    前記コンピューティングシステムにより実行される前記コンピュータプログラムとインターフェースする入力デバイスを含み、前記入力デバイスは、前記入力デバイスで生成された音響データと、前記音響アナライザにより分析された前記コンピュータプログラムに適用されるアクションとの間にスケーリングを定めるギアリングコントロールを有するものであって、 The includes an input device for the computer program and the interface to be executed by a computing system, wherein the input device, an action to be applied and the sound data generated by the input device, the computer program analyzed by said acoustic analyzer be one having a gearing control for establishing a scaling between,
    前記ギアリングコントロールの変更は、前記コンピュータプログラムのオブジェクトとのインタラクティビティの前、インタラクティビティの間、またはインタラクティビティの後に設定可能なものであって、前記変更は、前記コンピュータプログラムに適用される前記アクションを実行する間に、その都度、前記オブジェクトによる異なる反応を伝える役割を果たし、 The changing of the gearing control, prior to interactivity with objects of said computer program, there is settable between interactivity or after interactivity, the said change is applied to the computer program while executing the action, each time, the role of transmitting the different reaction by the object to had fruit,
    前記ギアリングコントロールの対象となるアクションの間に、前記ギアリングコントロールが動的に変更される、システム。 During the action to be of the gearing control, the gearing control is dynamically changed, the system.
  11. 前記コンピュータプログラムは、インタラクティブアプリケーションである、請求項10記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 The computer program system that allows an interactive application is, claim 10 dynamic user interactivity between actions performed by the user's actions and the computer program according.
  12. 前記インタラクティブアプリケーションは、ビデオゲームである、請求項11記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 The interactive application, a video game is a system for enabling dynamic user interactivity between actions to be performed by the claims 11 user actions and computer program according.
  13. 前記入力デバイスは、コントローラまたは手持ち式のオブジェクトである、請求項11記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 Wherein the input device, the controller or an object hand-held system for enabling dynamic user interactivity between actions to be performed by the claims 11 user actions and computer program according.
  14. 前記コントローラまたは手持ち式のオブジェクトは、位置検出のための発光ダイオードを含む、請求項13記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 The controller or handheld object system for enabling dynamic user interactivity between actions to be performed by the position comprises a light emitting diode for detection, according to claim 13 user actions and computer program according.
  15. 前記コントローラまたは手持ち式のオブジェクトは、前記コンピューティングシステムに前記アクションを行わせるようにする音声または超音波信号を伝達するためのスピーカを含む、請求項13記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 Objects of the controller or handheld, the to cause the computing system to perform the action includes a speaker for transmitting sound or ultrasonic signals is performed by claim 13 user actions and computer program according system for enabling dynamic user interactivity between that action.
  16. 前記コントローラまたは手持ち式のオブジェクトは、前記コンピュータプログラムによるアクションを引き起こすように、前記コンピューティングシステムと通信するためのユーザからの入力を受信するマイクロフォンを含む、請求項13記載のユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にするシステム。 Objects of the controller or handheld is to cause an action by the computer program, the receiving input from a user to communicate with the computing system including a microphone, it claims 13 user actions and computer program according system for enabling dynamic user interactivity between actions to be performed by.
  17. ユーザのアクションとコンピュータプログラムにより実行されるアクション間に動的なユーザインタラクティビティを可能にする装置であって、 An apparatus for enabling dynamic user interactivity between actions performed by the user's action and a computer program,
    コンピューティングシステムにより実行される前記コンピュータプログラムとインターフェースする入力デバイスを含み、前記入力デバイスは前記コンピューティングシステムにより適用されるアクションに対応づけられた前記入力デバイスの音響データ間にスケーリング値を定めるギアリングコントロールを有するものであり、前記ギアリングコントロールは、ボタンから引き起こされる変更に応じて、あるいは、前記コンピュータプログラムとのインタラクティビティの前、インタラクティビティの間、またはインタラクティビティの後に前記コンピュータプログラムにより引き起こされる変更に応じて、その都度、動的に変更することができ It includes an input device for the computer program and the interface to be executed by a computing system, wherein the input device is gearing defining a scaling value between the acoustic data of the input device associated with the action applied by the computing system are those having a control, the gearing control in response to changes caused from the button, or before the interactivity with the computer program, caused by the computer program between interactivity or after interactivity, depending on the change, each time, can be changed dynamically,
    前記ギアリングコントロールの対象となるアクションの間に、前記ギアリングコントロールが動的に変更される、装置。 During the action to be of the gearing control, the gearing control is dynamically changed, device.
  18. 前記入力デバイスは、位置検出のための発光ダイオードを含むコントローラまたは手持ち式のオブジェクトである、請求項17記載のユーザのアクションとコンピュータプログラムのオブジェクトにより実行されるアクション間に動的なユーザインタラクティビティを可能にする装置。 Wherein the input device is an object of the controller or handheld including a light emitting diode for detecting a position, a dynamic user interactivity between actions to be performed by the object for the user actions and the computer program of claim 17 device that enables.
  19. 前記コントローラまたは手持ち式のオブジェクトは、前記コンピューティングシステムに前記アクションを行わせるようにする音声または超音波信号を伝達するためのスピーカを含む、請求項18記載のユーザのアクションとコンピュータプログラムのオブジェクトにより実行されるアクション間に動的なユーザインタラクティビティを可能にする装置。 Objects of the controller or handheld includes a speaker for transmitting sound or ultrasound signals so as to perform the action on the computing system, the object of the user's actions and the computer program of claim 18, wherein apparatus for enabling dynamic user interactivity between actions to be performed.
  20. 前記コントローラまたは手持ち式のオブジェクトは、前記コンピュータプログラムによるアクションを引き起こすように、前記コンピューティングシステムと通信するためのユーザからの入力を受信するマイクロフォンを含む、請求項19記載のユーザのアクションとコンピュータプログラムのオブジェクトにより実行されるアクション間に動的なユーザインタラクティビティを可能にする装置。 Objects of the controller or handheld is to cause an action by the computer program, wherein a microphone for receiving an input from a user to communicate with the computing system, a user of claim 19, wherein the action and computer program apparatus for enabling dynamic user interactivity between actions to be performed by the object.
JP2008333907A 2002-07-27 2008-12-26 One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data Active JP4598117B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/382,038 US7352358B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to acoustical tracking
US11/382,036 US9474968B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to visual tracking
US11/382,041 US7352359B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to inertial tracking
US11/382,040 US7391409B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to multi-channel mixed input

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009509745 Division 2007-05-04

Publications (2)

Publication Number Publication Date
JP2009112829A JP2009112829A (en) 2009-05-28
JP4598117B2 true JP4598117B2 (en) 2010-12-15

Family

ID=38668336

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009509745A Active JP4567805B2 (en) 2002-07-27 2007-05-04 One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data
JP2008333907A Active JP4598117B2 (en) 2002-07-27 2008-12-26 One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data
JP2009141043A Active JP5277081B2 (en) 2002-07-27 2009-06-12 Method and apparatus for providing a gearing effect to an input based on one or more visual, acoustic, inertial and mixed data

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009509745A Active JP4567805B2 (en) 2002-07-27 2007-05-04 One or more visual, acoustic, method and apparatus for providing gearing effect to the input based on the inertia and mix data

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009141043A Active JP5277081B2 (en) 2002-07-27 2009-06-12 Method and apparatus for providing a gearing effect to an input based on one or more visual, acoustic, inertial and mixed data

Country Status (4)

Country Link
EP (1) EP2013865A4 (en)
JP (3) JP4567805B2 (en)
KR (1) KR101060779B1 (en)
WO (1) WO2007130582A2 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8888593B2 (en) * 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
JP5665752B2 (en) * 2008-10-27 2015-02-04 株式会社ソニー・コンピュータエンタテインメント Controller with spherical end with configurable mode
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US20090075711A1 (en) 2007-06-14 2009-03-19 Eric Brosius Systems and methods for providing a vocal experience for a player of a rhythm action game
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
KR20100138725A (en) 2009-06-25 2010-12-31 삼성전자주식회사 Method and apparatus for processing virtual world
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
WO2011070596A1 (en) * 2009-12-09 2011-06-16 Danilo Pasquariello Control device for console-based videogames
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
KR101441289B1 (en) * 2010-08-27 2014-09-29 에스케이플래닛 주식회사 Method and apparatus for creating digital contents considering input sensitivity of mobile device
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US20120218395A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
JP6041466B2 (en) * 2011-06-01 2016-12-07 任天堂株式会社 Information processing program, information processing apparatus, information processing system, and information processing method
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
US20130080976A1 (en) * 2011-09-28 2013-03-28 Microsoft Corporation Motion controlled list scrolling
JP6027554B2 (en) 2014-01-21 2016-11-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus, information processing system, block system, and information processing method
JP6177147B2 (en) * 2014-01-21 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and information processing method
JP6177145B2 (en) * 2014-01-21 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and information processing method
JP6177146B2 (en) * 2014-01-21 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and information processing method
CN105917385A (en) * 2014-01-21 2016-08-31 索尼互动娱乐股份有限公司 Information processing device and information processing method
TW201839558A (en) * 2017-04-21 2018-11-01 宏達國際電子股份有限公司 Operating method of tracking system, controller, tracking system, and non-transitory computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126548A (en) * 2001-10-19 2003-05-07 Konami Co Ltd Game device and game system
JP2004085524A (en) * 2002-06-27 2004-03-18 Shinsedai Kk Information processor equipped with input system using stroboscope
JP2005046422A (en) * 2003-07-30 2005-02-24 Samii Kk Game machine controller
WO2005107911A1 (en) * 2004-05-11 2005-11-17 Ssd Company Limited Entertainment apparatus and operating method thereof

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284166A (en) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp Remote controller
SE504846C2 (en) * 1994-09-28 1997-05-12 Jan G Faeger Control equipment with a movable control means
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JPH10177451A (en) * 1996-12-16 1998-06-30 Fujitsu Ltd Device for inputting instruction
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3847058B2 (en) * 1999-10-04 2006-11-15 任天堂株式会社 Game system and game information storage medium used therefor
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP3611807B2 (en) * 2001-07-19 2005-01-19 コナミ株式会社 Video game device, simulated camera viewpoint movement control method and a program in a video game
JP4123878B2 (en) * 2001-09-17 2008-07-23 富士ゼロックス株式会社 Photoelectric conversion unit, a position direction measuring apparatus and the position direction measuring method
US20040212589A1 (en) * 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
CN1816792A (en) * 2003-07-02 2006-08-09 新世代株式会社 Information processing device, information processing system, operating article, information processing method, information processing program, and game system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126548A (en) * 2001-10-19 2003-05-07 Konami Co Ltd Game device and game system
JP2004085524A (en) * 2002-06-27 2004-03-18 Shinsedai Kk Information processor equipped with input system using stroboscope
JP2005046422A (en) * 2003-07-30 2005-02-24 Samii Kk Game machine controller
WO2005107911A1 (en) * 2004-05-11 2005-11-17 Ssd Company Limited Entertainment apparatus and operating method thereof

Also Published As

Publication number Publication date
WO2007130582A3 (en) 2008-12-04
EP2013865A2 (en) 2009-01-14
JP2009112829A (en) 2009-05-28
JP4567805B2 (en) 2010-10-20
JP2009535167A (en) 2009-10-01
JP2009266241A (en) 2009-11-12
EP2013865A4 (en) 2010-11-03
KR20090025228A (en) 2009-03-10
JP5277081B2 (en) 2013-08-28
KR101060779B1 (en) 2011-08-30
WO2007130582A2 (en) 2007-11-15

Similar Documents

Publication Publication Date Title
US7209117B2 (en) Method and apparatus for streaming force values to a force feedback device
US10129526B2 (en) Methods for interfacing with an interactive application using a controller with an integrated camera
US8602894B2 (en) Illuminating controller for interfacing with a gaming system
US7236157B2 (en) Method for providing high bandwidth force feedback with improved actuator feel
JP6484340B2 (en) Method and system for user interaction in a virtual or augmented reality scene using a head mounted display
EP2494432B1 (en) Gesture-based user interface
US10279254B2 (en) Controller having visually trackable object for interfacing with a gaming system
US8839279B2 (en) Gesture cataloging and recognition
US9339724B2 (en) Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8259109B2 (en) Method and system for vision-based interaction in a virtual environment
US10384129B2 (en) System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
KR101643020B1 (en) Chaining animations
US7782297B2 (en) Method and apparatus for use in determining an activity level of a user in relation to a system
JP5654430B2 (en) Use of a portable game device to record or change a game or application running in a home game system in real time
US8784203B2 (en) Determination of controller three-dimensional location using image analysis and ultrasonic communication
US20140313134A1 (en) Image processing apparatus and storage medium storing image processing program
CN105031919B (en) Method for augmented reality and reflect the role of maintaining cognitive observer
US20070015559A1 (en) Method and apparatus for use in determining lack of user activity in relation to a system
EP1960067B1 (en) Method for enabling depth and direction detection when interfacing with a computer program
US7646372B2 (en) Methods and systems for enabling direction detection when interfacing with a computer program
JP5416714B2 (en) Dynamic 3D object mapping for user-defined control devices
US20140362110A1 (en) Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US6366272B1 (en) Providing interactions between simulated objects using force feedback
US7850526B2 (en) System for tracking user manipulations within an environment
US8303405B2 (en) Controller for providing inputs to control execution of a program when inputs are combined

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090721

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090821

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090924

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100512

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100922

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250