JP5439367B2 - ゲームギアリングを変更するための方法 - Google Patents

ゲームギアリングを変更するための方法 Download PDF

Info

Publication number
JP5439367B2
JP5439367B2 JP2010513277A JP2010513277A JP5439367B2 JP 5439367 B2 JP5439367 B2 JP 5439367B2 JP 2010513277 A JP2010513277 A JP 2010513277A JP 2010513277 A JP2010513277 A JP 2010513277A JP 5439367 B2 JP5439367 B2 JP 5439367B2
Authority
JP
Japan
Prior art keywords
computer
gearing
user input
interactive
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010513277A
Other languages
English (en)
Other versions
JP2010531491A (ja
Inventor
エム ザレウスキー、ゲイリー
マークス、リチャード
マオ、シャドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2010531491A publication Critical patent/JP2010531491A/ja
Application granted granted Critical
Publication of JP5439367B2 publication Critical patent/JP5439367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/22Setup operations, e.g. calibration, key configuration or button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018Calibration; Key and button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきている。
このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
ゲームプラットフォームの例に、ソニープレイステーションまたはソニープレイステーション2(PS2)があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ(通常はテレビ)と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、CPU、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒にインタラクティブにプレイすることができるオンラインゲームも可能である。
ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能を実現するために革新を続けてきている。しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。
前述を鑑みて、ゲームプレイにおいてより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。
概して、本発明は、コンピューティングシステムとのダイナミックなユーザインタラクティビティを可能にする方法、システムおよび装置を提供することによって、このニーズを満たす。ある実施の形態において、コンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法を開示する。この方法は、ユーザ入力を受け取り、ユーザ入力を前記コンピュータゲームプログラムに送信するための入力デバイスを提供する。この入力デバイスは、前記コンピュータゲームプログラムのインタラクティブなコンポーネントに関連づけられた1以上のギアリングパラメータをアクティブにすることができる。別のオペレーションにおいて、この方法は、前記コンピュータゲームプログラムのインタラクティブなコンポーネントを特定する。このインタラクティブなコンポーネントは、前記インタラクティブなインタフェースを可能にするために前記送信されたユーザ入力を受信するために使われる。さらに別のオペレーションにおいて、この方法は、ユーザ入力を検出し、前記送信されたユーザ入力が指示する場合、前記インタラクティブなコンポーネントに前記ギアリングパラメータの一つを適用する。前記適用されるギアリングパラメータは、前記ユーザ入力と、前記コンピュータゲームプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義するために使われる。
別の実施の形態において、選択されたユーザ入力に応答してビデオゲームのコンポーネントによる反応の変化を指示するコンピュータ実装された方法を開示する。この方法は、入力デバイスにおいて前記ビデオゲームのインタラクティブなコンポーネントを制御する主要なユーザ入力を受け取る。この方法はまた、複数のギアリングを定義する。ギアリングは、前記主要なユーザ入力に対して前記ビデオゲームの前記インタラクティブなコンポーネントの反応をスケーリングする率を定義するために使われる。この方法は、次に、二次的なユーザ入力に応答して前記複数のギアリングの2以上の間でユーザによる制御されたインタラクティブな切り替えを可能にする。
さらに別の実施の形態において、コンピュータプログラムのインタラクティブなコンポーネントに対するギアリングパラメータのユーザによる制御された適用を可能にするコンピュータ実装された方法を開示する。この方法において、あるオペレーションは、ユーザ入力を受け取り、少なくとも部分的には前記コンピュータプログラムを実行しているコンピュータシステムにユーザ入力を送信するための入力デバイスを提供する。この入力デバイスは、前記コンピュータプログラムのインタラクティブなコンポーネントに関連づけられた1以上のギアリング比の適用を可能にするために使われる。別のオペレーションにおいて、この方法は、前記入力デバイスから、特定のタイプのユーザ入力であるギアリングトリガを受信する。さらに別のオペレーションにおいて、この方法は、前記ギアリングトリガに関連づけられたギアリングパラメータを調べる。このギアリングパラメータは、前記コンピュータシステムに関連づけられた第1メモリに格納され、ユーザ入力と、前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義する。この方法の別のオペレーションは、前記ギアリングパラメータを第1メモリから、適用されるギアリングパラメータを格納するための第2メモリへコピーすることである。さらに別のオペレーションにおいて、この方法は、前記第2メモリから取得された前記適用されるギアリングパラメータを用いて前記コンピュータプログラムを実行する。その結果、前記ユーザ入力と前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率にしたがって次のユーザ入力が反応する。
さらに別の実施の形態において、コンピュータゲームプログラムのインタラクティブなコンポーネントの反応を変えるためのコンピュータ実装された方法を開示する。この豊富は、ユーザ入力を受け取り、少なくとも部分的には前記コンピュータプログラムを実行しているコンピュータシステムにユーザ入力を送信するための入力デバイスを提供する。この入力デバイスは、3つの直交軸における並進および回転運動を検出する機能を有する。この方法はまた、ユーザ入力をマッピングして前記コンピュータゲームプログラムのインタラクティブなコンポーネントを制御するオペレーションを含む。別のオペレーションにおいて、この方法は、ユーザ入力を検出し、ギアリングパラメータを特定のインタラクティブなコンポーネントに適用する。さらに別のオペレーションにおいて、この方法は、前記ユーザ入力に関連づけられたギアリングパラメータを調べる。このギアリングパラメータは、前記コンピュータシステムに関連づけられた第1メモリに格納され、ユーザ入力と、前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義する。この方法はまた、前記ギアリングパラメータを格納メモリから、適用されるギアリングパラメータを保持するアクティブメモリへコピーするオペレーションを含む。さらに別のオペレーションにおいて、この方法は、次のユーザ入力に対して前記適用されるギアリングパラメータを用いて前記コンピュータプログラムを実行する。
本発明の利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面においては、同じ構造要素には同じ参照符号を付した。
本発明のある実施の形態に係るインタラクティブゲームの配置を説明する図である。
本発明のある実施の形態に係る画像取得および処理システムを用いた例示的コンピュータインタラクションを説明する図である。
本発明の実施の形態を実装するために使うことができるグラフィカルディスプレイ上のオブジェクトとインタラクションするための例示的なユーザ入力システムのブロック図である。
ここに説明する発明の実施の形態を実装するように構成されたコンピュータ処理システムの簡略化したブロック図である。
本発明のある実施の形態に係る、代替的な入力デバイスとして動作する操作オブジェクトとともに利用するために適したビデオゲームコンソールの構成要素の構成のブロック図である。
本発明のある実施の形態に係る、ユーザによる操作中に、ユーザ入力デバイスに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。
本発明のある実施の形態に係る、画像取得装置によって観察される空間におけるオブジェクトの動きをマッピングするための例示的な画像処理システムの概略ブロック図である。
本発明のある実施の形態に係る、図7の画像処理システムのための例示的なアプリケーションを説明する図である。
本発明のある実施の形態に係る、ギアリング比をインタラクティブに変更するために使われる例示的なコントローラを示す図である。 本発明のある実施の形態に係る、ギアリング比をインタラクティブに変更するために使われる例示的なコントローラを示す図である。
本発明のある実施の形態に係る、図9および図10のコントローラに対する例示的アプリケーションを示す図である。
図11に示したアプリケーションの例示的なソフトウェア制御されたギアリング量を示す図である。
本発明のある実施の形態に係る、専用のギアリングボタンを押すことによって選択される時間の関数としてギアリングの変化を説明する別の例示的なグラフを示す図である。
本発明のある実施の形態に係る、ユーザインタラクションに反応する画像処理システムの別の例示的アプリケーションを示す図である。
本発明のある実施の形態に係る、スイングの長さに沿った、異なる時間t1〜t5における例示的なギアリング量を表すグラフを示す図である。
本発明のある実施の形態に係る、ユーザインタラクションに反応する画像処理システムの別の例示的アプリケーションを示す図である。
本発明のある実施の形態に係る、フットボールを“放した”ときのギアリング量の例示的変化を説明するグラフを示す図である。
本発明のある実施の形態に係る、ギアリングを含むビデオゲームのオペレーションを説明する例示的フローチャートを示す図である。
本発明のある実施の形態に係る、ギアリングプロセスの起動に関わるさらなる詳細を説明する例示的フローチャートを示す図である。
本発明のある実施の形態に係る、ギアリング比の変更に関わるさらなる詳細を説明する例示的フローチャートを示す図である。
本発明のある実施の形態に係る、いろいろなユーザ入力にもとづいたギアリング比の変化を説明する図である。
本発明のある実施の形態に係る、動きを感知できるコントローラへのユーザ入力にもとづいて異なるギアリング比がキャラクタの反応に与える影響を説明する図である。
本発明のある実施の形態に係る、ギアリング設定を開始する手続きを説明するフロー図である。
本発明のある実施の形態に係る、ビデオゲームのギアリング比を設定するための手続きを説明するフローチャートである。
。以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
本明細書に記載する技術は、コンピュータプログラムとのインタラクションを行うために、アクティブにギアリング(gearing)がかけられた入力を与えるように使用することができる。ギアリングをかえることは、一般に広い意味では、大きさおよび/あるいは時間において程度を様々に異なるものとすることができる入力であるとして定義できる。ギアリングの程度がコンピューティングシステムに伝達される。ギアリングの程度がコンピューティングシステムにより実施されるプロセスにかけられる。例えるならば、プロセスは、入出力を備えた流体のバケツとイメージすることができる。この流体のバケツは、システム上で実行中のプロセスである。よって、ギアリングは、コンピューティングシステムによって実行される処理の形態を制御する。一例では、ギアリングは、バケツに入っていく流体の滴と考えられる入力量に対して、流体のバケツから出ていく速度を制御することができる。したがって、充てんならびに排水速度は動的であり、この排水速度はギアリングによる影響を受ける。よって、ゲームプログラムなどのプログラムに流れている変化値を調整するように、ギアリングを調整または時間設定することができる。さらに、ギアリングは、移動データカウンタなどのカウンタに影響を及ぼし、プロセッサによるアクション、つまりは、ゲーム素子、オブジェクト、プレーヤ、キャラクタなどが行うアクションを制御する。
この例をより具体的な計算例にしてみると、流体が出ていく速度は、コンピュータプログラムのフィーチャによって、いくらかの入力とギアリングに応じて制御がなされる速度、または制御が行われる速度である。このコンピュータプログラムのフィーチャは、オブジェクト、プロセス、変数、あるいは所定の/カスタムアルゴリズム、キャラクタ、ゲームプレーヤ、マウス(二次元もしくは三次元)などであってもよい。ギアリングによって変更され得た処理結果は、任意の数の方法でオブザーバに伝達することができる。このような方法としては、ディスプレイ画面上で視覚的に伝達する方法、音声を介して可聴的に伝達する方法、手触りによる振動音響によって伝達する方法、これらの組合せによって伝達する方法、または、単にゲームやプログラムのインタラクティブエレメントに対する処理の反応を修正することで伝達する方法が挙げられる。
入力は、(1)画像分析(2)慣性分析(3)音響分析あるいは、(1)(2)(3)のハイブリッドミックス分析を介して実行される追跡により取得することができる。画像分析ならびに適用されるギアリングに関しては様々な例が挙げられているが、追跡はビデオによる方法に限らず、様々な方法によって、具体的には、慣性分析、音響分析、これらをミックスしたものにより、および適切なアナライザによって行うことができることを理解されたい。
各種実施形態においては、ビデオカメラ(例えば、画像分析)を有するコンピュータあるいはゲームシステムは、画像データを処理し、焦点ゾーンあるいは所定の場所(ビデオカメラの前であってもよい)で行われている様々なアクションを識別する。一般的に、そのようなアクションとして、三次元空間でのオブジェクトの移動や回転、または、ボタン、ダイアル、ジョイスティックなどの様々なコントロールのアクチュエーションを挙げることができる。これらの技術に加えて、本発明の技術はさらに、本明細書ではギアリングと呼ばれるスケーリング因子を調整するさらなる機能を与え、ディスプレイ画面の1つ以上の対応するアクションやプログラムのフィーチャに対する入力に対して感度を調整するようにする。例えば、ディスプレイ画面のアクションは、ビデオゲームの焦点となり得るオブジェクトであってもよい。さらに、オブジェクトは、変数、乗数、または計算などのプログラムのフィーチャとすることもでき、音声、振動、ディスプレイ画面の画像、またはこれらとの組合せで表現され、さらに、ギアリングがかけられた出力の他の表現と組合せて表現される。
別の実施形態では、コンピュータプログラムのフィーチャにギアリングをかけることができ、入力デバイスの検出は慣性アナライザによる処理に基づくものであってもよい。慣性アナライザは、慣性アクティビティに対する入力デバイスを追跡し、その情報をプログラムに伝達する。次に、プログラムは、慣性アナライザからの出力を扱い、出力にギアリング量をかけることができるようにする。ギアリング量は、プログラムがオペレーションを計算する際の程度または比率を決定する。オペレーションは任意の数の形態をとることができ、オペレーションの一例としては、ノイズ、可変ノイズ、オブジェクトの移動、または変数の生成、視覚および/あるいは可聴結果を出力するプログラムによる計算、を挙げることができる。出力が変数であれば、この変数を使用してプロセスを完了するようにしてもよい。これにより、プロセスはギアリング量を考慮するようになる。ギアリング量は、ユーザが事前に設定しても動的に設定してもよく、または要求に応じて調整することができる。
様々なタイプの慣性センサを使用して、6つの自由度(例えば、X、YおよびZ軸方向の変換(例えば、加速度)およびX、YおよびZ軸を中心とした回転)についての情報を提供することができる。6自由度についての情報を提供する適切な慣性センサーの例としては、加速度計、1つ以上の1軸加速度計、機械的ジャイロスコープ、リングレーザジャイロスコープ、あるいはこれらの2つ以上の組合せを挙げることができる。
センサーからの信号が分析されて、発明の方法に従うビデオゲームのプレイ中に、コントローラの動きおよび/あるいは方向が決定される。そのような方法は、プロセッサ読み取り可能媒体に記憶され、デジタルプロセッサ上で実行されるプログラムコード命令を実行可能な一連のプロセッサとして実装されてもよい。例えば、ビデオゲームシステムは1つ以上のプロセッサを備えることができる。各プロセッサは、例えばビデオゲームコンソールやカスタム設計のマルチプロセッサコアに通常使用されるマイクロプロセッサのような、デジタルプロセッサ装置であってもよい。一実施形態では、プロセッサは、プロセッサ読み取り可能命令の実行を通じて、慣性アナライザを実装してもよい。命令の一部はメモリに記憶されてもよい。他の形態では、慣性アナライザは、例えば特定用途向け集積回路(ASIC)として、またはデジタルシグナルプロセッサ(DSP)としてハードウェアに実装されてもよい。そのようなアナライザハードウェアは、コントローラまたはコンソール上に設けられるか、または遠隔の場所に設けられてもよい。ハードウェアでの実装では、アナライザは、例えばプロセッサからの外部信号、または、例えばUSBケーブル、イーサネット(登録商標)により、ネットワーク、インターネット、短距離無線接続、広帯域無線、ブルートゥース、またはローカルネットワークを介して接続される他の遠隔にあるソースからの外部信号に応じて、プログラム可能であってもよい。
慣性アナライザは、慣性センサにより生成される信号を分析する命令を備えるか実装し、コントローラの位置および/または方向に関する情報を利用してもよい。慣性センサ信号が分析されて、コントローラの位置および/または方向に関する情報を決定してもよい。この位置および/あるいは方向情報は、ビデオゲームのプレイ中にシステムとともに利用されてもよい。
一実施形態では、ゲームコントローラは、慣性信号を介して位置情報および/または方向情報をプロセッサに提供できる1つ以上の慣性センサを備えてもよい。方向情報には、コントローラの傾き、ロールあるいはヨーなどの角度情報が含まれてもよい。上述のように、また、一例として、慣性センサには、任意の数の加速度計、ジャイロスコープまたは傾斜センサ、またはこれらの任意の組合せが含まれていてもよい。一実施形態では、慣性センサには、傾斜およびロール軸に対するジョイスティックコントローラの方向を検知するように構成された傾斜センサと、ヨー軸沿いの加速度を検知するように構成された第1の加速度計、およびヨー軸に対する角加速度を検知するように構成された第2の加速度計を備える。加速度計は、例えば、1つ以上のばねで取り付けられた質量と1つ以上の方向に対する質量の変位を検知するセンサとを備えるMEMS装置として実装されてもよい。質量の変位に依存するセンサからの信号は、ジョイスティックコントローラの加速度決定に用いられてもよい。そのような技術は、メモリに記憶されプロセッサによって実行されるゲームプログラムや一般のプログラムからの命令によって実現される。
一例では、慣性センサーとして適切な加速度計は、例えばばねなどでフレームに3〜4点で伸縮自在に接続された単一の質量であってもよい。ピッチ軸とロール軸は、ジョイスティックコントローラに設けられたフレームと交差する面に存在する。フレーム(およびジョイスティックコントローラ)がピッチ軸、ロール軸の回りを回転するにつれて、質量が重力の影響下で変位し、ばねがピッチ角および/あるいはロール角に依存した態様で伸縮する。質量の変位が検知され、ピッチ量および/あるいはロール量に依存した信号に変換される。ヨー軸回りの角加速度またはヨー軸沿いの線形加速度は、ばねの伸縮または質量の動きの特徴的なパターンを生成し、それらのパターンは検知されて角加速度量または線形加速度の量に応じた信号に変換される。このような加速度装置は、質量の動きおよびばねの伸縮力を追跡することによって傾斜、ヨー軸回りのロール角加速度とおよびヨー軸沿いの線形加速度を計測できる。質量の位置および/あるいはそれに働く力を追跡する方法には多くの違った方法があり、それらには、抵抗ひずみゲージ材料、光センサ、磁気センサ、ホール効果素子、圧電素子、容量センサなどが含まれる。
さらに、光源は、例えば、パルスコード、振幅変調または周波数変調フォーマットでテレメトリ信号をプロセッサに提供してもよい。そのようなテレメトリ信号は、いずれのジョイスティックボタンが押されているか、および/またはどれ位強くボタンが押されているかを表してもよい。テレメトリ信号は、例えばパルス符号化、パルス幅変調、周波数変調または光強度(振幅)変調などによって、光信号に符号化されてもよい。プロセッサは、光信号からテレメトリ信号を復号化し、復号化されたテレメトリ信号に応じてゲームコマンドを実行してもよい。テレメトリ信号は、画像キャプチャ装置で得られたジョイスティックの画像の分析から復号化されてもよい。他の形態では、装置は、光源からのテレメトリ信号受信専用の、独立した光学センサを備えることができる。
プロセッサは、画像キャプチャ装置で検出された光源からの光信号、および/あるいは、マイクロホン配列によって検出された音響信号からの音源場所と音源特性情報とともに、慣性センサからの慣性信号を用いて、コントローラおよび/あるいはそのユーザの場所および/あるいは方向に関する情報を推測してもよい。例えば、「音響レーダ」の音源場所およびその特性は、マイクロフォン配列と共に用いられて、ジョイスティックコントローラの動きが(慣性センサおよび/または光源を通じて)独立に追跡されている間、移動音源を追跡する。音響レーダでは、較正済み聴取領域が実行時間において選択され、較正済み聴取領域以外の音源から生じる音声が除去される。較正済み聴取領域は、画像キャプチャ装置の焦点または視野にある音量に対応した聴取領域を含んでいてもよい。
一実施形態では、音響アナライザによって追跡を行ってもよい。音響アナライザは入力デバイスからの音響信号を受信するように構成され、実行されるコマンドやインタラクションにかけられるギアリング量を伝達することができる。音響アナライザは、コンピュータプログラムセグメントの形態であってもよく、または、音響信号情報を処理するように設計された回路上に特別に形成されたものであってもよい。したがって、音響信号情報は、プログラムによって動的に設定されるか、要求に応じて、(コントローラ上のボタン、音声コマンドなどを選択することによって)入力デバイスを介してユーザにより設定されるギアリングデータを含むことができる。例えば、音声アナライザは、その開示内容が参照により本明細書に援用される、2006年5月4日に出願された米国特許出願"SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING"(発明者:Xiadong Mao, Richard L. Marks and Gary, M. Zalewski、代理人整理番号:SCEA04005JUMBOUS)に記載されている。
これらアナライザはマッピングチェーンを用いて構成することができる。マッピングチェーンは、アナライザやミキサに対する設定ができるように、ゲームプレイ中にゲームによって交換することができる。
一実施形態では、入力デバイスの追跡は画像アナライザによるものであってもよい。以下に説明しているように、画像アナライザは、ユーザならびに入力デバイスが位置する空間の画像をキャプチャするカメラを備え得る。この例では、画像アナライザは、処理プログラムのフィーチャにそれぞれのアクションを行わせるように、コントローラの位置を決定している。プログラムはゲームであり、フィーチャは入力デバイスによって制御されているオブジェクトであってもよい。さらに、画像アナライザは、位置データを入力ギアリング値とミックスするように構成される。ギアリング値は、ユーザにより、実行中に動的に与えられてもよく、または、実行セッションのアクティビティに応じてプログラムにより設定されてもよい。ギアリング入力は、ユーザによる入力ジェスチャやアクションに基づいて、コンピュータプログラムによる幾分かの処理に相対的インパクトを設定する。一実施形態では、ギアリングは、ユーザやユーザ入力デバイスからのコマンドやアクションをプログラムのフィーチャに変換する。プログラムのフィーチャは可視オブジェクトでなくてもよいが、音声、振動または画像の移動のいずれかのパラメータ、予測、あるいは変換を幾分か計算するように使用される変数の調整を含むことができる。したがって、ギアリングは、プログラムとプログラムのフィーチャ間に与えられるインタラクティビティを制御するための更なる意味を付加することになる。
さらに別の実施形態では、ミキサアナライザが提供される。このミキサアナライザはゲームのフィーチャにハイブリッド効果をもたらすように設計される。例えば、ミキサアナライザは、画像アナライザ、音響アナライザ、慣性アナライザなどの組合せからの入力を扱う。したがって、一実施形態では、このミキサアナライザは、いくつかのギアリング変数を受信する。次に、これらの変数は混合ならびに合成されて、プログラムのフィーチャとのハイブリッドな結果、コマンド、あるいはインタラクションをもたらす。同様に、プログラムのフィーチャは視覚オブジェクトならびに非視覚オブジェクト、オペレーションの処理に使用する変数、可聴反応に対する調節などを含むものと広く理解されるべきである。
図1は、本発明の一実施形態によるインタラクティブ(対話型)ゲーム構成100を示す。インタラクティブゲーム構成100は、コンピュータ102(本明細書では「コンソール」とも呼ぶ)を有し、これは、ディスプレイ画面110と接続されうる。ディスプレイ画面110の上には画像キャプチャ装置105が置かれ、コンピュータ102と接続されうる。コンピュータ102は、一実施形態では、ユーザが、コントローラ108によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールであってもよい。コンピュータ102は、インタラクティブなオンラインゲームをすることができるように、インターネットにも接続されうる。画像キャプチャ装置105は、ディスプレイ画面110の上に置かれて示されているが、画像キャプチャ装置105が、ディスプレイ画面110のほぼ前方にある画像をキャプチャできれば、ほかの近くの位置に置かれていてもよいことが理解されよう。これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ2003年2月21日に出願された英国特許出願公開第0304024.3号明細書(国際公開第GB2004/000693号パンフレット)および英国特許出願公開第0304022.7明細書(国際公開第GB2004/000703号パンフレット)号に記載されており、これらの各々は参照によりここに援用される。
一実施形態では、画像キャプチャ装置105は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。画像キャプチャ装置105は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ102に送信することができる。一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置105が、デジタル化のために、アナログビデオ信号をコンピュータ102に送信してもよい。いずれの場合も、画像キャプチャ装置105は、画像キャプチャ装置105の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。
図2は、画像キャプチャおよび処理システムを使用した例示的なコンピュータインタラクション処理を示している。コンピュータ102は、視野202から画像を生成する画像キャプチャ装置105から画像データを受信する。視野202には、おもちゃの飛行機のオブジェクト215を操作するユーザ210が含まれる。オブジェクト215は、画像キャプチャ装置105から視覚的に認識可能な複数のLED212を含む。LED212は、オブジェクト215の位置情報および姿勢情報を提供する。さらに、オブジェクト215は、コンピュータの入力を生成するために、ボタン、トリガ、ダイアルなどの1つ以上の操作素子を含む。さらに、音声コマンドが使用されうる。一実施形態では、オブジェクト215は、画像キャプチャ装置105を介してデータをコンピュータ102に送信するために、LED212を変調する論理を含む回路220を含む。データは、操作手段の変調に応えて生成される符号化されたコマンドを含む。オブジェクト215が画像キャプチャ装置105により、視覚的に認識可能な3次元空間で移動ならびに回転されると、画像データ中に表されるLEDの位置は、以下の図3〜6に関して説明しているように、3次元空間内の座標に変換される。この座標は、α、β、およびγ値に関する姿勢情報に加えて、x、y、およびz座標に関する位置情報を説明したものである。この座標はコンピュータのアプリケーションに送信される。このアプリケーションは、おもちゃの飛行機がディスプレイ110に、現実の、あるいは動画の飛行機215’として表示される飛行機ゲームであってもよく、飛行機215’はおもちゃの飛行機215の変調に応えて様々なスタントを行うことができる。他の形態では、ユーザ210は、おもちゃの飛行機215ではなくコントローラ108(図1に示す)を扱うこともでき、コントローラ108の移動は追跡可能であり、ディスプレイ画面でオブジェクトを移動させるようにコマンドがキャプチャされる。
一実施形態では、ユーザ210はさらに、動画の飛行機215’とのインタラクティビティの程度を変更あるいは修正するように選択することができる。インタラクティビティの程度は、ユーザ215が「ギアリング」構成要素を調整できるようにすることで変更することができる。このギアリング構成要素は、ユーザのコントローラ108(あるいは、おもちゃの飛行機215)による移動が動画の飛行機215’による移動に対応づけられる量を調整するものである。ゲームに対して動的に設定もしくは事前に設定され、あるいは、ユーザ210によるゲームのプレイ中に調整されるギアリングに応じて、動画の飛行機215’(例えば、ビデオゲームオブジェクト)に対応づけられる反応が変化し、別のレベルのユーザインタラクティビティと強化した体験とを与えることができる。ギアリングに関する詳細は、以下に図7〜20に関連して説明する。
図3は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトとのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。図3に示すように、ユーザ入力システムは、ビデオキャプチャ装置300、入力画像プロセッサ302、出力画像プロセッサ304、およびビデオ表示装置306から構成される。ビデオキャプチャ装置300は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ(ウェブカメラなど)や同様の画像キャプチャ装置などである。
ビデオキャプチャ装置300は、深度画像を提供するように構成されうる。本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは2台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
このため、カメラ300は、通常の二次元のビデオ像に加えて、3番目の次元をキャプチャおよびマップする能力を提供することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青(RGB)の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値を表すシーンのz成分もキャプチャする。通常、深度値はz軸に割り当てられるため、深度値は、「z値」と呼ばれることも多い。
オペレーションにおいては、シーンの各ピクセルについてz値がキャプチャされる。各z値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。また、最大検出範囲が、深度値が検出されなくなる境界を定義しうる。本発明の各種実施形態では、この最大範囲の面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてz値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。深度分析の詳細については、2003年5月29日出願の米国特許出願第10/448,614号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法(System and Method for Providing a Real-time three dimensional interactive environment)」を参照されたい。同文献を参照によりここに援用する。
深度カメラは、一実施形態に従って使用され得るが、三次元空間におけるオブジェクトの位置ならびに座標の場所を識別するために必要とされるものと解釈されてはならない。例えば、図2に描いたシナリオでは、オブジェクト215とカメラ105間の距離は、最左LED212と最右LED212の距離を測定することにより、推測することができる。画像キャプチャ装置105によって生成される画像において、LED212それぞれの距離が近いほど、オブジェクト215はカメラ105から離れている。したがって、一般のデジタルカメラによって生成される二次元画像から、z軸座標をかなり正確に推測することができる。
図3に戻ると、入力画像プロセッサ302は、キャプチャされた制御オブジェクトのビデオ画像(深度画像など)を信号に変換し、この信号が出力画像プロセッサに送られる。一実施形態では、入力画像プロセッサ302は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および/または移動に応じた出力信号を発生させるようにプログラムされる。出力画像プロセッサ304は、入力画像プロセッサ302から受け取った信号に応じて、ビデオ表示装置306に表示したオブジェクトの並進移動および/または回転移動を変更するようにプログラムされうる。
本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する1つ以上のプロセッサによって実装され得る。本発明の一実施形態によれば、1つのプロセッサが入力画像処理と出力画像処理の両方を実行する。しかし、図に示すように、説明を容易にするために、オペレーション処理が、入力画像プロセッサ302と出力画像プロセッサ304に分けられるものとして説明する。本発明が、特定のプロセッサの構成(複数プロセッサなど)に限定されると解釈すべきではないことを留意すべきである。図3の複数の処理ブロックは、説明の便宜上、示したに過ぎない。
図4は、ソニー(登録商標)のプレイステーション3(登録商標)娯楽装置の全体的なシステムアーキテクチャを概略的に示す図である。システムユニット400には、そのシステムユニットに接続可能な様々な周辺デバイスが提供されている。システムユニット400は、セルプロセッサ428と、ラムバス(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット426と、専用ビデオランダムアクセスメモリ(VRAM)ユニット432を備えたリアリティシンセサイザグラフィックスユニット430と、I/Oブリッジ434とを有している。システムユニット400はまた、ディスク440aを読み取るためのブルーレイ(登録商標)ディスクBD−ROM(登録商標)光ディスク読取り装置440と、取外し可能スロットインハードディスクドライブ(HDD)436とを有しており、それらにはI/Oブリッジ434を介してアクセスすることができる。オプションとして、システムユニット400はまた、コンパクトフラッシュ(登録商標)メモリカード、メモリスティック(登録商標)メモリカードなどを読み取るためのメモリカード読取装置438を有しており、同様にI/Oブリッジ434を介してアクセスすることができる。
I/Oブリッジ434はまた、6個のユニバーサルシリアルバス(USB)2.0ポート424と、ギガビットイーサネット(登録商標)ポート422と、IEEE802.11b/gワイヤレスネットワーク(Wi−Fi)ポート420と、7つのブルートゥース接続をサポートできるブルートゥース(登録商標)ワイヤレスリンクポート418とに接続されている。
動作の際に、I/Oブリッジ434はすべてのワイヤレス、USBそしてイーサネット(登録商標)のデータを扱うが、それには1つ以上のゲームコントローラ402からのデータが含まれる。例えば、ユーザがゲームをプレイしている場合、I/Oブリッジ434はブルートゥースリンクを介してゲームコントローラ402からデータを受信し、そのデータをセルプロセッサ428へと向け、セルプロセッサ428はそれに従ってゲームの現在状態を更新する。
ワイヤレスポート、USBポート、そしてイーサネット(登録商標)ポートによって、ゲームコントローラ402のほかに他の周辺デバイスが接続できるが、そのような周辺デバイスとして、リモコン404、キーボード406、マウス408、ソニープレイステーションポータブル(登録商標)娯楽装置などのポータブル娯楽装置410、アイトイ(登録商標)ビデオカメラなどのビデオカメラ412、マイクヘッドセット414などがある。ある実施の形態では、イーサネット(登録商標)ポートによってプレイステーション3(登録商標)はコンピュータネットワークに接続できるようになる。コンピュータネットワークの一部として、プレイステーション3(登録商標)は、当該プレイステーション3(登録商標)が他のプレイステーション3(登録商標)装置または互換性のあるソフトウェアを実行する他のハードウェアとインタラクションすることを可能にするソフトウェアを実行することができる。ある実施の形態では、ネットワーク化したプレイステーション3(登録商標)デバイスは、複数のプレイステーション3(登録商標)サーバおよび/またはクライアントにわたって分散されたソフトウェアをまとめて処理することができる。これは、2002年7月31日に出願された米国特許出願第10/211,075号"CONFIGURATION SWITCHING DYNAMICALLY CHANGING BETWEEN NETWORK COMMUNICATION ARCHITECTURES"(代理人整理番号SONYP055)に記載されている。
従って、そのような周辺デバイスは、原理的には、システムユニット400に無線で接続できる。例えば、ポータブル娯楽装置410はWi−Fiアドホック接続により通信することができ、マイクヘッドセット414はブルートゥースリンクによって通信することができる。
これらのインタフェースが設けられていることは、プレイステーション3(登録商標)装置が、ディジタルビデオレコーダ(DVR)、セットトップボックス、ディジタルカメラ、ポータブルメディアプレイヤー、ボイスオーバーIP電話、携帯電話、プリンタ、スキャナなどの他の周辺デバイスにも対応できる可能性があることを意味する。それに加えて、USBポート424を介してレガシーメモリカード読取装置416をシステムユニットに接続し得るので、プレイステーション(登録商標)あるいはプレイステーション2(登録商標)装置によって使用される種類のメモリカード448の読み取りが可能になる。
本実施形態では、ゲームコントローラ402は、ブルートゥースリンクによってシステムユニット400と無線通信を行なうことができる。しかし、その代わりとして、ゲームコントローラ402をUSBポートに接続してもよく、それによればゲームコントローラ402のバッテリを充電する電源を供給できる。1個以上のアナログジョイスティックや従来のコントロールボタンに加えて、ゲームコントローラは、各軸での平行移動および回転に対応する6自由度の動きを感知できる。その結果、従来のボタンあるいはジョイスティックによるコマンドに加えあるいは替えて、ゲームコントローラのユーザによるジェスチャーおよび動作をゲームに対する入力に変換することができる。オプションとして、プレイステーションポータブル装置などワイヤレスで使用可能な他の周辺デバイスをコントローラとして使用することができる。プレイステーション(登録商標)ポータブル装置の場合、付加的なゲーム情報あるいは制御情報(例えば、制御命令あるいはゲームオーバーまでリトライできる数)を装置の画面上に提供することができる。他の代替的あるいは補助的なコントロール装置を用いることもでき、例えば、ダンスマット(図示されていない)、ライトガン(図示されていない)、ステアリングホイールとペダル(図示されていない)、あるいは迅速応答クイズゲーム用の1個あるいは数個の大きなボタンなどのオーダーメイドのコントローラなどを用いることもできる。
リモコン404もブルートゥースリンクによってシステムユニット400との無線通信を行なうことができる。リモコン404は、ブルーレイディスクBD−ROM読取り装置440の操作およびディスクコンテンツの操作に適切なコントロールを有している。
ブルーレイディスクBD−ROM読取り装置440は、従来の記録済みのあるいは追記型のCDならびにいわゆるスーパーオーディオCDに加えて、プレイステーションおよびプレイステーション2装置に適合したCD−ROMの読み取りを行なうことができる。読取り装置440はまた、従来の記録済みのあるいは追記型のDVDに加えて、プレイステーション2およびプレイステーション3装置に適合したDVD−ROMの読み取りを行なうこともできる。更に、読取り装置440は、従来の記録済みのあるいは追記型のブルーレイディスクに加えて、プレイステーション3に適合したBD−ROMの読み取りを行なうことができる。
システムユニット400は、表示画面444および1以上のスピーカ446を有するモニタやテレビなどのディスプレイ/サウンド出力デバイス442にオーディオコネクタおよびビデオコネクタを介してオーディオおよびビデオを提供することができる。それらのオーディオおよびビデオは、プレイステーション3装置がリアリティシンセサイザグラフィックスユニット430によって生成あるいは復号したものである。オーディオコネクタ450は従来のアナログならびにディジタル出力を含むことができ、他方、ビデオコネクタ452はコンポーネントビデオ、S−ビデオ、複合ビデオ、1以上の高精細度マルチメディアインタフェース(HDMI)出力を様々に含むことができる。その結果、ビデオ出力は、PAL方式あるいはNTSC方式、あるいは720p、1080i、1080pでの高精細度のフォーマットとすることができる。
オーディオ処理(生成、復号など)はセルプロセッサ428によって実行される。プレイステーション3装置のオペレーティングシステムはドルビー(登録商標)5.1サラウンドサウンド、ドルビー(登録商標)シアターサラウンド(DTS)、およびブルーレイ(登録商標)ディスクからの7.1サラウンドサウンドの復号をサポートしている。
本実施形態では、ビデオカメラ412は1個の電荷結合素子(CCD)と、LEDインジケータと、ハードウェアベースのリアルタイムデータ圧縮符号化装置とを有しているので、圧縮されたビデオデータを、画像内ベースのMPEG(motion picture expert group)規格など、システムユニット400による復号に適したフォーマットで送信することができる。カメラのLEDインジケータはシステムユニット400からの適切な制御データに応じて光を照らすようにされており、例えば、照明条件が悪いことなどを知らせる。ビデオカメラ412の実施形態は、USB、ブルートゥース、あるいはWi−Fi通信ポートを介してなど、様々な仕方でシステムユニット400に接続できる。ビデオカメラの実施形態は、関連したマイクを含むことができ、オーディオデータを送信することもできる。ビデオカメラの実施形態では、CCDの解像度は高精細ビデオキャプチャに適したものとすることができる。使用時に、ビデオカメラによりキャプチャされた画像をゲーム内に組み込んだり、ゲームを制御する入力として解釈したりすることができる。
一般に、システムユニット400の通信ポートの1つを介してビデオカメラやリモコンなどの周辺デバイスとのデータ通信が成功裏に実現されるためには、デバイスドライバなどの適切なソフトウェアが提供されなければならない。デバイスドライバ技術は良く知られているので、ここでは詳細に説明しないが、上記本実施形態においてデバイスドライバあるいは同様のソフトウェアインタフェースが必要であることは当業者には既知であろう。
次に図5を参照すると、セルプロセッサ428のアーキテクチャは、4つの基本構成要素、すなわち、メモリコントローラ560およびデュアルバスインタフェースコントローラ570A,570Bを有する外部入出力構造と、パワープロセシングエレメント(PPE)550として言及されるメインプロセッサと、シナジスティックプロセシングエレメント(SPE)510A−510Hとして言及される8個のコプロセッサと、エレメントインターコネクトバス580として言及され、前記構成要素を接続する循環データバスとを有している。セルプロセッサの全体としての浮動小数点演算性能は218GFLOPSであり、これに比較してプレイステーション2装置のエモーションエンジンは6.2GFLOPSである。
パワープロセシングエレメント(PPE)550は、3.2GHzの内部クロックで動作する両方向同時マルチスレッディングパワー1470対応パワーPCコア(PPU)555をベースにしたものである。PPE550は、512kBの二次(L2)キャッシュと32kBの一次(L1)キャッシュとを有している。PPE550は、クロックサイクル毎に単精度演算を8回実行でき、言い換えれば、3.2GHzでは25.6GFLOPSとなる。PPE550の主な役割はシナジスティックプロセシングエレメント510A−510Hに対するコントローラとして機能することであり、シナジスティックプロセシングエレメント510A−510Hが計算の作業負荷の大部分を扱う。動作の際に、PPE550はジョブ待ち行列を保持し、シナジスティックプロセシングエレメント510A−510Hのためのジョブをスケジュールし、その進展をモニタする。その結果、シナジスティックプロセシングエレメント510A−510Hの各々はカーネルを実行するが、カーネルの役割はジョブをフェッチし、実行し、PPE550と同期することである。
各シナジスティックプロセシングエレメント(SPE)510A−510Hは、それぞれのシナジスティックプロセシングユニット(SPU)520A−520Hと、それぞれのメモリフローコントローラ(MFC)540A−540Hとを有しており、各メモリフローコントローラMFCの方は、それぞれのダイナミックメモリアクセスコントローラ(DMAC)542A−542Hと、それぞれのメモリマネジメントユニット(MMU)544A−544Hと、バスインタフェース(図示されていない)とを有している。各SPU’520A−520Hは、3.2GHzのクロックで駆動されるRISCプロセッサであり、256kBのローカルRAM530A−530Hを有しているが、そのローカルRAMは原理的には4GBまで拡張可能である。各SPEは、理論的に25.6GFLOPSの単精度演算性能を実現できる。SPUは、単一クロックサイクルで、4つの単精度浮動小数点数、あるいは4つの32ビット数、あるいは8つの16ビット整数の演算ができる。同じクロックサイクルで、SPUはメモリオペレーションも実行できる。SPU520A−520HはシステムメモリXDRAM1500に直接アクセスすることはない。SPU520A−520Hにより作成された64ビットアドレスはMFC540A−540Hに引き渡され、MFC540A−540HがそのDMAコントローラ542A−542Hに対してエレメントインターコネクトバス580ならびにメモリコントローラ560を介してメモリにアクセスするように命令する。
エレメントインターコネクトバス(EIB)580はセルプロセッサ428内の論理的に循環する通信バスであり、前述のプロセッサエレメント、即ち、PPE550と、メモリコントローラ560と、デュアルバスインタフェース570A,570Bと、8個のSPE510A−510Hとを、すなわち全部で12の関与エレメントを、接続している。関与エレメントは毎クロックサイクル8バイトの速度でバスに対して同時に読み書きすることができる。各SPE510A−510Hは、長い読み出しあるいは書き込みシーケンスをスケジュールするために、先に述べたようにDMAC542A−542Hを有している。EIBは4つのチャネルを有しており、2つずつ時計回りと反時計回りの方向である。従って、12の関与エレメントに関して、任意の2つの関与エレメント間の最長のステップワイズデータフローは適切な方向に6ステップである。従って、12スロットに対する理論的にピークの瞬時EIB帯域幅は毎クロック96B(バイト)であり、それは関与エレメント間のアービトレーションによってフルに利用した場合である。これは、3.2GHzのクロック速度の場合の理論的ピーク帯域幅307.2GB/s(ギガバイト/秒)に等しい。
メモリコントローラ560は、ラムバス社(Rambus Incorporated)により開発されたXDRAMインタフェース562を有している。メモリコントローラは、ラムバスXDRAM426に対して理論的ピーク帯域幅25.6GB/sでインタフェース接続する。
デュアルバスインタフェース570A,Bは、ラムバスFlexIO(登録商標)システムインタフェース572A,Bを有している。インタフェースは12チャネルに組織され、各チャネル8ビット幅であり、5つの経路はインバウンドで、7つの経路はアウトバウンドである。これによって、コントローラ170Aを介してセルプロセッサとI/Oブリッジ700との間に、またコントローラ170Bを介してリアリティシミュレータグラフィックスユニット200との間に、62.4GB/s(アウトバウンド36.4GB/s、インバウンド26GB/s)の理論的ピーク帯域幅が提供される。
セルプロセッサ428によりリアリティシミュレータグラフィックスユニット430に送信されるデータは、通常、ディスプレイリストから成っており、ディスプレイリストは頂点を描画するコマンド、テクスチャをポリゴンに適用するコマンド、照明条件を指定するコマンドなどのシーケンスである。
実施の形態は、現実世界のユーザをよりよく特定し、アバタまたはシーンのアクティビティを指示するために深さデータを取得することを含む。オブジェクトは、人がもっている何かであってもよく、人の手であってもよい。この説明書において、「深さカメラ」および「3次元カメラ」という用語は、2次元ピクセル情報とともに距離または深さ情報を取得することができるカメラをいう。たとえば、深さカメラは、制御された赤外線光を利用して距離情報を取得してもよい。別の例示的な深さカメラは、二つの標準的なカメラを用いて距離情報を三角測量するステレオカメラペアである。同様に、「深さ検出デバイス」という用語は、2次元ピクセル情報とともに距離情報を取得することができる任意のデバイスをいう。
3次元イメージの最近の進歩によって扉が開かれ、リアルタイムのインタラクティブコンピュータアニメーションにおける可能性が増大した。特に新しい「深さカメラ」は、通常の2次元ビデオイメージに付け加えて3次元ビデオイメージを取得しマッピングする能力を提供する。新しい深さカメラを用いることで、本発明の実施の形態によって、他のオブジェクトの背後を含めてビデオシーンの中にいろいろな位置に、コンピュータ生成されたオブジェクトをリアルタイムで配置することが可能になる。
さらに、本発明の実施の形態は、ユーザに対してリアルタイムのインタラクティブなゲーム体験を提供する。たとえば、ユーザはリアルタイムでいろいろなコンピュータ生成されたオブジェクトと相互作用することができる。さらに、ビデオシーンをリアルタイムで変更して、ユーザのゲーム体験を強化することができる。たとえば、コンピュータ生成されたコスチュームをユーザの服に挿入したり、コンピュータ生成された光源を用いてビデオシーン内に仮想的な影を投影することができる。このように、本発明の実施の形態と深さカメラを用いて、ユーザは自分のリビングルーム内でインタラクティブなゲーム環境を体験することができる。通常のカメラと同様、深さカメラは、ビデオ画像を構成する複数のピクセルに対する2次元データを取得する。これらの値はピクセルに対するカラー値であり、一般的には各ピクセルのRGB値である。この方法では、カメラによって取得されたオブジェクトはモニター上に2次元オブジェクトとして現れる。
本発明の実施の形態はまた、分散された画像処理構成を想定する。たとえば、本発明は、CPUまたはCPUと他のエレメントのような、1または2の位置で実行される取得画像およびディスプレイ画像の処理に限定されない。たとえば、入力画像の処理は、処理を実行できる関連するCPU、プロセッサまたはデバイスにおいて容易に実行できる。特に画像処理のすべては相互接続されたシステムを通じて分散させることができる。このように、本発明は、特定の画像処理ハードウェア回路および/またはソフトウェアに限定されない。ここに述べる実施の形態はまた、一般的なハードウェア回路および/またはソフトウェアの特定の組み合わせに限定されるものではなく、また、処理コンポーネントによって実行される命令群の特定の情報源に限定されるものでもない。
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する各種のコンピュータ実装されたオペレーションを使用してもよい点を理解すべきである。これらのオペレーションは、物理量の物理的操作を必要とするオペレーションを含む。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
上述の発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステムの構成によって実施されてもよい。本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。
図6は、本発明の一実施形態による、ユーザによるユーザ入力デバイスの操作中に、ユーザ入力デバイスに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。ブロックが表している諸機能は、図4のシステムユニット400のセルプロセッサ428によって実行されるソフトウェアによって実装される点を理解されたい。更に、図6のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。
最初に、カメラから入力されたピクセルデータが、無線、USBまたはイーサネット(登録商標)インタフェースを介してシステムユニット400に送られ、これにより、以下に記載するプロセスがそこで実行される。まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理ステップS201が実行される。これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元部分に分割される。次に、実施形態によっては、色遷移定位ステップS203が実行される。これにより、色の異なる部分が隣接している領域がより詳細に決定されて、はっきりした色の遷移が発生する画像の位置が特定される。次に、幾何学処理S205のステップが実行される。このステップでは、実施形態に応じて、エッジ検出プロセスまたは面積の統計値(area statistics:AS)の計算の実行が行われて、対象のオブジェクトのエッジに相当する線、曲線および/または多角形が代数的または幾何学的に定義される。
ステップS207で、アルゴリズムを用いてオブジェクトの三次元の位置および姿勢が計算される。このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。質の向上のため、三次元の位置および姿勢のデータに対して、カルマンフィルタリング処理ステップS209が実行される。この処理を実行するのは、所定の時点においてオブジェクトが存在する位置を概算することで、発生することがあり得ないであろうことから正しいデータ群から外れていると考えられる、誤った測定値を除去するためである。カルマンフィルタリングを実行するもう1つの理由は、カメラ105は画像を30Hzで生成するが、一般的なディスプレイは60Hzで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。
図7は、オブジェクト705の移動を画像キャプチャ装置105によってとらえられる空間体積702に対応づける例示的画像処理システム700の概略的ブロック図を示す。この例では、オブジェクト705が三次元空間702で、x1の距離を移動すると、画像処理システム700は、オブジェクト705のキャプチャしたビデオ画像を解釈し、オブジェクト705の移動を識別し、その後、対応するアクションをディスプレイ画面110に生成する。
具体的には、画像キャプチャ装置105は、当技術分野では周知のように、レンズを通過した後にセンサに入射する、画像を形成した光を表す画像データを生成するデジタル画像センサを含む。さらに、画像キャプチャ装置105は、光によって形成される画像を表すアナログ信号を生成するアナログビデオカメラを備えるようにしてもよい。後者の場合、アナログ信号は、画像をデジタル表現に変換し、その後、認識装置710による処理が行われる。三次元空間702の連続する二次元画像を表す画像データは、認識装置710に送られる。一実施形態では、認識装置710は、図6に関連して上述したように、オブジェクト705の識別のために様々な処理ステップを実行する。オブジェクト705の位置は、マッパ712に送られる。例えば、三次元空間702でのオブジェクト705の絶対座標が計算され、マッパ712に送信される。x軸方向の座標及びy軸方向の座標は、各画像に表示されたオブジェクトの位置から決定することができる。オブジェクトのz軸方向の座標は、オブジェクトの寸法から推測できる。つまり、オブジェクト705が画像キャプチャ装置105に近いほど、オブジェクトが画像に大きく表示される。したがって、オブジェクトが画像に表示されると、オブジェクトの直径などの寸法は、画像キャプチャ装置105からの距離、即ちz軸座標、を求めるように使用される。
位置情報に加えて、認識装置710は、オブジェクト705から受信したコマンドを識別する。コマンドは、オブジェクト705の伝送/変形、音声ならびに発光などから解釈される。これは、たとえば、2002年7月27日に出願された米国特許出願第10/207,677号"MAN-MACHINE INTERFACE USING A DEFORMABLE DEVICE"、2003年8月27日に出願された米国特許出願第10/650,409号"AUDIO INPUT SYSTEM"、および2004年1月16日に出願された米国特許出願第10/759,782号"METHOD AND APPARATUS FOR LIGHT INPUT DEVICE"に記載されており、上記の特許出願の全体を参照によりここに援用する。オブジェクト705から受信したコマンドは、認識装置によって解釈され、受信したコマンドに対応するデータは、アプリケーション714に伝達される。アプリケーション714はゲームアプリケーションあるいはリクエストされたその他のコンピュータアプリケーションであってもよい。あるいは、そうでなければ、画像キャプチャ装置105からユーザの入力を受け入れることができるものである。一実施形態では、マッパ712は、認識装置710から絶対座標を入力し、これらの座標をギアリング量によってスケーリングされている出力座標に対応づける。別の実施形態では、マッパ712は連続する座標情報を認識装置710から受信し、座標情報の変更をオブジェクト705のベクトル移動に変換する。例えば、オブジェクト705が、時間t1から時間t2の間にx1の距離を移動した場合、ベクトルx1,0,0が生成され、アプリケーション714に送信される。時間t1からt2は、画像キャプチャ装置105により生成されるビデオの連続フレーム間の時間間隔であってもよい。マッパ712は、スケーリングアルゴリズムに従い、例えば、ベクトルにギアリング量を乗算することでベクトルをスケーリングしてもよい。別の実施形態では、各座標には、Gx、GyならびにGzなどの対応するギアリング因子(gearing factor)を乗算する。したがって、ディスプレイ110に表示されるように、仮想オブジェクト705’の対応する移動は距離x2であり、x1ではない。
アプリケーション714は、認識装置710から受信したコマンド713に従ってギアリング量を変更するか、マッパ712にギアリングデータを送信し、ギアリング量を変更させるソフトウェアの通常のオペレーションに従ってギアリング量を変更する。ギアリングデータは、ユーザコマンド、各種イベント、またはアプリケーション714のオペレーションモードに応じてマッパ712に送信される。したがって、ギアリング量は、ユーザコマンドに応じてリアルタイムで変更されるか、ソフトウェアによって制御されてもよい。これにより、マッパ712は、オブジェクト705の動きの出力ベクトルをアプリケーション714に送信する。この出力は、空間702中のオブジェクト705の位置の変化ならびにギアリング量に対して変更される。一実施形態では、アプリケーション714はビデオゲームであり、出力ベクトルを対応するアクションに変換し、変換されたアクションがディスプレイ110に表示される。
図8は図7の画像処理システム700の例示的アプリケーションを示す。コンピュータシステム102は、シーン810をとらえる画像キャプチャ装置105を備える。シーン810は、認識装置(図7)によって認識されるオブジェクト804を把持したユーザ802を含む。このアプリケーションプログラムは、この例ではチェッカーゲームであり、オブジェクト804からのコマンドを認識し、チェッカーボード801にチェッカー808を拾い上げるか落す。ユーザがオブジェクト805を画像キャプチャ装置105の前に移動させると、コンピュータ102はオブジェクト804の移動を識別するように画像を処理し、その移動をディスプレイ110の仮想オブジェクト805’の移動に変換する。仮想オブジェクト805’が現実のオブジェクト805に対して移動する距離は、ギアリング量806によって決まる。この例では、ギアリング量はディスプレイ110に「3」と表示される。一実施形態では、ギアリング量ユーザにより選択可能である。ギアリング量が大きければ、チェッカー805’がディスプレイ110で特定の距離を移動する、現実のオブジェクト805の移動は小さくてもよい。
図9および図10は、本発明のある実施の形態に係る、ギアリング比をインタラクティブに変更するために使われる例示的なコントローラ900を示す図である。コントローラ900は、ギアリング比をインタラクティブに変更するために使うことのできる専用ボタン903を含む。現在のギアリング比に関して視覚的なフィードバックを与えるべく、LED904の集合をギアリング比に関連づけることができる。ある実施の形態では、専用ボタン903を最初に押すと、第1ギアリング比がアクティブにされ、一つのLEDが点灯する。専用ボタン903を続けて押すとギアリング比が徐々に変化し、適当な数または適当な組み合わせのLEDが点灯する。図9は3つのLEDを示すが、これは異なるギアリング比の数を制限するように解釈すべきではない。また、専用ボタン903を押すことが、ギアリング比をインタラクティブに変更できるユーザ入力の唯一の形態であると解釈すべきではない。
他の実施の形態では、ギアリング比をインタラクティブに変更するために、専用ボタン903の代わりに代替入力を用いることができる。たとえば、コントローラ900は、コントローラ900の相対的な並進および回転運動を検出することのできる内部慣性センサを含んでもよい。別の実施の形態では、コントローラ900は、ギアリング比をインタラクティブに変更するように構成可能ないろいろなボタンとジョイスティックを含む複数のインタフェースデバイスを有するインタフェース902を含む。ここに記載するコントローラは、WiFi、ブルートゥース(登録商標)、赤外線、音、光などの有線または無線技術を用いて、ゲーム機のようなコンピュータにユーザ入力を転送することができる。ある実施の形態では、コントローラ900は、画像キャプチャ装置105(図1)と相互作用可能なLED配列905をもつ。LED配列をいろいろなレイアウトで構成してもよい。たとえば、各LEDが仮想的な矩形または正方形のバインディングボックスの頂点に位置するような2×2のスタックで構成してもよい。画像キャプチャ装置が生成する画像平面にバインディングボックスが投影されたときにバインディングボックスの位置と変形を追跡することにより、変換と変形をビデオアナライザで解析し、コントローラの位置と姿勢の情報を読み解くことができる。
これらLED905が矩形に構成されていることから、3つの軸上でのコントローラ900の移動と、各軸を中心とした回転とが検出可能になる。図示しているのは4つのLEDだけであるが、これは例示のみを目的としており、いずれの構成においてもLEDは任意の個数とすることが可能である。コントローラ900が前後にピッチ運動すると、上下のLEDの距離が近づくが、左右のLED間の距離は変わらない。同様に、コントローラが左右にヨー運動すると、左右のLEDが接近して見えるが、上下のLED間の距離は変わらない。コントローラのロール運動は、画像平面におけるLEDの向きを特定することによって検出することができる。コントローラが、画像キャプチャ装置105の見通線に沿って画像キャプチャ装置105に近づくと、全てのLEDが接近して見える。最後に、画像平面に沿ったコントローラの移動は、画像平面上のLEDの位置を特定することによってトラッキングすることができ、これにより、x軸およびy軸のそれぞれに沿った移動が特定できる。
さらに、コントローラ900は、可聴音または超音波を発生させるスピーカ915を含む。スピーカ915は、インタラクティビティを強化する音響効果を生成するか、インターフェース902からのコマンドを、マイクロフォンあるいは伝達を受け入れる他の素子を有するコンピュータシステムに伝達する。
図11は、図9、10のコントローラ900の例示的アプリケーションを示す。このアプリケーションでは、ドライビングシミュレーションはコントローラ900の回転を仮想自動車のハンドルの回転と解釈する。ユーザ(図示せず)が矢印1105に示すようにコントローラ900を回転させると、仮想ハンドル900’はディスプレイ110で矢印1105’に示すように回転する。一実施形態では、ギアリング量は、コントローラ900の回転のそれぞれの程度に対してハンドル900’の回転量を決定する。別の実施形態では、ギアリング量は、図12の例示的グラフ1200に示すように、ソフトウェアにより制御される。
図12に示すように、ギアリング量はコントローラ900の中心部、つまり、垂直方向からの距離に対して変更される。これにより、コントローラ900を90度回転させるだけで、仮想ハンドル900’を最大540度回転させることができる。0度(中心部)に近い位置でギアリング量を低くしておくことで、通常は著しいハンドル回転を必要としない高速ドライビングに対して、高い制御性を保つことができる。コントローラ900が中心部から離れて回転されると、グラフ1200に示しているようにギアリング量は増加し、通常、低速時に求められる急カーブに対応できるようになる。別の実施の形態では、ユーザは専用ギアリングボタン903を押すことによってギアリング比を選択的に変更することができる。
図13は、本発明のある実施の形態に係る、専用のギアリングボタン903を押すことによって選択される時間の関数としてギアリングの変化を説明する別の例示的なグラフを示す図である。ドライビングシミュレーションに適用した場合、時間t0でユーザは第1ギアリング比を選択する。t1とt2の間、ユーザは、ゲームプレイが感度の上げ下げを要求するのに合わせて、選択的にギアリング比を上げ下げできる。同様にt2とt4の間、ユーザは異なるギアリング比を選択できる。t4とt5の間、ユーザはスピンしてコントロールを失い、道路の反対方向に向いてしまい、車を回転させるために大きいギアリング比を必要とする。先の例はドライビングシミュレーションに特有のものであったが、これは限定的に解釈すべきではなく、ユーザが選択したギアリングはユーザ入力が要求される任意のユーザインタフェースに適用することができる。
図14は、ユーザインタラクションに応える画像処理システムの別の例示的アプリケーションを示す。この例では、ユーザ1402は、画像処理システムが入力オブジェクトと認識し得るおもちゃの野球バット1405をスイングすることにより、野球のシミュレーションとインタラクトする。このおもちゃの野球バットがスイングされると、ユーザおよび/またはソフトウェアはギアリング量を制御し、仮想野球バット1405’の速度や距離を操作する。一実施形態では、バットは、ゲームのプレイ中に押すことのできる多数のボタンを備えており、このボタンを押すことでギアリングを変更することができる。別の実施形態では、ユーザは、ギアリングレベルと組み合わせて事前に設定できるか、プログラムでき、バットのスイング時に適用されるようにする。
図15はそれぞれ別の時間t1〜t5において、スイングの長さに沿った例示的なギアリング量を描いたグラフ1500を示す。このギアリング量は、バットをスイングする前にユーザにより設定されたものであるか、カメラ105がとらえたバットの位置に応じて、ゲームによって動的に設定されたものである。同様に、図17には、ギアリングが所定の期間においてどのように変化し、特定の時間間隔において一定に保たれ、または漸進的に増加される様子が示されている。グラフ1700においては、ギアリングは時間t1〜t3間にて高く設定されている。よって、バットのスイングは、ボールと接触したときによりパワフルなものになる。さらに、バットがボールと接触した後の時間t3〜t4においては、ギアリングは緩和される。一実施形態では、それぞれの時間は、ユーザによって予測されるか、コンピュータによって決定される。
一例では、ユーザは何度かスイングをし、コンピュータがユーザの実際のスイング能力に対応するいくつものタイムスロット例を定める。次に、ユーザは、どの程度ゲームインタラクティビティに影響を及ぼしたいかに応じて、それぞれの時間間隔に対して特定のギアリングを独自に割当てることができる。ギアリングが設定されると、ユーザによるバット1605の移動がバット1605’(例えば、ゲームオブジェクト)の移動に対応付けられる。同様に、ギアリングは、別のアクション中にゲームによって事前に設定され、ユーザによってゲーム中に設定され、さらに、ゲームのプレイ中にリアルタイムで調整される。
図16は、ユーザインタラクションに反応する画像処理システムの別の例示的なアプリケーションを示す。この例では、ユーザ(図示せず)は、おもちゃのフットボール用ボールを使って投球動作をし、作動装置(アクチュエータ)を押してボールを放すようにすることで、フットボールのシミュレーションとインタラクトする。当然、おもちゃのフットボール用ボールではなくて、コントローラを使用してもよい。仮想プレーヤー1602は、ユーザインタラクションに反応して仮想のフットボール用ボールを操作する。一実施形態では、作動装置は、フットボールシミュレーションアプリケーションに送信されるコマンドとして、LEDに、画像処理システムによって認識される色を明るくするか変化させるようにする。ユーザは、ボールを放した後に、選択した受信側の動作などの、フィールド上でのある特定のアクションを制御することができる。一実施形態では、ボールを放すことで、アプリケーションがマッパ(図7)にギアリングデータを送り、ギアリング量を変更して、例えば、入力オブジェクトのより細かな移動や動作を区別することができる。
図17は、ボールの“放した”後のギアリング量の変化を示した例示的グラフ1700を示す。グラフ1700は単純なグラフとして図示されているが、ギアリングはゲームのオブジェクトに応じてどのようなプロファイルにもなり得ることを理解されたい。
図18は、本発明のある実施の形態に係る、ギアリングを含むビデオゲームのオペレーションを説明する例示的フローチャートを示す図である。フローチャートはオペレーション1800で始まり、オペレーション1802に続き、ユーザ入力コントロールを受け取ることのできるゲームプログラムが特定される。オペレーション1804は、ゲーム開始時にユーザが入力コントロールパラメータを設定したいかどうかを決定する。オペレーション1806は、ユーザがゲームの入力コントロールパラメータを設定することを選んだ場合、設定可能なパラメータをもつ表示インタフェースを生成する。オペレーション1806の後、オペレーション1808はユーザ入力コントロールに変化があるかどうかを判定する。オペレーション1808においてユーザ入力コントロールに変化があった場合、オペレーション1810は入力ギアリングに変化があったかどうかを判定する。入力ギアリングへの変化を検出した後、オペレーション1814はギアリングをアクティブにし、手続きはオペレーション1812に続き、ゲームプログラムのインタラクティブなプレイが可能になる。オペレーション1812は、オペレーション1808またはオペレーション1810においてユーザ入力コントロールへの変化がなかった場合にも実行される。オペレーション1812を実行している間、オペレーション1816はユーザ入力の変化を調べる。適当なユーザ入力を受け取った後、オペレーション1816は手続きをオペレーション1814に進める。ある実施の形態において、オペレーション1816を開始するためのユーザ入力は、コントローラ上のボタンプッシュまたはボタンプッシュの組み合わせであってもよい。別の実施の形態では、ボタンプッシュのシーケンスまたはコントローラの特定方向への動きによって、オペレーション1816を開始することができる。
図19Aは、本発明のある実施の形態に係る、ギアリングプロセスの起動に関わるさらなる詳細を説明する例示的フローチャートを示す図である。図19Aに示すオペレーションは図18のオペレーション1814の一部として実行されることに留意する。図18で議論し、説明したように、オペレーション1810またはオペレーション1816は、本発明のある実施の形態におけるオペレーション1814を開始することができる。オペレーション1900はギアリングがアクティブにされたかどうかを判断する。ギアリングがアクティブにされなかった場合、手続きは図18に示すようにオペレーション1812に進む。オペレーション1900においてギアリングがアクティブにされる場合、手続きはギアリング比を適用するオペレーション1902に続く。手続きはオペレーション1904に進み、ギアリング比を変更する入力の受け取りを待つ。ギアリング比の変更を示す入力がないなら、手続きはオペレーション1906に進み、以前に適用されたギアリング比を使い続ける。オペレーション1904でギア比を変更する入力を受け取った場合、手続きはオペレーション1908に続き、ギアリング比が変更される。別のオペレーション1910において、ギアリング比を変更する入力を受け取ってもよい。オペレーション1910でギアリング比を変更する入力を受け取ると、手続きはオペレーション1902に戻ることができる。さもなければ、手続きはオペレーション1906に戻り、以前に適用されたギアリング比を使い続ける。
図19Bは、本発明のある実施の形態に係る、ギアリング比の変更に関わるさらなる詳細を説明する例示的フローチャートを示す図である。図19Bに示すオペレーションは図19Aのオペレーション1908の一部として実行されることに留意する。オペレーション1910は、ギアリング比の変更を開始したユーザ入力に関連づけられたギアリング比を調べる。ある実施の形態では、ユーザはいろいろなギアリング比を設定して、ストレージメモリに格納することができる。ストレージメモリは、ゲーム機によってアクセスできる固定および/または取り外し可能な不揮発性コンピュータ読み取り可能媒体であってもよい。ユーザは、異なる入力がギアリング比の不連続変化を設定するようにマッピングすることができるため、オペレーション1910は、ストレージメモリにおいてユーザ入力に関連づけられたギアリング比を調べる。オペレーション1912において、ストレージメモリにおいて調べたギアリング比をアクティブなメモリにコピーする。アクティブメモリは一般的には、ゲームプログラムの実行中にアクティブに利用されるメモリと考えることができる。ある実施の形態では、アクティブなメモリロケーションは、CPUに関連づけられたメモリキャッシュであってもよい。他の実施の形態では、アクティブメモリはシステムメモリであってもよい。オペレーション1914において、アクティブメモリに格納されたギアリング比がゲームプログラム入力に適用され、オペレーション1916はそのギアリング比でゲームプログラムを実行する。
図20Aは、本発明のある実施の形態に係る、いろいろなユーザ入力にもとづいたギアリング比の変化を説明する図である。垂直軸2000はいろいろなギアリング比をもつ。水平軸2002は、ギアリング比を変えるために必要な漸進的な入力をリストする。図20に示す入力とギアリング比は限定する趣旨ではないことに留意する。ゲームコントローラはユーザ入力を受け付ける複数の方法をもち、ゲームコントローラ上に現在実装された方法を用いて入力を受け付けることだけに限定しない。図20に示すように、ユーザが最初にR1を押し下げると、1対1のギアリング比を開始することができる。R1ボタンを2度目にアクティブにすると、ギアリングを1対2に変更することができる。同様に、R1を続けて3度目、4度目にアクティブにすると、それぞれ1対3、1対4のギアリング比を開始することができる。ゲーム機コントローラが専用のギアリングボタンをもつ別の実施の形態では、ギアリングボタンを漸進的にクリックすると、ギアリング比を変えることができる。他の実施の形態では、異なるボタン、ボタンの組み合わせ、コントローラの動きを用いて同じギアリング変化を達成することができる。たとえば、ゲームコントローラがコントローラの動きを検出することができる実施の形態では、コントローラを特定の方向に傾けることにより、ギアリング比の変化をもたらすことができる。別の実施の形態では、特定の方向にコントローラを振ることを用いてギアリング比を変更することもできる。
図20Bは、本発明のある実施の形態に係る、動きを感知できるコントローラへのユーザ入力にもとづいて異なるギアリング比がキャラクタの反応に与える影響を説明する図である。グループ2004〜2010はそれぞれ、コントローラの動き、選択されたギアリング比、およびキャラクタの反応を図示する。グループ2004では、ギアリング比2004''が適用されたコントローラの動き2004'の結果、特定の速度でキャラクタは自分の頭2004'''を回転させる。グループ2006では、同じコントローラの動き2004'がコントローラに適用されるが、ギアリング比2006''が適用される。例示されるように、適用されたギアリング比2006''は適用されたギアリング比2004''よりも大きく、キャラクタは自分の頭2006'''をより速い速度で回転させる結果となる。グループ2008および2010は、キャラクタの頭の傾斜に影響を与えるコントローラの回転について同様の概念を説明する。グループ2008および2010の両方において、コントローラの動き2008'は同じであるが、ギアリング比2008''が低いためにキャラクタの反応2008'''はキャラクタの反応2010'''よりも遅い。
ゲームプレイヤが、いろいろなギアリング比を経ていくのではなく、ギアリング比をデフォルトの設定に変更することを望むときは、特定のボタンまたはボタンの組み合わせを用いてデフォルトレベルにギアリング比を戻すことが可能である。図20に示すように、R1とL1を同時に押すことにより、ギアリング比を1対1に戻すことができる。同様に、異なるボタンの組み合わせや異なるボタンを用いて、ギアリング比を所定のレベルに設定することができる。たとえば、図20に示すように、R1とR2ボタンを同時に押すことにより、ギアリング比を1対3に設定することができる。ギア比を次第にあるいは徐々に変えることができることにより、ユーザはいろいろなギアリング比をサンプルすることができる。ボタンの組み合わせまたはコントローラの特定の動きを用いてギアリング比をあらかじめ設定された値に急に変更できることにより、ユーザはゲームイベントにもとづいてギアリング比を急に切り替えることができる。
ギアリング比を急に切り替えることが望ましい例は、ファーストパーソン(一人称)シューティングゲームに見られる。多くのファーストパーソンシューティングゲームに見られる一つの特徴は、長距離でターゲットを狙撃するために望遠鏡をもった武器を用いることである。望遠ライフル銃の使用を正確にシミュレートする努力において、ユーザが入力した小さな動きはゲーム内では大きな動きに増幅される。したがって、プレイヤは、1対1よりも小さい比率でユーザ入力にギアを入れるギアリング比を開始することが有利であるとわかることがある。1対1よりも小さい比率を用いることで、通常は大きな動きに変換される入力をより小さな動きに変換することができる。しかしながら、1対1よりも小さい比率は、ゲーム内のユーザのキャラクタがライフルの望遠鏡を通して見ていないときは、好ましいものではない。したがって、望遠付き武器の使用のためにギアリング比を1対1または1対1よりも大きい比から1対1よりも低い比に急に変えることができることにより、ゲームプレイの可能性とユーザのゲーム体験を大きく改善することができる。
図21は、本発明のある実施の形態に係る、ギアリング設定(コンフィグレーション)を開始する手続きを説明するフロー図である。この設定手続きはオペレーション2100で開始する。オペレーション2102が次であり、ゲームのギアリングパラメータを特定するために使われる。手続きはオペレーション2104に進み、ゲームのギアリングパラメータが設定可能かどうかを決定する。手続きは、ゲームのギアリングパラメータが設定可能でないなら、オペレーション2110で終了する。さもなければ、オペレーション2106は、ギアリング設定トリガのアクティベーション(活性化)を待つ。オペレーション2108はギアリング設定トリガがアクティブにされたかどうかを決定する。ギアリング設定トリガがアクティブにされていない場合、手続きはオペレーション2106に戻る。ギアリング設定トリガがアクティブにされる場合、手続きはオペレーション2110に進み、ギアリング設定画面が表示される。ある実施の形態では、ギアリング設定画面は、ゲームコントローラを介して制御されるグラフィカルユーザインタフェースを用いて操作可能である。別の実施の形態では、ボイスコマンドを用いてギアリング設定を操作することができる。さらに別の実施の形態では、ボイスコマンドとグラフィカルユーザインタフェースを介したユーザ入力の組み合わせを用いることができる。ギアリング設定画面を表示した後、ギアリング設定のための手続きはオペレーション2112で終了する。
図22は、本発明のある実施の形態に係る、ビデオゲームのギアリング比を設定するための手続きを説明するフローチャートである。図22に説明するように、この手続きは、図21のオペレーション2110の完了によって開始される。オペレーション2202は、特定のゲーム用のギアリング設定GUIを表示する。オペレーション2204でユーザは設定すべきギアリングオプションを選択する。手続きはオペレーション2206に進み、設定すべきギアリングオプションがサブメニューの表示を要求するかどうかを決定する。表示すべきサブメニューがない場合、手続きはオペレーション2210に進み、ギアリングオプションが設定される。選択されたギアリングオプションを設定するためにサブメニューが要求される場合、オペレーション2208はサブメニューを表示する。もう一つのオペレーション2210において、サブメニュー内でギアリングオプションが設定される。ギアリングオプションの設定後、手続きはオペレーション2212に進み、ユーザがギアリングオプションの設定を終了したかどうかを決定する。オペレーション2214が実行され、ユーザはゲームプレイを続けるか、ゲームの別の面を設定することができる画面に戻る。ユーザがさらにギアリングオプションを設定したいなら、手続きはオペレーション2204に戻る。
各種の実施形態では、強度値、コントローラのプレーヤー番号、コントローラを含む1つ以上の入力オブジェクトの姿勢および/または位置を決定するための上記の画像処理機能は、コンピュータシステムで実行中のプロセスで実行されてもよい。コンピューティングシステムは、本明細書では、アプリケーションプログラムと呼ばれ、ゲームアプリケーションであり得るメインプロセスを実行していてもよく、画像または音声処理から得られるデータを要求するか、このデータを受け取る。このようなデータには、コントローラのプレーヤ番号、コントローラを含む1つ以上の入力オブジェクトの姿勢および/または位置、コントローラの操作などが含まれる。各種実施形態では、画像および/または音声処理機能を実行しているプロセスは、ビデオカメラまたはビデオ/音声監視装置のドライバであってもよく、このドライバは、一般に知られているように実装に特有であり、当業界で知られ、理解されているように、任意のタイプのプロセス間通信を介して、メインプロセスにデータを提供する。画像または音声処理を実行するプロセスは、ゲームソフトウェアや他のアプリケーションプログラムを実行しているものと同じプロセッサで実行されても、別のプロセッサで実行されてもよい。さらに、画像または音声処理とゲーム機能に対して、例えば、プロシージャコールを使用して、同じプロセス内で共通のプロセスとしてもよい。このため、本明細書において、入力ベクトルやほかの情報が「『プログラムに』提供される」と言及することがあるが、本発明には、1つのプロセスが、画像処理機能とゲーム機能の両方を実行することができるように、プロシージャコールやその他のソフトウェア機能を使用して、このようなデータをプロセスのルーチンに提供することも含まれていることを理解すべきである。また、これら機能を異なるプロセスに分割して、共通のプロセッサコアまたは複数のプロセッサコアで実行される1つ以上のプロセスが、本明細書に記載したような画像および/または音声処理を実行して、別のプロセスがゲーム機能を実行してもよい。
本発明は、ここに記載したように使用されても、ほかのユーザ入力機構、音の角度方向をトラッキングする他の機構、および/またはオブジェクトの位置を能動的または受動的にトラッキングする機構、機械的視野を使用する機構、これらの組み合わせと共に使用されてもよい。トラッキングされるオブジェクトは、システムへのフィードバックを操作する補助的制御部またはボタンを備えていてもよい。このようなフィードバックには、光源からの発光、音歪み手段または他の適切な送信器および変調器のほかに、ボタン、圧力パッドなどがあるが、これらに限定されない。これらは、その伝達または変調、符号化状態および/またはトラッキング対象の装置との間でやり取りされるコマンドに影響しうる。
本発明は、ゲームコンソール、ゲームコンピュータまたはコンピューティング装置、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステムの構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。例えば、オンラインのゲームシステムおよびソフトウェアが使用されてもよい。
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械的操作である。本発明は、これらの操作を実行するデバイスまたは装置にも関する。この装置は、上記に記載したキャリアネットワークなどの所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。
本発明は、また、コンピュータ可読媒体上のコンピュータ可読コードとして実施されてもよい。コンピュータ可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。コンピュータ可読媒体の例には、ハードディスク、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、FLASHベースメモリ、CD−ROM、CD−R、CD−RW、DVD、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、コンピュータ可読媒体は、コンピュータ可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
さらに、ビデオゲームに関連してギアリングについて述べてきたが、コンピュータによって制御された環境であればどのような環境にもギアリングをかけることができることを理解すべきである。一例では、ギアリングは、情報のインタラクション、選択あるいは入力を可能にするコンピュータの入力デバイスに関連づけられる。様々な入力操作やインタラクティブ操作において、様々に異なるギアリングをかけることで、設定済みの制御設定を有する環境では通常みられない操作のさらなる程度が可能となる。したがって、本明細書に定義しているように、ギアリングの実施形態には広範囲にわたっての用途が与えられるべきである。
ギアリングが決定されると、このギアリングをジェスチャにかけることができ、これがコンピュータプログラムに伝達される。上述のように、ジェスチャや入力デバイスのトラッキングは、画像分析、慣性分析あるいは可聴音分析によって実現することができる。ジェスチャの例としては、ボールなどのオブジェクトを投げる、バットやゴルフクラブなどを振る、手押しポンプを押す、ドアまたは窓を開閉する、ハンドルまたは他の車両コントロールを回す、格闘家がパンチなどを出す、研磨動作、ワックス掛けとワックスふき取り、家のペンキ塗り、振動、おしゃべり、ロール、フットボール投げ、野球の投球、ノブを回す動き、3D/2Dマウスの動き、スクロール、周知のプロファイルを持った動き、記録可能なあらゆる動き、あらゆるベクトルに沿った前後の動き、すなわち、空間内の任意の方向に沿ったタイヤの空気入れ、経路に沿った移動、正確な停止時間と開始時間を持った動き、ノイズフロア内やスプライン内などで記録、追跡および繰返し可能なユーザ操作に基づく任意の時刻、などがあるがこれらに限定されない。これらのジェスチャはそれぞれ、経路データから事前に記録し、時間基準のモデルとして記憶できる。このため、ギアリングは、ユーザまたはプログラムにより設定されたギアリングの程度に応じて、これらのジェスチャのうちのいずれか1つにかけることができる。上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。
したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。

Claims (18)

  1. コンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法であって、
    ユーザ入力を受け取り、ユーザ入力を前記コンピュータゲームプログラムに無線で送信するための手持ち式の入力デバイスにおいて、前記コンピュータゲームプログラムのインタラクティブなコンポーネントに関連づけられた複数のギアリングパラメータをアクティブにするステップと、
    前記コンピュータゲームプログラムのインタラクティブなコンポーネントであって、前記インタラクティブなインタフェースを可能にするために前記送信されたユーザ入力を受信するインタラクティブなコンポーネントを特定するステップと、
    ユーザ入力を検出し、前記送信されたユーザ入力が指示する場合、前記インタラクティブなコンポーネントに前記複数のギアリングパラメータの一つを適用するステップとを含み、
    前記適用されるギアリングパラメータは、前記ユーザ入力と、前記コンピュータゲームプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義し、
    前記インタラクティブなコンポーネントが反応するレートの適用は、前記コンピュータゲームプログラムの実行中に起きるイベントに対して定義され、
    前記複数のギアリングパラメータの間を不連続に切り替えられるように前記複数のギアリングパラメータのそれぞれが選択可能であることを特徴とする方法。
  2. 前記ユーザ入力をモニタし、前記適用されるギアリングパラメータに変化が起きたかどうかを決定するステップと、
    前記適用されるギアリングパラメータに変化が起きた場合に、更新されたギアリングパラメータを適用するステップとを含み、
    前記更新されたギアリングパラメータは新しいスケーリング率を定義するものであることを特徴とする請求項1に記載のコンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法。
  3. 前記入力デバイスは、3つの直交軸における並進および回転移動を検出することのできる動きセンサにもとづいてユーザ入力を受け取ることを特徴とする請求項1に記載のコンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法。
  4. 音を検出するステップと、
    前記音を処理して前記音がユーザ入力にマッピングされるかどうかを決定するステップと、
    前記音が前記ユーザ入力にマッピングされる場合、前記ユーザ入力を適用して、前記コンピュータゲームプログラムの実行中に前記ギアリングパラメータの一つを適用するステップとをさらに含むことを特徴とする請求項1に記載のコンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法。
  5. 前記適用されるギアリングパラメータは、前記コンピュータゲームの異なるインタラクティブなコンポーネントに適用されるべき複数の異なるスケーリング率を含むことを特徴とする請求項1に記載のコンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法。
  6. 前記適用されるギアリングパラメータは、グラフィカルユーザインタフェースを用いて設定可能であることを特徴とする請求項1に記載のコンピュータゲームプログラムとのインタラクティブなインタフェースを可能にするコンピュータ実装された方法。
  7. 選択されたユーザ入力に応答してビデオゲームのコンポーネントによる反応の変化を指示するコンピュータ実装された方法であって、
    入力デバイスにおいて前記ビデオゲームのインタラクティブなコンポーネントを制御する主要なユーザ入力を受け取るステップと、
    前記主要なユーザ入力に対して前記ビデオゲームの前記インタラクティブなコンポーネントの反応をスケーリングする率を定義する複数のギアリングを定義するステップと、
    二次的なユーザ入力に応答して前記複数のギアリングの2以上の間でユーザによる制御されたインタラクティブな切り替えを可能にするステップとを含み、
    前記入力デバイスは、前記ユーザ入力を前記ビデオゲームに無線で送信する手持ち式の入力デバイスであり、
    前記インタラクティブなコンポーネントが反応するレートの適用は、前記ビデオゲームの実行中に起きるイベントに対して定義され、
    前記複数のギアリングの間を不連続に切り替えられるように前記複数のギアリングのそれぞれが選択可能であることを特徴とする方法。
  8. 複数のギアリングのそれぞれを異なる二次的なユーザ入力にマッピングすることにより、前記複数のギアリングの間を不連続に切り替えることを可能にすることを特徴とする請求項7に記載のコンピュータ実装された方法。
  9. 前記複数のギアリングと異なる二次的なユーザ入力との間のマッピングは、グラフィカルユーザインタフェースを用いて設定可能であることを特徴とする請求項8に記載のコンピュータ実装された方法。
  10. 前記入力デバイスは3つの直交軸における前記入力デバイスの並進および回転運動を検出する機能を有し、前記ビデオゲームは、3つの直交軸における前記入力デバイスの並進および回転運動に対する反応性を有することを特徴とする請求項7に記載のコンピュータ実装された方法。
  11. コンピュータプログラムのインタラクティブなコンポーネントに対するギアリングパラメータのユーザによる制御された適用を可能にするコンピュータ実装された方法であって、
    ユーザ入力を受け取り、少なくとも部分的には前記コンピュータプログラムを実行しているコンピュータシステムにユーザ入力を無線で送信するための手持ち式の入力デバイスにおいて、前記コンピュータプログラムのインタラクティブなコンポーネントに関連づけられた複数のギアリング比の適用を可能にするステップと、
    前記入力デバイスから、特定のタイプのユーザ入力であるギアリングトリガを受信するステップと、
    前記ギアリングトリガに関連づけられたギアリングパラメータであって、前記コンピュータシステムに関連づけられた第1メモリに格納され、ユーザ入力と、前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義するギアリングパラメータを調べるステップと、
    前記ギアリングパラメータを第1メモリから、適用されるギアリングパラメータを格納するための第2メモリへコピーするステップと、
    前記第2メモリから取得された前記適用されるギアリングパラメータを用いて前記コンピュータプログラムを実行する結果、前記ユーザ入力と前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率にしたがって次のユーザ入力が反応するステップとを含み、
    前記インタラクティブなコンポーネントが反応するレートの適用は、前記コンピュータプログラムの実行中に起きるイベントに対して定義され、
    前記複数のギアリングパラメータの間を不連続に切り替えられるように前記複数のギアリングパラメータのそれぞれが選択可能であることを特徴とする方法。
  12. 前記入力デバイスは3つの直交軸における前記入力デバイスの並進および回転運動を検出する機能を有し、前記コンピュータプログラムは、3つの直交軸における前記入力デバイスの並進および回転運動に対する反応性を有することを特徴とする請求項11に記載のコンピュータ実装された方法。
  13. 前記コンピュータシステムはコンピュータネットワークの一部であり、前記コンピュータプログラムは前記コンピュータネットワークの他のユーザとの間の相互作用を可能にすることを特徴とする請求項11に記載のコンピュータ実装された方法。
  14. 前記コンピュータプログラムの実行は、前記コンピュータネットワークに接続されたコンピュータシステム間で共有可能であることを特徴とする請求項13に記載のコンピュータ実装された方法。
  15. コンピュータゲームプログラムのインタラクティブなコンポーネントの反応を変えるためのコンピュータ実装された方法であって、
    ユーザ入力を受け取り、少なくとも部分的には前記コンピュータプログラムを実行しているコンピュータシステムにユーザ入力を無線で送信するための手持ち式の入力デバイスにおいて、3つの直交軸における並進および回転運動を検出する機能を可能にするステップと、
    ユーザ入力をマッピングして前記コンピュータゲームプログラムのインタラクティブなコンポーネントを制御するステップと、
    ユーザ入力を検出し、ギアリングパラメータを特定のインタラクティブなコンポーネントに適用するステップと、
    前記ユーザ入力に関連づけられたギアリングパラメータであって、前記コンピュータシステムに関連づけられた第1メモリに格納され、ユーザ入力と、前記コンピュータプログラムの実行中に前記インタラクティブなコンポーネントが反応するレートとの間のスケーリング率を定義するギアリングパラメータを調べるステップと、
    前記ギアリングパラメータを格納メモリから、適用されるギアリングパラメータを保持するアクティブメモリへコピーするステップと、
    次のユーザ入力に対して前記適用されるギアリングパラメータを用いて前記コンピュータプログラムを実行するステップとを含み、
    前記インタラクティブなコンポーネントが反応するレートの適用は、前記コンピュータゲームプログラムの実行中に起きるイベントに対して定義され、
    前記複数のギアリングパラメータの間を不連続に切り替えられるように前記複数のギアリングパラメータのそれぞれが選択可能であることを特徴とする方法。
  16. 前記コンピュータシステムはコンピュータネットワークの一部であり、前記コンピュータゲームプログラムは前記コンピュータネットワークの他のユーザとの間の相互作用を可能にすることを特徴とする請求項15に記載のコンピュータ実装された方法。
  17. 前記格納メモリは前記コンピュータゲームプログラムに対する複数のギアリングパラメータを格納することを特徴とする請求項15に記載のコンピュータ実装された方法。
  18. 前記複数のギアリングパラメータのそれぞれが異なるユーザ入力にマッピングされることで、ユーザが前記複数のギアリングパラメータから特定のギアリングパラメータをインタラクティブに選択することが可能になることを特徴とする請求項17に記載のコンピュータ実装された方法。
JP2010513277A 2007-06-25 2008-06-25 ゲームギアリングを変更するための方法 Active JP5439367B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/768,108 2007-06-25
US11/768,108 US9682319B2 (en) 2002-07-31 2007-06-25 Combiner method for altering game gearing
PCT/US2008/007880 WO2009002503A1 (en) 2007-06-25 2008-06-25 Combiner method for altering game gearing

Publications (2)

Publication Number Publication Date
JP2010531491A JP2010531491A (ja) 2010-09-24
JP5439367B2 true JP5439367B2 (ja) 2014-03-12

Family

ID=38919712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010513277A Active JP5439367B2 (ja) 2007-06-25 2008-06-25 ゲームギアリングを変更するための方法

Country Status (4)

Country Link
US (2) US9682319B2 (ja)
EP (1) EP2170475A4 (ja)
JP (1) JP5439367B2 (ja)
WO (1) WO2009002503A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1946203A2 (en) * 2005-10-26 2008-07-23 Sony Computer Entertainment America, Inc. System and method for interfacing with a computer program
JP2007300974A (ja) * 2006-05-08 2007-11-22 Nintendo Co Ltd プログラム、情報記憶媒体及び画像生成システム
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US8952832B2 (en) * 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
GB2456773A (en) * 2008-01-22 2009-07-29 In2Games Ltd Sensing the position of a mobile object relative to a fixed object via ultrasound and infrared
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US20090325710A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamic Selection Of Sensitivity Of Tilt Functionality
US8297786B2 (en) 2008-07-10 2012-10-30 Oree, Inc. Slim waveguide coupling apparatus and method
US8301002B2 (en) * 2008-07-10 2012-10-30 Oree, Inc. Slim waveguide coupling apparatus and method
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP5430123B2 (ja) * 2008-10-30 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8116453B2 (en) * 2008-12-29 2012-02-14 Bank Of America Corporation Gaming console-specific user authentication
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
JP5648299B2 (ja) 2010-03-16 2015-01-07 株式会社ニコン 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9908050B2 (en) * 2010-07-28 2018-03-06 Disney Enterprises, Inc. System and method for image recognized content creation
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
CN106964150B (zh) * 2011-02-11 2021-03-02 漳州市爵晟电子科技有限公司 一种动作定位点控制系统及其穿套式定点控制设备
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
JP5829090B2 (ja) * 2011-10-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置
SG11201401647TA (en) * 2011-10-21 2014-09-26 Bayer Ip Gmbh Dielectric elastomer membrane feedback apparatus, system and method
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
JP5831207B2 (ja) * 2011-12-21 2015-12-09 富士通株式会社 携帯端末装置、携帯端末装置の制御プログラム及び制御方法
US20130247663A1 (en) * 2012-03-26 2013-09-26 Parin Patel Multichannel Gyroscopic Sensor
US9857519B2 (en) 2012-07-03 2018-01-02 Oree Advanced Illumination Solutions Ltd. Planar remote phosphor illumination apparatus
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
CN103902018B (zh) * 2012-12-24 2018-08-10 联想(北京)有限公司 一种信息处理方法、装置及一种电子设备
US10038895B2 (en) * 2013-01-15 2018-07-31 Disney Enterprises, Inc. Image capture device calibration
US9272221B2 (en) 2013-03-06 2016-03-01 Steelseries Aps Method and apparatus for configuring an accessory device
ITMI20130495A1 (it) * 2013-03-29 2014-09-30 Atlas Copco Blm Srl Dispositivo elettronico di controllo e comando per sensori
US20150077340A1 (en) * 2013-09-18 2015-03-19 Genius Toy Taiwan Co., Ltd. Method, system and computer program product for real-time touchless interaction
US9592443B2 (en) 2014-03-11 2017-03-14 Microsoft Technology Licensing, Llc Data store for a modular assembly system
US9703896B2 (en) 2014-03-11 2017-07-11 Microsoft Technology Licensing, Llc Generation of custom modular objects
US10188939B2 (en) 2014-03-11 2019-01-29 Microsoft Technology Licensing, Llc Modular construction for interacting with software
US10150043B2 (en) 2014-03-11 2018-12-11 Microsoft Technology Licensing, Llc Interactive smart beads
US9555326B2 (en) * 2014-03-11 2017-01-31 Microsoft Technology Licensing, Llc Gaming system for modular toys
US10022622B2 (en) 2014-04-21 2018-07-17 Steelseries Aps Programmable actuation inputs of an accessory and methods thereof
US10675532B2 (en) * 2014-04-21 2020-06-09 Steelseries Aps Variable actuators of an accessory and methods thereof
WO2016168267A1 (en) * 2015-04-15 2016-10-20 Thomson Licensing Configuring translation of three dimensional movement
JP6777840B2 (ja) 2015-12-25 2020-10-28 北海道公立大学法人 札幌医科大学 脳梗塞の治療用医薬
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
AU2018363983A1 (en) 2017-11-09 2020-05-21 Nipro Corporation Medicine for tissue regeneration, and preparation method therefor
EP3806967A4 (en) * 2018-06-12 2021-09-08 Karsten Manufacturing Corporation SYSTEMS AND METHODS FOR MEASURING 3D ATTRIBUTES USING COMPUTER VIEW
CA3129372A1 (en) 2019-02-07 2020-08-13 Sapporo Medical University Pharmaceutical composition for preventing in-stent restenosis
JPWO2020184729A1 (ja) 2019-03-14 2020-09-17
KR20210048725A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 카메라 제어를 위한 방법 및 이를 위한 전자 장치
US11751360B2 (en) * 2020-03-17 2023-09-05 International Business Machines Corporation Intelligently deployed cooling fins
JP2022027109A (ja) 2020-07-31 2022-02-10 ニューロテックメディカル株式会社 神経障害の治療剤
JP2022086174A (ja) 2020-11-30 2022-06-09 ニューロテックメディカル株式会社 神経障害の治療剤

Family Cites Families (383)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US5195179A (en) 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
JPH0426911Y2 (ja) * 1986-10-20 1992-06-29
WO1988005942A1 (en) 1987-02-04 1988-08-11 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
JP2720455B2 (ja) 1988-05-12 1998-03-04 ヤマハ株式会社 フィンガスイッチ
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
WO1990007162A1 (en) 1988-12-20 1990-06-28 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH0328141A (ja) 1989-06-23 1991-02-06 Sumitomo Electric Ind Ltd 酸化物超電導線材の製造方法
JPH0385456A (ja) 1989-08-30 1991-04-10 Hitachi Electron Eng Co Ltd プローバ
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
EP0532496B1 (en) 1990-05-01 1995-01-25 Wang Laboratories Inc. Hands-free hardware keyboard
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
JPH0580925A (ja) * 1991-09-19 1993-04-02 Hitachi Ltd 大画面デイスプレイ用ポインテイング装置
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
JPH06102980A (ja) 1992-09-24 1994-04-15 Olympus Optical Co Ltd 触覚呈示装置
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
DE69414153T2 (de) 1993-02-24 1999-06-10 Matsushita Electric Ind Co Ltd Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
JPH086709A (ja) * 1994-06-21 1996-01-12 Mitsubishi Electric Corp ポインティングデバイス並びに情報処理装置の情報入力装置並びに携帯型情報処理端末装置
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
GB2301514B (en) 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
DE69634913T2 (de) 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
BR9609807A (pt) 1995-07-26 1999-12-21 Martin T King Sistema para anulação de ambiguidade com teclado reduzido
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
EP0864145A4 (en) 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
JP3756955B2 (ja) 1996-03-05 2006-03-22 株式会社セガ コントローラ及び電子装置
JP2000508097A (ja) * 1996-03-21 2000-06-27 エムパス インタラクティブ,インコーポレイテッド サーバおよび通信リンクの属性に基づいてクライアントを選択するためのネットワークマッチメーカ
JP3920348B2 (ja) 1996-04-02 2007-05-30 コグネックス コーポレイション 平坦な鏡面基板の指標を観察する画像形成装置
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5978772A (en) 1996-10-11 1999-11-02 Mold; Jeffrey W. Merchandise checkout system
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US6758755B2 (en) * 1996-11-14 2004-07-06 Arcade Planet, Inc. Prize redemption system for games executed over a wide area network
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
KR100526740B1 (ko) 1997-04-23 2005-11-08 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 디스플레이될 정보의 영역 및 내용물에 의한 비디오 레벨 제어 시스템 및 방법
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3997566B2 (ja) 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
WO1999040478A1 (en) 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
US6712703B2 (en) 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 3次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
ATE285079T1 (de) 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
CA2385173A1 (en) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
US20010056477A1 (en) 2000-02-15 2001-12-27 Mcternan Brennan J. Method and system for distributing captured motion data over a network
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
AU2001264954A1 (en) 2000-05-25 2001-12-03 Realitybuy, Inc. A real time, three-dimensional, configurable, interactive product display systemand method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US6873747B2 (en) 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 3dビデオゲームにおける擬似カメラ視点移動制御方法及び3dビデオゲーム装置
AUPQ952400A0 (en) 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
EP1316192A2 (en) 2000-09-08 2003-06-04 Honeywell International, Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
US6748281B2 (en) 2000-09-29 2004-06-08 Gunilla Alsio Wearable data input interface
DE20017027U1 (de) 2000-10-04 2001-01-18 Roland Man Druckmasch Zugeinrichtung
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式3dビデオゲーム装置
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
AU2002226956A1 (en) 2000-11-22 2002-06-03 Leap Wireless International, Inc. Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20040054512A1 (en) 2000-12-20 2004-03-18 Byung-Su Kim Method for making simulator program and simulator system using the method
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US6749510B2 (en) 2001-02-07 2004-06-15 Wms Gaming Inc. Centralized gaming system with modifiable remote display terminals
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
AU2002323134A1 (en) 2001-08-16 2003-03-03 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
US6846238B2 (en) 2001-09-28 2005-01-25 Igt Wireless game player
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US7023475B2 (en) 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
GB2392286B (en) 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
ATE454195T1 (de) 2002-10-30 2010-01-15 Nike International Ltd Kleidungsstücke mit bewegungserfassungsmarker für videospiele
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
DE60308342T2 (de) 2003-06-17 2007-09-06 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Sprachaktivitätsdetektion
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
EP1694195B1 (en) 2003-10-28 2009-04-08 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US8170945B2 (en) * 2004-01-15 2012-05-01 Bgc Partners, Inc. System and method for providing security to a game controller device for electronic trading
KR101192514B1 (ko) 2004-04-30 2012-10-17 힐크레스트 래보래토리스, 인크. 틸트 보상과 향상된 사용성을 갖는 3d 포인팅 장치
CN102566751B (zh) 2004-04-30 2016-08-03 希尔克瑞斯特实验室公司 自由空间定位装置和方法
TW200609024A (en) 2004-05-11 2006-03-16 Ssd Co Ltd Entertainment apparatus and operating method thereof
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7351148B1 (en) * 2004-09-15 2008-04-01 Hasbro, Inc. Electronic sequence matching game and method of game play using same
US20060119574A1 (en) * 2004-12-06 2006-06-08 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US20060148564A1 (en) * 2005-01-06 2006-07-06 Bfg Technologies, Inc. Game control system
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US20070117628A1 (en) * 2005-11-19 2007-05-24 Stanley Mark J Method and apparatus for providing realistic gun motion input to a video game
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
EP1993687B1 (en) 2006-02-10 2012-05-23 Ippasa Llc Configurable manual controller
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
JP6102980B2 (ja) 2015-05-18 2017-03-29 株式会社島津製作所 分析システム

Also Published As

Publication number Publication date
EP2170475A4 (en) 2010-11-10
JP2010531491A (ja) 2010-09-24
EP2170475A1 (en) 2010-04-07
US10369466B2 (en) 2019-08-06
US20170282069A1 (en) 2017-10-05
US20080009348A1 (en) 2008-01-10
WO2009002503A1 (en) 2008-12-31
US9682319B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
JP5439367B2 (ja) ゲームギアリングを変更するための方法
US10406433B2 (en) Method and system for applying gearing effects to visual tracking
JP5277081B2 (ja) 1つ以上の視覚、音響、慣性およびミックスデータに基づく入力にギアリング効果を与える方法ならびに装置
US10445884B2 (en) Control device for communicating visual information
US7391409B2 (en) Method and system for applying gearing effects to multi-channel mixed input
US7352358B2 (en) Method and system for applying gearing effects to acoustical tracking
CN101484933B (zh) 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
JP6158406B2 (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
US7352359B2 (en) Method and system for applying gearing effects to inertial tracking
TWI517881B (zh) 決定附球控制器的位置與移動
JP5681633B2 (ja) 視覚情報を通信するためのコントロールデバイス
JP5116679B2 (ja) 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置
JP2012510856A (ja) マルチポジショナルコントローラによる三次元制御

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R150 Certificate of patent or registration of utility model

Ref document number: 5439367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250