JP5084052B2 - コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム - Google Patents
コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム Download PDFInfo
- Publication number
- JP5084052B2 JP5084052B2 JP2008545704A JP2008545704A JP5084052B2 JP 5084052 B2 JP5084052 B2 JP 5084052B2 JP 2008545704 A JP2008545704 A JP 2008545704A JP 2008545704 A JP2008545704 A JP 2008545704A JP 5084052 B2 JP5084052 B2 JP 5084052B2
- Authority
- JP
- Japan
- Prior art keywords
- computer program
- graphic
- aiming direction
- display screen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
Description
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
ゲームプラットホームの例に、ソニープレイステーションまたはソニープレイステーション２（ＰＳ２）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。
ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能（インタラクティビティ）を実現するために革新を続けてきている。しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。
前述を鑑みて、ゲームのプレイとのより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。
概して、本発明は、コンピュータプログラムとのインタラクティビティを容易にする装置および方法を提供することによって、これらのニーズを満たす。一実施形態では、上記コンピュータプログラムはゲームプログラムである。しかし、限定ではないが、上記装置および方法は、ユーザがインタラクトする必要があるどのような家電機器にも利用可能である。本発明により、インタフェースのポイント（照準）に基づき、かつユーザの制御下でのトリガキューおよび手またはオブジェクトの位置決定を含むファクタに基づいてコマンドを識別することによって、機械認識可能なジェスチャによるユーザのインタラクションの体験を簡単にすることができる。
一実施形態では、コンピュータプログラムとのインタフェース時に方向を検出するための方法が記載される。前記方法は、画像キャプチャ装置の前に提示される画像をキャプチャするステップを有する。前記キャプチャ装置は、座標空間のキャプチャ位置を有する。前記方法は、前記画像中に人物がキャプチャされた場合に、前記画像内で人の頭部を識別し、前記人の頭部に、前記座標空間の頭部位置を割り当てるステップを有する。また、前記方法は、前記画像内で、前記人物が保持しているオブジェクトを識別し、前記オブジェクトに、前記座標空間のオブジェクト位置を割り当てるステップも有する。前記方法は、前記キャプチャ位置からみた、前記頭部位置と前記オブジェクト位置間の座標空間での相対位置を特定するステップと、を更に有する。前記相対位置は、前記画像キャプチャ装置からみた、前記オブジェクトの照準方向を定義している。
別の方法では、コンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法が提供される。この方法は、画像キャプチャ装置の前に提示される画像をキャプチャするステップを有する。前記画像キャプチャ装置は、前記ディスプレイ画面の近くに、座標空間のキャプチャ位置を有する。前記方法は、前記画像中に人物がキャプチャされた場合に、前記画像内で前記人物の第１の体の部分を識別し、前記第１の体の部分に、前記座標空間の第１の位置を割り当てるステップを有する。次に、前記方法は、前記画像内で前記人物の第２の体の部分を識別し、前記第２の体の部分に、前記座標空間の第２の位置を割り当てるステップを有する。前記第１の体の部分と前記第２の体の部分が識別されると、前記方法は、前記キャプチャ位置からみた、座標空間での前記第１の位置と前記第２の位置間の相対位置を特定するステップに移る。前記相対位置は、前記ディスプレイ画面の近くの前記キャプチャ位置において、前記画像キャプチャ装置からみた、前記第２の体の部分の照準方向を定義している
一実施形態では、コンピュータプログラムとのインタラクティビティ中に画像および音をキャプチャする装置が提供される。この装置は、１つ以上の画像フレームをキャプチャするように構成された画像キャプチャユニットを有する。人物の頭部と人物の手を識別するために、これらの画像フレームが解析される。前記装置は、手と頭部の相対位置に基づいて照準方向を確認することができ、この照準方向が、ディスプレイ画面上の照準位置として変換されうる。
本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
本発明とその更なる利点とは、添付の図面を参照して以下の記載をよめば、よりよく理解できるであろう。
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
図１Ａは、本発明の一実施形態によるインタラクティブ（対話型）ゲーム構成１００を示す。インタラクティブゲーム構成１００は、コンピュータ１０２を有し、これは、ディスプレイ画面１１０と接続されうる。ディスプレイ画面１１０の上には画像キャプチャ装置１０５が置かれ、コンピュータ１０２と接続されている。一実施形態では、コンピュータ１０２は、ユーザが、コントローラ１０８によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールである。画像キャプチャ装置１０５は、ディスプレイ画面１１０の上に置かれて示されているが、画像キャプチャ装置１０５が、ディスプレイ画面１１０のほぼ前方にある画像をキャプチャできれば、ほかに近い位置に置かれていてもよいことが理解されよう。これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ２００３年２月２１日に出願された英国特許出願第０３０４０２４．３号明細書（ＰＣＴ／ＧＢ２００４／０００６９３号）および英国特許出願第０３０４０２２．７号明細書（ＰＣＴ／ＧＢ２００４／０００７０３号）に記載されている。
具体例としては、ゲームコンソールは、ソニーコンピュータエンターテインメント社、任天堂、マイクロソフト社または他の任意のメーカによって製造されたものなどがあるが、任意のブランドに限定されない。画像キャプチャ装置１０５は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。一実施形態では、画像キャプチャ装置は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ１０２に送信することができる。一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置１０５は、デジタル化のために、キャプチャしたデータを単にコンピュータ１０２に戻してもよい。いずれの場合も、画像キャプチャ装置１０５は、画像キャプチャ装置１０５の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。
図１Ｂは、コンピュータ１０２が、画像キャプチャ装置１０５の前方にあるオブジェクトの照準方向を確認するために、画像キャプチャ装置１０５によって提供される画像データを処理する、本発明の例示的な実施形態を示している。図に示すように、コンピュータ１０２は、画像キャプチャ装置１０５に接続されている。画像キャプチャ装置１０５は、キャプチャ領域１０５ａに焦点を合わせるように設計されている。この例では、人物１１２が、コンピュータ１０２によって実行中のコンピュータプログラムとインタラクト（対話処理）しようとしている。この例では、コンピュータプログラムは、ディスプレイ画面１１０によって表現され表示されるビデオゲームである。
例えば、ビデオゲームは、標的シューティングゲームであり、人物１１２は標的を狙い、その人物の能力に相当する点数を稼ごうとしているが、これは例示に過ぎない。ディスプレイ画面１１０に示されるように、ゲームのプレイ中に、人物１１２の画像１１２’が、ディスプレイ画面１１０にも表示されうる。別の実施形態では、制御されている特定の装置やプレイ中のゲームによっては、ディスプレイ画面に人物の画像１１２’が表示されないこともある。この例では、ゲームプレイ中に、現実により近づけるために、標的を撃つ間に人物１１２の画像１１２’を表示することによって、ユーザの体験を改善することができる。この標的シューティングゲームの特徴は、人物１１２が、オブジェクト１２４をディスプレイ画面１１０上の特定のインタラクティブなグラフィックのほうに向けるかポイントすることができることにある。
人物１１２は、オブジェクト１２４（この場合の例では銃である）の照準方向を正確に定めるために、オブジェクト１２４を手１２２で保持している。手１２２は、ディスプレイ画面１１０の方向に向けられる。画像キャプチャ装置１０５は、この時点で、人物１１２のデジタル画像のキャプチャを分析して、人物の１１２の頭部１２０の位置と、人物の１１２の手１２２の位置を決定する。図に示すように、人物１１２の手は体の前で伸ばされており、画像キャプチャ装置は、キャプチャされたデジタル画像を解析してオブジェクト１２４を特定する。キャプチャされたデジタル画像は、コンピュータ１０２で実行されているコードによっても解析され、人物の１１２の頭部１２０の位置が確認される。一実施形態では、頭部のトラッキングは、顔検出コードと併用したテンプレートマッチングの組合せによって完了させる（速度性能のため）。顔検出コードは、本質的には、ユーザの目やその他の顔の特徴の位置を特定することによって、ユーザの顔の位置を特定する。頭部および顔の検出に関する更に詳しい情報については、２００３年９月１５日出願の同時係属中の米国特許出願第１０／６６３,２３６号明細書「トラッキングされた頭部の移動によって表示中のシーンのビューを調整するための方法および装置（METHOD AND APPARATUS FOR ADJUSTING VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION）」を参照されたい。
一実施形態では、オブジェクト１２４は、キャプチャされたデジタル画像を分析するプログラムが、オブジェクト１２４の位置を容易に特定できるように、オブジェクトに結び付けられた色または光などの識別体（発光ダイオード（ＬＥＤ）等）を有する。コンピュータプログラムが、人物の頭部１２０（Ｈ）の位置と、人物の手１２２（ｈ）の位置を特定すると、コンピュータプログラムは、計算を実行して、画像キャプチャ装置の位置からみた、検出されたオブジェクト１２４と頭部１２０の間の相対角度を決定する。
図１Ｂに示すように、オブジェクト１２４と頭部１２０の相対位置は、画像キャプチャ装置１０５に対して計算される。これにより、２つの角度パラメータ（シータΘとファイΦ）が得られる。方位角Θは、Ｘ軸上の、頭部１２０とオブジェクト１２４間の水平の位置関係を定義している。角度φから、頭部１２０の高さと手１２２の高さの間の相対角度である高度角が得られる。一実施形態では、ディスプレイ画面１１０上のオブジェクトの照準位置の較正がゲームの操作により開始される前に、初期の較正操作を実行することができる。例えば、ユーザに、ディスプレイ画面１１０の特定の位置にオブジェクト１２４を向けさせることによって、ユーザに対して、照準アルゴリズムの較正を促すことができる。較正が完了すると、画像キャプチャ装置１０５によってキャプチャされている連続する各フレームについて、コンピュータ１０２が、人物の頭部１２０と人物の手１２２の相対位置を定義する方位角と高度角（ΘとΦ）を計算可能となる。頭部と手の相対位置の決定は、要求される照準操作の精度に応じて、キャプチャした各フレームごとに計算されても、一フレームおきにキャプチャされても、あるいは、多くのフレームをキャプチャした後に計算されてもよい。例えば、ゲームが射撃場ゲームの場合には、人物１１２がビデオゲームの競争で高いスコアを確実に稼ごうとしている場合に、正確に照準を定めて引金を引けるように、頭部１２０と手１２２の相対位置をフレームごとに計算することが重要となりうる。
図２は、本発明の一実施形態による、ディスプレイ画面１１０の前にいる人物１１２の上面図を示す。この例では、初期方位角（Θ１）は、手１２２（オブジェクト１２４を保持している）の位置と頭部１２０の相対角度として決定される。人物１１２は、コンピュータプログラムとのインタラクティブなプレイ中に、ディスプレイ画面１１０と向き合っており、おそらく、体をディスプレイ画面１１０とほぼ平行にしている。人物１１２が、体をディスプレイ画面１１０とほぼ平行にしているときに、手１２２を方向１２３のほうに移動すると、方位角が再計算され、新しい方位角Θ２が求められる。
この例では、人物１１２は、オブジェクト１２４を、ほぼ腕の長さだけ伸ばして体の前に保持している。この距離は、画像キャプチャ装置１０５が、手１２２および関連するオブジェクト１２４の位置をキャプチャしようとするおおよその場所の位置を定義する概算腕長検出（ＡＬＤ：approximate arm’s length detect）である。
概算腕長検出（ＡＬＤ）は、ユーザの腕の長さによって変わりうるが、一般に、頭部１２０と手１２２の位置間の距離関係を与えるように提供されなければならない。例えば、ディスプレイ画面１１０の別の位置をポイントするために、人物の体の前に、少なくともわずかでも、手１２２の突出部分（projection）がなければならない。
図３は人物１１２の正面図を示しており、キャプチャされたデジタル画像から、頭部１２０が識別され、手１２２が識別される。この例では、破線は、ディスプレイ画面１１０と、人物１１２の方向に向けられている画像キャプチャ装置１０５を示している。この例では、画像キャプチャ装置１０５は座標空間（０，０，０）にあり、この点は、画像キャプチャ装置１０５の基準点であり、座標空間でのその位置を示している。頭部１２０の概算位置も、関連する座標空間（ｘＨ，ｙＨ，ｚＨ）を有する。同様に、手１２２と、手１２２が保持している関連するオブジェクト１２４も、画像キャプチャ装置１０５に対しての座標空間（ｘｈ，ｙｈ，ｚｈ）を有する。
図４は、オブジェクト１２４をディスプレイ画面１１０に向けている人物１１２を示す。この例では、頭部１２０の座標空間が、キャプチャ装置１０５によってキャプチャされるデジタル画像内で識別される。人物１１２がディスプレイ画面１１０をポイントしている場合、手１２２の座標空間の位置も、画像キャプチャ装置１０５によってキャプチャされるデジタル画像内でキャプチャされる。画像キャプチャ装置１０５は、基準点であり、座標空間（０，０，０）にある。このため、高度角Φは、手１２２の位置に対する頭部１２０の位置で計算される。一例では、この角度は以下のように計算される。
高度角＝ａｒｃｔａｎ（（ｙｈ−ｙＨ）／（ｚｈ−ｚＨ））
同様に、図２の方位角Θは以下のように計算される。
方位角＝ａｒｃｔａｎ（（ｘｈ−ｘＨ）／（ｚｈ−ｚＨ））
方位角＝ａｒｃｔａｎ（（ｘｈ−ｘＨ）／（ｚｈ−ｚＨ））
図４に示すように、ユーザが手を下に降ろす（例えば、後のフレームにキャプチャされる）と、人物１１２の手１２２と頭部１２０の新しい相対位置を定義する新しい角度Φ２が求められる。この頭部と手の新しい相対位置に基づいて、コンピュータ１０２は、ディスプレイ画面上の照準方向を再度変更する。
図５Ａは、オブジェクト１２４が銃である実施形態を示す。この銃は、ディスプレイ画面１１０に向けて、ディスプレイ画面１１０上の特定のオブジェクトを撃つか、またはこのオブジェクトとのインタラクションを行うように構成された単純な銃のオブジェクトであってよい。この例では、銃１２４は、検出領域１２４ａを有する。検出領域１２４ａは、ディスプレイ画面１１０の方向に向けられている領域である。また、検出領域１２４ａは、コンピュータ１０２がデジタル画像を解析するために、画像キャプチャ装置１０５によってキャプチャされる領域でもある。一実施形態では、検出領域１２４ａは、コンピュータ１０２によって実行され、ディスプレイ画面１１０に表示されているコンピュータプログラムとのインタラクティビティを補助する照明オブジェクトの組を備えるように構成されている。この例では、検出領域１２４ａに存在する光または色のオブジェクトとして、トラッキングインジケータ１３０が設けられている。画像キャプチャ装置１０５は、トラッキングインジケータ１３０に基づいてデジタル画像を生成し、この画像が、コンピュータ１０２によって解析されて、オブジェクト１２４の座標空間での位置が特定される。この例では、トラッキングインジケータ１３０を設けることによって、コンピュータ１０２で実行されているコンピュータプログラムが、コンピュータプログラムとのインタラクションを行っている人物の頭部１２０に対する、オブジェクト１２４の位置を迅速に特定することができる。
トラッキングインジケータ１３０は、多数の形態によって提供することができる。一形態では、キャプチャされたデジタル画像を解析するコンピュータプログラムがトラッキングできる光インジケータであっても、キャプチャされたデジタル画像からコンピュータが迅速に特定することができる色インジケータの形をとってもよい。手そのものが、トラッキングインジケータ１３０であってもよい。更に別の実施形態では、トレーシングインジケータ１３０は、画像キャプチャ装置１０５に提示される際に提示される角度に応じて、色または強さが変わる反射テープとして設けられてもよい。この例では、ユーザがディスプレイ画面１１０上で別の領域を指すように手１２２を動かすと、オブジェクト１０４がトラッキングされる。
一実施形態では、ユーザが頭部１２０に対して手１２２を動かしている間に、トラッキングインジケータ１３０によって、コンピュータプログラムは、ディスプレイ画面１１０上に視覚インジケータを提供することができる。ディスプレイ画面１１０上のこの視覚インジケータによって、ユーザは、オブジェクトが、現在、ディスプレイ画面１１０のどこをポイントしているのかを認識できるようになる。
別の実施形態では、検出領域１２４ａはトリガインジケータ１３２も備える。トリガインジケータ１３２は、ユーザがオブジェクト１２４のトリガを引くと、ＯＮ、ＯＦＦとなる光の形をとってもよい。例えば、トリガが引かれ、トリガインジケータ１３２が点灯したときの検出領域１２４ａが図５Ｂに示されている。トリガインジケータ１３２が図５Ｂに示すように点灯すると、コンピュータ１０２上で実行中のコンピュータプログラムは、ユーザがコンピュータゲームのオブジェクトに正確に命中させたかどうかをユーザが認識することができるインジケータを、ディスプレイ画面１１０上に提供する。図５Ｃでは、トリガインジケータ１３２はＯＦＦ位置である。このとき、オブジェクト１２４は、能動的にトラッキングされているが、ユーザがオブジェクト１２４のトリガから指を離すと、発砲（連続発砲でも断続発砲でもよい）を中断できることを示している。トリガインジケータ１３２は、音波、超音波、可視光波、赤外線、無線など、どのような周波数範囲であってもよい。受動トリガインジケータ１３２は機械的音声によって実現されてもよく、この音声は、トリガが起動され、装置への音声入力を受信および復号化し、トリガが起動されたかどうかを判定すると生成される。
図６Ａは、トラッキングインジケータ１３０ａとトリガインジケータ１３２ａを提供する本発明の別の実施形態を示す。この例では、トラックインジケータ／トリガインジケータ１３０ａ，１３２ａは、距離（ｄ１）として示すように、この２つのインジケータ間の相対距離が決定されるように提供される。一例では、オブジェクトは、画像キャプチャ装置１０５に向けられているときに、コンピュータ１０２上で実行されているコンピュータプログラムに、距離ｄ１を確認させ、ディスプレイ画面上でインタラクティブなアクションを実行させることによって応答しうる。オブジェクト１２４ｂが図６Ａの初期位置に対して傾けられると、第２の距離（ｄ２）が計算される。この距離は、トラックインジケータ／トリガインジケータ１３０ａ，１３２ａ間の新しい距離である。図６Ｃに示すように、ユーザがオブジェクト１２４ｂを傾け続けると、距離（ｄ３）に示すように距離が縮まり続ける。オブジェクト１２４ｂが、図６Ａの垂直位置に対して水平位置に置かれると、トラックインジケータ１３０ａとトリガインジケータ１３２ａ間の距離がほぼゼロとなる。この時点で、プログラムは、ユーザが所定のトリガ動作、またはｄ１〜ｄ４の被検出距離検出時にトリガされうる他の動作をしようとしていると認識する。
別の実施形態では、コンピュータプログラムによる応答が、検出領域１２４ｂの傾斜角度に応じて徐々に変わってもよい。例えば、傾きが始まるとユーザがすぐに銃を発砲し始めて（または銃の発砲をトリガし始め）、図６Ｂの傾きから図６Ｄの傾きの間、行われてもよい。ユーザが銃を元の位置に立て直す、銃は発砲動作を中止しうる。このため、トラッキングインジケータおよびトリガインジケータ１３０ａ，１３２ｂのパターンまたは色を解析することによって生じた起動動作によって、さまざまなインタラクティブな方法で、コンピュータプログラムを応答させることができる。
このインタラクティビティの例として、ビデオゲームで使用中の銃の再充填操作の起動や、ビデオゲームプログラムで使用中の銃の種類の変更がある。これらの変更が処理されると、ビデオディスプレイ画面１１０は、提供され、画像キャプチャ装置によって検出されている制御に応じて、ユーザ向けに、さまざまなグラフィカルなアニメーションを生成する。
コマンドおよびトリガの状態は、ＯＮとＯＦＦのパラメータに限定されず、相対状態の位置、およびトリガインジケータとトラッキングインジケータの角度によって応じて段階的に変わってもよい。例えば、トリガの状態が、ＯＮまたはＯＦＦではなく、線形または可変の状態で判定されてもよい。相対トリガ位置を定義するために、遠隔制御レーストラックの加速度の制御に使用される抵抗タイプなど、どのような技術でも使用することができる。装置（この例では銃）は、当業界で公知の多くの技術によって、そのトリガの状態を符号化して伝送することによって、この値を伝達することができる。トリガの状態および装置の位置に基づいて、機械認識可能ジェスチャの全てに基づいたものなど、さまざまなコマンドおよびジェスチャを作り出すことができる。
図６Ｅ，６Ｆは、互いに異なる色を使用して、検出領域１２４ｃの位置間の傾きまたは相対傾きをトラッキングすることができる更に別の実施形態を示す。この例では、トラックインジケータおよびトリガインジケータ１３０ｂ，１３２ｂは、形が正方形または長方形であり、色付きのテープ、バーコード、光表示器、ＬＥＤ等によって定義することができる。例えば、ユーザが図６Ｅの位置から図６Ｆに検出領域１２４ｃをひっくり返すか傾けると、コンピュータディスプレイ画面に表示されるコンピュータゲームの反応が変わる。
図７は、ディスプレイ画面上のインタラクティビティの制御に手１２２を使用する本発明の別の実施形態を示す。ユーザは画像キャプチャ装置１０５の前に手１２２を出しており、この手が人物１１２の頭部に対してトラッキングされる。この例では、ユーザは手を伸ばしており、人差し指１４０がディスプレイ画面１１０を指している。ユーザの親指１４２は上を向いており、コンピュータ１０２上で実行中のコンピュータプログラムに対して、トリガ装置が起動されていないことを示している。ユーザの親指１４２が、人差し指１４０に向かって、方向１２２ａに下に動くと、コンピュータ１０２上で実行中のコンピュータプログラムは、キャプチャされたデジタル画像から、ユーザが、発砲しようとしているか、トリガしようとしているか、またはディスプレイ画面１１０上の特定の領域をインタラクティブにポイントしようとしていることを検出しうる。このため、ユーザの手の位置を変えることで、イベントを起動したり、実行されてディスプレイ画面１１０に表示されているコンピュータプログラムと、コマンドのインタラクティビティを行うことができる。例えば、ユーザが特定のゲームプログラムとのインタラクションを行っているときに、ユーザが、別の手のジェスチャによって発砲できたり、別のジェスチャによって銃に再装填できたり、ユーザの手を別の位置に動かしたり向きを変えると、ディスプレイ画面上のユーザまたは銃のグラフィカルな描画がさまざまに変わりうる。この実施形態では、トリガの状態が前述のようにＯＮまたはＯＦＦで判定されても、トリガが可変状態であると判定されてもよい。後者の場合、例えば、ユーザの親指の相対位置は、ポイントしている指と親指がほぼ直交する位置から、ポイントしている指と親指がほぼ平行となる位置までの範囲をとることができ、システムが、手の画像解析を実行して、親指の相対状態を求める。この状態が、マウスのスクロール−ホイールに関する方式などのさまざまな制御方式にマッピングされうる。
図８Ａ，８Ｂは、ユーザの手１２２を使用して、ディスプレイ画面での別の活動を識別または起動する別例を示す。この例では、図８Ａは、ユーザがディスプレイ画面１１０を直接ポイントしている状態を示しており、実行中のコンピュータプログラムが、キャプチャ装置によってキャプチャされたデジタル画像でこの手の向きを特定する。別の時点の後続のキャプチャ期間において、図８Ｂの像がキャプチャされて、コンピュータプログラムによって解析されうる。この例では、ユーザの手が、親指１４２が上を向いている状態から、親指１４２が横を向いている状態に倒されている。この向きでは、ユーザが、ディスプレイ画面上の銃の発砲またはグラフィックディスプレイ上のアイコンの選択を起動することができる。
このため、ユーザの手とユーザの手の向きの検出を使用して、ユーザの頭部に対するユーザの手と、ディスプレイ画面上の照準活動の位置の解析時に必要なインタラクティビティを提供することができる。照準活動によって、ユーザは、アイコンの選択、操作下での装置の制御、グラフィカルオブジェクトへの発砲、グラフィカルオブジェクトの選択またはスクロール、グラフィカルオブジェクトの選択解除、グラフィカルオブジェクトのオン／オフ、グラフィカルオブジェクトの散布（disperse）、または単に、ディスプレイ画面１１０に表示中のコンピュータプログラムのグラフィックアイコンおよび機能とのインタフェースを行うことができる。しかし、特定の構成では、本発明を使用しているシステムが、ディスプレイ画面上に、最小個数のアイコンしかないか、アイコンを使用せずに機能できることが望ましいことがある。アイコンに代わり、システムは、単にユーザのジェスチャを認識して、操作下で装置への制御入力を提供しうる。例えば、本発明と共に構成されるか、またはこれと一体化されるテレビ受像機または関連の周辺機器が、本発明によって制御されてもよい。例えば、チャネルの変更には、本発明で提案している方法に従ったジェスチャコマンドの認識とは異なり、アイコンとのインタラクションが必要とは限らない。
図９は、本発明の一実施形態による、照準方向を識別するためのプロセスを記載しているフローチャート図２００を示す。この方法は操作２０２において始まり、画像フレームをキャプチャするためのキャプチャ装置が提供される。フレームのキャプチャ速度は、特定の実装に応じて決まり、本明細書に記載する本発明を限定しない。一実施形態では、キャプチャ装置は、座標空間のキャプチャ位置を有する。図４に示すように、画像キャプチャ装置の座標空間は、（０，０，０）である。操作２０４において、コンピュータプログラムのインタラクティブなグラフィックを表現および表示するためのディスプレイ画面が提供される。
コンピュータプログラムのインタラクティブなグラフィックは、コンピュータゲームに関連していても、ユーザによるインタラクティビティを必要とするほかのどのようなプログラムまたはインタフェースに関連していてもよい。例えば、インタラクティビティには、オブジェクトの選択または選択解除、ファイルのオープン、チャネルの変更、テレビ番組の録画、ファイルのクローズ、ネットワークを介したファイルへのアクセス、インターネット、電子メールまたは電子ビデオメールによるユーザとのインタラクティブな通信、家電機器の選択、装置のオン／オフなどがある。次に、操作２０６において、画像キャプチャ装置のほぼ前に提示される画像がキャプチャされる。一実施形態では、この画像には、キャプチャされた空間の一部であり、ディスプレイ画面およびキャプチャ装置の前にいる人物が含まれている。
操作２０６において画像がキャプチャされると、操作２０８において、キャプチャされた画像内でみつかった人物の頭部の識別が行われる。このため、識別された人の頭部が解析されて、座標空間での、キャプチャ位置に対する頭部の位置が確認される。次に、方法は操作２１０に移り、画像内の人物が保持しているオブジェクトが識別される。オブジェクトの位置は、キャプチャ位置の座標空間に対して、オブジェクトの座標空間が特定されるように識別される。特定した頭部位置と特定したオブジェクト位置をメモリに記憶すると、操作２１２において、コンピュータプログラムが、キャプチャ位置の基準点（座標（０，０，０）など）からみた、座標空間での頭部位置とオブジェクト位置間の相対位置を特定しうる。上で説明したように、画像キャプチャ装置に対し、頭部および手の相対位置について、方位角と高度角が計算されうる。座標空間のこの相対位置が、キャプチャされたフレームについて計算される。
操作２１４において、特定したオブジェクト位置と頭部位置間の相対位置を使用して、オブジェクトの照準方向が決定される。コンピュータプログラムによって提供され、ディスプレイ画面に表示されるインタラクティブなグラフィックとインタラクションできるように、この照準方向がディスプレイ画面に表示される。
図１０は、コンピュータプログラムとのインタラクティビティ中にディスプレイ画面の方向に向けられているオブジェクトの照準方向を決定する際に実装されうる、より詳細なプロセス図２５０を示す。方法は操作２５２で始まり、画像フレームをキャプチャするためのキャプチャ装置が提供される。キャプチャ装置は、座標空間のキャプチャ位置を有する。キャプチャ位置の座標空間は、照準方向を識別するプロセスにおいて相対位置を決定する操作を実行するための基準点である。
方法は操作２５４に進み、コンピュータプログラムのインタラクティブなグラフィックを表現するためのディスプレイ画面が提供される。インタラクティブなグラフィックは、コンピュータゲームであっても、上で説明した他のどのようなプログラムでもあってもよい。操作２５６において、画像キャプチャ装置の前の画像がキャプチャされ、画像中に人物がキャプチャされる。キャプチャされた画像は、ビデオのデジタルフレームの画像などである。一実施形態では、ビデオのデジタルフレームは、ＪＰＥＧフレームであっても、圧縮ビデオフレームの一部（例えばＭＰＥＧなど）であってもよい。
次に、操作は操作２５８に進み、キャプチャされた画像内で人物の頭部が識別される。キャプチャされた画像で人の頭部が解析されて、画像キャプチャ装置に対する頭部位置とその座標空間が決定される。方法は操作２６０に移り、画像内の人物が保持しているオブジェクトが識別され、座標空間のオブジェクト位置が決定される。操作２６２において、キャプチャ装置のキャプチャ位置からみた、座標空間での頭部位置とオブジェクト位置間の相対位置が特定される。相対位置には、画像キャプチャ装置に対する方位角および高度角の計算が含まれる。
操作２６４において、コンピュータプログラムの実行中に、操作２５６，２５８，２６０，２６２に対応する、Ａ，Ｂ，Ｃ，Ｄの操作が、コンピュータプログラムの性能に望ましい速度に応じて、反復的かつ連続して実行される。例えば、操作Ａ〜Ｄの実行は、キャプチャされるフレームごとに実行されても、所定の数のフレームがキャプチャされたあとに実行されてもよい。このため、操作Ａ〜Ｄが実行される速度は、特定の環境、ポインタ位置の正確な検出の要否、およびディスプレイ画面上でのインタラクティブなオブジェクトの選択能力に応じて決まる。ディスプレイ画面が、オブジェクトが高速で移動するビデオゲームを処理している場合には、トラッキング操作は、ビデオディスプレイ画面に表示されるフレームごとに操作Ａ〜Ｄを実行する必要がありうる。
操作２６６において、方法は、相対位置を使用して、オブジェクトの照準および位置を連続して更新する。コンピュータプログラムのインタラクティブなグラフィックとのインタラクションが行えるように、照準方向がディスプレイ画面に表示される。この場合も、照準方向により、ユーザは、アイコンの選択、アイコンの選択解除、アイコンの移動、オブジェクトのオープン、ファイルのオープン、ファイルの保存、ファイルの移動、およびファイルデータベースの一部またはコンピュータデスクトップ上のグラフィカルなユーザインタフェースの一部でありうるファイルとのインタラクションなどを行うことができることを理解すべきである。
図１１は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。図１１に示すように、ユーザ入力システムは、ビデオキャプチャ装置３００、入力画像プロセッサ３０２、出力画像プロセッサ３０４、およびビデオ表示装置３０６から構成される。ビデオキャプチャ装置３００は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ（ウェブカメラなど）や同様の画像キャプチャ装置である。前述のように、ビデオキャプチャ装置は、深度画像を提供するように構成されうる。入力画像プロセッサ３０２は、キャプチャされた制御オブジェクトのビデオ画像を信号に変換し、この信号が出力画像プロセッサに送られる。一実施形態では、入力画像プロセッサ３０２は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および／または移動に応じた出力信号を発生させるようにプログラムされる。出力画像プロセッサ３０４は、入力画像プロセッサ３０２から受け取った信号に応じて、ビデオ表示装置３０６に表示したオブジェクトの並進移動および／または回転移動を変更するようにプログラムされる。
本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する１つ以上のプロセッサによって実装されうる。本発明の一実施形態によれば、１つのプロセッサが入力画像処理と出力画像処理の両方を実行する。しかし、図に示すように、説明を容易にするために、処理操作が、入力画像プロセッサ３０２と出力画像プロセッサ３０４に分けられるものとして説明する。本発明が、特定のプロセッサの構成（複数プロセッサなど）に限定されると解釈すべきではないことを留意すべきである。図１１の複数の処理ブロックは、説明の便宜上、示したに過ぎない。
図１２は、本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。この処理システムは、メインメモリ４２０とグラフィック処理ユニット（ＧＰＵ）４２６に結合された中央処理装置（ＣＰＵ）４２４を備えた、コンピュータベースのエンターテイメントシステムの実施形態であってもよい。ＣＰＵ４２４は、入出力プロセッサ（Input/Output Processor：ＩＯＰ）バス４２８にも結合されている。一実施形態では、ＧＰＵ４２６は、ピクセルベースのグラフィックデータを高速に処理するために内部バッファを備える。更に、ＧＰＵ４２６は、エンターテイメントシステムまたはその構成要素の外部に接続された表示装置４２７に送信するために、画像データを処理して、例えばＮＴＳＣやＰＡＬなどの標準のテレビジョン信号に変換する出力処理部またはその機能を備えうる。別の実施形態では、データ出力信号が、コンピュータモニタ、ＬＣＤ（液晶ディスプレイ）装置やその他のタイプの表示装置などのテレビジョンモニタ以外の表示装置に供給されてもよい。
ＩＯＰバス４２８は、ＣＰＵ４２４を、各種の入出力装置、または他のバスやデバイスに接続している。ＩＯＰバス４２８は、入出力プロセッサメモリ４３０、コントローラ４３２、メモリカード４３４、ユニバーサルシリアルバス（ＵＳＢ）ポート４３６、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅインタフェースとも呼ばれる）ポート４３８、およびバス４５０に接続されている。バス４５０は、システムの他のいくつかの構成要素をＣＰＵ４２４に接続しており、このような構成要素には、オペレーティングシステム（ＯＳ）ＲＯＭ４４０、フラッシュメモリ４４２、音声処理ユニット（ＳＰＵ）４４４、光ディスク制御４、ハードディスクドライブ（ＨＤＤ）４４８がある。この実施形態の一態様では、ビデオキャプチャ装置は、ＩＯＰバス４２８に直結されていてもよく、これを介してＣＰＵ４２４に送信を行っており、ＣＰＵ４２４では、ビデオキャプチャ装置からのデータを使用して、ＧＰＵ４２６でグラフィック画像の生成に使用される値が変更または更新される。更に、本発明の各種実施形態は、画像処理のさまざまな構成および技術を使用することができ、これには、２００３年２月１１日出願の米国特許出願第１０／３６５,１２０号明細書「リアルタイムのモーションキャプチャのための方法および装置（METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE）」に記載されたものなどがある。コンピュータ処理システムは、ＣＥＬＬ（登録商標）プロセッサで実行されうる。
本発明の態様を実施するプログラムまたはコンピュータ命令は、複数の異なる方法で提供することができる。例えば、グラフィックイメージとのインタラクションのためのユーザ入力の方法は、ＨＤＤ４４８、フラッシュメモリ４４２、ＯＳ ＲＯＭ２４０またはオンメモリカード４３２に格納されているプログラムの形で提供することができる。別の実施形態では、プログラムが、ＣＰＵ４２４に接続された１つ以上の入力ポートを介して、処理ユニットにダウンロードされてもよい。入力方法を定義しているプログラムモジュールは、ＣＰＵ４２４によって実行され、ディスプレイ装置４２７に表示されるゲームまたはアプリケーションのプログラムと一緒に提供されても、または、例えばローカルメインメモリ４２０から実行するために、アプリケーションプログラムとは別に提供されてもよい。
更に別の実施形態では、プログラムは、インターネットに接続されたサーバで一部実行され、ローカルコンピュータ（ゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータまたは無線携帯装置など）で一部実行されてもよい。更に、実行が、リモートサーバまたは処理装置で完全に行われ、この処理装置が、ローカルのディスプレイ画面に実行結果を提供してもよい。この場合、ローカルのディスプレイまたはシステムは、ネットワーク（インターネットなど）を介してデータを受け取り、グラフィックデータを画面に表現するための最小限の処理機能を備える必要がある。キャプチャ装置を介したユーザの入力がサーバに送信されて、その後、応答が画面に表現されうる。
図１３Ａ〜１３Ｃは、方向照準（directional pointing）の実行に使用するオブジェクトをより正確に識別するために、深度データが考慮される実施形態を示す。オブジェクトは、人物が保持している物体であっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。
さらに、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。
図１３Ａは、本発明の一実施形態による、リアルタイムの三次元のインタラクティブな環境を提供するための例示的なシステム５００のブロック図である。図１３Ａに示すように、システム５００は、深度カメラ５０２、入力画像プロセッサ５０４、出力画像プロセッサ５０６、およびビデオ表示装置５０８を有する。
上で説明したように、深度カメラ５０２は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供する。図１３Ｂ，１３Ｃは、代表的な深度カメラ５０２が生成する画像を示す。より詳細には、図１３Ｂは、代表的な深度カメラを使用してキャプチャされた二次元データ５２０を示す図である。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。例えば、図１３Ｂにおいて、例示的なシーンには、丘陵５２８の間に置いたテーブル５２６の上に配置された円筒形のオブジェクト５２２と球体のオブジェクト５２４が含まれる。
しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値もキャプチャする。図１３Ｃは、代表的な深度カメラを使用してキャプチャされた深度データ５５０を示す図である。図１３Ｂに示すように、深度カメラは、シーン内の各ピクセルについて、ＲＧＢ値を使用してシーンのｘ成分とｙ成分をキャプチャする。しかし、図１３Ｃに示すように、深度カメラは、シーンの深度値を表すシーンのｚ成分もキャプチャする。深度値はｚ軸に対応しているため、深度値は、「ｚ値」と呼ばれることも多い。
動作時に、シーンの各ピクセルについてｚ値がキャプチャされる。各ｚ値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。例えば、図１３Ｃでは、円筒形のオブジェクト５５２、球体のオブジェクト５５４、およびテーブル５５６の一部についてｚ値が示されている。
また、最大検出範囲が、深度値が検出されなくなる境界を定義している。例えば、図１３Ｃでは、最大深度範囲５５８は垂直面として図示され、ここでは全てのピクセルが同じ深度値を与えられる。以下で詳しく説明するように、本発明の各種実施形態では、この最大範囲面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてｚ値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。深度分析の詳細については、２００３年５月２９日出願の米国特許出願第１０／４４８,６１４号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法（System and Method for Providing a Real-time three dimensional interactive environment）」を参照されたい。
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、電磁搬送波（electromagnetic wave carrier）を含め、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
Claims (24)
- コンピュータが実行する、コンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法であって、前記コンピュータが、
（ａ）画像キャプチャ装置の前に提示される画像をキャプチャするステップを実行し、前記画像キャプチャ装置は、座標空間内にキャプチャ位置を設定するものであり、前記キャプチャ位置は、照準方向を識別するための基準点であり、
前記画像中に人物がキャプチャされた場合に、
（ｂ）前記画像内で人の頭部を識別し、前記人の頭部に、前記座標空間内の頭部位置を割り当てるステップを実行し、
（ｃ）前記画像内で、前記人物が保持しているオブジェクトを識別し、前記オブジェクトに、前記座標空間内のオブジェクト位置を割り当てるステップを実行し、
（ｄ）前記キャプチャ位置からみた、前記頭部位置と前記オブジェクト位置間の座標空間内での相対位置を特定するステップを実行し、前記相対位置は、前記画像キャプチャ装置からみた、前記オブジェクトの照準方向を定義するものであり、かつ、前記相対位置は、前記キャプチャ位置に対する、前記頭部位置と前記オブジェクト位置間の方位角および高度角を計算することによって識別され、
（ｅ）前記オブジェクトの照準方向をディスプレイ画面に表示する、方法。 - 前記キャプチャ位置は、ディスプレイ画面に近い位置にあり、前記ディスプレイ画面はコンピュータプログラムとインタラクションを行うグラフィックを表現することが可能である、請求項１に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記照準方向は前記ディスプレイ画面に向かう方向である、請求項２に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記照準方向を更新するためにステップ（ａ）〜（ｅ）を連続して繰り返し、
前記連続して更新された照準方向を前記ディスプレイ画面に表示するステップと、
を更に実行する、請求項２に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。 - 前記表示された照準方向を使用して、特定のコンピュータプログラムとインタラクションを行うグラフィックを選択できるようにするステップを更に実行する、請求項４に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記選択は、検出されたトリガイベントに応えて行われる、請求項５に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記検出されたトリガイベントは前記画像内で識別され、前記識別には、
第１の時点で、前記人物が保持している前記オブジェクトの第１の特性を識別するステップと、
第２の時点で、前記人物が保持している前記オブジェクトの第２の特性を識別するステップと、を実行し、
前記第１の時点と前記第２の時点の間に、第１の特性と前記第２の特性間にある程度の差があると決定されると、前記トリガイベントが起動される、請求項６に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。 - 前記トリガイベントの起動は、前記コンピュータプログラムとインタラクションを行うグラフィックとのインタラクティブな処理が生じたことを示す、請求項７に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記インタラクティブな処理には、グラフィックの選択、グラフィックへの発砲、グラフィックへの接触、グラフィックの移動、グラフィックのアクティブ化、およびグラフィックへの操作またはグラフィックとの操作の１つ以上が含まれうる、請求項８に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記人物が保持している前記オブジェクトの識別は、前記オブジェクトの一部分の色のトラッキングによって容易に行うことができる、請求項１に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 色のトラッキングには、色の違いの識別と、色のオン／オフ動作の状態の識別とのいずれか、またはこれらの組合せが含まれる、請求項１０に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記人物が保持している前記オブジェクトの識別は、（ａ）〜（ｅ）の繰り返し時に、前記オブジェクトの位置の変化の特定によって容易に行うことができる、請求項４に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- 前記コンピュータプログラムはビデオゲームプログラムである、請求項１に記載のコンピュータプログラムとインタフェースするオブジェクトの照準方向を検出するための方法。
- コンピュータが実行する、コンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法であって、前記コンピュータが、
（ａ）画像キャプチャ装置の前に提示される画像をキャプチャするステップを実行し、前記画像キャプチャ装置は、前記ディスプレイ画面の近傍に座標空間内のキャプチャ位置を設定するものであり、
前記画像中に人物がキャプチャされた場合に、
（ｂ）前記画像内で前記人物の第１の体の部分を識別し、前記第１の体の部分に、前記座標空間内の第１の位置を割り当てるステップを実行し、
（ｃ）前記画像内で前記人物の第２の体の部分を識別し、前記第２の体の部分に、前記座標空間内の第２の位置を割り当てるステップを実行し、
（ｄ）前記キャプチャ位置からみた、座標空間内での前記第１の位置と前記第２の位置間の相対位置を特定するステップを実行し、前記相対位置は、前記ディスプレイ画面の近くの前記キャプチャ位置において、前記画像キャプチャ装置からみた、前記第２の体の部分の照準方向を定義しており、かつ、前記相対位置は、前記キャプチャ位置に対する、前記第１の位置と前記第２の位置間の方位角および高度角を計算することによって識別され、
（ｅ）前記オブジェクトの照準方向をディスプレイ画面に表示する、方法。 - 前記第１の体の部分は人の頭部であり、前記第２の体の部分は人の手である、請求項１４に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記コンピュータプログラムの実行中に連続して（ａ）〜（ｅ）が繰り返され、
前記（ａ）〜（ｅ）の繰り返し中に、特定の形の変化を決定するために前記人の手の形を検査する、請求項１５に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。 - 特定の形の変化が前記コンピュータプログラムとインタラクションを行うグラフィックとのインタラクティブな処理を生じさせる、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記インタラクティブな処理には、グラフィックの選択、グラフィックへの発砲、グラフィックへの接触、グラフィックの移動、グラフィックのアクティブ化、およびグラフィックへの操作またはグラフィックとの操作の１つ以上が含まれうる、請求項１７に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記第２の体の部分は、前記人の手が保持するオブジェクトによって識別される、請求項１４に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記オブジェクトは色を有する、請求項１４に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記色は、前記コンピュータプログラムとインタラクションを行うグラフィックとのインタラクティブな処理を生じさせるように、状態を切り替えることができる、請求項２０に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記オブジェクトに更に色が存在し、前記色は、前記コンピュータプログラムとインタラクションを行うグラフィックとのインタラクティブな処理を生じさせるために状態を切り替えられる、請求項２１に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記色は、前記コンピュータプログラムとインタラクションを行うグラフィックとのインタラクティブな処理を生じさせるために、オン／オフ状態を切り替えることができる、請求項２０に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
- 前記コンピュータプログラムはビデオゲームプログラムである、請求項１４に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/301,673 | 2005-12-12 | ||
| US11/301,673 US7646372B2 (en) | 2003-09-15 | 2005-12-12 | Methods and systems for enabling direction detection when interfacing with a computer program |
| PCT/US2006/047111 WO2007078639A1 (en) | 2005-12-12 | 2006-12-08 | Methods and systems for enabling direction detection when interfacing with a computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009519105A JP2009519105A (ja) | 2009-05-14 |
| JP5084052B2 true JP5084052B2 (ja) | 2012-11-28 |
Family
ID=37834200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008545704A Active JP5084052B2 (ja) | 2005-12-12 | 2006-12-08 | コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7646372B2 (ja) |
| EP (1) | EP1960069A1 (ja) |
| JP (1) | JP5084052B2 (ja) |
| WO (1) | WO2007078639A1 (ja) |
Families Citing this family (262)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7161579B2 (en) * | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US8073157B2 (en) * | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
| US7809145B2 (en) * | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
| US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US7803050B2 (en) | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8139793B2 (en) | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8233642B2 (en) | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US9682319B2 (en) * | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US20040268393A1 (en) * | 2003-05-08 | 2004-12-30 | Hunleth Frank A. | Control framework with a zoomable graphical user interface for organizing, selecting and launching media items |
| US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
| US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US7852317B2 (en) | 2005-01-12 | 2010-12-14 | Thinkoptics, Inc. | Handheld device for handheld vision based absolute pointing system |
| JP4441879B2 (ja) * | 2005-06-28 | 2010-03-31 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| JP4773170B2 (ja) * | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
| US8888593B2 (en) * | 2005-10-26 | 2014-11-18 | Sony Computer Entertainment Inc. | Directional input for a video game |
| WO2007098537A1 (en) * | 2006-03-01 | 2007-09-07 | Brennan Broadcast Group Pty Ltd | Detecting contacts during sporting activities etc |
| US20070265075A1 (en) * | 2006-05-10 | 2007-11-15 | Sony Computer Entertainment America Inc. | Attachable structure for use with hand-held controller having tracking ability |
| CN103778635B (zh) | 2006-05-11 | 2016-09-28 | 苹果公司 | 用于处理数据的方法和装置 |
| US8384665B1 (en) * | 2006-07-14 | 2013-02-26 | Ailive, Inc. | Method and system for making a selection in 3D virtual environment |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| US8096880B2 (en) * | 2006-08-15 | 2012-01-17 | Nintendo Co., Ltd. | Systems and methods for reducing jitter associated with a control device |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US20080120115A1 (en) * | 2006-11-16 | 2008-05-22 | Xiao Dong Mao | Methods and apparatuses for dynamically adjusting an audio signal based on a parameter |
| US8771071B2 (en) * | 2006-11-22 | 2014-07-08 | Sony Computer Entertainment America Llc | System and method of rendering controller information |
| US8116294B2 (en) * | 2007-01-31 | 2012-02-14 | Broadcom Corporation | RF bus controller |
| US20080320293A1 (en) * | 2007-01-31 | 2008-12-25 | Broadcom Corporation | Configurable processing core |
| US9486703B2 (en) | 2007-01-31 | 2016-11-08 | Broadcom Corporation | Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith |
| US8438322B2 (en) * | 2007-01-31 | 2013-05-07 | Broadcom Corporation | Processing module with millimeter wave transceiver interconnection |
| US20090011832A1 (en) * | 2007-01-31 | 2009-01-08 | Broadcom Corporation | Mobile communication device with game application for display on a remote monitor and methods for use therewith |
| US8280303B2 (en) * | 2007-01-31 | 2012-10-02 | Broadcom Corporation | Distributed digital signal processor |
| US8238275B2 (en) * | 2007-01-31 | 2012-08-07 | Broadcom Corporation | IC with MMW transceiver communications |
| US20090197641A1 (en) * | 2008-02-06 | 2009-08-06 | Broadcom Corporation | Computing device with handheld and extended computing units |
| US8289944B2 (en) * | 2007-01-31 | 2012-10-16 | Broadcom Corporation | Apparatus for configuration of wireless operation |
| US8254319B2 (en) * | 2007-01-31 | 2012-08-28 | Broadcom Corporation | Wireless programmable logic device |
| US8121541B2 (en) * | 2007-01-31 | 2012-02-21 | Broadcom Corporation | Integrated circuit with intra-chip and extra-chip RF communication |
| US8223736B2 (en) * | 2007-01-31 | 2012-07-17 | Broadcom Corporation | Apparatus for managing frequency use |
| US8200156B2 (en) * | 2007-01-31 | 2012-06-12 | Broadcom Corporation | Apparatus for allocation of wireless resources |
| US8239650B2 (en) * | 2007-01-31 | 2012-08-07 | Broadcom Corporation | Wirelessly configurable memory device addressing |
| US8204075B2 (en) * | 2007-01-31 | 2012-06-19 | Broadcom Corporation | Inter-device wireless communication for intra-device communications |
| US8125950B2 (en) * | 2007-01-31 | 2012-02-28 | Broadcom Corporation | Apparatus for wirelessly managing resources |
| US20090017910A1 (en) * | 2007-06-22 | 2009-01-15 | Broadcom Corporation | Position and motion tracking of an object |
| US20090046056A1 (en) * | 2007-03-14 | 2009-02-19 | Raydon Corporation | Human motion tracking device |
| RU2472206C2 (ru) * | 2007-03-30 | 2013-01-10 | Конинклейке Филипс Электроникс Н.В. | Пространственная мышь - устройство связи |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
| US8690670B2 (en) | 2007-06-14 | 2014-04-08 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock band experience |
| GB2451461A (en) * | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
| US20090062943A1 (en) * | 2007-08-27 | 2009-03-05 | Sony Computer Entertainment Inc. | Methods and apparatus for automatically controlling the sound level based on the content |
| JP5307014B2 (ja) * | 2007-09-07 | 2013-10-02 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、ゲーム装置およびコンピュータプログラム |
| JP4569613B2 (ja) | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5564946B2 (ja) * | 2007-09-20 | 2014-08-06 | 日本電気株式会社 | 映像提供システム、および映像提供方法 |
| TWI372645B (en) * | 2007-10-17 | 2012-09-21 | Cywee Group Ltd | An electronic game controller with motion-sensing capability |
| US8542907B2 (en) * | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| US9066047B2 (en) * | 2007-12-19 | 2015-06-23 | Echostar Technologies L.L.C. | Apparatus, systems, and methods for accessing an interactive program |
| US8149210B2 (en) * | 2007-12-31 | 2012-04-03 | Microsoft International Holdings B.V. | Pointing device and method |
| US8225343B2 (en) | 2008-01-11 | 2012-07-17 | Sony Computer Entertainment America Llc | Gesture cataloging and recognition |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US20090184981A1 (en) * | 2008-01-23 | 2009-07-23 | De Matos Lucio D Orazio Pedro | system, method and computer program product for displaying images according to user position |
| US8117370B2 (en) * | 2008-02-06 | 2012-02-14 | Broadcom Corporation | IC for handheld computing unit of a computing device |
| US8175646B2 (en) * | 2008-02-06 | 2012-05-08 | Broadcom Corporation | Networking of multiple mode handheld computing unit |
| US8717974B2 (en) * | 2008-02-06 | 2014-05-06 | Broadcom Corporation | Handheld computing unit coordination of femtocell AP functions |
| US20090198798A1 (en) * | 2008-02-06 | 2009-08-06 | Broadcom Corporation | Handheld computing unit back-up system |
| US8064952B2 (en) * | 2008-02-06 | 2011-11-22 | Broadcom Corporation | A/V control for a computing device with handheld and extended computing units |
| US8195928B2 (en) * | 2008-02-06 | 2012-06-05 | Broadcom Corporation | Handheld computing unit with merged mode |
| US8368753B2 (en) * | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| US20090280901A1 (en) * | 2008-05-09 | 2009-11-12 | Dell Products, Lp | Game controller device and methods thereof |
| US8430750B2 (en) * | 2008-05-22 | 2013-04-30 | Broadcom Corporation | Video gaming device with image identification |
| TWM347881U (en) * | 2008-06-19 | 2009-01-01 | Chia-Ching Lee | Structure of elastic cloth cushion body |
| WO2010006054A1 (en) | 2008-07-08 | 2010-01-14 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock and band experience |
| US8133119B2 (en) * | 2008-10-01 | 2012-03-13 | Microsoft Corporation | Adaptation for alternate gaming input devices |
| US8221229B2 (en) * | 2008-10-27 | 2012-07-17 | Sony Computer Entertainment Inc. | Spherical ended controller with configurable modes |
| US20100120531A1 (en) * | 2008-11-13 | 2010-05-13 | Microsoft Corporation | Audio content management for video game systems |
| JP2010122879A (ja) * | 2008-11-19 | 2010-06-03 | Sony Ericsson Mobile Communications Ab | 端末装置、表示制御方法および表示制御プログラム |
| US8659590B1 (en) * | 2008-12-17 | 2014-02-25 | Nvidia Corporation | System, method, and computer program product for modifying signals of a three-dimensional graphics application program based on a tracking algorithm |
| US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
| US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| US8577084B2 (en) * | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US9652030B2 (en) | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
| US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
| US8565476B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
| US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8866821B2 (en) | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
| US8565477B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US9740341B1 (en) | 2009-02-26 | 2017-08-22 | Amazon Technologies, Inc. | Capacitive sensing with interpolating force-sensitive resistor array |
| US10180746B1 (en) | 2009-02-26 | 2019-01-15 | Amazon Technologies, Inc. | Hardware enabled interpolating sensor and display |
| US8773355B2 (en) * | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
| US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| KR101666995B1 (ko) * | 2009-03-23 | 2016-10-17 | 삼성전자주식회사 | 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법 |
| US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
| US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
| US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
| US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
| US8638985B2 (en) | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
| US20100277470A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
| US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US8181123B2 (en) * | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
| US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
| US8953029B2 (en) * | 2009-05-08 | 2015-02-10 | Sony Computer Entertainment America Llc | Portable device interaction via motion sensitive controller |
| US20100295771A1 (en) * | 2009-05-20 | 2010-11-25 | Microsoft Corporation | Control of display objects |
| US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
| US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US8145594B2 (en) * | 2009-05-29 | 2012-03-27 | Microsoft Corporation | Localized gesture aggregation |
| US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
| US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US20100302138A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
| US8176442B2 (en) * | 2009-05-29 | 2012-05-08 | Microsoft Corporation | Living cursor control mechanics |
| US8449360B2 (en) | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
| US20100306716A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
| US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
| US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
| US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
| US8625837B2 (en) * | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
| US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
| US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
| US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| US8803889B2 (en) | 2009-05-29 | 2014-08-12 | Microsoft Corporation | Systems and methods for applying animations or motions to a character |
| US7914344B2 (en) * | 2009-06-03 | 2011-03-29 | Microsoft Corporation | Dual-barrel, connector jack and plug assemblies |
| US20100311512A1 (en) * | 2009-06-04 | 2010-12-09 | Timothy James Lock | Simulator with enhanced depth perception |
| US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
| US9159151B2 (en) * | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
| US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| US9244562B1 (en) | 2009-07-31 | 2016-01-26 | Amazon Technologies, Inc. | Gestures and touches on force-sensitive input devices |
| US9785272B1 (en) | 2009-07-31 | 2017-10-10 | Amazon Technologies, Inc. | Touch distinction |
| US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
| US9141193B2 (en) * | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
| US8438503B2 (en) * | 2009-09-02 | 2013-05-07 | Universal Electronics Inc. | System and method for enhanced command input |
| US8508919B2 (en) * | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
| US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
| US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
| US8305188B2 (en) * | 2009-10-07 | 2012-11-06 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
| US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
| GB2474536B (en) | 2009-10-13 | 2011-11-02 | Pointgrab Ltd | Computer vision gesture based control of a device |
| WO2011056657A2 (en) | 2009-10-27 | 2011-05-12 | Harmonix Music Systems, Inc. | Gesture-based user interface |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| US20110109617A1 (en) * | 2009-11-12 | 2011-05-12 | Microsoft Corporation | Visualizing Depth |
| US8787663B2 (en) | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| US8636572B2 (en) | 2010-03-16 | 2014-01-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| JP5320332B2 (ja) * | 2010-03-19 | 2013-10-23 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
| US8878821B2 (en) * | 2010-04-29 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | System and method for providing object location information and physical contact information |
| US9180365B2 (en) * | 2010-05-10 | 2015-11-10 | Sony Computer Entertainment America Llc | Polymorphic firearm controller |
| US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
| US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
| WO2011155958A1 (en) | 2010-06-11 | 2011-12-15 | Harmonix Music Systems, Inc. | Dance game and tutorial |
| US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US8381108B2 (en) * | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
| US8467599B2 (en) | 2010-09-02 | 2013-06-18 | Edge 3 Technologies, Inc. | Method and apparatus for confusion learning |
| US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| US9354718B2 (en) | 2010-12-22 | 2016-05-31 | Zspace, Inc. | Tightly coupled interactive stereo display |
| US8570320B2 (en) * | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
| WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
| US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| US20120249468A1 (en) * | 2011-04-04 | 2012-10-04 | Microsoft Corporation | Virtual Touchpad Using a Depth Camera |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| JP2012242948A (ja) | 2011-05-17 | 2012-12-10 | Sony Corp | 表示制御装置および方法、並びにプログラム |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| KR101302638B1 (ko) | 2011-07-08 | 2013-09-05 | 더디엔에이 주식회사 | 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
| US20130100015A1 (en) * | 2011-10-25 | 2013-04-25 | Kenneth Edward Salsman | Optical input devices |
| US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| CN104246682B (zh) | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
| US8933912B2 (en) * | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| TWI444851B (zh) * | 2012-04-18 | 2014-07-11 | Au Optronics Corp | 三度空間互動系統及三度空間互動方法 |
| US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
| US9170667B2 (en) | 2012-06-01 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contextual user interface |
| US8777226B1 (en) * | 2012-06-21 | 2014-07-15 | Robert Hubert Decker, Jr. | Proxy target system |
| US20140018169A1 (en) * | 2012-07-16 | 2014-01-16 | Zhong Yuan Ran | Self as Avatar Gaming with Video Projecting Device |
| US8779908B2 (en) * | 2012-07-16 | 2014-07-15 | Shmuel Ur | System and method for social dancing |
| KR102035134B1 (ko) * | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US9081413B2 (en) * | 2012-11-20 | 2015-07-14 | 3M Innovative Properties Company | Human interaction system based upon real-time intention detection |
| US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
| US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
| US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
| US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
| US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
| US9625995B2 (en) * | 2013-03-15 | 2017-04-18 | Leap Motion, Inc. | Identifying an object in a field of view |
| US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| JP6000929B2 (ja) * | 2013-11-07 | 2016-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US9547412B1 (en) * | 2014-03-31 | 2017-01-17 | Amazon Technologies, Inc. | User interface configuration to avoid undesired movement effects |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| JP2018528551A (ja) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | ユーザー基準空間座標系上におけるジェスチャー検出方法および装置 |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| US20170168592A1 (en) * | 2015-12-14 | 2017-06-15 | Volodymyr Mishyn | System and method for optical tracking |
| US10102423B2 (en) * | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| CN110431602A (zh) * | 2017-03-23 | 2019-11-08 | 索尼互动娱乐股份有限公司 | 信息处理系统、用于控制信息处理系统的控制方法和程序 |
| JP6755843B2 (ja) | 2017-09-14 | 2020-09-16 | 株式会社東芝 | 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| CN110047487B (zh) * | 2019-06-05 | 2022-03-18 | 广州小鹏汽车科技有限公司 | 车载语音设备的唤醒方法、装置、车辆以及机器可读介质 |
Family Cites Families (290)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3943277A (en) | 1969-02-20 | 1976-03-09 | The United States Of America As Represented By The Secretary Of The Navy | Digital memory area correlation tracker |
| US4313227A (en) | 1979-01-29 | 1982-01-26 | Texas Instruments Incorporated | Light energy information transmission system |
| US4263504A (en) | 1979-08-01 | 1981-04-21 | Ncr Corporation | High density matrix code |
| US6772057B2 (en) | 1995-06-07 | 2004-08-03 | Automotive Technologies International, Inc. | Vehicular monitoring systems using image processing |
| US4565999A (en) | 1983-04-01 | 1986-01-21 | Prime Computer, Inc. | Light pencil |
| US4558864A (en) | 1984-06-13 | 1985-12-17 | Medwedeff Marion C | Handgrip exercising, computer game controller |
| US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| JPS6347616A (ja) | 1986-08-15 | 1988-02-29 | Ricoh Co Ltd | 移動量測定方法 |
| JPH02502680A (ja) | 1987-02-04 | 1990-08-23 | メイヨ・ファウンデイション・フォー・メディカル・エデュケイション・アンド・リサーチ | ６自由度を有するジョイステック装置 |
| US4802227A (en) | 1987-04-03 | 1989-01-31 | American Telephone And Telegraph Company | Noise reduction processing arrangement for microphone arrays |
| GB2206716A (en) | 1987-07-06 | 1989-01-11 | Gen Electric Plc | Apparatus for monitoring the presence or movement of an object |
| IT1219405B (it) | 1988-06-27 | 1990-05-11 | Fiat Ricerche | Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia |
| JPH05501020A (ja) | 1988-12-20 | 1993-02-25 | ミート リサーチ コーポレーション | 光学的に読取り可能なコード化された物標 |
| US5034986A (en) | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
| US5055840A (en) | 1990-01-16 | 1991-10-08 | Carroll Touch Incorporated | Infrared touch input device and light emitted activation circuit |
| WO1991017522A1 (en) | 1990-05-01 | 1991-11-14 | Wang Laboratories, Inc. | Hands-free hardware keyboard |
| US5111401A (en) | 1990-05-19 | 1992-05-05 | The United States Of America As Represented By The Secretary Of The Navy | Navigational control system for an autonomous vehicle |
| US5662111A (en) | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
| US5485273A (en) * | 1991-04-22 | 1996-01-16 | Litton Systems, Inc. | Ring laser gyroscope enhanced resolution system |
| US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| US5144594A (en) | 1991-05-29 | 1992-09-01 | Cyber Scientific | Acoustic mouse system |
| US5455685A (en) | 1991-09-04 | 1995-10-03 | Fuji Photo Film Co., Ltd. | Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed |
| US5889670A (en) | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
| US5444462A (en) | 1991-12-16 | 1995-08-22 | Wambach; Mark L. | Computer mouse glove with remote communication |
| US5790834A (en) * | 1992-08-31 | 1998-08-04 | Intel Corporation | Apparatus and method using an ID instruction to identify a computer microprocessor |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US7098891B1 (en) * | 1992-09-18 | 2006-08-29 | Pryor Timothy R | Method for providing human input to a computer |
| US5394168A (en) * | 1993-01-06 | 1995-02-28 | Smith Engineering | Dual-mode hand-held game controller |
| US5335011A (en) | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
| DE69414153T2 (de) | 1993-02-24 | 1999-06-10 | Matsushita Electric Ind Co Ltd | Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung |
| JP3679426B2 (ja) | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| US5677710A (en) | 1993-05-10 | 1997-10-14 | Apple Computer, Inc. | Recognition keypad |
| US5297061A (en) | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
| US5959596A (en) * | 1993-06-24 | 1999-09-28 | Nintendo Co., Ltd. | Airline-based video game and communications system |
| US5473701A (en) | 1993-11-05 | 1995-12-05 | At&T Corp. | Adaptive microphone array |
| JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| FR2714502A1 (fr) | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| US5611000A (en) | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US5543818A (en) | 1994-05-13 | 1996-08-06 | Sony Corporation | Method and apparatus for entering text using an input device having a small number of keys |
| US5846086A (en) * | 1994-07-01 | 1998-12-08 | Massachusetts Institute Of Technology | System for human trajectory learning in virtual environments |
| US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| GB2301514B (en) | 1994-12-01 | 1999-06-09 | Namco Ltd | Apparatus and method for image synthesization |
| JP3270643B2 (ja) | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | 指示位置検出方法及び装置 |
| US5929444A (en) | 1995-01-31 | 1999-07-27 | Hewlett-Packard Company | Aiming device using radiated energy |
| US5568928A (en) | 1995-02-01 | 1996-10-29 | Exertron, Inc. | Video game controller for use with an exercise apparatus |
| US5638228A (en) | 1995-02-14 | 1997-06-10 | Iomega Corporation | Retroreflective marker for data storage cartridge |
| US5930741A (en) * | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
| US5583478A (en) | 1995-03-01 | 1996-12-10 | Renzi; Ronald | Virtual environment tactile system |
| US5900863A (en) | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
| KR19990008158A (ko) | 1995-04-28 | 1999-01-25 | 모리시타요우이치 | 인터페이스 장치 |
| US5706364A (en) | 1995-04-28 | 1998-01-06 | Xerox Corporation | Method of producing character templates using unsegmented samples |
| US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| US5649021A (en) | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
| AU6135996A (en) | 1995-06-22 | 1997-01-22 | 3Dv Systems Ltd. | Improved optical ranging camera |
| IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
| CA2227904C (en) | 1995-07-26 | 2000-11-14 | Tegic Communications, Inc. | Reduced keyboard disambiguating system |
| US6311214B1 (en) | 1995-07-27 | 2001-10-30 | Digimarc Corporation | Linking of computers based on optical sensing of digital data |
| US5768415A (en) | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
| US5611731A (en) * | 1995-09-08 | 1997-03-18 | Thrustmaster, Inc. | Video pinball machine controller having an optical accelerometer for detecting slide and tilt |
| US5850222A (en) | 1995-09-13 | 1998-12-15 | Pixel Dust, Inc. | Method and system for displaying a graphic image of a person modeling a garment |
| US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US5963250A (en) | 1995-10-20 | 1999-10-05 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
| US6281930B1 (en) | 1995-10-20 | 2001-08-28 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
| US5719561A (en) | 1995-10-25 | 1998-02-17 | Gilbert R. Gonzales | Tactile communication device and method |
| US5870100A (en) | 1995-11-22 | 1999-02-09 | Compaq Computer Corporation | Filling of graphical regions |
| WO1997020305A1 (en) | 1995-11-30 | 1997-06-05 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
| JP4079463B2 (ja) | 1996-01-26 | 2008-04-23 | ソニー株式会社 | 被写体検出装置および被写体検出方法 |
| US6049619A (en) | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| JP2891159B2 (ja) | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | 多眼画像からの物体検出方式 |
| RU2069885C1 (ru) | 1996-03-01 | 1996-11-27 | Йелстаун Корпорейшн Н.В. | Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления |
| JPH09244793A (ja) | 1996-03-04 | 1997-09-19 | Alps Electric Co Ltd | 入力装置 |
| TW387816B (en) | 1996-03-05 | 2000-04-21 | Sega Enterprises Kk | Controller and expansion unit for controller |
| JP3920348B2 (ja) * | 1996-04-02 | 2007-05-30 | コグネックス コーポレイション | 平坦な鏡面基板の指標を観察する画像形成装置 |
| US5937081A (en) * | 1996-04-10 | 1999-08-10 | O'brill; Michael R. | Image composition system and method of using same |
| US5923318A (en) | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
| US5917493A (en) | 1996-04-17 | 1999-06-29 | Hewlett-Packard Company | Method and apparatus for randomly generating information for subsequent correlating |
| US6151009A (en) | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
| US6400374B2 (en) | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
| US5930383A (en) | 1996-09-24 | 1999-07-27 | Netzer; Yishay | Depth sensing camera systems and methods |
| US5832931A (en) | 1996-10-30 | 1998-11-10 | Photogen, Inc. | Method for improved selectivity in photo-activation and detection of molecular diagnostic agents |
| NL1004648C2 (nl) | 1996-11-11 | 1998-05-14 | Johan Michiel Schaaij | Computerspelsysteem. |
| US5914723A (en) | 1996-12-30 | 1999-06-22 | Sun Microsystems, Inc. | Method and system for converting images in computer systems |
| US6243491B1 (en) | 1996-12-31 | 2001-06-05 | Lucent Technologies Inc. | Methods and apparatus for controlling a video system with visually recognized props |
| US5850473A (en) | 1997-01-07 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for compensating for color variation in a video system |
| US6021219A (en) | 1997-01-07 | 2000-02-01 | Lucent Technologies Inc. | Methods and apparatus for distinguishing among several visual patterns |
| US5796354A (en) | 1997-02-07 | 1998-08-18 | Reality Quest Corp. | Hand-attachable controller with direction sensing |
| US5993314A (en) | 1997-02-10 | 1999-11-30 | Stadium Games, Ltd. | Method and apparatus for interactive audience participation by audio command |
| US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| EP0970502A1 (en) | 1997-03-07 | 2000-01-12 | 3DV Systems Ltd. | Optical shutter |
| US6061055A (en) | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
| US6144367A (en) * | 1997-03-26 | 2000-11-07 | International Business Machines Corporation | Method and system for simultaneous operation of multiple handheld control devices in a data processing system |
| US6587573B1 (en) | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
| US8120652B2 (en) | 1997-04-02 | 2012-02-21 | Gentex Corporation | System for controlling vehicle equipment |
| JP3009633B2 (ja) | 1997-04-03 | 2000-02-14 | コナミ株式会社 | 画像装置、画像表示方法および記録媒体 |
| US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
| US6809776B1 (en) | 1997-04-23 | 2004-10-26 | Thomson Licensing S.A. | Control of video level by region and content of information displayed |
| DE69731120T2 (de) | 1997-04-23 | 2005-02-24 | Thomson Consumer Electronics, Inc., Indianapolis | Bereichs- und informationsanzeigeabhängige videopegelsteuerung |
| US6428411B1 (en) | 1997-05-02 | 2002-08-06 | Konami Co., Ltd. | Volleyball video game system |
| JP3183632B2 (ja) | 1997-06-13 | 2001-07-09 | 株式会社ナムコ | 情報記憶媒体及び画像生成装置 |
| US6075895A (en) | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
| KR20000068660A (ko) | 1997-07-29 | 2000-11-25 | 요트.게.아. 롤페즈 | 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템 |
| US6044181A (en) | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| US6031934A (en) | 1997-10-15 | 2000-02-29 | Electric Planet, Inc. | Computer vision system for subject characterization |
| US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| JPH11154240A (ja) | 1997-11-20 | 1999-06-08 | Nintendo Co Ltd | 取込み画像を用いて画像を作成するための画像作成装置 |
| US6677987B1 (en) | 1997-12-03 | 2004-01-13 | 8×8, Inc. | Wireless user-interface arrangement and method |
| US6195104B1 (en) | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
| US6160540A (en) | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| US6134346A (en) | 1998-01-16 | 2000-10-17 | Ultimatte Corp | Method for removing from an image the background surrounding a selected object |
| EP1055146B1 (en) | 1998-02-08 | 2003-01-22 | 3DV Ltd. | Large aperture optical image shutter |
| US6115052A (en) | 1998-02-12 | 2000-09-05 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
| US6037942A (en) | 1998-03-10 | 2000-03-14 | Magellan Dis, Inc. | Navigation system character input device |
| US6411392B1 (en) | 1998-04-15 | 2002-06-25 | Massachusetts Institute Of Technology | Method and apparatus for data hiding in printed images |
| US6393142B1 (en) | 1998-04-22 | 2002-05-21 | At&T Corp. | Method and apparatus for adaptive stripe based patch matching for depth estimation |
| US6173059B1 (en) | 1998-04-24 | 2001-01-09 | Gentner Communications Corporation | Teleconferencing system with visual feedback |
| US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
| US6473516B1 (en) | 1998-05-22 | 2002-10-29 | Asa Systems, Inc. | Large capacity steganography |
| JP3646969B2 (ja) | 1998-05-25 | 2005-05-11 | 富士通株式会社 | ３次元画像表示装置 |
| JP3841132B2 (ja) * | 1998-06-01 | 2006-11-01 | 株式会社ソニー・コンピュータエンタテインメント | 入力位置検出装置及びエンタテインメントシステム |
| FR2780176B1 (fr) | 1998-06-17 | 2001-01-26 | Gabriel Guary | Pistolet de tir pour jeu video |
| US6513160B2 (en) * | 1998-06-17 | 2003-01-28 | Opentv, Inc. | System and method for promoting viewer interaction in a television system |
| IL125221A0 (en) | 1998-07-06 | 1999-03-12 | Toy Control Ltd | Motion activation using passive sound source |
| US6256398B1 (en) | 1998-08-22 | 2001-07-03 | Kenneth H. P. Chang | Encoding and decoding a message within an image |
| US6970183B1 (en) | 2000-06-14 | 2005-11-29 | E-Watch, Inc. | Multimedia surveillance and monitoring system including network configuration |
| US6621938B1 (en) | 1998-09-18 | 2003-09-16 | Fuji Photo Film Co., Ltd. | Image capture apparatus and method |
| US6184863B1 (en) | 1998-10-13 | 2001-02-06 | The George Washington University | Direct pointing apparatus and method therefor |
| DE19849515C1 (de) | 1998-10-19 | 2000-12-28 | Gerhard Wergen | Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens |
| US6307568B1 (en) | 1998-10-28 | 2001-10-23 | Imaginarix Ltd. | Virtual dressing over the internet |
| US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
| JP2000172431A (ja) | 1998-12-09 | 2000-06-23 | Sony Corp | 情報入力装置及びゲーム装置 |
| US6533420B1 (en) * | 1999-01-22 | 2003-03-18 | Dimension Technologies, Inc. | Apparatus and method for generating and projecting autostereoscopic images |
| JP2000261752A (ja) | 1999-03-05 | 2000-09-22 | Hewlett Packard Co <Hp> | 音声付き画像録画再生装置 |
| US7139767B1 (en) | 1999-03-05 | 2006-11-21 | Canon Kabushiki Kaisha | Image processing apparatus and database |
| US6323942B1 (en) | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
| US7164413B2 (en) | 1999-05-19 | 2007-01-16 | Digimarc Corporation | Enhanced input peripheral |
| US6791531B1 (en) * | 1999-06-07 | 2004-09-14 | Dot On, Inc. | Device and method for cursor motion control calibration and object selection |
| JP2000350865A (ja) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
| JP2001009154A (ja) * | 1999-06-30 | 2001-01-16 | Namco Ltd | 射撃ゲーム装置 |
| US6952198B2 (en) | 1999-07-06 | 2005-10-04 | Hansen Karl C | System and method for communication with enhanced optical pointer |
| US6819318B1 (en) | 1999-07-23 | 2004-11-16 | Z. Jason Geng | Method and apparatus for modeling via a three-dimensional image mosaic system |
| US6545706B1 (en) | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
| US6417836B1 (en) | 1999-08-02 | 2002-07-09 | Lucent Technologies Inc. | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
| JP2001056742A (ja) | 1999-08-19 | 2001-02-27 | Alps Electric Co Ltd | 入力装置 |
| US6556704B1 (en) | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
| ATE285079T1 (de) | 1999-09-08 | 2005-01-15 | 3Dv Systems Ltd | 3d- bilderzeugungssystem |
| CA2385173A1 (en) | 1999-09-17 | 2001-03-29 | Nature Technology Co., Ltd. | Image capturing system, image processing system, and camera |
| JP3847058B2 (ja) * | 1999-10-04 | 2006-11-15 | 任天堂株式会社 | ゲームシステム及びそれに用いられるゲーム情報記憶媒体 |
| US6441825B1 (en) | 1999-10-04 | 2002-08-27 | Intel Corporation | Video token tracking system for animation |
| US6753849B1 (en) | 1999-10-27 | 2004-06-22 | Ken Curran & Associates | Universal remote TV mouse |
| US20050037844A1 (en) | 2002-10-30 | 2005-02-17 | Nike, Inc. | Sigils for use with apparel |
| JP4403474B2 (ja) | 1999-12-09 | 2010-01-27 | ソニー株式会社 | 触覚提示機構及びこれを用いた力触覚提示装置 |
| US6785329B1 (en) | 1999-12-21 | 2004-08-31 | Microsoft Corporation | Automatic video object extraction |
| KR100384406B1 (ko) | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | 컴퓨터 프로그램 구동조작장치 |
| WO2001061519A1 (en) | 2000-02-15 | 2001-08-23 | Sorceron, Inc. | Method and system for distributing captured motion data over a network |
| EP1263626A2 (en) | 2000-03-02 | 2002-12-11 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| JP2001265275A (ja) | 2000-03-16 | 2001-09-28 | Olympus Optical Co Ltd | 画像表示装置 |
| US6924787B2 (en) | 2000-04-17 | 2005-08-02 | Immersion Corporation | Interface for controlling a graphical image |
| TW527518B (en) * | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
| US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
| AU2001287948A1 (en) | 2000-07-24 | 2002-02-05 | Herman Ehrenburg | Computer-compatible, color-coded manual input system |
| JP3561463B2 (ja) | 2000-08-11 | 2004-09-02 | コナミ株式会社 | ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置 |
| JP4815661B2 (ja) | 2000-08-24 | 2011-11-16 | ソニー株式会社 | 信号処理装置及び信号処理方法 |
| EP1211640A3 (en) * | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
| FR2814965A1 (fr) | 2000-10-11 | 2002-04-12 | Janick Simeray | Ordinateur et jouets cooperants |
| US7061507B1 (en) | 2000-11-12 | 2006-06-13 | Bitboys, Inc. | Antialiasing method and apparatus for video applications |
| KR100385563B1 (ko) * | 2000-12-01 | 2003-05-27 | 한국과학기술원 | 구동수단을 갖는 분광 광도계와 광도 측정방법 |
| US6751338B1 (en) | 2000-12-15 | 2004-06-15 | Cognex Corporation | System and method of using range image data with machine vision tools |
| US20020085097A1 (en) | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
| JP2004537082A (ja) | 2001-01-26 | 2004-12-09 | ザクセル システムズ インコーポレイテッド | 仮想現実環境における実時間バーチャル・ビューポイント |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| US6741741B2 (en) * | 2001-02-01 | 2004-05-25 | Xerox Corporation | System and method for automatically detecting edges of scanned documents |
| US6789967B1 (en) | 2001-02-02 | 2004-09-14 | George Forester | Distal chording keyboard |
| US20020134151A1 (en) | 2001-02-05 | 2002-09-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for measuring distances |
| US6746124B2 (en) * | 2001-02-06 | 2004-06-08 | Robert E. Fischer | Flashlight producing uniform high brightness |
| US7116330B2 (en) | 2001-02-28 | 2006-10-03 | Intel Corporation | Approximating motion using a three-dimensional model |
| GB2376397A (en) | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| JP2003018604A (ja) | 2001-07-04 | 2003-01-17 | Matsushita Electric Ind Co Ltd | 画像信号符号化方法、画像信号符号化装置および記録媒体 |
| US6931125B2 (en) | 2001-07-10 | 2005-08-16 | Gregory N. Smallwood | Telephone equipment compatible, twelve button alphanumeric keypad |
| JP3611807B2 (ja) * | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
| KR20030009919A (ko) * | 2001-07-24 | 2003-02-05 | 삼성전자주식회사 | 관성 센서를 구비하는 컴퓨터 게임용 입력 장치 |
| US7039253B2 (en) | 2001-07-24 | 2006-05-02 | Casio Computer Co., Ltd. | Image display device, image display method, program, and projection system |
| US7148922B2 (en) | 2001-08-02 | 2006-12-12 | Olympus Optical Co., Ltd. | Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence |
| JP3442754B2 (ja) | 2001-08-10 | 2003-09-02 | 株式会社コナミコンピュータエンタテインメント東京 | ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム |
| US6709108B2 (en) | 2001-08-31 | 2004-03-23 | Adaptive Optics Associates, Inc. | Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye |
| KR100846761B1 (ko) | 2001-09-11 | 2008-07-16 | 삼성전자주식회사 | 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치 |
| JP2003114640A (ja) | 2001-10-04 | 2003-04-18 | Nec Corp | プラズマディスプレイパネル及びその駆動方法 |
| US20030093591A1 (en) | 2001-11-09 | 2003-05-15 | David Hohl | System and method for fast data transfer to display driver |
| FR2832892B1 (fr) | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
| US20030100363A1 (en) | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
| US20040070565A1 (en) | 2001-12-05 | 2004-04-15 | Nayar Shree K | Method and apparatus for displaying images |
| KR20030048570A (ko) | 2001-12-12 | 2003-06-25 | 한국전자통신연구원 | 부가적 버튼을 장착한 키패드 및 그의 작동방법 |
| US7106366B2 (en) | 2001-12-19 | 2006-09-12 | Eastman Kodak Company | Image capture system incorporating metadata to facilitate transcoding |
| US7305114B2 (en) | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
| US7436887B2 (en) * | 2002-02-06 | 2008-10-14 | Playtex Products, Inc. | Method and apparatus for video frame sequence-based object tracking |
| US6990639B2 (en) * | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
| US20030160862A1 (en) | 2002-02-27 | 2003-08-28 | Charlier Michael L. | Apparatus having cooperating wide-angle digital camera system and microphone array |
| US6847311B2 (en) | 2002-03-28 | 2005-01-25 | Motorola Inc. | Method and apparatus for character entry in a wireless communication device |
| GB2388418A (en) | 2002-03-28 | 2003-11-12 | Marcus James Eales | Input or pointing device with a camera |
| US20030199324A1 (en) | 2002-04-23 | 2003-10-23 | Xiaoling Wang | Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light |
| JP2004021345A (ja) | 2002-06-12 | 2004-01-22 | Toshiba Corp | 画像処理装置及びその方法 |
| US20040001082A1 (en) | 2002-06-26 | 2004-01-01 | Amir Said | System and method of interaction with a computer controlled image display system using a projected light source |
| CA2390072C (en) | 2002-06-28 | 2018-02-27 | Adrian Gh Podoleanu | Optical mapping apparatus with adjustable depth resolution and multiple functionality |
| US7227976B1 (en) | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
| US7545926B2 (en) * | 2006-05-04 | 2009-06-09 | Sony Computer Entertainment Inc. | Echo and noise cancellation |
| US8073157B2 (en) * | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
| US7102615B2 (en) | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US7613310B2 (en) | 2003-08-27 | 2009-11-03 | Sony Computer Entertainment Inc. | Audio input system |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7783061B2 (en) * | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
| US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
| US7697700B2 (en) * | 2006-05-04 | 2010-04-13 | Sony Computer Entertainment Inc. | Noise removal for electronic device with far field microphone on console |
| US7970147B2 (en) * | 2004-04-07 | 2011-06-28 | Sony Computer Entertainment Inc. | Video game controller with noise canceling logic |
| US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US20040017355A1 (en) | 2002-07-24 | 2004-01-29 | Youngtack Shim | Cursor control systems and methods |
| US20070261077A1 (en) * | 2006-05-08 | 2007-11-08 | Gary Zalewski | Using audio/visual environment to select ads on game platform |
| US20070061413A1 (en) * | 2005-09-15 | 2007-03-15 | Larsen Eric J | System and method for obtaining user information from voices |
| US20070260517A1 (en) * | 2006-05-08 | 2007-11-08 | Gary Zalewski | Profile detection |
| US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US10086282B2 (en) * | 2002-07-27 | 2018-10-02 | Sony Interactive Entertainment Inc. | Tracking device for use in obtaining information for controlling game program execution |
| US7391409B2 (en) * | 2002-07-27 | 2008-06-24 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to multi-channel mixed input |
| US20060282873A1 (en) * | 2002-07-27 | 2006-12-14 | Sony Computer Entertainment Inc. | Hand-held controller having detectable elements for tracking purposes |
| US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US20060264260A1 (en) * | 2002-07-27 | 2006-11-23 | Sony Computer Entertainment Inc. | Detectable and trackable hand-held controller |
| US9474968B2 (en) * | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US20070015559A1 (en) * | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
| US9393487B2 (en) * | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US20060256081A1 (en) * | 2002-07-27 | 2006-11-16 | Sony Computer Entertainment America Inc. | Scheme for detecting and tracking user manipulation of a game controller body |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US7760248B2 (en) * | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US7352359B2 (en) * | 2002-07-27 | 2008-04-01 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to inertial tracking |
| US7854655B2 (en) * | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| JP3996015B2 (ja) * | 2002-08-09 | 2007-10-24 | 本田技研工業株式会社 | 姿勢認識装置及び自律ロボット |
| US7039199B2 (en) | 2002-08-26 | 2006-05-02 | Microsoft Corporation | System and process for locating a speaker using 360 degree sound source localization |
| US6917688B2 (en) | 2002-09-11 | 2005-07-12 | Nanyang Technological University | Adaptive noise cancelling microphone system |
| US20040063480A1 (en) | 2002-09-30 | 2004-04-01 | Xiaoling Wang | Apparatus and a method for more realistic interactive video games on computers or similar devices |
| EP1411461A1 (en) * | 2002-10-14 | 2004-04-21 | STMicroelectronics S.r.l. | User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection |
| US6995666B1 (en) | 2002-10-16 | 2006-02-07 | Luttrell Clyde K | Cellemetry-operated railroad switch heater |
| JP2004145448A (ja) | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
| EP1556148B1 (en) * | 2002-10-30 | 2010-01-06 | Nike International Ltd | Clothes with motion capture markers for computer games |
| US8206219B2 (en) * | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
| US20040095327A1 (en) | 2002-11-14 | 2004-05-20 | Lo Fook Loong | Alphanumeric data input system and method |
| US8012025B2 (en) * | 2002-12-13 | 2011-09-06 | Applied Minds, Llc | Video game controller hub with control input reduction and combination schemes |
| US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
| US7212308B2 (en) | 2002-12-18 | 2007-05-01 | Morgan Carol L | Interactive photo kiosk |
| US20040140955A1 (en) | 2003-01-21 | 2004-07-22 | Metz Kristofer Erik | Input device for a computer and method of operation |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| JP2004261236A (ja) * | 2003-02-20 | 2004-09-24 | Konami Co Ltd | ゲームシステム |
| GB2398691B (en) | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
| GB2398690B (en) * | 2003-02-21 | 2006-05-10 | Sony Comp Entertainment Europe | Control of data processing |
| US7161634B2 (en) | 2003-03-06 | 2007-01-09 | Huaya Microelectronics, Ltd. | Encoding system for error diffusion dithering |
| US7519186B2 (en) | 2003-04-25 | 2009-04-14 | Microsoft Corporation | Noise reduction systems and methods for voice applications |
| US7379559B2 (en) | 2003-05-28 | 2008-05-27 | Trw Automotive U.S. Llc | Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US6881147B2 (en) | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
| TW571812U (en) | 2003-06-11 | 2004-01-11 | Vision Electronics Co Ltd | Audio device for TV game machine |
| ATE339757T1 (de) * | 2003-06-17 | 2006-10-15 | Sony Ericsson Mobile Comm Ab | Verfahren und vorrichtung zur sprachaktivitätsdetektion |
| US7364297B2 (en) | 2003-10-28 | 2008-04-29 | Welch Allyn, Inc. | Digital documenting ophthalmoscope |
| US20050105777A1 (en) | 2003-11-18 | 2005-05-19 | Kozlowski William J.Jr. | Personalized multimedia summary |
| US7296007B1 (en) * | 2004-07-06 | 2007-11-13 | Ailive, Inc. | Real time context learning by software agents |
| US7263462B2 (en) * | 2004-07-30 | 2007-08-28 | Ailive, Inc. | Non-disruptive embedding of specialized elements |
| US7613610B1 (en) * | 2005-03-14 | 2009-11-03 | Escription, Inc. | Transcription data extraction |
| KR100630118B1 (ko) * | 2005-04-21 | 2006-09-27 | 삼성전자주식회사 | 망간 광섬유 공유 시스템 |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7620316B2 (en) | 2005-11-28 | 2009-11-17 | Navisense | Method and device for touchless control of a camera |
| US7834850B2 (en) | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
| US7636645B1 (en) * | 2007-06-18 | 2009-12-22 | Ailive Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
| JP4481280B2 (ja) | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
| US8277316B2 (en) | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
| GB0622451D0 (en) | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
| US7937243B2 (en) * | 2007-08-03 | 2011-05-03 | Ailive, Inc. | Method and apparatus for non-disruptive embedding of specialized elements |
| US8419545B2 (en) * | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
| US20090221368A1 (en) * | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
| US8655622B2 (en) * | 2008-07-05 | 2014-02-18 | Ailive, Inc. | Method and apparatus for interpreting orientation invariant motion |
-
2005
- 2005-12-12 US US11/301,673 patent/US7646372B2/en active Active
-
2006
- 2006-12-08 WO PCT/US2006/047111 patent/WO2007078639A1/en active Application Filing
- 2006-12-08 JP JP2008545704A patent/JP5084052B2/ja active Active
- 2006-12-08 EP EP06839276A patent/EP1960069A1/en not_active Ceased
-
2009
- 2009-11-10 US US12/616,117 patent/US8568230B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007078639A1 (en) | 2007-07-12 |
| US7646372B2 (en) | 2010-01-12 |
| US20100056277A1 (en) | 2010-03-04 |
| EP1960069A1 (en) | 2008-08-27 |
| US8568230B2 (en) | 2013-10-29 |
| JP2009519105A (ja) | 2009-05-14 |
| US20070298882A1 (en) | 2007-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5084052B2 (ja) | コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム | |
| JP4768031B2 (ja) | コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム | |
| US10445884B2 (en) | Control device for communicating visual information | |
| JP5547720B2 (ja) | 画像解析および超音波通信を使用したコントローラの三次元位置の決定 | |
| US8602894B2 (en) | Illuminating controller for interfacing with a gaming system | |
| TWI469813B (zh) | 在動作擷取系統中追踪使用者群組 | |
| US20110109617A1 (en) | Visualizing Depth | |
| US8542907B2 (en) | Dynamic three-dimensional object mapping for user-defined control device | |
| CN112400202A (zh) | 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪 | |
| US20100303291A1 (en) | Virtual Object | |
| JP5116679B2 (ja) | 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置 | |
| US20130316817A1 (en) | Information processing apparatus, method for information processing, and game apparatus | |
| US10228543B2 (en) | Zoom apparatus and associated methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100714 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100818 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101126 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120903 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5084052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |