JP5301429B2 - ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 - Google Patents
ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 Download PDFInfo
- Publication number
- JP5301429B2 JP5301429B2 JP2009509960A JP2009509960A JP5301429B2 JP 5301429 B2 JP5301429 B2 JP 5301429B2 JP 2009509960 A JP2009509960 A JP 2009509960A JP 2009509960 A JP2009509960 A JP 2009509960A JP 5301429 B2 JP5301429 B2 JP 5301429B2
- Authority
- JP
- Japan
- Prior art keywords
- controller
- movement
- signal
- image
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 230000001133 acceleration Effects 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000348 solid-phase epitaxy Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229920013636 polyphenyl ether polymer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Pinball Game Machines (AREA)
Description
本出願は、2006年5月6日に出願の米国特許出願第11/382,034号、「SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY」、2006年5月6日に出願の米国特許出願第11/382,037号、「SCHEME FOR TRANSLATING MOVEMENTS OF A HAND-HELD CONTROLLER INTO INPUTS FOR A SYSTEM」、および2006年5月7日に出願の米国特許出願第11/382,039号、「METHOD FOR MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO GAME COMMANDS」の継続出願である。これらの開示の全体は、参照により本明細書に完全に援用される。また、それぞれは以下に挙げる出願の優先権を主張する。
米国特許出願第11/382,034号、第11/382,037号および第11/382,039号はそれぞれ、以下の一部継続出願(CIP)である。すなわち、米国特許出願第10/207,677号、2002年7月27日出願の「MAN-MACHINE INTERFACE USING A DEFORMABLE DEVICE」、米国特許出願第10/650,409号、2003年8月27日出願の「AUDIO INPUT SYSTEM」、米国特許出願第10/663,236号、2003年9月15日出願の「METHOD AND APPARATUS FOR ADJUSTING A VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION」、米国特許出願第10/759,782号、2004年1月16日出願の「METHOD AND APPARATUS FOR LIGHT INPUT DEVICE」、米国特許出願第10/820,469号、2004年4月7日出願の「METHOD AND APPARATUS TO DETECT AND REMOVE AUDIO DISTURBANCES」、米国特許出願第11/301,673号、2005年12月12日出願の「METHOD FOR USING RELATIVE HEAD AND HAND POSITIONS TO ENABLE A POINTING INTERFACE VIA CAMERA TRACKING」、米国特許出願第11/381,729号、2006年5月4日出願、 Xiao Dong Maoの「ULTRA SMALL MICROPHONE ARRAY」(代理人整理番号SCEA05062US00)、米国特許出願第11/381,728号、2006年5月4日出願、Xiao Dong Maoの「ECHO AND NOISE CANCELLATION」(代理人整理番号SCEA05064U '00)、米国特許出願第11/381,725号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUS FOR TARGETED SOUND DETECTION」(代理人整理番号SCEA05072US00)、米国特許出願第11/381,727号、2006年5月4日出願、Xiao Dong Maoの「NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE」(代理人整理番号SCEA05073US00)、米国特許出願第11/381,724号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION」(代理人整理番号SCEA05079US00)、米国特許出願第11/381,721号、2006年5月4日出願、Xiao Dong Maoの「SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING」(代理人整理番号SCEA04005JUMBOUS)。これらの全ては、その全体が参照により本明細書に援用される。
米国特許出願第11/382,034号、第11/382,037号および第11/382,039号は、それぞれ米国仮特許出願第60/718,145号、2005年9月15日出願の「AUDIO、VIDEO、SIMULATION、AND USER INTERFACE PARADIGMS」の利益を主張する。この仮特許出願は参照により本明細書に援用される。
(関連出願)
この出願は、同時係属中の米国特許出願第11/418,988号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS」(代理人整理番号SCEA-00300)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/418,989号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE」(代理人整理番号SCEA-00400)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,047号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL」(代理人整理番号SCEA-00500)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,133号、2006年5月4日出願、Richard Marksらの「SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING」(代理人整理番号SCEA04005US01-SONYP045)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,414号、2006年5月4日出願、Richard Marksらの「Computer Image and Audio Processing of Intensity and Input Devices for Interfacing With A Computer Program」(代理人整理番号SONYP052)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,031号、2006年5月6日出願、「MULTI-INPUT GAME CONTROL MIXER」(代理人整理番号SCEAO6MXR1)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,032号、2006年5月6日出願、「SYSTEM FOR TRACKING USER MANIPULATIONS WITHIN AN ENVIRONMENT」(代理人整理番号SCEAMXR2)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,033号、2006年5月6日出願、「SYSTEM、METHOD、AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL」(代理人整理番号SCEAO6INRTl)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,035号、2006年5月6日出願、「INERTIALLY TRACKABLE HAND-HELD CONTROLLER」(代理人整理番号SCEA06INRT2)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/382,036号、2006年5月6日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO VISUAL TRACKING」(代理人整理番号SONYP058A)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,041号、2006年5月7日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO INERTIAL TRACKING」(代理人整理番号SONYP058B)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,038号、2006年5月6日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO ACOUSTICAL TRACKING」(代理人整理番号SONYP058C)にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/382,040号、2006年5月11日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO MULTI-CHANNEL MIXED INPUT」(代理人整理番号SONYP058D)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,043号、2006年5月7日出願、「DETECTABLE AND TRACKABLE HAND-HELD CONTROLLER」(代理人整理番号86325)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,349号、2006年5月6日出願、「CONTROLLER WITH INFRARED PORT」(代理人整理番号SCEA06007US00)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,350号、2006年5月6日出願、「CONTROLLER WITH TRACKING SENSORS」(代理人整理番号SCEA06008US00)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第60/798,031号、2006年5月6日出願、「DYNAMIC TARGET INTERFACE」(代理人整理番号SCEA06009US00)にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,348号、2006年5月6日出願、「TRACKED CONTROLLER DEVICE」(代理人整理番号SCEA06010US00)にも関連し、その開示の全体が参照により本明細書に援用される。
コントローラの位置(X、Y、Z座標)
コントローラの方向 アルファ、ベータ、ガンマ(ラジアン)
コントローラのX軸速度
コントローラのY軸速度
コントローラのZ軸速度
コントローラのX軸加速度
コントローラのY軸加速度
コントローラのZ軸加速度
安定状態の静止位置 Y/N(上述の腰の位置。しかし、任意の位置として定義することができる)
最後の安定状態からの時間
認識された最後のジェスチャ
最後に認識されたジェスチャの時刻
到達したゼロ加速度点の割り込み
これらの出力はそれぞれ、上述したようにバウンディング・ボックスの動きと変形を解析することによって生成することができる。コントローラの動きを追跡するために、これらの出力をさらに処理してもよい。このような追跡によりコントローラの特定の動きを認識することが可能となり、これを用いて以下に述べるように特定のコマンドを起動させることができる。上記の出力に加えて、または上記の出力の代わりに他の多くの出力を使用できることは十分理解されなければならない。
設定ノイズレベル(X、YまたはZ軸)(これは、ゲームでの腕のいらいら(jitter)を解析するときの参照許容値である)
設定サンプリングレート(カメラのフレームが取得され解析される頻度)
設定ギア比率(gearing)
設定マッピングチェーン
すなわち、y(t+Δ)=x(t+Δ)*b0+x(t−l+Δ)*b1+x(t−2+Δ)*b2+...+x(t−N+Δ)bN、ここで、Δは0と1の間である。
Claims (25)
- コントローラ上で確立された幾何学的形状の射影を、カメラが画像平面で受け取り、
画像解析器が、前記カメラで受け取られた前記幾何学的形状の射影における動きと変形を解析し、この解析に基づき前記コントローラのx、y、z座標を含む位置情報を決定し、
プロセッサベースの装置が、
前記コントローラに固定された慣性センサから慣性信号を受け取るステップと、
前記慣性信号内のスプリアスデータを補償した補償データを提供するステップと、
前記位置情報と前記補償データに基づき、前記コントローラの移動が前もって記録されているジェスチャに一致するか否かを判定し、前記移動が前もって記録されているジェスチャに一致するとき、そのジェスチャの検出時刻を記録し、認識された最後のジェスチャと最後に認識されたジェスチャの時刻とを前記コントローラの移動の追跡時にリクエストできるようにして、前記コントローラの三次元移動を追跡するステップと、
前記コントローラの追跡された三次元移動に応じて移動する少なくとも一つの画像をスクリーンに表示するステップと、
前記少なくとも一つの画像を生成するゲームアプリケーションのゲーム状態に応答して、前記コントローラの前記三次元移動と前記少なくとも一つの画像の移動との間のギアリングを第1の比率から第2の比率に変更するステップと、
を実行し、
前記コントローラは、コンピュータ・エンターテイメント・システムとともに使用されるタイプの手持ち式多目的ゲームコントローラであり、一つ以上のマニピュレータと一つ以上のボタンとを備え、
前記コントローラ上で確立される前記幾何学的形状が、前記コントローラを他のコントローラと区別するように構成された4つの発光ダイオード(LED)で構成される
ことを特徴とする方法。 - 前記LEDがストロボ発光されることを特徴とする請求項1に記載の方法。
- 前記LEDが変調されることを特徴とする請求項1または2に記載の方法。
- 前記LEDがそれぞれ異なる周波数で動作することを特徴とする請求項1ないし3のいずれかに記載の方法。
- 前記幾何学的形状が円弧状パターンであることを特徴とする請求項1ないし4のいずれかに記載の方法。
- 幾何学的形状が自身の上で確立されるコントローラと、
前記コントローラ上で確立された幾何学的形状の射影を画像平面上で受け取るように構成されたカメラと、
前記幾何学的形状の射影における動きと変形を解析して、この解析に基づき前記コントローラのx、y、z座標を含む位置情報を決定するように構成された画像解析器と、
前記コントローラに固定された慣性センサから慣性信号を受け取り、前記慣性信号内のスプリアスデータを補償した補償データを提供し、前記位置情報と前記補償データに基づき、前記コントローラの移動が前もって記録されているジェスチャに一致するか否かを判定し、前記移動が前もって記録されているジェスチャに一致するとき、そのジェスチャの検出時刻を記録し、認識された最後のジェスチャと最後に認識されたジェスチャの時刻とを前記コントローラの移動の追跡時にリクエストできるようにして、前記コントローラの三次元移動を追跡し、前記コントローラの追跡された三次元移動に応じて移動する少なくとも一つの画像をスクリーンに表示し、前記少なくとも一つの画像を生成するゲームアプリケーションのゲーム状態に応答して、前記コントローラの前記三次元移動と前記少なくとも一つの画像の移動との間のギアリングを第1の比率から第2の比率に変更するように構成されたプロセッサベースの装置と、
を備え、
前記コントローラは、コンピュータ・エンターテイメント・システムとともに使用されるタイプの手持ち式多目的ゲームコントローラであり、一つ以上のマニピュレータと一つ以上のボタンとを備え、
前記コントローラ上で確立される前記幾何学的形状が、前記コントローラを他のコントローラと区別するように構成された4つの発光ダイオード(LED)で構成される
ことを特徴とするシステム。 - 前記LEDがストロボ発光されることを特徴とする請求項6に記載のシステム。
- 前記LEDが変調されることを特徴とする請求項6または7に記載のシステム。
- コントローラ上で確立された幾何学的形状の射影を画像平面上で受け取る手段と、
前記幾何学的形状の射影における動きと変形を解析する手段と、
前記コントローラに固定された慣性センサから慣性信号を受け取る手段と、
前記慣性信号内のスプリアスデータを補償した補償データを提供する手段と、
前記幾何学的形状の射影における動きと変形の解析と前記補償データとに基づき、前記コントローラのx、y、z座標を含む位置情報を決定する手段と、
前記位置情報に基づき、前記コントローラの移動が前もって記録されているジェスチャに一致するか否かを判定し、前記移動が前もって記録されているジェスチャに一致するとき、そのジェスチャの検出時刻を記録し、認識された最後のジェスチャと最後に認識されたジェスチャの時刻とを前記コントローラの移動の追跡時にリクエストできるようにして、前記コントローラの三次元移動を追跡する手段と、
前記コントローラの追跡された三次元移動に応じて移動する少なくとも一つの画像をスクリーンに表示する手段と、
前記少なくとも一つの画像を生成するゲームアプリケーションのゲーム状態に応答して、前記コントローラの前記三次元移動と前記少なくとも一つの画像の移動との間のギアリングを第1の比率から第2の比率に変更する手段と、
を備え、
前記コントローラは、コンピュータ・エンターテイメント・システムとともに使用されるタイプの手持ち式多目的ゲームコントローラであり、一つ以上のマニピュレータと一つ以上のボタンとを備え、
前記コントローラ上で確立される前記幾何学的形状が、前記コントローラを他のコントローラと区別するように構成された4つの発光ダイオード(LED)で構成される
ことを特徴とするシステム。 - 前記LEDがそれぞれ異なる周波数で動作することを特徴とする請求項9に記載のシステム。
- コンピュータに以下のステップを実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
カメラが画像平面で受け取る、コントローラ上で確立された幾何学的形状の射影における動きと変形を解析し、この解析に基づき前記コントローラのx、y、z座標を含む位置情報を決定するステップと、
前記コントローラに固定された慣性センサから慣性信号を受け取るステップと、
前記慣性信号内のスプリアスデータを補償した補償データを提供するステップと、
前記位置情報と前記補償データに基づき、前記コントローラの移動が前もって記録されているジェスチャに一致するか否かを判定し、前記移動が前もって記録されているジェスチャに一致するとき、そのジェスチャの検出時刻を記録し、認識された最後のジェスチャと最後に認識されたジェスチャの時刻とを前記コントローラの移動の追跡時にリクエストできるようにして、前記コントローラの三次元移動を追跡するステップと、
前記コントローラの追跡された三次元移動に応じて移動する少なくとも一つの画像をスクリーンに表示するステップと、
前記少なくとも一つの画像を生成するゲームアプリケーションのゲーム状態に応答して、前記コントローラの前記三次元移動と前記少なくとも一つの画像の移動との間のギアリングを第1の比率から第2の比率に変更するステップと、
を含み、
前記コントローラは、コンピュータ・エンターテイメント・システムとともに使用されるタイプの手持ち式多目的ゲームコントローラであり、一つ以上のマニピュレータと一つ以上のボタンとを備え、
前記コントローラ上で確立される前記幾何学的形状が、前記コントローラを他のコントローラと区別するように構成された4つの発光ダイオード(LED)で構成される
ことを特徴とする記録媒体。 - 前記LEDは、少なくとも一つのコントローラボタンの状態と、前記コントローラの速度および加速度を決定するための情報と、を提供するようにさらに構成されることを特徴とする請求項1ないし5のいずれかに記載の方法。
- 前記画像解析器が、カメラによって撮影された以前のフレームの履歴を記録し、該以前のフレームの履歴を解析してコマンドが満足するか否かを決定することをさらに含む、請求項1−5、12のいずれかに記載の方法。
- 前記LEDが、少なくとも一つのコントローラボタンの状態と、前記コントローラの速度および加速度を決定するための情報と、を提供するようにさらに構成されることを特徴とする請求項6ないし8のいずれかに記載のシステム。
- 前記画像解析器が、
カメラによって撮影された以前のフレームの履歴を記録し、
前記以前のフレームの履歴を解析してコマンドが満足するか否かを決定するようにさらに構成されていることを特徴とする請求項6−8、14のいずれかに記載のシステム。 - 前記LEDが、少なくとも一つのコントローラボタンの状態と、前記コントローラの速度および加速度を決定するための情報と、を提供するようにさらに構成されることを特徴とする請求項9または10に記載のシステム。
- カメラによって撮影された以前のフレームの履歴を記録する手段と、
前記以前のフレームの履歴を解析してコマンドが満足するか否かを決定する手段と、
をさらに備えることを特徴とする請求項9、10、16のいずれかに記載のシステム。 - 前記LEDが、少なくとも一つのコントローラボタンの状態と、前記コントローラの速度および加速度を決定するための情報と、を提供するようにさらに構成されることを特徴とする請求項11に記載の記録媒体。
- 前記プログラムが、
カメラによって撮影された以前のフレームの履歴を記録するステップと、
前記以前のフレームの履歴を解析してコマンドが満足するか否かを決定するステップと、
をさらに含むことを特徴とする請求項11または18に記載の記録媒体。 - 前記プロセッサベースの装置は、前記スプリアスデータを補償するとき、
前記慣性センサからの慣性信号をオーバーサンプリングし、
オーバーサンプリングした信号から移動平均を計算して、前記慣性信号から前記スプリアスデータを除去することを特徴とする請求項1−5、12、13のいずれかに記載の方法。 - 前記プロセッサベースの装置は、前記移動平均を計算するとき、前記オーバーサンプリングした信号のデータポイントの少なくとも一つのサブセットから一つ以上の値を取り除き、残りの複数のデータポイントから前記移動平均を計算することを特徴とする請求項20に記載の方法。
- 前記プロセッサベースの装置は、前記スプリアスデータを補償するとき、前記慣性センサからの慣性信号をオーバーサンプリングし、オーバーサンプリングした信号から移動平均を計算して、前記慣性信号から前記スプリアスデータを除去するようにさらに構成されていることを特徴とする、請求項6−8、14、15のいずれかに記載のシステム。
- 前記プロセッサベースの装置は、前記移動平均を計算するとき、前記オーバーサンプリングした信号のデータポイントの少なくとも一つのサブセットから一つ以上の値を取り除き、残りの複数のデータポイントから前記移動平均を計算するようにさらに構成されていることを特徴とする、請求項22に記載のシステム。
- 前記慣性信号内のスプリアスデータを補償する手段は、
前記慣性センサからの慣性信号をオーバーサンプリングし、オーバーサンプリングした信号のデータポイントの少なくとも一つのサブセットから一つ以上の値を取り除き、残りの複数のデータポイントから移動平均を計算して、前記慣性信号から前記スプリアスデータを除去する手段をさらに備えることを特徴とする、請求項9、10、16、17のいずれかに記載のシステム。 - 前記スプリアスデータを補償するステップが、
前記慣性センサからの慣性信号をオーバーサンプリングし、
オーバーサンプリングした信号から移動平均を計算して前記慣性信号から前記スプリアスデータを除去することを含む、請求項11、18、19のいずれかに記載の記録媒体。
Applications Claiming Priority (95)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/429,047 | 2006-05-04 | ||
US11/381,728 | 2006-05-04 | ||
US11/381,729 US7809145B2 (en) | 2006-05-04 | 2006-05-04 | Ultra small microphone array |
US11/381,725 US7783061B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for the targeted sound detection |
US11/418,988 | 2006-05-04 | ||
US11/381,724 | 2006-05-04 | ||
US11/429,133 US7760248B2 (en) | 2002-07-27 | 2006-05-04 | Selective sound source listening in conjunction with computer interactive processing |
US11/418,989 US8139793B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for capturing audio signals based on a visual image |
US11/381,729 | 2006-05-04 | ||
US11/381,725 | 2006-05-04 | ||
US11/429,133 | 2006-05-04 | ||
US11/381,721 US8947347B2 (en) | 2003-08-27 | 2006-05-04 | Controlling actions in a video game unit |
US11/418,989 | 2006-05-04 | ||
US11/381,727 US7697700B2 (en) | 2006-05-04 | 2006-05-04 | Noise removal for electronic device with far field microphone on console |
US11/429,414 US7627139B2 (en) | 2002-07-27 | 2006-05-04 | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US11/429,414 | 2006-05-04 | ||
US11/418,988 US8160269B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatuses for adjusting a listening area for capturing sounds |
US11/381,727 | 2006-05-04 | ||
US11/381,728 US7545926B2 (en) | 2006-05-04 | 2006-05-04 | Echo and noise cancellation |
US11/381,724 US8073157B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for targeted sound detection and characterization |
US11/429,047 US8233642B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US11/381,721 | 2006-05-04 | ||
US79803106P | 2006-05-06 | 2006-05-06 | |
US29259349 | 2006-05-06 | ||
US11/382,037 | 2006-05-06 | ||
US11/382,031 | 2006-05-06 | ||
US11/382,038 | 2006-05-06 | ||
US60/798,031 | 2006-05-06 | ||
US11/382,036 US9474968B2 (en) | 2002-07-27 | 2006-05-06 | Method and system for applying gearing effects to visual tracking |
US11/382,031 US7918733B2 (en) | 2002-07-27 | 2006-05-06 | Multi-input game control mixer |
US11/382,035 US8797260B2 (en) | 2002-07-27 | 2006-05-06 | Inertially trackable hand-held controller |
US11/382,034 | 2006-05-06 | ||
US29259348 | 2006-05-06 | ||
US29/259,350 USD621836S1 (en) | 2006-05-06 | 2006-05-06 | Controller face with tracking sensors |
US11/382,032 | 2006-05-06 | ||
US29/259,349 | 2006-05-06 | ||
US11/382,033 US8686939B2 (en) | 2002-07-27 | 2006-05-06 | System, method, and apparatus for three-dimensional input control |
US11/382,035 | 2006-05-06 | ||
US11/382,032 US7850526B2 (en) | 2002-07-27 | 2006-05-06 | System for tracking user manipulations within an environment |
US29/259,350 | 2006-05-06 | ||
US29/259,348 | 2006-05-06 | ||
US11/382,038 US7352358B2 (en) | 2002-07-27 | 2006-05-06 | Method and system for applying gearing effects to acoustical tracking |
US11/382,034 US20060256081A1 (en) | 2002-07-27 | 2006-05-06 | Scheme for detecting and tracking user manipulation of a game controller body |
US11/382,033 | 2006-05-06 | ||
US11/382,037 US8313380B2 (en) | 2002-07-27 | 2006-05-06 | Scheme for translating movements of a hand-held controller into inputs for a system |
US11/382,036 | 2006-05-06 | ||
US11/382,040 US7391409B2 (en) | 2002-07-27 | 2006-05-07 | Method and system for applying gearing effects to multi-channel mixed input |
US11/382,041 | 2006-05-07 | ||
US11/382,043 | 2006-05-07 | ||
US11/382,041 US7352359B2 (en) | 2002-07-27 | 2006-05-07 | Method and system for applying gearing effects to inertial tracking |
US11/382,039 | 2006-05-07 | ||
US11/382,039 US9393487B2 (en) | 2002-07-27 | 2006-05-07 | Method for mapping movements of a hand-held controller to game commands |
US11/382,040 | 2006-05-07 | ||
US11/382,043 US20060264260A1 (en) | 2002-07-27 | 2006-05-07 | Detectable and trackable hand-held controller |
US11/430,593 US20070261077A1 (en) | 2006-05-08 | 2006-05-08 | Using audio/visual environment to select ads on game platform |
US29/246,766 | 2006-05-08 | ||
US11/382,252 | 2006-05-08 | ||
US11/430,594 | 2006-05-08 | ||
US11/382,252 US10086282B2 (en) | 2002-07-27 | 2006-05-08 | Tracking device for use in obtaining information for controlling game program execution |
US29/246,743 USD571367S1 (en) | 2006-05-08 | 2006-05-08 | Video game controller |
US29/246,762 | 2006-05-08 | ||
US11/382,259 | 2006-05-08 | ||
US29/246,764 USD629000S1 (en) | 2006-05-08 | 2006-05-08 | Game interface device with optical port |
US29/246,765 | 2006-05-08 | ||
US29/246,763 | 2006-05-08 | ||
US29/246,764 | 2006-05-08 | ||
US11/382,259 US20070015559A1 (en) | 2002-07-27 | 2006-05-08 | Method and apparatus for use in determining lack of user activity in relation to a system |
US11/382,251 US20060282873A1 (en) | 2002-07-27 | 2006-05-08 | Hand-held controller having detectable elements for tracking purposes |
US11/382,256 US7803050B2 (en) | 2002-07-27 | 2006-05-08 | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US11/382,256 | 2006-05-08 | ||
US11/382,250 | 2006-05-08 | ||
US29246763 | 2006-05-08 | ||
US11/430,594 US20070260517A1 (en) | 2006-05-08 | 2006-05-08 | Profile detection |
US29/246,767 | 2006-05-08 | ||
US11/430,593 | 2006-05-08 | ||
US29/246,744 USD630211S1 (en) | 2006-05-08 | 2006-05-08 | Video game controller front face |
US29/246,743 | 2006-05-08 | ||
US29/246,768 | 2006-05-08 | ||
US29246762 | 2006-05-08 | ||
US11/382,258 | 2006-05-08 | ||
US29/246,744 | 2006-05-08 | ||
US11/382,250 US7854655B2 (en) | 2002-07-27 | 2006-05-08 | Obtaining input for controlling execution of a game program |
US29/246,759 | 2006-05-08 | ||
US29/246,767 USD572254S1 (en) | 2006-05-08 | 2006-05-08 | Video game controller |
US29/246,768 USD571806S1 (en) | 2006-05-08 | 2006-05-08 | Video game controller |
US11/382,258 US7782297B2 (en) | 2002-07-27 | 2006-05-08 | Method and apparatus for use in determining an activity level of a user in relation to a system |
US29246766 | 2006-05-08 | ||
US29246759 | 2006-05-08 | ||
US11/382,251 | 2006-05-08 | ||
US29246765 | 2006-05-08 | ||
US11/382,699 US20070265075A1 (en) | 2006-05-10 | 2006-05-10 | Attachable structure for use with hand-held controller having tracking ability |
US11/382,699 | 2006-05-10 | ||
US11/624,637 | 2007-01-18 | ||
US11/624,637 US7737944B2 (en) | 2002-07-27 | 2007-01-18 | Method and system for adding a new player to a game in response to controller activity |
PCT/US2007/067437 WO2007130833A2 (en) | 2006-05-04 | 2007-04-25 | Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012057132A Division JP5726793B2 (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2012057129A Division JP2012135642A (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009535175A JP2009535175A (ja) | 2009-10-01 |
JP5301429B2 true JP5301429B2 (ja) | 2013-09-25 |
Family
ID=46673570
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009509960A Active JP5301429B2 (ja) | 2006-05-04 | 2007-04-25 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2009509977A Pending JP2009535179A (ja) | 2006-05-04 | 2007-04-27 | ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および/またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置 |
JP2012057132A Active JP5726793B2 (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2012057129A Pending JP2012135642A (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2012120096A Active JP5726811B2 (ja) | 2006-05-04 | 2012-05-25 | ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および/またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009509977A Pending JP2009535179A (ja) | 2006-05-04 | 2007-04-27 | ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および/またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置 |
JP2012057132A Active JP5726793B2 (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2012057129A Pending JP2012135642A (ja) | 2006-05-04 | 2012-03-14 | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 |
JP2012120096A Active JP5726811B2 (ja) | 2006-05-04 | 2012-05-25 | ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および/またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置 |
Country Status (2)
Country | Link |
---|---|
JP (5) | JP5301429B2 (ja) |
WO (3) | WO2007130833A2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8542907B2 (en) * | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
JP5334037B2 (ja) * | 2008-07-11 | 2013-11-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音源の位置検出方法及びシステム |
US8761434B2 (en) * | 2008-12-17 | 2014-06-24 | Sony Computer Entertainment Inc. | Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system |
GB2467951A (en) * | 2009-02-20 | 2010-08-25 | Sony Comp Entertainment Europe | Detecting orientation of a controller from an image of the controller captured with a camera |
US9058063B2 (en) * | 2009-05-30 | 2015-06-16 | Sony Computer Entertainment Inc. | Tracking system calibration using object position and orientation |
JP5463790B2 (ja) * | 2009-08-18 | 2014-04-09 | ソニー株式会社 | 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 |
JP5514774B2 (ja) | 2011-07-13 | 2014-06-04 | 株式会社ソニー・コンピュータエンタテインメント | ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び記録媒体 |
EP3008757B1 (en) * | 2013-06-13 | 2024-05-15 | Basf Se | Optical detector and method for manufacturing the same |
KR102118482B1 (ko) * | 2014-04-25 | 2020-06-03 | 삼성전자주식회사 | 홈 네트워크 시스템에서 다바이스 제어 방법 및 장치 |
JP6682079B2 (ja) * | 2017-11-01 | 2020-04-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および信号変換方法 |
JP6736606B2 (ja) | 2017-11-01 | 2020-08-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および操作信号提供方法 |
JP7114657B2 (ja) | 2020-07-28 | 2022-08-08 | グリー株式会社 | 制御プログラム、ゲーム装置、及び制御方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5214615A (en) * | 1990-02-26 | 1993-05-25 | Will Bauer | Three-dimensional displacement of a body with computer interface |
US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
JP3218716B2 (ja) * | 1992-07-31 | 2001-10-15 | ソニー株式会社 | 入力装置、及び入力システム |
US5453758A (en) * | 1992-07-31 | 1995-09-26 | Sony Corporation | Input apparatus |
JP3907213B2 (ja) * | 1992-09-11 | 2007-04-18 | 伸壹 坪田 | ゲーム制御装置 |
US7358956B2 (en) | 1998-09-14 | 2008-04-15 | Microsoft Corporation | Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device |
JP2000259340A (ja) * | 1999-03-12 | 2000-09-22 | Sony Corp | 入力装置および方法、入力システム、並びに提供媒体 |
JP3847058B2 (ja) * | 1999-10-04 | 2006-11-15 | 任天堂株式会社 | ゲームシステム及びそれに用いられるゲーム情報記憶媒体 |
JP2002306846A (ja) * | 2001-04-12 | 2002-10-22 | Saibuaasu:Kk | ゲーム装置用コントローラ |
JP2002320773A (ja) * | 2001-04-25 | 2002-11-05 | Pacific Century Cyberworks Japan Co Ltd | ゲーム装置及びその制御方法及び記録媒体及びプログラム及び携帯電話器 |
JP3470119B2 (ja) * | 2002-02-14 | 2003-11-25 | コナミ株式会社 | コントローラ、コントローラの姿勢遠隔測定装置及びビデオゲーム装置 |
JP2003078779A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Ltd | マルチリモコンとそれを用いた遠隔操作システム |
JP4028708B2 (ja) * | 2001-10-19 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | ゲーム装置及びゲームシステム |
JP2003135851A (ja) * | 2001-10-31 | 2003-05-13 | Konami Computer Entertainment Yokyo Inc | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム |
JP3824260B2 (ja) | 2001-11-13 | 2006-09-20 | 任天堂株式会社 | ゲームシステム |
JP4010533B2 (ja) | 2001-11-20 | 2007-11-21 | 任天堂株式会社 | ゲーム機、電子機器、および省電力モード管理プログラム |
US7227976B1 (en) * | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
US7815507B2 (en) * | 2004-06-18 | 2010-10-19 | Igt | Game machine user interface using a non-contact eye motion recognition device |
US20040063502A1 (en) * | 2002-09-24 | 2004-04-01 | Intec, Inc. | Power module |
US20060154710A1 (en) * | 2002-12-10 | 2006-07-13 | Nokia Corporation | Method and device for continuing an electronic multi-player game, in case of an absence of a player of said game |
JP4906239B2 (ja) * | 2003-04-16 | 2012-03-28 | 株式会社ソニー・コンピュータエンタテインメント | 通信装置、ゲーム機および通信方法 |
JP2006099468A (ja) * | 2004-09-29 | 2006-04-13 | Toshiba Corp | ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム |
US7620316B2 (en) * | 2005-11-28 | 2009-11-17 | Navisense | Method and device for touchless control of a camera |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
JP4481280B2 (ja) * | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
US8277316B2 (en) * | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
-
2007
- 2007-04-25 JP JP2009509960A patent/JP5301429B2/ja active Active
- 2007-04-25 WO PCT/US2007/067437 patent/WO2007130833A2/en active Application Filing
- 2007-04-27 JP JP2009509977A patent/JP2009535179A/ja active Pending
- 2007-04-27 WO PCT/US2007/067697 patent/WO2007130872A2/en active Application Filing
- 2007-05-01 WO PCT/US2007/067961 patent/WO2007130999A2/en active Application Filing
-
2012
- 2012-03-14 JP JP2012057132A patent/JP5726793B2/ja active Active
- 2012-03-14 JP JP2012057129A patent/JP2012135642A/ja active Pending
- 2012-05-25 JP JP2012120096A patent/JP5726811B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2007130833A2 (en) | 2007-11-15 |
WO2007130872A3 (en) | 2008-11-20 |
JP2012135642A (ja) | 2012-07-19 |
JP2009535179A (ja) | 2009-10-01 |
WO2007130999A3 (en) | 2008-12-18 |
WO2007130999A2 (en) | 2007-11-15 |
JP2009535175A (ja) | 2009-10-01 |
WO2007130872A2 (en) | 2007-11-15 |
JP2012179420A (ja) | 2012-09-20 |
JP5726793B2 (ja) | 2015-06-03 |
WO2007130833A3 (en) | 2008-08-07 |
JP2012135643A (ja) | 2012-07-19 |
JP5726811B2 (ja) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5301429B2 (ja) | ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 | |
JP5204224B2 (ja) | 傾斜角情報と結合したビデオ入力を用いたオブジェクト検出 | |
US9381424B2 (en) | Scheme for translating movements of a hand-held controller into inputs for a system | |
US9393487B2 (en) | Method for mapping movements of a hand-held controller to game commands | |
US20060256081A1 (en) | Scheme for detecting and tracking user manipulation of a game controller body | |
US10220302B2 (en) | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera | |
JP4553917B2 (ja) | ゲームプログラムの実行を制御するための入力を取得する方法 | |
US20060264260A1 (en) | Detectable and trackable hand-held controller | |
US9682320B2 (en) | Inertially trackable hand-held controller | |
US10086282B2 (en) | Tracking device for use in obtaining information for controlling game program execution | |
US20060282873A1 (en) | Hand-held controller having detectable elements for tracking purposes | |
US20060287084A1 (en) | System, method, and apparatus for three-dimensional input control | |
US20070265075A1 (en) | Attachable structure for use with hand-held controller having tracking ability | |
EP3711828B1 (en) | Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands | |
JP5668011B2 (ja) | 環境内でユーザ操作を追跡するためのシステム | |
KR101020509B1 (ko) | 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120213 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5301429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |