JP5756796B2 - リモートコントローラの加速度計センサの較正 - Google Patents

リモートコントローラの加速度計センサの較正 Download PDF

Info

Publication number
JP5756796B2
JP5756796B2 JP2012508491A JP2012508491A JP5756796B2 JP 5756796 B2 JP5756796 B2 JP 5756796B2 JP 2012508491 A JP2012508491 A JP 2012508491A JP 2012508491 A JP2012508491 A JP 2012508491A JP 5756796 B2 JP5756796 B2 JP 5756796B2
Authority
JP
Japan
Prior art keywords
acceleration
controller
predetermined period
acceleration sensor
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012508491A
Other languages
English (en)
Other versions
JP2012525864A (ja
Inventor
ウィリアム ストレイベル,エドワード
ウィリアム ストレイベル,エドワード
Original Assignee
ニンテンドウ・オブ・アメリカ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43031047&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5756796(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ニンテンドウ・オブ・アメリカ・インコーポレーテッド filed Critical ニンテンドウ・オブ・アメリカ・インコーポレーテッド
Publication of JP2012525864A publication Critical patent/JP2012525864A/ja
Application granted granted Critical
Publication of JP5756796B2 publication Critical patent/JP5756796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups

Description

(関連出願の相互参照)
本願は、2009年5月4日出願の米国出願第61/175,081号の優先権を主張し、その全体を本明細書中にて援用する。
本明細書に開示される技術は、ゲームシステムに併用して使用されるコントローラの加速度センサの動作を較正するための方法およびシステムに関する。
コンピュータシステムへのユーザ入力は、さまざまな方法で与えてもよい。例えば、コンピュータシステムがビデオゲーム機(コンソール)である場合、入力は、通常、コントローラ上に設けられた十字キー、ジョイスティック、ボタンなどを使用して与えられる。十字キーまたはジョイスティックは、ビデオゲームオブジェクトをさまざまな方向に移動させる制御に使用され、およびさまざまなボタンが、キャラクタにジャンプ、武器の使用などのアクションをさせる制御に使用される。
本明細書に記載のコントローラは、それに加えてまたはその代わりに、コントローラの所定の移動および/または向きに基づいてビデオゲーム機または他のコンピュータシステムへの入力を生成する加速度計構成体を含む。このようなコントローラは、より直感的なユーザインターフェースを提供できる。例えば、ビデオゲームオブジェクトの移動は、コントローラを特定の方法で移動させることによって制御することができる。例えば、プレイヤは、コントローラを上または下に傾けることによって、ビデオゲームにおける面高度を高くしたり、または低くしたりしてもよい。加速度計構成体を使用すると、十字キー、ジョイスティック、ボタンなどを有するコントローラの使用によっては容易に(あるいは全く)得ることのできないゲーム体験を提供できる。
加速度計が異なると、同じ動き(加速度)に対して適用した場合でも異なる測定値が得られることがあり得る。このように測定値が異なるのは、例えば、加速度計の電気的または機械的な構成要素の違いのよるものであり得る。このように、第1および第2のコントローラを同じように移動または保持した場合でも、これらのコントローラのそれぞれに設けられた加速度計の加速度計出力には差違が生じ得る。
さらに、多軸加速度計の場合は、同じ加速度に対して各軸の感度が異なることがある。例えば、重力と第1の軸(例えば、Y軸)が同一線上に並ぶようにユーザがコントローラを保持する場合に生成される加速度計出力は、重力と第2の軸(例えば、X軸)が同一線上に並ぶようにコントローラが回転される場合に生成される加速度計出力と異なることがある。これが意味するところは、ユーザがゲームをプレイするやり方(例えば、ユーザが腰を下ろす場合または手首の向きを移動させる場合)が加速度の測定値に影響を与え得ることである。
本明細書に記載するシステムおよび方法は、加速度計出力が異なる加速度計間でばらつかない(一貫する)ように、かつ同じ加速度計の異なる軸に対してもばらつかない(一貫する)ように、加速度計出力を正規化するための正規化定数を提供する。これにより、コントローラの動きがビデオ画面上のプレイヤキャラクタの動きに一貫して自然に変換されることが可能なゲーム環境が提供される。
例えば、ビデオゲームシステムは、各フレームについて加速度ベクトルの最大差が所定の小さな限度内に収まる(プレイヤが特に操作していない状態でコントローラを保持している場合を意味する)所定の期間を調べるが、これに限定されない。次いで、ビデオゲームシステムは、この期間にわたって加速度ベクトルの平均を求め、この平均の大きさの逆数が正規化定数として使用される。
これらおよび他の特徴および利点は、以下の実施例の詳細な記載を添付の図面と併せて参照することによってより良くかつより完全に理解される。本発明は、以下の実施例には限定されない。
図1は、一例であるゲームシステム10の図である。 図2は、図1に示す一例のゲーム機100のブロック図である。 図3Aおよび3Bは、図1に示す一例のコントローラ107をそれぞれ上および下から見た斜視図である。 図4は、図1に示す一例のコントローラ107の正面図である。 図5Aは、図1に示す一例のコントローラ107のブロック図である。 図5Bは、一例のコントローラ107が指す方向を説明するための図である。 図6は、正規化および再較正処理のための、一例であって本発明を限定しない、ソフトウェアフローチャートを示す図である。 図7は、正規化および再較正処理のための、一例であって本発明を限定しない、ソフトウェアフローチャートを示す図である。
図1は、ゲーム機100、テレビ102、およびコントローラ107を含む、一例であって本発明を限定しない、ゲームシステム10を示す。
ゲーム機100は、その筐体110に形成されたスロット105に挿入された光ディスク104に記憶されたゲームプログラムまたは他のアプリケーションを実行する。ゲームプログラムまたは他のアプリケーションの実行結果は、ゲーム機100がケーブル106によって接続されたテレビ102の表示画面101上に表示される。ゲームプログラムまたは他のアプリケーションに関連する音声は、テレビ102のスピーカ109を介して出力される。図1には光ディスクを示すが、その代わりにまたはそれに加えて、ゲームプログラムまたは他のアプリケーションは、半導体メモリ、光磁気メモリ、磁気メモリなどの他の記憶メディアに記憶させてもよい。
コントローラ107は、ゲームコントロールデータなどのデータをゲーム機100へ無線送信する。ゲームコントロールデータは、例えば、複数の操作ボタン、キー、スティックなどを有するコントローラ107の操作部を使用して生成してもよい。また、コントローラ107は、ゲーム機100から送信されたデータを無線受信してもよい。Bluetooth(ブルートゥース(登録商標))などのさまざまな無線プロトコルのいずれか1つを使用してコントローラ107とゲーム機100との間の無線送信を行ってもよい。
後述するように、コントローラ107は、また発光デバイス108aおよび108bからの画像を取得および処理するための撮像情報演算部を含む。図1においてマーカ108aおよび108bをテレビ100の上にあるように示しているが、テレビ100の下に配置してもよい。一実施例において、発光デバイス108aと108bとの間の中心点は、表示画面101の垂直中心線に実質的に重なる。発光デバイス108aおよび108bからの画像を使用して、コントローラ107が指す方向およびコントローラ107の表示画面101からの距離を測定できる。例えば、発光デバイス108aおよび108bは、テレビ102の表示画面の近傍に設けられた2つのLEDモジュール(以下、「マーカ」と称する)として実現してもよいが、これに限定されない。各マーカは、赤外線を出力し、およびコントローラ107の撮像情報演算部は、LEDモジュールから出力された光を検出して、上記のようにコントローラ107が指す方向およびコントローラ107のディスプレイ101からの距離を測定する。
図2のブロック図を参照すると、ゲーム機100は、限定しないがビデオゲームプログラムなどを含むさまざまなタイプのアプリケーションを実行するRISC中央処理部(CPU)204を含む。CPU204は、例えば、ブートROMに記憶されたブートプログラムを実行してゲーム機100を初期化し、および次いで、光ディスクドライブ208に挿入された光ディスク104に記憶された1つの(または複数の)アプリケーションを実行する。ゲーム機100の筐体110上に設けられた、ユーザがアクセス可能なイジェクトボタン210を使用して、ディスクドライブ208から光ディスクをイジェクトしてもよい。
一実施例において、光ディスクドライブ208は、CPU204およびグラフィックス処理装置216の能力を活用するように開発されたアプリケーションを含む第1のタイプ(例えば、第1のサイズおよび/または第1のデータ構造のものなど)の光ディスク、およびCPU204および/またはグラフィックス処理装置216とは異なる能力を有するCPUおよび/またはグラフィックス処理装置によって実行するために本来開発されたアプリケーションを含む第2のタイプ(例えば、第2のサイズおよび/または第2のデータ構造のもの)の光ディスクの両方を受け取る。例えば、第2のタイプの光ディスクは、ニンテンドーゲームキューブプラットホーム用に本来開発されたアプリケーションでもよい。
CPU204は、システムLSI202に接続される。システムLSI202は、関連のグラフィックスメモリ220を有するグラフィックス処理部(GPU)216、音声デジタル信号処理装置(DSP)218、内部メインメモリ222、および入力/出力(IO)処理装置224を含む。
システムLSI202のIO処理装置224は、1以上のUSBポート226、1以上の標準メモリカードスロット(コネクタ)228、WiFiモジュール230、フラッシュメモリ232、および無線コントローラモジュール240に接続される。
USBポート226は、非常にさまざまな外部デバイスをゲーム機100に接続するために使用される。これらのデバイスには、例えば、ゲームコントローラ、キーボード、外部ハードディスクドライブなどの記憶装置、プリンタ、デジタルカメラなどがあるが、これらに限定されない。また、USBポート226は、有線のネットワーク(例えば、LAN)の接続のために使用してもよい。一実施例において、2つのUSBポート226が設けられる。
標準メモリカードスロット(コネクタ)228は、工業規格タイプのメモリカード(例えば、SDメモリカード)の受け入れに適応している。一実施例において、1つのメモリカードスロット228が設けられる。これらのメモリカードは、一般にデータ担体として使用されるが、もちろん、この使用方法は一例にすぎず、これに限定されない。例えば、プレイヤは、特定のゲームについてのゲームデータをメモリカード上に記憶させ、そしてメモリカードを友人宅に持って行き友人のゲーム機上でゲームをプレイしてもよい。また、メモリカードは、ゲーム機とパソコン、デジタルカメラ、などとの間でデータを転送するために使用してもよい。
WiFiモジュール230によって、ゲーム機100を無線アクセスポイントに接続することができる。アクセスポイントは、他の場所のプレイヤとオンラインゲームするためのインターネット接続性(音声チャット機能有りまたは無し)、ならびにウェッブ閲覧、電子メール、ファイルダウンロード(ゲームダウンロードを含む)、および多くの他のタイプのオンライン作業を提供してもよい。いくつかの実施例において、WiFiモジュール230は、また適応する装置を備えた携帯ゲームデバイスなどの他のゲームデバイスと通信するために使用してもよい。モジュール230は、本明細書中で「WiFi」と称し、IEEE802.11仕様ファミリーと関連して使用されるものを示す。しかし、ゲーム機100は、もちろん、その代わりにまたはそれに加えて、他の無線規格に準拠した無線モジュールを使用してもよい。
フラッシュメモリ232は、例えば、ゲーム保存データ、システムファイル、ゲーム機のための内部アプリケーション、およびダウンロードされたデータ(ゲームなど)を記憶するが、これに限定されない。
無線コントローラモジュール240は、1以上のコントローラ107から無線送信された信号を受信し、そしてこれらの受信信号をIO処理装置224に与える。コントローラ107によって無線コントローラモジュール240へ送信された信号は、コントローラ107に接続してもよい他のデバイスによって生成された信号と同様にコントローラ107自体によって生成された信号でもよい。例えば、あるゲームは、独立した右手および左手入力を利用してもよい。そのようなゲームにおいて、他のコントローラ(図示せず)をコントローラ107に接続してもよく(例えば、有線接続)、およびコントローラ107は、それ自体またはその他のコントローラによって生成された信号を無線コントローラモジュール240へ送信できる。
また、無線コントローラモジュール240は、信号をコントローラ107へ無線送信してもよい。例えば、コントローラ107(および/またはそれに接続された他のゲームコントローラ)には、振動回路が設けられてもよく、および振動回路制御信号は、無線コントローラモジュール240を介して送られ、振動回路を制御するようにしてもよい(例えば、振動回路のオン/オフ)が、これに限定されない。さらに、例えば、コントローラ107には、スピーカ(図示せず)が設けられてもよく(またはコントローラ107がスピーカに接続されてもよく)、およびこのスピーカからの出力のための音声信号は、無線コントローラモジュール240を介してコントローラ107に無線通信されてもよいが、これに限定されない。さらに、例えば、コントローラ107には、ディスプレイデバイス(図示せず)が設けられてもよく(またはコントローラ107がディスプレイデバイスに接続されてもよく)、およびこのディスプレイデバイスからの出力のための表示信号は、無線コントローラモジュール240を介してコントローラ107に無線通信されてもよいが、これに限定されない。
専用(proprietary)メモリカードスロット246は、専用メモリカードの受け入れに適応している。一実施例において、2つの上記のようなスロットが設けられる。これらの専用メモリカードは、非標準コネクタおよび/または非標準メモリアーキテクチャなどのいくつかの標準でない特徴を有する。例えば、1以上の上記メモリカードスロット246は、ニンテンドーゲームキューブプラットホームとともに使用されるメモリカードの受け入れに適応している。この場合、そのようなスロットに挿入されたメモリカードは、ゲームキューブプラットホーム用に開発されたゲームからのデータを転送できる。一実施例において、メモリカードスロット246は、そこに挿入されたメモリカードへの読み取り専用アクセスのために使用してもよく、およびこれらのメモリカード上のデータをスロット228に挿入された標準メモリカードなどの他の記憶メディアへコピーまたは転送できるかどうかに制限を設けてもよい。
1以上のコントローラコネクタ244は、それぞれのゲームコントローラの有線接続に適応している。一実施例において、4つのそのようなコネクタがニンテンドーゲームキューブプラットホーム用のゲームコントローラに有線接続されるように設けられる。あるいは、それぞれの無線受信器が無線ゲームコントローラからの信号を受け取るようにコネクタ244に接続されてもよい。これらのコネクタによって、プレイヤは、特に、ニンテンドーゲームキューブプラットホーム用に開発されたゲームのための光ディスクが光ディスクドライブ208に挿入された場合に、このプラットホーム用のコントローラを使用することができる。
コネクタ248は、例えばゲーム機100を通常の壁面コンセントから得られるDC電力に接続するために設けられる。もちろん、この電力は、1以上のバッテリから得てもよい。
GPU216は、CPU204からの指示に基づいて画像処理を行う。GPU216は、例えば、三次元(3D)グラフィックスを表示するために必要な演算を行うための回路を含む。GPU216は、画像処理専用のグラフィックススメモリ220および内部メインメモリ222の一部を使用して画像処理を行う。GPU216は、音声/ビデオコネクタ214によって音声/ビデオIC(インターフェース)212を介してテレビ102へ出力するための画像データを生成する。
音声DSP218は、CPU204からの指示に基づいて音声処理を行う。音声DSP218によって生成された音声は、音声/ビデオコネクタ214によって音声/ビデオIC212を介してテレビ102へ出力される。
外部メインメモリ206および内部メインメモリ222は、CPU204によって直接アクセス可能な記憶領域である。例えば、これらのメモリは、アプリケーションプログラム(CPU204によって光ディスク104から読み出されたゲームプログラムなど)、さまざまなタイプのデータなどを記憶できる。
ROM/RTC238は、リアルタイムクロックを含み、および好ましくは、外部電力が供給されなくても使用可能なように内部バッテリ(図示せず)で動作する。また、ROM/RTC238は、ゲーム機によって使用可能なブートROMおよびSRAMを含んでもよい。
電力ボタン242はゲーム機100の電源をオン/オフするために使用される。一実施例において、電力ボタン242は、誤って電源オフしてしまう可能性を低減するために、ゲーム機を電源オフするためには特定の時間(例えば、1または2秒)の間押されなければならない。リセットボタン244はゲーム機100をリセット(リブート)するために使用される。
図3および図4を参照すると、一例であるコントローラ107は、操作コントロール302a〜302hが設けられた筐体301を含む。筐体301は、一般に直方体形状であり、プレイヤの片手で把持可能な大きさである。十字キー302aは、筐体301の上面の前面側の中央に設けられる。十字キー302aは、十字型の4方向プッシュスイッチであり、矢印で示す方向(前後左右)に対応する操作部分が十字の突出片にそれぞれ配置される。プレイヤが十字キー302aのいずれかの操作部分を押下することによって前後左右いずれかの方向が選択される。プレイヤが十字キー302aを操作することによって、例えば仮想ゲーム世界においてプレイヤを異なる方向に移動できる。
十字キー302aは一例であり、他のタイプの操作部を使用してもよい。例えば、リング状に4方向の操作部分を備えたプッシュスイッチとセンタスイッチとを含む複合スイッチを使用してもよいが、これに限定されない。さらに、例えば、ハウジング301の上面から突出した傾倒可能なスティックであって、その傾倒方向に応じて操作信号を出力するスティックを使用してもよいが、これに限定されない。さらに、例えば、水平移動可能な円盤状部材であって、スライド方向に応じて操作信号を出力する部材を使用してもよいが、これに限定されない。さらに、例えば、タッチパッドを使用してもよいが、これに限定されない。さらに、例えば、少なくとも4つの方向(例えば、前後左右)に対応する独立したスイッチであって、プレイヤによって押下された場合にそれぞれの信号を出力するスイッチを使用してもよいが、これに限定されない。
ハウジング301の上面の十字キー302aより後面側に、ボタン(またはキー)302b〜302gが設けられる。ボタン302b〜302gは、プレイヤがそれらを押下した場合にそれぞれの信号を出力する操作デバイスである。例えば、ボタン302b〜302dは、それぞれ「X」ボタン、「Y」ボタン、および「B」ボタンであり、ボタン302e〜302gは、それぞれセレクトスイッチ、メニュースイッチ、およびスタートスイッチである。一般に、ボタン302b〜302gには、ゲーム機100が実行するアプリケーションに応じてさまざまな機能が割り当てられる。図3Aに示す配置例では、ボタン302b〜302dは、ハウジング301の上面の前後方向の中心線に沿って並設されている。ボタン302e〜302gは、左右方向の線に沿ってボタン302bおよび302dの間に並設されている。ボタン302fは、ハウジング701の上面から埋没させて、コントローラ107を把持しているプレイヤが誤って押下する可能性を低減するようにしてもよい。
ハウジング301の上面の十字キー302aより前面側に、ボタン302hが設けられる。ボタン302hは、遠隔からゲーム機100の電源をオン/オフする電源スイッチである。また、ボタン302hは、ハウジング301の上面に埋没させて、プレイヤが誤って押下する可能性を低減してもよい。
ハウジング301の上面のボタン302cより後面側に、複数の(例えば、4つ)LED304が設けられる。コントローラ107は、ゲーム機100とともに使用される他のコントローラと区別するためにコントローラ種別(番号)が割り当てられ、LED304は、この割り当てられているコントローラ種別をプレイヤに視覚的に示すために使用してもよい。例えば、コントローラ107が無線コントローラモジュール240へ信号を送信する際、コントローラ種別に対応する複数のLEDのうちの1つが点灯する。
図3Bを参照すると、ハウジング301の下面には、凹部308が形成されている。凹部308は、プレイヤがコントローラ107を把持したときに当該プレイヤの人差し指または中指が位置するような位置に形成される。凹部の後面側傾斜面308aには、ボタン302iが設けられる。ボタン302iは、例えば「A」ボタンとして機能し、例えばシューティングゲームにおけるトリガスイッチとして使用できる。
図4に示すように、コントローラハウジング301の前面には、撮像素子305aが設けられる。撮像素子305aは、マーカ108aおよび108bから受け取った画像データを解析するコントローラ107の撮像情報演算部の一部である。撮像情報演算部305は、例えば、最大200フレーム/秒程度のサンプリング周期を有し、およびそのため比較的高速なコントローラ107の動きでも追跡して解析することができる。この部分の動作のさらなる詳細は、下記の文献を見ればよい。2005年9月15日出願の出願番号60/716,937、題名「無線モジュール携帯コントローラを有するビデオゲームシステム」(米国特許公開番号2007−0066394Alに対応)、2005年11月3日出願の60/732,648、題名「情報処理プログラム」(米国特許公開番号2007−0072674Alに対応)、および2005年11月3日出願の出願番号60/732,649、題名「情報処理システムおよびそのためのプログラム」(米国特許公開番号2007−0060228Alに対応)。これらの出願のそれぞれの全体の内容は、明示的に本明細書中にて援用する。
コントローラハウジング301の後面には、コネクタ303が設けられている。コネクタ303はデバイスをコントローラ107に接続するために使用される。例えば、プレイヤが両手からのゲームコントロール入力を使用してゲームをプレイできるように、同様又は異なる構成の第2のコントローラをコントローラ107にコネクタ303を介して接続してもよい。他のゲーム機用のゲームコントローラ、入力デバイス(キーボード、キーパッド、およびタッチパッド)を含む他のデバイス、および出力デバイス(スピーカおよびディスプレイ)がコネクタ303を使用してコントローラ107に接続されてもよい。
以下の説明を容易にするために、コントローラ107に対する座標系を定義する。図3および図4に示すように、左手系のXYZ座標系をコントローラ107に対して定義してきた。もちろん、この座標系は、一例であってこれに限定されない、および本明細書に記載されるシステムおよび方法は、他の座標系を使用しても等しく適用可能である。
図5Aのブロック図に示すように、コントローラ107は3軸の直線加速度センサ507を含む。この3軸の直線加速度センサ507は、3方向、すなわち、上下方向(図3および図4に示すZ軸)、左右方向(図3および図4に示すX軸)、および前後方向(図3および図4に示すY軸)における直線加速度を検出する。あるいは、例えばY軸とZ軸のそれぞれに沿った直線加速度を検出するのみの2軸の直線加速度計を使用してもよいし、または例えばZ軸に沿った直線加速度を検出するのみの1軸の直線加速度計を使用してもよい。一般的に言えば、加速度計構成(例えば、3軸または2軸)は、求められる制御信号のタイプに依存する。例えば、3軸または2軸の直線加速度計は、アナログ・デバイセズ株式会社(Analog Devices,Inc.)またはSTMマイクロエロクトロニクス社(STMicroelectronics N.V.)から入手可能であるタイプのものでもよいが、これに限定されない。加速度センサ507は、シリコン微細加工されたMEMS(micro−electromechanical systems)の技術に基づいた静電容量式または静電容量結合式であることが好ましい。しかし、既存の、または将来開発される、いずれの他の適切な加速度計の技術(例えば、圧電方式や圧電抵抗方式)を使用して3軸または2軸の直線加速度センサ507を提供してもよい。
当業者に理解されるように、加速度センサ507として使用されるような直線加速度計は、加速度センサの各軸に対応する直線に沿った加速度を検出することができるだけである。つまり、加速度センサ507の直接の出力は、その2軸または3軸のそれぞれに沿った直線加速度(静的または動的)を示す信号に限られる。このため、加速度センサ507は、非直線状(例えば、円弧状)の経路に沿った動き、回転、回転運動、角変位、傾斜、位置、姿勢または他の物理特性を直接検出することができない。
しかし、加速度センサ507から出力される直線加速度の信号に対して追加の処理を行うことによって、コントローラ107に関するさらなる情報を推測または算出(すなわち、判定)することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、静的な直線加速度(すなわち、重力)が検出されると、加速度センサ507からの直線加速度出力を使用して、傾斜角度と検出された加速度との相関をとることによって重力ベクトルに対する対象の傾きを判定することができる。このように、加速度センサ507をコントローラ107のマイクロコンピュータ502(または他の処理装置)と組み合わせて使用することによって、コントローラ107の傾き、姿勢または位置を判定することができる。同様に、加速度センサ507を含むコントローラ107が例えばユーザの手で動的に加速される場合に、加速度センサ507によって生成される直線加速度信号を処理することによって、コントローラ107のさまざまな動きおよび/または位置を算出することができる。
他の実施形態では、加速度センサ507は、信号をマイクロコンピュータ502に出力する前に内蔵の加速度計から出力される加速度信号に対して必要とされる処理を行うための、組込み式の信号処理装置または他のタイプの専用の処理装置を含んでもよい。例えば、組込み式または専用の処理装置を用いれば、加速度センサが静的な加速度(例えば、重力)を検出するためのものである場合、検出された加速度信号をそれに相当する傾斜角(あるいは、他の所望のパラメータ)に変換することができるであろう。
加速度センサに加えてまたはその代わりに、移動および/または向きを検出または判定するために使用可能なジャイロスコープなどの他のタイプのデバイスを使用してもよい。例えば、ジャイロスコープを使用して、加速度計からの測定値または読み取り値を高精度化または補正してもよいが、これに限定されない。
再び図5Aを参照する。コントローラ107の撮像情報演算部505は、赤外線フィルタ528、レンズ529、撮像素子305a、および画像処理回路530を含む。赤外線フィルタ528は、コントローラ107の前面に入射する光から赤外線のみを通過させる。レンズ529は、赤外線フィルタ528からの赤外線を集光して撮像素子305a上に合焦させる。撮像素子305aは、例えばCMOSセンサまたはCCDのような固体撮像デバイスである。撮像素子305aは、レンズ529が集光したマーカ108aおよび108bからの赤外線を撮像する。したがって、撮像素子305aは、赤外線フィルタ528を通過した赤外線だけを撮像し、そしてそれに基づいて画像データを生成する。この画像データは、画像処理回路530によって処理される。画像処理回路530は、画像データの高輝度領域を検出し、そしてこの検出に基づいて、その領域の検出座標位置およびサイズを示す処理結果データを通信部506へ出力する。この情報から、コントローラ107が指している方向およびコントローラ107のディスプレイ101からの距離を判定できる。
図5Bは、テレビ102の表示画面101の下に位置するセンサ108a、108bを示す。図5Bが示すように、コントローラ107がセンサを指している場合、実際には表示画面101の中心を指しているわけではない。しかし、ゲーム機100によって実行されるゲームプログラムまたはアプリケーションは、この状況をコントローラ107が画面の中心を指している状況として扱ってもよい。この場合、実際の座標およびプログラム座標は、異なってくるが、ユーザがテレビから十分に離れている場合、ユーザの脳は、目によって見える座標と手の移動に対する座標との間の差違を自動的に補正する。
再び図5Aを参照する。振動回路512は、またコントローラ107に含まれてもよい。振動回路512は、例えば、振動モータまたはソレノイドでもよい。コントローラ107は、振動回路512の作動によって振動し(例えば、ゲーム機100からの信号に応答して)、そしてその振動は、コントローラ107を把持しているプレイヤの手に伝搬される。このように、いわゆる振動対応ゲームを実現してもよい。
上記のように、加速度センサ507は、コントローラ107の上下方向(Z軸方向)、左右方向(X軸方向)、および前後方向(Y軸方向)の3軸方向の成分の形態で加速度を検出して出力する。加速度センサ507が検出した3軸方向の成分として加速度を示すデータは、通信部506へ出力される。この加速度センサ507から出力される加速度データに基づいて、コントローラ107の動きを判定することができる。
通信部506は、マイクロコンピュータ502、メモリ503、無線モジュール504、およびアンテナ505を含む。マイクロコンピュータ502は、処理中にメモリ503を記憶領域として使用しながら、データを送受信するために無線モジュール504を制御する。マイクロコンピュータ502には、操作部302からの操作信号(例えば、十字キー、ボタン、またはキーのデータ)、加速度センサ507からの3軸方向の加速度信号(X、Y、およびZ軸方向の加速度データ)、および撮像情報演算部505からの処理結果データを含むデータが供給される。マイコン502は、供給されたデータをゲーム機100へ送信するための送信データとして一時的にメモリ503に格納する。通信部506からゲーム機100への無線送信は、所定の時間間隔で行われる。ゲームの処理は1/60秒(16.7ms)の周期で行われることが一般的であるので、無線送信はそれよりも短い期間の周期で行うことが好ましい。例えば、ブルートゥース(登録商標)の技術を使用して構成される通信部は、5msの周期を有することができる。マイクロコンピュータ502は、送信タイミングが到来すると、メモリ503に記憶されている送信データを一連の操作情報として無線モジュール504へ出力する。無線モジュール504は、例えばブルートゥース(登録商標)の技術を使用して、所定周波数を有する搬送波信号として操作情報をアンテナ505から送信する。このように、操作部302からの操作信号データ、加速度センサ507からのX、Y、およびZ軸方向加速度データ、および撮像情報演算部505からの処理結果データがコントローラ107から送信される。ゲーム機100は、搬送波信号を受信し、そして搬送波信号を復調または復号することによって、操作情報(例えば、操作信号データ、X、Y、およびZ軸方向加速度データ、および処理結果データ)を取得する。この受信したデータと現在実行中のアプリケーションとに基づいて、ゲーム機100のCPU204は、アプリケーション処理を行う。ブルートゥース(登録商標)の技術を用いて通信部506を構成する場合、コントローラ107はまた、ゲーム機100を含むデバイスから無線送信されたデータを受信することができる。
一実施形態において、加速度計出力の正規化を行って、特に、異なるコントローラにおける加速度計間に存在し得る感度差および同じ加速度計の異なる軸間に存在し得る感度差に対処する。
本明細書に記載するシステムおよび方法は、加速度計出力を正規化するための正規化係数の生成を含む。ゲームの開始時またはその近くで、例えば、加速度計の各軸の加速度ベクトルを所定期間(例えば、20フレームまたは約0.3秒)モニタする。この期間中、各軸についての加速度ベクトルにおける最大差が所定の限度内であれば、その期間にわたって各軸について加速度ベクトルの平均を算出する。各軸についての平均ベクトルの大きさの逆数を算出し、そしてその軸に対する正規化定数として使用する。加速度ベクトルに対するその後の測定値には、この正規化定数が乗算される。このように、例えば、重力と同一線上に並ぶ加速度計軸について平均測定値0.8gが得られたとすると、この平均の逆数(すなわち、1.25)が正規化定数となり、そしてこの軸に対する加速度計測定値には、1.25が乗算される。
上記の正規化方法においては、平均加速度ベクトルの大きさだけが考慮され、その方向は考慮されない。さらに、コントローラデバイスの各加速度計に対してスケール係数が算出され、したがって、例えば、コントローラ107の加速度計に対して1つ、およびコントローラ107に接続された(無線または有線のいずれかによって)いずれの他のコントローラに含まれるいずれの加速度計に対しても1つある。コントローラ107およびそれに接続されたいずれのコントローラからの信号もゲーム機100との通信の異なるデータフィールド中に含まれるので、ゲーム機は、正規化加速度がコントローラ107から来るのか、およびコントローラ107に接続されたいずれのコントローラから正規化加速度が来るのかを判定できる。
一実施形態において、プレイヤがプレイする準備ができている場合、加速度計に対する正規化係数は、ゲームの開始時に算出される。しかし、実施形態は、この時間フレームの選択に限定されず、その算出は、例えば、以下に記載するように再較正中に発生するので、いずれの期間において発生してもよい。
正規化は、ユーザが気づくことなく発生する。これにより、ユーザが処理する必要があり得る多くの退屈な画面が排除され、およびまた、ユーザが正規化を行う必要があるとした場合にユーザエラーが起こる可能性が排除される。
さらに他の実施形態において、初期設定中にゲームプレイが実際に開始する前に正規化係数が算出された場合でも、スケール係数がゲームプレイセッション中に変化することがあるので(再)較正が必要となる場合がある。あるユーザセッション中に1つのコントローラ107に対してスケール係数が理論的には変化しないはずである場合でも、コントローラ107の向きが測定値に影響を与えることがある。より具体的には、X軸がY軸よりも少し感度がよいことがある。例えば、そのため、コントローラ107がいろいろな方向へ回転したとすると、システムは、それに基づいて若干異なる感度値を取る。これは、例えば、特定のプレイヤがゲームプレイセッション中にプレイのやり方を若干変更した場合に起こり得る。例えば、ユーザがコントローラを回転することによって重力が加速度計の異なる軸に作用する場合、この軸は、その他の軸とは若干異なる感度値を実際には有することがあり、そうなるとスケール係数も若干異なる。このように、較正値は、ゲーム中に変化する可能性があり、正規化処理は所定の周期で繰り返される。
上記の正規化方法は、コントローラに対して比較的静止している期間を調べる。しかし、プレイヤがコントローラを常に激しく振る場合は、デフォルトの正規化値(例えば、1.0)を使用する。
図6は、ビデオゲーム機100がゲームプレイセッション中にコントローラ107の加速度計の測定値を較正することによって行われる処理を例示するフローチャートを示すが、これに限定されない。この例において、ステップ302において、コントローラ107の初期化が行われ、およびデフォルト正規化値(例えば、1.0)が設定される。ここで、ゲーム機100は、ユーザに対して、コントローラ107で表示画面101の中心を指すように指示して、マーカ108aと108bとの間の中心点を確立させる。その後、ステップ304において、ゲーム機100は、加速度計の正規化が行われたがどうか判定する。その判定結果が否定の場合、正規化処理A(図7に示す)が行われる。他方、判定結果が肯定の場合、プレイは、ステップ306に引き継がれる。
ステップ308において、ゲーム機100は、ゲーム中に所定の時間量が経過したかどうか判定する。この時間量は、コントローラの加速度計に対して周期的に行われる再較正に関係する。所定の時間量が経過していない場合、処理はステップ306に戻る。しかし、ステップ308の判定結果が肯定の場合、システムは、ステップ310において正規化Aを行う。最後に、ステップ312において、システムは、プレイが終了したかどうかを判定する。プレイが終了していない場合、処理はステップ306に戻り、そしてプレイを継続する。しかし、ゲームが終了した場合、処理は終了する。
図7は、一例である正規化処理Aのフローチャートを示すが、これに限定されない。ステップ402において、所定の期間が考慮される(例えば、0.3秒)。その後、ステップ404において、ゲーム機100は、所定の時間量における所定数のフレーム(例えば、20フレーム)について加速度センサの各軸における加速度ベクトルの値を調べる。次いで、ゲーム機100は、各フレームについての各軸に対する加速度ベクトルの最大差が所定の小さな値内にあるかどうかを判定する(ステップ406)。所定の小さな値内にあれば、コントローラが比較的操作されていない状態で把持されていることを示す。ステップ406の判定結果が否定である場合、デフォルト値(例えば、1.0)が正規化係数として使用され、そして正規化はステップ416へ継続する。
ステップ406の判定結果が肯定である場合、ステップ410において上記期間にわたってすべての加速度ベクトルの平均が算出され、その後ステップ412において、各軸について平均加速度ベクトルの大きさが算出される。正規化処理は、ステップ412において見つけられた平均ベクトルの大きさの逆数を算出することによって継続し、正規化係数を生成する(ステップ414)。最後に、ゲーム機100は、加速度ベクトルに対する各測定値を、ステップ414において見つけられた正規化係数を乗算することによって正規化する(ステップ416)。
他の実施例において、ゲーム機100は、特定の加速度計軸が重力と同一線上に並ぶようにコントローラ107を保持するようにユーザを促してもよい。所定の期間にわたってその特定の軸に対する加速度ベクトルの平均を算出して正規化係数を提供してもよい。他の実施例において、ゲーム機100は、各加速度計軸が順次重力と同一線上に並ぶようにコントローラ107を保持するようにユーザを促してもよい。所定の期間にわたって各軸に対する加速度ベクトルの平均を算出してそれぞれの正規化係数を提供してもよい。
本明細書に記載のシステムおよび方法は、ハードウェア、ファームウェア、ソフトウェア、およびそれらの組み合わせによって実現してもよい。ソフトウェアまたはファームウェアは、マイクロ処理装置およびマイクロコントローラなどの処理システムを含む、汎用または専用の計算デバイスによって実行してもよい。ソフトウェアは、例えば、記憶媒体(光、磁気、半導体、またはそれらの組み合わせ)に記憶され、そして処理システムによる実行のためにRAMにロードされてもよい。また、本明細書に記載のシステムおよび方法は、その一部または全部が、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、論理回路などのハードウェアによって実現されてもよい。
上記システムおよび方法を現時点で実用的および好適な実施形態と考えられるものと関連づけて説明してきたが、これらのシステムおよび方法が開示の実施形態に限定されず、反対に、添付の特許請求の範囲の趣旨および範囲に含まれるさまざまな変更および均等物を包含することを意図することが理解される。

Claims (10)

  1. ビデオゲーム機と併用して使用されるリモートコントローラの加速度センサの動作を較正して、一貫性のある測定値を生成するための方法であって、
    前記コントローラを初期化した後の所定の期間を考慮するステップと、
    前記所定の期間にわたり所定数のビデオフレームについて、複数の直交軸の各々に沿った前記加速度センサの加速度ベクトルの値を考慮するステップと、
    前記所定の期間にわたって各フレームについての前記加速度ベクトルの最大差が所定の限度よりも小さいかどうかを判定するステップと、
    前記判定ステップの結果が肯定である場合と否定である場合とで、異なる正規化係数を設定するステップと、
    前記加速度センサの各軸についての各加速度ベクトルに前記正規化係数を乗算するステップとを含む方法。
  2. 前記判定ステップの結果が肯定である場合に、前記正規化係数が各軸についての前記所定の期間にわたって平均した加速度ベクトルの大きさの逆数に等しい、請求項1に記載の方法。
  3. 前記判定ステップの結果が否定である場合に、前記正規化係数は、所定の値に等しい、請求項1に記載の方法。
  4. 前記方法は、前記ビデオゲーム機のプレイセッションの期間中に周期的に繰り返される、請求項1に記載の方法。
  5. ビデオゲーム機と併用して使用されるリモートコントローラの加速度センサの測定値を較正して、一貫性のある測定値を生成するためのシステムであって、
    前記ビデオゲーム機に対してデータを送受信するリモートコントローラであって、複数の直交軸の各々に沿った加速度ベクトルに対する値を生成する加速度センサを含むリモートコントローラと、
    前記リモートコントローラを初期化した後の所定の期間を考慮する前記ビデオゲーム機内の期間考慮プログラム論理回路と、
    前記所定の期間にわたり所定数のビデオフレームについて、各軸に沿った前記加速度センサの加速度ベクトルの値を考慮する加速度値考慮プログラム論理回路と、
    前記所定の期間にわたって各フレームについての前記加速度ベクトルの最大差が所定の限度よりも小さいかどうかを判定する閾値判定プログラム論理回路と、
    前記閾値判定プログラム論理回路の判定結果が肯定である場合と否定である場合とで、異なる正規化係数を設定する設定プログラム論理回路と、
    前記加速度センサの各軸についての各加速度ベクトルに前記正規化係数を乗算する正規化プログラム論理回路とを含むシステム。
  6. 前記閾値判定プログラム論理回路の結果が肯定である場合に、前記正規化係数が各軸についての前記所定の期間にわたって平均した加速度ベクトルの大きさの逆数に等しい、請求項5に記載のシステム。
  7. 前記閾値判定プログラム論理回路の結果が否定である場合に、前記正規化係数は、所定の値に等しい、請求項5に記載のシステム。
  8. 前記リモートコントローラの加速度センサの測定値の較正は、前記ビデオゲーム機のプレイセッションの期間中に周期的に繰り返される、請求項5に記載のシステム。
  9. ビデオゲーム機のコンピュータに実行させるゲームプログラムであって、
    前記コンピュータを、
    前記コントローラを初期化した後の所定の期間を考慮する手段、
    前記所定の期間にわたり所定数のビデオフレームについて、複数の直交軸の各々に沿った前記加速度センサの加速度ベクトルの値を考慮する手段、
    前記所定の期間にわたって各フレームについての前記加速度ベクトルの最大差が所定の限度よりも小さいかどうかを判定する手段、
    前記最大差が前記所定の限度よりも小さい場合と大きい場合とで、異なる正規化係数を設定する手段、
    前記加速度センサの各軸についての各加速度ベクトルに設定された前記正規化係数を乗算する手段として機能させる、ゲームプログラム。
  10. リモートコントローラの加速度センサの動作を較正して、一貫性のある測定値を生成するビデオゲーム機であって、
    前記コントローラを初期化した後の所定の期間を考慮する手段と、
    前記所定の期間にわたり所定数のビデオフレームについて、複数の直交軸の各々に沿った前記加速度センサの加速度ベクトルの値を考慮する手段と、
    前記所定の期間にわたって各フレームについての前記加速度ベクトルの最大差が所定の限度よりも小さいかどうかを判定する手段と、
    前記最大差が前記所定の限度よりも小さい場合と大きい場合とで、異なる正規化係数を設定する手段と、
    前記加速度センサの各軸についての各加速度ベクトルに設定された前記正規化係数を乗算する手段とを備えるビデオゲーム機。
JP2012508491A 2009-05-04 2010-05-04 リモートコントローラの加速度計センサの較正 Active JP5756796B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17508109P 2009-05-04 2009-05-04
US61/175,081 2009-05-04
PCT/US2010/001324 WO2010129045A2 (en) 2009-05-04 2010-05-04 Calibration of the accelerometer sensor of a remote controller

Publications (2)

Publication Number Publication Date
JP2012525864A JP2012525864A (ja) 2012-10-25
JP5756796B2 true JP5756796B2 (ja) 2015-07-29

Family

ID=43031047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012508491A Active JP5756796B2 (ja) 2009-05-04 2010-05-04 リモートコントローラの加速度計センサの較正

Country Status (5)

Country Link
US (1) US8725445B2 (ja)
EP (1) EP2411104B1 (ja)
JP (1) JP5756796B2 (ja)
ES (1) ES2450144T3 (ja)
WO (1) WO2010129045A2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2873271C (en) * 2012-05-08 2018-01-02 Schlage Lock Company Llc Remote management of electronic products
KR102305093B1 (ko) * 2015-02-26 2021-09-28 삼성전자주식회사 전자 장치 및 전자 장치의 자이로 센서 칼리브레이션 방법
US10940384B2 (en) * 2017-06-06 2021-03-09 Invensense, Inc. Inciting user action for motion sensor calibration

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611731A (en) * 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
JP4595215B2 (ja) * 2001-03-01 2010-12-08 ソニー株式会社 位置情報検出装置、加速度センサーの出力の補正方法及び加速度センサーの出力を補正するプログラム
WO2006016671A1 (ja) * 2004-08-12 2006-02-16 Asahi Kasei Emd Corporation 加速度計測装置
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4663738B2 (ja) * 2006-01-05 2011-04-06 旭化成エレクトロニクス株式会社 加速度計速装置
JP2007295989A (ja) * 2006-04-27 2007-11-15 Nintendo Co Ltd ゲーム装置およびゲームプログラム
US7988558B2 (en) * 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP4916762B2 (ja) * 2006-05-02 2012-04-18 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP5506129B2 (ja) * 2006-05-08 2014-05-28 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
JP2007306070A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc 遠隔制御システム及び遠隔制御方法
JP5089079B2 (ja) * 2006-05-08 2012-12-05 任天堂株式会社 プログラム、情報記憶媒体及び画像生成システム
JP5041728B2 (ja) * 2006-05-08 2012-10-03 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4582116B2 (ja) * 2007-06-06 2010-11-17 ソニー株式会社 入力装置、制御装置、制御システム、制御方法及びそのプログラム
JP5183987B2 (ja) * 2007-07-09 2013-04-17 株式会社ソニー・コンピュータエンタテインメント ゲーム装置およびゲームシステム

Also Published As

Publication number Publication date
EP2411104A4 (en) 2012-09-05
EP2411104B1 (en) 2014-01-15
WO2010129045A2 (en) 2010-11-11
US20100280783A1 (en) 2010-11-04
JP2012525864A (ja) 2012-10-25
ES2450144T3 (es) 2014-03-24
EP2411104A2 (en) 2012-02-01
US8725445B2 (en) 2014-05-13
WO2010129045A3 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
US8409004B2 (en) System and method for using accelerometer outputs to control an object rotating on a display
JP5325771B2 (ja) 加速度計データに基づいて、振りの衝撃の時期および/または振りの強度を検出するシステム、方法、装置、およびプログラム
JP5692904B2 (ja) 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
JP5430246B2 (ja) ゲーム装置およびゲームプログラム
US7833099B2 (en) Game apparatus and recording medium recording game program for displaying a motion matching a player's intention when moving an input device
JP5273763B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8337308B2 (en) Game system, game device, storage medium storing game program, and game process method
JP5196515B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5901891B2 (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
JP5943553B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP5943554B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP5829020B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5780755B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP5869236B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8246457B2 (en) Storage medium having game program stored thereon and game apparatus
JP4919887B2 (ja) 画像処理プログラムおよび画像処理装置
JP5988549B2 (ja) 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
JP5756796B2 (ja) リモートコントローラの加速度計センサの較正
JP5937792B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5576721B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム方法
US20120256966A1 (en) Storage medium, information processing apparatus, information processing system and information processing method
JP6045777B2 (ja) 方向制御システム、方向制御装置、方向制御プログラム、および方向制御方法

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20130422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150601

R150 Certificate of patent or registration of utility model

Ref document number: 5756796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250