JP4396508B2 - 磁気マッピング評価装置 - Google Patents

磁気マッピング評価装置 Download PDF

Info

Publication number
JP4396508B2
JP4396508B2 JP2004363239A JP2004363239A JP4396508B2 JP 4396508 B2 JP4396508 B2 JP 4396508B2 JP 2004363239 A JP2004363239 A JP 2004363239A JP 2004363239 A JP2004363239 A JP 2004363239A JP 4396508 B2 JP4396508 B2 JP 4396508B2
Authority
JP
Japan
Prior art keywords
magnetic
error
measurement
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004363239A
Other languages
English (en)
Other versions
JP2006170781A (ja
Inventor
一穂 多和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2004363239A priority Critical patent/JP4396508B2/ja
Publication of JP2006170781A publication Critical patent/JP2006170781A/ja
Application granted granted Critical
Publication of JP4396508B2 publication Critical patent/JP4396508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、交流磁気方式のヘッドモーショントラッカ(以下HMTと呼ぶ)を使用する空間の磁気分布を評価するための磁気マッピング評価装置に関する。
本装置は、空間に交流磁界を発生させておき、頭部に取り付けた磁気センサが検出する磁気データに基づいて、頭部の向きや角度を測定する交流磁気方式のHMTに関連して用いられるものであり、予めHMTを使用する空間の磁気分布の評価を行う際に利用される。
HMTは、ゲーム機のヴァーチャルリアリティ(VR)や実際の航空機で、頭部装着型表示装置使用者の頭部の位置および角度を計測する装置として利用されている。
例えば、VR技術では、頭部装着型表示装置を装着する者の頭部の動きに応じて変化する画像を視認させることで、VR空間を体験させる。この場合、装着者の頭部の位置と向き(角度)とを測定し、測定結果に対応させて頭部装着型表示装置の表示画像を変化させるようにするために、HMTを用いている。
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置により表示される照準画像と救難目標とが対応した時にロックすることにより、その後は、頭部の位置と角度とを測定し、ロックされた救難目標との位置関係を演算して、上記表示装置装着者が救難目標を見失わないように表示することが行われている。この場合、救難目標との位置関係を演算する際に、航空機の緯度、経度、高度、飛行体の姿勢に加えて、頭部装着型表示装置を装着する者の頭部の位置と角度とを測定することが必要になり、HMTを用いている。
HMTのひとつに、交流磁気方式のHMTがある(例えば特許文献1参照)。これは、例えば頭部装着型表示装置に磁気センサを固定し、予め頭部装着型表示装置を使用する空間領域に交流磁界を発生しておき、磁気センサの現在位置の磁気データを随時測定することで、測定結果に基づいて、その時点の磁気センサの位置と向き、ひいては磁気センサを固定した頭部装着型表示装置の位置と向きを算出するものである。
図2は交流磁気方式のHMTの構成を模式的に示した図である。HMT100は、3軸コイルにより交流磁界を発生する磁気ソース101と、座席102に座ったHMT使用者が頭部に取り付ける頭部装着型表示装置103と、頭部装着型表示装置103に固定された磁気センサ104と、磁気ソース101および磁気センサ104の制御を行うとともに、磁気センサ104が測定した磁気データに基づいて磁気センサ104の位置や角度を算出する機能を備えた制御部105とから構成される。このHMT100では、磁気ソース101が発生する交流磁界により、空間の各点には、それぞれの位置に固有の磁気変化(大きさおよび向きを有する磁気データ)が生じる。磁気センサ104を用いて、磁気センサ104の現在位置での磁気データを測定し、空間各点が有する磁気データと比較することにより、磁気センサ104の位置関係、角度関係が算出される。
交流磁気方式のHMTでは、予め、位置の基準となる原点および座標系と、方向の基準となる基準方向とを定めている。具体的には、磁気ソースの位置を原点としてXYZ座標系を定め、さらに、X軸方向を基準方向として定めている。
そして磁気センサの出力に基づいて、座標原点から磁気センサまでの位置移動量であるX、Y、Zの位置座標情報、および磁気センサの基準方向に対する角度移動量であるアジマス方向(X軸に対する回転)、エレベーション方向(Y軸に対する回転)、ロール方向(Z軸に対する回転)の角度情報を求めるようにして、これらから磁気センサを固定してある頭部装着型表示装置、さらには頭部の測定原点および基準方向に対する位置や角度を求めている。
ところで、交流磁気方式のHMTでは、磁気センサにより測定した磁気データに基づいて位置情報、角度情報を導出するが、その前提として、HMTを使用する空間、すなわち頭部が移動する空間の各点での磁気データの分布を求めておくことが必要になる。すなわち、磁気センサの現在位置での磁気データを測定し、予め理論計算によって求めた空間各点の磁気データ分布を参照することにより、磁気センサの位置、角度(したがって頭部装着装置および頭部の位置、角度)を特定することになる。
空間の磁気データ分布は、磁界発生源である磁気ソースと磁気センサだけが存在するような理想状態では、電磁気学理論に基づく理論計算(ビオサバールの法則などによる計算)により、ほぼ正確に求めることができる。
しかし、磁気ソースや磁気センサの周辺に、金属等の導電性物質が存在する場合は、磁気データの分布は単純ではなく、導電性物質内に発生する渦電流により誘起される磁界によって、交流磁界内に磁気歪を生じることとなる。特に、ゲーム機や航空機の場合は、構造上、金属製の座席などを設ける必要があり、HMTの周囲から導電性物質をなくすことは困難なため、どうしても導電性物質の影響による磁気歪が生じてしまう。
そのため、導電性物質の影響を除去するために、磁気マッピング装置を用いて各測定位置における位置誤差データ、角度誤差データを予め収集している。磁気マッピング装置は、
一定間隔ごと離れた測定位置に磁気センサを移動し、各測定位置における磁気データを実測し、その出力に基づいて、各測定点の位置や角度の誤差データを取得する。
特開2002−81904号公報
上述したように磁気マッピング装置による測定誤差データの収集の目的は、各位置での測定誤差を求めた誤差分布データ(磁気マッピングデータ)を作成し、HMTによる位置情報や角度情報を正確に求めることである。
この目的を達成するためには、各測定点の誤差データを数値として得て、測定誤差に相当する数値を補正値として本来の数値から減ずることができれば十分であることから、従来、誤差データを数値として求めることだけを磁気マッピング装置は実行していた。
しかしながら、導電性物質による磁気歪の影響が相当大きい場合があり、場合によっては、磁気データに基づいて算出した測定誤差の値を減算する補正では、誤差を正確に補正できない場合がある。
そのような場合に、たとえ測定誤差の補正はできなくても、誤差補正ができない領域が空間のどこ辺りであるかの評価を行うことが必要である。すなわち、誤差補正ができない不具合領域であるかを評価することができれば、その不具合領域での使用を避ければ足りるので、たとえ誤差補正ができなくても実用上は問題ない。
ところが、従来の磁気マッピング装置の出力は単に、誤差データを数値として表形式で出力するだけであったため、その数値を見ただけで磁気分布に基づく測定誤差を解析することは困難であった。
そこで、本発明は、各測定点での測定誤差を求めて誤差分布データ(磁気マッピングデータ)を取得するとともに、誤差分布データ(磁気マッピングデータ)の解析を容易にするための評価機能を備えた磁気マッピング評価装置を提供することを目的とする。
上記課題を解決するためになされた本発明の磁気マッピング評価装置は、ヘッドモーショントラッカを使用する際と同様の磁界を発生する磁気ソースと、前記磁界中の磁気データを測定する磁気センサと、前記磁界中にXYZ座標系を定め、前記磁気センサを複数の測定点に対し順次移動させる磁気センサ移動機構と、各測定点で磁気センサが測定した磁気データに基づいて、電磁気学理論に基づく理論計算により、理論上位置および理論上角度を算出して、位置誤差および角度誤差を算出する測定誤差算出部と、表示部に画像表示されたXYZ座標系画像または投影面画像中に、前記位置誤差および角度誤差を示す画像情報を画像表示する磁気マッピング表示部とを備え、前記画像情報は、ベクトル画像であり、前記ベクトル画像の向きで、前記角度誤差を表現するとともに、前記XYZ座標系画像または投影面画像中の理論上位置にベクトル画像を画像表示するか、あるいは、前記ベクトル画像の長さで、前記位置誤差を表現している。
本発明によれば、HMTを使用する空間と同一環境の空間において、磁気ソースにより交流磁界を発生し、HMTと同様の磁界が形成されるようにする。そして空間内に複数の測定点を定め、磁気センサ移動機構によって磁気センサを各測定点に順次移動させ、それぞれの測定点で磁気データを取得する。各測定点での磁気データを、理論計算(ビオサバールの法則など)で求めることができる磁気データと比較することにより、磁気歪の影響による位置誤差および角度誤差を算出することができる。そして、磁気マッピング表示部は、算出された位置誤差および角度誤差に関する分布を2次元的あるいは3次元的にマッピング表示する。したがって、磁気歪による位置誤差や角度誤差に関する情報を、数値ではなく視覚的に把握することができるようになる。
ここで、各測定点は、一定間隔ごと離隔させて格子状をなすように配置すれば、測定位置の特定が容易となって好ましいが、必ずしも格子状に配置する必要はない。要するに、測定しようとする空間全体にわたって測定点が偏在することなく、ほぼ均等に分散するように配置してあるとともに、各測定点の位置が特定されていればよい。
また磁気センサ移動機構は、この機構自身が渦電流を発生して磁気歪を生じないようにするため、できるだけ非導電性材料で形成することが好ましい。
マッピング表示は、位置誤差のみを表示してもよいし、また、角度誤差のみを表示してもよい。さらに、位置誤差および角度誤差を同時に表示してもよい。マッピングでの表示内容は測定誤差に関する情報をグラフィック的に表示できるものであればよい。
例えば、実測した磁気データを、理論計算式(ビオサバールの方式)に当てはめて理論上(すなわち磁気歪がない場合)、その磁気データが得られる座標を算出することで、磁気歪の影響がなければ、本来その磁気データが得られるべき座標位置を求め、磁気データを実測した格子点位置とともに表示してもよい(後述する図5参照)。
また、実測した格子点位置に発生している位置誤差や角度誤差を算出して、その格子点位置において位置誤差、角度誤差をグラフィック表示してもよい(後述する図6、図7参照)。
上記発明によれば、位置誤差や角度誤差に関する情報を2次元的あるいは3次元的にマッピング表示することができるので、磁気歪による測定誤差の空間的な状態を視覚的に把握でき、HMTのための磁気補正の解析や評価を容易に行うことができる。
(その他の課題を解決するための手段および効果)
上記発明において、少なくとも位置誤差または角度誤差のいずれかに関する閾値を記憶する閾値記憶部と、閾値記憶部に記憶された閾値とこの閾値に対応する各測定位置の位置誤差または角度誤差とを比較する比較部と、位置誤差または角度誤差が閾値より大きい場合に該当する測定位置に対し警告情報を付して表示する警告表示部とをさらに備え、前記警告情報は、前記ベクトル画像の色を変化させるものであるようにしてもよい。
これによれば、予め適当な閾値を設定し、記憶させておくことにより、その閾値より大きな位置誤差、角度誤差が生じた測定点については警告表示部により、警告情報が付されるので、誤差が大きな場所を簡単に把握することができる。誤差が大きくなりすぎると場合によっては、誤差補正が不能な領域となるので、そのような領域の評価をより簡単に行うことができる。また、HMTを使用する際に、警告情報が付された測定点近傍での使用を行わないように注意することができる。
ここで、警告情報の表示は、視覚的に目立つ表示方法であればよい。例えば他よりも目立つマークを付して表示したり、他とは異なる色で表示したり、あるいは点滅表示したりすればよい。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
(実施形態1)
図1は、本発明の一実施形態である磁気マッピング評価装置の構成を示すブロック図である。この磁気マッピング評価装置10は、交流磁界を発生する磁気ソース11と、各測定点で磁気データを検出する磁気センサ12と、磁気センサ12の位置を移動する磁気センサ移動機構13と、磁気ソース11、磁気センサ12、磁気センサ移動機構13の制御を行う制御部14と、表示部15とからなる。また、制御部14は、磁気データから位置誤差や角度誤差を算出する測定誤差算出部16、位置誤差や角度誤差を2次元、3次元的に表示する磁気マッピング表示部17としての機能をも有する。
磁気マッピング装置10は、図2で説明したHMT100と同じ磁界を形成するようにセットされる。すなわち磁気ソース11は、図2における磁気ソース101をそのまま用い、また、座席22は、図2の座席102をそのまま用いる。これにより、HMT100と磁気マッピング評価装置10とは、磁気的な環境が同一になるようにしてある。
磁気センサ12は、ピックアップコイルを有しており、現在位置での磁気の大きさと向きとを磁気データとして測定する。
磁気センサ移動機構13は、XYZ方向に駆動可能なステージ機構で構成され、XYZの各方向に一定間隔ごと離れた位置、すなわち格子点をなす位置に、磁気センサ12を正確に停止することができるようにしてある。
制御部14は、CPUやメモリを含むコンピュータにより構成され、メモリに記憶されたプログラムを実行することにより、制御動作や演算動作を行う。
表示部15は、文字や画像を表示することができるディスプレイパネルにより構成される。
測定誤差算出部16は、磁気センサ12で測定した磁気データ(実測値)を、理論計算式(ビオサバールの法則など)に当てはめることにより、その実測値の磁気データが得られるはずである測定点の位置情報(XYZ座標)および角度情報(アジマス角、エレベーション角、ロール角)を算出する。算出した位置情報および角度情報と、実際の測定点(格子点)の位置情報および角度情報との差を求め、この差を位置誤差および角度誤差として算出する。
磁気マッピング表示部17は、測定誤差算出部16が算出した位置誤差、角度誤差のデータに基づいて、誤差をわかりやすく表示するための2次元あるいは3次元グラフィックデータを作成する。
次に、上記装置による動作について説明する。磁気ソース11により交流磁界を発生させた状態で、磁気センサ移動機構13を作動させて測定点(格子点)のひとつに磁気センサ12を移動し、その測定点での磁気データ(実測値)を測定する。続いて、磁気センサ移動機構13を作動して別の測定点(格子点)に磁気センサ12を移動し、磁気データ(実測値)を測定し、以下、同様の測定を繰り返し、全測定点での磁気データ(実測値)を収集する。
理論計算式(ビオサバールの法則など)に、各測定点での磁気データ(実測値)を代入し、その実測値の磁気データが得られるはずである理論上の測定点の位置情報(XYZ座標)および角度情報(アジマス角、エレベーション角、ロール角)を算出する。
図4に、各測定点についての磁気データを表形式で出力した磁気マッピングデータの一例を示す。
1つの測定点の磁気データは2行で構成され、1行目(最左列が空白の行)が実際の測定点の位置情報および角度情報であり、2行目(最左列に「1」が付された行)が理論計算式に磁気データ(実測値)を代入して逆算した理論上の測定点の位置情報および角度情報である。
各行の数値は、左から2列目からX、Y、Z座標、アジマス角、エレベーション角、ロール角の6つの位置情報、角度情報である。1行目と2行目の差分を算出することにより、X、Y、Z座標、アジマス角、エレベーション角、ロール角それぞれの位置誤差、角度誤差を得ることができる。
この磁気マッピングデータは数値の羅列であり、これから測定誤差の分布を解析するのは困難である。そのため、測定誤差の分布を視覚的に把握できるように、2次元あるいは3次元的にグラフィック表示する。
図5は、図4の磁気マッピングデータにおける位置情報を2次元表示したものである。
図において紙面はXY面であり、実際の測定点(格子点)のXYZ座標位置とともに、理論上の測定点のXYZ座標位置をXY面に投影したものである。すべての測定点で測定誤差がなければ、格子状に整然と並ぶことになるものが、測定誤差の影響で歪んで表示されている。
図6は、図4の磁気マッピングデータにおける位置誤差情報および角度誤差情報を算出し、3次元表示(ベクトル表示)したものであり、各点での矢印の長さは位置誤差の大きさ、矢印の向きは角度誤差の向きを表示したものである。
また、図7は、図4の磁気マッピングデータにおける位置誤差情報を3次元表示(スカラー表示)したものであり、各点での位置誤差を色の違いで表現したものである。
これらのグラフィック表示により、位置誤差や角度誤差の空間分布を視覚的に把握することができる。
(実施形態2)
図3は本発明の他の一実施形態である磁気マッピング評価装置の構成を示す図であり、上述した磁気マッピング評価装置に警告表示機能を付加したものである。図において、図1と同じものは同一符号を付すことにより説明を省略する。
この実施形態では磁気マッピング評価装置30の制御部14は、さらに閾値記憶部18、比較部19、警告表示部20としての機能を備えている。
閾値記憶部18は、許容できる誤差の境界値(位置誤差境界値および角度誤差境界値)を記憶する。
比較部19は、各測定点で算出された位置誤差及び角度誤差を、閾値記憶部18に記憶されている境界値と比較し、算出された位置誤差、角度誤差が閾値より大きい測定点を不具合点として抽出する。
警告表示部20は、比較部19により抽出された不具合点をグラフィック表示する際に、他と識別できるように色や形状を変えて目立たせて表示する。
図8は、図7に示したグラフィック表示において、測定誤差が境界値を超えた測定点について、マークの形状を変化させて、目立たせたものである。
本実施形態では、マーク形状を変化させたが、対象となるマークの色を変化させてもよい。
本発明は、交流磁気方式のHMTの使用環境を評価する磁気マッピング評価装置に利用することができる。
本発明の一実施形態である磁気マッピング評価装置の構成を示すブロック構成図。 ヘッドモーショントラッカ(HMT)の構成と使用状態を説明する図。 本発明の他の一実施形態である磁気マッピング評価装置の構成を示すブロック構成図。 磁気マッピングデータを表形式で出力した例を示す図。 測定誤差を2次元的に表示したグラフィック表示の一例を示す図。 測定誤差を3次元的に表示したグラフィック表示の一例を示す図。 測定誤差を3次元的に表示したグラフィック表示(誤差をスカラー表示)の一例を示す図。 測定誤差を3次元的に表示するとともに警告表示を付したグラフィック表示の一例を示す図。
符号の説明
10:磁気マッピング評価装置
11:磁気ソース
12:磁気センサ
13:磁気センサ移動機構
14:制御部
15:ディスプレイパネル
16:測定誤差算出部
17:磁気マッピング表示部

Claims (2)

  1. ヘッドモーショントラッカを使用する際と同様の磁界を発生する磁気ソースと、
    前記磁界中の磁気データを測定する磁気センサと、
    前記磁界中にXYZ座標系を定め、前記磁気センサを複数の測定点に対し順次移動させる磁気センサ移動機構と、
    各測定点で磁気センサが測定した磁気データに基づいて、電磁気学理論に基づく理論計算により、理論上位置および理論上角度を算出して、位置誤差および角度誤差を算出する測定誤差算出部と、
    表示部に画像表示されたXYZ座標系画像または投影面画像中に、前記位置誤差および角度誤差を示す画像情報を画像表示する磁気マッピング表示部とを備え
    前記画像情報は、ベクトル画像であり、
    前記ベクトル画像の向きで、前記角度誤差を表現するとともに、
    前記XYZ座標系画像または投影面画像中の理論上位置にベクトル画像を画像表示するか、あるいは、前記ベクトル画像の長さで、前記位置誤差を表現することを特徴とする磁気マッピング評価装置。
  2. 少なくとも位置誤差または角度誤差のいずれかに関する閾値を記憶する閾値記憶部と、
    閾値記憶部に記憶された閾値とこの閾値に対応する各測定位置の位置誤差または角度誤差とを比較する比較部と、
    位置誤差または角度誤差が閾値より大きい場合に該当する測定位置に対し警告情報を付して表示する警告表示部とをさらに備え
    前記警告情報は、前記ベクトル画像の色を変化させるものであることを特徴とする請求項1に記載の磁気マッピング評価装置。
JP2004363239A 2004-12-15 2004-12-15 磁気マッピング評価装置 Active JP4396508B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004363239A JP4396508B2 (ja) 2004-12-15 2004-12-15 磁気マッピング評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004363239A JP4396508B2 (ja) 2004-12-15 2004-12-15 磁気マッピング評価装置

Publications (2)

Publication Number Publication Date
JP2006170781A JP2006170781A (ja) 2006-06-29
JP4396508B2 true JP4396508B2 (ja) 2010-01-13

Family

ID=36671703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004363239A Active JP4396508B2 (ja) 2004-12-15 2004-12-15 磁気マッピング評価装置

Country Status (1)

Country Link
JP (1) JP4396508B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000772B2 (en) * 2005-10-19 2011-08-16 Biosense Webster, Inc. Metal immunity in a reverse magnetic system
US10213133B2 (en) * 2014-12-22 2019-02-26 Biosense Webster (Israel) Ltd Modeling of a magnetic field
US10722311B2 (en) 2016-10-28 2020-07-28 Covidien Lp System and method for identifying a location and/or an orientation of an electromagnetic sensor based on a map
CN109890312B (zh) * 2016-10-28 2022-04-01 柯惠有限合伙公司 用于基于标测图来识别电磁传感器的位置和/或取向的系统和方法
EP3561458B1 (de) * 2018-04-23 2021-03-17 HoloMetrix GmbH Verfahren zur erfassung einer räumlichen verteilung einer messbaren physikalischen grösse

Also Published As

Publication number Publication date
JP2006170781A (ja) 2006-06-29

Similar Documents

Publication Publication Date Title
EP3721284B1 (en) Selective tracking of a head-mounted display
US10353482B2 (en) Systems and methods for tracking motion and gesture of heads and eyes
JP4850984B2 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
CN107440811B (zh) 牙轴估计程序与牙齿轮廓数据创建程序及其装置和方法
EP1901029B1 (en) Position and orientation measurement method and apparatus
JP6092530B2 (ja) 画像処理装置、画像処理方法
EP2876624B1 (en) Maintenance assistant system
JP2008002980A (ja) 情報処理方法および装置
JP2004233334A (ja) 位置姿勢計測方法
US9990004B2 (en) Optical detection of bending motions of a flexible display
CN107197222B (zh) 生成投影设备的校正信息的方法及装置
JP4396508B2 (ja) 磁気マッピング評価装置
JP2008045899A (ja) 磁界分布測定装置
JP2009258884A (ja) ユーザインタフェイス
JP4288443B2 (ja) ヘッドモーショントラッカとその測定値補正方法
JP2009087161A (ja) 画像処理装置、画像処理方法
CN105427371B (zh) 一种三维透视投影场景中保持图形对象等像素面积显示的方法
JP2012189323A (ja) 磁気データ処理装置、磁気データ処理方法及び磁気データ処理プログラム。
JP5726024B2 (ja) 情報処理方法および装置
JP6109213B2 (ja) 情報処理装置および方法、プログラム
KR101406855B1 (ko) 다차원 입력장치를 이용한 컴퓨터 시스템
JP2006215750A (ja) 画像処理方法、画像処理装置
CN108762527A (zh) 一种识别定位方法及装置
US20200258193A1 (en) Information processing apparatus, information processing method, and storage medium
JP2008040913A (ja) 情報処理方法、情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4396508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4