JP4905311B2 - ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 - Google Patents
ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 Download PDFInfo
- Publication number
- JP4905311B2 JP4905311B2 JP2007257146A JP2007257146A JP4905311B2 JP 4905311 B2 JP4905311 B2 JP 4905311B2 JP 2007257146 A JP2007257146 A JP 2007257146A JP 2007257146 A JP2007257146 A JP 2007257146A JP 4905311 B2 JP4905311 B2 JP 4905311B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- optical marker
- coordinate system
- image
- camera device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ところで、上述したようなHMT装置では、カメラ装置で測定された現在の3個のLEDの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置2(第一カメラ2a及び第二カメラ2b)の撮影領域にカメラ座標系を設定する従来の方法について図7及び図8を用いて説明する。
カメラ座標系は、原点及び各XYZ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やLEDの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたHMT装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能となっている。
ここで、図9は、一般的なLEDの概略構成を示す断面図である。LED61は、半導体部71と、反射板72と、レンズ73とを有する。図9に示すように、LED61の外形形状から求めた中心と、実際にLED61が発光している中心とに、LED61の製造の際に生じた差異が存在する。そして、LED61の位置を記憶させるときには、カメラ装置2でLED61から出射された光線を検出するため、LED61が発光している中心がLED61の位置として記憶されることになる。一方、立方格子60は、LED61の製造の際に生じた差異を容易に確認することができず、LED61の外形形状の中心を容易に確認することができるため、LED61の外形形状の中心が立方格子60の頂点となるように作製されている。よって、設計情報を用いてLED61の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置を提供することを目的とする。
本発明のHMTシステムによれば、まず、光学マーカーをXYZ方向に移動させることが可能なステージ機構を、カメラ装置の撮影領域中の設定位置に取り付ける。そして、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをX方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをY方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをZ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。そして、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。最後に、ステージ機構を設定位置から取り外す。
また、上記課題を解決するためになされた本発明のキャリブレーション装置は、光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、前記光学マーカーと、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをXYZ方向に移動させるステージ機構を備え、前記カメラ装置制御部によって、前記光学マーカーをX方向に設定距離で移動させた後と、前記光学マーカーをY方向に設定距離で移動させた後と、前記光学マーカーをZ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されるようにしている。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED群7とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示画像とコンバイナ8の前方実在物とを視認することが可能となっている。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述するデータ記憶部45に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での3個のLED7a、7b、7cの位置関係(初期データ)も、データ記憶部45に記憶されている。これにより、後述する三角測量の手法で、現時点における3個のLED7a、7b、7cの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット10の現在位置及び現在角度が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
カメラ装置2は、第一カメラ2aと第二カメラ2bとからなる。第一カメラ2aと第二カメラ2bとは、撮影方向が異なりかつ立体視が可能な一定の距離(d1)を隔てるように、座席30aに固定されている。
ここで、図5に示すように、カメラ装置2に対するLED7aの位置は、第一カメラ2aと第二カメラ2bとに撮影された第一画像と第二画像中に映し出されているLED7aの位置を抽出し、さらに第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを抽出し、第一カメラ2aと第二カメラ2bとの間の距離(d1)を用いることにより、三角測量の手法で算出することができる。他のLED7b、7cのカメラ装置2に対する位置についても、同様に算出される。
カメラ装置2の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することで、LED7a、7b、7cの位置座標は、カメラ座標系を用いて表現できる。そして、3個のLED7a、7b、7cの位置座標が特定されれば、LED7a、7b、7cが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置及び角度は、カメラ座標系に対するヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)を用いて表現できるようになる。なお、角度(Θh)は、ロール方向(X軸に対する回転)の角度であり、角度(Φh)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(Ψh)は、アジマス方向(Z軸に対する回転)の角度である。また、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体30に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)は、そのままの値を用いて、基準座標系に対するヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)として表現することができるようになる。
また、メモリ41は、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部43と、カメラ座標系を記憶するカメラ座標系記憶部44と、ヘルメット座標系(X’Y’Z’座標系)を記憶するデータ記憶部45と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部46とを有する。
基準座標系は、搭乗体30とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置50を取り付けるための設定位置30bのある点を原点とし、前方方向をX軸方向とし、前方方向に垂直方向をY軸方向とし、X軸方向及びY軸方向に垂直方向をZ軸方向とするように、後述する基準座標系記憶部43に予め設定されているものとする。
次に、カメラ座標系(XYZ座標系)について説明する。カメラ座標系は、原点及び各XYZ座標軸の方向を、搭乗体30に設定された基準座標系と一致するように設定される。これにより、搭乗体30に設定された基準座標系と位置合わせされた加速度センサや加速度センサ(図示せず)の測定結果と組み合わせることが可能となる。
なお、キャリブレーション装置50を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やXYZ軸方向の説明については後述する。
光学マーカー位置情報算出部22は、第一画像と第二画像とに基づいて、カメラ装置2に対するLED7a、7b、7c又はLED51(後述する)の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部46に順次記憶させる制御を行うものである。
例えば、LED7aのカメラ装置2に対する位置は、第一カメラ2aと第二カメラ2bとに撮影された第一画像と第二画像中に映し出されているLED7aの位置を抽出し、さらに第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを抽出し、第一カメラ2aと第二カメラ2bとの間の距離(d1)を用いることにより、三角測量の手法で算出する。
具体的には、カメラ装置2(カメラ座標系)に対するLED7a、7b、7cの現在位置である光学マーカー位置情報と、データ記憶部45に記憶されている初期データとを比較することにより、LED群7が固定された頭部装着型表示装置付ヘルメット10のカメラ座標系(XYZ座標系)に対する位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)を算出する。
映像表示部25は、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)を含む相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することになる。
本実施形態では、赤外光を発光する1個のLED51と、1個のLED51をXYZ方向に移動させることが可能なステージ機構52を備えるキャリブレーション装置50を用いる(図3参照)。
ステージ機構52は、上部板状体52aと中軸体52bと下部板状体52cと設置部材52dとからなる。LED51は、上部板状体52a上に固定されている。上部板状体52aは、中軸体52bに対してZ方向に移動可能となるようにしてあり、上部板状体52aに固定されたLED51をZ方向に移動させることができる。また、中軸体62bは、上部板状体52aとともに下部板状体52cに対してX方向への並進移動が可能となるようにしてあり、上部板状体52aに固定されたLED51をX方向に移動させることができる。さらに、下部板状体52cは、上部板状体52aと中軸体62bとともに設置部材52dに対してY方向への並進移動が可能となるようにしてあり、上部板状体52aに固定されたLED51をY方向に移動させることができる。そして、設置部材52dは、設定位置30bに位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構52の制御は、キャリブレーション50とコンピュータ20とを配線コード53で連結することで、コンピュータ20の駆動信号発生部26から出力された駆動信号が与えられることによって実行される。
そして、キャリブレーション装置50により、カメラ装置2の撮影領域にカメラ座標系(XYZ座標系)を設定する際には、図4に示すように、カメラ装置2の撮影領域中にキャリブレーション装置50を取り付けることになる。このとき、基準座標系の原点にLED51が配置され、基準座標系のX軸方向とステージ機構52のX方向とが位置合わせされ、基準座標系のY軸方向とステージ機構52のY方向とが位置合わせされ、基準座標系のZ軸方向とステージ機構52のZ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置50により、カメラ装置2の撮影領域にカメラ座標系(XYZ座標系)を設定した後には、カメラ装置2の撮影領域中からキャリブレーション装置50を取り外すことになる。
例えば、図6に示すように、キャリブレーション信号を受信することによって、まず、LED51の初期位置51aとして、カメラ装置制御部28に第二画像と第二画像とを取得させる。次に、ステージ機構62にLED51をX方向に設定距離で移動させる駆動信号を出力した後、LED51の第二位置51bとして、カメラ装置制御部28に第二画像と第二画像とを取得させる。このように、LED51を予め定められた位置に移動させる駆動信号を出力した後、LED51の各位置として、カメラ装置制御部28に第二画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計8箇所の位置51a〜51hのLED51を撮影することにより、第二画像と第二画像とを取得する。
具体的には、LED51の初期位置51aからLED51の第二位置51bへの方向をX軸方向とし、LED51の初期位置51aからLED51の第四位置51dへの方向をY軸方向とし、LED51の初期位置51aからLED51の第八位置51hへの方向をZ軸方向とするように設定している。また、LED51の初期位置51aからLED51の第二位置51bまでの距離と、LED51の初期位置51aからLED51の第四位置51dまでの距離と、LED51の初期位置からLED51の第八位置51hまでの距離とが各座標軸における基準距離となるように設定する。
2 カメラ装置
2a 第一カメラ
2b 第二カメラ
3 パイロット
7 LED群
10 頭部装着型表示装置付ヘルメット
22 光学マーカー位置情報算出部
23 相対情報算出部
27 座標系設定部
28 カメラ装置制御部
30 搭乗体
46 光学マーカー位置情報記憶部
51 LED(光学マーカー)
52 ステージ機構
Claims (2)
- 光学マーカーと、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをXYZ方向に移動させるステージ機構を備え、
前記カメラ装置制御部は、前記光学マーカーをX方向に設定距離で移動させた後と、前記光学マーカーをY方向に設定距離で移動させた後と、前記光学マーカーをZ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得することを特徴とするヘッドモーショントラッカシステム。 - 光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、
前記光学マーカーと、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをXYZ方向に移動させるステージ機構を備え、
前記カメラ装置制御部によって、前記光学マーカーをX方向に設定距離で移動させた後と、前記光学マーカーをY方向に設定距離で移動させた後と、前記光学マーカーをZ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されることを特徴とするキャリブレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007257146A JP4905311B2 (ja) | 2007-10-01 | 2007-10-01 | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007257146A JP4905311B2 (ja) | 2007-10-01 | 2007-10-01 | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009085806A JP2009085806A (ja) | 2009-04-23 |
JP4905311B2 true JP4905311B2 (ja) | 2012-03-28 |
Family
ID=40659412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007257146A Active JP4905311B2 (ja) | 2007-10-01 | 2007-10-01 | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4905311B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2705644C1 (ru) * | 2015-07-27 | 2019-11-11 | Ксир | Устройство для калибровки шлема |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5029531B2 (ja) * | 2008-08-08 | 2012-09-19 | 株式会社島津製作所 | モーショントラッカシステム及びその座標系設定方法 |
JP5299692B2 (ja) * | 2009-09-28 | 2013-09-25 | サクサ株式会社 | カメラキャリブレーション方法及び画像処理装置 |
US9804252B2 (en) * | 2012-01-17 | 2017-10-31 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | System and method for measuring tracker system accuracy |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3419870B2 (ja) * | 1994-01-11 | 2003-06-23 | 芝浦メカトロニクス株式会社 | 視覚認識装置の認識用光学系のキャリブレーション方法及びその方法を用いた視覚認識装置 |
JP3575165B2 (ja) * | 1996-04-11 | 2004-10-13 | ソニー株式会社 | 画像認識装置用の校正治具と画像認識装置用の校正方法 |
JPH10149445A (ja) * | 1996-11-19 | 1998-06-02 | Image Joho Kagaku Kenkyusho | 身体動作解析可視化装置 |
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JP4599500B2 (ja) * | 2000-07-04 | 2010-12-15 | 株式会社竹中工務店 | 座標情報収集システム及び3次元形状推定システム |
JP4877891B2 (ja) * | 2001-08-03 | 2012-02-15 | 株式会社トプコン | 校正用被写体 |
JP2004045321A (ja) * | 2002-07-15 | 2004-02-12 | Mitsubishi Electric Corp | 位置計測システム |
JP2004333368A (ja) * | 2003-05-09 | 2004-11-25 | Photron Ltd | 移動物体撮影系の三次元定数取得用キャリブレーション治具 |
JP4396564B2 (ja) * | 2005-04-01 | 2010-01-13 | 株式会社島津製作所 | 物体のモニタリング方法およびこれを用いたモーショントラッカ |
-
2007
- 2007-10-01 JP JP2007257146A patent/JP4905311B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2705644C1 (ru) * | 2015-07-27 | 2019-11-11 | Ксир | Устройство для калибровки шлема |
Also Published As
Publication number | Publication date |
---|---|
JP2009085806A (ja) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594944B2 (ja) | モーショントラッカ装置 | |
KR102213728B1 (ko) | 근안 디스플레이를 위한 동적 양안 정렬 | |
US8885177B2 (en) | Medical wide field of view optical tracking system | |
JP5145832B2 (ja) | 頭部装着型表示装置及び頭部装着型表示装置システム | |
JP4961904B2 (ja) | ヘッドモーショントラッカ装置 | |
JP2009538487A (ja) | 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 | |
JP4924342B2 (ja) | モーショントラッカ装置 | |
JP4905311B2 (ja) | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 | |
JP5029531B2 (ja) | モーショントラッカシステム及びその座標系設定方法 | |
JP5092279B2 (ja) | ヘッドモーショントラッカ装置及びその使用方法 | |
JP2016151566A (ja) | モーショントラッカ装置 | |
JP4967546B2 (ja) | ヘッドモーショントラッカ装置 | |
JP5292725B2 (ja) | モーショントラッカ装置 | |
JP2012226666A (ja) | モーショントラッカ装置 | |
JP2009036517A (ja) | ヘッドモーショントラッカ装置 | |
JP5092300B2 (ja) | ヘッドモーショントラッカ装置 | |
JP2014095557A (ja) | モーショントラッカ装置 | |
JP2008059204A (ja) | ヘッドモーショントラッカ装置 | |
JP4905321B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4656017B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4872768B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4877138B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4656016B2 (ja) | モーショントラッカ装置 | |
JP2011015831A (ja) | ヘッドモーショントラッカ装置 | |
JP4784591B2 (ja) | モーショントラッカ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4905311 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |