JP4924342B2 - モーショントラッカ装置 - Google Patents

モーショントラッカ装置 Download PDF

Info

Publication number
JP4924342B2
JP4924342B2 JP2007257145A JP2007257145A JP4924342B2 JP 4924342 B2 JP4924342 B2 JP 4924342B2 JP 2007257145 A JP2007257145 A JP 2007257145A JP 2007257145 A JP2007257145 A JP 2007257145A JP 4924342 B2 JP4924342 B2 JP 4924342B2
Authority
JP
Japan
Prior art keywords
relative
coordinate system
relative information
information
angular velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007257145A
Other languages
English (en)
Other versions
JP2009085805A (ja
Inventor
一穂 多和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2007257145A priority Critical patent/JP4924342B2/ja
Publication of JP2009085805A publication Critical patent/JP2009085805A/ja
Application granted granted Critical
Publication of JP4924342B2 publication Critical patent/JP4924342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カメラ装置に設定された相対座標系に対する対象物の現在位置及び現在角度を測定するためのモーショントラッカ装置(以下、MT装置ともいう)に関する。本発明は、例えば、ゲーム機や乗物等の移動体で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度(すなわち、現在の頭部位置及び頭部角度)を測定するHMT装置(以下、HMT装置ともいう)等に利用される。
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ(VR)を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要があり、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、HMT装置が利用されている。
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体(救難飛行艇)の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部の現在位置や現在角度を測定する必要があり、HMT装置が利用されている。
頭部装着型表示装置付ヘルメットに利用されるHMT装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている(例えば、特許文献1参照)。例えば、光学マーカー群として、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のHMT装置が開示されている。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のHMT装置もある(例えば、特許文献2参照)。図5は、従来の光学方式のHMT装置を示す図である。図5に示すように、頭部装着型表示装置付ヘルメット50の外周面上に、光学マーカー群として、発光体であるLED(発光ダイオード)7を互いに離隔するようにして3箇所に取り付け、これら3個のLED7の相対的な位置関係をHMT装置に予め記憶させておく。そして、これら3個のLED7を、設置場所が固定された2台のカメラ2a、2bで同時に立体視で撮影することで、所謂、三角測量の原理により、現在の3個のLED7の相対的な位置関係を測定している。このようにして、頭部装着型表示装置付ヘルメット50に固定された3点の位置(3個のLEDの位置)が特定できれば、頭部装着型表示装置付ヘルメット50の位置や角度が特定できるので、これにより、2台のカメラ2a、2bに対する頭部装着型表示装置付ヘルメット50の移動位置や移動角度を算出している。
特表平9−506194号公報 特願2006−284442号公報
しかしながら、光学方式のHMT装置においては、2台のカメラ2a、2bにより3個のLED7を観測し続ける必要があるが、図6に示すように、頭部装着型表示装置付ヘルメット50の位置や角度が大きく変化する場合には、3個のLED7の位置とカメラ2a、2bの設置場所との関係で、3個のLED7の内のいくつかがカメラ2a、2bの視野から外れることがあり、その結果、頭部装着型表示装置付ヘルメット50の測定ができなくなることがあった。
そこで、本発明は、カメラ装置でLED等の光学マーカーの検出ができなくなったときに、カメラ装置に設定された相対座標系に対する、頭部装着型表示装置付ヘルメット等の対象物の現在位置及び現在角度を、精度よく測定することができるモーショントラッカ装置を提供することを目的とする。
上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられた3個以上の光学マーカーと、相対座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、相対情報記憶部に記憶させる第一相対情報算出部とを備えるモーショントラッカ装置であって、前記対象物に取り付けられるとともに、前記対象物に作用する対象物角速度を検出する対象物角速度センサと、前記対象物に取り付けられるとともに、前記対象物に作用する対象物加速度を検出する対象物加速度センサと、前記相対情報記憶部に記憶された少なくとも2つの相対情報に基づいて、前記対象物の対象物速度を算出する対象物速度算出部と、前記対象物角速度、光学マーカー位置情報、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第二相対情報算出部と、前記対象物角速度、対象物加速度、対象物速度、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第三相対情報算出部と、前記光学マーカー位置情報算出部で算出された光学マーカー位置情報が、3個以上の光学マーカーの現在位置を含むときには、前記第一相対情報算出部で相対情報を算出し、前記光学マーカー位置情報が、1個以上3個未満の光学マーカーの現在位置を含むときには、前記第二相対情報算出部で相対情報を算出し、前記光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、前記第三相対情報算出部で相対情報を算出する切替部とを備えるようにしている。
ここで、「対象物角速度センサ」とは、センサ自体に3軸が定義されて、この3軸を基準とする角速度を検出できるもののことをいい、例えば、ジャイロセンサ等が用いられる。
また、「対象物加速度センサ」とは、センサ自体に3軸が定義されて、この3軸を基準とする3軸方向の加速度を検出できるもののことをいい、例えば、加速度センサ等が用いられる。
本発明のHMT装置によれば、3個以上の光学マーカーが、対象物に位置決めされて取り付けられている。また、カメラ装置が、光学マーカーからの光線を立体視で検出する。そして、光学マーカー位置情報算出部は、検出された光線に基づいて、相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する。このとき、光学マーカー位置情報が、3個以上の光学マーカーの現在位置を含んでいれば、対象物の現在位置及び現在角度が特定できるので、第一相対情報算出部が光学マーカー位置情報のみを用いて相対情報を算出する。
しかし、対象物の位置や角度が大きく変化した場合には、光学マーカーの位置とカメラ装置の設置場所との関係で、カメラ装置により1個若しくは2個の光学マーカーからの光線のみしか立体視で検出することができないことがある。そこで、本発明のHMT装置では、対象物角速度センサが、対象物に作用する対象物角速度を検出する。これにより、光学マーカー位置情報が、1個以上3個未満の光学マーカーの現在位置を含むときには、第二相対情報算出部が、光学マーカー位置情報を用いて対象物の位置を特定するとともに、対象物角速度を用いて対象物の移動角度量を算出することにより、相対情報を算出する。
さらに、対象物の位置や角度が大きく変化した場合には、光学マーカーの位置とカメラ装置の設置場所との関係で、カメラ装置により全く光学マーカーからの光線を立体視で検出することができないことがある。そこで、本発明のHMT装置では、対象物加速度センサが、対象物に作用する対象物加速度を検出する。これにより、光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、第三相対情報算出部が、対象物角速度を用いて対象物の移動角度量を算出するとともに、対象物加速度を用いて対象物の移動距離量を算出することにより、相対情報を算出する。
以上のように、本発明のHMT装置によれば、カメラ装置により光学マーカーの検出ができなくなるような、第一相対情報算出部が相対情報を算出できない状態になったときにも、第二相対情報算出部や第三相対情報算出部が相対情報を算出することができる。
なお、第三相対情報算出部は、対象物角速度と対象物加速度とに基づいて、相対情報を算出するが、対象物加速度を用いて対象物の移動距離量を算出する際に2回積分を実施するため、高い精度を長時間確保することはできない。そこで、第一相対情報算出部が相対情報を算出できない状態になったときに、光学マーカー位置情報が、1個以上3個未満の光学マーカーの現在位置を含む場合には、対象物加速度を用いず、第二相対情報算出部が、光学マーカー位置情報を用いて対象物の位置を特定するとともに、対象物角速度を用いて対象物の移動角度量を算出することにより、相対情報を算出する。つまり、光学マーカー位置情報が、全く光学マーカーの現在位置を含まない場合のみに、第三相対情報算出部が、対象物角速度を用いて対象物の移動角度量を算出するとともに、対象物加速度を用いて対象物の移動距離量を算出することにより、相対情報を算出する。したがって、対象物加速度を用いて対象物の移動距離量を算出する時間を減少させることで、高い精度を保持することができる。すなわち、精度よく、移動体に設定された相対座標系に対する対象物の現在位置及び現在角度を算出することができる。
(他の課題を解決するための手段および効果)
また、上記発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられ、さらに、前記移動体に取り付けられるとともに、前記移動体に作用する移動体角速度を、前記対象物角速度センサと同時間に検出する移動体角速度センサと、前記移動体に取り付けられるとともに、前記移動体に作用する移動体加速度を、前記対象物加速度センサと同時間に検出する移動体加速度センサとを備え、前記第二相対情報算出部は、前記対象物角速度、光学マーカー位置情報、記憶された相対情報、及び、移動体角速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出し、前記第三相対情報算出部は、前記対象物角速度、対象物加速度、対象物速度、記憶された相対情報、移動体角速度、及び、移動体加速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出するようにしてもよい。
ここで、「移動体角速度センサ」とは、センサ自体に3軸が定義されて、この3軸を基準とする角速度を検出できるもののことをいい、例えば、ジャイロセンサ等が用いられる。なお、上述した対象物角速度センサは、対象物が移動体中で移動したときには、対象物の動きと移動体の動きとが合成された動きの情報を検出することになる。一方、移動体角速度センサは、対象物が移動体中で移動しても、移動体の動きのみの情報を検出することになる。
また、「移動体加速度センサ」とは、センサ自体に3軸が定義されて、この3軸を基準とする3軸方向の加速度を検出できるもののことをいい、例えば、加速度センサ等が用いられる。なお、上述した対象物加速度センサは、対象物が移動体中で移動したときには、対象物の動きと移動体の動きとが合成された動きの情報を検出することになる。一方、移動体加速度センサは、対象物が移動体中で移動しても、移動体の動きのみの情報を検出することになる。
本発明のHMT装置によれば、搭乗者が移動体中に搭乗しているときには、対象物角速度センサは、搭乗者の動きと移動体の動きとが合成された動きの情報を検出するが、移動体角速度センサが移動体の動きのみの情報を検出するため、対象物角速度と移動体角速度とを用いて、移動体の動きを除外した搭乗者の動きのみの情報を算出することができる。また、対象物加速度センサも、搭乗者の動きと移動体の動きとが合成された動きの情報を検出するが、移動体加速度センサが移動体の動きのみの情報を検出するため、対象物加速度と移動体加速度とを用いて、移動体の動きを除外した搭乗者の動きのみの情報を算出することができる。これにより、搭乗者が移動体に搭乗していても、相対情報を算出することができる。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
図1は、本発明の一実施形態であるHMT装置の概略構成を示す図であり、図2は、図1に示す頭部装着型表示装置付ヘルメットの平面図である。また、図3は、相対座標系(XYZ座標系)の設定を説明するための図である。
本実施形態は、飛行体30に搭乗するパイロット3が着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものである。つまり、HMT装置1は、飛行体30に設定された相対座標系(XYZ座標系)に対する、パイロット3が着用する頭部装着型表示装置付ヘルメット10に設定されたヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出する。なお、相対座標系(XYZ座標系)は、後述するカメラ装置2を基準とするものであり、相対座標系記憶部43に記憶され、一方、ヘルメット座標系(X’Y’Z’座標系)は、後述するLED群7を基準として設定されたものであり、ヘルメット座標系記憶部44に記憶されている。また、角度(RLh)は、ロール方向(X軸に対する回転)の角度であり、角度(ELh)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(AZh)は、アジマス方向(Z軸に対する回転)の角度である。
HMT装置1は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット10と、飛行体30に取り付けられたカメラ装置2と、飛行体30に取り付けられた移動体3軸ジャイロセンサ(移動体角速度センサ)4及び移動体加速度センサ5と、コンピュータにより構成される制御部20とから構成される。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED(光学マーカー)群7と、対象物3軸ジャイロセンサ(対象物角速度センサ)14と、対象物加速度センサ15とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示画像とコンバイナ8の前方実在物とを視認することが可能となっている。
LED群7は、図2に示すように、互いに異なる波長の赤外光を発光する3個(あるいは3個以上の数)のLED7a、7b、7cが互いに離隔するようにして取り付けられたものである。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述するヘルメット座標系記憶部44に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での3個のLED7a、7b、7cの位置関係(初期データ)も、ヘルメット座標系記憶部44に記憶されている。これにより、後述する三角測量の手法で、現時点における3個のLED7a、7b、7cの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット10の現在位置及び現在角度が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
対象物3軸ジャイロセンサ14は、頭部装着型表示装置付ヘルメット10に作用する対象物角速度(V’RL、V’EL、V’AZ)を検出するものである。また、対象物3軸ジャイロセンサ14は、ヘルメット座標系(X’Y’Z’座標系)に軸を合わせられて、頭部装着型表示装置付ヘルメット10に取り付けられている。よって、ロール方向(X’軸に対する回転)、エレベーション方向(Y’軸に対する回転)、アジマス方向(Z’軸に対する回転)における対象物角速度(V’RL、V’EL、V’AZ)が検出される。このとき、パイロット3は飛行体30に乗っており、飛行体30自体も動いているので、対象物角速度(V’RL、V’EL、V’AZ)は、パイロット3の頭部の角速度だけでなく、飛行体30の角速度も含んだものとなる。
なお、対象物3軸ジャイロセンサ14は、ヘルメット座標系(X’Y’Z’座標系)の原点に取り付けられていてもよく、ヘルメット座標系(X’Y’Z’座標系)の原点以外の位置に取り付けられた場合には、ヘルメット座標系(X’Y’Z’座標系)の原点の位置での角速度を求めるためにオフセット行列M0を乗算したりする一般的な計算方法等で、対象物角速度(V’RL、V’EL、V’AZ)に変換することになる。
対象物加速度センサ15は、頭部装着型表示装置付ヘルメット10に作用する対象物加速度(α’、α’、α’)を検出するものである。また、対象物加速度センサ15は、ヘルメット座標系(X’Y’Z’座標系)に軸を合わせられて、頭部装着型表示装置付ヘルメット10に取り付けられている。よって、X’軸、Y’軸、Z’軸における対象物加速度(α’、α’、α’)が検出される。このとき、パイロット3は飛行体30に乗っており、飛行体30自体も動いているので、対象物加速度(α’、α’、α’)は、パイロット3の頭部の加速度だけでなく、飛行体30の加速度も含んだものとなる。
なお、軸合わせされずに、頭部装着型表示装置付ヘルメット10に取り付けられている場合は、座標変換行列を求めておくことで、ヘルメット座標系と関連付けを行うことになる。
なお、本実施形態では、初期の状態において、パイロット3によって相対座標系(XYZ座標系)とヘルメット座標系(X’Y’Z’座標系)とが正確に軸合わせされたり、相対座標系とヘルメット座標系との軸ズレ量が算出されたりする必要がある。ここで、相対座標系とヘルメット座標系との軸合わせの方法としては、例えば、頭部装着型表示装置付ヘルメット10を装着したパイロット3に特定方向を向くように指示することにより、相対座標系とヘルメット座標系とを軸合わせする方法等が挙げられる。これにより、対象物3軸ジャイロセンサ14と移動体3軸ジャイロセンサ4との軸合わせが行われるとともに、対象物加速度センサ15と移動体加速度センサ5との軸合わせが行われることになる。
飛行体30は、パイロット3が搭乗するコックピットであり、パイロット3が着席する座席30aと、カメラ装置2と、移動体3軸ジャイロセンサ4と、移動体加速度センサ5とを備える。
カメラ装置2は、第一カメラ2aと第二カメラ2bとからなり、撮影方向が頭部装着型表示装置付ヘルメット10に向けられているとともに、頭部装着型表示装置付ヘルメット10の立体視が可能な一定の距離(d)を隔てるように、飛行体30の天井に固定軸2cを介して設置されている。これにより、第一カメラ2aで撮影された第一画像が作成されるとともに、第二カメラ2bで撮影された第二画像が作成されることになる。
このとき、第一画像及び第二画像中にLED7a、7b、7cが映し出されていれば、第一画像及び第二画像中に映し出されているLED7a、7b、7cの位置により、第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを算出し、第一カメラ2aと第二カメラ2bとの間の距離(d)を用いることにより、所謂、三角測量の手法で、第一画像及び第二画像中に映し出されているLED7a、7b、7cのカメラ装置2に対する位置を算出できる(図3参照)。
また、LED7a、7b、7cの位置を、空間座標で表現することができるようにするために、カメラ装置2に固定され、カメラ装置2とともに移動する座標系である相対座標系(XYZ座標系)を用いる。なお、相対座標系(XYZ座標系)の具体的な原点位置やXYZ軸方向の説明については後述する。
これにより、相対座標系(XYZ座標系)において、3個のLED7a、7b、7cの位置座標が表現できれば、3個のLED7a、7b、7cが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)は、相対座標系(XYZ座標系)に対する、ヘルメット座標系(X’Y’Z’座標系)の位置及び角度を用いて表現できるようになる。なお、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標で表現することとする。
しかしながら、相対座標系(XYZ座標系)において、3個のLED7a、7b、7cの内の2個以下のLEDの位置座標しか表現できない場合がある。このような場合には、本実施形態では後述する方法で対象物3軸ジャイロセンサ14と移動体3軸ジャイロセンサ4と対象物加速度センサ15と移動体加速度センサ5とを用いて、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を表現することになる。
移動体3軸ジャイロセンサ4は、飛行体30に作用する移動体角速度(VRL、VEL、VAZ)を検出するものである。また、移動体3軸ジャイロセンサ4は、相対座標系(XYZ座標系)に軸を合わせされて、飛行体30に取り付けられている。よって、ロール方向(X軸に対する回転)、エレベーション方向(Y軸に対する回転)、アジマス方向(Z軸に対する回転)における移動体角速度(VRL、VEL、VAZ)が検出される。
なお、移動体3軸ジャイロセンサ4は、相対座標系(XYZ座標系)の原点に取り付けられていてもよく、相対座標系(XYZ座標系)の原点以外の位置に取り付けられた場合には、相対座標系(XYZ座標系)の原点の位置での角速度を求めるためにオフセット行列M0を乗算したりする一般的な計算方法等で、移動体角速度(VRL、VEL、VAZ)に変換することになる。
移動体加速度センサ5は、飛行体30に作用する対象物加速度(α、α、α)を検出するものである。また、移動体加速度センサ5は、相対座標系(XYZ座標系)に軸を合わせられて、飛行体30に取り付けられている。よって、X軸、Y軸、Z軸における対象物加速度(α、α、α)が検出される。
なお、軸合わせされずに、飛行体30に取り付けられている場合は、座標変換行列を求めておくことで、相対座標系と関連付けを行うことになる。
制御部20は、図1に示すように、CPU21、メモリ41等からなるコンピュータにより構成され、各種の制御や演算処理を行う。CPU21が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部28と、第一相対情報算出部22と、第二相対情報算出部23と、光学マーカー位置情報算出部24と、対象物速度算出部25と、第三相対情報算出部26と、切替部29と、映像表示部27とを有する。
また、メモリ41は、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対情報を蓄積する相対情報記憶部42と、相対座標系(XYZ座標系)を記憶する相対座標系記憶部43と、ヘルメット座標系(X’Y’Z’座標系)を記憶するヘルメット座標系記憶部44とを有する。
なお、相対座標系(XYZ座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図3に示すように、第二カメラ2bから第一カメラ2aへの方向をX軸方向とし、X軸方向に垂直かつ左向き方向をY軸方向とし、X軸方向に垂直かつ天井に垂直で下向き方向をZ軸方向とするように定義し、原点を第一カメラ2aと第二カメラ2bとの中点として定義するように相対座標系記憶部43に設定されている。
また、ヘルメット座標系記憶部44には、予め、初期データとして、3個のLED7a、7b、7cのヘルメット座標系(X’Y’Z’座標系)上におけるそれぞれの位置(X’DIS、Y’ DIS、Z’ DIS)が記憶されている。
さらに、相対情報記憶部42には、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報が順次記憶されていくことになる。このとき、3個のLED7a、7b、7cの相対座標系(XYZ座標系)における時間tのそれぞれの位置(XLED、YLED、ZLED)も順次記憶されていく。
モーショントラッカ駆動部28は、LED群7を点灯する指令信号を出力するとともに、カメラ装置2でLED群7を撮影することにより、第一画像及び第二画像を取得する制御を行うものである。
光学マーカー位置情報算出部24は、第一画像及び第二画像に基づいて、相対座標系(XYZ座標系)に対する、LED群7のそれぞれの現在位置である時間tn+1の光学マーカー位置情報を算出する制御を行うものである。
具体的には、カメラ装置2にLEDが撮影されれば、LEDのカメラ装置2に対する位置は、第一画像と第二画像中に映し出されているLEDの位置を抽出し、さらに第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを抽出し、第一カメラ2aと第二カメラ2bとの間の距離(d)を用いることにより、三角測量の手法で算出する。
切替部29は、光学マーカー位置情報算出部24で算出された時間tn+1の光学マーカー位置情報が、3個以上のLEDの現在位置を含むときには、第一相対情報算出部22で相対情報を算出し、時間tn+1の光学マーカー位置情報が、1個以上3個未満のLEDの現在位置を含むときには、第二相対情報算出部23で相対情報を算出し、時間tn+1の光学マーカー位置情報が、全くLEDの現在位置を含まないときには、第三相対情報算出部26で相対情報を算出するように切り替えを行う制御を行うものである。
第一相対情報算出部22は、時間tn+1の光学マーカー位置情報が、3個以上のLEDの現在位置を含むときに、時間tn+1の光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む時間tn+1の相対情報を算出して、相対情報記憶部24に記憶させる制御を行うものである。
具体的には、相対座標系(XYZ座標系)に対する時間tn+1の3個のLED7a、7b、7cの位置座標である光学マーカー位置情報と、ヘルメット座標系記憶部44に記憶されている初期データとを比較することにより、3個のLED7a、7b、7cが位置決めされて取り付けられているヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出する。
第二相対情報算出部23は、時間tn+1の光学マーカー位置情報が、1個以上3個未満のLEDの現在位置を含むときに、時間tから時間tn+1までの対象物角速度(V’RL、V’EL、V’AZ)と、時間tn+1の光学マーカー位置情報と、記憶された時間tの相対情報と、時間tから時間tn+1までの移動体角速度(VRL、VEL、VAZ)とに基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報を算出して、相対情報記憶部24に記憶させる制御を行うものである。
すなわち、光学マーカー位置情報算出部24で算出された光学マーカー位置情報が3個以上のLEDの現在位置を含まず、第一相対情報算出部22が相対情報を算出できない状態になったときに、第二相対情報算出部23は、1個以上3個未満のLEDの現在位置を用いて相対情報を算出することになる。
具体的には、まず、対象物3軸ジャイロセンサ14で検出された時間tから時間tn+1までの対象物角速度(V’RL、V’EL、V’AZ)と、移動体3軸ジャイロセンサ4で検出された時間tから時間tn+1までの移動体角速度(VRL、VEL、VAZ)との差分から、角速度差(ΔVRL、ΔVEL、ΔVAZ)を算出する。つまり、差分を算出することによって、飛行体30の角速度が消去され、頭部のみの角速度が得られる。
次に、角速度差(ΔVRL、ΔVEL、ΔVAZ)を積分演算することにより、相対座標系(XYZ座標系)に対する時間tから時間tn+1までのヘルメット座標系(X’Y’Z’座標系)の角度移動量(RLDEP、ELDEP、AZDEP)を算出する。
次に、角度移動量(RLDEP、ELDEP、AZDEP)を用いて下記式(1)により、頭部装着型表示装置付ヘルメット10に位置決めして取り付けられたLEDの時間tから時間tn+1までの移動距離量(ΔXr、ΔYr、ΔZr)を算出する。なお、LED7a、7b、7cのヘルメット座標系(X’Y’Z’座標系)上におけるそれぞれの位置(X’DIS、Y’ DIS、Z’ DIS)は、ヘルメット座標系記憶部44に、初期データとして予め記憶されている。
Figure 0004924342
次に、相対情報記憶部24に記憶された相対座標系(XYZ座標系)における時間tのLEDの位置(XLED、YLED、ZLED)を用いて下記式(2)により、時間tのLEDの位置(XLED、YLED、ZLED)に移動距離量(ΔXr、ΔYr、ΔZr)を加算することで、時間tn+1のLEDの計算位置(XDEP、YDEP、ZDEP)を算出する。
Figure 0004924342
ここで、ヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出するためには、ヘルメット座標系(X’Y’Z’座標系)の時間tから時間tn+1までの移動角度量(RLDEP、ELDEP、AZDEP)だけでなく、移動距離量(ΔXh、ΔYh、ΔZh)も算出する必要がある。
そこで、相対座標系(XYZ座標系)に対する時間tn+1の1個若しくは2個のLEDの位置座標である光学マーカー位置情報と、検出されたLEDと同一のLEDの算出位置(XDEP、YDEP、ZDEP)とを比較することにより、ヘルメット座標系の時間tから時間tn+1までの移動距離量(ΔXh、ΔYh、ΔZh)を算出する。
そして、最後に、時間tn+1の全てのLEDの算出位置(XDEP、YDEP、ZDEP)に移動距離量(ΔXh、ΔYh、ΔZh)を加算した位置座標(XLED、YLED、ZLED)を算出して、ヘルメット座標系記憶部44に記憶されている初期データと比較することにより、3個のLED7a、7b、7cが位置決めされて取り付けられているヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出する。
対象物速度算出部25は、相対情報記憶部42に記憶された時間tn−1の相対情報と時間tの相対情報とに基づいて、頭部装着型表示装置付ヘルメット10の時間tの対象物速度(V、V、V)を算出する制御を行うものである。
後述する第三相対情報算出部26で、移動体加速度(α、α、α)と対象物加速度(α’、α’、α’)とを用いて相対情報を算出するためには、頭部装着型表示装置付ヘルメット10の時間tn+1の速度を算出することになるが、このときに、頭部装着型表示装置付ヘルメット10の時間tの対象物速度(初速度)が必要になる。そこで、対象物速度算出部25は、時間tn−1の相対情報と時間tの相対情報とから、時間tn−1から時間tまでの平均速度を算出する。これにより、第三相対情報算出部26で平均速度を時間tの対象物速度(V、V、V)として用いることになる。
第三相対情報算出部26は、時間tn+1の光学マーカー位置情報が、全くLEDの現在位置を含まないときに、時間tから時間tn+1までの対象物角速度(V’RL、V’EL、V’AZ)と、時間tから時間tn+1までの対象物加速度(α’、α’、α’)と、時間tの対象物速度(V、V、V)と、記憶された時間tの相対情報と、時間tから時間tn+1までの移動体角速度(VRL、VEL、VAZ)と、時間tから時間tn+1までの移動体加速度(α、α、α)とに基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報を算出して、相対情報記憶部24に記憶させる制御を行うものである。
すなわち、光学マーカー位置情報算出部24で算出された光学マーカー位置情報が全くLEDの現在位置を含まず、第一相対情報算出部22及び第二相対情報算出部23が相対情報を算出できない状態になったときに、第三相対情報算出部23は、相対情報を算出することになる。
ここでも、ヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出するために、ヘルメット座標系(X’Y’Z’座標系)の時間tから時間tn+1までの移動角度量(RLDEP、ELDEP、AZDEP)と、移動距離量(ΔXh、ΔYh、ΔZh)とを算出することになる。なお、ヘルメット座標系(X’Y’Z’座標系)の時間tから時間tn+1までの移動角度量(RLDEP、ELDEP、AZDEP)を算出する方法については、第二相対情報算出部23で説明したものと同様であるので説明を省略することとする。
具体的には、まず、対象物加速度センサ15で検出された時間tから時間tn+1までの対象物加速度(α’、α’、α’)と、移動体加速度センサ15で検出された時間tから時間tn+1までの移動体加速度(α、α、α)との差分から、加速度差(Δα、Δα、Δα)を算出する。つまり、差分を算出することによって、飛行体30の加速度が消去され、頭部のみの加速度が得られる。
次に、対象物速度算出部25で算出された時間tの対象物速度(V、V、V)を用いて、加速度差(Δα、Δα、Δα)を2回積分演算することにより、相対座標系(XYZ座標系)に対するヘルメット座標系(X’Y’Z’座標系)の時間tから時間tn+1までの移動距離量(ΔXh、ΔYh、ΔZh)を算出する。
そして、最後に、時間tの全てのLEDの位置に算出位置(XDEP、YDEP、ZDEP)と移動距離量(ΔXh、ΔYh、ΔZh)とを加算した位置座標(XLED、YLED、ZLED)を算出して、ヘルメット座標系記憶部44に記憶されている初期データと比較することにより、3個のLED7a、7b、7cが位置決めされて取り付けられているヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出する。
映像表示部27は、時間tn+1の相対情報に基づいて、映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することができる。
(ヘッドモーショントラッカ装置の動作)
次に、ヘッドモーショントラッカ装置1により相対情報を測定する測定動作について説明する。図4は、ヘッドモーショントラッカ装置1による測定動作について説明するためのフローチャートである。
まず、ステップS101の処理において、時間tを時間tn+1と更新する。
次に、ステップS102の処理において、モーショントラッカ駆動部28は、第一画像及び第二画像を取得する。
また、ステップS103の処理において、移動体3軸ジャイロセンサ4と移動体加速度センサ5とは、移動体角速度(VRL、VEL、VAZ)と移動体加速度(α、α、α)とを検出する。
さらに、ステップS104の処理において、対象物3軸ジャイロセンサ14と対象物加速度センサ15とは対象物角速度(V’RL、V’EL、V’AZ)と対象物加速度(α’、α’、α’)とを検出する。
なお、ステップS102〜S104の処理は、同時に実行される。
次に、ステップS105の処理において、光学マーカー位置情報算出部24は、第一画像及び第二画像に基づいて、相対座標系(XYZ座標系)に対する、LED群7の現在位置である時間tn+1の光学マーカー位置情報を算出する。
次に、ステップS106の処理において、切替部29は、光学マーカー位置情報算出部24で算出された時間tn+1の光学マーカー位置情報が、いくつのLEDの現在位置を含んでいるかを判定する。
光学マーカー位置情報が、3個のLEDの現在位置を含むときには、ステップS107の処理において、第一相対情報算出部22は、時間tn+1の光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報を算出して、相対情報記憶部24に記憶させる。
また、光学マーカー位置情報が、1個以上3個未満のLEDの現在位置を含むときには、ステップS108の処理において、第二相対情報算出部23は、対象物角速度(V’RL、V’EL、V’AZ)と、時間tn+1の光学マーカー位置情報と、時間tの相対情報と、移動体角速度(VRL、VEL、VAZ)とに基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報を算出して、相対情報記憶部24に記憶させる。
さらに、光学マーカー位置情報が、全くLEDの現在位置を含まないときには、ステップS109の処理において、対象物速度算出部25は、時間tn−1の相対情報と時間tの相対情報とに基づいて、頭部装着型表示装置付ヘルメット10の時間tの対象物速度(V、V、V)を算出する。
次に、ステップS110の処理において、第三相対情報算出部26は、対象物角速度(V’RL、V’EL、V’AZ)と、対象物加速度(α’、α’、α’)と、時間tの対象物速度(V、V、V)と、時間tの相対情報と、移動体角速度(VRL、VEL、VAZ)と、移動体加速度(α、α、α)とに基づいて、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(RLh、ELh、AZh)を含む相対情報を算出して、相対情報記憶部24に記憶させる。
次に、ステップS111の処理において、映像表示部27は、時間tn+1の相対情報に基づいて、映像表示光を出射する。
次に、ステップS112の処理において、飛行体30が移動しているか否かを判定する。飛行体30が移動していないと判定したときには、本フローチャートを終了させる。
一方、飛行体が移動していると判定したときには、ステップS101の処理に戻る。つまり、飛行体30が移動していないと判定するときまで、ステップS101〜S111の処理は繰り返される。
以上のように、本発明のHMT装置1によれば、カメラ装置2によりLED7a、7b、7cの検出ができなくなるような、第一相対情報算出部22が相対情報を算出できない状態になったときにも、第二相対情報算出部23や第三相対情報算出部26が相対情報を算出することができる。
また、対象物加速度を用いて頭部装着型表示装置付ヘルメット10の移動距離量(ΔXh、ΔYh、ΔZh)を算出する時間を減少させることで、高い精度を保持することができる。すなわち、精度よく、移動体に設定された相対座標系(XYZ座標系)に対する頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を算出することができる。
なお、上述したHMT装置1では、LED群7は、互いに異なる波長の赤外光を発光する構成を示したが、全てのLEDは、同一の波長の光を発光するようにして、例えば、各LEDをそれぞれ個別に追跡して区別する方法(例えば、特願2006−284442号公報等に記載されたLEDの識別方法)を用いたり、各LEDの形状をそれぞれ変えたりして、互いを識別されるような構成としてもよい。また、LED群は、赤外光以外の光を発光するような構成としてもよい。
本発明は、飛行体に設定された相対座標系に対する搭乗員等の頭部位置や頭部角度を測定するためのモーショントラッカ装置に利用することができる。
本発明の一実施形態であるヘッドモーショントラッカ装置の概略構成を示す図である。 図1に示す頭部装着型表示装置付ヘルメットの平面図である。 相対座標系(XYZ座標系)の設定を説明するための図である。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 従来のヘッドモーショントラッカ装置を示す図である。 従来のヘッドモーショントラッカ装置を示す図である。
符号の説明
1 ヘッドモーショントラッカ装置
2 カメラ装置
3 パイロット
4 移動体3軸ジャイロセンサ(移動体角速度センサ)
5 移動体加速度センサ
7 LED(光学マーカー)
10 頭部装着型表示装置付ヘルメット(対象物)
14 対象物3軸ジャイロセンサ(対象物角速度センサ)
15 対象物加速度センサ
22 第一相対情報算出部
23 第二相対情報算出部
24 光学マーカー位置情報算出部
25 対象物速度算出部
26 第三相対情報算出部
28 モーショントラッカ駆動部
29 切替部
30 飛行体
42 相対情報記憶部

Claims (2)

  1. 対象物に位置決めされて取り付けられた3個以上の光学マーカーと、
    相対座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、
    検出された光線に基づいて、前記相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
    前記光学マーカー位置情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、相対情報記憶部に記憶させる第一相対情報算出部とを備えるモーショントラッカ装置であって、
    前記対象物に取り付けられるとともに、前記対象物に作用する対象物角速度を検出する対象物角速度センサと、
    前記対象物に取り付けられるとともに、前記対象物に作用する対象物加速度を検出する対象物加速度センサと、
    前記相対情報記憶部に記憶された少なくとも2つの相対情報に基づいて、前記対象物の対象物速度を算出する対象物速度算出部と、
    前記対象物角速度、光学マーカー位置情報、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第二相対情報算出部と、
    前記対象物角速度、対象物加速度、対象物速度、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第三相対情報算出部と、
    前記光学マーカー位置情報算出部で算出された光学マーカー位置情報が、3個以上の光学マーカーの現在位置を含むときには、前記第一相対情報算出部で相対情報を算出し、
    前記光学マーカー位置情報が、1個以上3個未満の光学マーカーの現在位置を含むときには、前記第二相対情報算出部で相対情報を算出し、
    前記光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、前記第三相対情報算出部で相対情報を算出する切替部とを備えることを特徴とするモーショントラッカ装置。
  2. 前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、
    前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられ、
    さらに、前記移動体に取り付けられるとともに、前記移動体に作用する移動体角速度を、前記対象物角速度センサと同時間に検出する移動体角速度センサと、
    前記移動体に取り付けられるとともに、前記移動体に作用する移動体加速度を、前記対象物加速度センサと同時間に検出する移動体加速度センサとを備え、
    前記第二相対情報算出部は、前記対象物角速度、光学マーカー位置情報、記憶された相対情報、及び、移動体角速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出し、
    前記第三相対情報算出部は、前記対象物角速度、対象物加速度、対象物速度、記憶された相対情報、移動体角速度、及び、移動体加速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出することを特徴とする請求項1に記載のモーショントラッカ装置。
JP2007257145A 2007-10-01 2007-10-01 モーショントラッカ装置 Active JP4924342B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007257145A JP4924342B2 (ja) 2007-10-01 2007-10-01 モーショントラッカ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007257145A JP4924342B2 (ja) 2007-10-01 2007-10-01 モーショントラッカ装置

Publications (2)

Publication Number Publication Date
JP2009085805A JP2009085805A (ja) 2009-04-23
JP4924342B2 true JP4924342B2 (ja) 2012-04-25

Family

ID=40659411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007257145A Active JP4924342B2 (ja) 2007-10-01 2007-10-01 モーショントラッカ装置

Country Status (1)

Country Link
JP (1) JP4924342B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095557A (ja) * 2012-11-07 2014-05-22 Shimadzu Corp モーショントラッカ装置
CN104280022A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统
JP6288858B2 (ja) * 2014-05-29 2018-03-07 アニマ株式会社 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
JP6205387B2 (ja) * 2014-06-04 2017-09-27 アニマ株式会社 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム
JP2016190009A (ja) * 2015-03-31 2016-11-10 富士フイルム株式会社 放射線画像撮影装置、並びに放射線画像撮影装置の制御方法およびプログラム
JP6683770B2 (ja) * 2018-08-08 2020-04-22 富士フイルム株式会社 放射線画像撮影装置、並びに放射線画像撮影装置の制御方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954542A (ja) * 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
JP3403361B2 (ja) * 1999-09-30 2003-05-06 川崎重工業株式会社 ヘッド・マウント・ディスプレイ装置
JP2002296028A (ja) * 2001-04-02 2002-10-09 Japan Aviation Electronics Industry Ltd 移動体用ヘッドトラッキング装置
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP2005147894A (ja) * 2003-11-17 2005-06-09 Canon Inc 計測方法、計測装置
JP4396564B2 (ja) * 2005-04-01 2010-01-13 株式会社島津製作所 物体のモニタリング方法およびこれを用いたモーショントラッカ
JP4665872B2 (ja) * 2006-08-30 2011-04-06 株式会社島津製作所 ヘッドモーショントラッカ装置

Also Published As

Publication number Publication date
JP2009085805A (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5594944B2 (ja) モーショントラッカ装置
JP4924342B2 (ja) モーショントラッカ装置
JP5145832B2 (ja) 頭部装着型表示装置及び頭部装着型表示装置システム
JP4961904B2 (ja) ヘッドモーショントラッカ装置
JP5292725B2 (ja) モーショントラッカ装置
JP5092279B2 (ja) ヘッドモーショントラッカ装置及びその使用方法
JP4665872B2 (ja) ヘッドモーショントラッカ装置
JP2016151566A (ja) モーショントラッカ装置
JP5092300B2 (ja) ヘッドモーショントラッカ装置
US11360552B1 (en) High assurance headtracking via structured light projection for head worn display (HWD)
JP2014095557A (ja) モーショントラッカ装置
JP2012226666A (ja) モーショントラッカ装置
JP2009036517A (ja) ヘッドモーショントラッカ装置
JP4967546B2 (ja) ヘッドモーショントラッカ装置
JP4905311B2 (ja) ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置
JP5029531B2 (ja) モーショントラッカシステム及びその座標系設定方法
JP2009109319A (ja) ヘッドモーショントラッカ装置
JP4656016B2 (ja) モーショントラッカ装置
JP4656017B2 (ja) ヘッドモーショントラッカ装置
JP4877138B2 (ja) ヘッドモーショントラッカ装置
JP4872768B2 (ja) ヘッドモーショントラッカ装置
JP2007334762A (ja) ヘッドモーショントラッカ装置
GB2599145A (en) Large space tracking using a wearable optics device
JP7435330B2 (ja) ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置
CN208314856U (zh) 一种用于单目机载目标检测的系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4924342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3