JP3999631B2 - 2自由度駆動機構をよびバーチャルリアリティシステム - Google Patents

2自由度駆動機構をよびバーチャルリアリティシステム Download PDF

Info

Publication number
JP3999631B2
JP3999631B2 JP2002321558A JP2002321558A JP3999631B2 JP 3999631 B2 JP3999631 B2 JP 3999631B2 JP 2002321558 A JP2002321558 A JP 2002321558A JP 2002321558 A JP2002321558 A JP 2002321558A JP 3999631 B2 JP3999631 B2 JP 3999631B2
Authority
JP
Japan
Prior art keywords
receptor
virtual
ejectors
drive mechanism
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002321558A
Other languages
English (en)
Other versions
JP2004157677A (ja
Inventor
敏 岩城
由里子 鈴木
稔 小林
聡 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002321558A priority Critical patent/JP3999631B2/ja
Publication of JP2004157677A publication Critical patent/JP2004157677A/ja
Application granted granted Critical
Publication of JP3999631B2 publication Critical patent/JP3999631B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Feedback Control In General (AREA)
  • Control Of Position Or Direction (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は自由度駆動機構およびそれを利用して力覚や触覚を伴いつつ仮想映像空間を提示するバーチャルリアリティシステムに関するものである。
【0002】
【従来の技術】
近年、実世界の多自由度駆動機構と、それを仮想空間上で模擬表示した仮想画像とを連動させることにより、あたかもその仮想空間の中で実物に触れるような感覚や力感覚を提示するための力覚提示型バーチャルリアリティ(VR)システムが開発されている。例えば、PHANTOM(http://www.nihonbinary.co.jp/Virtual/Phantom/)と呼ばれる製品は、複数のシリアルリンク機構の先端に取り付けられたスタイラスに、計算された力をフィードバックすることで力感覚を提示する。ユーザは仮想画像を見ながらそのスタイラスに触れることにより、コンピュータの作り出した仮想世界にあるオブジェクトの形、堅さ、柔らかさ、素材感などが、あたかも本物であるかのように感じることができる。
【0003】
またSPIDAR(http://sklab-www.pi.titech.ac.jp/detail/sdetail-j.html)と呼ばれるシステムは上記PHANTOMと同様な機能を、複数のケーブルを用いたテンドン機構を採用して実現するシステムである。
【0004】
これらはいずれも、被駆動体はメカニカルな接触を伴う伝達機構により駆動されるので、機構構成が複雑となりユーザの手の自由な操作の邪魔になるという欠点があった。
【0005】
このような問題点を鑑み、本発明者の一部はこれまでに、風圧を利用することにより、メカニカルな伝達機構を利用せずに力感覚を提示する装置を提案している(特許文献1)。
【0006】
【特許文献1】
特開2001−22499。
【0007】
【発明が解決しようとする課題】
しかし、この発明においては、風受容器を常に手で保持する利用形態を想定しているために、手を離した場合、風受容器の位置が不安定あるいは不確定となる問題があった。従って、風受容器の仮想オブジェクトを仮想空間内で静止させておくような状態を実現することが不可能であった。
【0008】
本発明の目的は、手を離しても受容器の位置を思い通りに制御できるようにし、力提示装置としての使い勝手を向上させた自由度駆動機構を提供することである。
【0009】
別の目的は、受容器を、仮想空間内での対応するオブジェクトの動きに連動させて、静止させたり運動させたりという状態を実現することにより、表現力を向上させたバーチャルリアリティシステムを提供することである。
【0010】
【課題を解決するための手段】
請求項1にかかる発明は、気体の噴出量と噴出方向が操作可能な複数の噴出器と、該複数の噴出器から噴出される気体による圧力を受ける受容器と、該受容器の位置又は該位置と姿勢を計測する手段とを具備し、目標値と計測された前記受容器の位置又は該位置と姿勢に応じて、前記噴出器の噴出量およびその方向を操作することにより、前記受容器の位置又は該位置と姿勢をフィードバック制御する自由度駆動機構において、前記噴出器は平面内円周上に120度間隔で3つ配置され、前記受容器は前記3つの噴出器で囲まれる内部に存在する円筒状物体であり、前記3つの噴出器の噴出方向を前記円筒状風受容器中心に向けて制御し、前記3つの噴出器から噴出される気体の噴出量を制御し、前記3つの噴出器で囲まれる三角形内部で前記受容器の2次元平面内での2自由度の位置をフィードバック制御することを特徴とする自由度駆動機構とした。
【0011】
請求項2に係る発明は、請求項1に記載の自由度駆動機構おいて、前記フィードバック制御の系の制御ゲインを変化させることにより、前記受容器の力学的インピーダンスを調整することを特徴とする自由度駆動機構とした。
【0012】
請求項3に係る発明は、請求項1又は2のいずれかに記載の自由度駆動機構を用いたバーチャルリアリティシステムにおいて、計算機内部で人工的に表現される仮想環境を表示する仮想空間表示装置を備え、計測された前記受容器の位置又は該位置と姿勢に連動して前記受容器の仮想オブジェクトを該仮想環境の中で表示することを特徴とするバーチャルリアリティシステムとした。
【0013】
請求項4に係る発明は、請求項に記載のバーチャクリアリティシステムにおいて、前記仮想空間表示装置において人工的に表現される仮想物体と前記受容器の仮想オブジェクトが接触したとき、前記仮想物体の運動状態と力学的インピーダンスに応じて、前記受容器の仮想オブジェクトの力学インピーダンス又は位置又は該位置と姿勢の目標値を調節することを特徴とするバーチャルリアリティシステムとした。
【0015】
【発明の実施の形態】
本発明は、空気やアルゴン等の気体を利用してあるいは水や油等の液体を利用して圧力を与えて、受容器の位置や姿勢を制御するが、以下の説明では空気圧(風圧)を利用した場合を例として説明する。この場合、受容器は風受容器、噴出器は風噴出器となる。
【0016】
風圧を利用した形態においては、風受容器の位置や姿勢を風圧フィードバック制御により安定化し、手を離しても風受容器の位置や姿勢を思い通りに制御する機能を加えることにより、力提示装置としての使い勝手を向上させる。
【0017】
また、風受容器を、操作者の手動操作によってではなく、空気アクチュエータによる自動制御によって、仮想空間内で静止させたり運動させたりという状態を実現することにより、仮想空間内におけるオブジェクトの動きに連動して風受容器の位置や姿勢を変化させ、表現力を向上させたバーチャルリアリティシステムを実現する。
【0018】
まず、本発明を実現する上での基礎技術である、1対の空気噴出器による1自由度風受容器の位置制御の原理について説明しておく。
【0019】
図1は、1直線上で動作可能な風受容器剛体3が、対抗する2つの空気噴出器1,2により位置制御される様子を模式的に示した図である。図1において、風受容器剛体3の位置yは位置センサ4によりリアルタイムで測定可能であるとする。
【0020】
空気噴出器1,2が風受容器剛体3に与える力は一般に、圧搾空気圧、距離、ノズル形状などの非線形関数として表現されるが、以下では議論の単純化のため、上記非線形性は制御平衡点の近傍では無視可能、あるいは何らかの手段で線形化処理が行われており、空気噴出器1,2の操作量uと発生する力fとの関係は、通常の伝達関数Gw(s)で記述可能であると仮定して議論を進める。そして無視した影響をフィードバック系設計の工夫で解決することとする。
【0021】
また空気噴出器1,2の場合、風受容器剛体3に与える力fは風圧を押し与える方向のみである。このため、正負両方含めた1自由度を完全に制御するには、相対抗する位置に置かれた一対の空気噴出器1,2が必要となる。このように1方向の力しか出せないアクチュエータにより剛体の位置を制御する問題は、ユニラテラルアクチュエータ制御問題と呼ばれ、テンドン機構、磁気浮上機構、ロボットハンド等多くの多自由度駆動機構の位置制御の際に現れ、工学的な設計技法が既存である。一般にn自由度の剛体を制御するにはn+1個以上のアクチュエータが必要となり、その幾何学的な配置は、form Closureあるいはforce closureと呼ばれる条件を満たす必要があることが知られている(日本ロボット学会誌Vol.13,No.7,pp.56-63 把持と操りの基礎理論)。
【0022】
図1において、簡単化のためにGw(s)=1と仮定し、右側の空気噴出器1が発生する力をf1 ≧0、左側の空気噴出器2が発生する力をf2 ≧0とし、これらの差分として、f≡f1 −f2 なる新たな力fを考えると、−f1 ≦f≦f2の範囲で正負両方向の力が操作可能となる。そこで例えば制御器5として、「kds+kp」なるPD補償を利用して、図2に示すようなフィードバック制御系を施すと、位置目標値rから風受容器剛体3の位置yまでの伝達関数Wryは、
Figure 0003999631
となる。図2における6は演算部、7は風受容器ダイナミクスを表す。
【0023】
ただし、風受容器剛体3の質量をmとし、そのダイナミクスを1/(ms2)とした。これより、制御ゲインを適当な正数に設定することにより安定化が可能であり、かつ位置目標値rに追従する位置制御系が実現されることがわかる。一般に制御ゲインを大きく取るほど追従性は高くなるが、空気噴出器に内在する非線形性によっては、全系の安定化の観点から必ずしも大きく取れないが、適当な安定余裕を与えることで対処可能である。
【0024】
一方、外力(外乱)qから位置yまでの伝達関数Wqyを計算すると、
Figure 0003999631
となる。従って、kpはサーボ剛性でありこの値が大きいほど剛性が大きくなる。また同様に、kdは機械システムにおけるダンパの役割を果たし、kdが大きいほど粘性が高くなる。このようにkpとkdを全系を安定化する範囲で適当に調整することで、外力に対する応答すなわち機械的インピーダンスを自由に設定できることが分かる。上記の原理により、相対抗する位置に置かれた一対の空気噴出器1,2により、1自由度の風受容器剛体3の位置yを平衡点の近傍で制御し、その機械的なインピーダンスを自由に設定することが可能である。
【0025】
なお、この例において、一つの空気噴出器の代わりに、例えば重力などの一定の力をバイアス力として印加しておくことにより、以下の如く同様に1自由度が制御可能となる。図1において、今、左側の空気噴出器2の代わりに一定バイアス力をf0>0として与えるとすると、−f1 ≦f≦f0の範囲でfは正負両符号とも操作することが可能なので、この範囲内で先ほどと同様なPD制御則により位置制御が可能となる。
【0026】
以上説明した1自由度風受容器剛体の位置制御の原理を基本として、以下では多自由度の風受容器剛体の位置と姿勢を制御する実施例について説明する。
【0027】
本実施例は請求項1に係る発明の自由度駆動機構を具現化するものである。図3は、3個の空気噴出器11,12,13によりXY平面上の2自由度を有する円筒状の風受容器剛体14を制御する機構の模式図である。3個の空気噴出器11,12,13はそれぞれ120度ずつ離れた半径r0の円周上に配置され、それぞれ空気噴出器スラスト方向中心線と円周との交点周りに回転し、XY平面内で噴出方向を変えることが可能な角度制御機構(噴出ノズル方向制御装置:アクチュエータ)11a,12a,13aが備えられている。この3つの空気噴出器11,12,13の噴出量と噴出方向を操作することにより、上記円筒状風受容器剛体14への風圧と方向を変えて、空気噴出器11,12,13を結ぶ正三角形内で自由に、円筒状風受容器剛体14のXY平面上の位置を制御することが可能であることを、以下で具体的に説明する。なお、円筒状風受容器剛体14の中心位置座標(x、y)は、例えば、適当な画像計測手段又はパソコンのマウスで用いられている回転ボール状の2軸センサなどを利用すれば容易に実時間計測可能である。
【0028】
制御の基本的な考え方は、3つの噴出器11,12,13の噴出方向と噴出量という2つの操作量を独立に扱い、それぞれのフィードバック系を段階的に構成する点にある。すなわちまず、3つの空気噴出器11,12,13の噴出方向を風受容器剛体14の中心に常に向かうように実時間制御することが前提となる。
【0029】
図4は、風受容器剛体14の中心OwがXY座標上の点(x,y)に位置する状態を模式的に示した図である。この時以下のような幾何学的な関係式が導出される。ただし、ノズル回転角θ1,θ2,θ3は時計方向を正方向と定める。
【0030】
Figure 0003999631
従って、円筒状風受容器剛体14の中心位置xとyを測定すれば角度θ12,θ3が求まるので、次にこの角度θ12,θ3を目標値とする噴出方向制御を、図5のようなフィードバック制御系を構成することにより実現する。15は式(1)の演算部、16はPD制御器、17はノズル回転アクチュエータ(角度制御機構11a)、18はノズル回転運動ダイナミクスを表す。図5は角度θ1についてであるが、角度θ2,θ3についても同様なフィードバック制御系となる。
【0031】
この噴出方向制御が実現されているという前提の下、図4より以下のような関係が得られる。
【0032】
Figure 0003999631
【0033】
Figure 0003999631
タルのエネルギーを最小化することが可能である。
【0034】
ここでPDxとPDyを、空気噴出器の非線形性や3つの風の干渉などを考慮して、全系が安定化される範囲で自由に設定することにより、X方向とY方向の運動制御特性を独立に設定することが可能である。たとえば、PDxの比例ゲインを大きく、PDyの比例ゲインを小さく設定すれば、X方向の剛性は高く、Y方向の剛性は低く設定することが可能である。
【0035】
以上のように本実施例においては、図3の角度制御機構11a,12a,13aを結ぶ正三角形内部の任意の点で位置制御と任意のインピーダンス設定が可能な、2自由度駆動機構が実現される。
【0036】
次に、請求項に関して、この自由度駆動機構を力覚提示用バーチャルリアリティシステムへ利用するための方法を、上記の実施例を用いて説明する。
【0037】
図7は、円筒状風受容器の基準点である中心の位置(x、y)の測定値に基づき、仮想空間を表現する仮想空間表示装置の仮想画面内に、円筒状風受容器の仮想オブジェクト31をCG表示した例を示す。空間Aは自由空間、壁Bは剛性kbを有する拘束空間である。例えば、壁Bと接触せずに空間A内部に円筒状風受容器の仮想オブジェクト31が存在する場合には、仮想環境のどこからも力を受けないので、インピーダンスを0あるいは非常に小さく設定しておくことにより、自由空間内に漂う感覚が提示できる。
【0038】
また、壁Bに円筒状風受容器の仮想オブジェクト31が接触した場合には、X方向(図7の横方向)のインピーダンスは正方向(図7の右方向)に対してkbと設定し、X方向の負方向及びY方向には0あるいは非常に小さく設定しておくことにより、円筒状風受容器の操作者はあたかも本物の剛性kbなる壁にぶつかったような感覚を手に与えることが可能となる。
【0039】
すなわち、操作者がこの仮想画面のオブジェクト21を目で見ながら円筒状風受容器を手で動かすことにより、あたかもそこに実際にオブジェクトが存在するかのような感覚を与えることができる。また操作者は操作途中に手を離しても、風受容器は初期姿勢が自動的に維持可能である。このような機能を利用することにより、仮想空間内において動きまわる動物が、操作者が乗っている乗り物に衝突したときの衝撃力などを表現することが可能となる。
【0040】
なお以上の説明においては、二次元平面内で風受容器剛体の位置を制御する場合について説明したが、三次元空間内で風受容器剛体の位置又は位置と姿勢を制御することもできる。この場合は、例えば風受容器剛体を正6面体とすると共に、空気噴出器を多数使用して該6面体の風受容器剛体に集中して吹き付けることにより、その風受容器剛体を空間に浮かせた状態で、バーチャルリアリティ内の対応するオブジェクトの動きに応じてその風受容器剛体の位置や姿勢を制御すればよい。この場合の風受容器剛体の位置や姿勢の検出は、例えば画像計測手段により行うことができる。
【0041】
【発明の効果】
本発明では、気体を原動力とするという特徴により、自由度駆動機構として以下の利点を有するので、コンパクトで使い易いバーチャルリアリティ表示装置を作ることができる。(1)人間の手による操作上邪魔になるリンクやワイヤ等の伝達機構が不要、(2)風を使用するときは目に見えず透き通るので背景画像表示の邪魔をしない、(3)可動範囲が広い、(4)安全、(5)ハードウェアの寸法変更、自由度の増減など装置の設計変更に柔軟に対応可能、(6)機械的摩擦が無いのでメンテナンスフリーかつ高精度。
【0042】
これらの特長により、シンプルでコンパクトなハードウェア構成で、表現力の高い力感覚を伴なうテレビゲーム等のバーチャルリアリティコンテンツを実現することができる。
【0043】
また、特に、3つの空気噴出器の方向を常に風受容器中心に向かうように実時間制御することで、以下の効果が生まれる。(1)アクチュエータ配置行列:Kw(θ)がθのみの関数となるため、その疑似逆行列の計算が単純化されるため制御則もシンプルになる。(2)各空気噴出器からの風は円筒状風受容器の円筒面に垂直に当たるので、その接線方向の力の影響は最小となり、各空気噴出器からの風のお互いの干渉の影響も最小化されるため、制御対象のモデル化誤差も小さくなり、制御系設計がシンプルになる。
【図面の簡単な説明】
【図1】 直線上1自由度の制御モデルの説明図である。
【図2】 1自由度の空気噴出制御系のブロック図である。
【図3】 平面2自由度制御モデルの模式図である。
【図4】 平面2自由度制御モデルの座標系の説明図である。
【図5】 図4の空気噴出器11の噴出方向制御系のブロック図である。
【図6】 平面2自由度制御モデルの空気噴出量制御系のブロック図である。
【図7】 仮想空間表示画面の説明図である。
【符号の説明】
1,2:空気噴出器
3:風受容器
11,12,13:空気噴出器、
11a,12a,13a:角度制御機構(噴出ノズル方向制御装置)
14:円筒状風受容器
31:円筒状風受容器の仮想オブジェクト

Claims (4)

  1. 気体の噴出量と噴出方向が操作可能な複数の噴出器と、該複数の噴出器から噴出される気体による圧力を受ける受容器と、該受容器の位置又は該位置と姿勢を計測する手段とを具備し、目標値と計測された前記受容器の位置又は該位置と姿勢に応じて、前記噴出器の噴出量およびその方向を操作することにより、前記受容器の位置又は該位置と姿勢をフィードバック制御する自由度駆動機構において、
    前記噴出器は平面内円周上に120度間隔で3つ配置され、前記受容器は前記3つの噴出器で囲まれる内部に存在する円筒状物体であり、
    前記3つの噴出器の噴出方向を前記円筒状風受容器中心に向けて制御し、前記3つの噴出器から噴出される気体の噴出量を制御し、前記3つの噴出器で囲まれる三角形内部で前記受容器の2次元平面内での2自由度の位置をフィードバック制御することを特徴とする自由度駆動機構。
  2. 請求項1に記載の自由度駆動機構おいて、
    前記フィードバック制御の系の制御ゲインを変化させることにより、前記受容器の力学的インピーダンスを調整することを特徴とする自由度駆動機構。
  3. 請求項1又は2のいずれかに記載の自由度駆動機構を用いたバーチャルリアリティシステムにおいて、
    計算機内部で人工的に表現される仮想環境を表示する仮想空間表示装置を備え、計測された前記受容器の位置又は該位置と姿勢に連動して前記受容器の仮想オブジェクトを該仮想環境の中で表示することを特徴とするバーチャルリアリティシステム。
  4. 請求項3に記載のバーチャクリアリティシステムにおいて、
    前記仮想空間表示装置において人工的に表現される仮想物体と前記受容器の仮想オブジェクトが接触したとき、前記仮想物体の運動状態と力学的インピーダンスに応じて、前記受容器の仮想オブジェクトの力学インピーダンス又は位置又は該位置と姿勢の目標値を調節することを特徴とするバーチャルリアリティシステム。
JP2002321558A 2002-11-05 2002-11-05 2自由度駆動機構をよびバーチャルリアリティシステム Expired - Fee Related JP3999631B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002321558A JP3999631B2 (ja) 2002-11-05 2002-11-05 2自由度駆動機構をよびバーチャルリアリティシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002321558A JP3999631B2 (ja) 2002-11-05 2002-11-05 2自由度駆動機構をよびバーチャルリアリティシステム

Publications (2)

Publication Number Publication Date
JP2004157677A JP2004157677A (ja) 2004-06-03
JP3999631B2 true JP3999631B2 (ja) 2007-10-31

Family

ID=32802058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002321558A Expired - Fee Related JP3999631B2 (ja) 2002-11-05 2002-11-05 2自由度駆動機構をよびバーチャルリアリティシステム

Country Status (1)

Country Link
JP (1) JP3999631B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1768011B1 (en) * 2004-07-15 2012-07-11 Nippon Telegraph And Telephone Corporation Inner force sense presentation device, inner force sense presentation method, and inner force sense presentation program
JP4237799B2 (ja) * 2004-12-13 2009-03-11 日本電信電話株式会社 力覚提示方法、装置およびプログラム

Also Published As

Publication number Publication date
JP2004157677A (ja) 2004-06-03

Similar Documents

Publication Publication Date Title
US10216278B2 (en) Haptic information presentation system and method
US8547328B2 (en) Methods, apparatus, and article for force feedback based on tension control and tracking through cables
US9174344B2 (en) Method and apparatus for haptic control
JP2000066575A (ja) 触感装置及びその使用方法
WO2004088467A2 (en) Method, apparatus, and article for force feedback based on tension control and tracking through cables
JP2006192548A (ja) 身まねロボットシステムとその身まね動作制御方法
KR100934391B1 (ko) 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템
JP3999631B2 (ja) 2自由度駆動機構をよびバーチャルリアリティシステム
Johansson et al. Using simple force feedback mechanisms as haptic visualization tools
Choi et al. Haptic display in the virtual collaborative workspace shared by multiple users
Pere et al. Virtual mechanical assembly on a PC-based system
JP2019193705A (ja) ゲームプログラム及びゲーム装置
JP2000047563A (ja) 物体の把持動作シミュレーション装置
JP2014052975A (ja) 触覚・力覚提示デバイスとそれを用いた触覚・力覚提示システム
US20200057501A1 (en) System, devices, and methods for remote projection of haptic effects
Awan et al. DroneHaptics: Encountered-Type Haptic Interface Using Dome-Shaped Drone for 3-DoF Force Feedback
Gomi et al. InflatableBots: Inflatable Shape-Changing Mobile Robots for Large-Scale Encountered-Type Haptics in VR
JP2018181185A (ja) 力覚提示器及び仮想力覚提示装置
JP2005216248A (ja) 物理的接触に応じた形状変形表示装置
JP3343565B2 (ja) 力フィードバック入出力装置
JP2024027840A (ja) プログラム及びシミュレーター
Pere et al. PC-Based virtual reality system with dextrous force feedback
Iwata Force display for virtual worlds
Zhou et al. A comparative study for touchless telerobotic surgery
Choi et al. Cooperative manipulation of a virtual object by multiple remote users

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees