JP3629760B2 - Ｒｏｖの自動制御方法 - Google Patents
Ｒｏｖの自動制御方法 Download PDFInfo
- Publication number
- JP3629760B2 JP3629760B2 JP15941895A JP15941895A JP3629760B2 JP 3629760 B2 JP3629760 B2 JP 3629760B2 JP 15941895 A JP15941895 A JP 15941895A JP 15941895 A JP15941895 A JP 15941895A JP 3629760 B2 JP3629760 B2 JP 3629760B2
- Authority
- JP
- Japan
- Prior art keywords
- rov
- disturbance
- depth
- neuro
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000000737 periodic effect Effects 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000009189 diving Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000010356 wave oscillation Effects 0.000 description 1
Images
Landscapes
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、ＲＯＶ（有索式無人潜水機）の自動制御方法に係り、特に周期的な外乱等に対してＲＯＶの位置を適正に制御できるＲＯＶの自動制御方法に関するものである。
【０００２】
【従来の技術】
ＲＯＶ（Ｒｅｍｏｔｅｌｙ Ｏｐｅｒａｔｅｄ Ｖｅｃｈｉｃｌｅ）は、水中での作業や調査などに用いられる有索式無人潜水機である。
【０００３】
通常、ＲＯＶは母船上のオペレーターにより手動操作されるが、遠隔操作するため操縦は困難である。このようなＲＯＶの操縦に関するオペレータの負担を軽減するため、古典的制御理論による自動制御方法が搭載されている。
【０００４】
この従来の自動制御方法では、ＲＯＶが遭遇する環境を予測してパラメータを調整する必要がある。
【０００５】
この自動制御方法として、図１０に示すＰＩＤ自動制御方法があり、例えば目標値である深度をＰＩＤコントローラ４０に入力すると、ＲＯＶ４２からの現在の深度と目標深度の誤差を求め、これに適切な係数ａをかけた値を操作量１とし、また現在のＲＯＶの速度に適切な係数ｂをかけた値を操作量２とし、さらに制御を開始した時刻から現在までの各時刻における目標深度とＲＯＶの深度の誤差に適切な係数ｃをかけた値を制御開始時刻から現在まで積分した値を操作量３とし、これらの操作量１，２，３を足し合わせて現在から微少時間後の操作量とするＰＩＤ制御を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、この制御は、過去のＲＯＶの状態より操作量を決定するため、水中でＲＯＶが遭遇する環境（波浪外力、潮流を受ける環境等）、特に周期的な外乱が加わる場合には、ＲＯＶを一定の深度に制御することはできない。すなわち、水中でＲＯＶが遭遇する環境は未知であり、従来の自動制御方法では、上記係数ａ，ｂ，ｃは、ＲＯＶがある一定の条件下にあるとして設定しており、周期的な外乱を伴う制御では、上記係数ａ，ｂ，ｃの適切な設定は困難であり、また係数の調整も困難である。また仮に、ある外乱に対して係数ａ，ｂ，ｃを適切に調整したとしても、自然環境下での外乱は様々に変化し、それを的確に予測することは非常に困難である。そのため、従来の自動制御方法で全ての環境に適応するような制御方法を構成することは困難であった。
【０００７】
そこで、本発明の目的は、上記課題を解決し、周期的な外乱を予測し、その予測に基づいてＲＯＶを適性に制御できるＲＯＶの自動制御方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明は、水中などを潜水するためのスラスターを備えたＲＯＶを、遠隔操作する際に、目標深度と目標位置で、波の揺動などの周期的な外乱に対してＲＯＶを静止状態に保つためのＲＯＶの自動制御方法において、ＲＯＶの深度などの潜水状態をセンサで検出し、深度などの目標値に対する上記センサの出力値の誤差よりＰＩＤコントローラで第１の操作量を決定すると共にその第１の操作量でＲＯＶを操作し、その操作に基づく外乱中でのＲＯＶ運動特性をニューロ予測モデルで学習してモデル化すると共にそのＲＯＶの出力の周波数成分をＦＦＴアナライザーで解析し、これを外乱モデルとして上記ニューロコントローラに入力し、その後、実際のＲＯＶの深度、速度及び加速度と目標値との誤差信号を計算し、その誤差信号よりニューラルネットワークによるニューロコントローラの制御パラメータを調整して第２の操作量を決定し、上記第１の操作量と第２の操作量を足し合わせてＲＯＶの最終操作量とし、さらに、ニューロ予測モデルが外乱中でのＲＯＶの運動特性を学習した後、オシレータは、外乱に対してＲＯＶが最適に制御される際に、ＦＦＴアナライザーが解析した周波数成分の正弦波を生成してニューロコントローラに出力し、上記オシレータの正弦波で第２の操作量を決定するものである。
【０００９】
【作用】
上記構成によれば、先ずＰＩＤコントローラによる制御に基づく予測モデルによる出力である深度と速度と加速度と実際のＲＯＶの状態から得られる深度と速度と加速度の偏差より外乱中でのＲＯＶの運動特性をニューロ予測モデルが学習し、その予測モデルを用いてＲＯＶの状態と目標値との誤差より誤差信号を作り出してこれによりニューロコントローラが学習してその制御パラメータを調節することで、外乱に対してＲＯＶを適確に制御することができる。この際、ＲＯＶの出力の周波数成分をＦＦＴアナライザーで解析し、オシレータは、ＲＯＶが外乱に対して適確に制御されるときに、ＦＦＴアナライザーが解析した周波数成分の正弦波を外乱モデルとしてニューロコントローラに出力することで、周期的な外乱に対してＲＯＶを確実に静止状態に保つことが可能となる。
【００１０】
【実施例】
以下、本発明の一実施例を添付図面に基づいて詳述する。
【００１１】
先ず、本発明におけるＲＯＶ（有索式無人潜水機）の構成を図２により説明する。図２において、（ａ）は側面図、（ｂ）は底面図を示す。
【００１２】
潜水機体１０は、図では省略しているが、母船からのケーブルが接続されている。潜水機体１０には、機体１０を上下方向に推進する３基のスラスター１１と前後に推進するための２基のスラスター１２と左右に方向転換するためのスラスタ１３が設けられ、これらがそれぞれ正逆転モータ１４で駆動されるようになっている。
【００１３】
潜水機体１０の前方側上部には、機体１０の深度を検出する深度センサ１５が設けられる。また潜水機体１０には水中に音を発するピンガー１６が設けられ、このピンガー１６で発した音を海上の母船側で３点計測して潜水機体１０の位置を検出するようになっている。
【００１４】
この潜水機体１０は、例えばＴＶカメラなどを備えており、ＴＶカメラを見ながら種々の水中作業が母船側の遠隔操作で行えるようになっている。
【００１５】
この水中作業を浅水域で行う場合、潜水機体１０には、波の揺動による周期的な上下動や前後左右の横揺れが外乱として加わるが、これら外乱が加わっても潜水機体１０を静止状態に保って作業を行う必要がある。
【００１６】
この潜水機体１０の自動制御方法を説明する。
【００１７】
先ず潜水機体１０を外乱に対して静止状態に保つには、外乱を打ち消すように上記各スラスター１１〜１３の正逆回転方向とその回転数を制御すればよいが、古典的制御方法ではこれら外乱を予測してシステムのパラメータを自動的に調整して制御することは困難である。
【００１８】
そこで本発明は、目標出力に対してシステムのパラメータを自動的に調整する機能（学習機能）を有するニューラルネットワークによる制御システムと古典制御理論による制御システムを並列に用いた制御システムであるＲＡＮＣ（Ｒｏｂｕｓｔ Ａｄａｐｔｉｖｅ Ｎｅｕｒａｌ−ｎｅｔ Ｃｏｎｔｒｏｌｌｅｒ ）をＲＯＶの運動制御に適用して自動制御システムを構成したものである。
【００１９】
図１は、本発明の制御方法のブロックダイアグラムで、２０は制御対象であるＲＯＶ、２１はＰＩＤコントローラ、２２はニューロ予測モデル、２３はニューロコントローラ、２４はオシレータ，２５，２６，２７は加算器，２８は外乱、３０はＦＦＴアナライザー（高速フーリエ変換アナライザー）である。
【００２０】
先ず、ＰＩＤコントローラ２１には、加算器２５に加えられたＲＯＶ２０の出力ｙと目標値ｏとの偏差信号ｓが入力され、その偏差及び偏差の微分、積分を用いて第１の操作量ＵＰＩＤ を加算器２６に出力する。
【００２１】
ニューロ予測モデル２２は、ＲＯＶ２０が遭遇した環境（外乱）におけるＲＯＶの運動特性をモデル化するニューラルネットワークである。このネットワークはＲＯＶに与えられる操作量と同じ入力が与えられた場合に、ＲＯＶの応答と同様の出力（深度，速度と加速度）をするように内部パラメータが調整される。また誤差信号Ｅが、このネットワークを用いてＲＯＶの応答と目標値の偏差より生成される。すなわち、ニューロ予測モデル２２には、ＰＩＤコントローラ２１の第１の操作量ＵPID とニューロコントローラ２３の第２の操作量Ｕnnとが加算器２６で足し合わされた最終操作量Ｕo が入力されると共にＲＯＶ２０の出力ｙが入力され、先ず第１の操作量ＵPID に対するＲＯＶ２０の外乱中での応答を学習する。つまり、予測モデルによる深度，速度と加速度を加算器２７に出力し、加算器２７に入力される実際のＲＯＶ２０の深度，速度と加速度との偏差より予測モデル内部の係数を調節して外乱中でのＲＯＶの運動特性をモデル化（学習）する。予測モデルは、実際のＲＯＶの深度，速度と加速度と目標値との偏差より誤差信号を作り出す。
【００２２】
ニューロコントローラ２３は、ＲＯＶが遭遇した環境でＲＯＶを最適にコントロールできるコントローラを生成するニューラルネットワークである。ニューロ予測モデル２２が生成した誤差信号Ｅを用いて自動的に内部のパラメータを調整（学習）し、ＲＯＶスラスター１１〜１３を制御するための最適なコントローラを生成する。
【００２３】
ＦＦＴアナライザ３０は、ＲＯＶ出力の周波数成分を予め解析する。またオシレータは、外乱２８に対してＲＯＶ２０が最適に制御される際に、ＦＦＴアナライザ３０が解析した周波数成分の正弦波を生成してニューロコントローラ２３に出力２９する。
【００２４】
この際、ＦＦＴアナライザー３０には、ＲＯＶ２０の出力ｙが入力され、これをＦＦＴアナライザー３０で高速フーリエ変換して、主要な周波数成分を抽出し、これをオシレータ２４に出力することで外乱モデルを作成する。
【００２５】
以下に制御の基本的動作を順に説明する。
【００２６】
（１） ＰＩＤコントローラ２１による制御
ニューロ予測モデルネットワーク及びコントローラネットワークの内部のパラメータには、初期値として微小でランダムな値を与えるため、それぞれのネットワークは学習前には微小な出力しかしない。
【００２７】
ＲＯＶ２０のスラスタ１１〜１３への操作量は、コントローラネットワークの出力（第２の操作量）とＰＩＤコントローラの出力（第１の操作量）を足し合わせた値（最終操作量）である。このため、コントローラネットワークが十分学習する前はＰＩＤコントローラ２１がＲＯＶ２０の制御を行う。
【００２８】
（２） ニューロ予測モデル２２の学習
ＰＩＤコントローラ２１が外乱中のＲＯＶ２０を制御している状態で、予測モデルネットワークはＲＯＶスラスタへの操作量とＲＯＶの応答関係（すなわちＲＯＶの深度，速度，加速度など）を学習する。
【００２９】
（３） コントローラネットワークの学習
予測モデルネットワークがＲＯＶの運動特性と外乱を十分に学習した後にＲＯＶ出力と目標値の誤差から生成する誤差信号Ｅにより、コントローラネットワークが学習し、最適なコントローラを自動的に生成する。
【００３０】
（４） コントローラネットワーク２３による制御
コントローラネットワークが最適なコントローラを学習により自動的に生成するとフィードバックされる値が減衰する。このためＰＩＤコントローラの出力が減衰され、ＲＯＶスラスタへの操作量は、コントローラネットワークとＰＩＤコントローラの和であるので、最終的にＲＯＶはコントローラネットワークのみにより制御されることになる。
【００３１】
次にニューラルネットワークの学習を更に詳しく説明する。
【００３２】
ニューラルネットワークはＡＩ技術の１つで、脳の神経回路網の機能を数値化した情報処理システムである。
【００３３】
このニューラルネットワークの基本を図３により説明する。
【００３４】
図３（ａ），（ｂ）に示すように、プロセッシングエレメント３０を多数、結合させて構成する。ここではプロセッシングエレメントを層状に並べるＰＤＰ（Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ ）タイプのニューラルネットワークを用いた。
【００３５】
このプロセッシングエレメントは、数１，数２に示す処理を行う要素である。
【００３６】
【数１】
【００３７】
【数２】
【００３８】
但し、ｉはいま考えている層のプロセッシングエレメント番号を示し、ｊは１つ前のプロセッシングエレメント番号を示す。またｏはプロセッシングエレメントの出力を表し、θはオフセットと呼ばれる変数である。ｆは任意の連続な関数で、通常シグモイド関数が用いられる。
【００３９】
各プロセッシングエレメントからの出力は数１に示すように変数ｗｉｊを掛けて他のプロセッシングエレメントへの入力とされる。この変数ｗｉｊを重みと呼ぶ。この重みがニューラルネットワーク内部の調整すべきパラメータである。
【００４０】
図３のネットワークにおいて最も左の入力層に入力値が与えられると、以上のような処理が中間層を通して右の出力層へと順に行われる。
【００４１】
ニューラルネットワークの学習（重みの調整）は誤差逆伝搬学習アルゴリズムにより行う。ネットワークからの出力ｏｋ と本来のネットワークに出力して欲しい値（教師データ）Ｙｋ との誤差Ｅを数３で評価する。
【００４２】
【数３】
【００４３】
この誤差が減少するように重みの更新量Δｗｉｊを数４により決定して重みを更新する。（最急降下法）
【００４４】
【数４】
【００４５】
ここで、ηは学習係数と呼ばれ、重みの更新量を決定する係数である。
【００４６】
さて、図１に示したシステムを構成するニューラルネットワークを図４で説明する。
【００４７】
先ず、コントローラネットワーク２３Ｎには、ＲＯＶ速度とオシレータ２４からの周期成分（ｓｉｎωｔ）が入力されて、第２の操作量Ｕｎｎが出力され、ニューロ予測モデルネットワーク２２Ｎには、ＰＩＤコントローラ２１の第１の操作量ＵＰＩＤ と、ニューロコントローラ２３の第２の操作量ＵｎｎとＲＯＶ２０の深度などの位置情報Ｚｔが入力され、それら入力に基づいてＲＯＶの深度，速度，加速度の予測値を出力する。予測モデルネットワークは、この予測値と目標値の誤差より誤差信号を生成する。
【００４８】
ここで、ニューロ予測モデルネットワークが誤差信号を生成するために行う処理は、数５に示すように上記数４の偏微分の項を展開することにより得られる。
【００４９】
【数５】
【００５０】
ここで、ｕはｕＰＩＤ とｕｎｎを足し合わせた値である。
【００５１】
数５において、ニューロ予測モデルネットワークが行うべき計算は、ｏｋ をｕで偏微分した部分である。この部分をヤコビアンと呼ぶ。
【００５２】
ヤコビアンを計算するために必要なニューロ予測モデルネットワーク内の部分はＲＯＶスラスタへの操作量の入力とニューロ予測モデルネットワークの出力を結合する部分である。この部分の重みを十分学習して正しい誤差信号を生成するためには、この部分の重みが、十分に大きくなるように学習する必要がある。また、ヤコビアンが十分に大きく得られるように、ニューロ予測モデルネットワークを構成する必要がある。
【００５３】
ニューロコントローラネットワークの特徴は入力としてフィードバックされた制御対象の状態量の他にオシレータ要素が含まれることである。入力にオシレータを含まねばならない理由は、層構造のニューラルネットワークでは自動的に周期的な出力を発生することができないため、ＦＦＴアナライザ３０により周波数成分を解析し、これをオシレータ２４を介して外乱の周期成分を持つ正弦波としてコントローラ２１に入力しなければならないからである。
【００５４】
この場合、図５，図６に示すようなオシレータエレメントの数（例えば３，５）にすることで、より外乱に近い外乱モデルとすることができる。
【００５５】
次に、図１に示した本発明の自動制御方法と図１０で説明した従来の制御方法でそれぞれＲＯＶの運動モデルを制御したシミュレーション結果を説明する。
【００５６】
図７，図８は本発明の自動制御方法の結果で、図７は、図４で説明したようにオシレータが１個の場合、図８はオシレータが５個の場合のグラフを示し、図１１は従来のシステムの結果を示すグラフである。
【００５７】
先ず従来の図１１において、（ａ）はＰＩＤコントローラの出力（操作量）Ｕｐｉｄ変化、（ｂ）はＲＯＶの深度変化、（ｃ）はＲＯＶの速度変化、（ｄ）は不規則波による外力を示している。
【００５８】
また同様に本発明の図７，図８において、（ａ）はＰＩＤコントローラの出力（第１の操作量）Ｕｐｉｄ変化、（ｂ）はＲＯＶの深度変化、（ｃ）はＲＯＶの速度変化、（ｄ）は図７では規則波による外力、図８では不規則波による外力、（ｅ）はニューロコントローラの操作量変化（第２の操作量）Ｕｎｎを示している。
【００５９】
この図１１からＰＩＤコントローラのみでは、不規則波中のＲＯＶの深度を目標値に維持することができないことが分かる。
【００６０】
これに対して本発明においては、図７（ｅ），図８（ｅ）に示すようにはじめ数十秒程度、ニューロコントローラの操作量を略ゼロとして学習した後は、徐々にその第２の操作量Ｕｎｎが増えていき、（ａ）に示すＰＩＤコントローラの出力Ｕｐｉｄは徐々に少なくなって最終的に操作量がゼロ近くとなり、また（ｂ）に示すようにＲＯＶの深度変化も小さくなっていることがわかる。
【００６１】
また図８は５個のオシレータを用いており、外乱の学習に時間がかかるが、より複雑な波形の外乱に対応することができる。
【００６２】
図９は、オシレータが５個の場合の学習前（ａ）と学習後（ｂ）の深度変化をＦＦＴ解析して周波数分布を求めたもので、データは０〜２０４．８ｓｅｃの深度を０．１ｓｅｃごとにサンプリング（個数＝２０４８）したものを解説したものであり、学習効果が現れていることが判る。
【００６３】
【発明の効果】
以上要するに本発明によれば、従来のＰＩＤ制御では、周期的な外乱に対してＲＯＶを一定に静止状態に保つ制御は困難であったが、本発明のＰＩＤとニューラルネットワークを並列に用いる制御スシテムにより、ＲＯＶが周期的な外乱中にあっても適確に静止状態に保つ制御が可能となると共に外乱を学習して外乱を打ち消すモデルを確実に生成でき、より安定した制御が行える。この際、オシレータは、ＲＯＶが外乱に対して適確に制御されるときに、ＦＦＴアナライザが解析した周波数成分の正弦波を外乱モデルとしてニューロコントローラに出力することで安定した制御が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】本発明におけるＲＯＶの詳細を示し、（ａ）は側面図、（ｂ）は平面図を示す。
【図３】ニューラルネットワークとプロセッシングエレメントの詳細を示す図である。
【図４】図１のニューラルネットワークの構成を示す図である。
【図５】図４のニューラルネットワークの他の構成を示す図である。
【図６】図４のニューラルネットワークの他の構成を示す図である。
【図７】本発明の制御方法を用いたシミュレーション結果を示す図である。
【図８】本発明の制御方法を用いた他のシミュレーション結果を示す図である。
【図９】図８のニューラルネットワークの学習効果を示す図である。
【図１０】従来の制御方法のブロック図である。
【図１１】従来の制御方法を用いたシミュレーション結果を示す図である。
【符号の説明】
２０ ＲＯＶ
２１ ＰＩＤコントローラ
２２ ニューロ予測モデル
２３ ニューロコントローラ
２４ オシレータネットワーク
３０ ＦＦＴアナライザー
【産業上の利用分野】
本発明は、ＲＯＶ（有索式無人潜水機）の自動制御方法に係り、特に周期的な外乱等に対してＲＯＶの位置を適正に制御できるＲＯＶの自動制御方法に関するものである。
【０００２】
【従来の技術】
ＲＯＶ（Ｒｅｍｏｔｅｌｙ Ｏｐｅｒａｔｅｄ Ｖｅｃｈｉｃｌｅ）は、水中での作業や調査などに用いられる有索式無人潜水機である。
【０００３】
通常、ＲＯＶは母船上のオペレーターにより手動操作されるが、遠隔操作するため操縦は困難である。このようなＲＯＶの操縦に関するオペレータの負担を軽減するため、古典的制御理論による自動制御方法が搭載されている。
【０００４】
この従来の自動制御方法では、ＲＯＶが遭遇する環境を予測してパラメータを調整する必要がある。
【０００５】
この自動制御方法として、図１０に示すＰＩＤ自動制御方法があり、例えば目標値である深度をＰＩＤコントローラ４０に入力すると、ＲＯＶ４２からの現在の深度と目標深度の誤差を求め、これに適切な係数ａをかけた値を操作量１とし、また現在のＲＯＶの速度に適切な係数ｂをかけた値を操作量２とし、さらに制御を開始した時刻から現在までの各時刻における目標深度とＲＯＶの深度の誤差に適切な係数ｃをかけた値を制御開始時刻から現在まで積分した値を操作量３とし、これらの操作量１，２，３を足し合わせて現在から微少時間後の操作量とするＰＩＤ制御を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、この制御は、過去のＲＯＶの状態より操作量を決定するため、水中でＲＯＶが遭遇する環境（波浪外力、潮流を受ける環境等）、特に周期的な外乱が加わる場合には、ＲＯＶを一定の深度に制御することはできない。すなわち、水中でＲＯＶが遭遇する環境は未知であり、従来の自動制御方法では、上記係数ａ，ｂ，ｃは、ＲＯＶがある一定の条件下にあるとして設定しており、周期的な外乱を伴う制御では、上記係数ａ，ｂ，ｃの適切な設定は困難であり、また係数の調整も困難である。また仮に、ある外乱に対して係数ａ，ｂ，ｃを適切に調整したとしても、自然環境下での外乱は様々に変化し、それを的確に予測することは非常に困難である。そのため、従来の自動制御方法で全ての環境に適応するような制御方法を構成することは困難であった。
【０００７】
そこで、本発明の目的は、上記課題を解決し、周期的な外乱を予測し、その予測に基づいてＲＯＶを適性に制御できるＲＯＶの自動制御方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明は、水中などを潜水するためのスラスターを備えたＲＯＶを、遠隔操作する際に、目標深度と目標位置で、波の揺動などの周期的な外乱に対してＲＯＶを静止状態に保つためのＲＯＶの自動制御方法において、ＲＯＶの深度などの潜水状態をセンサで検出し、深度などの目標値に対する上記センサの出力値の誤差よりＰＩＤコントローラで第１の操作量を決定すると共にその第１の操作量でＲＯＶを操作し、その操作に基づく外乱中でのＲＯＶ運動特性をニューロ予測モデルで学習してモデル化すると共にそのＲＯＶの出力の周波数成分をＦＦＴアナライザーで解析し、これを外乱モデルとして上記ニューロコントローラに入力し、その後、実際のＲＯＶの深度、速度及び加速度と目標値との誤差信号を計算し、その誤差信号よりニューラルネットワークによるニューロコントローラの制御パラメータを調整して第２の操作量を決定し、上記第１の操作量と第２の操作量を足し合わせてＲＯＶの最終操作量とし、さらに、ニューロ予測モデルが外乱中でのＲＯＶの運動特性を学習した後、オシレータは、外乱に対してＲＯＶが最適に制御される際に、ＦＦＴアナライザーが解析した周波数成分の正弦波を生成してニューロコントローラに出力し、上記オシレータの正弦波で第２の操作量を決定するものである。
【０００９】
【作用】
上記構成によれば、先ずＰＩＤコントローラによる制御に基づく予測モデルによる出力である深度と速度と加速度と実際のＲＯＶの状態から得られる深度と速度と加速度の偏差より外乱中でのＲＯＶの運動特性をニューロ予測モデルが学習し、その予測モデルを用いてＲＯＶの状態と目標値との誤差より誤差信号を作り出してこれによりニューロコントローラが学習してその制御パラメータを調節することで、外乱に対してＲＯＶを適確に制御することができる。この際、ＲＯＶの出力の周波数成分をＦＦＴアナライザーで解析し、オシレータは、ＲＯＶが外乱に対して適確に制御されるときに、ＦＦＴアナライザーが解析した周波数成分の正弦波を外乱モデルとしてニューロコントローラに出力することで、周期的な外乱に対してＲＯＶを確実に静止状態に保つことが可能となる。
【００１０】
【実施例】
以下、本発明の一実施例を添付図面に基づいて詳述する。
【００１１】
先ず、本発明におけるＲＯＶ（有索式無人潜水機）の構成を図２により説明する。図２において、（ａ）は側面図、（ｂ）は底面図を示す。
【００１２】
潜水機体１０は、図では省略しているが、母船からのケーブルが接続されている。潜水機体１０には、機体１０を上下方向に推進する３基のスラスター１１と前後に推進するための２基のスラスター１２と左右に方向転換するためのスラスタ１３が設けられ、これらがそれぞれ正逆転モータ１４で駆動されるようになっている。
【００１３】
潜水機体１０の前方側上部には、機体１０の深度を検出する深度センサ１５が設けられる。また潜水機体１０には水中に音を発するピンガー１６が設けられ、このピンガー１６で発した音を海上の母船側で３点計測して潜水機体１０の位置を検出するようになっている。
【００１４】
この潜水機体１０は、例えばＴＶカメラなどを備えており、ＴＶカメラを見ながら種々の水中作業が母船側の遠隔操作で行えるようになっている。
【００１５】
この水中作業を浅水域で行う場合、潜水機体１０には、波の揺動による周期的な上下動や前後左右の横揺れが外乱として加わるが、これら外乱が加わっても潜水機体１０を静止状態に保って作業を行う必要がある。
【００１６】
この潜水機体１０の自動制御方法を説明する。
【００１７】
先ず潜水機体１０を外乱に対して静止状態に保つには、外乱を打ち消すように上記各スラスター１１〜１３の正逆回転方向とその回転数を制御すればよいが、古典的制御方法ではこれら外乱を予測してシステムのパラメータを自動的に調整して制御することは困難である。
【００１８】
そこで本発明は、目標出力に対してシステムのパラメータを自動的に調整する機能（学習機能）を有するニューラルネットワークによる制御システムと古典制御理論による制御システムを並列に用いた制御システムであるＲＡＮＣ（Ｒｏｂｕｓｔ Ａｄａｐｔｉｖｅ Ｎｅｕｒａｌ−ｎｅｔ Ｃｏｎｔｒｏｌｌｅｒ ）をＲＯＶの運動制御に適用して自動制御システムを構成したものである。
【００１９】
図１は、本発明の制御方法のブロックダイアグラムで、２０は制御対象であるＲＯＶ、２１はＰＩＤコントローラ、２２はニューロ予測モデル、２３はニューロコントローラ、２４はオシレータ，２５，２６，２７は加算器，２８は外乱、３０はＦＦＴアナライザー（高速フーリエ変換アナライザー）である。
【００２０】
先ず、ＰＩＤコントローラ２１には、加算器２５に加えられたＲＯＶ２０の出力ｙと目標値ｏとの偏差信号ｓが入力され、その偏差及び偏差の微分、積分を用いて第１の操作量ＵＰＩＤ を加算器２６に出力する。
【００２１】
ニューロ予測モデル２２は、ＲＯＶ２０が遭遇した環境（外乱）におけるＲＯＶの運動特性をモデル化するニューラルネットワークである。このネットワークはＲＯＶに与えられる操作量と同じ入力が与えられた場合に、ＲＯＶの応答と同様の出力（深度，速度と加速度）をするように内部パラメータが調整される。また誤差信号Ｅが、このネットワークを用いてＲＯＶの応答と目標値の偏差より生成される。すなわち、ニューロ予測モデル２２には、ＰＩＤコントローラ２１の第１の操作量ＵPID とニューロコントローラ２３の第２の操作量Ｕnnとが加算器２６で足し合わされた最終操作量Ｕo が入力されると共にＲＯＶ２０の出力ｙが入力され、先ず第１の操作量ＵPID に対するＲＯＶ２０の外乱中での応答を学習する。つまり、予測モデルによる深度，速度と加速度を加算器２７に出力し、加算器２７に入力される実際のＲＯＶ２０の深度，速度と加速度との偏差より予測モデル内部の係数を調節して外乱中でのＲＯＶの運動特性をモデル化（学習）する。予測モデルは、実際のＲＯＶの深度，速度と加速度と目標値との偏差より誤差信号を作り出す。
【００２２】
ニューロコントローラ２３は、ＲＯＶが遭遇した環境でＲＯＶを最適にコントロールできるコントローラを生成するニューラルネットワークである。ニューロ予測モデル２２が生成した誤差信号Ｅを用いて自動的に内部のパラメータを調整（学習）し、ＲＯＶスラスター１１〜１３を制御するための最適なコントローラを生成する。
【００２３】
ＦＦＴアナライザ３０は、ＲＯＶ出力の周波数成分を予め解析する。またオシレータは、外乱２８に対してＲＯＶ２０が最適に制御される際に、ＦＦＴアナライザ３０が解析した周波数成分の正弦波を生成してニューロコントローラ２３に出力２９する。
【００２４】
この際、ＦＦＴアナライザー３０には、ＲＯＶ２０の出力ｙが入力され、これをＦＦＴアナライザー３０で高速フーリエ変換して、主要な周波数成分を抽出し、これをオシレータ２４に出力することで外乱モデルを作成する。
【００２５】
以下に制御の基本的動作を順に説明する。
【００２６】
（１） ＰＩＤコントローラ２１による制御
ニューロ予測モデルネットワーク及びコントローラネットワークの内部のパラメータには、初期値として微小でランダムな値を与えるため、それぞれのネットワークは学習前には微小な出力しかしない。
【００２７】
ＲＯＶ２０のスラスタ１１〜１３への操作量は、コントローラネットワークの出力（第２の操作量）とＰＩＤコントローラの出力（第１の操作量）を足し合わせた値（最終操作量）である。このため、コントローラネットワークが十分学習する前はＰＩＤコントローラ２１がＲＯＶ２０の制御を行う。
【００２８】
（２） ニューロ予測モデル２２の学習
ＰＩＤコントローラ２１が外乱中のＲＯＶ２０を制御している状態で、予測モデルネットワークはＲＯＶスラスタへの操作量とＲＯＶの応答関係（すなわちＲＯＶの深度，速度，加速度など）を学習する。
【００２９】
（３） コントローラネットワークの学習
予測モデルネットワークがＲＯＶの運動特性と外乱を十分に学習した後にＲＯＶ出力と目標値の誤差から生成する誤差信号Ｅにより、コントローラネットワークが学習し、最適なコントローラを自動的に生成する。
【００３０】
（４） コントローラネットワーク２３による制御
コントローラネットワークが最適なコントローラを学習により自動的に生成するとフィードバックされる値が減衰する。このためＰＩＤコントローラの出力が減衰され、ＲＯＶスラスタへの操作量は、コントローラネットワークとＰＩＤコントローラの和であるので、最終的にＲＯＶはコントローラネットワークのみにより制御されることになる。
【００３１】
次にニューラルネットワークの学習を更に詳しく説明する。
【００３２】
ニューラルネットワークはＡＩ技術の１つで、脳の神経回路網の機能を数値化した情報処理システムである。
【００３３】
このニューラルネットワークの基本を図３により説明する。
【００３４】
図３（ａ），（ｂ）に示すように、プロセッシングエレメント３０を多数、結合させて構成する。ここではプロセッシングエレメントを層状に並べるＰＤＰ（Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ ）タイプのニューラルネットワークを用いた。
【００３５】
このプロセッシングエレメントは、数１，数２に示す処理を行う要素である。
【００３６】
【数１】
【数２】
但し、ｉはいま考えている層のプロセッシングエレメント番号を示し、ｊは１つ前のプロセッシングエレメント番号を示す。またｏはプロセッシングエレメントの出力を表し、θはオフセットと呼ばれる変数である。ｆは任意の連続な関数で、通常シグモイド関数が用いられる。
【００３９】
各プロセッシングエレメントからの出力は数１に示すように変数ｗｉｊを掛けて他のプロセッシングエレメントへの入力とされる。この変数ｗｉｊを重みと呼ぶ。この重みがニューラルネットワーク内部の調整すべきパラメータである。
【００４０】
図３のネットワークにおいて最も左の入力層に入力値が与えられると、以上のような処理が中間層を通して右の出力層へと順に行われる。
【００４１】
ニューラルネットワークの学習（重みの調整）は誤差逆伝搬学習アルゴリズムにより行う。ネットワークからの出力ｏｋ と本来のネットワークに出力して欲しい値（教師データ）Ｙｋ との誤差Ｅを数３で評価する。
【００４２】
【数３】
この誤差が減少するように重みの更新量Δｗｉｊを数４により決定して重みを更新する。（最急降下法）
【００４４】
【数４】
ここで、ηは学習係数と呼ばれ、重みの更新量を決定する係数である。
【００４６】
さて、図１に示したシステムを構成するニューラルネットワークを図４で説明する。
【００４７】
先ず、コントローラネットワーク２３Ｎには、ＲＯＶ速度とオシレータ２４からの周期成分（ｓｉｎωｔ）が入力されて、第２の操作量Ｕｎｎが出力され、ニューロ予測モデルネットワーク２２Ｎには、ＰＩＤコントローラ２１の第１の操作量ＵＰＩＤ と、ニューロコントローラ２３の第２の操作量ＵｎｎとＲＯＶ２０の深度などの位置情報Ｚｔが入力され、それら入力に基づいてＲＯＶの深度，速度，加速度の予測値を出力する。予測モデルネットワークは、この予測値と目標値の誤差より誤差信号を生成する。
【００４８】
ここで、ニューロ予測モデルネットワークが誤差信号を生成するために行う処理は、数５に示すように上記数４の偏微分の項を展開することにより得られる。
【００４９】
【数５】
ここで、ｕはｕＰＩＤ とｕｎｎを足し合わせた値である。
【００５１】
数５において、ニューロ予測モデルネットワークが行うべき計算は、ｏｋ をｕで偏微分した部分である。この部分をヤコビアンと呼ぶ。
【００５２】
ヤコビアンを計算するために必要なニューロ予測モデルネットワーク内の部分はＲＯＶスラスタへの操作量の入力とニューロ予測モデルネットワークの出力を結合する部分である。この部分の重みを十分学習して正しい誤差信号を生成するためには、この部分の重みが、十分に大きくなるように学習する必要がある。また、ヤコビアンが十分に大きく得られるように、ニューロ予測モデルネットワークを構成する必要がある。
【００５３】
ニューロコントローラネットワークの特徴は入力としてフィードバックされた制御対象の状態量の他にオシレータ要素が含まれることである。入力にオシレータを含まねばならない理由は、層構造のニューラルネットワークでは自動的に周期的な出力を発生することができないため、ＦＦＴアナライザ３０により周波数成分を解析し、これをオシレータ２４を介して外乱の周期成分を持つ正弦波としてコントローラ２１に入力しなければならないからである。
【００５４】
この場合、図５，図６に示すようなオシレータエレメントの数（例えば３，５）にすることで、より外乱に近い外乱モデルとすることができる。
【００５５】
次に、図１に示した本発明の自動制御方法と図１０で説明した従来の制御方法でそれぞれＲＯＶの運動モデルを制御したシミュレーション結果を説明する。
【００５６】
図７，図８は本発明の自動制御方法の結果で、図７は、図４で説明したようにオシレータが１個の場合、図８はオシレータが５個の場合のグラフを示し、図１１は従来のシステムの結果を示すグラフである。
【００５７】
先ず従来の図１１において、（ａ）はＰＩＤコントローラの出力（操作量）Ｕｐｉｄ変化、（ｂ）はＲＯＶの深度変化、（ｃ）はＲＯＶの速度変化、（ｄ）は不規則波による外力を示している。
【００５８】
また同様に本発明の図７，図８において、（ａ）はＰＩＤコントローラの出力（第１の操作量）Ｕｐｉｄ変化、（ｂ）はＲＯＶの深度変化、（ｃ）はＲＯＶの速度変化、（ｄ）は図７では規則波による外力、図８では不規則波による外力、（ｅ）はニューロコントローラの操作量変化（第２の操作量）Ｕｎｎを示している。
【００５９】
この図１１からＰＩＤコントローラのみでは、不規則波中のＲＯＶの深度を目標値に維持することができないことが分かる。
【００６０】
これに対して本発明においては、図７（ｅ），図８（ｅ）に示すようにはじめ数十秒程度、ニューロコントローラの操作量を略ゼロとして学習した後は、徐々にその第２の操作量Ｕｎｎが増えていき、（ａ）に示すＰＩＤコントローラの出力Ｕｐｉｄは徐々に少なくなって最終的に操作量がゼロ近くとなり、また（ｂ）に示すようにＲＯＶの深度変化も小さくなっていることがわかる。
【００６１】
また図８は５個のオシレータを用いており、外乱の学習に時間がかかるが、より複雑な波形の外乱に対応することができる。
【００６２】
図９は、オシレータが５個の場合の学習前（ａ）と学習後（ｂ）の深度変化をＦＦＴ解析して周波数分布を求めたもので、データは０〜２０４．８ｓｅｃの深度を０．１ｓｅｃごとにサンプリング（個数＝２０４８）したものを解説したものであり、学習効果が現れていることが判る。
【００６３】
【発明の効果】
以上要するに本発明によれば、従来のＰＩＤ制御では、周期的な外乱に対してＲＯＶを一定に静止状態に保つ制御は困難であったが、本発明のＰＩＤとニューラルネットワークを並列に用いる制御スシテムにより、ＲＯＶが周期的な外乱中にあっても適確に静止状態に保つ制御が可能となると共に外乱を学習して外乱を打ち消すモデルを確実に生成でき、より安定した制御が行える。この際、オシレータは、ＲＯＶが外乱に対して適確に制御されるときに、ＦＦＴアナライザが解析した周波数成分の正弦波を外乱モデルとしてニューロコントローラに出力することで安定した制御が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】本発明におけるＲＯＶの詳細を示し、（ａ）は側面図、（ｂ）は平面図を示す。
【図３】ニューラルネットワークとプロセッシングエレメントの詳細を示す図である。
【図４】図１のニューラルネットワークの構成を示す図である。
【図５】図４のニューラルネットワークの他の構成を示す図である。
【図６】図４のニューラルネットワークの他の構成を示す図である。
【図７】本発明の制御方法を用いたシミュレーション結果を示す図である。
【図８】本発明の制御方法を用いた他のシミュレーション結果を示す図である。
【図９】図８のニューラルネットワークの学習効果を示す図である。
【図１０】従来の制御方法のブロック図である。
【図１１】従来の制御方法を用いたシミュレーション結果を示す図である。
【符号の説明】
２０ ＲＯＶ
２１ ＰＩＤコントローラ
２２ ニューロ予測モデル
２３ ニューロコントローラ
２４ オシレータネットワーク
３０ ＦＦＴアナライザー
Claims (1)
- 水中などを潜水するためのスラスターを備えたＲＯＶを、遠隔操作する際に、目標深度と目標位置で、波の揺動などの周期的な外乱に対してＲＯＶを静止状態に保つためのＲＯＶの自動制御方法において、ＲＯＶの深度などの潜水状態をセンサで検出し、深度などの目標値に対する上記センサの出力値の誤差よりＰＩＤコントローラで第１の操作量を決定すると共にその第１の操作量でＲＯＶを操作し、その操作に基づく外乱中でのＲＯＶ運動特性をニューロ予測モデルで学習してモデル化すると共にそのＲＯＶの出力の周波数成分をＦＦＴアナライザーで解析し、これを外乱モデルとして上記ニューロコントローラに入力し、その後、実際のＲＯＶの深度、速度及び加速度と目標値との誤差信号を計算し、その誤差信号よりニューラルネットワークによるニューロコントローラの制御パラメータを調整して第２の操作量を決定し、上記第１の操作量と第２の操作量を足し合わせてＲＯＶの最終操作量とし、さらに、ニューロ予測モデルが外乱中でのＲＯＶの運動特性を学習した後、オシレータは、外乱に対してＲＯＶが最適に制御される際に、ＦＦＴアナライザーが解析した周波数成分の正弦波を生成してニューロコントローラに出力し、上記オシレータの正弦波で第２の操作量を決定することを特徴とするＲＯＶの自動制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15941895A JP3629760B2 (ja) | 1995-06-26 | 1995-06-26 | Ｒｏｖの自動制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15941895A JP3629760B2 (ja) | 1995-06-26 | 1995-06-26 | Ｒｏｖの自動制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH092383A JPH092383A (ja) | 1997-01-07 |
| JP3629760B2 true JP3629760B2 (ja) | 2005-03-16 |
Family
ID=15693316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15941895A Expired - Fee Related JP3629760B2 (ja) | 1995-06-26 | 1995-06-26 | Ｒｏｖの自動制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3629760B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064288A (zh) * | 2012-11-23 | 2013-04-24 | 中国科学院沈阳自动化研究所 | 一种基于对转桨加鳍舵的低速auv航行控制方法 |
| CN103488175A (zh) * | 2013-09-26 | 2014-01-01 | 上海海事大学 | 一种自治遥控水下机器人水下管道检测跟踪系统及检测方法 |
| CN105929841A (zh) * | 2016-06-29 | 2016-09-07 | 天津深之蓝海洋设备科技有限公司 | 一种rov姿态控制方法及系统 |
| CN106354144B (zh) * | 2016-12-01 | 2019-03-26 | 重庆万里高科技有限公司 | 无人船航向控制自动纠偏方法及系统 |
| JP6343068B1 (ja) * | 2017-05-15 | 2018-06-13 | 石井 昭良 | 海中輸送機 |
| CN107688297B (zh) * | 2017-09-08 | 2021-02-12 | 河海大学 | 一种滑缆水下机器人的剖面运动控制方法 |
| JP6372046B2 (ja) * | 2018-03-09 | 2018-08-15 | 国立大学法人岩手大学 | 外乱加速度の推定方法、船体の自動制御方法及び外乱加速度の推定装置並びに外乱加速度の推定用コンピュータプログラム |
| CN108563234A (zh) * | 2018-05-09 | 2018-09-21 | 深圳市吉影科技有限公司 | 一种水下无人机自平衡控制方法及系统 |
| CN110434876B (zh) * | 2019-08-09 | 2024-03-22 | 南京工程学院 | 一种六自由度rov模拟驾驶系统及其模拟方法 |
| CN117184382B (zh) * | 2023-11-07 | 2024-01-19 | 成都诸元天成智能装备有限公司 | 用于潜航器实时姿态的稳定系统 |
-
1995
- 1995-06-26 JP JP15941895A patent/JP3629760B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH092383A (ja) | 1997-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Depth control of model-free AUVs via reinforcement learning | |
| Carlucho et al. | Adaptive low-level control of autonomous underwater vehicles using deep reinforcement learning | |
| Xiang et al. | Robust fuzzy 3D path following for autonomous underwater vehicle subject to uncertainties | |
| Zhao et al. | Experimental study on advanced underwater robot control | |
| Joe et al. | Second-order sliding-mode controller for autonomous underwater vehicle in the presence of unknown disturbances | |
| Lima et al. | Sliding mode control with gaussian process regression for underwater robots | |
| Van De Ven et al. | Neural network augmented identification of underwater vehicle models | |
| US20040176860A1 (en) | Adaptive output feedback apparatuses and methods capable of controlling a non-minimum phase system | |
| JP3629760B2 (ja) | Ｒｏｖの自動制御方法 | |
| Gong et al. | Lyapunov-based model predictive control trajectory tracking for an autonomous underwater vehicle with external disturbances | |
| Hassanein et al. | Model-based adaptive control system for autonomous underwater vehicles | |
| JP3346006B2 (ja) | Ｒｏｖの自動制御方法 | |
| KR20200084010A (ko) | 목표 시스템에 대한 제어 시스템 생성 | |
| Gaskett et al. | Reinforcement learning applied to the control of an autonomous underwater vehicle | |
| Venugopal et al. | A recurrent neural network controller and learning algorithm for the on-line learning control of autonomous underwater vehicles | |
| Knudsen et al. | Deep learning for station keeping of AUVs | |
| Tanveer et al. | High fidelity modelling and GA optimized control of yaw dynamics of a custom built remotely operated unmanned underwater vehicle | |
| Faruq et al. | Optimization of an intelligent controller for an unmanned underwater vehicle | |
| Jagannathan et al. | One-layer neural-network controller with preprocessed inputs for autonomous underwater vehicles | |
| Kim et al. | Expanded adaptive fuzzy sliding mode controller using expert knowledge and fuzzy basis function expansion for UFV depth control | |
| Xu et al. | A multi-rate hierarchical fault-tolerant adaptive model predictive control framework: Theory and design for quadrotors | |
| Savaresi et al. | Modeling, identification, and analysis of limit-cycling pitch and heave dynamics in an ROV | |
| Faruq et al. | Optimization of depth control for Unmanned Underwater Vehicle using surrogate modeling technique | |
| JP3059192B2 (ja) | 適応制御システム | |
| Qin et al. | Autonomous control of underwater offshore vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |