JP4108629B2 - Underwater robot operation method and underwater robot operation system - Google Patents
Underwater robot operation method and underwater robot operation system Download PDFInfo
- Publication number
- JP4108629B2 JP4108629B2 JP2004063447A JP2004063447A JP4108629B2 JP 4108629 B2 JP4108629 B2 JP 4108629B2 JP 2004063447 A JP2004063447 A JP 2004063447A JP 2004063447 A JP2004063447 A JP 2004063447A JP 4108629 B2 JP4108629 B2 JP 4108629B2
- Authority
- JP
- Japan
- Prior art keywords
- underwater robot
- sonar
- image
- underwater
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000001514 detection method Methods 0.000 claims description 7
- 238000011017 operating method Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000005339 levitation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Description
本発明は、遠隔操縦式水中ロボット(ROV)の操縦において、オペレータの負担を軽減でき、かつ、目標物への到達確率を高めることができる水中ロボット操縦方法及び水中ロボット操縦システムに関する。 The present invention relates to an underwater robot operation method and an underwater robot operation system that can reduce the burden on an operator and increase the probability of reaching a target in the operation of a remotely operated underwater robot (ROV).
水中ロボットにより、トンネル内、定置網等の漁網、魚礁、プロペラ、船底、アンカー、岸壁、桟橋、海底等の観察を行う場合に、水中ロボットを水面下に降ろして、船上又は陸上の操縦装置から遠隔操縦して、観察目標に到達させて、テレビカメラやその他の機器により観察を行っている。そして、この目標物への接近は、オペレータ(操縦者)がテレビカメラによる映像を見ながら手元の操作機器を操作して、水中ロボットを遠隔操縦することにより行っている。 When underwater robots are used to observe fishing nets such as tunnels, stationary nets, fish reefs, propellers, ship bottoms, anchors, quay, piers, sea bottoms, etc. They steer to reach the observation target and observe with a TV camera or other equipment. Then, the approach to the target is performed by the operator (operator) operating the operating device at hand while remotely viewing the underwater robot while viewing the video from the television camera.
このテレビカメラによる映像は、視界も狭く、視認可能な距離も透明度や明るさにもよるが一般にはそれ程大きくない。そのため、透明度が悪かったり、目標物が遠方にある場合には視認することが困難な場合が多い。一方、超小型高性能スキャンニングソナーを使用した場合には、水中テレビカメラでは数メートル程度しか見えない真っ暗で濁った状況でも、ソナー位置を中心として最大100m程度の範囲の海底状況や水中物体を探査できる。 The video from this TV camera has a narrow field of view, and the visible distance is generally not so large, although it depends on transparency and brightness. For this reason, it is often difficult to visually recognize when the transparency is poor or the target is in the distance. On the other hand, when using an ultra-compact high-performance scanning sonar, underwater conditions and underwater objects in the range of up to about 100 m centered on the sonar position, even in a dark and cloudy situation that can only be seen about a few meters with an underwater TV camera. Can be explored.
そのため、水中ロボットにおける広範囲の探査には超音波ソナーが使用されている。この超音波ソナーによる探査では、超音波を発生し、この超音波が水中の物体に反射し戻ってきた時の反射強度と反射時間に基づいて、反射強度をその度合い毎に色分けし、また、反射時間からソナー画面上の位置を算出して、ソナー画像として表現及び表示している。 Therefore, ultrasonic sonar is used for a wide range of exploration in underwater robots. In this ultrasonic sonar exploration, ultrasonic waves are generated, and the reflection intensity is color-coded according to the degree of reflection based on the reflection intensity and reflection time when this ultrasonic wave is reflected back to an object in water, The position on the sonar screen is calculated from the reflection time and expressed and displayed as a sonar image.
そして、水中ロボットに磁気方位コンパス、深度計等を搭載し、これらのセンサからの信号を水上作業船上(又は陸上)に設けた操作盤上に表示して、水上作業船と水中ロボットとの距離、水中ロボットの走行方位を水上作業船に備えたソナー等で探知して、その両方からの信号に基づいて、オペレータの手動操作によって操縦して、水中の目標物へ誘導することが行われている。 The underwater robot is equipped with a magnetic compass, depth meter, etc., and signals from these sensors are displayed on the operation panel provided on the surface of the surface workboat (or on the ground), and the distance between the surface workboat and the underwater robot. Detecting the traveling direction of the underwater robot with a sonar equipped on the surface work boat, and maneuvering it manually by the operator based on the signals from both, and guiding it to the underwater target. Yes.
この場合には、ソナー探査によって目標物を発見しても、その目標物に水中ロボットを到達させるためには、ソナー画面から水中ロボットと目標物との位置関係を計算等で求め、その計算結果の位置関係を基にして水中ロボットの操縦を行う必要がある。しかし、ソナーが水上作業船上にあり、水中ロボットの位置変化がソナー画面の画像に反映されないため、オペレータは、常に、ソナー画面上の目標物位置と、水中ロボットの位置とを頭に入れながら操縦する必要があるので、オペレータの負担が大きく、円滑に目標物に水中ロボットを到達させるためには、オペレータがソナー画面を見ながらの操縦に習熟する必要がある。 In this case, even if a target is discovered by sonar exploration, in order to make the underwater robot reach the target, the positional relationship between the underwater robot and the target is calculated from the sonar screen, and the calculation result It is necessary to operate the underwater robot based on the positional relationship. However, because the sonar is on a surface work boat and the change in position of the underwater robot is not reflected in the image of the sonar screen, the operator always controls the target position on the sonar screen and the position of the underwater robot in mind. Therefore, the burden on the operator is large, and in order for the underwater robot to reach the target smoothly, it is necessary for the operator to become familiar with the operation while watching the sonar screen.
この問題を解決するために、海中の目標物の方向へ水中航走体を誘導するシステムの開発が進められており、その一つとして、水上の作業船の音響機器から発信されるビームを、水中航走体に搭載されたハイドロホンで受信して、この信号と水中航走体に搭載された方位器からの信号とにより航走すべき方位及び侵入角を演算して水中航走体を水中の目標物に向かって効率よく誘導する水中航走体の誘導装置が提案されている(例えば、特許文献1参照。)。 In order to solve this problem, the development of a system that guides the underwater vehicle in the direction of the target in the sea is progressing, and as one of them, the beam transmitted from the acoustic equipment of the work boat on the water, The hydrophone installed in the underwater vehicle is used to calculate the heading and the invasion angle that should be navigated based on this signal and the signal from the bearing device installed in the underwater vehicle. An underwater vehicle guidance device that efficiently guides an underwater target has been proposed (see, for example, Patent Document 1).
しかしながら、この水中航走体の誘導装置においては、目標位置を水上作業船側のソナー等で探知した上で、音響機器から水中航走体の航走経路を音響ビームによって示すので、遠距離用のソナーが必要な上、誘導用音響ビームの発生、ハイドロホンによる受信、操縦要素の解析等が必要になるためシステムの規模が大きくなる。そのため、小型水中ロボットによる簡易的な水中探査には向かないという問題がある。 However, in this underwater vehicle guidance device, the target position is detected by the sonar on the surface of the surface work boat, and the traveling path of the underwater vehicle is indicated by an acoustic beam from the acoustic equipment. In addition to the need for sonar, the scale of the system increases because it is necessary to generate a sound beam for guidance, receive it with a hydrophone, and analyze the steering element. Therefore, there is a problem that it is not suitable for simple underwater exploration by a small underwater robot.
また、現状においては、ソナー画像の解析は、水中テレビカメラによる画像とは異なり、画面上の画像が意味するものの判断において、人間の判断が必要とされる。そのため、現状の画像解析技術による目標物の位置の自動判断は難しく、誤認、誤操作を誘因するため、目標物の指定にはオペレータによる指示を必要とするという問題がある。 In addition, in the present situation, the sonar image analysis is different from the image obtained by the underwater television camera, and human judgment is required in determining what the image on the screen means. For this reason, it is difficult to automatically determine the position of the target by the current image analysis technique, and it causes a misrecognition and erroneous operation. Therefore, there is a problem that an instruction from the operator is required for specifying the target.
更に、水中ロボットの操縦は、揺れる船上で行うことが多く、特に、小型の水中ロボットを使用する場合には、小型船で調査する場合が多いので、操作時には船の揺れが大きい場合も考えられ、目標物の位置や目標方位を入力するに際しても、細かい操作無しで簡便に行えるようにする必要がある。
本発明は、上記の問題を解決するためになされたものであり、その目的は、超音波ソナーで発見した目標物に水中ロボットの進行方向を自動的に向け、目標物への到達を容易することができる水中ロボット操縦方法及び水中ロボット操縦システムを提供することにある。 The present invention has been made to solve the above-described problems, and its purpose is to automatically direct the traveling direction of the underwater robot to the target discovered by the ultrasonic sonar to easily reach the target. It is an object of the present invention to provide an underwater robot operation method and an underwater robot operation system.
上記の目的を達成するための本発明の水中ロボット操縦方法は、遠隔操縦式の水中ロボット操縦方法において、水中ロボットに搭載した超音波ソナーにより得られた周囲の状況を、操縦側の表示兼入力装置のタッチパネル画面上に画像で表示し、該画像が映し出された前記タッチパネル画面上がタッチされた場合に、該タッチされた部分の画面上の位置から該タッチされた部分に相当する実際の方位を算定し、該方位に水中ロボットの進行方向を向けるよう自動的に姿勢を制御し、手動操作手段により水中ロボットの移動を行うことを特徴として構成される。 The underwater robot maneuvering method of the present invention for achieving the above object is a remote maneuvering underwater robot maneuvering method, in which the surrounding situation obtained by ultrasonic sonar mounted on the underwater robot is displayed and input on the maneuver side. When an image is displayed on the touch panel screen of the device and the touch panel screen on which the image is projected is touched, an actual orientation corresponding to the touched portion from a position on the screen of the touched portion Is calculated, and the posture is automatically controlled so that the advancing direction of the underwater robot is directed to the direction, and the underwater robot is moved by manual operation means.
超音波ソナー画像を用いることにより、水中テレビカメラでは数メートル程度しか見えない状況でも、遠方の海底状況や水中物体を探査でき、しかも、水中ロボットを中心とする360°の周囲の探査ができる。そして、水中ロボットに搭載したソナーで得られる水中ロボットの視点からの画像であるので、水中ロボットと目標物との位置関係が明瞭になり、臨場感が増すと共に、操縦側の位置を考慮する必要が無くなるので、水中ロボットの操縦が著しく容易となる。 By using an ultrasonic sonar image, it is possible to search a distant seabed condition or an underwater object even in a situation where only about a few meters can be seen by an underwater television camera, and further, it is possible to search around 360 ° around an underwater robot. And since it is an image from the viewpoint of the underwater robot obtained with the sonar mounted on the underwater robot, the positional relationship between the underwater robot and the target object becomes clear, and the presence on the pilot side needs to be taken into account As a result, the operation of the underwater robot becomes extremely easy.
そして、タッチパネルを使用し、タッチパネル画面上のソナー画像に映し出された目標物をタッチするだけで目標物を指定できるので、オペレータは、操縦装置を操作しながら、容易に目標物の方向を指定し、その方位データを入力できる。従って、ソナー画面における目標物の判定にオペレータの判断を入れることができ、しかも、揺れ動く船上においても容易に目標物をタッチできるので、簡単に目標物のデータを入力できる。 Since the target can be specified simply by touching the target displayed on the sonar image on the touch panel screen using the touch panel, the operator can easily specify the direction of the target while operating the control device. The direction data can be input. Accordingly, it is possible to input the operator's judgment in the judgment of the target on the sonar screen, and furthermore, since the target can be easily touched even on a swaying ship, the target data can be easily input.
その上、方位角のみを問題にしているので、方位センサと超音波ソナーが有れば良く、非常にシンプルな制御となる。指令方位に、即ち、実際の目標物の方向に、自動的に水中ロボットを回頭させて目標物の方向に向けることができるので、その後は前進操作するだけで、目標物に水中ロボットを誘導して到達させることができる。また、水中ロボットの方向がずれた時は再度タッチにより目標物の方位に向かせることで確実に誘導できる。 In addition, since only the azimuth is a problem, it is sufficient to have an azimuth sensor and an ultrasonic sonar, and the control is very simple. The underwater robot can be automatically turned in the command direction, that is, in the direction of the actual target, so that it can be directed toward the target. Can be reached. In addition, when the direction of the underwater robot is deviated, it can be reliably guided by pointing again to the direction of the target by touching.
なお、ここで、自動回頭までを自動化し、前進を自動化せずに、手動により前進操作するように構成すると、目標物と水中ロボットの間に網等の障害物が有ったりした場合でも、オペレータの前進操作の判断が入るので、この障害物に衝突することを防止できる。但し、障害物が無いような場所では、自動回頭のみらず、前進も自動的に行うように構成してもよい。 In addition, here, if it is configured to automate up to automatic turning and manually advance without automating the advance, even if there is an obstacle such as a net between the target and the underwater robot, Since the judgment of the forward operation of the operator is entered, it is possible to prevent a collision with this obstacle. However, in a place where there is no obstacle, it may be configured not only to automatically turn but also to advance automatically.
そして、上記の目的を達成するための本発明の水中ロボット操縦システムは、遠隔操縦式の水中ロボット操縦システムにおいて、水中ロボットに搭載した超音波ソナーと、前記超音波ソナーにより得られた周囲の状況を画像でタッチパネル画面上に表示する表示兼入力装置と操縦制御手段を備えると共に、前記操縦制御手段が、前記超音波ソナーの探知結果を前記タッチパネル画面上に画像で表示するソナー画像表示手段と、前記画像を表示するタッチパネル画面上のタッチ位置を検出するタッチ位置検出手段と、前記タッチ位置から該タッチ位置に相当する実際の方位を算出する方位算出手段と、該算出した方位に水中ロボットの進行方向を向けるように自動制御する姿勢制御手段と、水中ロボットの移動を行う手動操作手段とを有して構成される。 And the underwater robot control system of the present invention for achieving the above object is a remote control type underwater robot control system, in which an ultrasonic sonar mounted on the underwater robot, and a surrounding situation obtained by the ultrasonic sonar A sonar image display means for displaying the ultrasonic sonar detection result as an image on the touch panel screen. Touch position detection means for detecting a touch position on the touch panel screen for displaying the image, direction calculation means for calculating an actual direction corresponding to the touch position from the touch position, and the progress of the underwater robot in the calculated direction It has posture control means for automatically controlling the direction to be directed and manual operation means for moving the underwater robot. It is.
この構成により、ソナー画像に映し出された目標物をタッチするだけで、水中ロボットを実際の目標物の方向に回頭させて、目標物の方向に向けることができる。つまり、ソナー画面に触れるとその方向に機首を向けるようになる。 With this configuration, it is possible to turn the underwater robot in the direction of the actual target and point it toward the target simply by touching the target displayed on the sonar image. In other words, touching the sonar screen will point the nose in that direction.
また、上記の水中ロボット操縦システムにおいて、前記算出した方位に水中ロボットの方向を自動的に保持する自動方位保持手段を備えて構成すると、より、目標物に接近し易くなる。 Further, in the above-described underwater robot control system, it is easier to approach the target if it is configured to include automatic direction holding means that automatically holds the direction of the underwater robot in the calculated direction.
更に、上記の水中ロボット操縦システムにおいて、前記ソナー画像表示手段が、前記タッチパネル画面上の画像における水中ロボットの位置と方向を固定して表示するように構成すると、水中ロボットの機首の方向とタッチ位置が示す目標物の方位との角度差が、画面上の水中ロボットの機首の方向と水中ロボットの位置とタッチ位置とを結ぶ線の方向との角度差に比例することになり、相対方位を算出することが非常に単純化され、また、この相対方位に水中ロボットに搭載した方位センサで検出された方位を加えることにより、絶対方位を簡単に算出できる。従って、制御アルゴリズムが単純化され、プログラム化が容易となり、また、応答性を高めることができる。 Furthermore, in the above-described underwater robot control system, if the sonar image display means is configured to display the position and direction of the underwater robot in the image on the touch panel screen, the nose direction and touch of the underwater robot are displayed. The angle difference between the target orientation indicated by the position is proportional to the angle difference between the nose direction of the underwater robot on the screen and the direction of the line connecting the position of the underwater robot and the touch position. The absolute azimuth can be easily calculated by adding the azimuth detected by the azimuth sensor mounted on the underwater robot to the relative azimuth. Therefore, the control algorithm is simplified, programming becomes easy, and responsiveness can be improved.
従って、水中ロボットと超音波ソナーとを連動させた自動航行システムとすることができ、超音波ソナーで得られた目標物体へ水中ロボットを容易に誘導できる。 Accordingly, an automatic navigation system in which the underwater robot and the ultrasonic sonar can be linked to each other, and the underwater robot can be easily guided to the target object obtained by the ultrasonic sonar.
本発明に係る水中ロボット操縦方法及び水中ロボット操縦システムによれば、超音波ソナーで得られた周囲の状況を画像で表示したタッチパネル画面上をタッチするだけで、超音波ソナーで発見した目標物に水中ロボットの進行方向を自動的に向けることができ、目標物への到達を容易することができる。そのため、水中ロボットの操縦に習熟させてオペレータの操縦能力を高めなくても、簡単な操縦で容易に目標物へ誘導及び到達することができるようになる。 According to the underwater robot maneuvering method and the underwater robot maneuvering system according to the present invention, the target discovered by the ultrasonic sonar can be obtained by simply touching the touch panel screen displaying the surrounding situation obtained by the ultrasonic sonar. The advancing direction of the underwater robot can be automatically directed, and the target can be easily reached. Therefore, it is possible to easily guide and reach the target with a simple maneuver without having to become familiar with the maneuvering of the underwater robot and improve the maneuvering ability of the operator.
以下図面を参照して本発明に係る水中ロボット操縦方法及び水中ロボット操縦システムの実施の形態について説明する。 Hereinafter, embodiments of an underwater robot maneuvering method and an underwater robot maneuvering system according to the present invention will be described with reference to the drawings.
図1に示すように、本発明の実施の形態の水中ロボット操縦システム1は、水中ロボット(ビークル)10と、電源・制御ユニット20と、モニターユニット30、及び、水中位置表示ユニット40を備えて構成される。また、図4〜図6に示すように、超音波ソナー53と方位センサ(図示しない)を水中ロボット10に搭載して構成される。この超音波ソナー53は、超小型高性能スキャンニングソナーで形成され、真っ暗で濁った水中テレビカメラでは数メートル程度しか見えない状況でも、水中ロボット10を中心として最大100mの範囲の海底状況や水中物体を探査できる。また、方位センサには磁気方位センサやジャイロ方位センサ等を使用できる。
As shown in FIG. 1, the underwater robot control system 1 according to the embodiment of the present invention includes an underwater robot (vehicle) 10, a power supply /
そして、本発明においては、水中ロボット10に搭載した超音波ソナー53と、操縦側に、この超音波ソナー53により得られた周囲の状況を、画像でタッチパネル画面上に表示する表示兼入力装置(モニター)31を備え、更に、操縦制御手段C1にソナートラッキング制御手段C10を備えて構成される。
In the present invention, an
そして、このソナートラッキング制御手段C10は、図2に示すように、超音波ソナー53により得られた周囲の状況をモニター31のタッチパネル画面上に画像で表示するソナー画像表示手段C11と、画像を表示するタッチパネル画面上のタッチ位置を検出するタッチ位置検出手段C12と、タッチ位置からこのタッチ位置に相当する実際の方位を算出する方位算出手段C13と、方位センサで検出した水中ロボットの測定方位がこの算出した目標方位になるように水中ロボット10を自動的に回頭する自動方位回頭手段C14と、方位センサで検出した水中ロボットの測定方位が算出した目標方位になるように水中ロボットの方向を自動的に保持する自動方位保持手段C15を備えて構成される。
Then, as shown in FIG. 2, the sonar tracking control means C10 displays a sonar image display means C11 that displays the surrounding situation obtained by the
このソナー画像表示手段C11は、超音波ソナー53から出された超音波が水中の物体に反射し、超音波ソナー53まで戻ってきた時の反射強度と反射時間に基づいて、反射強度をその度合い毎に色分けし、また、反射時間からソナー画面上の位置を算出し、ソナー画面として表現する。また、水中ロボット10の位置と方向(正面方向、機首方向)を画面上に固定して、例えば、水中ロボット10の位置を画面の中心に、水中ロボット10の方向を画面の上方向に固定して、表示するように構成する。
The sonar image display means C11 reflects the reflection intensity based on the reflection intensity and the reflection time when the ultrasonic wave emitted from the
これにより、水中ロボット10の機首の方向と目標方位(指示方位)との方位差角である相対方位が、画面上の水中ロボット10の機首の方向と水中ロボット10の位置とタッチ位置とを結ぶ線の方向との角度差に比例することになり、相対方位を算出することが非常に単純化される。
As a result, the relative azimuth, which is the azimuth difference between the nose direction of the
また、図2に示すように、操縦機能のための操縦制御手段C1は、この超音波ソナー53で発見した目標に自動的に方向を向けるソナートラッキング制御手段C10以外にも、トリムで1回転する等の特殊な操縦も可能とする手動操作手段C20、指示されたトリム角度を自動で保持する自動トリム保持手段C30、自動ロール水平保持の姿勢安定機能が働いた状態で手動操縦を可能とするPC制御手段C40、設定した深度を保持する自動深度保持手段C50、設定した方位を保持する自動方位保持手段C60、設定した深度まで自動的に潜航する自動潜降手段C70等も有して構成される。
Further, as shown in FIG. 2, the steering control means C1 for the steering function makes one rotation with the trim in addition to the sonar tracking control means C10 that automatically directs the direction to the target found by the
次に、この水中ロボット操縦システム1について、より詳細に説明する。 Next, the underwater robot control system 1 will be described in more detail.
図4〜図6に示すように、水中ロボット10は、遠隔操縦により水中を観察する装置であり、耐食アルミ合金製の円筒状の耐圧殻11と、その前後に設けられた半球殻で無色透明のアクリルドーム12a,12bとから本体が構成される。この本体に推進用及び姿勢制御用として、耐圧殻11の中央に左右方向に貫通して1個の横スラスター13aが、耐圧殻11の両サイドに一対の垂直スラスター13bが、また、耐圧殻11の上部と両サイドの下方に計3個の水平スラスター13cが配置される。
As shown in FIGS. 4 to 6, the
これらのスラスター13a,13b,13cは、水中ケーブル60で繋がっている制御装置22の信号によって駆動され、水中ロボット10の方向転換や移動を行う。特に、この水中ロボット10は、耐潮流性能を向上した自航式ビークルであり、機体のトリム(ピッチ)コントロールにより機首を海底や水底等に向けて、3台の水平スラスター13cの前進力により潜降でき、下降速力が大きいので素早く潮流層を突き切って海底や水底等に到達することができる。また、これらのスラスター13a,13b,13cにより、機首を上下左右に振ることができるので、曲線的な運動が可能で、起伏の多い海底や水底等の探査も行うことができる。この水中ロボット10の大きさと重量の一例を上げると、長さが105cm、幅が54cm、高さが54cmで、重量が54kg程度である。
These
また、前後のアクリルドーム12a,12bには各種の電子機器が収納されるが、特に、前部のアクリルドーム12a内にはテレビカメラ51がパンチルト装置52の上に装備される。このパンチルト装置52は、テレビカメラ51のズーム及びパン(旋回)及びチルト(俯仰)を行うための装置である。そして、テレビカメラ51の視界を照明できるように、前部のアクリルドーム12aの外側の斜め上方部分に水中照明灯55が一対配置される。
Various electronic devices are housed in the front and rear
また、耐圧殻11の上部に周囲探知用の超音波ソナー(ソナーヘッド)53と水中ロボットの位置検出用のレスポンダ54が配置される。なお、図示しないが、深度計、磁気方位測定方式の方位センサ、ビークル内漏水を検知する漏水検知器等のその他必要な機器が装備される。
Further, an ultrasonic sonar (sonar head) 53 for detecting the surroundings and a
そして、耐圧殻11の下方に、前部バンパー14aと後部バンパー14bを備えた耐食アルミ合金製のスキッド15が設けられ、両サイドにサイドバンパー16が設けられている。更に、ソナーヘッド53を保護するためのソナーバンパー17と、レスポンダ54を保護するためのレスポンダバンパー18、水中ロボット10を吊り上げるための吊り金具19等が設けられる。
A corrosion-resistant
この水中ロボット10は、図1に示すように、水中ケーブル60により電源・制御ユニット20の制御装置22に接続されている。この水中ケーブル60は、光・電力複合ケーブルで形成され、水中ロボット10への電力供給と、水中ロボット10と船上(陸上)側に置かれる制御装置22との間の通信を可能にする。この水中ケーブル60によって、水中ロボット10に搭載したテレビカメラ51の高画質の画像伝送や高品質のデータ送信や操縦・操作信号等は伝送される。
As shown in FIG. 1, the
そして、電源・制御ユニット20は、電源装置21、制御装置22とからなり、電源装置21は、電源装置ケーブルで制御装置22に接続され、制御装置22から給電されたAC100Vの電力を水中ロボット10用の電力に変換して制御装置22に供給する。この水中ロボット10用の電力は制御装置22から水中ケーブル60を介して水中ロボット10に供給される。
The power supply /
また、制御装置22は、AC電源用コード、電源装置21への給電用ケーブル、主電源スイッチを始め、水中ケーブル用レセプタクル、電源装置ケーブル用レセプタクル、、ジョイスティック装置ケーブル用レセクタプル、テレビカメラ映像出力端子、PCコネクタ、水中位置表示装置コネクタ等を備えて、各該当する機器類に接続可能に形成されている。
The
そして、この制御装置22は、水中ロボット10の各種機器からの情報を入力すると共に、ジョイスティック装置ケーブルを介してジョイスティック装置23と接続し、オペレータ(操作員)によって操作されるジョイスティック装置23からの信号を受けて、情報処理や制御信号の作成を行って、水中ケーブル60経由で水中ロボット10に操縦・操作信号を送る。
The
図7に示すように、このジョイスティック装置23には、右手ジョイスティックレバー81と左手ジョイスティックレバー82とがある。この右手ジョイスティックレバー81は、前方(FWD)側に傾ければ前進、手前(RVS)側に傾ければ後進、右(CW)側に傾ければ右旋回、左(CCW)側に傾ければ左旋回するように、水中ロボット10を操縦できる。なお、どの方向においても指を離すとスプリングリターンで中央に戻る。
As shown in FIG. 7, the
また、左手ジョイスティックレバー82は、モード切り替えスイッチ76が(T)トリム制御モードの時、前方(DSND)側に傾ければ機首下げ回動、手前(ASND)側に傾ければ機首上げ回動を行い、モード切り替えスイッチ76が(H)水平保持モードの時、水平姿勢を保ったまま、レバーを前方(DSND)側に傾ければ水平潜降、手前(ASND)に傾ければ水平浮上を行う。また、右(R)側に傾ければ右移動、左(L)側に傾ければ左移動するように、水中ロボット10を操縦できる。なお、前後方向にはスプリングリターンせず、その位置を保持するが、左右方向に関しては指を離すとスプリングリターンで中央に戻る。
Further, when the
更に、このジョイスティック装置23には、コントロール回路と照明灯回路をロック状態から解除して水中ロボット10をコントロール可能にするスタート押ボタン71、再度ロック状態に戻すストップ押ボタン72、モニター画面のスーパーインポーズを切り換えるスーパーインポーズ押ボタン73、水中照明の明るさを調整する調光ボリューム押ボタン74を手前側に備えている。
Further, the
また、このジョイスティック装置23の操作盤の奥側には、前(DOWN)側に倒すと下方、手前(UP)側に倒すと上方に向くように動き、指を離した所で止まるチルトスイッチ75、前方(T)側に倒すとトリム制御モードになり、手前(H)側に倒すと水平潜降のための水平保持モードとなるモード切換スイッチ76、前方(AUTO)側に倒すと機体のトリム制御、ロール角制御に関して自動制御となり、手前(MAN)側に倒すと手動制御となる自動姿勢モード切換スイッチ77、スイッチを1回倒す毎に自動と手動が切り替わるフォーカス切替スイッチ78、前方(F)側に倒すと遠方に、手前(N)側に倒すと近方に操作できる手動フォーカススイッチ79、前方(T)側に倒すとズームインし、手前(W)側に倒すとズームアウトし、指を離した所で止まるズームスイッチ80等が配置されている。
Further, on the back side of the operation panel of the
また、ジョイスティック装置23には、右側(RIGHT)を押すと右方向に、左側(LEFT)を押すと左方向に向くように動き、指を離した所で止まる「パン」押ボタン83、83及び肩掛用ストラップ取付金具84、取手85等が設けられている。
Further, the
次に、モニターユニット30は、モニター31、VTR32、CPU33、マイクロホン34とからなる。このモニタ31とCPU33は、PCコネクタで制御装置22と接続され、マイクロホン34はVTR32に接続されている。
Next, the
このモニター31の画面はタッチパネル式となっており操縦側の表示兼入力装置となる。このタッチパネル画面は、ソナー画像表示手段C11により、図8に例示するように、例えば、左側にテレビカメラ51の映像(テレビ画像)、右側に超音波ソナーの映像(ソナー画像)を表示する。このソナー画像は、画面上方が水中ロボット10の前方、右側が右舷側、左側が左舷側、下方が後方を示すように、水中ロボット10の位置と方向を画面上に固定して表示される。
The screen of the
また、左側のテレビ画像内に、深度、方位、トリム角度、日付、時刻等が表示され、テレビ画像の上に、「PC制御」、「自動潜降」、「深度保持」、「方位保持」等の運用モードを示す欄があり、下には、水中ロボット10のトリムとロールの角度表示とその傾斜した様子を模式的に示す図がある。また、その右側には、「スナップショット」の文字画面が表示され、これを指で押す(タッチする)と、その時に表示されていたビデオカメラ51のカメラ映像を静止画像ファイルとして保存すると共に、この静止画であるスナップショット画像を撮影した枚数と共に表示する。これらの左側画面は主に現状を示すための画面である。
In addition, the depth, azimuth, trim angle, date, time, etc. are displayed in the left TV image, and “PC control”, “automatic descent”, “depth maintenance”, “azimuth maintenance” are displayed on the TV image. There is a column showing the operation mode such as, and below, there is a diagram schematically showing the trim and roll angle display of the
また、右側のソナー画像の上には、深度と方位の現在値と目標値を示し、下には、「ソナー稼働」、「ソナーログ」、「ソナー設定」、「ソナートラック」の各ボタンが表示され、また、ソナー画像のための「コントラスト」「ゲイン」「レンジ」の各調整ボタンが表示される。 In addition, on the right side of the sonar image, the current value and target value of the depth and heading are displayed, and below the buttons for “Sonar operation”, “Sonar log”, “Sonar setting”, and “Sonar track” are displayed. In addition, “contrast”, “gain”, and “range” adjustment buttons for the sonar image are displayed.
この「ソナー稼働」では、ソナーのON/OFF操作、「ソナーログ」では、ソナー探知結果の記録、「ソナーの設定」では、解像度と関係するソナーヘッドの旋回速度、ソナーの旋回範囲と基準方位、カラー又は白黒を選択できる描画モード等の設定ができ、「ソナートラック」では、ソナートラッキング制御手段C10によるソナートラッキング機能のON/OFF操作ができる。また、「コントラスト」操作では、反射強度即ち画面上に表示される色の階調幅を変更することができる。「ゲイン」操作では反射に対する感度の強弱を変更することができる。「レンジ」操作では探査範囲を変更することができる。なお、水中ロボット10を海底や水底等に着底させると位置保持が簡単で安定したソナー画像(映像)を得ることができる
そして、ソナー画面右下に示された「ソナートラック」ボタンを押すと、ソナー画面で見つけた目標をタッチするだけで、水中ロボット10がその目標の方向に自動的に向き、その方位を保持するソナートラッキング機能のON/OFFが切り替わる。ONの場合には「ソナートラック」ボタンの枠に「ON」が表示され、OFFの場合には「OFF」が表示される。
In this “sonar operation”, the sonar ON / OFF operation is performed. In the “sonar log”, the sonar detection result is recorded. In the “sonar setting”, the sonar head turning speed related to the resolution, the sonar turning range and the reference direction, A drawing mode or the like in which color or black and white can be selected can be set. In the “sonar track”, the sonar tracking control means C10 can turn on / off the sonar tracking function. In the “contrast” operation, the reflection intensity, that is, the gradation width of the color displayed on the screen can be changed. In “Gain” operation, the sensitivity to reflection can be changed. In the “Range” operation, the search range can be changed. If you place the
ソナートラッキングONで、このソナートラッキング機能が有効な時には、ソナー画像表示手段C11により、超音波ソナー53により得られた周囲の状況をモニター31のタッチパネル画面上に画像で表示するソナー画面上の任意の場所をオペレータが指で触ると、タッチ位置検出手段C12によりタッチパネル画面上のタッチ位置を検出し、方位算出手段C13によりタッチ位置からタッチ位置に表示された画像の目標物の方位を算出し、、即ち、タッチ位置からこのタッチ位置に相当する実際の方位を算出し、その方位を目標方位として認識し、自動方位回頭手段C14により、この認識した目標方位に向くように水平スラスター13c等を操作して、水中ロボット10を旋回し機首をその目標方位に向けるように制御され、向いた後は、自動方位保持手段C15によりその目標方位を保持するように制御される。機首の方向がその目標方位になるように制御されるので、その結果、水中ロボット10の旋回に従って、ソナー画面は順次更新され、目標が水中ロボット10の正面となる。なお、この実施の形態の制御では、前進を自動で行わず、つまり、自動で指定位置に移動せず、目標物までの移動はジョイスティック操作で行うように構成される。これにより、オペレータの前進操作の判断を介入させて、目標物と水中ロボットの間に網等の障害物が有ったりした場合でも、この障害物に衝突することを防止できる。
When the sonar tracking function is valid when the sonar tracking is ON, the sonar image display means C11 displays an arbitrary situation on the sonar screen for displaying the surrounding situation obtained by the
そして、そのジョイスティック操作の後は、「追従」モードの場合は、ジョイスティック操作で左右旋回して方位を変更すると目標値は操作を止めた直後の方位に追従する。このときソナートラキング機能は有効であるが、目標方位が操作を止めた直後の方位に変更される。そのため、再度ソナー画面から目標位置を押して方位を設定する必要がある。 After the joystick operation, in the “follow” mode, when the joystick operation turns left and right to change the direction, the target value follows the direction immediately after the operation is stopped. At this time, the sonar tracking function is effective, but the target orientation is changed to the orientation immediately after the operation is stopped. Therefore, it is necessary to set the azimuth by pressing the target position again from the sonar screen.
また、「設定」モードの場合は、ジョイスティック操作で左右旋回して方位を変更するとソナートラキング機能は無効となる。再度、ソナートラキングを続ける場合には、有効にすると共に、ソナー画面から目標位置を押して方位を設定する必要がある。 In the “setting” mode, the sonar tracking function is disabled when the joystick is operated to turn left and right to change the direction. In order to continue sonar tracking again, it is necessary to enable it and to set the heading by pressing the target position from the sonar screen.
運用の終了には、画面左下隅の「終了」ボタンを指で押すと「システム終了確認」画面が表示されるので、必要な操作をして終了する。 To end the operation, press the “end” button in the lower left corner of the screen with your finger to display the “system end confirmation” screen.
このソナートラッキングの制御を制御フローで示したのが、図3である。この図3の制御フローを説明すると、ソナートラッキングONとなり、この制御フローがスタートすると、ステップS11でタッチパネル上に超音波ソナー53により得られた周囲の状況が画像で表示し、この表示を所定の時間(タッチの有無を判定するインターバルに関係する時間)の間継続した後、次のステップS12に行き、タッチパネル上にタッチが有ったか否か、即ち、有無を判定する。
FIG. 3 shows this sonar tracking control in a control flow. The control flow of FIG. 3 will be described. When the sonar tracking is turned on and this control flow is started, the surrounding situation obtained by the
ステップS12でタッチパネル画面上へのオペレータのタッチが有ったと判定された場合は、ステップS13に行き、タッチパネル画面上の画像の水中ロボット10の位置(厳密には超音波ソナー53の位置)を原点とするタッチ位置(直角座標(X,Y),あるいは、極座標(r,θ))を検出する。そして、次のステップS14でそのタッチ位置(X,Y)から、そのタッチ位置(X,Y)に表示されていた画像の目標物の水中ロボット10に対する相対方位θを算出する。この相対方位θは、直角座標(X,Y)からはθ=tan-1(X/Y)となり、極座標(r,θ)からは、そのθとなる。なお、直角座標から求める相対方位θは、XとYの正負により、0°〜 360°(又は−180°〜180°等)の全周方位の一つとする。
If it is determined in step S12 that the operator touches the touch panel screen, the process goes to step S13, and the position of the
そして、次のステップS15で、この算出された相対方位θから、タッチされた表示画面の時における方位センサによって検出された水中ロボット10の方位θrを加えて絶対方位θaを算出して、この絶対方位θaを目標方位θ0として記憶し、ステップS16に行く。また、ステップS12でタッチが無かったと判定された場合は、そのままステップS16に行く。
In the next step S15, the absolute direction θa is calculated from the calculated relative direction θ by adding the direction θr of the
ステップS16では、水中ロボット10に搭載した方位センサの出力である方位θrが目標方位θ0になるように、左右2つの水平スラスタ13c、又は、必要に応じて各スラスタ13a,13b,13cをフィードバック制御して、水中ロボット10の機首がこの目標方位θ0を向くように自動回頭制御を行う。また、既に目標方位θ0に向いている場合には、これを保持するように自動方位保持制御を行う。これらの自動回頭制御又は自動方位保持制御となるフィードバック制御(方位制御)を所定の時間(タッチの有無を判定するインターバルに関係する時間)の間行ってからステップS11に戻る。
In step S16, feedback control is performed on the left and right
このステップS11〜ステップS16を繰り返すが、ジョイスティック操作により方位の変更があった場合、及び、「終了」ボタンが押された場合には、割り込みを生じて、この制御フローを終了する。なお、ステップS11のソナーによって得られた周囲の状況の画像表示及びステップS16の方位制御は、実質上また実際上は、このステップS11〜ステップS16の間継続され、適宜更新されながら画像表示が連続的に行われ、また、方位制御も連続的に行われる。ここでは制御の順序を分かり易くするため、ステップ表示で説明している。 Steps S11 to S16 are repeated. However, when the azimuth is changed by the joystick operation and when the “end” button is pressed, an interrupt is generated and the control flow is ended. It should be noted that the image display of the surrounding situation obtained by the sonar in step S11 and the azimuth control in step S16 are substantially and practically continued during these steps S11 to S16, and the image display is continued while being updated as appropriate. In addition, the azimuth control is continuously performed. Here, in order to make the order of control easy to understand, a step display is used for explanation.
そして、VTR32は、テレビカメラ51の画像や超音波ソナー53等のモニター31の表示画面を記録するためのものであり、マイクロホン34は、オペレータ等の陸上音声をこのVTR32へ録音するためのものである。また、CPU33は電源スイッチ、リセットスイッチ、MOドライブ、CDドライブ、キーボードコネクタ、マウスコネクタ等を備えて形成され、制御装置22の制御等の機能を分担する。
The VTR 32 is for recording the image of the
そして、水中位置表示ユニット40は、傾斜計41、GPS受信機42、水中ロボット10に搭載されたレスポンダ54からの信号を受けるトランジューサ43、このトランジューサ43を水面下に吊り下げるトランジューサ吊下金具44、トランジューサ吊下金具44を固定する吊下金具固定台45、ノートパソコン46を備えて構成され、水中ロボット10の水中位置をトランジューサ43及びGPS受信機42等の出力から特定し、モニター31に表示すると共に、ノートパソコン46に水中ロボット10の絶対位置を表示する装置である。この水中位置表示ユニット40により、水中ロボット10の水中位置を確認できる。
The underwater
この水中ロボットの操縦システム1及び操縦方法によれば、超音波ソナー53で探知した結果を画像で表示したタッチパネル画面上をタッチするだけで、超音波ソナー53で発見した目標物に水中ロボット10の進行方向を自動的に向けることができ、目標物への到達を容易することができる。
According to the underwater robot maneuvering system 1 and the maneuvering method, the target detected by the
1 水中ロボット操縦システム
10 水中ロボット
20 電源・制御ユニット
22 制御装置
23 ジョイスティック装置
30 モニターユニット
31 表示兼入力装置(モニター)
40 水中位置表示ユニット
53 超音波ソナー
C1 操縦制御手段
C10 ソナートラッキング制御手段
C11 ソナー画像表示手段
C12 タッチ位置検出手段
C13 方位算出手段
C14 自動方位回頭手段
C15 自動方位保持手段
DESCRIPTION OF SYMBOLS 1 Underwater
40 Underwater
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004063447A JP4108629B2 (en) | 2004-03-08 | 2004-03-08 | Underwater robot operation method and underwater robot operation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004063447A JP4108629B2 (en) | 2004-03-08 | 2004-03-08 | Underwater robot operation method and underwater robot operation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005246578A JP2005246578A (en) | 2005-09-15 |
JP4108629B2 true JP4108629B2 (en) | 2008-06-25 |
Family
ID=35027548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004063447A Expired - Lifetime JP4108629B2 (en) | 2004-03-08 | 2004-03-08 | Underwater robot operation method and underwater robot operation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4108629B2 (en) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4764698B2 (en) * | 2005-10-26 | 2011-09-07 | 学校法人 関西大学 | Position and orientation control apparatus and position and orientation control method |
KR100941998B1 (en) | 2008-02-15 | 2010-02-12 | 한국해양연구원 | Manual/Automatic Control Method for Underwater Exploring System |
KR101279368B1 (en) | 2012-02-01 | 2013-07-04 | 동명대학교산학협력단 | Underwater-type autonomous robot-kit |
JP5656152B2 (en) * | 2013-01-07 | 2015-01-21 | 青山 省司 | Protective structure of welding equipment |
CA2943907C (en) | 2014-03-27 | 2020-12-01 | Shoji Aoyama | Welding apparatus |
KR101643195B1 (en) * | 2014-10-06 | 2016-07-27 | 경일대학교산학협력단 | Helmet apparatus for detecting object under water and method thereof |
JP6479418B2 (en) * | 2014-10-31 | 2019-03-06 | 古野電気株式会社 | Remote steering system, remote control device, and remote steering method |
WO2016075864A1 (en) * | 2014-11-10 | 2016-05-19 | パナソニックIpマネジメント株式会社 | Underwater robot |
JP6662372B2 (en) * | 2015-03-12 | 2020-03-11 | 日本電気株式会社 | Pilot device |
KR101736340B1 (en) * | 2015-05-07 | 2017-05-29 | 소나테크 주식회사 | underwater target tracking system |
KR101788105B1 (en) * | 2015-11-26 | 2017-10-19 | 경일대학교산학협력단 | A wearable apparatus for detecting an object under water and a method for communicating thereof |
KR101768972B1 (en) * | 2015-11-26 | 2017-08-30 | 경일대학교산학협력단 | A wearable apparatus for detecting an object under water and a method for controlling thereof |
RU169166U1 (en) * | 2016-03-31 | 2017-03-07 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) | Underwater robot |
CN107344604A (en) * | 2016-05-06 | 2017-11-14 | 中国科学院烟台海岸带研究所 | A kind of marine environment restoration of the ecosystem sized underwater observation robot |
JP6977266B2 (en) * | 2017-02-02 | 2021-12-08 | 株式会社Ihi | Underwater search method and underwater search system |
JP6942972B2 (en) * | 2017-02-13 | 2021-09-29 | 株式会社Ihi | Underwater search method and underwater search system |
US11391940B2 (en) | 2017-03-31 | 2022-07-19 | Ebara Corporation | Industrial endoscope, observation method, observation device, underwater machine, pump inspection system, underwater robot control system, and underwater robot control method |
JP6933003B2 (en) * | 2017-06-07 | 2021-09-08 | 東京電力ホールディングス株式会社 | Unmanned submersible |
CN108037763A (en) * | 2017-12-15 | 2018-05-15 | 中国南方电网有限责任公司调峰调频发电公司 | Underwater robot control device |
CN108343107B (en) * | 2018-04-20 | 2024-02-23 | 中交上海航道局有限公司 | Cutter suction dredger anchor transferring interval auxiliary slide rule and use method thereof |
CN110261858B (en) * | 2019-06-10 | 2022-12-09 | 哈尔滨工程大学 | Tunnel AUV guiding method based on underwater marker linear detection |
CN112530007B (en) * | 2020-12-23 | 2023-03-10 | 福州大学 | Universal unmanned submersible and simulation software platform thereof |
CN113211413B (en) * | 2021-04-30 | 2022-05-03 | 杭州新松机器人自动化有限公司 | Underwater mechanical arm integrating sonar communication |
JP7376055B1 (en) * | 2023-03-01 | 2023-11-08 | ミカサ商事株式会社 | Underwater inspection program, underwater inspection system, and underwater inspection method |
CN117289286B (en) * | 2023-11-24 | 2024-02-09 | 中国电建集团西北勘测设计研究院有限公司 | Sonar obstacle avoidance device for underwater robot |
-
2004
- 2004-03-08 JP JP2004063447A patent/JP4108629B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005246578A (en) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4108629B2 (en) | Underwater robot operation method and underwater robot operation system | |
KR102618587B1 (en) | An automatic location placement system | |
US20210247767A1 (en) | Automatic location placement system | |
CA3107720C (en) | Systems and methods for controlling operations of marine vessels | |
US20220357745A1 (en) | Automatic Location Placement System | |
JP6699944B2 (en) | Display system | |
JP2022178411A (en) | Underwater navigation system, maneuvering auxiliary device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4108629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |