JP6942420B2

JP6942420B2 - 無人無索潜水機システム

Info

Publication number: JP6942420B2
Application number: JP2017190285A
Authority: JP
Inventors: 明山中; 山中　　明
Original assignee: Toshiba Information Systems Japan Corp
Current assignee: Toshiba Information Systems Japan Corp
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2021-09-29
Anticipated expiration: 2037-09-29
Also published as: JP2019064373A

Description

この発明は、無人無索潜水機システムに関するものである。

従来の潜水機においては、観測用機器として用いられるものがあり、潜水機に搭載されたカメラにより得られた画像をワークステーションなどのディスプレイに映し出して複数人で観るような場合が多かった。

上記の潜水機を用いて水中の施設に対する点検などを行おうとしても、潜水機からの距離が把握し難く、目的を達せられないものであった。また、従来の潜水機は有索のものが多く、通常は船や筏の上のモニタ等とケーブルにより接続されていることが多く、活動範囲に制限があり、十分な点検保守が行えるものではなかった。

従って、生簀を用いて養魚を行う海面養殖の場合においては、ネットの破損点検や保守、生簀内のさかなの状態管理、密漁などの監視には、人が生簀内に潜って行うことが通例であった。人による作業は確実性があるものの、人に対する負担は極めて重く、機械化が求められている。

特許文献１には、水中を自在に航行する無人無索の水中ロボットが開示されている。この水中ロボットは観測用機器が搭載されており、各種の監視に用いることが可能である。

また、特許文献２には、母船にセンタ装置を置き、ブイに有索で結合された水中作業ロボットにより水中作業を行うようにしたシステムが開示されている。また、ブイには水面から突出するアンテナが設けられており、母船のセンタから無線通信によって上記アンテナを介して水中作業ロボットへ指示を与え、水中作業ロボットのマニピュレータの動作を制御するというものである。また、水中作業ロボットのカメラにより撮像した画像は母船のセンタ装置において表示される。

更に、特許文献３には、マニピュレータを備えた水中航走体を遠隔操作モードまたは自立運転モードで切り替えて動作させることが開示されている。この水中航走体からは画像をケーブルを介して母船側へ提供することができるものである。

特開平１-１２７４８６号公報特開平５-２９３７８９号公報特許第５４４９２７５号明細書

上記の特許文献１に記載の水中ロボットによれば、水中の観察を行うことができるものの、水中での作業に向けた構成が備えられていない。従って、無人無索であり、航行の範囲が自由であるものの、その利点を生かした作業へ結びつかない問題点があった。

また、特許文献２に記載の水中作業ロボットは、有索であり活動範囲が制限される問題がある。カメラにより撮像された画像を目視しながらマニピュレータの操作が可能に思
えるものの、オペレータ自身が水中のものに対して作業するような感覚を持たせるものではなく、潜水夫が作業するように的確な作業を保証できないという問題があった。

更に、特許文献３のものは、マニピュレータを備えた水中航走体を遠隔操作モードまたは自立運転モードで切り替えて動作させる点に主眼があり、この切り替えを水中航走体に配置されたモード選択手段へマニュアル操作でアクセスして行うことを利点とするものである。従って、オペレータが恰も水中に居て、或いは水中航走体に乗って航行しながら作業を行っているが如く感じるものではなかった。

本発明は上記のような潜水機システムの分野における現状に鑑みてなされたもので、その目的は、オペレータに、恰も水中に居て、或いは水中航走体に乗って航行しながら作業を行っている操作感覚を与えることができる無人無索潜水機システムを提供することである。

本発明に係る無人無索潜水機システムは、カメラとマニピュレータとを備え、潜水と走行を行う航行装置が搭載された無人無索潜水機と、前記カメラにより得られた画像をオペレータの眼前に表示する表示制御手段を備えるウエアラブルディスプレイと、前記オペレータの腕、手、指の動きを検出し、前記マニピュレータの動作制御のために送るべきデータを収集するモーションセンサと、を具備するセンタ装置とを備える無人無索潜水機システムにおいて、前記無人無索潜水機に備えられ、前記モーションセンサにより得られたデータに基づき前記マニピュレータを前記オペレータの腕、手、指の動きに追従させて動かすマニピュレータ制御手段と、前記センタ装置と前記無人無索潜水機の間で無線通信を実行する無線通信システムと、前記無人無索潜水機の潜水と走行に関する指示を入力するための幾つかの操作桿やボタンが設けられた指示入力手段と、前記オペレータの手が所定位置にあることを検出した場合に、前記指示入力手段のイメージ及び前記オペレータの手に連動して動作する手のイメージを前記ウエアラブルディスプレイの画面に対し前記表示制御手段が表示するようにトリガを発生する表示トリガ手段と、を備え、前記指示入力手段は、前記ウエアラブルディスプレイの画面に表示された指示入力手段のイメージに対する前記オペレータの手のイメージによる操作に対応して指示を入力することを特徴とする。

本発明に係る無人無索潜水機システムでは、前記マニピュレータの先端に設けられ、硬軟の感覚を含む触感データを検出する触感センサと、前記オペレータの手、指に設けられ、前記触感センサが検出した触感を再現して前記オペレータの手、指に伝達する触感伝達体と、前記無人無索潜水機に備えられ、前記触感センサが検出した触感データに基づき前記触感伝達体を制御して触感を再現する触感伝達体制御手段とを具備することを特徴とする。

本発明に係る無人無索潜水機システムでは、前記センタ装置には、前記無人無索潜水機の潜水と走行に関する指示を入力するための指示入力手段が備えられていることを特徴とする。

本発明に係る無人無索潜水機システムでは、前記指示入力手段は、音声入力手段と音声認識手段により構成されることを特徴とする。

本発明に係る無人無索潜水機システムでは、前記無人無索潜水機に備えられ、水温と水質とを少なくとも検出する水環境モニタを有し、前記表示制御手段は、前記水質センサの検出データに対応する水質に関する表示を前記ウエアラブルディスプレイの画面に重畳表示することを特徴とする。

本発明に係る無人無索潜水機システムでは、前記センタ装置は、潜水と走行に関する航行予定情報を記録した航行予定記録手段を備え、この記録された情報に基づく航行指示を前記航行装置へ与えるモードを有することを特徴とする。

本発明に係る無人無索潜水機システムでは、前記カメラの視野をオペレータの視線の移動及びまたはオペレータの頭の動きに合わせて変更するカメラ視野変更手段が備えられていることを特徴とする。

本発明によれば、カメラとマニピュレータとを備え、潜水と走行を行う航行装置が搭載された無人無索潜水機と、センタ装置とを備える無人無索潜水機システムであるから、活動範囲が制限されることがない利点を有する。また、センタ装置が、前記カメラにより得られた画像をオペレータの眼前に表示する表示制御手段を備えるウエアラブルディスプレイと、前記オペレータの腕、手、指の動きを検出し、前記マニピュレータの動作制御のために送るべきデータを収集するモーションセンサと、を具備するので、オペレータは、眼前に表示される無人無索潜水機から撮像した画像を見ながら、腕、手、指の動きを通して、恰も水中に居て、或いは水中航走体に乗って航行しながら作業を行っているような操作感覚を与えることができる。

本発明の第１の実施形態の概念図。本発明の第１の実施形態の機能ブロック図。本発明の第１の実施形態の動作を説明するためのフローチャート。本発明の第１の実施形態の動作を説明するためのフローチャート。本発明の第２の実施形態の概念図。本発明の第２の実施形態の機能ブロック図。本発明の第３の実施形態の機能ブロック図。本発明の第４の実施形態の機能ブロック図。本発明の第５の実施形態の機能ブロック図。

以下、添付図面を参照して本発明に係る無人無索潜水機システムの実施形態を説明する。各図において同一の構成要素には、同一の符号を付して重複する説明を省略する。図１に、本発明に係る無人無索潜水機システムの実施形態における概略構成図を示し、図２にブロック構成図を示す。本実施形態に係る無人無索潜水機システムは、無人無索潜水機１００とセンタ装置２００とを備えている。無人無索潜水機１００は、カメラ１１とマニピュレータ１２とを備え、潜水と走行を行う航行装置１３０が搭載されている。

マニピュレータ１２は、二本のアームにより構成され、人の肩の関節に相当する機械関節１２Ａと、肘関節に相当する機械関節１２Ｂと、手首、指の関節に相当する機械関節１２Ｃとを備える。指は５本であることが好適であるが、親指とその他の指に相当する２本であっても良い。

航行装置１３０は、図２に示されるように、慣性航法装置１３１、加速度計・水圧計等センサ１３２、アクティブソナー１３３、姿勢制御装置１３４、潜水・走行制御装置１３５が備えられている。慣性航法装置１３１は、加速度計・水圧計等センサ１３２やアクティブソナー１３３により得られた加速度、水圧、音響灯台等の目標体からの反射データ等に基づき、自装置の角速度と加速度等を演算処理して絶対位置や自己姿勢等を検出する。

航行装置１３０には、スラスタ等を含む複数の推進器８１が接続されている。推進器８１には、バラストタンクや気蓄機、水中翼等を含むものとすることができる。姿勢制御装置１３４は、慣性航法装置１３１により得られた自己姿勢のデータに基づき推進器８１を動作させて自己の姿勢を所望に制御する。潜水・走行制御装置１３５は、センタ装置２００から送られる航行指示情報に基づき、推進器８１を制御して所望の方向へ航行するにように制御するものである。

無人無索潜水機１００には、水環境モニタである水環境モニタ装置１４０が備えられている。水環境モニタ装置１４０には、水温センサ１４１と水質センサ１４２が含まれている。水質センサ１４２は、化学的酸素要求量（ＣＯＤ）、生物学的酸素要求量（ＢＯＤ）、浮遊物質（ＳＳ）、リン、アンモニア態窒素等所要の対象を測定するものとする。これらのセンサにより検出されたデータはセンタ装置２００へ送られる。

更に、無人無索潜水機１００には、保守装置１５０が備えられている。保守装置１５０には、マニピュレータ制御部１５１が設けられている。マニピュレータ制御部１５１にはマニピュレータ１２が接続されており、マニピュレータ制御部１５１は、センタ装置２００から送られるデータに基づき、上記マニピュレータ１２をオペレータの腕、手、指の動きに追従させて動かすものである。

センタ装置２００には、上記カメラ１１により得られた画像をオペレータ２０１の眼前に表示する表示制御手段２１１を備えるウエアラブルディスプレイ２１０が設けられている。ウエアラブルディスプレイ２１０は、図１に示すアイマスクタイプやフルフェースタイプの表示装置である。ウエアラブルディスプレイ２１０は、画像をオペレータの眼前に画像を表示するための画面を内側に備える。

上記表示制御手段２１１は、上記水質センサ１４２の検出データに対応する水質に関する表示を上記ウエアラブルディスプレイ２１０の画面に重畳表示する。これによって、オペレータ２０１は現在のその位置の水温や水質を適切に知ることができ、便利である。ウエアラブルディスプレイ２１０の画面の画像を録画しておくことにより、生簀内の各位置における水質などをデータとして残すことも可能である。

センタ装置２００には、上記オペレータ２０１の腕、手、指の動きを検出し、上記マニピュレータ１２の動作制御のために送るべきデータを収集するモーションセンサ２２０が備えられている。センタ装置２００には、上記無人無索潜水機１００の潜水と走行に関する指示を入力するための指示入力手段２４０が備えられている。指示入力手段２４０は、幾つかの操作桿やボタン等が設けられたリモコンボックスのように構成され、オペレータ２０１の手がこの指示入力手段２４０の位置にあると、入力モードとなり潜水と走行に関する指示を入力することができる。オペレータ２０１の手がこの指示入力手段２４０の位置から離れると、上記無人無索潜水機１００には停止及び静止する指示が与えられる。オペレータ２０１の手がこの指示入力手段２４０の位置にあることは、指示入力手段２４０がタッチセンサなどを有し、このセンサの検出データに基づき検出を行うように構成できる。

センタ装置２００と無人無索潜水機１００との間には、通信中継器３００が設けられる。通信中継器３００は、地上或いは船舶の上に設けられる。通信中継器３００には、センタ装置２００の通信装置２５０に接続される電波通信部３１０が設けられる。通信装置２５０と電波通信部３１０とは、無線或いは有線を介して電波によるデータの送受信を行うものである。

通信中継器３００には、無人無索潜水機１００の通信装置１６０に接続される超音波通信部３３０が設けられる。超音波通信部３３０は、超音波によって無人無索潜水機１００の通信装置１６０との間で無線通信を行う。電波通信部３１０と超音波通信部３３０との間には、電波‐音波変換部３２０が設けられている。電波‐音波変換部３２０は、電波通信部３１０から到来した電波を超音波に変換して超音波通信部３３０へ送り出し、逆に、超音波通信部３３０から到来した超音波を電波に変換して電波通信部３１０へ送り出す。

以上のように構成された無人無索潜水機システムでは、オペレータ２０１がウエアラブルディスプレイ２１０を装着して動作が開始される。動作開始によってカメラ１１により得られた画像がウエアラブルディスプレイ２１０の画面に映し出され、オペレータ２０１は三次元空間において無人無索潜水機１００に乗っているような感覚で映し出される画像を見ることができる。

このとき、センタ装置２００では、図３に示されるフローチャートに示される如くの動作を行う。まず、オペレータ２０１の手が指示入力手段２４０の位置にあるかを検出し（Ｓ１１）、ここでＹＥＳとなると、ステップＳ１２へ進む。ステップＳ１２では、指示入力手段２４０の操作を受けて潜水・浮上、指示方向への走行を指示する指示情報を送出する（Ｓ１２）。更に次に、オペレータ２０１の手が指示入力手段２４０の位置にあるかを検出し（Ｓ１３）、ＹＥＳであればステップＳ１２へ戻って処理を続け、ＮＯとなると停止・静止の指示を送出して（Ｓ１４）、ステップＳ１１へ戻る。

ステップＳ１１において、ＮＯへ分岐すると、オペレータ２０１の腕、手、指の動きがあるかを検出し（Ｓ１５）、ＮＯへ分岐するとステップＳ１１へ戻る。ステップＳ１５においてＹＥＳへ分岐すると、オペレータ２０１の腕、手、指の動きや位置の情報を送出して（Ｓ１６）ステップＳ１１へ戻る。

上記のセンタ装置２００の動作に対して無人無索潜水機１００では、図４に示されるフローチャートに示される如くの動作を行う。まず、センタ装置２００から送られてくる情報に対する制御の対象が無人無索潜水機１００であるかマニピュレータ１２の制御であるかを検出する（Ｓ２１）。制御の対象が無人無索潜水機１００である場合には、到来した情報に基づき航行装置１３０が推進器８１に対する制御を行って（Ｓ２２）、無人無索潜水機１００を潜水、浮上、所要方向へ航行させ、ステップＳ２１へ戻る。

ステップＳ２１において、マニピュレータ１２の制御に関する情報であることを検出した場合には、マニピュレータ制御部１５１は、上記マニピュレータ１２をオペレータの腕、手、指の動きに追従させて動作させて（Ｓ２３）ステップＳ２１へ戻る。

次に、図５、図６を参照して本発明の第２の実施形態を説明する。第２の実施形態では、触感センサ３１が上記マニピュレータ１２の先端（手、指に対応する部位）に設けられている。この触感センサ３１は、硬軟の感覚を含む触感データを検出する。検出された触感データは、センタ装置２００へ送られる。

上記オペレータ２０１の手、指には触感伝達体２６０が設けられる。触感伝達体２６０は、上記触感センサ３１が検出した触感を再現して上記オペレータ２０１の手、指に伝達する。触感伝達体２６０は、例えばバルーンのように膨張などにより上記オペレータ２０１の腕、手、指に硬軟の感覚を含む触感を伝達する。触感伝達体２６０は、バイラテラルサーボ機構によって実現することもできる。

上記無人無索潜水機１００には、触感伝達体制御手段１６１が備えられ、上記触感センサ３１が検出した触感データに基づき上記触感伝達体２６０を制御して触感を再現する。
以上の構成を有する第２の実施形態では、マニピュレータ１２の先端が、生簀内の死んだ魚を回収する場合に、その触感がオペレータ２０１の手先等に伝わり、作業がし易い。また、マニピュレータ１２の先端によって痛んだ生簀の網の修理なども可能となることが期待される。

次に、図７を参照して本発明の第３の実施形態を説明する。第３の実施形態では、上記オペレータ２０１の手が所定位置にあることを検出した場合に、上記指示入力手段２４０のイメージ及び上記オペレータ２０１の手に連動して動作する手のイメージを上記ウエアラブルディスプレイ２１０の画面に対し上記表示制御手段２１１が表示するようにトリガを発生する表示トリガ手段１８８がセンタ装置２００に備えられる。

上記指示入力手段２４０は、上記ウエアラブルディスプレイ２１０の画面に表示された指示入力手段２４０のイメージに対する上記オペレータ２０１の手のイメージによる操作に対応して、指示情報を入力する。この第３の実施形態によれば、オペレータ２０１が手を所定位置に持ってゆくと、ウエアラブルディスプレイ２１０の画面に、指示入力手段２４０のイメージ及び上記オペレータ２０１の手に連動して動作する手のイメージが表示される。オペレータ２０１が指示入力手段のイメージを見ながら手を動かすことにより、オペレータ２０１の手のイメージによる操作に対応して指示が入力される。従って、上記無人無索潜水機１００にオペレータ２０１が乗りながら操作する感覚で無人無索潜水機１００を航行することができ、オペレータ２０１と無人無索潜水機１００の一体感を味わうことができる。

次に、図８を参照して本発明の第４の実施形態を説明する。第４の実施形態では、前記センタ装置２００は、潜水と走行に関する航行予定情報を記録した航行予定記録手段２７０を備え、この記録された情報に基づく航行指示を上記航行装置１３０へ与えるモードを有する。無人無索潜水機１００の航行装置１３０は、この航行指示を受けて潜水・走行するように推進器８１を制御する。このため、予め生簀内を巡回する速度等を含む経路を決めて航行予定情報を航行予定記録手段２７０に記録して運用できるので、人がいない夜間等のパトロールを自動で行うことができる。

次に、図９を参照して本発明の第５の実施形態を説明する。第５の実施形態では、無人無索潜水機１００には、上記カメラ１１の視野をオペレータ２０１の視線の移動及びまたはオペレータ２０１の頭の動きに合わせて変更するカメラ視野変更手段１８０が備えられている。カメラ視野変更手段１８０は、カメラ１１に対してパーンとチルトの動作を行わせる機構である。オペレータ２０１の頭部には頭部の動きを検出するセンサが設けられ、オペレータ２０１の目の前方（ウエアラブルディスプレイ内）には、目の動きを検出するセンサが備えられ、このセンサにより検出されたデータは無人無索潜水機１００へ送られる。これらのセンサを含んで、図９ではモーションセンサ２２０Ａとしている。これによって、オペレータ２０１は目線を動かすことにより、及びまたは、顔を見たい方向へ向けるために頭を振ることにより、自動的にカメラ１１の視野が追従し、楽に水中の観察を行うことが可能となる。

指示入力手段２４０は、幾つかの操作桿やボタン等が設けられたリモコンボックスのように構成されたものとしたが、これに代えて、或いはこれと共に、音声入力手段と音声認識手段により、無人無索潜水機１００の潜水と走行に関する指示を入力するための指示入力手段２４０を構成しても良い。

１１カメラ１２マニピュレータ
１２Ａ、１２Ｂ、１２Ｃ機械関節３１触感センサ
８１推進器１００無人無索潜水機
１３０航行装置１３１慣性航法装置
１３２加速度計・水圧計等センサ１３３アクティブソナー
１３４姿勢制御装置１３５潜水・走行制御装置
１４０水環境モニタ装置１４１水温センサ
１４２水質センサ１５０保守装置
１５１マニピュレータ制御部１６０通信装置
１６１触感伝達体制御手段１８０カメラ視野変更手段
１８８表示トリガ手段２００センタ装置
２０１オペレータ２１０ウエアラブルディスプレイ
２１１表示制御手段２２０、２２０Ａモーションセンサ
２４０指示入力手段２５０通信装置
２６０触感伝達体２７０航行予定記録手段
３００通信中継器３１０電波通信部
３２０電波‐音波変換部３３０超音波通信部

Claims

カメラとマニピュレータとを備え、潜水と走行を行う航行装置が搭載された無人無索潜水機と、
前記カメラにより得られた画像をオペレータの眼前に表示する表示制御手段を備えるウエアラブルディスプレイと、
前記オペレータの腕、手、指の動きを検出し、前記マニピュレータの動作制御のために送るべきデータを収集するモーションセンサと、
を具備するセンタ装置と
を備える無人無索潜水機システムにおいて、
前記無人無索潜水機に備えられ、前記モーションセンサにより得られたデータに基づき前記マニピュレータを前記オペレータの腕、手、指の動きに追従させて動かすマニピュレータ制御手段と、
前記センタ装置と前記無人無索潜水機の間で無線通信を実行する無線通信システムと、
前記無人無索潜水機の潜水と走行に関する指示を入力するための幾つかの操作桿やボタンが設けられた指示入力手段と、
前記オペレータの手が所定位置にあることを検出した場合に、前記指示入力手段のイメージ及び前記オペレータの手に連動して動作する手のイメージを前記ウエアラブルディスプレイの画面に対し前記表示制御手段が表示するようにトリガを発生する表示トリガ手段と、を備え、
前記指示入力手段は、前記ウエアラブルディスプレイの画面に表示された指示入力手段のイメージに対する前記オペレータの手のイメージによる操作に対応して指示を入力することを特徴とする無人無索潜水機システム。
前記マニピュレータの先端に設けられ、硬軟の感覚を含む触感データを検出する触感センサと、
前記オペレータの手、指に設けられ、前記触感センサが検出した触感を再現して前記オペレータの手、指に伝達する触感伝達体と、
前記無人無索潜水機に備えられ、前記触感センサが検出した触感データに基づき前記触感伝達体を制御して触感を再現する触感伝達体制御手段と
を具備することを特徴とする請求項１に記載の無人無索潜水機システム。
前記センタ装置には、前記無人無索潜水機の潜水と走行に関する指示を入力するための指示入力手段が備えられていることを特徴とする請求項１または２に記載の無人無索潜水機システム。
前記指示入力手段は、音声入力手段と音声認識手段により構成されることを特徴とする請求項１乃至３のいずれか１項に記載の無人無索潜水機システム。
前記無人無索潜水機に備えられ、水温と水質とを少なくとも検出する水環境モニタを有し、
前記表示制御手段は、水質センサの検出データに対応する水質に関する表示を前記ウエアラブルディスプレイの画面に重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の無人無索潜水機システム。
前記センタ装置は、潜水と走行に関する航行予定情報を記録した航行予定記録手段を備え、この記録された情報に基づく航行指示を前記航行装置へ与えるモードを有することを特徴とする請求項１乃至５のいずれか１項に記載の無人無索潜水機システム。
前記カメラの視野をオペレータの視線の移動及びまたはオペレータの頭の動きに合わせ
て変更するカメラ視野変更手段が備えられていることを特徴とする請求項１乃至６のいずれか１項に記載の無人無索潜水機システム。