JP3809542B2 - 遠隔操作による施工システム - Google Patents

Description

この発明は、遠隔操作による施工システムに関し、特に、施工状況を直接視認することができない施工場所において施工するための遠隔操作による施工システムに関する。

従来、港湾等の海底において捨石均し等の水中土木作業を行う場合、水中バックホウ等の水中作業機械を用いることが知られている。海底の水中バックホウは、海面上の作業台船から動力が供給されると共に作動制御情報が送られて、例えば、作業台船に乗り込んだ操作者（オペレータ）の遠隔操作により駆動される。
この水中バックホウは、必要に応じ潜水士が直接乗り込んで操作することもできる。

水中バックホウの遠隔操作により水中作業を行う場合、操作者は、例えば、水中カメラ等で撮影した作業場所の画像を見て、作業状況を視覚により確認しつつ進める。これにより、操作者は、視覚により確認した作業状況に基づき、作業場所における水中バックホウの位置やグラブバケットの動きを、遠隔操作により任意に変化させながら、必要とする作業を行うことができる。

なお、水中作業開始前には、これから行う作業内容に合わせた作業予定場所の水中測量を行って、丁張りという目印を付ける作業が行われる。同様に、作業終了後には、作業が予定通りに行われたか否かを調べて作業の進捗状況を確認するために、超音波を用いた、或いはレッド（錘）や水中スタッフ（標尺）等を用いた水中測量により、完成検査が行われる。

このように、操作者が、例えば、作業台船から水中バックホウを遠隔操作して水中作業を行うことにより、潜水士が直接捨て石を移動したりして水中作業を行う場合に比べ、格段に効率良く、且つ、確実に水中作業を行うことができる。

しかしながら、水中バックホウを遠隔操作する操作者は、映し出された撮影画像を介して視覚により確認しながら作業を行うため、作業状況を映し出す水中カメラによる撮影画像が得られない場合、視覚による確認ができず、水中バックホウの遠隔操作による水中作業が不可能になってしまう。

水中では、濁りや土砂の巻上げ等により視覚が損なわれ易く、例えば、水中作業に伴い或いは気象条件等により水中に濁りが発生して透明度が落ちた場合、水中カメラにより水中作業状況を映し出すことができず、操作者は、視覚による状況確認ができなくなる。

これは、海底作業等の水中作業に限るものではなく、例えば、火山噴火現場で復旧作業を行う場合等においても、同様である。火山噴火現場では、溶岩流の熱気や噴煙に伴う降灰等を避けるため、設置したカメラによる撮影画像を見ながら、安全を確保した地点から操作者が作業機械を遠隔操作して作業を行うが、噴火に伴う粉塵や降灰等に遮られて撮影が不可能になると、視覚による確認ができなくなる。

この発明の目的は、水中バックホウを遠隔操作する操作者が、施工状況を目視や撮影像により直接視覚によって確認しなくても、水中バックホウを遠隔操作して施工することができる遠隔操作による施工システムを提供することである。

上記目的を達成するため、この発明に係る遠隔操作による施工システムは、水底の捨石を施工対象とした捨石均し又は水底を施工対象とした土工均しを行う水中バックホウの、バケットとアームの間に設けた接触センサから得られる、前記施工対象に対する前記バケットの接触情報と、前記水中バックホウの連結可動部に設けた変位検出センサから得られる、前記水中バックホウにおける変位検出情報とに基づき、前記バケットの接触位置の計測データを演算し取得した前記バケットの接触地点の形状の３次元位置座標情報が表示される、水上或いは陸上の操作者に視認可能に配置された表示装置と、前記表示装置に表示された前記３次元位置座標情報に基づく施工状況に応じて、前記操作者により入力操作され、前記水中バックホウの作動を指示する遠隔操作情報を出力するフォースフィードバックディスプレイとを有することを特徴としている。

上記構成を有することにより、水底の捨石を施工対象とした捨石均し又は水底を施工対象とした土工均しを行う水中バックホウの、バケットとアームの間に設けた接触センサから得た、施工対象に対するバケットの接触情報と、水中バックホウの連結可動部に設けた変位検出センサから得た、水中バックホウにおける変位検出情報とに基づいて、水上或いは陸上の操作者に視認可能に配置された表示装置に、バケットの接触位置の計測データを演算し取得したバケットの接触地点の形状の３次元位置座標が表示され、操作者の入力操作により、遠隔操作手段から、表示装置に表示された３次元位置座標情報に基づく施工状況に応じて、水中バックホウの作動を指示する遠隔操作情報が出力される。これにより、水中バックホウを遠隔操作する操作者が、施工状況を目視や撮影像により直接視覚によって確認しなくても、水中バックホウを遠隔操作して施工することができる。

この発明によれば、水底の捨石を施工対象とした捨石均し又は水底を施工対象とした土工均しを行う水中バックホウの、バケットとアームの間に設けた接触センサから得た、施工対象に対するバケットの接触情報と、水中バックホウの連結可動部に設けた変位検出センサから得た、水中バックホウにおける変位検出情報とに基づいて、水上或いは陸上の操作者に視認可能に配置された表示装置に、バケットの接触位置の計測データを演算し取得したバケットの接触地点の形状の３次元位置座標情報が表示され、操作者の入力操作により、フォースフィードバックディスプレイから、表示装置に表示された３次元位置座標情報に基づく施工状況に応じて、水中バックホウの作動を指示する遠隔操作情報が出力される。
これにより、濁った水中等、モニタカメラの使用が不可能な状況、即ち、視覚の得られない現場においても、３次元立体処理されたコンピュータグラフィックス画像を視覚によりリアルタイムに確認しながら、土木作業や建設作業を行うことができる。
また、施工に際し、丁張りと完了検査を同時に行うことができるため、施工前後の計測を個別に行う必要が無く、作業時間の短縮が可能である。
また、３次元立体処理されたコンピュータグラフィクス画像を視覚により確認すると同時に、フォースフィードバックディスプレイを介した触覚によって作業状況を随時確認することができるため、表示装置に表示された画像を見ながら、例えば、更に掘削を進めるとか、異形ブロックの移動方向を変更するとか、状況に応じて作業内容を決定することができる。

以下、この発明を実施するための最良の形態について図面を参照して説明する。
図１は、この発明の一実施の形態に係る遠隔操作による施工システムの概略構成を示すブロック図である。図１に示すように、遠隔操作による施工システム１０は、水中や地上で各種土木工事を行うための施工機械（施工手段）１１、施工機械１１との間で相互に情報のやり取りを行うコントロール部（制御手段）１２、及び施工機械１１とコントロール部１２の間で情報を伝達するケーブル（伝達手段）１３を有している。

施工機械１１は、有線或いは無線を用いた遠隔操作により作動を制御することができる、地上や水底での土木作業や建設作業等を行う各種作業機械である。従って、作業員や潜水夫等の操作者（オペレータ）Ｐが乗り込んで直接操作する必要がない。

この施工機械１１には、施工対象に接触した場合の負荷（反力）に基づく感触情報を出力する接触センサ１４が備えられている。接触センサ１４は、施工機械１１が施工対象に接触したことにより生ずる変化を検出することができ、施工対象との接触を感知することができる部位、例えば、バックホウのグラブバケット等、先端作用部に取り付けられている。

また、施工機械１１の各可動変位部分（例えば、バックホウのブーム、アーム、グラブバケット等）には、変位検出センサ１５が取り付けられている。これら各変位検出センサ１５の変位出力情報から、施工機械１１の現在姿勢を認識して、施工機械１１の現在位置を基に、先端作用部、即ち、接触センサ１４の位置座標を計算により取得する。

この変位検出センサ１５として、角度センサを用いることができ、角度センサにより得られた角度出力情報から、施工機械１１の現在姿勢を認識することができる。また、角度センサに代えて、ストロークセンサを用いても良い。各ストロークセンサのストローク出力情報から、角度センサと同様に、施工機械１１の現在姿勢を認識することができる。

コントロール部１２は、検出情報処理部１６、３次元画像形成部１７、感触出力形成部１８、及び制御情報出力部１９を有し、施工機械１１に対し遠隔配置されている。このコントロール部１２は、ケーブル１３を介して施工機械１１からの検出情報が入力するのに伴い、操作者Ｐへ施工状況を知らせる情報を出力し、操作者Ｐからの施工機械１１の作動を指示する遠隔操作情報の入力に伴い、ケーブル１３を介して施工機械１１へ制御情報を出力する。

検出情報処理部１６は、施工機械１１から入力した反力情報ａ及び位置情報ｂに必要な処理を施して、３次元画像形成部１７及び感触出力形成部１８に処理情報ｃを出力する。

３次元画像形成部１７は、検出情報処理部１６から入力した処理情報ｃに基づき、３次元立体化処理されたコンピュータグラフィクス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：ＣＧ）画像からなる、施工状況の仮想世界を表示するための３次元画像情報ｄを形成する。この３次元画像情報ｄの入力により、表示装置２０上には、施工状況が、３次元立体コンピュータグラフィクス画像からなる視覚情報として表示され、仮想現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）を得ることができる。

表示装置２０に表示される３次元立体コンピュータグラフィクス画像は、施工機械１１が施工対象物に接触した際の接触状況を、色により視覚的に表示することができる。例えば、負荷（反力）の作用の有無に応じて色を異ならせ、負荷の増加に比例して明度を変化させる。

感触出力形成部１８は、検出情報処理部１６から入力した処理情報ｃに基づき、施工機械１１の作動に伴って発生する施工機械１１の受ける変化を感触として表現するための感触情報ｅを形成する。この感触情報ｅは、相似型ディスプレイ情報としてフォースフィードバックディスプレイ（遠隔操作手段）２１に送られ、施工機械１１の作動に伴う感触情報として表現される。

フォースフィードバックディスプレイ２１は、対象物から受けた反力を入力レバーに手応えとして戻す装置であり、同時に、入力レバーを操作して対象物に対し各種操作情報を出力することができる。

制御情報出力部１９は、操作者Ｐがフォースフィードバックディスプレイ２１を操作することにより出力された、施工機械１１の作動を指示する遠隔操作情報の入力により、ケーブル１３を介して施工機械１１へ、作動指示情報に基づく制御情報ｆを出力する。

つまり、コントロール部１２は、伝達された接触情報に基づいて接触地点座標を取得し、表示装置２０に表示される３次元立体化処理されたコンピュータグラフィクス画像を形成する。接触センサ１４は、施工機械１１が施工対象に接触したことにより生ずる変化を検出し、この接触センサ１４からの接触情報に基づき感知された負荷を、視覚的変化を持たせて表示装置２０に表示する。また、施工機械１１に設けられた変位検出センサ１５からの変位検出情報に基づき、施工機械１１の接触位置の３次元座標を演算取得する。

従って、操作者Ｐは、コンピュータグラフィクス画像を見て、施工機械１１の作動に伴う施工状況の仮想現実感を得ることができ、施工状況を、表示装置２０からの視覚情報として、また、フォースフィードバックディスプレイ２１からの感触情報として、同時に感知することができる。

そして、操作者Ｐは、視覚情報及び感触情報に基づいてフォースフィードバックディスプレイ２１を操作することにより、施工現場を直接目視により確認しなくても、施工状況に応じた施工機械１１の操作制御情報を、ケーブル１３を介して施工機械１１に伝達し、施工機械１１を任意に遠隔操作することができる。

次に、港湾等の海底における捨石均し等の水中土木作業を、施工機械１１として水中バックホウを用い、海面上の支援台船上から遠隔操作により行う場合について説明する。

図２は、図１の遠隔操作による施工システムの水中バックホウを用いた具体例を示す説明図である。図２に示すように、港湾等の海底Ｇにおいて、水中バックホウ２２を遠隔操作することにより、捨石均し作業を行う。水中バックホウ２２は、各種情報を伝達するケーブル１３を介して、海面上の支援台船２３に繋がっている。

ケーブル１３は、油圧管、制御・通信線及びエア管等を一体化して形成されており、支援台船２３上に備えられた支援設備２４のホースリールによって、自由に巻き取り或いは巻き戻すことができる。

支援台船２３には、遠隔操作室２５が設けられており、遠隔操作室２５には、図示しないが、コントロール部１２と共に表示装置２０及びフォースフィードバックディスプレイ２１（図１参照）が設置されている。また、支援台船２３には、水中バックホウ２２を支援台船２３から吊り下げ或いは海底から吊り上げるためのクレーン設備（図示しない）が備えられている。

この支援台船２３の船体上面には、海底地形用のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナ２６及び台船位置用のＧＰＳアンテナ２７が設置されており、船底外面には、海底地形情報装置２８と共に複数のＳＢＬ（Ｓｈｏｒｔ Ｂａｓｅ Ｌｉｎｅ）受信器２９が設置されている。

水中バックホウ２２は、バックホウ本体３０に方位センサ３１ａと傾斜センサ３１ｂが取り付けられており、バックホウ本体３０とブーム３２ａ、ブーム３２ａとアーム３２ｂ、アーム３２ｂとグラブバケット３３の各連結部には、それぞれ角度センサ３４が取り付けられている。また、バックホウ本体３０の上面には、複数のＳＢＬ発信器３５が設置されている。

この角度センサ３４からの角度検出情報により、水中バックホウ２２の各関節部分における変位状況が検出され、水中バックホウ２２のブーム３２ａ、アーム３２ｂ、グラブバケット３３の現在姿勢を認識することができる。

グラブバケット３３には、接触センサ１４が備えられている。即ち、接触センサ１４は、グラブバケット３３により、例えば、海底にある異形ブロック等を移動しようとする場合、グラブバケット３３が異形ブロック等に接触したのを感知して感触情報を出力する。

この接触センサ１４の位置座標は、水中バックホウ２２のブーム３２ａ、アーム３２ｂ、グラブバケット３３の現在姿勢に基づく座標データから、計算により取得することができる。接触センサ１４は、例えば、グラブバケット３３の先端に取り付ける他、グラブバケット３３全体の動きを検出することができる、グラブバケット３３とアーム３２ｂの連結部に設けても良い。

図３は、図２の水中バックホウに取り付けられる接触センサの例を示し、（ａ）はロードセルを用いた場合の説明図、（ｂ）はリミットスイッチを用いた場合の説明図である。

図３に示すように、接触センサ１４として、耐荷重のレンジの比較的大きなロードセル３６を利用して、グラブバケット３３の回転軸３３ａ回りのモーメントを計測する。この場合、スプリング３３ｂを介することにより、荷重が直接ロードセル３６にかからない機構とする（（ａ）参照）。また、接触センサとして、リミットスイッチ３７を利用して、グラブバケット３３の回転軸３３ｃの微小な可動を検出する。このときの閾値は、スプリング３３ｄのバネ定数により変更することができる（（ｂ）参照）。

上述した、支援台船２３及び水中バックホウ２２に設けられた、接触センサ１４や変位検出センサ１５等の各種計測手段により、水中バックホウ２２の３次元位置、姿勢、及び海底地形等の各種情報を得ることができる。これらの情報は、支援台船２３の遠隔操作室２５に設置した表示装置２０（図１参照）にリアルタイムに表示され、操作者Ｐは、随時確認することができる。

次に、遠隔操作による施工システム（図１参照）を用いた施工方法を説明する。この遠隔操作による施工方法により、例えば、水中バックホウを用いた海底土工均し作業を行う。

先ず、土工均し作業現場に関する各種計測データを取得すると共に、土工均し作業実施による施工完了後の完成時状況に基づく施工計画データを作成する。

次に、作成した施工計画データに基づいて、水中バックホウ２２による海底土工均し作業を行う。作業に伴い、随時、作業現場の計測データが、水中バックホウ２２からケーブル１３を介して、支援台船２３に設けた遠隔操作室２５のコントロール部１２に送られる。コントロール部１２から、表示装置２０に視覚情報が、フォースフィードバックディスプレイ２１に感触情報が、それぞれ伝えられる。

表示装置２０には、随時、作業に伴う作業現場状況が表示され、作業現場の計測データは、作業に伴って得られる計測データとＧＰＳデータから取得された絶対位置データに基づいて更新される。この更新データにより、現在の作業現場状況が表示され、完了図データが記録される。

つまり、水中バックホウ２２のグラブバケット３３を支持するアーム３２ｂ及びブーム３２ａの連結可動部の動きに連動する変位検出情報から、水中バックホウ２２のグラブバケット３３先端座標を演算する。そして、水中バックホウ２２による作業中に、接触センサ１４に感知入力があれば、そのときのグラブバケット３３先端の座標を演算取得し、３次元立体処理されたコンピュータグラフィックス画像により接触ポイントを描画する。

この接触ポイントの数が多くなれば、グラブバケット３３の接触地点（地形や異形ブロック等）の形状を把握することができる。その地形形状と予め入力してある目的とする完成形状（例えば、高さ）とを比較し、差分を色分けすることで、掘り過ぎ部分や未整地部分を判断することができる。

従って、作業者Ｐは、表示装置２０からの視覚情報、及びフォースフィードバックディスプレイ２１からの感触情報により、水中バックホウ２２による海底土工均し作業の現在状況を、作業の進行に合わせて随時知ることができる。同時に、表示装置２０で確認した作業の進行状況に合わせて、フォースフィードバックディスプレイ２１を操作し、水中バックホウ２２の動きを調整することができる。

このように、水中バックホウ２２に取り付けた接触センサ１４によって、グラブバケット３３が感知した負荷（反力）に基づき、グラブバケット３３の接触地点座標を取得することにより、その座標を、表示装置２０に表示した３次元立体処理されたコンピュータグラフィックス画像により視覚化（触像）することができる。

この結果、遠隔操作される水中バックホウ２２による海底作業状況を、直接或いは水中カメラ等の映像を介した目視によって確認する必要が無く、３次元立体処理されたコンピュータグラフィクス画像を視覚情報としてリアルタイムに確認しながら作業することができる。従って、海中が濁ったりして視覚の得られない作業現場であっても作業が可能になる。

また、得られた更新データを施工計画データと比較することにより、施工実施前に行う丁張りのための計測と施工実施後に行う完了検査のための計測とを、水中バックホウ２２による海底土工均し作業と同時に、実施することができる。

このため、作業を開始する前の計測と作業結果を確認するための計測を別に行う必要が無く、測量−施工−測量（検査）の工程を同時に、即ち、１工程で行うことができ、作業時間の短縮が可能である。

また、３次元立体処理されたコンピュータグラフィクス画像を視覚により確認すると同時に、フォースフィードバックディスプレイ２１を介した感触によって作業の内容を判断することができる。従って、例えば、作業対象の海底地形を、現状のままとするか或いは掘削、均し、その他の作業により変形するかの判断を、表示装置２０に表示された画像を見ながら行うことができる。

次に、遠隔操作による施工システムに用いられる把持装置について説明する。

図４は、遠隔操作による施工システムに用いられる把持装置を示す説明図である。図４に示すように、把持装置３８は、水中バックホウ２２に離脱自在に装着され、捨石や異形ブロック等の把持対象（施工対象）３９を把持するための複数（図中、２本の場合を示す）のセンサ付き指（掴み部）４０を備えている。

この把持装置３８は、水中バックホウ２２に、陸上のバックホウと同様に各種アタッチメントとして取り付けられる。これにより、根固めブロックや捨石や被覆石の移動或いは敷設、破損した異形ブロックや被災した港湾構造物の解体・撤去作業等に活用することができる。

物体を把持する場合に重要なことは、把持対象物の重心位置の認識、把持の確認と、把持中における対象物の状態の監視である。重心位置から外れて物体を掴むと不安定であり、物体を落し易い。陸上の作業においては、こうした判断を目視で行うことができるため作業は難しいものではないが、水中では濁りや土砂の巻上げにより視覚が損なわれ易い。水中の透明度が５ｍ以下程度になると、ブームの先端が見えなくなり、把持の状況が確認できないため作業は困難になる。

また、水中バックホウを、ケーソンや作業台船上から遠隔操作することにより、視界不良時の水中作業や被災地の復旧等に使用することが可能になり、更に、地雷探索・撤去作業に使用することもできる。

そこで、水中施工機械やロボットの新たな遠隔操作手法として、拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）の観念を取り入れ、反力や触覚情報を拡張加工することで、乏しい視覚情報を補完することが考えられる。この拡張現実感では、複数の情報を人間がより理解し易いように加工、拡張するものであり、視覚を音に、力覚を視覚に変換する、或いは複数の情報を合成するといったことも含んでいる。
１．拡張現実感手法の適用
人間が暗闇で物体を掴む場合、手探りで物体を探し、このとき得た情報を頭の中でイメージ化して物体の形状を推測する。また、この形状イメ−ジと掴んだときの反力の感覚で重心位置等を推測し、安定して物体を持ち上げることができる。人間は、触覚と力覚及びそれらを元にしたイメージによって、視覚に頼らなくとも把持作業を確実に行うことができる。

そこで、このような人間の推測方法を応用することにより、視覚が乏しい場合の把持作業において、複数の情報を加工、拡張、組み合わせて利用し、欠落した視覚情報を補完する。つまり、反力の伝達、反力の視覚化、触像の視覚化の３方法を組み合わせて、視覚情報の補完を行う。
（反力の伝達）
把持装置が把持した感覚を操作者に伝達できるように、双方向（バイラテラル）制御を用いる。把持装置に、力覚センサや触覚センサを取り付け、これらのセンサで取得した力を操作装置に取り付けたモータで操作者の手に提示する。これにより、操縦者は、物体を掴んだときの反力を感じることができる。
（反力の視覚化）
把持装置に取り付けた力覚センサは、コンクリートブロック等を把持するため、数トン以上の非常に大きな力をうけるが、操作者にこの力を直接伝達することはできないため、力の縮小が必要になる。このとき、物体との接触のような比較的小さな力も縮小されるため、操作者は物体との接触を認識することができなくなる。そこで、モニタに描画する把持装置の色を作用力によって変化させることで、視覚的に反力を認識できるようにする。

提示すべき情報としては、把持装置各指の接触の有無と把持力、重力方向に作用する力である。各指が物体と接触してない場合は、指をグレー色で描画し、何らかの物体と接触し反力を受けた場合には、描画色を赤に変化させる。更に、反力が大きくなるに従い赤みを強くする。なお、色の種類は一例を示し、以下の説明においても同様である。

物体を掴み持ち上げた場合、各指の重力方向に作用する力を提示するブロックを各指につけて描画する。無負荷時には、指と同じくグレー色で描画し、重力方向下に力が作用したときには赤色、上に作用したときは緑色で描画する。この色も、力の大きさに比例して色味を変化させる。物体の重心位置を中心として把持できていない場合は、各指に作用する力の大きさや方向にばらつきを生じる。これにより、重力方向作用力提示部の色もばらつくため、操作者は、直感的に把持位置のずれを理解することが可能となる。
（触像の視覚化）
反力を伝達し視覚化することで、物体との接触等がある程度は理解できるが、実際に自分の手で触る場合とは違い、対象物のイメ−ジは作り難く不明瞭である。そこで、実際に、ロボットハンドが触った場所をコンピュータの画面上に描画することで像を作り、作業の助けとする触像の視覚化を行う。このとき作成された像を“触像体”（Ｈａｐｔｉｃ Ｉｍａｇｅ Ｏｂｊｅｃｔ）と呼ぶ。

触像体の作成方法としては、把持対象物を地面と区別し描画する頂点数を少なくできることから、ハンドが触った点を頂点として多面体を作成する方法を用いる。但し、現時点では、研究の初期段階でもあり、触像の視覚化の有効性検証に主眼を置くこと及びシミュレーション計算の負荷軽減から、触像体で表現する対象物の形状は凸多面体に限る。より複雑な形状の凹多面体は、凸多面体を組み合わせる等により表現可能であると考えられる。

図５は、触像の視覚化のプロセスを示す説明図である。図５に示すように、先ず、最初にハンドが対象物を把持したときに、核となる小さな三角形４面体を作成する（（ａ）参照）。次に、このとき接触した点を新たな頂点として４面体に追加し、最初の触像体ＨＩを構成する。この方法であれば、最初に接触した点が２点であっても、最初の触像体を作ることができる。

この頂点追加アルゴリズムに関して、触像体ＨＩがｎ個の頂点を持つ状態で説明する。

ｎ個の頂点を持つ触像体ＨＩの頂点リストＶｔを
Ｖｔ＝｛ｖｔ₁ ，ｖｔ₂ ，…，ｖｔ_n ｝ …（１）
ＨＩの平面リストＦｔを
Ｆｔ＝｛ｆｔ₁ ，ｆｔ₂ ，…，ｆｔ_2n-4｝ …（２）
とする。

解像体の作製は、以下の手順で行う。
１）ハンドが把持対象物に接触したとき（（ｂ）参照）、ＨＩのあるｋ番目の平面ｆｔ_k に属する１番目の頂点ｖｔ_j からｖｔ_n+1 へのベクトルａ_vtを引く（（ｃ）参照）。

ａ_vt＝ｖｔ_n+1 −ｖｔ_j …（３）
２）式（４）を用い、ａ_vtと平面の法線ｎ_fkの角が９０度未満ならｆｔ_k が可視であると判断する。

ｃｏｓ^-1｛（ａ_vt／｜ａ_vt｜）・ｎ_fk｝＜π／２ …（４）
３）全ての平面について可視・不可視を調べ（（ｄ）参照）、可視面と不可視面が隣接する辺から、可視境界凸包の頂点リストＶｔ_r を作る（（ｅ）参照）。
４）頂点リストＶｔ_r にＶｔ_n+1 を追加する。
５）可視面の内、隣接する平面が全て可視の場合、その平面に属する頂点は原点リストＶｔより消去する。可視面を平面リストＦｔより消去する。境界頂点リストＶｔ_r と新しい頂点Ｖｔ_n+1 から平面を作り、平面リストＦｔに追加する（（ｆ）参照）。

この作業を繰り返すことにより、解像体ＨＩが次第に把持対象物の形状に近づいてゆく。
２．把持作業シミュレーション
前述した拡張現実感手法を検証するために、把持作業シミュレーションのプログラムを製作した。コンピュ−夕を用いて仮想世界を作り、その中でコンピュータグラフィクス（ＣＧ）の３指把持装置を外部（実世界）の操作装置を用いて操作し、把持実験を行う。

シミュレ−ションは、リアルタイム物理シミュレーションである。物理的現象としては、物体の落下、物体の接触を再現できる。仮想世界の構成要素は、把持装置であるハンド、地面、把持対象物であり、地面は平面、把持対象物体は１個の凸多面体とする。シミュレーション画面は、俯瞰、上面、側面からの様子を提示し、俯瞰図は、ズームイン・アウトや視点の変更が可能である。
（システム構成）
実験装置は、操作装置と操作装置制御用コンピュータとシミュレーション計算用コンピュータからなり、これらをＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）回線で接続している。シミュレーション画像は、計算用コンピュータ側のモニタで表示する。操作装置制御用コンピュータからは、指先の位置情報とコマンドを送信する。シミュレーション用コンピュータは、シミュレータ内でハンドを位置制御し、その動作により得られた反力を送信する。このシステムは、位置指令力帰還型のマスタ・スレーブシステムとなっている。
（操作装置）
操作装置は、力覚提示型操作装置のハプティックマスタを利用している。ハプティックマスタは、３つのリンクユニットを持ち３次元位置の取得と各方向への反力生成を行うことができる。この３つのリンクの先端位置を、仮想空間内のハンドの指先位置に対応させ制御する。操作者は、３つのリンクに指を固定して操作を行う。仮想空間内のハンド（把持装置）が物を掴み反力を生じたとき、ハプティックマスタのモ−夕が動作して、反力を操作者に伝達することができる。
（ハンド）
ハンドの形状は、コンビュータの計算負荷の軽減から、３指と重力方向反力提示部の必要最小限の要素とした。３指の描画色は、無負荷時にはグレー色であるが、負荷が作用すると赤色になり、負荷の増加に比例して明度を強くする。これにより、指の物体との接触や把握力を、色で視覚的に提示することができる。重力方向反力提示部は、反力の重力方向成分のみを提示する。重力方向下向きに反力が作用した場合、描画色が赤色に変化し、上向きに反力が作用した場合、緑色に変化する。これら描画色の明度は、反力の大きさに比例する。これにより、把持対象物の傾き等の把持状態を、操作者が視覚により理解することが可能である。
（ハンドの姿勢計算）
ハプティックマスタを利用した操作装置では、３点の位置しか取得できない。従って、各指先の位置は決定されるがハンドの姿勢は定まらない。そこで、指先位置の３点から計算によりハンドの姿勢を求める。

図６は、ハンド姿勢の計算方法を示す説明図である。図６に示すように、先ず、指ｉ（ｉ＝１，２，３）の位置ベクトルクｐ_i から平面を構成し、法線ｎ_h を求める。

ａ＝ｐ₂ −ｐ₁ ，ｂ＝ｐ₃ −ｐ₁
ｎ_h ＝ａ×ｂ …（５）
また、この３点から、ハンド座標中心位置Ｃ_h を求める。

Ｃ_h ＝〔｛（ｐ₂ ＋ｐ₃ ）１／２｝＋ｐ₁ 〕１／２ …（６）
また、法線ｎ_h と中心位置から、ハンド座標となる姿勢マトリクスＲ_h を求める。ｘ_h ，ｙ_h ，ｚ_h をハンド座標単位ベクトルとすると、
Ｒ_h ＝［ｘ_h ，ｙ_h ，ｚ_h ］ …（７）
ｘ_h ＝ｒ／｜ｒ｜，ｚ_h ＝ｎ_h ／｜ｎ_h ｜，ｙ_h ＝ｘ_h ×ｚ_h
…（８）
但し、ｒ＝ｐ₁ −Ｃ_h である。

この座標中心位置Ｃ_h と姿勢マトリクスＲ_h をハンド描画時の基準とし、座標変換を行う。
（ハンドの運動方程式）
ハンドの指先は、操作装置の位置と直接対応するため、操作装置で取得した位置をそのまま仮想空間内で指先の位置とすることもできる。しかしながら、操作装置からの位置指令は、サンプリングタイムを要する離散的なものであり、仮想空間内では移動量等のスケールも拡大される。仮想空間内では、指先が瞬間的に大きく移動し、反力が急激に変化する。操作装置のノイズによる値のぶれにも反応してしまうため、安定して把持を行うことが困難となった。

そこで、計算負荷も考慮しつつ、指先だけに質点を設定し、並進運動だけを考えて運動方程式を立てる。また、指先の振動を抑制するため、粘性摩擦を作用させる。

図７は、指モデルの運動方程式を説明するブロック図である。図７に示すように、指ｉ（ｉ＝１，２，３）の質量をｍ_i 、位置ベクトルをｐ_i 、速度ベクトルをｐ_vi、加速度ベクトルをｐ_ai、外力をｆ_i 、駆動力をτ_i 、粘性抵抗係数をｃとすると
ｍ_i ｐ_ai＝ｆ_i ＋τ_i −ｃｐ_vi …（９）
となる。
（制御系の構成）
図８は、システム全体の制御系の構成を示すブロック図である。図８に示すように、ハンドの指は、ｘ，ｙ，ｚ方向に対して位置制御する。指ｉの目標位置をｐ_ri、比例制御ゲインをｋ_p とすると、
τ_i ＝ｋ_p （ｐ_ri−ｐ_i ） …（１０）
となる。

把持対象物を手探りで探索する際、ハンドが把持対象物に接触して把持対象物を移動させてしまい、対象物を見失ってしまう場合が生じた。そこで、探索時等には、モードセレクタで把持装置の出力切り替えを行う。探索モード時に、外力がある一定以上となった場合、式（１０）で求めた駆動力にリミツタを加えて出力を制限する。また、ハンドの出力を制限すると、操作者に伝達する反力が小さくなってしまうので、探索モード時には、反力の伝達係数を切り替え、操作者に物体との接触等の力が伝わるようにする。
（接触）
図９は、物体の粘弾性接触を示し、（ａ）は接触の説明図、（ｂ）は接触位置の修正の説明図である。図９に示すように、物体との接触は、粘弾性接触をシミュレートする。接触の計算は、頂点と平面で行う。対象とする頂点が、多面体の中に入ったらこれを判定する。接触が判定されたら、平面の法線方向に衝撃力を作用させる。

反力をＦ_r 、摩擦力をＦ_f 、衝撃力をＦ_c とすると、
定常接触時は、
Ｆ_r ＝Ｆ_n ＋Ｆ_f …（１１）
衝突時は、これに衝撃力を付加し、
Ｆ_r ＝Ｆ_n ＋Ｆ_f ＋Ｆ_c …（１２）
Ｆ_c ＝ｋ_c ｖ_d
を用いる。但し、
Ｆ_n ＝ｋ_f ｄ_v ＋ｋ_c ｖ_d …（１３）
ｄ_p ＝ｐ_vt−ｐ_c
ｄ_v ＝（ｎ_f ・ｄ_p）ｎ_f
ｖ_d ＝ｐ_vvt −ｐ_ac
ｖ_v ＝（ｎ_f ・ｄ_p）ｎ_f
である。ここで、ｖ_d ：相対速度、ｐ_c ：平面の衝突点、ｐ_vt：頂点、ｐ_vvt ，ｐ_ac：速度ベクトル、ｄ_v ：鉛直方向の移動ベクトル、ｄ_h ：水平方向の移動ベクトル、ｄ_p ：接触点からの移動ベクトル、ｎ_f ：平面の法線ベクトルとする。
（摩擦の計算）
摩擦力は、動摩擦と静止摩擦を作用させる。接触点が移動したとき、平面に平行に静止摩擦を作用させる。移動量がある値を超えたときに、動摩擦を作用させ、接触点の原点を変更する。

接点の原点からの移動ベクトルをｄ_h 、限界移動量ｄ_max とするとき、摩擦力Ｆ_f は、
｜ｄ_h ｜≦ｄ_max のとき静止摩擦係数をｋ_s とすると、
Ｆ_f ＝ｋ_s ｜Ｆ_r ｜ｄ_h ／ｄ_max …（１４）
ｄｖ＝（ｎ_f ・ｄ_p ）ｎ_f
ｄ_h ＝ｄ_p −ｄ_v
｜ｄ_h ｜＞ｄ_max のとき動摩擦係数をｋ_d とすると、
Ｆ_f ＝ｋ_d ｜Ｆ_r ｜ｕ_h …（１５）
ｕ_h ＝ｄ_h ／｜ｄ_h ｜
となる。

動摩擦のときは、移動前の接触原点ｐ_coから、接触原点ｐ_c を以下のように更新する。

ｐ_c ＝ｐ_vt −ｄ_max ｕ_h …（１６）
これにより、常に一定の動摩擦力が接触点に作用する。
（触像体構成の条件）
ハンドは、仮想世界において、把持対象物以外の地面にも接触する。地面に接触した場合は、触像体を作ると対象物の形が不明確になってしまう。そこで、ハンドが物体を“把持”したことを判定し、このときだけ触像体を構成することとする。

また、物体に触りながらハンドが移動するときは、常に接触していると判定される。そのままでは、連続して触像体の頂点が追加されるため、プログラムの実行速度が遅くなってしまう。“把持”の判定と共に、“解放”の判定も行い、新たに把持されたときだけ触像体の構成が行われるようにする。これらの判定条件は、以下のようになる。

条件１：操作者の親指に相当する指３とそれ以外の指１，２の両方、若しくはどちらか一方が物体と接触したときに“把持”とする。

条件２：条件１が満足されないとき、“解放”とする。
３．把持作業シミュレーション実験
（実験方法）
前述したシミュレーション環境で、被験者により把持作業実験を行い、視覚を得られない場合に拡張現実感手法を用いた把持システムが有効であることを確認する。把持作業は、物体を掴んで持ち上げるところまでとする。把持対象物体は、コンクリートブロックを想定した四角柱で、重さは約４５００ｋｇである。把持対象物が見える場合と見えない場合について、操作者に提示する情報を変え、被験者１０人に対し実験を行った。
（評価方法）
把持システムの評価は以下に示す項目で行う
１）成功率：物体を持ち上げると２点、把持のみ１点、失敗０点とし、３回の試行の合計点を最高点６点で割り、作業の成功率とする。
２）傾斜角度：把持が成功したとき（１点以上）のブロックのｙ軸と水平面の傾斜角度の平均値。
３）位置偏差：把持が成功したときのｘ−ｙ平面上のブロック重心位置とハンド中心位置の距離の平均値。
４）作業時間：把持が成功したときに要した時間の平均。

上記の項目を被験者毎に出すと共に、被験者全員の平均値を出し、把持システムの評価とする。
（実験結果）
把持作業実験の成功率は、視覚が伴う実験では非常に高い値となっている。把持対象物が見えない条件で反力の視覚化や提示だけを行う実験では、非常に低い成功率である。不可視の場合でも、触像体を用いる実験では、成功率が高く、可視の場合と比較しても遜色がない。触像体に関しては、被験者全員が作成できた。

図１０は、触像体の視覚化の例を示し、（ａ）は触像体が作成されてゆく様子を示す説明図、（ｂ）は作成された触像体の説明図である。図１０（ａ）に示すように、左上から右上、更に左下から右下へと、ハンド４１の動きと共に、徐々に形状が作成されてゆき、触像体４２が完成する。完成した触像体４２が表示される表示画面には、把持状態確認用の把持対象物４３も一緒に表示される（（ｂ）参照）。

このように、把持装置に力センサを取り付けて、反力の有無により把持対象物との接触を検出すると共に、コンピュータグラフィクスで描画した把持装置の描画色を、反力の大きさにより変化させることで、直感的に反力を理解することができるようにする。

また、把持装置が受けた反力を、操縦者に操作装置を介して伝達することにより、操縦者に把持の感覚を理解させ、指や爪の掴み部に作用する反力のばらつきから、把持対象物の傾き（重心位置のずれ）の検出を可能にする。

更に、把持装置の関節部に取り付けた角度センサから角度情報を取得し、把持装置が接触した部分の３次元位置を計算し、把持装置が把持対象物と接触した座標を基にして、コンピュータグラフィクスで接触した点を頂点とする立体を描画することにより、把持対象物の形状を明らかにする。

従って、濁り等によってＴＶカメラや目視で把持状況を確認することは困難な水中で、把持装置の掴み部（爪や指）と把持対象物の接触を検出し、検出結果を操縦者に伝達することができる。これにより、手探りによる感覚（触覚）や反力で対象物を把持することができたか、重心位置とずれていないかを確認することができる。

また、把持装置から得られた反力を、コンピュータグラフィクスで色の変化として表し、反力を視覚的に理解できるようにする、即ち、触覚により得られた把持対象物の形状イメージである触像を、コンピュータグラフィクスで視覚化することにより、操縦者は、把持対象物の形状や重心位置を確認することができる。

この結果、水中バックホウ２２のアタッチメントとして把持装置を取り付ければ、把持装置を遠隔操作して、捨て石の移動や異形ブロックの撤去・移動や構造物の解体作業等に使用することができる。また、把持装置をクレーンにより吊り下げることで、大型の構造物や異形ブロックの撤去・据え付けに使用することができる。

このように、この発明によれば、遠隔操作による施工システム１０は、施工対象との接触情報を検出する接触センサ１４が設けられた施工機械１１と、施工機械１１に対し遠隔配置され、検出した接触情報に基づき、表示装置２０に表示される３次元立体化処理されたコンピュータグラフィクス画像を形成するコントロール部１２と、接触情報を施工機械１１からコントロール部１２へ伝達する伝達手段と、コンピュータグラフィクス画像を見て、施工状況の仮想現実感を得ることにより、施工状況に応じた操作制御情報を、伝達手段を介して施工機械１１に伝達し、施工機械１１を遠隔操作する遠隔操作手段とを有する。

これにより、濁った水中や火山の噴煙の中等、モニタカメラの使用が不可能な状況、即ち、視覚の得られない現場においても、３次元立体処理されたコンピュータグラフィックス画像を視覚によりリアルタイムに確認しながら、土木作業や建設作業を行うことができる。

また、施工に際し、丁張りと完了検査を同時に行うことができるため、施工前後の計測を個別に行う必要が無く、作業時間の短縮が可能である。

また、３次元立体処理されたコンピュータグラフィクス画像を視覚により確認すると同時に、フォースフィードバックディスプレイ２１を介した触覚によって作業状況を随時確認することができるため、表示装置２０に表示された画像を見ながら、例えば、更に掘削を進めるとか、異形ブロックの移動方向を変更するとか、状況に応じて作業内容を決定することができる。

なお、上記実施の形態において、施工機械１１とコントロール部１２の間で情報を伝達する伝達手段は、ケーブル１３等の有線に限るものではなく、音波等を用いた無線でも良い。また、遠隔操作される施工機械１１は、バックホウに限るものではなくブルドーザ等の各種土木建設機械でも良く、水中においても同様に、水中での使用が可能な他の土木建設機械でも良い。

以上説明したように、この発明によれば、水底の捨石を施工対象とした捨石均し又は水底を施工対象とした土工均しを行う水中バックホウの、バケットとアームの間に設けた接触センサから得た、施工対象に対するバケットの接触情報と、水中バックホウの連結可動部に設けた変位検出センサから得た、水中バックホウにおける変位検出情報とに基づいて、水上或いは陸上の操作者に視認可能に配置された表示装置に、バケットの接触位置の計測データを演算し取得したバケットの接触地点の形状の３次元位置座標情報が表示され、操作者の入力操作により、フォースフィードバックディスプレイから、表示装置に表示された３次元位置座標情報に基づく施工状況に応じて、水中バックホウの作動を指示する遠隔操作情報が出力されるので、水中バックホウを遠隔操作する操作者が、施工状況を目視や撮影像により直接視覚によって確認しなくても、水中バックホウを遠隔操作して施工することができる。

この発明の一実施の形態に係る遠隔操作による施工システムの概略構成を示すブロック図である。 図１の遠隔操作による施工システムの水中バックホウを用いた具体例を示す説明図である。 図２の水中バックホウに取り付けられる接触センサの例を示し、（ａ）はロードセルを用いた場合の説明図、（ｂ）はリミットスイッチを用いた場合の説明図である。 遠隔操作による施工システムに用いられる把持装置を示す説明図である。 触像の視覚化のプロセスを示す説明図である。 ハンド姿勢の計算方法を示す説明図である。 指モデルの運動方程式を説明するブロック図である。 システム全体の制御系の構成を示すブロック図である。 物体の粘弾性接触を示し、（ａ）は接触の説明図、（ｂ）は接触位置の修正の説明図である。 触像体の視覚化の例を示し、（ａ）は触像体が作成されてゆく様子を示す説明図、（ｂ）は作成された触像体の説明図である。

符号の説明

１０ 遠隔操作による施工システム
１１ 施工機械
１２ コントロール部
１３ ケーブル
１４ 接触センサ
１５ 変位検出センサ
１６ 検出情報処理部
１７ ３次元画像形成部
１８ 感触出力形成部
１９ 制御情報出力部
２０ 表示装置
２１ フォースフィードバックディスプレイ
２２ 水中バックホウ
２３ 支援台船
２４ 支援設備
２５ 遠隔操作室
２６，２７ ＧＰＳアンテナ
２８ 海底地形情報装置
２９ ＳＢＬ受信器
３０ バックホウ本体
３１ａ 方位センサ
３１ｂ 傾斜センサ
３２ａ ブーム
３２ｂ アーム
３３ グラブバケット
３３ａ 回転軸
３３ｂ スプリング
３３ｃ 回転軸
３３ｄ スプリング
３４ 角度センサ
３５ ＳＢＬ発信器
３６ ロードセル
３７ リミットスイッチ
３８ 把持装置
３９ 把持対象
４０ センサ付き指
４１ ハンド
４２ 触像体
４３ 把持対象物
Ｇ 海底
Ｐ 操作者
ａ 反力情報
ｂ 位置情報
ｃ 処理情報
ｄ ３次元画像情報
ｅ 感触情報
ｆ 制御情報

Claims (2)

1. 水底の捨石を施工対象とした捨石均し又は水底を施工対象とした土工均しを行う水中バックホウの、バケットとアームの間に設けた接触センサから得られる、前記施工対象に対する前記バケットの接触情報と、前記水中バックホウの連結可動部に設けた変位検出センサから得られる、前記水中バックホウにおける変位検出情報とに基づき、前記バケットの接触位置の計測データを演算し取得した前記バケットの接触地点の形状の３次元位置座標情報が表示される、水上或いは陸上の操作者に視認可能に配置された表示装置と、
   前記表示装置に表示された前記３次元位置座標情報に基づく施工状況に応じて、前記操作者により入力操作され、前記水中バックホウの作動を指示する遠隔操作情報を出力するフォースフィードバックディスプレイと
   を有することを特徴とする遠隔操作による施工システム。
2. 前記表示装置は、予め入力された施工目標となる施工計画データに基づく完成形状と、前記バケットの接触地点の形状とを比較して得られた差分を、色分け表示する機能を有することを特徴とする請求項１に記載の遠隔操作による施工システム。

Images