JP7841786B2

JP7841786B2 - 視覚とｉｍｕとの融合に基づく海洋機器の水中損傷の３次元再構成方法

Info

Publication number: JP7841786B2
Application number: JP2025512740A
Authority: JP
Inventors: 振民王; 鵬遅; 海鵬廖; 済語田; ▲チン▼ 張
Original assignee: 華南理工大学
Priority date: 2022-08-31
Filing date: 2023-08-30
Publication date: 2026-04-07
Anticipated expiration: 2043-08-30
Also published as: JP2025534947A; WO2024046390A1; CN115471570A; CN115471570B

Description

本発明は、水中３次元再構成の技術分野に関し、具体的には、視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法に関する。

船舶、海上石油・ガスプラットフォーム、海上風力発電設備などの海洋機器は、長期間にわたり巨大な波、湿潤な環境、海水の腐食、衝突などの不利な要因の影響を受け、構造的な損傷が発生しやすい。従来の方法では、修理のために帰港したり、手作業で水中検査したりする必要があり、多大な時間や経済的コストがかかるとともに、多くの安全上のリスクも生じる。水中移動プラットフォームを使用して損傷の測位を行うことにより、上記問題をうまく解決することができる。水中移動プラットフォームの自律測位及び３次元再構成技術により、明確かつ正確な水中損傷モデルを確立して、自律修復システムと合わせて上記の修理作業を完了することができる。

現在、一般的に使用されている水中測位システムには、水中音響測位システム及び水中ＳＬＡＭ手法がある。水中音響測位システムには、超短基線測位、短基線測位、長基線測位が含まれており、機器が高価で、設置が困難である。一般的なＳＬＡＭ手法には、ソナーによる手法とカメラによる手法とが含まれており、ソナー機器は、高価であり、音響手法なので解像度が低いため、深海測位に適しているが、カメラによる手法は、水中の光屈折を克服する必要があり、光線に対して敏感であるため、特徴点が不明瞭である場合に、測位失敗という問題が発生しやすい。

従来のカメラを用いた３次元再構成システムには、カメラ歪み補正と３次元再構成の２つの手順がある。カメラ歪み補正には、単一視点モデルに基づく方法と、キャリブレーションボード又は補助ハードウェアに基づく方法とが含まれる。単一視点モデルに基づく方法では、透視モデルのみが考慮され、水中の屈折モデルが考慮されていないため、精度が低くなる。キャリブレーションボード及び補助ハードウェアに基づく方法では、水中の屈折モデルが考慮されているため、精度が高くなる。３次元再構成は、主にカメラパラメータに基づいて３次元点群を直接又は間接的に取得することにより、測位データによって３次元点群の重ね合わせを行うが、上述したようにカメラのみを用いた水中測位の精度が低いため、３次元再構成の精度も低下する。

従来技術の欠点及び不足を克服するために、本発明の目的は、視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法を提供することにある。この方法は、損傷領域の高精度な３次元再構成結果を提供し、他の機器による自律修復を支援し、海洋機器の作業効率を向上させることができる。

上記目的を達成するために、本発明は、下記技術的手段により実現される。視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法は、水中損傷の３次元再構成システムによって実現され、前記水中損傷の３次元再構成システムは、水中移動プラットフォームと、ホストコンピュータとを備え、水中移動プラットフォームは、水中移動プラットフォーム本体と、水中移動プラットフォーム本体に搭載されたステレオカメラ、プラットフォーム用ＩＭＵ、レーザセンサ、レーザ駆動システム、通信システム及び排水システムとを備え、レーザ駆動システムの各軸に駆動用ＩＭＵがそれぞれ設けられており、通信システムが水中移動プラットフォームとホストコンピュータとの間の通信に用いられ、
海洋機器の水中損傷の３次元再構成方法は、
Ｓ１、ステレオカメラ及びプラットフォーム用ＩＭＵをそれぞれ水中移動プラットフォームに固定し、水中環境において、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、
Ｓ２、レーザセンサを駆動システムの先端に固定し、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系の外部パラメータ行列をキャリブレーションするステップと、
Ｓ３、ステレオカメラ画像データ及びプラットフォーム用ＩＭＵデータを収集し、プラットフォーム用ＩＭＵデータ中の加速度データ及び角速度データを積分して、プラットフォーム用ＩＭＵ座標系における位置及び姿勢観測を取得し、ステレオカメラ画像データに対応するフレームに対して、ステレオカメラ座標系における位置姿勢観測、損傷検出及び３次元点群生成をそれぞれ行い、位置姿勢観測結果を融合し、連続した３次元点群を重ね合わせて、水中３次元再構成点群を取得し、損傷検出結果の検証に使用し、位置姿勢観測及び損傷検出結果に基づいて、水中移動プラットフォームの最適な経路を計画し、３次元再構成点群に基づいて局所的な障害物回避を行い、水中移動プラットフォームを損傷領域の近傍に移動するように制御するステップと、
Ｓ４、排水システムの軌跡を計画し、排水システムにより損傷領域の排水を行い、Ｓ２で得られた外部パラメータ行列に基づき、駆動用ＩＭＵデータを用いてレーザセンサのレーザ位置を決定することにより、損傷領域の精細なレーザセンサデータの３次元再構成を実現するステップと、を含むことを特徴とする。

好ましくは、前記Ｓ１は、
Ｓ１１、ステレオカメラを水中移動プラットフォーム本体の前端に固定し、視覚方向を斜め下向きに１０°～３０°の間にし、プラットフォーム用ＩＭＵを水中移動プラットフォームの質量中心位置に相当する水中移動プラットフォーム本体の中部に固定するステップと、
Ｓ１２、キャリブレーションボード及び水中移動プラットフォームを同時に水中に配置し、キャリブレーションボードがステレオカメラの左右カメラの視野に同時に現れるようにし、
キャリブレーションボードがステレオカメラの左右カメラの視野の各位置に分布するように、水中移動プラットフォームを移動させ、複数組のステレオカメラ画像データを記録し、通信システムにより複数組のステレオカメラ画像データをホストコンピュータに送信し、ホストコンピュータにより、関連するキャリブレーション計算、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、を含む。

好ましくは、前記Ｓ１２では、
ステレオカメラの左右カメラの内部パラメータキャリブレーションは、
（式中、ｌは左カメラを表し、ｒは右カメラを表し、Ｋ_ｌ，Ｋ_ｒはそれぞれ左右カメラの内部パラメータ行列を表し、ｆ_ｘｌ，ｆ_ｙｌ，ｆ_ｘｒ，ｆ_ｙｒはそれぞれ左右カメラのｘ軸方向及びｙ軸方向における焦点距離の長さをピクセル単位で表し、（ｕ_０ｌ，ｖ_ｏｌ），（ｕ_０ｒ，ｖ_０ｒ）はそれぞれ左右カメラの画像平面座標系における主点の実際のピクセル座標を表す）であり、
ステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションは、
プラットフォーム用ＩＭＵ座標系を世界座標系とすると、ステレオカメラの左右カメラの画像点からプラットフォーム用ＩＭＵ座標系への変換関係が、
（式中、
はそれぞれ左右カメラ座標系における２次元座標であり、
はプラットフォーム用ＩＭＵ座標系における３次元座標であり、Ｒ_ｌｒ，Ｒ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への３＊３の回転行列であり、Ｔ_ｌｒ，Ｔ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への１＊３の並進ベクトルである）である。

好ましくは、前記Ｓ２では、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系とを位置合わせすることは、
ステレオカメラ、排水システム及びレーザ駆動システムの位置関係に基づいて、水中移動プラットフォーム質量中心座標系から排水システム座標系への変換関係、排水システム座標系とレーザ駆動システム座標系との変換関係を取得し、
レーザセンサのレーザポイントをパラメータが既知のキャリブレーションボードを移動するように制御し、通信システムによりレーザセンサと駆動用ＩＭＵを接続してデータを取得し、ホストコンピュータに送信し、ホストコンピュータによりキャリブレーション計算を行い、レーザ駆動システム座標系とレーザセンサ座標系との変換関係を取得し、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする。

好ましくは、レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする方法は、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心のいずれか２つの座標系の回転行列及び並進ベクトルを含む外部パラメータ行列をキャリブレーションする。
（式中、Ａ及びＢはそれぞれ２つの座標系を表し、Ｘは４＊４の外部パラメータ行列を表し、Ｒは３＊３の回転行列を表し、Ｔは１＊３の並進ベクトルを表す）

好ましくは、前記Ｓ３では、プラットフォーム用ＩＭＵ座標系における姿勢観測は、
プラットフォーム用ＩＭＵデータを時刻ｋから時刻ｋ＋１まで積分して得られた速度Ｖ、並進ベクトルＴ、及び回転行列Ｒがそれぞれ
（式中、Ｖ_ｋ，Ｖ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における速度であり、ａは加速度であり、Δｔは時間間隔であり、Ｔ_ｋ，Ｔ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における並進ベクトルであり、Ｒ_ｋ，Ｒ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における回転行列であり、ωは角速度であり、
はクロネッカー積である）で表される。

好ましくは、前記Ｓ３では、ステレオカメラ座標系における姿勢観測は、
ステレオカメラ画像データに対して特徴点抽出を行い、特徴点を中心として円領域を構成し、
θ＝ａｒｃｔａｎ（ｍ_０１／ｍ_１０）
［式中、Ｃは円領域の質量中心を表し、θは特徴点の方向ベクトルを表し、ｍ_ｐｑは円領域のモーメントを表し、
（式中、Ｒは円領域の半径を表し、ｘ，ｙはｘ軸座標、ｙ軸座標を表し、Ｉ（ｘ，ｙ）はグレースケール方程式を表す）で定義される］
連続した複数フレームのステレオカメラ画像データの特徴点を抽出してマッチングすることにより、マッチングされた画素点を用いてＰｎＰ問題を設定し、ステレオカメラの回転行列Ｒ及び並進ベクトルＴを得る。

好ましくは、前記Ｓ３では、ステレオカメラ座標系における３次元点群生成は、
同一フレームのステレオカメラの左右カメラ画像に対して上記特徴点を抽出してマッチングし、グレースケール二乗和誤差アルゴリズムに基づいて視差計算を行い、
（式中、ｘ，ｙ，ｄはそれぞれｘ軸座標、ｙ軸座標、視差であり、ｉ，ｊはそれぞれｘ軸方向及びｙ軸方向の変化値であり、ｍ，ｎはそれぞれｘ軸方向及びｙ軸方向の最大値であり、Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ）はグレースケール方程式を表す）
視差及び元の座標により３次元点群データを生成し、３次元座標が、
［式中、ｘ_ｌ，ｘ_ｒはそれぞれ左右カメラに対応する横座標値であり、ｙ_ｌ，ｙ_ｒはそれぞれ左右カメラの縦座標値であり、ｆ_ｘ，ｆ_ｙはそれぞれ左右カメラの内部パラメータの対応する焦点距離であり、Ｘ，Ｙ，Ｚはそれぞれ３次元座標であり、Ｄは深度値であり、下記式：
Ｄ＝Ｂｆ／ｄ
（式中、Ｂは基線長であり、ｆはカメラの焦点距離であり、ｄは左右画像の視差である）で算出される］で表される。

好ましくは、前記Ｓ４は、損傷領域の位置に基づいて、排水システムが損傷領域を被覆して排水して乾燥空間を形成するように、水中移動プラットフォームの移動軌跡を計画し、レーザ駆動システムを使用して、レーザセンサを乾燥空間で３次元走査を行うように制御し、レーザセンサデータと駆動用ＩＭＵデータとを通信システムを介してホストコンピュータに送信し、ホストコンピュータは、Ｓ２で得られた外部パラメータ行列に基づいて、駆動用ＩＭＵデータを用いてレーザ駆動システムの姿勢を取得し、変換してレーザセンサの位置を取得し、レーザセンサの位置及び点群データに基づいて、精細なレーザセンサデータの３次元再構成を得、３次元再構成結果に基づいて損傷位置を検出する。

好ましくは、前記Ｓ４では、レーザセンサデータの３次元再構成は、
レーザセンサは、固定周波数でレーザパルスを発射し、受信器により戻ってきた反射光を受光して距離を判断するとともに、反射強度に基づいて対象材質を大まかに区別し、距離測定式が、
Ｌ＝ｔｃ／２
（式中、Ｌは目標距離であり、ｔは戻り時間であり、ｃは光速である）であり、
駆動用ＩＭＵを使用してレーザセンサの位置姿勢予測を行い、回転行列Ｒ及び並進ベクトルＴに基づいてレーザセンサの３次元再構成結果を得る。

本発明は、従来技術に比べて、以下の利点及び有益な効果を有する。
１、本発明は、海洋機器の水中損傷の検出及び３次元再構成を自律的に行うことができるため、人件費や経済的コストを削減するとともに、安全性を向上させる。
２、本発明は、視覚とＩＭＵとの融合により、測位精度及び水中３次元再構成精度を向上させ、画像及び点群の融合検証に基づく損傷検出方法により、水中海洋機器の損傷位置をより正確に測位することができる。
３、本発明は、損傷領域の近傍の水を正確に排水することができるため、高精度なレーザによる３次元再構成及び損傷識別を実現し、他の自律修復機器にも利便性を提供する。

本発明に係る視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法のフローチャートである。本発明に係る水中損傷の３次元再構成システムの構造概略図である。本発明に係る視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法の通信を示す図である。本発明に係る視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法における座標系変換を示す図である。

以下、図面を参照して具体的な実施形態により本発明を詳細に説明する。

（実施例）
本実施例に係る視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法は、具体的なプロセスが図１に示されており、水中損傷の３次元再構成システムによって実現される。

水中損傷の３次元再構成システムは、水中移動プラットフォームと、ホストコンピュータとを備え、図２に示すように、水中移動プラットフォームは、水中移動プラットフォーム本体１と、水中移動プラットフォーム本体１に搭載されたステレオカメラ４、プラットフォーム用ＩＭＵ６、レーザセンサ５、レーザ駆動システム３、通信システム及び排水システム２とを備える。

レーザ駆動システム３の各軸に駆動用ＩＭＵがそれぞれ設けられており、通信システムが水中移動プラットフォームとホストコンピュータとの間の通信に用いられる。具体的には、通信システムは、水中移動プラットフォーム本体の中部に固定され、ステレオカメラ画像データ及びＩＭＵデータを収集してホストコンピュータに送信するとともに、水中移動プラットフォームを駆動するようにホストコンピュータの関連制御指令を受信するために使用される。

海洋機器の水中損傷の３次元再構成方法は、以下のステップＳ１～Ｓ４を含む。

Ｓ１：ステレオカメラ及びプラットフォーム用ＩＭＵをそれぞれ水中移動プラットフォームに固定し、水中環境において、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行う。

Ｓ１は、
Ｓ１１、ステレオカメラを水中移動プラットフォーム本体の前端に固定し、視覚方向を斜め下向きに１０°～３０°の間にし、プラットフォーム用ＩＭＵを水中移動プラットフォームの質量中心位置に相当する水中移動プラットフォーム本体の中部に固定するステップと、
Ｓ１２、キャリブレーションボード及び水中移動プラットフォームを同時に水中に配置し、キャリブレーションボードがステレオカメラの左右カメラの視野に同時に現れるようにし、ステレオカメラの視野にキャリブレーションボードが同時に完全に含まれることを確認しながら、駆動用ＩＭＵ３軸とのキャリブレーションを確保するように、各方向で可能な限り回転させ、このステップにおけるデータ記録時間は長くする必要がなく、ステレオカメラは１５フレーム／秒以上で、駆動用ＩＭＵは１００フレーム／秒以上であり、
キャリブレーションボードがステレオカメラの左右カメラの視野の各位置に分布するように、水中移動プラットフォームを移動させ、複数組のステレオカメラ画像データを記録し、通信システムにより複数組のステレオカメラ画像データをホストコンピュータに送信し、ホストコンピュータにより、関連するキャリブレーション計算、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、を含む。

Ｓ１２では、ステレオカメラの左右カメラの内部パラメータキャリブレーションは、
（式中、ｌは左カメラを表し、ｒは右カメラを表し、Ｋ_ｌ，Ｋ_ｒはそれぞれ左右カメラの内部パラメータ行列を表し、ｆ_ｘｌ，ｆ_ｙｌ，ｆ_ｘｒ，ｆ_ｙｒはそれぞれ左右カメラのｘ軸方向及びｙ軸方向における焦点距離の長さをピクセル単位で表し、（ｕ_０ｌ，ｖ_ｏｌ），（ｕ_０ｒ，ｖ_０ｒ）はそれぞれ左右カメラの画像平面座標系における主点の実際のピクセル座標を表す）であり、
ステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションは、
プラットフォーム用ＩＭＵ座標系を世界座標系とすると、ステレオカメラの左右カメラの画像点からプラットフォーム用ＩＭＵ座標系への変換関係が、
（式中、
はそれぞれ左右カメラ座標系における２次元座標であり、
はプラットフォーム用ＩＭＵ座標系における３次元座標であり、Ｒ_ｌｒ，Ｒ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への３＊３の回転行列であり、Ｔ_ｌｒ，Ｔ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への１＊３の並進ベクトルである）である。

Ｓ２：レーザセンサを駆動システムの先端に固定し、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系の外部パラメータ行列をキャリブレーションする。

具体的には、図４に示すように、ステレオカメラ、排水システム及びレーザ駆動システムの位置関係に基づいて、水中移動プラットフォーム質量中心座標系から排水システム座標系への変換関係、排水システム座標系とレーザ駆動システム座標系との変換関係を取得し、
レーザセンサのレーザポイントをパラメータが既知のキャリブレーションボードを移動するように制御し、通信システムによりレーザセンサと駆動用ＩＭＵを接続してデータを取得し、ホストコンピュータに送信し、ホストコンピュータによりキャリブレーション計算を行い、レーザ駆動システム座標系とレーザセンサ座標系との変換関係を取得し、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする。オフラインキャリブレーションが完了すると、図４におけるすべての座標系の変換関係が既知となっている。

レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする方法は、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心のいずれか２つの座標系の回転行列及び並進ベクトルを含む外部パラメータ行列をキャリブレーションする。
（式中、Ａ及びＢはそれぞれ２つの座標系を表し、Ｘは４＊４の外部パラメータ行列を表し、Ｒは３＊３の回転行列を表し、Ｔは１＊３の並進ベクトルを表す）

Ｓ３：ステレオカメラ画像データ及びプラットフォーム用ＩＭＵデータをホストコンピュータにより収集し、前の内部パラメータキャリブレーション結果及び外部パラメータキャリブレーション結果を読み取り、次に、プラットフォーム用ＩＭＵデータ及びステレオカメラ画像データを融合して、左カメラ座標系における測位結果を得、ステレオカメラの検出原理に基づいて、左カメラ座標系において損傷情報を検出して現在フレーム画像の３次元点群を生成し、測位結果及び３次元点群情報を融合してフレーム毎の点群をフィルタリングして重ね合わせ、連続した３次元再構成結果を生成し、３次元再構成の点群に基づいてステレオカメラで検出された損傷位置を検証し、次に、左カメラ座標系における測位結果及び損傷領域の位置に基づいて、水中移動プラットフォームの全体移動経路を計画し、水中移動プラットフォーム質量中心座標系に変換し、通信バスを介して水中移動プラットフォームの通信システムに制御信号を送信し、水中移動プラットフォームが移動する際に、水中移動プラットフォームが損傷領域の近傍に移動するまで、リアルタイムの３次元再構成結果により保存された３次元情報に基づいて局所的な障害物回避を行う。

プラットフォーム用ＩＭＵ座標系における姿勢観測は、
プラットフォーム用ＩＭＵデータを時刻ｋから時刻ｋ＋１まで積分して得られた速度Ｖ、並進ベクトルＴ、及び回転行列Ｒがそれぞれ
（式中、Ｖ_ｋ，Ｖ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における速度であり、ａは加速度であり、Δｔは時間間隔であり、Ｔ_ｋ，Ｔ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における並進ベクトルであり、Ｒ_ｋ，Ｒ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における回転行列であり、ωは角速度であり、
はクロネッカー積である）で表される。

ステレオカメラ座標系における姿勢観測は、
ステレオカメラ画像データに対して特徴点抽出を行い、特徴点を中心として円領域を構成し、
θ＝ａｒｃｔａｎ（ｍ_０１／ｍ_１０）
［式中、Ｃは円領域の質量中心を表し、θは特徴点の方向ベクトルを表し、ｍ_ｐｑは円領域のモーメントを表し、
（式中、Ｒは円領域の半径を表し、ｘ、ｙはｘ軸座標、ｙ軸座標を表し、Ｉ（ｘ，ｙ）はグレースケール方程式を表す）で定義される］
連続した複数フレームのステレオカメラ画像データの特徴点を抽出してマッチングすることにより、マッチングされた画素点を用いてＰｎＰ問題を設定し、ステレオカメラの回転行列Ｒ及び並進ベクトルＴを得る。

ステレオカメラ座標系における３次元点群生成は、
同一フレームのステレオカメラの左右カメラ画像に対して上記特徴点を抽出してマッチングし、グレースケール二乗和誤差アルゴリズムに基づいて視差計算を行い、
（式中、ｘ，ｙ，ｄはそれぞれｘ軸座標、ｙ軸座標、視差であり、ｉ，ｊはそれぞれｘ軸方向及びｙ軸方向の変化値であり、ｍ，ｎはそれぞれｘ軸方向及びｙ軸方向の最大値であり、Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ）はグレースケール方程式を表す）
視差及び元の座標により３次元点群データを生成し、３次元座標が、
［式中、ｘ_ｌ，ｘ_ｒはそれぞれ左右カメラに対応する横座標値であり、ｙ_ｌ，ｙ_ｒはそれぞれ左右カメラの縦座標値であり、ｆ_ｘ，ｆ_ｙはそれぞれ左右カメラの内部パラメータの対応する焦点距離であり、Ｘ，Ｙ，Ｚはそれぞれ３次元座標であり、Ｄは深度値であり、下記式：
Ｄ＝Ｂｆ／ｄ
（式中、Ｂは基線長であり、ｆはカメラの焦点距離であり、ｄは左右画像の視差である）で算出される］で表される。

Ｓ４：排水システムの軌跡を計画し、排水システムを排水するように制御し、Ｓ２で得られた外部パラメータ行列に基づき、駆動用ＩＭＵデータを用いてレーザセンサのレーザ位置を決定することにより、損傷領域の精細なレーザセンサデータの３次元再構成を実現する。

具体的には、損傷領域の位置に基づいて、排水システムが損傷領域を被覆して排水して乾燥空間を形成するように、水中移動プラットフォームの移動軌跡を計画し、レーザ駆動システムを使用して、レーザセンサを乾燥空間で３次元走査を行うように制御し、レーザセンサデータと駆動用ＩＭＵデータとを通信システムを介してホストコンピュータに送信し、ホストコンピュータは、Ｓ２で得られた外部パラメータ行列に基づいて、駆動用ＩＭＵデータを用いてレーザ駆動システムの姿勢を取得し、変換してレーザセンサの位置を取得し、レーザセンサの位置及び点群データに基づいて、精細なレーザセンサデータの３次元再構成を得、３次元再構成結果に基づいて損傷位置を検出する。

レーザセンサデータの３次元再構成は、
レーザセンサは、固定周波数でレーザパルスを発射し、受信器により戻ってきた反射光を受光して距離を判断するとともに、反射強度に基づいて対象材質を大まかに区別し、距離測定式が、
Ｌ＝ｔｃ／２
（式中、Ｌは目標距離であり、ｔは戻り時間であり、ｃは光速である）であり、
駆動用ＩＭＵを使用してレーザセンサの位置姿勢予測を行い、回転行列Ｒ及び並進ベクトルＴに基づいてレーザセンサの３次元再構成結果を得る。このとき、精細な損傷位置の検出を実現し、誤差を０．２ｍｍ以内にし、他の自律修復機器に高精度な測位結果を提供することができる。

上記実施例は、本発明の好ましい実施形態であるが、本発明の実施形態は、上記実施例に限定されるものではなく、本発明の精神及び原理を逸脱することなく行われるその他の変更、修正、置換、組み合わせ及び簡略化は、いずれも同等の置換であるべきであり、全て本発明の保護範囲に含まれるものとする。

（付記）
（付記１）
視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法であって、
水中損傷の３次元再構成システムによって実現され、前記水中損傷の３次元再構成システムは、水中移動プラットフォームと、ホストコンピュータとを備え、水中移動プラットフォームは、水中移動プラットフォーム本体と、水中移動プラットフォーム本体に搭載されたステレオカメラ、プラットフォーム用ＩＭＵ、レーザセンサ、レーザ駆動システム、通信システム及び排水システムとを備え、レーザ駆動システムの各軸に駆動用ＩＭＵがそれぞれ設けられており、通信システムが水中移動プラットフォームとホストコンピュータとの間の通信に用いられ、
海洋機器の水中損傷の３次元再構成方法は、
Ｓ１、ステレオカメラ及びプラットフォーム用ＩＭＵをそれぞれ水中移動プラットフォームに固定し、水中環境において、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、
Ｓ２、レーザセンサを駆動システムの先端に固定し、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系の外部パラメータ行列をキャリブレーションするステップと、
Ｓ３、ステレオカメラ画像データ及びプラットフォーム用ＩＭＵデータを収集し、プラットフォーム用ＩＭＵデータ中の加速度データ及び角速度データを積分して、プラットフォーム用ＩＭＵ座標系における位置及び姿勢観測を取得し、ステレオカメラ画像データに対応するフレームに対して、ステレオカメラ座標系における位置姿勢観測、損傷検出及び３次元点群生成をそれぞれ行い、位置姿勢観測結果を融合し、連続した３次元点群を重ね合わせて、水中３次元再構成点群を取得し、損傷検出結果の検証に使用し、位置姿勢観測及び損傷検出結果に基づいて、水中移動プラットフォームの最適な経路を計画し、３次元再構成点群に基づいて局所的な障害物回避を行い、水中移動プラットフォームを損傷領域の近傍に移動するように制御するステップと、
Ｓ４、排水システムの軌跡を計画し、排水システムにより損傷領域の排水を行い、Ｓ２で得られた外部パラメータ行列に基づき、駆動用ＩＭＵデータを用いてレーザセンサのレーザ位置を決定することにより、損傷領域の精細なレーザセンサデータの３次元再構成を実現するステップと、を含む、ことを特徴とする視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記２）
前記Ｓ１は、
Ｓ１１、ステレオカメラを水中移動プラットフォーム本体の前端に固定し、視覚方向を斜め下向きに１０°～３０°の間にし、プラットフォーム用ＩＭＵを水中移動プラットフォームの質量中心位置に相当する水中移動プラットフォーム本体の中部に固定するステップと、
Ｓ１２、キャリブレーションボード及び水中移動プラットフォームを同時に水中に配置し、キャリブレーションボードがステレオカメラの左右カメラの視野に同時に現れるようにし、
キャリブレーションボードがステレオカメラの左右カメラの視野の各位置に分布するように、水中移動プラットフォームを移動させ、複数組のステレオカメラ画像データを記録し、通信システムにより複数組のステレオカメラ画像データをホストコンピュータに送信し、ホストコンピュータにより、関連するキャリブレーション計算、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、を含む、ことを特徴とする付記１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記３）
前記Ｓ１２では、
ステレオカメラの左右カメラの内部パラメータキャリブレーションは、
（式中、ｌは左カメラを表し、ｒは右カメラを表し、Ｋ_ｌ，Ｋ_ｒはそれぞれ左右カメラの内部パラメータ行列を表し、ｆ_ｘｌ，ｆ_ｙｌ，ｆ_ｘｒ，ｆ_ｙｒはそれぞれ左右カメラのｘ軸方向及びｙ軸方向における焦点距離の長さをピクセル単位で表し、（ｕ_０ｌ，ｖ_ｏｌ），（ｕ_０ｒ，ｖ_０ｒ）はそれぞれ左右カメラの画像平面座標系における主点の実際のピクセル座標を表す）
であり、
ステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションは、
プラットフォーム用ＩＭＵ座標系を世界座標系とすると、ステレオカメラの左右カメラの画像点からプラットフォーム用ＩＭＵ座標系への変換関係が、
（式中、
はそれぞれ左右カメラ座標系における２次元座標であり、
はプラットフォーム用ＩＭＵ座標系における３次元座標であり、Ｒ_ｌｒ，Ｒ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への３＊３の回転行列であり、Ｔ_ｌｒ，Ｔ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への１＊３の並進ベクトルである）である、ことを特徴とする付記２に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記４）
前記Ｓ２では、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系とを位置合わせすることは、
ステレオカメラ、排水システム及びレーザ駆動システムの位置関係に基づいて、水中移動プラットフォーム質量中心座標系から排水システム座標系への変換関係、排水システム座標系とレーザ駆動システム座標系との変換関係を取得し、
レーザセンサのレーザポイントをパラメータが既知のキャリブレーションボードを移動するように制御し、通信システムによりレーザセンサと駆動用ＩＭＵを接続してデータを取得し、ホストコンピュータに送信し、ホストコンピュータによりキャリブレーション計算を行い、レーザ駆動システム座標系とレーザセンサ座標系との変換関係を取得し、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする、ことを特徴とする付記１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記５）
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする方法は、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心のいずれか２つの座標系の回転行列及び並進ベクトルを含む外部パラメータ行列をキャリブレーションする、ことを特徴とする付記４に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
（式中、Ａ及びＢはそれぞれ２つの座標系を表し、Ｘは４＊４の外部パラメータ行列を表し、Ｒは３＊３の回転行列を表し、Ｔは１＊３の並進ベクトルを表す）

（付記６）
前記Ｓ３では、プラットフォーム用ＩＭＵ座標系における姿勢観測は、
プラットフォーム用ＩＭＵデータを時刻ｋから時刻ｋ＋１まで積分して得られた速度Ｖ、並進ベクトルＴ、及び回転行列Ｒがそれぞれ
（式中、Ｖ_ｋ，Ｖ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における速度であり、ａは加速度であり、Δｔは時間間隔であり、Ｔ_ｋ，Ｔ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における並進ベクトルであり、Ｒ_ｋ，Ｒ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における回転行列であり、ωは角速度であり、
はクロネッカー積である）で表される、ことを特徴とする付記１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記７）
前記Ｓ３では、ステレオカメラ座標系における姿勢観測は、
ステレオカメラ画像データに対して特徴点抽出を行い、特徴点を中心として円領域を構成し、
θ＝ａｒｃｔａｎ（ｍ_０１／ｍ_１０）
［式中、Ｃは円領域の質量中心を表し、θは特徴点の方向ベクトルを表し、ｍ_ｐｑは円領域のモーメントを表し、
（式中、Ｒは円領域の半径を表し、ｘ，ｙはｘ軸座標、ｙ軸座標を表し、Ｉ（ｘ，ｙ）はグレースケール方程式を表す）で定義される］
連続した複数フレームのステレオカメラ画像データの特徴点を抽出してマッチングすることにより、マッチングされた画素点を用いてＰｎＰ問題を設定し、ステレオカメラの回転行列Ｒ及び並進ベクトルＴを得る、ことを特徴とする付記６に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記８）
前記Ｓ３では、ステレオカメラ座標系における３次元点群生成は、
同一フレームのステレオカメラの左右カメラ画像に対して上記特徴点を抽出してマッチングし、グレースケール二乗和誤差アルゴリズムに基づいて視差計算を行い、
（式中、ｘ，ｙ，ｄはそれぞれｘ軸座標、ｙ軸座標、視差であり、ｉ，ｊはそれぞれｘ軸方向及びｙ軸方向の変化値であり、ｍ，ｎはそれぞれｘ軸方向及びｙ軸方向の最大値であり、Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ）はグレースケール方程式を表す）
視差及び元の座標により３次元点群データを生成し、３次元座標が、
［式中、ｘ_ｌ，ｘ_ｒはそれぞれ左右カメラに対応する横座標値であり、ｙ_ｌ，ｙ_ｒはそれぞれ左右カメラの縦座標値であり、ｆ_ｘ，ｆ_ｙはそれぞれ左右カメラの内部パラメータの対応する焦点距離であり、Ｘ，Ｙ，Ｚはそれぞれ３次元座標であり、Ｄは深度値であり、下記式：
Ｄ＝Ｂｆ／ｄ
（式中、Ｂは基線長であり、ｆはカメラの焦点距離であり、ｄは左右画像の視差である）で算出される］で表される、ことを特徴とする付記７に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記９）
前記Ｓ４は、損傷領域の位置に基づいて、排水システムが損傷領域を被覆して排水して乾燥空間を形成するように、水中移動プラットフォームの移動軌跡を計画し、レーザ駆動システムを使用して、レーザセンサを乾燥空間で３次元走査を行うように制御し、レーザセンサデータと駆動用ＩＭＵデータとを通信システムを介してホストコンピュータに送信し、ホストコンピュータは、Ｓ２で得られた外部パラメータ行列に基づいて、駆動用ＩＭＵデータを用いてレーザ駆動システムの姿勢を取得し、変換してレーザセンサの位置を取得し、レーザセンサの位置及び点群データに基づいて、精細なレーザセンサデータの３次元再構成を得、３次元再構成結果に基づいて損傷位置を検出する、ことを特徴とする付記１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（付記１０）
前記Ｓ４では、レーザセンサデータの３次元再構成は、
レーザセンサは、固定周波数でレーザパルスを発射し、受信器により戻ってきた反射光を受光して距離を判断するとともに、反射強度に基づいて対象材質を大まかに区別し、距離測定式が、
Ｌ＝ｔｃ／２
（式中、Ｌは目標距離であり、ｔは戻り時間であり、ｃは光速である）であり、
駆動用ＩＭＵを使用してレーザセンサの位置姿勢予測を行い、回転行列Ｒ及び並進ベクトルＴに基づいてレーザセンサの３次元再構成結果を得る、ことを特徴とする付記９に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

Claims

視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法であって、
水中損傷の３次元再構成システムによって実現され、前記水中損傷の３次元再構成システムは、水中移動プラットフォームと、ホストコンピュータとを備え、水中移動プラットフォームは、水中移動プラットフォーム本体と、水中移動プラットフォーム本体に搭載されたステレオカメラ、プラットフォーム用ＩＭＵ、レーザセンサ、レーザ駆動システム、通信システム及び排水システムとを備え、レーザ駆動システムの各軸に駆動用ＩＭＵがそれぞれ設けられており、通信システムが水中移動プラットフォームとホストコンピュータとの間の通信に用いられ、
海洋機器の水中損傷の３次元再構成方法は、
Ｓ１、ステレオカメラ及びプラットフォーム用ＩＭＵをそれぞれ水中移動プラットフォームに固定し、水中環境において、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、
Ｓ２、レーザセンサを駆動システムの先端に固定し、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系の外部パラメータ行列をキャリブレーションするステップと、
Ｓ３、ステレオカメラ画像データ及びプラットフォーム用ＩＭＵデータを収集し、プラットフォーム用ＩＭＵデータ中の加速度データ及び角速度データを積分して、プラットフォーム用ＩＭＵ座標系における位置及び姿勢観測を取得し、ステレオカメラ画像データに対応するフレームに対して、ステレオカメラ座標系における位置姿勢観測、損傷検出及び３次元点群生成をそれぞれ行い、位置姿勢観測結果を融合し、連続した３次元点群を重ね合わせて、水中３次元再構成点群を取得し、損傷検出結果の検証に使用し、位置姿勢観測及び損傷検出結果に基づいて、水中移動プラットフォームの最適な経路を計画し、３次元再構成点群に基づいて局所的な障害物回避を行い、水中移動プラットフォームを損傷領域の近傍に移動するように制御するステップと、
Ｓ４、排水システムの軌跡を計画し、排水システムにより損傷領域の排水を行い、Ｓ２で得られた外部パラメータ行列に基づき、駆動用ＩＭＵデータを用いてレーザセンサのレーザ位置を決定することにより、損傷領域の精細なレーザセンサデータの３次元再構成を実現するステップと、を含む、ことを特徴とする視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ１は、
Ｓ１１、ステレオカメラを水中移動プラットフォーム本体の前端に固定し、視覚方向を斜め下向きに１０°～３０°の間にし、プラットフォーム用ＩＭＵを水中移動プラットフォームの質量中心位置に相当する水中移動プラットフォーム本体の中部に固定するステップと、
Ｓ１２、キャリブレーションボード及び水中移動プラットフォームを同時に水中に配置し、キャリブレーションボードがステレオカメラの左右カメラの視野に同時に現れるようにし、
キャリブレーションボードがステレオカメラの左右カメラの視野の各位置に分布するように、水中移動プラットフォームを移動させ、複数組のステレオカメラ画像データを記録し、通信システムにより複数組のステレオカメラ画像データをホストコンピュータに送信し、ホストコンピュータにより、関連するキャリブレーション計算、ステレオカメラの左右カメラの内部パラメータキャリブレーション、及びステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションを行うステップと、を含む、ことを特徴とする請求項１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ１２では、
ステレオカメラの左右カメラの内部パラメータキャリブレーションは、

（式中、ｌは左カメラを表し、ｒは右カメラを表し、Ｋ_ｌ，Ｋ_ｒはそれぞれ左右カメラの内部パラメータ行列を表し、ｆ_ｘｌ，ｆ_ｙｌ，ｆ_ｘｒ，ｆ_ｙｒはそれぞれ左右カメラのｘ軸方向及びｙ軸方向における焦点距離の長さをピクセル単位で表し、（ｕ_０ｌ，ｖ_ｏｌ），（ｕ_０ｒ，ｖ_０ｒ）はそれぞれ左右カメラの画像平面座標系における主点の実際のピクセル座標を表す）
であり、
ステレオカメラの左右カメラとプラットフォーム用ＩＭＵとの外部パラメータキャリブレーションは、
プラットフォーム用ＩＭＵ座標系を世界座標系とすると、ステレオカメラの左右カメラの画像点からプラットフォーム用ＩＭＵ座標系への変換関係が、

（式中、

はそれぞれ左右カメラ座標系における２次元座標であり、

はプラットフォーム用ＩＭＵ座標系における３次元座標であり、Ｒ_ｌｒ，Ｒ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への３＊３の回転行列であり、Ｔ_ｌｒ，Ｔ_ｒｉはそれぞれ右カメラから左カメラへ、左カメラからプラットフォーム用ＩＭＵ座標系への１＊３の並進ベクトルである）である、ことを特徴とする請求項２に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ２では、駆動システムの各軸上の駆動用ＩＭＵ座標系とレーザセンサ座標系とを位置合わせすることは、
ステレオカメラ、排水システム及びレーザ駆動システムの位置関係に基づいて、水中移動プラットフォーム質量中心座標系から排水システム座標系への変換関係、排水システム座標系とレーザ駆動システム座標系との変換関係を取得し、
レーザセンサのレーザポイントをパラメータが既知のキャリブレーションボードを移動するように制御し、通信システムによりレーザセンサと駆動用ＩＭＵを接続してデータを取得し、ホストコンピュータに送信し、ホストコンピュータによりキャリブレーション計算を行い、レーザ駆動システム座標系とレーザセンサ座標系との変換関係を取得し、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする、ことを特徴とする請求項１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心の４つの座標系を位置合わせする方法は、
レーザセンサ、レーザ駆動システム、排水システム、及び水中移動プラットフォーム質量中心のいずれか２つの座標系の回転行列及び並進ベクトルを含む外部パラメータ行列をキャリブレーションする、ことを特徴とする請求項４に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。

（式中、Ａ及びＢはそれぞれ２つの座標系を表し、Ｘは４＊４の外部パラメータ行列を表し、Ｒは３＊３の回転行列を表し、Ｔは１＊３の並進ベクトルを表す）
前記Ｓ３では、プラットフォーム用ＩＭＵ座標系における姿勢観測は、
プラットフォーム用ＩＭＵデータを時刻ｋから時刻ｋ＋１まで積分して得られた速度Ｖ、並進ベクトルＴ、及び回転行列Ｒがそれぞれ

（式中、Ｖ_ｋ，Ｖ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における速度であり、ａは加速度であり、Δｔは時間間隔であり、Ｔ_ｋ，Ｔ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における並進ベクトルであり、Ｒ_ｋ，Ｒ_ｋ＋１はそれぞれ時刻ｋ及び時刻ｋ＋１における回転行列であり、ωは角速度であり、

はクロネッカー積である）で表される、ことを特徴とする請求項１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ３では、ステレオカメラ座標系における姿勢観測は、
ステレオカメラ画像データに対して特徴点抽出を行い、特徴点を中心として円領域を構成し、

θ＝ａｒｃｔａｎ（ｍ_０１／ｍ_１０）
［式中、Ｃは円領域の質量中心を表し、θは特徴点の方向ベクトルを表し、ｍ_ｐｑは円領域のモーメントを表し、

（式中、Ｒは円領域の半径を表し、ｘ，ｙはｘ軸座標、ｙ軸座標を表し、Ｉ（ｘ，ｙ）はグレースケール方程式を表す）で定義される］
連続した複数フレームのステレオカメラ画像データの特徴点を抽出してマッチングすることにより、マッチングされた画素点を用いてＰｎＰ問題を設定し、ステレオカメラの回転行列Ｒ及び並進ベクトルＴを得る、ことを特徴とする請求項６に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ３では、ステレオカメラ座標系における３次元点群生成は、
同一フレームのステレオカメラの左右カメラ画像に対して上記特徴点を抽出してマッチングし、グレースケール二乗和誤差アルゴリズムに基づいて視差計算を行い、

（式中、ｘ，ｙ，ｄはそれぞれｘ軸座標、ｙ軸座標、視差であり、ｉ，ｊはそれぞれｘ軸方向及びｙ軸方向の変化値であり、ｍ，ｎはそれぞれｘ軸方向及びｙ軸方向の最大値であり、Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ）はグレースケール方程式を表す）
視差及び元の座標により３次元点群データを生成し、３次元座標が、

［式中、ｘ_ｌ，ｘ_ｒはそれぞれ左右カメラに対応する横座標値であり、ｙ_ｌ，ｙ_ｒはそれぞれ左右カメラの縦座標値であり、ｆ_ｘ，ｆ_ｙはそれぞれ左右カメラの内部パラメータの対応する焦点距離であり、Ｘ，Ｙ，Ｚはそれぞれ３次元座標であり、Ｄは深度値であり、下記式：
Ｄ＝Ｂｆ／ｄ
（式中、Ｂは基線長であり、ｆはカメラの焦点距離であり、ｄは左右画像の視差である）で算出される］で表される、ことを特徴とする請求項７に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ４は、損傷領域の位置に基づいて、排水システムが損傷領域を被覆して排水して乾燥空間を形成するように、水中移動プラットフォームの移動軌跡を計画し、レーザ駆動システムを使用して、レーザセンサを乾燥空間で３次元走査を行うように制御し、レーザセンサデータと駆動用ＩＭＵデータとを通信システムを介してホストコンピュータに送信し、ホストコンピュータは、Ｓ２で得られた外部パラメータ行列に基づいて、駆動用ＩＭＵデータを用いてレーザ駆動システムの姿勢を取得し、変換してレーザセンサの位置を取得し、レーザセンサの位置及び点群データに基づいて、精細なレーザセンサデータの３次元再構成を得、３次元再構成結果に基づいて損傷位置を検出する、ことを特徴とする請求項１に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。
前記Ｓ４では、レーザセンサデータの３次元再構成は、
レーザセンサは、固定周波数でレーザパルスを発射し、受信器により戻ってきた反射光を受光して距離を判断するとともに、反射強度に基づいて対象材質を大まかに区別し、距離測定式が、
Ｌ＝ｔｃ／２
（式中、Ｌは目標距離であり、ｔは戻り時間であり、ｃは光速である）であり、
駆動用ＩＭＵを使用してレーザセンサの位置姿勢予測を行い、回転行列Ｒ及び並進ベクトルＴに基づいてレーザセンサの３次元再構成結果を得る、ことを特徴とする請求項９に記載の視覚とＩＭＵとの融合に基づく海洋機器の水中損傷の３次元再構成方法。