JP5968894B2 - 相関付けられたセンサデータに基づいた水中航走体の位置および向きの推定 - Google Patents

Description

関連出願への相互参照

本出願は、２０１０年１０月２５日付で出願された「ESTIMATING POSITION AND ORIENTATION OF AN UNDERWATER VEHICLE BASED ON CORRELATED SENSOR DATA」という名称の米国仮特許出願第６１／４０６，４７６号の優先権を請求する。これに言及することにより、そのすべての内容は本出願に組み込まれる。

本開示は、水中航走体の位置および向きを非常に高い精度で推定することに関する。この推定は、収集されたセンサデータに基づく航走体の位置および向きの非常に高精度な推定値と航走体の航法装置によって提供される位置および向きのデータとを組み合わせることによって求められる。組み合わされたデータもまた処理されて航走体の航法装置に更新された位置修正値（position fix）を提供し、そして航法装置は航走体の位置および向きの推定値を更新する。

水中環境において航走体の位置および向きを推定する能力を有することが必要とされている。しばしば、非常に高い精度で周囲を航行する必要があるかもしれない水中構造物や他の設備が数多く存在する。現在行われている水中航走体の位置および向きの推定方法は、要求される非常に高い精度の計測値を提供するものではない１つまたは複数のセンサを使用することを含んでいる。

例えば水中構造物に対する水中航走体の位置および向きを推定する目的などで水中構造物をよりよく理解するために、水中構造物を高い精度で走査するのに用いることができる方法およびシステムを記載する。このような位置および向きの推定はしばしば「姿勢（pose）」として知られる。このような能力は、例えば、水中構造物の点検、修理、および操作を指揮する際に有用であり得る。

本明細書に記載の方法およびシステムは、いかなる種類の水中構造物を走査するためにも用いることができる。例えば、水中構造物は、海上石油プラットフォームの支持構造物および桟橋ならびに油井関連設備のような人工物と、水中山脈のような自然物とを含む。水中構造物はまた、完全にまたは部分的に水中にあるものを含み、また、静止した構造物と、例えば水中環境で漂流し得る、静止していない構造物との両方を含み得る。より一般的には、水中構造物は、深さがさまざまで、さまざまな複雑性を有する、いかなる任意の３次元構造物をも意味する。

本明細書において、用語「水中」は、水中構造物が位置し得、かつ、本明細書に記載のシステムを用いて走査される必要があり得るいかなる種類の水中環境をも含み、限定されるわけではないが、海洋のような塩水域と、淡水域とを含む。

一般に、本明細書に記載の方法およびシステムは、２つの情報源からの位置および向き（姿勢）に関する推定値を利用する。これらの推定値は組み合わされて、水中構造物に対する水中航走体の位置および向きを更新するのに用いられる融合された推定値となる。

一実施形態において、水中航走体の位置および向きの推定方法は、一方の情報源からの位置および向きのデータを受信することと、他方の情報源からの姿勢データを受信することとを含む。上記一方の情報源からのデータと上記他方の情報源からのデータは組み合わされ、この組み合わせの結果として、融合された姿勢推定値が得られる。上記一方の情報源か上記他方の情報源かのどちらか一方から受信したデータの前方予測を生成するかどうかが判定され、必要であれば前方予測が生成される。上記融合された姿勢推定値に基づいて水中航走体の更新された姿勢が決定される。

一実施形態において、上記一方の情報源は、水中航走体の姿勢の推定値を提供するように構成された、水中航走体の航走体航法装置である。一実施形態において、上記他方の情報源は、水中構造物の３次元画像を提供するように構成された、ソーナーに基づくセンサである。

いくつかの実施形態において、ソーナーに基づくセンサに由来する姿勢の推定値は、航走体航法装置の支援を受けて得られてよく、よって、航走体航法装置に由来する推定値に相関付けられる。これらの推定値の融合は、最新の融合された姿勢の推定値を提供するためにこれらの相関を考慮し、例えば、２つの推定値の相対頻度を考慮する。

さらに別の実施形態において、水中航走体上で上記の推定を実施可能なシステムを有することが好ましい。水中航走体は、例えば、自律型潜水機（autonomous underwater vehicle）（ＡＵＶ）および遠隔操作水中探査機（remotely operated underwater vehicle）（ＲＯＶ）のうちの１つであるが、これに限定されるわけではない。本明細書において、ＲＯＶとは、水上船のようなホストにケーブルでつながれた遠隔操作水中探査機である。ＲＯＶは、無人であり、ホストに乗っている操縦者によって操作される。つなぎケーブル（tether）は、例えば、電力（自蔵式の（self-contained）システム上の蓄電池電力の代わりまたは補助として）、映像信号、およびデータ信号を、ホスト・ＲＯＶ間でやりとりすることができる。本明細書において、ＡＵＶとは、無人で、ホスト船につながれていない自律型潜水機である。

一実施形態において、水中航走体の姿勢を推定するこのようなシステムは、水中航走体に搭載されたセンサを含む。センサは、ソーナー音波を水中構造物に向けて送出するように構成され、反射されたソーナー音波は処理されて、水中構造物の３次元画像を提供し、また、姿勢の画像センサに基づく姿勢推定値を提供する。水中航走体には航走体航法装置（vehicle navigation system）が搭載される。航走体航法装置は、水中航走体の姿勢の推定値を提供するように構成される。ソーナーセンサ音波の処理によって提供された撮像センサに基づく姿勢推定値は、航走体航法装置によって提供された支援を通じて、航走体航法装置によって提供された推定値と相関付けられる。撮像センサに基づく姿勢推定値を受信するように構成されたデータ記憶装置が水中航走体に搭載される。

水中航走体にはデータ処理装置が搭載される。データ処理装置は、処理されたソーナーセンサ音波により得られた撮像センサに基づく姿勢推定値と航走体航法装置からの姿勢推定値との両方を受信するように構成される。上記処理装置は、センサによって提供された推定値と航走体航法装置によって提供された推定値とを組み合わせるように構成され、この組み合わせの結果として、融合された姿勢推定値が得られる。上記処理装置は、画像センサに基づく姿勢推定値の前方予測を生成するかどうかを判定するようにも構成され、必要であれば前方予測を生成するように構成される。上記処理装置は、融合された姿勢推定値に基づいて水中航走体の更新された姿勢推定値を決定するように構成される。上記処理装置は、融合された位置修正値を航走体航法装置に提供し、リセットとしてのこの位置修正値をいつ航走体航法装置に提供するかを決定するようにも構成される。

図１は、水中航走体の姿勢を推定するための方法の一実施形態のフローチャートを示す。

図２は、航走体航法装置データに相関付けられたセンサデータを処理し、航走体航法装置からの姿勢データを処理するための一実施形態のフローチャートを示す。

図３は、水中航走体の姿勢を推定するためのシステムの概略図を示す。

図４は、画像センサのような特徴に基づくセンサから取得された姿勢の前方伝播（forward propagation）の一例を示す。

［水中航走体の姿勢の推定方法］
図１は、水中航走体の姿勢を推定するための方法１０の一実施形態のフローチャートを示す。概して、本方法は、水中航走体の航法機能を、画像センサ、例えばソーナー撮像センサ、のような特徴に基づくセンサと、推定された水中航走体の姿勢を更新する処理装置と共に用いることによって実施される。多くの状況において、推定は、例えば、適切な市販の組み込みハードウェアおよびソフトウェアを用いることなどによって、水中航走体上でリアルタイムで行われ得る。

本方法１０は、例えば支援を受ける航走体航法装置または支援を受けない航走体航法装置のような水中航走体航法装置から姿勢データを受信１２することを含む。水中航走体航法装置からの推定姿勢データに相関付けられた推定姿勢データがセンサから受信１４される。

一実施形態において、ステップ１４でセンサから受信されたデータは、水中構造物に向けてソーナー音波を送出することを含む。ソーナー音波の送出後、反射された音響ソーナー応答が水中構造物から受信される。一実施形態において、例えば３次元（３Ｄ）撮像ソーナーでは、ソーナー音波が処理されて、３次元画像が生成される。３Ｄ撮像ソーナーは、１つの送信ソーナー音波つまり探信音から３Ｄ画像を生成するものであればいかなる３Ｄソーナーでもよい。適切な３Ｄソーナーの一例は、コーダオクトパス・プロダクツ（CodaOctopus Products）から入手可能なコーダオクトパス・エコースコープ（CodaOctopus Echoscope）である。上記３Ｄソーナーは、水中構造物を向くように調整および配置できるので、水中構造物に向かって探信音を発信でき、鉛直に対して様々な所望の角度を成す向きで、かつ、様々な視点（viewpoint）および当該水中構造物からの距離で配置できることが理解されるであろう。

航走体航法装置が知られており、水中航走体の位置、向き、および速度（例えば、動きの方向および速さ）を測定（determine）するのに用いられていることが理解されるであろう。いくつかの例において、航走体航法装置は慣性航法装置（inertial navigation system）（ＩＮＳ）である。航走体航法装置は、速度測定用に下方に向けられたドップラー速度ログ（doppler velocity log）（ＤＶＬ）ユニットを含み得るが、航走体航法装置は、位置、向き、および速度（例えば、動きの方向および速さ）を測定できるものであればいかなる装置でもよいことが理解されるであろう。適切な航走体航法装置の一例は、キアフォット社（Kearfott Corporation）から入手可能なSEADeVilであり、例えば、テレダインＲＤＩ（Teledyne RDI）社のＤＶＬ（ドップラー速度ログ）を含み得る。

航走体航法装置は、航走体航法装置姿勢推定値を生成し、３Ｄソーナーセンサは、撮像センサに基づく姿勢推定値を生成する。一般に、本方法は、航走体航法装置および３Ｄソーナーセンサからの推定値を組み合わせてこれらの２つの情報源からの融合された姿勢推定値を提供すること１６を含む。適切および／または必要な場合、融合された推定値は、センサに基づく姿勢推定値と航走体航法装置の位置推定値との相関時間によって決定されるある周期で定期的に航走体航法装置におけるドリフトを補正するのに用いられる。このような位置修正値は、融合処理から高い頻度で入手可能であり、例えば、融合された推定値の自己相関（auto correlation）によって決定されるより低い頻度でリセットを行うために、航走体航法装置に適用される。

一実施形態において、融合は、航走体航法装置からの直近の入手可能な姿勢推定値、例えばＩＮＳからの慣性姿勢、に対応する時点へと前方伝播された直近の特徴に基づく姿勢推定値、例えば画像センサに基づく姿勢推定値、に作用するように構成されたベイジアン・コンバイナ（Bayesian Combiner）を用いることによって達成される。これにより、３Ｄソーナーセンサ（あるいは画像センサ）からの推定値を、現在時点に適用可能なように調整１８することができる。例えば、１８において、１４からの位置および向きの推定値を、航走体の航法装置からの慣性データを用いて前方へ伝播させることができる。図４も参照されたい。

図４を参照して、画像センサから取得された姿勢、例えば３Ｄソーナーからの姿勢を、例えば本システムで用いられる処理装置によって、前方へ伝播（propagate）させることができる。図示するように、新しい航走体航法装置姿勢が入手可能である場合は、直近の画像センサに基づく姿勢を現在の航走体航法装置姿勢の時点へ伝播させることができる。図４の左側の囲み枠を参照されたい。別の実施形態として、新しい撮像センサに基づく姿勢が入手可能である場合は、航走体航行速度、角速度、および共分散（covariance）を用いてそれを航走体航法装置の現在の姿勢の時点へ伝播させることができる。伝播された姿勢は、次いで、ベイジアン・コンバイナのようなコンバイナに入力される（図４の右側の囲み枠を参照）。「現在時点における画像センサに基づく姿勢および共分散」の矢印を参照されたい。航走体航法装置の姿勢および共分散も、コンバイナに入力され、ここで航走体航法装置の姿勢と画像センサに基づく姿勢とが組み合わされて、共分散を有する融合された姿勢が得られる。

さらに図１を参照して、必要に応じて、組み合わされた推定値と１８の調整あるいは伝播とに基づき、水中航走体の姿勢を更新およびリセット２０することができ、これは、航走体の誘導および制御のために、また、これから先の画像センサに基づく航行のための初期条件として、有用であり得る。例えば、２０において、組み合わされた位置および向きのデータに基づいて航走体航法装置の位置および向きの推定値をリセットすることが可能である。

図２は、航走体航法装置データに相関付けられたセンサデータを処理し、航走体航法装置からの位置および向きのデータを処理するための一実施形態のフローチャート３００を示す。

図示するように、航走体航法装置３１０が、姿勢データを処理ユニット３３０つまりＮａｖ融合に提供する。航走体航法装置３１０は、水中航走体の姿勢の推定値を提供する。同様に、知覚ブロックにおいて、３Ｄソーナーセンサのような姿勢センサ３２０が、姿勢データをＮａｖ融合３３０に提供する。センサ３２０は、水中航走体の姿勢の画像センサに基づく推定値を提供する。図示するように、センサ３２０は、Ｎａｖ融合３３０によって提供される推定姿勢データに依存し、したがって、その推定姿勢データは航走体航法装置３１０からのデータに相関付けられる。

さらにＮａｖ融合３３０を参照すると、航走体航法装置３１０およびセンサ３２０からの推定値のさらなる処理が行われる。これらの推定値は、ブロック３３２で組み合わされる。図示した実施形態においては、これらの推定値を組み合わせあるいは融合するために、上記のようなベイジアン・コンバイナが用いられる。コンバイナは、直近の入手可能な航走体航法装置３１０の姿勢推定値の時点へ前方伝播された、直近の画像センサに基づく姿勢推定値（例えば、センサ３２０からの）に作用するように構成される。コンバイナは、センサに基づく姿勢と航走体航法装置の推定姿勢とをこれらのセンサのそれぞれにおける誤差の推定値に基づいて重み付けするアルゴリズムを含むことが理解されるであろう。

さらに前方伝播に関して、ブロック３３４は、直近の入手可能な航走体航法装置３１０の姿勢推定値と融合できるようにセンサ３２０からの推定値を前方予測（forward prediction）でさらに処理することを示す。多くの場合において、航走体航法装置３１０の姿勢推定値とセンサ３２０の姿勢推定値とは異なる頻度およびタイミングでＮａｖ３３０に到達する異なるデータフローであり、そのため、融合を完了させるためには一方の前方伝播が必要である。例えば、センサの推定値の頻度は約５Ｈｚであり、航走体航法装置の姿勢推定値の頻度は２０Ｈｚであり得る。このため、ブロック３３４においては、センサの姿勢推定値が、航走体航法装置の姿勢推定値と融合され得るように前方へ伝播される。

ブロック３３６において、誤差または故障の検出処理が採用され得る。センサ３２０から入力される姿勢推定値には誤差が含まれやすいことがあるので、最新の融合された姿勢推定値と相互参照させることが役に立ち得る。入力センサ推定値の不確かさがある特定の閾値を超えている場合、または、当該推定値の融合された姿勢推定値からのずれがある特定の閾値を超えている場合、追加の処理を行ってより高精度な別の姿勢推定値を生成するために、センサ３２０を再初期化することができる。このことを、共分散と例えば現時点で認められている姿勢推定値からのイノベーションの逸脱（innovations divergence）との監視と呼ぶ。

推定値が組み合わされると、水中航走体の姿勢を更新することができる。ブロック３３６におけるさらなる処理は、航走体航法装置の姿勢推定値を融合された姿勢推定値に基づいて定期的にリセットできることを示す。融合のためにセンサ３２０からのデータを航走体航法装置と調和させるので、航走体航法装置がリセットされると、このようなリセットがセンサ３２０に通知されることが理解されるであろう。

ブロック３４０に示したもののようないくつかの実施形態において、融合された姿勢推定値は、センサ３２０だけでなく他の航走体サブシステムにも送信され得る。

航法装置に相関付けられた姿勢センサ（例えば、３Ｄソーナーセンサなど）にさらに関して、このような３Ｄソーナーセンサを用いた姿勢の推定は、以下に参照情報を示す同時係属中の仮出願に開示されている。これらの仮出願は、代理人整理番号２００５７．０１４５ＵＳＰ１、名称「ESTIMATING POSITION AND ORIENTATION OF AN UNDERWATER VEHICLE RELATIVE TO UNDERWATER STRUCTURES」；代理人整理番号２００５７．１４６ＵＳＰ１、名称「DETECTING STRUCTURAL CHANGES TO UNDERWATER STRUCTURES」；および代理人整理番号２００５７．０１４７ＵＳＰ１、名称「BUILDING A THREE DIMENSIONAL MODEL OF AN UNDERWATER STRUCTURE」であり、これらはすべてそれぞれ仮出願番号第６１／４０６４２４号、第６１／４０６４３５号、および第６１／４０６４４４号として２０１０年１０月２５日付で本出願と同時に出願されたものであり、これに言及することにより、そのすべての内容は本出願に組み込まれる。

［水中航走体の姿勢を推定するシステム］
本明細書に記載の水中航走体の位置および向き（姿勢）の推定方法は水中航走体に搭載された自律型システムに備えられ得ることが理解されるであろう。いくつかの実施形態において、水中航走体は、リアルタイムで姿勢を推定する適切な処理能力を有する自律型潜水機である。但し、上記システムが、完全にまたは部分的に、例えばＲＯＶまたは有人海洋船のような他の航走体に搭載されてもよいことが理解されるであろう。

一実施形態において、上記システムは、３Ｄソーナーセンサと航走体航法装置とを、水中構造物のモデル構築または撮像センサに基づいた構造点検を実施するのに適切な処理能力と共に含む。

図３は、水中航走体の姿勢を推定するためのシステム２００を示す。適切な状況においては、システム２００は、水中航走体に搭載されてその一部をなし、例えば約１秒で、場合によってはそれ未満で姿勢を推定するリアルタイム処理能力を有する。

図示した実施形態において、３Ｄ撮像ソーナーセンサ２１０は、３Ｄソーナー探信音により得られた応答をデータ記憶装置２２０へ電気的に伝送し得る。一実施形態において、センサは水中航走体に搭載される。センサ２１０は、ソーナー音波を水中構造物に向けて送出するように構成され、当該構造物から反射されたソーナー音波はセンサによって処理されて、３次元画像と航走体姿勢の推定値とが生成される。データ記憶装置２２０は、センサ２１０からの応答を受信するように構成され、この応答は、姿勢の画像センサに基づく姿勢推定値を提供することができる。一実施形態において、データ記憶装置２２０は水中航走体に搭載される。

一実施形態において、水中航走体航法装置２４０は、姿勢の推定値を水中航走体に搭載されたデータ処理装置２３０に提供する航走体航法装置を含む。

処理装置２３０は、画像センサに基づく姿勢推定値と航走体航法装置からの推定値とを受信するように構成される。一実施形態において、データ処理装置２３０は水中航走体に搭載される。データ処理装置２３０は、画像センサに基づく姿勢推定値２１０と航走体航法装置２４０からの姿勢推定値との両方を受信するように構成され、センサによって提供された画像センサに基づく姿勢推定値と航走体航法装置によって提供された姿勢推定値とを組み合わせるように構成される。この組み合わせの結果として、融合された姿勢推定値が得られる。処理装置２３０は、画像センサに基づく姿勢推定値の前方予測を生成するかどうかを判定するように構成され、必要であれば前方予測を生成するように構成される。また、処理装置２３０は、融合された姿勢推定値に基づいて水中航走体の更新された姿勢を決定するように構成される。

システム２００の各構成要素には水中航走体によって電力を供給可能であることが理解されるであろう。

上記の方法およびシステムは、水中構造物に対する水中航走体の姿勢を推定および更新するために用いることができる。このような用途は、限定されるわけではないが、商業的および軍事的な場の両方における海中構造物の点検および修理、港湾の点検、ならびに機雷探知および／または対策を含み得る。一実施形態においては、３Ｄソーナー走査からのデータが収集され、慣性航法装置からのデータが収集され、これらのデータが記録および処理される。概して、データが融合されることにより融合された姿勢が生成され、この融合された姿勢は、１立方フィート以内または数立方センチメートル以内というような非常に高い精度を達成し得る。データの収集、記録、および処理は、水中航走体に搭載されたリアルタイム処理能力を有するデータ処理用電子機器を用いて行われ得る。

本明細書に記載のような、姿勢を推定するためのこのような方法およびシステムは、水中構造物に損傷、変形がないか点検する場合に有用であり得る。上記の方法およびシステムは、例えば、水中航走体が海底から遠く、例えば１０００メートルよりも離れていてＤＶＬなどの他の航法支援を利用できないような状況において有用であり得る。本明細書に記載の方法およびシステムは、磁気コンパスおよび対水速度基準（speed-through-the-water reference）を備えたもののような非慣性水中航走体航法装置にも適用可能であることが理解されるであろう。本明細書に記載の方法およびシステムは、その他の画像に基づくセンサの必要性をなくし得ることも理解されるであろう。静止していない水中構造物も本明細書に記載の方法およびシステムを用いて調査し得ることも理解されるであろう。３Ｄソーナーを使用することにより、複雑な３Ｄ構造物を走査して、十分な奥行の画像と完全な６自由度の姿勢推定値とを提供することが可能になる。

本出願において開示された例は、すべての点で例示であって限定的なものではないと考えられるべきである。本発明の範囲は、以上の説明によってではなく添付の特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内のすべての変更を包含するものである。

Claims (9)

1. 水中航走体の位置および向き（姿勢）を推定する方法であって、
   前記水中航走体の航走体航法装置である一方の情報源から、姿勢データを処理装置で受信することと、
   前記航走体航法装置である前記一方の情報源とは異なる、画像センサに基づく情報源である他方の情報源から、姿勢データを処理装置で受信することと、
   処理装置を用いて融合された姿勢推定値を決定するにあたって、前記航走体航法装置からの前記姿勢データに対する前記画像センサに基づく情報源からの前記姿勢データの前方伝播に基づいて、前記画像センサに基づく情報源から受信した前記姿勢データの前方予測を決定し、処理装置を用いて、前記航走体航法装置からの前記姿勢データと前記画像センサに基づく情報源からの前記姿勢データの前記前方予測とを組み合わせ、その結果として前記融合された姿勢推定値を得ることと、
   処理装置を用いて、前記融合された姿勢推定値に基づいて前記水中航走体の更新された姿勢を推定することと、を含む方法。
2. 前記航走体航法装置が、前記水中航走体の姿勢の推定値を提供するように構成された、前記水中航走体の慣性航法装置である、請求項１に記載の方法。
3. 前記画像センサに基づく情報源が、水中構造物の３次元画像と前記水中航走体の姿勢の推定値とを提供するように構成された、３次元ソーナーに基づくセンサである、請求項１に記載の方法。
4. 前記更新された姿勢を推定するステップが、前記航走体航法装置におけるドリフトを補正することを含み、前記ドリフトの補正を、前記融合された姿勢推定値の相関時間によって決定される周期で行う、請求項１に記載の方法。
5. より高精度かつ現在の融合された姿勢推定値と整合する異なる姿勢データを生成するために、処理装置を用いて、前記画像センサに基づく情報源を再初期化することをさらに含み、前記再初期化は故障検出処理を行うことを含む、請求項１に記載の方法。
6. 前記融合された姿勢推定値に基づいて、処理装置を用いて、前記航走体航法装置の姿勢をリセットすることをさらに含む、請求項１に記載の方法。
7. 前記水中航走体が、自律型潜水機および遠隔操作探査機のうちの１つである、請求項１に記載の方法。
8. 前記水中構造物が静止していない、または静止している、請求項３に記載の方法。
9. 水中航走体の姿勢を推定するためのシステムであって、
   水中航走体に搭載され、ソーナー音波を水中構造物に向けて送出して反射させるように構成されたセンサであって、反射された前記ソーナー音波を受信して画像センサに基づく姿勢推定値を生成するために処理されるように構成されたセンサと、
   前記水中航走体に搭載され、前記水中航走体の姿勢の推定値を提供するように構成された航走体航法装置と、
   前記水中航走体に搭載され、前記画像センサに基づく姿勢推定値を受信するように構成されたデータ記憶装置と、
   前記水中航走体に搭載されたデータ処理装置であって、
   前記画像センサに基づく姿勢推定値と前記航走体航法装置からの姿勢の推定値との両方を受信するように構成され、
   融合された姿勢推定値を決定するように構成され、前記航走体航法装置からの姿勢の推定値に対する前記画像センサに基づく姿勢推定値の前方伝播に基づいて、前記画像センサに基づく姿勢推定値の前方予測を決定し、前記航走体航法装置からの姿勢の推定値と前記画像センサに基づく姿勢推定値の前記前方予測とを組み合わせ、その結果として前記融合された姿勢推定値を得るように構成され、且つ、
   前記融合された姿勢推定値に基づいて前記水中航走体の更新された姿勢を推定するように構成された、データ処理装置と、を含むシステム。

Images