JP6057905B2 - 水中構造物の構造的変化の検出 - Google Patents

水中構造物の構造的変化の検出 Download PDF

Info

Publication number
JP6057905B2
JP6057905B2 JP2013536724A JP2013536724A JP6057905B2 JP 6057905 B2 JP6057905 B2 JP 6057905B2 JP 2013536724 A JP2013536724 A JP 2013536724A JP 2013536724 A JP2013536724 A JP 2013536724A JP 6057905 B2 JP6057905 B2 JP 6057905B2
Authority
JP
Japan
Prior art keywords
underwater structure
underwater
sonar
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013536724A
Other languages
English (en)
Other versions
JP2014500486A (ja
Inventor
デブランナー、クリスチャン、エイチ.
フェッティンガー、アラン、ケー.
ベイカー、クリストファー、エル.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Corp
Original Assignee
Lockheed Martin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockheed Martin Corp filed Critical Lockheed Martin Corp
Publication of JP2014500486A publication Critical patent/JP2014500486A/ja
Application granted granted Critical
Publication of JP6057905B2 publication Critical patent/JP6057905B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

関連出願への相互参照
本出願は、2010年10月25日付で出願された「DETECTING STRUCTURAL CHANGES TO UNDERWATER STRUCTURES」という名称の米国仮特許出願第61/406,435号の優先権を請求する。これに言及することにより、そのすべての内容は本出願に組み込まれる。
本開示は、水中構造物に構造的変化が生じたかどうかについての情報を取得するために水中構造物を走査することにより得られたソーナーデータを収集することに関する。
よりよく理解することが必要であるかもしれない多数の水中構造物や他の設備が存在する。このようなよりよい理解は、例えば、ある水中構造物の情報を取得し、その水中構造物の構造的変化を検出するのに有用であり得る。現在行われている水中構造物の点検方法には、ダイバーによる点検、遠隔操作探査機(remotely operated vehicle)(ROV)を用いた点検、および自律型潜水機(autonomous underwater vehicle)(AUV)を用いた点検などがある。
水中構造物における構造的変化を検出する目的や水中構造物の点検、修理、および操作を指揮する目的などで水中構造物をよりよく理解するために、水中構造物の走査に用いることができる方法およびシステムを記載する。
本明細書に記載の方法およびシステムは、いかなる種類の水中構造物を走査するためにも用いることが可能である。例えば、水中構造物は、海上石油プラットフォームの支持構造物および桟橋ならびに油井関連設備のような人工物と、水中山脈のような自然物とを含み、完全にまたは部分的に水中にある構造物を含み得る。水中構造物はまた、静止した構造物と、例えば水中環境で漂流し得る、静止していない構造物との両方を含み得る。より一般的には、水中構造物は、深さがさまざまで、さまざまな複雑性を有し得る、いかなる任意の3次元構造物をも意味する。
本明細書において、用語「水中」は、水中構造物が位置し得、かつ、本明細書に記載のシステムを用いて走査される必要があり得るいかなる種類の水中環境をも含み、限定されるわけではないが、海洋のような塩水域と淡水域とを含む。
一実施形態において、水中構造物の構造的変化を検出する方法は、ソーナー音波を水中構造物に向けて送出することと、ソーナー音波を当該水中構造物に向けて送出したことによる応答を受信することとを含む。音響ソーナーは、3次元画像に基づくソーナーとして構成され、その場合、ある特定の周波数のパルスが、受信器に3次元画像を生成するためにデータを提供する。すなわち、上記応答からデータ点が取得され、データ点は、当該水中構造物の3次元画像を提供するように構成される。取得されたデータ点は、当該水中構造物の先在する(pre-existing)3次元モデルと位置合わせ(align)される。位置合わせされたサンプルに基づいて、変化検出モデルが生成される。変化検出モデルは、当該水中構造物の先在する3次元モデルと比較される。この比較に基づき、当該水中構造物における構造的変化の発生が検出される。
一実施形態においては、上記の検出方法を実施可能なソーナーセンサシステムが水中航走体に搭載されることが好ましい。水中航走体は、例えば、自律型潜水機(AUV)の1つである。本明細書において、AUVとは、無人で、ホスト船につながれていない自律型潜水機である。しかしながら、本明細書に記載のソーナーシステムは、限定されるわけではないが遠隔操作水中探査機(ROV)のような他の水中航走体にも実装され得るので、水中航走体がAUVに限定されるわけではないことが理解されるであろう。
上記ソーナーシステムに関して、一実施形態において、このような、水中構造物の構造的変化を検出するためのシステムは、水中航走体に搭載されたセンサを含む。このセンサは、ソーナー音波を水中構造物に向けて送出するように構成される。反射されたソーナー音波は3次元画像へと処理される。上記センサからの応答を受信するように構成されたデータ記憶装置が水中航走体に搭載されている。
データ処理装置も水中航走体に搭載されている。このデータ処理装置は、当該水中構造物の3次元画像を提供するように構成されたセンサデータ点を上記データ記憶装置から取得するように構成される。上記処理装置は、取得したデータ点のサンプルを当該水中構造物の先在する3次元モデルと位置合わせし、位置合わせされたサンプルに基づいて変化検出モデルを生成し、この変化検出モデルを当該水中構造物の先在する3次元モデルと比較するように構成される。上記処理装置は、この比較に基づき、当該水中構造物に構造的変化が生じたかどうかを検出するように構成される。
図1は、水中構造物の構造的変化を検出するための方法の一実施形態のフローチャートを示す。
図2は、図1に示す方法において採用され得る、ソーナー応答からの情報と水中構造物の先在するモデルとの比較の一実施形態のフローチャートを示す。
図3は、図1に示す方法において採用され得る、ソーナー応答から取得された情報のフィルタリング処理のフローチャートを示す。
図4は、水中構造物の構造的変化を検出するためのシステムの概略図を示す。
図5は、新しく受信されたソーナーデータと照らし合わせて水中構造物に構造的変化が生じたかどうかを示す比較が行われる変化検出モデルについてのセルの概略的空間表現の一実施形態である。
図6は、図5のセルの空間表現が採用され得る、水中構造物の構造的変化を検出するための一実施形態のフローチャートである。
図1は、水中構造物における構造的変化を検出するための方法10の一実施形態のフローチャートを示す。概して、本方法は、水中航走体の慣性航法機能を、特徴に基づくセンサ、例えばソーナー撮像センサと、該センサによって獲得されたデータを水中構造物の先在する3次元モデルと比較する処理装置と共に用いることによって実施される。多くの状況において、これは、水中航走体上でリアルタイムで、しばしば約1秒、場合によってはそれ未満で行われ得る。例えば、3Dソーナー探信音を発信し、それによるデータを受信し、データをフィルタリングし、それを前のモデルと位置合わせする処理が、約1秒以下で完了し得る。
本方法10は、ソーナー音波を水中構造物に向けて送出することを含む。ソーナー音波の送出後、ソーナー音波を水中構造物に向けて送出したことによる応答が受信12される。例えば、12では、ソーナー波が当該構造物から反射されて受信される。受信されたソーナー音波はソーナーによって3次元画像へと処理される。すなわち、ソーナーは3次元(3D)撮像ソーナーであることが理解されるであろう。3D撮像ソーナーは、1つの送信ソーナーパルスつまり探信音の反射ソーナー信号から3D画像を生成するものであればいかなる3Dソーナーでもよい。適切な3Dソーナーの一例は、コーダオクトパス・プロダクツ(CodaOctopus Products)から入手可能なコーダオクトパス・エコースコープ(CodaOctopus Echoscope)である。上記3Dソーナーを、水中構造物に向かって探信音を発信できるように、当該水中構造物を向くように調整および配置し、かつ、当該水中構造物から様々な距離で、鉛直に対して様々な所望の角度を成す向きに配置することが可能なことが理解されるであろう。
慣性航法装置(inertial navigation system)が知られており、水中航走体の位置、向き、および速度(例えば、動きの方向および速さ)を測定(determine)するのに用いられていることが理解されるであろう。慣性航法装置は、速度測定に用いられる下向きのドップラー速度ログ(Doppler velocity log)(DVL)ユニットを含み得るが、慣性航法装置は位置、向き、および速度(例えば、動きの方向および速さ)を測定できるものであればいかなる装置でもよいことが理解されるであろう。適切な慣性航法装置の一例は、キアフォット社(Kearfott Corporation)から入手可能なSEA DeVilである。
応答が3次元ソーナーによって受信されると、水中構造物の3次元画像を提供するように構成されたデータ点が取得14される。これらのデータ点は、次いで、水中構造物の先在する3次元モデルと比較16される。この比較ステップ16に関して、一実施形態では、データを先在する3次元モデルに当てはめる(fitting)反復処理により、3Dソーナーからの応答が、水中構造物の先在する3次元画像と位置合わせされる。いくつかの実施形態においては、この反復処理は1つの3Dソーナー探信音によるデータに基づくが、複数の3Dソーナー探信音が用いられてもよいことが理解されるであろう。上記比較に基づき、水中構造物の構造的変化が検出18され得る。
先在する3次元モデルに関して、3Dソーナーによって獲得されたデータとの比較のためおよび上記変化検出手順を行うために、先在する3次元モデルを利用できると仮定している。先在する3次元モデルの入手先はさまざまであることが理解されるであろう。一例において、先在する3次元モデルは、例えばコンピュータ支援設計(computer aided design)ソフトウェアから入手可能な電子ファイルから得られるもののように、構造的変化の調査の開始時に存在している。これは、例えば、水中構造物の最初の基準モデルがモデル構造物のその後の比較を実施するために用いられる場合に当てはまり得る。他の例において、先在する3次元モデルは、水中構造物の3次元画像の生成後に、または、ステップ12、14、および16の1回目の実行によって行われるような位置および向き(姿勢)の更新後に、入手可能となる。1回目の実行またはそれ以外の先行する回の実行のモデルと対応づける(matching)ことによって位置、向き、およびモデル構造物をさらに更新するそれ以降の反復は、その次に受信されるソーナーデータのための先在する3次元モデルとして用いられ得る。
すなわち、場合によっては、初期起動の時点では、既に入手可能な電子ファイルから最初の基準が得られ得、3Dソーナーがデータを獲得すると、それ以降の位置および向きに関する最新情報をさらなる比較に用いることが可能になる。
さらに比較ステップ16に関して、図2は、ソーナー応答からの情報と水中構造物の先在するモデルとの比較の一実施形態のフローチャートを示す。図示した実施形態において、データ点を比較するステップは、データ点のサンプルを水中構造物の先在する3次元モデルと位置合わせすることを含む。図示するように、上記位置合わせステップは、以下にさらに説明する、データ点の複数のサンプルに基づいて当てはめ処理を繰り返し行う反復的方法を含み、ここで、当てはめ処理は、サンプリングされたデータ点を水中構造物の先在する3次元モデルと対応するように調整することを含む。
図2の詳細に関して、3Dソーナーからの応答は、上記位置合わせ処理を行うのに用いられる点群110を提供する。点群は、水中構造物の3D画像を表すデータ点を含んでいる。よくある高レベルのノイズと、3Dソーナー点群に発生することが知られている潜在的な有用ではない情報とのために、データ点は、状況によっては、位置合わせの前にフィルタリング142される。
図3は、図1に示すデータ点取得ステップ14の一部として含まれ得るフィルタリング処理142の一実施形態のフローチャートを示す。フィルタリング処理142は、位置合わせの際に有用なデータ点を取得できるように、ソーナー音波を水中構造物に向けて送出したことにより受信された応答をフィルタリングすることを含む。ソーナー点群110からのデータは、一連のデータ処理・フィルタリングステップを通じて入力され、その結果、フィルタリングされた点群160が得られる。図示した実施形態においては、点群110は、強度閾値フィルタ162へ入力される。一般に、フィルタリング処理142は、点群110についてモルフォロジー演算を行う。例えば、各範囲ビン(Range Bin)のモルフォロジー収縮164が行われ、次いで、隣接する範囲ビン166が結合される。囲み枠164および166は、フィルタリング処理142で用いられるある特定のモルフォロジー演算の非限定的な例示である。次に、非最大抑制(Non-maximum Suppression)ステップ168が行われて、フィルタリングされた点群160が取得される。囲み枠168において、フィルタリング処理142は、ビーム幅低減/補償処理(beam width reduction/compensation processing)を行い得る。
さらに図2を参照すると、フィルタリングされた点群160は、処理ループ144へと進む。一実施形態において、この処理ループ144は、ある数学的モデルのパラメータを「外れ値(outlier)」を含む1組の観測データから推定する反復的方法であるRANSACループ、すなわち、ランダムサンプルコンセンサス(random sample consensus)である。例えば、ループ144は、ある特定の確率で合理的な結果を生みだすという意味で非決定性アルゴリズムを表し、ここで、上記確率は反復回数が増えるにつれて高くなり得る。この場合、数学的モデルのパラメータは、水中構造物の先在するモデルに対する3Dソーナーセンサの位置および向き(姿勢)であり、観測データは、ソーナーにより得られた3D点である。基本前提は、観測データが、「インライア(inlier)」、すなわちいくつかの姿勢パラメータを持つ数学的モデルによって説明することができるデータと、そのようにして説明することができないデータである「外れ値」とからなるということである。本明細書に記載の方法では先在する3次元モデルが利用可能であるので、少数のインライアが与えられれば、このような反復的処理を用いて、データ(すなわち、3Dソーナーデータ点)がそれに対応する最近傍のモデル点に最適に当てはめられるような姿勢を計算することにより姿勢のパラメータを推定することができる。
図2に示すように、ループ144は、変換152、ランダムサンプリング154、および当てはめ156という処理関数を含むRANSACループである。変換152の部分では、点群が、初期姿勢130によって規定される座標系へ変換され、この変換により、先在する3次元モデルと略位置合わせされる。
図2にさらに示すように、初期姿勢130が、変換152の部分へ入力される。場合によっては、初期姿勢130は、水中航走体の慣性航法装置から得られる位置および向きである。それ以降の回の反復においては、初期姿勢は、図2に示す手順が行われている間の、実行済みの1回目または任意の先行する回の位置合わせの更新情報による結果であり得る。先行する回の位置合わせは、水中航走体の慣性航法装置からの慣性速度または加速度などの入力のような他の計測結果に基づいて適宜調整され得ることが理解されるであろう。
利用可能な先在する3Dモデルに関して、先在する3Dモデルは、146、156、および150で図に入力され、さらに以下のように説明される。
ループ144のランダムサンプリング154の部分では、さらなる処理および先在する3次元モデルとの比較のために、点群から点のサンプルが取得される。ループ144の当てはめ156の部分は、ランダムサンプリング154によりサンプリングされた点が、先在する3次元モデルとそろうように調整される。すなわち、3Dソーナーデータ、例えばデータ点、の集合的な位置(姿勢)が、各点が先在する3次元モデルと位置合わせされるように、厳密に調整される。当てはめ156の部分では、各データ点について、モデル上の最近傍点を決定するために、1回または複数回の最近傍点計算が行われ得る。データ点と、各データ点に対するモデル上の最近傍点とは、データ点と各データ点に対するモデル上の最近傍点とを最適に位置合わせするような、初期姿勢130に対する補正を計算するために用いられる。
上記のように、位置合わせ処理は、3Dソーナーデータのできる限り多くの点(インライア)を先在する3次元モデルと位置合わせするような、初期姿勢130に対する補正を決定するための反復的方法である。いくつかの実施形態において、これは、3Dソーナーからの1つの探信音または探知、例えば、1つの音響ソーナーパルスによるデータ点によって達成され、そこからデータ点サンプルが取り出される。必要に応じて3Dソーナーの複数の探信音を用いてもよいことも理解されるであろう。
このため、変換152、ランダムサンプリング154、および当てはめ156という関数は、必要に応じて繰り返される144aことによりこれらの繰り返しにおいて求められた先在する3次元モデルと3Dソーナーデータとの最良の位置合わせが真に考えられる最良の位置合わせであるという信頼度を高めることができるループ144として構成されることが理解されるであろう。位置合わせステップは、多くの実施形態において、データ点の複数のサンプルに基づいてまたは複数の音響ソーナーパルスにより得られたデータ点に基づいて当てはめ処理を繰り返し行うことを含み、その場合、当てはめ処理は、サンプリングされたデータ点を水中構造物の先在する3次元モデルと位置合わせするように調整することを含む。適切な状況においては、ループ144aの対象となるデータ点の複数のサンプルまたは複数の音響ソーナーパルスにより得られたデータ点がしばしば、重複するデータ点を有し得、このような重複が、データ点とモデルとの考えられる最良の位置合わせが求められる確率を高めるのにさらに役立ち得ることが理解されるであろう。
すなわち、当てはめは、データ点のサブサンプルを用いて行われる。当てはめでは、これらの点を用いて、モデルに対するセンサの姿勢を推定する。この推定された変換はすべてのデータ点に適用される。次いで、変換後の点が先在するモデルと比較され、データがどの程度対応しているかが決定される。
位置合わせおよび当てはめを実施するのに用いられる適切な反復回数と重複の量とがいくつかの要因のバランスに依存し得ることも理解されるであろう。一部の要因は、限定されるわけではないが、例えば、採用された処理能力量、データ収集にどれだけの時間が使われるか、収集されたデータおよび利用可能な先在するモデルの信頼性、水中航走体がどのように動いているか、ならびに、水中構造物の複雑性を含み得る。2つ以上の3Dソーナー探信音が採用される場合は、例えば、3Dソーナーの探信音発信頻度、初期姿勢130誤差の予想される経時的な増加、およびモデルの精度のような他の要因が、位置合わせ処理を何回反復する必要があるかを決定する際に考慮され得る。
データ点の多くのランダムなサンプルの当てはめが行われた後、多数の解が取得され得る。図2は、誤差により解を順序づける部分146と最良の解を求める部分148とを示す。ループ144aによって提供された解は、最良の解が取得される(例えば148で)ように順序づけされる(例えば146で)。最良の解が取得されると、この解のインライアのそれぞれに対して先在する3Dモデル上の最近傍点が決定され、これらのインライアを上記最近傍点と最も良く位置合わせするような初期姿勢に対する補正が、インライアでの当てはめ150において計算される。更新された姿勢は、例えば水中航走体の慣性航法装置へ送り返される。
[変化検出]
図5および図6を参照すると、上記の位置合わせ処理の結果は、水中構造物に構造的変化が生じたかどうかを判断する(例えば、変化検出)ためにさらに処理される。
位置合わせの際に取得された情報は、当該水中構造物の先在する3次元モデルとの比較に用いられる変化検出モデルを生成するために用いられる。この比較に基づき、当該水中構造物における構造的変化を検出することができる。
図5は、変化検出モデルのセルの概略的な空間表現300を示す。新しく受信されたソーナーデータとモデルを比較することができ、このような比較により、水中構造物に構造的変化が生じたかどうかが示される。セルの空間表現300において、各セル310がいくつかの子ノード(child node)310で分解されているのが示されている。図5は、ある立方体空間が八分木(octree)を用いてどのように表されるかを例示している。「モデル」は実際には八分木のセルのそれぞれに記憶されたデータである。図示するように、セルのいくつかは8つのノードに分解されている。すべてのセルが分解つまり細分されないわけではなく、そのことにより、適切な状況においては、よりコンパクトなモデルが考慮され得ることが理解されるであろう。セルが細分されるのは、モデルの忠実度を向上させるためにより小さい子セルが必要とされるモデルの領域においてのみである。
上記のように、図5の空間表現は八分木として知られている。八分木とは、各内部セルまたはノードが正確にゼロまたは8つの子を有する木構造のデータ構造である。八分木は、3次元空間を8つの八分空間(octant)に再帰的に細分することによって分割するのに有用であり得る。他の空間表現も考えられ得ることと、八分木はこの処理に適していることが知られているが、八分木を採用しなければならないという制限はないことが理解されるであろう。
図5をさらに参照すると、変化検出モデルが生成されると、各セルは、ソーナー命中(sonar hit)つまり占有空間と、ソーナー通過(sonar pass-through)つまり空き空間と、未知である領域とについての情報を含む。各セルは、ソーナー命中の2次モーメント、ソーナー通過、またはソーナー通過の2次モーメントを含み得る。八分木、八分木のデータの集合、および2次モーメントは、当業者なら理解するであろう標準的な概念であることが理解されるであろう。例えば、あるセルにおいてソーナー命中が記録された場合、その情報が当該特定のセルの2次モーメントモデルに追加される。同様に、ソーナービームがあるセルを通過した場合は、その情報が当該セルのソーナー通過および視点多様性モデルに記録される。このような情報が総合的に用いられ、ノードが空いていると考えるべきか、占有されていると考えるべきか、未知である(例えば、不十分な情報)と考えるべきかが決定される。
図5の八分木を使用することで、構造物が存在している占有空間についての情報を収集し、構造物が存在していない非占有空間についての情報を収集し、構造物の存在の有無を決定するのに十分な情報がない未知の空間を同定することによって、変化検出モデルを生成することが可能になる。適切な状況においては、変化検出モデルは複数の位置合わせされたサンプルの入力に基づく。位置合わせされたサンプルのそれぞれは、点検される領域の異なる視点(viewpoint)を表し、点検される視点が多いほど、構造物が存在する(または存在しない)とする信頼度が高くなる。このように信頼度が高くなると、変化検出モデルが精度よく生成された確率が高くなる。本明細書において、用語「視点多様性(viewpoint diversity)」は、セルを通過するソーナービームの向きの範囲のことを含むが、これに限定されるわけではない。
いくつかの視点に関する情報を取得することに加えて、空きセルおよび占有セルのそれぞれがソーナーセンサによって感知された回数も追跡および計数され得、そのことは、生成されるモデルの信頼度をさらに高めることができることも理解されるであろう。
図6に、新しい変化検出モデルの構築後、例えば図5の変化検出モデルを用いて水中構造物の構造的変化を検出するための一実施形態180を示すフローチャートを例示する。図示するように、水中構造物について生成された新しい変化検出モデル182(新モデル)と当該水中構造物の先在するモデル184(前モデル)の両方を用いることによって、正の変化186および負の変化188の両方を求めることができる。本明細書において、正の変化とは、前モデルでは存在していなかったが新しく検出された構造物のことである。本明細書において、負の変化とは、以前のモデルでは存在していたが新モデルではなくなっている構造物のことである。
図示した実施形態において、新モデル182および前モデル184の両方の入力によって正の変化が求められる。新モデル182における占有セルからのデータが、前モデル184と共にさらに処理されるために入力される。さらなる処理は、新モデル182からの占有セルと前モデル184とを比較するために行われる。前モデルに対して新モデル182の占有セルの最近傍点が求められる。前モデルにおける最近傍点までの距離が閾値よりも大きい占有セルは除去192され、残った占有セルにおける連結成分が計算194される。閾値196を超えるサイズの連結成分に含まれる占有セルが正の変化186として出力される。
図示した実施形態において、新モデル182および前モデル184の両方の入力によって負の変化188が求められる。前モデル184における占有セルが、新モデル182と共にさらに処理されるために入力される。さらなる処理は、新モデル182からのデータと前モデル184とを比較するために行われる。新モデル182では空いていない前モデル184の占有セルは除去198される。図示するように、残った占有セルは、新モデルの空きセルにおける視点方向が前モデルにおけるモデル表面に直交している場合202、除去される。残った占有セルの連結成分が計算204され、閾値よりも大きい連結成分206におけるセルが負の変化188として出力される。
図6に示すように、この変化検出方法180は、前モデルと新モデルの両方において何が感知され何が感知されなかったかを記録することによって正の変化と負の変化の両方を確実に求める。例えば、新モデルにおける前モデルでは見られなかった表面と新モデルにおける前モデルではそこになかった表面(例えば、正の変化)とを区別する。また、本明細書に記載の方法は、前モデルで感知されなかったために新モデルではなくなっているモデル表面と、もはや存在しないために新モデルではなくなっているモデル表面(例えば、負の変化)とを区別することができる。本方法は、さらに、セル310が空いていると感知された回数と当該セルが空いていると感知された視点の多様性とを記録することによって、ソーナーノイズおよびアーティファクト(artifact)の影響を低減する。
本明細書に記載の水中構造物の構造的変化の検出方法は、水中航走体に搭載された自律型システムに備えられることが理解されるであろう。いくつかの実施形態において、水中航走体は、このような変化をリアルタイムで検出する適切な処理機能を備えた自律型潜水機である。但し、本システムが他の航走体に搭載されてもよいことが理解されるであろう。
一実施形態において、本システムは、3Dソーナーセンサと慣性航法装置とを、水中構造物の構造的変化の検出を実施するのに適した処理機能と共に備える。
図4は、水中構造物における構造的変化を検出するためのシステム200の一実施形態の概略図を示す。適切な状況において、システム200は、水中航走体に搭載されてその一部をなし、例えば約1秒、場合によってはそれ未満のリアルタイム処理能力を有する。
図示した実施形態において、3D撮像ソーナーセンサ210は、3Dソーナー探信音による応答をデータ記憶装置220へ伝送し得る。センサ210は、ソーナー音波を水中構造物に向けて送出し、当該水中構造物から反射されたソーナー音波を処理して当該水中構造物の3次元画像にするように構成される。データ記憶装置220は、センサからの応答を受信するように構成される。
データ処理装置230は、データ記憶装置220からデータ点を取得するように構成される。データ処理装置230は、例えば、任意の適切な処理ユニットであり得る。データ点は、水中構造物の3次元画像を提供するように構成される。処理装置230は、取得されたデータ点のサンプルを水中構造物の先在する3次元モデルと位置合わせするように構成される。処理装置は、この位置合わせされたサンプルに基づき変化検出モデルを生成し、それを水中構造物の先在する3次元モデルと比較することができる。処理装置は、この比較に基づき、水中構造物に構造的変化が生じたかどうかを検出するように構成される。
水中構造物について取得された情報を例えば慣性航法装置である水中航走体航法装置240を更新するために用いることができることが理解されるであろう。システム200の各構成要素は水中航走体によって電力を供給され得ることが理解されるであろう。
上記の方法およびシステムを、3Dソーナー走査により得られた水中構造物の特徴に基づいて水中構造物の構造的変化を検出するために用いることができる。このような用途は、限定されるわけではないが、商業用および軍用両方の海中構造物の点検、港湾の点検、ならびに機雷探知/対策を含み得る。一実施形態においては、3Dソーナー走査により得られたデータが収集されるとともに、慣性航法により得られたデータが収集され、これらのデータは、走査された水中構造物の3D画像を当該水中構造物の先在する3次元モデルと比較するために記録および処理される。データの収集、記録、および処理は、水中航走体に搭載されたデータ処理用電子機器を用いて、リアルタイム処理機能で行われ得る。
構造的変化の検出は、水中構造物に損傷または変形がないか点検する場合に有用であり得る。上記の方法およびシステムは、例えば、水中航走体が海底から例えば1000メートルよりも離れていてDVLなどの他の航法ツールを利用できないような状況において有用であり得る。他の特徴に基づくセンサは不要であることと、静止していない水中構造物に対する航行も本明細書に記載の方法およびシステムを用いて可能であり得ることとが、理解されるであろう。3Dソーナーを使用することにより、複雑な3D構造物を走査して、姿勢の完全な6自由度を提供することが可能になる。
本出願において開示された例は、すべての点で例示であって限定的なものではないと考えられるべきである。本発明の範囲は、以上の説明によってではなく添付の特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内のすべての変更を包含するものである。

Claims (15)

  1. 水中構造物の構造的変化を検出する方法であって、
    ソーナー音波をセンサから水中構造物に向けて送出することと、
    前記水中構造物から反射された、1つ以上の音響ソーナーパルスを有する前記ソーナー音波を前記センサで受信することと、
    前記水中構造物から反射された前記ソーナー音波の前記1つ以上の音響ソーナーパルスから、前記水中構造物の3次元画像を提供するように構成された3Dデータ点を取得することと、
    前記ソーナー音波の前記1つ以上の音響ソーナーパルスから取得した前記3Dデータ点のサンプルを前記水中構造物の先在する3次元モデルと位置合わせすることであって、前記位置合わせは、前記3Dデータ点のインライアに基づく反復処理ループを用いて、前記水中構造物の前記先在する3次元モデルに対する前記センサの位置および向きを推定することを含む、位置合わせすることと、
    前記位置合わせされたサンプルに基づいて変化検出モデルを生成することと、
    前記変化検出モデルを前記水中構造物の前記先在する3次元モデルと比較することと、
    前記比較に基づき、前記水中構造物に構造的変化が生じたかどうかを検出することと、を含む方法。
  2. 前記水中構造物が静止していない、請求項1に記載の方法。
  3. 前記送出、前記受信、前記取得、前記位置合わせ、前記生成、前記比較、および前記検出のステップは水中航走体上で行われ、前記水中航走体自律型潜水機または遠隔操作探査機のうちの1つである、請求項1に記載の方法。
  4. 前記3Dデータ点を取得するステップが、前記3Dデータ点をフィルタリングすることを含む、請求項1に記載の方法。
  5. 記位置合わせするステップが、1つの音響ソーナーパルスから得られた3Dデータ点を前記水中構造物の前記先在する3次元モデルと繰り返し位置合わせすることを含む、請求項1に記載の方法。
  6. 前記位置合わせするステップが、重複する3Dデータ点を有する複数の音響ソーナーパルスから得られた3Dデータ点に対して、当てはめ処理を繰り返し行うことを含む、請求項に記載の方法。
  7. 前記先在する3次元モデルが、構造的変化の検出の開始時に存在している、請求項1に記載の方法。
  8. 前記先在する3次元モデルが、前記送出、前記受信、前記取得、前記位置合わせ、前記生成、前記比較、および前記検出の実行が1回完了した後に更新される、請求項1に記載の方法。
  9. 前記位置合わせされたサンプルに基づいて変化検出モデルを生成するステップが、構造物が存在する占有空間についての情報を収集することと、構造物が存在しない非占有空間についての情報を収集することと、情報が収集されていない未知の空間を同定することとを含む、請求項1に記載の方法。
  10. 前記位置合わせされたサンプルに基づいて変化検出モデルを生成するステップが、複数の位置合わせされたサンプルを入力することを含み、位置合わせされたサンプルのそれぞれは、点検される領域の異なる視点を表す、請求項1に記載の方法。
  11. 水中構造物における変化を検出するためのシステムであって、
    水中航走体に搭載され、水中構造物に向けてソーナー音波を送出し、前記水中構造物から反射された、1つ以上の音響ソーナーパルスを有する前記ソーナー音波を受信するように構成されたセンサと、
    前記水中航走体に搭載され、前記センサからの応答を受信するように構成されたデータ記憶装置と、
    前記水中航走体に搭載されたデータ処理装置であって、
    前記水中構造物の3次元画像を提供するように構成された3Dデータ点を前記データ記憶装置から取得するように構成され、
    前記ソーナー音波の前記1つ以上の音響ソーナーパルスから取得した前記3Dデータ点のサンプルを前記水中構造物の先在する3次元モデルと位置合わせするように構成され
    前記3Dデータ点からのインライアに基づく反復を用いて、前記水中構造物の先在する3次元モデルに対する前記センサの位置および向きを推定するように構成され、
    前記位置合わせされたサンプルに基づいて変化検出モデルを生成するように構成され
    前記変化検出モデルを前記水中構造物の前記先在する3次元モデルと比較するように構成され、
    前記比較に基づき、前記水中構造物の構造的変化が生じたかどうかを検出するように構成されたデータ処理装置と、を含むシステム。
  12. 前記送出、前記受信、前記取得、前記位置合わせ、前記生成、前記比較、および前記検出のステップは水中航走体上でリアルタイムで行われる、請求項1に記載の方法。
  13. 前記センサ、前記データ記憶装置、および前記データ処理装置は、前記水中航走体上でリアルタイムで動作する、請求項11に記載のシステム。
  14. 前記位置合わせは、ランダムサンプルコンセンサス処理ループを用いて、位置合わせおよび当てはめ処理を繰り返すことを含む、請求項1に記載の方法。
  15. 前記データ処理装置は、ランダムサンプルコンセンサス処理ループを用いて、位置合わせおよび当てはめ処理を繰り返し行うように構成されている、請求項11に記載のシステム。
JP2013536724A 2010-10-25 2011-10-25 水中構造物の構造的変化の検出 Expired - Fee Related JP6057905B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US40643510P 2010-10-25 2010-10-25
US61/406,435 2010-10-25
US13/280,914 US8942062B2 (en) 2010-10-25 2011-10-25 Detecting structural changes to underwater structures
PCT/US2011/057690 WO2012061135A2 (en) 2010-10-25 2011-10-25 Detecting structural changes to underwater structures
US13/280,914 2011-10-25

Publications (2)

Publication Number Publication Date
JP2014500486A JP2014500486A (ja) 2014-01-09
JP6057905B2 true JP6057905B2 (ja) 2017-01-11

Family

ID=45972944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536724A Expired - Fee Related JP6057905B2 (ja) 2010-10-25 2011-10-25 水中構造物の構造的変化の検出

Country Status (9)

Country Link
US (1) US8942062B2 (ja)
EP (1) EP2633339B1 (ja)
JP (1) JP6057905B2 (ja)
CN (1) CN103477244B (ja)
AU (1) AU2011323799B2 (ja)
BR (1) BR112013010122A2 (ja)
CA (1) CA2814839C (ja)
MY (1) MY162769A (ja)
WO (1) WO2012061135A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY162073A (en) 2010-10-25 2017-05-31 Lockheed Corp Building a three dimensional model of an underwater structure
AU2011323845B2 (en) 2010-10-25 2015-10-29 Lockheed Martin Corporation Estimating position and orientation of an underwater vehicle based on correlated sensor data
CA2814837A1 (en) * 2010-10-25 2012-05-10 Christian H. Debrunner Estimating position and orientation of an underwater vehicle relative to underwater structures
EP2633337A4 (en) 2010-10-25 2014-12-03 Lockheed Corp SONAR DATA ACQUISITION SYSTEM
US9846232B1 (en) 2012-01-05 2017-12-19 Teledyne Reson A/S Use of multi-beam sonar systems to generate point cloud data and models; data registration in underwater metrology applications
US9019795B2 (en) * 2012-09-05 2015-04-28 Codaoctopus Group Method of object tracking using sonar imaging
US8854920B2 (en) * 2012-09-05 2014-10-07 Codaoctopus Group Volume rendering of 3D sonar data
GB201301281D0 (en) 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US10247822B2 (en) 2013-03-14 2019-04-02 Navico Holding As Sonar transducer assembly
US9229108B2 (en) 2013-04-05 2016-01-05 Lockheed Martin Corporation Underwater platform with LIDAR and related methods
US9607370B2 (en) * 2014-01-15 2017-03-28 The Boeing Company System and methods of inspecting an object
US11250615B2 (en) 2014-02-21 2022-02-15 FLIR Belgium BVBA 3D bottom surface rendering systems and methods
GB201409625D0 (en) 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
DE102014107974A1 (de) * 2014-06-05 2015-12-17 Atlas Elektronik Gmbh Verfahren zum Ermitteln einer Unterwasserkarte, Unterwasserkarte sowie Fahrzeug
US11181637B2 (en) 2014-09-02 2021-11-23 FLIR Belgium BVBA Three dimensional target selection systems and methods
US11209543B2 (en) 2015-01-15 2021-12-28 Navico Holding As Sonar transducer having electromagnetic shielding
US10597130B2 (en) 2015-01-15 2020-03-24 Navico Holding As Trolling motor with a transducer array
US10061025B2 (en) * 2015-03-05 2018-08-28 Navico Holding As Methods and apparatuses for reconstructing a 3D sonar image
US10281577B2 (en) 2015-04-20 2019-05-07 Navico Holding As Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment
US20170371039A1 (en) 2015-04-20 2017-12-28 Navico Holding As Presenting objects in a sonar image of an underwater environment
JP6722521B2 (ja) * 2016-06-23 2020-07-15 古野電気株式会社 水中探知システム
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
US10719077B2 (en) 2016-10-13 2020-07-21 Navico Holding As Castable sonar devices and operations in a marine environment
KR101720327B1 (ko) * 2016-10-28 2017-03-28 한국지질자원연구원 수중 이상체의 위치 측정 장치 및 방법
AU2018261777B2 (en) * 2017-05-04 2023-05-11 3D at Depth, Inc. Systems and methods for monitoring underwater structures
CN107268526B (zh) * 2017-06-16 2019-05-21 中交一航局第一工程有限公司 一种基于Echoscope的护面块体安装辅助系统
US11082717B2 (en) 2017-07-05 2021-08-03 Onesubsea Ip Uk Limited Data compression for communication in subsea oil and gas systems
EP3652474A4 (en) 2017-07-10 2021-04-14 3D AT Depth, Inc. UNDERWATER OPTICAL MEASURING SYSTEM
CN108106577B (zh) * 2017-12-26 2020-09-01 刘大川 一种二维机械式扫描声呐图像检测铺排搭接宽度的方法
US10957072B2 (en) 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
EP3864435A4 (en) * 2018-10-10 2022-07-06 Farsounder, Inc. MACHINE-LEARNING THREE-DIMENSIONAL FORWARD-LOOKING SONAR TARGET RECOGNITION
CN110567745B (zh) * 2019-09-16 2022-06-07 中国铁道科学研究院集团有限公司铁道建筑研究所 一种桥梁水下桥墩检测评估系统
WO2021117165A1 (ja) * 2019-12-11 2021-06-17 富士通株式会社 生成方法、生成プログラム及び情報処理システム
CN115840218B (zh) * 2023-02-23 2023-05-23 青岛哈尔滨工程大学创新发展中心 用于水下航潜器的导航通信一体式超材料声纳
CN115951361B (zh) * 2023-03-13 2023-05-30 珠江水利委员会珠江水利科学研究院 基于大数据平台的海上风电桩的智能地形扫测方法
CN117053852B (zh) * 2023-10-11 2024-01-12 中交第一航务工程局有限公司 一种水下结构的光学测量矫正方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200931A (en) * 1991-06-18 1993-04-06 Alliant Techsystems Inc. Volumetric and terrain imaging sonar
TW259856B (ja) * 1994-03-29 1995-10-11 Gen Electric
DK1275012T3 (da) * 2000-03-03 2010-12-06 Atlas Elektronik Gmbh Fremgangsmåder og systemer til at navigere under vand
US6842401B2 (en) * 2000-04-06 2005-01-11 Teratech Corporation Sonar beamforming system
EP1305207B1 (en) * 2000-05-24 2007-09-05 Tapiren Survey System AB Method and arrangement relating to inspection
US20070159922A1 (en) * 2001-06-21 2007-07-12 Zimmerman Matthew J 3-D sonar system
AU2002345848A1 (en) * 2001-06-21 2003-01-08 Farsounder, Inc. Interferometric imaging method apparatus and system background of the invention
AU2002326936A1 (en) * 2001-09-17 2003-04-01 Bae Systems Information And Electronic Systems Integration Inc. Co-registered acoustical and optical cameras for underwater imaging
US6449215B1 (en) * 2001-10-09 2002-09-10 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional imaging system for sonar system
US6807921B2 (en) * 2002-03-07 2004-10-26 Dwight David Huntsman Underwater vehicles
JP4818921B2 (ja) * 2003-09-23 2011-11-16 ハイドロ−ケベック 水中の物体の位置をリアルタイムで決定するための方法および装置
US7257483B2 (en) * 2004-09-23 2007-08-14 HYDRO-QUéBEC Method and apparatus for determining the position of an underwater object in real-time
US7184926B2 (en) * 2005-03-16 2007-02-27 Trimble Navigation Limited Method for estimating the orientation of a machine
US7362653B2 (en) * 2005-04-27 2008-04-22 Teledyne Benthos, Inc. Underwater geopositioning methods and apparatus
WO2007030026A1 (en) * 2005-09-09 2007-03-15 Industrial Research Limited A 3d scene scanner and a position and orientation system
GB0521292D0 (en) * 2005-10-19 2005-11-30 Go Science Ltd Submersible vehicle
JP4753072B2 (ja) * 2005-11-14 2011-08-17 独立行政法人産業技術総合研究所 映像内の複数広告看板の認識方法
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
JP4568845B2 (ja) * 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
US8220408B2 (en) 2007-07-31 2012-07-17 Stone William C Underwater vehicle with sonar array
US7865316B2 (en) * 2008-03-28 2011-01-04 Lockheed Martin Corporation System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
US7970102B2 (en) * 2008-07-24 2011-06-28 Inspx Llc Apparatus and method for detecting foreign materials in a container
US8189428B2 (en) * 2008-08-06 2012-05-29 The Johns Hopkins University Methods and systems to detect changes in multiple-frequency band sonar data
JP5602392B2 (ja) * 2009-06-25 2014-10-08 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
AU2011323815B2 (en) 2010-10-25 2015-04-23 Lockheed Martin Corporation Remote flooded member detection
AU2011323845B2 (en) 2010-10-25 2015-10-29 Lockheed Martin Corporation Estimating position and orientation of an underwater vehicle based on correlated sensor data
EP2633337A4 (en) 2010-10-25 2014-12-03 Lockheed Corp SONAR DATA ACQUISITION SYSTEM
MY162073A (en) 2010-10-25 2017-05-31 Lockheed Corp Building a three dimensional model of an underwater structure
CA2814837A1 (en) 2010-10-25 2012-05-10 Christian H. Debrunner Estimating position and orientation of an underwater vehicle relative to underwater structures

Also Published As

Publication number Publication date
AU2011323799B2 (en) 2015-10-29
EP2633339A2 (en) 2013-09-04
CA2814839A1 (en) 2012-05-10
BR112013010122A2 (pt) 2018-07-24
JP2014500486A (ja) 2014-01-09
US20120099395A1 (en) 2012-04-26
WO2012061135A3 (en) 2013-10-03
WO2012061135A2 (en) 2012-05-10
CN103477244A (zh) 2013-12-25
MY162769A (en) 2017-07-14
EP2633339B1 (en) 2019-02-27
US8942062B2 (en) 2015-01-27
AU2011323799A1 (en) 2013-05-02
CN103477244B (zh) 2016-09-14
CA2814839C (en) 2018-12-04
EP2633339A4 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
JP6057905B2 (ja) 水中構造物の構造的変化の検出
JP5886303B2 (ja) 水中構造物の3次元モデルの構築
JP2013545096A (ja) 水中構造物に対する水中航走体の位置および向きの推定
US9223025B2 (en) Underwater platform with LIDAR and related methods
Roman et al. A self‐consistent bathymetric mapping algorithm
Teixeira et al. Underwater inspection using sonar-based volumetric submaps
JP2005528707A (ja) データ組間の特徴マッピング
Guerneve et al. Underwater 3d reconstruction using blueview imaging sonar
Pyo et al. Development of passive acoustic landmark using imaging sonar for AUV's localization
Marti Underwater Volumetric Occupancy Mapping with Imaging Sonar
Patel et al. Results of cylinder detection and fitting from real three dimensional underwater acoustic images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160523

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161206

R150 Certificate of patent or registration of utility model

Ref document number: 6057905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees