JP7336788B2

JP7336788B2 - 水中画像生成方法及びプログラム

Info

Publication number: JP7336788B2
Application number: JP2020051522A
Authority: JP
Inventors: 勝紀水野; 英樹杉本; 賢一郎堤; 雅也瀬戸
Original assignee: University of Tokyo NUC; Penta Ocean Construction Co Ltd
Current assignee: University of Tokyo NUC; Penta Ocean Construction Co Ltd
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2023-09-01
Anticipated expiration: 2040-03-23
Also published as: JP2021148729A

Description

本発明は、水中対象物の表面の状態を表す水中画像を生成する技術に関する。

水中対象物の劣化診断を行うために、従来、潜水士が潜水し対象となる水中対象物（以下、単に「対象物」ともいう）の表面を目視点検することが行われている。潜水士が対象物を目視点検して劣化診断を行う場合、対象物が濁水中にある場合、広い視界が取れず作業効率や安全性が低下する。

上記の問題を解消する技術として、音響カメラを用いて対象物の表面の状態を表す水中画像（以下、単に「画像」ともいう）を生成する技術が提案されている。例えば、特許文献１には、移動する船舶の船体側面から外側に張り出した位置で支持された伸縮ポールに取り付けられた音響カメラで対象物を撮影した画像を繋ぎ合わせることで、広範囲に渡る対象物の画像を生成する仕組みが提案されている。なお、音響カメラが撮影する画像は対象物の劣化診断が可能な程度に高精度である。

特開２０１２－１８１４７号公報

特許文献１に記載の発明においては、音響カメラの位置を特定するために、音響カメラによる対象物の撮影中、常時、伸縮ポールの水上に出ている部分に設置されたＧＰＳ（Global Positioning System）装置による測位が必要となる。そのため、特許文献１に記載の発明によれば、対応できる対象物の水深は数メートル～十数メートル程度に限られ、それより深い対象物には対応できない。

上記の事情に鑑み、本発明は、水中対象物の水深の大小にかかわらず、劣化診断が可能な程度に高精度な当該水中対象物の画像を生成する手段を提供する。

上述した課題を解決するために、本発明は、画像生成システムが、音響カメラの対地速度を示す対地速度データを継続的に取得するステップと、前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの移動中の前記音響カメラの対地速度を示す前記対地速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定するステップと、前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定するステップにおいて特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップとを備える画像生成方法を第１の態様として提供する。

また、本発明は、画像生成システムが、音響カメラの加速度を示す加速度データを継続的に取得するステップと、前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの加速度を示す前記加速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定するステップと、前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定するステップにおいて特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップとを備える画像生成方法を第２の態様として提供する。

第１又は第２の態様の画像生成方法によれば、水中対象物の水深の大小にかかわらず、劣化診断が可能な程度に高精度な当該水中対象物の画像が生成される。

第１又は第２の態様の画像生成方法において、前記画像生成システムが、前記音響カメラが水面近くにあったときに全球測位衛星システムにより測位した前記音響カメラの絶対位置を示す基準位置データを取得するステップを備え、前記画像生成システムは、前記基準位置データが示す絶対位置を前記既知位置として用いる、という構成が第３の態様として採用されてもよい。

第３の態様の画像生成方法によれば、音響カメラが水中に投下される直前または直後に全球測位衛星システムにより測位された高精度の絶対位置が音響カメラの現在位置を測定するための基準位置として用いられるため、対地速度計の稼働までの時間差が少なくなり、発生する位置ずれが低減され、生成される画像の位置精度が高い。

第３の態様の画像生成方法において、前記画像生成システムが、前記画像データが表す画像から特徴量を抽出するステップと、前記画像生成システムが、予め登録されている位置が既知の前記対象物の既知特異点から、前記特徴量を抽出するステップにおいて抽出した特徴量とマッチする特徴量の既知特異点を検索するステップと、前記既知特異点を検索ステップにおいて既知特異点が検索された場合、前記画像生成システムは、検索された既知特異点の位置から特定される前記音響カメラの位置を、新たな前記既知位置として用いる、という構成が第４の態様として採用されてもよい。

第４の態様の画像生成方法によれば、音響カメラが水中で移動中に撮影した画像に既知位置の既知特異点が含まれる場合、その既知特異点の既知位置に基づき、音響カメラの現在位置を測定するための基準位置が更新されるため、対地速度や加速度から算出される音響カメラの現在位置に伴う誤差の蓄積が回避される。

また、本発明は、画像生成システムが、音響測位システムにより測位された音響カメラの位置を示す位置データを取得するステップと、前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記位置データが示す前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップとを備える画像生成方法を第５の態様として提供する。

第５の態様の画像生成方法によれば、水中対象物の水深の大小にかかわらず、劣化診断が可能な程度に高精度な当該水中対象物の画像が生成される。

第１乃至第５のいずれかの画像生成方法において、前記音響カメラが異なる時点で前記対象物を撮影した複数の画像の各々に関し、前記画像生成システムが特徴量を抽出するステップと、前記画像生成システムが、前記複数の画像の各々に関し抽出した特徴量がマッチする位置で前記複数の画像を連結するステップとを備え、前記歪みを補正するステップにおいて、前記画像生成システムは、前記連結するステップにおいて前記複数の画像を連結した画像の歪みを補正する、という構成が第６の態様として採用されてもよい。

また、第１乃至第５のいずれかの画像生成方法において、前記音響カメラが異なる時点で前記対象物を撮影した複数の画像の各々に関し、前記画像生成システムが前記歪みを補正するステップにおいて歪みを補正した画像から特徴量を抽出するステップと、前記画像生成システムが、前記特徴量を抽出するステップにおいて前記複数の画像の各々から抽出した特徴量がマッチする位置で、歪みを補正した前記複数の画像を連結するステップとを備える、という構成が第７の態様として採用されてもよい。

第６又は第７の態様の画像生成方法によれば、広範囲に渡る水中対象物の画像が生成される。

また、本発明は、コンピュータに、音響カメラの対地速度を示す対地速度データを継続的に取得する処理と、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの対地速度を示す前記対地速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定する処理と、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定する処理において特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理とを実行させるためのプログラムを第８の態様として提供する。

また、本発明は、コンピュータに、音響カメラの加速度を示す加速度データを継続的に取得する処理と、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの加速度を示す前記加速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定する処理と、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定する処理において特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理とを実行させるためのプログラムを第９の態様として提供する。

また、本発明は、コンピュータに、音響測位システムにより測位された音響カメラの位置を示す位置データを取得する処理と、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記位置データが示す前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理とを実行させるためのプログラムを第１０の態様として提供する。

第８乃至第１０のいずれかの態様の画像生成方法によれば、コンピュータによって、水中対象物の水深の大小にかかわらず、劣化診断が可能な程度に高精度な当該水中対象物の画像が生成される。

本発明によれば、水中対象物の水深の大小にかかわらず、劣化診断が可能な程度に高精度な当該水中対象物の画像が生成される。

一実施形態に係る画像生成システムの全体構成を模式的に示した図。一実施形態に係るデータ処理装置の機能構成を示した図。一実施形態に係る水中ユニットが音響カメラで撮影を行いながら水中を移動する様子を示した図。一実施形態に係るデータ処理装置が広範囲画像データを生成するために行う処理のフローを示した図。一実施形態に係るデータ処理装置が生成する複数の矩形画像を例示した図。一実施形態に係るデータ処理装置が生成する広範囲画像を例示した図。一実施形態に係るデータ処理装置が特定した絶対位置に矩形画像を配置した場合に広範囲画像が占める領域を例示した図。一実施形態に係るデータ処理装置が特定した領域の中心に配置された広範囲画像を例示した図。一実施形態に係るデータ処理装置が縦方向のスケールを調整した後の広範囲画像を例示した図。一実施形態に係るデータ処理装置が横方向のスケールを調整した後の広範囲画像を例示した図。一実施形態に係るデータ処理装置が矩形画像の絶対位置に基づき局所的な変形を行った後の広範囲画像を例示した図。一実施形態に係るデータ処理装置により歪みが除去された広範囲画像を例示した図。一変形例に係る画像生成システムの構成を示した図。一変形例に係るデータ処理装置に記憶される特異点に関するデータを格納するテーブルの構成を例示した図。一変形例に係るデータ処理装置が広範囲画像データを生成するために行う処理のフローを示した図。

［実施形態］
以下、本発明の実施形態に係る画像生成方法Ｍと、画像生成方法Ｍを実施するためのシステムである画像生成システム１を説明する。画像生成方法Ｍは、岸壁、桟橋、ケーソン、ダム等の水中構造物や、養殖場の網等の表面を走査するように音響カメラで撮影した複数の画像を連結して、広範囲に渡る水中対象物の画像を生成する方法である。画像生成方法Ｍにより生成される画像は、水中対象物の表面に生じているクラックや変形等の有無を判別可能な程度に高精度な画像である。画像生成方法Ｍの実施者（画像生成システム１のユーザ）は、画像生成方法Ｍにより生成される画像を目視確認することで、潜水士等による水中対象物の目視確認を要することなく、水中対象物の劣化診断を行うことができる。

図１は、画像生成システム１の全体構成を模式的に示した図である。図１において、撮影対象の水中対象物は岸壁Ｑである。画像生成システム１は、まず、ＲＯＶ１１と、ＲＯＶ１１に取り付けられたフレーム１２と、フレーム１２に取り付けられた音響カメラ１３と、フレーム１２に取り付けられた慣性航法装置１４と、フレーム１２に取り付けられた対地速度計１５と、フレーム１２に取り付けられた水没対応型のＧＮＳＳユニット１６を備える。以下、ＲＯＶ１１、フレーム１２、音響カメラ１３、慣性航法装置１４、対地速度計１５及びＧＮＳＳユニット１６のアセンブリを水中ユニット２０と呼ぶ。

また、画像生成システム１は、ＲＯＶ１１を制御する装置群であるＲＯＶ制御盤１７と、音響カメラ１３が撮影した画像を連結して広範囲に渡る対象物の画像を生成するためのデータ処理を行うデータ処理装置１０と、ケーブル群１８と、ケーブル群１８の送り出し及び巻き取りを行うウィンチ１９を備える。

ＲＯＶ１１はユーザの操作に応じて動作するＲＯＶ制御盤１７の制御下で水中を航行する遠隔操作型の無人潜水機（Remotely Operated Vehicle）である。

音響カメラ１３は、複数の超音波ビームを送波し、対象物で反射した超音波ビームを受波し、それらの超音波ビームの送波から受波までに要した時間に基づき音響カメラから対象物の表面上の多数の点の各々までの距離を算出することで、対象物の表面の起伏等を濃淡で表すエコー画像を生成し、生成したエコー画像を表すデータ（以下、「エコー画像データ」という）を出力する装置である。現在市場で販売されており、音響カメラ１３として採用可能な製品としては、例えば、Sound Metrics社（米国）のDIDSON（Dual frequency IDentification SONar）音響ビデオカメラシリーズや、その後継シリーズであるARIS（Adaptive Resolution Imaging Sonar）高精度２周波音響カメラシリーズがある。

慣性航法装置１４は、加速度計とジャイロセンサを備え、加速度計で継続的に測定する加速度を積分することで自装置の移動速度を算出し、移動速度を積分することで基準位置からの自装置の移動距離を算出すると共に、ジャイロセンサで自装置の移動方角を継続的に測定する装置である。そして、慣性航法装置１４は、基準位置からの自装置の移動距離と移動方角のベクトルを細分点ごとに合成してゆくことにより、自装置の現在位置を特定する。慣性航法装置１４は、基準位置を入力すれば、その後、自装置の現在位置を示すデータ（以下、「慣性航法装置位置データ」という）と、自装置の移動速度と移動方角を示すデータ（以下、「移動ベクトルデータ」という）と、自装置の姿勢（自装置に正面が向いている方角と、自装置が水平面に対しどちらの方角に何度傾斜しているか、という情報）とを示すデータ（以下、「姿勢データ」という）を継続的に出力する。

対地速度計１５は、非接触型の対地速度計であり、例えば、音波を用いたドップラー式の対地速度計である。対地速度計１５は、自装置の対地速度（移動方向を伴う速度ベクトル）を測定し、測定した対地速度を示すデータ（以下、「対地速度データ」という）を出力する。対地速度計１５は、自装置から対象物までの距離も測定し、測定した距離を示すデータ（以下、「距離データ」という）を出力する。現在市場で販売されており、対地速度計１５として採用可能な製品としては、例えば、Nortek社（ノルウェー）のDVL（Doppler Velocity Log）シリーズがある。

ＧＮＳＳユニット１６は、ＧＮＳＳ（Global Navigation Satellite System / 全球測位衛星システム）により自装置の地球上の３次元位置を測定し、測定した位置を示すデータ（以下、「ＧＮＳＳ位置データ」という）を出力する装置である。ＧＮＳＳユニット１６は、図視せぬ複数の人工衛星から送信される信号を用いて自装置の位置を測定する。なお、人工衛星から送信される信号は水中まで届かないため、ＧＮＳＳユニット１６は水中で測位することはできないが、水没対応型であり水没しても故障することはない。

ケーブル群１８には、ＲＯＶ１１とＲＯＶ制御盤１７を接続する電力ケーブル及び通信ケーブルと、音響カメラ１３、慣性航法装置１４、対地速度計１５及びＧＮＳＳユニット１６の各々とデータ処理装置１０を接続する通信ケーブルと、音響カメラ１３、慣性航法装置１４、対地速度計１５及びＧＮＳＳユニット１６の各々と図視せぬ電源を接続する電力ケーブルとが含まれる。

データ処理装置１０のハードウェアは一般的なコンピュータである。すなわち、データ処理装置１０は、各種データを記憶するメモリと、メモリに記憶されているプログラムに従いデータ処理を行うプロセッサと、プロセッサの制御下で外部の装置との間でデータの入出力を行う入出力インタフェースとを備える。

データ処理装置１０は、本実施形態に係るプログラムに従う処理を実行することにより、図２に示す構成部を備える装置として機能する。以下に図２に示すデータ処理装置１０の構成部（機能構成部）を説明する。

データ取得部１０１は、外部の装置から各種データを取得する。データ取得部１０１は、エコー画像データ取得部１０１１、姿勢データ取得部１０１２、対地速度データ取得部１０１３、距離データ取得部１０１４及びＧＮＳＳ位置データ取得部１０１５を含む。

エコー画像データ取得部１０１１は音響カメラ１３が出力するエコー画像データを取得する。姿勢データ取得部１０１２は慣性航法装置１４が出力する姿勢データを取得する。対地速度データ取得部１０１３は対地速度計１５が出力する対地速度データを取得する。距離データ取得部１０１４は対地速度計１５が出力する距離データを取得する。ＧＮＳＳ位置データ取得部１０１５はＧＮＳＳユニット１６が出力するＧＮＳＳ位置データを取得する。

記憶部１０２は各種データを記憶する。例えば、データ取得部１０１が取得した各種データは記憶部１０２に記憶される。計時部１０３は基準時刻からの経過時間を継続的に計測し、現在時刻を示すデータ（以下、「時刻データ」という）を生成する。データ取得部１０１は外部の装置からデータを取得すると、その時点における現在時刻を示す時刻データを計時部１０３から取得し、外部の装置から取得したデータにその時刻データを対応付けて記憶部１０２に記憶させる。以下、同じ時刻データが対応付けられているデータを「同じ時刻のデータ」といい、最新の時刻を示す時刻データが対応付けられているデータを「最新のデータ」という。

音響カメラ位置特定部１０４は、音響カメラ１３が対象物を撮影した時点における音響カメラ１３の位置（地球上の３次元位置）を特定する。音響カメラ位置特定部１０４は、まず、記憶部１０２に記憶されているＧＮＳＳ位置データの中から最新のＧＮＳＳ位置データを読み出し、そのＧＮＳＳ位置データが示す絶対位置に、ＧＮＳＳユニット１６から音響カメラ１３に向かう位置ベクトルを加算して、最後にＧＮＳＳユニット１６が測位した時点における音響カメラ１３の位置を特定する。以下、この位置を「基準位置」という。

続いて、音響カメラ位置特定部１０４は、音響カメラ１３が基準位置にあった時刻以降のエコー画像データ（まだ撮影時の音響カメラ１３の位置が特定されていないもの）の各々に関し、音響カメラ１３が基準位置にあった時刻からエコー画像の撮影時刻までの期間内の対地速度データを抽出する。

続いて、音響カメラ位置特定部１０４は、抽出した対地速度データが示す対地速度（速度ベクトル）を積分する（すなわち、細分点ごとに合成してゆく）ことにより、音響カメラ１３が基準位置にいた時刻からエコー画像の撮影時刻までの移動距離（位置ベクトル）を特定する。音響カメラ位置特定部１０４は、そのように特定した移動距離（位置ベクトル）を基準位置に加算して、音響カメラ１３が対象物を撮影した時点における音響カメラ１３の位置を特定する。音響カメラ位置特定部１０４は、特定した位置を示すデータ（以下、「撮影位置データ」という）をエコー画像データに対応付けて記憶部１０２に記憶させる。

画像補正部１０５は、複数のエコー画像データが表す画像に対し変換処理、連結処理、補正処理を行い、広範囲に渡る対象物の画像を表すデータ（以下、「広範囲画像データ」という）を生成する。画像補正部１０５が広範囲画像データの生成のために行う処理に関しては後述する。

図３は、水中ユニット２０が音響カメラ１３で撮影を行いながら水中を移動する様子を示した図である。水中ユニット２０は、ユーザによるＲＯＶ制御盤１７に対する操作に応じたＲＯＶ１１の航行により、平面視した場合（図３（Ｃ）参照）、音響カメラ１３の撮影方向が岸壁Ｑの表面に対峙する姿勢で、岸壁Ｑとの距離を一定（距離ｄ）に保ちながら、図３（Ｂ）に矢印で示されるように、岸壁Ｑの表面を走査するように移動する。

水中ユニット２０の移動が完了すると、データ処理装置１０には、撮影位置データが対応付けられた多数のエコー画像データ、多数の姿勢データ、多数の対地速度データ、多数の距離データが記憶された状態となる。データ処理装置１０の画像補正部１０５は、例えばユーザによる所定の操作に応じて、それらのデータを用いて、広範囲画像データの生成のための処理を行う。図４は、データ処理装置１０の画像補正部１０５が広範囲画像データを生成するために行う処理のフローを示した図である。以下に、図４のフローを説明する。

まず、画像補正部１０５は、複数のエコー画像データの各々に関し、矩形形状のエコー画像データを扇形のエコー画像に変換する（ステップＳ１０１）。エコー画像は放射状に送波される超音波ビームにより撮影されるため、本来の形状は扇形である。ステップＳ１０１において、画像補正部１０５は、エコー画像の形状を本来の形状である扇形に変形する。以下、ステップＳ１０１において変形後の扇形のエコー画像を「扇形画像」という。

続いて、画像補正部１０５は、ステップＳ１０１において生成された複数の扇形画像の各々から矩形の画像を切り出すトリミング処理を行う（ステップＳ１０２）。以下、ステップＳ１０２において切り出された矩形の画像を「矩形画像」という。ステップＳ１０２において、画像補正部１０５は扇形画像のうち像が不鮮明な外縁周辺の領域を取り除く。図５は、ステップＳ１０２にいて生成される複数の矩形画像を例示した図である。

続いて、画像補正部１０５は、ステップＳ１０２において生成した複数の矩形画像の各々に関し、矩形画像から特徴量を抽出する（図４、ステップＳ１０３）。ステップＳ１０３において、画像補正部１０５が特徴量を抽出する方法としては、既知の様々な方法が採用可能であるが、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）等の局所勾配特徴抽出法が特に適している。

続いて、画像補正部１０５は、ステップＳ１０２において生成した複数の矩形画像の各々を、それらの矩形画像の生成に用いたエコー画像データに対応付けられている撮影位置データが示す撮影位置に従い並べた後、互いに隣り合う２枚の矩形画像から、ステップＳ１０３において抽出した特徴量がマッチする位置（特徴点）を検索する（ステップＳ１０４）。

続いて、画像補正部１０５は、ステップＳ１０４において検索した特徴点が一致するように矩形画像の位置を移動させた後、それらの矩形画像を連結する（ステップＳ１０５）。ステップＳ１０５における連結により生成される画像を以下、「広範囲画像」という。図６は、図５に示した矩形画像を用いて、ステップＳ１０５において生成される広範囲画像を例示した図である。

続いて、画像補正部１０５は、広範囲画像を構成する複数の矩形画像の各々に応じた撮影位置データ、すなわち、矩形画像の生成に用いられたエコー画像データに対応付けられている撮影位置データと、その撮影位置データと同じ時刻の姿勢データ及び距離データとに基づき、矩形画像の絶対位置を特定する（図４、ステップＳ１０６）。図７は、図６に示した広範囲画像を構成する矩形画像をステップＳ１０６において特定した絶対位置に配置した場合に広範囲画像が占める領域Ｒを例示した図である。

続いて、画像補正部１０５は広範囲画像を、ステップＳ１０６において特定した矩形画像の位置データ群に基づき変形することで、広範囲画像の歪みを補正する（ステップＳ１０７）。そのために、まず、画像補正部１０５は、図８に示すように、広範囲画像を領域Ｒの中心に配置する。続いて、画像補正部１０５は、図９に示すように、広範囲画像の縦方向に占める領域が領域Ｒと一致するように、広範囲画像の縦方向のスケールを調整する。続いて、画像補正部１０５は、図１０に示すように、広範囲画像の横方向に占める領域が領域Ｒと一致するように、広範囲画像の横方向のスケールを調整する。続いて、画像補正部１０５は、広範囲画像を構成する矩形画像の各々の位置がそれらの絶対位置と一致するように、広範囲画像を局所的に変形させる。図１１は、そのような局所的な変形を行った後の広範囲画像を例示している。これにより、歪みが除去された広範囲画像（図１２）が生成される。画像補正部１０５は、そのように歪みを除去した広範囲画像を表すデータを記憶部１０２に記憶させる。

上述した画像生成システム１により実施される画像生成方法Ｍによれば、水中ユニット２０が水中に投下された後、音響カメラ１３の地球上の３次元位置は、対地速度計１５により測定される対地速度（速度ベクトル）の積分により求まる移動距離（位置ベクトル）により継続的に特定される。従って、音響カメラ１３による対象物の撮影が、人工衛星からの信号が受信できないためにＧＮＳＳによる地球上の３次元位置が測定できない程に深い水中において行われても、画像生成方法Ｍによれば、歪みが除去された高精度な広範囲画像が生成される。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。なお、以下に示す２以上の変形例が適宜組み合わされてもよい。

（１）上述した実施形態においては、音響カメラ１３等の水中で用いられる装置はＲＯＶ１１に設置されて用いられるが、音響カメラ１３等の水中で用いられる装置を使用するための手段はＲＯＶに限られない。例えば、ＲＯＶに代えて、ＡＵＶ（Autonomous Underwater Vehicle）が用いられてもよい。

（２）上述した実施形態においては、慣性航法装置１４が備えるジャイロセンサにより測定される姿勢が、エコー画像の撮影時の音響カメラ１３の姿勢として用いられる。これに代えて、水中ユニット２０が音響カメラ１３の姿勢を測定するジャイロセンサを備え、ジャイロセンサが測定した姿勢が用いられてもよい。また、水中ユニット２０が方位計及び傾斜計を備え、方位計が測定する方角と傾斜計が測定する水平面に対する傾斜方向及び傾斜角度とに基づき特定される水中ユニット２０の姿勢が、音響カメラ１３の姿勢として用いられてもよい。

（３）上述した実施形態においては、対地速度計１５が測定する対地速度（速度ベクトル）を積分して求められる基準位置からの移動距離（位置ベクトル）に基づき、音響カメラ１３の位置が特定される。これに代えて、慣性航法装置１４が出力する慣性航法装置位置データが示す位置に、慣性航法装置１４から音響カメラ１３に向かう位置ベクトルを加算して、音響カメラ１３の位置が特定されてもよい。また、水中ユニット２０が加速度計を備え、加速度計が計測する加速度（ベクトル）を２階積分して求められる基準位置からの移動距離（位置ベクトル）に基づき、音響カメラ１３の位置が特定されてもよい。

また、音響カメラ１３の位置を特定するために、対地速度と加速度（慣性航法装置１４が備える加速度計により測定される加速度を含む）の両方が用いられてもよい。例えば、対地速度計１５が測定する対地速度に基づき特定される音響カメラ１３の位置と、慣性航法装置１４が出力する慣性航法装置位置データが示す位置の平均値（算術平均値や、それらの精度に応じた加重平均値等）が広範囲画像の生成のために用いられてもよい。この場合、異なる方法で特定される２つの位置に含まれる誤差が一定の確率で相殺されるため、いずれか一方のみを用いる場合と比較し、高い精度で音響カメラ１３の位置が特定され、結果として高い精度の広範囲画像が得られる。

（４）対地速度計１５により音響カメラ１３の位置を特定することに代えて、音響測位システムにより音響カメラ１３の位置を特定してもよい。図１３は、水中ユニット２０が、フレーム１２に取り付けられたトランスポンダを備える変形例に係る画像生成システム２の構成を示した図である。なお、画像生成システム２は、画像生成システム１と同様に、ＲＯＶ制御盤１７、データ処理装置１０、ケーブル群１８及びウィンチ１９を備えるが、図１３においてそれらは省略されている。

画像生成システム２は、水深が浅い水中に設置されたトランシーバ２１と、トランシーバ２１とバー等で連結され、トランシーバ２１と所定の位置関係を保つ位置に配置されたＧＮＳＳユニット２２と、フレーム１２に取り付けられたトランスポンダ２３を備える。ＧＮＳＳユニット２２とトランシーバ２１はデータ処理装置１０と通信ケーブルにより接続されている。

トランシーバ２１は、例えばＵＳＢＬ（Ultra Short Base Line）方式の音響測位システムを構成するトランシーバであり、水中に応答要求（音響信号）を送信し、その応答としてトランスポンダ２３から送信される応答（音響信号）を３本以上の受信アレイの各々で受信し、受信した信号の位相差から自装置（トランシーバ２１）の位置を基準とするトランスポンダ２３の位置を測定する。トランシーバ２１は、そのように測定した自装置からトランスポンダ２３に向かうベクトルを示すデータをデータ処理装置１０に送信する。

ＧＮＳＳユニット２２はＧＮＳＳユニット１６と同様に、人工衛星からの信号を用いて自装置の地球における３次元位置を測定し、測定した位置を示すデータをデータ処理装置１０に送信する。

データ処理装置１０は、ＧＮＳＳユニット２２から受信するＧＮＳＳユニット２２の地球における３次元位置に、ＧＮＳＳユニット２２からトランシーバ２１に向かうベクトルを加算し、さらに、トランシーバ２１から受信するトランシーバ２１からトランスポンダ２３に向かうベクトルを加算して、トランスポンダ２３の地球における３次元位置を特定する。データ処理装置１０は、そのように特定したトランスポンダ２３の位置に、トランスポンダ２３から音響カメラ１３に向かうベクトルを加算して、音響カメラ１３の位置を特定する。

なお、画像生成システム２において採用される音響測位システムの構成は、図１３に示したものに限られない。例えば、水中の３点以上の既知位置にトランスポンダを配置し、水中ユニット２０が１本の受信アンテナを備えるトランシーバを備え、トランシーバが発信する応答要求に応じて３以上のトランスポンダの各々から発信される応答をトランシーバが受信することにより、トランシーバの位置を測定する構成が採用されてもよい。

（５）上述した実施形態においては、水中ユニット２０が水中に投下される直前にＧＮＳＳユニット１６により測定された位置が基準位置として用いられ、対地速度計１５の測定値に基づき特定される水中での音響カメラ１３の移動距離（位置ベクトル）が基準位置に加算されることで、音響カメラ１３の位置が特定される。この基準位置が、音響カメラ１３が水中を移動中に更新されてもよい。

基準位置を更新する構成の一例として、上述の変形例（４）において採用される音響測位システム（図１３参照）を用いる構成が考えられる。この構成による場合、データ処理装置１０は、対地速度計１５の測定値に基づき特定される音響カメラ１３の位置から、音響測位システムの測定値に基づき特定される音響カメラ１３の位置に向かうベクトルを継続的に算出し、過去の所定期間に算出したそれらのベクトルを平滑化した値（例えば平均値）が所定の閾値を超えた時点で、基準位置に平滑化したベクトルの値を加算して得られる位置を新たな基準位置とする。

基準位置を更新する構成の他の一例として、予め対象物の表面に存在する位置が既知の特異点の画像の特徴量をデータ処理装置１０に記憶しておき、図４のステップＳ１０３において抽出された特徴量とマッチする特徴量の既知特異点の既知位置に基づき、基準位置を更新する構成が考えられる。

図１４は、この構成においてデータ処理装置１０に記憶される特異点に関するデータを格納するテーブルの構成を例示した図である。すなわち、データ処理装置１０には、特異点の各々に関し、既知位置（地球における３次元位置）と、その特異点の画像から抽出された既知特徴量が記憶されている。データ処理装置１０の音響カメラ位置特定部１０４は、画像補正部１０５が図４のステップＳ１０３において抽出した特徴量とマッチする既知特徴量を図１４のテーブルから検索し、マッチする既知特徴量が検索された場合、その特徴量の特異点の既知位置と、矩形画像における特異点の画像の位置と、撮影時の姿勢データが示す音響カメラ１３の姿勢と、撮影時の距離データが示す音響カメラ１３から対象物までの距離とに基づき、撮影時における音響カメラ１３の絶対位置を特定する。この絶対位置を、新たな基準位置として用いる。

（６）上述した実施形態においては、音響カメラ１３と対象物との距離は、対地速度計１５により測定される。これに代えて、水中ユニット２０が音響測距計を備え、音響測距計により測定された音響カメラ１３から対象物までの距離が用いられてもよい。また、水が澄んでおり、水中の光減衰率が小さい場合は、音響測距計に代えて、光学測距計が用いられてもよい。

（７）上述した実施形態においては、隣り合う矩形画像を特徴量のマッチングにより連結して広範囲画像を生成した後、広範囲画像を、矩形画像の絶対位置に基づき補正する、という順序で処理が行われる。これに代えて、矩形画像の歪みを補正した後、補正後の矩形画像を連結して広範囲画像を生成する、という順序で処理が行われてもよい。

図１５は、この変形例においてデータ処理装置１０の画像補正部１０５が広範囲画像データを生成するために行う処理のフローを例示した図である。この変形例において、画像補正部１０５は、実施形態における場合と同様にステップＳ１０１及びＳ１０２の処理を行った後、複数の矩形画像の各々の絶対位置を特定する（ステップＳ２０１）。

続いて、画像補正部１０５は、複数の矩形画像の各々をステップＳ２０１において特定した絶対位置に配置し、絶対位置において矩形画像が占める領域にフィットするように、矩形画像を変形させることで、矩形画像の歪みを除去する補正を行う（ステップＳ２０２）。

続いて、画像補正部１０５は、歪み除去のための補正が行われた複数の矩形画像の各々に関し、特徴量の抽出を行う（ステップＳ２０３）。

続いて、画像補正部１０５は、ステップＳ２０３において抽出した特徴量のマッチングを行い、共通する特徴点を検索する（ステップＳ２０４）。

続いて、画像補正部１０５は、ステップＳ２０４において検索された共通する特徴点の位置が一致するように矩形画像を変形した後、それらの矩形画像を連結する（ステップＳ２０５）。これにより、歪みの除去された広範囲画像が得られる。画像補正部１０５は、そのように生成した広範囲画像を表す広範囲画像データを記憶部１０２に記憶させる。

（８）上述した実施形態においては、音響カメラ位置特定部１０４により特定した音響カメラ１３の撮影時における位置を示す撮影位置データは、エコー画像データに対応付けられる。撮影位置データは、エコー画像データに代えて、エコー画像データから生成される矩形画像を表すデータに対応付けられてもよい。

（９）上述した実施形態においては、水没対応型のＧＮＳＳユニット１６が常時、フレーム１２を介してＲＯＶ１１に取り付けられているものとしたが、ＧＮＳＳユニット１６は水中で測位することはできない。従って、水中ユニット２０が水中に投入される前にＧＮＳＳユニット１６がＲＯＶ１１から取り外されてもよい。この場合、ＧＮＳＳユニット１６は水没非対応型であってもよい。この変形例においては、水中ユニット２０が水中に投入される直前にＧＮＳＳユニット１６が測定した三次元位置を示すＧＮＳＳ位置データがデータ処理装置１０に入力された後、ＧＮＳＳユニット１６がフレーム１２から取り外され、その後、水中ユニット２０（ＧＮＳＳユニット１６を含まない）が水中に投入される。

１…画像生成システム、２…画像生成システム、１０…データ処理装置、１１…ＲＯＶ、１２…フレーム、１３…音響カメラ、１４…慣性航法装置、１５…対地速度計、１６…ＧＮＳＳユニット、１７…ＲＯＶ制御盤、１８…ケーブル群、１９…ウィンチ、２０…水中ユニット、２１…トランシーバ、２２…ＧＮＳＳユニット、２３…トランスポンダ、１０１…データ取得部、１０２…記憶部、１０３…計時部、１０４…音響カメラ位置特定部、１０５…画像補正部、１０１１…エコー画像データ取得部、１０１２…姿勢データ取得部、１０１３…対地速度データ取得部、１０１４…距離データ取得部、１０１５…ＧＮＳＳ位置データ取得部。

Claims

画像生成システムが、音響カメラの対地速度を示す対地速度データを継続的に取得するステップと、
前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの移動中の前記音響カメラの対地速度を示す前記対地速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定するステップと、
前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定するステップにおいて特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップと
を備える画像生成方法。
画像生成システムが、音響カメラの加速度を示す加速度データを継続的に取得するステップと、
前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの加速度を示す前記加速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定するステップと、
前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定するステップにおいて特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップと
を備える画像生成方法。
前記画像生成システムが、前記音響カメラが水面近くにあったときに全球測位衛星システムにより測位した前記音響カメラの絶対位置を示す基準位置データを取得するステップを備え、
前記画像生成システムは、前記基準位置データが示す絶対位置を前記既知位置として用いる
請求項１又は２に記載の画像生成方法。
前記画像生成システムが、前記画像データが表す画像から特徴量を抽出するステップと、
前記画像生成システムが、予め登録されている位置が既知の前記対象物の既知特異点から、前記特徴量を抽出するステップにおいて抽出した特徴量とマッチする特徴量の既知特異点を検索するステップと、
前記既知特異点を検索ステップにおいて既知特異点が検索された場合、前記画像生成システムは、検索された既知特異点の位置から特定される前記音響カメラの位置を、新たな前記既知位置として用いる
請求項３に記載の画像生成方法。
画像生成システムが、音響測位システムにより測位された音響カメラの位置を示す位置データを取得するステップと、
前記画像生成システムが、前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得するステップと、
前記画像生成システムが、前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得するステップと、
前記画像生成システムが、前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記位置データが示す前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正するステップと
を備える画像生成方法。
前記音響カメラが異なる時点で前記対象物を撮影した複数の画像の各々に関し、前記画像生成システムが特徴量を抽出するステップと、
前記画像生成システムが、前記複数の画像の各々に関し抽出した特徴量がマッチする位置で前記複数の画像を連結するステップと
を備え、
前記歪みを補正するステップにおいて、前記画像生成システムは、前記連結するステップにおいて前記複数の画像を連結した画像の歪みを補正する
請求項１乃至５のいずれか１項に記載の画像生成方法。
前記音響カメラが異なる時点で前記対象物を撮影した複数の画像の各々に関し、前記画像生成システムが前記歪みを補正するステップにおいて歪みを補正した画像から特徴量を抽出するステップと、
前記画像生成システムが、前記特徴量を抽出するステップにおいて前記複数の画像の各々から抽出した特徴量がマッチする位置で、歪みを補正した前記複数の画像を連結するステップと
を備える請求項１乃至５のいずれか１項に記載の画像生成方法。
コンピュータに、
音響カメラの対地速度を示す対地速度データを継続的に取得する処理と、
前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、
前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの対地速度を示す前記対地速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定する処理と、
前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定する処理において特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理と
を実行させるためのプログラム。
コンピュータに、
音響カメラの加速度を示す加速度データを継続的に取得する処理と、
前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、
前記音響カメラが前記対象物を撮影する前に既知位置にあった時点から前記対象物を撮影した時点までの期間中の前記音響カメラの加速度を示す前記加速度データを用いて前記音響カメラが前記対象物を撮影した時点における前記音響カメラの位置を特定する処理と、
前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記音響カメラの位置を特定する処理において特定した前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理と
を実行させるためのプログラム。
コンピュータに、
音響測位システムにより測位された音響カメラの位置を示す位置データを取得する処理と、
前記音響カメラが水中で対象物を撮影した画像を表す画像データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラの姿勢を示す姿勢データを取得する処理と、
前記音響カメラが前記対象物を撮影した時点における前記音響カメラと前記対象物との距離を示す距離データを取得する処理と、
前記姿勢データが示す前記音響カメラの姿勢と、前記距離データが示す前記音響カメラと前記対象物との距離と、前記位置データが示す前記音響カメラの位置とに基づき、前記画像データが表す画像の歪みを補正する処理と
を実行させるためのプログラム。