JP5266454B2 - 音響映像生成装置、及びプログラム - Google Patents

Description

本発明は、ソナーを利用して生成される音響映像を生成する音響映像生成装置及び、そのためのプログラムに関する。

水中で利用可能なレーダーとして、ソナーが広く知られている。このソナーは水中で音波を照射し、当該音波が対象物で反射して生じた反射波を受信し、その強度ないし振幅を輝度の信号として映像化するものである。

近年、解像度の高いソナーとして、図１２に示すようなものがある。このソナーでは、所定の配列方向に音響発生器１１をＫ個配列（Ｋは２以上の整数）している。また、このソナーは、音響受波器１２と造影部１３とを備える。

各音響発生器１１はその配列方向に対して垂直な方向に広がるよう指向されたパルス音を発する。具体的には図１３に示すように、音響発生器１１の配列方向に音響発生器１１の数Ｋだけ、ソナーの音波放射方向に伸びた箱状の領域を分割して得られるＫ個の略板状の領域Ｒに、各音響発生器１１からのパルス音波が音響ビームとしてそれぞれ放射されることとなる。

音響受波器１２では、音響発生器１１が音響ビームを放射してからその反射波を受けるまでの時間により、対象物までの距離の情報を得、また、反射波の強度（または振幅）の情報を得て、音響発生器１１ごとに、その放射した音波で測定された対象物までの距離と反射波の強度の情報とを出力する。

造影部１３は、図１４に示すように、音響発生器１１の配列方向を一つの軸（θｘ軸）とし、対象物までの距離をもう一つの軸（ｒ軸）とした２次元の映像を生成する。すなわち、音波を放射した音響発生器１１に対応するｒ軸に沿ったライン上で、反射波の受信時刻に応じた位置の画素を、受信した反射波の強度に応じた輝度の画素値に設定して、映像を生成し、この映像を出力する。

なお、船と対象物との距離を測定しておき、船に搭載したソナーの画面上に、船の特定部位の位置を表す画像を合成する技術が特許文献１に開示されている。
特開２００７−０２４５４８号公報

しかしながら、上記ソナーでは、ソナー前方の箱状の領域の範囲でしか映像が生成できないため、幅広の対象物の面を造影することには適していない。

仮に、ソナーを対象物の面に沿って移動させつつ各移動位置で得た映像を繋ぎ併せて合成すると、図１５にその概要を示すように、映像の境界部分に繋ぎ目ができてしまうこととなり、実用的な映像とならない。

本発明は上記実情に鑑みて為されたもので、音響の反射波を利用して生成した映像を、その繋ぎ目が目立たないよう繋げて合成することのできる音響映像生成装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、音響映像生成装置であって、被写体に対して移動する移動体上に配され、水中で音波を繰り返し放射し、当該放射した音波の反射波を受けて、反射波に基づく映像情報を逐次出力するソナーから、当該映像情報の入力を原映像として受け入れる受入手段と、前記逐次的に入力される原映像から予め定めた部分領域を画定する領域画定手段と、前記原映像に対して、前記ソナーと被写体との距離に基づき、投影面の幾何補正を行う幾何補正手段と、連続して得られた複数の幾何補正後の前記原映像を、それぞれの前記画定された部分領域内の映像部分に対応する部分が互いに重なり合うよう合成して合成音響映像を生成する合成手段と、前記合成音響映像を出力する出力手段と、を含むこととしたものである。

またここで、前記逐次的に入力される原映像の一つを注目映像として、当該注目映像とその前後に入力された原映像の少なくとも一つとから、移動ベクトルを推定する移動ベクトル推定手段と、当該推定された移動ベクトルに基づいて、ソナーの移動に伴う前記原映像の歪みを補正する移動歪補正手段と、をさらに備えてもよい。

さらにこのとき、音響映像生成装置は、前記原映像を用いずにソナーの移動距離を測定する測定装置に接続され、前記原映像が入力されるごとの、当該測定装置にて測定されたソナーの移動距離の情報に基づいて、前記推定した移動ベクトルの適否を判定する手段をさらに含み、前記移動ベクトルの適否が否定的なものである場合に、当該否定的な移動ベクトルの演算の元となった原映像を前記合成に用いないよう制御することとしてもよい。

ここに、前記領域画定手段は、処理の対象となる原映像から被写体の撮像範囲を検出し、当該検出した被写体の撮像範囲のうち、前記ソナーの移動方向の幅中央部、移動方向手前側端部、または移動方向奥側端部のいずれか、利用者の指示した範囲を前記部分領域として画定することとしてもよい。

さらに、前記原映像を用いずにソナーの移動距離を測定する測定装置に接続され、前記合成に係る原映像が入力されている期間全体でのソナーの移動距離の情報を生成し、当該生成した情報に基づいて、前記合成手段が、生成した合成音響映像をソナー移動方向に拡大または縮小補正することとしてもよい。また、前記原映像ごとに、輝度分散を均一化する手段をさらに含むこととしてもよい。

また本発明の一態様に係るプログラムは、被写体に対して移動する移動体上に配され、水中で音波を繰り返し放射し、当該放射した音波の反射波を受けて、反射波に基づく映像情報を逐次出力するソナーから、当該映像情報の入力を原映像として受け入れる受入手段と、前記逐次的に入力される原映像から予め定めた部分領域を画定する領域画定手段と、前記原映像に対して、前記ソナーと被写体との距離に基づき、投影面の幾何補正を行う幾何補正手段と、連続して得られた複数の幾何補正後の前記原映像を、それぞれの前記画定された部分領域内の映像部分に対応する部分が互いに重なり合うよう合成して合成音響映像を生成する合成手段と、前記合成音響映像を出力する出力手段と、としてコンピュータを機能させることとしたものである。

これにより、音響の反射波を利用して生成した映像を、その繋ぎ目が目立たないよう繋げて合成することができる。

本発明の実施の形態について図面を参照しながら説明する。本発明の一実施形態に係る音響映像生成装置２は、図１に示すように、制御部２１と、記憶部２２と、出力部２３と、入出力インタフェース（Ｉ／Ｆ）２４とを含んで構成されている。

ここで制御部２１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部２２に格納されたプログラムに従って動作する。本実施の形態の制御部２１は、ソナー１からの映像の情報を、原映像として入出力Ｉ／Ｆ２４を介して逐次的に受け入れる。また制御部２１は、逐次的に入力される原映像から予め定めた部分領域を画定する。制御部２１は、別途測定したソナー１と被写体との距離に基づき、原映像の投影面の幾何補正を行う。そして制御部２１は、幾何補正された複数の原映像について、対応する部分が互いに重なり合うよう合成して合成音響映像を生成して出力する。この制御部２１の具体的な動作例については後に詳しく述べる。

記憶部２２は、メモリ素子などを含んで構成される。この記憶部２２には、制御部２１によって実行されるプログラムが保持される。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、ここに複写されたものであってもよい。

出力部２３は、ディスプレイやプリンタなどであり、制御部２１から入力される指示に従って情報を出力する。入出力Ｉ／Ｆ２４は、ソナー１に接続され、ソナー１が繰り返し出力する情報を受け入れて、制御部２１に出力する。

本実施の形態においては、ソナー１は図１２に示した従来例のものと同様の構成をとる。本実施の形態では、ソナー１は、被写体に対して移動する移動体上（例えば船舶）に設置される。この移動体はここでは被写体の面に沿って略平行に移動する。ソナー１は、音響ビームが被写体の面に対して角度をもって斜めに当たるように、被写体の面に対して斜に配置される。

またこのソナー１は、水中で音波を繰り返し放射し、この放射した音波が被写体で反射して得られた反射波を受信する。

次に制御部２１の具体的な処理の内容について述べる。制御部２１は、記憶部２２に格納されたプログラムを実行することで、機能的に図２に示す構成を備えた装置として動作する。すなわち本実施の形態の制御部２１は、機能的には、ソナー１が出力する映像情報の入力を受けて、記憶部２２に保持する受入部３１と、領域画定部３２と、原映像補正部３３と、幾何補正部３５と、合成部３７と、出力部３９とを含む。

本実施の形態では、ソナー１からは逐次的に映像情報が受け入れられており、受入部３１が受け入れた映像情報を逐次的に原映像として記憶部２２に格納している。以下の説明では、ソナー１から逐次的に入力される各原映像をフレームと呼び、処理開始からｉ番目に入力された原映像をｉ番目のフレームＦiと呼ぶ。このフレームＦiは、例えば図３（ａ）に示すようなものとなる。図３（ａ）は、海底からほぼ垂直に造られた岸壁の原映像の例を示したものである。この映像は、図３（ｂ）に示すようにソナー１を船舶Ｓに搭載し、船舶Ｓを岸壁に平行に移動しつつ得たもので、ここではソナー１の音響発生器１１の配列方向が海底からほぼ垂直な方向になるよう、ソナー１を配置したことで、水深方向が図面上左右方向に配されて示されている。従って図３（ａ）では、図の矢印の方向に奥行き（船舶の進行方向）が採られている。また、この図３の例では、岸壁に縦に生じたクラックＣがソナー１の反射波によって捉えられた様子を表している。ここでの被写体となっている岸壁は範囲Ｔに亘って撮像されている。

領域画定部３２は、フレームの一つ（ｉ番目のフレームＦiとする）を記憶部２２から読み出して、フレームＦiにおいて被写体の撮像された範囲（図３（ａ）における範囲Ｔ）を、例えば画素間の輝度差を利用する輪郭検出処理などによって検出する。そしてフレームＦi内の、この被写体の撮像された範囲のうちに、合成のための部分領域を画定する。領域画定部３２は、画定した部分領域を表す情報（座標情報）を、その元となったフレームを特定する情報（例えば番号ｉ）に関連づけて記憶部２２に蓄積して記憶する。以下、ｉを「１」ずつインクリメントしながら、合成のための部分領域を表す情報を更新・記憶していく。

ここで部分領域は、例えば被写体の撮像された範囲におけるソナー１の移動方向の幅中央部（図４（ａ）の範囲Ａ１）、移動方向手前側端部（図４（ｂ）の範囲Ａ２）、または移動方向奥側端部（図４（ｃ）の範囲Ａ３）のいずれか、利用者の予め指示した範囲とすればよい。

原映像補正部３３は、記憶部２２に格納されたフレームを順次取り出して、映像の輝度の分散を演算し、輝度の分散が均一となるよう、輝度補正を行って、補正後のフレームを元のフレームに上書きして記憶部２２に格納する。

また本実施の形態では、被写体の面に対して音波が斜めに放射されるようソナー１を配している。そのため進行方向手前側の映像部分と、進行方向奥側の映像部分とでは、ソナー１から被写体までの最短距離ｄが一定であるとしても、異なる距離ｒ１，ｒ２として撮像されてしまうことになる（図５）。そこで、ソナー１が測定した被写体までの平均距離が進行方向手前側の映像部分と、進行方向奥側の映像部分との双方で距離ｄ（予め設定されている、ソナー１と被写体との距離）であるとして、投影面の幾何補正を行い、移動距離ｙ1，ｙ2 を求める。

すなわちソナーの情報から得られる映像は、位置と対象物までの距離とで張られる２次元の映像であるため、ここでは距離方向の座標を、予め設定されているソナー１と被写体との距離ｄに合わせる幾何補正を行うのである。これにより幾何補正部３５は、フレームを、被写体に正対したときの映像部分に補正する。

なお、ここでは岸壁、水底や船体の一部など被写体が、少なくとも局所的には略平面と見なし得て、また、ソナー１を搭載した船舶等が被写体の面に沿って平行に移動しているとして、予め定められた距離ｄを用いた補正を行っているものである。

また幾何補正部３５は、補正したフレームを特定する情報に関連づけて記憶部２２に格納されている、部分領域を表す情報を、同じく補正しておく。

合成部３７は、逐次的に入力されているフレームを順次注目フレームとして選択しつつ、他のフレームとの合成処理を行って合成音響映像を生成する。

例えば合成部３７は、注目フレームＦiの入力がされると、それまでに合成した合成音響映像Ｐに含まれる過去に入力されたフレームＦi-jと、注目フレームＦiと、注目フレームＦiに続けて入力されるフレームＦi+k（ｊ，ｋ＝１，２，…）とを指定された数だけ選択する。そして注目フレームＦiで画定した部分領域に含まれる映像部分と同じ映像部分を選択したフレームから検索する。この検出は、映像部分の相関演算を用いて（例えば画素値の差の絶対値を総和し、それが最小となる範囲を抽出するなどして）実現できる。

例えば、３つの映像部分を合成する場合は、Ｆi-1（それまでに合成された合成音響映像Ｐに含まれる），Ｆi，Ｆi+1から共通の映像部分を検索して合成し、合成音響映像Ｐを更新してもよいし、Ｆi，Ｆi+1，Ｆi+2から共通の映像部分を検索して合成し、合成音響映像Ｐを更新してもよい。

これにより本実施の形態では、逐次的に入力されるフレームに基づいて、幾何補正後に、それぞれに共通する部分を互いに重なり合わせて合成させた合成音響映像が生成される。合成部３７は、合成して生成した合成音響映像を記憶部２２に格納してもよいし、出力部３９に出力してもよい。出力部３９は、ここで生成した合成音響映像をディスプレイやプリンタなどに出力する。このようにしたことで、フレームを、その繋ぎ目が目立たないよう繋げて合成できる。

また、本実施の形態において利用するソナー１は、複数の音響発生器１１を配列しているが、隣接する音響発生器１１が発生する音響ビームとの干渉により、映像が乱れることを避けるため、図６に示すように、複数の音響発生器１１を、連続するＮ個の音響発生器１１ずつ組として、各組（ｉmod Ｎ）番目（ただし、ａ mod ｂは、ａをｂで除した余りの値）の音響発生器１１が同時期に音響ビームを発し、次いでｉを「１」だけインクリメントするといった制御を繰り返し行わせてもよい。この結果、各組で１番目からＮ番目までの音響発生器１１が繰り返し音波を放射することとなり、対象物を走査するようになる。

このように走査を行う場合、ｉがインクリメントされるまでの間に、ソナー１を搭載した船舶が進行してしまうため、本来直線状に造影されるはずの被写体が、鋸歯状に歪んで造影されることとなる（図７）。そこで本実施の形態の音響映像生成装置２は、フレームごとの船舶の移動量を得て、当該移動量の情報に基づいて、鋸歯状の歪みを補正するようにしてもよい。

この処理を行う場合の制御部２１は、機能的には図８に示すように、受入部３１と、領域画定部３２と、原映像補正部３３と、移動歪補正部３４と、幾何補正部３５と、合成部３７と、出力部３９とを含む。なお、図２に示した機能と同様の動作をする構成については、同じ符号を付して詳細な説明を省略する。

ここで移動歪補正部３４は、原映像補正部３３によって補正された、連続するフレームに基づいて移動ベクトルを推定する処理を実行し、当該移動ベクトルの量からフレームにおける各音響発生器１１に対応するライン（ｒ軸に沿ったライン）上の画素を移動補正する。

ここで移動ベクトルの推定処理は、連続する２つのフレームにおいて、相関する画素配列のあるブロックをそれぞれ特定し、当該ブロックの特定の点（例えばブロックが矩形であればその左上座標）同士を結ぶベクトルとして移動ベクトルを得ることができる。この処理は、映像の処理として広く知られている処理を採用できるので、ここでの詳細な説明を省略する。ただし、この移動ベクトルの推定を行う際に対象とする画素の範囲を絞るため、例えば領域画定部３２が、被写体の撮像されている範囲を特定する情報を移動比較領域として出力し、移動歪補正部３４は、この移動比較領域内の画素から相関する部分を特定して移動ベクトルを推定してもよい。

また移動歪補正部３４は、この移動ベクトルを用いてフレームの移動歪みを補正する。具体的にフレームがΔｔごとに入力されているときの移動ベクトルの大きさが｜Ｓ｜であるとすると、移動速度ｖはｖ＝｜Ｓ｜／Δｔとなる。そこで、走査の期間（１番目の音響発生器１１が音波を放射してから、次に同じ１番目の音響発生器１１が音波を放射するまでの期間）をＴとすると、各組でｉ番目の音響発生器１１に対応するラインＬ上で、フレーム内の画素をｖ×Ｔ×（ｉ／Ｎ）だけソナー１の移動方向と反対の方向へ移動する（図９）。これにより、ソナー１の移動に伴って映像に生じる、鋸歯状の歪みが補正される。

さらに、この移動ベクトルは、その適否が検証されてもよい。適否を検証する場合、移動歪補正部３４は、フレームから移動ベクトルを推定するとともに、フレームを用いずにソナー１の移動距離を測定し、推定した移動ベクトルと、測定した移動距離とを比較して移動ベクトルの適否を判定してもよい。

ここでフレームを用いずにソナー１の移動距離を測定する方法としては、例えばＧＰＳ（Global Positioning System）を用いる方法などがある。この場合、ＧＰＳからの信号は入出力インタフェース２４を介して受けるようにすればよい。すなわち移動歪補正部３４は、ソナー１近傍（例えばソナー１を搭載した船舶上）に設置したＧＰＳと方向角の情報に基づき、移動ベクトルの演算の元となる２つのフレームが得られたときの地理上の各位置（緯度、経度）を得る。そしてここで得た地理上の各位置から、別の移動ベクトル（便宜的に第２移動ベクトルと呼ぶ）を推定する。

移動歪補正部３４は、フレームから得た移動ベクトル（Δｒ，Δθ）と、ＧＰＳの情報に基づいて得た第２移動ベクトルとを比較し、その差のベクトル（差ベクトル）の大きさが予め定めたしきい値より大きいか否かを調べる。ここで、差ベクトルの大きさがしきい値より大きい場合は、移動ベクトルを破棄する。または移動ベクトルを、過去に演算した移動ベクトルの移動平均値で代用しても良い。

ここで移動ベクトルを破棄する場合は、移動ベクトルの演算の元となったフレームの少なくとも一方については、移動ベクトルに基づく鋸歯状の歪みを補正できないので、当該歪みを補正できない移動ベクトルの演算の元となったフレームを合成に用いないように制御する。例えば当該フレームを記憶部２２から削除することとしてもよいし、合成部３７に対して上記鋸歯状の歪みを補正できなかったフレームを特定する情報を出力して、合成部３７が当該情報で特定されるフレームについては合成処理の対象外としてもよい。

さらに出力部３９が、ＧＰＳを利用して次のような処理を行ってもよい。すなわち出力部３９は、ソナー１が映像の生成を開始してから、映像の生成が終了するまで（原映像が生成されている期間全体）のソナー１の移動距離をＧＰＳを用いて測定し、この測定結果に基づいて、ソナー１の移動方向の幅が予め定めた縮尺となるよう、合成後の合成音響映像を拡大縮小補正してもよい。

またここまでの説明では、領域画定部３２が領域を画定した後に原映像補正部３３によって輝度の補正を行う例としたが、本実施の形態はこれに限られず、輝度の補正された後のフレームから領域画定部３２が合成の対象となる領域を画定してもよい。

次に本実施の形態の音響映像生成装置２の動作について図１０を参照して説明する。例えばこの音響映像生成装置２は、船舶に搭載されたソナー１が逐次的に出力する複数の原映像（フレーム）と各フレーム出力時点でのＧＰＳの測位情報（緯度、経度）とを取得する（Ｓ１１）。以下、ｉ番目のフレームＦiを得たとして説明する。音響映像生成装置２は、連続するフレーム間での移動ベクトルを推定する処理を行う（Ｓ１２）。例えばｉ＋１番目のフレームFi+1を読み出して、フレームＦi内の画素と比較して移動ベクトルを推定する。また、移動ベクトルの推定の元となったフレームＦi，Ｆi+1間での地理上の移動ベクトル（第２移動ベクトル）を、原映像に関連して記録されているＧＰＳの測位情報から演算して推定する（Ｓ１３）。

音響映像生成装置２は、処理Ｓ１２で推定した移動ベクトルと、第２移動ベクトルとを比較して、移動ベクトルが適正であるか否かを判断する（Ｓ１４）。ここで移動ベクトルが適正であると判断されると、処理の対象であるｉ番目のフレームＦiから合成のための領域を画定する処理を行う（Ｓ１５）。この処理は、被写体が撮像されている範囲で予め定められた指示に基づいて領域を画定する処理である。

音響映像生成装置２は、フレームＦiの輝度の分散が均一になるよう補正を行い（Ｓ１６）、移動ベクトルを用いてフレームＦiの移動歪を補正する（Ｓ１７）。また、ソナー１と被写体の面までの距離ｄ（別途得ておく）の情報に基づいて、フレームＦiの投影面上での幾何補正を行う（Ｓ１８）。この幾何補正は、フレームが被写体に正対して距離ｄだけ離れた位置での像となるよう補正する、つまり移動距離と方向角(ｙ，θx)を求めるものである。

そして音響映像生成装置２は、合成する数だけ補正されたフレームが得られたか否かを調べる（Ｓ１９）。ここで合成する数だけ補正されたフレームが得られたならば、フレームＦiについて、合成の対象として定めた領域が一致するよう、フレームＦiを含む少なくとも一つのフレームを合成し、合成音響映像Ｐを更新する（Ｓ２０）。

音響映像生成装置２は、次のフレームを処理の対象として読み出す処理（処理Ｓ１１）から繰り返し（Loop）、すべてのフレームについて処理が完了すると、フレームが撮像されている時間全体でのソナー１の移動距離の情報を得て、合成音響映像のソナー１の移動方向の幅が当該移動距離に基づいて算定される画素数になるよう、合成音響映像を拡大縮小補正（移動距離補正）する（Ｓ２２）。そして、移動距離補正を行った合成音響映像を出力して処理を終了する。
なお、処理Ｓ１４において移動ベクトルが適正でないと判断すると、音響映像生成装置２は、当該移動ベクトルによる補正のできないフレームを合成に用いずに（Ｓ２１）、次のフレームの処理に移行する（Loop）。また、処理Ｓ１９において合成する数分だけフレームが得られていない場合は、次のフレームの処理に移行する（Loop）。

これにより本実施の形態の音響映像生成装置２は、図１１に例示するように被写体Ｗの面に沿ってソナー１を移動しつつ、フレームＦ1，Ｆ2…と複数のフレームを含む映像を得ておく。そして音響映像生成装置２は、フレームＦ1について、例えばその移動方向の奥側端部に合成の対象となる領域を画定する。

音響映像生成装置２は、少なくとも一つ、予め定めた数のフレームだけ（例えばフレームＦ2，Ｆ3）この領域と同じ映像を含む部分を見いだして、これらを合成する。合成の態様は、同じ位置にあるべき対応する画素の値の加算平均を算出するか、画素のうち明るい方を採用するなど、目的に応じて種々の方法を採用できる。

また、音響映像生成装置２はフレームＦ2についても同様に合成の対象となる領域を画定し、少なくとも一つ、予め定めた数のフレームだけ（例えばフレームＦ3，Ｆ4）、この領域と同じ映像を含む部分を見いだして、これらを合成する。

フレームＦ2は、フレームＦ1と合成されているので、合成後の映像のフレームＦ2の対応領域に、見いだしたフレームを合成する。これにより、図１１に示すような合成音響映像が生成される。ここで合成するフレームの数を「３」としておく場合、Ａの範囲は、フレームＦ1，Ｆ2，Ｆ3の対応部分が合成されていることとなり、Ｂの範囲は、フレームＦ2，Ｆ3，Ｆ4の対応部分が合成されていることになる。

また、ここでは入出力インタフェース２４にソナー１やＧＰＳ等が接続され、これらからフレームや測位情報を受けて合成音響映像を生成する例について述べた。このように本実施の形態は、ほぼリアルタイムに合成音響映像を生成可能なものである。しかしながら、事前にソナー１によって生成された原映像や、各原映像生成時点のＧＰＳの測位情報を記録した媒体を受け入れて、当該媒体から順次、フレームを読み出すことによっても、同様の処理を行うことができる。

本実施の形態によると、音響の反射波を利用して生成した映像を、その繋ぎ目が目立たないよう繋げて合成することができる。

本実施の形態の音響映像生成装置２を用いると、岸壁や船体など比較的広い範囲の映像が、つなぎ目なく得られることとなる。これにより、岸壁や船体などに付着した異物を検出することなどに利用できる。

本発明の実施の形態に係る音響映像生成装置の例を表す構成ブロック図である。 本発明の実施の形態に係る音響映像生成装置の例を表す機能ブロック図である。 本発明の実施の形態に係る音響映像生成装置に接続されるソナーの映像例、及びソナーの配置例を表す説明図である。 本発明の実施の形態に係る音響映像生成装置において合成の対象となる領域の設定例を表す説明図である。 本発明の実施の形態に係る音響映像生成装置における幾何補正の概要を表す説明図である。 本発明の実施の形態に係る音響映像生成装置に接続されるソナーでの音響発生の態様を表す説明図である。 本発明の実施の形態に係る音響映像生成装置に接続されるソナーにより得られる映像の例を表す説明図である。 本発明の実施の形態に係る音響映像生成装置の別の例を表す機能ブロック図である。 本発明の実施の形態に係る音響映像生成装置における移動補正の処理例を表す説明図である。 本発明の実施の形態に係る音響映像生成装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る音響映像生成装置の映像の合成例を表す説明図である。 ソナーの構成例を表す概要図である。 ソナーの音響発生器により放射される音波の伝播範囲を表す説明図である。 ソナーにより撮像される映像の例を表す説明図である。 ソナーによって得られる映像を連結した例を表す説明図である。

符号の説明

１ ソナー、２ 音響映像生成装置、１１ 音響発生器、１２ 音響受波器、１３ 造影部、２１ 制御部、２２ 記憶部、２３ 出力部、２４ 入出力インタフェース、３１ 受入部、３２ 領域画定部、３３ 原映像補正部、３４ 移動歪補正部、３５ 幾何補正部、３７ 合成部、３９ 出力部。

Claims (7)

1. 被写体に対して移動する移動体上に配され、水中で音波を繰り返し放射し、当該放射した音波の反射波を受けて、反射波に基づく映像情報を逐次出力するソナーから、当該映像情報の入力を原映像として受け入れる受入手段と、
   前記逐次的に入力される原映像から予め定めた部分領域を画定する領域画定手段と、
   前記原映像に対して、前記ソナーと被写体との距離に基づき、投影面の幾何補正を行う幾何補正手段と、
   連続して得られた複数の幾何補正後の前記原映像を、それぞれの前記画定された部分領域内の映像部分に対応する部分が互いに重なり合うよう合成して、幾何補正後の各原映像を繋げて合成音響映像を生成する合成手段と、
   前記合成音響映像を出力する出力手段と、
   を含むことを特徴とする音響映像生成装置。
2. 請求項１に記載の音響映像生成装置であって、
   前記逐次的に入力される原映像の一つを注目映像として、当該注目映像とその前後に入力された原映像の少なくとも一つとから、移動ベクトルを推定する移動ベクトル推定手段と、
   当該推定された移動ベクトルに基づいて、ソナーの移動に伴う前記原映像の歪みを補正する移動歪補正手段と、
   をさらに備えたことを特徴とする音響映像生成装置。
3. 請求項２に記載の音響映像生成装置であって、
   前記原映像を用いずにソナーの移動距離を測定する測定装置に接続され、
   前記原映像が入力されるごとの、当該測定装置にて測定されたソナーの移動距離の情報に基づいて、前記推定した移動ベクトルの適否を判定する手段をさらに含み、
   前記移動ベクトルの適否が否定的なものである場合に、当該否定的な移動ベクトルの演算の元となった原映像を前記合成に用いないよう制御することを特徴とする音響映像生成装置。
4. 請求項１から３のいずれか一項に記載の音響映像生成装置であって、
   前記領域画定手段は、処理の対象となる原映像から被写体の撮像範囲を検出し、当該検出した被写体の撮像範囲のうち、前記ソナーの移動方向の幅中央部、移動方向手前側端部、または移動方向奥側端部のいずれか、利用者の指示した範囲を前記部分領域として画定することを特徴とする音響映像生成装置。
5. 請求項１から４のいずれか一項に記載の音響映像生成装置であって、
   前記原映像を用いずにソナーの移動距離を測定する測定装置に接続され、
   前記合成に係る原映像が入力されている期間全体でのソナーの移動距離の情報を生成し、当該生成した情報に基づいて、前記合成手段が、生成した合成音響映像をソナー移動方向に拡大または縮小補正することを特徴とする音響映像生成装置。
6. 請求項１から５のいずれか一項に記載の音響映像生成装置であって、
   前記原映像ごとに、輝度分散を均一化することの手段をさらに含むことを特徴とする音響映像生成装置。
7. 被写体に対して移動する移動体上に配され、水中で音波を繰り返し放射し、当該放射した音波の反射波を受けて、反射波に基づく映像情報を逐次出力するソナーから、当該映像情報の入力を原映像として受け入れる受入手段と、
   前記逐次的に入力される原映像から予め定めた部分領域を画定する領域画定手段と、
   前記原映像に対して、前記ソナーと被写体との距離に基づき、投影面の幾何補正を行う幾何補正手段と、
   連続して得られた複数の幾何補正後の前記原映像を、それぞれの前記画定された部分領域内の映像部分に対応する部分が互いに重なり合うよう合成して、幾何補正後の各原映像を繋げて合成音響映像を生成する合成手段と、
   前記合成音響映像を出力する出力手段と、
   としてコンピュータを機能させることを特徴とするプログラム。
   
   
   
   
   

Images