JP3436235B2 - 移動物体画像検索方法、及び、装置 - Google Patents
移動物体画像検索方法、及び、装置Info
- Publication number
- JP3436235B2 JP3436235B2 JP2000171984A JP2000171984A JP3436235B2 JP 3436235 B2 JP3436235 B2 JP 3436235B2 JP 2000171984 A JP2000171984 A JP 2000171984A JP 2000171984 A JP2000171984 A JP 2000171984A JP 3436235 B2 JP3436235 B2 JP 3436235B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object image
- aerial
- ship
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、移動物体監視、特
定方法に関し、さらに詳しくは、航空機や衛星により地
域を撮影した画像を利用し、当該地域における未知移動
物体が、他の時期に存在した地域を特定することによ
り、未知移動物体の過去の動向を把握する方法に関す
る。
定方法に関し、さらに詳しくは、航空機や衛星により地
域を撮影した画像を利用し、当該地域における未知移動
物体が、他の時期に存在した地域を特定することによ
り、未知移動物体の過去の動向を把握する方法に関す
る。
【０００２】
【従来の技術】特開平11-109013号公報「目標探知装置」
には、衛星画像を利用して艦船を探知し、種類を識別す
る装置に関する従来技術が開示されている。
には、衛星画像を利用して艦船を探知し、種類を識別す
る装置に関する従来技術が開示されている。
【０００３】
【発明が解決しようとする課題】上記特開平11-109013
号公報に開示の従来技術では、移動物体画像の輝度特徴
量の関し、撮影位置の違いによる輝度の変化を考慮した
輝度分布の抽出方法については言及されているが、撮影
位置の違いによる輝度の変化を考慮した輝度分布の照合
方法については言及されていない。
号公報に開示の従来技術では、移動物体画像の輝度特徴
量の関し、撮影位置の違いによる輝度の変化を考慮した
輝度分布の抽出方法については言及されているが、撮影
位置の違いによる輝度の変化を考慮した輝度分布の照合
方法については言及されていない。
【０００４】そこで、本発明の第１の目的は、画像の撮
影位置に影響されずに、移動物体を撮影した空中画像を
画像データベースから検索できる移動物体検索、表示方
法を提供することにある。
影位置に影響されずに、移動物体を撮影した空中画像を
画像データベースから検索できる移動物体検索、表示方
法を提供することにある。
【０００５】また、本発明の第２の目的は、移動物体の
画像特徴量の照合により画像データベースから検索され
た物体画像を、画像特徴量以外の情報を利用して絞り込
むことができる移動物体検索、表示方法を提供すること
にある。
画像特徴量の照合により画像データベースから検索され
た物体画像を、画像特徴量以外の情報を利用して絞り込
むことができる移動物体検索、表示方法を提供すること
にある。
【０００６】また、本発明の第３の目的は、移動物体を
撮影した空中画像の表示方法に関して、検索された空中
画像中の移動物体自身の位置や、移動物体間の位置関
係、時間関係、移動物体の移動経路を表示できる移動物
体検索、表示方法を提供することにある。
撮影した空中画像の表示方法に関して、検索された空中
画像中の移動物体自身の位置や、移動物体間の位置関
係、時間関係、移動物体の移動経路を表示できる移動物
体検索、表示方法を提供することにある。
【０００７】
【課題を解決するための手段】上記第１の目的を達成す
るために、一対のステレオ画像を利用して移動物体の高
さ特徴量を抽出できる物体画像特徴量抽出手段を設けて
いる。また、画素特徴量の物体画像の輝度分布において
動的計画法に則ってエッジ位置を対応付ける物体画像特
徴量の照合手段を設けている。
るために、一対のステレオ画像を利用して移動物体の高
さ特徴量を抽出できる物体画像特徴量抽出手段を設けて
いる。また、画素特徴量の物体画像の輝度分布において
動的計画法に則ってエッジ位置を対応付ける物体画像特
徴量の照合手段を設けている。
【０００８】また、上記第２の目的を達成するために、
画像の撮影時間、撮影位置と移動物体の移動速度から、
検索キーとなる移動物体の移動不可能な位置に存在する
ため、検索キー移動物体とは同一でないと判定できる物
体を撮影した画像を検索された物体画像から除くことが
できる物体画像絞り込み手段を、設けている。
画像の撮影時間、撮影位置と移動物体の移動速度から、
検索キーとなる移動物体の移動不可能な位置に存在する
ため、検索キー移動物体とは同一でないと判定できる物
体を撮影した画像を検索された物体画像から除くことが
できる物体画像絞り込み手段を、設けている。
【０００９】また、上記第３の目的を達成するために、
検索された物体画像の切り出し元の空中画像において、
物体の位置の基準となる地物が含まれるよう領域を変更
する手段と、四隅の座標情報を元に、画像の位置合わせ
を行い接合して、或いは、地図上に配置して、表示する
手段と、撮影時間順に移動物体を矢印でつなぐことによ
り移動物体の移動経路を表示する手段を設けている。
検索された物体画像の切り出し元の空中画像において、
物体の位置の基準となる地物が含まれるよう領域を変更
する手段と、四隅の座標情報を元に、画像の位置合わせ
を行い接合して、或いは、地図上に配置して、表示する
手段と、撮影時間順に移動物体を矢印でつなぐことによ
り移動物体の移動経路を表示する手段を設けている。
【００１０】本発明は以上の構成を備えているので、移
動物体の撮影位置に影響されずに、検索キーとなる移動
物体画像と同一の物体を撮影した空中画像を画像データ
ベースから検索できる。
動物体の撮影位置に影響されずに、検索キーとなる移動
物体画像と同一の物体を撮影した空中画像を画像データ
ベースから検索できる。
【００１１】また、画像データベースから検索された移
動物体画像を絞り込み、検索精度を向上させることがで
きる。
動物体画像を絞り込み、検索精度を向上させることがで
きる。
【００１２】また、検索された空中画像において、移動
物体の位置を把握し易くなる。また、移動物体間の位置
関係、時間関係、移動経路を把握し易くなる。
物体の位置を把握し易くなる。また、移動物体間の位置
関係、時間関係、移動経路を把握し易くなる。
【００１３】
【発明の実施の形態】以下、図を参照して本発明の実施
形態を説明する。
形態を説明する。
【００１４】本システムの目的は、当該地域における未
知の船舶と同一の船舶を撮影した空中画像を画像データ
ベースより検索し、検索した空中画像より未知船舶が他
の時期に存在した地域を特定することにより、未知船舶
の過去の動向を把握することにある。
知の船舶と同一の船舶を撮影した空中画像を画像データ
ベースより検索し、検索した空中画像より未知船舶が他
の時期に存在した地域を特定することにより、未知船舶
の過去の動向を把握することにある。
【００１５】図１は、本発明の一実施形態にかかる移動
物体検出、表示装置の機能構成例である。移動物体検
出、表示装置は登録部101、検索部102、表示部103、画
像データベース104からなる。
物体検出、表示装置の機能構成例である。移動物体検
出、表示装置は登録部101、検索部102、表示部103、画
像データベース104からなる。
【００１６】まず、登録部101を説明する。
【００１７】空中画像105とは、航空機や衛星により定
期的にユーザー着目地域を撮影した画像データである。
空中画像属性データ106とは、名称、撮影位置、撮影時
間、種別などの空中画像に付随するデータである。空中
画像登録手段107は、空中画像105およびその空中画像属
性データ106を画像データベース104に登録する。物体画
像切出し手段108は、空中画像105より、移動物体を切出
して物体画像109を作成する。物体画像特徴量抽出手段1
10は、物体画像109より、物体の形状、輝度の特徴、エ
ッジ位置、港湾との位置関係などの物体画像特徴量デー
タ111を抽出する。物体画像登録手段112は、物体画像10
9およびその物体画像特徴量データ111を画像データベー
ス104に登録する画像データベース104は、本発明が作用
するシステムの内部、或いは接続しているネットワーク
上に存在する。画像データベース104は、空中画像登録
手段107と物体画像登録手段112によって登録された空中
画像113、空中画像属性データ114、物体画像115、物体
画像特徴量データ116を格納する。
期的にユーザー着目地域を撮影した画像データである。
空中画像属性データ106とは、名称、撮影位置、撮影時
間、種別などの空中画像に付随するデータである。空中
画像登録手段107は、空中画像105およびその空中画像属
性データ106を画像データベース104に登録する。物体画
像切出し手段108は、空中画像105より、移動物体を切出
して物体画像109を作成する。物体画像特徴量抽出手段1
10は、物体画像109より、物体の形状、輝度の特徴、エ
ッジ位置、港湾との位置関係などの物体画像特徴量デー
タ111を抽出する。物体画像登録手段112は、物体画像10
9およびその物体画像特徴量データ111を画像データベー
ス104に登録する画像データベース104は、本発明が作用
するシステムの内部、或いは接続しているネットワーク
上に存在する。画像データベース104は、空中画像登録
手段107と物体画像登録手段112によって登録された空中
画像113、空中画像属性データ114、物体画像115、物体
画像特徴量データ116を格納する。
【００１８】次に、検索部102を説明する。
【００１９】登録部101での処理と同様にして、空中画
像属性データ118を伴う新たに撮影された空中画像117か
ら、画像データベース104の検索キーとなる検索キー物
体画像119、及び、その検索キー物体画像特徴量データ1
20を作成する。この検索キー物体画像119は、画像デー
タベース104に既に登録されている物体画像115より選択
しても良い。物体画像特徴量照合手段121は、検索キー
物体画像特徴量データ120と、画像データベース104に登
録されている物体画像特徴量データ116の照合を行い、
画像データベース104より検索キー物体画像119と同一の
物体を撮影した物体画像を検索、抽出する。物体画像絞
込み手段122は、検索された物体画像を、物体の位置、
撮影時間、ユーザーの指定条件により絞り込む。
像属性データ118を伴う新たに撮影された空中画像117か
ら、画像データベース104の検索キーとなる検索キー物
体画像119、及び、その検索キー物体画像特徴量データ1
20を作成する。この検索キー物体画像119は、画像デー
タベース104に既に登録されている物体画像115より選択
しても良い。物体画像特徴量照合手段121は、検索キー
物体画像特徴量データ120と、画像データベース104に登
録されている物体画像特徴量データ116の照合を行い、
画像データベース104より検索キー物体画像119と同一の
物体を撮影した物体画像を検索、抽出する。物体画像絞
込み手段122は、検索された物体画像を、物体の位置、
撮影時間、ユーザーの指定条件により絞り込む。
【００２０】最後に、表示部103を説明する。
【００２１】検索結果物体画像表示手段123は、画像デ
ータベース104より検索された検索結果物体画像124、あ
るいは、それらの物体の切出し元の空中画像である検索
結果空中画像125を、画像範囲を物体の位置の基準とな
る地物が含まれるよう変更し、位置関係、時間関係に応
じて表示する図２から図４の処理解説図に従い、移動物
体検出、表示方法における物体画像と物体画像特徴量デ
ータの登録処理を説明する。なお、これらの処理解説図
において、移動物体の代表例として船舶を用いて説明し
ているが、以下の処理は船舶に限定されない。
ータベース104より検索された検索結果物体画像124、あ
るいは、それらの物体の切出し元の空中画像である検索
結果空中画像125を、画像範囲を物体の位置の基準とな
る地物が含まれるよう変更し、位置関係、時間関係に応
じて表示する図２から図４の処理解説図に従い、移動物
体検出、表示方法における物体画像と物体画像特徴量デ
ータの登録処理を説明する。なお、これらの処理解説図
において、移動物体の代表例として船舶を用いて説明し
ているが、以下の処理は船舶に限定されない。
【００２２】(Step 1.1)：空中画像入力、登録
ユーザーの着目する領域を撮影した衛星画像や航空写真
などの空中画像をシステムに入力し、デジタル画像デー
タとして画像データベースに登録する。衛星画像を利用
した場合、着目領域の定期的な撮影が可能になるので、
空中画像の定期的なシステムへの入力が可能になる。
などの空中画像をシステムに入力し、デジタル画像デー
タとして画像データベースに登録する。衛星画像を利用
した場合、着目領域の定期的な撮影が可能になるので、
空中画像の定期的なシステムへの入力が可能になる。
【００２３】(Step 1.2)：空中画像属性データ登録
空中画像の入力、登録と同時に、その空中画像属性デー
タをもシステムに入力し、画像データベースに登録す
る。空中画像の属性データの代表例として以下の項目が
挙げられる。
タをもシステムに入力し、画像データベースに登録す
る。空中画像の属性データの代表例として以下の項目が
挙げられる。
【００２４】・画像名称
・画像ＩＤ番号
・画像の四隅の座標
・撮影位置
・撮影日、時間
・衛星種別
・センサ種別
・画像内代表的地物（灯台、海岸線、市街地など位置特
定の基準値物）の有無、位置 (Step 1.3)：移動物体抽出（図２) 入力された空中画像より船舶画像を抽出する。空中画像
201において、背景である水面に浮かんでいる船舶203で
あれば、輝度のしきい値処理により背景の水面を識別す
ることにより船舶203を抽出することが可能である。ま
た、港湾停泊中に接岸している船舶202など、輝度のし
きい値処理で船舶の抽出が完全に行えない場合は、ユー
ザーのマニュアル処理により抽出することとする。抽出
した船舶について、船舶の長軸が縦軸または横軸に一致
するよう回転し、船舶画像204、205を作成する。以下、
説明のため、船舶の長軸をx軸、短軸をy軸とする。
定の基準値物）の有無、位置 (Step 1.3)：移動物体抽出（図２) 入力された空中画像より船舶画像を抽出する。空中画像
201において、背景である水面に浮かんでいる船舶203で
あれば、輝度のしきい値処理により背景の水面を識別す
ることにより船舶203を抽出することが可能である。ま
た、港湾停泊中に接岸している船舶202など、輝度のし
きい値処理で船舶の抽出が完全に行えない場合は、ユー
ザーのマニュアル処理により抽出することとする。抽出
した船舶について、船舶の長軸が縦軸または横軸に一致
するよう回転し、船舶画像204、205を作成する。以下、
説明のため、船舶の長軸をx軸、短軸をy軸とする。
【００２５】(Step 1.4)：移動物体特徴量抽出（図３、
図４) 船舶画像から、船舶特徴量を抽出する。船舶画像の特徴
量データの代表例として以下の項目が挙げられる。
図４) 船舶画像から、船舶特徴量を抽出する。船舶画像の特徴
量データの代表例として以下の項目が挙げられる。
【００２６】・形状特徴（長さ、幅、重心位置)
・輝度特徴（長/短軸方向輝度分布）
・構造特徴（長/短軸方向エッジ強度分布、長軸方向高
さ分布） ・周囲のとの関係（港湾との距離、船団を組んでいるか
単船か） これらの各特徴量を船舶画像より計測する。特徴量のう
ち、長/短軸方向輝度分布、長/短軸方向エッジ強度分布
を図３を用いて、また、長軸方向高さ分布を図４を用い
て、それぞれ以下に説明する。
さ分布） ・周囲のとの関係（港湾との距離、船団を組んでいるか
単船か） これらの各特徴量を船舶画像より計測する。特徴量のう
ち、長/短軸方向輝度分布、長/短軸方向エッジ強度分布
を図３を用いて、また、長軸方向高さ分布を図４を用い
て、それぞれ以下に説明する。
【００２７】図３に示すように、船舶画像301のx軸302
に沿った画素の輝度分布図306をx軸(長軸)方向輝度分布
とする。船舶のロール、ピッチによる姿勢の変化に伴う
輝度の変化を抑えるため、x軸に直交するy軸方向に一定
幅をとり、この幅において輝度の平均値をとり、x軸方
向の輝度分布とする。輝度分布の局所的な変化を減少さ
せ大局的な変化のみを表すため、輝度分布に対して移動
平均をとっても良い。
に沿った画素の輝度分布図306をx軸(長軸)方向輝度分布
とする。船舶のロール、ピッチによる姿勢の変化に伴う
輝度の変化を抑えるため、x軸に直交するy軸方向に一定
幅をとり、この幅において輝度の平均値をとり、x軸方
向の輝度分布とする。輝度分布の局所的な変化を減少さ
せ大局的な変化のみを表すため、輝度分布に対して移動
平均をとっても良い。
【００２８】また、輝度分布306の勾配の絶対値をx軸
(長軸)方向エッジ強度分布307とする。
(長軸)方向エッジ強度分布307とする。
【００２９】船舶画像特徴量は、切出した船舶画像から
直接抽出しても良いが、ミクセルレベルの情報を推定す
るために、船舶画像を拡大してから特徴抽出をしても良
い。
直接抽出しても良いが、ミクセルレベルの情報を推定す
るために、船舶画像を拡大してから特徴抽出をしても良
い。
【００３０】拡大の際に、「画像解析ハンドブック」
（高木幹雄，下田陽久監修，東京大学出版会，東京，19
91）などに解説されている３次たたみ込み内挿法などを
利用すれば、船舶画像の局所的な変化を減少させ、大局
的な特徴のみを表すことが可能になる。
（高木幹雄，下田陽久監修，東京大学出版会，東京，19
91）などに解説されている３次たたみ込み内挿法などを
利用すれば、船舶画像の局所的な変化を減少させ、大局
的な特徴のみを表すことが可能になる。
【００３１】x軸方向と同様にして、船舶画像301のy軸
に沿った画素の輝度分布図308をx軸(短軸)方向輝度分布
とし、その勾配の絶対値をy軸(短軸)エッジ強度分布309
とする。x軸に沿った特徴量は、船舶画像の重心を通るy
2軸304からのみを抽出しても良いし、船首側のy3軸305
や船尾側のy1軸303から併せて抽出しても良い。
に沿った画素の輝度分布図308をx軸(短軸)方向輝度分布
とし、その勾配の絶対値をy軸(短軸)エッジ強度分布309
とする。x軸に沿った特徴量は、船舶画像の重心を通るy
2軸304からのみを抽出しても良いし、船首側のy3軸305
や船尾側のy1軸303から併せて抽出しても良い。
【００３２】次に、図4を用いて、長軸(x軸)方向高さ分
布を以下に説明する。なお、高さ分布は、画像データベ
ースに入力された画像において、ステレオペアとなる画
像対がある場合のみ可能である。
布を以下に説明する。なお、高さ分布は、画像データベ
ースに入力された画像において、ステレオペアとなる画
像対がある場合のみ可能である。
【００３３】２つの撮影位置から撮影されたステレオペ
アの船舶左画像401、船舶右画像402において、そのi軸4
03(画像水平軸)がエピポーララインに一致するように、
座標変換しておく。
アの船舶左画像401、船舶右画像402において、そのi軸4
03(画像水平軸)がエピポーララインに一致するように、
座標変換しておく。
【００３４】これらのステレオペア船舶画像401、402に
おいて艦橋などの甲板上構造物の対応点が明確な場合、
マニュアル処理などにより甲板上構造物の対応点を求め
れば、前述画像解析ハンドブックに記載の方法により、
これらの対応点と空中画像属性データとにより、各対応
点における高さが計算可能であり、甲板上構造物は船舶
y軸方向に高さ一定と仮定することで、船舶のx軸405方
向の高さ分布を求められる。
おいて艦橋などの甲板上構造物の対応点が明確な場合、
マニュアル処理などにより甲板上構造物の対応点を求め
れば、前述画像解析ハンドブックに記載の方法により、
これらの対応点と空中画像属性データとにより、各対応
点における高さが計算可能であり、甲板上構造物は船舶
y軸方向に高さ一定と仮定することで、船舶のx軸405方
向の高さ分布を求められる。
【００３５】これらのステレオペア船舶画像において、
画像の解像度が船舶の大きさに対して十分でなく、船舶
の対応点が精度良く求まらない場合は、以下のように考
える。
画像の解像度が船舶の大きさに対して十分でなく、船舶
の対応点が精度良く求まらない場合は、以下のように考
える。
【００３６】各画像のi軸403に沿った輝度分布408、409
をとる。こららの輝度分布408、409の局所的な変化を抑
えるため、j軸404(画像垂直軸)に方向に一定幅をとり、
この幅において輝度の平均値をとっても良く、さらに、
分布に対して移動平均をとっても良い。
をとる。こららの輝度分布408、409の局所的な変化を抑
えるため、j軸404(画像垂直軸)に方向に一定幅をとり、
この幅において輝度の平均値をとっても良く、さらに、
分布に対して移動平均をとっても良い。
【００３７】次に、これら輝度分布の差の絶対値を取
り、差分分布414をつくる。ステレオペア画像の左画像4
01において、 i軸403に沿った輝度分布408の座標iの最
大値をilmax410、座標iにおける輝度の値をgl(i) 411と
し、右画像402において、i軸403に沿った輝度分布409の
座標iの最大値をirmax412、座標iにおける輝度の値をgr
(i) 413とする。さらに、i1=max(ilmax , irmax)である
i1に対応するgl(i)、gr(i)の何れかをg1(i)とし、i2=mi
n(ilmax , irmax)であるi2に対応するgl(i)、gr(i)の何
れかをg2(i)とする。このとき、i軸に沿った差分分布41
4の座標iにおける値d(i) 415は、
り、差分分布414をつくる。ステレオペア画像の左画像4
01において、 i軸403に沿った輝度分布408の座標iの最
大値をilmax410、座標iにおける輝度の値をgl(i) 411と
し、右画像402において、i軸403に沿った輝度分布409の
座標iの最大値をirmax412、座標iにおける輝度の値をgr
(i) 413とする。さらに、i1=max(ilmax , irmax)である
i1に対応するgl(i)、gr(i)の何れかをg1(i)とし、i2=mi
n(ilmax , irmax)であるi2に対応するgl(i)、gr(i)の何
れかをg2(i)とする。このとき、i軸に沿った差分分布41
4の座標iにおける値d(i) 415は、
【００３８】
【数１】
【００３９】となる。x(i)は、i軸に沿った輝度分布幅
の小さい方の輝度分布を補完し、左右のi軸輝度分布幅
を一致させるための写像関数であり、
の小さい方の輝度分布を補完し、左右のi軸輝度分布幅
を一致させるための写像関数であり、
【００４０】
【数２】
【００４１】と定義される。
【００４２】この差分分布414における高輝度部分416、
417は、ステレオペア画像401、402において視点が異な
るために見え方の異なる部分、つまり、甲板上構造物の
壁の部分といったなどの鉛直方向の面406、407にそれぞ
れ相当する。
417は、ステレオペア画像401、402において視点が異な
るために見え方の異なる部分、つまり、甲板上構造物の
壁の部分といったなどの鉛直方向の面406、407にそれぞ
れ相当する。
【００４３】ステレオペア画像401、402において各i軸
における差分分布d(i) 414をj軸404方向に並べ、一定し
きい値で２値化し、しきい値以上の値を持つ座標をつな
ぐ線で形成される面419が、甲板より高位置にある面と
する。i-j平面418において、船舶のx軸420に沿った分布
421をx軸方向高さ分布とする。このとき、x軸に沿って
甲板より高い面の高さの値はわからないが、位置は把握
可能である。
における差分分布d(i) 414をj軸404方向に並べ、一定し
きい値で２値化し、しきい値以上の値を持つ座標をつな
ぐ線で形成される面419が、甲板より高位置にある面と
する。i-j平面418において、船舶のx軸420に沿った分布
421をx軸方向高さ分布とする。このとき、x軸に沿って
甲板より高い面の高さの値はわからないが、位置は把握
可能である。
【００４４】(Step 1.5)：船舶画像登録
(Step 1.2)において作成した船舶画像を、画像データベ
ースに登録する。
ースに登録する。
【００４５】(Step 1.6)：船舶画像特徴量データ登録
(Step 1.3)において作成した船舶画像特徴量データを、
画像データベースに登録する。
画像データベースに登録する。
【００４６】次に図５および図６の処理解説図に従い、
検索処理を説明する。なお、これらの処理解説図におい
ては、登録処理の説明時と同様に、移動物体の代表例と
して船舶を用いているが、以下の処理は船舶に限定され
ない。
検索処理を説明する。なお、これらの処理解説図におい
ては、登録処理の説明時と同様に、移動物体の代表例と
して船舶を用いているが、以下の処理は船舶に限定され
ない。
【００４７】(Step 2.1)：検索キー船舶を含む空中画像
入力、登録 登録部における(Step 1.1)の処理と同様にして、画像デ
ータベースの検索キーとなる未知船舶を含む衛星画像や
航空写真などの空中画像をシステムに入力し、デジタル
画像データとして画像データベースに登録する。
入力、登録 登録部における(Step 1.1)の処理と同様にして、画像デ
ータベースの検索キーとなる未知船舶を含む衛星画像や
航空写真などの空中画像をシステムに入力し、デジタル
画像データとして画像データベースに登録する。
【００４８】(Step 2.2)：検索キー船舶を含む空中画像
属性データ登録 登録部における(Step 1.2)の処理と同様にして、検索キ
ーとなる未知船舶を含む空中画像の属性データを画像デ
ータベースに登録する。
属性データ登録 登録部における(Step 1.2)の処理と同様にして、検索キ
ーとなる未知船舶を含む空中画像の属性データを画像デ
ータベースに登録する。
【００４９】(Step 2.3)：検索キー船舶抽出
登録部における(Step 1.3)の処理と同様にして、検索キ
ー船舶を含む空中画像より検索キー船舶を抽出する。
ー船舶を含む空中画像より検索キー船舶を抽出する。
【００５０】(Step 2.4)：検索キー船舶画像特徴量抽出
登録部における(Step 1.4)の処理と同様にして、検索キ
ー船舶画像から、検索キー船舶画像特徴量を抽出する。
ー船舶画像から、検索キー船舶画像特徴量を抽出する。
【００５１】なお、(Step 2.1)から(Step 2.4)の処理に
おいては、新たに撮影された空中画像から検索キー船舶
画像を選択した場合について述べたが、、検索キー船舶
画像は、画像データベースに既に登録されている船舶画
像より選択することも可能である。
おいては、新たに撮影された空中画像から検索キー船舶
画像を選択した場合について述べたが、、検索キー船舶
画像は、画像データベースに既に登録されている船舶画
像より選択することも可能である。
【００５２】(Step 2.5)：船舶画像特徴量照合 (図５)
この処理では、画像の撮影位置に影響されない船舶画像
特徴量の照合方法の実現を目的とする。
特徴量の照合方法の実現を目的とする。
【００５３】検索キー船舶画像と画像データベースに登
録された船舶画像との特徴量の照合を行う場合、まず、
検索キー船舶画像と、長さ、幅、重心位置が、しきい値
より異なるデータベース内船舶画像は、照合対象としな
い。また、長軸方向の高さ分布の差分をとり、長軸に沿
った甲板上構造物の範囲がしきい値以上異なるデータベ
ース内船舶画像についても、照合対象としない。
録された船舶画像との特徴量の照合を行う場合、まず、
検索キー船舶画像と、長さ、幅、重心位置が、しきい値
より異なるデータベース内船舶画像は、照合対象としな
い。また、長軸方向の高さ分布の差分をとり、長軸に沿
った甲板上構造物の範囲がしきい値以上異なるデータベ
ース内船舶画像についても、照合対象としない。
【００５４】次に、長さ、幅、重心位置、および長軸方
向高さ分布の差分がしきい値以内である船舶画像につい
て、検索キー船舶画像と輝度特徴量の照合を行う。
向高さ分布の差分がしきい値以内である船舶画像につい
て、検索キー船舶画像と輝度特徴量の照合を行う。
【００５５】検索キー船舶画像と画像データベースに登
録された船舶画像との長/短軸輝度分布の照合を行う場
合、一般に長/短軸輝度分布の差分量を利用することが
多い。しかし、同一船舶を撮影した画像から求めた輝度
特徴量においても、撮影位置が異なると輝度分布が変化
するため、差分量が０とはならず、正しい照合ができな
い。
録された船舶画像との長/短軸輝度分布の照合を行う場
合、一般に長/短軸輝度分布の差分量を利用することが
多い。しかし、同一船舶を撮影した画像から求めた輝度
特徴量においても、撮影位置が異なると輝度分布が変化
するため、差分量が０とはならず、正しい照合ができな
い。
【００５６】従って、撮影位置に影響されない照合方法
を実現するために、動的計画法に従ってエッジ位置を対
応付ける手法を取る。以下、図５を利用しながらこの手
法を説明する。
を実現するために、動的計画法に従ってエッジ位置を対
応付ける手法を取る。以下、図５を利用しながらこの手
法を説明する。
【００５７】真横から見た船舶501に対し撮影位置502
から撮影された画像を検索キー船舶画像とし、撮影位置
502と異なる撮影位置503から撮影された画像を照合
対象となる画像データベース内の船舶画像とする。以
下、撮影位置502から撮影された検索キー船舶画像に
おける長軸(x軸515)方向輝度分布504と撮影位置503か
ら撮影された画像データベース内船舶画像における長軸
(x軸)方向輝度分布505の照合を行う。ここで、記号を次
のように定義する。
から撮影された画像を検索キー船舶画像とし、撮影位置
502と異なる撮影位置503から撮影された画像を照合
対象となる画像データベース内の船舶画像とする。以
下、撮影位置502から撮影された検索キー船舶画像に
おける長軸(x軸515)方向輝度分布504と撮影位置503か
ら撮影された画像データベース内船舶画像における長軸
(x軸)方向輝度分布505の照合を行う。ここで、記号を次
のように定義する。
【００５８】m：検索キー船舶画像の長軸方向エッジ強
度分布におけるしきい値以上の値を持つ座標（エッジ位
置座標、検索キー船舶画像長軸方向輝度分布504におけ
る勾配の大きな個所の座標に相当）列の指標 (m=0,1,
…,M) 506 n：画像データベース内船舶画像の長軸方向エッジ強度
分布におけるしきい値以上の値を持つ座標（エッジ位置
座標、画像データベース内船舶画像長軸方向輝度分布50
5における勾配の大きな個所の座標に相当）列の指標
(n=0,1,…,N) 507c (k)=(m,n)：検索キー船舶画像のエッジ位置座標と画像
データベース内船舶画像のエッジ位置座標の対応付け、
m-n平面516上の格子点に相当 (k=0,1,…,K)、(c(0)=
(0,0),…,c(K)=(M,N))、c(k)列(c(0),c(1), …,c(k),
…,c(K))は、m-n平面516上のc(0)=(0,0) 508とc(K)=(M,
N) 511を結ぶ折れ線(パス)512 d(k-1, k)：m-n平面516上の格子点c(k-1) 509から格子
点c(k) 510に至るパスにおける検索キー船舶画像長軸方
向輝度分布504と画像データベース内船舶画像長軸方向
輝度分布505との間の距離尺度（コスト)。以下のように
定義する。
度分布におけるしきい値以上の値を持つ座標（エッジ位
置座標、検索キー船舶画像長軸方向輝度分布504におけ
る勾配の大きな個所の座標に相当）列の指標 (m=0,1,
…,M) 506 n：画像データベース内船舶画像の長軸方向エッジ強度
分布におけるしきい値以上の値を持つ座標（エッジ位置
座標、画像データベース内船舶画像長軸方向輝度分布50
5における勾配の大きな個所の座標に相当）列の指標
(n=0,1,…,N) 507c (k)=(m,n)：検索キー船舶画像のエッジ位置座標と画像
データベース内船舶画像のエッジ位置座標の対応付け、
m-n平面516上の格子点に相当 (k=0,1,…,K)、(c(0)=
(0,0),…,c(K)=(M,N))、c(k)列(c(0),c(1), …,c(k),
…,c(K))は、m-n平面516上のc(0)=(0,0) 508とc(K)=(M,
N) 511を結ぶ折れ線(パス)512 d(k-1, k)：m-n平面516上の格子点c(k-1) 509から格子
点c(k) 510に至るパスにおける検索キー船舶画像長軸方
向輝度分布504と画像データベース内船舶画像長軸方向
輝度分布505との間の距離尺度（コスト)。以下のように
定義する。
【００５９】
【数３】
【００６０】ただし、x(i)は、
【００６１】
【数４】
【００６２】であり、また、
ai (i=0, …,I)：格子点c(k-1) 509から格子点c(k) 510
に至るパスにおける検索キー船舶画像長軸方向輝度分布
504の輝度値513 bj (j=0, …,J)：格子点c(k-1) 509から格子点c(k) 510
に至るパスにおける画像データベース内船舶画像長軸方
向輝度分布505の輝度値514 Ai (i=0, …, I1)：I1=max(I,J)であるI1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れか Bi (j=0, …,J1)：J1=min(I,J)であるJ1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れかであ
る。
に至るパスにおける検索キー船舶画像長軸方向輝度分布
504の輝度値513 bj (j=0, …,J)：格子点c(k-1) 509から格子点c(k) 510
に至るパスにおける画像データベース内船舶画像長軸方
向輝度分布505の輝度値514 Ai (i=0, …, I1)：I1=max(I,J)であるI1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れか Bi (j=0, …,J1)：J1=min(I,J)であるJ1に対応するai
(i=0, …,I) 513、bj (j=0, …,J) 514の何れかであ
る。
【００６３】D(k)：m-n平面516上の格子点c(0) 508か
ら、c(1),…,c(k-1)を通り、格子点c(k)510に至るパス
における検索キー船舶画像長軸方向輝度分布504と画像
データベース内船舶画像長軸方向輝度分布505との間の
距離尺度（コスト) D(K)の値は、検索キー船舶画像長軸方向輝度分布504と
画像データベース内船舶画像長軸方向輝度分布505との
間のコストとなる。コストが小さいほど、輝度分布間の
類似度が高くなる。
ら、c(1),…,c(k-1)を通り、格子点c(k)510に至るパス
における検索キー船舶画像長軸方向輝度分布504と画像
データベース内船舶画像長軸方向輝度分布505との間の
距離尺度（コスト) D(K)の値は、検索キー船舶画像長軸方向輝度分布504と
画像データベース内船舶画像長軸方向輝度分布505との
間のコストとなる。コストが小さいほど、輝度分布間の
類似度が高くなる。
【００６４】ここで、c(k)列(c(0),c(1),…,c(k),…,c
(K)) （m-n平面516上のc(0)=(0,0) 508とc(K)=(M,N) 51
1を結ぶパス512)に対して次のような制限を設ける。
(K)) （m-n平面516上のc(0)=(0,0) 508とc(K)=(M,N) 51
1を結ぶパス512)に対して次のような制限を設ける。
【００６５】c(k-1)=(m, n)、c(k)=(m,n)であるとき、
【００６６】
【数５】
【００６７】つまり、格子点c(k-1) 509から格子点c(k)
510に至るパスは、m-n平面516上を単調増加する。
510に至るパスは、m-n平面516上を単調増加する。
【００６８】また、必ずしも、m+1=m、n+1=n、とは限ら
ない。これは、あるエッジを無視したパスを許すという
ことである。撮影位置が異なる場合、同じエッジが撮影
位置の異なる画像に必ずしも表れるとは限らないからで
ある。また、c(k)=(m,n)であるとき、
ない。これは、あるエッジを無視したパスを許すという
ことである。撮影位置が異なる場合、同じエッジが撮影
位置の異なる画像に必ずしも表れるとは限らないからで
ある。また、c(k)=(m,n)であるとき、
【００６９】
【数６】
【００７０】つまり、格子点c(k) 510は、c(0) 508とc
(K) 511をつなぐm-n平面516上の対角線から、一定幅内
に限定される。定数rには、撮影位置が異なることによ
るエッジ位置のづれの大きさの最大値を用いる。
(K) 511をつなぐm-n平面516上の対角線から、一定幅内
に限定される。定数rには、撮影位置が異なることによ
るエッジ位置のづれの大きさの最大値を用いる。
【００７１】以上の制限の元、D(K)を最小にする最適パ
ス（c(k)列：(c(0),c(1),…,c(k),…,c(K))）を以下の
漸化式で求める。
ス（c(k)列：(c(0),c(1),…,c(k),…,c(K))）を以下の
漸化式で求める。
【００７２】
【数７】
【００７３】上記式により、検索キー船舶画像長軸方向
輝度分布504と画像データベース内船舶画像長軸方向輝
度分布505との間のコスト（D(K)）を最小にする最適な
パス（c(k)列：(c(0),c(1),…,c(k),…,c(K))）を自動
的に求められる。また、このときのコストを検索キー船
舶画像長軸方向輝度分布504の面積s1のm-n平面516対角
線への投影値Sで正規化した値をとすると
輝度分布504と画像データベース内船舶画像長軸方向輝
度分布505との間のコスト（D(K)）を最小にする最適な
パス（c(k)列：(c(0),c(1),…,c(k),…,c(K))）を自動
的に求められる。また、このときのコストを検索キー船
舶画像長軸方向輝度分布504の面積s1のm-n平面516対角
線への投影値Sで正規化した値をとすると
【００７４】
【数８】
【００７５】となる。ここで、
【００７６】
【数９】
【００７７】s1：検索キー船舶画像の長軸方向輝度分布
504の面積 h1：検索キー船舶画像の長軸方向輝度分布504の幅 h2：画像データベース内船舶画像の長軸方向輝度分布50
5の幅 である。このを、検索キー船舶画像の長軸方向輝度分布
504と画像データベース内船舶画像の長軸方向輝度分布5
05との相違度とする。
504の面積 h1：検索キー船舶画像の長軸方向輝度分布504の幅 h2：画像データベース内船舶画像の長軸方向輝度分布50
5の幅 である。このを、検索キー船舶画像の長軸方向輝度分布
504と画像データベース内船舶画像の長軸方向輝度分布5
05との相違度とする。
【００７８】以上の手法により、同一の船舶であっても
撮影位置が異なるために船舶の見え方が変化し輝度分布
が異なる場合に、輝度分布の差異を最小に押さえる照合
が可能である。従って、船舶の撮影位置に影響されにく
い輝度分布照合方法が実現される。
撮影位置が異なるために船舶の見え方が変化し輝度分布
が異なる場合に、輝度分布の差異を最小に押さえる照合
が可能である。従って、船舶の撮影位置に影響されにく
い輝度分布照合方法が実現される。
【００７９】以上の手法では、長軸方向輝度分布の場合
を述べたが、短軸方向輝度分布の場合も同様である。
長、短軸の複数の軸に沿った輝度分布を利用する場合、
検索キー船舶画像と画像データベース内船舶画像との相
違度は、全ての軸でのコストの加算値ΣD(k)を、検索キ
ー船舶画像輝度分布のm-n平面対角線への投影値の加算
値ΣSで正規化した値、
を述べたが、短軸方向輝度分布の場合も同様である。
長、短軸の複数の軸に沿った輝度分布を利用する場合、
検索キー船舶画像と画像データベース内船舶画像との相
違度は、全ての軸でのコストの加算値ΣD(k)を、検索キ
ー船舶画像輝度分布のm-n平面対角線への投影値の加算
値ΣSで正規化した値、
【００８０】
【数１０】
【００８１】を検索キー船舶画像の輝度分布と画像デー
タベース内船舶画像の輝度分布との相違度とする。この
輝度分布間の相違度を画像特徴量の相違度とする。
タベース内船舶画像の輝度分布との相違度とする。この
輝度分布間の相違度を画像特徴量の相違度とする。
【００８２】(Step 2.6)：船舶画像照合結果絞込み(図
６) この処理では、船舶の画像から特徴量を元に照合された
結果をさらに絞り込み、検索精度を向上させることを目
的とする。
６) この処理では、船舶の画像から特徴量を元に照合された
結果をさらに絞り込み、検索精度を向上させることを目
的とする。
【００８３】(Step 2.5)での照合結果を元に、船舶画像
を特徴量と共にリスト601に表す。
を特徴量と共にリスト601に表す。
【００８４】そして、リストアップされた船舶画像にお
いて、位置(差)603、撮影時間(差)604と船舶の移動速度
から、検索キーとなる船舶の移動不可能な位置に存在す
るため、検索キー船舶とは同一でないと判定できる船舶
を撮影した画像605を、検索された画像から除くことに
より照合結果を絞り込み、船舶画像検索結果とする。こ
れにより、船舶画像の検索精度の向上を図ることが可能
になる。
いて、位置(差)603、撮影時間(差)604と船舶の移動速度
から、検索キーとなる船舶の移動不可能な位置に存在す
るため、検索キー船舶とは同一でないと判定できる船舶
を撮影した画像605を、検索された画像から除くことに
より照合結果を絞り込み、船舶画像検索結果とする。こ
れにより、船舶画像の検索精度の向上を図ることが可能
になる。
【００８５】図６においては画像からの特徴量の相違度
602の順に並べてあるが、ユーザーの指示に応じて、位
置差603や撮影時間差604などの順に並べ替えて表示する
ことも可能である。
602の順に並べてあるが、ユーザーの指示に応じて、位
置差603や撮影時間差604などの順に並べ替えて表示する
ことも可能である。
【００８６】最後に、図７から図９の解説図に従い、移
動物体検出、表示方法における検索された物体画像の表
示処理を説明する。なお、移動物体の代表例として船舶
を用いているが、以下の処理は船舶に限定されない。
動物体検出、表示方法における検索された物体画像の表
示処理を説明する。なお、移動物体の代表例として船舶
を用いているが、以下の処理は船舶に限定されない。
【００８７】ここでは、ユーザーが、検索キー船舶の過
去の位置、移動経路を把握しやすいような表示方法を実
現することを目的とする。
去の位置、移動経路を把握しやすいような表示方法を実
現することを目的とする。
【００８８】まず図７を参照して、ユーザが船舶位置を
把握しやすいよう、検索された船舶画像が属する空中画
像に対し、位置の基準となる地物が含まれるよう領域変
更して表示する場合を説明する。
把握しやすいよう、検索された船舶画像が属する空中画
像に対し、位置の基準となる地物が含まれるよう領域変
更して表示する場合を説明する。
【００８９】検索結果船舶画像の切出し元の空中画像70
1、702、703を図７のように表示した場合、撮影時間T1
(704)、T2(705)、T3(706)順に並べられているので、船
舶間の時間関係は把握しやすいが、画像内に位置の基準
となる地物が含まれていないと、一見して船舶の位置を
把握することは難しい。そこで、画像をデータベース内
の空中画像属性情報を利用して、検索結果空中画像に隣
接する空中画像のうち、灯台710、海岸線711、市街地71
2といった船舶の位置の基準となる地物を含む画像を検
索し、幾何変換して検索結果空中画像に接合する。これ
により、検索結果画像は位置の基準値物を含むよう領域
変更された画像707、708、709とすることができる。
1、702、703を図７のように表示した場合、撮影時間T1
(704)、T2(705)、T3(706)順に並べられているので、船
舶間の時間関係は把握しやすいが、画像内に位置の基準
となる地物が含まれていないと、一見して船舶の位置を
把握することは難しい。そこで、画像をデータベース内
の空中画像属性情報を利用して、検索結果空中画像に隣
接する空中画像のうち、灯台710、海岸線711、市街地71
2といった船舶の位置の基準となる地物を含む画像を検
索し、幾何変換して検索結果空中画像に接合する。これ
により、検索結果画像は位置の基準値物を含むよう領域
変更された画像707、708、709とすることができる。
【００９０】また、この領域変更のために検索された船
舶713、714、715を見失うことが無いよう、つねに空中
画像の中央に船舶が位置するようにしても良いし、船舶
に対してマーキングを施しても良い。
舶713、714、715を見失うことが無いよう、つねに空中
画像の中央に船舶が位置するようにしても良いし、船舶
に対してマーキングを施しても良い。
【００９１】次に図８と図９を参照して、検索船舶画像
の位置、時間関係、移動経路を把握しやすくするため、
検索船舶の位置合わせを行って表示する場合を説明す
る。
の位置、時間関係、移動経路を把握しやすくするため、
検索船舶の位置合わせを行って表示する場合を説明す
る。
【００９２】検索結果船舶画像の切出し元の空中画像80
1、802、803、804、および、検索キー船舶画像の切出し
元空中画像805において、それぞれの撮影時間T1(806)、
T2(807)、T3(808)、T4(809)、T(810)、および、船舶の
座標(x1,y1)811、(x2,y2)812、(x3,y3)813、(x4,y4)81
4、(x,y)815が示されていても、これら船舶の位置、時
間関係を把握することは容易ではない。そこで、これら
の空中画像を、その属性情報内の四隅の座標情報をもと
に接合し、一つのモザイク画像816とする。さらに、撮
影時間順に船舶を矢印817でつなぐことにより、移動経
路を示してもよい。
1、802、803、804、および、検索キー船舶画像の切出し
元空中画像805において、それぞれの撮影時間T1(806)、
T2(807)、T3(808)、T4(809)、T(810)、および、船舶の
座標(x1,y1)811、(x2,y2)812、(x3,y3)813、(x4,y4)81
4、(x,y)815が示されていても、これら船舶の位置、時
間関係を把握することは容易ではない。そこで、これら
の空中画像を、その属性情報内の四隅の座標情報をもと
に接合し、一つのモザイク画像816とする。さらに、撮
影時間順に船舶を矢印817でつなぐことにより、移動経
路を示してもよい。
【００９３】図８は、検索結果空中画像の位置が近く各
画像領域がオーバーラップしている場合であるが、検索
結果空中画像の位置が離れており、オーバーラップ部分
がない場合は、図９に示すように、各空中画像の位置の
基準とできる地図901あるいは、位置の基準とできる領
域の撮影された画像を表示し、その上に各画像902、90
3、904、905、906を位置決めして配置する。そして、図
８と同様に、撮影時間順に船舶907を矢印908でつなぐこ
とにより、移動経路を示すことが可能である。
画像領域がオーバーラップしている場合であるが、検索
結果空中画像の位置が離れており、オーバーラップ部分
がない場合は、図９に示すように、各空中画像の位置の
基準とできる地図901あるいは、位置の基準とできる領
域の撮影された画像を表示し、その上に各画像902、90
3、904、905、906を位置決めして配置する。そして、図
８と同様に、撮影時間順に船舶907を矢印908でつなぐこ
とにより、移動経路を示すことが可能である。
【００９４】
【発明の効果】本発明は以上の構成を備えているので、
ステレオペアからなる物体画像の輝度分布の差分を取る
ことにより、画像の解像度が物体の大きさに対して十分
でなくステレオペア画像における物体間の対応点が精度
良く求まらない場合においても、移動物体の高さ特徴量
を抽出でき、物体画像照合時に異なる高さ特徴量を有す
る物体画像を除外できる。また、移動物体の長/短軸方
向の輝度分布を動的計画法に従って照合することによ
り、輝度分布の単純な差分量を利用する場合より精度良
く照合でき、移動物体の撮影位置に影響されずに、検索
キーとなる移動物体画像と同一の物体を撮影した物体画
像を画像データベースから検索することが可能になる。
ステレオペアからなる物体画像の輝度分布の差分を取る
ことにより、画像の解像度が物体の大きさに対して十分
でなくステレオペア画像における物体間の対応点が精度
良く求まらない場合においても、移動物体の高さ特徴量
を抽出でき、物体画像照合時に異なる高さ特徴量を有す
る物体画像を除外できる。また、移動物体の長/短軸方
向の輝度分布を動的計画法に従って照合することによ
り、輝度分布の単純な差分量を利用する場合より精度良
く照合でき、移動物体の撮影位置に影響されずに、検索
キーとなる移動物体画像と同一の物体を撮影した物体画
像を画像データベースから検索することが可能になる。
【００９５】また、画像の撮影時間、撮影位置と移動物
体の移動速度から、検索キーとなる移動物体の移動不可
能な位置に存在するため、検索キー移動物体とは同一で
ないと判定できる物体を撮影した画像を、検索された物
体画像から除くことにより、検索された物体画像を絞り
込み、検索精度を向上させることができる。
体の移動速度から、検索キーとなる移動物体の移動不可
能な位置に存在するため、検索キー移動物体とは同一で
ないと判定できる物体を撮影した画像を、検索された物
体画像から除くことにより、検索された物体画像を絞り
込み、検索精度を向上させることができる。
【００９６】また、検索された物体画像の切り出し元の
空中画像において、物体位置の基準となる地物を含むよ
うに領域変更することにより、検索された空中画像中の
物体の位置を把握し易くすることが可能になる。また、
検索された空中画像を接合して一つのモザイク画像とし
たり、地図上に配置して、さらに、撮影時間順に移動物
体を矢印でつなぎ移動経路を示すことにより、検索され
た空中画像における物体間の位置、時間関係、物体の移
動経路を表示でき、移動物体の過去の動向を把握し易く
することが可能になる。
空中画像において、物体位置の基準となる地物を含むよ
うに領域変更することにより、検索された空中画像中の
物体の位置を把握し易くすることが可能になる。また、
検索された空中画像を接合して一つのモザイク画像とし
たり、地図上に配置して、さらに、撮影時間順に移動物
体を矢印でつなぎ移動経路を示すことにより、検索され
た空中画像における物体間の位置、時間関係、物体の移
動経路を表示でき、移動物体の過去の動向を把握し易く
することが可能になる。
【図１】本発明にかかる移動物体画像検索、表示システ
ムの機能構成図である。
ムの機能構成図である。
【図２】移動物体の抽出処理解説図である。
【図３】移動物体の輝度、エッジ強度特徴量の解説図で
ある。
ある。
【図４】移動物体高さ特徴量の抽出解説図である。
【図５】移動物体特徴量の照合解説図である。
【図６】移動物体画像検索結果の解説図である。
【図７】移動物体画像の表示解説図である。
【図８】移動物体画像の表示解説図である。
【図９】移動物体画像の表示解説図である。
１０１……登録部 １０２……検索部 １０３
……表示部 １０４……画像データベース １
０５……空中画像 １０６……空中画像属性データ
１０７……空中画像登録手段 １０８……物
体画像切出し手段 １０９……物体画像 １１
０……物体画像特徴量抽手段 １１１……物体画像
特徴量データ １１２……物体画像登録手段
１１３……空中画像 １１４……空中画像属性データ
１１５……物体画像 １１６……物体画像特徴量
データ １１７……空中画像 １１８……空中画像
属性データ １１９……検索キー物体画像 １２０
……検索キー物体画像特徴量データ １２１……物体
画像特徴量照合手段 １２２……物体画像絞込み手段
１２３……検索結果物体画像表示手段 １２４…
…検索結果物体画像 １２５……検索結果空中画像。
……表示部 １０４……画像データベース １
０５……空中画像 １０６……空中画像属性データ
１０７……空中画像登録手段 １０８……物
体画像切出し手段 １０９……物体画像 １１
０……物体画像特徴量抽手段 １１１……物体画像
特徴量データ １１２……物体画像登録手段
１１３……空中画像 １１４……空中画像属性データ
１１５……物体画像 １１６……物体画像特徴量
データ １１７……空中画像 １１８……空中画像
属性データ １１９……検索キー物体画像 １２０
……検索キー物体画像特徴量データ １２１……物体
画像特徴量照合手段 １２２……物体画像絞込み手段
１２３……検索結果物体画像表示手段 １２４…
…検索結果物体画像 １２５……検索結果空中画像。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ０６Ｆ 17/30 ３５０ Ｇ０６Ｆ 17/30 ３５０Ｃ
Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ
(56)参考文献 特開 平８−7072（ＪＰ，Ａ)
特開 昭63−261102（ＪＰ，Ａ)
特開 平４−248405（ＪＰ，Ａ)
特開 平11−109013（ＪＰ，Ａ)
特開 平11−258359（ＪＰ，Ａ)
特開 昭62−125478（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00
G01B 11/00
G06F 17/30
G06T 7/00
ＣＳＤＢ（日本国特許庁)
Claims (9)
- 【請求項１】移動物体を撮影した空中画像、該空中画像
の撮影時間と位置情報、該空中画像から切り出した物体
画像、及び、該物体画像の特徴量を登録した画像データ
ベースを備えた画像検索装置を用いて実行する画像検索
方法であって、 検索キーとなる物体画像を入力し、該検索キーとなる物
体画像から抽出した特徴量と前記画像データベースに登
録された物体画像の特徴量との相違度が所定値以下の物
体画像を抽出し、抽出した該物体画像を含む空中画像の
位置情報を用いて、抽出した空中画像を地図上に配置し
て表示することを特徴とする移動物体画像検索方法。 - 【請求項２】請求項１に記載の物体画像検索方法であっ
て、さらに、抽出した物体画像を相違度順、或いはユー
ザが指定した順に並べて表示することを特徴とする移動
物体画像検索方法。 - 【請求項３】空中画像、該空中画像の撮影時間と位置情
報、該空中画像から物体を切り出した物体画像、及び、
該物体画像から抽出した特徴量を登録した画像データベ
ースと、検索キーとなる物体画像から物体画像特徴量を
抽出する特徴抽出手段と、前記画像データベースに登録
された物体画像特徴量と検索キーとなる物体画像の特徴
量とを照合してこれらの相違度が所定値以下の物体画像
を抽出する画像特徴量照合手段と、抽出した該物体画像
の切り出し元の空中画像の位置情報を用いて、抽出した
空中画像を地図上に配置して表示する検索結果物体画像
表示手段とを有することを特徴とする移動物体画像検索
装置。 - 【請求項４】請求項３に記載の物体画像検索装置であっ
て、前記検索物体画像表示手段は、さらに、抽出した物
体画像を相違度順、或いは、ユーザが指定した順に並べ
て表示することを特徴とする移動物体画像検索装置。 - 【請求項５】請求項３に記載の移動物体画像検索装置に
おいて、前記特徴抽出手段は、ステレオペアからなる物
体画像の輝度分布の差分を取ることにより、物体の高さ
特徴量を抽出することを特徴とする移動物体画像検索装
置。 - 【請求項６】請求項３に記載の移動物体画像検索装置に
おいて、前記特徴抽出手段は、物体画像の輝度分布を特
徴量として抽出し、前記画像特徴量照合手段は、該輝度
分布を動的計画法に則ってエッジ位置を対応付けること
により照合を行うことを特徴とする移動物体画像検索装
置。 - 【請求項７】請求項３に記載の移動物体画像検索装置に
おいて、さらに、抽出した物体画像の切り出し元の空中
画像の撮影時間、撮影位置とから検索キー移動物体とは
同一でないと判定できる物体画像を抽出結果から除く物
体画像絞込み手段を備えることを特徴とする移動物体画
像検索装置。 - 【請求項８】請求項３に記載の移動物体画像検索装置に
おいて、前記検索結果物体画像表示手段は、さらに、検
索された物体画像の切り出し元の空中画像をこれらの位
置情報を用いて位置合わせてして接合して表示すること
を特徴とする移動物体画像検索装置。 - 【請求項９】請求項３に記載の移動物体画像検索装置に
おいて、記検索結果物体画像表示手段は、地図上に配置
した該空中画像中の物体画像の移動経路を前記撮影時間
を用いて矢印表示することを特徴とする移動物体画像検
索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000171984A JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31474799 | 1999-11-05 | ||
| JP11-314747 | 1999-11-05 | ||
| JP2000171984A JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001195565A JP2001195565A (ja) | 2001-07-19 |
| JP3436235B2 true JP3436235B2 (ja) | 2003-08-11 |
Family
ID=26568056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000171984A Expired - Lifetime JP3436235B2 (ja) | 1999-11-05 | 2000-06-05 | 移動物体画像検索方法、及び、装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3436235B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005309796A (ja) * | 2004-04-22 | 2005-11-04 | Japan Fisheries Information Service Center | 構造特徴抽出装置及び同一目標判定装置及び構造特徴抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5090772B2 (ja) * | 2007-04-17 | 2012-12-05 | パナソニック株式会社 | 盗難車両検索システム |
| JP2014137750A (ja) * | 2013-01-17 | 2014-07-28 | Hitachi Solutions Ltd | 情報処理装置、情報処理システム及び情報処理プログラム |
| US9607437B2 (en) * | 2013-10-04 | 2017-03-28 | Qualcomm Incorporated | Generating augmented reality content for unknown objects |
| CN105554480B (zh) * | 2016-03-01 | 2018-03-16 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
| CN107257440A (zh) * | 2017-07-31 | 2017-10-17 | 深圳回收宝科技有限公司 | 一种检测视频跟踪拍摄的方法、设备以及存储介质 |
-
2000
- 2000-06-05 JP JP2000171984A patent/JP3436235B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005309796A (ja) * | 2004-04-22 | 2005-11-04 | Japan Fisheries Information Service Center | 構造特徴抽出装置及び同一目標判定装置及び構造特徴抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
| JP4532973B2 (ja) * | 2004-04-22 | 2010-08-25 | 社団法人漁業情報サービスセンター | 構造特徴抽出装置及び同一目標判定装置及び構造特徴抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001195565A (ja) | 2001-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Robertson et al. | An Image-Based System for Urban Navigation. | |
| CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
| CN102567449B (zh) | 视觉系统及分析图像的方法 | |
| CN110147774B (zh) | 表格式图片版面分析方法和计算机存储介质 | |
| Cham et al. | Estimating camera pose from a single urban ground-view omnidirectional image and a 2D building outline map | |
| US7917286B2 (en) | Database assisted OCR for street scenes and other images | |
| US7227975B2 (en) | System and method for analyzing aerial photos | |
| US9761002B2 (en) | Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data | |
| JP4380838B2 (ja) | ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| JP4632987B2 (ja) | 道路画像解析装置及び道路画像解析方法 | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| JP2005234603A (ja) | 地図情報更新方法及び地図更新装置 | |
| JP2008287379A (ja) | 道路標識データ入力システム | |
| JP4521568B2 (ja) | 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4517003B2 (ja) | 道路標識自動認識システム | |
| CN117218201A (zh) | Gnss拒止条件下无人机影像定位精度提升方法及系统 | |
| CN114358133B (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| JP3436235B2 (ja) | 移動物体画像検索方法、及び、装置 | |
| JP2004198530A (ja) | 地図更新システム、地図更新方法及びコンピュータプログラム | |
| JPH05181411A (ja) | 地図情報照合更新方式 | |
| JPH08255245A (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
| CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| Wong et al. | Single camera vehicle localization using feature scale tracklets | |
| US11256930B2 (en) | Road surface management system and road surface management method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R151 | Written notification of patent or utility model registration |
Ref document number: 3436235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080606 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080606 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090606 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100606 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100606 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |