JP6762108B2

JP6762108B2 - 目標物検知装置、処理方法、プログラム

Info

Publication number: JP6762108B2
Application number: JP2016029977A
Authority: JP
Inventors: 知浩松本; 杉本　喜一; 喜一杉本; 黒田　淳; 淳黒田; 英知道下; 崇之竹川
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2016-02-19
Filing date: 2016-02-19
Publication date: 2020-09-30
Anticipated expiration: 2036-02-19
Also published as: JP2017146907A

Description

本発明は、目標物検知装置、処理方法、プログラムに関する。

地上において異なる位置から遠方の目標物を撮影し、その目標物の座標を特定する技術が存在する。この技術は、一例としては、異なる位置において目標物を撮影した場合の画像に写る位置に基づいて三角測量手法を用いて座標を特定する。関連する技術として特許文献１が開示されている。特許文献１の技術は、解像度の異なる複数の画像に対して被写体検出処理を行い、検出結果の重複度合いを求めるとともに、得られた重複度合いに基づいて多数決判定を行い、最終的な被写体領域を決定する技術である。

特開２０１５−７０４２６号公報

ところで目標物の座標をより精度高く特定するために、上空と地上とのそれぞれから目標物を撮影することが考えられる。しかしながら遠方の目標物をそれぞれ異なる位置から撮影し、目標物として複数の物体がその撮影画像に写る場合、異なる位置からの撮影により取得できた画像における複数の物体の対応関係を正確に判定する必要がある。

そこでこの発明は、上述の課題を解決することのできる目標物検知装置、処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、目標物検知装置は、上空の撮影装置から地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得する俯瞰画像取得部と、地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得する地上画像取得部と、前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する座標算出部と、前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定部と、を備える。

上述の目標物検知装置は、前記対応関係に基づいて、前記俯瞰画像に写る複数の目標物に対して付与した識別情報に対応する識別情報を、前記地上画像に写る複数の目標物それぞれに対して付して表示する表示部を備える。

また上述の目標物検知装置において、前記判定部は、前記俯瞰画像に写る複数の目標物に対して付与した識別情報と、前記地上画像に写る複数の目標物に対して付与した識別情報との関係を判定する。

また上述の目標物検知装置において、前記判定部は、異なる地上の撮影装置から取得した第一地上画像と第二地上画像のそれぞれに基づいて、前記俯瞰画像に写る複数の目標物と、前記第一地上画像及び前記第二地上画像に写る複数の目標物との対応関係を判定する。

本発明の第２の態様によれば、処理方法は、上空の撮影装置により地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得し、地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得し、前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出し、前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する。

本発明の第３の態様によれば、プログラムは、コンピュータに、上空の撮影装置により地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得する俯瞰画像取得ステップと、地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得する地上画像取得ステップと、前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する算出ステップと、前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定ステップと、からなる処理を実行させる。

本発明によれば、上空と地上からの撮影により取得できた各画像に出現する複数の物体の対応関係をより正確に判定することができる。

本発明の一実施形態による目標物検知システムの構成を示す図である。本発明の一実施形態による目標物検知装置のハードウェア構成を示す図である。本発明の一実施形態による目標物検知装置の機能ブロック図である。本発明の一実施形態による上空装置と地上装置の撮影概況を示す図である。本発明の一実施形態による目標物の座標算出の概要を示す図である。本発明の一実施形態による判定部の処理の概要を示す図である。本発明の一実施形態による目標物検知装置の処理フローを示す図である。本発明の一実施形態による表示処理の処理例を示す図である。

以下、本発明の一実施形態による目標物検知装置を図面を参照して説明する。
図１は同実施形態による目標物検知装置を備えた目標物検知システムの構成を示す図である。
この図で示すように目標物検知システム１００は、上空装置１、地上装置２１、２２、目標物検知装置３を備えている。目標物検知装置３は、上空装置１、地上装置２１、地上装置２２と無線通信を介して接続されていてよい。上空装置１は上空から目標物４１、４２を撮影する装置である。地上装置２１、２２は地上から目標物４１、４２を撮影する装置である。上空装置１、地上装置２１、地上装置２２は無線を介して目標物検知装置３へ撮影画像を送信する。撮影画像は動画を構成する複数の画像であってよい。本実施形態において目標物検知装置３は、上空装置１、地上装置２１、２２とは別の装置として示している。しかしながら目標物検知装置３は上空装置１、地上装置２１、２２の何れかの装置に内蔵されたものであってよい。また他の装置の内部に上空装置１、地上装置２１、２２と共に設けられたものであってよい。目標物検知装置３は上空装置１、地上装置２１、２２の少なくとも一つとは有線ケーブルによって接続されていてもよい。なお、以下、地上装置２１、２２を総称して説明する場合には地上装置２と呼ぶ。また以下、目標物４１、４２を総称して説明する場合には目標物４と呼ぶ。本実施形態では目標物４が２つの場合について説明している。しかしながら目標物４の数はこれに限らない。

図２は目標物検知装置３のハードウェア構成を示す図である。
目標物検知装置３は図２で示すように、ＣＰＵ（Central Processing Unit）３０１、ＩＦ（Interface）３０２、通信モジュール３０３、ＲＯＭ（Read Only Memory）３０４、ＲＡＭ（Random Access Memory）３０５、ＨＤＤ（Hard Disk Drive）３０６などの構成を備えたコンピュータである。通信モジュール３０３は無線通信制御を行うものであってもよいし、有線通信制御を行うものであってもよく、それら２つの機能を有していてもよい。

図３は目標物検知装置３の機能ブロック図である。
目標物検知装置３のＣＰＵ３０１はＲＯＭ３０４などに記憶しているプログラムを実行することにより、図３で示す各処理部の機能を有するものとなる。
目標物検知装置３は俯瞰画像取得部３１の機能を有する。また目標物検知装置３は地上画像取得部３２の機能を有する。また目標物検知装置３は座標算出部３３の機能を有する。また目標物検知装置３は判定部３４の機能を有する。また目標物検知装置３は表示部３６の機能を有する。

俯瞰画像取得部３１は上空の撮影装置である上空装置１から地上の１つまたは複数の目標物を撮影した俯瞰画像を取得する。
地上画像取得部３２は地上の撮影装置である地上装置２１，２２から１つまたは複数の目標物を撮影した地上画像を取得する。
座標算出部３３は上空装置１の３次元位置と、上空装置１が俯瞰画像を撮影した際の撮影方向と、俯瞰画像に写る目標物の画像内位置などの情報に基づいて、俯瞰画像に写る１つまたは複数の目標物の座標を算出する。
判定部３４は、俯瞰画像とその俯瞰画像に写る１つまたは複数の目標物４の座標と上空装置１の撮影条件とに基づいて、地上画像から目標物４を撮影する場合の仮想地上画像を生成する。判定部３４は、地上画像と仮想地上画像との比較に基づいて、仮想地上画像の生成に用いた俯瞰画像に写る複数の目標物４と、地上画像に写る複数の目標物４との対応関係を判定する。

図４は上空装置と地上装置の撮影概況を示す図である。
上空装置１は例えば飛行体に設けられて地上を撮影する装置である。上空装置１は飛行体でなくとも上空から地上を撮影できるものであれば、どのようなものであってもよい。例えば上空装置は飛行体や、バルーンなどの空間浮遊物に設けられた装置であってよい。また上空装置はビルなどの構造物に取り付けられた装置であってもよい。地上装置２は例えば地上から走行する車両などの移動体に設けられ目標物４を撮影する装置であってもよいし、所定の固定位置から目標物４を撮影する装置であってもよい。図４においては上空装置１が撮影した俯瞰画像１０１と、地上装置２が撮影した地上画像２０１を示している。上空装置１は撮影により得られた俯瞰画像１０１を、目標物４を追跡しながら順次目標物検知装置３へ送信する。上空装置１は俯瞰画像１０１と共に、現在の上空装置１の３次元座標（緯度、経度、高度）などを目標物検知装置３へ送信する。また上空装置１は撮影方向を示す情報を目標物検知装置３へ送信する。撮影方向は３次元空間座標系における所定の方向を基準とした方向ベクトルによって与えられてよい。上空装置１は自装置の傾きをジャイロセンサによって検出して目標物検知装置３へ送信してよい。上空装置１の傾きは鉛直下向き方向を基準とした方向ベクトルによって与えられてよい。上空装置１が目標物検知装置３へ送信する俯瞰画像１０１以外の情報は上空装置１の撮影条件と呼ぶこととする。上空装置１の撮影条件には、上空装置１の３次元座標、撮影方向、傾きなどを含む。上空装置１の撮影条件には画角などの上空装置１に設けられた撮影装置における設定情報が含まれていてよい。上空装置１による目標物４の追跡は公知の技術を用いてよい。

地上装置２は目標物４を追跡しながら地上画像２０１を順次、目標物検知装置３へ送信する。地上装置２による目標物４の追跡は公知の技術を用いてよい。地上装置２は地上画像２０１と共に、撮影方向を示す情報を目標物検知装置３へ送信する。地上装置２１が目標物検知装置３へ送信した画像は地上画像２０１−１（第一地上画像）と呼ぶ。地上装置２２が目標物検知装置３へ送信した画像は地上画像２０１−２（第二地上画像）と呼ぶ。各地上装置２における撮影方向は３次元空間座標系における所定の方向を基準とした方向ベクトルによって与えられてよい。地上装置２が目標物検知装置３へ送信する地上画像２０１以外の情報は地上装置２の撮影条件と呼ぶこととする。地上装置２の撮影条件には、地上装置２の撮影方向、地上装置２の位置する３次元座標などを含む。

目標物検知装置３において俯瞰画像取得部３１は、俯瞰画像１０１と上空装置１の撮影条件を取得する。俯瞰画像取得部３１はそれらの情報を座標算出部３３へ出力する。地上画像取得部３２は、地上画像２０１（２０１−１、２０１−２）と地上装置２（地上装置２１、２２のそれぞれ）の撮影条件を取得する。地上画像取得部３２はそれらの情報を判定部３４へ出力する。座標算出部３３は取得した俯瞰画像１０１に目標物が出現しているかどうかを判定する。この判定は、目標物検知装置３がパターンマッチングやブロックマッチングなどの公知の技術により行ってよい。または目標物が出現する俯瞰画像１０１における画像内位置をユーザが目標物検知装置３に入力し、その入力に基づいて座標算出部３３は目標物が出現していると判定するようにしてもよい。座標算出部３３は、得られた画像内位置の目標物の画像内位置と、上空装置１から得た撮影条件に基づいて、３次元空間における目標物４１、４２の３次元座標（緯度、経度、高度）を算出する。

図５は目標物の座標算出の概要を示す図である。
座標算出部３３は俯瞰画像１０１と撮影条件と目標物４（４１、４２）の画像内位置とに基づいて、各目標物４の緯度、経度を算出する。座標算出部３３は、撮影条件に含まれる上空装置１の３次元座標、撮影方向、傾き、画角などを用いて、目標物４の緯度、経度を公知の技術により算出する。目標物検知装置３はＲＯＭに地形情報を保持している。地形情報は緯度、経度に対応する高度情報を含む。座標算出部３３は各目標物４について算出した緯度、経度に基づいて、地形情報から高度情報を読み取ってもよい。座標算出部３３は、それら緯度、経度、高度からなる各目標物４の３次元座標を判定部３４へ出力する。

図６は判定部の処理の概要を示す図である。
図７は判定部の処理フローを示す図である。
判定部３４は取得した各画像に出現する目標物に識別情報を割り当てる（ステップＳ７０１）。つまり判定部３４は、俯瞰画像１０１に出現する目標物にＩＤ（識別情報）を割り当てる。目標物４１と目標物４２の２つが俯瞰画像１０１に出現している場合、一方にＡ、他方にＢの各ＩＤを割り当てる。判定部３４はまた、地上画像２０１（２０１−１、２０１−２）に出現する目標物にＩＤを割り当てる。判定部３４は目標物４１と目標物４２が地上画像２０１に出現している場合、一方に００１、他方に００２を割り当てる。なお判定部３４は地上装置２１から受信した地上画像２０１−１に出現する目標物４１には００１−１、目標物４２には００２−１を割り当てる。また判定部３４地上装置２１から受信した地上画像２０１−２に出現する目標物４１には００１−２、目標物４２には００２−２を割り当てる。判定部３４は、このように異なる地上画像２０１にはそれぞれ別々のＩＤを割り当ててよい。

判定部３４は俯瞰画像１０１と上空装置１の３次元座標、撮影方向、傾き、画角などの情報を用いて、俯瞰画像１０１に基づく３次元データを生成する。この３次元データは上空装置１の３次元座標と、目標物４の３次元座標などに基づいてその相対関係が３次元データ内で表されるデータであってよい。判定部３４は、生成した３次元データに設定した地上装置２の３次元座標と、３次元データ内に含まれる目標物４の３次元座標とから、３次元データ内の地上装置２の位置から目標物４を撮影したと仮定した場合の２次元の仮想地上画像１０２を生成する（ステップＳ７０２）。俯瞰画像に基づく３次元データが生成されていれば、その３次元データにおいて地上装置２から目標物４を撮影した場合の仮想地上画像１０２は座標変換などの公知の３次元処理によって生成することができる。なお３次元データを生成しなくとも、俯瞰画像１０１と上空装置１の３次元座標、撮影方向、傾き、画角などの情報、目標物４について算出した３次元座標を用いて、座標変換等の公知の技術により仮想地上画像１０２を生成してもよい。

以下、地上画像２０１−１、２０１−２に対して同様の処理を行うが、説明の便宜上、地上画像２０１−１、２０１−２を総称した地上画像２０１に対して処理を行うものとして説明を進める。
判定部３４は仮想地上画像において目標物４が出現する画像内位置と、地上画像２０１において目標物４が出現する画像内位置とを比較する。今、仮想地上画像１０２にはＩＤ＝ＡとＩＤ＝Ｂの目標物４が出現している。また地上画像２０１にはＩＤ＝００１とＩＤ＝００２の目標物４が出現している。判定部３４は仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１におけるＩＤ＝００１の目標物４の画像内位置との距離を算出する。判定部３４は仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１におけるＩＤ＝００２の目標物４の画像内位置との距離を算出する。判定部３４は、仮想地上画像１０２におけるＩＤ＝Ａの目標物４の画像内位置との距離が近いと算出できた目標物４のＩＤを、地上画像２０１から特定する。なお仮想地上画像１０２と地上画像２０１の画素数と距離の算出に利用する原点はそれら画像間で一致しているものとする。判定部３４は上記の距離の算出においては、２つの画像が同じ画像であると仮定してそれぞれの画像に出現する目標物４の距離を算出する（ステップＳ７０３）。

図６で示す例の処理では判定部３４は仮想地上画像１０２に出現するＩＤ＝Ａの目標物４の画像内位置と、地上画像２０１に出現するＩＤ＝００２の目標物４の画像内位置とがより近いため、ＩＤ＝００２の目標物４を地上画像２０１から特定する。判定部３４は目標物４の各画像における距離に基づいて各画像における目標物４の対応関係を判定する（ステップＳ７０４）。つまり判定部３４はＩＤ＝Ａの目標物４と、ＩＤ＝００２の目標物４が対応すると判定する。また同様に判定部３４はＩＤ＝Ｂの目標物４と、ＩＤ＝００１の目標物４が対応すると判定する。判定部３４はＡと００２の対応関係と、Ｂと００１の対応関係を表示部３６に出力する（ステップＳ７０５）。なお判定部３４はこれらの処理を複数の地上画像２０１に対して行う。

図８は表示処理の処理例を示す図である。
表示部３６は俯瞰画像１０１と地上画像２０１（２０１−１、２０１−２）とを一つずつ、または同時にモニタ等に表示するようにしてよい。表示部３６は、俯瞰画像１０１と地上画像２０１とに出現する目標物に、ＩＤの文字列を重畳して表示するようにしてよい。表示部３６は、俯瞰画像１０１において俯瞰画像１０１に出現する目標物４に対して付与したＩＤの文字列を、俯瞰画像１０１上の対応する目標物４の近傍に重畳して表示する。一方で表示部３６は、地上画像２０１において地上画像２０１に出現する目標物４に対して付与したＩＤの文字列を、その文字列に対応する俯瞰画像１０１側の文字列に変換して、地上画像２０１上の対応する目標物４の近傍に重畳して表示する（図８（ｙ））。つまり、地上画像２０１においてＩＤ＝００１が付与された目標物４には、その近傍にＩＤ＝Ｂの文字列を表示する。また地上画像２０１においてＩＤ＝００２が付与された目標物４には、その近傍にＩＤ＝Ａの文字列を表示する（図８（ｙ））。上述したように表示部３６は、複数の地上画像２０１−１、２０１−２のそれぞれについて同様に処理を行う。

以上の処理により判定部３４が俯瞰画像１０１に出現する複数の目標物４と、地上画像２０１に出現する複数の目標物４の対応関係を判定して、適切な対応関係を算出する。これにより俯瞰画像１０１と、地上画像２０１において、適切な目標物の対応関係を判定することができる。

上述のステップＳｘの処理において判定部３４は、さらに、仮想地上画像１０２において出現する目標物４の画像内位置と、地上画像２０１において出現する目標物４の画像内位置とが近い対応関係を特定した後に、それら画像内位置が所定の距離以内かを判定してもよい。判定部３４は、異なる画像において画像内位置の近い各目標物４の対応関係について所定距離以内でない場合には、それらの対応関係は成立しないと判定してもよい。

上述の目標物検知装置３は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・上空装置
２・・・地上装置
３・・・目標物検知装置
４・・・目標物
３１・・・俯瞰画像取得部
３２・・・地上画像取得部
３３・・・座標算出部
３４・・・判定部
３６・・・表示部

Claims

上空の撮影装置から地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得する俯瞰画像取得部と、
地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得する地上画像取得部と、
前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する座標算出部と、
前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定部と、
を備えることを特徴とする目標物検知装置。
前記対応関係に基づいて、前記俯瞰画像に写る複数の目標物に対して付与した識別情報に対応する識別情報を、前記地上画像に写る複数の目標物それぞれに対して付して表示する表示部
を備えることを特徴とする請求項１に記載の目標物検知装置。
前記判定部は、前記俯瞰画像に写る複数の目標物に対して付与した識別情報と、前記地上画像に写る複数の目標物に対して付与した識別情報との関係を判定する
ことを特徴とする請求項１または請求項２に記載の目標物検知装置。
前記判定部は、異なる地上の撮影装置から取得した第一地上画像と第二地上画像のそれぞれに基づいて、前記俯瞰画像に写る複数の目標物と、前記第一地上画像及び前記第二地上画像に写る複数の目標物との対応関係を判定する
ことを特徴とする請求項１または請求項３に記載の目標物検知装置。
上空の撮影装置により地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得し、
地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得し、
前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出し、
前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する
ことを特徴とする処理方法。
コンピュータに、
上空の撮影装置により地上の複数の目標物を当該上空の撮影装置が追跡して撮影した俯瞰画像を取得する俯瞰画像取得ステップと、
地上の撮影装置から複数の目標物を当該地上の撮影装置が追跡して撮影した地上画像を取得する地上画像取得ステップと、
前記上空の撮影装置の３次元位置と、前記上空の撮影装置が前記俯瞰画像を撮影した際の撮影方向と、前記俯瞰画像に写る前記目標物の画像内位置とに基づいて、前記俯瞰画像に写る複数の目標物の座標を算出する算出ステップと、
前記俯瞰画像とその俯瞰画像に写る複数の目標物の座標と前記上空の撮影装置の撮影条件とに基づいて、前記地上画像から前記目標物を撮影する場合の仮想地上画像を生成し、前記地上画像と前記仮想地上画像との比較に基づいて、前記仮想地上画像の生成に用いた前記俯瞰画像に写る複数の目標物と、前記地上画像に写る複数の目標物との対応関係を判定する判定ステップと、
からなる処理を実行させるプログラム。