WO2004113836A1

WO2004113836A1 - 撮影映像表示方法

Info

Publication number: WO2004113836A1
Application number: PCT/JP2003/007861
Authority: WO
Inventors: Yasumasa Nonoyama; Yoshiko Maeda
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2004-12-29
Also published as: AU2003244321B2; US7800645B2; CA2526105A1; TW200501741A; US20060215027A1; AU2003244321A1; GB2418558A; GB2418558B; GB0525769D0; CA2526105C; CN1788188B; AU2003244321B8; CN1788188A; TWI220839B; JPWO2004113836A1

Abstract

　空中より撮影された地表面の撮影映像の位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ねて表示する撮影映像表示方法であって、地理情報システムの地図と撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された撮影範囲の計算に使用するパラメータを補正する。

Description

明細書撮影映像表示方法技術分野

この発明は、例えばへリコプタに搭載された撮影装置から送信された映像を、地理情報システムの地図上に重ね合わせて表示することにより、震災、火災等の天災や爆発、重大事故等の人災等の災害が発生した場合、地上の状況の判断を容易に、かつ精度良く行えるようにしたことを特徴とする撮影映像表示方法に関するものである。背景技術

従来の位置特定方法および装置は例えば特許第 2 6 9 5 3 9 3号公報に示されているように、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測し、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データから目標物の存在する地表面を求め、地表面と撮影位置から目標物の方向に延びる直線との交点位置として、空中から撮影した地表面の目標物の位置を特定している。

従来の位置特定方法および装置では、地表面における目標物の位置を特定するために、前提として、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データが必要である。また、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測するときに生じる計測誤差を補正することができず、正確な位置の特定が困難である。さらに、位置の特定が目標物一点に限られているために、地表面における状況を面的に把握することは不可能であるなどの問題があった。発明の開示

この発明は上記のような問題を解決するためになされたものであり、撮影映像を地理情報システムの地図上に重ね合わせて表示することによって、撮影された地表面の状況を面的に把握することを可能とし、また、撮影映像と地図との照合によリ映像の地図上における表示位置を補正して高精度な重畳表示を行い、撮影された地表面の状況把握をよリ容易かつ速やかにできる撮影映像表示方法を提供することを目的とする。

この目的を達成するため、本発明に係る撮影映像表示方法は、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を 3次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する。

また、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を 3 次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する撮影映像表示方法であって、地理情報システムの地図と撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示する。

この発明によれば、映像情報と地図との整合性を確認することが容易となり、目標地点の判別が容易にできるものである。図面の簡単な説明

図 1はこの発明の実施の形態 1に係る撮影映像表示方法を実施するシステムを示すプロック図である。

図 2は実施の形態 1における地図処理手段の機能説明図である。図 3は実施の形態 1による表示画面を示す写真である。

図 4はこの発明の実施の形態 2に係る撮影映像表示方法によリ得られた表示画面を示す写真である。

図 5はこの発明の実施の形態 3を説明する図である。

図 6は実施の形態 3における地図処理を説明する図である。

図 7はこの発明の実施の形態 4を説明する図である。

図 8は実施の形態 4における地図処理を説明する図である。

図 9はこの発明の実施の形態 5を説明する図である。

図 1 0は実施の形態 5における地図処理を説明する図である。

図 1 1はこの発明の実施の形態 6に係る撮影映像表示方法の地図処理を説明する図である。

図 1 2はこの発明の実施の形態 7に係る撮影映像表示方法の地図処理を説明する図である。

図 1 3はこの発明の実施の形態 8に係る撮影映像表示方法を説明する図である。

図 1 4はこの.発明の実施の形態 9に係る映像表示方法を実施するシステムを示すプロック図である。

図 1 5は実施の形態 9における地図処理手段の機能説明図である。図 1 6は実施の形態 9による映像表示方法における動作を示すフロ一チャートである。

図 1 7は実施の形態 9における地図処理手段の中の撮影画枠計算で使用する角度パラメータを説明する図である。

図 1 8は実施の形態 9における地図処理手段の中の撮影画枠計算を説明する図である。

図 1 9は実施の形態 9における地図処理手段の中のパラメータ補正を説明する図である。

図 2 0は実施の形態 9による映像表示方法における効果を示す図で図 2 1はこの発明の実施の形態 1 1を説明する図である。

図 2 2はこの発明の実施の形態 1 2を説明する図である。

図 2 3はこの発明の実施の形態 1 4に係る映像表示方法における動作を示すフローチヤ一トである。

図 2 4は実施の形態 1 4に係る映像表示方法における効果を示す図図 2 5はこの発明の実施の形態 1 5を説明する図である。

図 2 6はこの発明の実施の形態 1 6を説明する図である。発明を実施するための最良の形態

実施の形態 1 .

まず、この発明の概略を説明する。この発明は、空中から地上を撮影した撮影映像を、地理情報システム（G I S = Geograph i c I nformat i on System 地図をコンピュータ画面上に表示するシステム）の地図上に重ね合わせて表示することによって、映像情報と地図との整合性の確認を容易にし、目標地点の判別を容易にするものである。ただし、空中からカメラで地上を撮影した場合、その映像はカメラの向きに関わらず常に一定の矩形形状にしか写らないため、撮影した映像を地理情報システムで得た地図上にそのまま重ね合わせる（貼り付ける）ことは困難である。そこで本発明では、映像を撮影時のカメラ情報と機体の姿勢情報を用いた計算により、地上に対するカメラの姿勢等に基づいて、矩形から台形あるいは菱形に近い形など、複雑に変わる撮影される地表面の撮影範囲 ( =撮影画枠）を計算により求め、その画枠に合わせて映像を変形して地図上に貼り付け、表示するものである。

以下この発明の実施の形態 1に係る撮影映像処理方法及び撮影映像処理システムについて図面を参照して説明する。図 1はこの発明の方法を実施するシステムを説明するプロック図、図 2は地図処理手段の機能を説明する図である。この発明の方法は、撮影装置（=カメラ）等を搭載したヘリコプタ等の飛行体（=機体）からなる機上系 1 0 0と、機上系 1 0 0からの信号を受信して処理する地上に設置された地上系 2 0 0とにより実現する。

機上系 1 0 0は、主に、空中から地表を撮影する撮影手段、撮影手段の撮影位置を 3次元的に特定するための情報を取得する情報収集部としての機体位置計測手段 1 0 8や機体姿勢計測手段 1 0 7、上記撮影手段で撮影された撮影映像と上記情報収集部で取得された情報とを送信する送信手段を有する機上装置からなる。

即ち、機上系 1 0 0において、機体 1 0 1には、空中から地上を撮影する撮影手段 1 0 5であるカメラ 1 0 2力'《搭載されている。機体 1 0 1 は G P S信号受信部であるアンテナ 1 0 3により現在の ί立置情報を得て、機体位置検出を行う機体位置計測手段 1 0 8、及びジャイロを備え、さらに、機体 1 0 1の姿勢すなわち仰角（=ピッチ）とロール角を検出する機体姿勢検出を行う機体姿勢計測手段 1 0 7を備えている。

カメラ 1 0 2を含む撮影手段 1 0 5は、地上を撮影し、その映像信号を出力すると共に、カメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラ 1 0 2はジンバルに取り付けられ、このジンバルはカメラの回転角（=パン）、傾き（=チルト）を検出するカメラ姿勢計測手段 1 0 6を有しておりその値を出力する。

上記機体位置計測手段 1 0 8からの出力信号、機体姿勢計測手段 1 0 7からの出力信号、カメラ撮影手段 1 0 5の映像信号、カメラ情報信号、カメラ姿勢計測手段 1 0 6からの出力信号は多重変調手段 1 0 9で多重変調され、信号変換手段 1 1 0でデジタル信号にされ、追尾手段 1 1 1を有する送信手段 1 0 4から地上系 2 0 0へ向けて送信される。

地上系 2 0 0は、主に、空中から撮影手段が撮影した地表の撮影映像及び上記撮影手段の撮影位置を 3次元的に特定するための情報を入力する入力部、入力した情報に対し信号処理を行う信号処理部、画面に地図を表示する地理情報システム、信号処理部で処理された情報を含めて映像処理し表示部に表示する地図処理部とから構成される。

即ち、機上系 1 0 0からの信号は、追尾手段 2 0 2を有する受信手段 2 0 1で受信され、信号変換手段 2 0 3で信号変換される。この信号は、さらに、多重復調手段 2 0 4により、映像信号とその他機体位置、機体姿勢、カメラ姿勢、カメラ情報等の情報信号として取り出される。取り出されたこれらの信号を信号処理手段 2 0 5で信号処理し、映像信号は動画データ 2 0 7および静止画データ 2 0 8として次のステップの地図処理手段 2 0 6での地図処理に用いられる。その他、地理情報システ厶の 2次元地図データ 2 0 9、地勢データ 2 1 0を含めた情報信号も地図処理手段 2 0 6での地図処理に用いられる。 2 1 1はモニタ表示手段である。

図 2はこの実施の形態の撮影映像表示システムの地図処理手段の概略を示す図である。地図処理手段 2 0 6は、図 2に示すように、映像信号である動画データ 2 0フと静止画データ 2 0 8、機体位置、機体姿勢、カメラ姿勢の情報信号、および地理情報システムの 2次元地図データ 2 0 9と 3次元地勢データ 2 1 0により処理を行うもので、主に、撮影手段が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求める撮影範囲計算部（画枠計算 2 1 2 )、画枠計算 2 1 2で求められた撮影範囲に合わせて上記撮影映像を変形する映像変形部（映像変形 2 1 3 )、上記地図上の上記撮影範囲に上記変形された撮影映像を重ね合わせて表示する表示部（重ね合わせ 2 1 4等）から構成される。

地図処理手段 2 0 6では、まず、画枠計算 2 1 2で、機体位置の情報信号によリ空中における撮影位置を 3次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（=撮影画枠）を計算により求める画枠計算を行う。この画枠に合わせて映像変形 2 1 3を行う。この映像変形は、映像が地図に一致する台形あるいは菱形に近い形等になるように映像を変形するものである。次に、重ね合わせ 2 1 4で、変形した映像を地理情報システムの地図上に重ね合わせ (貼り合わせ）、その後、これを C R Tなどのモニタ表示手段 2 1 1で表示する。

図 3は地理情報システムの地図 3 0 1上に、撮影画枠 3 0 3を地図に合わせて、撮影映像 3 0 2を重ね合わせた写真である。 3 0 4は機体の飛行経路、 3 0 5は機体位置（カメラ位置）である。上述の変形処理を含む地図処理を地図処理手段 2 0 6で行うことによリ、図 3に示すように、映像と地図とがほぼ完全に一致し、映像情報と地図との整合性を確認することが容易となリ、目標地点の判別が容易にできる。

また、図 3のように、カメラで撮影した画枠の映像を地図上に重ねて表示することができる他に、撮影映像 3 0 2を消して画枠 3 0 3だけを表示することも容易にできる。ここで撮影映像 3 0 2は 2次元の地図上に重ね合わされている。従って、例えは災害発生の場所（例えば火災を起しているビル）等を撮影映像 3 0 2で視認し撮影映像 3 0 2上でその位置をチ: ϋック（クリック）し、その後、撮影映像 3 0 2を消して画枠 3 0 3のみの表示として撮影映像 3 0 2の下の 2次元の地図を表示させれば撮影映像上でチェックした位置が地図上のどこに相当するのかを迅速に認識することができる。さらに、カメラの向きに関わらず、モニタの表示映像を一定の方向に表示するようにしておけば、目標地点の判別がさらに容易となる。

実施の形態 2 .

本実施形態では、機体 1 0 1の現在位置を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、連続して撮影した撮影映像を、複数枚連続して所定の周期でサンプリングし、連続する複数枚の映像を地理情報システムの地図上に貼リ合わせて表示を行い、その地図上に貼リ合わされた映像から目標の地点を特定化しようとするものである。

図 4はこの方法によるモニタ表示画面を示すもので、 3 0 4は機体の飛行経路、 3 0 5は機体位置（カメラ位置）である。飛行経路 3 0 4に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして各画枠を求め、撮影映像を画枠に合うように変形処理し、地図 3 0 1 上に貼り付ける。 3 0 2 a〜 3 0 2 f は貼り付けた映像、 3 0 3 a〜 3 0 3 f はその画枠である。

撮影画枠の計算及び各画枠への映像の変形は、実施の形態 1 で説明したように撮影時のカメラ情報と機体の姿勢情報を用いた計算によリ行なう。各画像のサンプル周期は、機体の速度に応じて変えてもよい。通常、機体の速度が速いときはサンプリング周期を短く、機体速度が遅いときはサンプリング周期を長くする。本実施の形態 2では、地図と複数枚の連続映像による広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となり、目標地点の判別を一層効果的に行うことができる。

実施の形態 3 .

本実施の形態では、機体 1 0 1の現在位置と機体に対するカメラ 1 0 2の回転角と傾き（パンとチル卜-カメラの姿勢）を測定し、このカメラの姿勢に基づいて地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。

本実施の形態 3によれば、撮影手段であるカメラの姿勢に基づいて撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、よリ精度の高い地上の状況を識別することが可能となる。いま、機体 1 0 1 とカメラ 1 0 2の関係を、図 5のように、カメラ 1 0 2がジンバル 1 1 2に収容され、機体 1 0 1は水平飛行を行うと仮定すると、同図（b ) ( c ) に示すように、カメラ 1 0 2の傾きは機体 1 0 1の中心軸からの傾きチルト）として、カメラ 1 0 2の回転角度 (パン）は機体 1 0 1の進行方向からの回転角度として出力される。すなわち、（b ) の状態では、カメラ 1 0 2が真下を向いているので傾きは 0度、（c ) の状態ではカメラ 1 0 2の傾き Θ が垂直面からの傾きとなることを示している。

カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、 3 D座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。 3 D座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。 1 ) 基準状態での撮影画枠の計算

まず、図 6 ( a ) に示すように、画枠 4点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、 4点の座標を得る。

2 ) カメラのチルト（z軸）にて、 4点の回転後の位置を計算

図 6 ( b ) に示すように、カメラのチルト角度 0 から、 z軸のまわりに撮影画枠を回転する。回転後の座標を次の数式 1で変換して求める, [数式 1 ]

3 ) カメラの方位角（y軸）にて、 4点の回転後の位置を計算

図 6 ( c ) に示すように、カメラの方位角 0 から、 y軸のまわり撮影画枠を回転する。回転後の座標を次の数式 2で変換して求める。

[数式 2]

4) 回転処理後の画枠を、原点（機体位置）から地表面（y軸高度地点）に投影した図枠を計算

図 6 ( d ) に示すように、撮影画枠を地表面（y軸高度）に投象することで、投象平面（撮影画枠）を得る。投影後の座標を次の数式 3で変換して求める。

[数式 3]

次の数式 4で、一般同次座標系 [ X , Υ , Ζ , W]を得る。ただし、 dは海抜高度である。

[数式 4 ]

[X Y Z W] = [x y z yld] 次に、 W' y /d)で割って 3 Dに戻すと次の数式 5となる。

[数式 5 ]

実施の形態 4 .

本実施の形態では、機体 1 0 1の現在位置と、機体 1 0 1の仰角と口一ル角を測定し、この仰角とロール角により、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態 4によれば、機体 1 0 1の地上に対する位置情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、よリ精度の高い地上の状況を識別することが可能となる。いま、機体とカメラの関係を図 7のように、カメラ 1 0 2が機体 1 0 1に固定（つまリジンバルを使わない）されていると仮定すると、同図 ( b ) に示すように、機体 1 0 1 自身が地上から水平に飛行している場合は、カメラ 1 0 2が真下を向いているので、カメラ 1 0 2の傾きは 0 度となる。同図（c) のように、機体 1 0 1が傾いている場合はこれがカメラ 1 02の姿勢となるので、機体 1 0 1の仰角（ピッチ）、ロール角に基づいてカメラの撮影画枠の計算を行う。

1 ) 基準状態での撮影画枠の計算

図 8 ( a)に示すように、画枠 4点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、 4点の座標を得る。

2) 機体のロール（X軸）にて、 4点の回転後の位置を計算

図 8 ( b) に示すように、次式により機体のロール角度 Θ から、 X 軸のまわりに撮影画枠を回転する。回転後の座標を次の数式 6で変換して求める。

[数式 6] '

3) 機体のピッチ（z軸）にて、 4点の回転後の位置を計算

図 8 ( c) に示すように、機体のピッチ角度 0 から、 _Z軸のまわりに撮影画枠を回転する。回転後の座標を次の数式 7で変換して求める。

[数式 7]

4) 回転処理後の画枠を、原点（機体位置）から地表面（y軸高度地点）に投影した図枠を計算 07861

13 図 8 (d) に示すように、撮像画枠を地表面（y軸高度）に投象することで、投象平面（撮影画枠）を得る。投象後の座標を次の数式 8で変換して求める。

[数式 8]

次の数式 9により一般同次座標系 [X, Y, Z, W]を得る。

[数式 9]

次に、 W' (= y/d)で割って 3 Dに戻すと次の数式 1 0とな ,

[0072]

[数式 1 0]

実施の形態 5.

本実施の形態では、機体 1 01の現在位置と、機体に対するカメラ 1 02の回転角度と傾き、それに機体 1 0 1の仰角とロール角を測定し、これらにより、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態 5によれば、カメラの姿勢情報、機体の姿勢情報から撮影画枠を計算することによつて、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。

いま、機体 1 0 1 とカメラ 1 0 2の関係を図 9のように、カメラ 1 0 2がジンバル 1 . 1 2に収容され、また機体 1 0 1は自由な姿勢で飛行を行うとすると、同図（b ) に示すように、ジンパル 1 1 2からカメラ 1 0 2の傾きとカメラの回転角度が出力される。また、ジャイロから機体 1 0 1 自身の地上に対する仰角とロール角が出力される。

カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、 3 D座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。 3 D座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。

1 ) 基準状態での撮影画枠の計算

図 1 0 ( a ) に示すように、画枠 4点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、 4点の座標を得る。

2 ) カメラのチルト（_Z軸）にて、 4点の回転後の位置を計算

図 1 0 ( b ) に示すように、カメラのチルト角度 0 から、 z軸のまわりに撮影画像を回転する変換をする。回転後の座標を次の数式 1 1で変換して求める。

[数式 1 1 ] sin 0 0'

雞 0 4

0 1 ：0；|

0 ひ 1

3 ) カメラの方位角（_y軸）にて、 4点の回転後の位置を計算図 1t 0 (c) に示すように、カメラの方位角度 0 から y軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式 1 2で変換して求める。

[数式 1 2]

4) 機体のロール（_x軸）にて、 4点の回転後の位置を計算

図 1 0 (d) に示すように、機体のロール角度 0 から、 X軸のまわリに撮影画枠を回転する変換をする。回転後の座標を次の数式 1 3で変換して求める。

[数式 1 3]

[ ¾^; !]- [¾■ y i]

5) 機体のピッチ（_Z軸）にて、 4点の回転後（回転角 Θ) の位置を計算

図 1 0 (e) に示すように、機体のピッチ角度 0 から、 z軸のまわリに撮影画枠を回転する変換をする。回転後の座標を次の数式 1 4で変換して求める。

[数式 1 4]

6) 回転処理後の画枠を、原点（機体位置）から地表面（y軸高度地点）に投影した図枠を計算

図 1 0 ( f ) に示すように、撮像画枠を地表面（y軸高度）に投象することで、投象平面（撮像画枠）を得る。投象後の座標を次の数式 1 5

1,- ,,

で変換して求める。

[数式 1 5]

J

7) 次の数式 1 6により、一般同次座標系 [Χ， Υ, Ζ, W]を得る, [数式 1 6]

8) 次に、 W' (= y/d)で割って 3 Dに戻すと次の数式 1 7となる, [数式 1 7]

X： ζ ■

ά

W W W 実施の形態 6.

本実施の形態では、機体 1 0 1の現在位置と、機体に対するカメラ 1 02の回転角度と傾き、それに機体 1 0 1の仰角とロール角を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算する。その撮影画枠の 4点の計算処理において、地勢高度データを利用し、機体 1 0 1の飛行位置を補正して撮影画枠を計算する。その撮影画枠に合わせて撮影した映像を変形して地理情報システムの地図上に貼リ合わせ、撮影映像と地図との照合を行う。

本実施の形態 6によれば、機体の位置、高度、機体姿勢情報とカメラの姿勢情報を使用し、地表面の高度地勢情報によって補正を行い、撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、よリ精度の高い地上の状況を識別することが可能となる。

図 1 1に示すように、前述の実施の形態 5における回転後の地表面への撮影画枠の計算処理において、機体の高度を、 G P S装置から得られる海抜高度に対して、地表面の地勢高度情報を利用して撮影地点の地表面高度（相対高度 d =海抜高度一地表面高度）を使用し、撮影画枠の 4 点の計算を実施する。

1 ) 回転処理後の画枠を、原点（機体位置）から地表面（y軸高度地点）に投影した図枠を計算

撮影画枠を地表面（ y軸高度）に投象することで、投象平面を得る。投象後の座標を次の数式 1 8で変換して求める。

[数式 1 8 ]

次の数式 1 9により、一般同次座標系 [ x， Y , ， w]を得る,

[数式 1 9 ] 次に、 W' (= y /d)で割って 3 Dに戻すと次の数式 2 0となる,

[数式 2 0 ]

y/d

ここで使用する相対高度 dを、 G P S装置から得られる地平線からの絶対高度から目標地点の地勢高度を減算して求め、カメラからの相対高度を利用することで、精度の高い撮影画枠の位置を計算する。

実施の形態 7 .

本実施の形態では、機体 1 0 1の現在位置を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、地図上に張り合わせる撮影映像を連続して複数枚、連続的に地理情報システムの地図上に張り合わせ表示を行い、その地図上に張り合わされた映像から目標の地点を特定化する。

複数枚の撮影映像を地理情報システムの地図上に張り合わせを行う処理において、計算された撮影画枠に従って配置を行い、各撮影映像の重複部分の接合状態を確認し、映像の重なり具合がもっとも多くなるように映像を移動して位置補正を行い、その補正値を使用して地理情報システムの地図上に撮影映像を撮影画枠に合わせて変形し、貼り合わせ処理を行う。

その手順を図 1 2に示す。機体 1 0 1の移動に従って撮影した例えば 2枚の撮影映像 1 ( A ) と撮影映像 2 ( B ) を重ね、重複部分（図の太枠内 Cを検出し、映像の重なり具合が最も多くなるように、 Aと Bを相対的に移動し、接合時の位置補正値を得て、位置補正 Dを行い接合する。位置補正は、図 2の映像接合 '補正 2 1 5で行う。

本実施の形態 7によれば、複数枚の連続映像がよリ精度の高い接合となり、より広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となる。

実施の形態 8 .

本実施の形態では、機体 1 0 1の現在位置と、機体に対するカメラ 1 0 2の取り付け角度と傾き、それに機体 1の仰角とロール角を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。

この処理を行う場合、機上系 1 0 0から送信される諸情報が完全に同期して、地上系 2 0 0に受信されることが重要となり、それを実現するために機体位置計測手段の処理時間、カメラのジンパルによる姿勢計測手段の処理時間、映像送信の処理時間等の処理時間を調整し、撮影映像に同期して送信する必要がある。それを実現するために、図 1に、バッファを設け、これに機上のカメラの映像信号を一時的に記憶手段 1 1 3 で記憶し、 G P S等による機体位置検出の計算処理時間の遅延と同期させて、地上系 2 0 0に送信する。

この関係を図 1 3により説明する。機体 1 0 1が G P S信号を受信して、機体位置を検出するまでには Tの時間を要し、この間に機体 1 0 1 は P 1の位置から P 2の位置まで移動している。このため、機体の位置検出が完了した時点では、カメラ 1 0 2が撮影している領域は P 1の位置で撮影した領域から距離 Rだけ隔たつた領域となリ、誤差が生じる。これを修正する手順を示すタイムチャートが図 1 3 ( b ) である。機体位置検出のための G P S観測地点 t 1から G P S計算時間 Tの期間、映像信号をバッファで一時保存し、 t 2において一時保存した映像信号と機体位置、機体姿勢、カメラ情報等を合わせて送信する。

本実施の形態によれば、撮影装置の取付情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。

また、上記各実施の形態では、画枠を計算した後、その画枠に合わせて撮影映像を変形させ、その変形させた映像を地図に重ね合わせて貼り合わせるようにしているが、単に撮影手段が撮影した撮影映像に対応する地図上の撮影範囲を求め、地図上のその範囲に撮影映像を重ね合わせて表示するようにしてもよい。

また、上記各実施の形態では、機上系から送信される情報に基づいて地上系にて地図処理を行うようにしているが、これは特に限定するものではなく、機上系にディスプレイ等の表示装置を備え、機上系にて地図処理を行うようにし、それを機上系の表示装置に表示させたり、処理した情報を地上系に送信し、地上系にて表示を行うようにしてもよい。実施の形態 9 .

本実施の形態は撮影映像から、地図上の特徴的な地点を示す例えば交差点や駅、大きな建物角などのいわゆるランドマークを抽出し、また地図上の撮影範囲に対応する領域から対応するランドマークを抽出し、映像と地図上のランドマークが合致するように画枠計算のパラメータ（以下、地表面におけるカメラの撮影範囲である撮影画枠を計算するために用いる、機体位置■機^姿勢■力メラ姿勢情報とカメラ設定情報を示す）を調整することで、 G I S画面上に精度良く映像を変形して重畳表示するものである。

以下、図面を参照して説明する。図 1 4は実施の形態 9を示すブロック図である。なお、図 1 4では、図 1のアンテナ 1 0 3、多重変調手段 1 0 9、信号変換手段 1 1 0、追尾手段 1 1 1、一時記憶手段 1 1 3、 07861

21 送信手段 1 0 4、受信手段 2 0 1、追尾手段 2 0 2、信号変換手段 2 0 3、多重復調手段 2 0 4は図示を省略している。図 1 5は地図処理手段を説明した機能説明図である。

図 1 4において、ヘリコプタ等の飛行体（=機体） 1 0 1に搭載された G P S装置等の機体位置計測手段 1 0 8により現在の位置情報を得て機体位置測定を行う。また機体 1 0 1はジャイロ等を備え、この機体姿勢計測手段 1 0 7により機体 1 0 1の姿勢すなわち仰角（=ピッチ）とロール角を計測する。機体 1 0 1に搭載されたカメラ 1 0 2による撮影手段 1 0 5は地上を撮影し、その映像信号を出力すると共にカメラのズームなどのカメラ情報も併せて出力する。カメラ 1 0 2はジンパル等に取り付けられ、このカメラ姿勢計測手段 1 0 6によリカメラの回転角 ( =パン）、傾き（=チルト）が計測される。

これら機体位置計測手段 1 0 8、機体姿勢計測手段 1 0 7、撮影手段 1 0 5、カメラ姿勢計測手段 1 0 6の出力は信号処理手段 2 0 5に入力されてそれぞれ信号処理され、カメラ撮影の映像信号は、動画データ 2 0 7、静止画データ 2 0 8に変換される。信号処理手段 2 0 5の出力と 2次元地図データ 2 0 9は地図処理手段 2 2 6に入力され地図処理を行う。

地図処理手段 2 2 6は図 1 5に示す機能を有する。地図処理手段 2 2 6では図 1 5に示すように、映像信号である動画データ 2 0 7、静止画データ 2 0 8と機体位置、機体姿勢、カメラ姿勢の情報信号および地理情報システムの 2次元地図データ 2 0 9によリ処理を行う。

地図処理手段 2 2 6では、まず空中における撮影位置を 3次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（==撮影画枠）を計算により求める画枠計算 2 1 2を行う。次に、地理情報システムの地図上の撮影範囲周辺に対応する範囲においてランドマーク抽出 2 20を行い、静止画データ 20 8からもランドマーク抽出 22 1を行う。これらのランドマ一クを合致させるためのランドマーク照合 2 22を行い、ランドマーク照合 2 2 2の結果に基づいて映像変形■補正 223を行って、撮影映像の地図上への重畳表示位置を補正した後、映像を地理情報システムの地図上への重ね合わせ 2 1 4を行う。最後に、これを CR Tなどのモニタ表示手段 2 1 1によりモニタ表示する。

次に図 1 6のフローチャートに基づき動作について説明する。まず、図 1 4における機体位置計測手段 1 08の出力である機体位置と、機体姿勢計測手段 Ί 07の出力であるピッチ仰角、ロール角、カメラ姿勢計測手段 1 06の出力であるパン、チルト、撮影手段 1 0 5の出力であるカメラ 1 02のズーム、信号処理手段 205で得られた静止画データ 2 0 8、および 2次元地図データ 209をそれぞれ入力データとして読み込む（S 2 1 )。次に、機体位置、ピッチ仰角、ロール角、カメラのパン、チルト、ズームをパラメータとして画枠計算 2 1 2を行う（S 2 2)。続いて地理情報システムの地図上の、画枠計算 2 1 2で求めた撮影範囲に対応する領域の周辺でランドマーク抽出を行う（S 2 3)。 S 2 3でランドマークが抽出された場合は、静止画データ 20 8から対応するランドマークの抽出を行う（S 24) (S 25)。

S 2 5で映像からもランドマークが抽出された場合は、 S 23と S 2 5で得られた対応するランドマークを照合し、これらのランドマークが合致するように S 2 2の画枠計算で用いたパラメータ（例えばパン■チル卜）値を補正する（S 2 6) (S 2 7) (S 2 8)。さらに S 2 8で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ 208を変形し、地理情報システムの地図上に重畳表示する（S 2 9) (S 30) (S 3 1 )。 S 2 3または S 2 5でランドマークが抽出されなかった場合は、 S 2 2で求めた撮影画枠にあわせて静止画データ 2 0 8を変形し、地理情報システムの地図上に重畳表示する（S 2 4 ) ( S 2 6 ) ( S 3 0 ) ( S 3 1 )。図 1 7は画枠計算 2 1 2で使用する角度パラメータであるピッチ仰角、ロール角、カメラのパン、チル卜を示す。

撮影画枠の計算方法は前述の方法を用い、基準状態での撮影画枠を各角度パラメータによって回転処理した後、地表面へ投影することにより, 地表面におけるカメラの撮影範囲、すなわち撮影画枠を得る。図 1 8に示すように、機体位置を原点とし、機体進行方向に X軸、地表面に対して垂直上向きに z軸、これら X軸、 z軸に対して垂直となるように y軸をとると、具体的計算は以下の通りである。

基準状態での撮影画枠の計算

カメラのチルトによる y軸まわりの回転

カメラのパンによる z軸まわりの回転

機体のロール角による X軸まわりの回転

機体のピッチ仰角による y軸まわりの回転

地表面（絶対高度（=海抜高度） 0の水平面）への投影

図 1 8 ( a) は基準状態での撮影画枠 4 2を計算した状態を、図 1 8 ( b ) は、基準状態での撮影画枠 4 2を各角度パラメータによって回転処理した後、地表面へ投影した状態を示す。

カメラのパン 'チルトを補正する方法を図 1 9を用いて説明する。機体高度を h、チル卜の計測値を 0、パンの計測値を ø、画像上のランドマーク座標（x， y )、地図上でのランドマーク座標（x ₀ , y。）としたとき、補正後のチルト、パンの値 0。、 0。は、次の数式 2 1 を解くことで求めることができる。

[数式 2 1 ] f z - tan(9₀ . cos = x₀

] h . tan0_Q · sin ₀ = y₀

ただし、ここで照合する地図上でのランドマーク座標（x ₀ , y。）は、以下の変換を行った後の座標である。

機体のピッチ仰角による y軸まわりの逆回転

機体の口ール角による X軸まわりの逆回転

地表面（絶対高度（=海抜高度） 0の水平面）への投影

図 2 0 ( a ) は、本発明による補正を行わずに、地理情報システムの地図 4 1上に撮影画枠 4 2と撮影映像 4 3を重ね合わせた写真であり、図 2 0 ( b ) は本発明による補正を行い、地理情報システムの地図 4 1 上に撮影画枠 4 2と撮影映像 4 3を重ね合わせた写真である。 4 4は機体位置（カメラ位置）である。上述の補正処理を含む地図処理手段 2 2 6による処理を行うことにより、図 2 0 ( b ) に示すように、映像と地図とが完全に一致し、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。

この実施の形態 9によれば、各パラメータを計測する各種計測機器の計測誤差を修正することができるだけでなく、機体に搭載されたカメラを操作中に撮影された映像を地図上に重畳表示する場合にも、撮影タイミングとカメラ姿勢情報（パン 'チルト）のデータ取得タイミングのずれによって発生した誤差を修正することが可能となる。

実施の形態 1 0 .

本実施の形態は、上記実施の形態 9のパラメータ調整を、パン 'チル卜の補正ではなく、機体の姿勢情報（ロール' ピッチ）を補正することで、撮影画枠の位置の補正を行う方法であり、ロール■ピッチの補正は、以下の計算により行う。

チルト■パンによる回転処理までを行ったときの映像上のランドマーク座標を（x y L z ）としたとき、さらにロール 0 ■ ピッチ øによる回転を行ったときのランドマーク座標（x₂， y ₂, z₂) は、数式 22で求められる。

[数式 22]

+

さらに、地表面への投影を行うンドマーク座標（x， y , z) は、数式 23で求められる。

[数式 23]

(X y z)=[x₂ y₂ z₂) ·— ここで、 hは機体高度であり、地図上でのランドマーク座標を ( X ₀ ' y。；）としたときの数式 24、

[数式 24]

を満たす e、 øが補正後のロール ø。、ピッチ ø。である。

本実施の形態 1 0によれば、カメラが機体に固定的に取り付けられ、パン■チル卜の角度が変化しないように設置されているためにパン■チル卜の補正が有効でない場合にも、機体の姿勢情報、すなわちロール■ ピッチを修正することで、よリ現実に近い状態でのパラメータの補正が可能となり、高精度な重畳表示を行うことができるので、撮影された地表面の状況把握をよリ容易かつ速やかにできる。

実施の形態 1 1.

本実施の形態はランドマーク 2点を抽出し、この 2点間の距離によリ機体の高度補正を行うものである。実施形態 9 (図 1 6) の S 23でランドマークが 2点抽出された場合は、静止画データ 208からも同様に対応する 2点のランドマークの抽出を行う（S 24) (S 25)。

S 25で映像からも対応するランドマークが抽出された場合は、 S 2 3と S 25で得られたランドマークを照合し、映像上のランドマー^ 2 点間の距離と GIS 地図上のランドマーク 2点間の距離が同じになるように、機体高度（この場合、機体高度は GPS装置による海面からの絶対高度として取得されているため、この高度補正は、地表面の相対高度となる）を補正する（S 27) (S 28)。

さらに S 28で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ 208を変形し、地理情報システムの地図上に重畳表示する（S 29) (S 30) (S 31 )o 図 21 (b) から分かるように、この発明によるランドマーク間の距離による補正を行った高度（相対高度） h 'は、機体の絶対高度を hとして

(地図上におけるランドマーク二点間の距離）

(相対高度） = (絶対高度） X ,

(画像上におけるフンドマーク—点間の距離）により求まる。なお、 Eは地図上の距離、 Fは画像上の距離である。上述の補正処理を含む地図処理手段 226による処理を行うことにより、地表面が海面よりも高度がある地点に対する撮影映像も、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。

実施の形態 1 2.

本実施の形態はランドマークの数に応じてパラメータの補正を行うことにより、より精度の高い撮影映像と地図との重畳表示を可能にしようとするものである。実施の形態 9 (図 1 6) の S 22でランドマークが 2点抽出された場合は、静止画データ 208からも同様に対応する 2 点のランドマークの抽出を行う（S 24) (S 25)。 S 25で映像からもランドマークが抽出された場合は、 S 2 3と S 2 5で得られた対応するランドマークを照合する（S 2 7)。

まず、 1点目の対応するランドマークが合致するように S 2 2の画枠計算で用いたパラメータ（パン 'チルト）値を補正し、次に、 2点目の対応するランドマークの差分を修正するように、機体姿勢パラメータ (ロール■ ピッチ）値を修正する（S 27) (S 2 8)。さらに S 2 8で求めた各パラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ 208を変形して、地理情報システムの地図上に重畳表示する（S 2 9) (S 3 0) (S 3 1 )。

図 2 2はこれを説明する図であり、黒丸印は地図上のランドマークを, 黒三角印は画像上のランドマークを示している。図 22 (a ) は GIS地図上に撮影映像が重畳表示された状態を示し、図 2 2 ( b) は上記実施の形態 1 1による高度補正を行った後の状態、図 2 2 ( c) はその後パン 'チルト補正を行った後の状態、図 22 (d) は、さらにロール - ピツチ補正を行った後の状態を示す。

この実施の形態 1 2によれば、 1点のみのランドマークの合致によるパラメータの調整では、撮影範囲全般にわたっては、精度の高い撮影映像と地図の重畳表示が困難であるような場合にも、 2点のランドマークを使用することによって、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。

実施の形態 1 3.

本実施の形態はランドマークが 3点以上抽出された場合、すべての 2 点間のパラメータ補正値を求め、その平均値をパラメータ補正値とするものである。実施の形態 9 (図 1 6) の S 2 3でランドマークが 2点以上の複数点抽出された場合は、静止画データ 208からも同様に対応する 2点以上の複数点のランドマークの抽出を行う（S 24) (S 2 5)o S 2 5で映像からもランドマークが抽出された場合は、 S 2 3と S 2 5で得られたランドマークから対応する 2点を選択し、それぞれ照合を行うことによってパラメータの補正値を求める。これをランドマーク 2 点の選び方すべてについて行うことによって複数のパラメータ補正値を取得し、パラメータ毎にこれら補正値の平均をとリ、これら平均値をそれぞれのパラメータの補正値とする（S 2 7) (S 2 8)。さらに S 2 8で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ 208を変形し、地理情報システムの地図上に重畳表示する（S 2 9) (S 30) (S 3 1 )。

上述の補正処理を含む地図処理を行うことによリ、ランドマーク 1点あるいは 2点の位置に基づいて映像と地図の重畳を表示の補正を行う場合と比較して、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をよリ容易かつ速やかにできる。

実施の形態 1 4.

本実施の形態は、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。得られた静止画映像に対してランドマークの抽出処理を行い、その結果ランドマークが抽出されれば GIS 地図との照合によって補正を行う力全ての静止画映像からランドマークの抽出を行うことができるとは限らない。撮影しながら重畳表示を行うライブ表示処理において、全ての撮影画像に対して、画像処理を即時に実行してランドマークを抽出し、補正を行うことは処理時間の関係で困難である。

そのために、ランドマークが抽出されない静止画の地図上への重畳表示は、前回補正を行ったときの補正値に基づいて再度画枠計算を行い、求めた撮影画枠にあわせて映像を変形し、地理情報システムの地図上に重畳表示することによリ、重畳位置精度を向上させるものである。

この処理は、図 2 3の S 2 4、 S 2 6、 S 3 2、 S 3 3、 S 3 1に相当し、 S 2 4で対応するランドマークが抽出された場合は実施の形態 9 と同じ処理を行う。図 2 4はこの方法によるモニタ表示画面を示すもので、 4 1は地図、 4 4は機体位置（カメラ位置）、 4 5は機体の飛行経路である。飛行経路 4 5に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして、それぞれ重畳位置補正を行った後、地理情報システムの地図 4 1上に重畳表示している。 4 3 a〜4 3 gは貝占り付けた画像、 4 2は最新の画像 4 3 gの撮影画枠である。

本実施の形態 1 4では、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができ、高精度の重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をより容易かつ速やかにできる。

実施の形態 1 5 .

本実施の形態 1 5では、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。連続撮影映像には、ランドマークの照合によリ重畳位置補正を実行した映像と、ランドマークが抽出できず、照合による重畳位置補正が行えない撮影映像が存在する。

この場合、リアルフライト時には、上記実施の形態 1 4で示したように、次にランドマークが抽出されるまで前回の補正値を継続使用するが, 過去のフライ卜映像を使用して地図上に映像の重畳表示を行う処理においては、ライブフライト時に比べ、位置補正の処理時間に余裕ができる。そこで、過去のフライト映像を地図上に重畳表示する場合は、図 2 2003/007861

30

5に示すように、次にランドマークが抽出された地点で求めた各パラメータの補正値を、前回ランドマーク照合による補正を行った地点との中間地点までさかのぼって適用することにより重畳表示位置の補正を行図 2 5において、グレーの四角はランドマーク抽出画像を、白の四角はランドマークマークが抽出されなかった画像を示す。また、矢印 Gはランドマークが抽出されて重畳位置補正を行った画像からその重畳位置補正値を流用して重畳位置を補正することを示している。この実施の形態 1 5により、ランドマークの照合による補正ができない場合の画像間の重複状態は、図 2 5に示すように改善される。

図 2 5 ( a ) は本実施の形態を適用しない場合を示し、図 2 5 ( b ) は本実施の形態を適用した場合を示す。ランドマークの照合による映像の重畳表示位置補正が行えた撮影映像を基点とし、重畳表示補正が行われた撮影映像間の中間地点を目指して、前後に映像の重複部分の合致率を最大にするように映像の配置を調整することで、連続して撮影された映像を、 G I S地図上に、より高精度に重畳表示することができる。本実施の形態 1 5によれば、過去の飛行映像を G I S地図上に重畳表示する処理において、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができる。また、画像間の重複具合がランドマーク抽出画像で分断されることなく、より滑らかに、連続した高精度な重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をよリ容易かつ速やかにできる。

実施の形態 1 6 .

本実施の形態では、過去の飛行映像から抽出される撮影映像の高度補正データを、位置にリンクして登録することによって、撮影映像からランドマークを抽出できない場合も、撮影地点の高度補正を行うものであ P T/JP2003/007861

31 る。

ランドマークの合致によって高度補正処理が実行できた場合に、絶対高度と相対高度の差で与えられる高度補正値は、撮影地点にその地点の高度補正値として登録管理することによって、いつでも利用することができ、次回以降、その地点に近い地点を機体が飛行した場合には、処理時間の限られたライブフライト時や、静止画と地図で対応するランドマークが 2点以上抽出できない場合にも、高度補正を行うことができる。図 2 6は、連続して撮影された静止画像を、 G I S地図上に重畳表示された状態を示す。この図の中で、最後の 1枚の画像 5 1と中間の 1枚の画像 5 2で 2点のランドマークが抽出され、高度の補正値が取得できた場合を説明している。

画像 5 1と画像 5 2においては、 2点以上のランドマークが合致することから高度の補正値が取得できその補正値をそれぞれ 6 1、 6 2とすると、地図の地点としての高度補正値 6 1、 6 2をシンボルとして登録を行い、 2点以上のランドマークが抽出できない映像に対して、その地点の高度補正値を提供することによって、力メラの取付角度のみならず, 地表の高度による誤差の補正を行い、連続して撮影された映像を、 G I S 地図上に、より高精度に重畳表示することができる。

本実施の形態 1 6では、過去の飛行フライト映像から抽出された高度補正データを地図上の地点に登録することで、 2点以上のランドマークを抽出できない映像に対しても、高度補正を行うことができ、より高精度な重畳表示を行うことができる。産業上の利用可能性

震災、火災等の天災や、爆発、重大事故等の人災が発生した場合、へリコプタ等の機上から地上の状況を撮影する撮影映像表示装置に利用できる。

Claims

請求の範囲

1 . 空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、

空中における撮影位置を 3次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。

2 . 空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、

空中における撮影位置を 3次元的に特定し、連続して撮影された複数枚の地表面の各撮影範囲を計算して求め、その各撮影範囲にあわせて各撮影映像を変形した後、これら複数枚の撮影映像を地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。

3 . 重ね合わせる複数の撮影映像は、互いに一部を重複させ、その重複部における重複状態が最も多くなるように撮影映像を移動補正した後、接合するようにしたことを特徴とする請求項 2に記載の撮影映像表示方法。

4 . 重ね合わせる複数の撮影映像は、連続して撮影した映像を所定の周期でサンプリングして得るようにした請求項 2に記載の撮影映像表示方法。

5 . 撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度に基づいて計算して求めるようにした請求項 1に記載の撮影映像表示方法。

6 . 撮影された地表面の撮影範囲を、上記機体の地表面に対する傾きとロール角度に基づいて計算して求めるようにした請求項 1に記載の撮影映像表示方法。

7 . 撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度及び上記機体の地表面に対する傾きとロール角度とに基づいて計算して求めるようにした請求項 1に記載の撮影映像表示方法。

8 . 地表面の撮影範囲を計算して求めた後、上記撮影範囲の地表面の高度を、予め作成されている地表面の起伏についての高度情報を含む 3次元地勢データを利用して取得し、撮影地点の高度を、機体の絶対高度から地表面の高度を減算した相対高度として計算し、その撮影範囲に合わせて、撮影映像を変形して地理情報システムの地図上に重ね合わせて表示するようにした請求項 1に記載の撮影映像表示方法。

9 . 空中の機体に搭載された撮影装置により地表面を撮影し、その地表面に存在する状況を識別することを目的とする撮影映像表示方法であつて、

空中における撮影位置を 3次元的に特定し、撮影した映像に、上記機体位置情報、カメラ情報、機体情報を同期させて送信し、

受信側では撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。

1 0 . 地図上に重ね合わせた撮影映像を、撮影範囲枠のみ残して消すことができるようにした請求項 1に記載の撮影映像表示方法。

1 1 . 上記地理情報システムの地図と上記撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項 1に記載の撮影映像表示方法。

1 2 . 上記地理情報システムの地図と連続して撮影された上記複数枚の撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項 2に記載の撮影映像表示方法。

1 3 . 抽出したランドマークの数に応じて、補正するパラメータを変更するようにしたことを特徴とする請求項 1 1に記載の撮影映像表示方法。

1 4 . 抽出したランドマークを基に、上記撮影装置の上記機体に対する傾きと回転角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項 1 1に記載の撮影映像表示方法。

1 5 . 抽出したランドマークを基に、上記機体の地表面に対する傾きとロール角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項 1 1に記載の撮影映像表示方法。

1 6 . 抽出したランドマーク 2点を用い、 2点間の距離に基づいて上記機体の高度を補正し、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項 1 1に記載の撮影映像表示方法。

1 7 . 抽出したランドマークが 3つ以上の場合に、各ランドマークの 2 点間におけるパラメータ補正値の平均値を用いて、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項 1 1に記載の撮影映像表示方法。

1 8 . 上記地理情報システムの地図と各撮影映像の複数枚からそれぞれランドマークを抽出する際に、対応するランドマークがない場合、撮影された地表面の撮影範囲を計算する際に使用するパラメータを、前回ランドマ一クを抽出したときの補正値に基づいて補正し、互いに一部を重複して接合させて地図上に重畳表示する撮影映像を、その重複部における重複状態が最も多くなるように移動した後、接合するようにしたことを特徴とする請求項 1 2に記載の撮影映像表示方法。

1 9 . 地理情報システムの地図と各撮影映像からそれぞれランドマークを抽出し、前回ランドマークを抽出したときの撮影映像と現在の撮影映像の中間地点まで遡り、連続して撮影された地表面の各撮影範囲を計算する際に使用するパラメータを現在の補正値に基づいて補正し、これら複数枚の撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項 1 2に記載の撮影映像表示方法。

2 0 . ランドマークの合致によって撮影映像の高度補正処理が実行された地点に、高度補正値として登録を行い、次回以降、その地点に近い地点を飛行した場合に、上記登録した高度補正値を高度補正の基準値として再度利用することを可能としたことを特徴とする請求項 1 6に記載の撮影映像表示方法。