JPWO2012066642A1 - 視界映像情報生成装置 - Google Patents

Abstract

複数の撮影位置において複数の方向に撮影された複数の画像情報に、撮影された時の撮影位置情報と撮影方向と撮影されたサブ領域とを関連付けて記憶するデータベースと、視点経路上に配置される複数の位置と視線方向とを指定する経路視点指定装置と、経路視点指定装置により指定された視点経路上から指定された視線の方向を見る場合の映像情報を検索し動画情報を生成する動画生成エンジンであって、データベースに記憶されている、サブ領域に関連付けられている撮影方向情報を参照し、視点経路上の複数の位置それぞれにおける視線の方向に位置するサブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索する動画生成エンジンとを備える動画像情報生成システムにおいて表示する画像情報を切り替えるときに画像情報の撮影点と撮影位置の相違に起因する視差が原因で発生する映像の不連続現象を解消する装置が提供される。

Description

本発明は、視界映像情報生成装置に関する。特に、市街地を含む地上の景観について視界映像を生成する装置において、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してする装置および視界映像情報を生成する装置に関し、また、地上を様々な角度から撮像した写真を利用する３次元都市視界映像を生成表示する装置に関する。特に、地上を様々な角度から撮像した写真を利用する視界映像装置において、対象物の位置基準面からの高さ方向の距離による視差による視界画像表示位置のずれを使用する写真を切り替えるときに補正し、滑らかな連続表示を実現する装置に関する。

従来、市街を含む地上の景観の視界映像を表示する方法として、市街および地形の立体モデルを作成し、生成された立体モデルの表面にテクスチャーをテクスチャーマッピングにより貼り付けて３次元モデルを得て、得られた３次元モデルに対して３次元画像処理により視界映像を得る方法がある。この方法は、教科書的な方法で広く行われているが、立体モデルを作成する工数と立体モデルが構成するポリゴンにテクスチャーを貼り付ける工数とを多く要する。とくに実写真をテクスチャーマッピングにより貼り付ける場合には計算量が増加し、極めて多くの工数が必要でコスト高となり、即応性にもかける欠点がある。

特許文献１には、ステレオ写真測量と同じ原理で、リアルタイムで対象物の３次元情報を得る技術が開示されている。すなわち、２つの共通な撮影対象物のパノラマ画像の対応点の情報を利用して、三角測量法により撮影対象の３次元情報を得る。表示に際して使用するパノラマ画像の組み合わせが変化するたびに三角測量法により撮影対象の３次元情報を得て、パノラマ画像の隣接する対応点を結ぶとポリゴンが形成されるが、形成されるポリゴンに対してテクスチャーマッピングを行う。さらにポリゴン情報から行列変換により３次元動画の視界生成をおこなうことは一般に行われている方法である

特許文献２には、ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システムに関する方法が開示されている。すなわち、実画像を撮影してパノラマ画像を動画で生成する方法が開示されている。特許文献２の方法に用いるシステムは、パノラマ環状レンズ（ＰＡＬ）システム、ビデオカメラ、及びＰＣベースのソフトウェア・システムから構成され、ＰＡＬシステムは、双曲面鏡及び楕円面鏡の２つのミラーで３６０度の水平視野と９０度の垂直視野をビデオカメラにより撮影する。再生時にはソフトウェア・システムで撮影された画像を３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開するものである。展開するためのシステムはレイ・トレーシング・プログラムによって、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、画像をリアルタイムで得る。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いて、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能である。

これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するためには時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報の張り付け（テクスチャー貼り付け）の必要があった。テクスチャ貼り付けのための情報としては３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャー貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元映像で表示することは強く望まれていたにもかかわらず、テクスチャー貼り付けの精度を十分に現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。

特開2006-350852号公報 特願2006-517853号公報 特許第4418857号公報

しかしながら特許文献１、２、３に開示されている方法においては、地表に関するDEM（digital elevation model）情報以外に地上構造物の高さ情報を用いないと、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して生じる視点位置の相違による視差を解消することが原理的に不可能である。すなわち、都市構造物の３次元情報を計測し３次元モデルを生成し、さらのその表面に実画像によるテクスチャー貼り付け等の手数を経ずに実写真によるリアリティーの高い視界映像を短時間で得られる利点がある反面、建物等の３次元情報を持っていないため、視界映像生成に使用する実写画像を切り替える時点で視差による映像の位置ずれが発生し、滑らかな視界映像が得られないという欠点がある。本発明は、このような実情に鑑みてなされたものである。

本発明の一実施形態として、撮影装置により、複数の撮影位置それぞれにおいて複数の方向への撮影であり、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、前記複数の画像情報それぞれを前記メモリ記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索して前記順番にて読出し、前記順番にて読出された前記画像情報を切り替えながら、前記像情報に関連付けられている撮影位置情報とを参照して視界映像情報を生成することを含む視界映像情報生成方法において、前記視点経路上の位置より前記視線の方向の前記視界映像情報を生成するに際して、使用する前記画像情報から、前記画像情報の撮影位置とは異なる撮影位置または／および前記画像情報の撮影方向とは異なる撮影方向の別の画像情報に切り替える場合、前記画像情報と前記別の画像情報とに共通している領域の表示位置のずれが起きないように前記視界映像情報の位置ずれ補正を実施することを特徴とする視界映像生成装置が提供される。

本発明の一実施形態として、視点位置、視線方向、実写画像の位置情報だけからでは解消できない地表構造物の高さに起因して発生する異なった視点に対する視差を、画像認識技術を用いて解消する。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高いことを用いる。これは、同一の地物を視線で捉えながら視点を移動させると、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近いからである。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。

一般に、同一の地物に対して異なる視点から撮影した実写画像を用いた視界映像は視差により完全には一致しない。このため位置あわせの画像マッチングを行うのは視界内の特定の部分を中心に行う必要があり、本発明の一実施形態として、選択により（１）画像の中央部分、（２）カーソルで指定した部分、（３）アイ・トラッカーなどの視線検出器により検出した視界映像画面上の位置を基準として、マッチングした画像が重なるように実写画像切替時の視界映像の表示座標をずらすのである。

また、本発明の一実施形態として、前記画像マッチング処理を視界映像生成時間に影響を与えないように行うため、視界映像生成処理と並行して同期を取りながら別プロセッサで並列処理により実施する。またこの並列処理の形態として、同一ＣＰＵチップ内に複数のコアを含み、複数のスレッドを有するＩｎｔｅｌ（登録商標） ｉ７のようなＣＰＵを使用して並列処理をさせることが好ましい。

また、本発明の一実施形態として、画像マッチングを高速に実行する必要があるため、各実写画像に対して画像マッチングを容易にできるように事前に加工を行い、各実写画像と共にメモリに事前に記憶しておくこともできる。このような画像マッチング用の画像は専ら計算処理に使用するものであるので、画像のサブ領域ごとの輝度分布が平準化するように処理したものが適している。

本発明においては、３次元数値モデル生成と建造物の表面に対するテクスチャー貼り付け処理を行わずに、実画像を用いて任意の場所に対して、任意の視点経路と視点方向に対する視界映像を画像取得から短時間で生成することができる。また、視界映像の不連続性を解消してなめらかな映像を得ることができる。

本発明の都市景観３次元映像生成および閲覧システム全体構成を概略的に示す図である。 図１に示す都市景観３次元映像生成および閲覧システムにおける空中画像取得の概念を示す図である。 ３次元映像におけるモーフィングの概念図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いたモーフィングによる映像生成の概念について説明する図である。 本発明の航空機による空中画像取得システムの運用例について説明する図である。 本発明の空中画像取得システムの処理フローについて説明する図である。 本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。 本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。 本発明の空中画像取得システムの構成例を示す図である。 本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。 本発明の空中画像取得計画ファイルの構成例を示す図である。 本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。 本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。 本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。 本発明の空中画像一次ファイルの構造を示す図である。 本発明の空中画像データベース生成登録システムの処理フローを示す図である。 本発明の空中画像データベース構成を示す図である。 本発明のモヤ影響除去処理における画像と視野の関係を示す図である。 本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。 本発明のモヤ影響除去処理の処理フローを示す図である。 本発明のモヤ影響除去処理の処理結果例を示す図である。 本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。 本発明の空中画像インデクス機構の構造と用語の定義を示す図である。 本発明の空中画像インデクス機構の構造を示す図である。 本発明の立体角セルのインデックス構造を示す図である。 本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。 本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。 本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。 本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。 本発明の航空機搭載用安定プラットフォームの構造例を示す図である。 本発明の安定プラットフォームの信号情報フローを示す図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いたモーフィングによる映像生成の変数を説明する図である。 本発明の都市景観３次元映像生成および閲覧システムにおける空中映像生成処理フローを示す図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いた３次元映像生成処理の原画像検索の処理フローを示す図である。 本発明の３次元映像生成処理の原画像選択論理を示した図である。 本発明の３次元映像生成処理での視点における視野と原画像の関係を示す図である。 本発明の視線ベクトルとTerrainの交点の関係を示す図である。 本発明の視点における視野と原画像の関係を示す図である。 本発明の視点Ｐ（ｔ_i）からの視野を示す図である。 視差により視界映像における位置ずれが発生するメカニズムについて説明する図である。 本発明一実施形態に係る視界映像情報生成装置の全体構成を概略的に示す図である。 図４１に示す視界映像情報生成装置の画像表示系１００において、同一対象物に対する視差による視界映像の相違について説明する図である。 図４１に示す視界映像情報生成装置の画像切替平滑系１１０の同一対象物に対する視差による視界映像の位置ずれ補正について説明する図である。 図４１に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造について説明する図である。 図４４に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートについて説明する図である。 図４４に示す視界映像情報生成装置の画像切替平滑系１１０の画像比較情報データベース２５０の生成方法について説明する図である。 図４６に示す画像比較情報データベースのヒストグラム平準化について説明する図である。 図４６に示す画像比較情報データベースのヒストグラム平準化の例について説明する図である。 図４１に示す視界映像情報生成装置の画像切替平滑系１１０の視差による位置ずれ補正方法について説明する図である。 図４１に示す視界映像情報生成装置の画像切替平滑系の視差による位置ずれ補正処理の処理フローについて説明する図である。 図４４に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明する図である。 図４４に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明するもう１つの図である。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明を行なう。なお、本発明は以下の説明に限定されることはなく、その要旨を逸脱しない範囲において種々に変形を加えて実施することが可能である。

（実施形態１）
本発明の実施形態１を、図１から図３９を用いて説明する。本実施形態では、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、撮影された大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングを行う。

本願発明者は都市景観３次元映像生成および閲覧システムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。なお、本発明において、画像及び映像とは、液晶画面を含む電子的表示装置に動画および静止画を表示されるコンテンツを意味するものとする。また、本願においては、コンテンツは景観情報を専ら意味するが、景観情報に限定されることはない。

このため、本願発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元映像を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな映像を得る方法を着想するに至った。

しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。本願発明者は、この目的を達成するためには立体角を円錐で表現すると半頂角で最小２度から最大２５度の範囲の方向ごとの写真を全ての都市地点に対して準備しなければならないことを経験上知っている。立体角はステラジアンを単位として表記するので、半頂角θ度に対してステラジアンは２π(1-cosθ)で計算されるので、ステラジアンとして最小0.004から最大0.59の範囲となる。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法とに想到した。

すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して耐空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２５あるいは、スペース的に余裕があればそれ以上配置するのである。

第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくない。鉛直方向よりなす角を一般的に称するオフナディア角を用いて以下説明する。小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機などの飛翔体の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体に本願発明者は想到した。

第四に、本願発明者は、該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して一定の立体角ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影司令を発し撮影記録するシステムに想到した。

第五に、本願発明者は、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法に想到した。

さらに、本発明者は、ステラジアンとして最小0.004から最大0.59の範囲の立体角（円錐半頂角で２度から25度の範囲）で撮影済み画像を任意の対象地点に対して映像生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構に想到した。例えば、撮影領域としての地表を緯度経度あるいはXY座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。

すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元映像に必要な原画像は任意の都市位置に対して立体角で最小0.004ステラジアンから最大0.59ステラジアンごとに準備されている。この近傍を視点が通過するので、実際の視点および視線と該原画像ベクトルの立体角のずれが最小0.004ステラジアンから最大0.59ステラジアン以下であれば、原画像に対するモーフィング処理により滑らかに接続することができる。なお、接続される２つの画像の立体角が所定の値よりも小さい場合には、モーフィング処理を行わずに該原画像を切り替えるだけでもよい。

図１は、本実施形態における都市景観３次元映像生成方法が用いられる閲覧システムの全体構成を概略的に示す図である。該都市景観３次元映像生成方法が用いられる閲覧システムは、視点が空中にある場合の３次元映像生成を行うための部分80を有する。部分80は、「該都市の任意の場所に対して0.004以上0.59以下のステラジアンの立体角ごとに見込む画像（以下、「原画像」という）を画像データベースとして事前に準備し、該都市の３次元数値モデルの生成および建造物および地表の表面に対するテクスチャ貼り付け処理を行うことなしに、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い原画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせる方法で表示する」ことを実現する。さらに本実施形態における閲覧システムは、グラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。

視点が空中にある場合の３次元映像生成を行うための部分80は、航空機により空中で航空写真を取得するための画像取得システム（以下、空中画像取得システム100と呼ぶ）と、取得した航空写真を３次元映像生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元映像を生成する空中３次元映像生成システム160とにより構成される。

図２は、都市景観３次元映像生成および閲覧システムにおける空中画像取得の概念を示す図である。本発明の最大のかつ共通の技術的特徴の一つは、第１に、都市景観３次元映像生成において第一に都市の３次元モデルを生成する必要がないことであり、第二に、生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けする必要がないことである。人手とコストが必要なモデル生成とテクスチャ貼り付けの作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することができる。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。

図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220で示すように半頂角２度から４０度の円錐ないし正６角柱で天球を立体角で分割する。この立体角は半頂角θ度に対して2π(1-cosθ)で計算され、最小0.04ステラジアンから最大0.59ステラジアンの範囲で、地表近くを除く天球222を分割し、地表のあらゆる場所の画像を該立体角ごとに準備するための空中画像取得システム100の概念を示している。

図３は図２と同一の技術的方式を、視点が路上にある場合の３次元映像生成をおこなう場合90に適用した場合を示しており、隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元映像を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示される。視線方向１240と視線方向２250のなす角は半頂角２０度の立体角を図示したものである。そのなす角が1.47ステラジアン以下の値より小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴の一つである。なお、モーフィング処理を行わずに画像を切り替えるだけでもよく、これも本発明の特徴の一つである。

図４は本発明になる都市景観３次元映像生成および閲覧システムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔの経過とともに順番に移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔ の視線273、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔ の視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元映像を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t) 280に沿った都市景観の３次元映像生成を行うのである。なお、モーフィング処理を行わずに空中画像ｉ260と空中画像ｉ+1 261を切り替えるだけでもよい。

本発明に係る空中画像の取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。

図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で、一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は、例えば、図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と航路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した撮影の位置およびディジタルカメラの姿勢データを含むメタデータとともに空中画像一次ファイル102に蓄積される。

図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、耐空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用したりすることは法令等による許認可を得ることが困難である。このため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。

図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を、図８(ｂ)において点線で結んであるようにＵターンして往復しながら飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。なお、飛行高度は、８００ｍに限定されることはなく、２００ｍ以上２５００ｍ以下の範囲に設定が可能である。飛行高度が２００ｍより低いと撮影画像の量が増大し、処理量が増大する。また、飛行高度が２５００ｍより高いと地上の詳細な画像の取得が困難となる。

飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしている。ただし、これに限定されることはなく、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。

図９は空中画像取得システムの構成例を示した図である。空中画像取得システムは、フライトナビゲーションシステム部385とデータ取得記録システム部390とにより構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機の姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。航空機の姿勢と、航空機に対する各ディジタルカメラの相対的な位置、向きから、各ディジタルカメラの姿勢の情報を計算することができる。

フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないかもしれないが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関係する部分である。まず飛行前に都市のどの部分の上空画像を取得するかを決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。

撮影ポイント310は本発明の目的を達成するように高密度な網目状に地表から200m以上2500m以下、好ましくは500m以上2000m以下の範囲の高さで設定するのがよい。その設定の結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101が構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして実施することができる。

フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２に示される表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足するのが好ましい。もし、満足しない場合には再度飛行航路をやり直してもよい。やり直す場合には、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。

航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446としては、いずれも現在の航空計装では公然実施されているものを使用することができる。

つぎに図９を参照し、データ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397がある。この穴にディジタルカメラ集合体360を機外に張り出さないように設置するのが好ましい。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用している。これにより、安定プラットフォーム制御システム394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360が常に地上直下に指向され、かつ方位が規定方向に固定される。なお、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵは慣性計測装置の英語表現の頭文字である。ＩＭＵ396を、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。

データ取得記録システム部390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データを含む各種データを記憶する大容量ディスク装置などのメモリ装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外への視界の開ける場所に有している。

図１３は、図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵを用いて構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。

ディジタルカメラ350は内部に本発明の時点では、３２ＧＢのメモリを保有できる。このため、撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置などのメモリ装置で構成される空中画像一次ファイル102に処理ブロック465で転送するか、ディジタルカメラ350の保有するメモリ自体を交換することによりディジタルカメラ350内部のメモリに記憶されている画像情報を消去する。

図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。

空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成する。このとき、作成するヘッダーは、図１５の空中画像一次ファイル102の画像ヘッダ部470のヘダーをそのまま転記することができる。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。

処理ブロック483では、画像ヘッダ部490の撮影パラメタを画像ごとに計算する処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定することができる。通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとは限らない。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむ場合があるので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行うことができる。

撮影パラメタの計算は線形代数を使用して行う。以下、図２３を参照しながら説明する。明細書中にスミ付き括弧で記載した数式は通常の数学記法に従うが、本文中では記号の記述に制約があるので下記原則に従う。３次元または２次元の点は大文字のローマ字で表記し、３次元または２次元の成分を有する。時間的変化のある場合は（）を後につけ、その中に時間情報を記す。画像として記載した数式では、ベクトルをイタリックスの大文字ローマ字で記載し、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に"（ベクトル）"と付記する。３次元または２次元の点は原点に対するベクトルでも表記できる。画像として記載した数式では、行列を太字の大文字ローマ字で記載し、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に"（行列）"と付記する。角度についてはギリシャ文字を用い、平面、線等を示す記号については記号の前に平面、線等の記述を付記する。北方の水平方向を指す直交座標系での単位ベクトルを（ベクトル）Ｎとし基準軸とする。（ベクトル）Ｎを基準とした機体のピッチ・ヨー・ロールによる座標変換を（行列）Ａとする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系でＸとし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で（ベクトル）Ｄとする。さらに基準軸（ベクトル）Ｎに対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影画像中心光軸方位ベクトル（正規化） Ｇ_kc=^ｔ(G_kcx G_kcy G_kcz)
撮影画像右下端方位ベクトル（正規化） Ｇ_k1=^ｔ(G_k1x G_k1y G_k1z)
撮影画像右上端方位ベクトル（正規化） Ｇ_k2=^ｔ(G_k2x G_k2y G_k2z)
撮影画像左上端方位ベクトル（正規化） Ｇ_k3=^ｔ(G_k3x G_k3y G_k3z)
撮影画像左下端方位ベクトル（正規化） Ｇ_k4=^ｔ(G_k4x G_k4y G_k4z)
と定義すると、撮影位置Ｓは

となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル（Ｘ，Ｙ，Ｚ）は（行列）Ａと（ベクトル）Ｇ_kＣにより、ＡＧ_kＣ，により求まる。

航空機の基準方向に対する姿勢変換（行列）Ａを加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、（行列）Ａと（ベクトル）Ｇ_k1からＧ_k4 を用いて、ＡＧ_k1，ＡＧ_k2 （ＡＧ_k3，ＡＧ_k4となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ₁,Ｔ₂,Ｔ₃とし,Ｔ_cを三角形Ｔ₁Ｔ₂Ｔ₃ の平面と（ベクトル）Ｇ_kcの交わる座標とする。ｘは外積を表し、

であればＴ_cは三角形Ｔ₁Ｔ₂Ｔ₃内部にあるといえる。すなわち交わる。撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇ_kc がＴ_cで三角形Ｔ₁Ｔ₂Ｔ₃と交わるとすると

ここでa,bは任意のスカラー定数となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。ここで、

とすると、

となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）がＴ_ｃとして求まる。ただし三角形Ｔ₁Ｔ₂Ｔ₃の内部にあるかは、外積を計算してチェックする。

同様に（ベクトル）Ｇ_ｋｃの代わりに（ベクトル）Ｇ_k1,Ｇ_k2,Ｇ_k3,Ｇ_k4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。次に、図１７に示す撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が（行列）Ａであると地球の水平線から回転角が生じる。機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。

機体のピッチ・ヨー・ロールによる座標変換が（行列）Ａであると、画面フレームの水平線は下記で与えられる。

したがって、フレーム回転角は、

となる。ここで“・”は内積を表し、縦に２本線で囲んだ部分はノルムを表す。

次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の一実施形態に係る空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得するのが好ましい。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行うのが好ましい。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点がある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある場合がある。

水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すように微小水滴（モヤ）のない場合の画像のピクセルの明度のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。

この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてピクセルの明度のヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。各画素の輝度の補正は、水平ラインごとに
（数９）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。

次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝^ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。

各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,...と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。

図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。図２４（ｂ）では立体角セル573を立体角セル中心ベクトル574に対してなす半頂角２０度の円錐であり、立体角が0.4ステラジアン以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。

図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0) 584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。

図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。

次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲ_ｉｊ 603が指定される。ＡＤＤＲ_ｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックスＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲ_ｉｊ（603）は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲ_ijk （605）が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ597で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲ_ｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。

以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT597と方位インデックスパラメタテーブルDRPRMT598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲ_ijkmの画像データ数を１つ増加して画像データアドレスを追記する。

図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を、分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を大きくし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を大きくして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。近年のディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５ｍｍフィルム換算焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。

図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して一定の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637が外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。

次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って該視点経路P(t)270上の位置から時刻ｔ₁からｔ_４、ｔ_ｉまで、視線ベクトルＶ（ｔ_１）からＶ（ｔ_４）、Ｖ（ｔ_ｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t)280に対する都市景観の３次元動画を生成する方法として、時刻ｔ_１、ｔ_２、ｔ_３では視点Ｐ（ｔ_１）675、視点Ｐ（ｔ_２）676、視点Ｐ（ｔ_３）677の視線に近く視差の少ない空中画像_ｍ−１666を空中画像データベース130より検索し、時刻ｔ_１、ｔ_２、ｔ_３ の視線ベクトルＶ（ｔ_１）681、Ｖ（ｔ_２）682、Ｖ（ｔ_３）683の間は、画像ベクトルＧ_ｍ−１672との視差の相違を空中画像_ｍ−１666に対するモーフィング処理で補正して接続し、滑らかな動画像を生成する。時刻ｔ_４ の視線ベクトルＶ（ｔ_４）684からは空中画像_ｍ−１666よりも空中画像_ｍ667の方が視点の相違による視差が少ないと判断して空中画像_ｍ667を原画像に切り替え、時刻ｔ_４の視線ベクトルＶ（ｔ_４）684以降次の原画像が選ばれるまで空中画像_ｍ667との視差の相違を空中画像_ｍ667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。

以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。

処理ブロック694の処理内容は、より詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲ_ｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔ_ｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔ_ｉ）の視野の地表上の４端点Ｔ_ｉ１715、Ｔ_ｉ２716、Ｔ_ｉ３717、Ｔ_ｉ４718のすべてが原画像撮影位置Ｓ_Ａ710、原画像撮影位置Ｓ_Ｂ711、原画像撮影位置Ｓ_Ｃ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置Ｓ_Ａ710、原画像撮影位置Ｓ_Ｂ711からの画像のみが視点Ｐ（ｔ_ｉ）の視野の地表上の４端点Ｔ_ｉ１715、Ｔ_ｉ２716、Ｔ_ｉ３717、Ｔ_ｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７に示される空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。

次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。なお、処理ブロック697を省略することによりモーフィングを行わずに原画像のみを切り替え表示することもできる。原画像_ｍに対して原画像撮影位置Ｓ_ｍ671と画像ベクトルＧ_m673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトルＧ_m 673とDEMの交点Ｚ_mcと画像の四隅とTerrainの交点Ｚ_m1、Ｚ_m2、Ｚ_m3、Ｚ_m4が決まる。図３７に示すように、一般にＺ_m1、Ｚ_m2、Ｚ_m3、Ｚ_m4は同一平面上にないので、Ｚ_mcを通りＺ_m2、Ｚ_m3の中点Ｚ_m23と、Ｚ_m1、Ｚ_m4の中点Ｚ_m41を通るベクトルと平行なベクトルをＺ_mＶと定義し、

Ｚ_mcを通りＺ_m1とＺ_m2の中点Ｚ_m12と、Ｚ_m3とＺ_m4の中点Ｚ_m34を通るベクトルと平行なベクトルをZ_ｍHと定義する。

Ｚ_mcを通り（ベクトル）Ｚ_mVと（ベクトル）Ｚ_mHで張られる面をTerrain平面といい（平面）Ｚ_ｍであらわす。（平面）Ｚ_ｍの垂線を（ベクトル）ｎ_m（ノルム=1）とする。Ｚ_mcを通り、画像ベクトルG_ｍに垂直な平面を（平面）N_ｍという。（平面）N_ｍは原画像撮影位置視点S_ｍ671より撮影した画像(視野)である。（平面）Ｚ_ｍ-->（平面）N_ｍへの変換が存在して、これをΦ_Ａという。これは原画像_ｍの撮影行為である。視点Ｐ_ｉに対して、視点座標Ｐ_ｉと視線ベクトルＶ_ｉ（ノルム=1）とTerrain平面Ｚ_ｍ（共通）が決まると同様にＴ_iCとＴ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4が決まる。Ｔ_iCを通り視線ベクトルＶ_ｉに垂直な平面をN_ｉという。平面Ｔ_miとはTerrain面Ｚ_ｍの中で、視点Ｐ_ｉによる視野でＺ_ｍの一部を構成する。視点Ｐ_ｉの視野（平面）N_ｉと（平面）Ｔ_miは視点Ｐ_ｉと（ベクトル）Ｖ_ｉと視野角θ_ｉが決まれば一意に決まる。（平面）Ｔ_miの（平面）N_ｍへの写像は原画像撮影位置視点Ｓ_ｍと（ベクトル）Ｇ_mと原画像ｍの画角θ_ｍが決まれば一意に決まる。（平面）N_ｉ―＞（平面）Ｔ_mi―＞（平面）N_ｍの対応により（平面）N_ｉのθ_ｉに対応する各画素が、（平面）N_ｍのθ_ｍに対応する画素に対応付けられればモーフィングアルゴリズムは完成する。

一般にTerrain平面Ｚ_ｍ上の任意の点Ｘは、

であらわされる。ここで垂線条件である、

を代入すると、

が得られる。ここで・はベクトル内積をあらわす。視界の中心線V_iCとTerrain平面Z_mの交点Ｔ_iCは、Ｔ_iCが

を満足することからこれに代入して、

より

となり、

より、視点P_iの画像中心点のTerrain平面Z_mでの座標が求められる。同様に、視点P_iの視界の４隅の正規化視線ベクトルをV_i1、V_i2、V_i3、V_i4とし、これらとTerrain平面Z_mの交点Ｔ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4のTerrain平面Z_mでの座標を求めることができる。さらにこの座標のN_ｍ面上への変換を求める。Terrain平面Z_m上の任意の点Xは、

であらわされ、垂線条件である、

より、４隅の正規化視線ベクトルをV_i1、V_i2、V_i3、V_i4に対して、

ただしk=1,4を満足する

より

となり、

で、視点P_iの画像の４隅の点のTerrain平面Z_mでの座標が求められる。この平面Z_m上での座標を平面N_ｍ上での座標に対応付けることにより原画像である平面Z_m上のどの点を視点P_iの画面に映せばよいか分かる。（平面）Z_m上での視点P_iの画面の中心および四隅の点の座標Ｔ_iC、Ｔ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4（まとめてＴ_ik、k=1,2,3,4,cとする）が（平面）N_ｍ上でQ_iC、Q_i1、Q_i2、Q_i3、Q_i4（まとめてQ_ik、k=1,2,3,4,cとする）に対応する。（平面）N_ｍ面上での画面の水平ラインを（ベクトル）N_H、垂直ラインを（ベクトル）N_VとするとN_ｍ面上の任意の点Yは任意定数a,bに対して

で表される。画像ベクトルG_mは（ベクトル）N_H、（ベクトル）N_Vに垂直だから

となり、また、Q_ikとＴ_ikは画像撮影位置S_mより見て同一線上にあるから

であるので、

となり、G_mとの内積をとって

となるから

となる。

で既にＴ_ikは求まっているから、これで、視点P_iの視界の原画面mの画面との対応が完成した。

次に、（ベクトル）G_mをｚ軸に移す変換を求める。ここで、

として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。ｚ軸周りの回転は、

で与えられる。次に、y軸周りの回転は、

で与えられる。両方の回転を合成すると、

となる。平面Ｎ_ｍの交点Ｑ_ik(k=1,2,3,4,C)に対してＧ_ｍをｚ軸に移す変換を施せば、Ｑ_ik(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。

（実施形態２）
実施形態１において、地上構造物の高さ情報を用いずに視界映像生成を行なうと、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して視点位置の相違による視差を解消することが原理的に不可能である。図４０を用いてこのことを説明する。すなわち、視点A 2210および視点B 2211より地表214の地表点Ｏ 2213において、地表より高さｈ 2215の点Ｐ 2212を見た視界映像A 2220と視界映像B 2221を考える。

地表点Ｏ 2213の視界映像A 2220における像Ｏ_Ａ 2218は視界映像B 2221における像Ｏ_Ｂ 2219に対応する。一方、地表 2214より高さｈ 2215の場所にある点Ｐ 2212は視点A 2210から見た視界映像A 2220上では像Ｐ_Ａ 2216となり、地表点R 2223と重なる。視点B 2211より見た点Ｐ 2212の視界映像B 2221上の場所は像Q_Ｂ 2225であって、地表点Q 2222と重なる。視点の相違により、点Ｐ 2212の視界映像A 2220と視界映像B 2221上の位置が異なることになる。このことは、地表より高さのある地物は、使用する実写画像の視点（撮影点）が異なると視界映像上の位置が視差により跳躍することを意味し、図４で示す視界映像が実写原画像（空中画像 ｉ 260、空中画像 ｉ+1 261）の切替ごとに不連続に移動することを意味する。かかる視界映像上の不連続性は、実施形態１の方法に起因した現象であり、本実施形態では実施形態１の方法を使用しつつ、前記現象を解決するものである。

図４１は本発明の実施形態２に係る視界映像情報生成装置の構成を示す。画像表示系２１００は実施形態１による部分であって、キーボード又はマウスを含む視点位置と視線方向を入力する視点・視線入力機構２１２２の設定入力値に従い、実写画像検索エンジン2104が実写画像インデクス機構２１０２を参照して実写画像データベース２１０１より最適な、（撮影時の視点と視線が視点位置・視線方向に最も近い）画像を検索し、視界映像生成システム２１０５が表示装置２１２１へ出力する視界映像を生成する。本発明の特徴部分の一つは画像切替平滑系２１１０であって、画像表示系２１００において視界映像生成システム２１０５が使用する実写画像を切り替えるときに発生する前記視界映像上の不連続性を解決する。すなわち、表示装置2121画面上で、マウス又はアイ・トラッカーを含むオペレータ２１３０の注目点入力機構２１２３で入力される注目点位置2126の点で、前記実写画面切替時に視界映像上の不連続性が生じないようにする。画像比較情報データベース２１１１と視界映像位置補正システム２１１２より構成されるが、その詳細構成と機能は次に詳述する。

図４２および図４３は画像切替平滑系２１１０の機能を説明する図である。図４２において視線方向１ 2231および視線方向２ 2232より建物2239を視界に含めるように基準点2233を見込んだ場合の関係を建物および視線方向の関係2230として示す。この場合、同一の建物2239は視点と視線方向が異なるため、視線方向２１より見た映像2234および視線方向２２より見た映像2235のように異なって見える。図４３は視差による視界映像画面上の位置への影響を説明する図である。基準点2233は地表上の点であり、DEMデータ2103により3次元データが求められているので、３次元コンピュータグラフィック技術で周知のとおり、視点と視線が決まれば視界映像上の位置が正確に定まる。図４３（ａ）の視線方向２１より見た映像234および、図４３（ｂ）の視線方向２２より見た映像2235において基準点2233の画面上の位置は定まる。基準点2233を視点から視線で捉えながら使用する実写画像を切り替えると、図４３（ｃ）に示すように、建物2239の3次元情報がないため視差により、視線方向２１より見た映像2234と視線方向２２より見た映像2235の位置が一般にずれて表示される。この場合、たとえば建物2239の端点を注目点2236としてオペレータ２１３０が注視していると図４３（ｃ）に示す視界表示は画面の平滑さを欠き好ましくない。

図４３（ｄ）はオペレータ２１３０の注目点をマウスカーソル、キーボード、またはアイ・トラッカーを含む入力機構により求め、かかる注目点（図４３（ｄ）の場合は建物2239の上部カド）で視界映像が元となる実写画像の切替時にも一致するように、表示する視界映像の表示画面上の位置をずらしたものである。かかる表示画面上の位置調整機能を持たせることにより視界映像の画面切替時の平滑さを実現することが本発明の目的であり、実施形態１の技術において使用する実写画像が３次元情報を保有しないことによる欠点を解消する技術である。

図４４はかかる表示画面上の位置調整機能を実現する機構を説明する図である。画像切替平滑系２１１０および、画像表示系2100と画像切替平滑系２１１０の間の接続が本発明の特徴の部分の一つであり、画像切替平滑系２１１０は画像表示系2100と同期しながら動作する。各構成部分の処理タイミングは図４５のタイムチャートで示される。図４５の左端の縦列は図４４の各処理ブロックに対応し、各処理の横行は時間軸2260上での相互に処理タイミングを示す。曲線矢印は矢印の元の処理が終了するタイミングで矢印の先の処理が起動されることを示す。

図４５の意味するところは、画像表示系2100においては、視点・視線入力処理部2127に引き続き、実写画像検索処理部2262、実写画像展開処理部２２６３、視界映像生成処理部2264が前段の処理結果を用いて順次起動される。画像切替平滑系２１１０では、画像表示系2100の実写画像検索処理部2262の結果により画像比較情報検索処理部2251、引き続いて画像比較情報展開処理部2257が前段の処理結果を用いて順次起動される。一方、注目点入力処理部１２８の結果と併せて比較情報領域選択処理部2254が起動され、画像マッチング処理部2255が起動され、その結果に基づきズレ計出処理部2256によりずれ計出処理が行われる。ズレ計出処理部2256の結果が画像表示系2100の視界映像生成処理部2264の結果と合わされ、画面出力処理部2266の処理が行われる。本発明の一実施形態においては、画像表示系2100と画像切替平滑系２１１０が図４５に示すように並列に同時処理可能であり、近年のマルチコアCPUのアーキテクチャに適合するものである。

表示装置2121に表示される表示画像2124は図４５の画像更新周期2261毎に更新される。視点・視線入力機構２１２２から取り込まれた情報は入力処理部２１２７により視点位置・視線方向2125として実写画像検索エンジン2104に伝達され、画像検索情報である実写画像インデクス機構2１4２を参照して実写画像データベース２１4３より実写画像を検索する。実写画像検索エンジン２１０４および視界映像生成システム２１０５の機能および処理は実施形態１において説明した。画像切替平滑系２１１０において画像比較情報データベース2250は実写画像データベース２１4３と画像ごとに対応しており同一の構造を持っているため実写画像インデクス機構２１4２を用いて検索でき、画像比較情報データベース2250内の画像比較情報データを画像比較情報検索処理部2251が取り出す。

画像比較情報データベース2250内の情報（画像比較情報）は実写画像と同一構造であるが、視点と視線方向が近接する画像間の画像マッチング処理2255に使用することが目的であるため、効率よく短時間に画像マッチングができるように実写画像データベース２１4３内の実写画像を画像処理して実写画像ごとに事前に計算によって求める。図４６はかかる処理の例について構造を示したものである。処理ブロック2300は実写画像データベース2143の全画像について順次処理することを示し、処理ブロック2301で実写画像データベース2１43より処理対象の実写画像を取り出す。

処理ブロック2302は実写画像の分解能を縦横（H,V）各々について1/nに減ずる処理である。ただし、nは1以上の整数である。この処理は画像マッチング処理部2255の計算量を1/(n*n)に減らすことができる反面、ズレ計出処理部2256の処理の精度を1/nに劣化させるものであるから、プロセッサの処理能力を勘案してnを決める必要がある。実写画像の画素数は横方向にHmax、縦方向にVmaxであるとし、実写画像の各画素の輝度を P(h,v,RGB) で表現する。ここで、hはH（横）方向座標でh=0,Hmax-1の範囲の整数値をとり、ｖはV（縦）方向座標でv=0,Vmax-1の範囲の整数値をとる。RGBは色による区別で、RGB=0,1,2の整数値をとり、R,G,B３色に対応する。実写画像の1/n分解能の画像の各画素の輝度を Pn(hn,vn,RGB) で表現する。ここで、hnはH（横）方向座標でhn=0,Hmax/n-1の範囲の整数値をとり、ｖはV（縦）方向座標でvn=0,Vmax/n-1の範囲の整数値をとる。RGBは色による区別である。分解能を1/nにする操作は、たとえば

で求められる。

処理ブロック2302のモノクロム化により画像マッチング処理部2255の計算量を1/3に減らすことができる。ただし、処理ブロック２３０２のモノクロム化の処理は必ずしも行う必要はない。モノクロ化した画像の各画素の輝度を Pmn(hn,vn) で表現すると、モノクロ化の操作は、たとえば

で求められる。

処理ブロック2304のヒストグラム平準化を、図４７を用いて説明する。画像マッチング処理部2255に適した画像フィルタ処理において分解能を1/nに変更し、モノクロ化した実写画像2310に対して実施する。画像フィルタ 2311は左上のHV座標原点から１画素ずつ横方向（H)軸 2312に移動しながら次段落で述べるヒストグラム平準化処理を実施し、右端に達すると横方向（H)軸 2312の左端に戻り、縦方向（V)軸 2313に１画素移動する。この状態で１画素ずつ横方向（H)軸 2312に移動しながら同様に次段落で述べるヒストグラム平準化処理を実施し、右端に達すると、以下、同様に分解能を1/nに変更しモノクロ化した実写画像 2310の右下端に至るまで全画面をスキャンしつつ歩進する。

この横方向（H)軸 2312または縦方向（V)軸 2313に１画素移動するごとに、以下に記すヒストグラム平準化処理を行う。画像の輝度分布は画像の場所によって異なるのが通常である。このような偏りは低い空間周波数成分の輝度分布であり、画像マッチング処理部2255で使用するマッチングフィルタのサイズより低い空間周波数成分を事前に除去することが画像処理上マッチング検出精度向上のため必要である。この目的のため画像フィルタ 2311の大きさに合わせて輝度分布の平準化を行う。画像フィルタ 2311はm*m画素の大きさを持つ。画像フィルタ 2311は分解能を1/nに変更しモノクロ化した実写画像 2310（以下、実写画像 2310と称する）の左上端から右下端まで、画像を走査しながら１画素ずつ移動する。画像フィルタ 2311内の実写画像2310の各画素は輝度値を持ち、輝度表現が８ビットの場合、0から255までの値を持つ。図４７（ｂ）は画像フィルタ 2311内のm*m画素に対する輝度別の画素数をグラフ化したヒストグラムである。輝度ヒストグラム軸 2315は輝度軸 2314上の輝度に対する画素数である。実写画像 2310上で、画像フィルタ 2311が移動してきた領域内の画素の輝度ヒストグラム（分布）の例を図４７（ｂ）に示す。

実写画像２３１０の任意の場所に対して画像フィルタ2311範囲の領域内にける輝度分布の例を輝度ヒストグラム2318で示す。輝度ヒストグラム2318は輝度下限値 2316から輝度上限値2317のあいだで分布しているが、図４７（ｂ）に示すように一般には輝度下限値2316と輝度上限値2317のあいだに偏って存在する。これは、画面の場所によって明暗およびコントラストに偏りがあるためであり、画像照合には妨げとなる。この解決のため処理ブロック2304でヒストグラム平準化処理を行う。すなわち、画像フィルタ2311範囲の領域内にける輝度分布が図４７（ｃ）に示すように輝度下限値2316と輝度上限値2317全体にわたって存在するように輝度ヒストグラム2318を輝度軸2314にそって伸長する。なお、伸長することは、処理ブロック2304のヒストグラム平準化処理の一例であり、上記以外の方法を用いても画像照合に適するものであれば、如何なる処理を用いてもよい。

画像フィルタ 2311の計算結果は、m*m画素の領域の中心部の輝度値をフィルタ処理の結果として格納する。したがって画像フィルタの一辺のサイズのｍ画素は奇数であることが好ましい。さらにこのような結果格納方法を採用することにより、画像フィルタ 2311を、実写画像２３１０上を１画素ずつ移動させて走査することと整合する。図４８は輝度ヒストグラム平準化の例であり、図４８（ａ）はモノクロ化した実写原画像であり、図４８（ｂ）は前記ヒストグラム平準化を行った例である。以上、処理ブロック２３０４の内容を説明したが、結果は処理ブロック２３０５で画像比較情報データベース2250へ格納される。

図４４の説明の戻り、画像切替平滑系 ２１１０の説明を継続する。視点位置・視線方向2125は図４５の視点・視線入力処理部2127の行で、画像更新周期 2261に先立って取り込まれ、実写画像検索エンジン ２１０４の実写画像検索エンジン2104に送り込まれて、実施形態１に係る方法で視点位置・視線方向 2125に最も適切な実写画像が実写画像データベース2１43より取り出される。画像比較情報データベース 2250は実写画像データベース2１43と同一構造を有するように設定されているから、画像比較情報検索処理2251は実写画像検索処理2104より前記画像検索情報を画像比較情報データ検索情報 2258として得て、前記実写画像に対応する画像比較情報データを画像比較情報データベース 2250より得ることができる。

比較情報領域選択処理2254では、現表示画像比較情報2253と次表示画像比較情報2252を入力する必要がある。このため現表示の実写画像に加え、次に表示する実写画像に対応した画像比較情報データを画像比較情報検索処理 251が読み出す必要があるが、視点位置・視線方向2125と、その変化方向から次の時点の視点位置・視線方向を予測することができ、かかる予測値を用いて、現在表示中の実写画像と同一の処理で切替表示する実写画像の検索情報も得られる。画像比較情報検索処理2251は、切替表示する実写画像も併せて画像比較情報データベース2250より検索して読み出す。

画像比較情報展開処理2257は図４５に示す通り、画像比較情報検索処理2251に引き続いて実行され、前記検索された実写画像の撮影点位置、撮影方向と、視点位置・視線方向 2125及び表示画面の視野角より表示装置2121に表示する現在表示中の視野画像と、切替後に表示する実写画像に対応する視野画像が画像比較情報展開処理部2257により得られる。この結果は現表示画像比較情報 2253および次表示画像比較情報 s252として比較情報領域選択処理部s254に伝えられる（図４４、４５）。画像比較情報展開処理2257の内容は、画像比較情報検索処理部2251が画像比較情報データベース2250より検索した画像比較情報データは、対応する実写画像を撮影した撮影点と撮影方向に対応したものであり、視点位置・視線方向2125とは近接しているが異なるものである。この相違を３次元グラフィックで公知、あるいは実施形態１に係る線形変換により視界映像とするものである。

現表示画像と次表示画像は撮影点と撮影方向が隣接した近傍にあるが、一致していないので視差があり、両画像を表示装置2121の表示視野画面全体について一致させることは対象が平面でない限り原理的にできない。しかしながら、オペレータ2 130が注目するのは表示画面の一部であるから、注目点入力機構2123と注目点入力処理2128により注目点位置 2126を入力して比較情報領域選択処理2254に入力し、現表示画像比較情報2253と次表示画像比較情報2252の中から画像マッチング処理部2255による処理を実施する部分を比較情報領域選択処理部2254により選定する。

図４９は比較情報領域選択処理部2254の機能を図で説明したものである。図４９（ａ）は現在表示中の視野画面2340を示し、注目点ウィンドウ２１ 2330はオペレータが注目点位置2126により注目している領域を示す。注目点位置2126のHV座標を(Ht,Vt)とする。現在表示中の視野画面340に対応する図４９（ｂ）の画像比較情報２１ 2333で注目点ウィンドウ２１ 2330で囲まれた領域が画像マッチング処理部2255における基準パターン2335となる。注目点入力機構2123がない場合には自動的に視界表示画面の中心としてもよい（なお、図４９（ｂ）（ｄ）は画像比較情報の例であって、図４９（ａ）（ｂ）の建物に対応したものではない。）。基準パターン 335をｍ画素 ｘ ｍ画素の領域とし、C言語などの文法で記述すれば次のようになる。
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ ) {
Pattern[i][j] = M[Ht-m/2+i][ Vt-m/2+j];
}
}
ここで、Pattern[i][j]は基準パターンの輝度配列、M[Ht-m/2+i][ Vt-m/2+j]は画像比較情報２１ 2333の輝度配列である。

図４９（ｃ）は切替表示の視野画面341を示す。図４９（ｃ）における注目点ウィンドウ２１ 2330は図４９（ａ）と表示画面上で同じ位置にあるが、視差のため図４９（ａ）と異なる建物2239の部分を表示することになる。図４９の例では図４９（ａ）の注目点ウィンドウ２１ 2330は図４９（ｃ）では注目点ウィンドウ２２ 2331として表示されている。図４９（ｃ）における注目点ウィンドウ２１ 2330と注目点ウィンドウ２２ 2331の位置ズレが画像マッチング処理部2255とズレ計出処理部2256が算出する値である。注目点位置2126に対応して図４９（ａ）の注目点ウィンドウ２１ 2330が決まる。図４９（ｂ）の注目点ウィンドウ２１ 2330を現在表示中の視野画面2340の縦横座標が同一の場所に定める。図４９（ｄ）は図４９（ｃ）の切替表示の視野画面 2341に対応する画像比較情報22 2334であり、図４９（ｂ）上の注目点ウィンドウ２１ 2330と図４９（ｄ）で同一位置にある注目点ウィンドウ２１ 2330の周辺を拡大して拡大注目点ウィンドウ 2332を設定する。拡大注目点ウィンドウ 2332の中心点は注目点ウィンドウ２１ 2330と同一であり、縦横倍率は最大外縁が画像比較情報22 2334に接するまでが目安であるが、必要に応じてさらに拡大することもできる。

前記基準パターン2335が最も相関の高い図４９（ｄ）の拡大注目点ウィンドウ 2332内で最も相関の高い点を求める。拡大注目点ウィンドウ 2332を注目点ウィンドウ２１ 2330のN倍の大きさとし、アルゴリズムをC言語の文法で記述すれば
long Convolution[N*m][ N*m];
for ( int I=0; I<N*m; I++ ){
for ( int J=0; J<N*m; j++ )｛
Convolution [I][J] = 0;
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ ){
Convolution [I][J] += Pattern[i-m/2][j-m/2]
* M[Ht-N*m/2+I-m/2+i][Vt-N*m/2+J-m/2+j];
}
}
}
}
により積和計算（結果はConvolution [I][J]）を拡大注目点ウィンドウ 2332の各点について実施し、その中で最大値の点（Htnext,Vtnext）が前記基準パターン 2335と最も相関の高い点であり、切替表示の視野画面 2341で現在表示中の視野画面 2340の注目点位置 2126に対応する点である。

注目点ウィンドウ２１ 2330と拡大注目点ウィンドウ 2332の座標のズレがズレ計出処理部2256で求める値であり、
横方向ズレ = Htnext−Ht （画素）
縦方向ズレ = Vtnext-Vt （画素）
で求められる。この値は表示画像位置補正情報2259として画面出力処理部2266に渡され、使用する実写画像を切り替える時点で視界映像の表示位置の修正に用いられる。図５０は上記処理を処理フローで示したものである。また図４５は図４５における各処理のタイミング上の前後関係、従属関係を示したものである。

図５１および図５２は画像表示系 2100と画像切替平滑系 ２１１０の処理について図４５と異なる並列処理方法を示すものである。表示画面の画像更新周期 2261は一般には30ms程度であり、画像切替平滑系 ２１１０の処理で最も時間がかかる可能性があるものが画像マッチング処理部2255の処理である。画像マッチング処理部2255が画像更新周期 2261内に終了しない場合には、図５１に示すようにズレ計出処理 256を画像更新周期 2261の2倍経過後に画面出力処理2266に送信してもよく、図５２の場合では、画像更新周期 2261の３倍経過後に画面出力処理 2266に送信している。このように、画像マッチング処理部2255の処理に要する時間が画像更新周期 2261より長くなる場合は、同期タイミングを遅らせることにより対応できるが、遅延が大きくなると注目点位置 2126の変化に対する応答性が劣化する。

画像マッチング処理部2255の処理を高速に処理する方法としては、マルチコア、マルチスレッドのCPUを利用して画像マッチング処理部2255の処理を複数のコアまたはスレッドで並列処理する方法がある。並列処理の方法は拡大注目点ウィンドウ 2332を縦方向または横方向に複数の領域に分割した上で各区分ごとに基準パターン 2335との相関演算（積和演算）を実施して、その中から最大値を取るものを採用すればよい。

以上に述べた方法では、視点位置・視線方向 2125と視点位置・視線方向 2125の変化方向、変化速度より、次に表示する実写画像を予測しているが、予測は線形外挿以外にはよい方法がないので、視点位置・視線方向 2125の変化方向が急変した場合には対応できなくなることが起こりえる。この問題を解決するためには、画像表示系 2100を行うCPUコアまたはスレッド以外の複数のCPUコアまたはスレッドに次に表示する可能性のある全ての実写画像または表示する可能性のある実写画像から表示する可能性の大きいものから順に複数の画像に対して画像切替平滑系２１１０の処理を並列演算することも可能である。次に表示する可能性は実写画像の視点、視線方向とオペレータ２１３０が入力する視点位置・視線方向 2125の成す角度の小さいものから順に決める方法がある。

同一の地物を視線で捉えながら視点を移動させると、実施形態１に係る方法では、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近い。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高い。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。

本発明の視界映像情報生成装置は、実写画像を用いて３次元視界映像を生成する場合に発生する実写画像切替時に発生する画像の乱れ、あるいは不連続性を解消し、滑らかな映像が生成するためのものであり、実写画像を用いた視界映像情報生成装置として産業上利用することができる。さらに本発明の視界映像情報生成装置は、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動、およびアミューズメントのインフラとして広範囲な分野で産業上利用できるほか、事前に特定対象物を限定せず一定の領域を高密度に撮影しておき、画像表示時に特定対象についてさまざまな視点と方向から観察できる特徴を生かして防災、治安維持の目的に使用することができる。

2100 画像表示系
2101 実写画像データベース
2102 画像インデクス機構
2103 DEMデータ
2104 実写画像検索エンジン
2105 視界映像生成システム
2110 画像切替平滑系
2111 画像比較情報データベース
2112 視界映像位置補正システム
2120 ユーザインターフェイスシステム
2121 表示装置
2122 視点・視線入力機構
2123 注目点入力機構
2127 視点・視線入力処理部
2128 視点・視線入力処理部

Claims (11)

1. 撮影装置により、複数の撮影位置それぞれにおいて複数の方向への撮影であり、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、
   前記複数の画像情報それぞれを前記メモリ記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、
   前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、
   前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、
   視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、
   前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索して前記順番にて読出し、
   前記順番にて読出された前記画像情報を切り替えながら、前記像情報に関連付けられている撮影位置情報とを参照して視界映像情報を生成することを含む視界映像情報生成方法において、
   前記視点経路上の位置より前記視線の方向の前記視界映像情報を生成するに際して、使用する前記画像情報から、前記画像情報の撮影位置とは異なる撮影位置または／および前記画像情報の撮影方向とは異なる撮影方向の別の画像情報に切り替える場合、前記画像情報と前記別の画像情報とに共通している領域の表示位置のずれが起きないように前記視界映像情報の位置ずれ補正を実施することを特徴とする視界映像生成装置。
2. 請求項１の視界映像生成装置において、表示位置のずれが起きないように位置ずれ補正を実施する視界映像情報内の領域が、前記視界映像生成装置に表示中の視界映像情報の中心部であることを特徴とする請求項１に記載の視界映像生成装置。
3. 請求項１の視界映像生成装置において、表示位置のずれが起きないように位置ずれ補正を実施する視界映像情報内の領域が、前記視界映像生成装置に表示中の視界映像の領域のうち視界映像中の位置指示装置で指定された部分を含む領域であることを特徴とする請求項１に記載の視界映像生成装置。
4. 前記位置指示装置は、視線検出装置により検出された視線により前記視界映像情報の中の部分を指定する請求項３に記載の視界映像生成装置。
5. 請求項３または請求項４の視界映像生成装置において、前記視界映像情報に表示位置のずれが発生しないように位置ずれ補正を行う際、前記視線を含む前記視界映像情報中の領域の表示位置のずれが発生しないように位置ずれ補正を行う点および／または前記領域との間の距離に基づき表示倍率を調整して画像のなめらかな切り替えを行うことを特徴とする視界映像生成装置。
6. 請求項１から請求項５のいずれか一に記載の視界映像生成装置において、前記視界映像に表示位置のずれが発生しないように位置ずれ補正を表示中の画像情報と切り替え表示後の画像情報との間で画像認識を実施して行うことを特徴とする視界映像生成装置。
7. 請求項６に記載の視界映像生成装置において、前記切替表示後の前記画像情報をカーソルの動きまたは視線の動きから予測することを特徴とする視界映像生成装置。
8. 請求項６または請求項７に記載の視界映像生成装置において、前記画像認識は、位置ずれ補正のための画像認識に供する情報を前記画像情報ごとに事前に計算してメモリに記憶しておくことを特徴とする視界映像生成装置。
9. 請求項１から請求項８のいずれか一に記載の視界映像生成装置において、前記視界映像情報生成処理と前記位置ずれ補正の画像認識処理とを、同期を取りながら並行処理することを特徴とする視界映像生成装置。
10. 請求項９の前記並行処理は、同一ＣＰＵのＬＳＩパッケイジ内の複数のコアまたはスレッドにより分担して行うことを特徴とする視界映像生成装置。
11. 請求項８に記載の視界映像生成装置において、前記画像情報ごとに事前に計算してメモリに記憶しておく前記画像認識に供する情報は、画像のサブ領域ごとの輝度ヒストグラムが平準化するように処理した情報であることを特徴とする視界映像生成装置。