WO2021149484A1

WO2021149484A1 - 画像生成装置、画像生成方法、および、プログラム

Info

Publication number: WO2021149484A1
Application number: PCT/JP2021/000141
Authority: WO
Inventors: 至清水; 哲士梅田; 直道菊地
Original assignee: ソニーグループ株式会社
Priority date: 2020-01-20
Filing date: 2021-01-06
Publication date: 2021-07-29
Also published as: CN114981846A; US20230015980A1; EP4095809A1; EP4095809A4; JPWO2021149484A1

Abstract

本技術は、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行うことができるようにする画像生成装置、画像生成方法、および、プログラムに関する。画像生成装置は、人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部を備える。本技術は、例えば、人工衛星により撮像された衛星画像から自由視点画像を生成する画像生成装置等に適用できる。

Description

画像生成装置、画像生成方法、および、プログラム

　本技術は、画像生成装置、画像生成方法、および、プログラムに関し、特に、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行うことができるようにした画像生成装置、画像生成方法、および、プログラムに関する。

　撮像装置を搭載した観測衛星による地球観測が行われている（例えば、特許文献１参照）。特に近年は、低軌道の小型の観測衛星が増加している。

　VR（Virtual Reality）の技術分野では、被写体としてのオブジェクトを任意の自由な視点から再生表示を可能とする3Dモデルが用いられている。被写体の３Dモデルの３次元データは、例えば、複数の視点から撮影した複数のテクスチャ画像およびデプス画像に変換して再生装置に伝送され、再生側で表示される（例えば、特許文献２参照）。

特開２００６－２７７００７号公報国際公開第２０１７／０８２０７６号

　地球を観測する場合にも、VRのように、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行いたいという要望がある。しかしながら、静止衛星の場合、高度３万６千ｋｍに位置するため、高分解能での観測は困難であり、衛星の位置が固定であるため、特定の地点しか観測できない。また、低軌道または中軌道を周回する周回衛星の場合は、軌道上の視点からしか見ることができず、自由な視点から見ることができない。よって、現時点では、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行いたいという要望に十分にこたえられていない状況である。

　本技術は、このような状況に鑑みてなされたものであり、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行うことができるようにするものである。

　本技術の一側面の画像生成装置は、人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部を備える。

　本技術の一側面の画像生成方法は、画像生成装置が、人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する。

　本技術の一側面のプログラムは、コンピュータを、人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部として機能させるためのものである。

　本技術の一側面においては、人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像が生成される。

　なお、本技術の一側面の画像生成装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　画像生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術を適用した実施の形態としての衛星画像処理システムの構成例を示すブロック図である。自由視点画像生成装置の詳細構成例を示すブロック図である。自由視点画像生成装置で実行される自由視点画像生成処理を説明するフローチャートである。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．衛星画像処理システムの構成例
２．ボリューメトリックキャプチャ技術について
３．自由視点画像生成装置の構成例
４．自由視点画像生成処理
５．アプリケーション適用例
６．コンピュータ構成例

＜１．衛星画像処理システムの構成例＞
　図１は、本技術を適用した実施の形態としての衛星画像処理システムの構成例を示すブロック図である。

　図１の衛星画像処理システム１は、複数の人工衛星（以下、単に衛星という。）によって撮像された画像（以下、衛星画像と称する。）を用いて、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測を行うことができるシステムである。本実施の形態において、衛星は撮像装置を搭載し、地上を撮像する機能を少なくとも有する。

　衛星運用会社は、複数の衛星２１を管理する衛星管理装置１１と、衛星２１と通信を行う複数の通信装置１３とを有している。なお、衛星管理装置１１および複数の通信装置１３の一部は、衛星運用会社以外が所有する装置であってもよい。衛星管理装置１１と複数の通信装置１３とは、所定のネットワーク１２を介して接続されている。通信装置１３は、地上局（地上の基地局）１５に配置されている。なお、図１では、通信装置１３の個数が、通信装置１３A乃至１３Cの３個である例が示されているが、通信装置１３の個数は任意である。

　衛星管理装置１１は、衛星運用会社が所有する複数の衛星２１を管理する。具体的には、衛星管理装置１１は、１以上の外部機関の情報提供サーバ４１から関連情報を必要に応じて取得し、自身が所有する複数の衛星２１の運用計画を決定する。そして、衛星管理装置１１は、顧客の要望に応じて、通信装置１３を介して所定の衛星２１に撮像指示を行うことにより、所定の衛星２１に撮像を行わせる。また、衛星管理装置１１は、通信装置１３を介して衛星２１から送信されてきた衛星画像を取得し、記憶する。取得された衛星画像は、必要に応じて所定の画像処理を行い、顧客へ提供（送信）される。また、取得された衛星画像は、画像提供会社の自由視点画像生成装置５１へ提供（送信）される。

　外部機関に設置された情報提供サーバ４１は、衛星管理装置１１からの要求に応じて、あるいは、定期的に、所定の関連情報を、所定のネットワークを介して、衛星管理装置１１へ供給する。情報提供サーバ４１から提供される関連情報には、例えば、次のようなものがある。例えば、外部機関としてのNORAD（北アメリカ航空宇宙防衛司令部）から、TLE（Two Line Elements）フォーマットで記述された衛星の軌道情報を関連情報として取得することができる。また例えば、外部機関としての気象情報提供会社から、地上の所定の地点の天気、雲量などの気象情報を取得することができる。

　自由視点画像生成装置５１は、所定のネットワークを介して衛星管理装置１１から供給される、衛星２１が撮像した衛星画像を用いて、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測される衛星画像である自由視点画像を生成する画像処理を実行する。自由視点画像生成装置５１は、ユーザ９１（図２）の生成指示に応じて、必要に応じて衛星画像の撮像依頼を、衛星管理装置１１に送信する。自由視点画像の生成処理は、衛星運用会社が行う場合もあり、この場合、衛星運用会社と画像提供会社は同一である。また、衛星管理装置１１と自由視点画像生成装置５１が１つの装置で実現されてもよい。

　通信装置１３は、衛星管理装置１１の制御に従い、衛星管理装置１１によって指定された所定の衛星２１と、アンテナ１４を介して通信を行う。例えば、通信装置１３は、所定の時刻および位置において、地上の所定の領域を撮像する撮像指示を所定の衛星２１へ送信する。また、通信装置１３は、衛星２１から送信されてくる衛星画像を受信し、ネットワーク１２を介して衛星管理装置１１へ供給する。地上局１５の通信装置１３から衛星２１への送信をアップリンク、衛星２１から通信装置１３への送信をダウンリンクとも称する。通信装置１３は、衛星２１と直接通信を行うことができる他、中継衛星２２を介して通信を行うこともできる。中継衛星２２としては、例えば、静止衛星が用いられる。

　ネットワーク１２や、情報提供サーバ４１または自由視点画像生成装置５１と衛星管理装置１１との間のネットワークは、任意の通信網であり、有線の通信網であってもよいし、無線の通信網であってもよいし、それらの両方により構成されてもよい。また、ネットワーク１２と、情報提供サーバ４１または自由視点画像生成装置５１と衛星管理装置１１との間のネットワークが、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。これらのネットワークは、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網または通信路とすることができる。

　複数の衛星２１は、１機（単機）で運用されている場合もあれば、複数機で１つの衛星群を構成し、衛星群単位で運用されている場合もある。図１の例では、単機で運用されている衛星２１の図示は省略されており、衛星２１Aと衛星２１Bとが第１の衛星群３１Aを構成し、衛星２１Cと衛星２１Dとが第２の衛星群３１Bを構成している。なお、図１の例では、簡単のため、２機の衛星２１により１つの衛星群３１が構成される例を示しているが、１つの衛星群３１を構成する衛星２１の個数は２つに限られない。

　複数の衛星２１を１つの単位（衛星群）として運用するシステムとしては、コンステレーションとフォーメーションフライトとがある。コンステレーションは、多数の衛星を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステムである。コンステレーションを構成する個々の衛星がそれぞれ所定の機能を有し、観測頻度向上などを目的として複数の衛星が運用される。一方、フォーメーションフライトは、数km程度の狭い領域で、複数の衛星が相対的な位置関係を維持しつつ、展開するシステムである。フォーメーションフライトでは、高精度の３次元計測や、移動体の速度検出など、単一衛星では実現できないサービスの提供が可能である。本実施の形態においては、衛星群の運用は、コンステレーションまたはフォーメーションフライトのいずれであるかを問合わない。

　通信装置１３が、衛星群３１を構成する各衛星２１と通信を行う場合、図１の第１の衛星群３１Aのように、各衛星２１と個別に通信を行う方法と、第２の衛星群３１Bのように、衛星群３１を代表する１つの衛星２１C（以下、代表衛星２１Cともいう。）のみが通信装置１３と通信を行い、その他の衛星２１Dは、代表衛星２１Cとの衛星間通信によって、間接的に通信装置１３と通信を行う方法とがある。どちらの方法で地上局１５（の通信装置１３）と通信を行うかは、衛星群３１によって予め決められてもよいし、通信の内容に応じて適宜選択してもよい。単機で運用されている衛星２１も、衛星２１が地上局１５の通信装置１３と通信を行う場合もあれば、中継衛星２２を介して地上局１５の通信装置１３と通信を行う場合もある。衛星２１が地上局１５に設置された通信装置１３の通信範囲内を移動している場合、衛星２１は通信装置１３と所定の周波数でダウンリンクすることができる。衛星２１が地上局１５に設置された通信装置１３の通信範囲外を移動している場合、衛星２１は、衛星間通信によって、地上局１５に設置された通信装置１３の通信範囲内に位置する他の衛星２１へ伝送し、他の衛星２１を介して、地上局１５にダウンリンクすることができる。これにより、衛星画像のリアルタイム性を担保することができる。

　衛星画像処理システム１は、以上のように構成されている。

　衛星管理装置１１または自由視点画像生成装置５１は、個々の衛星２１で撮像された衛星画像に対して、以下のような画像処理を実行することができる。

（１）メタデータの生成
　衛星２１から送信されてきた情報や、撮像を行った衛星２１の情報に基づいて、メタデータを生成することができる。例えば、撮像対象位置の緯度経度の情報、衛星２１の撮像時の姿勢制御や加速度の情報などを、メタデータとして生成することができる。なお、メタデータは、撮像時の条件等に基づいて衛星２１自身が生成する場合もあり、その場合、衛星２１で撮像された衛星画像に予め付加されているメタデータを用いてもよい。
（２）衛星画像の補正処理
　感度特性に関するラジオメトリック補正、衛星２１の軌道位置や姿勢誤差などの幾何補正、地形の高低差に起因する幾何学的な歪みを補正するオルソ補正、地図投影面への射像を行う地図投影、などの補正処理を行うことができる。
（３）カラー合成処理
　パンシャープン処理、トゥルーカラー合成処理、フォールスカラー合成処理、ナチュラルカラー合成処理、SAR画像合成処理、バンド毎の衛星画像に色を付加する処理、などのカラー合成処理を行うことができる。
（４）その他の画像合成
　過去に自分（衛星２１）が撮像した衛星画像、他の衛星２１で撮像された衛星画像、何らかの他の画像との合成、異なるバンドで撮像された衛星画像どうしの合成、地図情報との合成などを行うこともできる。
（５）情報抽出
　R（Red）とIR（Infrared）などの異なるバンドにより、NDVI（Normalized Difference Vegetation Index）等の植生検出情報や、NDWI（Normalized Difference Water Index）等の水検出情報を算定することができる。車両や移動体、魚群などの特定被写体のハイライト処理、特定バンドの情報、前回撮像時からの変化点の抽出などを行うことができる。

　特に、コンステレーションまたはフォーメーションフライトを行う複数の衛星２１で撮像された複数の衛星画像を用いた場合には、衛星管理装置１１または自由視点画像生成装置５１は、以下のような画像処理をより効果的に行うことが可能である。

（１）高解像化または高品質化処理
　複数の衛星画像を重ね合わせることで、分解能を向上させた衛星画像を生成することができる。また、モノクロ画像とカラー画像を合わせたパンシャープン画像や、例えば異なるダイナミックレンジやシャッタスピード、異なるバンド（波長帯域）、異なる解像度など、撮像条件の異なる衛星画像の合成によって、高解像化させた衛星画像を生成することができる。
（２）機能分担
　R（Red）とIR（Infrared）などの異なるバンドにより、NDVI（Normalized Difference Vegetation Index）等の指標を算定することができる。
（３）3次元計測
　視差画像により、三次元情報を得ることができる。また、三次元情報により地上の物体認識の精度を高めることができる。たとえば、物体が車両であるか否かの判別を行うことができる（分解能的に画像から直ちには車両であるとはわからずとも、道路上にあるものが模様でなく立体物と分かれば、それが車両であると推定できる）。
（４）差分計測
　同一位置から時間差で撮像した複数の衛星画像を用いて、第１の時刻と第２の時刻との変化を抽出することができる。また、変化した対象のみを抽出して着色するような画像化を行ってもよい。また例えば、複数の衛星画像を用いて、船舶や車両の移動速度を算定したり、雲等の移動から風速を算出することができる。
（５）その他の画像合成
　過去の衛星画像や、他の衛星２１で撮像された衛星画像との合成、異なるバンドで撮像された衛星画像どうしの合成、地図情報との合成などを行うこともできる。

　個々の衛星２１は、地上を撮像した衛星画像をRAWデータで通信装置１３へ送信してもよいし、上述した画像処理を行った後に、送信してもよい。

（画像フォーマット）
　画像処理後の処理画像、および、衛星画像は、例えば、以下のような画像フォーマットを用いて、各装置の記憶部に格納され、他の装置へ伝送される。
（１）CEOS
　CEOSは、地球観測衛星委員会 (committee on Earth Observation Satellites）で標準化されたフォーマットである。CEOSには、バンドごとにファイルが分割される「CEOS-BSQ」と、複数のバンドが多重化された「CEOS-BIL」とがある。
（２）HDF
　イリノイ大学のNCSA (National Center for Supercomputing Applications) で開発されたフォーマットである。多様なコンピュータ環境で容易にデータの相互交換を行えるように複数のバンドが一つのファイルにまとめられている。
（３）Geo TIFF
　TIFF（Tagged Image File Format）に、リモートセンシング用の情報を付加したフォーマットである。TIFF形式であるので、一般的な画像ビューア等で開くことが可能である。
（４）JPEG2000
　Joint Photographic Experts Groupにより規格化された画像フォーマットである。JPEG 2000は単に圧縮率を高めるだけではなく、注目領域の画像を向上させる技術や、電子透かしなどの著作権保護技術が採用されている。

＜２．ボリューメトリックキャプチャ技術について＞
　多視点で撮影された画像（動画像を含む）から被写体の３Dモデルを生成し、任意の視聴位置に応じた３Dモデルの仮想視点画像を生成することで自由な視点の画像を提供する技術が知られている。この技術は、ボリューメトリックキャプチャ技術などとも呼ばれている。

　自由視点画像生成装置５１は、ボリューメトリックキャプチャ技術を衛星画像に適用し、地上の任意の地点について、任意の時刻に、上空の自由な視点から観測した衛星画像である自由視点画像を生成する。

　そこで、初めに、人物等を被写体とする場合の被写体の３Dモデルの生成と、生成された３Dモデルに基づく自由視点画像の表示について簡単に説明する。

　３Dモデルの生成においては、被写体が配置された所定の撮影空間を、その外周から複数の撮像装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。

　異なる方向の複数の撮像装置から得られた撮影画像を用いて、撮影空間において表示対象となる前景の被写体を抽出し、被写体の3Dモデルである３Dオブジェクトが生成される（３Dモデリング）。例えば、各視点における被写体のシルエットを3D空間へ投影し、そのシルエットの交差領域を3D形状とするVisual Hullや、視点間のテクスチャ情報の一致性を利用するMulti view stereoなどにより、３Dオブジェクトが生成される。

　そして、撮影空間に存在する１以上の３Dオブジェクトのうち、１以上の３Dオブジェクトのデータ（以下、３Dモデルデータとも称する。）が、再生側の装置に伝送され、再生される。すなわち、再生側の装置において、取得した３Dオブジェクトのデータに基づいて、３Dオブジェクトのレンダリングを行うことにより、視聴者の視聴デバイスに3D形状映像が表示される。視聴デバイスは、例えば、液晶ディスプレイや、ヘッドマウントディスプレイなどで構成される。

　3Dモデルデータのデータフォーマットとしては、様々なフォーマットをとり得る。

　データフォーマットの一つは、オブジェクトのジオメトリ情報（形状情報）を、オブジェクトの３次元位置を点の集合（ポイントクラウド）で表し、その各点に対応してオブジェクトの色情報を保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と色情報が保持される。この形式を、ポイントクラウド形式と記述する。

　データフォーマットの他の一つは、オブジェクトのジオメトリ情報を、上記ポイントクラウド形式と同様の点の集合（ポイントクラウド）か、または、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。この形式を、マルチテクスチャジオメトリ形式と記述する。

　データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応してオブジェクトの色情報を保有する形式である。各ポリゴンメッシュに貼り付けられる色情報としての２次元テクスチャ画像はUV座標系で表現される。この形式では、１つのオブジェクトに対して、１つのジオメトリ情報と、１つの２次元テクスチャ画像からなる色情報が保持される。本実施の形態では、この形式を、UVテクスチャジオメトリ形式と記述する。UVテクスチャジオメトリ形式は、MPEG-4 AFX(Animation Framework eXtension)で規格化された形式である。

　データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報を各撮像装置が撮像した撮影画像に対応する距離情報で表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像（２次元テクスチャ画像）で保有する形式である。各撮像装置が撮像した撮影画像に対応する距離情報には、撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したデプス画像が採用される。この形式では、１つのオブジェクトに対して、撮像装置の台数と同じ枚数のデプス画像からなるジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像（２次元テクスチャ画像）からなる色情報が保持される。この形式を、マルチテクスチャデプス形式と記述する。マルチテクスチャデプス形式のメリットは、3Dモデルデータを伝送する場合の符号化方式として、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を、そのまま利用することができ、高効率に圧縮することができる点である。

　以上のような各種の3Dモデルデータのデータフォーマットのうち、どのようなデータフォーマットを採用するかは任意である。再生側がデータフォーマットを指定してもよいし、配信側がデータフォーマットを決定してもよい。また、アプリケーションごとに予めデータフォーマットを決めておいてもよい。

　再生側は、撮影空間に存在する１以上の３Dオブジェクトのうち、視聴対象の３Dオブジェクトだけを要求して、視聴デバイスに表示させることが可能である。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数の３Dオブジェクトのうち、仮想カメラで捉えられる３Dオブジェクトのみを要求して、視聴デバイスに表示させる。実世界において視聴者が任意の視点から被写体を見ることができるように、仮想カメラの視点（仮想視点）は任意の位置に設定することができる。３Dオブジェクトには、適宜、所定の空間を表す背景画像が合成される。背景画像は、仮想視点が固定の静止画像であってもよいし、前景画像としての被写体と同様に、仮想視点に応じて変更される画像であってもよい。

＜３．自由視点画像生成装置の構成例＞
　図２は、自由視点画像生成装置５１の詳細構成例を示すブロック図である。

　自由視点画像生成装置５１は、自由視点画像生成部６１、自由視点画像蓄積部６２、符号化部６３、通信部６４、および、ユーザIF(Interface)部６５を備える。ユーザIF部６５は、表示部８１、および、操作部８２を有する。

　自由視点画像生成装置５１は、ユーザIF部６５を介してユーザ９１の操作を受け付け、ユーザ９１の指示に従った処理を実行することができるとともに、ユーザ９１が端末装置９２を介して自由視点画像生成装置５１に所定の処理を指示した場合にも、その指示に応じた処理を実行することができる。ユーザ９１は、操作部８２に直接入力することにより、または、端末装置９２を介して、上空の所定の仮想視点から、所定の時刻（指定時刻）の、地上の所定の地点（指定地点）を見た衛星画像である自由視点画像の生成を指示する。

　自由視点画像生成装置５１は、ユーザからの自由視点画像の生成指示に応じて、所定の仮想視点から見たベース画像とリアルタイム画像とを合成することにより、ユーザが指定した所定の仮想視点から、指定時刻に、地上の指定地点を見た衛星画像を生成する。

　所定の仮想視点から見たベース画像は、ボリューメトリックキャプチャ技術の背景画像に相当する衛星画像であり、一定の時間幅で変化が見られない（一定の時間幅における変化を問わない）静止被写体の衛星画像である。ベース画像は、リアルタイム画像と比較して相対的に変化が少ない画像となる。

　これに対して、所定の仮想視点から見たリアルタイム画像は、ボリューメトリックキャプチャ技術の前景画像（被写体）に相当する衛星画像であり、リアルタイムに変化する動的被写体（リアルタイム被写体）の衛星画像である。

　リアルタイムに変化する動的被写体（リアルタイム被写体）とは、ベース画像に含まれる静止被写体以外の、一定の時間幅で変化する被写体であり、例えば一瞬で変化する被写体から、数時間ないし１日程度で変化する被写体を含む。

　動的被写体には、例えば、飛行機、船舶、車両、人などの移動物体、雲、オーロラ、火山の噴火などの気象現象、海、湖、川、地表面などに対する太陽の反射現象、朝焼けや夕焼けの空の色、影などを含む光線情報などが含まれる。

　動的被写体以外の、１日程度より長い時間幅で変化する被写体は、静止被写体に含まれることとする。例えば、紅葉などの山色の変化や、田んぼの田植え直後の状態や収穫期の稲穂の状態などは、季節の移り変わりでみられるため、山林や田んぼは静止被写体に含まれる。

　自由視点画像生成部６１は、ベース画像生成部７１、リアルタイム画像生成部７２、外部情報取得部７３、および、画像合成部７４を有する。

　自由視点画像生成装置５１の自由視点画像生成部６１は、衛星画像蓄積サーバ１０１および外部情報提供サーバ１０２と、所定のネットワークを介して接続される。自由視点画像生成装置５１と、衛星画像蓄積サーバ１０１または外部情報提供サーバ１０２との間のネットワークは、上述したネットワーク１２と同様の任意の通信網を採用することができる。所定のネットワークとの接続は、通信部６４を介して行われる。

　自由視点画像生成部６１は、制御部６６からの生成指示に基づいて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成し、自由視点画像蓄積部６２に供給する。

　ベース画像生成部７１は、衛星画像蓄積サーバ１０１に蓄積（記憶）されている、異なる視点から撮像された複数の衛星画像を取得し、取得した複数の衛星画像を用いて、地上の静止被写体の３Dモデルを生成する。そして、ベース画像生成部７１は、ユーザ９１によって指定され所定の仮想視点から、地上の静止被写体の３Dモデルを見たときの第１の仮想視点画像を生成し、ベース画像として、画像合成部７４に供給する。

　ベース画像生成部７１は、衛星画像蓄積サーバ１０１から取得した複数の衛星画像に含まれる動的被写体を予め除去してから、地上の静止被写体の３Dモデルの生成に用いることができる。換言すれば、ベース画像生成部７１は、衛星画像蓄積サーバ１０１から取得した衛星画像から、リアルタイム画像生成部７２が生成するリアルタイム画像に含まれるべき被写体を除去した衛星画像を生成し、地上の静止被写体の３Dモデルの生成に用いることができる。衛星画像に含まれる動的被写体の除去は、例えば、同一地点を撮像した衛星画像どうしを比較し、一致しない被写体を動的被写体として検出し、除去することで可能となる。また例えば、フォーメーションフライト等の複数の人工衛星で撮像された衛星画像を用いて微小な変化を動的被写体として検出し、除去することで可能となる。

　衛星画像蓄積サーバ１０１には、撮像装置を搭載した人工衛星が上空から地上を撮像した複数の衛星画像が蓄積されている。人工衛星は、衛星管理装置１１を所有する衛星運用会社の衛星２１でもよいし、他の会社の人工衛星でもよい。衛星画像蓄積サーバ１０１は、衛星管理装置１１を所有する衛星運用会社が運用するサーバでもよいし、自由視点画像生成装置５１を所有する画像提供会社が運用するサーバでもよいし、他の会社が運用するサーバでもよい。また、衛星画像蓄積サーバ１０１は、衛星画像蓄積部として、自由視点画像生成装置５１の一部に含まれ、衛星管理装置１１から供給される衛星画像を蓄積してもよい。

　衛星画像蓄積サーバ１０１に蓄積される衛星画像は、１機または複数機の人工衛星により上空の複数の視点から地上を撮像して得られる画像である。１機の人工衛星で撮像する場合には、時分割で地上を撮像することで、複数の視点に対応する複数の衛星画像が生成される。複数機の人工衛星を用いる場合も、それぞれが時分割で地上を撮像することで、多数の視点に対応する多数の衛星画像を生成することができる。

　衛星画像蓄積サーバ１０１に蓄積される衛星画像は、人工衛星が撮像した２枚の衛星画像を１枚に結合した衛星画像であってもよい。例えば、撮像エリアが一部重複する２枚の衛星画像に対してスティッチ処理を行うことで１枚の衛星画像とすることができる。スティッチ処理を行う２枚の衛星画像は、異なる解像度の画像であってもよい。

　衛星画像蓄積サーバ１０１に蓄積される衛星画像に代えて、航空機により撮像された空撮画像を用いてもよい。

　衛星画像蓄積サーバ１０１に蓄積される衛星画像の解像度は、後段処理の精度が変化することから、高解像度であることが望ましい。例えば、地上分解能が１ｍ以下であることが望ましく、車両等の地表構造物を識別したい場合には、５０ｃｍ以下の分解能を有することが好ましい。

　衛星画像蓄積サーバ１０１には、テクスチャ情報としての衛星画像に加えて、静止被写体までの奥行き情報であるデプス画像も蓄積してもよい。デプス画像は、例えば、単機または複数機で異なる視点から同一地点を撮像した複数の衛星画像に基づく視差情報から生成することができる。複数機による撮像には、フォーメーションフライトによる撮像を含む。また、デプス画像は、合成開口レーダー衛星（SAR衛星）による高度計測結果から生成してもよい。あるいはまた、例えば、衛星画像に写る影の大きさなどに基づいて高さ情報を推定するなど、２次元の衛星画像からの推定により生成してもよい。

　衛星画像蓄積サーバ１０１に蓄積される衛星画像は、朝、昼、午後、夕方、夜間などの異なる時刻、快晴、晴れ、曇り、雨などの異なる天候、春、夏、秋、冬などの季節ごとの異なる条件ごとに蓄積されるようにすることができる。この場合、ベース画像生成部７１は、蓄積された条件ごとに地上の静止被写体の３Dモデルを生成することができる。所定の条件の衛星画像が衛星画像蓄積サーバ１０１に蓄積されていない場合には、ベース画像生成部７１は、他の条件で撮像された同一地点の衛星画像に基づいて推定し、蓄積されていない衛星画像を生成し、静止被写体の３Dモデルの生成処理に利用することができる。例えば、秋の衛星画像が蓄積されていない場合、夏または冬の同一地点の衛星画像から、秋の衛星画像を推定して生成してもよい。

　衛星画像蓄積サーバ１０１には、上空の多数の視点から撮像された衛星画像ではなく、他の装置で３Dモデリングにより生成された地上の静止被写体の３Dモデルのデータが蓄積されてもよい。この場合、ベース画像生成部７１は、衛星画像蓄積サーバ１０１に蓄積されている地上の静止被写体の３Dモデルのデータを取得し、取得した地上の静止被写体の３Dモデルのデータに基づいて、第１の仮想視点画像を生成する。換言すれば、衛星画像蓄積サーバ１０１に地上の静止被写体の３Dモデルのデータが蓄積されている場合、３Dモデリングの処理は省略される。

　衛星画像蓄積サーバ１０１に蓄積される地上の静止被写体の３Dモデルのデータフォーマットは、上述した3Dモデルデータのデータフォーマットのいずれの形式でもよい。ベース画像生成部７１が地上の静止被写体の３Dモデルを生成する場合のデータフォーマットも、いずれの形式でもよい。

　ベース画像は、ユーザ９１によって指定された自由視点画像の指定時刻に影響のない静止被写体の衛星画像であるので、衛星画像蓄積サーバ１０１に蓄積される衛星画像は、ユーザ９１によって指定された自由視点画像の指定時刻よりも１週間ないし１か月程度以前に撮像された衛星画像とすることができる。あるいはまた、衛星画像蓄積サーバ１０１に蓄積される衛星画像は、ユーザ９１によって指定された自由視点画像の指定時刻より後（未来）に撮像された衛星画像であってもよい。

　衛星画像蓄積サーバ１０１から取得した衛星画像よりも、同一地点を撮像した衛星画像であって、撮像時刻が新しい衛星画像、または、解像度が高い衛星画像が、リアルタイム画像生成部７２から供給される場合がある。ベース画像生成部７１は、リアルタイム画像生成部７２から、より最新または高解像度の衛星画像が供給された場合、その衛星画像を用いて、地上の静止被写体の３Dモデルを更新し、ベース画像を生成することができる。

　リアルタイム画像生成部７２は、自由視点画像を生成する地点および時刻として、ユーザ９１によって指定された指定地点および指定時刻に対応する衛星画像であって、異なる視点から撮像された複数の衛星画像を衛星管理装置１１から取得する。指定時刻に対応する異なる視点の複数の衛星画像を、ベース画像の生成に使用する衛星画像と区別して、リアルタイム衛星画像と称する。

　リアルタイム画像生成部７２は、衛星管理装置１１に自由視点画像の指定地点および指定時刻を供給して、異なる視点から指定地点を指定時刻に撮像した複数の衛星画像（リアルタイム衛星画像）を取得する。衛星管理装置１１は、リアルタイム画像生成部７２から供給された指定時刻近傍に、指定地点を通過する衛星２１に通信装置１３から撮像指示を送信し、撮像させる。指定時刻近傍は、数分ないし数十分程度の誤差を含む時刻であってよい。衛星管理装置１１またはリアルタイム画像生成部７２は、撮像された衛星画像を、時刻の誤差に応じた変化を推定した画像に変更してもよい。例えば、動的被写体として、所定の時点に所定の地点を飛行する飛行機が撮像された場合に、当該時点が指定時刻に対して誤差がある場合には、当該誤差の時間だけ飛行機の位置を移動させた衛星画像に変更してもよい。

　異なる視点からの複数の衛星画像は、１機の衛星２１が時分割で撮像してもよいし、異なる軌道を持つ複数の衛星２１が、それぞれの視点から撮像してもよい。あるいはまた、同じ軌道を持つ複数の衛星２１や、フォーメーションフライトで運用されている複数の衛星２１が、数分ないし数十分程度の時間差で撮像してもよい。数分ないし数十分程度の時間差を有する衛星画像についても、指定時刻に最も近い時刻の衛星画像を基準に、他の衛星画像を、時刻の誤差に応じた変化を推定した画像に変更してもよい。

　リアルタイム画像生成部７２は、取得した複数のリアルタイム衛星画像それぞれから、地上の動的被写体を抽出する。地上の動的被写体の抽出は、例えば、同一視点のベース画像との差分により求めることができる。また、雲や飛行機、船舶、車両などは特徴的な形状や色を有するので、これらの特徴に基づく画像認識処理により、動的被写体を抽出してもよい。あるいはまた、ベース画像生成部７１が動的被写体を除去する際と同様の処理を用いて、動的被写体を抽出してもよい。

　リアルタイム画像生成部７２は、抽出された地上の動的被写体のみが含まれるリアルタイム衛星画像それぞれから、動的被写体の３Dモデルを生成する。そして、リアルタイム画像生成部７２は、ユーザ９１によって指定され所定の仮想視点から、動的被写体の３Dモデルを見たときの第２の仮想視点画像を動的被写体のリアルタイム画像として生成し、画像合成部７４に供給する。

　リアルタイム画像生成部７２は、動的被写体の３Dモデルを生成する代わりに、異なる視点から指定地点を撮像した複数の衛星画像から計算される視差画像に基づいて、３次元情報を生成してもよい。あるいはまた、リアルタイム画像生成部７２は、動的被写体の３Dモデルを生成する代わりに、デプス情報を算出せずに、２次元の衛星画像のみを用いて推定により３次元情報を生成してもよい。例えば、２次元の衛星画像から動的被写体として飛行機を抽出し、既知情報としての飛行機の飛行高度から動的被写体の３次元情報を生成してもよい。

　リアルタイム画像生成部７２が動的被写体の３Dモデルを生成する場合のデータフォーマットも、上述した3Dモデルデータのデータフォーマットのいずれの形式でもよい。３Dモデルが形成されない場合には、２次元の衛星画像のみが内部メモリに保持される。

　リアルタイム画像生成部７２は、衛星管理装置１１から取得したリアルタイム衛星画像を取得した場合、取得したリアルタイム衛星画像を、同一地点の衛星画像を更新する更新用の衛星画像として、ベース画像生成部７１に供給することができる。

　リアルタイム画像生成部７２から供給された指定時刻近傍に、指定地点を通過する衛星２１が存在する場合には、その衛星２１に撮像を行わせればよいが、実際には、指定時刻近傍に、指定地点を通過する衛星２１が存在しない場合も起こり得る。そのような場合、リアルタイム画像生成部７２は、外部情報提供サーバ１０２から外部情報取得部７３が取得した外部情報を用いて、動的被写体のリアルタイム画像を生成し、画像合成部７４に供給する。

　動的被写体が、飛行機、船舶、車両、人などの移動物体である場合には、自由視点画像の指定地点および指定時刻の情報に基づいて、移動物体の指定時刻における位置情報が、外部情報提供サーバ１０２から取得される。例えば、船舶、飛行機などについては、AIS（Automatic Identification System）情報を外部情報提供サーバ１０２から取得することで、指定時刻における移動物体の位置情報を取得することができる。車両や人などについては、車両や人に装着されている装置の位置情報や地上に設置された監視カメラで検出された位置情報を外部情報提供サーバ１０２から取得することで、指定時刻における移動物体の位置情報を取得することができる。移動物体の位置情報を提供する運用会社が運営する外部情報提供サーバ１０２から、各種の移動物体の位置情報を取得してもよい。

　リアルタイム画像生成部７２は、移動物体の既知の３Dモデルまたはテクスチャ情報を外部の会社から取得または自身の会社で生成し、予め内部に記憶しておき、外部情報取得部７３を介して取得される移動物体の位置情報に基づいて移動物体の２次元画像を所定の位置に配置することで、動的被写体のリアルタイム画像を生成し、画像合成部７４に供給する。

　動的被写体が、雲の分布などの気象現象である場合には、気象情報を提供する気象サービス企業が運営する外部情報提供サーバ１０２から、雲の分布を示す情報と推定高度情報を取得し、雲の２次元画像を推定高度に配置することで、雲の分布のリアルタイム画像を生成することができる。また例えば、動的被写体が太陽の反射現象である場合には、気象サービス企業が運営する外部情報提供サーバ１０２から、太陽位置などの情報を取得し、光線情報などを推定して所定の位置に配置することで、影や太陽の反射などの光線情報のリアルタイム画像を生成することができる。

　図２では、説明の便宜上、１つの外部情報提供サーバ１０２しか図示していないが、外部情報取得部７３は、取得したい外部情報の種類に応じて、異なる外部情報提供会社や異なる場所の外部情報提供サーバ１０２にアクセスすることで、所望の外部情報を取得することができる。

　上述した説明では、リアルタイム画像生成部７２が、ユーザ９１によって指定された指定地点および指定時刻に対応する衛星画像が撮像可能である場合と撮像できない場合のそれぞれについて、動的被写体のリアルタイム画像を生成する方法について説明したが、実際には、それらの中間的な場合が有り得る。すなわち、ユーザ９１によって指定された指定時刻に対して数十分程度の誤差範囲の指定地点の衛星画像は撮像できないが、１時間前、３時間前、６時間前、数時間の誤差範囲の指定地点の衛星画像を取得できる場合がある。

　この場合、リアルタイム画像生成部７２は、ユーザ９１によって指定された指定時刻に対して所定時間の誤差範囲の時刻に撮像した衛星画像であって、異なる視点から撮像された複数の衛星画像を、衛星管理装置１１から取得する。指定時刻に対して所定時間の誤差範囲の時刻に対応する異なる視点の複数の衛星画像を、ベース画像の生成に使用する衛星画像、および、リアルタイム衛星画像と区別して、準リアルタイム衛星画像と称する。指定時刻に対する数時間の誤差範囲は、コンステレーションの運用で想定される誤差範囲であるが、準リアルタイム衛星画像の指定時刻に対する誤差範囲は、回帰日数１日の観測衛星を想定して最大１日とする。

　リアルタイム画像生成部７２は、取得した複数の準リアルタイム衛星画像それぞれから、地上の動的被写体を抽出し、動的被写体の３Dモデルを生成する。動的被写体の抽出、および、動的被写体の３Dモデルの生成は、上述したリアルタイム衛星画像の場合と同様である。

　次に、リアルタイム画像生成部７２は、生成した動的被写体の３Dモデルから、外部情報取得部７３を介して外部情報提供サーバ１０２から取得される動的被写体に関する外部情報を用いて、指定時刻の動的被写体の３Dモデルを推定する。例えば、リアルタイム画像生成部７２は、外部情報としての飛行機や船舶の位置情報を取得し、移動物体の３Dモデルを、外部情報に基づく位置に移動させる。また例えば、リアルタイム画像生成部７２は、外部情報としての雲の分布情報を取得し、雲の３Dモデルを、外部情報に基づく位置に移動させる。そして、リアルタイム画像生成部７２は、ユーザ９１によって指定され所定の仮想視点から、外部情報に基づいて推定された指定時刻の動的被写体の３Dモデルを見たときの第２の仮想視点画像を動的被写体のリアルタイム画像として生成し、画像合成部７４に供給する。

　あるいはまた、リアルタイム画像生成部７２は、取得した複数の準リアルタイム衛星画像から生成した動的被写体の３Dモデルを、ユーザ９１によって指定され所定の仮想視点から見たときの動的被写体の準リアルタイム画像を生成する。そして、リアルタイム画像生成部７２は、生成した動的被写体の準リアルタイム画像と、外部情報取得部７３を介して外部情報提供サーバ１０２から取得される動的被写体に関する外部情報とを用いて、動的被写体のリアルタイム画像を推定して生成する。例えば、２時間前の飛行機または船舶のテクスチャ画像である準リアルタイム画像が、外部情報に基づく指定時刻の位置に変更され、指定時刻の移動物体のリアルタイム画像とされる。２時間前の雲のテクスチャ画像である準リアルタイム画像が、外部情報に基づく指定時刻の雲の情報に基づいて変更され、指定時刻の雲のリアルタイム画像が生成される。

　すなわち、準リアルタイム衛星画像が取得される場合には、リアルタイム衛星画像を取得して動的被写体のリアルタイム画像を生成する方法と、外部情報のみを用いて動的被写体のリアルタイム画像を生成する方法の両方の方法を連携（相互補完）することにより、動的被写体のリアルタイム画像が生成される。

　なお、ユーザ９１が指定した指定時刻に対応するリアルタイム衛星画像が取得可能な場合であっても、準リアルタイム衛星画像も用いるようにしてもよい。リアルタイム衛星画像と準リアルタイム衛星画像を併用することにより、次のような効果が得られる。１つの効果として、指定時刻に撮像するリアルタイム衛星画像の情報量が少ない画像でも許容できる。例えば、リアルタイム衛星画像と準リアルタイム衛星画像の両方を用いることで、指定時刻に撮像するリアルタイム衛星画像の解像度が低くても良く、解像度が低い分、撮像範囲を広げることができる。リアルタイム衛星画像を撮像するための衛星２１と、準リアルタイム衛星画像を撮像するための衛星２１とで異なる種類の衛星２１を使用することができ、複数種類の衛星２１を準備する余地ができる。リアルタイム衛星画像と準リアルタイム衛星画像との差分情報に基づき、その間の時間帯の雲の変化など、その間の情報を補完することもできる。

　その他、リアルタイム画像生成部７２は、ベース画像生成部７１により生成可能なベース画像を用いて、動的被写体としての光線情報を推定し、光線情報のリアルタイム衛星画像を生成してもよい。例えば、ベース画像生成部７１によって、朝、昼、夜間などの異なる時刻ごと、快晴、晴れの天候ごと、春、夏、秋、冬などの季節ごと、などの各条件で静止被写体の３Dモデルが生成され、各条件のベース画像が生成可能である。リアルタイム画像生成部７２は、各条件の静止被写体の３Dモデルから生成された、各条件のベース画像における光線情報の変化を検出して、ユーザ９１によって指定された時刻、季節、天候に基づくリアルタイム衛星画像を、推定により生成することができる。リアルタイム衛星画像は、準リアルタイム衛星画像や不完全なリアルタイム衛星画像を用いて推定してもよい。不完全なリアルタイム衛星画像は、例えば、パンクロミック画像（モノクロ画像）や、分解能の低い画像である。移動物体の影や色を表すテクスチャ情報についても、光線情報と同様に、ベース画像を用いて推定することができる。

　画像合成部７４は、ベース画像生成部７１から供給されるベース画像と、リアルタイム画像生成部７２から供給されるリアルタイム衛星画像とを合成することにより、ユーザ９１によって指定された指定時刻において地上の指定地点を見た自由視点画像を生成し、自由視点画像蓄積部６２に供給する。画像合成部７４では、ボリューメトリックキャプチャ技術の背景画像に相当するベース画像に、ボリューメトリックキャプチャ技術の前景画像（被写体）に相当するリアルタイム画像が重畳される。

　自由視点画像蓄積部６２は、画像合成部７４から供給される自由視点画像を蓄積する。自由視点画像蓄積部６２は、自由視点画像生成部６１で生成された様々な仮想視点、指定時刻、および、指定地点の自由視点画像を蓄積しておき、制御部６６からの指示に対応して、指定された自由視点画像を選択して、符号化部６３または表示部８１に供給することもできる。

　符号化部６３は、自由視点画像蓄積部６２から供給される自由視点画像を、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等の所定の符号化方式を用いて符号化する。符号化された自由視点画像符号化データが通信部６４に供給される。

　通信部６４は、所定のネットワークを介して端末装置２９と通信を行う。通信部６４は、端末装置９２から、所定の仮想視点、指定時刻、および、指定地点の自由視点画像を生成する生成指示が供給された場合、その生成指示を制御部６６に供給する。通信部６４は、生成指示に応じて符号化部６３から供給される自由視点画像符号化データを端末装置９２に送信する。また、通信部６４は、制御部６６の制御に従い、衛星画像の撮像依頼を衛星管理装置１１へ送信する。通信部６４は、制御部６６の制御に従い、衛星画像蓄積サーバ１０１と、外部情報提供サーバ１０２とも通信を行う。

　表示部８１は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイで構成される。表示部８１は、自由視点画像蓄積部６２から供給される自由視点画像を表示する。

　操作部８２は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ９１の操作を受け付け、ユーザ９１が指定した仮想視点、指定時刻、および、指定地点の自由視点画像を生成する生成指示を、制御部６６に供給する。

　制御部６６は、自由視点画像生成装置５１全体の動作を制御する。例えば、制御部６６は、通信部６４またはユーザIF部６５からの生成指示に基づいて、ユーザ９１によって指定された上空の所定の仮想視点から所定の時刻に、地上の所定の地点を見た自由視点画像の生成指示を、自由視点画像生成部６１に供給する。また、制御部６６は、自由視点画像の生成に必要な衛星画像を撮像する必要がある場合、通信部６４に対して、衛星画像の撮像依頼を衛星管理装置１１へ送信させる。また、制御部６６は、自由視点画像蓄積部６２に蓄積されている自由視点画像を、符号化部６３または表示部８１に供給させる。

　端末装置９２は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ等で構成され、ユーザ９１の操作を受け付ける。ユーザ９１が端末装置９２を介して自由視点画像生成装置５１に自由視点画像の生成を指示すると、端末装置９２は、その生成指示を自由視点画像生成装置５１に送信する。また、端末装置９２は、生成指示に応じて自由視点画像生成装置５１から送信されてくる自由視点画像符号化データを受信し、符号化方式に対応する復号処理を行って、不図示の表示装置に、自由視点画像を表示する。ユーザは、自分が所有する端末装置９２を用いて、任意の場所から（リモートで）自由視点画像を確認することができる。

＜４．自由視点画像生成処理＞
　次に、図３のフローチャートを参照して、自由視点画像生成装置５１で実行される、自由視点画像生成処理を説明する。この処理は、例えば、ユーザ９１が、端末装置９２において、上空の所定の仮想視点から、所定の指定時刻の、地上の所定の指定地点を見た自由視点画像の生成を指示する操作を行った場合に開始される。

　初めに、ステップＳ１において、制御部６６は、端末装置９２からの生成指示に基づいて、通信部６４を介して、所定の仮想視点、指定時刻、および、指定地点に対応する衛星画像の撮像依頼を衛星管理装置１１へ送信する。また、制御部６６は、ユーザ９１によって指定された上空の所定の仮想視点から所定の時刻に、地上の所定の地点を見た自由視点画像の生成指示を、自由視点画像生成部６１に供給する。

　ステップＳ２において、ベース画像生成部７１は、衛星画像蓄積サーバ１０１に蓄積されている異なる視点から撮像された複数の衛星画像を取得し、複数の衛星画像それぞれに含まれる動的被写体を除去する。

　ステップＳ３において、ベース画像生成部７１は、動的被写体が除去された複数の衛星画像を用いて、地上の静止被写体の３Dモデルを生成する。そして、ステップＳ４において、ベース画像生成部７１は、ユーザ９１が指定した所定の仮想視点から、生成した静止被写体の３Dモデルを見たときの第１の仮想視点画像をベース画像として生成し、画像合成部７４に供給する。

　ステップＳ５において、リアルタイム画像生成部７２は、ステップＳ１における撮像依頼に応じて、ユーザ９１によって指定された指定地点および指定時刻に対応する衛星画像であって、異なる視点から撮像された複数のリアルタイム衛星画像を衛星管理装置１１から取得できたかを判定する。

　ステップＳ５で、異なる視点から撮像された複数のリアルタイム衛星画像を取得できたと判定された場合、処理はステップＳ６に進み、リアルタイム画像生成部７２は、取得した複数のリアルタイム衛星画像それぞれから、動的被写体を抽出する。

　ステップＳ７において、リアルタイム画像生成部７２は、抽出された地上の動的被写体のみが含まれるリアルタイム衛星画像それぞれから、動的被写体の３Dモデルを生成する。そして、ステップＳ８において、リアルタイム画像生成部７２は、ユーザ９１によって指定され所定の仮想視点から、動的被写体の３Dモデルを見たときの第２の仮想視点画像を動的被写体のリアルタイム画像として生成し、画像合成部７４に供給する。

　一方、ステップＳ５で、異なる視点から撮像された複数のリアルタイム衛星画像を取得できなかったと判定された場合、処理はステップＳ９に進み、リアルタイム画像生成部７２は、ユーザ９１によって指定された指定時刻に対して所定時間の誤差範囲の時刻に撮像した衛星画像であって、異なる視点から撮像された複数の準リアルタイム衛星画像を、衛星管理装置１１から取得できたかを判定する。

　ステップＳ９で、異なる視点から撮像された複数の準リアルタイム衛星画像を、衛星管理装置１１から取得できたと判定された場合、処理はステップＳ１０に進み、リアルタイム画像生成部７２は、取得した複数の準リアルタイム衛星画像それぞれから、動的被写体を抽出し、抽出された地上の動的被写体のみが含まれる準リアルタイム衛星画像それぞれから、動的被写体の３Dモデルを生成する。

　ステップＳ１１において、リアルタイム画像生成部７２は、動的被写体に関する外部情報を、外部情報取得部７３を介して外部情報提供サーバ１０２から取得する。

　ステップＳ１２において、リアルタイム画像生成部７２は、生成した動的被写体の３Dモデルから、取得した動的被写体に関する外部情報を用いて、指定時刻の動的被写体の３Dモデルを推定する。

　ステップＳ１３において、リアルタイム画像生成部７２は、ユーザ９１によって指定され所定の仮想視点から、推定した指定時刻の動的被写体の３Dモデルを見たときの第２の仮想視点画像を動的被写体のリアルタイム画像として生成し、画像合成部７４に供給する。

　一方、ステップＳ９で、異なる視点から撮像された複数の準リアルタイム衛星画像を、衛星管理装置１１から取得できなかったと判定された場合、処理はステップＳ１４に進み、リアルタイム画像生成部７２は、動的被写体に関する外部情報を、外部情報取得部７３を介して外部情報提供サーバ１０２から取得する。

　ステップＳ１５において、リアルタイム画像生成部７２は、取得した外部情報を用いて、動的被写体のリアルタイム画像を生成し、画像合成部７４に供給する。

　ステップＳ１６において、画像合成部７４は、ベース画像生成部７１から供給されたベース画像と、リアルタイム画像生成部７２から供給されたリアルタイム衛星画像とを合成することにより、ユーザ９１によって指定された指定時刻において地上の指定地点を見た自由視点画像を生成し、自由視点画像蓄積部６２に供給する。

　ステップＳ１７において、自由視点画像蓄積部６２は、画像合成部７４から供給された自由視点画像を蓄積するとともに、制御部６６の制御にしたがって、画像合成部７４から供給された自由視点画像を符号化部６３へ供給する。

　ステップＳ１８において、符号化部６３は、自由視点画像蓄積部６２から供給された自由視点画像を、所定の符号化方式を用いて符号化し、通信部６４が、符号化された自由視点画像符号化データを端末装置９２へ送信する。自由視点画像符号化データに基づく自由視点画像が、端末装置９２で表示される。

　なお、ステップＳ１７およびＳ１８の処理は、操作部８２から生成指示が供給された場合には、画像合成部７４から供給された自由視点画像が表示部８１へ供給され、表示部１８で表示される処理に変更される。

　以上で自由視点画像生成処理が終了する。

　上述した自由視点画像生成処理において、静止被写体の３Dモデルを生成するステップＳ２およびＳ３の処理は、ユーザ９１によって指定された所定の時刻および地点のリアルタイムな状況に影響がないので、図３の自由視点画像生成処理とは別のタイミングで、予め実行しておくことができる。

　上述した自由視点画像生成処理では、自由視点画像生成部６１は、ユーザ９１によって指定された指定地点および指定時刻に対応する複数のリアルタイム衛星画像を衛星管理装置１１から取得できた場合には、得られた複数のリアルタイム衛星画像を用いて動的被写体の３Dモデルを生成する。指定地点および指定時刻に対応する複数のリアルタイム衛星画像を得られる条件は、指定地点の上空を衛星２１が通過する一定時間に限定され、最も好ましい条件では、衛星２１が低軌道衛星であれば指定時刻に対して約１０分程度の指定時刻近傍となるが、撮像された衛星画像から時刻の誤差に応じて推定可能な範囲を含めると、指定時刻の３０分前後を含む１時間程度となる。

　一方、指定地点および指定時刻に対して１時間程度の時間範囲を超え、数時間の誤差範囲の時間帯では、複数のリアルタイム衛星画像が取得できず、複数の準リアルタイム衛星画像に基づいて、動的被写体のリアルタイム画像が生成される。この場合、仮の動的被写体の３Dモデルを推定して、動的被写体のリアルタイム画像を生成する第１の推定方法と、仮の動的被写体の準リアルタイム画像を生成して、動的被写体のリアルタイム画像を推定する第２の推定方法とがある。より具体的には、第１の推定方法では、自由視点画像生成部６１は、指定時刻から数時間の誤差範囲の複数の準リアルタイム衛星画像から動的被写体の３Dモデルを生成し、外部情報を用いて、指定時刻の動的被写体の３Dモデルを推定して、動的被写体のリアルタイム画像を生成する。第２の推定方法では、自由視点画像生成部６１は、指定時刻から数時間の誤差範囲の複数の準リアルタイム衛星画像から仮の動的被写体の３Dモデルを生成し、その仮の動的被写体の３Dモデルを用いてユーザ９１によって指定され仮想視点からの動的被写体の準リアルタイム画像を生成し、動的被写体の準リアルタイム画像から、外部情報を用いて、動的被写体のリアルタイム画像を推定して生成する。

　さらに、準リアルタイム衛星画像さえも取得できない時間帯では、外部情報提供サーバ１０２から取得されるリアルタイムな外部情報と、動的被写体についての既知情報とを用いて、動的被写体のリアルタイム画像が生成される。例えば、リアルタイムに取得した飛行機の位置情報（AIS情報）と、飛行機の既知の３Dモデルから生成したテクスチャ情報とに基づいて、動的被写体のリアルタイム画像が生成される。動的被写体の３Dモデルを生成するためには、リアルタイム衛星画像または準リアルタイム衛星画像が複数枚必要となるが、リアルタイムな外部情報として２次元の衛星画像を用いる場合には、１枚の衛星画像でもよい。

　図３の自由視点画像生成処理のように、リアルタイム衛星画像を取得できた場合（ステップＳ６ないしＳ８）、準リアルタイム衛星画像を取得できた場合（ステップＳ１０ないしＳ１３）、リアルタイム衛星画像および準リアルタイム衛星画像のいずれも取得できなかった場合（ステップＳ１４およびＳ１５）と３通りに区分けせずに、取得可能なリアルタイム衛星画像、準リアルタイム衛星画像、または、外部情報を適宜組み合わせて、動的被写体を特定したり、リアルタイム画像を生成してもよい。上述したように、例えば、リアルタイム衛星画像と準リアルタイム衛星画像を併用することにより、解像度が低く、撮像範囲が広いリアルタイム衛星画像も許容できるなどの効果が得られる。

　動的被写体のリアルタイム画像を生成するための、指定地点および指定時刻に対応するリアルタイム衛星画像、準リアルタイム衛星画像、外部情報提供サーバ１０２から取得されるリアルタイムな外部情報、および、動的被写体についての既知情報は、動的被写体を特定する動的被写体特定情報であるということができる。

　自由視点画像生成部６１は、衛星２１により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する。これにより、地上の任意の地点について、任意の時刻に、上空の自由な視点（仮想視点）から観測を行うことができる。

　なお、ユーザ９１によって指定された指定地点および指定時刻に撮像可能な衛星２１が少ないという状況は、運用する機数の増加、衛星間通信の通信技術の発達により、解消されることが期待される。

　また、ユーザ９１が、一定程度先の所定の地点および時刻を予約指定して、所定の仮想視点から見た衛星画像を所望する場合には、自由視点画像生成装置５１は、衛星管理装置１１に、指定地点および指定時刻に衛星２１が通過するように運用を依頼し、衛星管理装置１１が、撮像する衛星２１の事前配備や、衛星２１に対する軌道遷移指示などを予め行うように制御することができる。これにより、自由視点画像生成装置５１が所定の地点および時刻の衛星画像を取得し、ユーザ９１が自由視点画像を観測することができる。自由視点画像生成装置５１は、衛星管理装置１１などから衛星２１の軌道情報などを取得して、自由視点画像の生成が可能な地点および時刻をユーザ９１に提示し、ユーザ９１が、そのなかから、地点および時刻を選択し、自由視点画像を観測するようにしてもよい。

　自由視点画像生成装置５１が実行する処理の一部は、衛星２１で行わせるようにすることができる。

　例えば、衛星２１は、リアルタイム画像生成部７２によるリアルタイム画像生成機能を備え、ユーザ９１の指定地点および指定時刻に所定の仮想視点から見たリアルタイム画像を生成し、ダウンリンクする。リアルタイム画像を、同一視点のベース画像との差分により地上の動的被写体を抽出して求める場合には、ベース画像を衛星２１に蓄積しておく必要がある。自由視点画像生成装置５１は、衛星管理装置１１を介して衛星２１が生成したリアルタイム画像を取得し、自身で生成したベース画像と合成することにより、自由視点画像を生成する。この場合、衛星２１から地上局１５へ送信するリアルタイム画像の生成に必要なデータ量を削減することができる。リアルタイム画像の生成は、動的被写体の３Dモデルを衛星２１から地上局１５にダウンリンクし、地上の自由視点画像生成装置５１で実行してもよい。この場合も、リアルタイム画像の生成に必要なダウンリンクのデータ量を削減することができる。

＜５．アプリケーション適用例＞
　上述した衛星画像処理システム１は、以下のようなアプリケーションに適用することができる。
・ランドマークの自由視点確認
　ユーザの旅行先や、飛行機に乗ってランドマーク（例えば富士山）を通過する状況について自由視点画像を生成することで、宇宙からの視点を楽しむことができる。
・災害地域などの広域確認
　災害地域や紛争地域の自由視点画像を生成することで、災害地域や紛争地域の状況を確認することができる。
・立体感のある衛星画像
　対象地域または対象物の状況を観測したり、状況変化を検出する衛星リモートセンシングのための衛星画像を自由視点画像として提示することで、マクロな視点であっても、立体感のある自然な画像としてみることができる。
・高度気象観測
　自由視点画像により、雲などの気象現象を、三次元的かつ自由視点で確認することにより、気象現象をより高度に分析することができる。また、分析結果を高度な気象予報等に活用することができる。
・農作物や樹木の育成状況把握
　農作物や樹木の育成状況を、自由視点画像により三次元視覚データとして提示することができる。自由視点であるため、より多角的な解析が可能になる。
・都市計画
　都市の状況を自由視点画像により立体的に観測できる。特にリアルタイムの変化を観測することができる。このとき、ベース画像に対する変化部分をハイライト表示するなどして、都市における変化点を可視化してもよい。特定時点近傍におけるリアルタイムな情報（車両等の移動状況や導線）を多角視点で把握することができる。
・建設現場の状況把握
　遠隔地にある施設等の建設状況を、自由視点画像により三次元的に把握することができる。施設は、住居やビルなどの建築物、ダム、石油コンビナート、工場、港湾などを含む。また、整地など土地整備状況も自由視点画像により三次元的に把握することができる。このとき、ベース画像に対する変化部分をハイライト表示するなどして、都市における変化点を可視化してもよい。特定時点近傍におけるリアルタイムな情報（車両等の移動状況や導線）を多角視点で把握することができる。

　その他、衛星画像処理システム１で生成可能な自由視点画像と、他の撮影装置で撮像した画像とを連携するアプリケーションも考えられる。例えば、自由視点画像生成装置５１が生成する自由視点画像から、近距離の上空から撮像した画像へ、画像を切り替えることができるようなシステムが考えられる。ユーザは、対象地点のマクロ映像として、自由視点画像を確認し、自由視点画像の一部の地点にズーム操作をした場合、都市の監視カメラや、ドローンにより撮像された画像に切り替えるように、自由視点画像と近距離の上空から撮像した画像とを連携させることで、自由視点画像の一部の地点の詳細画像も同時に確認することができる。

＜６．コンピュータ構成例＞
　自由視点画像生成装置５１が実行する一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図４は、自由視点画像生成装置５１が実行する一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

　入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

　なお、本技術は、以下の構成を取ることができる。
（１）
　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部を備える
　画像生成装置。
（２）
　前記画像生成部は、前記静止被写体の３Dモデルを、前記上空の所定の仮想視点から見たベース画像を背景画像として生成し、前記動的被写体特定情報を用いて、前記上空の所定の仮想視点から見たリアルタイム画像を前景画像として生成し、前記ベース画像と前記リアルタイム画像を合成することで、前記自由視点画像を生成する
　前記（１）に記載の画像生成装置。
（３）
　前記画像生成部は、前記動的被写体特定情報として、前記動的被写体の３Dモデルを用いる
　前記（２）に記載の画像生成装置。
（４）
　前記画像生成部は、前記動的被写体の３Dモデルを、前記上空の所定の仮想視点から見た前記リアルタイム画像を前記前景画像として生成する
　前記（３）に記載の画像生成装置。
（５）
　前記画像生成部は、前記動的被写体の３Dモデルを、ユーザにより指定された時刻近傍に人工衛星により撮像されたリアルタイム衛星画像を用いて生成する
　前記（３）または（４）に記載の画像生成装置。
（６）
　前記画像生成部は、前記リアルタイム衛星画像から前記動的被写体を抽出し、抽出された画像から、前記動的被写体の３Dモデルを生成する
　前記（５）に記載の画像生成装置。
（７）
　前記画像生成部は、ユーザにより指定された時刻と数時間異なる時刻に人工衛星により撮像された準リアルタイム衛星画像を用いて仮の動的被写体の３Dモデルを生成し、外部情報を用いて、前記仮の動的被写体の３Dモデルから、ユーザにより指定された時刻の前記動的被写体の３Dモデルを推定して、前記リアルタイム画像を生成する
　前記（３）に記載の画像生成装置。
（８）
　前記画像生成部は、ユーザにより指定された時刻と数時間異なる時刻に人工衛星により撮像された準リアルタイム衛星画像を用いて仮の動的被写体の３Dモデルを生成し、前記仮の動的被写体の３Dモデルを前記上空の所定の仮想視点から見た前記動的被写体の準リアルタイム画像を生成し、前記動的被写体の準リアルタイム画像から、外部情報を用いて、前記リアルタイム画像を生成する
　前記（３）に記載の画像生成装置。
（９）
　前記画像生成部は、前記準リアルタイム衛星画像から前記動的被写体を抽出し、抽出された画像から、前記仮の動的被写体の３Dモデルを生成する
　前記（７）または（８）に記載の画像生成装置。
（１０）
　前記画像生成部は、前記動的被写体特定情報として、リアルタイムな外部情報と、前記動的被写体についての既知情報とを用いる
　前記（２）に記載の画像生成装置。
（１１）
　前記画像生成部は、人工衛星により撮像された衛星画像に含まれる動的被写体を除去した画像を用いて、前記静止被写体の３Dモデルを生成する
　前記（１）乃至（１０）のいずれかに記載の画像生成装置。
（１２）
　画像生成装置が、
　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する
　画像生成方法。
（１３）
　コンピュータを、
　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部
　として機能させるためのプログラム。

　１　衛星画像処理システム，　１１　衛星管理装置，　２１　衛星，　５１　自由視点画像生成装置，　６１　自由視点画像生成部，　６２　自由視点画像蓄積部，　６３　符号化部，　６５　ユーザIF部，　６６　制御部，　７１　ベース画像生成部，　７２　リアルタイム画像生成部，　７３　外部情報取得部，　７４　画像合成部，　１０１　衛星画像蓄積サーバ，　１０２　外部情報提供サーバ，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記憶部，　３０９　通信部，　３１０　ドライブ

Claims

　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部を備える
　画像生成装置。
　前記画像生成部は、前記静止被写体の３Dモデルを、前記上空の所定の仮想視点から見たベース画像を背景画像として生成し、前記動的被写体特定情報を用いて、前記上空の所定の仮想視点から見たリアルタイム画像を前景画像として生成し、前記ベース画像と前記リアルタイム画像を合成することで、前記自由視点画像を生成する
　請求項１に記載の画像生成装置。
　前記画像生成部は、前記動的被写体特定情報として、前記動的被写体の３Dモデルを用いる
　請求項２に記載の画像生成装置。
　前記画像生成部は、前記動的被写体の３Dモデルを、前記上空の所定の仮想視点から見た前記リアルタイム画像を前記前景画像として生成する
　請求項３に記載の画像生成装置。
　前記画像生成部は、前記動的被写体の３Dモデルを、ユーザにより指定された時刻近傍に人工衛星により撮像されたリアルタイム衛星画像を用いて生成する
　請求項３に記載の画像生成装置。
　前記画像生成部は、前記リアルタイム衛星画像から前記動的被写体を抽出し、抽出された画像から、前記動的被写体の３Dモデルを生成する
　請求項５に記載の画像生成装置。
　前記画像生成部は、ユーザにより指定された時刻と数時間異なる時刻に人工衛星により撮像された準リアルタイム衛星画像を用いて仮の動的被写体の３Dモデルを生成し、外部情報を用いて、前記仮の動的被写体の３Dモデルから、ユーザにより指定された時刻の前記動的被写体の３Dモデルを推定して、前記リアルタイム画像を生成する
　請求項３に記載の画像生成装置。
　前記画像生成部は、ユーザにより指定された時刻と数時間異なる時刻に人工衛星により撮像された準リアルタイム衛星画像を用いて仮の動的被写体の３Dモデルを生成し、前記仮の動的被写体の３Dモデルを前記上空の所定の仮想視点から見た前記動的被写体の準リアルタイム画像を生成し、前記動的被写体の準リアルタイム画像から、外部情報を用いて、前記リアルタイム画像を生成する
　請求項３に記載の画像生成装置。
　前記画像生成部は、前記準リアルタイム衛星画像から前記動的被写体を抽出し、抽出された画像から、前記仮の動的被写体の３Dモデルを生成する
　請求項７に記載の画像生成装置。
　前記画像生成部は、前記動的被写体特定情報として、リアルタイムな外部情報と、前記動的被写体についての既知情報とを用いる
　請求項２に記載の画像生成装置。
　前記画像生成部は、人工衛星により撮像された衛星画像に含まれる動的被写体を除去した画像を用いて、前記静止被写体の３Dモデルを生成する
　請求項１に記載の画像生成装置。
　画像生成装置が、
　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する
　画像生成方法。
　コンピュータを、
　人工衛星により撮像された衛星画像を用いて生成された静止被写体の３Dモデルと、動的被写体を特定する動的被写体特定情報とを用いて、上空の所定の仮想視点から地上の所定の地点を見た自由視点画像を生成する画像生成部
　として機能させるためのプログラム。