JP6082162B2 - 画像生成システム及び画像生成方法 - Google Patents

Description

本発明は、高分解能の画像を生成する画像生成システムに関する。

高い頻度で同じ地域を観測した多くの低分解能画像が提供されている。さらに、低分解能画像は低コストで、自由に利用できる場合が多い。

一方、高分解能画像は、画質が良く、詳細な空間情報を含む。しかし、高分解能画像は、低い頻度でしか同じ地域が観測されず、天候（例えば、雲）の影響を受ける。この観測時間間隔を観測時間窓（acquisition window period）と称する。

環境モニタリング用途の多くのアプリケーションとって、適切なタイミングで詳細に観測するという、二つの条件を満たした画像データを低コストで提供することは大きな利点となる。

この状況下で、高分解能画像及び低分解能画像の両方の長所を利用することが求められてきた。画像の分解能がの１〜５倍の範囲内である場合、現在の技術では、この問題を画像の重ね合わせの問題として扱うことができる。また、人手による地上制御点（ＧＣＰ）の選択などの方法又は特徴点／端点の自動抽出などを適用できる。しかし、分解能の差が大きい場合（例えば、５倍以上）、十分なサブピクセルレベルの位置情報が提供されない。他の一つの方法は、低分解能画像の画素中の基本的な要素の最適なスペクトルの構成によって解決するスペクトルアンミキシングと称する方法である。しかし、一つの地物からの反射光で構成される純粋な要素を低分解能画像中で見つけることは困難である。

また、低分解能画像への地上制御点の正確な投影は容易ではない。このため、空間的な十分に詳細な時間的な変化を低コストで監視することが求められている。

この技術分野の背景技術として特開２０１３−１４５５０７号公報（特許文献１）がある。特許文献１には、対象とする作物の植付け間隔と成長パターンをパラメータセットとして、対象とする作物の画像から得られる特徴量を推定する画像解析サーバが開示されている。また、擬似画像生成部で、対象とする作物の植付け間隔と、作物の成長パターンをパラメータセットとして、複数の擬似画像を生成し、最適テンプレート選択部で、解析対象の画像の各領域に対して複数の擬似画像から最も適合度の高い擬似画像を選択し、特徴量抽出部で、最も適合度の高い擬似画像の情報を用いて、各領域から対象とする作物の特徴量を抽出する推定の方法が開示されている。

特開２０１３−１４５５０７号公報

前述したように、低分解能画像は低コストで自由に利用できる場合が多いが、高分解能画像は高コストで詳細な空間情報を含む。所望の地点の時間的な変化は、低分解能画像を時間順に解析することによって監視することができる。しかし、低分解能画像は概略の空間情報しか含まないことから、詳細な空間情報を含む高分解能画像を高頻度で取得することが求められている。特に、高分解能画像と低分解能画像との分解能の差が大きい（例えば、５倍以上）場合に、低分解能画像から高分解能画像をシミュレートすることは困難である。

このため、高分解能画像のコストを低減し、経済的な監視システムを構築することが求められている。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、異なる時刻に取得した第１及び第２の低分解能画像と、前記第１の低分解能画像と同一時刻に取得した第１の高分解能画像から、前記第２の低分解能画像と同一時刻で取得されるべき第２の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第１の高分解能画像から特徴量を抽出し、前記第１の低分解能画像から特徴量を抽出し、前記抽出された第１の高分解能画像の特徴量と、前記抽出された第１の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、前記生成された分布モデルから、前記第１の高分解能画像の混合組成と前記第１の低分解能画像の混合組成との関係を推定し、前記特徴関連モデルを構築し、構築された特徴関連モデルを用いて、前記第１の高分解能画像と前記第１の低分解能画像との変換関数を求め、前記第１の低分解能画像と前記第２の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第２の高分解能画像を生成する。

本発明の代表的な実施の形態によれば、低分解能画像を用いて高分解能画像を生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の実施例の画像生成方法の概要を説明する図である。 低分解能画像Ｌ１と高分解能画像Ｈ１との変換を説明する図である。 既存の高分解能画像Ｈ１から高分解能画像Ｈ２の推定を説明する図である。 本実施例の高分解能画像を推定する処理のフローチャートである。 本実施例の高分解能画像と低分解能画像とを重ね合わせる処理（Ｓ２）のフローチャートである。 本実施例の高分解能画像と低分解能画像とを重ね合わせるためのＬＤＡモデルを説明する図である。 本実施例の高分解能画像生成処理（Ｓ６）のフローチャートである。 本実施例の地上観測データＶ１を利用した低分解能画像Ｌ１から高分解能画像Ｈ１への変換を説明する図である。 本実施例の高分解能画像の画素の算出を説明する図である。 本実施例の画像生成システムの論理的な構成を示すブロック図である。 本実施例の画像生成システムの物理的な構成を示すブロック図である。

まず、本発明の実施例の概要を説明する。

本発明の実施例では、ＬＤＡ（Latent Dirichlet Allocation）を用いることによって、高分解能画像と低分解能画像との間の空間投影モデルを作成する。これによって、低分解能画像の特徴に含まれる混合スペクトルを容易に発見し、高分解能画像と低分解能画像とを対応付けることができる。一方、低分解能画像の画素の時間変化は、高分解能画像の画素（基本的な複数種類のオブジェクトが含まれる）の時間変化が混合したものになる。すなわち、低分解能画像の時間変化は、高分解能画像の時間変化に分解することができる。本発明の実施例では、この特性を利用して、低分解能画像の時間変化を高分解能画像の画素の時間変化に割り当て、空間融合モデルを構築する。

図１は、本発明の実施例の画像生成方法の概要を説明する図である。

地上の事物を空中から観測する場合、様々な分解能の画像が取得される。一般に、低分解能画像Ｌ１、Ｌ２、…は、広い範囲を撮影したものであり、観測コストが低いので、高頻度に観測されている。一方、高分解能画像Ｈ１、…は、狭い範囲を撮影したものであり、観測コストが高いので、低頻度にしか観測されない。例えば、低分解能画像は、高高度衛星が１日に数回観測する画像であり、高分解能画像は、低高度衛星や航空機が１月に１回程度観測する画像である。

また、地上の物（オブジェクト）は、空中からの観測だけでなく、地上からも観測することができる。例えば、カメラ、スペクトルセンサを搭載した自動車を走行することによって、地上の事物（例えば、草原の植生）を観測することができる。また、固定的に設置された又は可搬型のカメラやスペクトルセンサによって、森林の植生を観測することができる。

これらの方法によって観測された高分解能画像と低分解能画像とを変換する関数ｆを求めることができる。例えば、時刻Ｔ１における低分解能画像Ｌ１は、Ｈ１＝ｆ（Ｌ１）によって、時刻Ｔ１における高分解能画像Ｈ１に変換することができる（図２参照）。

また、高分解能画像と地上の観測結果とを変換する関数ｈを求めることができる。例えば、時刻Ｔ１における高分解能画像Ｈ１は、Ｖ１＝ｈ（Ｈ１）によって、時刻Ｔ１における地上観測データＶ１に変換することができる。

さらに、時刻Ｔ１における低分解能画像Ｌ１と、時刻Ｔ２における低分解能画像Ｌ２との差は、ΔＳ＝Ｄｉｆｆ（Ｌ２−Ｌ１）で表す。

このような状態において、本実施例は、時刻Ｔ１における低分解能画像Ｌ１と、時刻Ｔ２における低分解能画像Ｌ２と、時刻Ｔ１における高分解能画像Ｈ１との三つの画像を用いて、時刻Ｔ２における高分解能画像Ｈ２を求める方法、すなわち関数ｇを提供する。さらに、本願発明によると、時刻Ｔ２における高分解能画像Ｈ２から、関数ｈを用いて、時刻Ｔ２における地上観測結果Ｖ２求めることができる。

なお、説明は省略するが、本願発明によると、低分解能画像Ｌ１と地上観測データＶ１とを変換する関数を求めた場合、低分解能画像Ｌ１、Ｌ２及び地上観測データＶ１を用いて、時刻Ｔ２における地上観測結果Ｖ２を求めることもできる。

図２は、低分解能画像Ｌ１と高分解能画像Ｈ１との変換を説明する図である。

低分解能画像Ｌ１と高分解能画像Ｈ１とを重ね合わせ、低分解能画像Ｌ１と高分解能画像Ｈ１とを変換する関数ｆを求めることは難しい。これは、低分解能画像Ｌ１と高分解能画像Ｈ１とは、各画像を取得するためのセンサが異なるので、両画像の画素に含まれるスペクトルに直接的な対応関係が生じないためである。

また、低分解能画像と高分解能画像との分解能の違いが大きくなる程、従来のマッチング方法による困難度は高くなる。

例えば、従来用いられる画像マッチングで地上基準点（Ground Control Point）を用いた方法では、クロスポイント、エッジポイントなど（具体的には、交差点、川の境界など）の地上基準点を両画像から抽出し、対応する地上基準点同士が一致するように二つの画像を重ね合わせる。この、地上基準点を用いた画像マッチングでは、地上基準点を的確に決定するためには、低分解画像ではサブピクセルレベルの精度が必要となり、位置ずれが生じる可能性がある。

なお、画像中のエッジを検出することによって、ＳＩＦＴ（Scale-Invariant Feature Transform）によって抽出された特徴量から地上基準点を自動的に検出することもできる。この場合でも、低分解画像では、交差点が写っていなかったり、川幅が認識できない場合があり、画像のエッジの抽出が困難である。

また、混合スペクトル分離法（Spectral Unmixing）では、両画像において、一つの画素が１種類のオブジェクトのみによって構成されるピュアピクセルが必要となる。通常、低分解能画像では、一つの画素に複数のオブジェクトから放射された光のスペクトルを含む。一方、高分解能画像は、地上物のテクスチャ（例えば、畑の畝のパターン、屋根の模様など）が識別できる程度に狭い範囲の画素を含む。そして、低分解能画像と高分解能画像とのマッチングでは、低分解能画像の１ピクセルと高分解能画像の複数ピクセルとを対応させる必要がある。

図３は、既存の高分解能画像Ｈ１から高分解能画像Ｈ２の推定を説明する図である。

画像の中には、その形状や色が時間の経過と共に変化するオブジェクトと、変化しないオブジェクトがある。例えば、夏と冬とでは広葉樹林のスペクトルが異なる。また、乾季と雨季では湖の大きさや川幅が異なる。一方、恒久的な建築物の形及び色は、通常は変化しない。

このように、時間の経過によって変化をするオブジェクトと、変化しないオブジェクトとを分ける。さらに、低分解能画像の時間変化Δｓをパラメータとして、低分解能画像Ｌ１と高分解能画像Ｈ１とを変換する関数ｆを用いることによって、高分解能画像Ｈ１を高分解能画像Ｈ２に変換する関数ｇを求めることができる。

なお、高分解能画像Ｈ１から高分解能画像Ｈ２を推定する処理の詳細は、図７を用いて後述する。

図４は、本実施例の高分解能画像を推定する処理のフローチャートである。

まず、時刻Ｔ１における高分解能画像Ｈ１及び低分解能画像Ｌ１をデータ記録部１３０から取得する（Ｓ１）。

次に、高分解能画像Ｈ１と低分解能画像Ｌ１とを重ね合わせて、変換関数ｆを求める（Ｓ２）。二つの画像を重ね合わせる処理は、図５を用いて説明する。この変換関数ｆは、図２を用いて説明した方法によって求めることができる。

次に、ループを制御するパラメータｎの初期値を２に設定し（Ｓ３）、ステップＳ４からＳ１０のループに入る。

ループ内では、まず、時刻ＴｎをＴn-1にΔＴを加えた値に設定する（Ｓ４）。ΔＴは、低分解能画像Ｌｎが提供される時間間隔、すなわち、高分解能画像Ｈｎを取得する時間間隔である。

そして、時刻Ｔｎの低分解能画像Ｌｎをデータ記録部１３０から取得し（Ｓ５）、低分解能画像における時間変化の情報ΔＳを抽出し（Ｓ６）、時刻Ｔ２の高分解能推定画像Ｈ２を生成する（Ｓ７）。なお、ステップＳ７の式におけるα（ｔ）は、校正のための要素である。

その後、ΔＴが所定の閾値ΔＴmax以上であるかを判定する（Ｓ８）。既存の高分解能画像Ｈ１からの経過時間ΔＴが大きくなると、推定された高分解能画像Ｈｎの誤差が大きくなる。このため、ΔＴmaxは、所定の誤差の範囲内で高分解能画像Ｈｎを生成できる時間範囲である。

ΔＴがΔＴmax以上であれば、校正が必要なので、時刻Ｔｎの実際の高分解能画像があるかを判定し、時刻Ｔｎの高分解能画像Ｈ’ｎをデータ記録部１３０から取得し（Ｓ９）、推定された高分解能画像Ｈｎと実際の高分解能画像Ｈ’ｎとの差分から校正要素α（ｔ）を求める。なお、α（ｔ）は基準となる高分解能画像Ｈ１からの経過時間ｔの関数として表すことができる。また、推定された高分解能画像Ｈｎの精度を、α（ｔ）を用いて評価することができる。

その後、ループを制御するパラメータｎに１を加えて（Ｓ１１）、ステップＳ４に戻る。

一方、ステップＳ８でΔＴがΔＴmaxより小さいと判定されれば、校正が不要なレベルで、高分解能かつ高頻度観測の画像が推定されたので、この処理を終了する。

図５は、本実施例の高分解能画像と低分解能画像とを重ね合わせる処理（Ｓ２）のフローチャートである。

まず、高分解能画像から特徴量（例えば、スペクトル分類、形状、テクスチャー）を抽出し（Ｓ２１）、抽出した特徴量をメッシュ上に配置した特徴地図を作成する（Ｓ２２）。また、低分解能画像から特徴量（例えば、スペクトル分類）を抽出する（Ｓ２３）。

その後、高分解能画像の特徴地図（特徴量）と低分解能画像の特徴量とを対応付け、学習データセットを生成する（Ｓ２４）。学習データセットは、同じ位置の高分解能画像の特徴量と低分解能画像の特徴量とが対応付けられたデータである。なお、高分解能画像の特徴量をクラス分けし、低分解能画像の特徴量をクラス分けして、高分解能画像の特徴量のクラスと低分解能画像の特徴量のクラスとを対応付けてもよい。

特徴量としてスペクトルを選択した場合でも、前述したように、高分解能画像のスペクトルと低分解能画像のスペクトルとは、異なるセンサによって取得された異なる特性を有するものなので、この時点では、高分解能画像のオブジェクトと低分解能画像のオブジェクトとは対応付けられていない。

その後、高分解能画像の分布モデルと低分解能画像の分布モデルとを生成する。このモデルの生成には、例えば、ＬＤＡを用いることができる（Ｓ２５）。

その後、高分解能画像の混合組成と低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築する（Ｓ２６）。

最後に、構築された特徴関連モデルを用いて、高分解能画像と低分解能画像とを重ね合わせる（Ｓ２７）。

図６は、本実施例の高分解能画像と低分解能画像とを重ね合わせるためのＬＤＡモデルを説明する図である。

低分解画像のピクセルのスペクトルは複数の種類Ｌ１からＬｍに分類される。一方、高分解画像のピクセルのスペクトルは複数の特徴Ｈ１からＨｋに分類される。通常、低分解画像においてスペクトルは数種類に分類され、高分解画像においてスペクトルは数十の特徴に分類される。これは、高分解能画像は１ピクセル中の範囲が狭く、１ピクセルに含まれるオブジェクトの種類が少なくなる。

高分解能画像の特徴や低分解能画像の種類には、前述したスペクトルの他に、オブジェクトの形状やテクスチャを使用することができる。このような特徴及び種類を使用することによって、二つの画像中に含まれているオブジェクトの特徴を対応付けることができる。

図７は、本実施例の高分解能画像生成処理（Ｓ６）のフローチャートである。

まず、時間変化モデルΔＦi,jを用いて、高分解能画像中の特徴ｊの時間変化ΔＦi,jを算出する（Ｓ６１）。ここで、ｉ＝１〜Ｋはオブジェクトの種類を示す添字であり、ｊ＝１〜Ｍは高分解能画像から抽出される特徴の種類を示す添字である。すなわち、ΔＦi,jは、特徴ｊで表されるオブジェクトｉの時間Ｔ１から時間Ｔ２までの変化を表す。

次に、低分解能画像の時間変化ΔＳを用いて、高分解能画像中のオブジェクトｉの時間変化ΔＣiを算出する（Ｓ６２）。ここで、ｉ＝１〜Ｋはオブジェクトの種類を示す添字であり、Ｎi,jは低分解能画像の１画素中に含まれる高分解能画像の画素数である。すなわち、ΔＣiは、オブジェクトｉの時間Ｔ１から時間Ｔ２までの変化を表す。

その後、模擬高分解能画像（Ｈ２）の画素Ｐ２iを算出する（Ｓ６３）。

以上に説明した高分解能画像生成方法は、特徴としてのスペクトルの他、形状やテクスチャなどの他の特徴にも適用することができる。

図８は、本実施例の地上観測データＶ１を利用した低分解能画像Ｌ１から高分解能画像Ｈ１への変換を説明する図である。

図１で説明したように、本実施例では、高分解能画像Ｈ１及び低分解能画像Ｌ１とＬ２との差分ΔＳから高分解能画像Ｈ２が生成される。しかし、本実施例では、高分解能画像と地上観測データとを対応付けることができる。このため、前述したものと同様の方法を用いて、高分解能画像Ｈ１及び地上観測データＶ１とＶ２との差分から高分解能画像Ｈ２を生成することもできる。

図９は、本実施例の高分解能画像の画素の算出を説明する図である。

時刻Ｔ１に取得された低分解能画像Ｌ１と、時刻Ｔ２に取得された低分解能画像Ｌ２との差分は、時系列変化ΔＳで表すことができる。また、時刻Ｔ１に取得された低分解能画像Ｌ１と、時刻Ｔ１に取得された高分解能画像Ｈ１とは、変換関数ｆによる空間対応関係を有する。地上には、森林、河川、農地、道路、建物、荒地などの様々な地物（オブジェクト）がある。これらのオブジェクトは、その種類によって反射光のスペクトルが異なる。高分解能画像には、１種類のオブジェクトからの反射光のみによる画素が含まれるが、低分解能画像では、通常、複数種類のオブジェクトからの反射光が１画素に含まれる。このため、低分解能画像と高分解能画像とは、画素毎の空間対応関係で関係づけられることになる。

このため、本実施例では、空間対応関係を用いて時系列変化ΔＳを高分解能画像Ｈ１に重ね合わせることによって、時刻Ｔ２の高分解能画像Ｌ２を推定する。

図１０は、本実施例の画像生成システムの論理的な構成を示すブロック図である。

本実施例の画像生成システムは、入力部１１０、表示部１２０、データ記録部１３０、演算部１４０、データ出力部１５０及び記憶部１６０を有する計算機である。入力部１１０、表示部１２０、データ記録部１３０、データ出力部１５０及び記憶部１６０は、演算部１４０を介して（又は、相互にバスによって）接続される。

入力部１１０は、画像入力部１１１及び位置情報入力部１１２を有する。画像入力部１１１は、高分解能画像及び低分解能画像が入力される装置であり、位置情報入力部１１２は、入力された画像中の位置情報が入力される装置である。画像入力部１１１及び位置情報入力部１１２は、例えば、光ディスクドライブ、ＵＳＢインターフェース等のデータの入力を受け付けるデバイスや、キーボード、タッチパネル、マウスなどのヒューマンインターフェースによって構成される。なお、画像入力部１１１と位置情報入力部１１２とは、同じ入力装置によって構成しても、異なる入力装置によって構成してもよい。

表示部１２０は、画像表示部１２１及び位置情報表示部１２２を有する。画像表示部１２１は、処理される画像を表示する表示装置である。位置情報表示部１２２は、処理される画像中のクロスポイント、エッジポイントなどの地上基準点（ＧＣＰ）を表示する表示装置である。なお、画像表示部１２１と位置情報表示部１２２とは、同じ表示装置によって構成しても、異なる表示装置によって構成してもよい。

データ記録部１３０は、この画像生成システムによって処理される画像データを格納する不揮発性記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。演算部１４０は、プロセッサを含み、プログラムを実行することによって本画像生成システムで行われる処理を実行する。

データ出力部１５０は、この画像生成システムによって処理された結果を出力する装置で、例えば、プリンタ、プロッタ等によって構成される。記憶部１６０は、演算部１４０によって実行されるプログラムを格納する記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。

図１１は、本実施例の画像生成システムの物理的な構成を示すブロック図である。

本実施例の画像生成システムは、演算部１０、記憶装置２０、通信インターフェース３０及び媒体ドライバ４０を有する。

演算部１０は、プログラムを実行するプロセッサ（ＣＰＵ）１０１、不揮発性の記憶素子であるＲＯＭ１０２及び揮発性の記憶素子であるＲＡＭ１０３を有する。ＲＯＭ１０２は、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭ１０３は、記憶装置２０に格納されたプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

演算部１００が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して計算機に提供され、非一時的記憶媒体である記憶装置に格納される。このため、画像生成システムを構成する計算機は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

記憶装置２０は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサ１０１によって実行されるプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プロセッサ１０１によって実行されるプログラムは、記憶装置２０から読み出されて、ＲＡＭ１０３にロードされて、プロセッサ１０１によって実行される。

通信インターフェース３０は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。媒体ドライバ４０は、画像生成システムに導入されるプログラムやデータが格納された記録媒体５０を読むためのインターフェース（例えば、光ディスクドライブ、ＵＳＢポート）である。

本実施例の画像生成システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、空中写真を提供するセンシング事業者が、この画像生成システムをクラウド環境で提供してもよい。

本実施例の画像生成システムは、スタンドアロン形式のコンピュータに実装しても、クライアント・サーバ型の計算機システムに実装してもよい。クライアント・サーバ型の計算機システムに実装する場合、サーバが演算処理を実行し、クライアントが入力データを受け付け、演算結果を出力する。

以上に説明したように、本発明の実施例によると、低分解能画像の時間的な変化は、高分解能画像の要素の変化に適用するように解析され、当該低分解能画像が撮影された時刻の高分解能画像を得ることができる。高分解能画像は、処理の最初に低分解能画像から高分解能画像への空間投影モデルを作成するために、一つだけあればよく、効率的である。

また、高分解能画像と低分解能画像とを重ね合わせる際、地上調査の結果を用いることによって、生成される高分解能画像の精度を向上することができる。

このようにして、高効率かつ低コストで高分解能画像を生成する画像生成システムを構築することができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (8)

1. 異なる時刻に取得した第１及び第２の低分解能画像と、前記第１の低分解能画像と同一時刻に取得した第１の高分解能画像から、前記第２の低分解能画像と同一時刻で取得されるべき第２の高分解能画像を生成する画像生成システムであって、
   前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、
   前記プロセッサは、
   前記第１の高分解能画像から特徴量を抽出し、
   前記第１の低分解能画像から特徴量を抽出し、
   前記抽出された第１の高分解能画像の特徴量と、前記抽出された第１の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、
   前記生成された分布モデルから、前記第１の高分解能画像の混合組成と前記第１の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築し、
   前記構築された特徴関連モデルを用いて、前記第１の高分解能画像と前記第１の低分解能画像との変換関数を求め、
   前記第１の低分解能画像と前記第２の低分解能画像との差分を抽出し、
   前記抽出された差分及び前記変換関数を用いて第２の高分解能画像を生成することを特徴とする画像生成システム。
2. 異なる時刻に取得した第１及び第２の低分解能画像と、前記第１の低分解能画像と同一時刻に取得した第１の高分解能画像から、前記第２の低分解能画像と同一時刻で取得されるべき第２の高分解能画像を生成する画像生成システムであって、
   前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、
   前記プロセッサは、
   前記第１の高分解能画像と前記第１の低分解能画像との変換関数を求め、
   時間変化モデルを用いて、高分解能画像の特徴量の時間変化を計算し、
   前記第１の低分解能画像と前記第２の低分解能画像との時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算し、
   前記計算された特徴量の時間変化を用いて第２の高分解能画像の画素を計算し、
   前記計算された第２の高分解能画像の画素及び前記変換関数を用いて第２の高分解能画像を生成することを特徴とする画像生成システム。
3. 請求項２に記載の画像生成システムであって、
   前記プロセッサは、
   前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成システム。
4. 請求項１又は２に記載の画像生成システムであって、
   前記プロセッサは、前記第１の高分解能画像の時刻と前記生成されるべき第２の高分解能画像の時刻との差が所定の閾値以上であれば、前記第２の高分解能画像の時刻における現実の高分解能画像を取得することを特徴とする画像生成システム。
5. 異なる時刻に取得した第１及び第２の低分解能画像と、前記第１の低分解能画像と同一時刻に取得した第１の高分解能画像から、前記第２の低分解能画像と同一時刻で取得されるべき第２の高分解能画像を、計算機を用いて生成する画像生成方法であって、
   前記計算機は、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを有し、
   前記方法は、
   前記プロセッサが、前記第１の高分解能画像から特徴量を抽出するステップと、
   前記プロセッサが、前記第１の低分解能画像から特徴量を抽出するステップと、
   前記プロセッサが、前記抽出された第１の高分解能画像の特徴量と、前記抽出された第１の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成するステップと、
   前記プロセッサが、前記生成された分布モデルから、前記第１の高分解能画像の混合組成と前記第１の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築するステップと、
   前記プロセッサが、前記構築された特徴関連モデルを用いて、第１の高分解能画像と第１の低分解能画像との変換関数を求めるステップと、
   前記プロセッサが、前記第１の低分解能画像と前記第２の低分解能画像との差分を抽出するステップと、
   前記プロセッサが、前記抽出された差分及び前記変換関数を用いて第２の高分解能画像を生成するステップと、を含むことを特徴とする画像生成方法。
6. 異なる時刻に取得した第１及び第２の低分解能画像と、前記第１の低分解能画像と同一時刻に取得した第１の高分解能画像から、前記第２の低分解能画像と同一時刻で取得されるべき第２の高分解能画像を、計算機を用いて生成する画像生成方法であって、
   前記計算機は、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを有し、
   前記方法は、
   前記プロセッサが、第１の高分解能画像と第１の低分解能画像との変換関数を求めるステップと、
   時間変化モデルを用いて、高分解能画像の特徴量の時間変化を計算するステップと、
   前記第１の低分解能画像と前記第２の低分解能画像との時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算するステップと、
   前記計算された特徴量の時間変化を用いて第２の高分解能画像の画素を計算するステップと、
   前記計算された第２の高分解能画像の画素及び前記変換関数を用いて第２の高分解能画像を生成するステップと、を含むことを特徴とする画像生成方法。
7. 請求項６に記載の画像生成方法であって、
   前記高分解能画像のオブジェクトの時間変化を計算するステップでは、前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成方法。
8. 請求項５又は６に記載の画像生成方法であって、
   前記プロセッサが、前記第１の高分解能画像の時刻と前記生成されるべき第２の高分解能画像の時刻との差が所定の閾値以上であれば、前記第２の高分解能画像の時刻における現実の高分解能画像を取得するステップを含むことを特徴とする画像生成方法。

Images