JPWO2015145764A1 - 画像生成システム及び画像生成方法 - Google Patents

画像生成システム及び画像生成方法 Download PDF

Info

Publication number
JPWO2015145764A1
JPWO2015145764A1 JP2016509856A JP2016509856A JPWO2015145764A1 JP WO2015145764 A1 JPWO2015145764 A1 JP WO2015145764A1 JP 2016509856 A JP2016509856 A JP 2016509856A JP 2016509856 A JP2016509856 A JP 2016509856A JP WO2015145764 A1 JPWO2015145764 A1 JP WO2015145764A1
Authority
JP
Japan
Prior art keywords
resolution image
image
low
time
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016509856A
Other languages
English (en)
Other versions
JP6082162B2 (ja
Inventor
タオ グオ
タオ グオ
俊宏 鯨井
俊宏 鯨井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of JP6082162B2 publication Critical patent/JP6082162B2/ja
Publication of JPWO2015145764A1 publication Critical patent/JPWO2015145764A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成する。

Description

本発明は、高分解能の画像を生成する画像生成システムに関する。
高い頻度で同じ地域を観測した多くの低分解能画像が提供されている。さらに、低分解能画像は低コストで、自由に利用できる場合が多い。
一方、高分解能画像は、画質が良く、詳細な空間情報を含む。しかし、高分解能画像は、低い頻度でしか同じ地域が観測されず、天候(例えば、雲)の影響を受ける。この観測時間間隔を観測時間窓(acquisition window period)と称する。
環境モニタリング用途の多くのアプリケーションとって、適切なタイミングで詳細に観測するという、二つの条件を満たした画像データを低コストで提供することは大きな利点となる。
この状況下で、高分解能画像及び低分解能画像の両方の長所を利用することが求められてきた。画像の分解能がの1〜5倍の範囲内である場合、現在の技術では、この問題を画像の重ね合わせの問題として扱うことができる。また、人手による地上制御点(GCP)の選択などの方法又は特徴点/端点の自動抽出などを適用できる。しかし、分解能の差が大きい場合(例えば、5倍以上)、十分なサブピクセルレベルの位置情報が提供されない。他の一つの方法は、低分解能画像の画素中の基本的な要素の最適なスペクトルの構成によって解決するスペクトルアンミキシングと称する方法である。しかし、一つの地物からの反射光で構成される純粋な要素を低分解能画像中で見つけることは困難である。
また、低分解能画像への地上制御点の正確な投影は容易ではない。このため、空間的な十分に詳細な時間的な変化を低コストで監視することが求められている。
この技術分野の背景技術として特開2013−145507号公報(特許文献1)がある。特許文献1には、対象とする作物の植付け間隔と成長パターンをパラメータセットとして、対象とする作物の画像から得られる特徴量を推定する画像解析サーバが開示されている。また、擬似画像生成部で、対象とする作物の植付け間隔と、作物の成長パターンをパラメータセットとして、複数の擬似画像を生成し、最適テンプレート選択部で、解析対象の画像の各領域に対して複数の擬似画像から最も適合度の高い擬似画像を選択し、特徴量抽出部で、最も適合度の高い擬似画像の情報を用いて、各領域から対象とする作物の特徴量を抽出する推定の方法が開示されている。
特開2013−145507号公報
前述したように、低分解能画像は低コストで自由に利用できる場合が多いが、高分解能画像は高コストで詳細な空間情報を含む。所望の地点の時間的な変化は、低分解能画像を時間順に解析することによって監視することができる。しかし、低分解能画像は概略の空間情報しか含まないことから、詳細な空間情報を含む高分解能画像を高頻度で取得することが求められている。特に、高分解能画像と低分解能画像との分解能の差が大きい(例えば、5倍以上)場合に、低分解能画像から高分解能画像をシミュレートすることは困難である。
このため、高分解能画像のコストを低減し、経済的な監視システムを構築することが求められている。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成する。
本発明の代表的な実施の形態によれば、低分解能画像を用いて高分解能画像を生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
本発明の実施例の画像生成方法の概要を説明する図である。 低分解能画像L1と高分解能画像H1との変換を説明する図である。 既存の高分解能画像H1から高分解能画像H2の推定を説明する図である。 本実施例の高分解能画像を推定する処理のフローチャートである。 本実施例の高分解能画像と低分解能画像とを重ね合わせる処理(S2)のフローチャートである。 本実施例の高分解能画像と低分解能画像とを重ね合わせるためのLDAモデルを説明する図である。 本実施例の高分解能画像生成処理(S6)のフローチャートである。 本実施例の地上観測データV1を利用した低分解能画像L1から高分解能画像H1への変換を説明する図である。 本実施例の高分解能画像の画素の算出を説明する図である。 本実施例の画像生成システムの論理的な構成を示すブロック図である。 本実施例の画像生成システムの物理的な構成を示すブロック図である。
まず、本発明の実施例の概要を説明する。
本発明の実施例では、LDA(Latent Dirichlet Allocation)を用いることによって、高分解能画像と低分解能画像との間の空間投影モデルを作成する。これによって、低分解能画像の特徴に含まれる混合スペクトルを容易に発見し、高分解能画像と低分解能画像とを対応付けることができる。一方、低分解能画像の画素の時間変化は、高分解能画像の画素(基本的な複数種類のオブジェクトが含まれる)の時間変化が混合したものになる。すなわち、低分解能画像の時間変化は、高分解能画像の時間変化に分解することができる。本発明の実施例では、この特性を利用して、低分解能画像の時間変化を高分解能画像の画素の時間変化に割り当て、空間融合モデルを構築する。
図1は、本発明の実施例の画像生成方法の概要を説明する図である。
地上の事物を空中から観測する場合、様々な分解能の画像が取得される。一般に、低分解能画像L1、L2、…は、広い範囲を撮影したものであり、観測コストが低いので、高頻度に観測されている。一方、高分解能画像H1、…は、狭い範囲を撮影したものであり、観測コストが高いので、低頻度にしか観測されない。例えば、低分解能画像は、高高度衛星が1日に数回観測する画像であり、高分解能画像は、低高度衛星や航空機が1月に1回程度観測する画像である。
また、地上の物(オブジェクト)は、空中からの観測だけでなく、地上からも観測することができる。例えば、カメラ、スペクトルセンサを搭載した自動車を走行することによって、地上の事物(例えば、草原の植生)を観測することができる。また、固定的に設置された又は可搬型のカメラやスペクトルセンサによって、森林の植生を観測することができる。
これらの方法によって観測された高分解能画像と低分解能画像とを変換する関数fを求めることができる。例えば、時刻T1における低分解能画像L1は、H1=f(L1)によって、時刻T1における高分解能画像H1に変換することができる(図2参照)。
また、高分解能画像と地上の観測結果とを変換する関数hを求めることができる。例えば、時刻T1における高分解能画像H1は、V1=h(H1)によって、時刻T1における地上観測データV1に変換することができる。
さらに、時刻T1における低分解能画像L1と、時刻T2における低分解能画像L2との差は、ΔS=Diff(L2−L1)で表す。
このような状態において、本実施例は、時刻T1における低分解能画像L1と、時刻T2における低分解能画像L2と、時刻T1における高分解能画像H1との三つの画像を用いて、時刻T2における高分解能画像H2を求める方法、すなわち関数gを提供する。さらに、本願発明によると、時刻T2における高分解能画像H2から、関数hを用いて、時刻T2における地上観測結果V2求めることができる。
なお、説明は省略するが、本願発明によると、低分解能画像L1と地上観測データV1とを変換する関数を求めた場合、低分解能画像L1、L2及び地上観測データV1を用いて、時刻T2における地上観測結果V2を求めることもできる。
図2は、低分解能画像L1と高分解能画像H1との変換を説明する図である。
低分解能画像L1と高分解能画像H1とを重ね合わせ、低分解能画像L1と高分解能画像H1とを変換する関数fを求めることは難しい。これは、低分解能画像L1と高分解能画像H1とは、各画像を取得するためのセンサが異なるので、両画像の画素に含まれるスペクトルに直接的な対応関係が生じないためである。
また、低分解能画像と高分解能画像との分解能の違いが大きくなる程、従来のマッチング方法による困難度は高くなる。
例えば、従来用いられる画像マッチングで地上基準点(Ground Control Point)を用いた方法では、クロスポイント、エッジポイントなど(具体的には、交差点、川の境界など)の地上基準点を両画像から抽出し、対応する地上基準点同士が一致するように二つの画像を重ね合わせる。この、地上基準点を用いた画像マッチングでは、地上基準点を的確に決定するためには、低分解画像ではサブピクセルレベルの精度が必要となり、位置ずれが生じる可能性がある。
なお、画像中のエッジを検出することによって、SIFT(Scale-Invariant Feature Transform)によって抽出された特徴量から地上基準点を自動的に検出することもできる。この場合でも、低分解画像では、交差点が写っていなかったり、川幅が認識できない場合があり、画像のエッジの抽出が困難である。
また、混合スペクトル分離法(Spectral Unmixing)では、両画像において、一つの画素が1種類のオブジェクトのみによって構成されるピュアピクセルが必要となる。通常、低分解能画像では、一つの画素に複数のオブジェクトから放射された光のスペクトルを含む。一方、高分解能画像は、地上物のテクスチャ(例えば、畑の畝のパターン、屋根の模様など)が識別できる程度に狭い範囲の画素を含む。そして、低分解能画像と高分解能画像とのマッチングでは、低分解能画像の1ピクセルと高分解能画像の複数ピクセルとを対応させる必要がある。
図3は、既存の高分解能画像H1から高分解能画像H2の推定を説明する図である。
画像の中には、その形状や色が時間の経過と共に変化するオブジェクトと、変化しないオブジェクトがある。例えば、夏と冬とでは広葉樹林のスペクトルが異なる。また、乾季と雨季では湖の大きさや川幅が異なる。一方、恒久的な建築物の形及び色は、通常は変化しない。
このように、時間の経過によって変化をするオブジェクトと、変化しないオブジェクトとを分ける。さらに、低分解能画像の時間変化Δsをパラメータとして、低分解能画像L1と高分解能画像H1とを変換する関数fを用いることによって、高分解能画像H1を高分解能画像H2に変換する関数gを求めることができる。
なお、高分解能画像H1から高分解能画像H2を推定する処理の詳細は、図7を用いて後述する。
図4は、本実施例の高分解能画像を推定する処理のフローチャートである。
まず、時刻T1における高分解能画像H1及び低分解能画像L1をデータ記録部130から取得する(S1)。
次に、高分解能画像H1と低分解能画像L1とを重ね合わせて、変換関数fを求める(S2)。二つの画像を重ね合わせる処理は、図5を用いて説明する。この変換関数fは、図2を用いて説明した方法によって求めることができる。
次に、ループを制御するパラメータnの初期値を2に設定し(S3)、ステップS4からS10のループに入る。
ループ内では、まず、時刻TnをTn-1にΔTを加えた値に設定する(S4)。ΔTは、低分解能画像Lnが提供される時間間隔、すなわち、高分解能画像Hnを取得する時間間隔である。
そして、時刻Tnの低分解能画像Lnをデータ記録部130から取得し(S5)、低分解能画像における時間変化の情報ΔSを抽出し(S6)、時刻T2の高分解能推定画像H2を生成する(S7)。なお、ステップS7の式におけるα(t)は、校正のための要素である。
その後、ΔTが所定の閾値ΔTmax以上であるかを判定する(S8)。既存の高分解能画像H1からの経過時間ΔTが大きくなると、推定された高分解能画像Hnの誤差が大きくなる。このため、ΔTmaxは、所定の誤差の範囲内で高分解能画像Hnを生成できる時間範囲である。
ΔTがΔTmax以上であれば、校正が必要なので、時刻Tnの実際の高分解能画像があるかを判定し、時刻Tnの高分解能画像H’nをデータ記録部130から取得し(S9)、推定された高分解能画像Hnと実際の高分解能画像H’nとの差分から校正要素α(t)を求める。なお、α(t)は基準となる高分解能画像H1からの経過時間tの関数として表すことができる。また、推定された高分解能画像Hnの精度を、α(t)を用いて評価することができる。
その後、ループを制御するパラメータnに1を加えて(S11)、ステップS4に戻る。
一方、ステップS8でΔTがΔTmaxより小さいと判定されれば、校正が不要なレベルで、高分解能かつ高頻度観測の画像が推定されたので、この処理を終了する。
図5は、本実施例の高分解能画像と低分解能画像とを重ね合わせる処理(S2)のフローチャートである。
まず、高分解能画像から特徴量(例えば、スペクトル分類、形状、テクスチャー)を抽出し(S21)、抽出した特徴量をメッシュ上に配置した特徴地図を作成する(S22)。また、低分解能画像から特徴量(例えば、スペクトル分類)を抽出する(S23)。
その後、高分解能画像の特徴地図(特徴量)と低分解能画像の特徴量とを対応付け、学習データセットを生成する(S24)。学習データセットは、同じ位置の高分解能画像の特徴量と低分解能画像の特徴量とが対応付けられたデータである。なお、高分解能画像の特徴量をクラス分けし、低分解能画像の特徴量をクラス分けして、高分解能画像の特徴量のクラスと低分解能画像の特徴量のクラスとを対応付けてもよい。
特徴量としてスペクトルを選択した場合でも、前述したように、高分解能画像のスペクトルと低分解能画像のスペクトルとは、異なるセンサによって取得された異なる特性を有するものなので、この時点では、高分解能画像のオブジェクトと低分解能画像のオブジェクトとは対応付けられていない。
その後、高分解能画像の分布モデルと低分解能画像の分布モデルとを生成する。このモデルの生成には、例えば、LDAを用いることができる(S25)。
その後、高分解能画像の混合組成と低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築する(S26)。
最後に、構築された特徴関連モデルを用いて、高分解能画像と低分解能画像とを重ね合わせる(S27)。
図6は、本実施例の高分解能画像と低分解能画像とを重ね合わせるためのLDAモデルを説明する図である。
低分解画像のピクセルのスペクトルは複数の種類L1からLmに分類される。一方、高分解画像のピクセルのスペクトルは複数の特徴H1からHkに分類される。通常、低分解画像においてスペクトルは数種類に分類され、高分解画像においてスペクトルは数十の特徴に分類される。これは、高分解能画像は1ピクセル中の範囲が狭く、1ピクセルに含まれるオブジェクトの種類が少なくなる。
高分解能画像の特徴や低分解能画像の種類には、前述したスペクトルの他に、オブジェクトの形状やテクスチャを使用することができる。このような特徴及び種類を使用することによって、二つの画像中に含まれているオブジェクトの特徴を対応付けることができる。
図7は、本実施例の高分解能画像生成処理(S6)のフローチャートである。
まず、時間変化モデルΔFi,jを用いて、高分解能画像中の特徴jの時間変化ΔFi,jを算出する(S61)。ここで、i=1〜Kはオブジェクトの種類を示す添字であり、j=1〜Mは高分解能画像から抽出される特徴の種類を示す添字である。すなわち、ΔFi,jは、特徴jで表されるオブジェクトiの時間T1から時間T2までの変化を表す。
次に、低分解能画像の時間変化ΔSを用いて、高分解能画像中のオブジェクトiの時間変化ΔCiを算出する(S62)。ここで、i=1〜Kはオブジェクトの種類を示す添字であり、Ni,jは低分解能画像の1画素中に含まれる高分解能画像の画素数である。すなわち、ΔCiは、オブジェクトiの時間T1から時間T2までの変化を表す。
その後、模擬高分解能画像(H2)の画素P2iを算出する(S63)。
以上に説明した高分解能画像生成方法は、特徴としてのスペクトルの他、形状やテクスチャなどの他の特徴にも適用することができる。
図8は、本実施例の地上観測データV1を利用した低分解能画像L1から高分解能画像H1への変換を説明する図である。
図1で説明したように、本実施例では、高分解能画像H1及び低分解能画像L1とL2との差分ΔSから高分解能画像H2が生成される。しかし、本実施例では、高分解能画像と地上観測データとを対応付けることができる。このため、前述したものと同様の方法を用いて、高分解能画像H1及び地上観測データV1とV2との差分から高分解能画像H2を生成することもできる。
図9は、本実施例の高分解能画像の画素の算出を説明する図である。
時刻T1に取得された低分解能画像L1と、時刻T2に取得された低分解能画像L2との差分は、時系列変化ΔSで表すことができる。また、時刻T1に取得された低分解能画像L1と、時刻T1に取得された高分解能画像H1とは、変換関数fによる空間対応関係を有する。地上には、森林、河川、農地、道路、建物、荒地などの様々な地物(オブジェクト)がある。これらのオブジェクトは、その種類によって反射光のスペクトルが異なる。高分解能画像には、1種類のオブジェクトからの反射光のみによる画素が含まれるが、低分解能画像では、通常、複数種類のオブジェクトからの反射光が1画素に含まれる。このため、低分解能画像と高分解能画像とは、画素毎の空間対応関係で関係づけられることになる。
このため、本実施例では、空間対応関係を用いて時系列変化ΔSを高分解能画像H1に重ね合わせることによって、時刻T2の高分解能画像L2を推定する。
図10は、本実施例の画像生成システムの論理的な構成を示すブロック図である。
本実施例の画像生成システムは、入力部110、表示部120、データ記録部130、演算部140、データ出力部150及び記憶部160を有する計算機である。入力部110、表示部120、データ記録部130、データ出力部150及び記憶部160は、演算部140を介して(又は、相互にバスによって)接続される。
入力部110は、画像入力部111及び位置情報入力部112を有する。画像入力部111は、高分解能画像及び低分解能画像が入力される装置であり、位置情報入力部112は、入力された画像中の位置情報が入力される装置である。画像入力部111及び位置情報入力部112は、例えば、光ディスクドライブ、USBインターフェース等のデータの入力を受け付けるデバイスや、キーボード、タッチパネル、マウスなどのヒューマンインターフェースによって構成される。なお、画像入力部111と位置情報入力部112とは、同じ入力装置によって構成しても、異なる入力装置によって構成してもよい。
表示部120は、画像表示部121及び位置情報表示部122を有する。画像表示部121は、処理される画像を表示する表示装置である。位置情報表示部122は、処理される画像中のクロスポイント、エッジポイントなどの地上基準点(GCP)を表示する表示装置である。なお、画像表示部121と位置情報表示部122とは、同じ表示装置によって構成しても、異なる表示装置によって構成してもよい。
データ記録部130は、この画像生成システムによって処理される画像データを格納する不揮発性記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。演算部140は、プロセッサを含み、プログラムを実行することによって本画像生成システムで行われる処理を実行する。
データ出力部150は、この画像生成システムによって処理された結果を出力する装置で、例えば、プリンタ、プロッタ等によって構成される。記憶部160は、演算部140によって実行されるプログラムを格納する記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。
図11は、本実施例の画像生成システムの物理的な構成を示すブロック図である。
本実施例の画像生成システムは、演算部10、記憶装置20、通信インターフェース30及び媒体ドライバ40を有する。
演算部10は、プログラムを実行するプロセッサ(CPU)101、不揮発性の記憶素子であるROM102及び揮発性の記憶素子であるRAM103を有する。ROM102は、不変のプログラム(例えば、BIOS)などを格納する。RAM103は、記憶装置20に格納されたプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
演算部100が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して計算機に提供され、非一時的記憶媒体である記憶装置に格納される。このため、画像生成システムを構成する計算機は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
記憶装置20は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサ101によって実行されるプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プロセッサ101によって実行されるプログラムは、記憶装置20から読み出されて、RAM103にロードされて、プロセッサ101によって実行される。
通信インターフェース30は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。媒体ドライバ40は、画像生成システムに導入されるプログラムやデータが格納された記録媒体50を読むためのインターフェース(例えば、光ディスクドライブ、USBポート)である。
本実施例の画像生成システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、空中写真を提供するセンシング事業者が、この画像生成システムをクラウド環境で提供してもよい。
本実施例の画像生成システムは、スタンドアロン形式のコンピュータに実装しても、クライアント・サーバ型の計算機システムに実装してもよい。クライアント・サーバ型の計算機システムに実装する場合、サーバが演算処理を実行し、クライアントが入力データを受け付け、演算結果を出力する。
以上に説明したように、本発明の実施例によると、低分解能画像の時間的な変化は、高分解能画像の要素の変化に適用するように解析され、当該低分解能画像が撮影された時刻の高分解能画像を得ることができる。高分解能画像は、処理の最初に低分解能画像から高分解能画像への空間投影モデルを作成するために、一つだけあればよく、効率的である。
また、高分解能画像と低分解能画像とを重ね合わせる際、地上調査の結果を用いることによって、生成される高分解能画像の精度を向上することができる。
このようにして、高効率かつ低コストで高分解能画像を生成する画像生成システムを構築することができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第1の高分解能画像から特徴量を抽出し、前記第1の低分解能画像から特徴量を抽出し、前記抽出された第1の高分解能画像の特徴量と、前記抽出された第1の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、前記生成された分布モデルから、前記第1の高分解能画像の混合組成と前記第1の低分解能画像の混合組成との関係を推定し、前記特徴関連モデルを構築し、構築された特徴関連モデルを用いて、前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成する。

Claims (10)

  1. 異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、
    前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、
    前記プロセッサは、
    前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、
    前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、
    前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成することを特徴とする画像生成システム。
  2. 請求項1に記載の画像生成システムであって、
    前記プロセッサは、
    前記第1の高分解能画像から特徴量を抽出し、
    前記第1の低分解能画像から特徴量を抽出し、
    前記抽出された第1の高分解能画像の特徴量と、前記抽出された第1の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、
    前記生成された分布モデルから、前記第1の高分解能画像の混合組成と前記第1の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築し、
    構築された特徴関連モデルを用いて、前記変換関数を求めることを特徴とする画像生成システム。
  3. 請求項1に記載の画像生成システムであって、
    前記プロセッサは、
    時間変化モデルを用いて、前記高分解能画像の特徴量の時間変化を計算し、
    前記低分解能画像の時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算し、
    前記計算された特徴量の時間変化を用いて第2の高分解能画像の画素を計算することによって第2の高分解能画像を生成することを特徴とする画像生成システム。
  4. 請求項3に記載の画像生成システムであって、
    前記プロセッサは、
    前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成システム。
  5. 請求項1に記載の画像生成システムであって、
    前記プロセッサは、前記第1の高分解能画像の時刻と前記生成されるべき第2の高分解能画像の時刻との差が所定の閾値以上であれば、前記第2の高分解能画像の時刻における現実の高分解能画像を取得することを特徴とする画像生成システム。
  6. 異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を、計算機を用いて生成する画像生成方法であって、
    前記計算機は、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを有し、
    前記方法は、
    前記プロセッサが、第1の高分解能画像と第1の低分解能画像との変換関数を求めるステップと、
    前記プロセッサが、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出するステップと、
    前記プロセッサが、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成するステップと、を含むことを特徴とする画像生成方法。
  7. 請求項6に記載の画像生成方法であって、
    前記変換関数を求めるステップでは、
    前記第1の高分解能画像から特徴量を抽出し、
    前記第1の低分解能画像から特徴量を抽出し、
    前記抽出された第1の高分解能画像の特徴量と、前記抽出された第1の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、
    前記生成された分布モデルから、前記第1の高分解能画像の混合組成と前記第1の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築し、
    構築された特徴関連モデルを用いて、前記変換関数を求めることを特徴とする画像生成方法。
  8. 請求項6に記載の画像生成方法であって、
    前記第2の高分解能画像を生成するステップでは、
    時間変化モデルを用いて、前記高分解能画像の特徴量の時間変化を計算し、
    前記低分解能画像の時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算し、
    前記計算された特徴量の時間変化を用いて第2の高分解能画像の画素を計算することを特徴とする画像生成方法。
  9. 請求項8に記載の画像生成方法であって、
    前記時間変化を計算するステップでは、前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成方法。
  10. 請求項6に記載の画像生成方法であって、
    前記プロセッサが、前記第1の高分解能画像の時刻と前記生成されるべき第2の高分解能画像の時刻との差が所定の閾値以上であれば、前記第2の高分解能画像の時刻における現実の高分解能画像を取得するステップを含むことを特徴とする画像生成方法。
JP2016509856A 2014-03-28 2014-03-28 画像生成システム及び画像生成方法 Expired - Fee Related JP6082162B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/059283 WO2015145764A1 (ja) 2014-03-28 2014-03-28 画像生成システム及び画像生成方法

Publications (2)

Publication Number Publication Date
JP6082162B2 JP6082162B2 (ja) 2017-02-15
JPWO2015145764A1 true JPWO2015145764A1 (ja) 2017-04-13

Family

ID=54194350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509856A Expired - Fee Related JP6082162B2 (ja) 2014-03-28 2014-03-28 画像生成システム及び画像生成方法

Country Status (2)

Country Link
JP (1) JP6082162B2 (ja)
WO (1) WO2015145764A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415348B2 (ja) 2019-07-03 2024-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、センシングシステム
JP7415347B2 (ja) * 2019-07-03 2024-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、センシングシステム
JP7316004B1 (ja) 2022-10-24 2023-07-27 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284064A (ja) * 1999-03-31 2000-10-13 Mitsubishi Electric Corp 多衛星補完観測システム
JP2013101428A (ja) * 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
JP2013145507A (ja) * 2012-01-16 2013-07-25 Hitachi Ltd 画像解析システム、及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284064A (ja) * 1999-03-31 2000-10-13 Mitsubishi Electric Corp 多衛星補完観測システム
JP2013101428A (ja) * 2011-11-07 2013-05-23 Pasuko:Kk 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
JP2013145507A (ja) * 2012-01-16 2013-07-25 Hitachi Ltd 画像解析システム、及び方法

Also Published As

Publication number Publication date
WO2015145764A1 (ja) 2015-10-01
JP6082162B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
US10839211B2 (en) Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
Xu et al. Sub-pixel mapping based on a MAP model with multiple shifted hyperspectral imagery
US9299157B2 (en) Scale-invariant superpixel region edges
Lu et al. Optimal spatial resolution of Unmanned Aerial Vehicle (UAV)-acquired imagery for species classification in a heterogeneous grassland ecosystem
Bayr et al. Automatic detection of woody vegetation in repeat landscape photographs using a convolutional neural network
JP2012517652A (ja) シーン補間及び登録性能評価のための2d電子光学的画像及び3d点群データの融合
US11461884B2 (en) Field management apparatus, field management method, and computer readable recording medium
AU2015258202B2 (en) Image generation system and image generation method
JP6082162B2 (ja) 画像生成システム及び画像生成方法
La Salandra et al. Generating UAV high-resolution topographic data within a FOSS photogrammetric workflow using high-performance computing clusters
US20200380085A1 (en) Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
WO2019087673A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US20230035355A1 (en) System and method for natural capital measurement
JP7372616B2 (ja) 石礫検出システム、石礫検出方法及びプログラム
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
Costa et al. Segmentation of optical remote sensing images for detecting homogeneous regions in space and time.
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
Fonseca-Luengo et al. Optimal scale in a hierarchical segmentation method for satellite images
Tyagi et al. Elevation Data Acquisition Accuracy Assessment for ESRI Drone2Map, Agisoft Metashape, and Pix4Dmapper UAV Photogrammetry Software
JP6884546B2 (ja) 属性判定装置、属性判定方法、コンピュータプログラム、及び記録媒体
Jurado-Rodríguez et al. 3D Modeling of Rural Environments from Multiscale Aerial Imagery
Protić et al. Super resolution mapping of agricultural parcel boundaries based on localized partial unmixing
Al-Wassai et al. Image fusion technologies in commercial remote sensing packages
Berhanu Accuracy of DTM derived from UAV imagery and its effect on canopy height model compared to Airborne LiDAR in part of tropical rain forests of Berklah, Malaysia

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170119

R150 Certificate of patent or registration of utility model

Ref document number: 6082162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees