JP7042146B2 - 衛星画像変化抽出システムおよび衛星画像変化抽出方法、並びに衛星画像変化抽出システムにおけるフロントエンド部 - Google Patents

Description

本発明は，衛星画像の変化を抽出する衛星画像変化抽出システムおよび衛星画像変化抽出方法、並びに衛星画像変化抽出システムにおけるフロントエンド部に関し、さらに詳しくは、複数の衛星画像を用いた変化抽出あるいは対象物体の認識が可能な技術に関する。

衛星画像は，一度の撮影で広域を撮影できる特性がある。したがって衛星画像から、同一地域における地上の被覆状況が変化したことや，過去に撮影した画像になかった地物が、新規に撮影した新しい画像では出現しているといったことを検出できる。
最近、大規模災害の増加やアジア情勢の緊迫化に伴い、迅速に広域の状況把握(物体抽出・変化抽出)ができる解析プラットフォームが求められている。一般に広域の変化を長期間にわたってモニタし，意味のある情報を手に入れ続けるには多くの衛星画像が必要になる。
従来、無料でダウンロードできる画像を提供する衛星にはLandsatやMODISがある。しかし，マルチスペクトルのバンドにおいて解像度が３０ｍ，２５０ｍと解像度が低い問題があった。
近年、高解像度センサを搭載した超小型衛星の登場により、衛星画像取得コストの低廉化も進んでおり、さらに民間向けの高解像度衛星画像を提供する米Digital Globe社がGBDX platformを公開するなど、高解像度衛星画像のアーカイブ利用の黎明期を迎えており、多数の高解像度衛星画像を前提としたソリューションの検討が始まっている。
一般に、衛星画像における変化抽出は、複数枚の衛星画像を直接的に画素値比較するだけでなく、地上の被覆分類あるいは物体認識の結果を比較する方法がとられる。
衛星画像は、太陽の強度、大気の含有水分、センサの向きや位置などに起因する撮像条件の違いや、植生のように季節によって見え方が異なる地物の存在により、画素自体は変化していることから、人の主観では変化とみなしたくない領域も変化としてとらえてしまう。
よって、物体認識や被覆分類を加味してから、その結果の画像同士を比較するという、変化抽出のアプローチをとることがある。
衛星画像の物体認識や被覆分類を行う際には，領域のクラスタリング（clustering）を施して領域を分割する前処理が行われることがある。領域のクラスタ（cluster）ごとに認識や分類を行う方式はオブジェクトベースの方式と呼ばれ、ピクセルごとに認識や分類を行うピクセルベースの方式よりも有効であることが報告されている。
オブジェクトベースでの変化抽出は、比較的大きなピクセル集合内の画素値の分散や平均といったテクスチャ(texture)の情報を加味できるためである。
これらの工夫を行ったとして問題になるのが、太陽の強度および角度に起因する影領域の出現と、衛星画像の撮影角度に起因する高度を持つ地物の倒れ込みである。
ここでは、衛星画像の撮影方向が直下視から外れた場合に、高い地物の側面が撮影され、隣接ピクセルまではみだす現象を倒れ込みと呼んでいる。

影領域の検出に当たっては、陰影の影響による誤った変化の抽出を防止することを目的に、太陽位置から陰影情報を算出する方法が特開平１０－２１４３２８号公報（特許文献1）に開示されている。
地物の高さの変化など三次元的な変化は、二次元の画像ではとらえられない問題があるから、例えば、特開２０１６－１５１４１４号公報（特許文献２）のように三次元点群に変換してからの差分をとる手法がとられている。

特開平１０－２１４３２８号公報 特開２０１６－１５１４１４号公報

特許文献１に記載された発明は、原画像と新画像の画素値の差分から建物や道路の時間的変化を把握するものであり、衛星画像の変化抽出、例えば、新規に撮影した衛星画像（新規画像）の撮影地点および時間の情報から、影のできる方向と長さから高さを持つ地物の倒れ込みを含む予想画像を作成し、さらに前記予想画像と新規画像を比較して差分判定により、対象となる地物の影や倒れ込み部分の存在を判定する点については考慮されていない。そのため、太陽位置から陰影情報を算出し、陰影の影響による誤った変換の抽出を防止するという効果に留まる。
また、特許文献２に記載された発明は、第１時期と第２時期の座標算出済み三次元点群データを取得し、この点群データの差分を算出して地表変化を解析するものであり、文献１と同様に衛星画像の変化抽出については考慮されていない。つまり、二次元の画像を三次元点群に変換してからの差分をとる手法に留まる。

一般に、写真測量における三次元化では、視差の異なる複数の画像を組み合わせて、多視点からのステレオ視（ＭＶＳ: Multi-view stereo)を実現することで三次元の座標を復元している。
また、ドローンを活用した写真測量における三次元化ではＳｆＭ (Structure from Motion）などの技術とＭＶＳを組み合わせて単眼カメラでも三次元の座標を復元できるような仕組みが確立されている。ドローンでの撮影コストは1度のフライトで複数回にわたって地上を撮影することが通例であるから、多視点の画像を一度のフライトで得ることが可能である。
一方、衛星画像は、ステレオペア撮影を依頼した場合を除いて、一度の撮影依頼に対して複数枚の撮影画像は提供されず、撮像条件のよい画像を選択的に提供する。また、ステレオペア撮影を行ったとして、一度の撮影で地物を完全に三次元化することは難しい。
そのため、衛星画像を三次元化するためには、複数回の撮影依頼をする必要があり、コストが高くなる問題がある。
高解像度衛星は、およそ１．５日に一回程度の頻度で同一地点のシャッターが切れる軌道で地球上空を周回している。
しかし、被雲があると撮影できない等の問題により、視差を確保して二度撮影するには時間が予想外にかかる問題もある。
ステレオペア撮影を含む写真測量をベースとした地物の三次元化には必ず２枚以上の画像が必要である。
例えば、新規に撮影した衛星画像が１枚の場合、新規画像にのみ変化が生じていた場合、変化部分に相当するステレオペアが確定しないため、三次元データの生成が生成できず、形状差分を抽出することができない。
１枚の新規画像撮影で新たに復元あるいは消失した三次元形状は、ひとつ前の撮影で復元されるはずだった部位であり、１枚の新規撮影によってステレオペアが確定し、三次元の形状変化として確定する。

そこで、本発明では、上述したコスト、時間、の課題を是正した衛星画像の変化抽出を可能とする技術を提供することを目的とする。

上記課題を解決するために、代表的な本発明の衛星画像の変化抽出システムの一つは， 過去に撮影した衛星画像（過去画像）群で三次元化したデータに対し、新規に撮影した衛星画像（新規画像）の撮影地点および時間の情報から、影のできる方向と倒れ込み（影の長さ）を予測する予想画像を作成し、予想画像と新規画像を比較して差分判定により、対象となる地物の影や倒れ込み部分の存在を判定する。

ここで、二次元画像上での影領域判定は、例えば、クラス推定あるいは、輝度ヒストグラム（度数分布）を用いて類推し、予想画像の影ピクセルおよび高さのある地物の倒れ込みは、三次元化データに太陽角と撮像角度の情報を用いて二次元上に再投影し、また、二次元で検出した変化領域を直方体仮定で投影逆変換して三次元上にマークして表示するとよい。
なお、本処理にて検出した三次元データの部分は、実際の三次元変化と色分けして結果表示するとよい。また、本処理にて検出した三次元データは、次回の更新で実際の三次元変化として検出される可能性が高い部位として候補化されるが、事前情報として表示するとよい。

本発明によれば、新規の衛星画像を２回撮影し、２枚取得せずとも、新規撮像画像についての三次元変化抽出が可能になる。例えば、衛星画像が１枚しかない場合においても、三次元的な地物の変化を、時間を要せず検出することが容易である。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の衛星画像変化抽出システムのハード構成の概要を説明する図。 本発明の衛星画像変化抽出システムの処理手順を説明するフローチャート。 本発明の衛星画像変化抽出システムにおける変化抽出エンジンの機能ブロック図。 本発明の衛星画像変化抽出システムにおけるアクセス制御部の機能ブロック図。 衛星画像変化抽出システムにおけるアクセス制御部が管理するユーザ管理テーブルを示す図。 発明の課題を説明する図。 本発明の衛星画像変化抽出システムにおけるフロントエンド部のユーザインタフェースを説明する図。 本発明の三次元変化の推測方法を説明するフロー図。 本発明の他の実施例におけるユーザフィードバックを説明する図。

本発明を実施する為の形態について，いくつかの実施の形態を挙げて複数の衛星画像、例えば、大規模な衛星画像アーカイブを利用する広域向けから三次元的な変化を抽出する実施形態について説明する。
以下の説明において，図中で同じ符号番号がついたものは，同様の動作を行うため，説明を省略する。同様の動作を行うが，一部動作が異なるものについては，数字の末尾にハイフン及びアルファベットをつけて派生形であることを表す。

図１は、本発明の衛星画像変化抽出システムの概略構成を示す図である。
本発明の衛星画像変化抽出システムは、オンライン解析装置を構成する衛星画像解析プラットフォーム１と、オフライン解析装置を構成するフロントエンド部２で構成される。衛星画像解析プラットフォーム１とフロントエンド部２は、インターネット４を介して接続される。

衛星画像解析プラットフォーム１は、解析エンジン１１、アクセス制御部１２を備え、過去に撮影した第１の衛星画像群と、前記第１の衛星画像群に新規に撮影した衛星画像を１枚追加して得られる第二の衛星画像群を用いて、それぞれの三次元形状データを生成して三次元形状の変化を抽出する第一の三次元変化抽出機能と、第１の衛星画像群から生成した三次元形状データと新規に撮影した衛星画像に付属する太陽光の到来方向と撮影地点における衛星の位置姿勢を用いて、影領域と構造物の倒れこみを予想する衛星画像を生成する機能と、前記新規に撮影した撮影画像と前記予想する衛星画像を比較して、影領域の変化を検出する機能と、検出した影領域の変化から三次元形状の変化を抽出する第二の三次元変化抽出機能を有する。

解析エンジン１１は、衛星画像解析プラットフォーム１上で解析アプリケーションを実行するための演算装置（ＣＰＵ）１４と、例えば、衛星画像撮影会社より提供される衛星画像が格納される大容量記憶装置１３を備える。

演算装置（ＣＰＵ）は、内部に格納されたプログラムに従って動作し、後述するような処理を実行する。
演算装置（ＣＰＵ）１４や大容量記憶装置１３は、１以上の物理装置により構成されている。
これらは、複数の物理装置で１つの論理的な装置を構成するクラウドサーバ３の形態をとってもよい。

また、衛星画像解析プラットフォーム１は、一般的なコンピュータと同様にオペレーティングシステムおよび、当該オペレーティングシステム上で動作するソフトウェアを提供する。

解析エンジン１１は、衛星画像解析プラットフォーム１上で動作するソフトウェアであって、衛星画像解析プラットフォーム１の大容量記憶装置１３に蓄えられた複数の衛星画像（衛星画像群）の中から、同一地域を撮影した画像を探索し、ジョブリスト（図示せず）に沿って解析タスクを実行する。

ジョブリストの更新は、例えば、最新の衛星画像がアーカイブに追加されたタイミングや、ユーザからのリクエストが上がったタイミング、あるいはサービス運用者がマニュアルで設定したタイミング、定時間に予定されたタイミングで行われる。

また、解析エンジン１１は、アクセス制御部１２から登録ユーザの関心領域の情報、解析タスクの内容を参照して、優先処理が必要な解析を実施する。

ここでいう解析タスクとは、変化抽出、被覆分類、物体抽出、特徴量解析など衛星画像を用いたサービスに必要なタスクに加えて、雲マスク作成、影抽出処理、画像間の位置合わせ処理、などの前処理タスクも含んでよい。衛星画像間の位置合わせは、画像の三次元化のための特徴点マッチングなどを含む。

アクセス制御部１２は、ユーザあるいはグループ単位で、ライセンス管理のためのユーザ管理テーブル（図５参照）を格納したデータベースを含み、ライセンスの形態に応じて、解析タスクと関心領域に関する閲覧権限を制御する。

また、アクセス制御部１２は、閲覧情報を生成するために、解析エンジン１１に対して、登録ユーザの関心領域の情報と解析タスクの情報を提供する。
また、さらに、アクセス制御部１２は、閲覧のためのデータを整理して、フロントエンド部２のフロントエンド表示部２１で表示するためのポータル情報を生成してデータ化する。

例えば、フロントエンド部２での情報取得形態は、ＷＥＢのポータルサイトの閲覧形式であってもよい。この場合、ユーザのログインＩＤやパスワードの管理によって、ライセンス認証を行い、ライセンスごとに表示するデータを制御してフロントエンド部２に送信する。

ライセンスによって制御される範囲は、例えば、何年分のデータを使用するか、解像度の高さ、関心領域の広さ、関心領域に関して衛星画像のデータするダウンロード権限、等を含む。

衛星画像のデータをダウンロードする権限には、元情報をそのまま提供するデータをダウンサンプリングする前処理の有り無し、など細かに制御が可能な権限をライセンスごとに整備することを想定する。
フロントエンド部２での情報取得形態は、メール受信の形式であってもよい。また、解析エンジン１１にて得られた結果を所定のフォーマットに変換して、アクセス制御部１２からメールサーバーに対してデータを送信してもよい。
フロントエンド部２は、表示データの配置を加工する機能を有し、ユーザが所望するフォーマットに変換する機能が付いていてもよい。

図２は、本発明の衛星画像変化抽出システムの処理手順を示すフローチャートである。図２のフローチャートに基づく動作は以下のとおりである。

ステップ１０１（衛星画像取得処理）：
衛星画像変化抽出システムは、過去に撮影した過去衛星画像（又は過去画像）を取得し、過去に撮影した衛星画像群で三次元化したデータに対し、新規に撮影した新規衛星画像（又は新規画像、最新画像）を撮影した地点および時間の情報を取得する。

ステップ１０２（予想画像生成処理）：
衛星画像変化抽出システムは、過去に撮影した衛星画像群で三次元化したデータに対し、新規に撮影した衛星画像の撮影地点および時間を含む情報から地物（土地や建物、植木など）の影のできる方向と長さ（倒れ込み）を予測し、予想画像（予想した衛星画像）を作成する。

ステップ１０３（三次元形状変化抽出処理）：
衛星画像変化抽出システムは、予想画像と過去に撮影した衛星画像から取得した過去画像を比較し、それらの差分を判定し、当該差分の判定により影が形成されたかを判定する。
つまり、予想画像で予測した影のできる方向および長さと、新規に撮影した新規衛星画像から特定された影の方向および長さの差分を求め、当該差分から対象となる地物の三次元データの変化を推定する。

例えば、ステップ１０３１にて、まず、予想画像から二次元変化を抽出する処理を実行する。そして、二次元画像による影の領域を判定し、新規に撮影した新規衛星画像の影ピクセルは、例えば、クラス推定、あるいは輝度にヒストグラムを用いて類推する。予想画像の影ピクセルは、三次元データに太陽角と撮影角度の情報を用いて算出する。

次に、ステップ１０３２にて、三次元再投影の処理を実行する。そして、ステップ１０３２にて、影以外の二次元で抽出した差分の検知結果（差分画像）も、三次元データにマップする。

ステップ１０４（表示データ生成処理）：
衛星画像変化抽出システムは、二次元変化を抽出する処理で検出した変化領域を直方体仮定で投影逆変換して三次元データにマークする。また、予測で作成した三次元の部分は、実際の三次元変化と色分けして結果表示する。

図３は、本発明の衛星画像の変化抽出システム１における解析エンジン１１の機能ブロック図である。以下、各部の動作について説明する。

画像選択部１１１は、大容量記憶装置１３における衛星画像記憶装置１３１に格納されている衛星画像の座標情報と、アクセス制御部１２から受け取るユーザ制御情報を照合し、解析に使用する衛星画像を決定する。

ユーザ制御情報には、ユーザの関心領域や、何年分の画像を使用するか、利用する画像解像度の情報が含まれており、これらの情報から使用する衛星画像を選択する。衛星画像記憶装置１３１に格納されている衛星画像は、前処理部１１２によって一度加工されたデータを保持していてもよい。

前処理部１１２は、例えば、被雲領域をマスクする処理や、ＲＰＣ (Rational Polynomial Coefficient)情報とＤＥＭ (Digital Elevation Model)情報を利用して地形効果を排除する処理、既知のＧＣＰ(Ground Control Point)を用いた位置合わせ処理を施してもよい。
さらに、前処理部１１２は、画像の輝度値が適切な値になるようにカラーストレッチをかける、あるいは衛星画像の撮影条件やデータシートから画像の輝度値を反射係数に変換する、などの処理を施してもよい。

カラーストレッチをかける際、人間の視覚的に自然な色味に近づけるため、フロントエンド部２におけるユーザ操作のフィードバックを利用し、画素値のヒストグラムの調整方法で最もよさそうなものを選んでもよい。
また、形状情報が重要になる解析タスク、例えば、三次元形状復元に使用する衛星画像は、パンクロマティック画像とマルチスペクトル画像を用いて、パンシャープン化の処理を追加でかけておいてもよい。

前処理データは、使用するデータに更新がない場合には処理をスキップするため、前回の実行結果を保持しておくとよい。
逆に、被覆分類や画像差分を抽出する際には、低解像度の画像が重要になることがあるため、予め解像度を落とした衛星画像も用意しておくとよい。

メタ情報解析部１１３は、選択された衛星画像に付属するメタ情報を解析し、衛星画像にＲＰＣ情報が含まれていた場合には、前処理部１１２に渡し、衛星画像の撮像位置の情報が含まれている場合には、三次元形状生成部１１４に渡す。また、太陽角に関する情報を予想画像生成部１１５に渡す。

三次元形状生成部１１４は、メタ情報解析部１１３から各衛星画像の撮像位置および撮像角度の各情報を取得し、これらの情報を、ＭＶＳによるステレオペアを形成する２以上の衛星画像のカメラ位置姿勢の初期値として採用する。
ＭＶＳを実施する前段処理として、ＳｆＭによって衛星画像のカメラ位置の相対関係を取得する。ＳｆＭでは衛星画像間の特徴点マッチングによって画像間の対応関係を計算するが、この処理を高精度化するため、メタ情報に含まれる衛星情報から、カメラの光学性能のデータベースを参照し、焦点距離の情報、画像のゆがみの情報などカメラの内部パラメータを取得する。

これらの情報と既知のＧＣＰ情報を利用し、複数の衛星画像間におけるカメラの位置姿勢の補正、あるいは内部パラメータの修正を実施する。
ここで、特徴点よりも信頼度の高い情報を使用することで、ステレオペアの基点となるカメラの位置姿勢情報の推定精度の向上を図るとよい。また、信頼のおけるＧＣＰ情報は三次元形状の生成精度を向上させるから、ユーザが新たに入力したＧＣＰ情報を蓄積する仕組みを設けるとよい。
もちろん、衛星画像のみを用いて三次元化する必要はなく、ドローン（drone）など、比較的地上に近い場所で撮像した画像を用いて三次元化したものに地図情報を付与したモデルや、レーザセンサーで取得した三次元点群を併用してもよい。

これらの衛星画像以外の画像を用いて取得した三次元形状の位置精度は、衛星画像のみで作成した三次元形状よりも１桁～２桁程度、位置精度がよいことが想定される。そのため、これらの位置情報を使い、衛星画像のカメラパラメータの較正を行ってもよい。
カメラパラメータとは、位置姿勢の情報や、歪、焦点距離などの情報のことを指す。例えば、バンドル調整をするときに、これらの三次元点群を既知情報として固定したうえで、再投影誤差が小さくなるようなカメラパラメータを各衛星画像について探索するとよい。
このように較正されたカメラパラメータの情報を用いたＭＶＳにより、衛星画像による三次元点群の位置精度の向上が期待できる。

三次元形状部比較部１１６は、新規に撮像された新規画像を追加した新規撮影画像群♯Ｎと、前回までに撮影した過去撮影画像群♯Ｎ－１のそれぞれで生成した三次元形状を比較する。

ここで、衛星画像のピクセルは絶対位置の情報を保持しているから、構築された２つの三次元形状を構成する三次元点群間の距離を計算し、一定距離離れた点群が孤立していた場合に、三次元形状の変化があったとみなす。この際、ボクセル単位でのノイズ除去などもセットで実施しておくとよい。

この時点で検出される三次元形状の変化は、図６に示すように、過去撮影画像群（♯Ｎ－１）で新たに発生した差分が対応する画像ペアがなかった（昔の画像になかった建物は特徴点がない）ため復元されなかった部分が、新規撮影画像（♯Ｎ）によって対応するステレオペアが確定して、差分となって抽出される。

予想画像生成部１１５は、三次元形状生成部１１４から受け取った三次元形状と、メタ情報解析部１１３から受け取った衛星の位置姿勢の情報および太陽の位置情報、ならびに画像選択部１１１から受け取った過去の衛星画像を用いて、予想画像を生成する。予想画像生成部１１５にて、生成された予想画像は二次元変化抽出部１１７に渡される。

ここでいう過去の衛星画像とは、変化抽出を行いたい衛星画像より前に撮影した１以上の衛星画像を指す。
光源の位置は太陽であり、衛星画像の撮影日などの情報を用いれば太陽までの距離等も計算可能であるから、どの地物を用いて影領域を再現するかは、３Ｄグラフィックス業界で標準的に使用されるデプスシャドウ（depth shadow）技法などにより計算するとよい。デプスシャドウ技法とは、ライトから見たDepth Textureを予め生成し、ピクセルを描画する際、その「ピクセルとライト間の距離」と「Depth Textureの深度」を比べて影かどうかを判定する、現状メジャーな影描画方法である。

二次元変化抽出部１１７は、予想画像生成部１１５にて生成された予想画像の影領域、物体の去来、植生の色変化などの二次元変化を抽出する。

ここで、予想画像は、過去画像から生成された三次元形状に、太陽の位置情報をもちいて計算される影の長さは、地物の高さ情報とみなすことができるから、影領域の長さの違いは、影を形成する物体の高さ情報が変化したことが予想される。

そこで、影領域の変化を検出した場合には、三次元再投影部１１８にて、当該影変化領域を構成する三次元形状に変化があった部分として再投影、表示する。

予想画像に影領域のなかった場所に新たに影領域が現れた場合は、もともと何もなかった場所に地物が建造された可能性が高い。この場合、地物の去来を検出する二次元の画像比較により、変化を検出した場所における、三次元的な変化を影の長さから推定することに相当する。

二次元変化抽出部１１７～三次元再投影部１１８の処理の流れについては図８を参照してさらに詳しく説明する。

図８において、二次元での変化抽出を行う場合、まず、クラスタリング方法により、新規に撮影した衛星画像を小ピクセルの集合領域（クラスタ）にクラス分類（分割）した上で変化を抽出するとよい(ステップ１００１)。

クラスタリング方法は教師なし、あるいは教師ありのいずれの方法でもよい。
クラスタリング後は、各クラスタの属性を割り当てる。そして、教師ありでクラスタリングした場合は、教師データにラベル付けがされているから、属性の割り当て処理は明示的には必要ない。一方、教師なしクラスタリングをした場合には、そのクラスタの属性は未知であるから、予め学習しておいたクラス分類器を用いてクラスを付与するとよい。

一般にクラス分けをある程度細かく区切ってから、クラス統合する方が人の考え方と一致したクラスとして扱いやすいため、本実施の形態でもその方法を想定する。

例えば、色の違う屋根を持った建物を、建物として認識することは難しいが、一度分割してクラス分けをしてから結合することで、クラス分類器に余計な色の情報を与えて精度を劣化させずに済む。
物体の形状の情報を使用できれば、色の違いを吸収できる可能性はあるから、先に物体抽出のアルゴリズムを実行して物体だけ抽出を済ませておいてもよい。特に人工建造物、大型の乗物は規則正しい形状をしているから、形状情報をベースでの抽出ができる。

クラスタに区切った学習をする場合は、周辺ピクセルの情報を使いながら学習が可能であるから、テクスチャ情報を使ったＳＶＭ(Support Vector Machine)や、ＣＮＮ(Convolutional Neural Network)などが候補となる。

テクスチャ（texture）の情報を生成する場合には、各クラスタの重心位置で計算したＧＬＣＭ(Gray-level Co-occurrence Matrix)から、均一性、分散値などの評価値を算出して使用してよい。ＣＮＮの場合もクラスタの重心位置から規定サイズの矩形を切り出してＣＮＮへ入力するとよい。

衛星画像は、大気上端における反射係数に変換することで、正規化の効果が期待できるが、太陽角度や地物の高度の違いによって、類似材質の地物でも反射係数が異なることがある。

衛星画像解析プラットフォーム１では、データは徐々にたまっていくから、光の入射角に起因する反射係数の違いを反映するように、徐々にクラスの分割単位を徐々に細分化するとよい。

例えば、同一地域を撮影した衛星画像が蓄積してくると、変化が起きていない場所において、同じ地物と判定されつつ異なる反射係数を示すクラスタがあるから、その陰影情報を反映したクラス分類が可能になる。反射係数、植生の変化は季節性を持つから、大気補正や太陽強度の補正をかけても地表面の変化を追随することはできないので、季節ごとに分類モデルを切り替えるようにしておくとよい。

また、衛星画像の輝度値、例えば、デジタル値、反射係数、放射輝度値のいずれかあるいは複数を用いて、画像の暗い部分を影として抽出する(ステップ１００２)。
単に色が黒いだけのものもあるから、影領域として抽出された領域と、メタ情報から得られる太陽光の向きを比較して、ステップ１００１のクラス分類の結果にて、建物や森林など高さを持つ地物が影領域に近接しているかを判定し、隣接している場合には影領域として確定する。

一方、被雲面積が大きい画像の場合、雲影の影響が問題となる可能性がある。この場合も太陽光の向きの情報から、雲影になる領域を推定して変化抽出の対象範囲から除外する。
雲影領域を推定する代わりに、雲マスク作成時に雲影領域も予め除去しておいてもよい。

このようにして得られたクラス分類画像について、差分抽出を実行して二次元の差分抽出処理を行う(ステップ１００３)。
すなわち、太陽光の到来方向の影が長くなったか、その側の影が短くなったか、の判定を行う。

ステップ１００３にて、予想画像の影領域と新規画像である最新画像の影領域がずれているかを判定し、予想画像と比較して、太陽光の到来方向に対して影が伸びた場合（ＹＥＳ）、あるいはその逆方向の影が短くなった場合（ＮＯ）には、過去画像にあった地物が最新画像では消え去った可能性が高いため、消えた地物の位置推定処理を行う(ステップ１００４)。

地物の位置推定処理は、まず、最新画像と予想画像の影領域のクラスタをそれぞれ走査し、変化があるかチェックする。
変化の確認方法としては、予め設定されたサイズ以上の影領域の差が発生したかどうかをもって判断してよい。

変化が検出された場合、当該影領域と接する地物のクラスタのクラスを確認する。特に太陽光の到来方向側で接しているクラスタが変化した地物を表す確率が高いから、その方向のクラスタの属するクラスが予想画像と最新画像で変化したかを確認する。
太陽光の到来方向の逆方向の影領域の変化があった場合には、最新画像撮影時点において当該クラスタの場所にあったものがなくなったか高度が下がった可能性が高い。
より離れた場所の高い建物がなくなった可能性もあるため、予想画像を生成したときの三次元情報を活用して位置を特定するとよい。

予想画像の生成は、太陽光の到来角度と、衛星画像の撮影位置と姿勢の情報を元にデプスシャドウ技法を用いるから、影領域を形成する過程でどの地物によってどの影領域が形成されたかは逆算が可能である。
よって、影領域の変化を検出した場合には、予想画像の生成過程をさかのぼって、変化領域の影生成にかかわった地物の場所を特定するとよい。

同様に、予想画像の影領域と、最新領域の影領域がずれているか判定し、予想画像に比べて太陽光の到来方向に影が短くなったか、あるいはその逆側の影が長くなったかを判定し(ステップ１００５)、また、消えた地物の位置推定処理を行う（ステップ１００６）。
いずれかの条件が成立した場合には、最新画像で新たに高度の高い建物が発生した確率が高い。

新たに地物が現れた場合は、影が当該地物によって遮断されるからである。この場合も、最新画像において、変化が検出された影領域に隣接する地物クラスタを参照し、属するクラスが変化したかどうか確認することで三次元変化が発生した場所を推定することが可能になる。以上の処理により、三次元変化が起きた二次元の位置を推定できた。

これに加えて、変化した三次元形状は直方体と仮定して、影領域と太陽光の到来角度から、高さを算出することで、三次元再投影部で表示するデータを生成する。

図３に戻り、表示データ生成部１１９では、三次元再投影部１１８から受け取った影領域の変化から類推した三次元形状変化の予想結果と、二次元変化抽出部１１７から受け取った二次元での変化抽出結果、および三次元形状比較部１１６から受け取った三次元形状の変化抽出結果と、画像選択部１１１から受け取った最新および過去の衛星画像撮影を表示するためのデータを次のアクセス制御部１２でユーザに通知できるデータ形式に加工する。

三次元形状比較部１１６では、三次元形状同士を比較して差分を検知したが、三次元再投影部１１８で作った三次元形状の変化は検出方法が異なるから、同じように三次元形状に変化を表示するとしても、違いがわかるように色の違いや、点滅など表示方法を変えてもよい。
また表示モードを変えて、三次元形状比較部１１６や三次元再投影部１１８の出力結果の表示について、ＯＮ/ＯＦＦを切り替えられるようにしてもよい。

図４は、本発明の衛星画像変化抽出システムにおけるアクセス制御部１２の機能ブロック図である。
アクセス制御部１２は、ユーザ情報制御部１２１、表示情報制御部１２２、情報通知制御部１２３、ネットワークインタフェース１２４、を有する。

アクセス制御部１２におけるユーザ情報制御部１２１は、エンドユーザ情報記憶装置１１０のエンドユーザ情報を受け、解析エンジン１１に渡すユーザ制御情報を管理し、衛星画像解析プラットフォーム１上に実装された記憶デバイス上に、例えば、図５に示すようなユーザ管理テーブルを保持する。

ユーザ管理テーブルは、ユーザの加入形態に関する情報、例えば、ユーザＩＤ５１、ユーザ名５２（会社名、個人名、機関名など）、ライセンス５３（月課金／標準、ワンタイム／ライト、年課金／ハイグレードなど）、興味領域５４、解析サービス５５（差分検出）、残撮影枚数５６、などを格納している。
ユーザ名５２は、例えば、会社名、個人名、機関名などであり、ライセンス５３は、例えば、月課金／標準、ワンタイム／ライト、年課金／ハイグレードなどであり、解析サービス５５は、例えば、差分検出などである。

表示情報制御部１２２は、ユーザの加入形態によって表示するデータを選別する機能を有する。

表示情報制御部１２２が動作するタイミングは、解析エンジン１１が動作したタイミングと連動してもよいし、周期的に表示用データの更新がないか解析エンジン１１に問い合わせてもよいし、共通でアクセス可能な記憶領域に格納してもらってもよい。
あらかじめ、ユーザがアクセス可能な情報を別個に生成してもよいし、共通の情報に閲覧制限をかける方法で情報を生成してもよい。

例えば、インターネット４のサイトで情報を提示する場合には、ユーザのライセンス形態により、リンクをきったり、ドロップダウン選択肢を選べないようにしたり、ラジオボタンを選択できないようにしたり、情報にアクセスできないような仕組みを設けるとよい。通知の手段がメール形式の場合には、ライセンス形態に応じて開示する情報の範囲を制御するとよい。

情報通知制御部１２３は、これらの情報を通知手段に応じてデータを整形し、ネットワークインタフェース１２４を介してフロントエンド部２に通知する。また情報通知制御部１２３は、ユーザごとに更新タイミングを管理し、情報更新があった場合には、フロントエンド部２にプッシュ通知する機能を有してもよい。

フロントエンド部２のフロントエンド表示部２１にて表示するためのネットワークインタフェース１２４については、専用のアプリケーションウィンドウを用いてもよいし、インターネット４のブラウザで表示してもよい。

例えば、図７に示すように、変化箇所がわかりやすいように、ウィンドウを並列して表示してもよい。これらのウィンドウは重畳表示し、タブで切り替えられるようになっていてもよい。各ウィンドウの表示／非表示は選択的に可能な仕組みにしてもよい。通知手段がメールの場合には、フロントエンド部２にメールを送信してもよい。

図７は、本発明の衛星画像変化抽出システムにおけるフロントエンド部２のユーザインタフェースを説明する図である。
エンドユーザ情報は、例えば、最新画像レビュー、二次元変化、表示データ制御ボタン、過去の衛星画像から生成した三次元データプレビュー、予想画像プレビュー、三次元変化、などであり、これらはフロントエンド表示部２１に図示のように表示される。

二次元変化からは、画像処理で影の位置を推定、差分候補を検出できる。二次元変化を見つけた地物に影からの高さを類推し、三次元上に色分け表示する。三次元形状が確定すると、三次元変化が検出できる。予想画像プレビューは、過去の衛星画像群（＃１、・・・Ｎ－２）から作成した三次元データ、撮像位置、太陽位置を使って「予想画像」を生成する。「予想画像」をもって、影の方向と長さを予測する。

実施例１では、解析サービスとして「差分検出」つまり、変化抽出に関し説明したが、その他、物体抽出などのサービスと重畳表示してもよい。

以下、その実施形態について図９を参照して説明する。
本実施例では、衛星画像解析プラットフォーム１の持つデータベースを、エンドユーザから提供されるユーザ情報を用いてアップデートする双方向のシステム運用方法について説明する。

実施例１では、衛星画像解析プラットフォーム１上に蓄積されたデータをもとに三次元変化を抽出する方法について説明した。
一方で、三次元形状生成部１１４の精度を向上させるためには、解像度と位置精度の両方がよい三次元形状データが必要になる。
ドローンとＧＣＰを組み合わせて取得した三次元形状などが例として挙げられるが、ドローンの撮影範囲は衛星画像に対して単位面積当たりの撮影コストが高くつくから、広範にわたって精度の高い前記三次元形状データを解析プラットフォーム１の提供者が準備することは難しい。

また、一方で、当該三次元形状データをユーザが所有する場合、衛星画像解析プラットフォーム１上にデータをインプットすることができれば、解析精度を向上させることが可能になる。
ユーザから提供されたユーザ情報を他のユーザに開示することはできないが、利用規約を提示した上で許可が得られた場合には、解析エンジン１１は、提供された三次元形状データを使用して、衛星画像の撮影位置姿勢の較正データとして用いてもよい。
同様に、変化抽出の精度を向上するための仕組みを用意する。

三次元形状比較結果の妥当性チェックレポートをユーザから提供してもらう仕組みをフロントエンド部２に用意する。

例えば、フロントエンド部２は、衛星画像解析プラットフォーム１における三次元再投影部１１８から抽出結果の表示情報を受け、三次元形状生成部１１４から三次元形状の表示情報を受け、また、三次元形状比較部１１６から三次元比較結果表示情報を受けたとき、三次元形状比較結果の妥当性チェック（ステップ２０１）および三次元形状比較結果の妥当性チェックレポート作成（ステップ２０２）の各処理を実行し、その判定結果を衛星画像解析プラットフォーム１へ送信する。

これにより、衛星画像解析プラットフォーム１は、三次元形状比較結果の妥当性チェックレポートを受けて、データベース、つまり、衛星画像記憶装置１３１の更新を行う（ステップ１２１）。

フロントエンド部２のフロントエンド表示部２１には、図７に示したような画面が表示されていることが想定されるが、加えて、フロントエンド部２にて作成した妥当性チェックレポートによって、抽出した三次元形状変化の位置や、二次元画像上の変化位置がＯＫかＮＧかのデータを収集する機能をつけてもよい。ＮＧの場合には教師データ収集の目的から、正解ラベルやポリゴン形状の情報を収集する仕組みを、フロントエンド部２のユーザインタフェースにつけてもよい。

あるユーザが変化抽出の妥当性チェックレポートでＮＧと報告した位置については、同一地域に関心を持つ別ユーザに対しても、注意マークを付与する仕組みを準備してもよい。

同一地域に興味をもつユーザ間で、ＯＫやＮＧの判定情報はシェア可能とし、複数ユーザからＮＧの妥当性チェックレポートがあがった場合には、変化抽出の方法を更新してもよい。

例えば、変化抽出の精度が悪いのは、クラス分類の精度が悪いことが主要因と考えられるから、ＮＧの妥当性チェックレポートが多くあがってきた場合には、当該地域における正解率を上げるため、前記正解ラベルやポリゴン形状の情報を用いて、クラス分類器の再学習をかけるとよい。
これらの実施の形態は単体で動作する必要はなく、組み合わせて使用してもよい。

以上述べた実施例によれば、三次元的な変化を低コスト、短時間、で抽出することができる。また、例えば、高解像度な衛星画像が安価に流通するようになった場合，複数の衛星画像を用いて，リクエストに応じた任意の衛星画像の組み合わせで変化抽出を実施可能になる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１ 衛星画像解析プラットフォーム
１１ 解析エンジン
１１０ エンドユーザ情報記憶装置
１１１ 画像選択部
１１２ 前処理部
１１３ メタ情報解析部
１１４ 三次元形状生成部
１１５ 予想画像生成部
１１６ 三次元形状比較部
１１７ 二次元変化抽出部
１１８ 三次元再投影部
１１９ 表示データ生成部
１２ アクセス制御部
１２１ ユーザ情報制御部
１２２ 表示情報制御部
１２３ 情報通知制御部
１２４ ネットワークインタフェース
１３ 大容量記憶装置（データベース）
１３１ 衛星画像記憶装置
２ フロントエンド部
２１ フロントエンド表示部
３ クラウドサーバ
４ インターネット

Claims (9)

1. 衛星画像解析プラットフォームを備え、衛星画像の変化を抽出する衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、
   過去に撮影した第１の衛星画像群と、前記第１の衛星画像群に新規に撮影した新規衛星画像を１枚追加して得られる第二の衛星画像群を用いて、それぞれの第一の三次元形状データを生成して三次元形状の変化を抽出する第一の三次元変化抽出部と、
   前記第１の衛星画像群から生成した第一の三次元形状データと前記新規衛星画像に付属する太陽光の到来方向と撮影地点における衛星の位置姿勢を用いて、影領域と構造物の倒れこみを予想した衛星画像の予想衛星画像を生成する予想衛星画像部と、
   前記新規衛星画像と前記予想衛星画像を比較して、前記影領域の変化を検出する部と、
   前記影領域の変化を検出する機能にて検出した影領域の変化から第二の三次元形状の変化を抽出する第二の三次元変化抽出部、
   を有することを特徴とする衛星画像変化抽出システム。
2. 請求項1に記載の衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、アクセス制御部をさらに有し、
   前記アクセス制御部は、
   前記第一の三次元変化抽出部および前記第二の三次元変化抽出部にて抽出した三次元形状の変化を示す情報をユーザとのライセンス形態に応じて表示する表示情報制御部と、
   前記三次元形状の変化を抽出したとき、前記ユーザに対して通知する通知制御部と、
   を有することを特徴とする衛星画像変化抽出システム。
3. 請求項１に記載の衛星画像変化抽出システムであって、
   前記第一の三次元変化抽出部にて生成した三次元形状データは、ユーザあるいはシステム運用者が入力する高精度な三次元形状データを利用して、前記衛星画像の撮影位置姿勢情報を較正する
   ことを特徴とする衛星画像変化抽出システム。
4. 請求項1に記載の衛星画像変化抽出システムであって、
   前記予想衛星画像部にて、前記予想衛星画像を生成するときに、前記第１の衛星画像群を元に生成された三次元形状と、前記新規衛星画像に付属する前記太陽光の到来角度と、前記衛星の撮影位置姿勢の情報とを用いてデプスシャドウ技法により、前記予想衛星画像の生成上に前記影領域を生成する
   ことを特徴とする衛星画像変化抽出システム。
5. 請求項1に記載の衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、
   前記太陽光の到来方向情報と前記影領域の変化位置から、変化の起きた地物の位置を推定し、
   前記新規衛星画像の影領域が、前記予想衛星画像と比較して前記太陽光の到来方向に向かって大きくなっていた場合、あるいは前記太陽光の進行方向に向かっては小さくなった場合に、地物が低くなったことを検出する
   ことを特徴とする衛星画像変化抽出システム。
6. 請求項1に記載の衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、
   前記太陽光の到来方向情報と前記影領域の変化位置から、変化の起きた地物の位置を推定し、
   前記新規衛星画像の前記影領域が、前記予想衛星画像と比較して前記太陽光の到来方向に向かって小さくなっていた場合および前記太陽光の進行方向に向かって大きくなった場合に、地物が高くなったことを検出する
   ことを特徴とする衛星画像変化抽出システム。
7. 請求項５に記載の衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、
   前記太陽光の進行方向に向かって影領域が小さくなった場合、前記太陽光の到来方向に隣接するクラスタに直方体があると仮定し、前記直方体の高さは、前記新規衛星画像の前記影領域と太陽角度から計算し、第一の三次元形状データと前記直方体の差分を、第二の三次元形状変化として抽出する
   ことを特徴とする衛星画像変化抽出システム。
8. 請求項６に記載の衛星画像変化抽出システムであって、
   前記衛星画像解析プラットフォームは、
   前記太陽光の進行方向に向かって前記影領域が大きくなった場合、前記太陽光の到来方向に隣接するクラスタに直方体があると仮定し、前記直方体の高さは、前記新規衛星画像の前記影領域と太陽角度から計算し、前記第一の三次元形状データと前記直方体の差分を、第二の三次元形状変化として抽出する
   ことを特徴とする衛星画像記変化抽出システム。
9. 請求項２に記載された衛星画像変化抽出システムであって、
   前記表示情報制御部は、
   前記第一の三次元変化抽出部によって得られた三次元変化と、前記第二の三次元変化抽出部によって得られた三次元変化を異なる方法で表示する表示データを生成する
   ことを特徴とする衛星画像変化抽出システム。

Images