JP3961432B2

JP3961432B2 - Image processing program

Info

Publication number: JP3961432B2
Application number: JP2003027027A
Authority: JP
Inventors: 義昭賀川
Original assignee: Hitachi Software Engineering Co Ltd
Current assignee: Hitachi Software Engineering Co Ltd
Priority date: 2003-02-04
Filing date: 2003-02-04
Publication date: 2007-08-22
Anticipated expiration: 2023-02-04
Also published as: JP2004240547A

Description

【０００１】
【発明の属する技術分野】
本発明は、高空から撮影した画像内の雲で覆われている領域に関する画像処理技術に関する。
【０００２】
【従来の技術】
近年、高分解能を有する人工衛星による写真撮影技術の発展により、航空写真に匹敵する解像度を有する衛星画像を取得することが可能となってきた。しかしながら、高い高度から地球を撮影することにより得られる衛星画像は、航空写真と異なり雲に遮られて観測地の地表面情報が得られないこともある。このような場合に、衛星画像内に含まれる雲の領域を除去し利用可能な部分を特定する必要がある。
【０００３】
上記関連技術に関して、例えば特許文献１に記載されている。特許文献１では、人工衛星の各バンドのＤＮ値（地球観測衛星が計測した放射輝度を０〜２５５までに離散化した値）に対して閾値を設定することにより雲に覆われた領域の抽出を行う技術を開示している。閾値の決定は、カラー画像を使用し操作者の目視による判断に基づく。その他多くの場合には、画像のピクセル情報に基づき、ある一定の閾値を設定するなどにより画像の分類を行い、その情報から雲に覆われた領域の抽出を行っている。
【０００４】
【特許文献１】
特開２００１−１４３０５４号公報
【０００５】
【発明が解決しようとする課題】
上記手法は、ラスタ情報に基づく雲領域の抽出方法であり、分類を行うために人による操作が必要であり、また自動化できた場合にも誤認識が発生する可能性がある。また、点の集合として表現されるラスタ情報に基づくと、処理計算時間が膨大になる。さらに、雲に覆われて画像情報として使用不可能な領域をメモリなどに登録する場合に、その使用不可能領域はラスタ情報として抽出されるため、これをポリゴンデータ等の形態でデータベースに登録する場合には、ラスタ・ベクタ変換工程を経る必要がある。また、ラスタデータの状態のままで衛星画像と関連付けて登録すると、多くの記憶容量が必要になり、検索情報に対する応答が遅くなる。
本発明は、衛星画像内の雲に覆われた領域を効率良くかつ自動的に抽出し、位置情報による画像取得要求に対して適切な画像を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の一観点によれば、高空から撮影した画像において雲で覆われることにより画像データとして利用できない利用不可能領域に関連する画像処理をコンピュータに実行させるためのプログラムであって、画像をベクトル地図上の対応する位置に重ね合わせる手順と、前記ベクトル地図上にグリッドを設定する手順と、前記グリッドの交点が雲内か否かを判定する手順と、雲内と判定された前記グリッドの交点の周囲のグリッド領域を推定雲領域と判定する手順とを有することを特徴とする画像処理プログラムが提供される。
前記ベクトル地図上にグリッドを設定する手順は、各グリッドのサイズを、検出したい最小サイズの雲内に収まるサイズに設定するのが好ましい。
【０００７】
また、前記グリッドの交点が雲内か否かを判定する手順は、前記グリッドの交点に最も近い線ベクトル要素の周辺の画像のエッジと輝度とを抽出する手順と、該エッジの最大強度が所定の強度閾値以下であり、該輝度が所定の輝度閾値以上である時に、前記グリッドの交点が雲内であると判定する手順と、を有することが好ましい。
【０００８】
上記プログラムを用いると、利用不可能領域を地図データ上のベクトル線分に基づく位置データとして特定することができ、利用不可能領域に関する情報のデータ量を少なくすることができる。
【０００９】
【発明の実施の形態】
本発明に係る衛星画像処理技術は、地物が確認できる程度の解像度を有する光学センサを搭載した人工衛星により高空から撮影された例えば地上（地表）衛星画像内において、雲で覆われている範囲を自動的に抽出し、そのデータをデータベースに画像ＩＤとともに登録することにより、位置情報による画像取得要求に対して適切な画像データの提供を行う技術である。例えば、インターネットを用いて行われるサービスの一形態として利用できる。
【００１０】
以下、本発明の一実施の形態による衛星画像処理技術について図面を参照して説明する。図１は、本発明の一実施の形態による衛星画像処理システムの構成例を示すブロック図である。図１に示すように、本実施の形態による衛星画像処理システムは、構成上大きく３つの部分、すなわち、衛星画像データを格納する画像アーカイブ（データベース）１００と、情報処理装置（情報処理手段）２００と、クライアント（端末）６００とである。画像アーカイブ１００は、画像配信システム５０から情報ネットワーク１０を介して受信した全ての衛星画像データを格納するデータベースであり、例えば大容量データストレージにより構成される。
【００１１】
情報処理装置（手段）２００は、汎用ワークステーション又はパーソナルコンピュータなどにより構成されており、大容量記憶装置３００とラスタ・ベクタ処理手段４００と、位置情報による画像検索手段５００と、を有する。大容量記憶装置３００は、ベクトル地図データ３１０と、衛星画像データ３２０と、衛星画像データ３２０のベクトル地図データ３１０上の位置を格納した衛星画像領域データ３３０と、衛星画像データ３２０と衛星画像領域データ３３０と、を対応つけて管理するための衛星画像ＩＤデータ３４０と、利用不可能領域（雲領域）データ３５０と、を格納する。利用不可データ領域３５０が衛星画像領域データ３３０の領域内にある場合、衛星画像ＩＤデータ３４０は衛星画像データ３２０、衛星画像領域データ３３０とともに利用不可データ領域３５０も対応つけて管理する。ベクトル地図データ３１０は、上記衛星画像を撮影した時点に対して直近のデータを用いるのが好ましい。ベクトル地図データと更新日時情報とを対応させて記憶させたデータベースを作成しておくことも可能である。
【００１２】
ラスタ・ベクタ処理手段４００は、衛星画像とベクトル地図との重ね合わせ処理工程４１０と、線ベクトル要素の周辺のエッジ抽出及び線ベクトル要素の周辺の輝度値判定処理工程４２０と、利用不可能領域抽出処理工程４３０とを含む処理を行う。情報処理装置２００には、結果確認装置としてＣＲＴ２１０が設けられるとともに、必要な条件入力手段としてキーボード２２０及びポインティングデバイス２３０が接続されている。さらに、情報処理装置２００は、情報通信ネットワーク２０により画像アーカイブ１００と接続されている。
【００１３】
クライアント６００は、情報通信ネットワーク３０を通じて情報処理装置２００に接続されているパーソナルコンピュータ（端末）などである。クライアント６００には、検索結果を確認する装置であるＣＲＴ６１０と、検索条件入力手段であるキーボード６２０及びポインティングデバイス６３０が接続されている。画像配信システム５０から新規画像が画像アーカイブ１００内に格納された場合に、その通知を情報処理装置２００が受け、情報通信ネットワーク２０を通じて大容量記憶装置３００内に上記の新規画像データを衛星画像データ３２０として格納する。次にベクトル地図データ３１０及び衛星画像データ３２０及び衛星画像領域データ３３０をラスタ・ベクタ処理手段４００に送る。
【００１４】
ラスタ・ベクタ処理手段４００は、衛星画像とベクトル地図との重ね合わせ工程４１０においてベクトル地図データ３１０から衛星画像領域データ３３０を元に対象部分を切り出し、ベクトル地図データの座標系において衛星画像データ３２０と重ね合わせる。
【００１５】
次に、図２〜図４を参照して、線ベクトル要素の周辺のエッジ抽出及び線ベクトル要素周辺の輝度値判定工程４２０（図１）における処理の流れを説明する。図２は、輝度値判定工程４２０における処理の流れを示すフローチャート図であり、図３は、雲のサイズからグリッドのサイズを決定する様子を示す概念図である。図４は、ベクトル地図データを分割する様子を示す概念図である。
【００１６】
まず、図３に示すように、検出したい雲の最小サイズ３１２内に収まるサイズにグリッドサイズ３１３を決定する(ステップ４２１)。このグリッドサイズ３１３は小さくすればするほど雲領域検出の精度は上がるが、計算が多くなり処理が遅くなるため、検出したい雲の最小サイズ３１２にちょうど収まる大きさから、その４分の１程度の大きさが望ましい。決定したグリッドサイズ３１３により、格子状のグリッド３１４を作成し、このグリッド３１４をベクトル地図データと重ね合わせる(ステップ４２２)。
【００１７】
次に、図４に示すように、ベクトル地図データ３１０をある一定の長さの線ベクトル要素３１１に分割する（ステップ４２３）。このとき各線ベクトル要素３１１の長さは、設定したグリッドサイズ３１３の１辺（グリッドが正方形でない場合は短い方の一辺）以下の長さに分割するのが好ましい。この線ベクトル要素３１１の長さも短ければ短いほど雲領域検出の精度は上がるが、計算が多くなり処理が遅くなるため、例えばグリッド内の最小地物の一辺の長さを分割単位にするなどの方法を用いるとよい。道路や等高線などの長いベクトル地図データ３１０しかない地図においては、前記グリッドサイズ３１３の１辺の長さ以下であり、その４分１程度の長さが好ましい。もちろん、雲領域の検出精度を上げたい場合には上記以下の長さに分割しても構わない。
最後に、グリッド３１４の交点に一番近い線ベクトル要素３１１を取り出し、その線ベクトル要素３１１に対して処理Ａを行う(ステップ４２４)。
【００１８】
上記処理Ａの流れについて図５を参照して説明する。処理Ａにおいては、まず、線ベクトル要素３１１に対してその周辺の衛星画像のエッジを抽出する処理(ステップ４５１)を行う。このエッジ検出フィルタとしては、例えば図６に示す公知のRobinsonフィルタ４６０を用いれば良い。Robinsonフィルタ４６０により検出する範囲は、線ベクトル要素３１１から２〜３ピクセル以下とする。
【００１９】
次に、エッジの最大強度を調べ、それがある強度閾値以下であるか否かを判定する。エッジの最大強度がある強度閾値以下であれば、そのエッジが雲内に入っており、所定の強度が得られない状況であると推定することができる。次に、線ベクトル要素３１１周辺の衛星画像の輝度値を調べ、それがある輝度閾値以上であれば、雲に反射されて輝度が高くなっていると推定することができる。両方の条件が満たされれば、エッジと対応する線ベクトル要素３１１が雲の中で隠れて見えていない可能性が高いと判断する(ステップ４５２)。雲内の要素と判断された場合には、その線ベクトル要素３１１の属性情報として、雲内である可能性があるという情報を付加する(ステップ４５３)。例えば、全てのグリッド交点において処理Ａを行う。但し、処理時間を短くするために、間引き処理を行うことも可能である。
【００２０】
次に、利用不可能領域抽出工程４３０の流れについて図７〜図９を参照して説明を行う。図７は、利用不可能領域抽出工程の流れを示すフローチャート図である。図８は、雲内の可能性があるグリッド交点の周りの４つのグリッドをまとめて推定雲領域グループとする処理の様子を示す図である。図９は、利用不可能領域におけるポリゴン作成処理の様子を示す図である。
【００２１】
まず、線ベクトル要素３１１の周辺のエッジ抽出及び線ベクトル要素３１１周辺の輝度値判定工程４２０（図１）の結果に対して、図８に示すように、雲内の可能性があるグリッド交点４７０、すなわち上記ステップ４２４において雲内の可能性があるとされた線分に最も近いグリッド交点４７０の８近傍のグリッド交点で囲まれる領域を推定雲領域としてまとめる。この推定雲領域を各雲内の可能性のあるグリッド交点について求め、これらの推定雲領域群のうち重畳する部分を持つ領域をグループ化し、ＡＲ１、ＡＲ２のような推定雲領域グループを生成する（ステップ４３１）。これら推定雲領域グループ内の線ベクトル要素は雲内の可能性があるが、まだ各線分要素について雲内か否かは判定していない。そこで、それら推定雲領域グループ内に存在する全ての線ベクトル要素３１１に対して上記処理Ａを行い、各線ベクトル要素３１１が雲内にあるかを判定する(ステップ４３２)。次いで、図９に示すように、その中で雲内の可能性が高いと判断された線ベクトル要素３１１のうち推定雲領域グループの一番外側に位置する線ベクトル要素３１１を抽出し、それらの線分の中点４８０をつないだ領域４８１を雲の領域つまり利用不可能領域３５０としてポリゴン化する(ステップ４３３)。図９に示す地図では、道路４８５と建物４８７とが存在し、推定雲領域グループＡＲ３内のすべての線ベクトル要素３１１に関して雲内にあるか否かの判定を再度行い、その結果、雲内にある可能性が高いと判定された線ベクトル要素３１１の中点４８０を結ぶことにより形成された一番外側の線により画定される閉領域４８１内を雲内領域であると推定する。これらの工程により、雲内領域を画定する境界線を精度良くベクトルデータ化することができる。
【００２２】
ここでは、雲内の可能性が高いと判断された線ベクトル要素３１１のうち推定雲領域グループの一番外側に位置する線ベクトル要素３１１の中点４８０をつないで利用不可領域３５０としたが、これら推定雲領域グループの一番外側に位置する雲内の可能性が高い線ベクトル要素３１１から他の方法で利用不可領域３５０としてもよい。例えば、各雲内の可能性が高い線ベクトル要素３１１の２端点のうち推定雲領域グループの外側にある方の端点を結んで利用不可領域３５０としてもよい。
【００２３】
利用不可能領域抽出工程４３０により抽出されたポリゴン情報群を、大容量記憶装置３００内に利用不可能領域データ３５０として格納し、また衛星画像ＩＤ３４０及び画像領域データ３３０と対応付ける。
【００２４】
最後に、上記処理で求めた利用不可領域データ３５０の使用方法の一形態を図１と図１０とを参照しつつ説明する。まず、クライアント６００側から、キーボード６２０及びポインティングデバイス６３０を用いて要求画像領域５１０（図１０では５１０ａ及び５１０ｂ）を情報処理装置２００に送信する。
【００２５】
情報処理装置２００は受信した要求画像領域５１０と対応する位置の衛星画像ＩＤデータ３４０を検索し、利用不可能領域データ３５０が要求画像領域５１０に含まれるか否かを調べる。利用不可能領域データ３５０が要求画像領域５１０内に含まれない場合には（５１０ａの場合）、要求画像領域５１０に対応する画像データをクライアント６００に渡す（▲１▼）。利用不可能領域データ３５０が要求画像領域５１０に含まれる場合には（５１０ｂの場合）、その旨のメッセージをクライアント６００に返す（▲２▼）。
【００２６】
尚、要望画像領域内に利用可能領域データ３５０が一部重なっている場合には、その旨をメッセージすることもできるし、利用不可能領域を特定した要望画像データをクライアント６００に渡すようにしても良い。また、利用不可能領域データ３５０が要求画像領域５１０に含まれる場合、含まれない場合のいずれか又は両方において、衛星画像領域データ３３０と利用不可能領域データ３５０をクライアント６００に返し、要求画像領域５１０とともにＣＲＴ６１０に表示し、クライアント６００に、それらのデータを見て要求通りに画像データを取得するか、要求を取り消すか、要求画像領域５１０を変更して画像データを取得するかを促すようにしてもよい。
【００２７】
上記の方法によれば、大容量の画像データをクライアント６００に送信せずに、小容量のベクトルデータである衛星画像領域データ３３０と利用不可能領域データ３５０のみを送信することで、受信したクライアント６００は利用不可能領域をＣＲＴ６１０上で確認できるため、クライアント６００側の待ち時間は少なくなる。
【００２８】
以上により、クライアント６００からの要求に基づく衛星画像データ３２０を提供できるか否かを判断し、提供できる場合には該当するデータを、提供できない場合にはその旨を、クライアントに返すことができる。
【００２９】
以上、実施の形態に沿って説明したが、本発明はこれらに制限されるものではない。その他、種々の変更、改良、組合せが可能なことは当業者に自明であろう。例えば、本実施の形態では、利用不可能領域として雲に覆われた領域を例にして説明したが、雲の影領域や大きな地物（例えば山など）の影領域などに対しても適用可能であることは言うまでもない。
【００３０】
また、本実施の形態においては、衛星画像における画像処理を例にして説明したが、その他の画像、例えば航空写真などの他の画像処理にも応用できるのは言うまでもない。
【００３１】
【発明の効果】
本発明によれば、衛星画像から自動的に利用不可能な範囲を抽出し、データベースに登録するとともに位置情報による画像要求に対して適切な衛星画像を送ることができる。この際、衛星画像内の雲に覆われた領域を少ないデータ量で特定することができ、クライアントからの要求に対して迅速な処理が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による衛星画像処理システムの構成例を示す図である。
【図２】線ベクトル要素の周辺のエッジ抽出処理及び線ベクトル要素周辺の輝度値判定処理の流れを示すフローチャート図である。
【図３】検出したい雲のサイズに基づいてグリッドのサイズを決め、グリッドをベクトル地図データに重ね合わせた様子を示す図である。
【図４】ベクトル地図データと、これを線ベクトル要素に分割したベクトル地図データとの例を示す図である。
【図５】対象線ベクトル要素が雲内にあるか否かを判定する工程（処理Ａ）を示すフローチャート図である。
【図６】 Robinsonフィルタの構成を示す図である。
【図７】利用不可能領域抽出工程の処理の流れを示すフローチャート図である。
【図８】８近傍ラベリング処理及びグリッド交点の周り4つのグリッド内の処理の様子を示す図である。
【図９】利用不可能領域ポリゴンを作成する様子を示す図である。
【図１０】利用不可領域データの使用方法の一形態を示す図である。
【符号の説明】
10…情報通信ネットワーク、20…情報通信ネットワーク、30…情報通信ネットワーク、50…画像配信システム、100…画像アーカイブ、200…情報処理装置、210…CRT、220…キーボード、230…ポインティングデバイス、300…大容量記憶装置、310…ベクトル地図データ、320…衛星画像データ、330…衛星画像領域データ、340…衛星画像IDデータ、350…利用不可能領域データ、400…ラスタ・ベクタ処理方法、410…衛星画像とベクトル地図の重ね合わせ工程、420…線ベクトル要素の周辺のエッジ抽出及び線ベクトル要素周辺の輝度値判定工程、430…利用不可能領域抽出工程、500…位置情報による画像検索手段、600…クライアント、610…CRT、620…キーボード、630…ポインティングデバイス。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing technique related to a region covered with clouds in an image taken from a high sky.
[0002]
[Prior art]
In recent years, with the development of photography technology using artificial satellites with high resolution, it has become possible to acquire satellite images having a resolution comparable to aerial photographs. However, satellite images obtained by photographing the earth from a high altitude may be obstructed by clouds unlike the aerial photograph, and the ground surface information of the observation site may not be obtained. In such a case, it is necessary to remove a cloud region included in the satellite image and specify a usable portion.
[0003]
For example, Patent Document 1 discloses the related technology. In Patent Document 1, extraction of a region covered with clouds by setting a threshold value for the DN value of each band of an artificial satellite (a value obtained by discretizing the radiance measured by the earth observation satellite from 0 to 255). The technology to perform is disclosed. The determination of the threshold value is based on an operator's visual judgment using a color image. In many other cases, images are classified by setting a certain threshold value based on the pixel information of the image, and an area covered with clouds is extracted from the information.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-143054
[Problems to be solved by the invention]
The above-described method is a cloud region extraction method based on raster information, and requires a human operation to perform classification. In addition, erroneous recognition may occur even if automation is possible. Further, based on raster information expressed as a set of points, the processing calculation time becomes enormous. Furthermore, when an area that is covered with clouds and cannot be used as image information is registered in a memory or the like, the unusable area is extracted as raster information, and is registered in the database in the form of polygon data or the like. In some cases, it is necessary to go through a raster / vector conversion process. Further, if registration is performed in association with the satellite image in the state of raster data, a large amount of storage capacity is required, and the response to the search information is delayed.
An object of the present invention is to efficiently and automatically extract a cloud-covered area in a satellite image and provide an image suitable for an image acquisition request based on position information.
[0006]
[Means for Solving the Problems]
According to one aspect of the present invention, there is provided a program for causing a computer to execute image processing related to an unusable area that cannot be used as image data by being covered with a cloud in an image taken from a high sky, the image being a vector A procedure for overlaying corresponding positions on a map; a procedure for setting a grid on the vector map; a procedure for determining whether an intersection of the grids is in a cloud; and an intersection of the grids determined to be in a cloud And an image processing program characterized in that it includes a procedure for determining a grid area around the estimated cloud area.
In the procedure for setting grids on the vector map, it is preferable that the size of each grid is set to a size that fits within a minimum-sized cloud to be detected.
[0007]
Further, the procedure for determining whether or not the intersection of the grids is in a cloud includes a procedure for extracting an edge and brightness of an image around a line vector element closest to the intersection of the grid, and a maximum intensity of the edge is predetermined. And a procedure for determining that an intersection of the grids is in a cloud when the luminance is equal to or higher than a predetermined luminance threshold.
[0008]
When the above program is used, the unusable area can be specified as position data based on the vector line segment on the map data, and the amount of information regarding the unusable area can be reduced.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
The satellite image processing technique according to the present invention is a range covered with clouds in, for example, a ground (surface) satellite image taken from a high sky by an artificial satellite equipped with an optical sensor having a resolution that allows confirmation of a feature. Is automatically extracted, and the data is registered together with the image ID in a database to provide image data appropriate for an image acquisition request based on position information. For example, it can be used as a form of service performed using the Internet.
[0010]
Hereinafter, a satellite image processing technique according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of a satellite image processing system according to an embodiment of the present invention. As shown in FIG. 1, the satellite image processing system according to the present embodiment has three parts in terms of configuration: an image archive (database) 100 that stores satellite image data, and an information processing device (information processing means) 200. And a client (terminal) 600. The image archive 100 is a database that stores all satellite image data received from the image distribution system 50 via the information network 10, and is configured by, for example, a large-capacity data storage.
[0011]
The information processing apparatus (means) 200 includes a general-purpose workstation or a personal computer, and includes a mass storage device 300, a raster vector processing means 400, and an image search means 500 based on position information. The large-capacity storage device 300 includes vector map data 310, satellite image data 320, satellite image area data 330 that stores the position of the satellite image data 320 on the vector map data 310, satellite image data 320, and satellite image area data. 330, satellite image ID data 340 for managing them in association with each other, and unavailable area (cloud area) data 350 are stored. When the unusable data area 350 is in the area of the satellite image area data 330, the satellite image ID data 340 is managed in association with the unusable data area 350 together with the satellite image data 320 and the satellite image area data 330. As the vector map data 310, it is preferable to use data nearest to the time when the satellite image is taken. It is also possible to create a database in which the vector map data and the update date / time information are stored in association with each other.
[0012]
The raster vector processing means 400 includes a satellite image and vector map superimposition processing step 410, edge extraction around line vector elements and luminance value determination processing step 420 around line vector elements, and unusable area extraction. Processing including processing step 430 is performed. The information processing apparatus 200 is provided with a CRT 210 as a result confirmation apparatus, and a keyboard 220 and a pointing device 230 are connected as necessary condition input means. Further, the information processing apparatus 200 is connected to the image archive 100 via the information communication network 20.
[0013]
The client 600 is a personal computer (terminal) connected to the information processing apparatus 200 through the information communication network 30. Connected to the client 600 are a CRT 610 that is a device for confirming search results, and a keyboard 620 and a pointing device 630 that are search condition input means. When a new image is stored in the image archive 100 from the image distribution system 50, the information processing apparatus 200 receives the notification, and the above-described new image data is stored in the mass storage device 300 through the information communication network 20. Store as 320. Next, the vector map data 310, the satellite image data 320, and the satellite image area data 330 are sent to the raster vector processing means 400.
[0014]
The raster / vector processing means 400 cuts out a target portion based on the satellite image area data 330 from the vector map data 310 in a step 410 for superimposing the satellite image and the vector map, and Overlapping.
[0015]
Next, the flow of processing in the edge extraction around the line vector element and the luminance value determination step 420 (FIG. 1) around the line vector element will be described with reference to FIGS. FIG. 2 is a flowchart showing the flow of processing in the luminance value determination step 420, and FIG. 3 is a conceptual diagram showing how the grid size is determined from the cloud size. FIG. 4 is a conceptual diagram showing how vector map data is divided.
[0016]
First, as shown in FIG. 3, the grid size 313 is determined so as to be within the minimum cloud size 312 to be detected (step 421). The smaller the grid size 313, the higher the accuracy of cloud region detection. However, the calculation increases and the processing is slowed down. Size is desirable. Based on the determined grid size 313, a grid-like grid 314 is created, and this grid 314 is overlaid on the vector map data (step 422).
[0017]
Next, as shown in FIG. 4, the vector map data 310 is divided into line vector elements 311 having a certain length (step 423). At this time, the length of each line vector element 311 is preferably divided into a length equal to or shorter than one side of the set grid size 313 (the shorter side if the grid is not square). The shorter the length of the line vector element 311 is, the higher the accuracy of cloud region detection is. However, the calculation is increased and the processing is slowed down. For example, the length of one side of the minimum feature in the grid is set as a division unit. Use the method. In a map having only long vector map data 310 such as roads and contour lines, the length is one side or less of the grid size 313, and a length of about a quarter thereof is preferable. Of course, when it is desired to increase the detection accuracy of the cloud region, it may be divided into the following lengths.
Finally, the line vector element 311 closest to the intersection of the grid 314 is extracted, and the process A is performed on the line vector element 311 (step 424).
[0018]
The flow of the process A will be described with reference to FIG. In the process A, first, a process of extracting the edge of the surrounding satellite image is performed on the line vector element 311 (step 451). As this edge detection filter, for example, a known Robinson filter 460 shown in FIG. 6 may be used. The range detected by the Robinson filter 460 is 2 to 3 pixels or less from the line vector element 311.
[0019]
Next, the maximum intensity of the edge is examined to determine whether it is below a certain intensity threshold. If the maximum intensity of an edge is equal to or less than a certain intensity threshold, it can be estimated that the edge is in a cloud and a predetermined intensity cannot be obtained. Next, the brightness value of the satellite image around the line vector element 311 is examined, and if it is equal to or greater than a certain brightness threshold, it can be estimated that the brightness is reflected by the cloud. If both conditions are satisfied, it is determined that there is a high possibility that the line vector element 311 corresponding to the edge is hidden in the cloud and is not visible (step 452). When it is determined that the element is in the cloud, information indicating that the element may be in the cloud is added as attribute information of the line vector element 311 (step 453). For example, process A is performed at all grid intersections. However, it is possible to perform a thinning process in order to shorten the processing time.
[0020]
Next, the flow of the unusable area extraction step 430 will be described with reference to FIGS. FIG. 7 is a flowchart showing the flow of the unusable area extraction step. FIG. 8 is a diagram illustrating a state of processing in which four grids around a grid intersection that may be in the cloud are grouped into an estimated cloud region group. FIG. 9 is a diagram illustrating a polygon creation process in the unusable area.
[0021]
First, as shown in FIG. 8, the grid intersection point 470 that may be in the cloud is obtained with respect to the result of the edge extraction around the line vector element 311 and the luminance value determination step 420 (FIG. 1) around the line vector element 311. That is, the area surrounded by the grid intersections in the vicinity of 8 of the grid intersections 470 closest to the line segment that is considered to be possible in the cloud in step 424 is collected as an estimated cloud area. This estimated cloud region is obtained for potential grid intersections in each cloud, and regions having overlapping portions of these estimated cloud region groups are grouped to generate estimated cloud region groups such as AR1 and AR2 ( Step 431). The line vector elements in these estimated cloud region groups may be in the cloud, but it has not yet been determined whether each line segment element is in the cloud. Therefore, the process A is performed on all the line vector elements 311 existing in the estimated cloud area group to determine whether each line vector element 311 is in the cloud (step 432). Next, as shown in FIG. 9, line vector elements 311 located on the outermost side of the estimated cloud region group are extracted from among the line vector elements 311 that are determined to have a high possibility in the cloud. The region 481 connecting the midpoints 480 of the line segment is polygonized as a cloud region, that is, an unusable region 350 (step 433). In the map shown in FIG. 9, the road 485 and the building 487 exist, and it is determined again whether or not all the line vector elements 311 in the estimated cloud area group AR3 are in the cloud. It is estimated that the closed region 481 defined by the outermost line formed by connecting the midpoints 480 of the line vector elements 311 determined to have a high possibility is an in-cloud region. By these steps, the boundary line that defines the in-cloud region can be converted into vector data with high accuracy.
[0022]
Here, the midpoint 480 of the line vector element 311 located on the outermost side of the estimated cloud area group among the line vector elements 311 determined to have a high possibility of being in the cloud is connected as the unusable area 350. The line vector element 311 having a high possibility of being in the cloud located on the outermost side of these estimated cloud region groups may be used as the unusable region 350 by another method. For example, the unusable region 350 may be formed by connecting the end points outside the estimated cloud region group among the two end points of the line vector element 311 having a high possibility in each cloud.
[0023]
The polygon information group extracted by the unusable area extraction step 430 is stored as unusable area data 350 in the large-capacity storage device 300, and is associated with the satellite image ID 340 and the image area data 330.
[0024]
Finally, an example of a method of using the unusable area data 350 obtained by the above process will be described with reference to FIGS. First, the requested image area 510 (510a and 510b in FIG. 10) is transmitted from the client 600 side to the information processing apparatus 200 using the keyboard 620 and the pointing device 630.
[0025]
The information processing apparatus 200 searches the satellite image ID data 340 at a position corresponding to the received request image area 510 and checks whether the unusable area data 350 is included in the request image area 510. When the unusable area data 350 is not included in the requested image area 510 (in the case of 510a), the image data corresponding to the requested image area 510 is transferred to the client 600 ((1)). When the unusable area data 350 is included in the requested image area 510 (in the case of 510b), a message to that effect is returned to the client 600 ((2)).
[0026]
When the usable area data 350 partially overlaps the requested image area, a message to that effect can be sent, or the requested image data specifying the unusable area can be passed to the client 600. Also good. In addition, when the unusable area data 350 is included in the requested image area 510, either or both of them are returned, the satellite image area data 330 and the unusable area data 350 are returned to the client 600, and the requested image area 510 is displayed on the CRT 610 to prompt the client 600 to see the data and acquire the image data as requested, cancel the request, or change the requested image area 510 to acquire the image data. May be.
[0027]
According to the above method, the client that has received the image by transmitting only the satellite image area data 330 and the unusable area data 350, which are small-capacity vector data, without transmitting large-capacity image data to the client 600. Since the unusable area 600 can be confirmed on the CRT 610, the waiting time on the client 600 side is reduced.
[0028]
As described above, it can be determined whether or not the satellite image data 320 based on the request from the client 600 can be provided. If the satellite image data 320 can be provided, the corresponding data can be returned to the client.
[0029]
As mentioned above, although demonstrated along embodiment, this invention is not restrict | limited to these. It will be apparent to those skilled in the art that other various modifications, improvements, and combinations can be made. For example, in the present embodiment, an area covered by a cloud is described as an example of an unusable area, but the present invention can also be applied to a shadow area of a cloud or a shadow area of a large feature (such as a mountain). Needless to say.
[0030]
In this embodiment, the image processing on the satellite image has been described as an example, but it goes without saying that the present invention can be applied to other image processing such as aerial photography.
[0031]
【The invention's effect】
According to the present invention, an unusable range can be automatically extracted from a satellite image, registered in a database, and an appropriate satellite image can be sent in response to an image request based on position information. At this time, it is possible to specify a cloud-covered area in the satellite image with a small amount of data, and it is possible to quickly process a request from a client.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of a satellite image processing system according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a flow of edge extraction processing around a line vector element and luminance value determination processing around the line vector element.
FIG. 3 is a diagram showing a state in which the size of a grid is determined based on the size of a cloud to be detected, and the grid is superimposed on vector map data.
FIG. 4 is a diagram showing an example of vector map data and vector map data obtained by dividing the vector map data into line vector elements.
FIG. 5 is a flowchart showing a process (process A) for determining whether or not a target line vector element is in a cloud.
FIG. 6 is a diagram illustrating a configuration of a Robinson filter.
FIG. 7 is a flowchart showing a flow of processing in an unusable area extraction step.
FIG. 8 is a diagram showing a state of 8-neighbor labeling processing and processing in four grids around a grid intersection.
FIG. 9 is a diagram illustrating a state in which an unusable area polygon is created.
FIG. 10 is a diagram illustrating an example of a method of using unusable area data.
[Explanation of symbols]
10 ... Information communication network, 20 ... Information communication network, 30 ... Information communication network, 50 ... Image distribution system, 100 ... Image archive, 200 ... Information processing device, 210 ... CRT, 220 ... Keyboard, 230 ... Pointing device, 300 ... Mass storage device 310 ... Vector map data, 320 ... Satellite image data, 330 ... Satellite image area data, 340 ... Satellite image ID data, 350 ... Unusable area data, 400 ... Raster vector processing method, 410 ... Satellite Image and vector map superimposition step, 420 ... edge extraction around line vector element and luminance value determination step around line vector element, 430 ... unusable area extraction step, 500 ... image search means based on position information, 600 ... Client, 610 ... CRT, 620 ... Keyboard, 630 ... Pointing device.

Claims

A program for causing a computer to execute image processing related to an unusable area that cannot be used as image data by being covered with clouds in an image taken from a high sky,
Superimposing the image on the corresponding position on the vector map;
A procedure for setting a grid on the vector map;
Determining whether the intersection of the grids is in a cloud;
Determining a grid area around an intersection of the grids determined to be in a cloud as an estimated cloud area ,
The procedure for determining whether or not the intersection of the grids is in a cloud is:
A step of extracting the edge and brightness of an image around the line vector element, which is a line vector element closest to the intersection of the grid and the vector graphic element on the vector map is a line element shorter than the short side of the grid;
Maximum intensity of the edge is equal to or less than a predetermined intensity threshold, when the luminance is equal to or greater than a predetermined brightness threshold value, and wherein the intersection of the grid has a <br/> the procedure determines that clouds Image processing program.

The procedure for setting a grid on the vector map is as follows:
2. The image processing program according to claim 1, wherein the size of each grid is set to a size that fits within a minimum-sized cloud to be detected.

The procedure for extracting the edge and brightness of the image around the line vector element closest to the intersection of the grids is as follows:
The image processing program according to claim 1 , wherein the image processing program is performed on a line vector element divided in advance into a predetermined length.

The line vector element previously divided into a predetermined length is:
The image processing program according to claim 3, characterized in that it is divided shorter than the short side of the set the grid.

A procedure for extracting a maximum intensity and luminance value of an edge of an image around the line vector element in the estimated cloud region;
A step of determining that the line vector element is a set of line vector elements in a cloud when the maximum intensity of the edge is equal to or lower than a predetermined intensity threshold and the luminance is equal to or higher than a predetermined luminance threshold;
5. The method according to claim 3, further comprising a step of identifying an unusable region based on a line vector element group that is a set of line vector elements in the cloud located on the outermost side of the estimated cloud region. The image processing program described.

A program for causing a computer to execute image processing related to an unusable area that cannot be used as image data by being covered with clouds in an image taken from a high sky,
Superimposing the image on the corresponding position on the vector map;
A procedure for setting a grid of a size that fits within a minimum-sized cloud to be detected on the vector map;
Dividing vector graphic elements on the vector map into line vector elements shorter than the short sides of the grid;
Extracting the edge and brightness of the image around the line vector element closest to the grid intersection;
A procedure for determining that an intersection of the grids is in a cloud when the maximum intensity of the edge is equal to or lower than a predetermined intensity threshold and the luminance is equal to or higher than a predetermined luminance threshold;
A procedure for determining a grid area around an intersection of the grids determined to be in a cloud as an estimated cloud area;
Extracting an edge and brightness of an image around each of the line vector elements in the estimated cloud region;
A procedure for determining that the line vector element is a line vector element in a cloud when the maximum intensity of the edge is equal to or lower than a predetermined intensity threshold and the luminance is equal to or higher than a predetermined luminance threshold;
The image processing program according to claim 1, further comprising: a procedure for specifying an unusable area based on a line vector element group that is a set of line vector elements in the cloud located on the outermost side of the estimated cloud area.

The method further includes a step of associating and registering polygon information related to the position of the unusable area and at least one of an image corresponding to the polygon information or an identification ID for identifying the image. The image processing program according to any one of 6 to 6 .

In response to an image acquisition request from the user, whether or not the corresponding image is searched and the polygon information corresponding to the unusable area registered in association with the image overlaps the position information in the image acquisition request A procedure for determining whether or not,
And a procedure for returning to the user that the polygon information corresponding to the unusable area and the position information in the image acquisition request are determined to overlap. 8. The image processing program according to any one of up to 7 .

An image processing method related to an unusable area that cannot be used as image data by being covered with clouds in an image taken from a high sky,
Overlaying the image on the corresponding position on the vector map;
Setting a grid of a size that fits within a minimum size cloud to be detected on the vector map;
Dividing vector graphic elements on the vector map into line vector elements shorter than the short sides of the grid;
Extracting the edge and brightness of the image around the line vector element closest to the grid intersection; and
Determining that the intersection of the grids is in a cloud when the maximum intensity of the edge is less than or equal to a predetermined intensity threshold and the intensity is greater than or equal to a predetermined intensity threshold;
Determining a grid area around an intersection of the grids determined to be in a cloud as an estimated cloud area;
Extracting an edge and brightness of an image around each of the line vector elements in the estimated cloud region;
Determining that the line vector element is a line vector element in a cloud when the maximum intensity of the edge is less than or equal to a predetermined intensity threshold and the luminance is greater than or equal to a predetermined luminance threshold;
The image processing program according to claim 1, further comprising: specifying an unusable area based on a line vector element in the cloud located on the outermost side of the estimated cloud area.

A satellite image processing device that performs processing related to an unusable area that cannot be used as image data by being covered with clouds in an image taken from a high sky,
Means for superimposing images on corresponding positions on a vector map;
Means for setting a grid of a size that fits within a cloud of a minimum size to be detected on the vector map;
Means for dividing vector graphic elements on the vector map into line vector elements shorter than the short sides of the grid;
Means for extracting the edge and brightness of the image around the line vector element closest to the grid intersection;
Means for determining that the intersection of the grids is in a cloud when the maximum intensity of the edge is equal to or lower than a predetermined intensity threshold and the luminance is equal to or higher than a predetermined luminance threshold;
Means for determining a grid area around an intersection of the grids determined to be in a cloud as an estimated cloud area;
Means for extracting an edge and brightness of an image around each of the line vector elements in the estimated cloud region;
Means for determining that the line vector element is a line vector element in a cloud when the maximum intensity of the edge is equal to or lower than a predetermined intensity threshold and the luminance is equal to or higher than a predetermined luminance threshold;
An image processing apparatus comprising: means for specifying an unusable area based on a line vector element in the cloud located on the outermost side of the estimated cloud area.