JP6958743B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、衛星搭載プラットフォーム上のセンサによって撮像される画像内の雲の影響を受ける領域と混入量とを正確に決定できる画像処理装置、画像処理方法及び画像処理プログラムを記憶する記憶媒体に関する。

衛星画像は地表観測の監視にとって重要な情報ソースである。ただし、画像を取り込む際に雲被覆が存在する場合、その後に適用されるいずれの用途においても、画像の信頼性が大幅に制限される。この場合、取り込んだ画像の信頼性を向上させるために画像内の各画素について雲の存在比を計算する必要がある。

非特許文献１は、衛星画像内の薄雲の量を除去する信号伝送スペクトルミクスチャ解析（ＳＴ−ＳＭＡ）法を開示する。除去のために、この方法はスペクトルアンミキシング技法によって導出された雲の存在比から推定される雲の透過率の値を採用し、放射伝達モデルを適合させることで薄雲がかかった画素を修正する。スペクトルアンミキシング技法では、画素はエンドメンバの混合と見なされ、画素内の各エンドメンバの存在比が推定される。エンドメンバは衛星側から観測された地上のピュアなクラスである。ＳＴ−ＳＭＡは、入力画像内の各画素について、雲をエンドメンバと想定して雲の存在比を推定する。

この方法は推定された雲の存在比の値から雲の透過率の値を抽出して雲の影響を修正する。非特許文献の方法は２つの部分に分割できる。第１の部分は画像内の各画素の雲の存在比の推定である。ユーザはこの雲の存在比を様々に使用できる。第２の部分は得られた雲の存在比を適用して雲の透過率を計算して画像内の雲を除去することである。ＳＴ−ＳＭＡ法の２つの部分の詳細は後述する。

図１７は、空に雲がある状態で衛星が地面反射率を求める物理的モデルを示す。図１７を参照すると、雲が存在する場合の放射輝度値を用いた放射伝達の物理的モデルが式（１）によって与えられる。

上式で、“ｓ（ｉ，ｊ）”は、衛星センサで受信された座標“ｉ”及び“ｊ”の画素に関する放射輝度、“ａ”は概して１と想定される大気透過率、“Ｉ”は日射照度、“ｒ（ｉ，ｊ）”は地面からの反射率、“Ｃ_ｔ（ｉ，ｊ）”は画素（ｉ，ｊ）に関して観測された雲の透過率である。この式では、雲の吸収率を０と想定する。

雲は入射放射線を反射、透過及び吸収することができる。反射率“Ｃ_ｒ”、吸収率“Ｃ_ａ”、透過率“Ｃ_ｔ”の各係数で表現した雲と入射放射線との相互作用は以下のように示すことができる。

複数の厚雲（“Ｔ”）に関しては、放射線は完全に反射及び吸収され、透過されない。“Ｔ_ｒ”、“Ｔ_ａ”、“Ｔ_ｔ”がそれぞれ厚雲の反射率、吸収率及び透過率である場合、入射放射線と厚雲との相互作用は以下のように示すことができる。

薄雲による吸収率及び反射率は、厚雲の吸収率及び反射率の拡大／縮小値であると想定される。さらに、その倍率は厚雲に対する薄雲の相対的厚さに比例すると想定される。したがって、薄雲の吸収率及び反射率は、厚雲の吸収率及び反射率を薄雲の厚さ率（ｇ）でスケーリングしたものである。ｇは、厚雲に対する雲の相対的厚さに従って０から１まで変化する。厚雲の場合、“ｇ”は１である。厚雲は透過率が０の不透明な雲である。

式（２）に薄雲の吸収率及び反射率の値を代入し、式（３）を用いることで、雲の透過率を以下のように推定できる。

図１７、式（１）及び（４）を参照すると、雲が存在する場合の反射率の値を用いた放射伝達の物理的モデルは、雲の光学特性を用いて以下のように表すことができる。

Ｌが入力されたマルチスペクトル画像内に存在する波長帯域数の場合、“ｘ”はセンサによって観測されたＬ×１の寸法の画素の分光反射率ベクトル、“ｓ_ｃ”はＬ×１の寸法の雲のスペクトル（スペクトルシグネチャ）ベクトル、“ｅ”はＬ×１の寸法のノイズ又はモデルエラーベクトルであり、“ｅ”は、モデル化できない画素の一部と考えることができる。

以下に示すように、式（５）において、ｒは“Ｍ”個のエンドメンバの混合として表すことができる。

したがって、

“ｓ_ｍ”は、Ｌ×１の寸法のｍ番目のエンドメンバのスペクトルシグネチャベクトル、“ａ_ｍ”は、ｍ番目のエンドメンバの存在比である。雲を（Ｍ＋１）番目のエンドメンバとすると、式（６）及び式（７）は、以下のように変形できる。

上式で、

したがって、

式（８）は、異なる制約がある線形スペクトル混合モデル（ＬＳＭＭ）に類似している。式（８）及び（９）内のモデルは、雲が（Ｍ＋１）番目のエンドメンバであり、ｇが雲の存在比であると解釈できる。したがって、雲の相対的厚さ率である“ｇ”は１画素についての雲の存在比と解釈できる。したがって、式（４）は雲の存在比と雲の透過率との関係を示す。

式（９）で制約された式（８）は、完全な制約付き線形混合解析アルゴリズムによって解かれ、雲の存在比（つまりｇ）が求められる。式（９）で制約された式（８）は、“Ｌ＞Ｍ＋１”である限り解くことができる。したがって、この手法はマルチスペクトル又はハイパースペクトル画像に最も適している。

モデルエラーが０である、又は無視できると想定すると、式（５）によって、１画素の真の反射率は、以下に示すように求めることができる。

ｇ＝１の画素には式（１０）の修正は不可能である。これは、当該画素が厚雲で被覆されているため、マスキングするか又は別の画像ソースで置き換える必要があることを意味する。

図１８は、本願発明者によって記載されたＳＴ‐ＳＭＡ法の例示的な装置を示すブロック図である。この装置は、入力部０１と、受信部０２と、雲スペクトル抽出部０３と、エンドメンバ抽出部０４と、アンミキシング部０５と、雲除去部０６と、出力部０７とを含む。雲除去部０６はＳＴ−ＳＭＡ法の第２の部分に相当する。

入力部０１は入力としてマルチスペクトル画像を受信する。受信部０２はオペレータから入力画像内の雲以外のエンドメンバの数を受信する。雲スペクトル抽出部０３は、画像内の最も明るい画素のスペクトルとして入力画像から雲スペクトルを抽出する。エンドメンバ抽出部０４は、入力画像内の雲以外のエンドメンバの数を入力として受信し、Ｖｅｒｔｅｘ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＶＣＡ）などの教師なしエンドメンバ抽出アルゴリズムを採用することで入力画像から同数のエンドメンバスペクトルを抽出する。アンミキシング部０５は、式（９）で与えられた制約を課すことで、式（８）を用いて入力画像内の各画素をアンミキシングして、雲の存在比を決定する。

各画素について、雲除去部０６は、しきい値に照らして雲の存在比をチェックし、厚雲及び薄雲の影響を受ける画素を分類する。薄雲の影響を受ける画素について、雲除去部０６は雲の存在比を用いて修正を行う。すなわち、式（１０）を用いて当該画素の真の反射率を求める。厚雲の影響を受けることが判明した画素はマスキングされる。出力部０７は、修正された薄雲の画素に厚雲のマスクを重ね、その画像をディスプレイへ送信する。

さらに、特許文献１及び２には関連する技法に関する記載がある。

特開２０１３−２５７８１０号公報 特開２０１４−００２７３８号公報

Ｘｕ， Ｍ．， Ｐｉｃｋｅｒｉｎｇ， Ｍ．， Ｐｌａｚａ， Ａ．Ｊ． ａｎｄ Ｊｉａ， Ｘ．， "Ｔｈｉｎ Ｃｌｏｕｄ Ｒｅｍｏｖａｌ Ｂａｓｅｄ ｏｎ Ｓｉｇｎａｌ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｓｐｅｃｔｒａｌ Ｍｉｘｔｕｒｅ Ａｎａｌｙｓｉｓ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ （Ｖｏｌｕｍｅ： ５４， Ｉｓｓｕｅ： ３， Ｍａｒｃｈ ２０１６）， Ｐａｇｅ（ｓ）： １６５９ − １６６９．

非特許文献１の方法は、雲スペクトル及びその存在比が正確且つ一意的に決定されている場合に限って、薄雲及び厚雲の影響を受ける画素を識別し、薄雲の下の画素の真の地面反射率を推定することができる。

非特許文献１を示す図１８を参照すると、エンドメンバ抽出部０４は１組のエンドメンバスペクトル［ｓ_１，…，ｓ_ｍ］を抽出し、それをアンミキシング部０５に提供する。雲スペクトル抽出部０３は雲スペクトル［ｓ_ｃ］を抽出し、それをアンミキシング部０５に提供する。アンミキシング部０５は、エンドメンバ抽出部０４及び雲スペクトル抽出部０３から１組のスペクトル［ｓ_１，…，ｓ_ｍ，ｓ_ｃ］を入力として受信する。アンミキシング部０５は当該セット内の各スペクトルに対応する存在比を［ｄ_１，…，ｄ_ｍ，ｄ_ｃ］と決定する。“ｄ_ｃ”は雲の存在比である。

線形式（８）を解く際には、抽出されたエンドメンバスペクトルの組［ｓ_１，…，ｓ_ｍ］には雲スペクトルが含まれないことが想定されている。このエンドメンバスペクトルの組が当該雲スペクトルと同一の、又はそれに近いスペクトルを含む場合、アンミキシング部０５に入力された組は［ｓ_１，ｓ_ｃ’，…，ｓ_ｍ，ｓ_ｃ］などの互いに類似した複数の雲スペクトルを有する可能性がある。したがって、雲の存在比の値はアンミキシングのために分散されることになるが、アンミキシング部０５は雲の存在比として雲スペクトルに対応する存在比ｄ_ｃのみを取り上げる。したがって、この場合、雲の存在比の値ｄ_ｃは不正確になる。エンドメンバスペクトルの組に含まれる上記の不要な雲スペクトル（ｓ_ｃ’）を以下「ノイジーな雲スペクトル」と呼ぶ。

非特許文献１のアルゴリズムでは、雲に覆われた画像は少なくとも１つの雲画素を有するため、エンドメンバ抽出部０４が１組のエンドメンバスペクトルの一部としてノイジーな雲スペクトルを抽出する可能性が常にある。さらに、雲スペクトル抽出部０３によって抽出された唯一の雲スペクトル（ｓ_ｃ）が画素のアンミキシングに使用される組に含まれることを保証することで、ノイジーな雲スペクトルを識別し解消することができる工程は非特許文献１にはない。その結果、アンミキシング部０５によって採用されるアンミキシングアルゴリズムによって抽出される存在比は曖昧になる場合があり、そのために雲の存在比の推定が劣化することになる。さらに、その場合、アルゴリズムは画素が薄雲と厚雲のどちらの影響を受けているかを正確に分類することができない。また、アルゴリズムは薄雲の下の画素の地面反射率の正確な取得を保証することができない。

結論として、非特許文献１の主要な問題は、アンミキシングに使用されるスペクトルの組［ｓ_１，…，ｓ_ｍ，ｓ_ｃ］内にノイジーな雲スペクトルが存在しないことを保証する工程がないということである。

本発明は上述の状況を鑑みてなされた。本発明の目的は、センサによって撮像された画像内の雲の影響を受ける領域を正確に決定することができる技法を提供することである。

上記の問題を解決するために、本発明の第１の例示的な態様は、入力画像内の雲の影響を受ける領域を検出及び修正する画像処理装置である。当該装置は、当該入力画像内から１つ又は複数のエンドメンバの１組のスペクトルを抽出するエンドメンバ抽出部と、当該入力画像内の１つの雲スペクトルを取得する雲スペクトル取得部と、当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力するエンドメンバ選択部と、当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出するアンミキシング部とを含む。

本発明の第２の例示的な態様は、入力画像内の雲の影響を受ける領域を検出及び修正する画像方法である。この方法は、当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出することと、当該入力画像内の１つの雲スペクトルを取得することと、当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出することとを含む。

本発明の第３の例示的な態様は、入力画像内の雲の影響を受ける領域をコンピュータに検出及び修正させる画像処理プログラムを記憶する記憶媒体である。このプログラムは、当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出することと、当該入力画像内の１つの雲スペクトルを取得することと、当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出することとを含む。

このプログラムは非一時的なコンピュータ可読媒体内に記憶することができる。

本発明によれば、画像処理装置、画像処理方法及び記憶媒体は、センサによって撮像される画像内の雲の影響を受ける領域を正確に決定することができる。

本発明に係る第１の例示的な実施形態のブロック図である。 エンドメンバスペクトルを示すグラフである。 本発明に係る第１の例示的な実施形態の手順のフローチャートである。 本発明に係る第２の例示的な実施形態のブロック図である。 本発明に係る第２の例示的な実施形態の手順のフローチャートである。 本発明に係る第３の例示的な実施形態のブロック図である。 雲スペクトルを示す表である。 雲スペクトルの画像表現を示すグラフである。 本発明に係る第３の例示的な実施形態の手順のフローチャートである。 入力画像のサブセット内の画素の場所の配置を示す表である。 図１０に示すサブセット内の画素のスペクトル値を示す表である。 図１０に示すサブセット内の画素の選択された雲スペクトルの指数を示す表である。 本発明に係る第４の例示的な実施形態のブロック図である。 本発明に係る第４の例示的な実施形態の手順のフローチャートである。 本発明に係る第５の例示的な実施形態のブロック図である。 情報処理装置の構成を示すブロック図である。 雲が存在する場合の放射伝達の物理的モデルを示す図である。 非特許文献１に記載する方法（ＳＴ−ＳＭＡ）のブロック図である。

図中の各要素は簡素で明確になるように示されており、必ずしも実物大に描写されている訳ではないことを当業者は理解するであろう。例えば、雲が存在する場合の放射伝達の物理的モデルを示す図中の要素のいくつかの寸法は、本発明の、また代替の例示的な実施形態の理解を促すため、他の要素に対して誇張されている場合がある。

衛星搭載プラットフォーム上のセンサによって撮像される衛星画像は地表面に関する膨大な量の情報を提供する。多くの衛星搭載プラットフォームはマルチスペクトル画像又はハイパースペクトル画像を撮像できるセンサを有し、それらの画像から、地表面の物体の特徴に関する、ＲＧＢ画像と比較してはるかに詳細な情報を抽出することができる。マルチスペクトル画像は、電磁スペクトルの複数の特定波長において撮像されたシーンの応答を含む画像である。その帯域が３つ（ＲＧＢ）を超える画像は概してマルチスペクトル画像と呼ばれる。本発明では、ハイパースペクトル画像を、以下、マルチスペクトル画像とも呼ぶ。

ただし、地表の約３分の２は年中雲に覆われているため、これらの画像はしばしば撮像中に天候状態による影響を受ける。したがって、全ての画像で雲のないシーンを取得することは困難である。画像内の雲被覆（画像内で目に見える雲の領域）は、土地使用／土地被覆（ＬＵ／ＬＣ）分類などの高度画像処理動作で衛星画像を利用する際の深刻な制約になる。雲被覆を含む画像が高度な解析に使用される場合、得られた結果は信頼性が低いものになるであろう。

雲が混入する領域（画像内の画素数）の検出と、混入の程度の推定は重要な前処理作業である。画像内の雲の種類は多岐にわたり、雲の層は様々であり得る。ここで、厚雲とは１画素内でセンサの視野を完全に遮断する大気中の雲を意味し、一方、薄雲は視野を部分的に遮断する。雲が充分に薄い場合、所与の単一の画像から雲の下の地表の情報をある程度取得することができる。雲があまりに厚くて放射線全体を遮断する（ふさぐ）場合、与えられる単一の画像から雲の下の地表の情報を取得することは不可能である。したがって、厚雲の場合、その下の画素を検出してマスキングし、誤った解析を回避する必要がある。厚雲の下の情報は利用可能な他の情報ソースから確保することができる。

非特許文献１は、スペクトルアンミキシング技術及び放射伝達モデルに基づいて、薄雲及び厚雲の影響を受ける画素を検出し、薄雲の影響を受ける画素を修正する方法を提供する。画素は物理点を意味するもので、画像の単位要素である。「スペクトルアンミキシング」は、ある画素を構成するエンドメンバと当該画素内のエンドメンバの存在比とを当該画素内の各エンドメンバスペクトルに基づいて導出する手順を意味する。この方法は雲スペクトルを使用して検出及び修正のためにその存在比を導出する。物体のスペクトル（スペクトルシグネチャ）は、各波長帯域で１つの値をとる当該物体の反射率の１組の値からなる反射率スペクトルを意味する。検出及び修正の精度は抽出された雲スペクトル及びその推定存在比によって変化する。非特許文献１はエンドメンバスペクトルと雲スペクトルとを別々に抽出する。ただし、非特許文献１には保証すべき２つの点が欠けている。すなわち、第１に、雲スペクトルはエンドメンバスペクトル抽出アルゴリズムによって抽出されず、第２に、アンミキシングアルゴリズムによって採用される１組のスペクトルは雲スペクトル抽出アルゴリズムによって抽出された１つの（単一の）雲スペクトルにのみ対応する必要がある。エンドメンバ抽出アルゴリズムがエンドメンバスペクトルの１つを誤って雲スペクトルとして抽出した場合、非特許文献１の方法は不要であるノイジーな雲スペクトルを検出できず、したがって、雲の存在比の推定が不正確になり、その結果、雲の検出及び除去の精度が低下する。

上記の問題に対処する本発明の各々の例示的な実施形態について、図面を参照しながら以下に説明する。以下の詳細な説明は本質的に例示的なものに過ぎず、本発明も、また本発明の適用や用途も限定することを意図しない。さらに、前述の本発明の背景又は以下の詳細な説明に記載するいずれの理論にも拘束されることを意図しない。

第１の例示的な実施形態
第１の例示的な実施形態では、非特許文献１の制約の解決策を提供する画像処理装置１００について説明する。画像処理装置１００は、雲の存在比を正確に計算し推定するために、他のエンドメンバスペクトルと共に抽出され、アンミキシングのために採用された１組のスペクトル内に含まれるノイジーな雲スペクトルを解消する。
＜＜画像処理装置＞＞

図１は、本発明に係る第１の例示的な実施形態の画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、入力部１１と、決定部１２と、雲スペクトル抽出部１３と、エンドメンバ抽出部１４と、エンドメンバ選択部１５と、アンミキシング部１６と、出力部２０とを含む。

入力部１１は、衛星搭載プラットフォーム上のセンサ（図１には図示せず）から無線通信を介して画像を受信し、当該入力画像を決定部１２、雲スペクトル抽出部１３、エンドメンバ抽出部１４、およびアンミキシング部１６へ送信する。

決定部１２は画像内の雲以外のエンドメンバの数を決定する。Ｌが入力マルチスペクトル画像内に存在する波長帯域の数の場合、式（９）の制約条件によってエンドメンバの数は自動的にＬマイナス２に制限される。あるいは、オペレータは目視点検によって画像内のエンドメンバの数を入力してもよい。決定部１２は決定されたエンドメンバの数をエンドメンバ抽出部１４へ送信する。

雲スペクトル抽出部１３は入力部１１からマルチスペクトル画像を取得し、当該画像から雲スペクトルを抽出する。雲スペクトル抽出部１３は画像内の雲の空間又はスペクトル特性を採用することで単一の雲スペクトルを抽出することができる。雲の空間特性は、低い標準偏差、均質なテクスチャ、及び／又は単位長あたりのエッジ数が比較的少ないことなどである。雲のスペクトル特性は、可視及び近赤外線帯域での高い反射率、及び／又は熱帯域での低い温度などである。例えば、雲スペクトル抽出部１３は、ピュアな雲画素（画素の各々が雲によって完全に占拠されている）は可視及び近赤外線帯域内では地表面よりもはるかに明るいという推定に基づいて雲スペクトルを抽出することができる。したがって、雲スペクトル（ｓ_ｃ）は以下のように抽出される。

上式で、ｘ_ｉ，ｊ（ｌ）はｌ番目のスペクトル帯域内の座標“ｉ”及び“ｊ”の画素の反射率である。Ｌ、Ｍ及びＮは、それぞれ、入力画像内の帯域数、行数、列数である。（ｉ_ｍ，ｊ_ｍ）は全ての波長帯域内の反射率の最大総計値を備えた画素の座標である。全ての波長帯域内の反射率の最大総計値を備えた画素が雲画素として選択され、当該雲画素に対応するスペクトルが雲スペクトルとして抽出部される。雲スペクトル抽出部１３は当該抽出されたスペクトルをエンドメンバ選択部１５及びアンミキシング部１６へ送信する。

エンドメンバ抽出部１４は、入力部１１からマルチスペクトル画像を取得し、決定部１２からエンドメンバの数を取得し、同数のエンドメンバスペクトルを抽出する。エンドメンバは、画像内のピュアな土地被覆クラスを意味する。土地被覆クラス（エンドメンバ）の選択は適合された用途によって変化する。例えば、変動調査用途では、エンドメンバは植生、水であってもよい。一方、植生監視では、エンドメンバはヒマラヤスギ、イトスギなどであってもよい。

画像内のエンドメンバの代表的な画素が識別可能である場合、代表的な画素の平均スペクトルをエンドメンバスペクトルとみなすことができる。ただし、概して、そのような代表的な画素は容易に利用可能とはいえない。したがって、エンドメンバ抽出部１４は、Ｐｉｘｅｌ Ｐｕｒｉｔｙ Ｉｎｄｅｘ、Ｎ−ＦＩＮＤＲ、及びＶｅｒｔｅｘ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＶＣＡ）などの周知の教師なしエンドメンバ抽出アルゴリズムによって抽出を行うことができる。あるいは、エンドメンバ抽出部１４は、最初に教師なしクラスタリングを使用し、次いでそれぞれのクラスタの手段としてエンドメンバスペクトルを選択することで抽出を行うことができる。

図２は、エンドメンバ（水、土壌及び植生）のスペクトル及び雲スペクトルの一例を、反射率を縦軸にとり、波長（μｍ）を横軸にとったグラフとして示す。

エンドメンバ抽出部１４は、１組の抽出されたエンドメンバスペクトル［ｓ_１，…，ｓ_ｍ］をエンドメンバ選択部１５へ送信する。

エンドメンバ選択部１５は雲スペクトル抽出部１３から雲スペクトル［ｓ_ｃ］を取得し、エンドメンバ抽出部１４から１組のエンドメンバスペクトル［ｓ_１，…，ｓ_ｍ］を取得し、両方のスペクトル、例えば、雲スペクトル［ｓ_ｃ］と当該組［ｓ_１，…，ｓ_ｍ］の各要素とを比較して、ノイジーな雲スペクトルを解消する。エンドメンバ選択部１５が［ｓ_１，…，ｓ_ｃ’，…，ｓ_ｍ］などのエンドメンバスペクトルの組内にノイジーな雲スペクトルを検出した場合、エンドメンバ選択部１５はノイジーな雲スペクトル（ｓ_ｃ’）を消去する。その後、エンドメンバ選択部１５はアンミキシングのために１組の真正のエンドメンバスペクトルを生成する。エンドメンバ選択部１５はスペクトル近接性尺度に基づいて入力スペクトルの比較を実行することができる。スペクトル近接性尺度の例は、２つのスペクトル間のユークリッド距離、スペクトル角、及び相関係数である。スペクトル角尺度はスペクトル近接性の最も好ましい尺度として選択される。スペクトル角はスペクトル特徴空間内のスペクトル間の角度によって２つのスペクトル間の近接性の尺度になる。角度が小さいことは２つのスペクトルがより類似していることを示す。２つのスペクトルのスペクトル角Ｗは以下のように決定できる。

角度（Ｗ）の大きさは特徴空間内のスペクトル間の類似性の程度に反比例する。

エンドメンバ選択部１５は、式（１２）を用いて、雲スペクトルと１組のエンドメンバスペクトル内の全てのスペクトルとの間のスペクトル角を計算する。式（１２）では、この場合、ｘは抽出されたエンドメンバスペクトルの１つで、ｙは雲スペクトルである。当該エンドメンバスペクトルの組内のあるスペクトルの角度が特定のしきい値より小さい場合、当該スペクトルは雲スペクトルと同様であると想定され、当該エンドメンバスペクトルの組から除去される。当該しきい値は経験的に決定できる。全てのエンドメンバスペクトルを当該雲スペクトルと比較した後で、エンドメンバ選択部１５は残りのエンドメンバスペクトルを１組のエンドメンバスペクトルとして組み立て、当該組をアンミキシング部１６へ送信する。

アンミキシング部１６は、入力部１１から入力マルチスペクトル画像を、雲スペクトル抽出部１３から雲スペクトルを、また、エンドメンバ選択部１５から１組のエンドメンバスペクトルを取得する。アンミキシング部１６は、各画素のスペクトルについて、入力された雲スペクトル及びエンドメンバスペクトルを使用して、画素内の全てのエンドメンバ及び雲の存在比（画素内のエンドメンバの相対的な割合）を決定する。

アンミキシング部１６は、ある画素のスペクトルについて、エンドメンバと雲のスペクトルとの線形混合の係数を、完全な制約付き線形混合解析である逐次最小二乗法を用いて決定する。線形混合モデルの係数はエンドメンバ及び雲の存在比である。取得され線形に加算されたそれぞれの存在比によってエンドメンバ及び雲のスペクトルがスケーリングされ、線形に加算された場合に画素のスペクトル（アンミキシングされた）が取得できるように、アンミキシング部１６はアンミキシングを実行する。アンミキシング問題は、式（９）によって与えられた制約条件下で式（８）によって定義できる。上記の説明に基づいて、アンミキシング部１６は入力画像内の全ての画素の「雲の存在比（ｇ）」を取得し、アンミキシングのために使用される雲スペクトルと共に当該存在比を出力部２０へ送信する。

出力部２０は入力画像内の各画素に対応する雲の存在比の値とアンミキシングに使用される雲スペクトルとを受信し、それらを保持する。出力部２０は画像の各画素に対応する取得された雲の存在比の値とアンミキシングに使用される雲スペクトルとを記憶するメモリを有する。出力部２０はその要素が入力画像の各画素に対応する行列としてこれらの値を保持できる。ユーザはこのメモリを利用できる。雲の存在比の値は様々な用途に使用できる。いくつかの用途は、画素のピュリティ、雲の除去、雲影検出又は雲影除去を示す画像の信頼性マップの作成であってもよい。これらの動作を実行するために、同様にメモリ内に記憶されたアンミキシングに使用される雲スペクトルも必要である。出力部２０は、所定の周期で、イベントにトリガされて、又は外部装置からの要求に応答して、有線又は無線ネットワークを介して、記憶された雲の存在比の値と雲スペクトルとを外部装置へ出力する。
＜＜画像処理装置の動作＞＞
図３は画像処理装置１００の動作を示すフローチャートである。

最初に、ステップＳ１１で、入力部１１はマルチスペクトル画像を受信し、それを決定部１２、雲スペクトル抽出部１３、エンドメンバ抽出部１４及びアンミキシング部１６へ送信する。

ステップＳ１２で、雲スペクトル抽出部１３は入力画像から雲スペクトルを抽出する。雲スペクトル抽出部１３は各画素の全ての波長帯域内の反射率の総計値を計算し、式（１１）を用いて雲スペクトルを抽出する。波長帯域の数及び種類は適合された観測センサによって変化する。例えば、ランドサット８号に搭載されたＯＬＩ（Ｏｐｅｒａｔｉｏｎａｌ Ｌａｎｄ Ｉｍａｇｅｒ）では、帯域は帯域１（沿岸エアロゾル）から帯域９（シーラス）などの９つのグループに分割される。雲スペクトルの抽出は、雲がマルチスペクトル画像内に概して存在する可視光から近赤外光帯域までの広範囲の波長帯域で高い反射率を示すという事実に基づく。したがって、全ての帯域で反射率の最大総計値を備えた画素は雲画素と想定され、そのスペクトルは雲スペクトルと想定される。

あるいは、雲スペクトル抽出部１３は、雲画素の識別に利用可能ならば、雲に固有のスペクトル及び熱帯域試験を採用することができる。

ステップＳ１３で、エンドメンバ抽出部１４は入力画像から雲以外のエンドメンバスペクトルを抽出する。決定部１２は、準備作業として、受信画像内の雲以外のエンドメンバの数を決定する。あるいは、オペレータは目視点検によって画像内のエンドメンバの数を入力してもよい。決定部１２は決定されたエンドメンバの数をエンドメンバ抽出部１４へ送信する。エンドメンバ抽出部１４は入力部１１から画像と、決定部１２からエンドメンバの数とを受信し、エンドメンバスペクトルと同数のスペクトルを抽出する。エンドメンバ抽出部１４は、Ｐｉｘｅｌ Ｐｕｒｉｔｙ Ｉｎｄｅｘ、Ｎ−ＦＩＮＤＲ及びＶｅｒｔｅｘ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＶＣＡ）などの周知の教師なしエンドメンバ抽出アルゴリズムによって抽出を実行できる。あるいは、エンドメンバ抽出部１４は、最初に教師なしクラスタリングを使用し、次いでそれぞれのクラスタの手段としてエンドメンバスペクトルを選択することで抽出を実行することができる。

エンドメンバ抽出部１４は、エンドメンバの１組の抽出されたスペクトルをエンドメンバ選択部１５へ送信する。

ステップＳ１４で、エンドメンバ選択部１５は１組のエンドメンバスペクトル内のスペクトルを雲スペクトルと比較し、比較結果に基づいてノイジーな雲スペクトルを除去する。特に、エンドメンバ選択部１５は雲スペクトル抽出部１３から雲スペクトルを受信し、エンドメンバ抽出部１４から当該エンドメンバスペクトルの組を受信する。エンドメンバ選択部１５は、式（１２）を用いて、雲スペクトルと当該エンドメンバスペクトルの組内の各スペクトルとの間のスペクトル角（Ｗ）を計算する。いずれかのエンドメンバスペクトルのスペクトル角が指定されたしきい値未満の場合、エンドメンバは雲と同様と想定され、対応するエンドメンバスペクトルはノイジーな雲スペクトルとして扱われ、計算の誤りを防止するために当該エンドメンバの組から除去される。

入力画像内の全ての画素についてステップＳ１５が実行される。

ステップＳ１５で、アンミキシング部１６は１組の入力されたエンドメンバスペクトルと雲スペクトルとをアンミキシングして画素内の「雲の存在比」（ｇ）を決定する。特に、アンミキシング部１６は入力部１１から入力画像を、雲スペクトル抽出部１３から雲スペクトルを、エンドメンバ選択部１５からエンドメンバスペクトルの組を取得する。各画素のスペクトルについて、アンミキシング部１６は、入力された雲スペクトルとエンドメンバスペクトルとを用いて、画素内の全てのエンドメンバと雲との存在比を決定する。

そして、ステップＳ１６で、出力部２０は入力画像内の各画素とアンミキシングに使用された雲スペクトルとに対応する決定された雲の存在比の値を保持する。出力部２０は、各セルが画像内の画素に対応する行列形式としてこれらの値を記憶するメモリを有していてもよい。さらに、所定の間隔で、イベントにトリガされ、又はユーザが利用可能な外部装置からの要求に応答して、出力部２０は、有線又は無線ネットワークを介して、記憶された雲の存在比の値と雲スペクトルとを外部装置へ出力する。

以上が画像処理装置１００の動作である。
＜＜第１の例示的な実施形態の効果＞＞

本発明に係る第１の例示的な実施形態の第１の画像処理装置１００は、アンミキシングに使用される１組のスペクトル内にノイジーな雲スペクトルが存在しないことを保証することで、画像内の雲の影響を受ける領域と混入量とを正確に決定し、センサによって撮像された画像内の薄雲の影響を除去することができる。この理由は、エンドメンバ選択部１５がエンドメンバ抽出部１３によって抽出された１組のエンドメンバスペクトル内の各スペクトルを雲スペクトル抽出部１３によって抽出された雲スペクトルと比較し、比較の結果に基づいて、当該エンドメンバスペクトルの組内のノイジーな雲スペクトルの可能性を解消するからである。これによって、画素のアンミキシングに使用される組［ｓ_１，…，ｓ_ｍ，ｓ_ｃ］内の雲スペクトル抽出部１３によって抽出された厳密に１つの雲スペクトル（ｓ_ｃ）が存在することが保証される。その結果、アンミキシング工程は正確に実行できる。このために、計算された雲の存在比の値は非特許文献１と比較してより正確で信頼性が高いものになる。その結果、入力画像内のスペクトルの組内にノイジーな雲スペクトルが存在しないことを保証することで、雲の影響を受ける領域の正確な検出及び修正が可能になる。
第２の例示的な実施形態

第２の例示的な実施形態では、第１の例示的な実施形態で説明した雲の存在比の値に基づく雲の画像の雲除去の工程を実行できる画像処理装置について説明する。
＜＜画像処理装置＞＞

図４は、本発明に係る第２の例示的な実施形態の画像処理装置２００の構成を示すブロック図である。この画像処理装置は、入力部１１と、決定部１２と、雲スペクトル抽出部１３と、エンドメンバ抽出部１４と、エンドメンバ選択部１５と、アンミキシング部１６と、雲除去部２１と、出力部２０ａとを含む。

雲除去部２１は、入力画像から雲を除去する諸工程を実行する。特に、雲除去部２１は、アンミキシング部１６から、入力画像内の各画素のアンミキシングのために使用する雲の存在比（ｇ）及び雲スペクトル（ｓ_ｃ）を受信する。雲除去部２１は、雲画素のうち、特定のしきい値と取得された雲の存在比との比較に基づいて薄雲の影響を受ける他の画素から厚雲によって被覆された画素を分離する。オペレータは前もってしきい値を設定できる。画素の雲の存在比がしきい値未満の場合、画素は薄雲の影響を受けると想定される。次いで、雲除去部２１は式（１０）を用いた計算によって真の地面反射率（ｒ）を求め、計算結果を用いて入力画素を修正する。クリアな（雲がない）画素の場合、ｇは０である。したがって、クリアな画素は依然として式（１０）の影響を受けない。画素の雲の存在比がしきい値以上の場合、画素は厚雲の影響を受けると想定される。次いで、雲除去部２１はこの画素をマスキングする。このマスキングされた部分は、雲がない晴れた日の撮像された画像などの別の画像ソースと置き換えることができる。雲除去部２１は処理された画像を出力部２０ａへ送信する。

出力部２０ａは雲除去部２１から当該処理された画像を受信し、当該画像を出力としてディスプレイ（図４には示さず）へ送信する。さらに、出力部２０ａは当該処理された画像をメモリ内に記憶できる。画像データは雲影検出、雲影除去及びその他の関連する工程に使用される。

その他の各部は第１の例示的な実施形態と同一である。
＜＜画像処理装置の動作＞＞

図５は、画像処理装置２００の動作を示すフローチャートである。

ステップＳ２１〜Ｓ２４の動作は、それぞれ、図３のステップＳ１１〜Ｓ１４の動作と同一である。

ステップＳ２５〜Ｓ２８の動作が画像内の全ての画素について実行される。

ステップＳ２５の動作は図３のステップＳ１５の動作と同一である。

ステップＳ２６で、雲除去部２１はアンミキシング部１６から雲の存在比（ｇ）及び雲スペクトル（ｓ_ｃ）を受信し、画素の雲の存在比の値がしきい値未満であるか否かをチェックする。ある画素について、雲の存在比がしきい値未満であれば工程はステップＳ２７へ進み、そうでなければ工程はステップＳ２８へ進む。

ステップＳ２７で、入力画素は薄雲の影響を受けると想定されるため、雲除去部２１は式（１０）を用いた計算によって真の地面反射率（ｒ）を求め、計算結果を用いて入力画素を修正する。

ステップＳ２８で、入力画素は厚雲の影響を受けると想定されるため、雲除去部２１はこの画素をマスキングする。

ステップＳ２９で、出力部２０ａは雲の検出及び除去のために上記の処理された画像をメモリに記憶し、処理された画像をディスプレイなどの外部装置へ送信する。

以上が画像処理装置２００の動作である。
＜＜第２の例示的な実施形態の効果＞＞

本発明に係る第２の例示的な実施形態の画像処理装置２００によれば、第１の例示的な実施形態で説明した上記の効果に加えて、エンドメンバ抽出アルゴリズムによってノイジーな雲スペクトルが抽出された場合であっても、画像処理装置２００は雲の検出及び除去も実行できる。この理由は、雲の存在比（ｇ）及び雲スペクトル（ｓ_ｃ）の信頼できる精度に基づいて、雲除去部２１が各画素についてより適当な処理（マスキング又は修正）を実行するからである。
第３の例示的な実施形態

第３の例示的な実施形態では、複数の雲の種類を含む雲の画像を扱うことができる画像処理装置３００について説明する。画像処理装置３００は画像内に存在する雲の全ての種類に対応するスペクトルを抽出し、各画素について抽出された雲スペクトルのうち適当なスペクトルを選択する。
＜＜画像処理装置＞＞

図６は、本発明に係る第３の例示的な実施形態の画像処理装置３００の構成を示すブロック図である。画像処理装置は、入力部１１と、決定部１２と、雲スペクトル抽出部１３ａと、雲スペクトル選択部３１と、エンドメンバ抽出部１４と、エンドメンバ選択部１５ａと、アンミキシング部１６と、雲除去部２１と、出力部２０ａとを含む。

雲スペクトル抽出部１３ａ（第５の例示的な実施形態の図１５に示す雲スペクトル取得部５０２に相当する）は、入力画像から雲スペクトルを抽出することによって雲スペクトルを取得する。特に、雲スペクトル抽出部１３ａは入力部１１から入力画像を受信し、画像内に存在する雲の全ての種類に対応するスペクトルを抽出する。画像から抽出された「雲スペクトルの数」（ｐ）は画像内に存在する雲の種類によって変化する。雲スペクトル抽出部１３ａは雲の影響を受け得る画素を検出し、クラスタリングを実行して様々な種類の雲とその代表的な画素とを検出する。各々の種類の雲のスペクトルは代表的な画素のスペクトルの平均として計算できる。あるいは、各々の種類の雲のスペクトルは、第１の実施形態で説明したように、式（１１）に基づいてそれぞれのクラスタ内の最も明るい画素として選択できる。あるいは、各々の種類の雲のスペクトルは、数個の最も明るい代表的な画素の平均として計算できる。雲スペクトル抽出部１３ａは、１組の抽出された雲スペクトル［ｓ_ｃ１，ｓ_ｃ２，…，ｓ_ｃｐ］をエンドメンバ選択部１５ａ及び雲スペクトル選択部３１へ送信する。

エンドメンバ選択部１５ａは雲スペクトルの組を雲スペクトル抽出部１３ａから受信し、エンドメンバスペクトルの組［ｓ_１，…，ｓ_ｍ］をエンドメンバ抽出部１４から受信する。エンドメンバ選択部１５ａは、第１の例示的な実施形態に記載の式（１２）を用いて、雲スペクトルの組内の雲スペクトルの各々と、ｐ×ｍ行列などのエンドメンバスペクトルの組内のエンドメンバスペクトルの各々との間のスペクトル角（Ｗ）を計算する。雲スペクトルのいずれかの対とエンドメンバスペクトルとの角度がしきい値未満の場合、エンドメンバスペクトルは雲スペクトルと同一又は同様である（ノイジーな雲スペクトル）と想定される。次いで、エンドメンバ選択部１５ａは当該エンドメンバスペクトルの組から当該ノイジーな雲スペクトルを除去する。全てのエンドメンバスペクトルを全ての雲スペクトルと比較した後で、エンドメンバ選択部１５ａは残りのエンドメンバスペクトルを１組のエンドメンバスペクトルに組み立て、それをアンミキシング部１６へ送信する。

雲スペクトル選択部３１は入力部１１から入力画像を受信し、雲スペクトル抽出部１３ａから１組の抽出された雲スペクトルを受信する。雲スペクトル選択部３１は、各画素について抽出された雲スペクトルのうち標的画素の雲スペクトルを選択する。ある画素について、雲スペクトル選択部３１は、各々が当該画像内の特定の波長帯域に対応する複数の寸法の特徴空間内の当該画素のスペクトルに分光的に最も近い雲スペクトルを選択する。

雲スペクトル選択部３１は、式（１２）を用いて、２つのスペクトル間のスペクトル角（Ｗ）によってスペクトルの近さを測ることができる。この場合、式（１２）で、ｘは画素スペクトル、ｙは抽出された雲スペクトルの１つである。本発明に係る第１の実施形態で説明したように、角度（Ｗ）の大きさは特徴空間内のスペクトル間の類似性の程度に反比例する。したがって、抽出された雲スペクトルのうち、ある画素に最小のＷを与えるスペクトルが当該画素に混入した可能性がある雲スペクトルとして選択される。あるいは、ある画素について、雲スペクトル選択部３１は、入力画像内の当該画素の場所に空間的に最も近い雲のスペクトルを選択できる。雲スペクトル選択部３１は、各画素の選択された雲スペクトルを含む行列をアンミキシング部１６へ送信する。この行列については後ほど詳述する。

アンミキシング部１６は、雲スペクトル選択部３１から取得した選択済み雲スペクトルの行列が示すように、アンミキシングのための雲スペクトルを画素単位で使用する。

その他の各部は第１の例示的な実施形態と同一である。
＜＜画像処理装置の動作＞＞

図９は画像処理装置３００の動作を示すフローチャートである。

ステップＳ３１の動作は図５のステップＳ２１の動作と同一である。

ステップＳ３２で、雲スペクトル抽出部１３ａは入力画像内の雲の全ての種類に対応するスペクトルを抽出する。特に、雲スペクトル抽出部１３ａは、空間及びスペクトル試験を使用して雲の影響を受け得る画素を検出する。次いで、雲スペクトル抽出部１３ａは、クラスタリングアルゴリズムを適用して様々な種類の雲の代表的な画素のクラスタを求める。クラスタリングアルゴリズムは教師なしクラスタリングアルゴリズムであってもよい。教師なしクラスタリングは、Ｋ平均法クラスタリング、ミーンシフトクラスリング、ＩＳＯＤＡＴＡ （Ｉｔｅｒａｔｉｖｅ Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｄａｔａ Ａｎａｌｙｓｉｓ Ｔｅｃｈｎｉｑｕｅ Ａｌｇｏｒｉｔｈｍ）アルゴリズム及びＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ−ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）などの周知のアルゴリズムを用いて実行できる。各クラスタは雲の種類を表す。クラスタの取得後、雲スペクトル抽出部１３ａは、各クラスタの平均スペクトルを抽出し、入力画像内に存在する雲の全ての種類に対応するスペクトルと見なすことができる１組のスペクトルを取得する。

ここで、図７は、雲Ｎｏ．（番号）行と帯域Ｎｏ．列との行列形式で抽出された雲スペクトルの一例を示す。雲Ｎｏ．は雲の種類を表し、雲の種類の各々は番号に対応する。雲の各々の種類は異なるスペクトルを有する。帯域Ｎｏ．は可視、近赤外、短波赤外帯域などの波長帯域の種類を表し、帯域の各々は番号に対応する。

図７に示す行列は、図８に示す、反射率を縦軸にとり、波長（μｍ）を横軸にとったグラフとして表すことができる。このグラフで、線の各々は雲の種類（雲Ｎｏ．）に対応する。帯域の各々はその波長範囲に対応する。

ステップＳ３３及びＳ３４の動作は、それぞれ、図５のステップＳ２３及びＳ２４の動作と同一である。

ステップＳ３５〜Ｓ３９が入力画像内の全ての画素について実行される。

ステップＳ３５で、雲スペクトル選択部３１は画像内の各画素について抽出された雲スペクトルのうち１つの雲スペクトルを選択する。雲スペクトル選択部３１は、各画素について、式（１２）を用いて、１つの雲スペクトルと抽出された雲スペクトルの組内の雲スペクトルの各々との間のスペクトル角を求め、最小角を示す雲スペクトルを選択する。例として、入力画像のサブセット内の画素の場所の配置が図１０に示され、図１０のサブセット内の画素のスペクトル値の表が図１１に示され、図１０のサブセット内の選択された雲スペクトルの指数の表が図１２に示されている。

例えば、雲スペクトル抽出部１３ａが図７に示す雲スペクトルを抽出する場合、雲スペクトル選択部３１は、図１１のＰ_１１と図７の雲１との間のスペクトル角を以下のように計算する。

同様に、雲スペクトル選択部１３aは、全ての雲について以下のようにスペクトル角を計算する。
雲２：Ｗ＝９．０２７５４７０１７８°，
雲３：Ｗ＝９．０２７５４７１７８°，…，
雲Ｎ：Ｗ＝１．７４７９６２５０９°

計算結果は画素Ｐ_１１の雲Ｎに対して最小の角度を有することを示しているので、雲スペクトル選択部３１は、画素Ｐ_１１に雲Ｎが混入していると決定し、雲ＮがＰ_１１をアンミキシングするために選択される。

雲スペクトル選択部３１が全ての画素（図１０及び１１の９つの画素）に対応する雲スペクトルを選択した後の出力は図１２に示す通りである。表中の数字は、図１０（又は１１）の各画素についての図７（又は８）の選択された雲Ｎｏ．の指標を示す。

ステップＳ３６〜Ｓ４０の動作は、それぞれ、図５のステップＳ２５〜Ｓ２９の動作と同一である。

以上が画像処理装置３００の動作である。
＜＜第３の例示的な実施形態の効果＞＞

本発明に係る第４の例示的な実施形態の画像処理装置３００によれば、第１及び第２の例示的な実施形態で説明した上記の効果に加えて、入力画像内に様々な種類の雲が存在する場合であっても、画像処理装置３００は雲の存在比を正確に推定し、雲を除去することができる。画像内に複数の種類の雲を含む代わりに、第１及び第２の実施形態のように単一の雲スペクトルのみが使用される場合、雲スペクトルが不正確であるために雲の存在比が正確に推定できない可能性がある。したがって、画像処理装置３００は雲の各々の種類について代表的な画素を求め、当該各々の種類についてスペクトルを抽出する。画像処理装置３００は各画素のアンミキシングのための抽出されたスペクトルのうち１つの適当な雲スペクトルを選択する。その結果、画像処理装置３００は入力画像内に様々な種類の雲が存在する場合であっても、雲の存在比を正確に推定することができ、これによって、正確な雲の検出及び除去が実行される。
第４の例示的な実施形態

第３の例示的な実施形態では、画像入力のたびに画像内に含まれる雲のスペクトルが抽出される。ただし、これには時間がかかり、場合によっては、例えば、入力画像に薄雲の被覆しかない場合、画像内のピュアな雲画素の検出が煩雑なため、正確な抽出が困難になるであろう。そのようなケースを想定すると、全ての潜在的な雲スペクトルが前もって記憶されているならば、雲スペクトルの決定は迅速で正確になる。第４の例示的な実施形態では、雲スペクトルデータベースを保持し、入力画像内の１つの雲スペクトル又は複数の雲スペクトルを当該雲スペクトルデータベースから選択する画像処理装置４００について説明する。
＜＜画像処理装置＞＞

図１３は、本発明に係る第２の例示的な実施形態の画像処理装置４００の構成を示すブロック図である。画像処理装置４００は、入力部１１と、決定部１２と、雲スペクトルメモリ４１と、雲スペクトル選択部３１ａと、エンドメンバ抽出部１４と、エンドメンバ選択部１５ｂと、アンミキシング部１６と、雲除去部２１と、出力部２０ａとを含む。

雲スペクトルメモリ４１は、衛星画像内の概して観測される、また観測され得る様々な雲スペクトルをデータベース内に記憶する。雲スペクトルは表（図７参照）又はグラフ（図８参照）として記憶できる。

雲スペクトルメモリ４１内の情報は、エンドメンバ選択部１５ｂ及び雲スペクトル選択部３１ａが、有線又は無線通信を介して利用可能である。

エンドメンバ選択部１５ｂは雲スペクトルメモリ４１から雲スペクトルの組を取得し、エンドメンバ抽出部１４からエンドメンバスペクトルの組を取得する。エンドメンバ選択部１５ｂは、第１の例示的な実施形態に記載の式（１２）を用いて、雲スペクトルの組内の雲スペクトルの各々とエンドメンバスペクトルの組内のエンドメンバスペクトルの各々との間のスペクトル角を計算する。雲スペクトルのいずれかの対とエンドメンバスペクトルとの角度がしきい値未満の場合、エンドメンバスペクトルはノイジーな雲スペクトルであると想定される。次いで、エンドメンバ選択部１５ｂは当該エンドメンバスペクトルの組から当該ノイジーな雲スペクトルを除去する。全てのエンドメンバスペクトルを全ての雲スペクトルと比較した後で、エンドメンバ選択部１５ｂは残りのエンドメンバスペクトルを１組のエンドメンバスペクトルに組み立て、それをアンミキシング部１６へ送信する。

雲スペクトル選択部３１ａ（第５の例示的な実施形態の雲スペクトル取得部５０２に相当する）は、雲スペクトルメモリ４１から雲スペクトルを取得する。特に、雲スペクトル選択部３１ａは入力部１１から入力画像を受信し、雲スペクトルメモリ４１から１組の雲スペクトルを受信する。雲スペクトル選択部３１ａは、雲スペクトルの当該組から標的画素の雲スペクトルを選択する。雲スペクトル選択部３１ａは、各画素について、各々が当該画像内の特定の波長帯域に対応する複数の寸法の特徴空間内の当該画素のスペクトルに分光的に最も近い雲スペクトルを選択する。

その他の各部は第３の例示的な実施形態と同一である。
＜＜画像処理装置の動作＞＞

図１４は、必要な雲スペクトルが雲スペクトルメモリ４１に記憶されているという前提での画像処理装置４００の動作を示すフローチャートである。

ステップＳ４１の動作はステップＳ３１の動作と同一である。

ステップＳ４２で、エンドメンバ選択部１５ｂは雲スペクトルメモリ４１から雲スペクトルの組を取得する。

ステップＳ４３〜Ｓ４４の動作は、それぞれ、図９のステップＳ３３〜Ｓ３４の動作と同一である。

ステップＳ４５で、雲スペクトル選択部３１ａは雲スペクトルメモリ４１から１組の雲スペクトルを取得し、画像内の各画素について、雲スペクトルの当該組のうち１つの雲スペクトルを選択する。各画素について、雲スペクトル選択部３１ａは、式（１２）を用いて、１つの雲スペクトルと雲スペクトルの当該組内の雲スペクトルの各々との間のスペクトル角を求め、最小角を示す雲スペクトルを選択する。

ステップＳ４６〜Ｓ５０の動作は、それぞれ、図９のステップＳ３６〜Ｓ４０の動作と同一である。

以上が画像処理装置４００の動作である。
＜＜第４の例示的な実施形態の効果＞＞

本発明に係る第４の例示的な実施形態の画像処理装置４００は、雲スペクトルを迅速且つ正確に推定することができ、したがって、入力画像内に雲のピュアな画素が存在しない場合でも雲の存在比を短時間で正確に計算することができる。この理由は、入力画像から雲を抽出する代わりに雲スペクトルデータベースから雲スペクトルが選択されるからである。全ての存在し得るスペクトルはデータベースから利用可能なため、雲の存在比を正確に推定することができ、その結果、正確な雲の検出及び除去が実行される。
第５の例示的な実施形態

第５の実施形態では、画像処理装置５００について説明する。画像処理装置５００は第１から第４の実施形態のうち最小の構成を示す。図１５は、本発明に係る第５の例示的な実施形態の画像処理装置５００の構成を示すブロック図である。画像処理装置５００は入力画像内の雲の影響を受ける領域を検出し修正する処理を行う。画像処理装置５００は、エンドメンバ抽出部５０１と、雲スペクトル取得部５０２と、エンドメンバ選択部５０３と、アンミキシング部５０４とを含む。

エンドメンバ抽出部５０１は当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出する。

雲スペクトル取得５０２は、当該入力画像内の１つの雲スペクトルを取得する。

エンドメンバ選択部５０３は、当該エンドメンバスペクトルを雲スペクトルと比較し、当該１つの雲スペクトルと同一又は同様の当該エンドメンバスペクトルの１つ以上をスペクトルの組から除去し、この組をスペクトルの真正の組として出力する。

アンミキシング部５０４は、当該入力画像内の各画素について、雲画素を検出するために、スペクトルの当該真正の組と当該雲スペクトルの存在比を抽出する。

第５の実施形態の画像処理装置５００は、アンミキシングに使用される１組のスペクトル内に、当該１つの雲スペクトルと同一又は同様のノイジーな雲スペクトルが存在しないことを保証することで、雲の影響を受ける領域を検出し修正することができる。この理由は、エンドメンバ選択部５０３が、アンミキシングの前に、スペクトルの当該組から当該ノイジーな雲スペクトルを除去するからである。
＜情報処理装置の構成＞

例えば、図１６は、本発明の例示的な実施形態に関連する画像処理装置を実施できる情報処理装置９００（コンピュータ）を示す。言い換えれば、図１６は、上述の例示的な実施形態の個々の機能が実施可能なハードウェア環境を表す図１、４、６、１３及び１４の装置を実施できるコンピュータ（情報処理装置）を示す。

図１６に示す情報処理装置９００は以下の構成要素を含む。
ＣＰＵ９０１（中央処理装置）、
ＲＯＭ９０２（読出し専用メモリ）、
ＲＡＭ９０３（ランダムアクセスメモリ）、
ハードディスク９０４（記憶装置）、
外部装置への通信インタフェース９０５、
ＣＤ−ＲＯＭ（コンパクトディスク読出し専用メモリ）などの記憶媒体９０７に記憶されたデータの読出し／書込みが可能なリーダ／ライタ９０８、及び
入出力インタフェース９０９。

情報処理装置９００は、これらの構成要素がバス９０６（通信回線）を介して接続された汎用コンピュータである。

実施例としての上記の例示的な実施形態で説明した本発明は、これらの例示的な実施形態の説明で参照されるブロック図（図１、４、６、１３及び１４）又はフローチャート（図３、５、９及び１４）に示す機能を実施できるコンピュータプログラムを備えた図１６に示す情報処理装置９００を提供し、次いで、当該コンピュータプログラムをそのようなハードウェア内のＣＰＵ９０１内に読み込み、当該コンピュータプログラムを解釈して実行することによって達成される。当該装置に提供されたコンピュータプログラムは揮発性の読み書き可能な記憶メモリ（ＲＡＭ９０３）又はハードディスク９０４などの不揮発性記憶装置内に記憶することができる。

さらに、上記のケースでは、汎用の手順を用いて当該コンピュータプログラムをそのようなハードウェアに提供できる。これらの手順は、例えば、ＣＤ−ＲＯＭなどの様々な記憶媒体９０７のいずれかを介して当該コンピュータプログラムを当該装置にインストールすること、又はインターネットなどの通信回線を介して外部ソースから当該コンピュータプログラムをダウンロードすることを含む。これらのケースで、本発明はそのようなコンピュータプログラムを形成するコードから構成される、又は当該コードを記憶する記憶媒体９０７から構成されると見なすことができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の例示的な実施形態の全部又は一部は、これに限定されないが、以下の付記として記述することができる。
（付記１） 入力画像内の雲の影響を受ける領域を検出及び修正する画像処理装置であって、

当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出するエンドメンバ抽出手段と、

当該入力画像内の１つの雲スペクトルを取得する雲スペクトル取得手段と、
当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力するエンドメンバ選択部と、

当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出するアンミキシング部とを含む画像処理装置。
（付記２） 付記１に記載の画像処理装置であって、

当該入力画像内の画素の各々について、当該画素が薄雲と厚雲のどちらの影響を受けているかを決定し、当該薄雲の影響を受けていると決定された当該画素を修正し、当該厚雲の影響を受けていると決定された当該画素をマスキングする雲除去手段をさらに含む画像処理装置。
（付記３） 付記１又は２に記載の画像処理装置であって、

当該雲スペクトル取得手段が当該入力画像から当該雲スペクトルを抽出することで当該雲スペクトルを取得する画像処理装置。
（付記４） 付記１又は２に記載の画像処理装置であって、

入力画像内の観測され得る様々な種類の雲スペクトルを記憶する雲スペクトルメモリをさらに含み、

当該雲スペクトル取得手段が当該雲スペクトルメモリから当該雲スペクトルを取得する画像処理装置。
（付記５） 付記１から４のいずれかに記載の画像処理装置であって、当該雲スペクトル取得手段が当該入力画像内に存在する雲から複数の種類の雲スペクトルを抽出する画像処理装置。
（付記６） 付記５に記載の画像処理装置であって、

当該入力画像内の各画素について、当該複数の雲スペクトルのうち１つの雲スペクトルを選択する雲スペクトル選択手段をさらに含む画像処理装置。
（付記７） 付記５に記載の画像処理装置であって、

当該入力画像内の各画素について、当該雲スペクトルメモリから１つの雲スペクトルを選択する雲スペクトル選択手段をさらに含む画像処理装置。
（付記８） 入力画像内の雲の影響を受ける領域を検出及び修正する画像処理方法であって、

当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出することと、

当該入力画像内の１つの雲スペクトルを取得することと、

当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、

当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出することとをさらに含む画像処理方法。
（付記９） 付記８に記載の画像処理方法であって、

当該入力画像内の画素の各々について、当該画素が薄雲と厚雲のどちらの影響を受けているかを決定し、当該薄雲の影響を受けていると決定された当該画素を修正し、当該厚雲の影響を受けていると決定された当該画素をマスキングすることをさらに含む画像処理方法。
（付記１０） 付記８又は９に記載の画像処理方法であって、

取得することにおいて、当該入力画像から当該雲スペクトルを抽出することで当該雲スペクトルを取得する画像処理方法。
（付記１１） 付記８又は９に記載の画像処理方法であって、

取得することにおいて、入力画像内の観測され得る様々な種類の雲スペクトルを記憶する当該雲スペクトルメモリから当該雲スペクトルを取得する画像処理方法。
（付記１２） 付記８から１１のいずれかに記載の画像処理方法であって、取得することにおいて、当該入力画像内に存在する雲から複数の種類の雲スペクトルを抽出する画像処理方法。
（付記１３） 付記１２に記載の画像処理方法であって、

当該入力画像内の各画素について、当該複数の雲スペクトルのうち１つの雲スペクトルを選択することをさらに含む画像処理方法。
（付記１４） 付記１２に記載の画像処理方法であって、

当該入力画像内の各々の画素について、当該雲スペクトルメモリから１つの雲スペクトルを選択することをさらに含む画像処理方法。
（付記１５） 入力画像内の雲の影響を受ける領域をコンピュータに検出及び修正させる画像処理プログラムを記憶する記憶媒体であって、当該プログラムが、

当該入力画像から１つ又は複数のエンドメンバの１組のスペクトルを抽出することと、

当該入力画像内の１つの雲スペクトルを取得することと、
当該エンドメンバスペクトルを当該雲スペクトルと比較し、当該エンドメンバスペクトルの当該スペクトルの組から、当該１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、

当該入力画像内の各画素について、当該１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの当該真正の組内の雲の存在比とを導出し、当該入力画像内の１つ又は複数の雲画素を検出することとを含む記憶媒体。
（付記１６） 付記１５に記載の記憶媒体であって、

当該入力画像内の画素の各々について、当該画素が薄雲と厚雲のどちらの影響を受けているかを決定し、当該薄雲の影響を受けていると決定された当該画素を修正し、当該厚雲の影響を受けていると決定された当該画素をマスキングすることをさらに含む記憶媒体。
（付記１７） 付記１５又は１６に記載の記憶媒体であって、

取得することにおいて、当該入力画像から当該雲スペクトルを抽出することで当該雲スペクトルを取得する記憶媒体。
（付記１８） 付記１５又は１６に記載の記憶媒体であって、

取得することにおいて、入力画像内の観測され得る様々な種類の雲スペクトルを記憶する当該雲スペクトルメモリから当該雲スペクトルを取得する記憶媒体。
（付記１９） 付記１５から１８のいずれかに記載の記憶媒体であって、取得することにおいて、当該入力画像内に存在する雲から複数の種類の雲スペクトルを抽出する記憶媒体。
（付記２０） 付記１９に記載の記憶媒体であって、

当該入力画像内の各画素について、当該複数の雲スペクトルのうち１つの雲スペクトルを選択することをさらに含む記憶媒体。
（付記２１） 付記１９に記載の記憶媒体であって、

当該入力画像内の各々の画素について、当該雲スペクトルメモリから１つの雲スペクトルを選択することをさらに含む記憶媒体。

本発明は、上級レベルの衛星画像処理の前に衛星画像を撮像する際の環境上の影響を補正する前処理ツールとして適用することができる。

０１：入力部
０２：受信部
０３：雲スペクトル抽出部
０４：エンドメンバ抽出部
０５：アンミキシング部
０６：雲除去部
１１：入力部
１２：受信部
１３、１３ａ：雲スペクトル抽出部
１４：エンドメンバ抽出部
１５、１５ａ：エンドメンバ選択部
１６：アンミキシング部
２１：雲除去部
２０、２０ａ：出力部
３１、３１ａ：雲スペクトル選択部
４１：雲スペクトルメモリ
１００：画像処理装置
２００：画像処理装置
３００：画像処理装置
４００：画像処理装置
５００：画像処理装置
９００：情報処理装置
９０１：ＣＰＵ
９０２：ＲＯＭ
９０３：ＲＡＭ
９０４：ハードディスク
９０５：通信インタフェース
９０６：バス
９０７：記憶媒体
９０８：リーダ／ライタ
９０９：入出力インタフェース

Claims (9)

1. 入力画像内の雲の影響を受ける領域を検出及び修正する画像処理装置であって、
   前記入力画像から１つ又は複数のエンドメンバの１組のスペクトルをエンドメンバスペクトルとして抽出するエンドメンバ抽出手段と、
   前記入力画像内の１つの雲スペクトルを取得する雲スペクトル取得手段と、
   前記エンドメンバスペクトルを前記雲スペクトルと比較し、前記エンドメンバスペクトルの前記スペクトルの組から、前記１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力するエンドメンバ選択部と、
   前記入力画像内の各画素について、前記１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの前記真正の組内の雲の存在比とを導出し、前記入力画像内の１つ又は複数の雲画素を検出するアンミキシング部と
   を含む画像処理装置。
2. 前記入力画像内の画素の各々について、前記画素が薄雲と厚雲のどちらの影響を受けているかを決定し、前記薄雲の影響を受けていると決定された前記画素を修正し、前記厚雲の影響を受けていると決定された前記画素をマスキングする雲除去手段
   をさらに含む請求項１に記載の画像処理装置。
3. 前記雲スペクトル取得手段が前記入力画像から前記雲スペクトルを抽出することで前記雲スペクトルを取得する
   請求項１又は２に記載の画像処理装置。
4. 入力画像内の観測され得る様々な種類の雲スペクトルを記憶する雲スペクトルメモリをさらに含み、
   前記雲スペクトル取得手段が前記雲スペクトルメモリから前記雲スペクトルを取得する
   請求項１又は２に記載の画像処理装置。
5. 前記雲スペクトル取得手段が前記入力画像内に存在する雲から複数の種類の雲スペクトルを抽出する
   請求項１から４のいずれかに記載の画像処理装置。
6. 前記入力画像内の各画素について、前記複数の雲スペクトルのうち１つの雲スペクトルを選択する雲スペクトル選択手段
   をさらに含む請求項５に記載の画像処理装置。
7. 前記入力画像内の各画素について、前記雲スペクトルメモリから１つの雲スペクトルを選択する雲スペクトル選択手段
   をさらに含み、
   前記雲スペクトル取得手段が前記入力画像内に存在する雲から複数の種類の雲スペクトルを抽出する
   請求項４に記載の画像処理装置。
8. 入力画像内の雲の影響を受ける領域を検出及び修正する画像処理方法であって、
   前記入力画像から１つ又は複数のエンドメンバの１組のスペクトルをエンドメンバスペクトルとして抽出することと、
   前記入力画像内の１つの雲スペクトルを取得することと、
   前記エンドメンバスペクトルを前記雲スペクトルと比較し、前記エンドメンバスペクトルの前記スペクトルの組から、前記１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、
   前記入力画像内の各画素について、前記１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの前記真正の組内の雲の存在比とを導出し、前記入力画像内の１つ又は複数の雲画素を検出することと、
   を含む、画像処理方法。
9. 入力画像内の雲の影響を受ける領域をコンピュータに検出及び修正させる画像処理プログラムであって、
   前記入力画像から１つ又は複数のエンドメンバの１組のスペクトルをエンドメンバスペクトルとして抽出することと、
   前記入力画像内の１つの雲スペクトルを取得することと、
   前記エンドメンバスペクトルを前記雲スペクトルと比較し、前記エンドメンバスペクトルの前記スペクトルの組から、前記１つの雲スペクトルと同一又は同様の１つ又は複数のスペクトルを除去し、その結果として得られた１組のスペクトルをスペクトルの真正の組として出力することと、
   前記入力画像内の各画素について、前記１つ又は複数のエンドメンバの１つ又は複数の存在比とスペクトルの前記真正の組内の雲の存在比とを導出し、前記入力画像内の１つ又は複数の雲画素を検出すること
   を含む画像処理プログラム。

Images