JP3981744B2 - 画像補正方法及び画像補正装置 - Google Patents

Description

本発明は、画像の補正方法及び画像補正装置に関し、特に、複数の異なる波長帯域で撮影して得た画像において、被写体の陰影や大気の影響によって生じる輝度値変異（以下場合により「陰影等」と略称する。）を除去する画像補正方法及び画像補正装置に関する。

例えば、航空機や人工衛星に搭載されたスペクトルセンサによって複数の異なる波長帯域で撮影された衛星画像には、被写体の凹凸や建造物、雲等に太陽光が遮られることなどにより陰影が写り込む。かかる衛星画像中の陰影は、被写体の形状を知る上では必要不可欠であるが、衛星画像を森林、田畑、市街地等のような土地利用形態の観察をするために行われる土地被覆分類に用いる場合などでは、陰影によって観察することのできない部分を生じ、当該衛星画像のみでは撮影エリア全域の土地被覆情報を示すことができない。
即ち、画像の利用方法によっては、画像中の陰影等が不要であって、これを除去したい場合があるが、かかる画像中の陰影等を除去する画像補正方法として、特開平５−１８７８７６号「地表画像の陰影処理方法」が提案されている。

特開平５−１８７８７６号

前記特開平５−１８７８７６号にかかる方法によれば、地表画像データを視覚表示する際、任意の位置から太陽光が照射した場合に生じる陰影の付加された地表画像を、地表画像データとデジタル地形データとを用いることにより、太陽位置によって生じる陰影範囲を求めて陰影を処理することができ、精密な画像の陰影除去が可能である。

しかしながら、特開平５−１８７８７６号にかかる方法では、画像に対応する地形データを入手することができない場合には用いることができず、また、地形データに依存する方法では、地形の凹凸によって生じる陰影の除去には有効であるが、上空の雲の影響により生ずる陰影を除去することができない。
更に、衛星画像では、大気による光の散乱・吸収等の影響（以下場合により「大気の影響」と略称する。）により画像に輝度値変異を生ずる場合もあり、かかる輝度値変異によっても被写体本来の様子を再現するにはこれを除去する必要がある場合がある。しかしながら、特開平５−１８７８７６号にかかる方法は、大気の影響による輝度値変異が生じている画像部位の輝度値を補正することがきない。

即ち、本願発明は、より簡単な構成により、画像中の陰影、画像中の大気の影響による輝度値変異が現れている画像部位の輝度値を同時に補正することが可能な画像処理方法の提供を課題とする。

以上の課題を解決するため、請求項１記載の本発明の画像補正方法は、複数の異なる波長帯域で撮影して得た画像において、被写体上に陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の輝度値を補正するための画像補正方法であって、
画像中、前記被写体上の陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の被写体と、同一若しくは類似する反射特性を有する被写体が現れている画像部位をサンプル部位として選択するステップと、
前記サンプル部位を構成する画素ごとの各波長帯域の輝度値の相加平均を説明変数、画素ごとの各波長帯域の輝度値を目的変数として回帰分析することにより、画素ごとの各波長帯域の予測値を得る回帰式を生成するステップと、
前記画像中の陰影部及び／又は大気の影響が現れている画像部位を構成する画素ごとの各波長帯域の輝度値を、前記回帰式によって得られた画素ごとの各波長帯域の予測値により除して得られる商を補正値として、前記陰影部及び／又は大気の影響が現れている画像部位の画素ごとの各波長帯域の輝度値を補正するステップと、を備えることを特徴とする。

請求項２記載の本発明の画像補正装置は、複数の異なる波長帯域で撮影して得た画像において、被写体上に陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の輝度値を補正するための画像補正装置であって、
画像中、前記被写体上の陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の被写体と、同一若しくは類似する反射特性を有する被写体が現れている画像部位をサンプル部位として選択する手段と、
前記サンプル部位を構成する画素ごとの各波長帯域の輝度値の相加平均を説明変数、画素ごとの各波長帯域の輝度値を目的変数として回帰分析することにより、画素ごとの各波長帯域の予測値を得る回帰式を生成する手段と、
前記画像中の陰影部及び／又は大気の影響が現れている画像部位を構成する画素ごとの各波長帯域の輝度値を、前記回帰式によって得られた画素ごとの各波長帯域の予測値により除して得られる商を補正値として、前記陰影部及び／又は大気の影響が現れている画像部位の画素ごとの各波長帯域の輝度値を補正する手段と、を備えることを特徴とする。

本発明の画像処理方法によれば、簡単な構成により、画像中の陰影、画像中の大気の影響による輝度値変異が現れている画像部位の輝度値を同時に補正することが可能となる。

図１〜図５を用いて、本発明の実施の形態について説明する。
図１は、本発明の画像処理装置の一の実施形態を示す概略構成図である。
図１に示すように本発明の画像処理装置１には、パーソナルコンピュータ等で構成するＣＰＵ装置１０を用い、該ＣＰＵ装置１０に、サンプル部位選択手段１０ａ、回帰式生成手段１０ｂ及び輝度値補正手段１０ｃを実現するためのコンピュータプログラムを読み込んで実行する構成とすることができ、必ずしも専用装置を用いる必要はない。
なお、サンプル部位選択手段１０ａ、回帰式生成手段１０ｂ及び輝度値補正手段１０ｃを実現するためのコンピュータプログラムは、通常、ＣＰＵ装置１０内部の記憶装置あるいは外部記憶装置に組み込まれ、当該ＣＰＵ装置１０と一体に構成されるが、ＣＤ−ＲＯＭ、ＦＤ（フロッピー（登録商標 ）ディスク）その他外部の記録媒体に記録しておき、必要に応じて直接あるいは情報通信ネットワーク等を介してＣＰＵ装置１０にインストールされる構成とすることもできる。

ＣＰＵ装置１０には、画像データを読み込む画像データ読込手段１１、画像処理結果等の画像の状態を確認するための表示手段としてＣＲＴ１２が接続され、また、キーボードやポインティングデバイス等で構成される条件入力手段１３が接続されている。

以上のように構成される画像処理装置１では、まず画像データ読込手段１１によって処理対象となる画像データがＣＰＵ装置１０に読み込まれる。画像データ読込手段１１としては、例えば電子化されている画像データが記録されたＣＤ−ＲＯＭ、ＦＤその他公知の記録媒体から画像データを読み込むことが可能なＣＤドライブ、ＦＤドライブなどの他、スキャナ装置によって写真、印刷物から直接画像データを読み込む構成とする等、公知の手段を用いることができる。
なお、本発明の画像処理方法及び画像補正装置による補正対象画像は、赤バンド（Ｒ）、緑バンド（Ｇ）、青バンド（Ｂ）、近赤外バンド（ＩＲ）等の光の波長帯域から選択される複数の異なる波長帯域で撮影して得た画像であり、また、画像データ読込手段１１により読み込まれる画像データには、少なくとも、各波長帯域の輝度値データ（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）が含まれる。例えば、ＲＧＢ波長帯域のみで画像データを構成するデジタルカメラ画像では、Ｒ、Ｇ、Ｂ波長帯域ごとの輝度値データＲｙ、Ｇｙ、Ｂｙが読み込まれる。
画像データ読込手段１１により読み込まれた画像データに基づいて再生される画像はＣＲＴ１２に出力表示され、画像中の陰影等を視覚によって確認することができる。

サンプル部位選択手段１０ａは、ＣＲＴ１２に出力表示された画像中、陰影部等により隠されている被写体と同一・類似の反射特性を有する被写体が現れている画像部位を、出力表示された画像全体の中から選択する。サンプル部位選択手段１０ａとしては、例えば、ＣＲＴ１２に出力表示された画像を観察し、操作者が条件入力手段１２を用いて画像全体から適当な画像部位を囲繞して指定することにより、サンプル部位が選択されるように設計されたコンピュータプログラムを実行することにより実現される構成とすることができる。具体的には、汎用の画像処理ソフトをＣＰＵ装置１０にインストールして実行することにより、サンプル部位選択手段１０ａとすることができる。

回帰式生成手段１０ｂは、サンプル部位選択手段１０ａにより選択されたサンプル部位を構成する画素ごとの各波長帯域の輝度値の相加平均を説明変数、画素ごとの各波長帯域の輝度値を目的変数として回帰分析することにより、画素ごとの各波長帯域の予測値を得るための回帰式を生成する。
回帰式生成手段１０ｂとしては、サンプル部位選択手段１０ａにより、サンプル部位が選択されたことを検知すると、取得した画像データから、サンプル部位を構成する画素ごとの各波長域の輝度値データを抽出して、自動的に各波長帯域の回帰式を生成処理するように設計されたコンピュータプログラムを実行することにより実現される構成とすることができる。具体的には、回帰分析が可能な統計処理ソフトをＣＰＵ装置１０にインストールして実行することにより、回帰式生成手段１０ａとすることができる。

輝度値補正手段１０ｃは、前記画像中の陰影部等を構成する画素ごとの各波長帯域の輝度値を、回帰式生成手段１０ｂにより生成された画素ごとの各波長帯域の回帰式によって得られた予測値により除して得られる商を補正値として、陰影部等が現れている画像部位を構成する画素ごとに各波長帯域の輝度値を補正する。 輝度値補正手段１０ｃは、以上の処理工程をコンピュータプログラムによって実行することにより実現される構成とすることができ、具体的には汎用の画像処理ソフトを用いることができる。輝度値補正後の画像は、ＣＲＴ１２に出力表示され、輝度値補正の効果を視覚により確認することができる。

次に、図２に基づき、本発明の画像処理装置１における画像処理の方法を更に詳しく説明する。
最初に、ＣＰＵ装置１０に読み込まれた画像データによって、ＣＲＴ１２に出力表示された画像中、陰影等が生じている部分の被写体を特定し、該特定された被写体が有する反射特性と同一若しくは類似する反射特性を有する被写体が現れている画像部位をサンプル部位として選択する（Ｓ１００）。サンプル部位は、読み込んだ画像データに基づいて再生される画像全体から選択される。
サンプル部位の選択方法としては種々の方法を採用することできるが、より簡易な方法としては、サンプル部位として用いることが適当と思われる画像部位を目視によって選択する方法を用いることができる。例えば、山間部が撮影された衛星画像では、日照を受けない部分（例えば、山の北斜面側）に陰影が生じることになるが、当該陰影に覆われた本来の北斜面側の土地が、日照を受けている部分（山の南斜面側）の植生樹と同一の植生樹で覆われていると考えられる場合、目視によって当該南斜面側が写し出されている画像部位を条件入力手段１３で選択し、これをサンプル部位とすることができる。

次に、上記選択された画像中のサンプル部位を構成する画素ごとに、複数の波長帯域の輝度値（例えば、Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）を取得し、各波長帯域の輝度値の相加平均Ｘ（（Ｒｙ＋Ｇｙ＋Ｂｙ＋ＩＲｙ）／４）を説明変数、各画素の各波長帯域の輝度値（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）をそれぞれ目的変数として各波長帯域の回帰分析をすることにより、画素ごとにおける各波長帯域の回帰式を生成する（Ｓ１０１）。
ここで、図３に山間部において同一被覆と考えられる植生樹の日照部と非日照部を含んだエリアについてＸ軸を相加平均値、Ｙ軸を各波長帯域の輝度値として画素ごとにプロットしたグラフを示す。
図３に示されているとおり、相加平均Ｘを説明変数、各波長帯域の輝度値（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）を目的変数とした一次式で回帰できると仮定することが可能であり、例えば、図３中の直線で表されているようなＲｙＹ＝ＡＸ＋Ｂとする回帰式を生成することができる。なお、ＲｙＹは画素ごとのＲ波長帯域の予測値として用いる。

次に、前記画像中の陰影部等が現れている画像部位を構成する画素ごとの各波長帯域の輝度値（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）を、前記Ｓ１０１の工程により得られた画素ごとの各波長帯域の予測値（ＲｙＹ、ＢｙＹ、ＧｙＹ、ＩＲｙ）によりそれぞれ除して得られる商を補正値として、前記の輝度値（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）をそれぞれ補正する（Ｓ１０２）。
このように、各波長帯域の輝度値（Ｒｙ、Ｇｙ、Ｂｙ、ＩＲｙ）とその予測値（ＲｙＹ、ＢｙＹ、ＧｙＹ、ＩＲｙ）との比を取ることにより、陰影部等の輝度値と、サンプル部位の輝度値との格差が平滑化されるので、その結果、画像から陰影を除去することが可能となる。また、本発明の画像処理方法では複数の異なる波長帯域で撮影して得た画像の輝度値に着目して補正を行うので、陰影の除去は勿論、大気の影響による輝度値変異が生じている画像部位の輝度値補正に対しても同様の効果を有する。

以上の本発明の画像処理方法により、実際に高解像度衛星イコノスから取得した画像データにおける陰影部等の除去を試みた結果を図４及び図５に示す。図４は、本発明の画像処理方法による輝度値補正後の画像と、輝度値補正前の画像とを比較したものである。図中、輝度値補正前の画像において略中央部の広範囲に陰影部（当該陰影は、同画像中略右下方に写し出されている雲によって生じたものである。）が認められるが、輝度値補正後の画像では陰影部と、その周辺の非陰影部との差がなくなっていることが確認できる。
また、図５は輝度値補正後のＲ波長帯域の輝度値分布グラフである。図中、楕円で囲繞した部分が図４中の輝度値補正後の画像の陰影部と、その周辺の非陰影部とを含む画像部位に相当するが、陰影部と非陰影部の輝度値の差がほとんどなくなったことが明確に示されている。
即ち、本発明の画像補正装置及び画像補正方法を用いることにより、複数の異なる波長帯域で撮影して得た画像の陰影や大気の影響による輝度値変異が生じている画像部位の輝度値を同時に補正し得るので、例えば、本発明を衛星画像を利用した土地被覆分類に用いた場合、撮影エリア全域の土地被覆情報を示すことが可能となる。
また、本発明は、比較的簡単な構成で画像処理が可能となるため、画像処理の時間とコストの削減が可能である。更に、ＲＧＢ波長帯域での利用効果が認められることから、デジタルカメラなどで撮影した画像に対しても応用が可能である。

図１は、本発明の１の実施の形態にかかる画像補正装置の構成概略図を示す。 図２は、本発明の画像処理方法のフローを示す図である。 図３は、山間部において同一被覆と考えられる植生樹の日照部と非日照部を含んだエリアについてＸ軸を相加平均値、Ｙ軸を各波長帯域の輝度値として画素ごとにプロットした際のグラフである。 図４は、イコノス画像に対し、本発明の画像処理方法を用いて輝度値補正した後の画像と、輝度値補正前の画像を示した図である。 図５は、イコノス画像に本発明の画像処理方法を用いて輝度値補正した後のＲ波長帯域の輝度値分布を示したグラフである。

符号の説明

１ 画像補正装置
１０ＣＰＵ装置
１１画像データ読込手段
１２ＣＲＴ
１３条件入力手段

Claims (2)

1. 複数の異なる波長帯域で撮影して得た画像において、被写体上に陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の輝度値を補正するための画像補正方法であって、
   画像中、前記被写体上の陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の被写体と、同一若しくは類似する反射特性を有する被写体が現れている画像部位をサンプル部位として選択するステップと、
   前記サンプル部位を構成する画素ごとの各波長帯域の輝度値の相加平均を説明変数、画素ごとの各波長帯域の輝度値を目的変数として回帰分析することにより、画素ごとの各波長帯域の予測値を得る回帰式を生成するステップと、
   前記画像中の陰影部及び／又は大気の影響が現れている画像部位を構成する画素ごとの各波長帯域の輝度値を、前記回帰式によって得られた画素ごとの各波長帯域の予測値により除して得られる商を補正値として、前記陰影部及び／又は大気の影響が現れている画像部位の画素ごとの各波長帯域の輝度値を補正するステップと、
   を備えることを特徴とする画像補正方法。
2. 複数の異なる波長帯域で撮影して得た画像において、被写体上に陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の輝度値を補正するための画像補正装置であって、
   画像中、前記被写体上の陰影が現れている画像部位及び／又は大気の影響によって輝度値変異が現れている画像部位の被写体と、同一若しくは類似する反射特性を有する被写体が現れている画像部位をサンプル部位として選択する手段と、
   前記サンプル部位を構成する画素ごとの各波長帯域の輝度値の相加平均を説明変数、画素ごとの各波長帯域の輝度値を目的変数として回帰分析することにより、画素ごとの各波長帯域の予測値を得る回帰式を生成する手段と、
   前記画像中の陰影部及び／又は大気の影響が現れている画像部位を構成する画素ごとの各波長帯域の輝度値を、前記回帰式によって得られた画素ごとの各波長帯域の予測値により除して得られる商を補正値として、前記陰影部及び／又は大気の影響が現れている画像部位の画素ごとの各波長帯域の輝度値を補正する手段と、
   を備えることを特徴とする画像補正装置。

Images