JP4248232B2 - ラインセンサ出力画像における影領域の補正方法及び影補正装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ラインセンサ出力画像における影領域の補正方法及び影補正装置に関するものである。
【０００２】
【従来の技術】
地図データ生成に際して、衛星画像、あるいは航空写真を使用することが多用されているが、衛星画像は未だ航空写真に比して地上解像度が低いという問題を有し、航空写真は別途写真のスキャニング操作が必要な上に、ステレオ撮影におけるラップ領域は画像の一部にしか過ぎないために、標高算出の精度が低いという問題を有している。
【０００３】
これらの問題を解決する方法として、近時、航空機等の飛行体上に搭載したラインセンサにより取得した画像を地図データ生成に利用することが提案されている。この方法は、地上２ｋｍ程度の高度を航行する飛行体に飛行体の飛行方向を主走査方向とするラインセンサを複数搭載し、これら複数のラインセンサにより異なった方向を連続的に撮像して行われるもので、撮影対象の全領域について異なった角度から撮影することができるために、高い精度で高さ情報を得ることが可能なこと、さらに、衛星画像に比して、例えば２０ｃｍないし４０ｃｍ程度の高い地上解像度を取得可能なこと等の利点がある。
【０００４】
一方、地図データ生成に際しては、画像中に発生する太陽光による影の処理が必要であり、例えば撮像時間が極めて短時間な衛星画像中における影領域の指定は、特許文献１に記載のように、撮影日時情報と撮像対象に対応する高さ情報をもとにして行うことが可能であるが、ラインセンサにより取得した画像は、画像取得時間が比較的長いために、太陽位置の変化等を無視できないという問題がある。
【０００５】
【特許文献１】
特開平１０−２６９３４７号公報
【０００６】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みてなされたものであって、ラインセンサ出力画像中の影領域を正確に指定することができ、このようにして指定された影領域を確実に除去することのできる影領域の補正方法及び影補正装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
本発明によれば上記目的は、
地上所定高さを飛行する飛行体１に搭載したラインセンサにより地上を撮影する際に、ＧＰＳ時計の出力値をラインセンサ出力画像２の構成ラインデータ２ａの取得タイミングに合わせて取得し、前記構成ラインデータ２ａ毎に構成ラインデータ２ａ取得時のＧＰＳ時計の出力値から演算された太陽光照射方向及び撮影対象の３次元モデルに基づいて該構成ラインデータ２ａ内での影領域４を演算し、
前記影領域４におけるＲＧＢ出力値がすべて”０”のときにテクスチャ貼り付けモードを選択し、それ以外の場合には、輝度修正モードを選択し、
テクスチャ貼り付けモード時には、前記影領域４を所定の画像に置換し、輝度修正モード時には影領域４の輝度を影領域４の周辺における輝度に一致させて影領域４を修正するラインセンサ出力画像における影領域の補正方法を提供することにより達成される。
【０００８】
本発明において、地上の撮影データは、地上２ｋｍ程度の高度を航行する航空機等の飛行体１に搭載したラインセンサを使用して取得される。ラインセンサは、飛行体１の飛行方向に直交する方向（副走査方向）に撮像素子を配列して構成され、ラインセンサ出力画像２は、このようなラインセンサの撮像素子配列方向の構成ラインデータ２ａの集合として与えられる。全体として均等なピクセル密度でラインセンサ出力画像２が構成されるように、ラインセンサの飛行体１内での相対位置が、光軸面が常に一定方向を向くように飛行体１の傾き等を相殺するように制御され、あるいは構成ラインデータ２ａに対し、飛行体１の傾き等のデータ（評定要素）に応じた補正が加えられる。
【０００９】
以上のようにして取得したラインセンサ出力画像２には、太陽光の影響による影画像が含まれており、この影領域４を特定するために必要な太陽光照射方向情報が上記構成ラインデータ２ａの取得に同期して取得される。太陽光照射方向情報は、撮影対象である地物の３次元モデル３への太陽光の照射角度が一義的に決定可能で、該３次元モデル３により発生する影領域４を特定できるものであれば足り、太陽高度のように直接太陽光照射方向を特定できるもの以外に、例えば、撮像日時のように、太陽光照射方向を間接的に演算可能なものであってもよい。
【００１０】
したがってこの発明において、ラインセンサ出力画像２の構成ラインデータ２ａ取得に同期させて太陽光照射方向情報も取得しているために、ラインセンサ出力画像２の取得に時間がかかっても、地物の３次元モデル３に対する正確な位置からの太陽光線の照射をシミュレートすることが可能となり、影領域４を正確に演算することができる。
【００１１】
地物の３次元モデル３は、別途用意することも可能であるが、副走査方向が一致し、光軸面が互いに交差する複数のラインセンサによる３Ｄモデル生成用ラインセンサ画像５を同時に取得し、これら３Ｄモデル生成用ラインセンサ画像５から３次元モデル３を生成するのが望ましい。すなわち、異なった日時に取得した３次元モデル３を使用する場合には、３次元モデル３とラインセンサ出力画像２の位置情報を正確に合致させる必要があり、誤差の発生等が避けられないのに対し、３Ｄモデル生成用ラインセンサ画像５とラインセンサ出力画像２を同時取得する場合には、位置情報の一致を前提とすることができるために、誤差発生機会が少なくなる上に、計算量も少なくなる。また、撮影環境により左右される事項、例えば雲量による画面の明るさ、地物の一時的変化等は、ラインセンサ出力画像２と３Ｄモデル生成用ラインセンサ画像５の双方で取得されるためにその影響を相殺することができ、３次元モデル３生成、影領域４演算の精度をより高めることができる。
【００１２】
以上のようにして影領域４が指定された後、影領域４内のピクセルの輝度を該影領域４に隣接するピクセルの輝度に一致させることにより、影領域４を除去することが可能になる。
【００１３】
また、このようにして領域指定された影画像を解消するためには、
データ入力部６から入力されたラインセンサ出力画像２の構成ラインデータ２ａに付随して取得された撮影日時を示すＧＰＳ時計の出力値から演算した太陽光照射方向から撮影対象の３次元モデル３上に平行光を仮想照射し、構成ラインデータ２ａ上での影領域４を演算する影位置演算部７と、
前記影領域４におけるＲＧＢ出力値がすべて”０”のときにテクスチャ貼り付けモードを選択し、それ以外の場合には、輝度修正モードを選択する修正モード決定部８と、
テクスチャ貼り付けモード時には、前記影領域４を所定の画像に置換し、輝度修正モード時には影領域４の輝度を影領域４の周辺における輝度に一致させて影領域４を修正する影修正部９とを有する影補正装置が使用できる。
【００１４】
【発明の実施の形態】
図１にラインセンサ出力画像２から３Ｄ都市景観モデルの建物壁面テクスチャを取得するために使用される影補正装置のブロック図を示す。この影補正装置はデータ入力部６を有し、該データ入力部６にラインセンサ出力画像２、３Ｄモデル生成用ラインセンサ画像５、太陽光照射方向情報及び評定情報１０が入力される。ここでいう評定情報１０は、後述する撮影時の飛行体１の傾き等に加え、飛行体１の位置情報も含まれる。
【００１５】
図２に上記入力データの取得方法を示す。地表面に対して平行で、図２（ａ）において矢印１Ａ方向に航行する飛行体１には、複数のラインセンサ１１が搭載される。この実施の形態において、ラインセンサ１１は、処理対象となるラインセンサ出力画像２を取得するためのＲＧＢカラーラインセンサ１１Ａと、３Ｄモデル生成用ラインセンサ画像５を取得するための３個のパンクロ（白黒）ラインセンサ１１Ｂとが搭載される。
【００１６】
各ラインセンサ１１は、図２（ａ）において紙面に対して直交方向に複数の撮像素子を配列して形成され、各ラインセンサ１１の光軸を含む平面（光軸面）はラインセンサ１１毎に飛行体１の飛行方向線に対して異なるように配置される。この実施の形態において、３個のパンクロラインセンサ１１Ｂは、対物レンズ１１ａを介して、飛行方向に対して斜め前後方及び直下の３方向から同時にラインデータを取得可能なように配置され、ＲＧＢカラーラインセンサ１１Ａは、壁面データの収集を目的とするために、直下視以外（この実施の形態においては前方視）の方向に向けられる。
【００１７】
図２（ｂ）〜（ｄ）はパンクロラインセンサ１１Ｂにより取得されたラインデータを時系列で並べて画像とした３Ｄモデル生成用ラインセンサ画像５を示し、図２（ｂ）は斜め前方視用のカラーラインセンサ１１Ａ及びパンクロラインセンサ１１Ｂからの出力画像、図２（ｃ）は直下視用のパンクロラインセンサ１１Ｂからの出力画像、図２（ｄ）は斜め後方視用のパンクロラインセンサ１１Ｂからの出力画像を各々示す。理解を容易にするために、地上の建物の稜線を４図共通の符号で示し、さらに、図２（ａ）の位置に飛行体１がいるときに取得されたラインデータを鎖線で示す。また、ここでは、斜め前方視における画像は、ＲＧＢカラーラインセンサ１１Ａによるラインセンサ出力画像２も示すものとする。
【００１８】
上記飛行体１には、ＧＰＳ１２及び慣性計測装置（ＩＭＵ１３）が搭載され、上記ＧＰＳ１２と陸上に配置した図外のＧＰＳ基地局によりラインセンサ１１の位置が取得される。また、ＩＭＵ１３は、図２（ａ）におけるＸ軸周りの傾き（ロール角）、Ｚ軸周りの傾き（ヨー角）及びＸ、Ｚ軸に直交するＹ軸周りの傾き（ピッチ角）を出力し、これらＧＰＳ１２及びＩＭＵ１３からの出力は、構成ラインデータ２ａを取得する際に逐一評定情報１０として同時取得される。さらに、ＧＰＳ時計の出力値が太陽光照射方向情報として構成ラインデータ２ａ取得に同期して蓄積される。
【００１９】
以上のようにして得られた３Dモデル生成用ラインセンサ画像５と評定情報１０は３Ｄモデル生成部１４に出力されて３次元モデル３が生成される。
【００２０】
一方、影位置演算部７は、注目構成ラインデータ２ａを取得したときの太陽光照射方向情報が指定する方向からの上記３次元モデル３に対する平行光照射をシミュレートし、当該構成ラインデータ２ａ上における影位置を演算する。図３にこの状態を示す。まず、飛行体１が図３（ａ）における点１Ｂに存在し、ラインデータ２ａを取得した際の太陽光照射方向を矢印３Ａで示すと、ラインデータ２ａ近傍の建物による影は、図３（ａ）においてハッチングを施して示す範囲であるために、当該ラインデータ２ａ上に影は存在しないことがわかる。
【００２１】
この後、所定時間後飛行体１が図３（ｂ）に示す位置１Ｃに移動した際にラインデータ２ａを取得し、このときの太陽光照射方向が矢印３Ｂであるとすると、このときの取得ラインデータ２ａは、建物の影に入っており、その範囲は、ラインデータ２ａの上端からｎ１ドット目を始点としてｎ２ドット連続していることが分かり、これを影情報として蓄積する。
【００２２】
以上のようにして得られたラインデータ２ａを時系列で並べてラインセンサ出力画像２を構成すると、上記各ラインデータ２ａ上の影部分がラインセンサ出力画像２中に図４（ａ）においてハッチングを施して示すように、影領域４として表示され、影領域４の指定作業が終了する。
【００２３】
修正モード決定部８は、このラインセンサ出力画像２をもとに、該ラインセンサ出力画像２中の影領域４を解消する方法を決定するもので、影領域４においてＲＧＢ出力値のすべてが値を持たないとき、すなわち、影領域４が黒色の場合には、テクスチャ貼り付けモードが選択され、それ以外の場合には輝度修正モードが選択される。
【００２４】
テクスチャ貼り付けモードが選択された場合には、影修正部９は、予め設定された画像を上記影領域４にそのまま貼り付けたり、あるいは、図４（ｂ）において右側に示すように、周囲の画像を影領域４まで延長して影領域４の解消が行われる。
【００２５】
これに対し、輝度修正モードが選択された場合には、周囲の輝度に影領域４のＲＧＢ各プレーンの輝度を合致させることにより、図４（ｂ）において左側に示すように、影領域４の解消がなされる。
【００２６】
なお、以上においては、前方視方向のみにカラーラインセンサ１１Ａを配置し、建物壁面のテクスチャを取得するように構成する場合を例示したが、３方向すべてにカラーラインセンサ１１Ａを配置することも可能である。また、画像の取得目的がオルソフォト画像（正射投影画像）を取得する目的の場合には、カラーラインセンサ１１Ａは倒れ込み等の発生を防止するために、直下視方向に向けられる。
【００２７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ラインセンサ出力画像の取得に時間がかかっても、ラインセンサ出力画像中の影領域を正確に指定することができる。
【図面の簡単な説明】
【図１】本発明を示すブロック図である。
【図２】本発明の実施の形態を示す説明図で、（ａ）はデータの取得方法を示す説明図、（ｂ）は斜め前方を向くラインセンサにより取得した画像を示す図、（ｃ）は飛行体直下を向くラインセンサにより取得した画像を示す図、（ｄ）は斜め後方を向くラインセンサにより取得した画像を示す図である。
【図３】影位置演算部の動作を示す図で、（ａ）は影のない部分を示す図、（ｂ）は影が検出された状態を示す図である。
【図４】影修正部の動作を示す図で、（ａ）は修正前の状態を示す図、（ｂ）は修正後の状態を示すラインセンサ出力画像を示す図である。
【符号の説明】
１ 飛行体
２ ラインセンサ出力画像
２ａ ラインデータ
３ ３次元モデル
４ 影領域
５ ３Ｄモデル生成用ラインセンサ画像
６ データ入力部
７ 影位置演算部
８ 修正モード決定部
９ 影修正部

Claims (3)

1. 地上所定高さを飛行する飛行体に搭載したラインセンサにより地上を撮影する際に、ＧＰＳ時計の出力値をラインセンサ出力画像の構成ラインデータの取得タイミングに合わせて取得し、前記構成ラインデータ毎に構成ラインデータ取得時のＧＰＳ時計の出力値から演算された太陽光照射方向及び撮影対象の３次元モデルに基づいて該構成ラインデータ内での影領域を演算し、
   前記影領域におけるＲＧＢ出力値がすべて”０”のときにテクスチャ貼り付けモードを選択し、それ以外の場合には、輝度修正モードを選択し、
   テクスチャ貼り付けモード時には、前記影領域を所定の画像に置換し、輝度修正モード時には影領域の輝度を影領域の周辺における輝度に一致させて影領域を修正するラインセンサ出力画像における影領域の補正方法。
2. 前記撮影対象の３次元モデルは、前記構成ラインデータ取得時に同時取得される撮影方向の異なる複数のラインデータからなる３Ｄモデル生成用ラインセンサ画像から得られる請求項１記載のラインセンサ出力画像における影領域の補正方法。
3. データ入力部から入力されたラインセンサ出力画像の構成ラインデータに付随して取得された撮影日時を示すＧＰＳ時計の出力値から演算した太陽光照射方向から撮影対象の３次元モデル上に平行光を仮想照射し、構成ラインデータ上での影領域を演算する影位置演算部と、
   前記影領域におけるＲＧＢ出力値がすべて”０”のときにテクスチャ貼り付けモードを選択し、それ以外の場合には、輝度修正モードを選択する修正モード決定部と、
   テクスチャ貼り付けモード時には、前記影領域を所定の画像に置換し、輝度修正モード時には影領域の輝度を影領域の周辺における輝度に一致させて影領域を修正する影修正部とを有する影補正装置。

Images