JP4117771B2 - オルソフォト画像生成方法およびオルソフォト画像生成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はオルソフォト画像生成方法およびオルソフォト画像生成システムに関するものである。
【０００２】
【従来の技術】
従来、正射投影法により表現されたいわゆるオルソフォト画像を取得するためには、ヘリコプタ、あるいは航空機等の飛行体からの撮影像、あるいは、衛星画像が使用される。
【０００３】
しかし、飛行体からの撮影像は、カメラレンズの焦点に集焦する中心投影画像であるために、例えば地面等の基準面に対して高さを有する物体は画像の中心に対して放射状に倒れた画像となり、この結果、物体頂部の正射投影図上における位置のずれ、撮像対象の倒れにより陰になった物体が隠れて見えなくなる隠蔽等の現象（以下、本明細書においては、これらの現象を「オクルージョン現象」、オクルージョン現象により本来の画像領域からはみ出した画像領域を「オクルージョン領域」という。）が発生する。
【０００４】
オクルージョン領域の修正は、一般に画像を飛行方向と飛行方向に対して平行方向に所定割合で重合させて取得し、補正対象画像の高さ情報をもとに位置修正等をすることにより行われるが、このためには、各撮影画像の中心を求めた後、画像に対する放射方向の処理を要するために、処理装置に対する負荷が非常に大きくなるという問題がある。
【０００５】
一方、衛星画像は、焦点から撮影対象までの距離が大きなために、オクルージョン現象も少ない反面、分解能が低いという問題がある。
【０００６】
【発明が解決しようとする課題】
本発明は、以上の欠点を解消すべくなされたものであって、オクルージョン領域を補正し、正確、かつ高分解能なオルソフォト画像を得ることのできるオルソフォト画像生成方法の提供を目的とする。
【０００７】
また、本発明の他の目的は、オルソフォト画像生成の容易なオルソフォト画像生成システムの提供にある。
【０００８】
【課題を解決するための手段】
本発明によれば上記目的は、
飛行体１の飛行方向に対して直交方向に撮像素子を配列したラインセンサ２により飛行体１直下の第１画像３を取得し、
前記第１画像３の撮像領域に対応するサーフェイスモデル４から前記第１画像３中の主走査方向のオクルージョン領域５と、オクルージョン発生側サイドラップ画像６中における対応領域とを演算して特定し、
正射投影変換された前記第１画像３上のオクルージョン領域５画素を前記サイドラップ画像６上に特定された対応領域画素で上書きするオルソフォト画像生成方法を提供することにより達成される。
【０００９】
オルソフォト画像を生成するに際して、まず、ラインセンサ２を使用して飛行体１の直下画像が取得される。ラインセンサ２は飛行体１の飛行方向に対して直交方向に撮像素子を配列して形成され、該ラインセンサ２により撮像された画像は、飛行航路の蛇行、上下動、撮影姿勢、光学誤差等の外乱要因が適宜の手段により補正されて第１画像３とされる。
【００１０】
第１画像３は、副走査方向（飛行方向）に連続する飛行体１直下のライン画像の集合であるために、エリアセンサにより取得した画像と異なり、主走査方向（撮像素子の配列方向）にのみオクルージョン現象が発生しており、副走査方向への倒れ込みがないという画像特性を有しており、オルソフォト画像はこの特性を利用して効率的に生成される。
【００１１】
オルソフォト画像の生成に際して、上記第１画像３の撮像領域に対するサーフェイスモデル４が用意される。サーフェイスモデル４は、例えば、建物等の地物の高さ情報を伴う面情報を有しており、空中三角測量によるか、レーザスキャナまたは合成開口レーダにより上記撮像領域を直接走査する等、適宜手段により取得される。このサーフェイスモデル４は、第１画像３の撮像時に同時に取得することも、あるいは別途用意しておくことも自由である。
【００１２】
上述したように、サーフェイスモデル４は、位置情報を有しているために、撮影位置、高さ等の撮影点情報をもとに第１画像３に関連付けることができ、さらに、サーフェイスモデル４の面情報と高さ情報とをもとに対象地物の倒れ方向、および地表（正確には標準平均平面）への投影領域を演算することができる。第１画像３は主走査方向にのみオクルージョン現象が発生することが保証されるため、サーフェイスモデル４を利用したオクルージョン領域５の演算は複雑なステップを踏むことなく、簡単な幾何計算により求めることができる。
【００１３】
このようにして求められた投影領域情報を上記第１画像３に投影すると、第１画像３上にオクルージョン領域５を指定することができる。
【００１４】
一方、第１画像３には、上記サーフェイスモデル４を利用して正射投影変換処理がなされる。この正射投影変換処理は、具体的には、オクルージョン現象が発生している処理対象地物の頂面画素を正射投影位置に移動させ、さらに、倒れ込みによる頂面画像を修正することにより行われる。ラインセンサ画像を第１画像３として利用する利点はこの手順においても発揮され、正射投影位置への画素移動方向は、主走査線方向に限られるため、演算ステップが簡単になり、処理速度の向上に寄与する。
【００１５】
以上の手順を経て得られる第１画像３には、オクルージョン領域５に対する処理がなされていないために、オクルージョン現象により発生した隠蔽部はそのまま残されており、この隠蔽部は第１画像３に対して所定の割合（以下、「重複率」という。）で重複させた領域を有するように上記ラインセンサ２により取得されたサイドラップ画像６により補充される。第１画像３とサイドラップ画像６との重複率は第１画像３中のすべての領域が主走査線方向に隣接するいずれかのサイドラップ画像６中に表示されるように、少なくとも５０％以上に設定される。
【００１６】
サイドラップ画像６による隠蔽部（オクルージョン領域５）への上書きは、サイドラップ画像６中に指定された上記オクルージョン領域５の画素を第１画像３中に複写、重合することにより行われる。サイドラップ画像６中のオクルージョン領域５の指定は、サイドラップ画像６取得時の位置情報等に基づいて、サーフェイスモデル４に簡単な幾何学的計算を施すことにより容易に取得できる。
【００１７】
したがってこの発明において、オクルージョン現象により建物の陰に隠れた隠蔽部分を正確に、かつ、自動的に補完して正確なオルソフォト画像を得ることができる。また、ラインセンサ２を使用するために、オクルージョン現象発生方向が画像の主走査線方向に限定される結果、演算部に対する負担が軽減し、処理の高速化が図られる。
【００１８】
ラインセンサ画像からのオルソフォト画像の生成は、
サーフェイスモデル４から飛行体１の飛行方向に対して直交方向に撮像素子を配列したラインセンサ２により取得した飛行体１直下の第１画像３中のオクルージョン領域５を算出し、該第１画像３中に領域指定するオクルージョン自動検出手段７と、
第１画像３を正射投影変換する中間オルソ変換手段８と、
前記オクルージョン自動検出手段７において指定された領域をオクルージョン発生側サイドラップ画像６中に特定するサイドラップ自動検索手段９と、
前記サイドラップ自動検索手段９により指定されたサイドラップ画像６中の画素を前記第１画像３中の前記オクルージョン自動検出手段７により指定された領域の画素に上書きする画像合成手段１０とを有するオルソフォト画像生成システムによることができ、このシステムは、上述した手順を実行するプログラムが稼動するコンピュータシステムによっても実現可能である。
【００１９】
このようなシステムにおいて、サイドラップ自動検索手段９によって特定された領域にサイドラップ画像６中のオクルージョン領域が含まれる場合、塗り潰し画像を画像合成手段１０に出力する補完手段１７を設けると、オクルージョン領域を補完する画像がサイドラップ画像６に撮像されていない場合であっても、確実に隠蔽部分が適宜の画像により置き換えられるために、画像の不自然感をなくすことができる。
【００２０】
【発明の実施の形態】
図１に本発明の実施の形態を示す。図中１はヘリコプタ、あるいは航空機等の飛行体であり、該飛行体１には、飛行方向に対して直交方向に撮像素子を配列したラインセンサ２が搭載される。この実施の形態において、ラインセンサ２は、飛行体１の直下方向、飛行方向斜め下前方、および飛行方向斜め下後方の画像を同時に取得可能なように３組搭載され、各ラインセンサ２は、直下視原画像、前方視原画像、後方視原画像を出力する。
【００２１】
さらに、飛行体１には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置１１と慣性計測装置１２が搭載され、ＧＰＳ装置１１は、撮影時における飛行体１の絶対位置情報を、慣性計測装置１２は、撮影時における傾き情報を各々出力する。必要に応じ、ＧＰＳ装置１１からの出力は、ＧＰＳ地上局からの出力をもとにして補正される。
【００２２】
ラインセンサ２から出力された各種原画像は、飛行方向（副走査方向Ｘ）に時間軸を有するライン画像の集合であり、各ライン画像には、上記ＧＰＳ装置１１、慣性計測装置１２からの情報、および予め計測されるラインセンサ２の誤差要素をもとにして、飛行体１の蛇行、上下動、撮影姿勢、光学誤差等が補正され、理想航路面上で撮影されたものとしての画像への変換処理が施されて後述する第１画像３、およびサイドラップ画像６が形成される。
【００２３】
第１画像３、およびサイドラップ画像６には、上述した手順で得られた画像のうち、飛行体１直下視の画像が使用され、サイドラップ画像６は、第１画像３に対して所定の重複率をもたせて該第１画像３の撮影航路と平行な航路上で上記ラインセンサ２を使用して取得される。
【００２４】
図１（ａ）に、飛行体１が紙面に対して垂直方向に飛行した場合に得られる第１画像３を、図１（ｂ）にこの第１画像３に対するサイドラップ画像６を示す。理解を容易にするために、図１（ａ）、（ｂ）において被撮影体である建物Ａが同一位置になるように、サイドラップ画像６は第１画像３に対して右側に寄せて示されている。
【００２５】
これらの画像において、第１画像３はラインセンサ２による建物Ａの地上への投影像であるために、建物Ａの屋上部（頂面）はラインセンサ２の主走査方向（図１における矢印Ｙ方向）にずれ、かつ、建物Ａの壁面が画像上に表示される。これがオクルージョン現象であり、サイドラップ画像６を参照すると、上記建物Ａの近傍には、低背の建物Ｂが存在しており、該建物Ｂは第１画像３における建物Ａの陰になって撮像されていないことがわかる。さらに、上述したように、第１画像３、およびサイドラップ画像６は、飛行方向（図１において矢印Ｘで示す副走査方向）には、傾きをもたないために、該副走査方向Ｘを要素とする方向へのオクルージョン現象は発生しない。
【００２６】
以上のようにして取得された第１画像３からオルソフォト画像を生成するオルソフォト画像生成システムを図４に示す。
【００２７】
図示のように、オルソフォト画像生成システムは、入力部１３と、演算部１４と、出力部１５とを有し、入力部１３には、上述した第１画像３、サイドラップ画像６に加え、上述したＧＰＳ装置１１と慣性計測装置１２とから出力された位置姿勢情報１６と、サーフェイスモデル４が入力される。サーフェイスモデル４には、標高データにより高さ成分を付与されたいわゆるディジタルサーフェイスモデル（ＤＳＭ）が使用される。
【００２８】
一方、演算部１４は、オクルージョン自動検出手段７、サイドラップ自動検索手段９、補完手段１７、中間オルソ変換手段８、および画像合成手段１０から構成される。
【００２９】
オクルージョン自動検出手段７は、上記位置姿勢情報１６とサーフェイスモデル４とをもとに建物Ａによるオクルージョン領域５を以下のようにして演算する。まず、サーフェイスモデル４は、建物等の地物と地表とを区別することなく扱われた連続する表面凹凸情報として提供され、これは図１において太線で示す輪郭に一致する。上述したように、このサーフェイスモデル４は、絶対位置情報を有しており、第１画像３取得時の位置姿勢情報１６をサーフェイスモデル４空間上に設定し、当該取得位置からの建物Ａ対応部への投射をシミュレートすることによりオクルージョン領域５が算出される。オクルージョン自動検出手段７により第１画像３上に指定されたオクルージョン領域５を図２（ａ）でハッチングを施して示す。
【００３０】
サイドラップ自動検索手段９は、サイドラップ画像検索部９ａと判定部９ｂとからなり、サイドラップ画像検索部９ａは、上記オクルージョン自動検出手段７によって演算されたオクルージョン領域５をサイドラップ画像６上で検索して位置情報として判定部９ｂに出力する。サイドラップ画像６上でのオクルージョン領域５の検索は、まず、オクルージョン領域５が航路直下位置からどちらの方向にあるかで、左右いづれのサイドに隠蔽部が撮影されているか判別し直近のサイドラップ画像６を選択する。次いで、選択されたサイドラップ画像６上に上述した第１画像３におけるオクルージョン領域５の検出と同様にサーフェイスモデル４と、サイドラップ画像６取得時の位置姿勢情報１６とを適用してサイドラップ画像６上に上記第１画像３上のオクルージョン領域５と対応する領域を演算によって特定して行われる。
【００３１】
判定部９ｂは、上記サイドラップ画像検索部９ａにより特定された領域がサイドラップ画像６上に撮像されているか否かを判定し、可視の場合は指定領域を後述する切り出し部１０ａに出力し、不可視の場合は、補完手段１７による処理が行われる。判定部９ｂにおける処理は、上述した第１画像３の隠蔽部が、サーフェイスモデル４空間上におけるサイドラップ取得位置からの投射により、該サイドラップ画像６上での隠蔽部に属さないか否かを演算することにより行われ、第１画像３中の隠蔽部にサイドラップ画像６上のオクルージョン現象により他の建物等により隠蔽されて撮像されていない領域を含む場合（不可視の場合）には、補完手段１７において、第１画像３とサイドラップ画像６とで共通する隠蔽部にパッチするための塗り潰し画像を、画像合成手段１０の合成部１０ｂに出力させる。
【００３２】
一方、中間オルソ変換手段８は、第１画像３、位置姿勢情報１６、およびサーフェイスモデル４をもとに、第１画像３に対して建物Ａの正射投影変換を行う。正射投影変換は、建物Ａの屋上（頂面）位置を上記サーフェイスモデル４を使用して正射投影位置に移動させるとともに、倒れ込みによる変形を修正して行われるもので、中間オルソ変換手段８による処理が終了した状態で、第１画像３は、図２（ｂ）に示すように、頂面が２カ所で、残余のオクルージョン領域５がそのまま残った画像となる。なお、図２（ｂ）において、正射投影位置に移動した頂面画像をハッチングで示す。
【００３３】
画像合成手段１０は、切り出し部１０ａと合成部１０ｂとから構成される。切り出し部１０ａは、上記判定部９ｂにおいて可視判定がなされた場合に、サイドラップ画像検索部９ａにより指定されたサイドラップ画像６を切り出して合成部１０ｂに出力し、合成部１０ｂは、この切り出されたサイドラップ画像６を第１画像３の所定位置（オクルージョン領域５）に複写、重合し、オルソフォト画像１８として出力部１５に出力する。
【００３４】
切り出し部１０ａにおいて対応画素を切り出す状態を図３（ａ）に、切り出し画素を第１画像３に重合させて完成されたオルソフォト画像１８を図３（ｂ）に示す。
【００３５】
また、判定部９ｂにおいて不可視判定がなされた場合には、補完手段１７からの出力が直接合成部１０ｂに出力され、該合成部１０ｂにおいて塗りつぶし画像が重合される。
【００３６】
塗り潰し画像は、出力されるオルソフォト画像上で不可視部分を目立たなくさせる場合には例えばグレイの画像を、逆に不可視部分のある事を明らかにしておきたい場合には、白または黒、あるいは他の色の画像を予め設定しておく事ができる。
【００３７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、オクルージョン領域を補正し、高分解能で、正確なオルソフォト画像を得ることができる。
【図面の簡単な説明】
【図１】本発明を示す図で、（ａ）は第１画像の取得状態を示す図、（ｂ）サイドラップ画像の取得状態を示す図である。
【図２】本発明の処理手順を示す図で、（ａ）はオクルージョン領域が第１画像上に指定された状態を示す図、（ｂ）は中間オルソ変換手段による処理終了時の第１画像を示す図である。
【図３】画像合成手段の動作を示す図で、（ａ）は切り出し部においてサイドラップ画像から対象画素を切り出し状態を示す図、（ｂ）は第１画像に合成した状態を示す図である。
【図４】オルソフォト画像生成システムを示す図である。
【符号の説明】
１ 飛行体
２ ラインセンサ
３ 第１画像
４ サーフェイスモデル
５ オクルージョン領域
６ サイドラップ画像
７ オクルージョン自動検出手段
８ 中間オルソ変換手段
９ サイドラップ自動検索手段
１０ 画像合成手段
１１ 装置
１２ 慣性計測装置
１３ 入力部
１４ 演算部
１５ 出力部
１６ 位置姿勢情報
１７ 補完手段
１８ オルソフォト画像

Claims (3)

1. 飛行体の飛行方向に対して直交方向に撮像素子を配列したラインセンサにより飛行体直下の第１画像を取得し、
   前記第１画像の撮像領域に対応するサーフェイスモデルから前記第１画像中の主走査方向のオクルージョン領域と、オクルージョン発生側サイドラップ画像中における対応領域とを演算して特定し、
   正射投影変換された前記第１画像上のオクルージョン領域画素を前記サイドラップ画像上に特定された対応領域画素で上書きするオルソフォト画像生成方法。
2. サーフェイスモデルから飛行体の飛行方向に対して直交方向に撮像素子を配列したラインセンサにより取得した飛行体直下の第１画像中のオクルージョン領域を算出し、該第１画像中に領域指定するオクルージョン自動検出手段と、
   第１画像を正射投影変換する中間オルソ変換手段と、
   前記オクルージョン自動検出手段において指定された領域をオクルージョン発生側サイドラップ画像中に特定するサイドラップ自動検索手段と、
   前記サイドラップ自動検索手段により指定されたサイドラップ画像中の画素を前記第１画像中の前記オクルージョン自動検出手段により指定された領域の画素に上書きする画像合成手段とを有するオルソフォト画像生成システム。
3. 前記サイドラップ自動検索手段によって特定された領域にサイドラップ画像中のオクルージョン領域が含まれる場合、塗り潰し画像を画像合成手段に出力する補完手段を備える請求項２記載のオルソフォト画像生成システム。

Images