JP6485322B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

この発明は、地表面を上空から撮像した撮像画像の画像処理装置及び画像処理方法に関する。

地表面を上空から撮像する場合、衛星や航空機など飛行体の軌道や空路等の制約があるため関心領域の直上を通過できないことがある。この場合、カメラを真下に固定せずに斜め方向に傾ける駆動を行なった上で関心領域を撮像することによって、関心領域の画像情報を得る方法がある。しかしながら、斜め方向から撮像した画像では、幾何学的な歪みが発生し、地表面の位置（地図）との対応がとりづらいことから利用性に欠けるという問題がある。

そこで、斜め方向から撮像した画像の幾何学的な歪みを補正し、直上から撮像したような画像（本明細書では、基準画像という）に投影して地図と対応づける処理が行われる。例えば、特許文献１では、センサモデル、カメラ位置・姿勢、地上基準点等を用いて、地表面の位置と、撮像した画像データの投影面上での位置を対応づけ、精密な幾何補正を行うことが記載されている。

特開２００５−２９２８８２号公報（第５頁）

しかしながら、特許文献１に記載されているような斜め方向から撮像した画像を基準画像に投影する幾何補正を行なう場合、幾何補正に伴う画像の引き伸ばしを行なうため、特にカメラを向けた方向の画素密度は低下するので画像の引き伸ばしによる鮮鋭度の低下を引き起こすという問題があった。

この発明は、上述のような課題を解決するためになされたもので、幾何補正に伴う引き伸ばしによる鮮鋭度の低下を抑えた基準画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

この発明に係る画像処理装置においては、地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部と、前記幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正と、前記ＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正部とを備え、前記方向依存ＭＴＦ補正部は、前記幾何歪み量及び前記幾何歪み方向に応じて１次元のＭＴＦ特性を２次元の空間周波数上に展開した前記目標ＭＴＦを設定する目標ＭＴＦ設定部と、前記目標ＭＴＦに基づいて周波数領域のＭＴＦ補正フィルタを生成するＭＴＦ補正フィルタ生成部とを有し、前記撮像画像の周波数領域において前記ＭＴＦ補正フィルタを乗算することによって前記撮像画像のＭＴＦ特性を補正した前記ＭＴＦ補正画像を出力し、前記目標ＭＴＦ設定部は、前記目標ＭＴＦとして、前記幾何歪み方向に直交する方向には、前記１次元のＭＴＦ特性を設定し、前記幾何歪み方向には、前記１次元のＭＴＦ特性を前記幾何歪み量に依存して引き伸ばされた特性を有する異方的な楕円状の特性を設定するものである。

この発明は、撮像方向の角度情報から算出した撮像画像の幾何歪み量及び幾何歪み方向に応じて前記撮像画像のＭＴＦ特性を補正してから幾何学的変換を行なうことで、幾何補正に伴う引き伸ばしによる鮮鋭度の低下を抑えた基準画像を得ることができる。

カメラの撮像方向と幾何補正によるＭＴＦ劣化の関係を示す図である。 実施の形態１にかかる画像処理装置の構成ブロック図である。 ３次元空間におけるカメラ位置と撮像方向の幾何を表す図である。 斜め方向画像と直下画像の分解能の関係を示す図である。 実施の形態１に係る方向依存ＭＴＦ補正部２０の構成例を示す図である。 目標ＭＴＦ設定部２０１における１次元の目標ＭＴＦ特性の算出例を示す図である。 目標ＭＴＦ設定部２０１における２次元の目標ＭＴＦ特性の例を示す図である。 従来の画像処理装置による点像変化の模式図である。 本発明の画像処理装置による点像変化の模式図である。 実施の形態２に係る方向依存ＭＴＦ補正部２１の構成例を示す図である。 実施の形態３に係る方向依存ＭＴＦ補正部２２の構成例を示す図である。 本発明にかかる画像処理装置の構成ブロックの変形例である。

実施の形態１．
まず、実施の形態１にかかる画像処理装置２の説明に入る前に、カメラの撮像方向と従来の画像処理装置における幾何補正によるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の劣化の関係について説明する。

ここでは、ＭＴＦとは、カメラの光学系のＭＴＦ特性だけをいうのでなく、動きによるブレや後段の画像処理の影響も含めた最終画像のＭＴＦのことを意味するものとする。

また、２次元のＭＴＦ特性について説明する。２次元のＭＴＦ特性とは、画像の左右方向（水平方向、ｘ方向）の空間周波数ｆｘと、上下方向（垂直方向、ｙ方向）の空間周波数ｆｙの２つの値の組に対して１つのＭＴＦの値が定義された２変数関数として定義されるものである。

図１は、カメラの撮像方向と従来の画像処理装置における幾何補正によるＭＴＦ劣化の関係を示す図である。図１において、１段目は、カメラの撮像方向を示す。２段目は撮像画像結果と幾何補正を行なった撮像画像との関係を示す。３段目は撮像画像における点像と幾何補正を行なった後の点像の変化を示す。また、ａ列は、カメラの移動方向ｄに沿った方向にのみカメラを傾けて撮像した場合を示し、ｂ列は、カメラの移動方向ｄに直交する方向にのみ傾けて撮像した場合を示す。ここでは、カメラの移動方向ｄと、撮像画像の上下方向が対応するように、カメラの移動方向側が撮像画像の上側になるようにカメラが取り付けられているものとする。

図１のａ−１（ａ列１段目）は、撮像方向ｖが、カメラの移動方向ｄに沿って前方に傾いている場合を示す。カメラの移動方向に沿った方向をＡＴ（Ａｌｏｎｇ Ｔｒａｃｋ）方向、または、第１の方向と定義する。ＡＴ方向にカメラを傾けた場合、撮像方向ｖに垂直な面で撮像するので、撮像面と地表面との傾きに依存して直下を撮像したときの画像領域よりも上下に長い距離の範囲が撮像されることになり、直下で撮像したときよりも上下方向に短い形状で撮像されることになる（ａ−２左側）。そのため、幾何補正を行なうことで上下方向に引き伸ばしが行なわれる（ａ−２右側）。これにより、上下方向にＭＴＦが劣化する。その結果、ａ−３に示すように、撮像画像における点像（左側）は、幾何補正後の画像において上下方向に伸びた形状となる（右側）。このように、もとの撮像した画像と比べて幾何補正後の画像が上下方向に伸びるため、引き伸ばした上下方向の画素密度は低下するので鮮鋭度が低下する。また被写体方向ぼやけが上下方向に間延びして正確な形状を再現することが困難になる。

一方、図１のｂ−１は、撮像方向ｖが、カメラの移動方向ｄに直交する方向に左手方向に傾いている場合を示す。本明細書では、カメラの移動方向に直交する方向を、ＣＴ（Ｃｒｏｓｓ Ｔｒａｃｋ）方向、または、第２の方向と定義する。ＣＴ方向にカメラを傾けた場合、直下を撮像したときの画像領域よりも左右に長い距離の範囲が撮像されることになり、直下で撮像したときよりも左右方向に短い形状で撮像されることになる（ｂ−２左側）。そのため、幾何補正を行なうことで左右方向に引き伸ばしが行なわれる（ｂ−２右側）。これにより、左右方向にＭＴＦが劣化する。その結果、ｂ−３に示すように、撮像画像における点像（左側）は、幾何補正後の画像において左右方向に伸びた形状（右側）となる。このように、もとの撮像した画像と比べて幾何補正後の画像が左右方向に伸びるため、引き伸ばした左右方向の画素密度は低下するので鮮鋭度が低下する。また被写体方向ぼやけが左右方向に間延びして正確な形状を再現することが困難になる。

図１では、カメラをＡＴ方向に傾けた場合とＣＴ方向に傾けた場合を独立に考えたが、両方が組み合わされた場合にも同様の考え方を拡張できる。一般に、ＡＴ方向とＣＴ方向が張る平面内において方位角φの方向にカメラを傾けた場合には、撮像画像は方位角φに対応する方向に歪んだ画像となり、幾何補正ではこの歪みを補正するように方位角φに対応する方向に引き伸ばしが行われ、方位角φに対応する方向にＭＴＦが劣化する。

また、図１の（ａ）の場合においては、ＡＴ方向へのカメラ傾き角（直下方向と撮像方向ｖがなす角）が大きくなればなるほど、撮像画像では上下方向の歪みが大きくなり、幾何補正後の画像では上下方向のＭＴＦ劣化の程度が大きくなる。図１の（ｂ）の場合においては、ＣＴ方向へのカメラ傾き角（直下方向と撮像方向ｖがなす角）が大きくなればなるほど撮像画像では左右方向の歪みが大きくなり、幾何補正後の画像では左右方向のＭＴＦ劣化の程度が大きくなる。一般に、方位角φの方向にカメラを傾けた場合においては、方位角φの方向へのカメラ傾き角（直下方向と撮像方向ｖがなす角）が大きくなればなるほど、撮像画像で方位角φに対応する方向の歪みが大きくなり、幾何補正後の画像では方位角φに対応する方向のＭＴＦの劣化が大きくなる。したがって、カメラの直下方向と撮像方向ｖがなす角（オフナディア角とよぶ）が大きくなればなるほど、幾何補正後の画像において、方位角φに対応する方向のＭＴＦと、方位角φに対応する方向に直交する方向のＭＴＦとの差が大きくなり、ＭＴＦの等方性が失われてしまう。ＭＴＦの等方性が失われると、被写体ぼやけが一方向に間延びして正確な形状を再現できない。

次に、実施の形態１にかかる画像処理装置について説明する。

図２は、実施の形態１にかかる画像処理装置２の構成を示すブロック図である。画像処理装置２は、撮像装置（以下、カメラともいう）１と接続され、撮像装置１から画像処理装置２へ撮像画像ＩＯと撮像画像Ｉ０が撮像された際の撮像方向に関する角度情報θ_Ｘ及びθ_Ｙが入力される。撮像画像ＩＯは、撮像装置１が撮像して生成した画像データである。

なお、撮像装置１と画像処理装置２とがそれぞれ通信手段を備えて、撮像装置１からの撮像画像ＩＯ及び撮像画像Ｉ０が撮像された際の撮像方向に関する角度情報について、画像処理装置２はそれぞれの通信手段を介して得るものとしても構わない。この場合、撮像装置１を飛行体に設け、画像処理装置２を地上に設けた構成が可能となる。

ここで、撮像方向に関する角度情報とは、撮像地点の座標やカメラの位置・姿勢等の外部情報から得られるもので、カメラの撮像方向の自由度に相当する数の角度の値、または、角度に対応づけられた値を含むものとする。例えば、カメラの撮像方向の自由度が２である場合として、撮像方向がカメラの直下方向に対してなす角度のうち、ＡＴ方向（第１の方向）へのカメラの傾き角θ_Ｙと、ＣＴ方向（第２の方向）へのカメラの傾き角θ_Ｘが、与えられるものとする。図２ではカメラの撮像方向の自由度が２である場合として角度情報としてθ_Ｘ及びθ_Ｙが画像処理装置２に入力されるものとして示している。

画像処理装置２は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部１０と、幾何歪み量及び幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正部２０と、ＭＴＦ補正画像を幾何学的変換して基準画像に投影する幾何補正部３０とを備える。

図３は、３次元空間におけるカメラ位置と撮像方向の幾何を表す。図３において地表面と水平な面で一方の方向をＡＴ方向（第１の方向）、地表面と水平な面でＡＴ方向と垂直な方向をＣＴ方向（第２の方向）とする。なお、ＡＴ方向は、撮像装置１を備えた飛行体の移動方向ｄと同じ方向とする。カメラ位置からの撮像方向ｖは、カメラの直下方向に対してなす角度（オフナディア角）をθとし、ＡＴ方向とＣＴ方向が張る平面（地表面と水平な面）でＣＴ方向からの角度をφとする。オフナディア角θは、カメラの傾きの角度を表わし、θが大きくなるほど斜め方向に大きな角度で撮像することを表す。また、方位角φは、φが０度のときはカメラがＣＴ方向に傾いていることを表し、φが９０度のときはカメラがＡＴ方向に傾いていることを表す。

撮像方向に関する角度情報として与えられる角度θ_Ｘ、θ_Ｙは、それぞれ、θ_ＸはＣＴ方向に沿ったカメラの傾き角、θ_ＹはＡＴ方向に沿ったカメラの傾き角であり、オフナディア角θのＣＴ方向成分、ＡＴ方向成分に等しい。

ここで、図３において、（θ_Ｘ，θ_Ｙ）と（θ，φ）との間には、以下に数１にて示される数式（式１）と数２にて示される数式（式２）との相互変換関係が成り立つ。

幾何歪み量算出部１０は、ＣＴ方向に沿ったカメラの傾き角θ_Ｘ及びＡＴ方向に沿ったカメラの傾き角θ_Ｙから、式１の関係を用いて、撮像方向のオフナディア角θ及び方位角φを得る。

次に、オフナディア角θ及び方位角φを用いて、斜め方向の撮像に伴って発生する撮像画像Ｉ０の幾何歪み量ｋと幾何歪み方向Ψを算出する。幾何歪み量ｋとは、斜め方向の撮像により撮像画像Ｉ０において地表面が歪んで（縮んで）いる程度を表す。図４は斜め方向画像と直下画像の分解能の関係を示す。図４に示すように、斜め方向に撮像する場合、センサの１画素が表す地表面の範囲が、直下を撮像する場合に比べて大きくなる。このことは、斜め方向画像では、直下画像に比べて分解能が劣化していることを意味する。斜め方向画像の分解能は、斜め方向の角度θが増加すればするほど劣化していく。いま、直下画像の分解能（１画素が表す地表面の範囲）をＲＥＳ（０）、角度θの斜め方向画像の分解能をＲＥＳ（θ）とすると、両者の分解能の関係は、もっとも単純なモデルで数３にて示される数式（式３）にて表される。

式３は、直下画像に対する、斜め方向画像の分解能の劣化量を表している。すなわち、歪みのない直下画像に対して、斜め方向画像が歪んで（縮んで）いる程度を表しているから、式３で求めるＲＥＳ（θ）とＲＥＳ（０）との割合を幾何歪み量ｋと定義する。

図４における角度θは、図３におけるオフナディア角θに相当する。したがって、幾何歪み量ｋは、オフナディア角θを用いて、数４にて示される数式（式４）により算出される。

次に、幾何歪み方向とは、撮像画像Ｉ０において上記の幾何歪みが発生する（分解能が劣化する）方向を表す。いま、ＡＴ方向が撮像画像Ｉ０の上下方向（垂直方向、ｙ方向）と対応し、ＣＴ方向が撮像画像Ｉ０の左右方向（水平方向、ｘ方向）と対応するようにカメラが取り付けられているものとすると、幾何歪み方向Ψは、カメラの撮像方向の方位角φそのものになり、数５にて示される数式（式５）により算出される。

以上のように、幾何歪み量算出部１０は、撮像方向に関する角度情報を使って、撮像画像Ｉ０における幾何歪み量ｋと幾何歪み方向Ψとを算出する。

なお、幾何歪み量算出部１０に対して与えられる撮像方向に関する角度情報は、（θ_Ｘ，θ_Ｙ）であるとしたが、直接（θ，φ）が与えられることとしてもよい。また、これに加えて、直下方向の軸のまわりのカメラの回転角度ωを含んでもよい。本実施の形態では、説明を簡略化するために、ＡＴ方向が撮像画像Ｉ０の上下方向（垂直方向、ｙ方向）と対応し、ＣＴ方向が撮像画像Ｉ０の左右方向（水平方向、ｘ方向）と対応するようにカメラが取り付けられているものとし、カメラの回転角度ωについては考慮しないが、カメラの回転角度ωが自由度に含まれる場合は、撮像方向に関する角度情報としてカメラの回転角度ωを追加で与え、ＡＴ方向と撮像画像Ｉ０の上下方向との対応、及び、ＣＴ方向と撮像画像Ｉ０の左右方向との対応に回転角度ωのずれを考慮すればよい。したがって、幾何歪み量算出部１に対しては、撮像方向に関する角度情報として、カメラの撮像方向の自由度に相当する数の角度の値、または、角度に対応付けられた値が与えられるものとする。

また、式３及び式４は、地表面が平面であると仮定した場合の単純なモデルに基づいており、計算量の簡素化が得られる。地球が球体や楕円体であることを考慮したモデルに基づいて算出すれば、より高精度に算出することができる。

また、本実施の形態では、撮像画像Ｉ０の画面内で局所的に幾何歪み量や幾何歪み方向が異なることを考慮しない。これは、地表面の撮像範囲に対して、カメラが十分高い位置にある場合には、撮像画像Ｉ０の画面内で幾何歪み量や幾何歪み方向はほぼ一定とみなせるため、処理を簡略化することができる。

方向依存ＭＴＦ補正部２０は、幾何歪み量算出部１０により算出された幾何歪み量ｋ及び幾何歪み方向Ψに応じて方向毎に強度（ゲイン）を設定して撮像画像Ｉ０のＭＴＦを補正することでＭＴＦ補正画像Ｉ２を出力する。
＜周波数領域＞
図５は、方向依存ＭＴＦ補正部２０の第１の構成例を示す図である。

方向依存ＭＴＦ補正部２０の第１の構成例は、目標ＭＴＦ設定部２０１と、ＭＴＦ補正フィルタ生成部２０２と、フーリエ変換部２０３と、乗算部２０４と、逆フーリエ変換部２０５とを備える。

目標ＭＴＦ設定部２０１は、ＭＴＦ補正後の画像Ｉ２における目標ＭＴＦ（ＭＴＦｔａｒｇｅｔ）を設定する。目標ＭＴＦとは、ＭＴＦ補正後の画像Ｉ２において目標となる２次元のＭＴＦ特性のことをいい、画像の左右方向（水平方向、ｘ方向）の空間周波数ｆｘと、上下方向（垂直方向、ｙ方向）の空間周波数ｆｙの２つの値の組に対して１つのＭＴＦの値が定義された２変数関数として定義される。

図６は、目標ＭＴＦ設定部２０１における１次元の目標ＭＴＦ特性の算出例を示す図である。以下に示す数６から数８にて示される数式と図６を用いて、目標ＭＴＦ設定部２０１による目標ＭＴＦの設定方法の一例を説明する。まず、理想的なエッジレスポンスを微分してフーリエ変換することにより、ベースとなる一次元のＭＴＦ特性（ＭＴＦｔａｒｇｅｔ１Ｄ）を生成する。

数６にて示される数式（式６）は、エッジレスポンスとよばれる、エッジの１次元の画素値プロファイルを模擬する関数である。図６（ａ）にグラフを示す。横軸はｘ（画素位置）、縦軸はｙ（画素値）である。ここで、ａはエッジの鮮鋭性を定めるパラメータであり、ａが大きい場合にエッジは鮮鋭（図６（ａ）の点線）であり、ａが小さい場合にエッジは鮮鋭でない（鈍っている）（図６（ａ）の実線）ことを表す。

数７にて示される数式（式７）は、式６をｘに関して微分したものであり、エッジのぼやけの広がり具合の程度を表すエッジ広がり関数とよばれる。図６（ｂ）にグラフを示す。ａが大きい場合に広がりの幅が狭く（図６（ｂ）の点線）、ａが小さい場合に広がりの幅が広い（図６（ｂ）の実線）。

ＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）は、数８にて示される数式（式８）によりエッジ広がり関数をフーリエ変換することによって得られ、この結果は、式６のパラメータａにより定義されたエッジの鮮鋭性に対応する１次元のＭＴＦ特性を表す。図６（ｃ）にグラフを示す。横軸はｆ（空間周波数）、縦軸はＭＴＦの値である。ａが大きい場合にＭＴＦが各空間周波数で高くなり（図６（ｃ）の点線）、ａが小さい場合にＭＴＦが各空間周波数で低くなる（図６（ｃ）の実線）。

次に、式６から式８を用いて生成されたベースとなる１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）を用いて、２次元の空間周波数上に展開する。目標ＭＴＦ（２次元のＭＴＦ特性）であるＭＴＦｔａｒｇｅｔは、幾何歪み量算出部１により算出された幾何歪み量ｋと幾何歪み方向Ψを使って、数９にて示される数式（式９）により算出する。

式９では、１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）をもとに、幾何歪み方向Ψの方向には、幾何歪み量ｋに相当するｋ倍に伸長したＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）の特性が適用され、幾何歪み方向Ψに直交する方向にはＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）の特性が適用された、２次元の目標ＭＴＦが生成される。

図７に、目標ＭＴＦ生成部２０１により生成された２次元の目標ＭＴＦ特性の例を示す。図７では、横軸にｘ方向の空間周波数ｆｘ、縦軸にｙ方向の空間周波数ｆｙをとり、（ｆｘ，ｆｙ）の各座標における輝度にてＭＴＦｔａｒｇｅｔの値を示している。

図７（ａ）は、ｋ＝１である場合を示す。ｋ＝１の場合、目標ＭＴＦは方向依存性のない、等方的な円状の特性が設定される。

図７（ｂ）は、ｋ＞１，Ψ＝０［ｄｅｇ］である場合を示す。ｋ＞１の場合、目標ＭＴＦはΨ＝０［ｄｅｇ］、すなわち水平方向（ｆｘ軸）に伸びた、異方的な楕円状の特性が設定される。

図７（ｃ）は、ｋ＞１，Ψ＝９０［ｄｅｇ］である場合を示す。ｋ＞１の場合、目標ＭＴＦはΨ＝９０［ｄｅｇ］、すなわち垂直方向（ｆｙ軸）に伸びた、異方的な楕円状の特性が設定される。

すなわち、式９によれば、幾何歪み方向Ψの方向に、幾何歪み量ｋに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標ＭＴＦが設定される。

なお、上記では、ベースとなる１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔ１Ｄ（ｆ）を１つだけ定め、これをｋ倍に伸長することによって幾何歪み方向にＭＴＦが高くなった目標ＭＴＦ特性を生成する方法を説明したが、以下の方法により生成することとしてもよい。

まず、式６から式８におけるパラメータａをａ＝ａＰとして、幾何歪み方向Ψに適用する１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔＰ１Ｄ（ｆ）を生成する。

次に、式６から式８におけるパラメータａをａ＝ａＱとして、幾何歪み方向Ψと直交する方向に適用する１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔＱ１Ｄ（ｆ）を生成する。

ここで、パラメータａＰ及びａＱは、ＭＴＦ補正後の画像における、幾何歪み方向Ψとその直交方向の鮮鋭性を決めるものであり、幾何歪み量ｋと対応づけて定めることができる。すなわち、ａＰ＞ａＱとすることによって、幾何歪み方向Ψの方向、すなわち幾何補正により発生するであろうＭＴＦ劣化が大きい方向の鮮鋭性を高めるようにし、その度合いを幾何歪み量ｋに応じて設定する。

次に、１次元のＭＴＦ特性ＭＴＦｔａｒｇｅｔＰ１Ｄ（ｆ）及びＭＴＦｔａｒｇｅｔＱ１Ｄ（ｆ）を用いて、数１０にて示される数式（式１０）により２次元の目標ＭＴＦ（ＭＴＦｔａｒｇｅｔ）を算出する。

式１０では、幾何歪み方向Ψの方向にはＭＴＦｔａｒｇｅｔＰ１Ｄ（ｆ）の特性が適用され、幾何歪み方向Ψに直交する方向にはＭＴＦｔａｒｇｅｔＱ１Ｄ（ｆ）の特性が適用された、２次元の目標ＭＴＦが生成される。

式１０によっても同様に、幾何歪み方向Ψの方向に、幾何歪み量ｋに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標ＭＴＦが設定される。

以上で説明した方法により、目標ＭＴＦ設定部２０１は、幾何歪み方向Ψの方向に、幾何歪み量ｋに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標ＭＴＦを設定する。

ＭＴＦ補正フィルタ生成部２０２は、撮像画像Ｉ０のＭＴＦ特性（ＭＴＦｓｙｓ（ｆｘ，ｆｙ））を用いて、撮像画像Ｉ０のＭＴＦが目標ＭＴＦ（ＭＴＦｔａｒｇｅｔ（ｆｘ，ｆｙ））になるように補正するＭＴＦ補正フィルタ（ＭＴＦＣ（ｆｘ，ｆｙ））を生成する。

ＭＴＦ補正フィルタ（ＭＴＦＣ（ｆｘ，ｆｙ））は、数１１にて示される数式（式１１）により算出する。

ここで、撮像画像Ｉ０のＭＴＦ特性（ＭＴＦｓｙｓ（ｆｘ，ｆｙ））は、既知であるとする。撮像画像Ｉ０のＭＴＦ特性は、主にカメラの光学系のぼやけや収差、動きによるブレ等に起因するものであり、公知のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定する手法等により、ＰＳＦが与えられるものとする。２次元のＭＴＦ特性は、ＰＳＦをフーリエ変換することによって得られる。

フーリエ変換部２０３は、撮像画像Ｉ０をフーリエ変換し、ＦＩ０（ｆｘ，ｆｙ）を得る。ここで、フーリエ変換とは、２次元離散フーリエ変換としてよい。

乗算部２０４は、数１２にて示される数式（式１２）に示すように、周波数領域（フーリエ空間）において撮像画像Ｉ０のフーリエ変換ＦＩ０（ｆｘ，ｆｙ）とＭＴＦ補正フィルタ（ＭＴＦＣ（ｆｘ，ｆｙ））を乗算する。

逆フーリエ変換部２０５は、ＦＩ２（ｆｘ，ｆｙ）を逆フーリエ変換し、ＭＴＦ補正画像Ｉ２を得る。ここで、逆フーリエ変換とは、フーリエ変換部２０３の逆変換であって、２次元離散フーリエ変換の逆変換としてよい。

以上により、方向依存ＭＴＦ補正部２０の第１の構成例では、幾何歪み量算出部１により算出された幾何歪み量ｋ及び幾何歪み方向Ψに応じて方向毎に強度を適用した目標ＭＴＦを設定し、撮像画像Ｉ０のＭＴＦが目標ＭＴＦになるような周波数領域のＭＴＦ補正フィルタを生成し、周波数領域においてＭＴＦ補正フィルタを乗算することによって撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力する。

（効果）
本発明の実施の形態１に係る画像処理装置による効果を説明する。

前述したように、斜め方向に撮像した撮像画像Ｉ０を幾何補正する際、カメラの傾きの角度（オフナディア角）θと方位角φに対応して算出される幾何歪み量ｋと幾何歪み方向Ψに基づいて、幾何歪み方向Ψの方向に、幾何歪み量ｋに相当するｋ倍に引き伸ばしが行われる。

幾何補正により、幾何歪み方向Ψの方向に画像がｋ倍に拡大されることによって、理論上（補間が線形である場合）、幾何補正画像における幾何歪み方向Ψの方向の鮮鋭度は１／ｋ倍に劣化する。本発明の画像処理装置では、鮮鋭度劣化の大きい方向のＭＴＦ補正強度を、それと直交する方向のＭＴＦ補正強度に比べて大きく設定することにより、幾何補正を適用した際に発生する鮮鋭度劣化の偏りを前段で補正しておくものである。

図８及び図９は、各処理過程における点像の変化の様子を模式的に示す図である。

図８は、方向依存ＭＴＦ補正をしない場合の各処理過程における点像の変化の様子を示す。図８（ａ）はΨ＝９０°の場合（カメラをＡＴ方向に傾けた場合）、図８（ｂ）はΨ＝０［ｄｅｇ］の場合（カメラをＣＴ方向に傾けた場合）を示す。Ψ＝９０［ｄｅｇ］の場合、幾何補正において撮像画像の上下方向に引き伸ばしが行われるので、撮像画像の点像（円形とする）は、幾何補正後の画像では上下方向に伸びた形状となる。Ψ＝０［ｄｅｇ］の場合、幾何補正において撮像画像の左右方向に引き伸ばしが行われるので、撮像画像の点像（円形とする）は、幾何補正後の画像では左右方向に伸びた形状となる。このように、斜め方向に撮像した画像では、幾何補正によって被写体ぼやけが一方向に間延びして正確な形状を再現できない。

図９は、本発明の実施の形態１に係る画像処理装置において、方向依存ＭＴＦ補正部２０において方向依存ＭＴＦ補正をした場合の各処理過程における点像の変化の様子を示す。図９（ａ）は、Ψ＝９０［ｄｅｇ］の場合（カメラをＡＴ方向に傾けた場合）を示し、図９（ｂ）はΨ＝０［ｄｅｇ］の場合（カメラをＣＴ方向に傾けた場合）を示す。

Ψ＝９０［ｄｅｇ］の場合、幾何補正において撮像画像の上下方向に引き伸ばしが行われるため、ＭＴＦ補正の段階では、引き伸ばしが行われる上下方向に対するＭＴＦ補正強度を上げてＭＴＦ補正を行う。これにより、ＭＴＦ補正画像における点像は、上下方向に関して従来の方式よりも鮮鋭度が向上し、相対的に左右方向に伸びた形状となる。このＭＴＦ補正画像を幾何補正すると、上下方向に引き伸ばしによる鮮鋭度劣化分が相殺して、幾何補正後の画像で等方的な円形の形状となる。すなわち、本来は円形であるべき被写体を、幾何補正後の画像において円形を再現することが可能となり、幾何補正後の画像において幾何補正前にＭＴＦ補正を行なわない従来の方式よりも鮮鋭度の劣化を抑えることができる。

同様に、Ψ＝０［ｄｅｇ］の場合、幾何補正において撮像画像の左右方向に引き伸ばしが行われるため、ＭＴＦ補正の段階では、引き伸ばしが行われる左右方向に対するＭＴＦ補正強度を上げてＭＴＦ補正を行う。これにより、ＭＴＦ補正画像における点像は、左右方向に関して鮮鋭度が向上し、相対的に上下方向に伸びた形状となる。このＭＴＦ補正画像を幾何補正すると、左右方向に引き伸ばしによる鮮鋭度劣化分が相殺して、幾何補正後の画像で等方的な円形の形状となる。すなわち、本来は円形であるべき被写体を、幾何補正後の画像において円形を再現することが可能となり、幾何補正後の画像において幾何補正前にＭＴＦ補正を行なわない従来の方式よりも鮮鋭度の劣化を抑えることができる。

Ψが任意の角度である場合について、上記と同様の効果を奏する。

以上のことから、本発明によれば、幾何補正に伴う鮮鋭度の劣化を抑え、被写体の形状を再現した基準画像を得ることができる。

また、本実施の形態に係る画像処理装置では、方向依存ＭＴＦ補正部２０の第１構成例において、幾何歪み量算出部１により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎に強度を適用した目標ＭＴＦを設定し、撮像画像Ｉ０のＭＴＦが目標ＭＴＦになるようなＭＴＦ補正フィルタを生成し、ＭＴＦ補正フィルタを用いて撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力することとした。これにより、幾何歪み方向Ψに応じた目標ＭＴＦの形状を周波数領域においてきめ細やかに設定することができ、幾何補正による画像引き伸ばしによる鮮鋭度劣化を高精度に補正することが可能である。

実施の形態２．
実施の形態１では、方向依存ＭＴＦ補正部２０の第１構成例について説明した。実施の形態２では、方向依存ＭＴＦ補正部２０の代わりに第２の構成例での方向依存ＭＴＦ補正部２１を備える。方向依存ＭＴＦ補正部２１以外の構成は、図２に示す実施の形態１にかかる画像処理装置２の構成と同様である。本実施の形態２にかかる画像処理装置は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部１０と、幾何歪み量と幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正部２１と、ＭＴＦ補正画像を幾何学的変換して基準画像に投影する幾何補正部３０とを備える。なお、実施の形態１と同じ符号の構成要素については実施の形態１で説明したものと動作及び作用は同じである。
＜空間領域＞
図１０は、方向依存ＭＴＦ補正部２１の第２の構成例を示す図である。

第２の構成例は、第１の構成例において周波数領域における乗算で行っていたＭＴＦ補正を、空間領域における畳み込み演算にて行う点が第１の構成例と異なる。

方向依存ＭＴＦ補正部２１の第２の構成例は、目標ＭＴＦ設定部２１１と、ＭＴＦ補正フィルタ生成部２１２と、逆フーリエ変換部２１３と、畳み込み演算部２１４とを備える。

目標ＭＴＦ設定部２１１及びＭＴＦ補正フィルタ生成部２１２は、方向依存ＭＴＦ補正部２の第１の構成例における目標ＭＴＦ設定部２０１及びＭＴＦ補正フィルタ生成部２０２と同様の方法により、幾何歪み量算出部１により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎に強度を適用した目標ＭＴＦを設定し、撮像画像Ｉ０のＭＴＦが目標ＭＴＦになるようなＭＴＦ補正フィルタ（ＭＴＦＣ（ｆｘ，ｆｙ））を生成する。

次に、逆フーリエ変換部２１３は、ＭＴＦ補正フィルタ（ＭＴＦＣ（ｆｘ，ｆｙ））を逆フーリエ変換し、空間領域のＭＴＦ補正フィルタ（ＭＴＦＣｓｐａｔｉａｌ）を得る。ここで、逆フーリエ変換とは、２次元離散フーリエ変換の逆変換としてよい。

畳み込み演算部２１４は、撮像画像Ｉ０に対して空間領域のＭＴＦ補正フィルタ（ＭＴＦＣｓｐａｔｉａｌ）を畳み込み演算（コンボリューション）することによってＭＴＦ補正画像Ｉ２を得る。

以上により、方向依存ＭＴＦ補正部２１の第２の構成例では、幾何歪み量算出部１０により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎に強度を適用した目標ＭＴＦを設定し、撮像画像Ｉ０のＭＴＦが目標ＭＴＦになるような空間領域のＭＴＦ補正フィルタを生成し、空間領域においてＭＴＦ補正フィルタを畳み込み演算することによって撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力する。

このように、本実施の形態においても実施の形態１と同様に所期の目的を達成し得ることはいうまでもない。

さらに、本実施の形態に係る画像処理装置では、方向依存ＭＴＦ補正部２１の第２の構成例において、幾何歪み量算出部１により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎に強度を適用した目標ＭＴＦを設定し、撮像画像Ｉ０のＭＴＦが目標ＭＴＦになるような空間領域のＭＴＦ補正フィルタを生成し、空間領域においてＭＴＦ補正フィルタを畳み込み演算することによって撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力することとした。これにより、空間領域のＭＴＦ補正フィルタとしてカーネルサイズの小さいフィルタを用いることにより、演算量を削減し、処理時間を高速化することが可能である。

実施の形態３．
実施の形態３では、実施の形態１における方向依存ＭＴＦ補正部２０の代わりに第３の構成例での方向依存ＭＴＦ補正部２２を備える。方向依存ＭＴＦ補正部２２以外の構成は、図２に示す実施の形態１にかかる画像処理装置２の構成と同様である。本実施の形態２にかかる画像処理装置は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部１０と、幾何歪み量と幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正部２２と、ＭＴＦ補正画像を幾何学的変換して基準画像に投影する幾何補正部３０とを備える。なお、実施の形態１と同じ符号の構成要素については実施の形態１で説明したものと動作及び作用は同じである。

図１１は、方向依存ＭＴＦ補正部２２の第３の構成例を示す図である。

第３の構成例は、第２の構成例と同様に空間領域でのフィルタ処理によりＭＴＦ補正を行うが、予め複数の方向に対するフィルタの特性を定めておき、各方向に対するゲインによって方向毎に強度を適用する点が第２の構成例と異なる。

方向依存ＭＴＦ補正部２２の第３の構成例は、方向毎ゲイン決定部２２１と、水平方向低域除去フィルタ部２２２ｈと、水平方向ゲイン乗算部２２３ｈと、垂直方向低域除去フィルタ部２２２ｖと、垂直方向ゲイン乗算部２２３ｖと、加算部２２４とを備える。

方向毎ゲイン決定部２２１は、幾何歪み量算出部１により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて、予め定められた複数の方向のフィルタに対するゲインを決定する。本構成例では、水平方向と垂直方向のフィルタを用いることとしており、水平方向フィルタに対するゲインｇｈと、垂直方向フィルタに対するゲインｇｖを決定する。

ゲインｇｈ及びｇｖは、幾何歪み量ｋと幾何歪み方向Ψを用いて、例えば、数１２にて示される数式（式１３）により定める。

ここで、ｇは全方向に対するゲインの大きさを定めるパラメータである。

式１３では、幾何歪み量ｋを幾何歪み方向Ψを考慮して水平方向及び垂直方向に射影した量に応じて、水平方向と垂直方向のゲインを定めることで、方向毎に強度を設定する。

水平方向低域除去フィルタ部２２２ｈは、撮像画像Ｉ０の水平方向に沿った低域成分を除去し、中域〜高域の成分を抽出するフィルタ処理を行う。フィルタ特性は予め定められたものを用いることができる。

水平方向ゲイン乗算部２２３ｈは、水平方向低域除去フィルタ部２２２ｈの出力をゲインｇｈにて乗算する。

同様に、垂直方向低域除去フィルタ部２２２ｖは、撮像画像Ｉ０の垂直方向に沿った低域成分を除去し、高域成分を抽出するフィルタ処理を行う。フィルタ特性は予め定められたものを用いることができる。

垂直方向ゲイン乗算部２２３ｖは、垂直方向低域除去フィルタ部２２２ｖの出力をゲインｇｖにて乗算する。

加算部２２４は、撮像画像Ｉ０に、水平方向ゲイン乗算部２２３ｈの出力と、垂直方向ゲイン乗算部２２３ｖの出力とを加算し、ＭＴＦ補正画像Ｉ２として出力する。

なお、方向依存ＭＴＦ補正部２２の第３の構成例では、フィルタとして水平方向と垂直方向のみを有する場合を説明したが、斜め方向のフィルタを含んでもよい。

以上により、方向依存ＭＴＦ補正部２２の第３の構成例では、幾何歪み量算出部１０により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎にゲインを決定し、予め定められた複数の方向に対するフィルタの出力に対してゲインを乗算して加算することで撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力する。

ここで、方向毎にゲインを決定することは、撮像画像Ｉ０のＭＴＦ特性（ＭＴＦｓｙｓ（ｆｘ，ｆｙ））に対する予め定められた水平方向と垂直方向のフィルタ特性によるＭＴＦの回復量を調整することにより、２次元の目標ＭＴＦを設定することに相当する。

このように、本実施の形態においても実施の形態１と同様に所期の目的を達成し得ることはいうまでもない。

さらに、本実施の形態に係る画像処理装置では、方向依存ＭＴＦ補正部２２の第３の構成例において、幾何歪み量算出部１０により算出された幾何歪み量ｋと幾何歪み方向Ψに応じて方向毎にゲインを決定し、予め定められた複数の方向に対するフィルタの出力に対してゲインを乗算して加算することで撮像画像Ｉ０のＭＴＦを補正したＭＴＦ補正画像Ｉ２を出力することとした。これにより、フーリエ変換を行わずに済むようになり、演算量を大きく削減し、処理時間を大幅に高速化することが可能である。第３の構成例では、有限の数の方向のフィルタしか用いないため補正精度は低下するが、カメラを傾ける方向がＡＴ方向、ＣＴ方向のみに限定できる場合は、水平方向フィルタと垂直方向フィルタの用いるだけでも、良い近似が可能である。

実施の形態４．
実施の形態４では、カメラの高度が低い場合で、撮像画像Ｉ０の画面内で局所的に幾何歪み量や幾何歪み方向が異なる場合について考慮する。

本実施の形態に係る画像処理装置は、幾何歪み量算出部１０、方向依存ＭＴＦ補正部２１または方向依存ＭＴＦ補正部２２、及び幾何補正部３０を備える。実施の形態１と異なる点は、撮像方向に関する角度情報が撮像画像Ｉ０の複数の地点について与えられることと、幾何歪み量算出部１が、複数の地点について与えられた撮像方向に関する角度情報を使って、撮像画像Ｉ０の各画素についての幾何歪み量ｋ（ｘ，ｙ）と幾何歪み方向Ψ（ｘ，ｙ）を算出すること、及び、方向依存ＭＴＦ補正部２１または方向依存ＭＴＦ補正部２２が、画素毎に幾何歪み量ｋ（ｘ，ｙ）と幾何歪み方向Ψ（ｘ，ｙ）を使って、画素毎にＭＴＦ補正を行うことである。ここで、幾何歪み量算出部１において、撮像方向に関する角度情報が与えられない画素については、線形補間などにより、補間するものとする。また、方向依存ＭＴＦ補正部２１または方向依存ＭＴＦ補正部２２において、空間領域のフィルタを画素毎に変更し、適用する。

このように、本実施の形態においても実施の形態２または実施の形態３と同様に所期の目的を達成し得ることはいうまでもない。

なお、上述の実施の形態１から４のいずれにおいても、図１２のようにプロセッサ４０を用いて処理を行なう構成であっても所期の目的を達成し得ることはいうまでもない。図１２において、撮像装置１は画像処理装置２と接続されたバスライン３を介して撮像画像ＩＯと撮像画像Ｉ０が撮像された際の撮像方向に関する角度情報が入力される。もしくは、画像処理装置２が備えるプロセッサ４０に直接接続して撮像画像ＩＯと撮像画像Ｉ０が撮像された際の撮像方向に関する角度情報を入力しても構わない。ワークメモリ４１は、プロセッサ４０と直接接続されたメモリで一時的なデータの回避などを行ない、メモリ４２は、バスライン３を介してプロセッサ４０と接続されたメモリである。

例えば、メモリ４２に、地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から、撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出ステップと、幾何歪み量算出ステップで算出された幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正ステップと、方向依存ＭＴＦ補正ステップで補正されたＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正ステップとを備えるプログラムを記憶し、プロセッサ４０がメモリ４２にアクセスしてプログラムを実行することで上述の実施の形態１から４に記載した方法によって基準画像を得ることができる。なお、プログラムはメモリ４２に記憶することに限らず、ワークメモリ４１に記憶してプロセッサ４０がアクセスしても、他の記録媒体に記録してバスライン３を介してプロセッサ４０がアクセスしても所期の目的を達成し得る。

なお、図１２では撮像装置１と画像処理装置２とをバスラインで接続しているが、撮像装置１と画像処理装置２とがそれぞれ通信手段を備えて、撮像装置１からの撮像画像ＩＯ及び撮像画像Ｉ０が撮像された際の撮像方向に関する角度情報について、画像処理装置２はそれぞれの通信手段を介して得るものとしても構わない。この場合、撮像装置１と画像処理装置２とが離れて設置された状態であっても所期の目的を達成し得るので、撮像装置１を飛行体に設け、画像処理装置２を地上に設けた構成が可能となる。

１ 撮像装置
２ 画像処理装置
１０ 幾何歪み量算出部
２０、２１、２２ 方向依存ＭＴＦ補正部
３０ 幾何補正部

Claims (4)

1. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部と、
   前記幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正部と、
   前記ＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正部と
   を備え、
   前記方向依存ＭＴＦ補正部は、
   前記幾何歪み量及び前記幾何歪み方向に応じて１次元のＭＴＦ特性を２次元の空間周波数上に展開した前記目標ＭＴＦを設定する目標ＭＴＦ設定部と、
   前記目標ＭＴＦに基づいて周波数領域のＭＴＦ補正フィルタを生成するＭＴＦ補正フィルタ生成部とを有し、
   前記撮像画像の周波数領域において前記ＭＴＦ補正フィルタを乗算することによって前記撮像画像のＭＴＦ特性を補正した前記ＭＴＦ補正画像を出力し、
   前記目標ＭＴＦ設定部は、前記目標ＭＴＦとして、前記幾何歪み方向に直交する方向には、前記１次元のＭＴＦ特性を設定し、前記幾何歪み方向には、前記１次元のＭＴＦ特性を前記幾何歪み量に依存して引き伸ばされた特性を有する異方的な楕円状の特性を設定する
   画像処理装置。
2. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部と、
   前記幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正部と、
   前記ＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正部と
   を備え、
   前記方向依存ＭＴＦ補正部は、
   前記幾何歪み量及び前記幾何歪み方向に応じて１次元のＭＴＦ特性を２次元の空間周波数上に展開した前記目標ＭＴＦを設定する目標ＭＴＦ設定部と、
   前記目標ＭＴＦに基づいて空間領域のＭＴＦ補正フィルタを生成する第２のＭＴＦ補正フィルタ生成部とを有し、
   前記撮像画像と前記空間領域のＭＴＦ補正フィルタとを畳み込み演算することによって前記撮像画像のＭＴＦ特性を補正した前記ＭＴＦ補正画像を出力し、
   前記目標ＭＴＦ設定部は、前記目標ＭＴＦとして、前記幾何歪み方向に直交する方向には、前記１次元のＭＴＦ特性を設定し、前記幾何歪み方向には、前記１次元のＭＴＦ特性を前記幾何歪み量に依存して引き伸ばされた特性を有する異方的な楕円状の特性を設定する
   画像処理装置。
3. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量ステップと、
   前記幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正ステップと、
   前記ＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正ステップと
   を有し、
   前記方向依存ＭＴＦ補正ステップは、
   前記幾何歪み量及び前記幾何歪み方向に応じて１次元のＭＴＦ特性を２次元の空間周波数上に展開した前記目標ＭＴＦを設定する目標ＭＴＦ設定ステップと、
   前記目標ＭＴＦに基づいて周波数領域のＭＴＦ補正フィルタを生成するＭＴＦ補正フィルタ生成ステップとを有し、
   前記撮像画像の周波数領域において前記ＭＴＦ補正フィルタを乗算することによって前記撮像画像のＭＴＦ特性を補正した前記ＭＴＦ補正画像を出力し、
   前記目標ＭＴＦ設定ステップは、前記目標ＭＴＦとして、前記幾何歪み方向に直交する方向には、前記１次元のＭＴＦ特性を設定し、前記幾何歪み方向には、前記１次元のＭＴＦ特性を前記幾何歪み量に依存して引き伸ばされた特性を有する異方的な楕円状の特性を設定する
   画像処理方法。
4. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出ステップと、
   前記幾何歪み量及び前記幾何歪み方向に応じて２次元の目標ＭＴＦを設定し、前記目標ＭＴＦに基づいて前記撮像画像のＭＴＦ特性を補正したＭＴＦ補正画像を出力する方向依存ＭＴＦ補正ステップと、
   前記ＭＴＦ補正画像を幾何学的変換して、基準画像に投影する幾何補正ステップと
   を有し、
   前記方向依存ＭＴＦ補正ステップは、
   前記幾何歪み量及び前記幾何歪み方向に応じて１次元のＭＴＦ特性を２次元の空間周波数上に展開した前記目標ＭＴＦを設定する目標ＭＴＦ設定ステップと、
   前記目標ＭＴＦに基づいて空間領域のＭＴＦ補正フィルタを生成する第２のＭＴＦ補正フィルタ生成ステップとを有し、
   前記撮像画像と前記空間領域のＭＴＦ補正フィルタとを畳み込み演算することによって前記撮像画像のＭＴＦ特性を補正した前記ＭＴＦ補正画像を出力し、
   前記目標ＭＴＦ設定ステップは、前記目標ＭＴＦとして、前記幾何歪み方向に直交する方向には、前記１次元のＭＴＦ特性を設定し、前記幾何歪み方向には、前記１次元のＭＴＦ特性を前記幾何歪み量に依存して引き伸ばされた特性を有する異方的な楕円状の特性を設定する
   画像処理方法。

Images