JP5959976B2 - 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 - Google Patents

Description

本発明は、撮像により生成された画像の劣化を補正するための画像処理技術に関し、特にティルト撮像やシフト撮像により生じた画像の劣化を補正する画像処理技術に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いた撮像において、ティルト機構やシフト機構を有する撮影光学系を用いてティルト／シフト撮像（いわゆるアオリ撮像）を行う場合がある。ティルト／シフト撮像では、ピントが合う被写体面をコントロールしたり、パースペクティブによって生じる歪みを補正したりすることができる。

ティルト撮像は、撮影光学系を撮像面に対して傾けて（ティルトして）行う撮像であり、被写界深度を深くしなくても奥行きのある被写体面の全体にピントを合わせることや、ピントの合う範囲を狭めることができる。また、シフト撮像は、撮影光学系を撮像面に対して平行に移動（シフト）させて行う撮像であり、撮像面と被写体面とが平行でない状態で発生するパースペクティブによる歪みを補正することができる。

また、上記のようなデジタル撮像装置にて生成された画像に対しては、様々なデジタル画像処理を施すことが可能である。例えば、撮影光学系が有する収差により劣化した画像に対して画像回復処理、倍率色収差補正処理およびディストーション補正処理を施して、収差の影響を低減した高画質の画像を得ることができる。

ただし、ティルト機構やシフト機構を有する撮影光学系では、一般的な光軸回りで回転対称な光学系とは異なり、必ずしも撮像面の中心（画面中心）回りで回転対称な結像性能が得られるわけではない。すなわち、撮像面の中心から像高方向において非回転対称な偏心収差が発生し、ティルトやシフトをしていない基準状態に比べて、結像性能が劣化する。

このため、ティルト／シフト撮像により得られた画像に対して画像処理を行う場合には、ティルト／シフト撮像の状態に応じて画像処理の条件や方法を変える必要がある。

特許文献１，２には、ティルト／シフト撮像により得られた画像に対する画像処理方法が開示されている。特許文献１には、画像に写り込んだ異物の影を画像処理により補正する場合に、撮影光学系のティルトやシフトによって異物の影の写り込み位置が変化することで、適切でない異物補正画像処理が行われるのを防止する方法が開示されている。また、特許文献２には、ティルト／シフト撮像により得られた画像における非回転対称なシェーディングを補正する方法が開示されている。さらに、特許文献３では、撮像装置の振れに起因して生ずる像振れを補正するために防振レンズを光軸に直交する方向に変位させた際に生じる偏心収差を、画像回復フィルタを用いた画像回復処理により補正する方法が開示されている。

特開２００８−４２３４８号公報 特開２００３−２４４５２６号公報 特開２０１０−２５８５７０号公報

しかしながら、特許文献１，２にて開示された方法によれば、異物の影の写り込みやシェーディングを補正することは可能であるが、ティルト／シフト撮像時に特有な偏心収差による画像劣化の補正については何ら対策が講じられていない。

また、特許文献３にて開示された方法によれば、防振レンズの変位により発生した偏心収差を補正することは可能であるが、シャインプルーフの法則に従って像高によって被写体距離が変化するようなティルト撮像により生じた偏心収差までは補正することができない。しかも、ティルト機構やシフト機構を有する撮影光学系は最大ティルト量や最大シフト量を考慮して設計像高を大きくし、撮像時には設計像高のうち特定の部分のみを使用する。特許文献３にて開示された方法では、撮像に使用する像高の判別や偏心収差量の特定についてまで考慮されていないため、ティルト／シフト撮像時の偏心収差を良好に補正することはできない。

本発明は、ティルト／シフト撮像による画像の劣化を良好に補正できるようにした画像処理方法、画像処理プログラム、画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理方法は、撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像によって生成された入力画像を準備するステップと、該シフト撮像における撮像光学系のシフト方向及びシフト量を示すシフト情報を取得するステップと、撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、入力画像に対し、該入力画像おける撮像光学系の収差による劣化を補正するための画像回復処理を行う処理ステップとを有し、画像回復フィルタは撮像光学系の光軸を中心とする回転対称性を有し、画像回復処理は、回転対称性の中心をシフト情報に応じて入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像によって生成された入力画像を取得する画像取得部と、該シフト撮像における撮像光学系のシフト方向及びシフト量を示すシフト情報を取得するシフト情報取得部と、撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、入力画像に対し、該入力画像おける撮像光学系の収差による劣化を補正するための画像回復処理を行う処理部とを有し、画像回復フィルタは撮像光学系の光軸を中心とする回転対称性を有し、画像回復処理は、回転対称性の中心をシフト情報に応じて入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする。

なお、上記画像処理方法をコンピュータに実行させる画像処理プログラムおよび上記画像処理装置を備えた撮像装置も、本発明の他の一側面を構成する。

本発明によれば、ティルト／シフト撮像による画像の劣化を良好に補正して、高画質の画像を得ることができる。

本発明の実施例におけるティルト撮像およびシャインプルーフの法則を説明する図。 実施例におけるシフト撮像を説明する図。 実施例の画像処理方法にて用いられる画像回復フィルタを説明する図。 上記画像回復フィルタの断面図。 実施例の画像処理方法による点像の補正を示す図。 実施例の画像処理方法における振幅と位相の補正を説明する図。 本発明の実施例１である画像処理方法の流れを示すフローチャート。 実施例１にて行われる画像回復処理に関する光学伝達関数を説明する図。 本発明の実施例２である画像処理装置を含む画像処理システムの構成を示す図。 本発明の実施例３である撮像装置の構成を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、シャインプルーフの法則に従うティルト撮像を示している。ティルト撮像では、撮影光学系を撮像面に対して傾ける（ティルトさせる）。つまり、撮影光学系の主平面ＬＰＰが撮像面ＩＰに対して傾いて配置される。このとき、撮影光学系のピントが合う被写体面ＯＰと、撮影光学系の主平面ＬＰＰと、撮像面ＩＰとは、同一直線Ｐ上で交わる。このティルト撮像では、ピントが合う被写体面ＯＰが撮像面ＩＰに対して傾くため、撮影光学系のＦナンバーによらずピントが合う範囲をコントロールすることができる。例えば、Ｆナンバーを絞って被写界深度を深くすることなく奥行きのある被写体面ＯＰ全体にピントを合わせることができる。また、逆にピントの合う範囲を極端に狭めて、ジオラマ風の撮像表現等も可能となる。

図２には、シフト撮像を示している。シフト撮像では、撮影光学系を撮像面に対して平行に、言い換えれば、光軸ＬＡに対して直交する方向に移動（シフト）させる。つまり、撮像面ＩＰの中心軸ＩＡ（すなわち撮像面ＩＰの中心を通り、該撮像面ＩＰに直交する直線）と撮影光学系の光軸ＬＡとをずらしている。このシフト撮像では、被写体面ＯＰと撮像面ＩＰとを平行にしつつこれらの角度関係を調整することで、パースペクティブによる歪みをコントロールすることができる。例えば高層建築物を撮影する場合に歪みにより上側が窄まった壁面を垂直に延びるように補正することが可能である。また、逆に壁面の傾きをより強調することもできる。

これらのティルト撮像やシフト撮像は、撮影光学系にティルト機構およびシフト機構を設けることで可能となる。なお、ティルト撮像およびシフト撮像を、以下の説明ではまとめてティルト／シフト撮像ともいう。「／」は「または」の意味である。また、撮影光学系は、ティルトやシフトの方向を可変にするレボルビング機構を有していてもよい。

ティルト撮像では、被写体面ＯＰと撮影光学系の主平面ＬＰＰと撮像面ＩＰとが互いに平行でないため、偏心収差が発生する。また、シフト撮像でも、撮影光学系の光軸ＬＡと撮像面ＩＰの中心軸ＩＡとが一致していないために、偏心収差が発生する。偏心収差とは、偏心コマ、偏心歪曲、偏心により生じる色ずれ等を意味する。このようなティルト／シフト撮像における偏心収差は、撮像面の中心回りで非回転対称な収差として発生する。

ここで、撮影光学系の収差に起因した画像の劣化を補正する画像処理として、撮影光学系の光学伝達関数（ＯＴＦ）の情報を用いた画像回復処理が知られている。一方、幾何的な歪みである倍率色収差やディストーション（歪曲）を補正する画像処理として、幾何変換処理が知られている。

以下、後述する具体的な実施例で用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮影光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子により構成された撮影光学系の収差の情報を含む光学伝達関数（ＯＴＦ）に応じて劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮影光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像部が構成される。

入力画像の劣化は、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差等を原因としたぼけ成分である。このようなぼけ成分（劣化成分）は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。

また、カラー画像での色にじみも、撮影光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとの劣化度合いが異なると言うことができる。さらに、横方向の色ずれも、撮影光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

倍率色収差は、光の波長ごとの結像倍率の相違によって結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ずれではないが、本実施例では、特に説明が無い限り、色ずれを倍率色収差と同意義として記載する。ディストーションは画像の鮮鋭度は劣化させないが、画像の歪みの原因となるため、広義では画像の劣化を引き起こす。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や回復画像（出力画像）には、入力画像を生成した際の撮像装置における撮影光学系の焦点距離、絞り値、撮影距離等の撮影条件に関する情報（以下、撮影条件情報という）を付帯することができる。また、入力画像を補正するための補正情報として、後述するティルト／シフト撮像の状態を示す情報やその他の情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
「画像回復処理」
撮像装置による撮像によって生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の劣化していない画像をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、撮影光学系の収差の情報を含む光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

画像回復フィルタを図３および図４を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。

図３では、例として、１１×１１タップの２次元画像回復フィルタを示している。図３では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図４に示す。図４に示す画像回復フィルタの各タップ内の値は、上述した撮影光学系の様々な収差の情報に基づいて設定される。この画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。

画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。

画像回復処理の実空間と周波数空間での特性を図５および図６を用いて説明する。図５の（ａ）は画像回復前のＰＳＦを示し、（ｂ）は画像回復後のＰＳＦを示している。また、図６の（Ｍ）の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）の（ｂ）は画像回復後のＭＴＦを示している。さらに、図６の（Ｐ）の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。

画像回復フィルタは、撮影光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して作成することができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は、同じ撮影条件であっても撮影光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。

以下、本発明の具体的な実施例について説明する。

図７には、本発明の実施例１である画像処理方法の手順を示している。本実施例では、ティルト／シフト撮像での撮影光学系の収差による画像の劣化を補正するための画像処理として、画像回復処理を行う場合について説明する。本実施例での画像処理方法は、画像処理装置としてのＣＰＵ等により構成されるコンピュータが、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。また本実施例では、ティルト／シフト撮像が可能な撮像装置とは別の画像処理装置が画像処理を行う場合について説明するが、画像処理装置が撮像装置に内蔵されている場合には、撮像装置を撮像部と、画像処理装置を画像処理部とそれぞれ読み替えればよい。

まず、ステップＳ１１では、画像処理装置は、撮像装置がティルト／シフト撮像によって生成した撮影画像を入力画像として取得（準備）する。撮像装置からの撮影画像の取得は、該撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。

次に、ステップＳ１２では、画像処理装置は、撮像装置が撮像によって撮影画像を生成した際の撮影条件情報を取得する。撮影条件は、前述したように、撮影光学系の焦点距離、絞り値および撮影距離のほか、撮像装置の識別情報（カメラＩＤ）等を含む。また、撮影光学系の交換が可能な撮像装置においては、撮影条件に、該撮影光学系（交換レンズ）の識別情報（レンズＩＤ）を含めてもよい。撮影条件情報は、前述したように撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

次に、ステップＳ１３では、画像処理装置は、撮像装置がティルト／シフト撮像によって撮影画像を生成した際の該ティルト／シフト撮像の状態を示す情報（つまりは撮影光学系のティルトまたはシフトの状態を示す情報）を取得する。このティルト／シフト撮像の状態を示す情報の取得に際しては、画像処理装置は、まず撮像装置がティルト／シフト撮像を行ったか否か、すなわち撮影光学系が撮像面に対してティルトまたはシフトしていたか否かを判別する。ティルト／シフト撮像と判別した場合には、ティルト／シフト撮像の状態である撮像光学系の撮像面に対するティルト方向およびティルト角（それぞれ図１に矢印とθで示す）、またはシフト方向およびシフト量（それぞれ図２に矢印とｓｈで示す）の情報を取得する。以下、ティルト／シフト撮像の状態を示す情報を、ティルト／シフト情報という。

次に、ステップＳ１４では、画像処理装置は、画像回復処理に使用する画像回復フィルタを取得する。具体的には、予めティルト／シフト撮像の状態や撮影条件ごとにメモリに記憶させた複数の画像回復フィルタの中から、ステップＳ１３にて取得したティルト／シフト情報およびステップＳ１２で取得した撮影条件情報に対応するフィルタを選択する。また、画像回復フィルタを演算するための演算式を用いて、ティルト／シフト情報や撮像条件情報に対応する画像回復フィルタを作成してもよい。例えば、ティルト／シフト情報や撮像条件に対応する撮影光学系の光学伝達関数（ＯＴＦ）に基づいて周波数空間での回復フィルタ特性を作成し、これに対して逆フーリエ変換を行うことで実空間のフィルタに変換するような演算式を用いる。

ここで、ティルト／シフト撮像における撮影光学系の光学伝達関数について説明する。図８（ａ）にはティルト／シフト撮像ではない通常撮像を行うときの撮影光学系を示している。通常撮像では、撮影光学系の光軸ＯＡと撮像面ＩＰの中心（画面中心）とが一致しており、撮像面ＩＰの中心から像高方向において光学伝達関数は回転対称となる。つまり、撮像面ＩＰにおける光学伝達関数の等高線が、図８（ｂ）に示すように、撮像面ＩＰの中心回りで回転対称となる。

一方、ティルト撮像を行うときの撮影光学系は、図１に示したシャインプルーフの法則に従ってピントが合う被写体面ＯＰは光軸ＬＡに直交しない。このとき、撮影光学系のティルトによって偏心収差が発生し、また撮像面ＩＰのプラス側像高とマイナス側像高において物体距離が異なるため、光学伝達関数は撮像面の中心回りで非回転対称となる。つまり、撮像面ＩＰにおける光学伝達関数の等高線が、図８（ｃ）に示すように、撮像面ＩＰの中心回りで非回転対称となる。したがって、ティルト撮像を行った場合は、撮影画像の中心回りにて像高ごとの被写体距離の相違による非回転対称性を有する光学伝達関数に基づいた画像回復処理を行えるような画像回復フィルタを作成する必要がある。

このようなティルト撮像において撮像面における像高ごとの光学伝達関数を取得するためには、撮影光学系のティルト方向を取得（検出）する必要がある。なお、光学伝達関数はティルト方向においては非線対称であるが、ティルト方向に直交する方向については撮影光学系の対称性が保たれるために光学伝達関数も線対称となる。したがって、光学伝達関数を取得する際にティルト方向に直交する方向での線対称性を用いて補間処理をすることにより、データ数を削減することが可能となる。

さらに、被写体面ＯＰの傾きは被写体距離（被写体から撮像面までの距離）と撮影光学系のティルト方向およびティルト角により変化する。このため、ティルト撮像において像高ごとの光学伝達関数を取得するためには、ティルト方向に加えてティルト角も取得（検出）する必要がある。このとき、ティルト方向およびティルト角と被写体距離とに応じた被写体面の傾きデータテーブルを保持しておいてもよい。これによれば、任意のティルト撮像の状態における各像高の被写体距離を取得することが可能となる。

また、シフト撮像を行うときの撮影光学系は、図２に示すように、撮像面ＩＰの中心軸ＩＡに対して撮影光学系の光軸ＬＡがずれているため、光学伝達関数も撮像面ＩＰの中心に対してシフトする。つまり、撮像面ＩＰにおける光学伝達関数の等高線の中心が、図８（ｄ）に示すように、撮像面ＩＰの中心からずれる。このため、シフト撮像を行った場合は、撮影画像の中心に対してシフト方向にオフセットした（言い換えれば、撮影画像の中心回りにて非回転対称性を有する）光学伝達関数に基づく画像回復処理を行う必要がある。そして、このための適切な画像回復フィルタを選択するためには、撮影光学系のシフト方向とシフト量を取得（検出）する必要がある。

なお、ティルト撮像において、ティルトの中心が撮影光学系の像側主平面上にない場合には、ティルトとシフトが同時に発生する。この場合には、ティルト撮像およびシフト撮像における光学伝達関数の取得方法を併用することで、適切な画像回復フィルタを選択または作成することが可能となる。

このように、画像回復フィルタは、ティルト／シフト撮像におけるティルト／シフト情報に応じた撮影光学系の収差の情報（光学伝達関数）を用いて取得される。

画像回復フィルタを取得した画像処理装置は、ステップＳ１５にて、撮影画像に画像回復フィルタをコンボリューションすることで画像回復処理を行い、回復画像を生成する。ステップＳ１４，Ｓ１５が処理ステップに相当する。

そして、ステップＳ１６にて、画像処理装置は、生成した回復画像を出力する。すなわち、記録媒体に記録したりモニタに表示したりする。

本実施例では、画像の劣化を補正するための画像処理として画像回復処理を行う場合について説明したが、画像回復処理に代えて又はこれと共に、倍率色収差の補正処理やディストーションの補正処理を行ってもよい。もちろん、これらの補正処理も、ティルト／シフト撮像の状態に対応するように適切に行う。

図９には、本発明の実施例２である画像処理装置を含む画像処理システムを示している。画像処理システムは、画像処理情報算出装置１００と、カメラ（撮像装置）１１０と、画像処理装置１２０とにより構成される。

画像処理情報算出装置１００は、画像処理情報としての光学伝達関数（ＯＴＦ）、倍率色収差補正量およびディストーション補正量を算出する。このとき、画像処理情報算出装置１００は、様々な種類の撮影光学系と様々な種類のカメラが有する撮像素子との組み合わせについて、画像処理情報を算出して画像処理装置１２０に出力する。

カメラ１１０は、撮像素子１１１と撮影レンズ（撮影光学系）１１２とを有する。カメラ１１０は、撮影レンズ１１２を通した撮像により生成した撮影画像を出力する。また、カメラ１１０は、撮影画像に、撮影レンズ１１２のレンズＩＤと撮影条件情報（絞り、焦点距離、撮影距離、ティルト／シフト情報、撮像素子１１１が表現可能な空間周波数であるナイキスト周波数）を付加して出力する。

画像処理装置１２０は、画像処理情報算出装置１００およびカメラ１１０から出力された情報を保持し、該情報を用いて撮影レンズ１１２により劣化を受けた撮影画像を補正する画像回復処理、倍率色収差補正処理およびディストーション補正処理を行う。

画像処理装置１２０は、画像処理情報保持部１２１、画像処理情報選択部１２２およびフィルタ処理部１２３を有する。画像処理情報保持部１２１は、画像処理情報算出装置１００によって算出された様々な撮影光学系と撮像素子との組み合わせのそれぞれについて、画像処理情報、レンズＩＤ、撮影条件情報、ティルト／シフト情報、撮像素子のナイキスト周波数を保持（記録）する。画像処理情報保持部１２１は、ティルト／シフト情報取得部に相当する。

画像処理情報選択部１２２は、カメラ１１０から撮像素子１１１のナイキスト周波数の情報を取得し、さらに撮像に用いられた撮影レンズ１１２のレンズＩＤと撮影条件情報を取得する。画像処理情報選択部１２２は、画像処理情報保持部１２１内に保存されている画像処理情報のうち、撮影レンズ１１２のレンズＩＤ、撮影条件情報および撮像素子のナイキスト周波数に応じた画像処理情報をサーチする。画像処理情報選択部１２２は、カメラ１１０における撮像素子のナイキスト周波数までの空間周波数領域において、サーチした情報を用いてフィルタ処理部１２３で用いる画像処理情報を選択する。以下、画像処理情報選択部１２２で選択した画像処理情報を、選択画像処理情報と称する。

フィルタ処理部１２３は、カメラ１１０から撮影画像を取得する。また、フィルタ処理部１２３は、選択画像処理情報を用いて、撮影画像の劣化を補正するための画像回復フィルタおよび幾何変換フィルタのうち少なくとも一方を作成する。そして、画像回復フィルタを用いた画像回復処理および幾何変換フィルタを用いた倍率色収差補正処理やディストーション補正処理のうち少なくとも１つを行って、撮影画像の劣化を補正する。フィルタ処理部１２３は、画像取得部および処理部に相当する。

ここで、画像処理情報算出装置１００で予め算出した画像処理情報を画像処理情報保持部１２１に保持しておけば、画像処理情報算出装置１００をユーザに提供する必要はない。また、ユーザはネットワークや記録媒体を通じて、画像処理に必要な情報をダウンロードして用いることもできる。

次に、画像処理情報算出装置１００での画像処理情報の算出方法について説明する。画像処理情報算出装置１００が算出する光学伝達関数（ＯＴＦ）、倍率色収差補正量およびディストーション補正量は、撮影光学系のティルト／シフト情報に応じた収差の情報を用いて算出される。

例えば、ティルト撮像が行われる（撮影光学系がティルト機構を有する）場合には、エンコーダ等の角度検出器によってティルト角を検出して上記算出に反映させればよい。このとき、ティルト角は撮像面に対する撮影光学系の相対的な角度として検出すればよい。また、シフト撮像が行われる（撮影光学系がシフト機構を有する）場合には、スケールと、該スケールとの相対移動量に応じた信号を出力するフォトセンサ等とにより構成される移動量検出器によってシフト量を検出すればよい。このとき、シフト量は撮像面に対する撮影光学系の相対的な平行移動量として検出すればよい。さらに、ティルトやシフトの方向を検出することにより、撮影画像に対して画像処理を行う向きを決定することが可能となる。

ティルト撮像時には、図１に示すシャインプルーフの法則に従って被写体面ＯＰと撮像面ＩＰとが平行でなくなるため、撮像面ＩＰの像高ごとに被写体距離が異なる。このとき、撮影光学系のティルト角と被写体距離とから被写体面ＯＰの傾きを予め算出しておき、各像高における被写体距離データを画像処理情報の一部として保有しておくとよい。これによれば、ティルト撮像において適切な画像処理情報を算出することが可能となり、この結果、画像処理が撮像面の中心に対して非回転対称性を有して行われる。

また、シフト撮影時には、図２に示すように撮像面ＩＰの中心軸ＩＡと撮影光学系の光軸ＬＡとが一致しておらず、撮影光学系の収差により発生する画像の劣化も撮影光学系のシフト量に応じてオフセットする。このとき、画像処理情報も撮影光学系のシフト量に応じて撮像面の中心に対してシフト方向にオフセットすることで、適切な画像処理情報を算出することが可能となり、この結果、画像処理が撮像面の中心に対してオフセットして行われる。

ティルト／シフト撮像においては、光学伝達関数は撮像面の中心に対して非回転対称となることは先に説明したが、この場合に光学伝達関数に基づいて生成した画像回復フィルタも非回転対称性を有する。したがって、画像回復処理は、非回転対称性を有する光学伝達関数に基づいて行われると言える。なお、画像回復処理は、ＲＧＢ等の色成分ごとに異なる画像回復フィルタを用いて行ってもよい。

また、倍率色収差やディストーションについても、ティルト／シフト撮像により撮像面の中心回りでの非回転対称成分（オフセット成分を含む）が発生するので、該非回転対称成分に基づいて結像位置のずれ量を算出した上で補正量を決定する必要がある。倍率色収差補正量の算出に際しては、ＲＧＢ等の色成分ごとに補正量を決定すればよい。また、ディストーション補正量の算出に際しては、像高ごとに補正量を決定すればよい。

図１０には、本発明の実施例３である撮像装置の構成を示している。この撮像装置には、画像処理装置としての画像処理部２０４が備えられて（内蔵されて）いる。
不図示の被写体からの光は、絞り２０１ａやレンズ（ズームレンズ、フォーカスレンズ）２０１ｂを含む撮影光学系２０１によって、撮像素子２０２の撮像面上に結像する。この撮影光学系２０１は、図示はしないが、ティルト機構およびシフト機構のうち少なくとも一方を有する。

撮像素子２０２は、被写体像を光電変換する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ撮像信号をデジタル撮像信号に変換する。デジタル撮像信号は、画像処理部２０４に入力される。

画像処理部２０４は、デジタル撮像信号に対して所定の信号処理を行って撮影画像を生成する。さらに、画像処理部２０４は、撮影画像（入力画像）に対して画像回復処理を行う。具体的には、画像処理部２０４は、状態検知部２０７から撮像条件情報やティルト／シフト情報を得る。ティルト／シフト情報は、実施例２でも説明したように角度検出器や移動量検出器を用いて取得してもよいし、ユーザが撮像装置の入力操作部を兼ねる背面モニタを通じて入力してもよい。撮像素子２０２、Ａ／Ｄコンバータ２０３および画像処理部２０４によって、撮影画像を生成する撮像部が構成される。また、画像処理部２０４は、画像取得部、ティルト／シフト情報および処理部に相当する。

状態検知部２０７は、撮像条件情報をシステムコントローラ２１０から得てもよい。また、撮影光学系に関する撮像条件情報については、絞り２０１ａの動作やレンズ２０１ｂの移動を制御する撮影光学系制御部２０６から得てもよい。そして、画像処理部２０４は、図７に示したフローチャートにより説明した処理を実行する。光学伝達関数（ＯＴＦ）等のデータは、予め記憶部２０８に保持されている。

画像処理部２０４は、画像回復処理により生成した出力画像である回復画像を半導体メモリや光ディスク等の画像記録媒体２０９に出力して記録させたり、表示部２０５に出力して表示させたりする。以上説明した一連の動作は、システムコントローラ２１０により制御される。

なお、撮影光学系２０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を含ませてもよい。ただし、ローパスフィルタ等、撮影光学系２０１の光学伝達関数（ＯＴＦ）に影響を与える光学素子を用いる場合には、該光学素子に関する画像回復フィルタを作成する時点で該光学素子に関する考慮が必要になる。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルのそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。

また、前述したように、撮影光学系２０１は、撮像装置に対して交換可能なものであってもよい。

さらに、画像回復処理に代えて又はこれとともに、倍率色収差補正処理やディストーション補正処理を行ってもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

ティルト／シフト撮像によって劣化した画像を良好に補正可能な画像処理装置や撮像装置を提供できる。

１１０ カメラ（撮像装置）
１２０ 画像処理装置
２０１ 撮影光学系
２０２ 撮像素子
２０４ 画像処理部
２１０ システムコントローラ

Claims (5)

1. 撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像によって生成された入力画像を準備するステップと、
   前記シフト撮像における前記撮像光学系のシフト方向及びシフト量を示すシフト情報を取得するステップと、
   前記撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、前記入力画像に対し、該入力画像おける前記撮像光学系の収差による劣化を補正するための画像回復処理を行う処理ステップとを有し、
   前記画像回復フィルタは前記撮像光学系の光軸を中心とする回転対称性を有し、前記画像回復処理は、前記回転対称性の中心を前記シフト情報に応じて前記入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする画像処理方法。
2. 前記処理ステップにおいて、前記入力画像に対し、前記撮像面に対してシフトした前記撮像光学系の収差であって、該撮像面の中心回りで非回転対称な倍率色収差またはディストーションの少なくとも一つに基づく補正処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像によって生成された入力画像を取得する画像取得部と、
   前記シフト撮像における前記撮像光学系のシフト方向及びシフト量を示すシフト情報を取得するシフト情報取得部と、
   前記撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、前記入力画像に対し、該入力画像おける前記撮像光学系の収差による劣化を補正するための画像回復処理を行う処理部とを有し、
   前記画像回復フィルタは前記撮像光学系の光軸を中心とする回転対称性を有し、前記画像回復処理は、前記回転対称性の中心を前記シフト情報に応じて前記入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする画像処理装置。
4. 撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像により撮影画像を生成する撮像部と、
   画像処理装置とを有し、
   前記画像処理装置は、
   入力画像として前記撮影画像を取得する画像取得部と、
   前記シフト撮像における前記撮像光学系のシフト方向及びシフト量を示すシフト情報を取得するシフト情報取得部と、
   前記撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、前記入力画像に対し、該入力画像おける前記撮像光学系の収差による劣化を補正するための画像回復処理を行う処理部とを有し、
   前記画像回復フィルタは前記撮像光学系の光軸を中心とする回転対称性を有し、前記画像回復処理は、前記回転対称性の中心を前記シフト情報に応じて前記入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする撮像装置。
5. コンピュータに、
   撮像光学系の光軸を撮像面に直交させたまま該撮像面の中心軸に対して平行にシフトさせたシフト撮像によって生成された入力画像を準備させるステップと、
   前記シフト撮像における前記撮像光学系のシフト方向及びシフト量を示すシフト情報を取得させるステップと、
   前記撮像光学系の光学伝達関数に基づいて生成される画像回復フィルタを用いて、前記入力画像に対し、該入力画像おける前記撮像光学系の収差による劣化を補正するための画像回復処理を行うステップとを含む処理を実行させるコンピュータプログラムであって、
   前記画像回復フィルタは前記撮像光学系の光軸を中心とする回転対称性を有し、前記画像回復処理は、前記回転対称性の中心を前記シフト情報に応じて前記入力画像の中心に対してシフトさせた画像回復フィルタを用いて行われることを特徴とする画像処理プログラム。