JP5367053B2 - 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム、画像処理方法及び撮像装置に関する。

光軸に関して回転対称な光学系においても、レンズやレンズ鏡筒の製造ばらつきにより倍率色収差が回転非対称に発生する場合がある。回転非対称な収差成分は片ボケと呼ばれるが、片ボケは画質劣化をもたらすため改善が求められている。従来から画像の色ずれ量を検出して画像処理を行うことで画質劣化を改善する方法が提案されている（特許文献１、２）。また、画像回復処理により画質劣化を改善する方法として特許文献３がある。

国際公開第０６／０９３２６６号パンフレット 米国特許第６８７０５６４号明細書 特開２０１０−０８７６７２号公報

しかしながら、回転非対称に発生する像面湾曲を画像処理によって効果的に補正する方法は従来提案されていなかった。そもそも像面湾曲の片ボケなどの色ずれとして検出できない収差成分の片ボケは画像から判別することができなかった。

そこで、本発明は、製造ばらつきによって回転非対称に発生する像面湾曲を補正して高画質な画像を取得することが可能な画像処理装置および画像処理方法を提供することを例示的な目的とする。

本発明の画像処理装置は、撮影部によって撮影された画像に対して画像処理を行う画像処理装置であって、画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する記憶部と、前記画像の原点に関して対称な位置における色ずれ量を検出する検出部と、前記記憶部に記憶された前記関係から、前記検出部が検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得部と、前記取得部が取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理部と、を有することを特徴とする。かかる画像処理装置を有する撮像装置も本発明の一側面を構成する。

本発明の画像処理方法は、撮影部によって撮影された画像に対して画像処理を行う画像処理方法であって、画像の原点に関して対称な位置における色ずれ量を検出する検出ステップと、画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を保持する記憶部から、前記検出ステップが検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得ステップと、前記取得ステップが取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理ステップと、を有することを特徴とする。前記画像処理方法をコンピュータに実行させる画像処理プログラムも本発明の一側面を構成する。

本発明によれば、製造ばらつきによって回転非対称に発生する像面湾曲を補正して高画質な画像を取得することが可能な画像処理装置および画像処理方法を提供することができる。

本実施形態の画像処理装置のブロック図である。 色ずれ量の非対称性と像面湾曲の非対称性の関係を示すグラフである。 図２の縦軸と横軸を説明するための図である。 図１に示す画像処理装置の動作を説明するためのフローチャートである。 図４に示すＳ１３０の詳細を説明するためのフローチャートである。 図１に示す画像処理装置の変形例のブロック図である。

図１は、本実施形態の画像処理装置２０のブロック図である。画像処理装置２０は、不図示の撮影部の撮影光学系が形成した光学像を光電変換することによって生成された画像データ１２と、撮影条件（撮影情報）１４を保持する撮像画像生成部１０に接続されている。画像処理装置２０は、像面湾曲の片ボケを画像処理によって補正した画像データを出力画像３０として出力する。

なお、本実施例では画像処理装置２０が補正する画質劣化成分（収差）は像面湾曲であるが、他の画質劣化成分（歪曲収差や周辺光量など）を補正することを妨げるものではない。周辺光量とは、撮像された画像の周辺部の光量である。

撮像画像生成部１０は、デジタルカメラなどの撮像装置、または撮像装置が生成した画像データ１２と撮影条件１４を保持した記憶部、記憶媒体、パーソナルコンピュータなどでもよい。

画像処理装置２０は、デモザイキング処理部２１、色ずれ検出部２２、非対称特性取得部２３、記憶部２４、ＯＴＦ取得部２５、フィルタ作成部２６、フィルタリング処理部２７、カメラ信号処理部２８、を有する。ＯＴＦとは光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）のことである。

デモザイキング処理部２１は、画像データ１２に対してデモザイキング処理を施す。

色ずれ検出部２２は、画像から画面全体の色ずれ量を取得する。具体的には、色ずれ検出部２２は、デモザイキング処理された画像データ１２の原点に関して対称な位置における基準色成分（例えば、緑色）と前記基準色成分以外の色成分（例えば、青色）との色ずれ量を検出して非対称特性取得部２３に出力する。

色ずれ検出部２２が行う色ずれ検出として例えば、デモザイキングした画像に対して微分フィルタを適用することで画像のエッジ部分を抽出し、各色成分のエッジのずれ量を色ずれ量として取得したりする。色ずれ検出部２２は、色ずれ量を検出する前工程として、デモザイキングの際に基準色成分の画像構造を使って補正色成分の画像構造を補正し、色ずれ量を検出しやすくしてもよい。例えば、受光素子の画素配列として使用されるベイヤー配列では、Ｇｃｈ（緑チャンネル）のナイキスト周波数が、Ｒｃｈ（赤チャンネル）、Ｂｃｈ（青チャンネル）のナイキスト周波数に比べて大きいのでＧｃｈを基準色成分として設定する。そして、基準色成分以外の色成分であるＲｃｈ、Ｂｃｈの画像構造を補正することにより、より高周波までＲｃｈ、Ｂｃｈを再現することが可能になる。これらの技術に関しては、特許文献１で開示されているので詳細は割愛する。

非対称特性取得部２３は、撮影条件１４に対応する倍率色収差によるずれ量と像面湾曲に関するぼけ量との関係（相関）から、検出部２２が検出した色ずれ量から得られる倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を取得する。倍率色収差によるずれ量と像面湾曲に関するぼけ量の相関関係は、予め記憶部２４に記憶されている。像面湾曲に関するぼけ量は、画像の原点に関して対称な位置における軸上のＭＴＦピーク位置と軸外のＭＴＦピーク位置の差分に対応する。ＭＴＦピーク位置は、予め記憶部に格納されており、撮像装置や撮像光学系のＭＴＦのデフォーカスの特性を測定すれば取得することができる。あるいは、ＭＴＦ特性を計算により求めることも可能である。

画像の原点に関して対称な画角の結像特性の非対称性を画角非対称性と表現した場合、上述の倍率色収差によるずれ量と像面湾曲に関するぼけ量はそれぞれ倍率色収差の画角非対称性と像面湾曲の画角非対称性に対応する。なお、コマ収差のような１つの画角の中でアジムス方向に非対称な結像特性を表現する場合にはアジムス非対称性と表現する。

画像に設定された原点は、画像の中心でもよいし、撮像光学系の光軸と受光素子が交わる点でもよい。後者の場合には、歪曲収差や周辺光量の対称性に基づいて画像から特定することができる。

図２は、倍率色収差によるずれ量（画角非対称特性）と像面湾曲に関するぼけ量（画角非対称特性）の関係を表すグラフである。図２の縦軸は倍率色収差によるずれ量を定量的に評価したものであり、横軸は像面湾曲に関するぼけ量を定量的に評価したものである。

図３は図２の縦軸と横軸についての説明図である。図３（ａ）は、軸上のＭＴＦピーク位置に対する軸外のＭＴＦピーク位置の差分を画像の原点を中心として対称な画角で引き算した量を表している。図３（ｂ）は、ＢｃｈとＧｃｈのスポット重心の差分を画像の原点を中心として対称な画角で引き算した量を表している。

図２中に示されている点は、製造ばらつきが発生したレンズを示しており、１００本のレンズに対して上記の計算を行った結果を示している。図２に示すように、倍率色収差によるずれ量と像面湾曲に関するぼけ量には関係がある。図２は、これらの点に対する近似曲線（直線）を記しているが、この曲線の傾きと画像から判別した色ずれ量の画角非対称性が分かれば、像面湾曲の画角非対称性を取得することができる。また、近似曲線の次数は限定されない。

このように、本実施例では、色ずれ検出部２２が画像の原点に関して対称な位置の色ずれ量（即ち、図３（ｂ）に示すΔｌａｔ１やΔｌａｔ２）を非対称特性取得部２３に出力している。そして、非対称特性取得部２３がその差分（Δｌａｔ１−Δｌａｔ２）である倍率色収差によるずれ量を算出し、図２に示す関係から倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を取得している。しかし、色ずれ検出部２２が倍率色収差によるずれ量である差分（Δｌａｔ１−Δｌａｔ２）を計算して、非対称特性取得部２３に出力してもよい。

本実施形態は、色ずれ量の画角非対称性から像面湾曲に関するぼけ量を取得しているが、原点に対称な画角の色ずれ量の差分や像面湾曲の差分を軸にとる必要はなく、原点を基準とした色ずれ量や像面湾曲に関するぼけ量を定義してもよい。また、取得する画角非対称性として、上述したように、像面湾曲の他にも、歪曲収差をはじめとするザイデルの５収差を取得してもよいし、周辺光量の画角非対称性を取得してもよい。

倍率色収差によるずれ量と像面湾曲に関するぼけ量の関係は関数（数式）によって表わされてもよいしテーブル（データベース）によって表されてもよい。離散的なデータと補間処理を用いてもよい。

本実施形態によれば、製造ばらつきによって不可避に発生する像面湾曲の片ボケを低減又は除去することができる。また、像面湾曲を補正する情報を画像から取得することができるので補正が単純になり、コストアップを防止することができる。

記憶部２４は、撮影条件に対応する画像の原点に対して対称な位置における色ずれ量と画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する。本実施例では、一例として、記憶部４は、倍率色収差によるずれ量と像面湾曲に関するぼけ量の関係を格納している。また、記憶部２４は、それぞれが撮影条件１４に対応付けられた、複数のフィルタ群を格納している。複数のフィルタは、ズーム位置、絞り径、被写体距離の３つの状態を軸とした撮像状態空間中に離散的に配置されており、例えば、特許文献３の図３に記載されているものと同様であるがこれに限定されない。

なお、記憶部２４が複数のフィルタ群（フィルタ係数）を格納していてもよいが、フィルタの代わりに、ＯＴＦやＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）等フィルタが生成可能な関数を格納していてもよい。

なお、記憶部２４は不揮発性であってもよいし揮発性であってもよい。上記情報は記憶部２４に予め格納されていてもよいし、インターネットなどのネットワークを通じて更新可能にまたは一時的に格納されてもよい。

ＯＴＦ取得部２５は撮影条件１４を取得してそれに対応するＯＴＦを記憶部２４の中から選択することによって取得してフィルタ作成部２６にＯＴＦを出力する。

フィルタ作成部２６は、像面湾曲に関するぼけ量を補正するように画像の原点に対して非対称な画像処理を行うフィルタを作成する。本実施例では、フィルタ作成部２６は、像面湾曲に関するぼけ量が小さくなるように、ＯＴＦ取得部２５が取得したＯＴＦと記憶部２４に格納された複数のフィルタ群の中から最適な画像回復フィルタを選択する。

フィルタリング処理部２７は、原点に対して回転非対称なフィルタを使用したフィルタリング処理を行う。フィルタは複数のタップ数を有する２次元フィルタであり、エッジ強調フィルタや平滑化フィルタや画像回復フィルタのような種々のフィルタを使用することができる。

画像回復処理においては、劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、ＯＴＦのフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると次式が成り立つ。ただし、＊は畳み込み積分を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
これをフーリエ変換して周波数面での表示形式に変換すると、次式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであるのでＯＴＦであり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮影された劣化画像から元の画像を得るためには次式のように両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、即ち、Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。

１／Ｈを逆フーリエ変換したものをＲとすると、次式のように実面での画像に対する畳み込み処理を行うことで同様に共の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）は画像回復フィルタであり、画像が２次元のとき画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。２次元フィルタの例は特許文献３の図４、図５に記載されている。もちろん既知のウィナーフィルタやエッジ強調フィルタを使用してもよい。

図４は、画像処理装置２０の動作を説明するためのフローチャートであり、「Ｓ」はステップの略である。この画像処理方法は記憶部２４に格納されている。画像処理方法は、画像処理装置２０の不図示のマイクロコンピュータ（プロセッサ）によって実行可能なプログラムとして具現化可能である。

不図示の撮像装置によって撮像された画像データ１２が入力画像として画像処理装置２０に入力される（Ｓ１００）。画像データ１２には撮像装置の光学系や撮影時のズーム状態、絞り状態を特定するＥＸＩＦ情報である撮影条件１４が記載されている。この結果、画像処理装置２０は、画像データ１２と撮影条件１４の情報を取得する。

画像データ中のＲａｗデータが画像処理装置２０に読み込まれると、画像データ１２はデモザイキング処理部２１によってデモザイキング処理が施される。次に、色ずれ検出部２２が画像の各像高に対する色ずれ量（即ち、図３（ｂ）に示すΔｌａｔ１やΔｌａｔ２）を検出する（Ｓ１１０）。

次に、非対称特性取得部２３は、色ずれ検出部２２が検出した色ずれ量の差分（即ち、図２の縦軸に対応するΔｌａｔ１−Δｌａｔ２）である倍率色収差によるずれ量を算出する（Ｓ１２０）。次に、非対称特性取得部２３は、撮影条件１４に対応する記憶部２４に格納された関係から取得した倍率色収差によるずれ量に対応する像面湾曲に関するぼけ量を算出する（Ｓ１３０）。

図５は、Ｓ１３０の詳細を説明するためのフローチャートである。まず、非対称特性取得部２３は、撮影条件１４から決定されたレンズＩＤ（光学系の識別子）を取得し（Ｓ１３１）、それに基づいてレンズＩＤに対応した関数の係数を取得する（Ｓ１３２）。また、非対称特性取得部２３は、この関数に色ずれ検出部２２で検出した色ずれ量を取得する（Ｓ１３３）。次に、非対称特性取得部２３は、上記関数と色ずれ量から得られる倍率色収差によるずれ量から像面湾曲に関するぼけ量を取得し（Ｓ１３４）、出力する（Ｓ１３５）。

図２のような近似曲線から求められる像面湾曲に関するぼけ量は、原点に対称な２つの画角に対する像面ズレ量の差分である。実際の像面湾曲はこの像高の設計値のピーク位置を中心にして正負にばらつくので、概ね前記差分の半分が原点に対称な各画角における設計値からのズレ量の絶対値として計算できる。

次に、フィルタ作成部２６は、像面湾曲に関するぼけ量を小さくするようにＯＴＦ取得部２５から供給されたＯＴＦを使用して回復ゲインを変更することで画角非対称な画像回復フィルタを作成する（Ｓ１４０）。

次に、作成した回復フィルタを用いてフィルタリング処理部２７がフィルタリング処理を行い（Ｓ１５０）、次に、カメラ信号処理部２８がホワイトバランス調整等のカメラ信号処理を行ったあとに出力画像が出力される。この結果、製造ばらつきによる回転非対称な像面湾曲の片ボケが補正された出力画像を得ることができる。

画像処理装置２０は撮像装置の一部であってもよい。図６は、かかる撮像装置５０の示すブロック図である。撮像装置５０は、撮像部６０、画像処理部７０、制御部８０を有する。

撮像部６０は、被写体の光学像を形成する撮像光学系６２と、光学像を光電変換して画像データ１２を生成する撮像素子６４を有している。

画像処理部７０は画像処理装置２０として機能する。

制御部８０は撮像部６０と画像処理部７０の動作を制御する。撮影条件１４は画像データ１２に組み込まれてもよいし、制御部８０が撮影条件１４を画像処理部７０に供給してもよい。また、画像処理部７０による画像処理方法は制御部８０を構成するマイクロコンピュータ（プロセッサ）の制御によって実行される。制御部８０は、記憶部２４として機能する記憶部８２に接続されている。

図６では、記憶部８２は、倍率色収差の画角非対称特性と像面湾曲の画角非対称特性の関係を図２に示す関数ではなくルックアップテーブルとして格納している。また、記憶部８２は、それぞれが撮影条件１４ごとに最適な、複数のフィルタ群を格納している。あるいは、記憶部８２は、それぞれが撮影条件１４ごとに最適な、複数のＯＴＦを格納している。また、画像処理を実行させる画像処理プログラムを格納している。

更に、図６では、画像回復フィルタの代わりにエッジ強調フィルタを使用している。画像処理部７０は、デモザイキング処理部２１に対応するデモザイキング処理部７１、色ずれ検出部２２に対応する色ずれ検出部７２、非対称特性取得部２３に対応する非対称特性取得部７３を有する。また、画像処理部７０は、フィルタ作成部２６に対応するフィルタ作成部７４、フィルタリング処理部２７に対応するフィルタリング処理部７５、カメラ信号処理部２８に対応するカメラ信号処理部７６を経た画像を保存する画像保存領域７７を更に有する。

本実施例では、画像処理の負荷を低減するため、エッジ強調フィルタを用いてフィルタリング処理を行っている。通常、エッジ強調処理はノイズ増幅を伴うため、画像のエッジ部分を抽出してフィルタリング処理を実行したり、平滑化フィルタを併用して処理が行われる。本発明では非対称特性に応じて画角非対称なエッジ強調フィルタを作成し、フィルタリング処理を実行している。画像処理部７０の各部の動作は画像処理装置２０と同様であるので詳細な説明を省略する。

本実施例において、記憶部２４に記憶される関係について、より詳しく説明する。本実施例の図２に示した関係は、特定の種別の交換レンズ（例えばレンズＡ）を１００本用いて計算したものである。実際には、収差の発生量が互いに異なる複数の種別の交換レンズがあるので、他の交換レンズ（例えばレンズＢ）に対しても、同様に、１００本の交換レンズを用いて計算した関係を、記憶部２４に記憶させれば良い。そして、画像処理部７０は、レンズＩＤに対応する関係を取得し、該関係に基づく画像処理を実行すればよい。これにより、様々な交換レンズに対応して、適切な像面湾曲の補正を行うことができる。上述したレンズＩＤは、レンズＡ、レンズＢを識別するための識別子である。

また、記憶部２４に記憶させる関係は、上記方法で取得されたものに限られない。例えば、類似した収差が発生する交換レンズ（例えばレンズＡ、レンズＣ）を適当な本数（例えば、１００本）を用いて計算した関係から求められる近似曲線の係数を、記憶部２４に記憶させてもよい。即ち、レンズ識別子（レンズＡ、レンズＣを特定するための情報）が異なっていても、類似の収差が発生するレンズを介して撮像された画像であれば、上記係数を記憶部２４から取得するように構成する。そして、その係数によって再構成された関係を用いて画像処理を実行すればよい。これにより、記憶部２４の容量の増加を抑えることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

画像処理装置は撮像画像を処理する用途に適用することができる。

２０ 画像処理装置
７０ 画像処理部
２２、７２ 色ずれ検出部
２３、７３ 非対称特性取得部
２７、７５ フィルタリング処理部

Claims (12)

1. 撮影部によって撮影された画像に対して画像処理を行う画像処理装置であって、
   画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を記憶する記憶部と、
   前記画像の原点に関して対称な位置における色ずれ量を検出する検出部と、
   前記記憶部に記憶された前記関係から、前記検出部が検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得部と、
   前記取得部が取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理部と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理は、画像回復処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記色ずれ量は倍率色収差によるずれ量であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出部は、緑の色成分を基準色成分として、該基準色成分と他の色成分とのずれ量を前記色ずれ量として検出することを特徴とする請求項１乃至３いずれか１項に記載の画像処理装置。
5. 前記関係は関数であることを特徴とする請求項１乃至４いずれか１項に記載の画像処理装置。
6. 前記関数の係数は前記撮影部の光学系の識別子によって決定されていることを特徴とする請求項５に記載の画像処理装置。
7. 前記関係はテーブルであることを特徴とする請求項１乃至４いずれか１項に記載の画像処理装置。
8. 前記記憶部に記憶された関係は、撮影条件に対応することを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
9. 請求項１乃至８いずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
10. 撮影部によって撮影された画像に対して画像処理を行う画像処理方法であって、
    画像の原点に関して対称な位置における色ずれ量を検出する検出ステップと、
    画像の原点に対して対称な位置における色ずれ量と前記画像の原点に対して対称な位置における像面湾曲に関するぼけ量、との関係を保持する記憶部から、前記検出ステップが検出した前記色ずれ量に対応する前記像面湾曲に関するぼけ量を取得する取得ステップと、
    前記取得ステップが取得した前記像面湾曲に関するぼけ量を補正するように前記原点に対して非対称に画像処理を行う処理ステップと、
    を有することを特徴とする画像処理方法。
11. 前記画像処理は、画像回復処理であることを特徴とする請求項１０に記載の画像処理方法。
12. 請求項１０または１１に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。