JP6671963B2

JP6671963B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体

Info

Publication number: JP6671963B2
Application number: JP2016000823A
Authority: JP
Inventors: 昂市原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-06
Filing date: 2016-01-06
Publication date: 2020-03-25
Anticipated expiration: 2036-01-06
Also published as: JP2017123530A

Description

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。

撮像装置によって生成された画像は、撮像光学系で発生する収差や回折等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）という。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成され、画質が劣化する。この画質の劣化を補正する方法として、撮像系の光学伝達関数（ＯＴＦ）を用いて補正する技術が知られている。

近年、撮像光学系の射出瞳のうちそれぞれ異なる領域を通過した複数の光束を、撮像素子の互いに異なる画素に分離して撮像することで複数の視差画像を生成し、それらの位相差を用いてオートフォーカス（ＡＦ）を行う技術が提案されている。一般に、光束が通過する射出瞳上の領域によって、発生する収差が異なる。そのため、複数の視差画像は、被写体像にそれぞれ異なるＰＳＦが畳み込まれて形成され、それぞれの画像が視差成分由来以外の相違を持っている。例えば、特許文献１では、複数の視差画像ごとに、シャープネス処理を行い、複数の視差画像の画質の差を低減する方法が開示されている。

特許第５１９２０９６号公報

ＷｉｌｌｉａｍＨａｄｌｅｙＲｉｃｈａｒｄｓｏｎ，Ｂａｙｅｓｉａｎ−ＢａｓｅｄＩｔｅｒａｔｉｖｅＭｅｔｈｏｄｏｆＩｍａｇｅＲｅｓｔｏｒａｔｉｏｎ，ＵＳＡ，ＯＳＡ，ＪＡＮＵＡＲＹ１９７２，ＶＯＬＵＭＥ６２，ＮＵＭＢＥＲ１，ｐｐ．５５−５９

しかしながら、ＯＴＦを用いて補正する技術や特許文献１の方法は、画像中の画素値が飽和することで画素値情報が欠落する領域（画素値飽和領域）およびその周辺では、収差による画質の劣化が補正された補正画像を生成できないという課題がある。

このような課題に鑑みて、本発明は、画素値飽和領域およびその周辺においても収差による画質の劣化が補正された補正画像を生成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、複数の視差画像を取得する画像取得部と、前記複数の視差画像の平均画像に対し鮮鋭化処理を行うことで第１補正画像を生成する第１画像生成部と、前記複数の視差画像および前記第１補正画像に基づいて第２補正画像を生成する第２画像生成部と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、複数の視差画像を取得する画像取得ステップと、前記複数の視差画像の平均画像に対し鮮鋭化処理を行うことで第１補正画像を生成する第１画像生成ステップと、前記複数の視差画像および前記第１補正画像に基づいて第２補正画像を生成する第２画像生成ステップと、を有することを特徴とする。

本発明によれば、画素値飽和領域およびその周辺においても収差による画質の劣化が補正された補正画像を生成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することができる。

実施例１の画像処理を示すフローチャートである。撮像素子の受光部と撮像光学系の射出瞳との関係図である。瞳分割を行う撮像系の模式図である。図３の撮像系を物点から見た図である。他の瞳分割を行う撮像系の模式図である。瞳分割収差補正の基本原理の説明図である。例示する撮像光学系で発生する収差量を示す収差図である。図６の画像の１次元分布図である。画素値飽和領域およびその周辺における瞳分割収差補正の効果の説明図である。瞳分割収差補正の補正効果の説明図である。実施例１と実施例２の撮像装置のブロック図である。画素値が飽和する場合の複数の画像の一次元分布図である。実施例２の画像処理を示すフローチャートである。第２補正画像の生成方法の説明図である。実施例３の画像処理装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、一度の撮影で複数の視差画像を撮影可能な撮像装置の一例として、本発明の各実施例で用いる撮像装置について説明する。各実施例の撮像装置は、撮像光学系の射出瞳のうちそれぞれ異なる領域を通過した複数の光束を、撮像素子の互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図２は、撮像素子の受光部と撮像光学系の射出瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素を備える画素対が複数配列されている。カラーフィルタＣＦは、撮像素子の前方に配置されている。Ｇ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズ（光学素子）ＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。具体的には、Ｇ１画素は射出瞳ＥＸＰ上のＰ１領域と共役な関係を有し、Ｇ２画素はＰ２領域と共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。

図３は、射出瞳ＥＸＰの位置に厚さが無い仮想的なレンズが配置されている場合の撮像系の模式図である。撮像している物点ＯＳＰからの光束は、透過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を透過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を透過した光束を受光する。射出瞳ＥＸＰ上の互いに異なる領域を光束が透過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素群からの出力信号を用いて生成される画像とＧ２画素群からの出力信号を用いて生成される画像とが、互いに視差を有する複数（図３では１対）の視差画像となる。以下の説明において、射出瞳ＥＸＰ内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。

図４は、図３に示される撮像系を物点ＯＳＰから見た図である。図４（ａ）は、Ｇ１画素とＧ２画素を備える画素対とマイクロレンズＭＬを示す図である。図４（ａ）では、簡単のためカラーフィルタＣＦを省略している。図４（ｂ）は、図４（ａ）のＧ１画素およびＧ２画素にそれぞれ対応する射出瞳ＥＸＰ上のＰ１領域およびＰ２領域を示す図である。図４（ａ），（ｂ）に示される撮像系では、１対の視差画像が得られる。なお、撮像素子には、Ｇ１画素およびＧ２画素を備える画素対の代わりに、図４（ｃ）に示される画素対が複数配列されていてもよい。図４（ｃ）では、簡単のためカラーフィルタＣＦを省略している。Ｇ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素はそれぞれ、共通のマイクロレンズＭＬを介して図４（ｄ）に示される射出瞳ＥＸＰ上のＰ１領域、Ｐ２領域、Ｐ３領域およびＰ４領域と共役な関係を有する。図４（ｃ），（ｄ）に示される撮像系では、それぞれの画素群からの出力信号を用いて生成される複数の画像が互いに視差を有する４つの視差画像となる。なお、各実施例の撮像系では、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくてもよい。また、図４（ｂ）のＰ１領域およびＰ２領域、または図４（ｄ）のＰ１領域、Ｐ２領域、Ｐ３領域およびＰ４領域のそれぞれが部分的にオーバーラップしてもよいし、それぞれの領域の間に間隔があってもよい。また、画素対は、２つまたは４つの画素ではなく、より多くの画素から構成されてもよい。言い換えれば、１つのマイクロレンズＭＬを介して更に多くの画素が射出瞳ＥＸＰと共役な関係を有する撮像素子でもよい。

以上、各実施例の撮像装置の撮像系について説明したが、各実施例の撮像系は瞳分割を行えればよく、上述した撮像系に限定されない。図５は、他の瞳分割を行う撮像系の模式図である。図５の撮像系では、射出瞳ＥＸＰのＰ１領域およびＰ２領域を通過した１対の光束は、三角形ミラーＴＭＲによってそれぞれ異なる撮像素子ＳＥＮ１および撮像素子ＳＥＮ２に導かれる。そのため、撮像素子ＳＥＮ１および撮像素子ＳＥＮ２の出力信号をそれぞれ別々に読み出すことで１対の視差画像を生成することができる。

次に、撮像装置により生成される複数の視差画像を用いて、視差画像間の相違に基づき収差の影響による画質の劣化を補正する画像補正処理（以下、瞳分割収差補正という）の基本原理について説明する。一般に、撮像光学系では、光束の通過する射出瞳上の領域によって発生する収差が異なる。瞳分割収差補正は、この相違に基づく補正を行うことで、撮像光学系で発生する収差の影響による画質の劣化が補正された補正画像を生成することができる。ここでは、図３の撮像系で得られる１対の視差画像を用いて説明する。

図６は、瞳分割収差補正の基本原理の説明図である。図７は、撮像光学系で発生する収差量を示す横収差図である。図７の横軸は図３のＺ座標を表し、縦軸は横収差量のＺ成分を表す。図６（ａ）は、画質が劣化する要素の無い理想的な撮像装置を用いて被写体を撮像した画像を示す図である。以下の説明では、この画像を理想画像という。通常、図３の撮像系を用いて瞳分割を行わずに被写体を撮像した場合は、図６（ｂ）に示される画像が得られ、図７（ａ）に示される収差が発生する。図７（ｂ）と図７（ｃ）の破線で囲まれる領域は、図４（ｂ）の射出瞳ＥＸＰ上のＰ１領域とＰ２領域に相当する。Ｐ１領域およびＰ２領域で発生する収差の相違によって、１対の視差画像には相違が生じる。なお、本発明の撮像光学系は、図７の横収差図で表される収差を発生する撮像光学系に限定されず、領域Ｐ１および領域Ｐ２で発生する収差量が異なる撮像光学系であればよい。図６（ｃ）および図６（ｄ）は、瞳分割を行って撮像することで得られる、１対の視差画像である。撮影された被写体は、図６（ｃ）では黒色で示され、図６（ｄ）では白色で示されている。図６（ｅ）は、１対の視差画像間の収差の差分（相違）、すなわち撮像光学系で発生した収差成分を表している。この相違に基づき補正を行うことで、図６（ｆ）に示される収差による画質の劣化が補正された補正画像を生成することができる。

以下に、具体的な補正の手順を説明する。１対の視差画像をＩＭＧ１およびＩＭＧ２とし、１対の補正ウェイトをＷ１およびＷ２とすると、まず、画素ごとに視差画像ＩＭＧ１から視差画像ＩＭＧ２を減算することで１対の視差画像の差分を算出する。次に、算出される差分が正の値を持つ場合はＷ１＝０、Ｗ２＝１とし、負の値を持つ場合はＷ１＝１、Ｗ２＝０とする。算出される差分がゼロの場合は、Ｗ１およびＷ２はＷ１＋Ｗ２＝１を満たす任意の正の値とする。そして、以下の式（１）にしたがい、画素ごとに補正ウェイトＷ１を掛け合わせたＩＭＧ１とＷ２を掛け合わせたＩＭＧ２を足し合わせることで、補正画像ＲＥＳＴを生成する。

ここで、ｘとｙはそれぞれ、画像上の座標を表す。以上の処理は、画素ごとに１対の視差画像のうち最小の画素値を補正画像の画素値として採用することに相当する。

図８は、図６の各画像の図８（ａ）の理想画像の破線矢印に相当する部分上の１次元分布図である。また、図８（ｂ）〜図８（ｄ）の実線は、理想画像の分布を表す。図８（ｂ）の破線は図６（ｃ）の画像の分布を示し、点線は図６（ｄ）の画像の分布を表す。図８（ｃ）の破線は、補正画像ＲＥＳＴの分布を表す。ここでは例として１対の視差画像の差分に基づく補正ウェイトを用いて補正画像を生成したが、複数の視差画像の相違に基づいて収差補正を行えばよく、差分を用いた手法に限定されない。

瞳分割収差補正は、画素値飽和領域およびその周辺においても良好な補正効果が得られるという特徴がある。撮像素子が出力する画像において、各画素の画素値には上限があり、それ以上の画素値は記録されずに失われる。図９は、撮像素子に入射する光の光量が大きい状況で撮像を行い、画素値が飽和する場合の複数の画像の１次元分布図である。図９の実線は、画素値が飽和しないように光量が抑えられた状況で撮像された理想画像野分布を示す。図９（ａ）の破線は、各画素の画素値に上限がないと仮定して瞳分割を行わずに撮像した場合の撮像画像の分布を示す。実際は各画素の画素値には上限があるため、図９（ｂ）の破線のように上限を超えた画素値は失われる。このように、画素値情報が欠落している領域では収差特性が崩れるため、光学情報を用いる鮮鋭化処理では収差の影響による画質の劣化を良好に補正することが困難である。図９（ｃ）に示される破線と点線は、各画素の画素値に上限がないと仮定して瞳分割を行って撮像した場合の１対の視差画像の分布を示す。実際は各画素の画素値には上限があるため、図９（ｄ）の点線と破線のように上限を超えた画素値は失われる。しかしながら、画素値飽和領域では画素値情報が欠落しているが、図９（ｄ）に示されるように１対の視差画像間には相違が存在する。そのため、瞳分割収差補正を実行することで、画素値情報が欠落している領域でも図９（ｅ）の破線のように収差の影響による画質の劣化を良好に補正した画像を生成することができる。

瞳分割収差補正は複数の視差画像間の相違に基づいているため、撮像する被写体の構造によっては複数の視差画像間の相違量が小さくなることがあり、そのような場合には瞳分割収差補正の補正効果は低減する。以下、図１０を参照して、瞳分割収差補正の補正効果の低減について説明する。図１０は、図７の横収差図に表される収差が発生する撮像光学系で、被写体を撮像した場合の瞳分割収差補正の補正効果の説明図である。図１０（ａ）は、画質が劣化する要素の無い理想的な撮像装置を用いて被写体を撮像した画像を示す。図１０（ｂ）は、瞳分割を行わずに撮像した画像を示す。図１０（ｃ）と図１０（ｄ）はそれぞれ、瞳分割を行って撮像した視差画像を示す。図１０（ｃ）と図１０（ｄ）の視差画像は、対になっている。図１０（ｅ）は、視差画像間の差分を示す。図１０（ｆ）は、１対の視差画像を用いて瞳分割収差補正を行うことで生成される補正画像を示す。図１０（ｆ）の斜線で示される領域は、隣接する被写体から広がる収差が重なる領域である。このような領域では、視差画像間の画素値の相違量が小さいため、補正効果が低減し、図１０（ｆ）に示される補正画像上に残存する収差成分である補正残しが発生する。すなわち、通過した瞳上の領域によって発生する収差が異なるものの、視差画像間の画素値の相違量が小さい領域が存在する場合、それらの領域では瞳分割収差補正の補正効果が低減する。

本実施例では、１対の視差画像および鮮鋭化処理により生成される第１補正画像を用いて瞳分割収差補正を行う撮像装置について説明する。

まず、本実施例の撮像装置の構成について、図１１を参照して説明する。図１１は、撮像装置のブロック図である。撮像光学系１００は、被写体からの光をＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される撮像素子１０２上に結像させる。本実施例の撮像素子１０２は、図４（ａ）に示されるように、１つのマイクロレンズに対応してＧ１画素とＧ２画素から構成される画素対を備え、射出瞳上の互いに異なる領域を通過した光束を、各領域に対応する画素にて受光することで瞳分割を行う。

撮像素子１０２での光電変換により生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部（画像処理装置）１０４に入力される。画像処理部１０４は、画像取得部１０４ａ、第１画像生成部１０４ｂ、第２画像生成部１０４ｃ、周辺光量補正部１０４ｄを備え、記憶部１０８から撮像光学系１００および撮像素子１０２により構成される撮像系に応じた補正フィルターを読み出す。第１画像生成部１０４ｂは、画像取得部１０４ａにより生成される１対の視差画像の平均画像に対し読み出された補正フィルターを適用し、第１補正画像を生成する。第２画像生成部１０４ｃは、１対の視差画像および生成された第１補正画像から第２補正画像を生成する。第２画像生成部１０４ｃが生成する第２補正画像は、半導体メモリや光ディスク等の画像記憶媒体１０９に記録される。また、第２補正画像は、画像表示部１０５に表示されてもよい。

撮像素子１０２の駆動、画像処理部１０４での処理および撮像光学系１００の動作の制御は、システムコントローラ１０７によって行われる。システムコントローラ１０７は、撮像光学系制御部１０６に、撮像光学系１００の絞り１０１ａおよびフォーカスレンズ１０１ｂの機械的な駆動を行うように制御指示する。絞り１０１ａの開口径は、設定された絞り値（Ｆナンバー）に応じて制御される。フォーカスレンズ１０１ｂの位置は、被写体距離に応じてピント調整を行うためにＡＦシステムやマニュアルフォーカス機構によって制御される。なお、撮像光学系１００は、図１１では撮像装置の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。

次に、第１補正画像を生成するために用いる鮮鋭化処理について説明する。鮮鋭化処理は、補正フィルターを入力画像に対し畳み込み積分することで補正画像を生成する。補正フィルターは、例えば、後述する画像回復フィルターである。

被写体を撮像したとき、取得される撮影画像には被写体像にＰＳＦが畳み込まれて形成され、画質が劣化する。撮影画像をｇ（ｘ、ｙ）、被写体像をｆ（ｘ、ｙ）、撮像系のＰＳＦをｈ（ｘ、ｙ）とすると、撮像過程として以下の式（２）が成立する。ここで、＊は畳み込み積分を示し、（ｘ、ｙ）は画像上の座標を示す。

撮影画像のフーリエ変換をＧ（ｕ、ｖ）、被写体像のフーリエ変換をＦ（ｕ、ｖ）、撮像系のＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ）をＨ（ｕ、ｖ）とすると、式（２）は２次元周波数空間上では以下の式（３）で表される。ここで、（ｕ、ｖ）は２次元周波数空間上での座標、すなわち周波数を示す。

劣化した撮影画像から被写体像を得るためには、以下の式（４）のように式（３）の両辺をＨ（ｕ、ｖ）で除算すればよい。

式（４）でＦ（ｕ、ｖ）を逆フーリエ変換すると、被写体像ｆ（ｘ、ｙ）に相当する補正画像を取得することができる。ここで、Ｈ（ｕ、ｖ）の逆数Ｒ（ｕ、ｖ）を逆フーリエ変換したものを画像回復フィルターｒ（ｘ、ｙ）とすると、以下の式（５）のように実面での画像に対する畳み込み積分処理を行うことで、同様に補正画像を取得することができる。

以上説明したように、撮像系のＯＴＦに基づき生成される画像回復フィルターを撮影画像に畳み込み積分することで、鮮鋭化された画像を得ることができる。

また、補正フィルターは、以下の式（６）に示される一般的なアンシャープマスクフィルタであってもよい。

ここで、αは補正ゲインであり、初期値をα＝１．０と設定する。また、δはデルタ関数であり、φは例えばガウシアンフィルタ等のぼかしフィルターである。一般的に周辺画角におけるＰＳＦは、異方的である（ＰＳＦ中心からのアジムス角によって特性が異なる）。そのため、ガウシアンフィルタ等の等方的なぼかしフィルターを用いたアンシャープマスクフィルタを用いるよりも、ＰＳＦのアジムス角特性に合わせたぼかしフィルターを用いたほうが補正効果は向上する。そこで、ぼかしフィルターとして、被写体に畳み込まれるＰＳＦとアジムス角特性が同一となる撮像系のＰＳＦ自体を用いてもよい。

以上補正フィルターについて複数の例を挙げたが、本発明はこれらに限定されず、撮像系で発生する収差による画質の劣化を補正するフィルターであれよい。また、鮮鋭化処理として、非特許文献１に示すＲｉｃｈａｒｄｓｏｎ‐ｌｕｃｙ法といった超解像処理を用いてもよい。

本実施例では、画像処理部１０４は、１対の視差画像と、鮮鋭化処理が施された第１補正画像と、を用いて画像処理を行う。本実施例の画像処理の補正効果について、図１２を参照して説明する。図１２は、撮像素子に入射する光の光量が大きい状況で撮像を行い、画素値が飽和する場合の複数の画像の１次元分布図である。図１２中の実線は、理想画像を示す。図１２に示されるように、被写体が近接する領域では、瞳分割収差補正による補正残しが発生しやすい。図１２（ａ）の破線は一対の視差画像の一方の分布を示し、点線は他方の分布を示している。一対の視差画像を用いて瞳分割収差補正を行うことで、図１２（ｂ）の破線と点線で示される補正画像を取得することができる。ここで、領域の区別のために破線と点線を用いているが、これらは合わせて１つの補正画像である。このように瞳分割収差補正であれば画素値飽和領域であっても良好な補正効果を得ることができるものの、図１２（ｂ）の点線で示される補正残しが発生し、結果として補正画像の品位を損ねる。

図１２（ｃ）の破線は１対の視差画像の平均画像の分布を示し、図１２（ｄ）の破線は１対の視差画像の平均画像に対し画像回復フィルターを用いて鮮鋭化処理が施された第１補正画像を示す。鮮鋭化処理は、画素値飽和領域およびその周辺においては良好な補正効果を得るのは難しいものの、広がった収差の裾となる瞳分割収差補正で補正残しが発生する領域では一定の補正効果を得ることができる。言い換えれば、鮮鋭化処理は、第１補正画像では瞳分割収差補正で補正できない収差成分を補正することができる。そのため、１対の視差画像に加えて第１補正画像を用いて瞳分割収差補正を行うことで、図１２（ｆ）の破線で示されるように、補正残しが低減され、画素値飽和領域およびその周辺においても良好な補正効果を得ることができる。これは、補正残りが発生していた領域では、１対の視差画像および第１補正画像のうち、第１補正画像に重みを置いて補正画像として採用していることに相当する。

以上本実施例の画像処理の補正効果を、画素値飽和領域を例にして説明したが、画素値が飽和していない領域でも第１補正画像を含めて瞳分割収差補正を行うことで同様に補正残しを低減することができる。

次に、本実施例の画像処理方法について、図１を参照して説明する。図１は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムにしたがい、システムコントローラ１０７の指示のもと実行する。また、本実施例の画像処理は、画像処理部１０４に備えられる補正処理回路（不図示）によって実行されてもよい。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、システムコントローラ１０７は、撮像光学系１００および撮像素子１０２により構成される撮像系を制御して被写体の撮像を行う。画像処理部１０４は、撮像素子１０２から出力され、Ａ／Ｄコンバータ１０３によりＡ／Ｄ変換されたデジタル信号を用いて入力画像を生成する。

ステップＳ１０２では、画像取得部１０４ａは、入力画像を再構成することで１対の視差画像および１対の視差画像の平均画像を生成する。

ステップＳ１０３では、周辺光量補正部１０４ｄは、１対の視差画像間の周辺光量低下量の相違を補正する。１対の視差画像においては周辺光量低下量がそれぞれ異なっており、周辺光量低下量の相違を打ち消す補正（周辺光量補正）を行うことで、瞳分割収差補正の補正効果を向上させることができる。具体的には、周辺光量補正部１０４ｄは、あらかじめ記憶部１０８に記憶されている各画素群に対応する撮像系に応じた周辺光量低下量の情報を読み出す。その後、周辺光量補正部１０４ｄは、読み出した周辺光量低下量の情報を用いて、１対の視差画像間で周辺光量低下量が同一となるように画素値補正を行う。このとき、画素値補正後の周辺光量低下量は、１対の視差画像それぞれの周辺光量低下量の平均値となる。

ステップＳ１０４では、第１画像生成部１０４ｂは、１対の視差画像の平均画像に対し鮮鋭化処理を行い、第１補正画像を生成する。本実施例では、まず、第１画像生成部１０４ｂは、撮像系に応じた画像回復フィルターを記憶部１０８から読み出す。画像回復フィルターは、撮影条件に応じて変化する。その後、第１画像生成部１０４ｂは、画像回復フィルターを１対の視差画像の平均画像に畳み込み積分することで、第１補正画像を生成する。画像回復フィルターは、本実施例では記憶部１０８から読み出されるが、事前に測定した撮像系のＯＴＦから生成されてもよいし、撮像系の設計値から算出されるＯＴＦから生成されてもよい。また、記憶部１０８は事前に測定した、または設計値から算出したＯＴＦを保存し、第１画像生成部１０４ｂは記憶部１０８から読み出したＯＴＦを用いて画像回復フィルターを生成してもよい。ここで、画像回復フィルターを生成するために用いるＯＴＦは瞳分割を考慮しておらず、ＯＴＦの逆フーリエ変換は瞳分割せずに撮像した画像に形成されるＰＳＦである。

ステップＳ１０５では、第２画像生成部１０４ｃは、１対の視差画像およびステップＳ１０３で生成される第１補正画像を用いて瞳分割収差補正処理を行い、第２補正画像を生成する。具体的には、画像処理部１０４は、以下の式（７）から補正ウェイトＷ１，Ｗ２およびＷ３を算出する。ここで、ＩＭＧ１およびＩＭＧ２は１対の視差画像を表し、ＩＭＧ３は第１補正画像を表す。また、補正ウェイトＷ１、Ｗ２およびＷ３はそれぞれ、ＩＭＧ１，ＩＭＧ２およびＩＭＧ３に対応する補正ウェイトである。

α，βはそれぞれの画像を示す添え字であり、１、２または３である。また、式（７）のｘおよびｙは、画像上の座標を表す。補正ウェイトＷαは、対応する画像の画素数と同じ要素数を持つ２次元行列である。

次に、第２画像生成部１０４ｃは、式（７）に従い算出した補正ウェイトを１対の視差画像ＩＭＧ１，ＩＭＧ２および第１補正画像ＩＭＧ３に適用することで、以下の式（８）にしたがい、第２補正画像ＲＥＳＴを生成する。

以上の処理は、１対の視差画像ＩＭＧ１，ＩＭＧ２および第１補正画像ＩＭＧ３のうち、画素ごとにより小さい画素値を持つ画像に大きなウェイトを掛け合わせ補正画像ＲＥＳＴの画素値としていることに相当する。

このように相違を持った１対の視差画像ＩＭＧ１およびＩＭＧ２に加えて鮮鋭化された第１補正画像ＩＭＧ３を用いて画像処理を行うことで、補正残しが低減される第２補正画像を生成することができる。

ステップＳ１０６では、システムコントローラ１０７は、ステップＳ１０５で生成される第２補正画像を画像記憶媒体１０９に記憶させる。加えて、システムコントローラ１０７は、入力画像、補正前の１対の視差画像、１対の視差画像の平均画像および第１補正画像のうち少なくともいずれか１つの画像を画像記憶媒体１０９に記憶させてもよい。また、それら複数の画像のうち１つもしくは複数を画像表示部１０５に表示させてもよい。

ステップＳ１０２〜ステップＳ１０５では、入力画像を再構成し、Ｇ１画素群およびＧ２画素群それぞれの出力信号から成る１対の視差画像を生成してから補正を行ったが、各画素の対応関係に基づいて、入力画像を再構成することなく補正を行ってもよい。また、ステップＳ１０３とステップＳ１０４は順不同であり、どちらのステップを先に行ってもよく、並行して行ってもよい。

本実施例では、第１補正画像を生成するために、画像回復フィルターを用いる鮮鋭化処理を行ったが、本発明はこれに限定されない。１対の視差画像の収差成分を低減させることにより補正残しを低減させ、瞳分割収差補正の補正効果を向上させる鮮鋭化処理であればよい。例えば、アンシャープマスクフィルタを用いた鮮鋭化処理を行ってもよい。

以上説明したように、本実施例によれば、画素値飽和領域およびその周辺においても収差による画質の劣化を補正可能な撮像装置を提供することができる。

本実施例の撮像装置の基本構成は実施例１と同様であるため、詳細な説明は省略する。本実施例の撮像素子１０２は図４（ｃ）に示されるように１つのマイクロレンズに対応してＧ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素から構成される画素対を備え、撮像装置は４つの視差画像を生成する。

実施例１の画像処理では、瞳分割を考慮しないＯＴＦから生成した画像回復フィルターを用いて第１補正画像を生成し、それを用いて第２補正画像を生成した。一方、本実施例の画像処理では、瞳分割を考慮したＯＴＦから生成されるＰＳＦを用いる複数のアンシャープマスクフィルタを用いて第１補正画像を生成し、それを用いて第２補正画像を生成する。

本実施例の画像処理の補正効果について、図１２を参照して説明する。図１２（ａ）の破線および点線は、４つの視差画像のうち、被写体から広がった収差の裾同士が重なっているために、瞳分割収差補正によって補正残しが発生する２つの視差画像の分布を示している。図１２（ｅ）の破線および点線は、図１２（ａ）に示される２つの視差画像に対し、アンシャープマスクフィルタを用いてそれぞれ鮮鋭化した第１補正画像の分布を示している。図１２（ｅ）に示されるように、鮮鋭化処理では画素値飽和領域およびその周辺においては良好な補正効果を得るのは難しいものの、広がった収差の裾となる、瞳分割収差補正で補正残しが発生する領域においても一定の補正効果が得られる。そのため、これら２つの第１補正画像を用いて瞳分割収差補正を行うことで、図１２（ｆ）の破線で示されるように、補正残しが低減され、画素値飽和領域およびその周辺においても良好な補正効果を得ることができる。

次に、本実施例の画像処理方法について、図１３を参照して説明する。図１３は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムにしたがい、システムコントローラ１０７の指示のもと実行する。また、本実施例の画像処理は、画像処理部１０４に備えられる補正処理回路（不図示）によって実行されてもよい。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ２０１は、図１のステップＳ１０１と同様であるため、詳細な説明は省略する。

ステップＳ２０２では、画像取得部１０４ａは、入力画像を再構成することで複数の視差画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３およびＩＭＧ４を生成する。

ステップＳ２０３では、第１画像生成部１０４ｂは、撮像系に応じたアンシャープマスクフィルタｒ１、ｒ２、ｒ３およびｒ４を記憶部１０８から読み出す。各アンシャープマスクフィルタは、撮影条件に応じて変化する。また、アンシャープマスクフィルタｒ１、ｒ２、ｒ３およびｒ４は、視差画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３およびＩＭＧ４に対応している。本実施例では、各アンシャープマスクフィルタは、記憶部１０８から読みだされるが、第１画像生成部１０４ｂは、記憶部１０８が記憶する各画素群に対応する複数のＰＳＦを用いて複数のアンシャープマスクフィルタを生成してもよい。また、第１画像生成部１０４ｂは、記憶部１０８が記憶する各画素群に対応する複数のＯＴＦを逆フーリエ変換することで複数のＰＳＦを生成し、それを用いて複数のアンシャープマスクフィルタを生成してもよい。次に、第１画像生成部１０４ｂは、アンシャープマスクフィルタｒ１、ｒ２、ｒ３およびｒ４をそれぞれ対応する視差画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３およびＩＭＧ４に適用することで第１補正画像ＩＭＧ１ｒ、ＩＭＧ２ｒ、ＩＭＧ３ｒおよびＩＭＧ４ｒを生成する。このように、複数の視差画像にそれぞれ鮮鋭化処理を行うことで、画像上の収差の広がりが低減されるために、第１補正画像間では、隣接した被写体から広がる収差が重なる可能性が下がる。そのため、第１補正画像を用いて瞳分割収差補正を行ったときには補正残しの発生を抑えることができる。

ステップＳ２０４では、第２画像生成部１０４ｃは、ステップＳ２０３で生成する複数の第１補正画像を用いて瞳分割収差補正処理を行い、少なくとも１つ以上の第２補正画像を生成する。図１４は、第１補正画像および第２補正画像の生成方法の説明図である。図１４（ａ）に示されるように、４つの第１補正画像から１つの第２補正画像ＲＥＳＴ１を生成してもよい。また、図１４（ｂ）に示されるように、４つの第１補正画像のうち２つずつを用いて瞳分割収差補正処理を行い、２つの互いに視差を持つ第２補正画像ＲＥＳＴ１，ＲＥＳＴ２を生成してもよい。また、図１４（ｃ）に示されるように、２つの第１補正画像および２つの視差画像を用いて瞳分割収差補正処理を行い、１つの第２補正画像ＲＥＳＴ１を生成してもよい。さらに、図１４（ｄ）に示されるように、２つの第２補正画像ＩＭＧ１ｒ，ＩＭＧ２ｒおよび視差画像ＩＭＧ３ｒを用いて瞳分割収差補正処理を行い、２つの第２補正画像ＲＥＳＴ１，ＲＥＳＴ２を生成してもよい。言い換えれば、複数の第２補正画像を生成する際に、瞳分割収差補正処理に使用する画像に重複があってもよいし、第２の補正画像を生成する際に使用しない視差画像または第１の補正画像があってもよい。なお、例として４通りの第２補正画像の生成方法を説明したが、それぞれを組み合わせた方法で第２補正画像を生成してもよい。

ステップＳ２０５では、システムコントローラ１０７は、生成される少なくとも１つ以上の第２補正画像を画像記憶媒体１０９に記憶させる。また、システムコントローラ１０７は入力画像、補正前の複数の視差画像、複数の視差画像の平均画像および複数の第１補正画像のうち少なくともいずれか１つを画像記憶媒体１０９に記憶させてもよい。また、それら複数の画像の少なくとも１つ以上の画像を画像表示部１０５に表示させてもよい。

本実施例では、第１補正画像を生成するために、例としてアンシャープマスクフィルタを用いる鮮鋭化処理を行ったが、本発明はこれに限定されない。

図１５は、本実施例の画像処理装置（画像処理システム）２０３のブロック図である。画像処理装置２０３は、画像処理ソフトウェア２０４（画像処理プログラム）と記憶部２０５を備え、瞳分割を行う撮像装置２０１および記憶媒体２０２の少なくともいずれか１つと接続されている。記憶媒体２０２は、例えば、半導体メモリ、ハードディスク、またはネットワーク上のサーバーである。画像処理装置２０３は、撮像装置２０１または記憶媒体２０２から入力画像を読み込み、画像処理ソフトウェア２０４にしたがい、実施例１，２で説明したいずれかの画像処理を行い、補正画像を生成する。記憶部２０５は、図１１の記憶部１０８に相当する。実施例１，２では、記憶部１０８は周辺光量低下量や補正フィルターについての情報を有していたが、本実施例ではこれらの情報を入力画像のヘッダ情報等に付与して用いてもよい。

画像処理装置２０３は、出力機器２０６および表示機器２０７の少なくともいずれか１つに接続されていてもよい。出力機器２０６は例えばプリンタであり、表示機器２０７は例えば液晶ディスプレイやプロジェクタである。画像処理装置２０３は、入力画像、複数の視差画像、少なくとも１つ以上の補正画像および処理中に生成される画像のうち少なくともいずれか１つを出力機器２０６、表示機器２０７または記憶媒体２０２のうち少なくともいずれか１つに出力する。

以上説明したように、画素値飽和領域およびその周辺においても収差による画質の劣化を補正可能な画像処理システムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。なお、各実施例の画素値は、画像のＲＧＢチャンネルのそれぞれの画素値でもよいし、輝度値であってもよい。

１０４画像処理部
１０４ａ画像取得部
１０４ｂ第１画像生成部
１０４ｃ第２画像生成部

Claims

複数の視差画像を取得する画像取得部と、
前記複数の視差画像の平均画像に対し鮮鋭化処理を行うことで第１補正画像を生成する第１画像生成部と、
前記複数の視差画像および前記第１補正画像に基づいて第２補正画像を生成する第２画像生成部と、を有することを特徴とする画像処理装置。
前記第２画像生成部は、前記複数の視差画像および前記第１補正画像の画素値に基づいて、各画像に対応する補正ウェイトを算出し、前記複数の視差画像および前記第１補正画像に前記補正ウェイトを適用することで前記第２補正画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記第２画像生成部は、画素ごとに、前記複数の視差画像および前記第１補正画像の画素値のうち最小の値を第２補正画像の画素値とすることを特徴とする請求項２に記載の画像処理装置。
前記複数の視差画像の周辺光量低下量の相違の補正を行う周辺光量補正部を更に有し、前記第２画像生成部は、前記周辺光量低下量の相違が補正された複数の視差画像および前記第１補正画像に基づいて前記第２補正画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記第１画像生成部は、前記複数の視差画像に対し、撮像系の光学情報に基づく鮮鋭化処理を行うことで前記複数の第１補正画像を生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記第１画像生成部は、前記複数の視差画像に対し、撮像系の光学伝達関数から生成される補正フィルタを適用することで前記複数の第１補正画像を生成することを特徴とする請求項５に記載の画像処理装置。
前記複数の視差画像は、撮像光学系の射出瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる画素に導いて光電変換を行わせる撮像装置により生成される画像であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記複数の視差画像は、撮像光学系の射出瞳のうちそれぞれ異なる領域からの光束を光電変換する複数の画素と、前記複数の画素ごとに設けられたマイクロレンズと、を備える撮像素子を有する撮像装置により生成される画像であることを特徴とする請求項７に記載の画像処理装置。
請求項１から８のいずれか１項に記載の画像処理装置と、
被写体の撮像により互いに視差を有する前記複数の視差画像を生成する撮像系と、を有することを特徴とする撮像装置。
複数の視差画像を取得する画像取得ステップと、
前記複数の視差画像の平均画像に対し鮮鋭化処理を行うことで第１補正画像を生成する第１画像生成ステップと、
前記複数の視差画像および前記第１補正画像に基づいて第２補正画像を生成する第２画像生成ステップと、を有することを特徴とする画像処理方法。
請求項１０に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
コンピュータによって読み取り可能であって請求項１１に記載のプログラムを記録した記録媒体。