JP5409829B2 - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

Description

本発明は、画像回復処理を行う画像処理装置に関する。

従来から、デジタルカメラ等の撮像装置で取得した複数の画像を合成して、ハイダイナミックレンジ画像や高画質、高解像な画像を生成する技術が提案されている。特許文献１および特許文献２には、短露光と長露光で得られた画像を合成してダイナミックレンジの広い画像を生成する撮影装置が開示されている。特許文献１では、画像を合成する際に各画像間の格差が小さくなるように処理することでダイナミックレンジを拡大しつつ、画質劣化を防止している。また特許文献２では、長露光により得られた画像に含まれる輝度飽和部を特定し、その輝度飽和部をゲイン調整した短露光による画像に置き換えることでダイナミックレンジを拡大している。

また特許文献３には、輝度飽和部を含む第１画像およびその画像よりも輝度飽和部を多く含む第２画像から、輝度飽和部の周辺に出現する色滲みの滲み量を推定し、色滲みを効果的に除去する方法が開示されている。

特開平０５−１５３４７３号公報 特開２０１０−１７８１６４号公報 特開２００９−２８４００９号公報

しかしながら、特許文献１および特許文献２の画像処理方法では、撮像光学系の収差に起因するボケの影響により、画質が劣化してしまう。また特許文献３の画像処理方法では、色収差以外の収差による画質劣化を補正することは困難である。

そこで、撮像光学系による画像劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ：Ｏｐｔｉｃ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づき生成された画像回復フィルタを用いる方法が知られている。このような方法によれば、撮像光学系により生じる非対称性収差を適切に補正し、画像の鮮鋭化を図ることが可能である。

しかしながら、撮像素子の撮像面上に撮像素子が取得可能な輝度の許容値を超える輝度（輝度情報）が与えられた場合、すなわち輝度飽和部を有する画像を取得した場合、非対称性収差の補正や鮮鋭化を適切に行うことができない。すなわち、撮像素子の許容値を超える輝度情報は欠落してしまうため、欠落した輝度情報に対して画像回復処理を行ったとしても、正しく画像回復を行うことができない。

そこで本発明は、輝度飽和部を有する画像の収差を効果的に低減させる画像処理装置、撮像装置、画像処理方法、および、プログラムを提供する。

本発明の一側面としての画像処理装置は、互いに露出の異なる第１画像および第２画像を取得する画像取得手段と、前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択する領域選択手段と、前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行う画像回復処理手段と、前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成する画像置き換え手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して得られた被写体像を光電変換する撮像素子と、前記撮像素子から、互いに露出の異なる第１画像および第２画像を取得する画像取得手段と、前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択する領域選択手段と、前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行う画像回復処理手段と、前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成する画像置き換え手段とを有する。

本発明の他の側面としての画像処理方法は、互いに露出の異なる第１画像および第２画像を取得するステップと、前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択するステップと、前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行うステップと、前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、互いに露出の異なる第１画像および第２画像を取得するステップと、前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択するステップと、前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行うステップと、前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成するステップとを情報処理装置に実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、輝度飽和部を有する画像の収差を効果的に低減させる画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。

実施例１における撮像装置の構成図である。 実施例１における画像処理方法を示すフローチャートである。 本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。 本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。 本実施例における画像処理方法の点像の補正状態の説明図である。 本実施例における光学伝達関数の振幅成分と位相成分の説明図である。 本実施例における撮像装置で得られる入力画像の説明図である。 実施例１において、画像回復処理を行う領域を説明する図である。 実施例１において、第２画像の適切な露出時間の決定方法を説明する図である。 実施例２における画像処理方法を示すフローチャートである。 実施例２において、画像回復処理を行う領域を説明する図である。 実施例２における撮像装置の構成図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［光学伝達関数（ＯＴＦ）］
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式（１）で表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） … （１）
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。このため、ＲＧＢ間における結像位置のずれに加えて、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。従って、正確には、倍率色収差は単なる平行シフトの色ずれではなく、例えばＧチャンネルなどの色チャンネルの像の広がりにも影響する。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（２）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （２）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（２）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（３）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （３）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（４）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （４）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （５）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（６−１）、（６−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （６−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （６−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（７）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（振幅成分ＭＴＦ）である。この方法では、周波数ごとに、振幅成分ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、振幅成分ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系の振幅成分ＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図３および図４を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図３の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図３では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図４に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図５および図６を参照して、画像回復の実空間と周波数空間での特性について説明する。図５は、点像分布関数ＰＳＦの説明図であり、図５（ａ）は画像回復前の点像分布関数ＰＳＦ、図５（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図６は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図６（ａ））と位相成分ＰＴＦ（図６（ｂ））の説明図である。図６（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図６（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図５（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（７）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００の構成図である。撮像装置１００には、撮影画像の画像回復処理（画像処理方法）を行うプログラムがインストールされており、この画像回復処理は撮像装置１００の内部の画像処理部１０４（画像処理装置）により実行される。

撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの二次元撮像素子である。撮像素子１０２は、撮像光学系１０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子１０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに所定の画像回復処理を行う。まず画像処理部１０４は、状態検知部１０７から撮像装置１００の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０７は、システムコントローラ１０６から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系１０１に関する撮像条件情報は、撮像光学系制御部１０５から取得することもできる。

続いて、撮像条件に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理および画像合成処理を行う。これらの処理は、後述のように、画像取得部２００（画像取得手段）、画像回復処理部２０１（画像回復処理手段）、画像置き換え部２０２（画像置き換え手段）、および、領域選択部２０３（領域選択手段）により行われる。そして、画像処理部１０４で処理された出力画像を記憶部１０８に所定のフォーマットで保存する。画像表示部１１２には、画像回復処理および画像合成処理後に表示用の所定の処理を行って得られた画像を表示することができる。また画像表示部１１２には、高速表示のために簡易処理を行って得られた画像を表示してもよい。以上の一連の制御は、システムコントローラ１０６により行われる。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１０６の指示に基づいて、撮像光学系制御部１０５により行われる。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどの光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点でこの素子の影響を考慮すれば、より高精度な画像回復処理が可能である。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点でその素子の影響を考慮することがより好ましい。

次に、図２を参照して、本実施例における画像処理方法について説明する。図２は、本実施例における画像処理方法を示すフローチャートである。図２の各工程は、システムコントローラ１０６の指示に基づいて、画像処理部１０４により行われる。

まずステップＳ１０において、画像処理部１０４の画像取得部２００は、撮影画像を入力画像（第１画像）として取得する。続いてステップＳ１１において、画像処理部１０４は、入力画像に輝度飽和部（輝度飽和画素）が含まれているか否かを判定する。輝度飽和部とは、取得した画像の輝度値が撮像素子１０２の許容量（ダイナミックレンジ）を超えている領域である。ステップＳ１１において入力画像に輝度飽和部が含まれていない場合、従来どおりの画像回復処理を行うことができる。このため、ステップＳ２５において画像回復フィルタを選択し、ステップＳ２６において画像回復処理を行う。ステップＳ２５、Ｓ２６は、後述のステップＳ１５、Ｓ１６とそれぞれ同様の処理であるため、ここでの詳細な説明は省略する。一方、ステップＳ１１において入力画像に輝度飽和部が含まれている場合、ステップＳ１２に進む。

図７は、本実施例における撮像装置１００で得られる入力画像の説明図であり、取得した画像の輝度分布が撮像装置１００のダイナミックレンジを超えている場合を示している。図７に示されるように、取得した画像が街灯（輝度飽和部Ａ）や車のライト（輝度飽和部Ｂ）などの高輝度値を示す領域（高輝度部）を含む場合、このような高輝度部は、他の画像領域に比べて極端に輝度値が高くなる。このため、ＡＥ装置（自動露出制御部）などを用いて撮影すると、通常、全体の輝度分布のバランスが考慮され、高輝度部の像が輝度飽和状態、すなわち輝度飽和部からの像として出力されることが多い。前述のように、輝度飽和部を含む画像に対して画像回復処理（補正処理）を行うと、正しく画像回復を行うことができない。そこで本実施例では、ステップＳ１０で取得した画像（第１画像）よりも露出時間の短い画像（第２画像）を取得する。そして、ステップＳ１０にて取得した画像（第１画像）のうち輝度飽和部の画像を、第２画像の対応する領域の画像に置き換える。なお第１画像は、画像全体の輝度分布を考慮した際に、ユーザまたは撮像装置１００のＡＥ装置などにより最適露出と判定された露出時間で撮影した画像であるものとする。

次にステップＳ１２において、画像処理部１０４は、第２画像の露出時間を決定する。第２画像は第１画像の輝度飽和部を置き換えるために用いられるため、第２画像には輝度飽和部（輝度飽和画素）が含まれないことが好ましい。このため、第２画像の露出時間を第１画像の露出時間よりも短くする必要がある。ただし第２画像の露出時間を短くし過ぎると、撮像素子１０２の出力信号に対するノイズの割合が大きくなり、画像回復処理を行う際にそのノイズが増大する。このため第２画像は、着目する領域（第１画像の輝度飽和部に対応する領域）に輝度飽和部が含まれないという条件に加えて、第２画像の露出時間をできる限り長くすることが好ましい。従って、理想的な合成画像を取得するには、第２画像を取得する際の露光時間を適切に設定する必要がある。

ここで、図９を参照して、第２画像を取得する際の露光時間を適切に決定する方法について説明する。図９は、第２画像の適切な露出時間の決定方法を説明する図であり、第１画像における輝度飽和部である一画素の露出時間Ｔと輝度値Ｌとの関係を示している。まず、第１画像に輝度飽和部が存在しなくなる程度の十分に短い露出時間Ｔａで撮影を行う。このとき露出時間Ｔａは、着目する領域に輝度飽和部が存在しなくなる任意の時間で構わない。例えば、露出時間Ｔａは、撮像装置１００の最短露出時間である。

続いて、撮影画像における着目画素（着目する領域に含まれる画素）の輝度値Ｌａと露出時間Ｔａの比Ｌａ／Ｔａから、近似直線を求める。この近似曲線は、輝度値をＬ、露出時間をＴとしたとき、以下の式（８）のように表される。

式（８）に輝度飽和値Ｌｓを代入することにより、着目画素が輝度飽和に達する露出時間Ｔｓを求めることができる。第１画像において着目する領域内に複数の輝度飽和画素が含まれる場合、そのうち最も短い露出時間Ｔｓとする。そして、露出時間Ｔｓよりも短く、かつ設定可能な最長の露出時間Ｔ２（輝度値Ｌ２に対応する露出時間）を、第２画像を取得する際の露出時間として決定する。

続いてステップＳ１３において、ステップＳ１２にて決定された露光時間を画像処理部１０４からシステムコントローラ１０６を介して撮像光学系制御部１０５に伝達し、露光時間の再設定を行う。そして、ステップＳ１０で第１画像を取得したときと同様に、入力画像として第２画像を取得する。このように画像取得部２００は、ステップＳ１０、Ｓ１３において、互いに露出の異なる第１画像および第２画像を取得する。

次にステップＳ１４において、ステップＳ１０で取得した第１画像と、ステップＳ１３で取得した第２画像のそれぞれに対して、画像処理部１０４の領域選択部２０３は、画像回復処理を行う領域を決定する。図８は、図７に示される入力画像を第１画像および第２画像として取得した場合において、画像回復処理を行う領域を説明する図である。図８（ａ）は第１画像における画像回復処理を行う領域（第１画像選択領域）を示し、図８（ｂ）は第２画像における画像回復処理を行う領域（第２画像選択領域）を示す。

第１画像は、画像全体の輝度分布が最適な画素である。このため、輝度飽和画素または輝度飽和画素とその周辺画素とで構成される輝度飽和部以外の領域（輝度飽和部Ａ、Ｂ以外の領域）を、画像回復処理を行う領域（第１画像選択領域）として選択する。一方、第２画像は、第１画像の輝度飽和部（輝度飽和部Ａ、Ｂ）を画像回復後に置き換えるために用いられる。このため、第１画像の輝度飽和部に対応する第２画像の領域を、画像回復処理を行う領域（第２画像選択領域）として選択する。このように領域選択部２０３は、第１画像の中から輝度飽和部を含む領域と異なる第１領域（第１画像選択領域）を選択し、第２画像の中から第１画像の輝度飽和部を含む領域に対応する第２領域（第２画像選択領域）を選択する。

なお本実施例では、効率化のため、合成画像として利用する領域のみを画像回復処理を行う領域として選択する。すなわち画像回復処理部２０１は、第１画像の第１領域および第２画像の第２領域に対してのみ画像回復処理を行う。ただし、本実施例はこれに限定されるものではない。
例えば、処理の簡易化のため、第１画像および第２画像の全体を画像回復処理を行う領域として選択し、画像回復処理後に合成画像に必要な画素のみを抜き出して合成するようにしてもよい。この場合、画像回復処理部２０１は、第１画像および第２画像の全てに対して画像回復処理を行う。

次にステップＳ１５において、撮影条件に適した画像回復フィルタを選択する。すなわち、各選択領域に対して適切な画像回復フィルタを選択する。撮影条件は、焦点距離、絞り値、撮影距離などである。撮影条件に関する情報は、撮像装置１００から直接取得することができる。画像回復フィルタは、画像処理部１０４に予め保持されたデータから選択することができ、また、予め保持されたデータを撮影条件に応じて補正して生成することもできる。本実施例では、画像内の位置に対して、離散的に予め保持された画像回復フィルタデータから、間の位置の画像回復フィルタを所定の補間処理により生成する。補間処理は、例えばバイリニア補間（線形補間）やバイキュービック補間などを用いて行われるが、これらに限定されるものではない。絞り、撮影距離、ズームレンズの焦点距離などについても同様の補間処理で生成することにより、予め保持する画像回復フィルタのデータ量を削減することができる。また、予め保持するデータとして、ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、画像回復フィルタの周波数特性などの画像回復フィルタを生成する元となるデータを用い、画像回復フィルタを演算により生成することも可能である。

次にステップＳ１６において、画像処理部１０４の画像回復処理部２０１は、ステップＳ１５で選択した画像回復フィルタを用いて、画像回復を行う各領域（第１画像選択領域、第２画像選択領域）に対して画像回復処理を行う。すなわち画像回復処理部２０１は、第１画像の第１領域（第１画像選択領域）および第２画像の第２領域（第２画像選択領域）に対して、光学伝達関数ＯＴＦに基づき生成された画像回復フィルタを用いて画像回復処理を行う。

画像回復処理を行う各領域内に輝度飽和画素（輝度飽和部）が存在しない場合、画像回復処理後の各領域における収差（非対称収差）は適切に補正され、画像の輝度分布は鮮鋭化する。ここでは、撮像光学系１０１の光学伝達関数（ＯＴＦ）に基づいて生成した画像回復フィルタを用いて、撮像光学系１０１の収差により劣化した各領域の画像回復処理を行う。画像回復度合（画像回復ゲイン）が高くなるように画像回復フィルタを設計すると、画像は理想的な像に近づくが、鮮鋭化とともにノイズも増幅してしまう。このため、画像回復度合を適切に調整することにより、回復された像性能とノイズ量とのバランスを図ることが好ましい。

次にステップＳ１７において、画像回復処理を行った各領域（第１画像選択領域、第２画像選択領域）を合成し、輝度分布が鮮鋭化された１つの画像を生成する。すなわち画像置き換え部２０２は、第１画像の輝度飽和部を含む領域を第２画像の第２領域（第２画像選択領域）に置き換え、第１画像の第１領域（第１画像選択領域）および第２画像の第２領域（第２画像選択領域）を合成して一つの画像を生成する。

ここで、画像回復処理を行った各画像の露出は互いに異なる。このため、まず各画像の露出の調整を行う。すなわち画像置き換え部２０２は、第１画像の輝度飽和部を含む領域を第２画像の第２領域に置き換える際に、第２画像の露出が画像回復処理を行う前の第１画像の露出と同じになるように露出調整を行う。例えば、第１画像および第２画像のＦ値、ＩＳＯ感度がそれぞれ互いに同一であり、第１画像の露出時間Ｔ１と第２画像の露出時間Ｔ２がＴ１＝Ｔ２×２という関係を有すると仮定する。このような場合、第１画像の輝度値は、第２画像の輝度値に比べて２倍増幅される。このため、第２画像から抜き出した回復画像の輝度値を２倍に増幅させることにより、露出の調整を行う。なお、第１画像および第２画像のＦ値、ＩＳＯ感度がそれぞれ互いに同一であるとしているが、必ずしも一致していなくてもよい。この場合、露出が各画像間で一致するように各変数の変化に合わせて、合成時に利用する各領域に対し輝度値を増減させる。このような処理を各領域に対して実行した後、画像処理部１０４の画像置き換え部２０２により各領域の画像を張り合わせることで、違和感のない鮮鋭化された合成画像を生成することができる。

また、画像を置き換える際に、画像間の露出の調整以外にも生成する画像がより自然にみえるような処理を、第２画像の第２領域あるいは第１画像の第１領域に施しても良い。このような処理は種々存在するが、例えば輝度の変化の仕方が急峻にならないよう、つなぎ目にある画素やその周囲の画素に対して平滑化フィルタを適応する等が考えられる。また、これらの処理は画像を置き換える前の画像に処理を施しても良いし、置き換え後に輝度の勾配が緩やかになるような処理を適応しても良い。

なお本実施例では、露出時間を変えることで（互いに異なる露光時間で）、露出が互いに異なる第１画像および第２画像を画像取得部２００により取得するが、これに限定されるものではない。例えば、ＩＳＯ感度、Ｆ値、または、ＮＤフィルタなどを変更することにより露出を変えてもよい。

ここで、露出とは光量だけでなく撮像した画像の輝度値変化させるものを指す。ＩＳＯ感度を変化させて露出の異なる画像を取得する場合には、ステップＳ１２において、第２画像に適切なＩＳＯ感度を決定する。本実施例では、露出時間が十分に短い画像を撮影し、そのときの輝度値と露出時間の関係から第２画像を導き出したが、ＩＳＯ感度で行う場合についても同様の手法により第２画像を導き出すことができる。着目するパラメータが異なるものの、輝度飽和部が存在しなくなる程度の十分に感度の下げた状態のＩＳＯ感度で撮影し、その時の輝度値及びＩＳＯ感度から式（８）に対応する関係式を算出する。算出された関係式から着目画素が輝度飽和に達するときのＩＳＯ感度が求まり、そのＩＳＯ感度よりも小さく、かつ設定可能な最大値を第２画像のＩＳＯ感度として決定する。ステップＳ１３以降は本実施例と同様な処理となるため割愛するが、このような手順で処理を行うことで、ＩＳＯ感度の場合についても違和感のない鮮鋭化された合成画像を生成することができる。また、Ｆ値やＮＤフィルタを変える場合についても、ステップＳ１２における着目画素の輝度値に対応する関係を算出することで適切な第２画像を取得するができ、同様に鮮鋭化された合成画像が生成可能となる。

次に、図１２を参照して、本発明の実施例２における撮像装置について説明する。図１２は、本実施例における撮像装置１００ａの構成図である。撮像装置１００ａには、撮影画像の画像回復処理（画像処理方法）を行うプログラムがインストールされており、この画像回復処理は撮像装置１００ａの内部の画像処理部１０４ａ（画像処理装置）により実行される。なお本実施例の撮像装置１００ａは、画像処理部１０４ａを除いて実施例１の撮像装置１００と共通の構成を有するため、共通な構成についての説明は省略する。

画像処理部１０４ａには、実施例１の画像処理部１０４の各要素に加えて、輝度飽和判定部２０４および利用画像選択部２０５が設けられている。輝度飽和判定部２０４は、画像内または着目している画像の一部の領域内において、輝度飽和画素（輝度飽和部）が存在するか否かを判定する。利用画像選択部２０５は、合成画像を生成する際に利用する元の入力画像を選択する。輝度飽和判定部２０４および利用画像選択部２０５により行われる処理の詳細については後述する。

次に、図１０を参照して、本実施例における画像処理方法について説明する。図１０は、本実施例における画像処理方法を示すフローチャートである。図１０の各工程は、システムコントローラ１０６の指示に基づいて、画像処理部１０４ａにより行われる。

まずステップＳ３１において、画像処理部１０４ａは、互いに露出の異なる複数枚の撮影画像を入力画像として取得する。ここで、取得した入力画像のうち画像全体の輝度のバランスがとれた画像（適正露出の画像）に輝度飽和部（輝度飽和画素）が存在しない場合、そのまま画像回復処理を行うことができる。このため、実施例１と同様に、適正露出の入力画像に輝度飽和部が含まれていることを前提とする。また、適正露出で撮影された画像を第１画像とし、第１画像は、図７に示されるように輝度飽和部Ａ、Ｂを有する画像であるものとする。

次にステップＳ３２において、第１画像における輝度飽和部を置き換えるために用いられる元画像を、ステップＳ３１で取得した複数の入力画像から選択する。この選択処理は、利用画像選択部２０５により行われ、第１画像の輝度飽和部Ａを置き換えるために用いられる元画像を第２画像、第１画像の輝度飽和部Ｂを置き換えるために用いられる元画像を第３画像とする。このとき、第２画像の輝度飽和部Ａに対応する領域および第３画像の輝度飽和部Ｂに対応する領域には、輝度飽和部（輝度飽和画素）が含まれていないことが好ましい。また、第２画像と第３画像は同一の画像であってもよい。

次にステップＳ３３において、第１画像、第２画像、および、第３画像のそれぞれに対して、画像処理を行う領域を決定する。図１１は、図７に示される入力画像を第１画像、第２画像、および、第３画像として取得した場合において、画像回復処理を行う領域を説明する図である。図１１（ａ）は第１画像における画像回復処理を行う領域（第１画像選択領域）、図１１（ｂ）は第２画像における画像回復処理を行う領域（第２画像選択領域）、図１１（ｂ）は第３画像における画像回復処理を行う領域（第３画像選択領域）をそれぞれ示す。

第１画像は、画像全体の輝度分布が最適な画像である。このため、輝度飽和画素または輝度飽和画素とその周辺画素とで構成される輝度飽和部以外の領域（輝度飽和部Ａ、Ｂ以外の領域）を、画像回復処理を行う領域（第１画像選択領域）として選択する。また、第２画像および第３画像については、第１画像の輝度飽和部Ａ、Ｂを画像回復後に置き換えるため、第１画像の輝度飽和部Ａ、Ｂに対応する第２画像および第３画像のそれぞれの領域を、画像回復を行う領域とする。

なお本実施例は、効率化のため、合成画像として利用する領域のみを画像回復処理を行う領域として選択するが、これに限定されるものではない。例えば、処理の簡易化のため、第１画像、第２画像、および、第３画像の全体を画像回復処理を行う領域として選択し、画像回復処理後に合成画像に必要な画素のみを抜き出して合成するようにしてもよい。

次にステップＳ３４において、各選択領域に対して適切な画像回復フィルタを選択する。続いてステップＳ３５において、画像処理部１０４ａの画像回復処理部２０１は、ステップＳ３４で選択した画像回復フィルタを用いて、画像回復を行う各領域（第１画像選択領域、第２画像選択領域、第３画像選択領域）に対して画像回復処理を行う。ステップＳ３４、Ｓ３５は、実施例１のステップＳ１５、Ｓ１６とそれぞれ同様であるため、ここでの詳細な説明は省略する。

最後に、ステップＳ３６において、画像回復処理を行った各領域（第１画像選択領域、第２画像選択領域、第３画像選択領域）を合成し、輝度分布が鮮鋭化された１つの画像を生成する。ここで、画像回復処理を行った各画像の露出は互いに異なる。このため、まず各画像の露出の調整を行う。例えば、第１画像、第２画像、および、第３画像のＦ値、ＩＳＯ感度がそれぞれ互いに同一で、第１画像の露出時間Ｔ１と第２画像の露出時間Ｔ２がＴ１＝Ｔ２×２、第１画像の露出時間Ｔ１と第３画像の露出時間Ｔ３がＴ１＝Ｔ３×３の関係を有すると仮定する。このような場合、第１画像の輝度値は、第２画像の輝度値に比べて２倍、また、第３画像の輝度値に比べて３倍増幅される。このため、第２画像および第３画像から抜き出した回復画像の輝度値をそれぞれ２倍および３倍に増幅させることにより、露出の調整を行う。なお、第１画像、第２画像、および、第３画像のＦ値、ＩＳＯ感度はそれぞれ互いに同一であるとしているが、必ずしも一致していなくてもよい。この場合、露出が各画像間で一致するように各変数の変化に合わせて、合成時に利用する各領域に対し輝度値を増減させる。このような処理を各領域に対して実行した後、画像処理部１０４ａの画像置き換え部２０２により各領域の画像を張り合わせることで、違和感のない鮮鋭化された合成画像を生成することができる。

本実施例では、ステップＳ３５で選択した各領域に対し画像回復を行い、画像回復後の各領域をステップＳ３６で合成して鮮鋭化した画像の生成を行う。すなわち画像置き換え部２０２は、画像回復処理部２０１により第１画像の第１領域および第２画像の第２領域の画像回復処理を行ってから、第１画像および第２画像を合成する。ただし本実施例はこれに限定されるものではなく、これらの順番を入れ替えて、画像を合成してから画像回復を行うようにしてもよい。この場合、画像を張り合わせる際にステップＳ３６にて所定の露出調整を行って１つの合成画像を生成した後、合成画像に対して画像回復処理を行うことで鮮鋭化された合成画像を生成することができる。すなわち画像回復処理部２０１は、画像置き換え部２０２により第１画像および第２画像を合成してから、第１領域および第２領域の画像回復処理を行う。

なお上記各実施例では、画像処理部（画像処理装置、情報処理装置）が撮像装置に組み込まれている場合について説明したが、これに限定されるものではない。例えば、画像処理部は、パーソナルコンピュータなど、撮像装置とは別の情報処理装置に設けられていてもよい。

上記各実施例の画像処理装置によれば、露出の異なる複数の画像を用いて収差低減処理を行うため、輝度飽和部を含む画像に対しても非対称性収差を効果的に補正し、鮮鋭度を向上させた画像を生成することができる。このため上記各実施例によれば、輝度飽和部を有する画像の収差を効果的に低減させる画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部
２００ 画像取得部
２０１ 画像回復処理部
２０２ 画像置き換え部
２０３ 領域選択部

Claims (10)

1. 互いに露出の異なる第１画像および第２画像を取得する画像取得手段と、
   前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択する領域選択手段と、
   前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行う画像回復処理手段と、
   前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成する画像置き換え手段と、を有することを特徴とする画像処理装置。
2. 前記画像置き換え手段は、前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換える際に、該第２画像の露出が前記画像回復処理を行う前の該第１画像の露出と同じになるように露出調整を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記露出が互いに異なる画像とは、露出時間、ＩＳＯ感度、絞り値、及びＮＤフィルタの種類のうち少なくともいずれか１つが異なる状態で撮影された画像であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像置き換え手段は、前記画像回復処理手段により前記第１画像の前記第１領域および前記第２画像の前記第２領域の前記画像回復処理を行ってから、該第１画像および該第２画像を合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像回復処理手段は、前記画像置き換え手段により前記第１画像および前記第２画像を合成してから、前記第１領域および前記第２領域の前記画像回復処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記画像回復処理手段は、前記第１画像および前記第２画像の全領域に対して前記画像回復処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記画像回復処理手段は、前記第１画像の前記第１領域および前記第２画像の前記第２領域に対してのみ前記画像回復処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 互いに露出の異なる第１画像および第２画像を取得する画像取得手段と、
   前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択する領域選択手段と、
   前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行う画像回復処理手段と、
   前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成する画像置き換え手段と、を有することを特徴とする撮像装置。
9. 互いに露出の異なる第１画像および第２画像を取得するステップと、
   前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択するステップと、
   前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行うステップと、
   前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成するステップと、を有することを特徴とする画像処理方法。
10. 互いに露出の異なる第１画像および第２画像を取得するステップと、
    前記第１画像の中から輝度飽和部を含む領域と異なる第１領域を選択し、前記第２画像の中から該第１画像の該輝度飽和部を含む領域に対応する第２領域を選択するステップと、
    前記第１画像の前記第１領域および前記第２画像の前記第２領域に対して、光学伝達関数に基づき生成された画像回復フィルタを用いて画像回復処理を行うステップと、
    前記第１画像の前記輝度飽和部を含む領域を前記第２画像の前記第２領域に置き換えることにより、該第１画像の前記第１領域および該第２画像の該第２領域を合成して一つの画像を生成するステップと、を情報処理装置に実行させることを特徴とするプログラム。

Images