JP5000030B1 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

画像処理装置（１０２）は、撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する輝度飽和位置検出部（１１０）と、輝度飽和位置の周辺部の輝度傾斜を検出する輝度傾斜検出部（１１２）と、輝度飽和位置の画像と、輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）画像と、輝度傾斜とに基づいて、輝度傾斜が大きいほど輝度値が大きくなるように、輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定する光源像推定部（１０５）と、輝度分布を用いて、撮影画像から不要光の輝度値を減算する不要光減算部（１０６）とを備える。
【選択図】図７Ａ

Description

本発明は、撮影時に被写体が明るく、撮影画像に大きな不要光（フレア）が発生した場合に、撮影後に画像処理により撮影画像から不要光を低減する技術に関する。

被写体を撮影する撮像装置において、被写体が明るい場合には、撮影画像中の不要光が視認可能な大きさとなり、撮影画像に悪影響を及ぼす場合がある。特に回折格子を有する回折レンズを用いた場合は、非球面レンズを用いた場合に比較して不要光が大きくなる場合がある。例えば、蛍光灯などの光源を撮影した場合に、二重像のような不要光が発生する場合がある。

こうした不要光を画像処理により低減する従来技術として、例えば特許文献１又は２に記載された技術がある。特許文献１では、回折レンズの不要次数（０次光や２次光）のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）画像と撮影画像との畳込み積分に基づいて不要光を推定する。そして、推定した不要光の成分を撮影画像から減算することにより、撮影画像から不要光を低減している。

また、特許文献２では、露光時間が異なる複数の画像を撮影し、短い露光時間の画像から不要光を推定し、推定した不要光の成分を露光時間の長い画像から減算することにより、露光時間の長い画像から不要光を低減している。

特開平９−２３８３５７号公報 特開平１１−３５５６３６号公報

特許文献１のように、不要光として、設計次数以外の不要回折光（０次光や２次光）のみに着目して画像処理を行った場合、次数に依存せずに発生する不要光を撮影画像から低減することができない。さらに、ＰＳＦ画像と撮影画像の畳込み積分により不要光を推定する場合、被写体が明るいことにより撮影画像の輝度が飽和していると、輝度飽和位置では誤った被写体の明るさ（輝度）から不要光を推定することになる。そのため、不要光を正確に推定することが難しい。

被写体の明るさが、撮影画像の飽和レベルより明るくなるほど、推定した不要光成分の大きさが実際より小さくなる。また、次数に依存せずに発生する不要光は、被写体が明るい程より顕著となる。つまり、被写体が明るく、撮影画像の輝度が飽和する場合には、適切に不要光を低減することが困難である。

また、特許文献２では、露光時間の異なる複数の画像を撮影する必要があるため、撮影するタイミングによって被写体が動いて撮影画像が変動する動画撮影の場合などにおいて、不要光を正確に推定することが困難となる場合がある。また、複数の画像を演算する必要があるので、演算コストも増大する。

そこで、本発明は、上記課題を解決するためになされたものであって、明るい被写体が撮影された１枚の撮影画像を用いて、当該撮影画像よりも不要光が適切に低減された出力画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の一態様に係る画像処理装置は、撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する輝度飽和位置検出部と、前記輝度飽和位置の周辺部の輝度傾斜を検出する輝度傾斜検出部と、前記輝度飽和位置の画像と、前記輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）画像と、前記輝度傾斜とに基づいて、前記輝度傾斜が大きいほど輝度値が大きくなるように、前記輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定する光源像推定部と、前記輝度分布を用いて、前記撮影画像から不要光の輝度値を減算する不要光減算部とを備える。

また、本発明の一態様に係る撮像装置は、上記画像処理装置と、光学系及び撮像素子を有し、前記撮影画像を出力する撮像部とを備える。

なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、明るい被写体が撮影された１枚の撮影画像を用いて、当該撮影画像よりも不要光が適切に低減された出力画像を生成することが可能となる。

図１は、本発明の実施の形態における光学系の構成例を示す模式図である。 図２Ａは、本発明の実施の形態における光学系のＰＳＦ画像を示す図である。 図２Ｂは、本発明の実施の形態における光学系のＰＳＦ画像を示す図である。 図３Ａは、本発明の実施の形態における光学系のＰＳＦ画像の輝度推移を示す図である。 図３Ｂは、本発明の実施の形態における光学系のＰＳＦ画像の輝度推移を示す図である。 図４は、本発明の実施の形態における被写体を示す図である。 図５Ａは、本発明の実施の形態における撮影画像を示す図である。 図５Ｂは、本発明の実施の形態における撮影画像を示す図である。 図６Ａは、本発明の実施の形態における撮影画像の輝度推移を示す図である。 図６Ｂは、本発明の実施の形態における撮影画像の輝度推移を示す図である。 図７Ａは、本発明の実施の形態における撮像装置の構成を示すブロック図である。 図７Ｂは、本発明の実施の形態における光源像推定部の構成の一例を示すブロック図である。 図８は、本発明の実施の形態における撮影画像の輝度飽和位置を示す図である。 図９Ａは、本発明の実施の形態における光源像モデルを示す図である。 図９Ｂは、本発明の実施の形態における光源像モデルの輝度推移を示す図である。 図１０は、本発明の実施の形態における撮影画像の輝度飽和位置の周辺部における輝度値の微分値の推移を示す図である。 図１１は、本発明の実施の形態における撮影画像の輝度傾斜と光源像の最大輝度値との関係を示すグラフである。 図１２Ａは、本発明の実施の形態における出力画像を示す図である。 図１２Ｂは、本発明の実施の形態における出力画像の輝度推移を示す図である。 図１３Ａは、本発明の実施の形態における被写体の他の一例を示す図である。 図１３Ｂは、本発明の実施の形態における撮影画像の他の一例を示す図である。 図１３Ｃは、本発明の実施の形態における出力画像の他の一例を示す図である。 図１３Ｄは、本発明の実施の形態における出力画像の輝度推移の他の一例を示す図である。 図１４Ａは、本発明の実施の形態における被写体の他の一例を示す図である。 図１４Ｂは、本発明の実施の形態における撮影画像の他の一例を示す図である。 図１４Ｃは、本発明の実施の形態における出力画像の他の一例を示す図である。 図１４Ｄは、本発明の実施の形態における出力画像の輝度推移の他の一例を示す図である。 図１５Ａは、本発明の実施の形態における画像処理を示すフローチャートである。 図１５Ｂは、本発明の実施の形態における光源像推定処理の一例を示すフローチャートである。

本発明の一実施形態に係る画像処理装置は、撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する輝度飽和位置検出部と、前記輝度飽和位置の周辺部の輝度傾斜を検出する輝度傾斜検出部と、前記輝度飽和位置の画像と、前記輝度飽和位置に対応するＰＳＦ画像と、前記輝度傾斜とに基づいて、前記輝度傾斜が大きいほど輝度値が大きくなるように、前記輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定する光源像推定部と、前記輝度分布を用いて、前記撮影画像から不要光の輝度値を減算する不要光減算部とを備える。

この構成によれば、撮像画像の輝度傾斜が大きいほど輝度値が大きくなるように、輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定することができる。つまり、輝度が飽和していることにより撮影画像から被写体の正しい輝度分布が得られない場合であっても、輝度傾斜を用いて撮像面上の輝度分布を正確に推定することができる。このように推定された撮像面上の輝度分布を用いて撮影画像から不要光の輝度値を減算することにより、撮影画像よりも不要光が適切に低減された出力画像を１枚の撮影画像を用いて生成することが可能となる。つまり、明るい被写体が撮影された撮影画像において被写体像の輝度が飽和している場合であっても、撮影画像から不要光を適切に低減することが可能となる。

さらに、この構成によれば、ＰＳＦ画像に基づいて推定された撮像面上の輝度分布を用いて、撮影画像から不要光の輝度値を減算することができる。つまり、設計次数以外の不要回折光のみに着目して画像処理を行うわけではないので、次数に依存せずに発生する不要光を撮影画像から低減することも可能となる。

また、本発明の別の実施形態に係る画像処理装置において、前記光源像推定部は、前記輝度飽和位置の画像と前記輝度飽和位置に対応するＰＳＦ画像との畳込み積分を行うことにより光源像モデルを作成する光源像モデル作成部と、前記輝度傾斜が大きいほど輝度値が大きくなるように前記光源像モデルの輝度を調整することにより、前記撮像面上の輝度分布を推定する光源像ゲイン調整部とを備える。

この構成によれば、輝度飽和位置の画像とＰＳＦ画像との畳込み積分を行うことにより光源像モデルを作成することができる。このように作成された光源像モデルの輝度値を、輝度傾斜を用いて調整することにより、撮像面上の輝度分布を正確に推定することが可能となる。

また、本発明の別の実施形態に係る画像処理装置において、前記光源像ゲイン調整部は、撮影画像の輝度傾斜と撮像面上の輝度最大値との予め定められた関係を利用して、検出された前記輝度傾斜に対応する前記撮像面上の輝度最大値を推定し、推定した前記輝度最大値を用いて前記光源像モデルの輝度値を調整する。

この構成によれば、撮影画像の輝度傾斜と撮像面上の輝度最大値との予め定められた関係を利用して輝度最大値を正確に推定することができる。このように推定された輝度最大値を用いて光源像モデルの輝度を調整することにより、被写体によって形成される撮像面上の輝度分布を正確に推定することができる。したがって、撮影画像よりも不要光が適切に低減された出力画像を生成することが可能となる。

また、本発明の別の実施形態に係る画像処理装置において、前記撮影画像は、回折光学素子を含む光学系を用いて撮影された画像であり、前記輝度傾斜検出部は、前記輝度飽和位置の周辺部のうち前記光学系の光軸と反対側の輝度傾斜を検出する。

この構成によれば、輝度飽和位置の周辺部のうち光学系の光軸と反対側の輝度傾斜を検出することができる。回折光学素子を含む光学系を用いて撮影された画像では、輝度飽和位置の光軸側に大きな不要光が発生する。つまり、光軸と反対側の輝度傾斜は、光軸側の輝度傾斜よりも不要光の影響が少ない。したがって、光軸と反対側の輝度傾斜を検出することにより、検出される輝度傾斜に対する不要光の影響を抑制することができる。その結果、撮像面上の輝度分布をさらに正確に推定することが可能となる。

また、本発明の別の実施形態に係る画像処理装置は、集積回路として構成されてもよい。

以下、本発明の実施の形態の詳細を説明する前に、明るい被写体を撮影した場合に、被写体像が飽和し不要光が視認可能になる状態について、回折光学素子を含む光学系を使用して撮影された撮影画像を用いて説明する。

図１は、本発明の実施の形態における光学系の構成例を模式的に示している。光学系２００は、負のパワーを持つレンズ２０１と、正のパワーを持つ回折レンズ２０２とを備える。光学系２００の光軸２１０は、撮像素子２０８の撮像面２０９と交差している。

回折レンズ２０２は、回折光学素子に相当する。回折レンズ２０２は、互いに異なる材料からなる第１部材２０３及び第２部材２０４を備える。第１部材２０３の一方の面は、非球面形状に形成されている。また、第１部材２０３の他方の面には、回折格子２０６が光軸を中心に輪帯状に形成されている。回折格子２０６の表面は、第２部材２０４によって非球面形状に被覆されている。

このような光学系２００を介して、被写体の像が撮像素子２０８の撮像面２０９に結像される。撮像面に結像された被写体の像は、撮像素子２０８に撮影画像として取り込まれる。撮像素子２０８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などにより構成される。

絞り２１１は、撮像素子２０８の撮像面２０９に入射する光線を調整する。

回折格子２０６の格子厚ｄは、式（１）により求められる。

ここで、ｎ１は第１部材２０３の屈折率を表わし、ｎ２は第２部材２０４の屈折率を表わす。λは波長である。ここでは、光学系２００は、撮像用途の光学系である。そのため、λは、４００ｎｍから７００ｎｍ程度の可視域の波長範囲の値をとる。

ｍは回折次数である。ここでは、ｍ＝１としている。つまり、回折格子２０６の格子厚ｄは、１次回折光の回折効率が高くなるように設計されている。

この可視域の波長範囲においてｄがほぼ一定値となる屈折率（ｎ１及びｎ２）を持つ第１部材２０３及び第２部材２０４を組合せることにより、回折レンズ２０２は、可視域の波長範囲全領域で高い１次回折効率を実現することができることが知られている（例えば参考文献（特許第４０７７５０８号公報）を参照）。

本発明の実施の形態においては、ｎ１及びｎ２がこのような組合せとなる第１部材２０３及び第２部材２０４が用いられる。

図２Ａに、図１の光学系２００の画角４５度付近でのＰＳＦ画像を示す。図２Ｂに、ＰＳＦ画像の不要光成分の分布が見やすいように、図２ＡのＰＳＦ画像の明るさを５０倍したＰＳＦ画像を示す。図２Ａ及び図２Ｂでは画像の左方向が光軸方向である。つまり、画像の左方向に、光軸と撮像面とが交差する位置に対応する画像位置が存在する。なお、ＰＳＦとは、光学系の点光源に対する応答を表す関数である。また、ＰＳＦ画像とは、ＰＳＦを表す画像である。つまり、ＰＳＦ画像とは、点光源が撮影された画像に相当する。

図３Ａは、図２ＡのＰＳＦ画像の輝度最大位置周辺部の画像水平方向の輝度推移を表わす。図３Ａにおいて、縦軸は輝度値を表わし、横軸は画像位置を表わしている。図３Ｂは、図３Ａの縦軸のスケールを拡大したときの輝度推移を表わす。

図２Ａ〜図３Ｂに示すように、回折光学素子を含む光学系を用いて撮影された撮影画像では、大きな不要光が発生する。なお、不要光とは、画像に写ってしまう不要な光である。つまり、不要光とは、本来、画像に写ることが望ましくない光である。この不要光によって画質が劣化する。

不要光には、０次、あるいは２次の回折光などの設計次数以外の回折光（以下、「不要回折光」ともいう）だけでなく、設計次数である１次回折光の不要光も含まれる。この１次回折光の不要光は、回折格子の各輪帯の影響により発生する不要光である。つまり、設計次数である１次回折光においても非球面レンズに比較して大きな不要光が原理的に発生する。

特に、回折格子の格子厚ｄが大きい場合や、明るい被写体を撮影する場合には、図３Ｂに示すように、ＰＳＦ画像の最大輝度の位置より光軸側の位置に、この大きな不要光が顕著に現れる。例えば、明るい被写体が撮影された撮影画像において被写体像の位置の輝度が飽和したときに、被写体像の位置の光軸側の位置に大きな不要光が発生する。不要光は、撮影画像に悪影響を及ぼす。

以下に、このような不要光が発生したときの撮影画像の一例を、図４〜図６Ｂを用いて説明する。

図４は、本発明の実施の形態における被写体を示す。図５Ａ及び図５Ｂは、本発明の実施の形態における撮影画像を示す。具体的には、図５Ａ及び図５Ｂは、図１の光学系で図４に示す明るい被写体を撮影した場合の撮影画像を示す。

本実施の形態では、図５Ａ及び図５Ｂは、画角４５度付近に撮像される蛍光灯の撮影画像を示す。蛍光灯は、図４に示すような長方形の輝度が均一な光源と仮定している。そして、図４に示す被写体の画像と図２ＡのＰＳＦ画像とを畳込み積分することにより、図５Ａ及び図５Ｂに示す実際の撮像画像が模擬的に作成される。

図５Ａは、蛍光灯の最大輝度値が０．７となる場合の撮影画像を示す。図５Ｂは、蛍光灯の最大輝度値が１．３となる場合の撮影画像を示す。なお、図５Ａ及び図５Ｂでは、撮影画像の輝度飽和レベルは１．０としている。図５Ｂでは、撮像面２０９上で輝度値が１．０を超える位置に対応する画像位置で、撮影画像の輝度が飽和している。

図６Ａ及び図６Ｂは、図５Ａ及び図５Ｂそれぞれの蛍光灯の撮影画像の中心付近における画像水平方向の輝度推移を示す。図６Ａ及び図６Ｂにおいて、縦軸は輝度値を表わし、横軸は画像位置を表わす。

図５Ａ〜図６Ｂから分かるように、蛍光灯の最大輝度値が大きくなるほど、蛍光灯の光軸方向（画像の左方向）に二重像のように写り込む不要光の輝度値も大きくなる。つまり、図５Ａでは目立たない不要光が、図５Ｂでは視認できるレベルの明るさになっている。このことから、蛍光灯の最大輝度値が大きくなるほど不要光の輝度値が大きくなり、撮影画像に悪影響を及ぼすことが分かる。

図５Ｂのように、撮影画像の輝度が飽和している画像位置（以下、「輝度飽和位置」という）においては、撮像素子２０８の撮像面２０９における実際の輝度分布が損なわれる。つまり、撮影画像の輝度飽和位置では、撮像面２０９上における実際の輝度分布とは異なる輝度分布が形成される。そのため、特許文献１の手法を用いた場合には、輝度飽和位置から得られる誤った被写体の明るさから不要光が推定される。その結果、特許文献１の手法では、不要光を適切に推定することが難しく、撮影画像から不要光を低減させることが困難である。

そこで、以下に説明する本発明の実施の形態では、図５Ｂ及び図６Ｂに示したような、撮影画像の輝度が飽和している場合に発生する不要光を低減することができる画像処理装置及び撮像装置について説明する。

なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

（実施の形態）
以下、本発明の実施の形態について図面を参照しながら説明する。

図７Ａは、本発明の実施の形態における撮像装置１００の構成を示すブロックずである。また、図７Ｂは、本発明の実施の形態における光源像推定部の構成の一例を示すブロック図である。図７Ａにおいて、撮像装置１００は、撮像部１０１と画像処理装置１０２とを備える。

撮像部１０１は、図１に示す光学系２００及び撮像素子２０８を備える。撮像部１０１は、被写体を撮像し、撮影画像Ｉｔ（ｘ，ｙ）を出力する。ここで、ｘ及びｙは、それぞれ画像水平方向及び垂直方向の画像位置を表わす。なお、画像位置とは、撮影画像上の位置である。例えば、画像位置は、撮影画像を構成する各画素の位置を示す。

画像処理装置１０２は、撮影画像から不要光の成分を低減し、不要光による画質の劣化が少ない出力画像を出力する。具体的には、画像処理装置１０２は、撮影画像中の被写体像のうち所定の輝度閾値Ｉｓ以上の被写体像を光源像とみなし、その光源によって形成される撮像面２０９上の輝度分布を推定する。そして、画像処理装置１０２は、推定された撮像面２０９上の輝度分布に基づいて撮影画像から不要光の輝度値を減算することにより、撮影画像よりも不要光による画質の劣化が少ない出力画像を生成する。なお、不要光の輝度値とは、不要光によって形成される像（不要光像）の輝度値である。

なお、本実施の形態では、画像処理装置１０２が撮像装置１００に備えられる場合について説明するが、画像処理装置１０２は、必ずしも撮像装置１００に備えられる必要はない。例えば、画像処理装置１０２は、撮像部１０１を備える撮像装置から撮影画像を取得してもよい。

以下に、画像処理装置１０２の詳細について説明する。図７Ａに示すように、画像処理装置１０２は、輝度飽和位置検出部１１０と、輝度傾斜検出部１１２と、光源像推定部１０５と、不要光減算部１０６とを備える。

輝度飽和位置検出部１１０は、撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する。つまり、輝度飽和位置検出部１１０は、撮影画像において、輝度値が閾値より大きい画像位置を輝度飽和位置として検出する。

輝度傾斜検出部１１２は、輝度飽和位置の周辺部の輝度傾斜を検出する。輝度傾斜とは、撮影画像における輝度値の空間的な変化の割合を示す。

光源像推定部１０５は、輝度飽和位置の画像と、輝度飽和位置に対応するＰＳＦ画像と、輝度傾斜とに基づいて、輝度傾斜が大きいほど輝度値が大きくなるように、撮像面２０９上の光源像を推定する。光源像とは、光源によって形成される輝度分布である。また、光源とは、輝度飽和位置に撮像された被写体に相当する。

本実施の形態では、図７Ｂに示すように、光源像推定部１０５は、光源像モデル作成部１１１と、畳込み積分部１１５及びＰＳＦ抽出部１１６を有する光源像ゲイン調整部１１３とを備える。なお、図７Ｂに示す光源像推定部１０５の構成は一例であり、光源像推定部１０５は、必ずしもこのように構成される必要はない。

不要光減算部１０６は、推定された撮像面２０９上の光源像を用いて、撮影画像から不要光の輝度値を減算する。つまり、不要光減算部１０６は、推定された撮像面２０９上の光源像から得られる不要光成分を撮影画像から減算することにより、撮影画像よりも不要光による画像劣化が少ない出力画像を生成する。

次に、輝度飽和位置検出部１１０と、光源像推定部１０５に含まれる光源像モデル作成部１１１との処理を詳細に説明する。

輝度飽和位置検出部１１０は、撮像部１０１が出力する撮影画像において輝度閾値Ｉｓより大きな輝度値を持つ画像位置を、輝度飽和位置として検出する。そして、輝度飽和位置検出部１１０は、検出した輝度飽和位置を示すデータをメモリ等に記憶する。

輝度閾値Ｉｓは、例えば、撮影画像において表現可能な輝度値の範囲が０〜１．０であれば、０．９８程度に設定される。輝度閾値Ｉｓは、撮像素子２０８の撮像特性などに応じて設定されればよい。

つまり、輝度飽和位置検出部１１０は、輝度が飽和している画像位置に撮像された被写体を光源と仮定して検出する。実際の撮影環境においては、蛍光灯やランプなど、他の被写体に比べて非常に明るい被写体の輝度が飽和することが多い。したがって、輝度飽和位置に撮像された被写体を光源と仮定することは妥当性を損なわない。図８は、図５Ｂの撮影画像から検出された輝度飽和位置を示す。

次に、光源像モデル作成部１１１は、輝度飽和位置の画像と輝度飽和位置に対応するＰＳＦ画像との畳込み積分を行うことにより光源像モデルを作成する。光源像モデル作成部１１１は、畳込み積分部１１５とＰＳＦ抽出部１１６とを備える。

畳込み積分部１１５は、輝度飽和位置の輝度値を一定値Ｉｃと設定し、かつ、その他の画像位置の輝度値を０と設定した光源形状画像Ｉｆ（ｘ，ｙ）を作成する。そして、畳込み積分部１１５は、ＰＳＦ抽出部１１６によって抽出された画像位置毎のＰＳＦ画像Ｉｐｓｆ（ｘ，ｙ）と光源形状画像Ｉｆ（ｘ，ｙ）との畳込み積分を式（２）に示すように行うことにより、光源像モデルＩｍ（ｘ，ｙ）を作成する。

ここで、ｕ及びｖは、それぞれ画像水平方向及び垂直方向の画像位置を表わす。

なお、畳込み積分部１１５は、Ｉｍ（ｘ，ｙ）を畳込み積分により求めたが、必ずしもこのように求める必要はない。例えば、畳込み積分部１１５は、以下のようにＩｍ（ｘ，ｙ）を求めてもよい。まず、畳込み積分部１１５は、Ｉｆ（ｘ，ｙ）及びＩｐｓｆ（ｘ，ｙ）をそれぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを用いてフーリエ変換する。そして、畳込み積分部１１５は、フーリエ変換後のデータを周波数領域上で乗算する。最後に、畳込み積分部１１５は、乗算後のデータを逆フーリエ変換することにより光源像モデルＩｍ（ｘ，ｙ）を算出する。なお、畳込み積分部１１５は、演算量などを考慮して空間領域で演算を行うか周波数領域で演算を行うかを決めればよい。

ＰＳＦ抽出部１１６は、メモリ等に予め保存された複数のＰＳＦ画像の中から各画像位置に対応するＰＳＦ画像を抽出する。なお、ＰＳＦ画像Ｉｐｓｆ（ｘ，ｙ）が画像位置毎に予め保存された場合、膨大なメモリ量が必要となる。そこで、ＰＳＦ抽出部１１６は、画像位置の集合であるブロック（例えば、６４×６４画素）ごとに保存されたＰＳＦ画像の中から、各画像位置が属するブロックのＰＳＦ画像を、各画像位置に対応するＰＳＦ画像として抽出してもよい。この場合、例えば、正方形のブロック、長方形のブロック、もしくは光軸を中心とした輪帯状のブロックごとにＰＳＦ画像が保存されればよい。これにより、ＰＳＦ画像を保存するためのメモリ量を削減することができる。

なお、ブロックサイズを大きくするほど、ＰＳＦ画像の保存に必要なメモリ量は削減できるが、実際のＰＳＦ画像と抽出されたＰＳＦ画像とのかい離が大きい画像位置が増加してしまう。その結果、光源像の推定精度が低下してしまう。したがって、撮像装置に搭載するメモリ量と光源像の推定精度とのバランスを考慮して、ブロックサイズが決定されることが好ましい。

図９Ａは、図２Ａに示したＰＳＦ画像及び図８の光源形状画像から式（２）を用いて作成された光源像モデルを示す。図９Ｂは、図９Ａの光源像モデルの輝度推移を示す。なお、光源像モデルは、ここでは輝度最大値が１．０となるように正規化されている。正規化は、実装時のシステム仕様に応じて実施されればよい。

次に、輝度傾斜検出部１１２の処理について説明する。

輝度傾斜検出部１１２は、輝度飽和位置検出部１１０が検出した輝度飽和位置の周辺部における撮影画像の輝度傾斜Ｄｍを検出する。具体的には、まず、輝度傾斜検出部１１２は、隣り合う画像位置の輝度値の差分の絶対値を微分値として微分演算により算出する。

図１０は、図６Ｂの輝度推移から微分演算により算出した、輝度飽和位置の周辺部における輝度値の微分値の推移を示す。ここでは、輝度傾斜検出部１１２は、輝度飽和位置の光軸側の微分値の最大値を輝度傾斜Ｄｍとして検出する。なお、輝度傾斜Ｄｍは、必ずしも輝度飽和位置の周辺部の微分値の最大値である必要はない。例えば、輝度傾斜Ｄｍは、輝度飽和位置の周辺部の微分値の平均値であってもよい。

次に、光源像推定部１０５に含まれる光源像ゲイン調整部１１３の処理を説明する。

図１１は、輝度傾斜Ｄｍと撮像面２０９での光源像の実際の輝度最大値との関係を示す。

図１１において、第１データ３０１は、図４に示した蛍光灯を撮影したときの、輝度傾斜Ｄｍと撮像面２０９での実際の輝度最大値との関係を示す。第１データ３０１から、輝度傾斜Ｄｍと輝度最大値とは、ほぼ比例の関係にあることが分かる。

また、図１１において、第２データ３０２は、図４に示した蛍光灯の幅を約１／２倍にした蛍光灯を撮影したときの、輝度傾斜Ｄｍと輝度最大値との関係を示す。第２データ３０２から、蛍光灯の幅を１／２倍にしても、輝度傾斜Ｄｍと輝度最大値との関係は大きく変化しないことがわかる。

すなわち、第１データ３０１と第２データ３０２との間で、同一の輝度傾斜Ｄｍに対する輝度最大値は１割程度しか変化していない。つまり、光源形状の変化に対して輝度傾斜Ｄｍがあまり変動しないことが分かる。したがって、光源像ゲイン調整部１１３は、輝度飽和位置の周辺部の輝度傾斜Ｄｍを検出することにより、光源形状に関わらず、光源の撮像面２０９での実際の輝度最大値を推定することが可能となる。

このように、撮影画像の一部領域において輝度が飽和している場合でも、飽和している領域の周辺部の輝度傾斜は、飽和している領域に撮像された光源の撮像面２０９上の実際の輝度最大値に比例している。さらに、被写体の形状が変わっても飽和している領域の周辺部の輝度傾斜の大きさは、大きく変化しない。したがって、光源像ゲイン調整部１１３は、輝度傾斜Ｄｍと輝度最大値との関係を予め記憶しておけば、輝度傾斜Ｄｍから輝度最大値を精度よく推定することができる。そして、このように推定された輝度最大値を用いて光源像モデルの輝度値を調整することにより、画像処理装置１０２は、撮影画像から不要光を低減することができる。

具体的には、光源像ゲイン調整部１１３は、式（３）を利用して、検出した輝度傾斜Ｄｍから撮像面２０９での輝度最大値Ｉｍａｘを算出する。なお、この式（３）が、撮影画像の輝度傾斜と撮像面２０９上の輝度最大値との予め定められた関係に相当する。

本実施の形態においては、式（３）におけるパラメータＡ及びＢを、Ａ＝２．６１５３、Ｂ＝０とした。これらのパラメータＡ及びＢの値は、輝度傾斜Ｄｍから得られる輝度最大値Ｉｍａｘが、実際の輝度最大値（図１１の第１データ３０１）より１割程度小さくなるように設定されている。

なお、輝度傾斜Ｄｍから得られる輝度最大値Ｉｍａｘが、実際の輝度最大値（図１１の第１データ３０１）と同一となるようにパラメータＡ及びＢの値を設定してもよい。しかし、図１１の第２データ３０２のように、光源形状が変わった場合に、輝度傾斜Ｄｍに対する実際の輝度最大値も若干変動する可能性がある。そこで、上記のように、パラメータＡ及びＢの値は、輝度最大値Ｉｍａｘが第１データ３０１によって示される実際の輝度最大値より若干小さめとなるように設定されることが好ましい。これにより、光源像ゲイン調整部１１３は、光源形状が変化したときに輝度最大値を実際より大きく推定してしまうことを抑制することができる。その結果、不要光減算部１０６は、撮影画像から過剰に不要光成分を減算することを抑制することができる。

より具体的には、本実施の形態では、最小二乗法などを用いて図１１の第１データ３０１から得られる近似直線よりも、式（３）のパラメータＢの値が小さめに設定されている。これにより、輝度最大値Ｉｍａｘが実際の輝度最大値より大きく推定されることが抑制される。

光源像ゲイン調整部１１３は、式（３）に基づき算出した輝度最大値Ｉｍａｘを光源像モデルＩｍ（ｘ，ｙ）に乗じることにより、推定光源像Ｉｅ（ｘ，ｙ）を作成する。つまり、光源像ゲイン調整部１１３は、輝度飽和位置の輝度値が輝度最大値Ｉｍａｘと一致するように、光源像モデルＩｍ（ｘ，ｙ）の輝度値を調整することにより、撮像面２０９上の光源像を推定する。

なお、ここでは、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの予め定められた関係は、１次関数で表わされたが、必要に応じて２次関数など適当な多項式で表わされてもよい。また、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの関係は、輝度傾斜Ｄｍに輝度最大値Ｉｍａｘが対応付けられたテーブルで表わされてもよい。この場合、光源像ゲイン調整部１１３は、そのテーブルを参照して、輝度傾斜Ｄｍに対応する輝度最大値Ｉｍａｘを推定すればよい。なお、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの関係が数式として記憶された場合の方が、テーブルとして記憶される場合よりも、メモリ量を低減することができる。

また、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの予め定められた関係は、画像位置ごとに記憶されていることが好ましい。これにより、光源像ゲイン調整部１１３は、撮影画像中の輝度飽和位置に応じて輝度最大値をさらに正確に推定することが可能となる。なお、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの予め定められた関係は、画像位置の集合であるブロック（例えば６４×６４画素）ごとに記憶されていてもよい。この場合、輝度傾斜Ｄｍと輝度最大値Ｉｍａｘとの予め定められた関係が画像位置ごとに記憶されている場合よりも、メモリ量を低減することができる。

以上のように、光源像ゲイン調整部１１３は、輝度傾斜と輝度最大値との予め定められた関係を利用して、検出された輝度傾斜に対応する撮像面２０９上の輝度最大値を推定する。そして、光源像ゲイン調整部１１３は、推定した輝度最大値を用いて光源像モデルの輝度値を調整する。このように輝度値が調整された推定光源像Ｉｅ（ｘ，ｙ）は、撮影画像中で輝度が飽和することにより失われた、光源によって形成された撮像面２０９上の輝度分布を復元したものとみなすことができる。

次に、不要光減算部１０６の処理について説明する。不要光減算部１０６は、輝度飽和位置以外の画像位置において、撮影画像Ｉｔ（ｘ，ｙ）から推定光源像Ｉｅ（ｘ，ｙ）を減算することにより、撮影画像よりも不要光が低減された出力画像を生成する。つまり、不要光減算部１０６は、推定光源像のうち輝度飽和位置以外の画像位置の輝度値を、撮影画像の対応する画像位置の輝度値から減算する。

図１２Ａは、本発明の実施の形態における出力画像の一例を示す。図１２Ｂは、図１２Ａに示す出力画像の中心付近の画像水平方向の輝度推移を示す。図１２Ｂにおいて、実線３１１は出力画像の輝度推移を表わし、点線３１２は撮影画像Ｉｔ（ｘ，ｙ）の輝度推移を表わし、破線３１３は推定光源像Ｉｅ（ｘ，ｙ）から得られる不要光の輝度推移（撮影画像からの減算量）を表わす。減算量は、Ｉｔ（ｘ，ｙ）の輝度が飽和している位置では０となっている。図１２Ａより、出力画像では撮影画像の不要光が大幅に低減されているのが分かる。

次に、上記と被写体の形状が異なる場合について説明する。

図１３Ａは、本発明の実施の形態における被写体の他の一例を示す。具体的には、図１３Ａは、図４で示した被写体よりも幅が約１／２の被写体を示す。より具体的には、図１３Ａは、図４で示した蛍光灯の幅を約１／２倍にした光源を示す。

図１３Ｂは、本発明の実施の形態における撮影画像の他の一例を示す。具体的には、図１３Ｂは、図１３Ａに示す被写体を撮影したときの撮影画像Ｉｔ（ｘ，ｙ）を示す。図１３Ｂの撮影画像では、図５Ｂと同様に、被写体が撮像された画像位置の輝度が飽和している。

図１３Ｃは、本発明の実施の形態における出力画像の他の一例を示す。具体的には、図１３Ｃは、図１３Ｂに示す撮影画像から不要光を低減した後の出力画像を示す。

図１３Ｄは、図１３Ｃの出力画像の画像中央部付近の画像水平方向の輝度推移を示す。図１３Ｄにおいて、縦軸が輝度値を表わし、横軸が画像位置を表わす。図１２Ｂと同様に、実線３２１は出力画像の輝度推移を表わし、点線３２２は撮影画像Ｉｔ（ｘ，ｙ）の輝度推移を表わし、破線３２３は推定光源像Ｉｅ（ｘ，ｙ）から得られる不要光の輝度推移（撮影画像からの減算量）を表わす。

図１４Ａは、本発明の実施の形態における被写体の他の一例を示す。具体的には、図１４Ａは、ハロゲン電球などの円形の光源を示す。図１４Ｂは、本発明の実施の形態における撮影画像の他の一例を示す。具体的には、図１４Ｂは、図１４Ａに示す被写体を撮影したときの撮影画像Ｉｔ（ｘ，ｙ）を示す。図１４Ｂの撮影画像では、図５Ｂと同様に、被写体が撮像された画像位置の輝度が飽和している。

図１４Ｃは、本発明の実施の形態における出力画像の他の一例を示す。具体的には、図１４Ｃは、図１４Ｂに示す撮影画像から不要光を低減した後の出力画像を示す。

図１４Ｄは、図１４Ｃの出力画像の画像中央部付近の画像水平方向の輝度推移を示す。図１４Ｄにおいて、縦軸が輝度値を表わし、横軸が画像位置を表わす。図１２Ｂと同様に、実線３３１は出力画像の輝度推移を表わし、点線３３２は撮影画像Ｉｔ（ｘ，ｙ）の輝度推移を表わし、破線３３３は推定光源像Ｉｅ（ｘ，ｙ）から得られる不要光の輝度推移（撮影画像からの減算量）を表わす。

なお、図１３Ｃ又は図１４Ｃの出力画像を生成する際に、光源像ゲイン調整部１１３は、図１２Ａの出力画像を生成したときと同一のパラメータＡ及びＢの値が設定された式（３）を用いて、輝度最大値を推定している。図１３Ｃ又は図１４Ｃの出力画像から分かるように、被写体の形状が変わっても、出力画像では撮影画像の不要光が大幅に低減されている。

次に、以上のように構成された撮像装置１００の各種動作について説明する。

図１５Ａは、本発明の実施の形態における画像処理を示すフローチャートである。図１５Ａにおいて、撮像部１０１は、すでに、光学系２００を介して撮像された撮影画像を作成しているとする。また、図１５Ｂは、本発明の実施の形態における光源像推定処理の一例を示すフローチャートである。

まず、輝度飽和位置検出部１１０は、撮影画像中の輝度飽和位置を検出する（Ｓ１０２）。

輝度傾斜検出部１１２は、ステップＳ１０２で検出した輝度飽和位置の周辺部の輝度傾斜Ｄｍを、微分演算を行うことにより検出する（Ｓ１０３）。光源像推定部１０５は、検出された輝度傾斜Ｄｍに基づいて撮像面２０９上の光源像を推定する（Ｓ１０４）。

本実施の形態におけるステップＳ１０４の処理の詳細の一例は、図１５Ｂに示すとおりである。なお、ステップＳ１０４の処理は、必ずしも図１５Ｂように行われる必要はない。つまり、ステップＳ１０４では、輝度飽和位置の画像と、輝度飽和位置に対応するＰＳＦ画像と、輝度傾斜とに基づいて、輝度傾斜が大きいほど輝度値が大きくなるように、輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布が推定されればよい。以下に、図１５Ｂに示すフローチャートについて説明する。

まず、ＰＳＦ抽出部１１６は、ステップＳ１０２で検出した輝度飽和位置に対応するＰＳＦ画像をメモリ等にあらかじめ保存された複数のＰＳＦ画像の中から抽出する（Ｓ１０５）。なお、ＰＳＦ抽出部１１６は、必要に応じてメモリに保存していたＰＳＦ画像の回転処理を行うことにより、輝度飽和位置に対応するＰＳＦ画像を作成してもよい。あるいは、ＰＳＦ抽出部１１６は、ブロック毎に同一のＰＳＦ画像をあらかじめ保存しておき、画素飽和位置が属するブロックのＰＳＦ画像を読み出してきてもよい。

続いて、畳込み積分部１１５は、ステップＳ１０２で検出した輝度飽和位置に基づき作成した光源形状画像と、ステップＳ１０３で抽出したＰＳＦ画像の２つ画像の畳込み積分を行うことにより、光源像モデルを作成する（Ｓ１０６）。なお、畳込み積分部１１５は、畳込み積分の代わりに、２つの画像をそれぞれＦＦＴなどによりフーリエ変換した後に乗算し、逆フーリエ変換することにより、光源像モデルを作成してもよい。

次に、光源像ゲイン調整部１１３は、輝度傾斜が大きいほど輝度値が大きくなるように光源像モデルの輝度値を調整することにより、光源像の輝度分布を推定する（Ｓ１０７）。具体的には、光源像ゲイン調整部１１３は、撮影画像の輝度傾斜と撮像面上の輝度最大値との予め定められた関係を利用して、検出された輝度傾斜Ｄｍに対応する撮像面上の輝度最大値Ｄｍａｘを推定する。そして、光源像ゲイン調整部１１３は、光源像モデルと輝度最大値Ｄｍａｘとに基づき、撮像面２０９上での光源の輝度分布を光源像として推定する。

以上のように、ステップＳ１０４において光源像が推定された後、不要光減算部１０６は、撮影画像の輝度飽和位置以外の画像位置において、撮影画像の輝度値から、ステップＳ１０６で推定した撮像面２０９での光源像の輝度値を減算することにより、不要光が低減された出力画像を生成する（Ｓ１０８）。

以上、本実施の形態によれば、明るい被写体を撮影した撮影画像に視認可能な不要光が発生する場合であっても、撮影画像の輝度飽和位置の画像とＰＳＦ画像とから光源像モデルを推定し、また、輝度飽和位置の周辺の輝度傾斜から推定された輝度最大値を用いて光源像モデルの輝度値を調整することにより、１回の撮影で得られた撮影画像を用いて当該撮影画像から適切に不要光を低減することが可能となる。

つまり、本実施の形態における画像処理装置１０２によれば、撮像画像の輝度傾斜が大きいほど輝度値が大きくなるように、輝度飽和位置に撮像された被写体によって形成される撮像面２０９上の輝度分布を推定することができる。つまり、輝度が飽和していることにより撮影画像から被写体の正しい輝度分布が得られない場合であっても、輝度傾斜を用いて撮像面２０９上の輝度分布を正確に推定することができる。このように推定された撮像面２０９上の輝度分布を用いて撮影画像から不要光の輝度値を減算することにより、１枚の撮影画像を用いて当該撮影画像よりも不要光が適切に低減された出力画像を生成することが可能となる。

さらに、画像処理装置１０２によれば、ＰＳＦ画像に基づいて推定された撮像面２０９上の輝度分布を用いて、撮影画像から不要光の輝度値を減算することができる。つまり、設計次数以外の不要回折光のみに着目して画像処理を行うわけではないので、次数に依存せずに発生する不要光を撮影画像から低減することも可能となる。

またさらに、画像処理装置１０２によれば、撮影画像の輝度傾斜と撮像面２０９上の輝度最大値との予め定められた関係を利用して輝度最大値を正確に推定することができる。このように推定された輝度最大値を用いて光源像モデルの輝度値を調整することにより、被写体によって形成される撮像面２０９上の輝度分布を正確に推定することができる。したがって、撮影画像よりも不要光が適切に低減された出力画像を生成することが可能となる。

以上、本発明の一態様に係る撮像装置１００及び画像処理装置１０２について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、上記実施の形態において、輝度傾斜検出部１１２は、図１０に示すように、輝度飽和位置の周辺部のうち光軸２１０側の輝度傾斜を検出していたが、光軸２１０とは反対側の輝度傾斜を検出してもよい。例えば、図１０では、輝度傾斜検出部１１２は、輝度飽和位置の右側における微分値の最大値を輝度傾斜として検出してもよい。回折レンズ２０２を含む光学系２００を用いて撮影された画像では、輝度飽和位置の光軸２１０側に大きな不要光が発生する。つまり、光軸２１０と反対側の輝度傾斜は、光軸２１０側の輝度傾斜よりも不要光の影響が少ない。したがって、輝度傾斜検出部１１２は、光軸２１０と反対側の輝度傾斜を検出することにより、検出される輝度傾斜に対する不要光の影響を抑制することができる。その結果、光源像推定部１０５は、撮像面２０９上の光源像をさらに正確に推定することが可能となる。

また、上記実施の形態において、光源像推定部１０５は、輝度傾斜に基づいて光源像モデルの輝度値を調整していたが、必ずしも光源像モデルの輝度値を調整する必要はない。例えば、光源像推定部１０５は、輝度傾斜に基づいて、ＰＳＦ画像の輝度値、又は撮影画像中の輝度飽和位置の画像の輝度値を調整してもよい。つまり、光源像推定部１０５は、必ずしも図７Ｂのように構成される必要はない。このような場合であっても、ＰＳＦ画像の輝度値、又は撮影画像中の輝度飽和位置の画像の輝度値を、輝度傾斜が大きいほど大きくなるように調整することにより、光源像推定部１０５は、光源像モデルの輝度値を調整する場合と同様に光源像を正確に推定することができる。

また、上記実施の形態において、光源像ゲイン調整部１１３は、輝度傾斜から輝度最大値を推定していたが、輝度最大値の代わりに、光源像モデルなどの輝度値を調整するための係数を推定してもよい。

なお、上記実施の形態では、白黒画像の不要光低減について説明したが、例えばベイヤー配列のカラーフィルタを用いた撮像素子や、プリズムを用いた赤、緑、青用の３枚構成の撮像素子などを用いて撮影されたカラー用途の撮影画像の場合であっても、本発明を適用することができる。具体的には、画像処理装置１０２は、赤、緑、青それぞれの画像について、上記と同様に不要光を低減した画像を作成する。そして、画像処理装置１０２は、不要光を低減した赤、緑、青の画像を合成してカラー画像を作成すればよい。この時、画像処理装置１０２は、赤、緑、青それぞれ色毎に異なるＰＳＦ画像を用いて光源像を推定してもよい。また、画像処理装置１０２は、例えば緑など一色のみの光源像モデルを計算し、その光源像モデルを用いて輝度飽和位置周辺の輝度傾斜に基づき、赤、緑、青の各色の不要光を低減してもよい。このとき、画像処理装置１０２は、各色に応じて光源像の輝度最大値の比をあらかじめ決めておき、その比に基づいて各色で不要光の低減量を異なるように設定してもよい。

なお、上記実施の形態では、回折光学素子を含む光学系を用いて撮影された撮影画像から不要光を低減する例を示した。しかし、回折光学素子を含まない光学系を用いて撮影された撮影画像であっても、画像処理装置１０２は、上記実施の形態と同様に撮影画像から不要光を低減することができる。例えば、光学系の収差が大きいなどの理由により撮影画像に不要光が発生する場合についても、飽和している画像領域の周辺部の輝度傾斜は、飽和している光源像の輝度最大値に比例し、かつ被写体が変わっても飽和している画像領域の周辺部の輝度傾斜の大きさは大きく変化しない。したがって、回折光学素子を含まない光学系を用いて撮影された撮影画像に対しても本発明が適用できることは言うまでもない。この場合、撮影画像の輝度傾斜と撮像面２０９上の輝度最大値との予め定められた関係を示す式（３）のパラメータＡ及びＢは、光学系に応じて適当に設定されればよい。例えば、撮影画像の輝度傾斜と撮像面２０９上の輝度最大値との組み合わせを予め複数測定し、測定された複数の組み合わせにおいて最小二乗法などを用いて算出される近似直線に基づいて、パラメータＡ及びＢが設定されればよい。

また、上記実施の形態における画像処理装置１０２が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１０２は、輝度飽和位置検出部１１０と、輝度傾斜検出部１１２と、光源像推定部１０５と、不要光減算部１０６とを備えるシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、撮影画像から不要光を低減することができる画像処理装置、又はその画像処理装置を備えるデジタルスチルカメラ又はデジタルビデオカメラなどの撮像装置に有用である。

１００ 撮像装置
１０１ 撮像部
１０２ 画像処理装置
１０５ 光源像推定部
１０６ 不要光減算部
１１０ 輝度飽和位置検出部
１１１ 光源像モデル作成部
１１２ 輝度傾斜検出部
１１３ 光源像ゲイン調整部
１１５ 畳込み積分部
１１６ ＰＳＦ抽出部
２００ 光学系
２０１ レンズ
２０２ 回折レンズ
２０３ 第１部材
２０４ 第２部材
２０６ 回折格子
２０８ 撮像素子
２０９ 撮像面
２１０ 光軸
２１１ 絞り

Claims (8)

1. 撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する輝度飽和位置検出部と、
   前記輝度飽和位置の周辺部の輝度傾斜を検出する輝度傾斜検出部と、
   前記輝度飽和位置の画像と、前記輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）画像と、前記輝度傾斜とに基づいて、前記輝度傾斜が大きいほど輝度値が大きくなるように、前記輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定する光源像推定部と、
   前記輝度分布を用いて、前記撮影画像から不要光の輝度値を減算する不要光減算部とを備える
   画像処理装置。
2. 前記光源像推定部は、
   前記輝度飽和位置の画像と前記輝度飽和位置に対応するＰＳＦ画像との畳込み積分を行うことにより光源像モデルを作成する光源像モデル作成部と、
   前記輝度傾斜が大きいほど輝度値が大きくなるように前記光源像モデルの輝度値を調整することにより、前記撮像面上の輝度分布を推定する光源像ゲイン調整部とを備える
   請求項１に記載の画像処理装置。
3. 前記光源像ゲイン調整部は、撮影画像の輝度傾斜と撮像面上の輝度最大値との予め定められた関係を利用して、検出された前記輝度傾斜に対応する前記撮像面上の輝度最大値を推定し、推定した前記輝度最大値を用いて前記光源像モデルの輝度値を調整する
   請求項２に記載の画像処理装置。
4. 前記撮影画像は、回折光学素子を含む光学系を用いて撮影された画像であり、
   前記輝度傾斜検出部は、前記輝度飽和位置の周辺部のうち前記光学系の光軸と反対側の輝度傾斜を検出する
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置は、集積回路として構成されている
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 請求項１〜５のいずれか１項に記載の画像処理装置と、
   光学系及び撮像素子を有し、前記撮影画像を出力する撮像部とを備える
   撮像装置。
7. 撮影画像中で輝度値が所定の値より大きな値となる位置である輝度飽和位置を検出する輝度飽和位置検出ステップと、
   前記輝度飽和位置の周辺部の輝度傾斜を検出する輝度傾斜検出ステップと、
   前記輝度飽和位置の画像と、前記輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）画像と、前記輝度傾斜とに基づいて、前記輝度傾斜が大きいほど輝度値が大きくなるように、前記輝度飽和位置に撮像された被写体によって形成される撮像面上の輝度分布を推定する光源像推定ステップと、
   前記輝度分布を用いて、前記撮影画像から不要光の輝度値を減算する不要光減算ステップとを含む
   画像処理方法。
8. 請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images