JP5124835B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理装置および画像処理方法、ならびに当該画像処理装置用のプログラムに関する。

受光素子アレイのピッチの２倍よりも大きなＰＳＦを有する対物オプチクスを備えたカメラが知られている（例えば、特許文献１参照。）。また、撮影モード選択に応じて、撮像処理・画像処理を適宜に変更することにより、良好な画像を手軽に撮像できる電子カメラが知られている（例えば、特許文献２参照。）。
特表２００６−５１９５２７号公報 特開２００１−３１１８６７号公報

先行技術文献１の技術によると画像全体が復元されるが、画像全体を復元するのは非常に演算コストが高い処理になってしまう。また、物体までの距離が大きく異なる物体に対しては、ＯＴＦに違いが生じてしまう。また、軸上の物体と軸外の物体とについても、ＯＴＦが異なる場合がある。したがって、全画像領域に同じ復元処理をかけると、アーチファクトが発生してしまう虞がある。先行技術文献２には、光学的伝達関数を用いた補正方法について何ら記載されていない。

上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部と、領域特定部が特定した部分領域の画像を、光学系の光学伝達関数に応じて補正する補正部とを備える。

本発明の第２の形態によると、画像処理方法であって、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定段階と、領域特定段階において特定された部分領域の画像を、光学系の光学伝達関数に応じて補正する補正段階とを備える。

本発明の第３の形態によると、画像処理装置用のプログラムであって、画像処理装置を、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部、領域特定部が特定した部分領域の画像を、光学系の光学伝達関数に応じて補正する補正部として機能させる。

本発明の第４の形態によると、画像処理装置であって、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像を、光学系の光学伝達関数に応じて補正する補正部と、補正部により補正された画像において、光学系の光学応答が過剰に補正された部分領域である過剰補正部分領域を特定する領域特定部と、領域特定部が特定した過剰に補正された部分領域において、補正部による補正強度を抑制する補正制御部とを備える。

本発明の第５の形態によると、画像処理方法であって、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像を、光学系の光学伝達関数に応じて補正する補正段階と、補正段階において補正された画像において、光学系の光学応答が過剰に補正された部分領域である過剰補正部分領域を特定する領域特定段階と、領域特定段階において特定された過剰に補正された部分領域において、補正段階における補正強度を抑制する補正制御段階とを備える。

本発明の第６の形態によると、画像処理装置用のプログラムであって、画像処理装置を、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像を、光学系の光学伝達関数に応じて補正する補正部、補正部により補正された画像において、光学系の光学応答が過剰に補正された部分領域である過剰補正部分領域を特定する領域特定部、領域特定部が特定した過剰に補正された部分領域において、補正部による補正強度を抑制する補正制御部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像装置１００のブロック構成の一例を示す。撮像装置１００は、被写体を撮像して画像を生成する。撮像装置１００は、光を結像する光学系の一例としてのレンズ系１１０、レンズ系１１０を通過した光を受光する受光部１２０、Ａ／Ｄ変換部１２５、線形処理部１３０、補正部１４０、非線形処理部１７０、出力部１５０、領域特定部１６０、距離取得部１６５、条件格納部１８０、パラメータ格納部１８５、および補正制御部１７５を備える。

レンズ系１１０は、物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする。なお、レンズ系１１０の光学特性については図２に関連して定性的に説明する。

受光部１２０は、２次元的に配置された複数の受光素子を有する。複数の受光素子は、レンズ系１１０により結像された被写体からの光を受光する。Ａ／Ｄ変換部１２５は、複数の受光素子がそれぞれ受光した受光量を示す信号をＡ／Ｄ変換して、受光量に線形なデジタルの画素値を線形処理部１３０に供給する。線形処理部１３０は、受光量に対して線形性を保持した状態で画素値を処理する。線形処理部１３０による処理としては、暗時補正、欠陥画素補正等を例示することができる。線形処理部１３０によって処理された画素値は、領域特定部１６０、補正部１４０、および非線形処理部１７０に供給される。

補正部１４０は、線形処理部１３０からの画素値によって示される画像を補正する。例えば、補正部１４０は、Ａ／Ｄ変換部１２５から供給された複数の画素値およびレンズ系１１０の光学的伝達関数に基づいて、複数の画素値が示す画像を補正する。このように、補正部１４０は、複数の受光素子のそれぞれが受光した光の量に線形な複数の画素値を、レンズ系１１０の光学伝達関数に応じて補正する。

非線形処理部１７０は、補正部１４０によって補正された画像に画像処理を施す。非線形処理部１７０が施す画像処理としては、カラーバランス処理、γ補正処理、色同時化処理、輪郭補正処理、色補正処理等を例示することができる。このように、非線形処理部１７０は、補正部１４０による補正後の複数の画素値を、複数の受光素子のそれぞれが受光した光の量に非線形な画素値に変換する。

以上説明したように、非線形処理部１７０は、補正部１４０によって補正された画像の画素値を、受光素子の受光量に非線形な値に変換する。つまり、補正部１４０は、非線形処理部１７０による処理の前に光学伝達関数に基づいて画像を補正するので、被写体像を正しく復元することができる。

そして、出力部１５０は、画像補正部１４０および非線形処理部１７０によって処理されて得られた出力画像を出力する。例えば、出力部１５０は、出力画像を表示してよい。また、出力部１５０は、記録媒体に出力画像を記録してよい。他にも、出力部１５０は、通信回線に出力を送出してよい。なお、出力部１５０は、出力画像を圧縮してから出力してもよい。

なお、領域特定部１６０は、レンズ系１１０を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する。具体的には、条件格納部１８０は、補正部１４０により補正される部分領域が適合すべき条件を格納している。そして、領域特定部１６０は、画像において条件格納部１８０が格納している条件に適合する部分領域を特定する。そして、補正部１４０は、領域特定部１６０が特定した部分領域の画像を、レンズ系１１０の光学伝達関数に応じて補正する。

一例として、条件格納部１８０は、被写体までの距離に関する条件を格納している。具体的には、条件格納部１８０は、光学伝達関数が略同一となる物点までのレンズ系１１０からの距離範囲を格納している。そして、領域特定部１６０は、条件格納部１８０が格納している距離範囲内となる位置に存在する被写体が撮像されている部分領域を特定する。例えば、距離取得部１６５は、画像に撮像された被写体までのレンズ系１１０からの距離を取得する。そして、記領域特定部１６０は、距離取得部１６５が取得した距離が、条件格納部１８０が格納している距離範囲内である被写体が撮像されている部分領域を特定する。このように、領域特定部１６０は、条件格納部１８０が格納している条件に適合する距離に位置する被写体が撮像されている部分領域を特定する。

他にも、条件格納部１８０は、光学伝達関数が略同一となる物点までのレンズ系１１０からの距離範囲内となる位置に存在する被写体が照明光に照射されたときの画像の明るさに関する条件を格納してよい。そして、領域特定部１６０は、照明光が照射された被写体の画像において、条件格納部１８０が格納している明るさに関する条件に適合する明るさの部分領域を特定してよい。

他にも、条件格納部１８０は、被写体の種類に関する条件を格納してもよい。そして、領域特定部１６０は、条件格納部１８０が格納している被写体の種類の件に適合する種類の被写体が撮像されている部分領域を特定してもよい。また、条件格納部１８０は、被写体の色に関する条件を格納してもよい。そして、領域特定部１６０は、条件格納部１８０が格納している被写体の色に関する条件に適合する被写体が撮像されている部分領域を特定してもよい。

なお、領域特定部１６０は、補正部１４０により補正された画像において、レンズ系１１０の光学応答が過剰に補正された部分領域である過剰補正部分領域を特定する。具体的には、領域特定部１６０は、補正部１４０により補正された画像において、レンズ系１１０による光学応答が予め定められた値より大きく補正された周波数領域が存在する部分領域である過剰補正部分領域を特定する。そして、補正制御部１７５は、領域特定部１６０が特定した過剰に補正された部分領域において、補正部１４０による補正強度を抑制する。このため、出力部１５０から出力される画像にアーチファクトが含まれてしまうことを抑制することができる。

なお、パラメータ格納部１８５は、異なる距離範囲に対応づけて、それぞれの距離範囲にわたる光学伝達関数に応じた補正パラメータを格納している。そして、補正部１４０は、領域特定部１６０が特定した部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけてパラメータ格納部１８５が格納している補正パラメータを用いて補正する。

なお、Ａ／Ｄ変換部１２５、線形処理部１３０、補正部１４０、非線形処理部１７０、出力部１５０、領域特定部１６０、距離取得部１６５、条件格納部１８０、および補正制御部１７５は、この発明における画像処理装置として実装され得る。

図２は、レンズ系１１０の光学特性の一例を模式的に示す。本図には、光軸上の物点からレンズ系１１０に入射した光線のうち、入射瞳２０５において光軸２００から異なる位置に入射した３の光線２１０、光線２２０、光線２３０の軌跡が模式的に示されている。図示されるように、光線２１０、光線２２０、および光線２３０は、この順で入射瞳２０５において光軸２００に近い位置に入射する。

図示されるように、光線２１０は、レンズ系１１０により、近軸焦点の位置２５０より光軸方向にレンズ系１１０より離れた位置２１５で光軸２００と交差する。また、光線２３０は、レンズ系１１０により、位置２１５より光軸方向にレンズ系１１０より離れた位置２３５で光軸２００と交差する。そして、光線２２０は、最も光軸２００から離れた位置に入射する光線２３０は、レンズ系１１０により、位置２１５と位置２３５との間の位置２２５で光軸２００と交差する。

図示されるように、レンズ系１１０による光の拡がりの大きさは、位置２１５から位置２３５の間では略同一の大きさになることが期待される。このように、レンズ系１１０は過剰補正された球面収差を有しており、光を近軸焦点の位置２５０より実質的に遠くに結像する。このため、レンズ系１１０によると、光軸方向の像面位置によらず物点からの光の拡がりの大きさが実質的に略同一となる光軸方向の距離を、球面収差が過剰補正されていない場合に比べて長くすることができる。

このように、当該光軸方向の距離が長くなると、レンズ系１１０からのより広い距離範囲に存在する物点からの光について、光の拡がりの大きさが実質的に略同一となる像面位置が存在し得る。このような像面位置に受光部１２０を設けると、物点までの距離によらず、受光部１２０が設けられた位置における光学伝達関数が実質的に略同一となる。このように、レンズ系１１０は、上述した収差特性によって、物点からの光に対する光学的伝達関数は物点までの距離によらず略同一となる。

以上、図２を用いてレンズ系１１０の光学特性を定性的に説明した。なお、図２に示したレンズ系１１０の模式図は、レンズ系１１０の光学特性を定性的に理解することを目的として作図したものであり、実スケールに従って作図されたものではないことに注意すべきである。

図３は、レンズ系１１０の構成の一例を示す。レンズ系１１０は、絞り７００、レンズ７１０、レンズ７２０、およびレンズ７３０を有する。また、像面は符号７８０で示されている。なお、本図には、複数の光線がレンズ系１１０に重ねて描かれている。以下、レンズ７１０、レンズ７２０、およびレンズ７３０の配置およびそれらの光学特性を説明する。

レンズ７１０およびレンズ７３０の屈折率は、波長４８６．１３３ｎｍ、波長５８７．５６２ｎｍ、および波長６５６．２７３ｎｍの光に対してそれぞれ１．５３１２８７１０、１．５２４７０１６６、および１．５２１９６０９１である。また、レンズ７２０の屈折率は、波長４８６．１３３ｎｍ、波長５８７．５６２ｎｍ、および波長６５６．２７３ｎｍの光に対してそれぞれ１．５９９４３８６９、１．５８５４６９９２、および１．５７９８６３７７である。また、絞り７００は、レンズ７１０の頂点より像面側に０．００１５６６６６１ｍｍ離れて設けられる。

レンズ７１０の厚さは１．９８７０９１ｍｍである。なお、本図の説明における厚さとは、レンズの光軸方向の長さを示す。また、レンズ７１０の物体側表面の曲率半径は１５．４８６７６ｍｍであり、物体側の断面半径は１．１８８９４１ｍｍであり、物体側表面の円錐定数は−９０３７８．４である。また、レンズ７１０の像側表面の曲率半径は−１２．０９０３８ｍｍであり、像側の断面半径は２．１４８０３ｍｍであり、物体側表面の円錐定数は２８．７９３７４。なお、本図の説明において、曲率半径が負である場合は、その表面形状が光に対して凹面であることを示す。

レンズ７２０は、レンズ７１０から像面方向に距離０．４００５２８２ｍｍ離れて設けられる。なお、本図の説明で、レンズ間の距離は、光軸上における、物体側のレンズの像側表面と像側のレンズの物体側表面との間の距離を示す。レンズ７２０の厚さは０．０９２１４７９７ｍｍである。また、レンズ７２０の物体側表面の曲率半径は２．１１４０３５ｍｍであり、物体側表面の断面半径は２．３８１２２ｍｍであり、物体側表面の円錐定数は−０．３９２９２７６である。また、レンズ７２０の像側表面の曲率半径は１．１１９４１４ｍｍであり、像側の断面半径は２．３６２１２４ｍｍであり、像側表面の円錐定数は−２．７８０４６５である。

レンズ７３０は、レンズ７２０から像面方向に距離１．７７０７８９ｍｍ離れて設けられる。レンズ７３０の厚さは０．５２０４４３８ｍｍである。また、レンズ７３０の物体側表面の曲率半径は−０．６００２８９３ｍｍであり、物体側表面の断面半径は３．４８６５７２ｍｍであり、物体側表面の円錐定数は−９５８．９２８９である。また、レンズ７３０の像側表面の曲率は−０．３０１８１７９ｍｍであり、像側の断面半径は４．２６２５０４ｍｍであり、像側表面の円錐定数は−４６５．３０７１である。そして、像面は、レンズ７３０から距離１．１ｍｍ離れた位置に設定されている。

このように、複数のレンズ７１０、レンズ７２０、およびレンズ７３０は、各レンズの中心軸をそろえて同軸に配列されている。したがって、レンズ系１１０は、光軸に関して回転対称である。

また、像面の法線の角度と主光線が像面に入射する角度との差の絶対値は、レンズ系１１０の光学伝達関数の算出誤差を予め定められた値より小さくすべく、予め定められた値より小さい。このように、レンズ系１１０のテレセントリック性をより大きくすることによって、光学伝達関数の算出誤差を低減することができる。例えば、ＭＴＦを算出する場合に、ＦＦＴによっても十分小さい誤差でＭＴＦを算出することができる。このため、レンズ系１１０による画像のボケを高速に復元することが可能になる。

図４は、図３に示したレンズ系１１０の収差特性を示す。本図には、上から順に球面収差図、非点収差および歪曲収差図、および横収差図が示されている。最上段の球面収差図に示されるように、図３に示したレンズ系１１０の球面収差は過剰補正されている。なお、本図において、本球面収差図の横軸は設定された像面に対する位置を示しており、近軸焦点に対する位置を示していないことに注意すべきである。

図示されるように、像面の全面にわたって縦収差は正の値となっている。つまり、少なくとも、レンズ系１１０の入射瞳上において光軸から第１距離だけ離れた位置にある第１入射位置と光軸との間の範囲に入射した光に対して、縦収差の値は正の値となっている。

また、本図の最下段には、複数の像高における横収差を示すグラフが示されている。最左上のグラフは光軸上の横収差図を示しており、最右上のグラフは像高１４．１０ｍｍにおける横収差図を示す。また、最左下のグラフは像高１９．７４ｍｍにおける横収差図、最右下のグラフは像高２８．２０ｍｍにおける横収差図を示す。このように、レンズ系１１０の横収差は、各像高において略同一の形状を示している。

図５は、図３に示したレンズ系１１０の光学伝達特性を示す。本図には、上から順にスポットダイアグラムの像高およびデフォーカス依存性を示すスポットダイアグラム図、ＭＴＦのデフォーカス依存性、およびＭＴＦの空間周波数特性が示されている。

最上段のスポットダイアグラム図には、異なる複数の像高および異なる複数のデフォーカス量におけるスポットダイアグラムが示されている。本スポットダイアグラム図では、同一像高における、異なる複数のデフォーカス量での複数のスポットダイアグラムが横方向に並べられている。また、同一デフォーカス量における、異なる複数の像高における複数のスポットダイアグラムが縦方向に並べられている。

各スポットダイアグラムの左に数値で示された像高が示すように、本スポットダイアグラム図には、光軸上、光軸から１４．１０ｍｍ、光軸から１９．７４ｍｍ、および光軸から２０．２０ｍｍの位置の像高におけるスポットダイアグラムが含まれている。また、各スポットダイアグラムの下に数値で示されたデフォーカス量が示すように、本スポットダイアグラム図には、設定した像面から−７５μｍの位置、像面から−３７．５μｍの位置、像面の位置、像面から３７．５μｍの位置、および像面から７５μｍの位置におけるスポットダイアグラムが含まれている。

本スポットダイアグラム図が示すように、スポットダイアグラムの拡がりは、少なくとも予め定められた範囲の光軸方向の像面位置にわたって略同一であり、像高によらず略同一であることがわかる。このように、レンズ系１１０による物点からの光の拡がりは、予め定められた範囲の光軸方向の像面位置にわたって略同一となる。なお、光の拡がりとは、本図に示すようにスポットダイアグラムの拡がりであってよく、点像分布関数が示す光の拡がりであってもよい。このように、レンズ系１１０による物点からの光の拡がりは、像高によらず略同一であり、レンズ系１１０による物点からの光の拡がりは、少なくとも予め定められた範囲の光軸方向の像面位置にわたって略同一であることがわかる。

また、本図中段に示されるＭＴＦのデフォーカス依存性のグラフが示すように、複数の像高についても、サジタル光線及びメリジオナル光線についても、略同一のＭＴＦ値の分布を持つことが分かる。また、ＭＴＦは、少なくともグラフに示されるデフォーカスの範囲内では、略同一の値を示している。このように、広いデフォーカス範囲にわたってレンズ系１１０のＭＴＦは略同一の値をとる。

また、本図最下段のＭＴＦの空間周波数特性のグラフが示すように、レンズ系１１０は複数の像高についても、サジタル光線及びメリジオナル光線についても、略同一のＭＴＦ周波数特性を持つことが分かる。このように、レンズ系１１０のＭＴＦは、像高によらず略同一であるといえる。また、レンズ系１１０のＭＴＦは、予め定められた範囲の光軸方向の像面位置にわたって略同一となっているといえる。このように、レンズ系１１０は、物点からの光を物点までの距離によらず受光部１２０において略同一の大きさに拡げることにより、物点からの光に対するレンズ系１１０の光学伝達関数を物点までの距離によらず略同一にする。

図６は、受光部１２０が有する受光素子の配列の一例を示す。受光部１２０は、Ｇ成分の光を受光する複数の受光素子６１０ａおよび受光素子６１０ｂ、Ｒ成分の光を受光する受光素子６２０、およびＢ成分の光を受光する受光素子６３０から形成される受光素子ユニット６５０ａを有する。また、受光部１２０は、受光素子ユニット６５０ａと同様の受光素子配列を有する複数の受光素子ユニット（例えば、Ｇ成分の光を受光する複数の受光素子６１１ａおよび受光素子６１１ｂ、Ｒ成分の光を受光する受光素子６２１、およびＢ成分の光を受光する受光素子６３１から形成される受光素子ユニット６５０ｂ）が２次元的に配列されて形成される。

このように、受光部１２０は、複数の色成分毎に、当該色成分の光をそれぞれ受光する複数の受光素子を有しており、複数の受光素子によって略平面状の受光面が形成されている。また、受光部１２０の受光面は、レンズ系１１０の光軸に略垂直に設けられる。なお、受光素子はＣＣＤ撮像素子であってよいし及びＭＯＳ型撮像素子であってもよい。

なお、受光部１２０が設けられた位置におけるレンズ系１１０による物点からの光の拡がりは、受光部１２０が有する複数の受光素子のピッチより大きい。なお、ここでいう受光素子のピッチとは、同じ色成分を示す波長領域の光を受光する受光素子のピッチを示す。例えば、受光素子のピッチとは、受光素子６２０が設けられた位置と受光素子６２１が設けられた位置との間の距離であってよい。このため、レンズ系１１０は、物点からの光を拡げることにより、複数の受光素子のうちの２以上の受光素子に受光させる。

この場合、物点からの光は、レンズ系１１０を通過することによって複数の受光素子によって受光される。このため被写体像はボケてしまうが、レンズ系１１０の光学伝達関数が既知であれば、光学伝達関数が示すレンズ系１１０による拡がりを補正する画像処理によって、被写体像を復元することができる。

例えば、受光部１２０が設けられた位置におけるレンズ系１１０による物点からの光の拡がりは、予め定められた数の受光素子が設けられた範囲の拡がりを有しているとするとすれば、補正部１４０は、予め定められた数の受光素子が受光した光量およびレンズ系１１０の光学伝達関数に基づいて、画像を補正することができる。より具体的には、補正部１４０は、予め定められた数の受光素子（例えば、３×３あるいは７×７等の配列内の受光素子）が受光した受光量を使用して、レンズ系１１０による光学応答を補正する逆フィルタを用いたデコンボリューション処理により、被写体像を鮮明なものに復元することができる。

このように、補正部１４０は、レンズ系１１０による物点からの光の拡がりによる複数の画素値への影響を低減すべく、複数の画素値のうちの２以上の画素値および光学伝達関数に応じて、複数の画素値をそれぞれ補正する。なお、補正部１４０は、各色成分毎の光に対するレンズ系１１０の光学伝達関数に応じて、複数の画素値を色成分毎に補正する。つまり、補正部１４０は、波長に応じた光学伝達関数の違いによる光の拡がりの影響を、適切に補正することができる。

図７は、非線形処理部１７０のブロック構成の一例を示す。非線形処理部１７０は、色補正処理部８１０、γ補正部８２０、色補間処理部８３０、ＹＣ変換部８４０、色差補正部８５０、および輪郭補正部８６０を有する。

色補正処理部８１０は、補正部１４０により補正された画素値を補正部１４０から取得する。色補正処理部８１０は、補正部１４０から取得した画素値のゲイン補正、色補正のマトリクス処理をする。例えば、色補正処理部８１０は、補正部１４０から取得したＲ成分、Ｇ成分、およびＢ成分の強度を示す画素値に対してゲイン調整する。

例えば、色補正処理部８１０は、各色成分の画素値のそれぞれに、色成分毎に定められたゲイン値を乗じてよい。他にも、色補正処理部８１０は、各色成分の画素値のそれぞれを、各色成分の画素値に色成分毎に定められた所定の計数を乗じたものの和の値に変換してよい。例えば、Ｒ成分、Ｇ成分、およびＢ成分の値をそれぞれＲ、Ｇ、およびＢとすると、Ｒ成分の画素値をｕ_Ｒ×Ｒ＋ｕ_Ｇ×Ｇ＋ｕ_Ｂ×Ｂで示される値に変換する。なお、ｕ_Ｒ、ｕ_Ｇ、ｕ_Ｂの値は、出力画素値の色成分毎に異なってよい。このように、色補正処理部８１０は、マトリクス処理により色補正処理をしてよい。このようにして、色補正処理部８１０により、補正部１４０による補正後の複数の画素値が示す画像に、カラーバランス補正が施される。

色補正処理部８１０によって色補正処理された画素値は、γ補正部８２０に供給される。γ補正部８２０は、色補正処理部８１０から供給された画素値にγ補正を施す。γ補正によっても、画素値は受光量に非線形な値に変換され得る。なお、γ補正は、ダイナミックレンジの変換を伴ってよい。このように、γ補正部８２０により、補正後の複数の画素値は、異なるダイナミックレンジの画素値に変換されてよい。

γ補正部８２０によってγ補正処理された画素値は、色補間処理部８３０に供給される。色補間処理部８３０では、γ補正部８２０によって変換された補正後の複数の画素値について同時化処理が施される。具体的には、色補間処理部８３０によって色成分毎に補間処理が施されることによって、各受光素子が設けられた位置に対応する画素値が、各色成分について決定される。例えば、図６に示した受光素子配列のうち、受光素子６２０の位置では、Ｇ成分およびＢ成分の光は受光されていない。したがって、受光素子６２０の位置におけるＧ成分およびＢ成分の画素値は決定されていない。

そこで、色補間処理部８３０は、受光素子６２０が設けられた位置に対応する位置の近傍の画素値（例えば、受光素子６１０ａの位置に対応するＧ成分の画素値および受光素子６１１ａの位置に対応するＧ成分の画素値等）を使用した補間処理により、受光素子６２０が設けられた位置に対応する位置の近傍の画素値を算出する。色補間処理部８３０は、Ｂ成分の画素値についても同様にして算出することができる。また、色補間処理部８３０は、他の位置の画素値についても同様に、受光されていない色成分の画素値を算出することができる。

このように、色補間処理部８３０によって、補正部１４０による補正後の複数の画素値を用いて、補正後の複数の画素値に対して補間処理が施される。既に説明したように、補正部１４０は、各色成分毎の光に対するレンズ系１１０の光学伝達関数に応じて、複数の画素値を色成分毎に補正する。このため、撮像装置１００によると、波長に対する光学伝達関数の違いによって生じる画素値への影響を、色補間処理部８３０による色補間処理の前に補正することができる。

ＹＣ変換部８４０は、色補間処理部８３０により補間処理されて得られたＲＧＢ値から、輝度信号および色差信号とを算出する。ＹＣ変換部８４０によって算出された輝度信号は、輪郭補正部８６０に供給され、輪郭補正部８６０において輪郭補正される。なお、輪郭補正部８６０による処理は、エッジエンハンス処理を含むことができる。このように、輪郭補正部８６０において、補正部１４０による補正後の複数の画素値が示す画像の空間周波数成分を変調する空間周波数処理が、当該画像に施される。また、色差信号は色差補正部８５０に供給され、色差補正部８５０において色調補正等の色差補正が施される。なお、色差補正部８５０による色差補正はカラーエンハンス処理を含むことができる。

以上説明したように、非線形処理部１７０において、画素値は受光量に非線形な値へと変換される。補正部１４０は、非線形処理部１７０による非線形処理がなされる前に、画素値が受光量に線形な段階で、光学伝達関数に基づく逆フィルタ等を用いた補正処理を施すことができるので、被写体像をより正しく復元することができる。

図８は、条件格納部１８０が格納しているデータの一例をテーブル形式で示す。条件格納部１８０は、被写体までの距離の範囲（距離Ｄ１〜Ｄ２）、被写体の輝度の範囲Ｉ１〜Ｉ２、被写体形状の特徴量である形状特徴量、被写体の色の特徴量である色特徴量を格納している。なお、条件格納部１８０は、形状特徴量および色特徴量をそれぞれ複数格納してよい。なお、バーコード領域を検出するための色特徴量としては白、黒、および灰色値の割合を例示することができ、２次元バーコード領域を検出するための形状特徴量としては、格子状のテクスチャパターンを例示することができる。なお、画像がレンズ系１１０によるボケを含んでいても、ボケが数画素分程度であれば、テクスチャ情報を十分に抽出することができる。

そして、領域特定部１６０は、条件格納部１８０が格納している条件に適合する被写体を含む部分領域を特定する。具体的には、領域特定部１６０は、距離Ｄ１〜Ｄ２の範囲に位置する被写体、輝度がＩ１〜Ｉ２の範囲である被写体、上記形状特徴量を有する被写体、あるいは上記色特徴量を有する被写体を含む部分領域を特定する。

図９は、領域特定部１６０により特定された複数の部分領域の一例を示す。領域特定部１６０が、条件格納部１８０が格納している条件に適合する部分領域として、画像９００における部分領域９１０および部分領域９２０を特定したとする。この場合に、補正部１４０は、領域特定部１６０が特定した部分領域９１０および部分領域９２０を、それぞれの部分領域における光学伝達関数が示すレンズ系１１０の光学に応じて補正する。このため、像高によって光学伝達関数が異なる場合であっても、補正部１４０は像高に応じて適切に補正することができる。

なお、条件格納部１８０が格納している距離の範囲Ｄ１〜Ｄ２は、上述したように、レンズ系１１０からの距離が当該範囲内である物点からの光学伝達関数が略一定となる距離の範囲であってよい。このような場合、補正部１４０は、光学伝達関数が略一定となる部分領域を補正するが、当該部分領域以外の部分領域は補正しない。このため、撮像装置１００によると、実際の光学応答とは異なる光学応答に対する逆フィルタで補正することによってアーチファクトが発生することを未然に防ぐことができる。

また、輝度がＩ１〜Ｉ２の範囲の部分領域について補正部１４０が補正する場合についても、上述したように同様の効果を有する。このことは、撮像装置１００が内視鏡システムで使用される撮像デバイスである場合のように、撮像装置１００が近傍の被写体を照明光の下で撮像する場合に特に有効となる。また、補正部１４０は、条件格納部１８０が格納している形状特徴量または色特徴量を有する部分領域を補正するので、観察したい被写体を含む部分領域を補正することができる。また、補正部１４０は特定の部分領域を補正して、他の部分領域を補正しないので、補正にかかる演算時間を短縮することができる。

図１０は、レンズ系１１０における回折限界のＭＴＦを示す。線１０００は、回折限界におけるＭＴＦ特性を示す。なお、上記逆フィルタ等で補正部１４０が光学応答を補正することは、レンズ系１１０および補正部１４０による補正を含めた系全体のＭＴＦ特性を、回折限界を示すＭＴＦ特性に近づけることになる。

図１１は、補正部１４０により補正されたＭＴＦ特性を示す。線１１００は、補正部１４０がある逆フィルタを用いて画像を補正した場合における系全体のＭＴＦ特性を示す。このように、系全体のＭＴＦ特性は、回折限界のＭＴＦ特性（点線１０００）からのずれが生じている。これは、補正部１４０が実際の光学伝達関数とは異なる光学伝達関数に対する逆フィルタで補正した場合に生じることがある。このようなずれが、人の目に高感度な空間周波数領域に生じていると、補正後の画像は人の目に目障りなものになってしまう。

したがって、領域特定部１６０は、回折限界のＭＴＦ特性とのずれが特定の空間周波数領域において生じている部分領域を特定する。例えば、領域特定部１６０は、補正部１４０による補正後の画像において、アーチファクトが発生している部分領域を特定してもよい。他にも、領域特定部１６０は、像高による光学伝達関数の違いに起因するものについては、各部分領域毎の光学伝達関数と、逆フィルタによる周波数領域毎のゲイン量とに基づいて、当該部分領域を特定することができる。そして、補正制御部１７５は、領域特定部１６０が特定した部分領域については、補正部１４０による補正を施さないか、上記の特定の周波数領域におけるゲイン量を低減する。このような処理によって、補正部１４０による補正処理によりアーチファクトが生じることを抑制することができる。

図１２は、撮像画像における複数の画像領域の一例を示す。画像領域Ａは、撮像画像上の中央領域の画像領域であり、画像領域Ｂ〜Ｉは、画像領域Ａの周囲の画像領域である。レンズ系１１０の光軸付近に存在する被写体は、画像領域Ａ内に撮像されることになる。条件格納部１８０は、画像領域Ａ〜Ｉ毎に、各画像領域に撮像される各被写体が存在する距離範囲に関する条件を格納している。また、パラメータ格納部１８５は、画像領域Ａ〜Ｉのそれぞれについて、補正部１４０が各画像領域を補正する場合に用いる補正パラメータを格納している。

図１３は、補正部１４０により像を補正することができる被写体の存在範囲を示す距離範囲の一例を模式的に示す。レンズ系１１０からの距離をｚとすると、条件格納部１８０は、画像領域Ａについて、各被写体までのレンズ系１１０からの距離がｚ１以上でありｚ４以下であることを示す条件を、補正対象の部分領域として特定されるための条件として格納している。また、条件格納部１８０は、画像領域Ｂ〜Ｉについて、各被写体までのレンズ系１１０からの距離がｚ１以上でありｚ３以下であるか、ｚ２以上でありｚ４以下であることを示す条件を、補正対象の部分領域として特定されるための条件として格納している。

領域特定部１６０は、各画像領域について、撮像されている各被写体までの距離の範囲が、条件格納部１８０が各画像領域に対応づけて格納している距離範囲内にあるか否かを判断する。そして、領域特定部１６０は、各被写体までの距離の範囲が当該距離範囲内にある画像領域を、補正部１４０による補正対象の部分領域として特定する。

このように、条件格納部１８０は、距離範囲に関する条件を画像領域毎に格納している。そして、領域特定部１６０は、条件格納部１８０が画像領域毎に格納している条件に適合する部分領域を、それぞれの画像領域毎に特定する。

また、パラメータ格納部１８５は、画像領域Ａ〜Ｉのそれぞれについて、撮像されている各被写体までの距離の範囲に対応づけて、補正パラメータを格納している。補正部１４０は、領域特定部１６０により特定された各画像領域の画像を、撮像されている各被写体までの距離の範囲に対応づけてパラメータ格納部１８５が格納している補正パラメータを用いて補正する。

図１４は、条件格納部１８０およびパラメータ格納部１８５が格納している情報の一例をテーブル形式で示す。なお、以後の説明では、簡単のため、距離範囲ｚ０〜ｚ１を近距離、範囲ｚ１〜ｚ２を中距離、距離範囲ｚ２〜ｚ３を遠距離と呼ぶ。

条件格納部１８０は、画像領域Ａについては、補正対象となる距離範囲として、近距離、中距離、遠距離の全組み合わせを格納している。また、条件格納部１８０は、画像領域Ｂについては、補正対象となる距離範囲として、近距離、中距離、遠距離、近〜中距離、および中〜遠距離の格納している。画像領域Ｃ〜Ｉについても、補正対象となる距離範囲として、条件格納部１８０は、画像領域Ｂと同様に、近距離、中距離、遠距離、近〜中距離、および中〜遠距離を格納している。

また、パラメータ格納部１８５は、画像領域Ａについては、補正対象となる距離範囲である近距離、中距離、および遠距離の組み合わせのそれぞれ対応づけて、補正パラメータＡ１〜Ａ６を格納している。また、パラメータ格納部１８５は、画像領域Ｂについては、補正対象となる距離範囲である距離範囲である近距離、中距離、遠距離、近〜中距離、および中〜遠距離に対応づけて、補正パラメータＢ１〜Ｂ５を格納している。パラメータ格納部１８５は、画像領域Ｃ〜Ｉについても、画像領域Ｂと同様の距離範囲である近距離、中距離、遠距離、近〜中距離、および中〜遠距離に対応づけて、５種類の補正パラメータを格納しているとする。

図１５は、ＭＴＦの空間周波数依存性の一例を模式的に示す。ＭＴＦ１５０１は、レンズ系１１０から距離ｚ１だけ離れた点からの、像面上の特定位置に結像する光に対するＭＴＦを模式的に示す。ＭＴＦ１５０３は、レンズ系１１０から距離ｚ２だけ離れた点からの、当該特定位置に結像する光に対するＭＴＦを模式的に示す。また、ＭＴＦ１５０２は、レンズ系１１０からｚ１より大きくｚ２より小さい距離だけ離れた点からの、当該特定位置に結像する光に対するＭＴＦを模式的に示す。

図示されるように、ＤＣ〜空間周波数ｆ１までの空間周波数帯域において、各ＭＴＦは略一致している。このように上記特定位置の近傍の画像領域に結像する光に対してｚ１〜ｚ２の距離範囲内でＭＴＦが略一致している場合には、ｚ１〜ｚ２の距離範囲に存在する被写体の像は、ＤＣ〜空間周波数ｆ１までの空間周波数帯域については同一の復元フィルタにより鮮明な像に復元され得る。空間周波数ｆ１より高い空間周波数帯域については、復元フィルタの復元強度を実質的に０にしたり、復元後の等価的なＭＴＦの差が実質的に無視できる程度の弱い復元強度にすればよい。補正部１４０がこのような復元フィルタを用いて復元することにより、ＤＣ〜空間周波数ｆ１までの空間周波数帯域については、復元後の等価的なＭＴＦを回折限界のＭＴＦに近づけることができる。また、空間周波数ｆ１より高い空間周波数帯域については、復元後の等価的なＭＴＦの違いを無視できる程度にすることができるので、復元処理によるアーチファクトの発生を抑制することができる場合がある。

上記の例では、近距離の距離範囲内に存在する各被写体の像について、同一の復元フィルタを用いて復元することについて説明した。同様に、中距離、遠距離、近〜中距離、中〜遠距離、近〜遠距離など、他の距離範囲についても、同一の復元フィルタにより鮮明な像に復元し得る空間周波数帯域が定まる。したがって、パラメータ格納部１８５は、これらの距離範囲に対応づけて、光学伝達関数が略一致する空間周波数領域において被写体像を復元する復元フィルタを格納してよい。なお、パラメータ格納部１８５は、画像領域毎にこれらの復元フィルタを格納してよい。そして、補正部１４０は、各画像領域Ａ〜Ｉの画像を、各画像領域内に撮像されている各被写体までの距離範囲に対応づけてパラメータ格納部１８５が格納している復元フィルタを用いて復元する。

このように、パラメータ格納部１８５は、異なる複数の距離範囲に対応づけて、それぞれの距離範囲にわたって光学伝達関数が略一致する空間周波数領域において画像を光学伝達関数に応じて補正する補正パラメータを格納している。補正部１４０は、領域特定部１６０が特定した部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけてパラメータ格納部１８５が格納している補正パラメータを用いて補正する。これにより、アーチファクトが抑制された被写体像を得ることができる。

図１６は、撮像画像の画像例の一例を示す。図示されるように、撮像画像における画像領域Ａおよび画像領域Ｄには被写体ｓ１の像が主として含まれている。また、画像領域Ｂには、被写体ｓ２の像および被写体ｓ３の一部の像が主として含まれている。また、画像領域Ｅには被写体ｓ４の一部の像が含まれており、画像領域Ｆには被写体ｓ３の一部の像および被写体ｓ４の一部の像が含まれている。

図１７は、撮像画像に含まれる被写体ｓ１〜ｓ４と撮像装置１００との間の位置関係を、撮像装置１００による画角とともに模式的に示す。図示されるように、被写体ｓ１および被写体ｓ４は近距離の距離範囲内に存在している。また、被写体ｓ２は中距離の距離範囲内に存在しており、被写体ｓ３は遠距離の距離範囲内に存在している。

画像領域Ａおよび画像領域Ｄの大半の画像領域は、近距離の範囲内に存在する被写体ｓ１の像により占められている。したがって、領域特定部１６０は、画像領域Ａおよび画像領域Ｄを補正部１４０による補正対象の部分領域として特定する。補正部１４０は、画像領域Ａおよび近距離の距離範囲に対応づけてパラメータ格納部１８５が格納している近距離用フィルタＡ１、および、画像領域Ｄおよび近距離の距離範囲に対応づけてパラメータ格納部１８５が格納している近距離用フィルタを、それぞれ画像領域Ａおよび画像領域Ｄを補正する補正パラメータとして決定する。

また、画像領域Ｂは、中〜遠距離の範囲内に存在する被写体ｓ２および被写体ｓ３の像により占められている。したがって、領域特定部１６０は、画像領域Ｂを補正部１４０による補正対象の部分領域として特定する。補正部１４０は、被写体ｓ２および被写体ｓ３が存在する距離範囲（中〜遠距離）に対応する中〜遠距離用フィルタＢ５を、画像領域Ｂを補正する補正パラメータとして決定する。

一方、画像領域Ｆには、被写体ｓ３および被写体ｓ４の像が含まれる。画像領域Ｆ内に撮像されている各被写体が存在する距離範囲は、近距離から遠距離にわたる。上記したように、近距離から遠距離にわたる距離範囲は、画像領域Ｆに対応づけて条件格納部１８０が格納している条件を満たさない。したがって、画像領域Ｆは、領域特定部１６０により補正対象の部分領域としては特定されず、補正部１４０は画像領域Ｆについては補正処理を施さない。

また、被写体ｓ４の像は、画像領域Ｅにも含まれる。領域特定部１６０は、画像領域Ｆを補正対象の部分領域とはしなかったので、同じ被写体ｓ４の像を含む画像領域Ｅについても、補正対象の部分領域とはしない。このように、領域特定部１６０は、補正部１４０による補正対象の部分領域として特定しなかった画像領域に含まれる被写体が、他の画像領域に含まれる場合に、当該他の画像領域についても、補正部１４０による補正対象の部分領域として特定しなくてよい。これにより、同一被写体の像について補正された領域と補正されない領域とが混在してしまう可能性を低減することができる。

なお、領域特定部１６０は、同じ被写体の像であるか否かを、色分布の同一性を判断することにより特定してよい。これにより、領域特定部１６０は、ぼけた被写体像からでも被写体の同一性を判断することができる。

また、近距離の被写体だけが存在する画像領域Ｃは、補正対象の部分領域として領域特定部１６０により特定され、補正部１４０により近距離用フィルタを用いて補正される。また、遠距離の被写体だけが存在する画像領域Ｇ、画像領域Ｈ、および画像領域Ｉは、補正対象の部分領域として領域特定部１６０により特定され、補正部１４０により遠距離用フィルタを用いて補正される。

以上説明したように、条件格納部１８０は、画像領域内に撮像されている各被写体までのレンズ系１１０からの距離範囲に関する条件を格納している。そして、領域特定部１６０は、画像領域内に撮像されている各被写体までのレンズ系１１０からの距離範囲が、条件格納部１８０が格納している距離範囲に関する条件に適合する部分領域を特定する。撮像されている被写体までの距離が広い距離範囲にわたっている場合には、同一の復元フィルタで復元するとアーチファクトが発生してしまうことがある。しかしながら、撮像装置１００によると、条件格納部１８０が格納している距離範囲に関する条件に適合する部分領域を復元対象の画像領域として特定することができるので、アーチファクトの発生を未然に防ぐことができる場合がある。

図１８は、撮像装置１００として機能するコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図１７に関連して説明したＡ／Ｄ変換部１２５、線形処理部１３０、補正部１４０、非線形処理部１７０、出力部１５０、領域特定部１６０、距離取得部１６５、条件格納部１８０、パラメータ格納部１８５、および補正制御部１７５として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。このように、プログラムにより制御される電子情報処理装置などのコンピュータ１５００が撮像装置１００として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像装置１００のブロック構成の一例を示す図である。 レンズ系１１０の光学特性の一例を模式的に示す図である。 レンズ系１１０の構成の一例を示す図である。 図３に示したレンズ系１１０の収差特性を示す図である。 図３に示したレンズ系１１０の光学伝達特性を示す図である。 受光部１２０が有する受光素子の配列の一例を示す図である。 非線形処理部１７０のブロック構成の一例を示す図である。 条件格納部１８０が格納しているデータの一例をテーブル形式で示す図である。 領域特定部１６０により特定された複数の部分領域の一例を示す図である。 レンズ系１１０における回折限界のＭＴＦを示す図である。 補正部１４０により補正されたＭＴＦ特性を示す図である。 撮像画像における複数の画像領域の一例を示す図である。 補正することができる被写体の存在範囲の一例を模式的に示す図である。 条件格納部１８０およびパラメータ格納部１８５が格納している情報の一例をテーブル形式で示す図である。 ＭＴＦの空間周波数依存性の一例を模式的に示す図である。 撮像画像の画像例の一例を示す図である。 被写体と撮像装置１００との間の位置関係を模式的に示す図である。 撮像装置１００として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。

１００ 撮像装置
１１０ レンズ系
１２０ 受光部
１２５ Ａ／Ｄ変換部
１３０ 線形処理部
１４０ 補正部
１５０ 出力部
１６０ 領域特定部
１６５ 距離取得部
１７０ 非線形処理部
１７５ 補正制御部
１８０ 条件格納部
１８５ パラメータ格納部
２００ 光軸
２０５ 入射瞳
２１０ 光線
２２０ 光線
２３０ 光線
６１０ 受光素子
６２０ 受光素子
６３０ 受光素子
６１１ 受光素子
６２１ 受光素子
６３１ 受光素子
６５０ 受光素子ユニット
７００ 絞り
７１０ レンズ
７２０ レンズ
７３０ レンズ
８１０ 色補正処理部
８２０ γ補正部
８３０ 色補間処理部
８４０ ＹＣ変換部
８５０ 色差補正部
８６０ 輪郭補正部
９００ 画像
９１０ 部分領域
９２０ 部分領域
１５０１、１５０２、１５０３ ＭＴＦ
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (11)

1. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部と、
   前記領域特定部が特定した部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正部と、
   前記補正部により補正される部分領域が適合すべき前記条件を格納する条件格納部と
   を備え、
   前記条件格納部は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲に関する前記条件を、画像領域毎に格納しており、
   前記領域特定部は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲が、前記条件格納部が画像領域毎に格納している距離範囲に関する前記条件に適合する部分領域を、それぞれの画像領域から特定する
   画像処理装置。
2. 異なる前記距離範囲に対応づけて、それぞれの距離範囲にわたる前記光学伝達関数に応じた補正パラメータを格納するパラメータ格納部
   をさらに備え、
   前記補正部は、前記領域特定部が特定した部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけて前記パラメータ格納部が格納している補正パラメータを用いて補正する
   請求項１に記載の画像処理装置。
3. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部と、
   前記領域特定部が特定した部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正部と、
   前記補正部により補正される部分領域が適合すべき、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲に関する前記条件を格納する条件格納部と、
   異なる前記距離範囲に対応づけて、それぞれの距離範囲にわたる前記光学伝達関数に応じた補正パラメータを格納するパラメータ格納部と
   を備え、
   前記領域特定部は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲が、前記条件格納部が格納している距離範囲に関する前記条件に適合する部分領域を特定し、
   前記補正部は、前記領域特定部が特定した部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけて前記パラメータ格納部が格納している補正パラメータを用いて補正する
   画像処理装置。
4. 前記パラメータ格納部は、異なる複数の前記距離範囲に対応づけて、それぞれの距離範囲にわたって前記光学伝達関数が略一致する空間周波数領域において画像を前記光学伝達関数に応じて補正する補正パラメータを格納しており、
   前記補正部は、前記領域特定部が特定した部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけて前記パラメータ格納部が格納している補正パラメータを用いて補正する
   請求項２または３に記載の画像処理装置。
5. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部と、
   前記領域特定部が特定した部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正部と、
   前記補正部により補正される部分領域が適合すべき、被写体の種類に関する前記条件を格納する条件格納部と
   を備え、
   前記領域特定部は、前記画像において前記条件格納部が格納している被写体の種類に関する前記条件に適合する種類の被写体が撮像されている部分領域を特定する
   画像処理装置。
6. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定部と、
   前記領域特定部が特定した部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正部と、
   前記補正部により補正される部分領域が適合すべき、被写体の色に関する前記条件を格納する条件格納部と
   を備え、
   前記領域特定部は、前記画像において前記条件格納部が格納している被写体の色に関する前記条件に適合する被写体が撮像されている部分領域を特定する
   画像処理装置。
7. コンピュータを、請求項１から６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
8. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定段階と、
   前記領域特定段階において特定された部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正段階と、
   前記補正段階において補正される部分領域が適合すべき前記条件を格納する条件格納段階と
   を備え、
   前記条件格納段階は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲に関する前記条件を、画像領域毎に格納し、
   前記領域特定段階は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲が、前記条件格納段階で画像領域毎に格納された距離範囲に関する前記条件に適合する部分領域を、それぞれの画像領域から特定する
   画像処理方法。
9. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定段階と、
   前記領域特定段階において特定された部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正段階と、
   前記補正段階において補正される部分領域が適合すべき、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲に関する前記条件を格納する条件格納段階と、
   異なる前記距離範囲に対応づけて、それぞれの距離範囲にわたる前記光学伝達関数に応じた補正パラメータを格納するパラメータ格納段階と
   を備え、
   前記領域特定段階は、画像領域内に撮像されている各被写体までの前記光学系からの距離範囲が、前記条件格納段階で格納された距離範囲に関する前記条件に適合する部分領域を特定し、
   前記補正段階は、前記領域特定段階において特定された部分領域の画像を、当該部分領域内に撮像された各被写体までの距離範囲に対応づけて前記パラメータ格納段階で格納された補正パラメータを用いて補正する
   画像処理方法。
10. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定段階と、
    前記領域特定段階において特定された部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正段階と、
    前記補正段階において補正される部分領域が適合すべき、被写体の種類に関する前記条件を格納する条件格納段階と
    を備え、
    前記領域特定段階は、前記画像において前記条件格納段階で格納された被写体の種類に関する前記条件に適合する種類の被写体が撮像されている部分領域を特定する
    画像処理方法。
11. 物点からの光に対する光学的伝達関数を物点からの距離によらず略同一にする光学系を通じて撮像された画像において、予め定められた条件に適合する部分領域を特定する領域特定段階と、
    前記領域特定段階において特定された部分領域の画像を、前記光学系の光学伝達関数に応じて補正する補正段階と、
    前記補正段階において補正される部分領域が適合すべき、被写体の色に関する前記条件を格納する条件格納段階と
    を備え、
    前記領域特定段階は、前記画像において前記条件格納段階で格納された被写体の色に関する前記条件に適合する被写体が撮像されている部分領域を特定する
    画像処理方法。

Images