WO2011121761A1

WO2011121761A1 - 画像処理装置、およびそれを用いた撮像装置

Info

Publication number: WO2011121761A1
Application number: PCT/JP2010/055862
Authority: WO
Inventors: 弘至畠山
Original assignee: キヤノン株式会社
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2011-10-06

Abstract

　鮮鋭度を向上させつつ、色収差を低減した画像を得ることを課題とする。　本発明の画像処理装置は、入力画像を取得する画像取得手段と、前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。

Description

画像処理装置、およびそれを用いた撮像装置

　本発明は画像処理を行う画像処理装置に関する発明であり、特に画像回復（復元）を行う画像処理装置に関する。

　デジタルカメラ等の撮像装置により得られた画像はボケによって、画質が劣化している。画像のボケが起こる要因は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数（ＰＳＦ、Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（ＯＴＦ、Optic Transfer Function）は、収差の周波数空間における情報である。この光学伝達関数（以下、ＯＴＦ）は複素数で表すことができ、ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。

　撮像光学系のＯＴＦは画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。

　これら画像のボケを補正（回復）する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系（撮像系）の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。

　以下に画像回復処理の概要を示す。

　劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。
（式１）
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。

（式２）
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
ここで、Ｈ（ｕ，ｖ）は点像分布関数（ＰＳＦ）ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。
劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。

（式３）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。
　式３の両辺を逆フーリエ変換すると式３は式４で表される。

（式４）
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）表した。このＲ（ｘ，ｙ）が画像回復フィルタである。

　この画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化を補正することができる。

　この画像回復フィルタとして、ノイズが増幅を制御することができるウィナーフィルタが知られている。ウィナーフィルタは入力画像のノイズを低減させるため、入力信号（画像信号）とノイズ信号の強度比（ＳＮＲ、Sound by Noise Ratio）に応じて回復度合いを変える画像回復フィルタである。

　また特許文献１は、上記ウィナーフィルタを応用して画像回復フィルタに調整パラメータαを設けている。パラメータαを調整することにより、入力画像をそのまま出力するフィルタ（何も作用しないフィルタ）から最大に画像回復を行うフィルタ（逆フィルタ）までの範囲で画像の回復度合いを変更可能な画像回復フィルタを開示している。

　また特許文献２には、位相の劣化を補正する方法として、画像のエッジ部分を検出してエッジを強調するエッジ強調処理が開示されている。

特開２００７－１８３８４２号公報特開２０００－１５６８１６号公報

　しかしながら、撮像光学系による画像の劣化を、画像回復フィルタを用いて高精度に補正（回復）するためには、収差の振幅成分と位相成分を補正する（鮮鋭度を向上させる）と供に、色成分間でのＰＳＦの差異を低減して色収差を補正することが必要である。

　上記のウィナーフィルタまたは特許文献１に開示されている画像回復フィルタは、劣化画像の振幅成分および位相成分を補正（回復）することはできる。しかし、色成分ごとのボケの現れ方の相違（差異）を考慮していないため、画像回復処理を行ったにも限らず、回復画像に色付きが残ってしまう、あるいは色付きが拡大してしまう場合があった。

　この課題について、具体的に図１３を用いて説明する。図１３の破線（ａ）、実線（ｂ）は回復前の２つの色成分のＭＴＦである。破線（ｃ）、実線（ｄ）は、それぞれ（ａ）、（ｂ）で表された色成分の回復後のＭＴＦである。ウィナーフィルタを用いて回復処理を行うと、回復前の２つの色成分のＭＴＦ（ａ）、（ｂ）の差よりも回復後の２つの色成分のＭＴＦ（ｃ）、（ｄ）の差が広がってしまう。回復後の（ｃ）、（ｄ）共に（ａ）、（ｂ）に比べＭＴＦが向上しているため画像の鮮鋭度は向上している。しかし色付き（色収差）として画像に表れてしまう各色成分間のＭＴＦの差は拡大してしまう。

　そこで本発明は、画像の鮮鋭度を向上させつつ、色収差を低減することが可能な画像処理装置を提供することを課題とする。

　上記課題を解決するために本発明は、
　入力画像を取得する画像取得手段と、
　前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
　前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。

　鮮鋭度を向上させつつ、色収差を低減した画像を得ることが可能となる。

本発明の実施例である画像処理方法の説明図本発明の画像処理方法にて用いられる画像回復フィルタの説明図各色成分のＭＴＦの差を一致させる場合の説明図各色成分のＭＴＦの差を低減させる場合の説明図本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図画像回復フィルタの選択、補正に関する説明図実施例１の画像処理のフローチャート画像処理前後のＭＴＦ変化を示す図エッジ強調フィルタの説明図エッジ強調フィルタを適用した場合のエッジ断面図画像処理システムの概略構成図補正情報の説明図従来の画像処理前後のＭＴＦ変化を示す図

　まず、具体的な実施例の説明に先立って、各実施例に用いられる画像処理技術について説明する。

　はじめに、本発明の画像処理方法について図１を用いて説明する。まずステップＳ１１の画像取得工程において、入力画像を取得する。次にステップＳ１２において、ステップＳ１１で取得された入力画像の撮像条件を取得する。次にステップ１３において、撮像条件に対応する画像回復フィルタをメモリから選択する。予めメモリに用意された撮像条件と異なる場合には、適宜補正して用いることもできる。次にステップＳ１４の画像回復処理工程（補正処理工程）では、ステップＳ１３の画像回復フィルタを用いて画像回復処理（補正処理）を実行する。そしてステップＳ１４で補正された補正画像を出力画像として出力する。ステップ１３に用いられる画像回復フィルタは撮像光学系（撮像系）の光学伝達関数（ＯＴＦ）と色収差補正係数に基づいて生成される。

　尚、図１の処理の前後、あるいは途中に例えば倍率色収差補正、歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理を挿入しても良い。次に、図１に示した各処理についてより詳細に説明する。

　尚、ＭＴＦは撮像系の伝達関数（撮像光学系の光学伝達関数）の絶対値（振幅成分）であるが、被写体が白色点光源の場合は、ＭＴＦは画像のスペクトルとして捉えることもできる。

　（画像取得工程）
　画像取得工程により取得される画像（以下、入力画像）は、撮像光学系を介して撮像素子で撮像することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。

　また、入力画像は色空間により表される。色空間の表し方には、例えばＲＧＢがあるが、ＲＧＢ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号などがある。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈや色温度がある。これら一般に用いられている色空間により表される値を、色成分として本発明を適用することができる。

　また、入力画像は各画素に一つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理（デモザイキング処理）して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は色補間処理（デモザイキング処理）やガンマ変換やＪＰＥＧ等の画像圧縮などの画像処理を行う前の画像として、ＲＡＷ画像とも呼ぶ。例えば単板の撮像素子で複数の色成分の情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して、各画素に一つの色成分の信号値を有するモザイク画像を取得する。このモザイク画像に色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を取得することができる。また、多板、例えば３板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を有したデモザイク画像を取得することになる。この場合、各撮像素子間で、対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わなくとも各画素に複数の色成分の信号値を有した画像を取得することができる。

　また入力画像には、入力画像を補正するための各種の補正情報を付帯することができる。該補正情報には、レンズの焦点距離（ズーム位置）、絞り値、撮影距離（合焦距離）、露光時間、ＩＳＯ感度などの撮像条件に関する情報（撮像条件情報）が含まれる。撮像から画像の出力までの一連の処理を一つの撮像装置で行う場合には、入力画像に撮像条件情報や補正情報を付帯しなくとも装置内で取得することもできる。しかし、撮像装置からＲＡＷ画像を取得し、撮像装置とは別体の画像処理装置で画像回復処理や現像処理等を行う場合には、上記のように画像に撮像条件情報や補正情報を付帯することが好ましい。ただしこれに限られず、画像処理装置に予め補正情報を記憶させ、入力画像に付帯された撮像条件情報から補正情報を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。

　尚、入力画像は撮像光学系を介して撮像素子で撮像することで得られたデジタル画像と記述したが、入力画像は撮像光学系を含まない撮像系により得られたデジタル画像でも良い。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置はレンズのような撮像光学系を持たない撮像装置により得られた画像であってもよい。これら、撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数に相当するものと言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数を含む広義の光学伝達関数である。

　（画像回復フィルタ生成工程）
　次に、画像回復フィルタの生成について図２（Ａ）、（Ｂ）を参照しながら説明する。図２（Ａ）は実空間において入力画像の画素に対してコンボリューション処理が行われる画像回復フィルタの模式図である。画像回復フィルタのタップ（セル）数は、撮像系の収差特性や要求される回復精度に応じて決めることができ、画像が２次元のときは、一般的に画像の各画素に対応したタップ数を有する２次元の画像回復フィルタとなる。図２（Ａ）には、例として１１×１１タップの２次元画像回復フィルタを示した。また、画像回復フィルタのタップ数に関しては、一般的に多いほど回復精度が向上するので、タップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。

　図２（Ａ）では各タップ内の値を省略しているが、この画像回復フィルタの１断面を図２（Ｂ）に示す。この画像回復フィルタの各タップのもつ値（係数値）の分布が、コンボリューション処理の際に、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。

　この画像回復フィルタを生成するためには、まず、撮像系の光学伝達関数（ＯＴＦ）を計算若しくは計測する。劣化画像が撮像光学系を持たない撮像系により得られた画像である場合には、光学伝達関数としてシステムの伝達関数を用いればよい。

　そして上記ＯＴＦ取得後、そのＯＴＦの逆数に基づいた関数を逆フーリエ変換することにより画像回復フィルタが生成される。尚、ＯＴＦの逆数は逆フィルタと呼ばれる。

　被写体として点光源を仮定した場合は、撮像系を介して取得された画像の周波数特性は光学伝達関数（ＯＴＦ）そのものとなる。従って、入力画像（劣化画像）の周波数特性（ＯＴＦ）に、画像回復フィルタの周波数特性を掛け合わせれば、回復画像の周波数特性を知ることができる。

　よって式５における回復画像の周波数特性は[ｒＯＴＦ]の部分である。

　ここで、Ｍ（ｕ，ｖ）は画像回復フィルタの周波数特性、Ｈ（ｕ，ｖ）は入力画像（劣化画像）の周波数特性（ＯＴＦ）であり、[ｒＯＴＦ]は白色点光源を撮影した画像の回復後の周波数特性である。つまり、画像回復フィルタは撮像系の２つの色成分の伝達関数（１／Ｈ（ｕ，ｖ））と、該２つの色成分のＭＴＦ（ＯＴＦの絶対値）の差が減少するように補正した補正伝達関数と（[ｒＯＴＦ]）に基づいて生成される。

　言い換えれば、本実施例の画像回復フィルタは被写体から前記第１回復画像を得る際の２つの色成分の伝達関数の絶対値の差が、撮像系の２つの色成分の伝達関数の絶対値の差よりも小さくなるように構成される。

　式５の[ｒＯＴＦ]の部分を色成分間の差が減少するようにした画像回復フィルタは、色収差補正機能を有する。

　また、回復画像の位相劣化は零であることが望ましいので、ｒＯＴＦは位相成分を持たないようにすれば更によい。つまり、ｒＯＴＦは実数部のみを有する関数とし、実質的にはＭＴＦと等しくなるようにする。ただし、ｒＯＴＦには許容可能な範囲で、虚数部に値を持たせてもよい。

　式５に示した画像回復フィルタを用いれば、点光源に限らず、どのような被写体でも、あたかも光学伝達関数（ＯＴＦ）がｒＯＴＦの特性（点光源を撮影した画像の回復後の周波数特性）を持った撮像系を介して取得することができる。

　また、色成分間で共通のＯＴＦ（ｒＨ（ｕ，ｖ））を用いることで、あたかも色成分間にＭＴＦの差が無い撮像系で撮影したような画像を得ることができる。

　式６に、色収差補正機能を有する、より具体的な画像回復フィルタの一例を示す。

　式６で示した色収差補正の機能を有する画像回復フィルタＭ（ｕ，ｖ）は、右辺の｜ｒＨ（ｕ，ｖ）｜がＯＴＦの絶対値（ＭＴＦ）であるため、回復度合いを決定するパラメータＳＮＲの値に限らず位相成分は消滅する。ＰＳＦは対称な形状に補正することができ、さらに画像の先鋭度も向上させることができる。

　式６で示した画像回復フィルタの機能について、図３を用いて説明する。図３の破線（ａ）、実線（ｂ）はそれぞれ第１色成分、第２色成分に対応する回復前のＭＴＦを、破線（ｃ）、実線（ｄ）はそれぞれ第１色成分、第２色成分に対応する回復後のＭＴＦを表している。回復前の画像のＭＴＦは図３（ａ）、（ｂ）のように色成分ごとに異なっているが、回復後のＭＴＦは（ｃ）、（ｄ）のように色成分間で揃っている（差が減少している）。

　言い換えれば、本実施例の画像処理方法に用いる画像回復フィルタは、被写体が白色点光源の場合、回復画像における２つの色成分のスペクトルの差が、入力画像における該２つの色成分のスペクトルの差よりも減少するように回復する。この画像回復フィルタを用いることにより画像の色収差を低減しつつ、鮮鋭度を向上させる（回復する）ことができる。ここで、スペクトルの差とはスペクトルの周波数平均の差である。

　また、式６では色成分間で共通なｒＨ（ｕ、ｖ）を用いたが、各色成分の回復後のＭＴＦの差が、回復前のＭＴＦの差よりも低減するように各色成分の画像回復フィルタのｒＨ（ｕ、ｖ）を設定することで、色収差の補正量を制御することができる。式７にその方法を表した式を示す。

式７は色収差補正係数Ｃｎｍ（ｎ、ｍ＝１、２、３）を用いたｒＨ（ｕ、ｖ）の補正方法であり、付帯記号Ｒ、Ｇ、Ｂは各色成分を示している。式８から式１０に色収差補正係数の例を示す。

　式８の場合、ｒＨ（ｕ、ｖ）_Ｒ、ｒＨ（ｕ、ｖ）_Ｇ、ｒＨ（ｕ、ｖ）_Ｂは各色成分のＭＴＦの平均値が共通の画像回復フィルタ生成に用いる値になる。

　式９の場合、ｒＨ（ｕ、ｖ）_Ｒ、ｒＨ（ｕ、ｖ）_Ｇ、ｒＨ（ｕ、ｖ）_ＢともにＧ成分を５０％の割合で、Ｒ成分およびＢ成分を２５％ずつの割合で合成（合算）した値が、共通の画像回復フィルタ生成に用いる値になる。

　式１０の場合、自分の色成分を５０％の割合で、残りの２つの色成分を２５％ずつの割合で合成（合算）した値が、各色成分ごとの画像回復フィルタが生成に用いる値になる。式１０は各色成分ごとにｒＨ（ｕ、ｖ）の値は異なっているが、他の色成分と混合させているため色収差を低減させることができる。

　式１０に挙げたような、ｒＨ（ｕ、ｖ）_Ｒ、ｒＨ（ｕ、ｖ）_Ｇ、ｒＨ（ｕ、ｖ）_Ｂがそれぞれ異なっている場合の、回復前と回復後のＭＴＦの変化を図４に示す。図４の破線（ａ）、実線（ｂ）はそれぞれ第１色成分、第２色成分の回復前のＭＴＦ、破線（ｃ）、実線（ｄ）はそれぞれ第１色成分、第２色成分の回復後のＭＴＦを表している。図３の実線（ｃ）、破線（ｄ）のように一致しなくとも、回復前の図４の破線（ａ）、実線（ｂ）に対して色成分間のＭＴＦ差が低減し、色収差を低減することができる。より好ましくは、第１色成分と第２色成分の、回復前のＭＴＦの差の周波数平均に対して、回復後のＭＴＦの差の周波数平均が、１／２以下となるように補正する。図４の場合、（ａ）と（ｂ）の差の周波数平均に対して、（ｃ）と（ｄ）の差の周波数平均を１／２とすることが好ましい。周波数平均を計算する周波数の範囲は、センサのナイキスト周波数の範囲とする。

　つまり、画像回復フィルタを用いて撮像系の２つの色成分のＭＴＦの差を減少させるように回復することにより、色収差を低減することができ、良質な画像を得ることができる。

　その他、入力画像がＲＧＢの色成分からなる場合、比視感度の高い色成分（例えば、ＧあるいはＲ）のＭＴＦとその他の色成分（例えば、Ｂ）のＭＴＦの差を減少させる画像回復フィルタとすることにより、視覚的な色付きを低減することができる。

　尚、式６で示した画像回復フィルタのＨ（ｕ、ｖ）の部分が色成分ごとに異なるため、ｒＨ（ｕ、ｖ）が色成分間で共通であっても色成分ごとに特性の異なる画像回復フィルタとなる。

　尚、光学伝達関数（ＯＴＦ）は撮像系のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性がある。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。

　本発明の画像回復フィルタは式５以外の変形も可能である。式５の右辺は、１／Ｈ（ｕ、ｖ）と、ｒＯＴＦから成っており、ｒＯＴＦの部分を色成分間で共通にすればよい。

　（画像回復処理工程（補正工程））
　次に、生成した画像回復フィルタを用いて、補正画像を得る方法について説明する。

　既に説明しているが、補正工程においては劣化画像に画像回復フィルタをコンボリューションすることにより、補正画像（回復画像）を得ることができる。ここでは、画像回復フィルタのタップ内に含まれる各画素に対してコンボリューション（畳み込み積分、積和）処理が行われる。コンボリューションは、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理である。

　入力画像に対して画像回復フィルタを作用させたり、コンボリューション処理を行ったりすることの利点は、画像回復処理で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。一般的にコンボリューション処理の負荷は、フーリエ変換を行う負荷に比べると小さい。したがって、画像回復処理を行うにあたって、処理負担を軽減することができる。

　尚、画像回復フィルタの縦横のタップ数について既に述べたが、縦横のタップ数が必ずしも同じである必要はなく、コンボリューションの処理を行う際に考慮するようにすれば任意に変更することができる。

　その他、本発明の画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理が行われていないことが好ましい。つまり、モザイク画像（ＲＡＷ画像）に対して行うことがより好ましい。しかし、入力画像がモザイク画像であってもデモザイク画像であっても本発明の画像回復処理を適用することができる。理由は、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで画像回復処理を行うことができるからである。また、回復の要求精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して画像回復処理を行っても色収差を低減するという効果を得ることができる。

　（画像出力工程）
　以上の処理により取得した補正画像（回復画像）を、所望のデバイスに出力する。撮像装置であれば表示部あるいは記録媒体等に出力する。画像回復処理を行った画像に対して、その他の画像処理などを行うのであれば、後の工程を実行するデバイスに画像を出力すればよい。

　以上、本発明の画像処理について各工程に分けて順に説明してきたが、各工程のうち、いくつかの工程を同時に処理できる場合はまとめて処理することができる。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理の具体的なアルゴリズムをこれに限定するものではなく、目的を達成しうる範囲で必要に応じた変形が可能である。

　以下、上述した画像処理を適用した実施例について図面を用いて説明する。

　図５は実施例１における撮像装置の構成概略図である。不図示の被写体像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２は、結像した光を電気信号に変換（光電変換）し、該電気信号をＡ／Ｄコンバータ１０３がデジタル信号に変換する。そして画像処理部１０４は、該デジタル信号（入力画像）に対して所定の処理と併せて画像処理を行う。ここでの所定の処理とは、例えば、倍率色収差補正、歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理である。

　まず、状態検知部１０７から撮像装置の撮像状態情報を得る。状態検知部１０７はシステムコントローラ１１０から直接、撮像状態の情報を得ても良いし、例えば撮像光学系１０１に関する撮像状態情報は撮像系制御部１０６から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。画像回復フィルタは撮像状態に応じて記憶部１０８から選択したものをそのまま用いても良いし、予め用意した画像回復フィルタを補正して、より撮像状態に適した画像回復フィルタに補正したものを用いることもできる。

　そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は色収差が補正され先鋭度が向上した画像である。また、表示部１０５には、画像回復処理後の画像に表示のための所定の処理を行った画像を表示しても良いし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示しても良い。

　上述した一連の制御はシステムコントローラ１１０で行われ、撮像系の機械的な駆動はシステムコントローラ１１０の指示により撮像系制御部１０６で行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、撮影距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。

　この撮像系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点でこの素子の影響を考慮すれば、より高精度に回復処理を行うことが可能である。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮するとより好ましい。

　また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。絞りの開口径制御やマニュアルフォーカスなどの機能は撮像装置の目的に応じて用いなくても良い。

　また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像系の像高（画像の位置）に応じて変化するので、本発明の画像回復処理を像高に応じて変更して行うことが望ましい。

　また、画像処理部１０４は少なくとも演算部と一時的記憶部（バッファー）を有する。上記の画像処理の各工程ごとに必要に応じて一時的に記憶部に対して画像の書き込み（記憶）および読み出しを行う。また、一時的に記憶するための記憶部は前記一時的記憶部（バッファー）に限定せず、記憶部１０８でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。その他、記憶部１０８には色収差補正係数、画像回復フィルタ、補正情報などのデータが記憶されている。

　図６を用いて、画像回復フィルタの選択と補正について説明する。図６には、撮像状態情報と該撮像状態情報に基づいて記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に格納された画像回復フィルタは、焦点位置（状態Ａ）、絞り値（状態Ｂ）および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。尚、図６では、画像回復フィルタを各各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成して、その中に画像回復フィルタを離散的に配置してもよい。

　図６において、大きな白丸で示した撮像状態が、状態検知部１０７により検知された実際の撮像状態であるとする。実際の撮像状態位置に対応する位置、またはその近傍に予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（撮像状態の相違量）を算出する。そして、最も距離の短い位置の画像回復フィルタを選択する方法である。この方法により、図６に小さな白丸で示した位置の画像回復フィルタが選択される。

　また、他の方法として、画像回復フィルタ選択に撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向の積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する方法である。

　次に、選択された画像回復フィルタを補正することで、新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い（状態相違量が最も小さい）位置の画像回復フィルタを選択する。状態相違量が最も小さい画像回復フィルタを選択することで、画像回復フィルタの補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。

　図６では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と、実際の撮像状態との状態相違量ΔＡ、ΔＢ、ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。

　また、他の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタと実際の撮像状態との状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元の画像回復フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等等を用いて補間すれば良い。

　また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態における光学伝達関数（ＯＴＦ）を、計測して求めることもできる。

　図７に画像処理部１０４で実行される本実施例の画像回復処理の具体的なフローチャートを示す。図中の●印は画像等の画素データを少なくとも一時的に記憶するステップを表す。

　画像処理部１０４は画像取得工程で入力画像を取得する。次に状態検知部１０７から撮像状態情報を得る（ステップＳ７２）。そして、記憶部１０８から撮像状態に応じた画像回復フィルタを選択し（ステップＳ７３）、画像回復処理工程（補正工程）でこの画像回復フィルタを用いて入力画像に対して回復処理を行う（ステップＳ７４）。

　次に画像形成に必要なその他の処理を行い回復された画像を出力する（ステップＳ７６）。ここでのその他の処理としては、前記の補正画像がモザイク画像の状態であれば、色補間処理（デモザイキング処理）、シェーディング補正（周辺光量補正）、歪曲収差補正などがある。また、ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

　ここで、画像回復処理の流れとしてより好ましい例について図８を用いて説明する。図８は、回復処理を行う前と後のＭＴＦの変化を表す。破線（ａ）、実線（ｂ）はそれぞれ画像回復処理を行う前の第１色成分、第２色成分のＭＴＦであり、破線（ｃ）、実線（ｄ）は回復処理を行った後の第１色成分、第２色成分のＭＴＦである。図８に示すように、回復前の２つの色成分のＭＴＦ（ａ）、（ｂ）に対して、画像回復処理を図３、図４で示した回復度合いよりも低い回復度合いで行う。これにより、（ｃ）、（ｄ）のように、ＭＴＦはあまり向上されない（ＭＴＦは低い）状態で、色収差が補正された状態になる。

　この状態は、収差の位相成分および色収差は補正されているが、先鋭度は低い状態である。このような回復処理を行った回復画像に対してエッジ強調処理を行うことで、エッジ部のみの先鋭度を向上することができるので、画像全体に対して回復処理を行うよりも、ノイズ増幅を抑制することができる。

　つまり、回復度合いが低い（ＭＴＦの回復量が小さい）回復画像に、エッジ強調処理を行うことにより、色収差を低減しつつ、ノイズの増幅を抑制した画像を得ることができる。

　さらに好ましくは、ナイキスト周波数内において、画像回復処理において各色成分の回復後のＭＴＦの周波数平均が、回復前の最大のＭＴＦの１．５倍以下とすることが好ましい。

　以上の処理により、ノイズ増幅を抑制しつつ、色収差が低減された良質な画像を得ることができる。

　その他に、位相や色収差が補正された画像に対してエッジ強調処理を行うことにより、従来の位相や色収差が補正されていない画像に対してエッジ強調処理を行うよりも対称性が高く色付きの無い高画質な画像を得ることができる。

　エッジ強調処理については図９を用いて説明する。エッジ強調フィルタの一例を図９に示す。エッジ強調を行うためのフィルタは、図９に示すように、入力画像をそのまま出力するフィルタと微分フィルタの差分によって生成することができる。微分フィルタは１次微分を行うソーベルフィルタや２次微分を行うラプラシアンフィルタなどがよく知られている。図９の微分フィルタはラプラシアンフィルタである。エッジ強調フィルタは隣接画素との画素値の関係により処理を行うため、図のようにタップ数が３×３程度のフィルタがよく用いられている。

　図１０に図９に示したエッジ強調フィルタを用いた場合のエッジ部分の強調効果を示す。図１０（Ａ）、（Ｂ）、（Ｃ）は画像中のエッジ部の輝度をある断面で見たとき図である。横軸は座標、縦軸は振幅を表している。図１０の（Ａ）は、画像中のエッジ部分の輝度断面であり、これに微分フィルタでエッジ部を抽出して符号反転したものが（Ｂ）である。元の画像（Ａ）に（Ｂ）を足し合わせることで（Ｃ）のように、エッジの傾きを急峻に強調することができる。エッジ強調処理は特にエッジの急峻な部分にのみ作用し、先鋭化するので画像全体に対してはノイズ増幅の影響が少ないという利点やフィルタのタップ数が比較的小さいため高速な処理が可能であるという利点がある。よって、低い回復度合いの画像回復処理を行った後に、エッジ強調処理をするのがより好ましい。このようにエッジ強調処理と組み合わせる場合には、図７のその他必要な処理にエッジ強調処理を含めれば良い。画像のエッジ部が強調処理が可能なその他の処理としては、シャープネス処理等が挙げられる。

　以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、撮像装置に関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。

　図１１（Ａ）には、本発明の実施例２である画像処理システムの構成図を示した。画像処理装置１１１は、情報処理装置により構成され、実施例１にて説明した画像処理方法を該情報処理装置に実行させるための画像処理ソフトウェア（画像処理プログラム）１１２を搭載している。

　撮像装置１１３は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体１１４は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、撮像により生成された画像（撮影画像データ）を記憶する。

　画像処理装置１１１は、撮像装置１１３または記憶媒体１１４から画像データを取得して、所定の画像処理を行った出力画像（補正画像）データを出力機器１１６、撮像装置１１３および記憶媒体１１４の少なくとも１つに出力する。また、出力先を画像処理装置１１１に内蔵された記憶部にし、該記憶部に出力画像データを保存しておくこともできる。出力機器１１６としては、プリンタ等が挙げられる。画像処理装置１１１には、モニタである表示機器１１５が接続されており、ユーザはこの表示機器１１５を通して画像処理作業を行うとともに、回復調整画像（出力画像）を評価することができる。画像処理ソフトウェア１１２は、画像回復処理機能および回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

　また、図１１（Ｂ）には、別の画像処理システムの構成を示している。実施例１のように、撮像装置１１８単体で実施例１の画像処理を行う場合は、撮像装置１１８から直接、出力機器１１９に回復調整画像を出力することができる。

　また、出力機器１１９に、実施例１の画像処理方法を実行する画像処理装置を搭載することで、出力機器１１９で画像の特徴量に応じて調整係数を設定し、回復度合いの調整を行うことも可能である。さらに、出力機器１１９の出力画像の劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができる。

　ここで、画像回復処理および回復度合いの調整を含む画像処理を行うための補正情報の内容と、その受渡しについて説明する。図１２に補正情報の一例を示し、この複数の補正情報を補正情報セットと記す。各補正情報について以下に説明する。

　「補正制御情報」
　補正制御情報は、撮像装置１１３、画像処理装置１１１および出力機器１１６のどれでで回復処理および回復度合い調整処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置１１３で回復処理のみ行い、画像処理装置１１１で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置１１１に伝送する必要は無いが、少なくとも撮影画像と回復画像あるいは回復成分情報（差分情報）を伝送する必要がある。

　「撮像装置情報」
　撮像装置情報は、製品名称に相当する撮像装置１１３の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

　「撮像状態情報」
　撮像状態情報は、撮影時の撮像装置１１３の状態に関する情報である。例えば、焦点距離（ズーム位置）、絞り値、被写体距離（合焦距離）、ＩＳＯ感度、ホワイトバランス設定等等である。

　「撮像装置個別情報」
　撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。

　「画像回復フィルタ群」
　画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合、別の装置（機器）から画像回復フィルタを伝送する必要がある。

　「色収差補正係数」
　色収差補正係数は、式２で説明したように、色成分ごとのｒＨ（ｕ，ｖ）を生成するためのＨ（ｕ，ｖ）の色成分間の混合比に関する係数である。色収差補正係数を決定した機器（装置）と画像回復処理を行う機器（装置）が別の場合には、色収差補正係数を機器間で伝送する。

　「ユーザ設定情報」
　ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から、最も好む鮮鋭度を学習機能により更新することが好ましい。

　さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

　上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、実施例２の画像処理装置を搭載した機器であれば補正処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　１０１　撮像光学系
　１０２　撮像素子
　１０４　画像処理部
　１０６　撮像系制御部
　１０８　記憶部
　１１０　システムコントローラ

Claims

　入力画像を取得する画像取得手段と、
　前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
　前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。
　前記画像回復処理手段は、前記入力画像の画素に対して前記画像回復フィルタを畳み込み積分することにより画像回復を行うことを特徴とする請求項１に記載の画像処理装置。
　被写体像を入力画像として取得する撮像系と、
　前記入力画像と前記撮像系の伝達関数に基づいた画像回復フィルタを演算することにより回復画像を生成する画像回復処理手段とを有し、
　前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする撮像装置。
　被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと、該入力画像を演算することにより回復画像を生成する画像回復処理工程を情報処理装置に実行させる画像処理プログラムであって、
　前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理プログラム。
　入力画像を取得する工程と、
　前記入力画像と、該入力画像を取得するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する工程とを有し、
　前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における２つの色成分のスペクトルの差が、前記入力画像における該２つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理方法。
　入力画像を取得する画像取得手段と、
　前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
　前記画像回復フィルタは、前記撮像系の２つの色成分の伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする画像処理装置。
　入力画像を取得する画像取得手段と、
　前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
　前記画像回復フィルタは前記撮像系の伝達関数と、２つの色成分の伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする画像処理装置。