JP5147994B2 - 画像処理装置およびそれを用いた撮像装置 - Google Patents
画像処理装置およびそれを用いた撮像装置 Download PDFInfo
- Publication number
- JP5147994B2 JP5147994B2 JP2011545906A JP2011545906A JP5147994B2 JP 5147994 B2 JP5147994 B2 JP 5147994B2 JP 2011545906 A JP2011545906 A JP 2011545906A JP 2011545906 A JP2011545906 A JP 2011545906A JP 5147994 B2 JP5147994 B2 JP 5147994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recovery
- color
- processing
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 254
- 238000003384 imaging method Methods 0.000 title claims description 114
- 238000011084 recovery Methods 0.000 claims description 273
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 78
- 239000000203 mixture Substances 0.000 claims description 64
- 230000015572 biosynthetic process Effects 0.000 claims description 55
- 238000003786 synthesis reaction Methods 0.000 claims description 55
- 230000003287 optical effect Effects 0.000 claims description 44
- 238000003860 storage Methods 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 76
- 230000004075 alteration Effects 0.000 description 64
- 238000004040 coloring Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000003702 image correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 206010010071 Coma Diseases 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000255969 Pieris brassicae Species 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影画像に画像処理をする方法、特に画像回復処理を用いて劣化画像の補正を行うものである。
情報のデジタル化に伴い、入力画像にデジタル信号処理を行うことにより所望の画像を得る技術が提案されている。撮像装置で被写体を撮像するとき、得られた画像は撮像光学系の収差によって少なからず劣化している。画像の劣化を補正する方法として、撮像光学系の光学伝達関数(以下、OTF)の情報を用いて補正するものが知られている。
特許文献1は、撮像光学系による画像の劣化を表す点像分布関数をフーリエ変換することにより得られる光学伝達関数(OTF)を、画像回復フィルタとして用いている。そして、この画像回復フィルタのパラメータを調整可能とすることにより、撮影画像の画像回復の度合いを連続的に調整可能とする画像回復フィルタを開示している。
しかし、特許文献1の画像回復フィルタを用いて画像回復を行っても、撮像光学系により発生した各色成分ごとの収差が想定していた収差特性とは異なっていた場合には、撮影画像に思わぬ色づきが発生し、画質が低下しまう。
この色づきは、撮像光学系の製造誤差によるばらつき、撮影環境での分光変動、立体物の撮影、輝度飽和などにより起こりうる。以下に色づきが発生する場合の一例として、立体被写体の撮像を挙げて説明する。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の1つの面に焦点を合わせて撮像するが、被写体が立体物である場合には画角によって被写体距離が異なる。このとき、合焦物体は比較的鮮鋭に撮像されるが、非合焦物体はその距離に応じたぼけ量が存在する。このようなぼけ量が存在する撮影画像に対して、従来の画像回復処理を行った場合、合焦物体のエッジ部に関しては画像回復フィルタが最適なため所望の鮮鋭度を得ることができる。しかし、非合焦物体のエッジ部に関しては色づきが発生してしまったり、色づきが不自然に増大してしまったりする。出力画像の画質を向上させるための画像回復処理において、このような色づきの発生は大幅に画質を劣化させる。
そこで本発明は、従来の画像回復処理において生じ得る不自然な色づきの発生を抑え、良質な画質を得ることができる画像処理装置を提供することを課題とする。
上記課題を解決するために本発明は、複数の色成分を有する入力画像に対して画像回復処理を行い、1次回復画像を生成する1次回復画像生成手段と、
前記入力画像と前記1次回復画像との差分を演算し、前記複数の色成分ごとの差分情報を生成する回復成分情報生成手段と、
前記差分情報を用いて2次回復画像を生成する2次回復画像生成手段とを有する画像処理装置であって、
前記2次回復画像生成手段は、前記入力画像のひとつの色成分に前記複数の色成分の差分情報に基づく色合成回復成分情報を合成することを特徴とする画像処理装置。
前記入力画像と前記1次回復画像との差分を演算し、前記複数の色成分ごとの差分情報を生成する回復成分情報生成手段と、
前記差分情報を用いて2次回復画像を生成する2次回復画像生成手段とを有する画像処理装置であって、
前記2次回復画像生成手段は、前記入力画像のひとつの色成分に前記複数の色成分の差分情報に基づく色合成回復成分情報を合成することを特徴とする画像処理装置。
本発明は、色成分間のぼけ量の差に基づいた画像処理を行うので、画像回復処理を行う際に起こり得る不自然な色づきを抑えることができ、良質な画質を得ることができる。
以下、図面を用いて、本発明を実施するための形態について説明する。本明細書では、画像のぼけという言葉を用いるが、画像のぼけとは、1点に結像(集光)すべき光線群の像面上における広がり(分布)のことであり、一般的に点像分布関数(PSF)とも言われる。このぼけは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。画像のぼけというと例えばピントがずれた画像もぼけていることになるが、ここでは特にピントが合っていても光学系の収差の影響でぼけてしまうものを指すものとする。
実施例1では、撮像装置により撮像された画像に想定外の収差により色づきが発生している場合の画像処理として、色合成比調整係数なるパラメータを用いて、ある色に対する各色成分の色合成比を変化させることにより良質な画像を得る例について説明する。
図1に実施例1の撮像装置の構成図を示す。図中の矢印は主な情報の伝達経路を表している。101aは絞り、101bはフォーカスレンズである。撮像光学系101は101aと101bを有する。102は光学像を電気信号に変換するCCDやCMOSセンサ等で構成される撮像素子である。103は撮像素子102から出力されたアナログ信号の画像データをデジタル信号の画像データに変換するA/D(アナログデジタル)コンバータである。104は画像の色づきを補正する処理や、ぼけを低減する処理などの画像処理(信号処理)を行う画像処理部である。105は液晶ディスプレイや有機ELディスプレイなどの表示部であり、画像処理部104で処理された画像データや、記憶部108、画像記録媒体109に記録された画像データを表示する。106は撮像光学系の絞り101aやフォーカスレンズ101bを制御する撮像光学系制御部であり、被写体距離に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構などが挙げられる。107は撮影状態(絞り径、ズーム位置、被写体距離など)を検知する状態検知部である。110はこの撮像装置のシステム全体を制御するシステムコントローラであり、画像処理部104に対しての画像処理の制御を行う他、記憶部108に書き込まれた画像データをファイル化し、画像記録媒体109に記録する。111は操作部であり、システムコントローラ110に各種の動作の指示を入力する。操作部の一例として、撮像を指示するレリーズボタン、カーソルやメニューを操作するための方向指示ボタン、タッチパネルなどがある。
尚、撮像光学系101は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。また、ここでは簡単のために、撮像光学系の101の主な構成要素である絞り101aとフォーカスレンズ101bのみを図示したが、撮像光学系はレンズの他にも曲率を有するミラー(反射面)を用いることもできる。また、画像処理部104は少なくとも演算部と一時的記憶部(バッファー)を有し、以下に説明する各処理ごとに必要に応じて一時的記憶部に対して適宜画像の書き込みおよび読み出しを行う。例えば、後述する2次回復画像を生成する処理では、入力画像と1次回復画像の各色成分ごとの差分情報の合成を行うために、初めに取得した入力画像を一時的記憶部(バッファー)に記憶しておくなどである。一時的に記憶するための記憶部は一時的記憶部(バッファー)に限定せず、記憶部108でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。一時的記憶部を有する画像処理部104または記憶部108には画像処理を行うのに必要なデータが記憶される。その一例として、画像の画素の輝度値、撮像光学系101の収差情報、後述する画像回復フィルタ、差分情報、色合成比調整係数、回復強度調整係数などが挙げられる。
図2は画像処理部104が行う処理のアルゴリズムを図解したものである。画像処理のアルゴリズムについて、図2を用いて詳しく説明していく。以下の説明において、Aは図2のg、f、fd、S、Sdなどに相当する画像情報であり、より詳しく言えば、画素の信号値(輝度値)を表している。付帯記号mは、画像の色成分が例えばR(赤)、G(緑)、B(青)から成る場合、即ちR、G、Bの色成分を表している。つまり、Amは(AR、AG、AB)であり、(AのR成分、AのG成分、AのB成分)を表している。
(入力画像gm)
まず入力画像gmについて説明する。入力画像gmは、各画素に複数の色成分(例えば、R、G、B)を有していてもよいし、LCHで表現される明度、色相、彩度などであってもよい。各画素にひとつの色成分の信号値を有するモザイク画像を用いても良い。また、このモザイク画像を色補間処理(デモザイキング処理)して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は、色補間処理(デモザイキング処理)やガンマ変換と呼ばれる信号値変換やJPEGで知られる画像圧縮などの諸々の画像処理を行う前の画像として、RAW画像と呼ぶこともできる。
まず入力画像gmについて説明する。入力画像gmは、各画素に複数の色成分(例えば、R、G、B)を有していてもよいし、LCHで表現される明度、色相、彩度などであってもよい。各画素にひとつの色成分の信号値を有するモザイク画像を用いても良い。また、このモザイク画像を色補間処理(デモザイキング処理)して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は、色補間処理(デモザイキング処理)やガンマ変換と呼ばれる信号値変換やJPEGで知られる画像圧縮などの諸々の画像処理を行う前の画像として、RAW画像と呼ぶこともできる。
例えば、単板の撮像素子で複数の色成分を有する入力画像gmを得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して、各画素にひとつの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。
多板、例えば3板の撮像素子を用いる場合には、各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の信号値を有する画像を得ることができる。この場合、各撮像素子間の対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。以上説明した各画素に複数の色成分を有する画像を入力画像gmとして、以下の1次画像回復処理を行う。
(1次画像回復処理)
次に、入力画像gmに対して1次画像回復処理を行い、1次回復画像fdmを得るまでの処理について説明する。以下の処理の主体は画像処理部104である。
次に、入力画像gmに対して1次画像回復処理を行い、1次回復画像fdmを得るまでの処理について説明する。以下の処理の主体は画像処理部104である。
入力画像gmは、撮像光学系101を介して撮像素子102で受光することで得られたデジタル画像である。そのデジタル画像gmは、レンズと各種の光学フィルタ類を含む撮像光学系101の収差による光学伝達関数(OTF)により画質が劣化している。この画質が劣化した複数(R、G、B)の色成分を有する入力画像gmに対して、各色成分ごとにOTFに基づいた画像回復フィルタを用いて回復処理を行い、1次回復画像fdmを得る。
ここで、画像回復フィルタを説明するための模式図を図3(A)に示す。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができる。図3(A)では例として11×11タップの2次元フィルタとしている。フィルタの各タップが画像の各画素に対応して画像回復処理(1次画像回復処理)でコンボリューション処理(畳み込み積分、積和)される。コンボリューション処理では、画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして画像と画像回復フィルタの対応画素ごとに信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理を行う。図3(A)では各タップ内の値を省略しているが、この画像回復フィルタの一断面を図3(B)に示す。画像回復フィルタの各タップのもつ値(係数値)の分布が、収差によって空間的に広がった信号値を理想的には元の1点に戻す役割を果たしている。この画像回復フィルタは、撮像光学系のOTFを計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるため、ウィナーフィルタや関連する種々の画像回復フィルタの作成方法を選択して用いる。その他には、撮像光学系のみならず、撮像の過程で画質を劣化させる要因を含めて作成することができる。その要因とは、例えば、複屈折を有する光学ローパスフィルタや撮像素子の画素開口の形状や開口率等である。複屈折を有する光学ローパスフィルタを撮像光学系に用いた場合は、OTFの周波数特性の高周波成分が抑制されるので、画質が劣化する。また、撮像素子の画素開口の形状や開口率もOTFの周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が画質を劣化させる要因として挙げられる。これらを含めた広義のOTFに基づいて、画像回復フィルタを作成することが望ましい。画像がRGB形式のカラー画像である場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すれば良い。実施例1では、ウィナーフィルタの作成法をもとに画像回復フィルタを作成した。
実施例1の撮像装置は、上記の方法で作成されたフィルタを、記憶部108に複数記憶させておき、撮像状態に合わせて適切な画像回復フィルタを選択、あるいは補正する。図3(C)は画像回復フィルタの選択および補正に関する説明図であり、記憶部108に格納された画像回復フィルタ群の模式図である。記憶部108に格納された画像回復フィルタは、ズーム位置、絞り径、被写体距離の3つの状態を軸とした撮像状態空間中に離散的に配置されている。図3(C)に示した座標によって表される空間を、撮影状態空間と呼ぶ。撮像状態空間中の各点(黒丸)の座標が、あらかじめ格納された画像回復フィルタに対応した撮像状態の位置である。図3(C)では、説明のためにフィルタの位置を各状態に対して直交した格子点上に配置しているが、各フィルタの位置は格子点から外れても構わない。また、撮像状態を図示するために3つの状態(ズーム位置、絞り径、被写体距離)を軸とする3次元図としたが、4つ以上の状態を対象とした4次元以上の撮像状態空間であっても良い。例えば、シャッタースピードやISO感度、ホワイトバランス、撮影モード等を軸として用いることができる。
次に、図3(C)で示された画像回復フィルタの具体的な選択方法について説明する。図3(C)に大きな白丸で示した状態が検知された実際の撮像状態であるとする。実際の撮像状態の位置、またはその極近傍にフィルタが存在する場合には、そのフィルタを選択して画像回復処理(1次画像回復処理)に用いる。撮像状態の位置、またはその極近傍にフィルタが存在しなかった場合は、実際の撮像状態と、格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短い位置にあるフィルタを選択する。図3(C)の撮影状態においては、大きな白丸に対応したフィルタは存在しないので、小さな白丸で示した位置のフィルタが選択される。尚、別の選択方法として、フィルタの選択に撮像状態空間中の方向による重み付けをして、撮像状態空間中の距離と方向による重みの積を評価関数として用いて、フィルタを選択する方法もある。
次に、画像回復フィルタを選択した後、そのフィルタをより好適なフィルタにするために選択されたフィルタを補正する処理について説明する。まず、フィルタを選択する処理において、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する。こうすることで、状態相違量が最も小さくなるためこの後の補正量も少なくできる。図3(C)では小さな白丸で示した位置のフィルタが選択される。この選択された画像回復フィルタの位置の撮像状態と実際の撮像状態の状態相違量ΔA、ΔB、ΔCを算出する。この状態相違量に基づいて、選択された画像回復フィルタを補正することで、実際の撮像状態に対応した画像回復フィルタを生成することができる(画像回復フィルタ生成手段)。尚、別の補正処理として実際の撮像状態近傍に存在する複数の画像回復フィルタを選択し、状態相違量に応じてそれら複数のフィルタを補間処理することで撮像状態に適した画像回復フィルタを生成することもできる。ここでの補間処理は、2次元フィルタ同士の対応タップの係数値を線形補間、多項式補間、スプライン補間などを用いて補間すれば良い。
また、光学伝達関数(OTF)はある撮影状態においても、像高(画像の位置)に応じて変化するので、上記したコンボリューション処理において、像高に応じて分割された画像の領域ごとに画像回復フィルタを変更して行うことが望ましい。分割された画像の領域とは、1画素ごとが最も好ましいが、この領域は適宜変更が可能である。つまり、画像回復フィルタを画像上をコンボリューション処理をしながら走査させ、所定の領域ごとにフィルタを順次変更すれば良い。画像回復フィルタを100以上に分割した2次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好に回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、像面湾曲、非点収差等の非対称収差についても精度良く回復することができる。
以上の方法で、選択あるいは補正(生成)された画像回復フィルタと入力画像gmをコンボリューションすることで1次回復画像fdmが生成される。実空間での画像回復フィルタを入力画像gmに対してコンボリューション処理することで、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができるので、高速な処理が可能となる。
(回復成分情報生成処理)
再び図2を用いて、1次回復画像fdmと入力画像gmから回復成分情報Smを生成する処理について説明する。
再び図2を用いて、1次回復画像fdmと入力画像gmから回復成分情報Smを生成する処理について説明する。
式1に示したように、上記の1次画像回復処理で得られた1次回復画像fdmから元の入力画像gmを対応する画素ごとに信号値を減算する。この処理により色成分ごとの信号値の差である回復成分情報Sm(差分情報)を生成する。
そして、この回復成分情報Smに色合成比調整係数ωを演算し、色合成回復成分情報Sdmを得る。色合成回復成分情報Sdmの生成は式2として表現できる。式2のnに関するΣはR、G、Bについて和をとることを表している。
色合成比調整係数ωは、色合成回復成分情報Sdmを生成するための係数であり、すべての色成分(R、G、B)の回復成分情報Smをこの色合成比調整係数ωに応じて色合成することにより、ある色成分の色合成回復成分情報Sdmを得る。つまり、色合成比調整係数ωは色成分の混合比である。図2のωの付帯記号は、ωABのとき、色成分A用の色合成回復成分情報SdAを生成するための色成分Bの色合成比調整係数を表している。したがって、回復成分情報Smから色合成回復成分情報Sdmを生成する処理は、式2および、これを色成分m、nについて展開して記した、式3として表現することができる。
画像を構成する色成分がR、G、Bであった場合、色合成比調整係数ωを3×3の係数要素を有するベクトルとして表現できる。この色合成比調整係数ωに応じて回復成分情報Smを合成することにより、色合成回復成分情報Sdmを生成する。例として、R成分の色合成回復成分情報SdRの生成について説明する。R用の色合成回復成分情報SdRは、R、G、Bの各回復成分情報SR、SG、SBの各画素の信号値に、色合成比調整係数ωRR、ωRG、ωRBをそれぞれ掛け合わせて、色成分間で合成することで生成される。合成とは、複数の画像の対応する画素ごとの信号値を演算してひとつの画像を生成することである。他の色成分についても同様である。以上の処理によって、色合成回復成分情報Sdmが生成される。
このように、ある色成分の画素の信号値を得る際に、その色成分を含む複数の色成分の信号値を用いることにより、従来の画像回復処理では得ることが出来ない、色合成回復成分情報Sdmを生成することができる。
(2次回復画像生成処理)
次に、上記した回復成分情報生成処理で生成された色合成回復成分情報Sdmから、2次回復画像fmを生成する処理について説明する。色合成回復成分情報Sdmと入力画像gmとを色成分ごとに加算することで、2次回復画像fmを得る。2次回復画像fmの生成は式4として表現でき、この2次回復画像fmが出力画像となる。
次に、上記した回復成分情報生成処理で生成された色合成回復成分情報Sdmから、2次回復画像fmを生成する処理について説明する。色合成回復成分情報Sdmと入力画像gmとを色成分ごとに加算することで、2次回復画像fmを得る。2次回復画像fmの生成は式4として表現でき、この2次回復画像fmが出力画像となる。
上記の処理の流れをまとめると、複数の色成分を有する入力画像(gm)に対して画像回復処理を行い、1次回復画像(fdm)を生成する。1次回復画像(fdm)と入力画像(gm)の差分を演算し、複数の色成分ごとの差分情報(Sm)を生成する。そして、差分情報(Sm)を用いて2次回復画像(fm)を生成する。2次画像回復処理において、Rの色成分について着目すれば、入力画像のひとつの色成分(gR)に前記複数の色成分の差分情報に基づく色合成回復成分情報(ωRRSR+ωRGSR+ωRBSR)を合成する。つまり、R色の画像回復を行う際に、R色だけでなく、G、B色それぞれの差分情報を用いることでR色の差分情報のみで回復を行った場合に比べ、R色の色づきを抑えることができる。言い換えれば、色成分間のぼけ量の差に基づいた画像処理を行っている。
これにより、1次画像回復処理の鮮鋭化と1次画像回復処理により生じ得る色づきの度合いのバランスを取ることができ、不自然な色づきを抑えた画像fmを生成することができる。
ここで、式3で示した色合成比調整係数ωについて詳しく説明する。はじめに色合成比調整係数ωの2つの具体例について説明する。
1つ目は、2次回復画像fmとして1次回復画像fdmと同じ画像を得るための色合成比調整係数ωである。式3の色合成比調整係数ωの対角成分を1として残りの成分を0と置く(単位行列)と、色合成回復成分情報Sdmは自分自身の色成分の回復成分情報Smと等しくなる。これは、2次回復画像fmを1次回復画像fdmと同じ画像して出力する場合の係数設定である。この場合、2次回復画像fmとしては収差成分を最大限に補正しているので、予期せぬ収差が発生していた場合は色づきがより目立つように回復処理されることになるので、画質が劣化する。しかし、予期せぬ収差が発生していない限り良好な画像を得ることができる。
2つ目は、色づきを発生させないための色合成比調整係数ωである。式3の色合成比調整係数ωの全要素を1/3と置くと、色合成回復成分情報Sdmは全ての色成分の回復成分情報Smを平均化したものになる。つまり、入力画像のひとつの色成分に前記複数の色成分の差分情報を平均化したものを色合成回復成分情報としている。したがって、色合成回復成分情報SdR、SdG、SdBともに同じものになる。色合成回復成分情報Sdmが全ての色成分で等しいということは、この後の処理で入力画像gmに色合成回復成分情報Sdmを合成する際に、色成分に関する付加情報の相違が無いことになるので、色づきが発生しない。ただし、各色成分の収差情報を平均化しているので、上記の1つ目の1次回復画像fdmを出力画像とする場合に比べて回復度合い、即ち鮮鋭度は低下することになる。しかし、回復成分情報Smを平均化しても、各色成分の回復成分情報SR、SG、SBの間には少なからず正の相関(類似性)があるので、入力画像gmに対して2次回復画像fmの鮮鋭度は向上している。したがって、色合成比調整係数ωの全要素を1/3とすることで、色づきは発生しない。
以上説明したように、色合成比調整係数ωを設定することで、所望の画質を有する画像を得ることができる。これは、ある色成分の回復画像を得るために、ある色成分を含む複数の色成分を用いることで、色成分間での回復度合いを調整することが可能となるのからである。尚、ひとつの色成分についてのみ色合成回復成分情報を用いて合成しても良いし、入力画像の各色成分に複数の色成分の差分情報に基づく色合成回復成分情報を合成しても良い。具体例を述べれば、G成分はR、B成分に比べて色収差が出にくい。この性質を利用して、R、Bの色に関しては差分情報に基づく色合成回復成分情報を用いて、G色に関してはG光の差分情報を用いて画像回復処理を行えばよい。
次に以上の画像処理を行う撮像装置全体の動作を図4(A)を用いて説明する。まず、ステップS41において、被写体からの光は撮像光学系101を介して撮像素子102へ至る。撮像素子102が受光した光はアナログの電気信号へと変換され、A/Dコンバータ103で、アナログからデジタルの信号へと変換される。そして、システムコントローラ110は、撮像素子102が生成した画像データを表示部105にスルー表示を行う。スルー表示とは、連続的に撮像素子102で画像データが生成され、表示部105に被写体の様子が動画としてリアルタイムで表示されることである。
次にステップS42において、システムコントローラ110はシャッタースイッチ信号(以下、SW信号)がONしているか否かを判定する。SW信号がONの場合は、AF(オートフォーカス)処理を行って撮像光学系101の焦点を合わせるとともに、AE(自動露光)処理を行って絞り値およびシャッター時間(シャッタースピード)を決定し、記憶部108に記憶し、ステップS43に進む。SW信号がOFFの場は、処理ステップはS41に戻る。
ステップS43においてシステムコントローラ110は、SW信号を検知したタイミングに応じて、それまでに得られた画像データから求められた露光量に応じて撮像素子102への露光処理を開始する。露光処理により生成された画像データに対して現像処理を施す撮影処理を実行し、その結果を記憶部108に記憶し、ステップS44に進む。
ステップS44において、記憶部108に記憶された画像を入力画像として、前述した画像処理部104による画像処理が実行され、処理結果が得られた段階でステップS45に進む。このステップS44の画像処理部104による処理のフローについては後述する。
そして、ステップS45において、システムコントローラ110は、画像処理あるいは撮影処理で得られた画像データを画像ファイルとして画像記録媒体109に対して書き込む記録処理を実行する。
尚、図4(A)の処理においては、ステップS42においてSWを1段階だけの場合について示したが、SWを2段階設けてもよい。最初のSW信号のONが検知された場合に、AF処理やAE処理を行い、最初のSW信号がONの状態で、2段階目のSW信号が検出された場合にのみ撮影処理に移行するようにしてもよい。
次に、図4(A)のステップS44の画像処理の流れを図4(B)を用いて説明する。この画像処理のアルゴリズムは既に述べたとおりであり、図中の黒丸印は処理の過程で取得される、あるいは、生成される画素データであることを表している。
まず、画像処理部104は入力画像を取得する。入力画像は画素ごとにひとつの色成分情報をもったモザイク画像であるとする。ステップS441において、状態検知部107あるいは記憶部108からレンズ位置や絞り値などの撮像状態情報を取得する。次にステップS442において記憶部108からステップS441において取得した撮像状態に応じた画像回復フィルタの選択や補正を行う。この画像回復フィルタの選択または補正の詳細については既に述べたとおりである。ステップS442で選択あるいは補正された画像回復フィルタを用いて、ステップS443で入力画像に対して回復処理(1次画像回復処理)を行い、1次回復画像を生成する。
次にステップS444において、入力画像と1次回復画像の各画素の信号値の差分から回復成分情報を生成する。入力画像は画素ごとにひとつの色成分情報を有するモザイク画像であるので、ここで、この後に色成分間での画像合成を行うために入力画像と回復成分情報の色補間処理(デモザイキング処理)を行う。
そして、ステップS445において色合成比調整係数ωや回復強度調整係数μの調整パラメータの設定値を取得する。この回復強度調整係数μについては後述する。そして、ステップS446において、色成分ごとの回復成分情報に対して調整パラメータを用いて式3で説明した演算を行い、色合成回復成分情報を生成する。
尚、調整パラメータとしての色合成比調整係数ωや回復強度調整係数μは必要に応じてどちらか一方のみとすることもできる。また、本実施例では、撮像条件や像高に応じて、あらかじめ用意してある設定値から自動的に調整パラメータを選択して用いる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定してもよい。画素の特徴量とは、その画素の画素値や隣接画素との画素値の差などである。
次に、ステップS447では、ステップS446で得られた色合成回復成分情報を入力画像に合成して2次回復画像を生成する(式4)。この処理は、色補間処理された画像に対して行うこともできるし、色合成回復成分情報に色成分ごとのマスクをしてモザイク画像のときの色成分情報配列に戻し、モザイク状態の入力画像と合成することもできる。
次にステップS448の付加処理では、その他の必要な処理を行った後、画像を出力する。ここでのその他の必要な処理の例としては、2次回復画像がモザイク画像の状態であれば、色補間処理(デモザイキング処理)が挙げられる。他にも、シェーディング補正、歪曲収差補正、倍率色収差補正などがある。また、ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後中間に必要に応じて挿入することもできるので、その例については後述する。
以上の処理を行った場合の効果について図5(A)から(F)を用いて説明する。図5(A)から(F)は被写体やそれを撮像した画像のエッジ部を表した図であり、横軸は画像上の位置(画素)を表し、縦軸は画素値である。図5(A)は被写体のエッジ部を表した図である。図5(B)は図5(A)のエッジ部が合焦距離にある場合の回復前の撮影画像である。図5(B)に対して、従来の画像回復処理を行った場合の回復画像が図5(C)である。図5(D)は図5(A)のエッジ部が非合焦距離にあった場合の回復前の撮像画像である。図5(E)は図5(D)に対して、従来の画像回復処理を行った場合の回復画像である。図5(F)は図5(D)に対して、本発明の画像回復処理を行った場合の回復画像である。
図5(B)のエッジ部は、奥行き方向の色収差により、色成分1と色成分2の収差の広がりが異なっている。例えば、実線の色成分1がGチャンネル、破線の色成分2がRチャンネルとすると、エッジ部は赤く滲んでいることになる。エッジが合焦距離にあれば、図5(C)のように、従来の画像回復処理で色づきを発生させることなく画像を回復できる。しかし、合焦距離とずれた位置に被写体が存在する場合、図5(D)のように、エッジ部は緑に滲んでしまう。これを合焦距離に適した回復フィルタ、つまり、図5(B)の状態を想定した回復フィルタを用いて回復処理してしまうと、色成分2をより強く補正するので色成分1と2の差異がより広がってしまう。つまり、図5(E)のように色づきが発生し、エッジ部の緑の色づきがより強調されてしまう。しかし、本発明の画像処理を行えば、図5(D)のように非合焦距離においても色収差の状態が強調されてしまうような色づきを抑制することができ、図5(F)のような色づきを抑えた回復画像を得ることができる。
その他の効果について、図6(A)、(B)を用いて説明する。図6(A)は従来の画像回復処理のフローである。図6(B)は実施例1で説明した画像処理のフローである。従来の画像処理は、ステップS61aにおいて入力画像を取得し、ステップS62aにおいて、回復度合いを変更する度に画像回復フィルタを計算し、生成する。次にステップS63aで、ステップS62aで生成された回復フィルタを用いて画像回復処理を行い回復画像を出力する。次にステップS64aで、この回復画像を評価して、そのまま出力画像とするか回復度合いを変更するか否かを判定する。ここで、そのまま出力画像とする場合にはステップS65aへ進み、S63aにおいて生成された回復画像を出力する。しかし、回復度合いを変更すると判定された場合には、ステップS62aの戻り、再び画像回復フィルタを再計算しなければならない。
一方、図6(B)は実施例1の画像回復処理のフローである。ステップS61bで撮影画像を入力画像とし取得する。次にステップS62bで、初期値としてのパラメータ(ズーム位置、絞り径、被写体距離など)を用いて画像回復フィルタを計算し、生成する。尚、このステップ経ずに初期値としてあらかじめ用意された画像回復フィルタを用いても良い。そして、そのフィルタを用いてステップS63bで入力画像に対して画像回復処理(1次画像回復処理)を行い、1次回復画像を出力する。ステップS64bで、この1次回復画像に対してあらかじめ用意された調整パラメータを用いて画像補正処理(2次画像回復処理)を行い、2次回復画像を生成する。ステップS65bにおいて、この2次回復画像を評価してそのまま出力画像とするか、再度回復度合いを変更するかを判定する。回復度合を変更する場合には、調整パラメータを変更し、画像補正処理を行う。この調整パラメータが色合成比調整係数ωや後述する回復強度調整係数μである。尚、ここでは、図2で説明した1次画像回復処理以外の回復成分情報生成処理、2次回復画像生成処理をまとめて画像補正処理としている。尚、S64bの画像補正処理において用いる調整パラメータは、あらかじめ用意されたパラメータを用いても良いし、ユーザーが設定した調整パラメータ、あるいは画像情報から自動的に決定された調整パラメータを用いて画像補正処理を行っても良い。
図6に示したように、従来の方法では回復度合いを変更する場合、画像回復フィルタの再計算が必要であるが、本発明はフィルタの再計算を行う必要がないので画像処理の負担を低減し、より高速な処理が可能となる。
実施例1の式3に示したように、色合成比調整係数ωは9つの設定自由度を有しているため、各要素値の設定が煩雑になってしまう場合がある。例えば、撮像装置や画像処理システム上で一般ユーザーが、操作部111のボタンを用いて、色合成比調整係数ωの値をひとつ、ひとつ設定して、この色合成比調整係数ωを変更する場合がその例である。
実施例2では、色合成比調整係数ωの各要素間に従属関係を持たせることにより、9つのパラメータを1つのパラメータのみで設定可能とする例について説明する。色合成比調整係数の値の設定方法以外は実施例1と同じなので説明は割愛する。
色合成比調整係数ωの各要素間の従属関係は、回復度合いと色づき発生の度合いとのバランスを調整できる関係である必要がある。そこで、色合成比調整係数ωの決定方法の一例として、はじめに2つの制約条件を付加する。1つ目の条件は、式5のように式3の行列ωの行ごとの和をそれぞれ1とするものである。
これは、例えばR成分の色合成回復成分情報SdRを生成するための回復成分情報SR、SG、SBの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Sdm間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。
2つ目の条件は、式6のように式3の行列ωの列ごとの和を1とするものである。これは、各色合成回復成分情報SdR、SdG、SdBを生成する際に、回復成分情報SR、SG、SBを各色成分に分配してそれぞれ使い果たすことを意味している。
上記の2つの制約条件を課すと、色合成比調整係数ωは式7として表現することができる。
さらに、回復度合いを確保しながら色づきの発生度合いを抑制するためには、各色合成回復成分情報Sdmは色成分間での類似性が高い、即ちSdmの相違が小さい方が好ましいことになる。実施例1でω=1/3とした場合は、各色合成回復成分情報Sdmの色成分間での相違が無いために色づきの度合いが最小、即ち色づきの発生が無い状態であった。したがって、ある色成分の回復成分情報Smを各色成分の色合成回復成分情報Sdmにできるだけ均等に配分すれば良いことになるので、式7の各列の分散が小さい方が色づきの発生度合いを低減できることが分かる。これに基づいて、式7の各列の分散を最小化すると、色合成比調整係数ωは式8として表すことができる。
式8は、設定パラメータがω1つになっているので、回復度合いとの色づきの発生の度合いのバランスの調整を容易に制御することができる。式8において、ω=1とすると、行列ωは単位行列となり、回復度合いと色づきの発生度合いがともに最大になる。また、ω=1/3とすると、行列ωは全ての要素が1/3となり、回復度合いが低下するとともに色づきが発生しなくなる。したがって、1/3≦ω≦1の範囲で色合成比調整係数ωを低下させていくと、色づきを低減する調整が可能となる。
以上のように色合成比調整係数ωを設定することで、ユーザーが所望の画質を容易に取得することが可能となる。また、撮像装置や画像処理システムを提供する側としても、調整パラメータを少ない自由度で制御できることは、装置開発工程や生産工程での作業効率を向上させることができる。
尚、実施例1および実施例2において、色合成比調整係数ωの決定方法についていくつか例を示したが、決定方法に関してはこれに限るものではない。式8は、回復度合いと色づきの発生度合いを1つの設定パラメータωで容易に決定するための一例にすぎない。例えば、行列ωの全要素を0(ゼロ)にすると、色合成回復成分情報Sdmが全ての色成分で0(ゼロ)になるので、2次回復画像fmは入力画像gmそのものとなる。このように、0≦ω≦1の範囲で色合成比調整係数ωを調整することで、入力画像から最大回復度合いの画像までの範囲で出力画像を調整して得ることができる。また、式5を1よりも大きく設定することで、さらに回復を強調させることも可能である。
また、行列ωの各要素の設定自由度を1つに限定せず、異なる自由度や別の制約条件に基づいて調整することもできる。例えば、式7に基づいて設定すれば自由度は6にすることも可能である。
以上、色合成比調整係数ωを適宜設定し、回復成分情報Smを色成分間で合成し、色合成回復成分情報Sdmの色成分間の類似性を制御することで、良質な画像を得ることが可能となる。言い換えれば、ばらつきの存在する実際の撮影時の収差の状態に対応した画像回復フィルタを設計することは困難である。したがって、上記のように回復度合いと色づきの発生の度合いとを調整することで、さまざまな撮影条件に柔軟に対応できる画像処理が可能となる。
実施例1および実施例2では色合成比調整係数ωを用いた形態について説明したが、実施例3ではさらにユーザビリティを向上するために、色づきの発生度合いを調整するパラメータである回復調整係数μを用いた実施例について説明する。
説明の重複を避けるため、実施例1と異なる部分についてのみ説明する。具体的には、実施例1で示した画像処理のうち、1次画像回復処理、回復情報成分生成処理については同じなので説明は割愛する。処理の異なる2次回復画像生成処理についてのみ説明する。
式3に示した色合成比調整係数ωの各行の和をそれぞれ1とする式5の制約条件を解除することで、入力画像gmや強調補正した2次回復画像fmが得られることについては既に述べた。しかし、制約条件を解除すると、色合成比調整係数ωの決定するための自由度が多いため、式8のように1つのパラメータで決定することが困難になる。そこで実施例3では、式8の色合成比調整係数ωの決定方法を用いつつ、さらに2次回復画像fmとして、入力画像gmや強調補正した画像が得られる方法を説明する。
2次回復画像fmは式4で得られるが、ここでは式9に表現した方法を用いる。
式9は式8によって決定された行列ωに回復強度調整係数μをかけたものである。μ=0とすると、式9の右辺第2項は0(ゼロ)になるので、2次回復画像fmとして、入力画像gmそのものを得ることになる。また、μ=1とすると、式9は式4と等しくなり、式8により決定した色合成比調整係数ωにおける2次回復画像fmを得ることができる。回復強度調整係数μの基本範囲は0≦μ≦1であるが、μ>1とすることで強調補正した画像を得ることができる。つまり、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合いを調整することができる。この回復強度調整係数μを導入した場合のアルゴリズムを図解したものを図7に示す。
回復強度調整係数μを用いることは、被写体の照明光源の分光変動や撮像光学系の製造誤差などの要因で色成分ごとに光学伝達関数(OTF)が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した2次回復画像fmを得ることができる。また、撮像光学系に製造誤差がある場合の影響のひとつに、画像の左右対称な位置で劣化度合いが異なるものがあり、それは画像上でのぼけや各色成分の相対的な色にじみの差異として現れることがある。ぼけについては、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。色にじみについては、画像の位置による色にじみ量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。
ここで、色合成比調整係数ωおよび回復強度調整係数μの変化に対する2次回復画像fmの回復度合いの線形性について説明する。色合成比調整係数ωおよび回復強度調整係数μをともに1とした最大回復度合いの2次回復画像fmと等しい1次回復画像fdmを基準とする。そして、1次回復画像fdmと2次回復画像fmとの画像の類似性を式10の評価関数Jmとして定義する。
右辺の付帯記号2のついた二重縦線は2次元ノルムを示しており、分母のX、Yは画像の水平方向および垂直方向の画素数を示している。2次回復画像fmとして式9、色合成比調整係数ωとして式8をそれぞれ代入すると、評価関数Jmは色合成比調整係数ωおよび回復強度調整係数μに対して1次式となることから、直線的な回復度合いの調整が可能であることが分かる。
回復強度調整係数μを用いることで、色合成比調整係数ωの決定を式8のように容易にしながらも回復度合いを調整することができる。色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと色づきの発生度合いとのバランス調整を色合成比調整係数ωで行い、ダイナミックな画像の回復度合いの調整を回復強度調整係数μで行うことができる。この調整による回復度合いの変化の模式図を図8に示す。色合成比調整係数ωを変化させることにより色づき発生を調整でき、さらに回復強度調整係数μを変化させることにより、設定した色合成比調整係数ωと入力画像の間で回復度合いを調整することができる。つまり、色合成比調整係数ωは色成分間の合成比を調整するのに対し、回復強度調整係数μはR、G、Bすべての色成分について回復度を変更できる。色合成比調整係数ωと回復強度係数μ両方を用いて画像回復(2次画像回復)を行ってもよいし、色合成比調整係数ωはあらかじめ設定値を有し、回復強度係数μのみを変更して、回復度合いを調整してもよい。
図9(A)の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図9(B)に示す。この結果から図8に示した線形性が正しく再現されていることが分かる。
このような回復度合い調整の線形性は、調整パラメータ数の低減と同様に、ユーザーが変更する場合に設定値と回復結果の対応が取り易いという利点がある。例えば、表示部105に回復度合い調整係数μに対応したスクロールバーを表示する。そのスクロールバーをユーザーが操作部111を操作、あるいは、直接画面のスクロールバーを操作することにより、簡単にユーザーが所望する画像の回復度合いを設定することができる。
回復強度調整係数μを用いて回復度合いを調整することは、ノイズやリンギングの抑制になる。出力画像としての画質の評価は目的に応じて異なる。また、一般の写真撮影においても、収差の残っていることでフレアがかった柔らか味のある画像から、収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや色づき等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像(入力画像)そのものを出力できることは出力画像の保障として重要である。これら様々な要求に対して、回復強度調整係数μを調整することで対応できる。
また、回復強度調整係数μを用いた場合も実施例1と同様に、回復度合いを変更したい場合、調整パラメータであるμを再設定すれば良く、フィルタの再計算は必要ないので、より少ない計算量で所望の画像を得ることが可能となる。
以上、撮像装置における画像処理の実施例について説明したが、撮像装置はその要旨の範囲内で種々の変形及び変更が可能である。
また、以上説明した画像処理は、撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置はレンズのような撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システム伝達関数ではあるので、上記の光学伝達関数(OTF)に相当するものである。したがって、撮像光学系を持たずとも、伝達関数に基づいて画像回復フィルタを生成すれば、実施例で説明した2次回復画像を生成することができる。
実施例1から3においては、撮像装置内の画像処理部104の処理について説明したが、この処理をプログラムで実行する例について説明する。図10はプログラムの処理フローであり、処理の主体はプログラムを実行するCPUである。
まず、ステップS101において、入力画像に対してOTFまたはシステムの伝達関数を用いた1次回復画像生成処理を行い、1次回復画像を生成する。次にステップS102において、入力画像と1次回復画像の差分から回復成分情報を得る。次に、ステップS103において、各色成分ごとの回復成分情報を調整パラメータ(色合成調整比係数ω、回復強度調整係数μ)に基づいて入力画像に演算することで2次回復画像を得る。以上の処理を行うことにより、色づきが調整された良質な画像を得ることが可能となる。
上記S102からS103の各ステップについて図11(A)から(C)のフローチャートを用いて詳しく説明する。
まず図10のステップS101の1次回復画像生成処理において、図11(A)に示したようにステップS111において入力画像を取得する。次にステップS112においてS111で入力された画像にOTFあるいはシステムの伝達関数に基づいて生成された画像回復フィルタを、入力画像にコンボリューションして1次回復画像を生成する。次に、図11(B)に示した図10のステップS102の回復成分情報生成処理ステップでは、ステップS113において、入力画像から1次回復画像を差分することにより回復成分情報を生成し、2次回復画像生成処理に移る。図11(C)に示した図10のステップS103の2次回復画像生成処理のステップS114において、実施例1で説明した色合成比調整係数を取得する。次にステップS115においてステップS113で得られた回復成分情報に色合成比調整係数を演算し、色合成回復成分情報を生成する。次にステップS116で、入力画像に色合成回復成分情報を演算することにより、2次回復画像を生成する。そしてステップS117において、2次回復画像を出力する。
この一連の処理を行うことで、各色成分間の合成比を調整することができるので良質な画像を得ることができる。
その他の効果として、2次回復画像の回復度合いを変更する場合に画像回復フィルタを再計算する必要がないので、より画像処理の負担を軽減し高速な処理を行うことが可能となる。
次に、図12を用いて、色合成比調整係数ωと回復強度調整係数μを両方を用いた画像回復処理をプログラムで実行する処理フローについて説明する。1次画像回復処理、および回復成分情報取得処理については図11(A)、(B)の処理フローと同じであるので説明は割愛し、2次回復画像生成処理についてのみ説明する。
ステップS121において色合成比調整係数を取得し、ステップS122において回復成分情報生成ステップ(図11(B))で生成された回復成分情報に、色合成比調整係数を演算することによって色合成回復成分情報が生成する。次にステップS123において回復強度調整係数を取得し、ステップS124において色合成回復成分情報に回復強度調整係数を乗算することにより2次回復画像を生成する。次にステップS125において2次回復画像を出力する。尚、本実施例においては色合成比取得係数を取得後、回復強度調整係数を取得したが、これに限られず、あらかじめ取得しておいてもよいし、実施例2で述べたようにユーザーが変更した値を、適宜取得するようにしても良い。また、図12では色合成比調整係数ωと回復強度調整係数μを両方用いるフ場合のローについて説明したが、回復強度調整係数μのみを用いて処理を行ってもよい。
実施例5では、実施例1から4で説明した画像処理をシステムに適用した例について説明する。図13(A)は、本発明の画像処理を画像処理システムに適用した場合の基本構成の一例を示している。図13(A)の画像処理装置131は、画像処理ソフトウェア132を搭載したコンピュータ機器である。画像処理装置131は以下に説明する機器と接続可能である。撮像機器133は、カメラ、顕微鏡、内視鏡、スキャナなどの撮像機器である。記憶媒体134は、半導体メモリ、ハードディスク、ネットワーク上のサーバなど撮影画像が記憶可能な機器である。画像処理装置131は、撮像機器133または記憶媒体134から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器135、撮像機器133、記憶媒体134のいずれかまたは複数に出力する。また、出力先を画像処理装置131に内蔵された記憶部として保存しておくこともできる。出力機器135の例としてはプリンタが挙げられる。画像処理装置131にはモニタである表示機器136が接続されており、ユーザーはこの表示機器136を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア132は、画像の回復度合いの調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。以下、回復度合いとは実施例1から4で説明した色づき度合いの調整を含む。
また、別の画像処理システムの例を図13(B)を用いて説明する。実施例1のように、撮像機器137単体で本発明の一連の画像処理を行う場合は、撮像機器137から直接、出力機器138に2次回復画像を出力することができる。また、出力機器138に画像処理装置を搭載することで、出力機器138で、画像の回復度合いの調整を行うことも可能である。出力機器138の出力時の画像劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができるという利点がある。
ここで、画像回復処理を含む画像処理を行うための機器間で伝送される補正データの内容と補正データの受け渡しについて説明する。図14に補正データの内容を示し、補正情報セットは、以下の補正に関する情報を有している。
・補正制御情報
補正制御情報は、撮像機器133、画像処理装置131、出力機器135のどの機器で1次画像回復処理および回復度合い調整処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報である。例えば、撮像機器133で1次画像回復処理のみ行い、画像処理装置131で回復度合いの調整を行う場合、画像回復フィルタを伝送する必要は無いが、少なくとも撮影画像と回復成分情報を伝送する必要がある。
・撮像機器情報
撮像機器情報は、製品名称に相当する撮像機器133の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
・撮像状態情報
撮像状態情報は、撮影時の撮像機器の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ISO感度、ホワイトバランス、撮影モードなどである。
・撮像機器個別情報
撮像機器個別情報は、上記の撮像機器情報に対して、個々の撮像機器の識別情報である。製造誤差のばらつきにより撮像機器の光学伝達関数(OTF)は個体ばらつきがあるため、撮像機器個別情報は個々に適当な調整パラメータを設定するために有効な情報である。また、撮像機器個別情報は、調整パラメータを個別に変更するための補正値でも良い。
・画像回復フィルタ群
画像回復フィルタ群は、1次回復画像生成処理で用いる画像回復フィルタのセットである。1次回復画像生成処理を行う機器が画像回復フィルタを有していない場合、別の機器から画像回復フィルタを伝送する必要がある。
・回復成分情報
既に画像回復処理(1次画像回復処理、回復成分情報生成処理)が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を別の機器に伝送すれば、別の機器で回復度合い調整処理を行うことができる。
・調整パラメータ群
調整パラメータ群は色合成比調整係数ω、回復強度調整係数μのセットである。色合成比調整係数ω、回復強度調整係数μは前記のとおり、画像の位置に応じて変更可能であるし、撮影状態に応じても変更可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
・ユーザー設定情報
ユーザー設定情報は、ユーザーの好みに応じた回復度合いの調整を行うための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。さらに、撮像機器の提供者(メーカー)がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
補正制御情報は、撮像機器133、画像処理装置131、出力機器135のどの機器で1次画像回復処理および回復度合い調整処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報である。例えば、撮像機器133で1次画像回復処理のみ行い、画像処理装置131で回復度合いの調整を行う場合、画像回復フィルタを伝送する必要は無いが、少なくとも撮影画像と回復成分情報を伝送する必要がある。
・撮像機器情報
撮像機器情報は、製品名称に相当する撮像機器133の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
・撮像状態情報
撮像状態情報は、撮影時の撮像機器の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ISO感度、ホワイトバランス、撮影モードなどである。
・撮像機器個別情報
撮像機器個別情報は、上記の撮像機器情報に対して、個々の撮像機器の識別情報である。製造誤差のばらつきにより撮像機器の光学伝達関数(OTF)は個体ばらつきがあるため、撮像機器個別情報は個々に適当な調整パラメータを設定するために有効な情報である。また、撮像機器個別情報は、調整パラメータを個別に変更するための補正値でも良い。
・画像回復フィルタ群
画像回復フィルタ群は、1次回復画像生成処理で用いる画像回復フィルタのセットである。1次回復画像生成処理を行う機器が画像回復フィルタを有していない場合、別の機器から画像回復フィルタを伝送する必要がある。
・回復成分情報
既に画像回復処理(1次画像回復処理、回復成分情報生成処理)が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を別の機器に伝送すれば、別の機器で回復度合い調整処理を行うことができる。
・調整パラメータ群
調整パラメータ群は色合成比調整係数ω、回復強度調整係数μのセットである。色合成比調整係数ω、回復強度調整係数μは前記のとおり、画像の位置に応じて変更可能であるし、撮影状態に応じても変更可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
・ユーザー設定情報
ユーザー設定情報は、ユーザーの好みに応じた回復度合いの調整を行うための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。さらに、撮像機器の提供者(メーカー)がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した機器であれば回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに回復成分情報が含まれていれば画像回復フィルタ群は基本的には必要ない。
尚、入力画像には、レンズの焦点距離、絞り、撮影距離などの撮影条件やこの画像を補正するための各種の補正情報を付帯することができる。撮像から出力までの一連の処理をひとつの閉じた撮像装置で行う場合には、画像に撮影条件情報や補正情報を付帯しなくとも装置内で取得することができる。しかし、撮像装置からRAW画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮影条件情報や補正情報を付帯することが好ましい。ただし、画像処理装置側にあらかじめ補正情報が記憶されており、撮像条件情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。ここでの補正情報とは、例えば色合成比調整係数ωである。この補正情報は初期値としてあらかじめ設定された値を得ることができるが、ユーザーがこの値を変更することもできる。撮像装置に装備されたモニタや、画像処理装置が別の機器である場合には画像処理システムの一部として装備されたモニタを用いてユーザーが出力画像を評価しながら補正情報を変更し、好みの出力画像を得ることができる。
以上、本発明の画像処理装置あるいは画像処理プログラムあるいは画像処理方法を用いた画像処理システムに関する実施例を示したが、本発明の画像処理システムは、その要旨の範囲内で種々の変形及び変更が可能である。
(変形例1)
変形例1においては、色補間処理(デモザイキング処理)を行う場合の変形例について説明する。図2で説明したととり、色成分間の回復成分情報Smを色合成する際には、各画素に複数の色成分情報をもっていることが必要になる。したがって、2次回復画像生成処理を各画素に1つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理(デモザイキング処理)を行う必要がある。そのために、各色成分の回復成分情報Smに対して色補間処理を行うか、または、入力画像gmと1次回復画像fdmに対してそれぞれ色補間処理を行うことで各画素に複数の色成分情報をもった回復成分情報Smを生成すれば良い。
変形例1においては、色補間処理(デモザイキング処理)を行う場合の変形例について説明する。図2で説明したととり、色成分間の回復成分情報Smを色合成する際には、各画素に複数の色成分情報をもっていることが必要になる。したがって、2次回復画像生成処理を各画素に1つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理(デモザイキング処理)を行う必要がある。そのために、各色成分の回復成分情報Smに対して色補間処理を行うか、または、入力画像gmと1次回復画像fdmに対してそれぞれ色補間処理を行うことで各画素に複数の色成分情報をもった回復成分情報Smを生成すれば良い。
図15(A)に、色補間処理(デモザイキング処理)を行った画像から回復成分情報を生成する場合の処理フローを示した。図15の各工程で既出のものについては説明を割愛する。また、モザイクデータ、デモザイクデータとは、そのデータが1画素ごとにRGB成分を有している(デモザイクデータ)か否(モザイクデータ)かを表している。モザイクデータ処理、デモザイクデータ処理とは、その処理の対象となるデータの状態を表している。図15(A)のフローでは、色成分間の色合成のために色合成回復成分情報生成の前に色補間処理を行い、色合成後にモザイクデータの色配列に対応したマスク処理を行い、色合成回復成分情報をモザイクデータに戻している。そして、入力画像との合成により2次回復画像を生成し、再び色補間処理を行っている。このように、非線形処理を含まないRAW画像(モザイク画像)に対して画像回復処理を行うことで、高精度な回復処理を行うことができる。また、色合成回復成分情報をモザイクデータに戻して、2次回復画像に対して色補間処理行うことで、画像の信号値の状態に応じた非線形な色補間処理を行うことができる。
図15(A)のように最終画像に近い段階で色補間処理を行う方が非線形な処理を行う上では好ましい。しかし、色補間処理(デモザイキング処理)は図15(A)の処理フローに限られず、入力画像に対して初めに色補間処理を行い、以降の処理にデモザイク画像を用いてもよい。また、図15(B)のフローに示したように、色合成回復成分情報をモザイクデータに戻さない代わりに、入力画像を色補間処理してデモザイクデータとした上で2次回復画像を生成してもよい。
(変形例2)
次にホワイトバランスと回復度合いの調整の関係について図16(A)、(B)を用いて説明する。ホワイトバランスはデジタルカメラにおける色調の調整方法で適切な色、もしくは撮影者によって意図された色味を出すために使用される。また、白色を生成するためのRAW画像のRGB信号の混合比をホワイトバランス係数とする。
次にホワイトバランスと回復度合いの調整の関係について図16(A)、(B)を用いて説明する。ホワイトバランスはデジタルカメラにおける色調の調整方法で適切な色、もしくは撮影者によって意図された色味を出すために使用される。また、白色を生成するためのRAW画像のRGB信号の混合比をホワイトバランス係数とする。
上記のとおり、色合成回復成分情報を生成するためには、回復成分情報を色成分間で色合成比調整係数ωに応じて色合成することである。このとき、ホワイトバランスを考慮しないと、ωの設定により意図した混合比にならない。例えば、ω=1/3はR、G、Bの各回復成分を均等に平均化するので、得られる色合成回復成分情報は色味の無い状態である。しかし、ホワイトバランス係数が1:1:1でない限り、1/3ずつ混合した色合成回復成分情報は色味をもつことになる。即ち、色づきの発生度合いを0(ゼロ)にできていないことになってしまう。そこで、図16(A)のように、入力画像に対してホワイトバランス処理を行う。このホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を除算に相当する処理を行い、信号値のレベルを正規化する処理である。正規化することで、色合成比調整係数ωに応じた混合比で色合成回復成分情報を生成することができる。そして、2次回復画像を生成する前に逆ホワイトバランス処理を行うことで画像のホワイトバランスを元の状態に戻している。この逆ホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を乗算に相当する処理を行い、正規化された信号値のレベルを元に戻す処理である。このホワイトバランス処理の別の方法としては、図16(B)のように画像でホワイトバランスの考慮を行うのではなく、回復度合いの調整パラメータをホワイトバランス係数に応じて補正している。調整パラメータとは、色合成比調整係数ωや回復強度調整係数μである。
以上説明したように、画像回復処理(1次画像回復処理、2次画像回復処理)を行うにあたってホワイトバランスを考慮することにより、不自然な色づきを抑えた画像回復処理を行うことが可能となる。
(変形例3)
次に歪曲補正と回復度合いの調整の関係について図17を用いて説明する。この方法は、モザイク画像に対して画像回復処理を行う場合である。こうすることにより、色づきの発生と歪みが補正された、より良質な画像を得ることが可能となる。歪曲補正処理を行う別の処理フローとしては、2次回復画像をデモザイクしたデモザイク画像に対して歪曲補正処理を行ってもよい。図17の処理フローでは、歪曲収差補正を画像回復処理(1次画像回復処理)よりも後の工程で処理している。
次に歪曲補正と回復度合いの調整の関係について図17を用いて説明する。この方法は、モザイク画像に対して画像回復処理を行う場合である。こうすることにより、色づきの発生と歪みが補正された、より良質な画像を得ることが可能となる。歪曲補正処理を行う別の処理フローとしては、2次回復画像をデモザイクしたデモザイク画像に対して歪曲補正処理を行ってもよい。図17の処理フローでは、歪曲収差補正を画像回復処理(1次画像回復処理)よりも後の工程で処理している。
画像回復処理(1次画像回復処理)よりも前の工程で歪曲補正を行うことも可能であるが、その場合、画像回復処理において画像は伸縮、変形し、画素補間される。このとき、画像回復フィルタも画像に合わせて伸縮、変形し、タップ補間しなければならない。例えば樽型の歪曲収差の補正を行う場合、画像の周辺部ほど引伸ばすので画像回復フィルタが肥大化してしまう。さらに、補間を伴うので回復精度が低下する。したがって、歪曲補正は画像回復処理よりも後の工程で行うことが好ましい。
(変形例4)
変形例4では、倍率色収差処理を行った場合の処理フローについて説明する。
変形例4では、倍率色収差処理を行った場合の処理フローについて説明する。
倍率色収差補正処理を含めたフローを図18(A)、(B)に示す。図18(A)の方法は、初めに入力画像に対して倍率色収差補正処理を行い、画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用いている。また、この他の処理フローを図18(B)に示した。図18(B)の処理フローは、回復成分情報に対して倍率色収差補正処理を行っている。ただし、この場合、2次回復画像を生成するために入力画像に対して倍率色収差補正処理を行う必要があるため、図18(A)の方法がより好ましい。
また、上記の歪曲収差補正や倍率色収差補正は画像の倍率変更に伴い画素補間処理が必要となる。画素補間処理を行うと、それぞれの補正量に応じた周期的な鮮鋭度の劣化が発生する。この鮮鋭度劣化の周期と劣化量は補正特性からあらかじめ知ることができるので、画像の回復度合いをこの鮮鋭度劣化特性に応じて調整することで鮮鋭度劣化を補正することができる。具体的には、回復強度調整係数μを画像の位置に応じた劣化量に応じて変化させて、出力画像の鮮鋭度のムラを低減する。
以下に、倍率色収差補正を一連の画像処理とともに行う場合の好ましい例について説明する。
倍率色収差補正に関して、図18(A)、(B)で示した処理フローでは、共に倍率色補正成分を持たない画像回復フィルタを用いたが、画像回復フィルタに倍率色収差の補正成分を含めることができる。しかしながら、倍率色収差補正は画像回復処理とは別の工程として処理した方が好ましい。この理由について図19、図20を用いて説明する。
図19に色合成比調整係数ω=1/2、回復強度調整係数μ=1の場合について示す。これまで色成分をR、G、Bの3成分として説明してきたが、ここでは簡易的に2成分において説明する。ω=1/2の条件は、2つの色成分の場合に色づきの発生度合いが0(ゼロ)になる条件である。gmは劣化している入力画像のある断面を模式的に示している。太実線は第一の色成分であり、点線は第二の色成分を示している。図19(A)は倍率色収差補正成分を含めた画像回復フィルタを用い、さらに後段で2次回復画像fmに対して倍率色収差補正を行う場合である。図19(B)は入力画像gmに対して倍率色収差補正を行った後、倍率色収差補正成分を含まない画像回復フィルタを用いる場合である。図19(C)は倍率色収差補正成分を含まない画像回復フィルタを用い2次回復画像fmを生成したのち、その2次回復画像に対して倍率色収差補正を行う場合である。gm|shiftは図19(B)についてのみ倍率色補正を行った画像である。fdmはgm、gm|shiftそれぞれに対して画像回復処理を行った1次回復画像であり、図19(A)、(B)、(C)とも画像のぼけ(鮮鋭度が低下している部分)が補正されていることが分かる。次に、回復成分情報Smは、図19(A)、(C)に対してはfdmからgmを減算して生成する。図19(B)に対してはfdmからgm|shiftを減算して生成する。Sdmは、第一の色成分及び第二の色成分の回復成分情報Smを平均化した色合成回復成分情報である。fmは、この色合成回復成分情報Sdmと入力画像gmとを合成した2次回復画像である。fm|shiftは、2次回復画像fmに対して倍率色収差補正を行った画像である。2次回復画像が生成された後、倍率色収差成分の補正を行っていない図19(C)と、画像回復フィルタに倍率色収差補正成分を含めたにも関わらず、色ずれのある図19(A)に対して、倍率色収差を補正している。そして、Omはこれらの画像処理を経た出力画像である。出力画像Omから、色合成回復成分情報Sdmを生成する工程で、回復成分情報Smに倍率色収差が残留している場合、色合成回復成分情報Sdmが倍率色収差を含めた広がりを持ってしまうため個々の色成分の補正精度が低下する。したがって、図19(B)のように色合成回復成分情報Sdmを生成するよりも、前段の工程で倍率色収差補正を行う場合が最も鮮鋭な出力画像Omが得られることが分かる。
次に、1つの色成分について、回復強度調整係数μ=1/2とした場合の画像回復処理を図20に示す。ここでは、色成分が1つであるため、上記の色合成回復成分情報を生成するときの問題は除外されているが、図20(A)の画像回復フィルタに倍率色収差補正成分を含めた場合は良好な出力画像が得られないことが分かる。これは、回復成分情報に倍率色収差成分が含まれているために、回復度合い(回復強度調整係数μ)を下げると倍率色収差の補正度合も応じて低下してしまうためである。
倍率色収差補正は、座標の幾何変換処理で行えるが、画像回復処理のようなアーティファクト(リンギングなど)は発生しにくい。そのため、回復度合いの調整において、ぼけ補正(鮮鋭度を向上させる補正)と色ずれ補正(倍率色収差補正)を分離して、色ずれ成分は倍率色収差補正によって除去し、ぼけ度合を回復度合いとして調整することが好ましい。よって、画像回復フィルタには倍率色収差補正成分を含めず、且つ画像回復処理よりも前の工程で倍率色収差補正を行うことがより好ましい。
以上の変形例1から4では、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて決定しても構わない。良質な画像を得る目的を達成可能な範囲では当然ながら処理工程の順序を変更しても構わない。
101 撮像光学系
101a 絞り
101b フォーカスレンズ
102 撮像素子
103 A/Dコンバータ
104 画像処理部
105 表示部
106 撮像光学系制御部
107 状態検知部
108 記憶部
109 画像記録媒体
110 システムコントローラ
111 操作部
101a 絞り
101b フォーカスレンズ
102 撮像素子
103 A/Dコンバータ
104 画像処理部
105 表示部
106 撮像光学系制御部
107 状態検知部
108 記憶部
109 画像記録媒体
110 システムコントローラ
111 操作部
Claims (15)
- 複数の色成分を有する入力画像に対して画像回復処理を行い、1次回復画像を生成する1次回復画像生成手段と、
前記入力画像と前記1次回復画像との差分を演算し、前記複数の色成分ごとの差分情報を生成する回復成分情報生成手段と、
前記差分情報を用いて2次回復画像を生成する2次回復画像生成手段とを有する画像処理装置であって、
前記2次回復画像生成手段は、前記入力画像のひとつの色成分に前記複数の色成分の差分情報に基づく色合成回復成分情報を合成することを特徴とする画像処理装置。 - 前記2次回復画像生成手段は、前記差分情報を色成分ごとの合成比を決める複数の色合成比調整係数に応じて合成することにより、2次回復画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記色合成比調整係数を設定する設定手段を有し、
前記設定手段による設定値は変更可能であることを特徴とする請求項2に記載の画像処理装置。 - 前記色合成比調整係数の複数の値を、ひとつの設定値によって設定することを特徴とする請求項2または3いずれか1項に記載の画像処理装置。
- 前記2次回復画像生成手段は、前記差分情報を回復の強さを決める回復強度調整係数に応じて前記入力画像に合成することにより、前記2次回復画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
- 前記回復強度調整係数を設定する設定手段を有し、
前記設定手段による設定値は変更可能であることを特徴とする請求項5に記載の画像処理装置。 - 前記2次回復画像生成手段により生成された2次回復画像は、入力画像であることを特徴とする請求項1乃至6いずれか1項に記載の画像処理装置。
- 前記1次回復画像生成手段は、前記入力画像の各画素に対して撮像光学系の光学伝達関数の逆関数を用いて生成された関数を逆フーリエ変換して得られる2次元の画像回復フィルタを、前記入力画像に畳み込み積分することにより前記1次回復画像を得ることを特徴とする請求項1乃至7いずれか1項に記載の画像処理装置。
- 各画素に複数の色成分情報を持たせるための色補間処理を行うことを特徴とする請求項1乃至8いずれか1項に記載の画像処理装置。
- 被写体を撮像する撮像素子と、
前記撮像素子に被写体からの光を導く撮像光学系と、
前記撮像素子により撮像された画像を入力画像として画像処理を行う画像処理手段と、
前記画像処理に用いる画像回復フィルタを記憶する記憶手段とを有し、
前記画像処理手段は、前記入力画像に対して画像回復処理を行い1次回復画像を得る1次回復画像生成手段と、
前記入力画像と前記1次回復画像との差分を演算し、複数の色成分ごとの差分情報を取得する回復成分情報生成手段と、
前記差分情報を用いて2次回復画像を生成する2次回復画像生成手段とを有する撮像装置において、
前記2次回復画像生成手段は、前記複数の色成分ごとの差分情報に基づく色合成回復成分情報を前記入力画像のひとつの色成分に合成することを特徴とする撮像装置。 - 前記画像回復フィルタを選択する選択手段とを有することを特徴とする請求項10に記載の撮像装置。
- 前記画像回復フィルタを生成する画像回復フィルタ生成手段を有することを特徴とする請求項10または11に記載の撮像装置。
- 複数の色成分を有する入力画像を色成分ごとに回復処理し、1次回復画像を生成する1次回復画像生成工程と、
前記1次回復画像と前記入力画像の差分情報を色成分ごとに得る回復成分情報生成工程と、
前記回復成分情報生成工程により生成された前記複数の色成分の差分情報に基づく色合成回復成分情報を、前記入力画像のひとつの色成分に合成することにより2次回復画像を生成する2次回復画像生成工程と
を有することを特徴とする画像処理方法。 - 入力画像に対して画像処理を情報処理装置に実行させるプログラムにおいて、
前記入力画像に対して伝達関数を用いた回復処理を行い、1次回復画像を得る1次画像回復処理ステップと、
前記1次回復画像と前記入力画像との差分情報を生成する回復成分情報生成ステップと、
前記回復成分情報生成ステップにより生成された各色成分の差分情報に基づく色合成回復成分情報を、前記入力画像のひとつの色成分に合成することにより2次回復画像を生成する2次回復画像生成ステップと
を有することを特徴とするプログラム。 - 請求項1乃至9いずれか1項に記載の画像処理装置と、
前記画像処理装置に接続可能な撮像機器、出力機器、表示機器、記憶媒体のうち、少なくともいずれかひとつを有することを特徴とする画像処理システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/071066 WO2011074104A1 (ja) | 2009-12-17 | 2009-12-17 | 画像処理装置およびそれを用いた撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5147994B2 true JP5147994B2 (ja) | 2013-02-20 |
JPWO2011074104A1 JPWO2011074104A1 (ja) | 2013-04-25 |
Family
ID=44150527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011545906A Expired - Fee Related JP5147994B2 (ja) | 2009-12-17 | 2009-12-17 | 画像処理装置およびそれを用いた撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8659672B2 (ja) |
JP (1) | JP5147994B2 (ja) |
CN (1) | CN102714737B (ja) |
WO (1) | WO2011074104A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2737877C1 (ru) * | 2016-12-06 | 2020-12-04 | СМСи КОРПОРЕЙШН | Поршневой узел и гидро(пневмо)устройство |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5409589B2 (ja) * | 2010-12-17 | 2014-02-05 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
US11039109B2 (en) | 2011-08-05 | 2021-06-15 | Fox Sports Productions, Llc | System and method for adjusting an image for a vehicle mounted camera |
WO2013022819A1 (en) * | 2011-08-05 | 2013-02-14 | Fox Sports Productions, Inc. | Selective capture and presentation of native image portions |
JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
JP5824297B2 (ja) * | 2011-08-30 | 2015-11-25 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5868076B2 (ja) * | 2011-08-31 | 2016-02-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5991749B2 (ja) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | 画像処理装置及び方法 |
US20130321675A1 (en) | 2012-05-31 | 2013-12-05 | Apple Inc. | Raw scaler with chromatic aberration correction |
WO2013187127A1 (ja) * | 2012-06-13 | 2013-12-19 | 富士フイルム株式会社 | 画像処理システム、送信側装置および受信側装置 |
WO2014050191A1 (ja) * | 2012-09-26 | 2014-04-03 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP5942755B2 (ja) * | 2012-09-28 | 2016-06-29 | 株式会社ソシオネクスト | 画像処理回路、画像処理方法及び撮像装置 |
JP5962393B2 (ja) * | 2012-09-28 | 2016-08-03 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2014148074A1 (ja) * | 2013-03-18 | 2014-09-25 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
CN105453534B (zh) * | 2013-05-13 | 2018-07-06 | 富士胶片株式会社 | 图像处理装置及方法 |
CN103414914B (zh) * | 2013-08-21 | 2016-02-03 | 浙江宇视科技有限公司 | 一种色彩诊断装置和方法 |
CN105684417B (zh) * | 2013-10-31 | 2019-05-14 | 富士胶片株式会社 | 图像处理装置、摄像装置、参数生成方法、图像处理方法 |
JP6253365B2 (ja) * | 2013-11-22 | 2017-12-27 | キヤノン株式会社 | 画像処理方法、撮像装置、画像処理装置 |
US11758238B2 (en) | 2014-12-13 | 2023-09-12 | Fox Sports Productions, Llc | Systems and methods for displaying wind characteristics and effects within a broadcast |
US11159854B2 (en) | 2014-12-13 | 2021-10-26 | Fox Sports Productions, Llc | Systems and methods for tracking and tagging objects within a broadcast |
US10430982B2 (en) * | 2015-03-20 | 2019-10-01 | Intel Corporation | Sensor data visualization apparatus and method |
JP6545007B2 (ja) * | 2015-06-11 | 2019-07-17 | キヤノン株式会社 | 撮像装置 |
EP3474534B1 (en) * | 2016-06-17 | 2023-12-20 | Sony Group Corporation | Image processing apparatus, imaging apparatus, and image processing system |
JP6953178B2 (ja) * | 2017-05-22 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
DE102018222903A1 (de) * | 2018-12-25 | 2020-06-25 | Robert Bosch Gmbh | Verfahren und Verarbeitungseinrichtung zum Verarbeiten von Messdaten eines Bildsensors |
CN113905183B (zh) * | 2021-08-25 | 2024-04-16 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199708A (ja) * | 2001-12-28 | 2003-07-15 | Olympus Optical Co Ltd | 電子内視鏡システム |
JP2007181170A (ja) * | 2005-07-28 | 2007-07-12 | Kyocera Corp | 撮像装置 |
JP2009213129A (ja) * | 2008-02-05 | 2009-09-17 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5602412A (en) * | 1994-08-15 | 1997-02-11 | Nikon Corporation | Imaging device which adjusts the ratio of color excitation values produced by an image pickup element in accordance with an exit pupil position and the size of an aperture |
JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
JP4000872B2 (ja) * | 2002-03-05 | 2007-10-31 | ソニー株式会社 | 画像撮影装置及び色収差補正方法 |
US7683950B2 (en) * | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
JP4487903B2 (ja) * | 2005-11-09 | 2010-06-23 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4787959B2 (ja) | 2006-01-10 | 2011-10-05 | 国立大学法人東京工業大学 | 画像復元フィルタ及びそれを用いた画像復元方法 |
JP4749985B2 (ja) * | 2006-09-28 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP4923987B2 (ja) * | 2006-11-30 | 2012-04-25 | 株式会社ニコン | 画像の色を補正する画像処理装置、および画像処理プログラム |
-
2009
- 2009-12-17 CN CN200980162862.1A patent/CN102714737B/zh not_active Expired - Fee Related
- 2009-12-17 WO PCT/JP2009/071066 patent/WO2011074104A1/ja active Application Filing
- 2009-12-17 JP JP2011545906A patent/JP5147994B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-14 US US12/967,389 patent/US8659672B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199708A (ja) * | 2001-12-28 | 2003-07-15 | Olympus Optical Co Ltd | 電子内視鏡システム |
JP2007181170A (ja) * | 2005-07-28 | 2007-07-12 | Kyocera Corp | 撮像装置 |
JP2009213129A (ja) * | 2008-02-05 | 2009-09-17 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2737877C1 (ru) * | 2016-12-06 | 2020-12-04 | СМСи КОРПОРЕЙШН | Поршневой узел и гидро(пневмо)устройство |
Also Published As
Publication number | Publication date |
---|---|
WO2011074104A1 (ja) | 2011-06-23 |
CN102714737A (zh) | 2012-10-03 |
JPWO2011074104A1 (ja) | 2013-04-25 |
US8659672B2 (en) | 2014-02-25 |
CN102714737B (zh) | 2015-12-02 |
US20110149103A1 (en) | 2011-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147994B2 (ja) | 画像処理装置およびそれを用いた撮像装置 | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
KR101536162B1 (ko) | 화상처리장치 및 방법 | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
JP5959976B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP2011124692A5 (ja) | ||
US8724008B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration | |
JP6478511B2 (ja) | 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5425135B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5284183B2 (ja) | 画像処理装置およびその方法 | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121127 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5147994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |