JP5438579B2 - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP5438579B2 JP5438579B2 JP2010076201A JP2010076201A JP5438579B2 JP 5438579 B2 JP5438579 B2 JP 5438579B2 JP 2010076201 A JP2010076201 A JP 2010076201A JP 2010076201 A JP2010076201 A JP 2010076201A JP 5438579 B2 JP5438579 B2 JP 5438579B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- correction
- correction amount
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012545 processing Methods 0.000 title claims description 34
- 238000012937 correction Methods 0.000 claims description 282
- 230000003287 optical effect Effects 0.000 claims description 109
- 230000004075 alteration Effects 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 56
- 230000002093 peripheral effect Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 98
- 238000003384 imaging method Methods 0.000 description 28
- 230000001629 suppression Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000015556 catabolic process Effects 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 230000006866 deterioration Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
Description
本発明は、画像補正技術に関し、特には、画像の撮像に用いられた光学系の収差による画質劣化を補正する技術に関する。
デジタルカメラ等の撮像装置で撮像して得られた画像は、撮像レンズ等の光学系が有する倍率色収差や歪曲収差の影響を受ける。撮像された画像内の画素に着目すると、本来、着目画素に結像されるべき像は、それぞれの収差によって着目画素と画像の中心を結ぶ線上に移動されて結像されている。
近年では、撮像装置において多画素の撮像素子が用いられたり、広角や高ズーム倍率の光学系が用いられたりしており、収差による画質劣化が顕在化してしまうため、撮像装置の中には画像処理によって収差による影響の補正を行うものがある。収差によって移動された画素の情報を、本来あるべき画素に補正するための補正量は、画像の中心からの距離を表す像高と、光学系の特性によって求められることが知られている。
また、収差による像の移動は必ずしも撮像素子の画素単位ではなく、撮像素子の画素と画素の間に移動される(欠落画素)場合があり、収差による影響の補正においては補間演算が必要である。特許文献1及び特許文献2では、撮像された画像における倍率色収差や歪曲収差を補正するために、複数の画素に補間関数を乗ずることによって、補正後の着目画素の画素値を導出する技術が開示されている。
しかしながら上述した技術では、収差による影響を補正する処理方法については開示されているが、補正処理を行う際の記憶領域の容量によって制限される補正限界については、これまで言及されていなかった。即ち、上述したような多画素の撮像素子を備える撮像装置では撮像して得られる画像も大容量化している。このため、得られた画像に収差による影響を補正する等の画像処理を適用するためには、画像を多数の領域に分割し、それぞれの領域を順番に記憶領域に読み出して補正処理を行う必要がある。また特に映像記録時等、撮像から記録にかかる時間を短縮化するためには重複領域の読み出しを可能な限り避ける必要があり、画像処理は1つの領域について1回の読み出しで処理を完了することが求められる。つまり、収差の補正量は記憶領域の容量によって制限されてしまうため、補正限界を考慮しつつ、好適な補正を適用する必要がある。
本発明は、上述の問題点に鑑みてなされたものであり、撮像された画像において、補正限界を考慮した、収差による画質劣化を好適に補正することを目的とする。
本発明は、上述の問題点に鑑みてなされたものであり、撮像された画像において、補正限界を考慮した、収差による画質劣化を好適に補正することを目的とする。
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
光学系を用いて撮像された画像における光学系の収差の影響を、画像の画素ごとに補正する画像処理装置であって、画像の、一部の領域の画像を読み出して記憶する記憶手段と、記憶手段に記憶された一部の領域の画像の着目画素について、当該着目画素と、光学系の収差によって移動した当該着目画素の位置に結像されるべきであった像との距離を、当該着目画素の像高の情報と、光学系の情報とを用いて算出する算出手段と、着目画素から、算出手段により算出された距離だけ離れた位置を中心とする、所定の数の周辺画素のそれぞれに対し、中心との距離の関数である予め定められた補間関数から得られる、周辺画素それぞれの補間係数を乗じて加算することにより、着目画素の補正後の画素値を導出する補正手段と、を備え、補正手段は、着目画素に対し、算出手段により算出された距離だけ離れた位置を中心とする周辺画素が、所定の数より少ない数しか記憶手段に記憶されていない場合、予め定められた補間関数の周波数応答特性を、所定の数の周辺画素が記憶手段に記憶されている場合より緩やかになるように補間関数を変更し、所定の数より少ない周辺画素のそれぞれに対し、補間関数から得られる、周辺画素それぞれの補間係数を乗じて加算することにより、補正後の画素値を導出することを特徴とする。
光学系を用いて撮像された画像における光学系の収差の影響を、画像の画素ごとに補正する画像処理装置であって、画像の、一部の領域の画像を読み出して記憶する記憶手段と、記憶手段に記憶された一部の領域の画像の着目画素について、当該着目画素と、光学系の収差によって移動した当該着目画素の位置に結像されるべきであった像との距離を、当該着目画素の像高の情報と、光学系の情報とを用いて算出する算出手段と、着目画素から、算出手段により算出された距離だけ離れた位置を中心とする、所定の数の周辺画素のそれぞれに対し、中心との距離の関数である予め定められた補間関数から得られる、周辺画素それぞれの補間係数を乗じて加算することにより、着目画素の補正後の画素値を導出する補正手段と、を備え、補正手段は、着目画素に対し、算出手段により算出された距離だけ離れた位置を中心とする周辺画素が、所定の数より少ない数しか記憶手段に記憶されていない場合、予め定められた補間関数の周波数応答特性を、所定の数の周辺画素が記憶手段に記憶されている場合より緩やかになるように補間関数を変更し、所定の数より少ない周辺画素のそれぞれに対し、補間関数から得られる、周辺画素それぞれの補間係数を乗じて加算することにより、補正後の画素値を導出することを特徴とする。
このような構成により本発明によれば、撮像された画像において、補正限界を考慮した、収差による画質劣化を好適に補正することを可能とする。
(実施形態1)
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した画像の光学系に起因して生じている倍率色収差または歪曲収差を補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された画像において、画像を撮像した光学系の収差により生じている画質劣化を補正することが可能な任意の機器に適用可能である。
なお、倍率色収差及び歪曲収差における補正量と像高の関係は異なるが、収差の補正量は像高に依存するものであるため、本実施形態ではRGB各色の倍率色収差または歪曲収差のいずれかの補正量について以下に説明するものとする。
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した画像の光学系に起因して生じている倍率色収差または歪曲収差を補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された画像において、画像を撮像した光学系の収差により生じている画質劣化を補正することが可能な任意の機器に適用可能である。
なお、倍率色収差及び歪曲収差における補正量と像高の関係は異なるが、収差の補正量は像高に依存するものであるため、本実施形態ではRGB各色の倍率色収差または歪曲収差のいずれかの補正量について以下に説明するものとする。
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。なお、本実施形態ではデジタルカメラ100において、撮像された画像に生じる収差による影響を補正するために、少なくとも必要な機能構成のみを示して説明し、画像の記録や表示に係る構成部は図示しない。
マイコン101は、デジタルカメラ100の全体の処理を制御するブロックであり、演算や各ブロックへの演算結果等のデータの受け渡しを行う。マイコン101は、内部にデジタルカメラ100の全体の処理に係る動作プログラムを記憶する不揮発性メモリ、及び動作プログラムの実行や演算結果及び入力されたデータの一時的な記憶を行うワークメモリを備える。
光学系102は、ズームレンズ及びフォーカスレンズ等のレンズ群で構成され、光学系102及び絞り106を介して被写体からの反射光を、後述する撮像素子108に被写体像を結像する。光学系102及び絞り106は、マイコン101から供給される駆動位置の情報に従って、ズームレンズ用アクチュエータ103、フォーカスレンズ用アクチュエータ104、及び絞り用アクチュエータ105によって駆動され、被写体像を光学的に調整する。光学系102及び絞り106に供給する駆動位置の情報を算出するための情報である、焦点距離、フォーカス位置、絞り値は倍率色収差及び歪曲収差に影響を与える要因であるため、以後、収差による影響の補正の説明において光学パラメータと総称して説明する。
光学系102及び絞り106を介してデジタルカメラ100に入射した被写体からの反射光は、色分離プリズム107によってRGBに色分離され、RGBそれぞれの色用の撮像素子108に結像される。撮像素子108は、CCDやCMOSセンサ等であり、各撮像素子108に結像された光学像は光電変換され、得られたアナログ画像信号はアナログフロントエンド(AFE)109によって入力された駆動波形に従い、スキャン順にAFE109に出力される。AFE109は、入力されたアナログ画像信号をデジタル画像に変換するブロックであり、RGBの各色用の撮像素子108から入力されたアナログ画像信号をそれぞれデジタル画像Sr、Sg、Sbに変換し、後述する光学補正回路115に出力する。撮像素子108からアナログ画像信号を出力させるためにAFE109が生成する撮像素子108の駆動波形は、タイミングジェネレータ(TG)110からAFE109に出力される水平同期信号HD及び垂直同期信号VDによる。TG110はデジタルカメラ100が備える撮像素子108の駆動に関する情報をマイコン101より受信し、水平同期信号HD及び垂直同期信号VDを生成し、AFE109及び画素座標生成回路111に出力する。撮像素子108の駆動に関する情報は、例えば撮像素子108が水平1ライン分のアナログ画像信号を出力するために要する時間の情報や、全てのアナログ画像信号を出力するために要する、即ち1フレームのアナログ画像信号の読み出しに要する時間の情報である。
画素座標生成回路111は、収差による影響を補正するためにそれぞれの画素位置の情報を極座標化する回路である。倍率色収差及び歪曲収差は、光学中心からの距離である像高に依存するため、本画素座標生成回路111において光学中心を極とした極座標にそれぞれの画素位置の情報を変換する。ここで、図2を用いて画素座標生成回路111についてさらに説明する。
図2(a)は画素座標生成回路111の回路構成の例である。TG110から入力された水平同期信号HD及び垂直同期信号VDをカウントすることにより、撮像素子108上の現在AFE109に出力されている画素位置の情報Xt及びXyが得られ、極座標変換回路201に入力される。また、マイコン101から供給される撮像された画像の光学中心の画素位置の情報Cx及びCyが極座標変換回路201に入力される。極座標変換回路201では、これらの入力された情報をもとに、図2(b)のように現在AFE109に出力されている画素の極座標である、動径Rt及び偏角θtの情報を以下の式で算出する。
このようにして算出された極座標の情報は、後述する係数生成回路113に出力される。なお、平方根演算は、二分法、開平法などの既知の手法を有限語長精度で表現することにより、またatan演算は、高次関数近似あるいはXY比を所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
光学補正データベース112は、光学系の収差、即ち上述した撮像時の光学パラメータに対する光学補正特性情報を記憶する、例えばフラッシュメモリ等の記憶装置である。光学補正データベース112の記憶容量が有限であるため、光学補正特性情報は、例えば予め設定された光学パラメータの組み合わせに対し、離散的な像高位置における、各色の倍率色収差及び歪曲収差の補正量を示すプロットデータとして記憶される。即ち、光学補正特性情報として記憶されていない、光学パラメータの組み合わせ及び像高位置における補正量を算出する場合には、光学補正データベース112に記憶されている光学補正特性情報から保管して補正量と像高の近似関数を得る必要がある。
ここで、光学補正データベース112に記憶されている光学補正特性情報から、撮像時の光学パラメータにあった補正量と像高の近似関数のプロットデータCm1〜Cm4を、マイコン101が算出する方法について図3を用いて説明する。
マイコン101は例えばユーザの指示によって撮像が行われた際に、撮像時の光学パラメータを取得するとともに光学補正データベース112から撮像時の光学パラメータの組み合わせと類似度が高い2つの光学補正特性情報Ca、Cbを読み出す。読み出した光学補正特性情報は、図3(a)のように2つの異なる近似関数において、4つの像高位置における補正量を示すプロットデータ(Ca1〜Ca4、Cb1〜Cb4)となっている。なお、図3(a)において各プロットデータは曲線で接続されて図示しているが、それぞれの光学補正特性情報CaとCbを識別するために接続したものであり、実際のプロットデータでは、各プロット間のデータは存在しない。マイコン101は、撮像時の光学パラメータと、読み出した2つの光学補正特性情報Ca及びCbの光学パラメータとの乖離度に応じて重み付けを行い、図3(b)のような2つの光学特性情報から撮像時の光学パラメータにおける光学補正特性情報を算出する。マイコン101は、2つの光学補正特性情報Ca及びCbから算出されたプロットデータCm1〜Cm4を、撮像時の光学パラメータの光学補正特性情報として、係数生成回路113に出力する。
マイコン101は例えばユーザの指示によって撮像が行われた際に、撮像時の光学パラメータを取得するとともに光学補正データベース112から撮像時の光学パラメータの組み合わせと類似度が高い2つの光学補正特性情報Ca、Cbを読み出す。読み出した光学補正特性情報は、図3(a)のように2つの異なる近似関数において、4つの像高位置における補正量を示すプロットデータ(Ca1〜Ca4、Cb1〜Cb4)となっている。なお、図3(a)において各プロットデータは曲線で接続されて図示しているが、それぞれの光学補正特性情報CaとCbを識別するために接続したものであり、実際のプロットデータでは、各プロット間のデータは存在しない。マイコン101は、撮像時の光学パラメータと、読み出した2つの光学補正特性情報Ca及びCbの光学パラメータとの乖離度に応じて重み付けを行い、図3(b)のような2つの光学特性情報から撮像時の光学パラメータにおける光学補正特性情報を算出する。マイコン101は、2つの光学補正特性情報Ca及びCbから算出されたプロットデータCm1〜Cm4を、撮像時の光学パラメータの光学補正特性情報として、係数生成回路113に出力する。
係数生成回路113は、入力された撮像時の光学パラメータの光学補正特性情報のプロットデータCmから、各プロット間について、撮像時の光学パラメータにおける補正量と像高の近似関数を導出する。また係数生成回路113は、導出した補正量と像高の近似関数を用いて、入力された画素位置において光学系102収差による影響の補正量を算出する。
ここで係数生成回路113の回路構成について図4を用いて説明する。係数生成回路113には、関数係数算出回路401、補正値算出回路402、及びXYベクトル係数算出回路403が存在する。
関数係数算出回路401は、撮像時の光学パラメータの光学補正特性情報のプロットデータから、プロット区間ごとに補正量と像高の近似関数の係数を算出する。本実施形態では、光学補正特性情報のプロットデータから、各プロット間の近似関数を次のような像高Rtの2次関数として導出する。
関数係数算出回路401は、撮像時の光学パラメータの光学補正特性情報のプロットデータから、プロット区間ごとに補正量と像高の近似関数の係数を算出する。本実施形態では、光学補正特性情報のプロットデータから、各プロット間の近似関数を次のような像高Rtの2次関数として導出する。
Zt=aRt2+bRt+c
即ち、関数係数算出回路401は導出された近似関数の3つの係数a、b、cを補正値算出回路402に出力する。
即ち、関数係数算出回路401は導出された近似関数の3つの係数a、b、cを補正値算出回路402に出力する。
なお、本実施形態では補正量と像高の近似関数を2次関数として導出する方法について説明するが、近似関数は1次関数や高次関数で近似してもよい。例えば近似関数が3次関数である場合、補正値算出回路402には4つの係数が出力される。また、本実施形態では補正量と像高の近似関数をプロットデータから関数係数算出回路401において導出する方法について説明するが、光学補正データベース112にはそれぞれの光学パラメータにおける近似関数の係数が記憶されていてもよい。その場合、係数生成回路113には関数係数算出回路401はなくてよく、係数生成回路113に入力された撮像時の光学パラメータにおける近似関数の係数が、直接補正値算出回路402に入力されればよい。
補正値算出回路402は、関数係数算出回路401から入力された、各プロット区間の近似関数の係数と、画素座標生成回路111から係数生成回路113に入力された着目画素の像高の情報とから、図3(c)のように着目画素の補正量Ztを算出する。なお、補正値算出回路402で算出された補正量Ztは、極座標系において着目画素と極を結んだ線分上における補正量であり、極座標系からXY座標系に変換するためにはXYベクトル係数算出回路403から出力されるベクトル係数を乗ずる必要がある。
XYベクトル係数算出回路403は、極座標系で算出された補正量を、XY座標系の補正量に変換するためのベクトル係数を算出する。具体的には、XYベクトル係数算出回路403は、画素座標生成回路111から係数生成回路113に入力された着目画素の偏角θtの情報に従い、ベクトル係数は以下のようになる。
Vx=cosθt
Vy=sinθt
なお、正弦関数、余弦関数演算は、高次関数近似あるいは偏角θtを所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
Vy=sinθt
なお、正弦関数、余弦関数演算は、高次関数近似あるいは偏角θtを所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
このようにXYベクトル係数算出回路403で算出されたベクトル係数を用いて、係数生成回路113はXY座標系の補正量のX成分ZtH、Y成分ZtVは次のように表せる。
ZtH=Zt・Vx
ZtV=Zt・Vy
係数生成回路113は算出された補正量のXY成分ZtH、ZtVを、後述する周波数特性制御回路114及び光学補正回路115に出力する。なお、着目画素における補正量は、本来着目画素に存在するべき光学像の位相ズレ量を表し、補正量のXY成分は水平、垂直方向の位相ズレ成分を表す。また倍率色収差の補正量はRGBの各色が光学系102によって屈折される角度が異なるためデジタル画像Sr、Sg、Sbにおいて全て異なるが、歪曲収差の補正量はデジタル画像Sr、Sg、Sbにおいて全て同じ値となる。
ZtV=Zt・Vy
係数生成回路113は算出された補正量のXY成分ZtH、ZtVを、後述する周波数特性制御回路114及び光学補正回路115に出力する。なお、着目画素における補正量は、本来着目画素に存在するべき光学像の位相ズレ量を表し、補正量のXY成分は水平、垂直方向の位相ズレ成分を表す。また倍率色収差の補正量はRGBの各色が光学系102によって屈折される角度が異なるためデジタル画像Sr、Sg、Sbにおいて全て異なるが、歪曲収差の補正量はデジタル画像Sr、Sg、Sbにおいて全て同じ値となる。
光学補正回路115は、撮像された画像において係数生成回路113で算出された補正量分だけ着目画素から離れた位置を中心とする周辺画素の画素値から補間演算を行うことにより、収差による影響を補正した後の着目画素の画素値を算出する。具体的には、着目画素から係数生成回路113で算出された着目画素の補正量のXY成分ZtH、ZtVだけ離れた位置を中心とする所定の数の周辺画素に対して、補間関数から得られる補間係数を乗ずることにより、補正後の着目画素の位置の画素値を導出する。これにより、光学補正回路115では入力されたデジタル画像の全ての画素について補間関数を用いた補間演算を行い、収差による影響を補正した画像を出力することができる。
ここで、補間関数及び補間関数を用いた本実施形態の収差の補正方法について、図を用いて詳細に説明する。
補間関数は、Bi−Cubic補間で用いられるように、sinc関数に窓関数を重畳して得られる有限な関数であり、収差による影響を補正する際に、窓関数で規定される範囲の画素(参照画素)のそれぞれについて乗ずる補間係数を導出することが可能である。着目画素Sに本来結像されるべき画素である仮想画素S’の画素値s’は、仮想画素S’を中心とするn個の参照画素S0〜Sn−1の画素値に、それぞれ補間係数を乗じて総和をとることにより求めることができる。仮想画素の画素値s’は、n個の参照画素の画素値s0〜sn−1、及び参照画素それぞれに乗ずる補間係数c0〜cn−1を用いて、次の式で表すことができる。
補間関数は、Bi−Cubic補間で用いられるように、sinc関数に窓関数を重畳して得られる有限な関数であり、収差による影響を補正する際に、窓関数で規定される範囲の画素(参照画素)のそれぞれについて乗ずる補間係数を導出することが可能である。着目画素Sに本来結像されるべき画素である仮想画素S’の画素値s’は、仮想画素S’を中心とするn個の参照画素S0〜Sn−1の画素値に、それぞれ補間係数を乗じて総和をとることにより求めることができる。仮想画素の画素値s’は、n個の参照画素の画素値s0〜sn−1、及び参照画素それぞれに乗ずる補間係数c0〜cn−1を用いて、次の式で表すことができる。
なお、本実施形態では仮想画素S’と仮想画素の画素値s’のように、画素を特定する情報は大文字のアルファベット、当該画素の画素値は小文字の同一のアルファベットを用いて表すものとする。
着目画素Sと仮想画素S’の位置関係が、例えば図5のようにある場合、仮想画素の画素値s’は、参照画素数を4とすると仮想画素S’を中心とする周辺の4つの参照画素S1〜S4を用いて導出する。このとき補間関数によって導出される補間係数は、例えば仮想画素S’に対する参照画素の距離に反比例するような値であり、S’に最も近い画素S4に最大の重み付けを行うような係数となる。
図6(a)、(b)、及び(c)は、8点補間の補間関数の時間特性を示した例であり、(a)(b)(c)の順に窓関数が狭くなっており、参照している8点の画素の間隔は狭くなっている。図では、時間0で示される補間位相に対して、前後にずれた位相の画素に対応する補間係数c0〜c7の値が示されている。
また図6(d)、(e)、及び(f)は、それぞれの補間関数の周波数特性を示した例であり、それぞれナイキスト周波数近傍の周波数応答特性が異なっている。図6(d)のように窓関数が広い場合、ナイキスト周波数近傍の周波数応答特性は急峻となっているため、このような補間関数から得られた補間係数を用いて収差による影響の補正を行うことにより、再現精度の高い画素値を得ることができる。また図6(f)のように窓関数が狭い場合、ナイキスト周波数近傍の周波数応答特性は緩やかであるため、このような補間関数から得られた補間係数を用いて収差による影響の補正を行うと、画素値の再現精度は低い。
本実施形態では、このように光学補正回路115での補間演算に用いる補間関数の周波数特性を制御するために、周波数特性制御回路114を備える。ここで、周波数特性制御回路114の回路構成について図7を用いて説明する。
周波数特性制御回路114は、係数生成回路113から入力された収差の補正量のXY成分ZtH、ZtVが入力されると、水平方向及び垂直方向のそれぞれについて、補間関数の周波数特性を制御するための抑圧係数を光学補正回路115に出力する。具体的には、周波数特性制御回路114に収差の補正量が入力されると、水平及び垂直方向のそれぞれの補正量について係数関数算出回路701から703を用いて、抑圧係数をItHa、ItHb、ItHc及びItVa、ItVb、ItVcを決定する。なお、抑圧係数は方向に依らず補正限界によって決定される値であるため、本実施形態では水平方向の補間関数の抑圧係数について以下に説明する。
周波数特性制御回路114は、係数生成回路113から入力された収差の補正量のXY成分ZtH、ZtVが入力されると、水平方向及び垂直方向のそれぞれについて、補間関数の周波数特性を制御するための抑圧係数を光学補正回路115に出力する。具体的には、周波数特性制御回路114に収差の補正量が入力されると、水平及び垂直方向のそれぞれの補正量について係数関数算出回路701から703を用いて、抑圧係数をItHa、ItHb、ItHc及びItVa、ItVb、ItVcを決定する。なお、抑圧係数は方向に依らず補正限界によって決定される値であるため、本実施形態では水平方向の補間関数の抑圧係数について以下に説明する。
抑圧係数ItHa、ItHb、ItHcは、図8のような閾値th_a、th_b、th_cで挙動を変える、収差の補正量ZtHの関数である。係数関数算出回路701から703のそれぞれには、例えばマイコン101から閾値の情報及び閾値を越える補正量ZtHに対する勾配grad_a、grad_b、grad_cが供給され、補正量の値に従って抑圧係数が決定される。
例えば、撮像された画像の一部の領域の画像が光学補正回路115の有限の記憶領域に読み出される場合、一般的に収差の補正量が小さい方が、補正処理における仮想画素を中心とした参照画素を記憶領域内で多くとることが可能である。即ち、補正量が小さいほど補間関数の窓関数を広く、補正量が大きいほど補間関数の窓関数を狭くする必要がある。図6のように仮想画素S’を中心とする水平方向の8点の参照画素の補正を行う場合、補間関数の周波数特性を制御して得られる補間係数ch’は、周波数特性を制御していない補間関数から得られる補間係数chと抑圧係数を用いて、
ch’j=chj (j=3, 4)
ch’j=chj×ItHa (j=2, 5)
ch’j=chj×ItHb (j=1, 6)
ch’j=chj×ItHc (j=0, 7)
と表される。
ch’j=chj (j=3, 4)
ch’j=chj×ItHa (j=2, 5)
ch’j=chj×ItHb (j=1, 6)
ch’j=chj×ItHc (j=0, 7)
と表される。
このとき、補間関数の周波数特性を制御して得られる補間係数ch’が、補正量ZtHに応じて図6のように窓関数の広狭を制御するためには、
0≦th_c≦th_b≦th_a
かつ、勾配grad_a、grad_b、grad_cにより算出されるx切片itc_a、itc_b、itc_cが、
0≦itc_c≦itc_b≦itc_a
となるようにマイコン101は周波数特性制御回路114へ供給するパラメータを制御する。このようにして周波数特性制御回路114は、収差の補正量によって決定した補間関数の抑圧係数を光学補正回路115に出力する。
0≦th_c≦th_b≦th_a
かつ、勾配grad_a、grad_b、grad_cにより算出されるx切片itc_a、itc_b、itc_cが、
0≦itc_c≦itc_b≦itc_a
となるようにマイコン101は周波数特性制御回路114へ供給するパラメータを制御する。このようにして周波数特性制御回路114は、収差の補正量によって決定した補間関数の抑圧係数を光学補正回路115に出力する。
次に、周波数特性制御回路114で決定した抑制係数を用いて光学補正回路115で行われる、補正後の画素値を導出する方法について図を用いて詳細に説明する。なお、以下で説明する補正後の画素値の導出方法は、着目画素Sから係数生成回路113で算出された補正量分だけ離れた仮想画素S’の位置を中心とする、8×8個の周辺画素を参照画素として用いて仮想画素S’の画素値を導出するものとして説明する。具体的には図9に示すように、着目画素Sから水平座標に補正量ZtH、垂直座標に補正量ZtVだけ離れた画素位置に存在する仮想画素S’の画素値を導出するために、仮想画素S’を中心とするS00〜S77までの64個の画素を参照画素として用いる。しかしながら、本発明の実施はこれに限らず、2以上の任意の数の周辺画素を参照画素として用いて、仮想画素S’の画素値を導出する方法であればよい。
ここで光学補正回路115の回路構成について、図10(a)、図10(b)、及び図10(c)を用いて説明する。
係数生成回路113から入力された収差の補正量ZtH及びZtV、周波数特性制御回路114から入力された抑圧係数ItHa〜ItHc及びItVa〜ItVcは、垂直、水平成分ごとに、補間制御回路1001または補間制御回路1002に入力される。補間制御回路1001は、垂直成分の補間係数を算出する回路であり、補間関数と入力された抑圧係数とを用いて、補間係数cv0〜cv7を補間回路1012に出力する。また補間制御回路1001は、入力された垂直方向の補正量ZtVの情報を、バッファメモリ1003に伝送する。補間制御回路1002は、水平成分の補間係数を産出する回路であり、補間係数と入力された抑圧係数とを用いて、補間係数ch0〜ch7を補間回路1004〜1011のそれぞれに出力する。また補間制御回路1002は、入力された水平方向の補正量ZtHの情報を、バッファメモリ1003に伝送する。
係数生成回路113から入力された収差の補正量ZtH及びZtV、周波数特性制御回路114から入力された抑圧係数ItHa〜ItHc及びItVa〜ItVcは、垂直、水平成分ごとに、補間制御回路1001または補間制御回路1002に入力される。補間制御回路1001は、垂直成分の補間係数を算出する回路であり、補間関数と入力された抑圧係数とを用いて、補間係数cv0〜cv7を補間回路1012に出力する。また補間制御回路1001は、入力された垂直方向の補正量ZtVの情報を、バッファメモリ1003に伝送する。補間制御回路1002は、水平成分の補間係数を産出する回路であり、補間係数と入力された抑圧係数とを用いて、補間係数ch0〜ch7を補間回路1004〜1011のそれぞれに出力する。また補間制御回路1002は、入力された水平方向の補正量ZtHの情報を、バッファメモリ1003に伝送する。
バッファメモリ1003は、AFE109で変換されたデジタル画像Sr,Sg,Sbのうち、一部の領域の画像が補正処理のために記憶される記憶領域であって、AFE109によって順次変換された画像が記憶される。バッファメモリ1003に水平及び垂直方向の補正量ZtH、ZtVが入力されると、マイコン101はバッファメモリ1003に記憶されている画像の着目画素Sから、補正量分だけ離れた仮想画素S’の位置を算出する。さらにマイコン101は、算出した仮想画素S’の画素位置を中心とする所定の数の周辺画素を決定し、垂直座標ごとに異なる補間回路で処理されるように、決定した周辺画素の画素値を補間回路1004〜1011に出力する。例えば、図9の参照画素の画素値s00〜s07は、補間回路1004に出力される。
補間回路1004〜1011のそれぞれの構成を図10(b)に、補間回路1012の構成を図10(c)に示す。図10(b)に示すように、それぞれ同一の垂直座標を有する参照画素の画素値に、それぞれの水平方向の画素位置に応じた補間係数ch’0〜ch’7を乗じて総和回路1013に出力する。そして総和回路1013において、補間係数が乗じられた参照画素の画素値の総和を算出して水平補間値出力する。補間回路1004〜1011のそれぞれから出力された、同一の垂直座標を有する水平方向の補間演算がなされた画素値から求められた水平補間値s’0〜s’7は、補間回路1012に出力され、垂直方向の補間演算を行う。補間回路1012は図10(c)に示すように、水平方向の補間演算がなされた画素値の水平補間値に、それぞれの垂直方向の画素位置に応じた補間係数cv’0〜cv’7を乗じて総和回路1014に出力する。そして総和回路1014において、補間係数が乗じられた全ての参照画素の画素値の総和である補間値s’を算出して出力する。なお、上述した2段階の補間回路を介した補間値の平均値s’を算出する補間演算は、次のような式で表すこともできる。
このようにすることで、着目画素に本来結像されるべきであった光学像の画素値を導出することができるため、全ての画素について光学補正回路115における補正処理を適用することにより、好適な収差により生じる画質劣化の補正を行うことができる。
なお、全ての画素について光学補正回路115での補正処理を適用する場合、バッファメモリ1003の容量や補正量の大きさ、着目画素の位置によっては、次のような問題が生じる。
なお、全ての画素について光学補正回路115での補正処理を適用する場合、バッファメモリ1003の容量や補正量の大きさ、着目画素の位置によっては、次のような問題が生じる。
補正処理では、バッファメモリ1003に記憶されている着目画素から、係数生成回路113で算出された補正量分だけ離れた位置にある仮想画素を中心とした、所定の数の周辺画素を参照して補間演算を行う。このとき、図11(b)、(c)、及び(d)のように、仮想画素を中心とした所定の数の周辺画素の少なくともいずれかの画素がバッファメモリ1003に読み込まれていない状態が存在する。このような場合、参照できない画素値の分、補間演算が正しく行われないことになり、補正後の画像において必要以上の画質劣化を引き起こしてしまう。
本実施形態では、上述したように着目画素に本来結像されるべきであった画素位置を中心とした所定の数の周辺画素が、一部の領域の画像を読み出して記憶している記憶手段に記憶されていない場合に、収差による影響の補正を実現する方法について以下に説明する。
図11(a)は、例えばある着目画素Sについて、収差の補正量分だけ離れた位置を中心とした、所定の数の周辺画素を用いて好適な補間演算を行うことが可能な、水平方向の補正限界を示している。即ち、このときの収差の補正量の水平成分ZtHmaxを超える補正量については、図11(b)、(c)及び(d)のように、記憶手段に記憶されていない画素が補間演算において参照されるため、補間関数を次のように制御すればよい。
図11(a)は、例えばある着目画素Sについて、収差の補正量分だけ離れた位置を中心とした、所定の数の周辺画素を用いて好適な補間演算を行うことが可能な、水平方向の補正限界を示している。即ち、このときの収差の補正量の水平成分ZtHmaxを超える補正量については、図11(b)、(c)及び(d)のように、記憶手段に記憶されていない画素が補間演算において参照されるため、補間関数を次のように制御すればよい。
図11(b)のように、参照画素の範囲が、記憶手段に記憶されている画像の領域より水平方向に1画素分はみ出してしまう場合、補間係数ch’0及びch’7が0になるように、抑圧係数ItHcを0にする。具体的には、マイコン101は周波数特性制御回路114に、例えば次のようなth_c及びgrad_cを供給すればよい。
th_c=ZtHmax−3
grad_c=−1
このようにすることで、(補正限界量ー2)でItHcが0になるため、補間演算において参照画素数を少なくしたことと等価な処理を実現することができる。即ち、水平方向の参照画素数の所定値が8画素である場合、両端に位置する2画素については補間係数が0になるため、実質的に水平方向の6画素について補間演算を行うことになる。これにより、補間関数において窓関数を狭くした場合と等価な補間処理を行うことができるため、得られる画素値の再現精度は低くなるが補正量ZtHの制限は行わないため、好適に収差により生じる画質劣化を補正することができる。
grad_c=−1
このようにすることで、(補正限界量ー2)でItHcが0になるため、補間演算において参照画素数を少なくしたことと等価な処理を実現することができる。即ち、水平方向の参照画素数の所定値が8画素である場合、両端に位置する2画素については補間係数が0になるため、実質的に水平方向の6画素について補間演算を行うことになる。これにより、補間関数において窓関数を狭くした場合と等価な補間処理を行うことができるため、得られる画素値の再現精度は低くなるが補正量ZtHの制限は行わないため、好適に収差により生じる画質劣化を補正することができる。
同様に、図11(c)及び(d)も、それぞれ記憶手段に記憶されている画像の領域よりはみ出てしまう画素に乗じられる補間係数が0となるように、抑圧係数の算出パラメータを変更することにより、好適な、収差による画質劣化の補正処理を行うことができる。
なお、本実施形態ではデジタルカメラ100が、3板方式の撮像手段を備えるものとして説明したが、本発明の実施はこれに限らず、例えば1つの撮像素子にRGBベイヤ配列等の色フィルタを施した、単板方式の撮像手段を備えるデジタルカメラであってもよい。この場合、例えば色フィルタ毎に画像信号を分離して補正処理を適用することで、同様の効果を得ることができる。
以上説明したように、本実施形態の画像処理装置は、撮像された画像において、補正限界を考慮した、収差による画質劣化を好適に補正することができる。具体的には、画像処理装置は、光学系を用いて撮像された画像について領域ごとに読み出し、領域の画素それぞれについて光学系に起因して生じている収差の補正量を算出する。そして、算出された収差の補正量分だけ当該画素から離れた位置を中心とする、所定の数の周辺画素に対して、補間関数から得られる補間係数を乗じて加算することにより、補正後の当該画素の位置の画素値を導出する。このとき、算出された収差の補正量分だけ離れた位置を中心とした所定の数の周辺画素が、読み出された領域に存在しない場合、補間関数を変更することにより好適な、収差による画質劣化の補正を実現する。具体的には、補間関数のナイキスト周波数近傍の周波数応答特性が、所定の数の周辺画素に乗ずる補間係数を与える補間関数のものより緩やかになるように、補間関数を変更し、補正処理に用いる。
このようにすることで、補正処理において所定数の画素が参照できないような補正限界に至っても、収差により生じる画質劣化を好適に補正することができる。
このようにすることで、補正処理において所定数の画素が参照できないような補正限界に至っても、収差により生じる画質劣化を好適に補正することができる。
(実施形態2)
本実施形態では、上述した実施形態1に加え、さらに光学系が有する、撮像された画像における解像感を表すMTF情報を考慮した収差の補正処理について説明する。なお、本実施形態のデジタルカメラの機能構成は実施形態1と同様であり、デジタルカメラ100が備える光学系102のMTF情報は、光学補正データベース112に記憶され、補正処理の過程で読み出される。
本実施形態では、上述した実施形態1に加え、さらに光学系が有する、撮像された画像における解像感を表すMTF情報を考慮した収差の補正処理について説明する。なお、本実施形態のデジタルカメラの機能構成は実施形態1と同様であり、デジタルカメラ100が備える光学系102のMTF情報は、光学補正データベース112に記憶され、補正処理の過程で読み出される。
なお、上述の実施形態1では、係数生成回路113で導出された補正量と像高の近似関数に基づいて収差の補正量は算出されるものとして説明した。しかしながら、本実施形態では光学補正回路115が備えるバッファメモリ1003の容量によって補正量の限界値(第1の上限値)が予め定まるものとして説明する。例えば図12(a)において、係数生成回路113で導出された補正量と像高の近似関数が破線1201であった場合、バッファメモリ1003によって予め定まる補正量の限界値Lmによって近似関数は制限されることになる。即ち、予め補正量の限界値が定められている場合、像高に対する補正量は太破線1202に制限される。
ここで、解像感を示すMTF情報Coについて説明する。
MTF情報Coは光学系102の設計時に予め計算できるパラメータであり、光学系102によって結像される光学像の、像の細かさを表している。MTF情報は、図13(a)のように、通常は像高が高くなるに従って低下する特性を持つ。図13(a)において縦軸はMTF情報Coを表し、光学中心(像高が0)の値で正規化されている。MTF情報Coが高い場合、被写体の再現度が高く、撮像素子上には被写体の細部まで結像されるため、「解像感が高い」と表現される。
MTF情報Coは光学系102の設計時に予め計算できるパラメータであり、光学系102によって結像される光学像の、像の細かさを表している。MTF情報は、図13(a)のように、通常は像高が高くなるに従って低下する特性を持つ。図13(a)において縦軸はMTF情報Coを表し、光学中心(像高が0)の値で正規化されている。MTF情報Coが高い場合、被写体の再現度が高く、撮像素子上には被写体の細部まで結像されるため、「解像感が高い」と表現される。
解像感が高い場合、被写体像は細部まで再現されているため、倍率色収差や歪曲収差によって移動した被写体像のズレや歪みは目立ちやすくなる。即ち、解像感が高い場合は収差による影響が目立ちやすいため、収差の補正量を可能な限り高く保ち、被写体像のズレや歪みを補正する必要がある。また解像感が低い場合は収差による影響は目立ちにくいため、収差の補正精度は低くし、逆に補正後の画素の再現精度を高く保つことが必要である。このことから、MTF情報Coと補正限界量の関係は図13(b)のようになる。
即ち、図13(a)及び(b)から、MTF情報を考慮した補正限界量は図12(a)における一点鎖線1203(第3の上限値)で表され、本実施形態の補正量と像高の近似関数は太線1204のようになる。このように、係数生成回路113において導出された補正量と像高の近似関数1201は、光学補正回路115のバッファメモリ1003の容量及びMTF情報Coによって、近似関数1204のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路114において図7のように水平、垂直成分ごとにリミッタ721及びリミッタ722を設けることによって実現される。
以上説明したように、本実施形態の画像処理装置は、解像感を表すMTF情報を考慮した、収差により生じた画質劣化の好適な補正を行うことができる。
(実施形態3)
本実施形態では実施形態1の構成に加え、実施形態2のようにバッファメモリ1003の容量から定まる補正量の限界値により補正量と像高の近似関数が制限された際に、補正後の画質がどのような印象を与えるかを定性的に示した補正特性情報Ccを考慮する。補正特性情報Ccは、補正量と像高の近似関数が制限された際に、補正量の限界値を超える像高の範囲の情報Lw、及び当該像高の範囲における最小の像高Lhのそれぞれが、補正後の画質からうける印象度Ccw及びCchから決定される情報である。
本実施形態では実施形態1の構成に加え、実施形態2のようにバッファメモリ1003の容量から定まる補正量の限界値により補正量と像高の近似関数が制限された際に、補正後の画質がどのような印象を与えるかを定性的に示した補正特性情報Ccを考慮する。補正特性情報Ccは、補正量と像高の近似関数が制限された際に、補正量の限界値を超える像高の範囲の情報Lw、及び当該像高の範囲における最小の像高Lhのそれぞれが、補正後の画質からうける印象度Ccw及びCchから決定される情報である。
本実施形態のデジタルカメラ100の機能構成は、上述した実施形態1の構成に、補正特性情報Ccを算出するための補正特性情報生成回路120が加わった構成となる。補正特性情報生成回路120は、撮像時の光学パラメータの光学補正特性情報のプロットデータCm1〜Cm4、及び光学補正回路115のバッファメモリ1003の容量から予め定まる補正量の限界値Lmの情報をマイコン101から入力される。そして、補正特性情報生成回路120は、入力された情報を用いて補正特性情報Ccを算出する。
補正特性情報生成回路120の回路構成について、図14をさらに用いて詳細に説明する。補正特性情報生成回路120に入力された、撮像時の光学パラメータの光学補正特性情報のプロットデータは、係数生成回路113が備える関数係数算出回路401と同様の関数係数算出回路1401に入力され、各プロット間の2次の近似関数の係数を出力する。各プロット間の近似関数の係数は、それぞれ切片算出回路1402、1403、及び1404に出力され、各切片算出回路において
Lm=aRt2+bRt+c
を満たす像高Rtについて解き、それぞれ得られた解の像高Rtについて特性係数算出回路1405で、補正量の限界値を超える像高の範囲の情報Lw及び当該像高の範囲における像高の最小値Lhを導出する。
Lm=aRt2+bRt+c
を満たす像高Rtについて解き、それぞれ得られた解の像高Rtについて特性係数算出回路1405で、補正量の限界値を超える像高の範囲の情報Lw及び当該像高の範囲における像高の最小値Lhを導出する。
また、特性係数算出回路1405ではさらに、得られた補正量の限界値を超える像高の範囲の情報Lw、及び当該像高の範囲の最小の像高Lhの情報から、補正後の画質から受ける印象度を示す補正特性情報Ccを算出する。補正量の限界値を超える像高の範囲の最小の像高Lhと補正後の画質から受ける印象度Cchは、図13(c)のような関係で表され、補正量の限界値を超える像高の範囲Lwと補正後の画質から受ける印象度Ccwは、図13(d)のような関係で表される。
ここで、印象度Cch及び印象度Ccwは、外部から設定された正規化レベルCchn及びCcwnによって正規化されるものとする。この正規化レベルCchnおよびCcwnは、補正後の画質から受ける印象度が画質低下につながらないことを基準に設定される画質調整項目であり、この値は実験的に求められる。
ここで、印象度Cch及び印象度Ccwは、外部から設定された正規化レベルCchn及びCcwnによって正規化されるものとする。この正規化レベルCchnおよびCcwnは、補正後の画質から受ける印象度が画質低下につながらないことを基準に設定される画質調整項目であり、この値は実験的に求められる。
ここで本実施形態における、補正後の画質から受ける印象度の概念について説明する。本実施形態では、ポートレートモード等の撮影モードの設定により、光学中心(像高が0)に存在する情報を重要被写体像とみなす場合を想定する。即ち、フレーミングの中央に位置する被写体像の画質を、画像の画質として観察者が判断するものとしている。即ち、補正量の限界値を超えた場合は、収差によって生じた被写体像のズレや歪みの補正精度が低くなっていると考えられるため、画質が低下している。このため、像高の範囲の最小の像高Lhが光学中心に近いほど、フレーミングの中央に位置する被写体像について収差によって生じたズレや歪みが補正されず残存することになるため、観察者に画質が低下していることを感じさせやすい。また、補正量の限界値を超える像高の範囲Lwが大きい場合、補正後の画像において収差によって生じたズレや歪みが補正されずに残存している像高の範囲が大きくなるため、観察者は補正精度が保たれずに生じた画質の低下に気づきやすい。
このように本実施形態では、特性係数算出回路1405において、定性的に定められた補正後の画質から受ける印象度Cch及びCcwを、例えばいずれか大きい方を選択することにより、補正特性情報Ccとして周波数特性制御回路114に出力する。即ち、補正特性情報生成回路120で得られた補正特性情報Ccが高いほど観察者が画質劣化を感じやすいため、収差の補正量を可能な限り高く保ち、被写体像のズレや歪みを補正する必要がある。また補正特性情報Ccが低いほど、観察者は画質劣化を感じにくいため、収差の補正精度は低くし、逆に補正後の画素の再現精度を高く保つことが必要である。このことから、補正特性情報Ccと補正限界量の関係は図13(e)のようになる。
光学補正回路115が備えるバッファメモリ1003の容量によって補正量の限界値が決定し、撮像時の光学パラメータから補正量と像高の近似関数が得られると、補正量の限界値を超える像高の範囲Lwと当該像高の範囲の最小の像高Lhが算出される。そして、得られた像高の範囲Lwと最小の像高Lhから補正特性情報Ccが得られ、図13(e)のグラフから得られた補正特性情報Ccに対応する補正限界量Lm’(第2の上限値)の情報が得られる。即ち、本実施形態の補正量と像高の近似関数は、図12(b)において補正量の上限値未満(第1の上限値未満)である補正限界量Lm’を表す破線1205で制限される、太線1206のようになる。このように、係数生成回路113において導出された補正量と像高の近似関数1201は、光学補正回路115のバッファメモリ1003の容量及び補正特性情報Ccによって、近似関数1206のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路114において図7のように水平、垂直成分ごとにリミッタ721及びリミッタ722を設けることによって実現される。
以上説明したように、本実施形態の画像処理装置は、観察者の補正後の画質に対する劣化の感じやすさが小さいとみなせるほど、補正精度よりも、補正後の画素の再現精度を高く保つことを優先するように、補正後の限界値を設定している。即ち、補正量の限界値によって決まる、補正後の画質から受ける印象度である補正特性情報を考慮した、収差により生じる画質劣化を好適に補正することができる。
(実施形態4)
本実施形態では実施形態1の構成に加え、さらに撮像された画像内のエッジ成分や動きベクトルを検出することにより得られる、被写体像の特徴度を表す被写体特徴情報を考慮した収差の補正処理について説明する。なお、本実施形態も実施形態2のようにバッファメモリ1003の容量から定まる補正量の限界値により補正量と像高の近似関数が制限されている場合について説明する。なお、被写体特徴情報Cfとは撮像された画像において特徴があるか、即ち補正時に画素値の再現精度が要求されるかを表した値である。
本実施形態では実施形態1の構成に加え、さらに撮像された画像内のエッジ成分や動きベクトルを検出することにより得られる、被写体像の特徴度を表す被写体特徴情報を考慮した収差の補正処理について説明する。なお、本実施形態も実施形態2のようにバッファメモリ1003の容量から定まる補正量の限界値により補正量と像高の近似関数が制限されている場合について説明する。なお、被写体特徴情報Cfとは撮像された画像において特徴があるか、即ち補正時に画素値の再現精度が要求されるかを表した値である。
本実施形態のデジタルカメラ100の機能構成は、上述した実施形態1の構成に、被写体特徴情報Cfを導出するために必要な特徴評価値Idを算出するための特徴検出回路130が加わった構成となる。特徴検出回路130は、勾配検出、高周波成分検出、動き検出等、被写体像の特徴として検出する情報の種類に従って、異なる回路構成となればよく、検出する情報それぞれの回路構成について、図15を用いて以下に説明する。
被写体像の特徴として、エッジ成分である画素間における勾配検出(エッジ検出)を行う場合、一般的には図15(a)のような構成となる。輝度信号生成回路1501は、AFE109からRGB各色のデジタル画像Sr、Sg、Sbが入力されると、それぞれのデジタル画像の着目画素位置の画素値から、次のような式によって着目画素の輝度値yを算出する。
y=0.299Sr+0.587Sg+0.114Sb
このように全ての画素について算出された輝度値yは、勾配検出回路1502に輝度信号(輝度画像)として出力される。勾配検出回路1502は、例えばソーベルフィルタであり、輝度信号生成回路1501から輝度信号Yが入力されると、着目画素位置の勾配量Yg(輝度信号の1次微分値)を出力する。そして勾配検出回路1502で得られた勾配量Ygは積分回路1503に入力され、撮像された画像の輝度信号を区分した矩形領域ごとに、勾配量Ygの積分値を特徴評価値Idとして出力する。
このように全ての画素について算出された輝度値yは、勾配検出回路1502に輝度信号(輝度画像)として出力される。勾配検出回路1502は、例えばソーベルフィルタであり、輝度信号生成回路1501から輝度信号Yが入力されると、着目画素位置の勾配量Yg(輝度信号の1次微分値)を出力する。そして勾配検出回路1502で得られた勾配量Ygは積分回路1503に入力され、撮像された画像の輝度信号を区分した矩形領域ごとに、勾配量Ygの積分値を特徴評価値Idとして出力する。
被写体像の特徴として、輝度信号の高周波成分検出を行う場合、一般的には図15(b)のような構成となる。AFE109からRGB各色のデジタル画像Sr、Sg、Sbが入力されると、デジタル画像を輝度信号生成回路1501は輝度信号Yに変換し、高周波成分検出回路1504に出力する。高周波成分検出回路1504は、例えばバンドパスフィルタであり、着目が沿い地の高周波成分Yh(輝度信号の2次微分値)を出力する。そして高周波成分検出回路1504で得られた高周波成分Yhは積分回路1503に入力され、撮像された画像の輝度信号を区分した矩形領域ごとに、高周波成分Yhの積分値を特徴評価値Idとして出力する。
このように勾配検出、または高周波成分検出で得られた特徴評価値Idは、特徴評価値Idが高いほど撮像された画像において特徴がある領域であり、補正時に画素値の再現精度が要求されるため、被写体特徴情報Cfは図13(f)のようになる。
また、被写体像の特徴として、連続する画像に存在する動きベクトル検出を行う場合、図15(c)のような構成となる。なお、図15(c)の構成は、代表点によるマッチング演算を適用した動きベクトル解析回路の一般的な構成である。AFE109からRGB各色のデジタル画像Sr、Sg、Sbが入力されると、デジタル画像を輝度信号生成回路1501は輝度信号Yに変換し、フレームメモリ1505に出力する。フレームメモリ1505は、少なくとも2フレーム分の輝度代表点フレームを保持する容量を備え、輝度信号Yを所定の画素間隔で水平・垂直方向にリサンプリングした代表点データ画像を保持する。また、フレームメモリ1505で作られた代表点データ画像は、バッファメモリ1506にも保持される。
代表点マッチング回路1507では、このようにフレームメモリ1505及びバッファメモリ1506に記憶されている代表点データ画像を比較することにより、撮像された画像の輝度信号を区分した矩形領域ごとに、特徴評価値Idを算出して出力する。具体的には、バッファメモリ1506に記憶されている代表点データ画像は、矩形領域に区分され、順に代表点マッチング回路1507に出力される。代表点マッチング回路1507では、フレームメモリ1505から矩形領域と同じ大きさの代表点画素群Ysを左上から順に読み出し、バッファメモリ1506から入力された代表点画素群Ytとの差分が最も小さい代表点画素群Ysの位置を探し出す。そして、差分が最も小さい代表点画素群Ysの読み出し位置と、バッファメモリ1506から入力された矩形領域の位置とから、当該矩形領域の動きベクトルを算出する。さらに代表点マッチング回路1507は、各領域の動きベクトルのスカラー量の逆数を、特徴評価値Idとして出力する。
このように動きベクトル検出で得られた特徴評価値Idは、特徴評価値Idが低いほど撮像された画像において被写体に動きがある領域であるため、収差によって生じる被写体像のズレや歪みは目立ちにくい。即ち、動きベクトル検出の場合、動きベクトルが大きいほど収差の補正精度は要求されず、補正時には補正量を少なくして、画素値の再現精度をあげることができるため、被写体特徴情報Cfは図13(g)のようになる。
このように本実施形態では、特徴検出回路130において特徴評価値Idを算出し、補正時に要求される画素値の再現精度である被写体特徴情報Cfを求める。被写体特徴情報Cfが小さい場合は、画素値の再現精度の要求が高いため、収差の補正量を制限してでも補正処理における参照画素数を多くして、画素値の再現精度を向上させる必要がある。つまり、被写体特徴情報Cfと補正限界量との関係は図13(h)のようになる。
即ち、特徴検出回路130において特徴評価値Idが算出されると、マイコン101は特徴検出の種類によって決まる被写体特徴情報Cfを得る。さらにマイコン101は、図13(h)のグラフから、得られた被写体特徴情報Cfに対応する補正限界量Lm’(第4の上限値、第5の上限値)の情報を得る。即ち、本実施形態の補正量と像高の近似関数は、実施形態3と同様に、図12(b)において補正限界量Lm’に制限される太線1206のようになる。このように係数生成回路113において導出された補正量と像高の近似関数1201は、光学補正回路115のバッファメモリ1003の容量及び被写体特徴情報Cfによって、近似関数1206のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路114において図7のように水平、垂直成分ごとにリミッタ721及びリミッタ722を設けることによって実現される。
以上説明したように、本実施形態の画像処理装置は、補正時の画素値の再現精度の要求が高いとみなせるほど、補正精度よりも、補正後の画素の再現精度を高く保つことを優先するように、補正量の限界値を設定している。即ち、撮像された画像におけるエッジ成分や高周波成分、動きベクトル等によって決まる、画素値の再現精度の要求である被写体特徴情報を考慮して、収差により生じる画質劣化を好適に補正することができる。
(実施形態5)
本実施形態では、上述した実施形態2乃至4で述べられた、MTF情報Co、補正特性情報Cc、被写体特徴情報Cfの全てを考慮した、補正量と像高の近似関数の制限及び収差の補正方法について説明する。即ち、本実施形態のデジタルカメラ100の機能構成は、実施形態1の構成に補正特性情報生成回路120及び特徴検出回路130が加わった構成となる。さらに、光学補正データベース112ではMTF情報が管理される。
本実施形態では、上述した実施形態2乃至4で述べられた、MTF情報Co、補正特性情報Cc、被写体特徴情報Cfの全てを考慮した、補正量と像高の近似関数の制限及び収差の補正方法について説明する。即ち、本実施形態のデジタルカメラ100の機能構成は、実施形態1の構成に補正特性情報生成回路120及び特徴検出回路130が加わった構成となる。さらに、光学補正データベース112ではMTF情報が管理される。
上述した実施形態の情報をまとめると
・解像感であるMTF情報Coは像高が低いほど高くなる
・MTF情報Coが高いほど補正精度が求められる
・MTF情報Coが低いほど補正精度より再現精度が求められる
・補正後の画質の印象度である補正特性情報Ccは、
−補正量の限界値を超える像高の範囲が広いほど高くなる
−補正量の限界値を超える最小の像高が低いほど高くなる
・補正特性情報Ccが高いほど補正精度が求められる
・補正特性情報Ccが低いほど補正精度より再現精度が求められる
・被写体像の特徴度である被写体特徴情報Cfは、
−エッジ成分が大きい領域ほど高くなる
−高周波成分が大きい領域ほど高くなる
−動きベクトルが小さい領域ほど高くなる
・被写体特徴情報Cfが高いほど補正精度が求められる
・被写体特徴情報Cfが低いほど補正精度より再現精度が求められる
このようになるため、図13(b)、(e)及び(h)からも明らかなように、各情報が1に近づくにつれ、収差の補正精度を限りなく高く保つような傾向になる。即ち、MTF情報Co、補正特性情報Cc、及び被写体特徴情報Cfを統合すると、例えば像高によって導出される補正限界量の最低値を選択するようにすると、制限された補正量と像高の近似関数は図12(c)の太線1207のようにすればよい。
・解像感であるMTF情報Coは像高が低いほど高くなる
・MTF情報Coが高いほど補正精度が求められる
・MTF情報Coが低いほど補正精度より再現精度が求められる
・補正後の画質の印象度である補正特性情報Ccは、
−補正量の限界値を超える像高の範囲が広いほど高くなる
−補正量の限界値を超える最小の像高が低いほど高くなる
・補正特性情報Ccが高いほど補正精度が求められる
・補正特性情報Ccが低いほど補正精度より再現精度が求められる
・被写体像の特徴度である被写体特徴情報Cfは、
−エッジ成分が大きい領域ほど高くなる
−高周波成分が大きい領域ほど高くなる
−動きベクトルが小さい領域ほど高くなる
・被写体特徴情報Cfが高いほど補正精度が求められる
・被写体特徴情報Cfが低いほど補正精度より再現精度が求められる
このようになるため、図13(b)、(e)及び(h)からも明らかなように、各情報が1に近づくにつれ、収差の補正精度を限りなく高く保つような傾向になる。即ち、MTF情報Co、補正特性情報Cc、及び被写体特徴情報Cfを統合すると、例えば像高によって導出される補正限界量の最低値を選択するようにすると、制限された補正量と像高の近似関数は図12(c)の太線1207のようにすればよい。
以上説明したように、本実施形態の画像処理装置は、撮像された画像の特徴及び補正量の限界量を考慮した上で、収差により生じる画質劣化を好適に補正することができる。
なお、上述した実施形態では画像処理装置の一例として、光学系を備えるデジタルカメラについて説明したが、本発明の実施はこれに限らない。例えば、画像処理装置はプリンタ等の画像の入力を受け付ける機器であってよく、この場合、光学系の収差の情報が、1つのファイルとして画像とともに入力されるか、画像のデータ情報の中に含まれていればよい。そして画像処理装置は、補正処理の過程において光学系の収差の情報を読み出して、上述のような補正処理を行えばよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 光学系を用いて撮像された画像における前記光学系の収差の影響を、前記画像の画素ごとに補正する画像処理装置であって、
前記画像の、一部の領域の画像を読み出して記憶する記憶手段と、
前記記憶手段に記憶された一部の領域の画像の着目画素について、当該着目画素と、前記光学系の収差によって移動した当該着目画素の位置に結像されるべきであった像との距離を、当該着目画素の像高の情報と、前記光学系の情報とを用いて算出する算出手段と、
前記着目画素から、前記算出手段により算出された距離だけ離れた位置を中心とする、所定の数の周辺画素のそれぞれに対し、前記中心との距離の関数である予め定められた補間関数から得られる、前記周辺画素それぞれの補間係数を乗じて加算することにより、前記着目画素の補正後の画素値を導出する補正手段と、を備え、
前記補正手段は、前記着目画素に対し、前記算出手段により算出された距離だけ離れた位置を中心とする周辺画素が、前記所定の数より少ない数しか前記記憶手段に記憶されていない場合、前記予め定められた補間関数の周波数応答特性を、前記所定の数の周辺画素が前記記憶手段に記憶されている場合より緩やかになるように前記補間関数を変更し、前記所定の数より少ない周辺画素のそれぞれに対し、前記補間関数から得られる、前記周辺画素それぞれの補間係数を乗じて加算することにより、前記補正後の画素値を導出することを特徴とする画像処理装置。 - 前記算出手段は、前記着目画素に対して算出した補正量が前記記憶手段の容量によって定まる第1の上限値を超える場合は、前記補正量を前記第1の上限値とすることを特徴とする請求項1に記載の画像処理装置。
- 前記算出手段は、前記第1の上限値未満の第2の上限値を設定し、
前記第2の上限値は、前記画像において、前記補正量が前記第1の上限値をこえる像高の範囲、及び当該像高の範囲の像高の最小値によって決まる、予め定められた補正量であり、当該像高の範囲が広いほど大きく、前記像高の最小値が大きいほど小さく設定される値であり、
前記算出手段は、前記着目画素に対して算出した補正量が前記第2の上限値を超える場合は、前記補正量を前記第2の上限値とすることを特徴とする請求項2に記載の画像処理装置。 - 前記画像の画素のそれぞれについて、前記光学系のMTF情報を取得する取得手段をさらに備え、
前記算出手段は、前記画像において前記MTF情報の値によって決まる、予め定められた補正量の第3の上限値を設定し、
前記第3の上限値は、MTF情報の値が低い着目画素ほど前記補正量が小さく設定される値であり、
前記算出手段は、前記着目画素に対して算出した補正量が前記第3の上限値を超える場合は、前記補正量を前記第3の上限値とすることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記着目画素と当該着目画素の周辺画素から、当該着目画素のエッジ成分を検出するエッジ検出手段をさらに備え、
前記算出手段は、前記画像において前記エッジ成分の大きさによって決まる、予め定められた補正量の第4の上限値を設定し、
前記第4の上限値は、前記エッジ成分が小さい着目画素ほど前記補正量が小さく設定される値であり、
前記算出手段は、前記着目画素に対して算出した補正量が前記第4の上限値を超える場合は、前記補正量を前記第4の上限値とすることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記画像と連続して撮影された画像と、前記着目画素が含まれる前記一部の領域の画像とから、前記着目画素が含まれる一部の領域における画像の動きベクトルを検出するベクトル検出手段をさらに備え、
前記算出手段は、前記画像において前記動きベクトルの量の逆数によって決まる、予め定められた補正量の第5の上限値を設定し、
前記第5の上限値は、前記動きベクトルが大きい領域に含まれる着目画素ほど前記補正量が小さく設定される値であり、
前記算出手段は、前記着目画素に対して算出した補正量が前記第5の上限値を超える場合は、前記補正量を前記第5の上限値とすることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 光学系を用いて撮像された画像における前記光学系の収差の影響を、前記画像の画素ごとに補正する画像処理装置の制御方法であって、
読み出し手段が、前記画像の、一部の領域の画像を読み出して記憶手段に記憶する読み出し工程と、
算出手段が、前記記憶手段に記憶された一部の領域の画像の着目画素について、当該着目画素と、前記光学系の収差によって移動した当該着目画素の位置に結像されるべきであった像との距離を、当該着目画素の像高の情報と、前記光学系の情報とを用いて算出する算出工程と、
補正手段が、前記着目画素から、前記算出工程で算出された距離だけ離れた位置を中心とする、所定の数の周辺画素のそれぞれに対し、前記中心との距離の関数である予め定められた補間関数から得られる、前記周辺画素それぞれの補間係数を乗じて加算することにより、前記着目画素の補正後の画素値を導出する補正工程と、を備え、
前記補正工程において前記補正手段は、前記着目画素に対し、前記算出工程で算出された距離だけ離れた位置を中心とする周辺画素が、前記所定の数より少ない数しか前記記憶手段に記憶されていない場合、前記予め定められた補間関数の周波数応答特性を、前記所定の数の周辺画素が前記記憶手段に記憶されている場合より緩やかになるように前記補間関数を変更し、前記所定の数より少ない周辺画素のそれぞれに対し、前記補間関数から得られる、前記周辺画素それぞれの補間係数を乗じて加算することにより、前記補正後の画素値を導出することを特徴とする画像処理装置の制御方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010076201A JP5438579B2 (ja) | 2010-03-29 | 2010-03-29 | 画像処理装置及びその制御方法 |
GB1103747.0A GB2479229B (en) | 2010-03-29 | 2011-03-07 | Image processing apparatus and method of controlling the same |
US13/045,053 US8587712B2 (en) | 2010-03-29 | 2011-03-10 | Image processing apparatus and method of correcting image quality degradation caused by aberrations due to optical system |
KR1020110026179A KR101313686B1 (ko) | 2010-03-29 | 2011-03-24 | 화상처리장치 및 그 제어 방법 |
DE102011006272A DE102011006272A1 (de) | 2010-03-29 | 2011-03-28 | Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser |
CN201110079185.6A CN102208098B (zh) | 2010-03-29 | 2011-03-29 | 图像处理设备及其控制方法 |
US14/056,344 US8902329B2 (en) | 2010-03-29 | 2013-10-17 | Image processing apparatus for correcting image degradation caused by aberrations and method of controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010076201A JP5438579B2 (ja) | 2010-03-29 | 2010-03-29 | 画像処理装置及びその制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013258691A Division JP5769790B2 (ja) | 2013-12-13 | 2013-12-13 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011211426A JP2011211426A (ja) | 2011-10-20 |
JP5438579B2 true JP5438579B2 (ja) | 2014-03-12 |
Family
ID=43923235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010076201A Expired - Fee Related JP5438579B2 (ja) | 2010-03-29 | 2010-03-29 | 画像処理装置及びその制御方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8587712B2 (ja) |
JP (1) | JP5438579B2 (ja) |
KR (1) | KR101313686B1 (ja) |
CN (1) | CN102208098B (ja) |
DE (1) | DE102011006272A1 (ja) |
GB (1) | GB2479229B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008598A1 (ja) * | 2011-07-13 | 2013-01-17 | 富士フイルム株式会社 | 撮像装置及び信号量補正方法 |
CN102620687A (zh) * | 2012-03-02 | 2012-08-01 | 汕头市领域安防系统设备有限公司 | 基于图像处理的透射式圆光栅云台及其定位检测方法 |
JP2013214234A (ja) * | 2012-04-03 | 2013-10-17 | Sony Corp | 移動制御装置、移動制御方法、およびプログラム |
JP6053347B2 (ja) * | 2012-06-25 | 2016-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
WO2014058086A1 (en) * | 2012-10-11 | 2014-04-17 | Lg Electronics Inc. | Image processing device and image processing method |
JP2014110507A (ja) * | 2012-11-30 | 2014-06-12 | Canon Inc | 画像処理装置および画像処理方法 |
US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
JP6491445B2 (ja) * | 2014-09-19 | 2019-03-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP6468868B2 (ja) * | 2015-01-30 | 2019-02-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP6006389B1 (ja) * | 2015-08-26 | 2016-10-12 | オリンパス株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP6632339B2 (ja) * | 2015-11-10 | 2020-01-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
KR101785027B1 (ko) | 2016-01-14 | 2017-11-06 | 주식회사 라온텍 | 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법 |
KR102011938B1 (ko) * | 2016-03-14 | 2019-08-19 | 리어롭 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 |
WO2021172633A1 (ko) * | 2020-02-28 | 2021-09-02 | (주)뉴빌리티 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
JP6991371B1 (ja) * | 2020-06-02 | 2022-01-14 | 三菱電機株式会社 | 赤外線撮像装置 |
JP7271604B2 (ja) * | 2020-06-02 | 2023-05-11 | 三菱電機株式会社 | 赤外線撮像装置 |
CN112215782B (zh) * | 2020-10-29 | 2022-10-14 | 中国科学院长春光学精密机械与物理研究所 | 一种卷帘快门成像装置图像校正方法及装置 |
CN113392446B (zh) * | 2021-05-27 | 2022-08-19 | 万翼科技有限公司 | 剪力墙的审核数据的生成方法、装置、设备及存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08205181A (ja) * | 1995-01-30 | 1996-08-09 | Matsushita Electric Ind Co Ltd | 色収差補正回路および色収差補正機能付き撮像装置 |
GB9605527D0 (en) * | 1996-03-15 | 1996-05-15 | Vlsi Vision Ltd | Image restoration |
KR100205181B1 (ko) * | 1996-12-10 | 1999-07-01 | 정몽규 | 화물차 적재함의 유동형 이탈방지턱 |
JP4402230B2 (ja) | 1999-12-22 | 2010-01-20 | オリンパス株式会社 | 画像処理装置 |
US7346210B2 (en) * | 2001-12-28 | 2008-03-18 | Nikon Corporation | Image processing device and image processing program for determining similarity factors of pixels |
JP4144292B2 (ja) * | 2002-08-20 | 2008-09-03 | ソニー株式会社 | 画像処理装置と画像処理システム及び画像処理方法 |
JP4133283B2 (ja) * | 2002-12-10 | 2008-08-13 | シャープ株式会社 | 画像処理装置および画像処理方法、デジタルスチルカメラ |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
JP2004266768A (ja) * | 2003-03-04 | 2004-09-24 | Mega Chips Corp | 画像処理システム及びデジタルカメラ |
JP2004362069A (ja) * | 2003-06-02 | 2004-12-24 | Olympus Corp | 画像処理装置 |
JP4337463B2 (ja) | 2003-08-06 | 2009-09-30 | ソニー株式会社 | 画像処理装置、画像処理システム、撮像装置および画像処理方法 |
US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
EP1564681A1 (en) * | 2004-02-13 | 2005-08-17 | Dialog Semiconductor GmbH | Vignetting compensation algorithm |
JP3965402B2 (ja) * | 2004-08-23 | 2007-08-29 | 富士フイルム株式会社 | ノイズ低減装置および方法ならびにノイズ低減プログラム |
JP4700445B2 (ja) * | 2005-09-01 | 2011-06-15 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
WO2007105359A1 (ja) * | 2006-03-01 | 2007-09-20 | Nikon Corporation | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 |
JP4735978B2 (ja) * | 2006-07-21 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2008139577A1 (ja) * | 2007-05-09 | 2008-11-20 | Fujitsu Microelectronics Limited | 画像処理装置、撮像装置、および画像歪み補正方法 |
JP5180687B2 (ja) * | 2008-06-03 | 2013-04-10 | キヤノン株式会社 | 撮像装置及び補正方法 |
JP5366619B2 (ja) * | 2008-08-12 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
JP2010092360A (ja) * | 2008-10-09 | 2010-04-22 | Canon Inc | 画像処理システム、画像処理装置、収差補正方法及びプログラム |
CN102474626B (zh) * | 2009-07-21 | 2014-08-20 | 佳能株式会社 | 用于校正色像差的图像处理设备和图像处理方法 |
-
2010
- 2010-03-29 JP JP2010076201A patent/JP5438579B2/ja not_active Expired - Fee Related
-
2011
- 2011-03-07 GB GB1103747.0A patent/GB2479229B/en not_active Expired - Fee Related
- 2011-03-10 US US13/045,053 patent/US8587712B2/en not_active Expired - Fee Related
- 2011-03-24 KR KR1020110026179A patent/KR101313686B1/ko active IP Right Grant
- 2011-03-28 DE DE102011006272A patent/DE102011006272A1/de active Pending
- 2011-03-29 CN CN201110079185.6A patent/CN102208098B/zh not_active Expired - Fee Related
-
2013
- 2013-10-17 US US14/056,344 patent/US8902329B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
GB2479229A (en) | 2011-10-05 |
CN102208098A (zh) | 2011-10-05 |
US20110234823A1 (en) | 2011-09-29 |
KR20110109908A (ko) | 2011-10-06 |
KR101313686B1 (ko) | 2013-10-02 |
US20140044374A1 (en) | 2014-02-13 |
GB2479229B (en) | 2012-10-17 |
US8902329B2 (en) | 2014-12-02 |
GB201103747D0 (en) | 2011-04-20 |
US8587712B2 (en) | 2013-11-19 |
DE102011006272A1 (de) | 2013-01-17 |
JP2011211426A (ja) | 2011-10-20 |
CN102208098B (zh) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5438579B2 (ja) | 画像処理装置及びその制御方法 | |
US8350951B2 (en) | Image sensing apparatus and image data correction method | |
US8824824B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program | |
JP4942216B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びプログラム | |
US20130050546A1 (en) | Image processing apparatus and method | |
US8982234B2 (en) | Information processing apparatus and method | |
JP2004336106A (ja) | 画像処理装置、画像処理方法ならびに撮像装置 | |
US20180033121A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5528139B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US20150161771A1 (en) | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium | |
US8634001B2 (en) | Image processing apparatus, image processing program, image processing method, and image-pickup apparatus | |
JP5730036B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2011160255A5 (ja) | ||
JP2012156715A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2010086139A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP6274744B2 (ja) | 画像処理装置および画像処理方法 | |
US9635260B2 (en) | Image processing apparatus, image pickup apparatus, and image processing method | |
JP5769790B2 (ja) | 画像処理装置および画像処理方法 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2011120309A (ja) | 撮像装置 | |
JP2014093714A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2011130381A (ja) | 撮像装置及びその制御方法 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP2012156710A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5438579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |