JP4940661B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP4940661B2 JP4940661B2 JP2006003449A JP2006003449A JP4940661B2 JP 4940661 B2 JP4940661 B2 JP 4940661B2 JP 2006003449 A JP2006003449 A JP 2006003449A JP 2006003449 A JP2006003449 A JP 2006003449A JP 4940661 B2 JP4940661 B2 JP 4940661B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- unit
- rotation
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は画像処理装置、画像処理方法および撮像装置に関し、特に画像信号を処理する画像処理装置、画像処理方法および撮像装置に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device, and more particularly to an image processing device, an image processing method, and an imaging device that process an image signal.
近年、デジタルビデオカメラやデジタルスチルカメラに代表される撮像機器の普及は目覚しいものがある。
一般的に、これらのレンズ系とイメージングデバイス(撮像素子)を搭載した機器においては、例えばレンズ系を起因とした周辺光量の低下により、撮像画像にシェーディングと呼ばれる感度むら(不均一性)の現象が生じることが知られている。このシェーディングは、撮像素子に設けられたマイクロレンズと撮影レンズとの光学的な関係により発生し、例えば、撮像素子上の画素位置の、撮影レンズの光軸上からの距離に比例して発生する。より具体的には、撮影レンズを通過した光線が撮像素子に斜めに(所定角度傾斜して)入射する場合、撮影レンズの光軸から離れた周辺部分の領域では、感光画素部に対し本来の入射光線の一部しか入射しないため、光量が低下しシェーディングが発生する。
In recent years, there has been a remarkable spread of imaging devices represented by digital video cameras and digital still cameras.
In general, in devices equipped with these lens systems and imaging devices (imaging devices), for example, a phenomenon of sensitivity unevenness (non-uniformity) called shading in captured images due to a decrease in the amount of peripheral light caused by the lens system, for example. Is known to occur. This shading occurs due to the optical relationship between the microlens provided in the image sensor and the photographic lens. For example, the shading occurs in proportion to the distance of the pixel position on the image sensor from the optical axis of the photographic lens. . More specifically, when the light beam that has passed through the photographing lens is incident on the image sensor obliquely (tilted at a predetermined angle), in the peripheral area away from the optical axis of the photographing lens, Since only a part of the incident light is incident, the amount of light is reduced and shading occurs.
このようなシェーディングの発生を防止する方法として、例えば多枚数の構成でレンズ系を設計する方式が提案されているが、多枚数で構成されるレンズ系は、機器の大規模化、および高価格化に繋がるという問題点があった。 As a method for preventing the occurrence of such shading, for example, a method of designing a lens system with a large number of lenses has been proposed. However, a lens system configured with a large number of lenses has a large scale and high price. There was a problem that it led to the transformation.
また、前述した撮像素子からの撮像信号に対し、デジタル信号処理により補正を行う方法も各種提案されている。例えば、撮像素子上の各画素にそれぞれ対応した補正係数を二次元配列として記憶手段(メモリ等)に保持し、各画素位置に対応した補正係数を読み出し、入力信号に乗じることによりシェーディング補正を行うという方式が提案されている。 Various methods have also been proposed for correcting the image pickup signal from the image pickup device described above by digital signal processing. For example, a correction coefficient corresponding to each pixel on the image sensor is held in a storage unit (memory or the like) as a two-dimensional array, the correction coefficient corresponding to each pixel position is read, and shading correction is performed by multiplying the input signal. This method has been proposed.
また、CPU(Central Processing Unit)等の演算手段により、撮像信号に応じたシェーディング補正係数をソフトウェア的に算出し、シェーディング補正を行うという方式も提案されている(例えば、特許文献1参照)。
しかしながら、従来の技術には以下のような問題があった。
まず、記憶手段に二次元配列上の補正係数を保持する方式では、撮像レンズ位置、像高、絞り量、射出瞳位置、ストロボ発行量等様々な条件下での撮像信号に応じた所望のシェーディング特性を得るために、メモリ等の記憶手段を別途必要とするため、機器の大規模化、および高価格化に繋がるという問題点があった。特に、昨今の多画素化の潮流下では、より大規模な記憶手段を要するため無視できない問題である。
However, the conventional techniques have the following problems.
First, in the method of storing the correction coefficient on the two-dimensional array in the storage means, the desired shading according to the imaging signal under various conditions such as the imaging lens position, image height, aperture amount, exit pupil position, strobe issuance amount, etc. In order to obtain the characteristics, a storage means such as a memory is separately required, which causes a problem that the scale of the device is increased and the price is increased. In particular, under the current trend of increasing the number of pixels, it is a problem that cannot be ignored because a larger storage means is required.
また、演算手段によって補正係数を算出する方式においては、シェーディング現象を同心円状の周辺光量低下現象と前提した方式であるため、例えばシェーディング特性が楕円状であったり、光軸に対し正対せず角度を持ったような形状(回転形状)であったりした場合、所望の補正係数を得られないという問題点があった。 In addition, the method for calculating the correction coefficient by the calculation means is based on the premise that the shading phenomenon is a concentric peripheral light amount reduction phenomenon. In the case of a shape having an angle (rotational shape), there is a problem that a desired correction coefficient cannot be obtained.
特許文献1に開示された方式によれば、撮像平面上を上、下、左、右の4つの領域に分割し、各々の領域に対し重み付けを行うことが出来るため、光軸に正対した楕円形状のシェーディング特性に対しても、所望の補正係数を算出することが可能であるが、光軸に対し角度を持ったシェーディング特性に対しては所望の補正係数を得られないという問題点があった。
According to the method disclosed in
本発明の目的は、光軸に対し角度を持った回転形状のシェーディング特性の補正を容易に行うことができる画像処理装置、画像処理方法および撮像装置を提供することにあり、他の目的は、大規模容量の記憶手段を不要とし、機器の小型軽量化および低コスト化を図ることができる画像処理装置、画像処理方法および撮像装置を提供することにある。 An object of the present invention is to provide an image processing device, an image processing method, and an imaging device that can easily perform correction of a shading characteristic of a rotational shape having an angle with respect to an optical axis. An object of the present invention is to provide an image processing apparatus, an image processing method, and an imaging apparatus that can eliminate the need for a large-scale storage means and can reduce the size and weight of the device and reduce the cost.
本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、入力画像の中心座標を基準にして前記入力画像の座標系を回転させる座標系回転部と、前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出する距離算出部と、前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、決定された前記補正係数を、前記入力画像の対応する画素信号に乗算する補正係数乗算部と、を有し、前記座標系回転部は、入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、前記tanθを近似して得られる2のべき乗部分2 -m を乗算するためのシフト部と、を有する画像処理装置が提供される。 In the present invention, in order to solve the above-described problem, in an image processing apparatus that processes an image signal, a coordinate system rotation unit that rotates a coordinate system of the input image with reference to a center coordinate of the input image, and rotation of the coordinate system A distance calculation unit that calculates a distance from the center coordinate in each pixel coordinate of the input image later, and a distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system A correction coefficient determining unit that determines a corresponding correction coefficient, and a correction coefficient multiplying unit that multiplies the determined correction coefficient by a corresponding pixel signal of the input image, and the coordinate system rotation unit is configured to input When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image , tan θ is 2 −m ・ A A multiplication unit for multiplying the rotation correction coefficient A obtained by approximation, the image processing device is provided with a shift unit for multiplying the power of two portions 2 -m obtained by approximating the tanθ The
このような画像処理装置によれば、座標系回転部により、入力画像の中心座標を基準にして入力画像の座標系が回転され、距離算出部により、座標系の回転後の入力画像の各画素座標における中心座標からの距離がそれぞれ算出され、補正係数決定部により、座標系の回転後の各画素座標毎に、距離算出部にて算出された距離に応じた補正係数が決定され、補正係数乗算部により、決定された補正係数が、入力画像の対応する画素信号に乗算される。 According to such an image processing apparatus, the coordinate system rotation unit rotates the coordinate system of the input image with reference to the center coordinates of the input image, and the distance calculation unit rotates each pixel of the input image after the rotation of the coordinate system. The distance from the center coordinate in the coordinates is calculated, and the correction coefficient determining unit determines a correction coefficient corresponding to the distance calculated by the distance calculating unit for each pixel coordinate after the rotation of the coordinate system. The multiplication unit multiplies the determined correction coefficient by the corresponding pixel signal of the input image.
また、本発明では上記課題を解決するために、画像信号を処理する画像処理方法において、入力画像の中心座標を基準にして前記入力画像の座標系を回転させ、前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出し、前記座標系の回転後の前記各画素座標毎に、算出された前記距離に応じた補正係数を決定し、決定された前記補正係数を、前記入力画像の対応する画素信号に乗算し、前記入力画像の座標系の回転は、入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算し、前記tanθを近似して得られる2のべき乗部分2 -m をシフトしておこなう画像処理方法が提供される。 According to the present invention, in order to solve the above problems, in an image processing method for processing an image signal, the coordinate system of the input image is rotated with reference to the center coordinate of the input image, and the coordinate system after the rotation of the coordinate system is rotated. A distance from the center coordinate in each pixel coordinate of the input image is calculated, and a correction coefficient corresponding to the calculated distance is determined for each pixel coordinate after the rotation of the coordinate system. the correction coefficients are multiplied to the corresponding pixel signal of the input image, the rotation of the coordinate system of the input image for each horizontal component and a vertical component in each pixel coordinates of the input image input, cos [theta] When (θ: rotation angle when rotating the coordinate system) can be approximated to 1, the rotation correction coefficient A obtained by approximating tan θ to 2 −m · A is multiplied, and the tan θ is approximated. 2 An image processing method is provided that shifts the power of 2 −m .
このような画像処理方法によれば、上記本発明に係る画像処理装置と同様の処理が、実現される。 According to such an image processing method, the same processing as that of the image processing apparatus according to the present invention is realized.
本発明によれば、例えば楕円形状や光軸に正対せず角度を持つような形状(回転形状)をなすレンズ系に起因して生じるシェーディングを容易に精度よく補正することができる。また、大規模な記憶手段を必要とせず、機器の小型軽量化および低コスト化を図ることができる。 According to the present invention, it is possible to easily and accurately correct shading caused by a lens system having an elliptical shape or a shape (rotational shape) that does not face the optical axis but has an angle. Further, it is possible to reduce the size and weight of the device and reduce the cost without requiring a large-scale storage means.
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図1は、実施の形態の撮像装置の要部構成を示すブロック図である。
図1に示す撮像装置1は、光学ブロック2、ドライバ2a、駆動部2b、イメージセンサ3、タイミング信号発生回路(TG)3a、アナログフロントエンド(AFE)回路4、信号処理回路5、システムコントローラ6、操作部7、グラフィックI/F(インタフェース)8、およびディスプレイ(画像モニタ)8aを具備する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating a main configuration of an imaging apparatus according to an embodiment.
An
光学ブロック2は、光源からの入射光および被写体からの光(反射光)をイメージセンサ3に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、被写体照度に応じて絞りを調節し、レンズを通過した光の量(光量)、すなわち露出を決定するアイリス機構などを具備している。 The optical block 2 includes a lens for condensing incident light from the light source and light from the subject (reflected light) on the image sensor 3, a drive mechanism for moving the lens to perform focusing and zooming, a shutter mechanism, The iris is adjusted by adjusting the diaphragm according to the illuminance of the subject and determining the amount of light (light quantity) that has passed through the lens, that is, the exposure.
ドライバ2aは、システムコントローラ6からの制御信号に基づいて、絞り駆動等、光学ブロック2内の各機構の駆動を制御する駆動信号を出力する。
駆動部2bは、ドライバ2aからの駆動信号を受けて、光学ブロック2の駆動機構を駆動する。
Based on the control signal from the system controller 6, the
The
イメージセンサ3は、光電変換素子であるフォトダイオードがマトリクス(行列)状に配列された固体撮像素子であり、TG3aから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、イメージセンサ3としては特に限定されないが、例えば、CCD(Charged Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)等が挙げられる。
The image sensor 3 is a solid-state imaging device in which photodiodes, which are photoelectric conversion elements, are arranged in a matrix, and is driven based on a timing signal output from the
TG3aは、システムコントローラ6の制御の下で電子シャッタを制御するタイミング信号を出力する。
AFE回路4は保持・利得制御回路41およびA/D変換回路(A/D)42を有している。AFE回路4は、例えば1つのIC(Integrated Circuit)として構成され、イメージセンサ3から出力された画像信号に対して、保持・利得制御回路41がCDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、さらにAGC(Auto Gain Control)処理により利得(ゲイン)を制御する。また、A/D変換回路42がA/D変換を行いデジタル画像信号を出力する。なお、CDS処理を行う回路は、イメージセンサ3と同一基板上に形成されてもよい。
The
The AFE circuit 4 includes a holding / gain control circuit 41 and an A / D conversion circuit (A / D) 42. The AFE circuit 4 is configured as, for example, one IC (Integrated Circuit), and the holding / gain control circuit 41 performs S / N (Signal Signal) by CDS (Correlated Double Sampling) processing on the image signal output from the image sensor 3. Sample hold is performed so as to keep a good (Noise) ratio, and gain (gain) is controlled by AGC (Auto Gain Control) processing. The A /
信号処理回路5は、AFE回路4にてデジタル信号に変換された被写体撮像信号に対し、システムコントローラ6からの制御信号に従い、AFE回路4からの画像信号に対するAF(Auto Focus:自動焦点)、AE(Automatic Exposure:自動露出)、AWB(Auto White Balance:オートホワイトバランス)等の各種カメラ制御処理、またはその処理の一部を実行し、被写体の映像信号(輝度信号および色差信号)を生成する。 The signal processing circuit 5 performs AF (Auto Focus), AE on the image signal from the AFE circuit 4 in accordance with the control signal from the system controller 6 with respect to the subject imaging signal converted into the digital signal by the AFE circuit 4. Various camera control processes such as (Automatic Exposure) and AWB (Auto White Balance) or a part of the processes are executed to generate a video signal (luminance signal and color difference signal) of the subject.
信号処理回路5は、水平・垂直方向の同期信号や各種タイミング信号を生成する同期信号生成部51と、システムコントローラ6からの制御信号により制御処理を施し被写体映像信号を生成するカメラ信号処理部52と、被写体映像信号に対し上述した制御処理を施すための各種演算処理を行う制御演算処理部53と、被写体映像信号に対し解像度の変換や歪みの補正処理等を行う解像度変換部54とを有している。
The signal processing circuit 5 includes a synchronization
図2は、カメラ信号処理部の構成を示すブロック図である。
カメラ信号処理部52は、AFE回路4からの被写体撮像信号に各種補正処理を施すカメラ信号前処理部52aと、カメラ信号前処理部52aから出力される信号に対してシェーディングの補正処理を施すシェーディング補正部52bと、シェーディング補正部52bから出力される信号の後処理を行うカメラ信号後処理部52cとを有している。
FIG. 2 is a block diagram illustrating a configuration of the camera signal processing unit.
The camera
カメラ信号前処理部52aは、同期信号生成部51からの各種同期信号を用いて、被写体撮像信号に、撮像素子に起因する欠陥画素の補正や、ノイズ除去等の各種補正処理を施す。また、カメラ信号前処理部52aは、イメージセンサ3からの入力信号がC(水色)、M(赤紫)、Y(黄)、のいわゆる補色信号で構成される場合は、R(赤)、G(緑)、B(青)からなる原色信号(以下、R信号、G信号、B信号という)への原色分離処理も施す。R信号、G信号およびB信号は、後段のシェーディング補正部52bおよび制御演算処理部53への入力信号となる。
The camera signal preprocessing
シェーディング補正部52bは、レンズ系を起因とした周辺光量の低下により生じる、撮像画像の中心部と縁部(周辺部)の明るさの違いの差(シェーディング)、換言すれば周辺光量の低下により生じる感度むら(不均一性)の補正処理を行う。
The
カメラ信号後処理部52cは、ホワイトバランス調整の施された被写体撮像信号から輝度信号(Y)および色差信号(R−Y、B−Y)からなる映像信号を生成する。
制御演算処理部53は、システムコントローラ6からの設定信号に基づいて各種演算処理を行い、演算結果をシステムコントローラ6に出力する。
The camera
The control
システムコントローラ6は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラであり、前述した演算結果に基づいて、ROM等に記憶されたプログラムを実行することにより、光学ブロック2、イメージセンサ3、AFE回路4、信号処理回路5等、撮像装置1の各部を統括的に制御することにより、AF、AE、AWBの自動制御処理を行い、撮像被写体の好適な映像信号の生成を行う。
The system controller 6 is a microcontroller including, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and is stored in a ROM or the like based on the above-described calculation results. By automatically controlling each part of the
操作部7は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどを有しており、ユーザによる入力操作に応じた制御信号をシステムコントローラ6に出力する。
The
グラフィックI/F8は、信号処理回路5からシステムコントローラ6を介して供給された画像信号から、ディスプレイ8aに表示させるための画像信号を生成して、この信号をディスプレイ8aに供給し、画像を表示させる。ディスプレイ8aは、例えばLCD(Liguid Crystal Display)からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。
The graphic I / F 8 generates an image signal to be displayed on the
この撮像装置1では、イメージセンサ3によって受光されて光電変換された信号が、順次AFE回路4に供給され、CDS処理やAGC処理が施された後、デジタル信号に変換される。信号処理回路5は、AFE回路4から供給されたデジタル画像信号を輝度信号(Y)と色差信号(R−Y、B−Y)に変換し、最終的に画質補正処理を施して出力する。
In the
信号処理回路5から出力された信号は、システムコントローラ6を介してグラフィックI/F8に供給されて表示用の画像信号に変換され、これによりディスプレイ8aにカメラスルー画像が表示される。また、操作部7からのユーザの入力操作などによりシステムコントローラ6に対して画像の記録が指示されると、信号処理回路5からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、信号処理回路5からは1フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。
The signal output from the signal processing circuit 5 is supplied to the graphic I / F 8 via the system controller 6 and converted into a display image signal, whereby a camera-through image is displayed on the
このような撮像装置1は、シェーディング補正部52bの処理に特徴を有する。以下シェーディング補正部52bについて詳述する。
図3は、シェーディング補正部の内部構成を示すブロック図である。
Such an
FIG. 3 is a block diagram illustrating an internal configuration of the shading correction unit.
シェーディング補正部52bは、カウンタ生成部521と、距離算出部522と、ゲインルックアップテーブル(補正係数決定部)523と、ゲイン乗算部(補正係数乗算部)524とを有している。
The
カウンタ生成部521は、同期信号生成部51より入力された水平同期信号および垂直同期信号に基づいて、水平方向および垂直方向のカウンタの生成処理を行う。このカウンタ値は、本実施の形態では撮像画像平面上の左上(1つの頂点)を原点とし、右方向および下方向(他の頂点に向かう方向)をそれぞれ正方向とした撮像画像平面上の座標を示すものである。
The
距離算出部522は、光軸中心座標シフト部522aと、座標系回転部522bと、距離算出部522cとを有している。
光軸中心座標シフト部522aは、カウンタ生成部521より入力された水平方向カウンタ値および垂直方向カウンタ値と、システムコントローラ6より設定された光軸中心座標との差分演算処理を行う。すなわち、撮像画像の座標系の原点を、光軸中心に一致させるようにシフトする。これにより、レンズ系の光軸中心と撮像画像平面上の中心とが一致していない場合でも、各画素の位置(画素座標)と光軸中心位置との距離の水平方向成分および垂直方向成分を正しく算出することができる。
The distance calculation unit 522 includes an optical axis center coordinate shift unit 522a, a coordinate
The optical axis center coordinate shift unit 522 a performs a difference calculation process between the horizontal direction counter value and the vertical direction counter value input from the
座標系回転部522bは、光軸中心座標シフト部522aにて算出された各画素位置と光軸中心位置との距離の水平方向成分および垂直方向成分に対し、回転処理を施す。この回転処理については後に詳述する。
The coordinate
距離算出部522cは、座標系回転部522bにて回転処理が施された水平方向成分および垂直方向成分信号に対し、各画素位置に対する光軸中心との距離の算出処理を施す。
ここで、一般に光軸中心からの座標が(x、y)である画素位置での光軸中心の位置との距離dは式1で表される。
The
Here, generally, the distance d from the position of the optical axis center at the pixel position whose coordinates from the optical axis center is (x, y) is expressed by
ここで距離算出部522cは、回路規模削減のため、16角形近似回路により構成され、光軸中心からの距離算出は、次式2に示す16角形近似式に基づいて行われる。ここで、光軸中心からの座標を(x、y)とし、これらの絶対値をそれぞれX、Yとすると、光軸中心からの距離d1は次式のように表される。
Here, the
なお、16角形擬似距離算出に関する詳細については、例えば特開2002−216136号公報および特開2002−237998号公報等に開示されている。
ゲインルックアップテーブル523は、各画素位置の距離算出部522cにて算出されたそれぞれの光軸中心からの距離に応じて、シェーディングを補正するための補正係数(ゲイン)の算出処理を行う。
Details regarding the calculation of the hexagonal pseudorange are disclosed in, for example, Japanese Patent Application Laid-Open Nos. 2002-216136 and 2002-237998.
The gain lookup table 523 performs a correction coefficient (gain) calculation process for correcting shading according to the distance from the optical axis center calculated by the
ゲインルックアップテーブル523は、シェーディングの補正係数のテーブルが予めテーブル化されて記憶(格納)された記憶手段で構成される。この補正係数は、距離算出部522cにて算出された光軸中心からの距離に基づいて、当該画素位置における適切なものが選択され、次段のゲイン乗算部524へ供給される。
The gain look-up table 523 is configured by storage means in which a shading correction coefficient table is preliminarily tabulated and stored (stored). An appropriate correction coefficient at the pixel position is selected based on the distance from the optical axis center calculated by the
なお、ゲインルックアップテーブル523には、レンズのズーム位置、フォーカス位置、像高、絞り量、射出瞳位置、ストロボ発光量等の撮像画像の状態に応じて適切なものが記憶されており、撮像画像の状態の変化に応じて、システムコントローラ6により書き換えることができる。 The gain look-up table 523 stores an appropriate one according to the state of the captured image, such as the zoom position, focus position, image height, aperture amount, exit pupil position, and strobe emission amount of the lens. It can be rewritten by the system controller 6 according to the change in the state of the image.
ゲイン乗算部524は、ゲインルックアップテーブル523より読み出された補正係数(決定された補正係数)に対して、当該画素位置における(対応する画像位置の)撮像画像の入力信号(被写体撮像信号)との乗算処理(以下シェーディング補正処理という)を施す。このシェーディング補正処理が施された撮像信号は、カメラ信号後処理部52cへと入力され、輝度信号および色差信号からなる撮像被写体映像信号が生成される。
The
次に、座標系回転部522bの回転処理について詳述する。
まず、座標系回転部522bの回転処理の原理(概念)について説明する。
一般に、光軸中心からの座標が(x、y)である画素を、光軸中心に対し角度θだけ回転した場合の回転後の座標を(x1、y1)とすると、座標(x1、y1)は式3のように表される。
Next, the rotation process of the coordinate
First, the principle (concept) of the rotation process of the coordinate
In general, when a pixel whose coordinates from the optical axis center are (x, y) and rotated by an angle θ with respect to the optical axis center is (x1, y1), the coordinates (x1, y1) Is expressed as in Equation 3.
式3の回転行列部分をcosθで除算すると、式3は、式4のように変形される。 When the rotation matrix part of Equation 3 is divided by cos θ, Equation 3 is transformed into Equation 4.
ここで、上式の回転行列部分を近似すると、式4は、式5および式6で表される。 Here, when the rotation matrix portion of the above equation is approximated, Equation 4 is expressed by Equation 5 and Equation 6.
なお、式5および式6において、Aは回転補正係数、mはシフトセレクタであり、いずれも回転量を決定するものである。回転補正係数Aおよびシフトセレクタmの値は、例えばシステムコントローラ6等に格納されており、角度θに応じて適宜与えられる。 In Equations 5 and 6, A is a rotation correction coefficient and m is a shift selector, both of which determine the rotation amount. The values of the rotation correction coefficient A and the shift selector m are stored, for example, in the system controller 6 or the like, and are appropriately given according to the angle θ.
図4は、座標系回転部の動作を模式的に示した図であり、図4(a)は、座標軸回転処理前のシェーディング特性を二次元平面上に示した図であり、図4(b)は、図4(a)に示す光軸中心に対し角度θだけ座標系回転処理を施した場合を示した図である。 FIG. 4 is a diagram schematically showing the operation of the coordinate system rotation unit, and FIG. 4A is a diagram showing shading characteristics before the coordinate axis rotation processing on a two-dimensional plane, and FIG. ) Is a diagram showing a case where a coordinate system rotation process is performed by an angle θ with respect to the optical axis center shown in FIG.
ここで、角度θは、式6より式7のように表される。
Here, the angle θ is expressed as in
図5は、座標系回転部の構成を示すブロック図である。
座標系回転部522bは、乗算部91、92と、シフト部93、94と、減算部95と、加算部96と、絶対値化部97、98とを有している。
FIG. 5 is a block diagram illustrating a configuration of the coordinate system rotation unit.
The coordinate
乗算部91は、光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の水平方向成分に対し、回転補正係数Aとの乗算処理を施す。
乗算部92は、光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の垂直方向成分信号に対し、回転補正係数Aとの乗算処理を施す。
The
The
シフト部93は、乗算部91にて乗算処理が施された水平方向成分信号に対し、シフトセレクタmにて決定されるシフト演算処理を施す。
シフト部94は、乗算部92にて乗算処理が施された垂直方向成分信号に対し、シフトセレクタmにて決定されるシフト演算処理を施す。
The
The
減算部95は、シフト部93にてシフト演算処理が施された信号および光軸中心座標シフト部522aから得られる水平方向成分信号に対し減算処理を行い、当該画素位置における回転処理後の水平方向成分信号の算出処理を施す。
The
加算部96は、シフト部94にてシフト演算処理が施された信号および光軸中心座標シフト部522aから得られる垂直方向成分信号に対し加算処理を行い、当該画素位置における回転処理後の垂直方向成分信号の算出処理を施す。
The
絶対値化部97は、減算部95にて算出された回転処理後の水平方向成分信号に対し、絶対値化処理を施す。
絶対値化部98は、加算部96にて算出された回転処理後の垂直方向成分信号に対し、絶対値化処理を施す。
The absolute
The absolute
次に、座標系回転部522bの動作について説明する。
光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の水平方向成分信号(x)および垂直方向成分信号(y)は、まず、座標系回転部内の乗算部91および乗算部92にそれぞれ入力される。乗算部91および乗算部92により、各入力信号に対し、それぞれ回転補正係数Aとの乗算処理が施される。この結果、乗算部91では信号(A・y)が得られ、乗算部92では信号(A・x)が得られる。乗算処理を施された各信号は、シフト部93およびシフト部94により、シフトセレクタmにて決定されるシフト演算処理がそれぞれ施される。この結果シフト部93では信号(2−m・A・y)が得られ、シフト部94では信号(2−m・A・x)が得られる。これらの信号は減算部95および加算部96へと入力される。
Next, the operation of the coordinate
The horizontal direction component signal (x) and the vertical direction component signal (y) of the distance from the optical axis center position at each pixel position calculated by the optical axis center coordinate shift unit 522a are first multiplied by a multiplication unit in the coordinate system rotation unit. 91 and the
減算部95には、シフト演算処理が施された信号(2−m・A・y)および光軸中心座標シフト部522aにて算出された水平方向成分信号(x)がそれぞれ入力され、減算部95により減算処理が施されることにより、画素位置における回転処理後の水平方向成分信号(x−2−m・A・y)の算出処理が行われる。
The
また、加算部96には、シフト演算処理が施された信号(2−m・A・x)および光軸中心座標シフト部522aにて算出された垂直方向成分信号(y)がそれぞれ入力され、加算部96により加算処理が施されることにより、画素位置における回転処理後の垂直方向成分信号(2−m・A・x+y)の算出処理が行われる。
Further, the
減算部95により算出された回転処理後の水平方向成分信号(x−2−m・A・y)は、絶対値化部97へと入力され、絶対値化部97により絶対値化処理が施された後、距離算出部522cへと出力される。
The rotated horizontal component signal (x−2− m · A · y) calculated by the subtracting
また、加算部96により算出された回転処理後の垂直方向成分信号(2−m・A・x+y)は、絶対値化部98へと入力され、絶対値化部98により絶対値化処理が施された後、距離算出部522cへと出力される。
Further, the post-rotation vertical direction component signal (2- m · A · x + y) calculated by the adding
その後、前述したように、距離算出部522cによる処理、ゲインルックアップテーブル523による算出処理、ゲイン乗算部524による処理がこの順番に施されることにより、シェーディング特性の補正処理が行われる。
Thereafter, as described above, the processing by the
以上述べたように、撮像装置1によれば、座標系回転部522bを設けることにより、光学ブロック2のレンズが例えば楕円形状であったり、光軸に対し正対せず角度を持ったような形状(回転形状)であったりする場合においても生じたシェーディングを容易に精度よく補正をすることができる。また、補正係数が距離に応じて決定されるため、大規模なメモリを別途用意する必要が無く、機器の小型軽量化および低コスト化を図ることができる。
As described above, according to the
また、距離算出部522cが、16角形近似回路により構成され、光軸中心からの距離算出は、式2に示す16角形近似式に基づいて行われるため、距離算出をハードウェア回路で実現する場合に比べて、撮像装置1の回路規模の増大を防止することができる。また、コストを低減させることができる。よって、特に民生用途の装置について好適である。なお、本実施の形態では16角形近似(多角形近似)を用いたが、本発明ではこれに限定されないのは言うまでもない。
Further, when the
また、式4の回転行列部分を式5および式6に示すような座標軸回転方式(近似式)を用いて実現することにより、座標系回転部522bを乗算部91、92、シフト部93、94、減算部95および加算部96で構成することができるため、一般に式4をハードウェアで実現する場合に比べて、三角関数演算部等の大規模な回路資源を必要とする回路の削減を図ることができる。よって撮像装置1の回路規模の増大を防止することができる。また、コストを低減させることができる。
Further, by realizing the rotation matrix portion of Equation 4 using a coordinate axis rotation method (approximate equation) as shown in Equations 5 and 6, the coordinate
さらに、回転補正係数およびシフトセレクタをパラメータ化することにより、微調整の可能な自由度の高いシェーディング補正を行うことができ、撮像被写体の好適な映像信号の生成を行うことができる。 Further, by parameterizing the rotation correction coefficient and the shift selector, it is possible to perform shading correction with a high degree of freedom allowing fine adjustment, and it is possible to generate a suitable video signal of the imaging subject.
なお、前述した実施の形態においては、ゲインルックアップテーブル523を用いて補正係数を求めたが、これに限らず例えば演算により求めてもよい。
なお、前述した実施の形態においては、シェーディング補正部52bは、カメラ信号後処理部52cの前段に設けられているが、これに限らず例えば、カメラ信号後処理部52cの後段に設けることもできる。この場合、カメラ信号後処理部52cにおいて、映像信号が輝度信号(Y信号)と色差信号(Cb、Cr信号)に分離された後にシェーディング補正処理が行われるよう構成する。従って、輝度信号に対しては周辺光量落ちの補正(輝度シェーディング補正)を行い、色差信号に対しては、色にじみ補正(色シェーディング補正)が行われるというように、輝度信号と色差信号に対して独立の補正を行うことができる。
In the above-described embodiment, the correction coefficient is obtained using the gain look-up table 523. However, the present invention is not limited to this, and may be obtained by calculation, for example.
In the above-described embodiment, the
以上、本発明の撮像装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、例えば信号処理回路5は集積回路(ハードウェア)で構成される例を示したが、前述した構成の全て、またはその一部を、PC(パーソナルコンピュータ)等を利用してソフトウェアで実現するように構成してもよく、この場合においても本実施の形態と同様の効果を奏する。また、本発明に、他の任意の構成物や工程が付加されていてもよい。 The imaging apparatus of the present invention has been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each unit is replaced with an arbitrary configuration having the same function. For example, the example in which the signal processing circuit 5 is configured by an integrated circuit (hardware) has been shown. However, all or part of the above-described configuration may be software using a PC (personal computer) or the like. In this case, the same effect as the present embodiment can be obtained. Moreover, other arbitrary structures and processes may be added to the present invention.
また、本発明は、前述した実施の形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。
なお、本発明は、例えばPC等に接続されるテレビ電話用またはゲームソフト用等の小型カメラに撮像信号等を処理する画像処理装置に対しても適用することができる。
In addition, the present invention may be a combination of any two or more configurations (features) of the above-described embodiments.
Note that the present invention can also be applied to an image processing apparatus that processes an imaging signal or the like in a small camera such as a videophone or game software connected to a PC or the like.
1・・・撮像装置、52b・・・シェーディング補正部、521・・・カウンタ生成部、522・・・距離算出部、522a・・・光軸中心座標シフト部、522b・・・座標系回転部、522c・・・距離算出部、523・・・ゲインルックアップテーブル、524・・・ゲイン乗算部、91、92・・・乗算部、93、94・・・シフト部
DESCRIPTION OF
Claims (6)
入力画像の中心座標を基準にして前記入力画像の座標系を回転させる座標系回転部と、
前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出する距離算出部と、
前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、
決定された前記補正係数を、前記入力画像の対応する画素信号に乗算する補正係数乗算部と、を有し、
前記座標系回転部は、
入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、
前記tanθを近似して得られる2のべき乗部分2 -m を乗算するためのシフト部と、
を有する画像処理装置。 In an image processing apparatus that processes an image signal,
A coordinate system rotation unit that rotates the coordinate system of the input image with reference to the center coordinates of the input image;
A distance calculation unit for calculating a distance from the center coordinate in each pixel coordinate of the input image after rotation of the coordinate system;
A correction coefficient determination unit that determines a correction coefficient according to the distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system;
A correction coefficient multiplier that multiplies the determined correction coefficient by the corresponding pixel signal of the input image,
The coordinate system rotation unit is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image to be input , tan θ is 2 − a multiplication unit for multiplying the rotation correction coefficient A obtained by approximating m · A ;
A shift unit for multiplying the power-of- two part 2- m obtained by approximating the tan θ,
An image processing apparatus.
入力画像の中心座標を基準にして前記入力画像の座標系を回転させ、
前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出し、
前記座標系の回転後の前記各画素座標毎に、算出された前記距離に応じた補正係数を決定し、
決定された前記補正係数を、前記入力画像の対応する画素信号に乗算し、
前記入力画像の座標系の回転は、
入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算し、前記tanθを近似して得られる2のべき乗部分2 -m をシフトしておこなう画像処理方法。 In an image processing method for processing an image signal,
Rotate the input image coordinate system with respect to the center coordinates of the input image,
Calculating the distance from the center coordinate in each pixel coordinate of the input image after rotation of the coordinate system,
For each pixel coordinate after the rotation of the coordinate system, determine a correction coefficient according to the calculated distance,
Multiplying the determined correction factor by the corresponding pixel signal of the input image;
The rotation of the coordinate system of the input image is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image to be input , tan θ is 2 − An image processing method that is performed by multiplying a rotation correction coefficient A obtained by approximating m · A and shifting a power-of- two part 2- m obtained by approximating tan θ.
撮像画像の光軸の位置座標を基準にして撮像画像の座標系を回転させる座標系回転部と、
前記座標系の回転後の前記撮像画像の各画素座標における前記位置座標からの距離をそれぞれ算出する距離算出部と、
前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、
決定された前記補正係数を、前記撮像画像の対応する画素信号に乗算する補正係数乗算部と、を有し、
前記座標系回転部は、
前記撮像画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、
前記tanθを近似して得られる2のべき乗部分2 -m を乗算するためのシフト部と、
を有する撮像装置。 In an imaging device that captures an image using a solid-state imaging device,
A coordinate system rotating portion for rotating the coordinate system of the captured image based on the position coordinates of the optical axis of the captured image,
A distance calculation unit that calculates the distance from the position coordinate in each pixel coordinate of the captured image after rotation of the coordinate system;
A correction coefficient determination unit that determines a correction coefficient according to the distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system;
A correction coefficient multiplier that multiplies the determined correction coefficient by the corresponding pixel signal of the captured image,
The coordinate system rotation unit is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the captured image , tan θ is 2 −m · A And a multiplication unit for multiplying the rotation correction coefficient A obtained by approximation with
A shift unit for multiplying the power-of- two part 2- m obtained by approximating the tan θ,
An imaging apparatus having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006003449A JP4940661B2 (en) | 2006-01-11 | 2006-01-11 | Image processing apparatus, image processing method, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006003449A JP4940661B2 (en) | 2006-01-11 | 2006-01-11 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007189298A JP2007189298A (en) | 2007-07-26 |
JP4940661B2 true JP4940661B2 (en) | 2012-05-30 |
Family
ID=38344189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006003449A Expired - Fee Related JP4940661B2 (en) | 2006-01-11 | 2006-01-11 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4940661B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009049609A (en) * | 2007-08-16 | 2009-03-05 | Fujitsu Microelectronics Ltd | Correcting circuit, correcting method, and image pick-up device |
JP4994158B2 (en) * | 2007-08-28 | 2012-08-08 | 三菱電機株式会社 | Image correction device |
US10198797B2 (en) | 2015-09-09 | 2019-02-05 | Ichikawa Soft Laboratory Co., Ltd. | Apparatus correcting shading without taking optical characteristics into consideration and method thereof |
JP6450498B2 (en) * | 2016-03-17 | 2019-01-09 | 富士フイルム株式会社 | Image processing apparatus, image processing system, and image processing method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002216136A (en) * | 2001-01-23 | 2002-08-02 | Sony Corp | Distance calculating method and imaging system |
JP2004038728A (en) * | 2002-07-05 | 2004-02-05 | Noritsu Koki Co Ltd | Image processing method, image processing program, and recording medium recording image processing program |
WO2005043891A1 (en) * | 2003-10-31 | 2005-05-12 | Mitsubishi Denki Kabushiki Kaisha | Image correcting method and imaging apparatus |
-
2006
- 2006-01-11 JP JP2006003449A patent/JP4940661B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007189298A (en) | 2007-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4293174B2 (en) | Imaging apparatus and image processing apparatus | |
US9215389B2 (en) | Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method | |
US8767085B2 (en) | Image processing methods and apparatuses to obtain a narrow depth-of-field image | |
US8587671B2 (en) | Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images | |
US8797462B2 (en) | Image processing apparatus and image processing method | |
US7916191B2 (en) | Image processing apparatus, method, program, and recording medium | |
US20060087702A1 (en) | Image capturing apparatus | |
US20130016251A1 (en) | Solid-state imaging device, image processing apparatus, and camera module | |
JP2007336561A (en) | Image generating apparatus and method | |
US20180338096A1 (en) | Image processing appartatus | |
JP6351231B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2014123809A (en) | Imaging apparatus, imaging system, and imaging apparatus control method | |
JP2009031682A (en) | Imaging system and image signal processing program | |
JP2018207413A (en) | Imaging apparatus | |
JP4940661B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2009200743A (en) | Image processor, image processing method, image processing program and imaging apparatus | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP4687454B2 (en) | Image processing apparatus and imaging apparatus | |
JP2006253970A (en) | Imaging apparatus, shading correction data generating method, and program | |
JP2019154029A (en) | Image processing apparatus and imaging device | |
JP4779536B2 (en) | Imaging device | |
WO2017010027A1 (en) | Imaging device, signal processing method, and signal processing program | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP2020053960A (en) | Imaging apparatus, control method of the same, and program | |
JP2006332732A (en) | Apparatus for suppressing color shift noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120213 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |