JP4940661B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents

Image processing apparatus, image processing method, and imaging apparatus Download PDF

Info

Publication number
JP4940661B2
JP4940661B2 JP2006003449A JP2006003449A JP4940661B2 JP 4940661 B2 JP4940661 B2 JP 4940661B2 JP 2006003449 A JP2006003449 A JP 2006003449A JP 2006003449 A JP2006003449 A JP 2006003449A JP 4940661 B2 JP4940661 B2 JP 4940661B2
Authority
JP
Japan
Prior art keywords
coordinate
unit
rotation
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006003449A
Other languages
Japanese (ja)
Other versions
JP2007189298A (en
Inventor
博樹 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006003449A priority Critical patent/JP4940661B2/en
Publication of JP2007189298A publication Critical patent/JP2007189298A/en
Application granted granted Critical
Publication of JP4940661B2 publication Critical patent/JP4940661B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は画像処理装置、画像処理方法および撮像装置に関し、特に画像信号を処理する画像処理装置、画像処理方法および撮像装置に関する。   The present invention relates to an image processing device, an image processing method, and an imaging device, and more particularly to an image processing device, an image processing method, and an imaging device that process an image signal.

近年、デジタルビデオカメラやデジタルスチルカメラに代表される撮像機器の普及は目覚しいものがある。
一般的に、これらのレンズ系とイメージングデバイス(撮像素子)を搭載した機器においては、例えばレンズ系を起因とした周辺光量の低下により、撮像画像にシェーディングと呼ばれる感度むら(不均一性)の現象が生じることが知られている。このシェーディングは、撮像素子に設けられたマイクロレンズと撮影レンズとの光学的な関係により発生し、例えば、撮像素子上の画素位置の、撮影レンズの光軸上からの距離に比例して発生する。より具体的には、撮影レンズを通過した光線が撮像素子に斜めに(所定角度傾斜して)入射する場合、撮影レンズの光軸から離れた周辺部分の領域では、感光画素部に対し本来の入射光線の一部しか入射しないため、光量が低下しシェーディングが発生する。
In recent years, there has been a remarkable spread of imaging devices represented by digital video cameras and digital still cameras.
In general, in devices equipped with these lens systems and imaging devices (imaging devices), for example, a phenomenon of sensitivity unevenness (non-uniformity) called shading in captured images due to a decrease in the amount of peripheral light caused by the lens system, for example. Is known to occur. This shading occurs due to the optical relationship between the microlens provided in the image sensor and the photographic lens. For example, the shading occurs in proportion to the distance of the pixel position on the image sensor from the optical axis of the photographic lens. . More specifically, when the light beam that has passed through the photographing lens is incident on the image sensor obliquely (tilted at a predetermined angle), in the peripheral area away from the optical axis of the photographing lens, Since only a part of the incident light is incident, the amount of light is reduced and shading occurs.

このようなシェーディングの発生を防止する方法として、例えば多枚数の構成でレンズ系を設計する方式が提案されているが、多枚数で構成されるレンズ系は、機器の大規模化、および高価格化に繋がるという問題点があった。   As a method for preventing the occurrence of such shading, for example, a method of designing a lens system with a large number of lenses has been proposed. However, a lens system configured with a large number of lenses has a large scale and high price. There was a problem that it led to the transformation.

また、前述した撮像素子からの撮像信号に対し、デジタル信号処理により補正を行う方法も各種提案されている。例えば、撮像素子上の各画素にそれぞれ対応した補正係数を二次元配列として記憶手段(メモリ等)に保持し、各画素位置に対応した補正係数を読み出し、入力信号に乗じることによりシェーディング補正を行うという方式が提案されている。   Various methods have also been proposed for correcting the image pickup signal from the image pickup device described above by digital signal processing. For example, a correction coefficient corresponding to each pixel on the image sensor is held in a storage unit (memory or the like) as a two-dimensional array, the correction coefficient corresponding to each pixel position is read, and shading correction is performed by multiplying the input signal. This method has been proposed.

また、CPU(Central Processing Unit)等の演算手段により、撮像信号に応じたシェーディング補正係数をソフトウェア的に算出し、シェーディング補正を行うという方式も提案されている(例えば、特許文献1参照)。
特開2005−102134号公報
There is also proposed a method in which a shading correction coefficient corresponding to an imaging signal is calculated by a calculation means such as a CPU (Central Processing Unit) and the like, and shading correction is performed (for example, see Patent Document 1).
JP 2005-102134 A

しかしながら、従来の技術には以下のような問題があった。
まず、記憶手段に二次元配列上の補正係数を保持する方式では、撮像レンズ位置、像高、絞り量、射出瞳位置、ストロボ発行量等様々な条件下での撮像信号に応じた所望のシェーディング特性を得るために、メモリ等の記憶手段を別途必要とするため、機器の大規模化、および高価格化に繋がるという問題点があった。特に、昨今の多画素化の潮流下では、より大規模な記憶手段を要するため無視できない問題である。
However, the conventional techniques have the following problems.
First, in the method of storing the correction coefficient on the two-dimensional array in the storage means, the desired shading according to the imaging signal under various conditions such as the imaging lens position, image height, aperture amount, exit pupil position, strobe issuance amount, etc. In order to obtain the characteristics, a storage means such as a memory is separately required, which causes a problem that the scale of the device is increased and the price is increased. In particular, under the current trend of increasing the number of pixels, it is a problem that cannot be ignored because a larger storage means is required.

また、演算手段によって補正係数を算出する方式においては、シェーディング現象を同心円状の周辺光量低下現象と前提した方式であるため、例えばシェーディング特性が楕円状であったり、光軸に対し正対せず角度を持ったような形状(回転形状)であったりした場合、所望の補正係数を得られないという問題点があった。   In addition, the method for calculating the correction coefficient by the calculation means is based on the premise that the shading phenomenon is a concentric peripheral light amount reduction phenomenon. In the case of a shape having an angle (rotational shape), there is a problem that a desired correction coefficient cannot be obtained.

特許文献1に開示された方式によれば、撮像平面上を上、下、左、右の4つの領域に分割し、各々の領域に対し重み付けを行うことが出来るため、光軸に正対した楕円形状のシェーディング特性に対しても、所望の補正係数を算出することが可能であるが、光軸に対し角度を持ったシェーディング特性に対しては所望の補正係数を得られないという問題点があった。   According to the method disclosed in Patent Document 1, the imaging plane is divided into four areas, upper, lower, left, and right, and each area can be weighted, so that it faces the optical axis. Although it is possible to calculate a desired correction coefficient for an elliptical shading characteristic, there is a problem that a desired correction coefficient cannot be obtained for a shading characteristic having an angle with respect to the optical axis. there were.

本発明の目的は、光軸に対し角度を持った回転形状のシェーディング特性の補正を容易に行うことができる画像処理装置、画像処理方法および撮像装置を提供することにあり、他の目的は、大規模容量の記憶手段を不要とし、機器の小型軽量化および低コスト化を図ることができる画像処理装置、画像処理方法および撮像装置を提供することにある。   An object of the present invention is to provide an image processing device, an image processing method, and an imaging device that can easily perform correction of a shading characteristic of a rotational shape having an angle with respect to an optical axis. An object of the present invention is to provide an image processing apparatus, an image processing method, and an imaging apparatus that can eliminate the need for a large-scale storage means and can reduce the size and weight of the device and reduce the cost.

本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、入力画像の中心座標を基準にして前記入力画像の座標系を回転させる座標系回転部と、前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出する距離算出部と、前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、決定された前記補正係数を、前記入力画像の対応する画素信号に乗算する補正係数乗算部と、を有し、前記座標系回転部は、入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、前記tanθを近似して得られる2のべき乗部分 -m を乗算するためのシフト部と、を有する画像処理装置が提供される。 In the present invention, in order to solve the above-described problem, in an image processing apparatus that processes an image signal, a coordinate system rotation unit that rotates a coordinate system of the input image with reference to a center coordinate of the input image, and rotation of the coordinate system A distance calculation unit that calculates a distance from the center coordinate in each pixel coordinate of the input image later, and a distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system A correction coefficient determining unit that determines a corresponding correction coefficient, and a correction coefficient multiplying unit that multiplies the determined correction coefficient by a corresponding pixel signal of the input image, and the coordinate system rotation unit is configured to input When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image , tan θ is 2 −m ・ A A multiplication unit for multiplying the rotation correction coefficient A obtained by approximation, the image processing device is provided with a shift unit for multiplying the power of two portions 2 -m obtained by approximating the tanθ The

このような画像処理装置によれば、座標系回転部により、入力画像の中心座標を基準にして入力画像の座標系が回転され、距離算出部により、座標系の回転後の入力画像の各画素座標における中心座標からの距離がそれぞれ算出され、補正係数決定部により、座標系の回転後の各画素座標毎に、距離算出部にて算出された距離に応じた補正係数が決定され、補正係数乗算部により、決定された補正係数が、入力画像の対応する画素信号に乗算される。   According to such an image processing apparatus, the coordinate system rotation unit rotates the coordinate system of the input image with reference to the center coordinates of the input image, and the distance calculation unit rotates each pixel of the input image after the rotation of the coordinate system. The distance from the center coordinate in the coordinates is calculated, and the correction coefficient determining unit determines a correction coefficient corresponding to the distance calculated by the distance calculating unit for each pixel coordinate after the rotation of the coordinate system. The multiplication unit multiplies the determined correction coefficient by the corresponding pixel signal of the input image.

また、本発明では上記課題を解決するために、画像信号を処理する画像処理方法において、入力画像の中心座標を基準にして前記入力画像の座標系を回転させ、前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出し、前記座標系の回転後の前記各画素座標毎に、算出された前記距離に応じた補正係数を決定し、決定された前記補正係数を、前記入力画像の対応する画素信号に乗算し、前記入力画像の座標系の回転は、入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを -m ・Aと近似して得られる回転補正係数Aを乗算し、前記tanθを近似して得られる2のべき乗部分 -m をシフトしておこなう画像処理方法が提供される。 According to the present invention, in order to solve the above problems, in an image processing method for processing an image signal, the coordinate system of the input image is rotated with reference to the center coordinate of the input image, and the coordinate system after the rotation of the coordinate system is rotated. A distance from the center coordinate in each pixel coordinate of the input image is calculated, and a correction coefficient corresponding to the calculated distance is determined for each pixel coordinate after the rotation of the coordinate system. the correction coefficients are multiplied to the corresponding pixel signal of the input image, the rotation of the coordinate system of the input image for each horizontal component and a vertical component in each pixel coordinates of the input image input, cos [theta] When (θ: rotation angle when rotating the coordinate system) can be approximated to 1, the rotation correction coefficient A obtained by approximating tan θ to 2 −m · A is multiplied, and the tan θ is approximated. 2 An image processing method is provided that shifts the power of 2 −m .

このような画像処理方法によれば、上記本発明に係る画像処理装置と同様の処理が、実現される。   According to such an image processing method, the same processing as that of the image processing apparatus according to the present invention is realized.

本発明によれば、例えば楕円形状や光軸に正対せず角度を持つような形状(回転形状)をなすレンズ系に起因して生じるシェーディングを容易に精度よく補正することができる。また、大規模な記憶手段を必要とせず、機器の小型軽量化および低コスト化を図ることができる。   According to the present invention, it is possible to easily and accurately correct shading caused by a lens system having an elliptical shape or a shape (rotational shape) that does not face the optical axis but has an angle. Further, it is possible to reduce the size and weight of the device and reduce the cost without requiring a large-scale storage means.

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図1は、実施の形態の撮像装置の要部構成を示すブロック図である。
図1に示す撮像装置1は、光学ブロック2、ドライバ2a、駆動部2b、イメージセンサ3、タイミング信号発生回路(TG)3a、アナログフロントエンド(AFE)回路4、信号処理回路5、システムコントローラ6、操作部7、グラフィックI/F(インタフェース)8、およびディスプレイ(画像モニタ)8aを具備する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating a main configuration of an imaging apparatus according to an embodiment.
An imaging apparatus 1 shown in FIG. 1 includes an optical block 2, a driver 2a, a drive unit 2b, an image sensor 3, a timing signal generation circuit (TG) 3a, an analog front end (AFE) circuit 4, a signal processing circuit 5, and a system controller 6. , An operation unit 7, a graphic I / F (interface) 8, and a display (image monitor) 8a.

光学ブロック2は、光源からの入射光および被写体からの光(反射光)をイメージセンサ3に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、被写体照度に応じて絞りを調節し、レンズを通過した光の量(光量)、すなわち露出を決定するアイリス機構などを具備している。   The optical block 2 includes a lens for condensing incident light from the light source and light from the subject (reflected light) on the image sensor 3, a drive mechanism for moving the lens to perform focusing and zooming, a shutter mechanism, The iris is adjusted by adjusting the diaphragm according to the illuminance of the subject and determining the amount of light (light quantity) that has passed through the lens, that is, the exposure.

ドライバ2aは、システムコントローラ6からの制御信号に基づいて、絞り駆動等、光学ブロック2内の各機構の駆動を制御する駆動信号を出力する。
駆動部2bは、ドライバ2aからの駆動信号を受けて、光学ブロック2の駆動機構を駆動する。
Based on the control signal from the system controller 6, the driver 2a outputs a driving signal for controlling driving of each mechanism in the optical block 2, such as aperture driving.
The drive unit 2b receives the drive signal from the driver 2a and drives the drive mechanism of the optical block 2.

イメージセンサ3は、光電変換素子であるフォトダイオードがマトリクス(行列)状に配列された固体撮像素子であり、TG3aから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、イメージセンサ3としては特に限定されないが、例えば、CCD(Charged Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)等が挙げられる。   The image sensor 3 is a solid-state imaging device in which photodiodes, which are photoelectric conversion elements, are arranged in a matrix, and is driven based on a timing signal output from the TG 3a to convert incident light from a subject into an electrical signal. Convert. The image sensor 3 is not particularly limited, and examples thereof include a CCD (Charged Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor).

TG3aは、システムコントローラ6の制御の下で電子シャッタを制御するタイミング信号を出力する。
AFE回路4は保持・利得制御回路41およびA/D変換回路(A/D)42を有している。AFE回路4は、例えば1つのIC(Integrated Circuit)として構成され、イメージセンサ3から出力された画像信号に対して、保持・利得制御回路41がCDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、さらにAGC(Auto Gain Control)処理により利得(ゲイン)を制御する。また、A/D変換回路42がA/D変換を行いデジタル画像信号を出力する。なお、CDS処理を行う回路は、イメージセンサ3と同一基板上に形成されてもよい。
The TG 3a outputs a timing signal for controlling the electronic shutter under the control of the system controller 6.
The AFE circuit 4 includes a holding / gain control circuit 41 and an A / D conversion circuit (A / D) 42. The AFE circuit 4 is configured as, for example, one IC (Integrated Circuit), and the holding / gain control circuit 41 performs S / N (Signal Signal) by CDS (Correlated Double Sampling) processing on the image signal output from the image sensor 3. Sample hold is performed so as to keep a good (Noise) ratio, and gain (gain) is controlled by AGC (Auto Gain Control) processing. The A / D conversion circuit 42 performs A / D conversion and outputs a digital image signal. Note that the circuit that performs the CDS process may be formed on the same substrate as the image sensor 3.

信号処理回路5は、AFE回路4にてデジタル信号に変換された被写体撮像信号に対し、システムコントローラ6からの制御信号に従い、AFE回路4からの画像信号に対するAF(Auto Focus:自動焦点)、AE(Automatic Exposure:自動露出)、AWB(Auto White Balance:オートホワイトバランス)等の各種カメラ制御処理、またはその処理の一部を実行し、被写体の映像信号(輝度信号および色差信号)を生成する。   The signal processing circuit 5 performs AF (Auto Focus), AE on the image signal from the AFE circuit 4 in accordance with the control signal from the system controller 6 with respect to the subject imaging signal converted into the digital signal by the AFE circuit 4. Various camera control processes such as (Automatic Exposure) and AWB (Auto White Balance) or a part of the processes are executed to generate a video signal (luminance signal and color difference signal) of the subject.

信号処理回路5は、水平・垂直方向の同期信号や各種タイミング信号を生成する同期信号生成部51と、システムコントローラ6からの制御信号により制御処理を施し被写体映像信号を生成するカメラ信号処理部52と、被写体映像信号に対し上述した制御処理を施すための各種演算処理を行う制御演算処理部53と、被写体映像信号に対し解像度の変換や歪みの補正処理等を行う解像度変換部54とを有している。   The signal processing circuit 5 includes a synchronization signal generation unit 51 that generates horizontal and vertical synchronization signals and various timing signals, and a camera signal processing unit 52 that performs control processing according to a control signal from the system controller 6 and generates a subject video signal. A control arithmetic processing unit 53 that performs various arithmetic processes for performing the above-described control processing on the subject video signal, and a resolution conversion unit 54 that performs resolution conversion and distortion correction processing on the subject video signal. is doing.

図2は、カメラ信号処理部の構成を示すブロック図である。
カメラ信号処理部52は、AFE回路4からの被写体撮像信号に各種補正処理を施すカメラ信号前処理部52aと、カメラ信号前処理部52aから出力される信号に対してシェーディングの補正処理を施すシェーディング補正部52bと、シェーディング補正部52bから出力される信号の後処理を行うカメラ信号後処理部52cとを有している。
FIG. 2 is a block diagram illustrating a configuration of the camera signal processing unit.
The camera signal processing unit 52 is a camera signal preprocessing unit 52a that performs various correction processes on the subject imaging signal from the AFE circuit 4, and a shading that performs a shading correction process on the signal output from the camera signal preprocessing unit 52a. It has a correction unit 52b and a camera signal post-processing unit 52c that performs post-processing of signals output from the shading correction unit 52b.

カメラ信号前処理部52aは、同期信号生成部51からの各種同期信号を用いて、被写体撮像信号に、撮像素子に起因する欠陥画素の補正や、ノイズ除去等の各種補正処理を施す。また、カメラ信号前処理部52aは、イメージセンサ3からの入力信号がC(水色)、M(赤紫)、Y(黄)、のいわゆる補色信号で構成される場合は、R(赤)、G(緑)、B(青)からなる原色信号(以下、R信号、G信号、B信号という)への原色分離処理も施す。R信号、G信号およびB信号は、後段のシェーディング補正部52bおよび制御演算処理部53への入力信号となる。   The camera signal preprocessing unit 52a uses the various synchronization signals from the synchronization signal generation unit 51 to perform various correction processes such as correction of defective pixels caused by the image sensor and noise removal on the subject imaging signal. Further, the camera signal pre-processing unit 52a, when the input signal from the image sensor 3 is composed of so-called complementary color signals of C (light blue), M (red purple), and Y (yellow), R (red), Primary color separation processing is also performed on primary color signals (hereinafter referred to as R signal, G signal, and B signal) composed of G (green) and B (blue). The R signal, the G signal, and the B signal are input signals to the subsequent shading correction unit 52 b and the control calculation processing unit 53.

シェーディング補正部52bは、レンズ系を起因とした周辺光量の低下により生じる、撮像画像の中心部と縁部(周辺部)の明るさの違いの差(シェーディング)、換言すれば周辺光量の低下により生じる感度むら(不均一性)の補正処理を行う。   The shading correction unit 52b is caused by the difference in brightness (shading) between the central portion and the edge portion (peripheral portion) of the captured image caused by the decrease in the peripheral light amount due to the lens system, in other words, by the decrease in the peripheral light amount. Correction processing for the generated sensitivity unevenness (non-uniformity) is performed.

カメラ信号後処理部52cは、ホワイトバランス調整の施された被写体撮像信号から輝度信号(Y)および色差信号(R−Y、B−Y)からなる映像信号を生成する。
制御演算処理部53は、システムコントローラ6からの設定信号に基づいて各種演算処理を行い、演算結果をシステムコントローラ6に出力する。
The camera signal post-processing unit 52c generates a video signal including a luminance signal (Y) and color difference signals (RY, BY) from the subject imaging signal subjected to white balance adjustment.
The control arithmetic processing unit 53 performs various arithmetic processes based on the setting signal from the system controller 6 and outputs the arithmetic result to the system controller 6.

システムコントローラ6は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラであり、前述した演算結果に基づいて、ROM等に記憶されたプログラムを実行することにより、光学ブロック2、イメージセンサ3、AFE回路4、信号処理回路5等、撮像装置1の各部を統括的に制御することにより、AF、AE、AWBの自動制御処理を行い、撮像被写体の好適な映像信号の生成を行う。   The system controller 6 is a microcontroller including, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and is stored in a ROM or the like based on the above-described calculation results. By automatically controlling each part of the imaging device 1, such as the optical block 2, the image sensor 3, the AFE circuit 4, and the signal processing circuit 5, the automatic control processing of AF, AE, and AWB is performed. And generating a suitable video signal of the imaging subject.

操作部7は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどを有しており、ユーザによる入力操作に応じた制御信号をシステムコントローラ6に出力する。   The operation unit 7 includes various operation keys such as a shutter release button, a lever, a dial, and the like, and outputs a control signal corresponding to an input operation by the user to the system controller 6.

グラフィックI/F8は、信号処理回路5からシステムコントローラ6を介して供給された画像信号から、ディスプレイ8aに表示させるための画像信号を生成して、この信号をディスプレイ8aに供給し、画像を表示させる。ディスプレイ8aは、例えばLCD(Liguid Crystal Display)からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。   The graphic I / F 8 generates an image signal to be displayed on the display 8a from the image signal supplied from the signal processing circuit 5 via the system controller 6, supplies the signal to the display 8a, and displays the image. Let The display 8a is composed of, for example, an LCD (Liguid Crystal Display), and displays a camera-through image being captured or a reproduced image based on data recorded on a recording medium (not shown).

この撮像装置1では、イメージセンサ3によって受光されて光電変換された信号が、順次AFE回路4に供給され、CDS処理やAGC処理が施された後、デジタル信号に変換される。信号処理回路5は、AFE回路4から供給されたデジタル画像信号を輝度信号(Y)と色差信号(R−Y、B−Y)に変換し、最終的に画質補正処理を施して出力する。   In the image pickup apparatus 1, signals received and photoelectrically converted by the image sensor 3 are sequentially supplied to the AFE circuit 4, subjected to CDS processing and AGC processing, and then converted into digital signals. The signal processing circuit 5 converts the digital image signal supplied from the AFE circuit 4 into a luminance signal (Y) and color difference signals (RY, BY), and finally performs an image quality correction process and outputs the result.

信号処理回路5から出力された信号は、システムコントローラ6を介してグラフィックI/F8に供給されて表示用の画像信号に変換され、これによりディスプレイ8aにカメラスルー画像が表示される。また、操作部7からのユーザの入力操作などによりシステムコントローラ6に対して画像の記録が指示されると、信号処理回路5からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、信号処理回路5からは1フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。   The signal output from the signal processing circuit 5 is supplied to the graphic I / F 8 via the system controller 6 and converted into a display image signal, whereby a camera-through image is displayed on the display 8a. Further, when image recording is instructed to the system controller 6 by a user input operation from the operation unit 7, the image data from the signal processing circuit 5 is supplied to an encoder (not shown), and a predetermined compression encoding process is performed. Is recorded on a recording medium (not shown). When recording a still image, the signal processing circuit 5 supplies image data for one frame to the encoder, and when recording a moving image, the processed image data is continuously supplied to the encoder. .

このような撮像装置1は、シェーディング補正部52bの処理に特徴を有する。以下シェーディング補正部52bについて詳述する。
図3は、シェーディング補正部の内部構成を示すブロック図である。
Such an imaging apparatus 1 is characterized by the processing of the shading correction unit 52b. Hereinafter, the shading correction unit 52b will be described in detail.
FIG. 3 is a block diagram illustrating an internal configuration of the shading correction unit.

シェーディング補正部52bは、カウンタ生成部521と、距離算出部522と、ゲインルックアップテーブル(補正係数決定部)523と、ゲイン乗算部(補正係数乗算部)524とを有している。   The shading correction unit 52b includes a counter generation unit 521, a distance calculation unit 522, a gain lookup table (correction coefficient determination unit) 523, and a gain multiplication unit (correction coefficient multiplication unit) 524.

カウンタ生成部521は、同期信号生成部51より入力された水平同期信号および垂直同期信号に基づいて、水平方向および垂直方向のカウンタの生成処理を行う。このカウンタ値は、本実施の形態では撮像画像平面上の左上(1つの頂点)を原点とし、右方向および下方向(他の頂点に向かう方向)をそれぞれ正方向とした撮像画像平面上の座標を示すものである。   The counter generation unit 521 performs horizontal and vertical counter generation processing based on the horizontal synchronization signal and the vertical synchronization signal input from the synchronization signal generation unit 51. In this embodiment, the counter value is a coordinate on the captured image plane with the upper left (one vertex) on the captured image plane as the origin and the right direction and the downward direction (direction toward the other vertex) as positive directions, respectively. Is shown.

距離算出部522は、光軸中心座標シフト部522aと、座標系回転部522bと、距離算出部522cとを有している。
光軸中心座標シフト部522aは、カウンタ生成部521より入力された水平方向カウンタ値および垂直方向カウンタ値と、システムコントローラ6より設定された光軸中心座標との差分演算処理を行う。すなわち、撮像画像の座標系の原点を、光軸中心に一致させるようにシフトする。これにより、レンズ系の光軸中心と撮像画像平面上の中心とが一致していない場合でも、各画素の位置(画素座標)と光軸中心位置との距離の水平方向成分および垂直方向成分を正しく算出することができる。
The distance calculation unit 522 includes an optical axis center coordinate shift unit 522a, a coordinate system rotation unit 522b, and a distance calculation unit 522c.
The optical axis center coordinate shift unit 522 a performs a difference calculation process between the horizontal direction counter value and the vertical direction counter value input from the counter generation unit 521 and the optical axis center coordinate set by the system controller 6. That is, the origin of the captured image coordinate system is shifted to coincide with the center of the optical axis. Thereby, even when the optical axis center of the lens system and the center on the captured image plane do not coincide with each other, the horizontal direction component and the vertical direction component of the distance between the position of each pixel (pixel coordinate) and the optical axis center position are reduced. It can be calculated correctly.

座標系回転部522bは、光軸中心座標シフト部522aにて算出された各画素位置と光軸中心位置との距離の水平方向成分および垂直方向成分に対し、回転処理を施す。この回転処理については後に詳述する。   The coordinate system rotation unit 522b performs a rotation process on the horizontal direction component and the vertical direction component of the distance between each pixel position calculated by the optical axis center coordinate shift unit 522a and the optical axis center position. This rotation process will be described in detail later.

距離算出部522cは、座標系回転部522bにて回転処理が施された水平方向成分および垂直方向成分信号に対し、各画素位置に対する光軸中心との距離の算出処理を施す。
ここで、一般に光軸中心からの座標が(x、y)である画素位置での光軸中心の位置との距離dは式1で表される。
The distance calculation unit 522c performs a calculation process of a distance from the optical axis center for each pixel position with respect to the horizontal direction component and the vertical direction component signal subjected to the rotation process by the coordinate system rotation unit 522b.
Here, generally, the distance d from the position of the optical axis center at the pixel position whose coordinates from the optical axis center is (x, y) is expressed by Equation 1.

Figure 0004940661
Figure 0004940661

ここで距離算出部522cは、回路規模削減のため、16角形近似回路により構成され、光軸中心からの距離算出は、次式2に示す16角形近似式に基づいて行われる。ここで、光軸中心からの座標を(x、y)とし、これらの絶対値をそれぞれX、Yとすると、光軸中心からの距離d1は次式のように表される。   Here, the distance calculation unit 522c is configured by a hexagonal approximation circuit to reduce the circuit scale, and the distance calculation from the center of the optical axis is performed based on the hexagonal approximation formula shown in the following equation 2. Here, assuming that the coordinates from the optical axis center are (x, y) and their absolute values are X and Y, respectively, the distance d1 from the optical axis center is expressed by the following equation.

Figure 0004940661
Figure 0004940661

なお、16角形擬似距離算出に関する詳細については、例えば特開2002−216136号公報および特開2002−237998号公報等に開示されている。
ゲインルックアップテーブル523は、各画素位置の距離算出部522cにて算出されたそれぞれの光軸中心からの距離に応じて、シェーディングを補正するための補正係数(ゲイン)の算出処理を行う。
Details regarding the calculation of the hexagonal pseudorange are disclosed in, for example, Japanese Patent Application Laid-Open Nos. 2002-216136 and 2002-237998.
The gain lookup table 523 performs a correction coefficient (gain) calculation process for correcting shading according to the distance from the optical axis center calculated by the distance calculation unit 522c of each pixel position.

ゲインルックアップテーブル523は、シェーディングの補正係数のテーブルが予めテーブル化されて記憶(格納)された記憶手段で構成される。この補正係数は、距離算出部522cにて算出された光軸中心からの距離に基づいて、当該画素位置における適切なものが選択され、次段のゲイン乗算部524へ供給される。   The gain look-up table 523 is configured by storage means in which a shading correction coefficient table is preliminarily tabulated and stored (stored). An appropriate correction coefficient at the pixel position is selected based on the distance from the optical axis center calculated by the distance calculation unit 522c, and is supplied to the gain multiplication unit 524 at the next stage.

なお、ゲインルックアップテーブル523には、レンズのズーム位置、フォーカス位置、像高、絞り量、射出瞳位置、ストロボ発光量等の撮像画像の状態に応じて適切なものが記憶されており、撮像画像の状態の変化に応じて、システムコントローラ6により書き換えることができる。   The gain look-up table 523 stores an appropriate one according to the state of the captured image, such as the zoom position, focus position, image height, aperture amount, exit pupil position, and strobe emission amount of the lens. It can be rewritten by the system controller 6 according to the change in the state of the image.

ゲイン乗算部524は、ゲインルックアップテーブル523より読み出された補正係数(決定された補正係数)に対して、当該画素位置における(対応する画像位置の)撮像画像の入力信号(被写体撮像信号)との乗算処理(以下シェーディング補正処理という)を施す。このシェーディング補正処理が施された撮像信号は、カメラ信号後処理部52cへと入力され、輝度信号および色差信号からなる撮像被写体映像信号が生成される。   The gain multiplication unit 524 inputs an input signal (subject imaging signal) of a captured image (at a corresponding image position) at the pixel position with respect to the correction coefficient (determined correction coefficient) read from the gain lookup table 523. And a multiplication process (hereinafter referred to as a shading correction process). The imaging signal subjected to the shading correction process is input to the camera signal post-processing unit 52c, and an imaging subject video signal including a luminance signal and a color difference signal is generated.

次に、座標系回転部522bの回転処理について詳述する。
まず、座標系回転部522bの回転処理の原理(概念)について説明する。
一般に、光軸中心からの座標が(x、y)である画素を、光軸中心に対し角度θだけ回転した場合の回転後の座標を(x1、y1)とすると、座標(x1、y1)は式3のように表される。
Next, the rotation process of the coordinate system rotation unit 522b will be described in detail.
First, the principle (concept) of the rotation process of the coordinate system rotation unit 522b will be described.
In general, when a pixel whose coordinates from the optical axis center are (x, y) and rotated by an angle θ with respect to the optical axis center is (x1, y1), the coordinates (x1, y1) Is expressed as in Equation 3.

Figure 0004940661
Figure 0004940661

式3の回転行列部分をcosθで除算すると、式3は、式4のように変形される。   When the rotation matrix part of Equation 3 is divided by cos θ, Equation 3 is transformed into Equation 4.

Figure 0004940661
Figure 0004940661

ここで、上式の回転行列部分を近似すると、式4は、式5および式6で表される。   Here, when the rotation matrix portion of the above equation is approximated, Equation 4 is expressed by Equation 5 and Equation 6.

Figure 0004940661
Figure 0004940661

Figure 0004940661
Figure 0004940661

なお、式5および式6において、Aは回転補正係数、mはシフトセレクタであり、いずれも回転量を決定するものである。回転補正係数Aおよびシフトセレクタmの値は、例えばシステムコントローラ6等に格納されており、角度θに応じて適宜与えられる。   In Equations 5 and 6, A is a rotation correction coefficient and m is a shift selector, both of which determine the rotation amount. The values of the rotation correction coefficient A and the shift selector m are stored, for example, in the system controller 6 or the like, and are appropriately given according to the angle θ.

図4は、座標系回転部の動作を模式的に示した図であり、図4(a)は、座標軸回転処理前のシェーディング特性を二次元平面上に示した図であり、図4(b)は、図4(a)に示す光軸中心に対し角度θだけ座標系回転処理を施した場合を示した図である。   FIG. 4 is a diagram schematically showing the operation of the coordinate system rotation unit, and FIG. 4A is a diagram showing shading characteristics before the coordinate axis rotation processing on a two-dimensional plane, and FIG. ) Is a diagram showing a case where a coordinate system rotation process is performed by an angle θ with respect to the optical axis center shown in FIG.

ここで、角度θは、式6より式7のように表される。

Figure 0004940661
次に、前述した原理を実現するための座標系回転部522bの構成について説明する。
Here, the angle θ is expressed as in Expression 7 from Expression 6.
Figure 0004940661
Next, the configuration of the coordinate system rotation unit 522b for realizing the above-described principle will be described.

図5は、座標系回転部の構成を示すブロック図である。
座標系回転部522bは、乗算部91、92と、シフト部93、94と、減算部95と、加算部96と、絶対値化部97、98とを有している。
FIG. 5 is a block diagram illustrating a configuration of the coordinate system rotation unit.
The coordinate system rotation unit 522b includes multiplication units 91 and 92, shift units 93 and 94, a subtraction unit 95, an addition unit 96, and absolute value conversion units 97 and 98.

乗算部91は、光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の水平方向成分に対し、回転補正係数Aとの乗算処理を施す。
乗算部92は、光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の垂直方向成分信号に対し、回転補正係数Aとの乗算処理を施す。
The multiplication unit 91 performs a multiplication process with the rotation correction coefficient A on the horizontal component of the distance from the optical axis center position at each pixel position calculated by the optical axis center coordinate shift unit 522a.
The multiplier 92 multiplies the vertical component signal of the distance from the optical axis center position at each pixel position calculated by the optical axis center coordinate shift unit 522a with the rotation correction coefficient A.

シフト部93は、乗算部91にて乗算処理が施された水平方向成分信号に対し、シフトセレクタmにて決定されるシフト演算処理を施す。
シフト部94は、乗算部92にて乗算処理が施された垂直方向成分信号に対し、シフトセレクタmにて決定されるシフト演算処理を施す。
The shift unit 93 performs a shift calculation process determined by the shift selector m on the horizontal direction component signal that has been multiplied by the multiplication unit 91.
The shift unit 94 performs a shift calculation process determined by the shift selector m on the vertical direction component signal that has been multiplied by the multiplication unit 92.

減算部95は、シフト部93にてシフト演算処理が施された信号および光軸中心座標シフト部522aから得られる水平方向成分信号に対し減算処理を行い、当該画素位置における回転処理後の水平方向成分信号の算出処理を施す。   The subtraction unit 95 performs subtraction processing on the signal subjected to the shift calculation processing by the shift unit 93 and the horizontal direction component signal obtained from the optical axis center coordinate shift unit 522a, and the horizontal direction after the rotation processing at the pixel position. Component signal calculation processing is performed.

加算部96は、シフト部94にてシフト演算処理が施された信号および光軸中心座標シフト部522aから得られる垂直方向成分信号に対し加算処理を行い、当該画素位置における回転処理後の垂直方向成分信号の算出処理を施す。   The addition unit 96 performs addition processing on the signal subjected to the shift calculation processing by the shift unit 94 and the vertical direction component signal obtained from the optical axis center coordinate shift unit 522a, and the vertical direction after the rotation processing at the pixel position. Component signal calculation processing is performed.

絶対値化部97は、減算部95にて算出された回転処理後の水平方向成分信号に対し、絶対値化処理を施す。
絶対値化部98は、加算部96にて算出された回転処理後の垂直方向成分信号に対し、絶対値化処理を施す。
The absolute value converting unit 97 performs absolute value processing on the horizontal direction component signal after the rotation processing calculated by the subtracting unit 95.
The absolute value converting section 98 performs absolute value processing on the vertical direction component signal after the rotation processing calculated by the adding section 96.

次に、座標系回転部522bの動作について説明する。
光軸中心座標シフト部522aにて算出された各画素位置における光軸中心位置との距離の水平方向成分信号(x)および垂直方向成分信号(y)は、まず、座標系回転部内の乗算部91および乗算部92にそれぞれ入力される。乗算部91および乗算部92により、各入力信号に対し、それぞれ回転補正係数Aとの乗算処理が施される。この結果、乗算部91では信号(A・y)が得られ、乗算部92では信号(A・x)が得られる。乗算処理を施された各信号は、シフト部93およびシフト部94により、シフトセレクタmにて決定されるシフト演算処理がそれぞれ施される。この結果シフト部93では信号(2−m・A・y)が得られ、シフト部94では信号(2−m・A・x)が得られる。これらの信号は減算部95および加算部96へと入力される。
Next, the operation of the coordinate system rotation unit 522b will be described.
The horizontal direction component signal (x) and the vertical direction component signal (y) of the distance from the optical axis center position at each pixel position calculated by the optical axis center coordinate shift unit 522a are first multiplied by a multiplication unit in the coordinate system rotation unit. 91 and the multiplier 92, respectively. The multiplication unit 91 and the multiplication unit 92 multiply the input signals by the rotation correction coefficient A, respectively. As a result, the multiplication unit 91 obtains a signal (A · y), and the multiplication unit 92 obtains a signal (A · x). Each signal subjected to the multiplication processing is subjected to shift calculation processing determined by the shift selector m by the shift section 93 and the shift section 94, respectively. As a result, the shift unit 93 obtains a signal (2- m · A · y), and the shift unit 94 obtains a signal (2- m · A · x). These signals are input to the subtraction unit 95 and the addition unit 96.

減算部95には、シフト演算処理が施された信号(2−m・A・y)および光軸中心座標シフト部522aにて算出された水平方向成分信号(x)がそれぞれ入力され、減算部95により減算処理が施されることにより、画素位置における回転処理後の水平方向成分信号(x−2−m・A・y)の算出処理が行われる。 The subtraction unit 95 receives the signal (2- m · A · y) on which the shift calculation process has been performed and the horizontal direction component signal (x) calculated by the optical axis center coordinate shift unit 522a. By performing the subtraction process at 95, the calculation process of the horizontal direction component signal (x−2− m · A · y) after the rotation process at the pixel position is performed.

また、加算部96には、シフト演算処理が施された信号(2−m・A・x)および光軸中心座標シフト部522aにて算出された垂直方向成分信号(y)がそれぞれ入力され、加算部96により加算処理が施されることにより、画素位置における回転処理後の垂直方向成分信号(2−m・A・x+y)の算出処理が行われる。 Further, the adder 96 receives the signal (2- m · A · x) subjected to the shift calculation process and the vertical direction component signal (y) calculated by the optical axis center coordinate shift unit 522a, respectively. By performing addition processing by the addition unit 96, calculation processing of the vertical direction component signal (2- m · A · x + y) after the rotation processing at the pixel position is performed.

減算部95により算出された回転処理後の水平方向成分信号(x−2−m・A・y)は、絶対値化部97へと入力され、絶対値化部97により絶対値化処理が施された後、距離算出部522cへと出力される。 The rotated horizontal component signal (x−2− m · A · y) calculated by the subtracting unit 95 is input to the absolute value converting unit 97, and the absolute value converting unit 97 performs the absolute value processing. Then, it is output to the distance calculation unit 522c.

また、加算部96により算出された回転処理後の垂直方向成分信号(2−m・A・x+y)は、絶対値化部98へと入力され、絶対値化部98により絶対値化処理が施された後、距離算出部522cへと出力される。 Further, the post-rotation vertical direction component signal (2- m · A · x + y) calculated by the adding unit 96 is input to the absolute value converting unit 98, and the absolute value converting unit 98 performs the absolute value processing. Then, it is output to the distance calculation unit 522c.

その後、前述したように、距離算出部522cによる処理、ゲインルックアップテーブル523による算出処理、ゲイン乗算部524による処理がこの順番に施されることにより、シェーディング特性の補正処理が行われる。   Thereafter, as described above, the processing by the distance calculation unit 522c, the calculation processing by the gain look-up table 523, and the processing by the gain multiplication unit 524 are performed in this order, so that shading characteristic correction processing is performed.

以上述べたように、撮像装置1によれば、座標系回転部522bを設けることにより、光学ブロック2のレンズが例えば楕円形状であったり、光軸に対し正対せず角度を持ったような形状(回転形状)であったりする場合においても生じたシェーディングを容易に精度よく補正をすることができる。また、補正係数が距離に応じて決定されるため、大規模なメモリを別途用意する必要が無く、機器の小型軽量化および低コスト化を図ることができる。   As described above, according to the imaging apparatus 1, by providing the coordinate system rotation unit 522b, the lens of the optical block 2 is, for example, elliptical or has an angle that does not face the optical axis. Even in the case of a shape (rotation shape), shading that has occurred can be easily and accurately corrected. In addition, since the correction coefficient is determined according to the distance, it is not necessary to prepare a large-scale memory separately, and the device can be reduced in size and weight and cost can be reduced.

また、距離算出部522cが、16角形近似回路により構成され、光軸中心からの距離算出は、式2に示す16角形近似式に基づいて行われるため、距離算出をハードウェア回路で実現する場合に比べて、撮像装置1の回路規模の増大を防止することができる。また、コストを低減させることができる。よって、特に民生用途の装置について好適である。なお、本実施の形態では16角形近似(多角形近似)を用いたが、本発明ではこれに限定されないのは言うまでもない。   Further, when the distance calculation unit 522c is configured by a hexagonal approximation circuit, and the distance calculation from the optical axis center is performed based on the hexagonal approximation formula shown in Equation 2, the distance calculation is realized by a hardware circuit. Compared to the above, it is possible to prevent an increase in the circuit scale of the imaging apparatus 1. Further, the cost can be reduced. Therefore, it is particularly suitable for a device for consumer use. In this embodiment, hexagonal approximation (polygon approximation) is used, but it goes without saying that the present invention is not limited to this.

また、式4の回転行列部分を式5および式6に示すような座標軸回転方式(近似式)を用いて実現することにより、座標系回転部522bを乗算部91、92、シフト部93、94、減算部95および加算部96で構成することができるため、一般に4をハードウェアで実現する場合に比べて、三角関数演算部等の大規模な回路資源を必要とする回路の削減を図ることができる。よって撮像装置1の回路規模の増大を防止することができる。また、コストを低減させることができる。
Further, by realizing the rotation matrix portion of Equation 4 using a coordinate axis rotation method (approximate equation) as shown in Equations 5 and 6, the coordinate system rotation unit 522b is multiplied by multiplication units 91 and 92, and shift units 93 and 94. Since the subtractor 95 and the adder 96 can be configured, the circuit that requires a large-scale circuit resource such as a trigonometric function arithmetic unit is generally reduced as compared with the case where the expression 4 is realized by hardware. be able to. Therefore, an increase in the circuit scale of the imaging device 1 can be prevented. Further, the cost can be reduced.

さらに、回転補正係数およびシフトセレクタをパラメータ化することにより、微調整の可能な自由度の高いシェーディング補正を行うことができ、撮像被写体の好適な映像信号の生成を行うことができる。   Further, by parameterizing the rotation correction coefficient and the shift selector, it is possible to perform shading correction with a high degree of freedom allowing fine adjustment, and it is possible to generate a suitable video signal of the imaging subject.

なお、前述した実施の形態においては、ゲインルックアップテーブル523を用いて補正係数を求めたが、これに限らず例えば演算により求めてもよい。
なお、前述した実施の形態においては、シェーディング補正部52bは、カメラ信号後処理部52cの前段に設けられているが、これに限らず例えば、カメラ信号後処理部52cの後段に設けることもできる。この場合、カメラ信号後処理部52cにおいて、映像信号が輝度信号(Y信号)と色差信号(Cb、Cr信号)に分離された後にシェーディング補正処理が行われるよう構成する。従って、輝度信号に対しては周辺光量落ちの補正(輝度シェーディング補正)を行い、色差信号に対しては、色にじみ補正(色シェーディング補正)が行われるというように、輝度信号と色差信号に対して独立の補正を行うことができる。
In the above-described embodiment, the correction coefficient is obtained using the gain look-up table 523. However, the present invention is not limited to this, and may be obtained by calculation, for example.
In the above-described embodiment, the shading correction unit 52b is provided before the camera signal post-processing unit 52c. However, the present invention is not limited to this. For example, the shading correction unit 52b may be provided after the camera signal post-processing unit 52c. . In this case, the camera signal post-processing unit 52c is configured to perform shading correction processing after the video signal is separated into a luminance signal (Y signal) and a color difference signal (Cb, Cr signal). Accordingly, the luminance signal and the color difference signal are corrected such that the luminance signal is corrected for the decrease in the amount of peripheral light (brightness shading correction), and the color difference signal is subjected to the color blur correction (color shading correction). Independent correction.

以上、本発明の撮像装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、例えば信号処理回路5は集積回路(ハードウェア)で構成される例を示したが、前述した構成の全て、またはその一部を、PC(パーソナルコンピュータ)等を利用してソフトウェアで実現するように構成してもよく、この場合においても本実施の形態と同様の効果を奏する。また、本発明に、他の任意の構成物や工程が付加されていてもよい。   The imaging apparatus of the present invention has been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each unit is replaced with an arbitrary configuration having the same function. For example, the example in which the signal processing circuit 5 is configured by an integrated circuit (hardware) has been shown. However, all or part of the above-described configuration may be software using a PC (personal computer) or the like. In this case, the same effect as the present embodiment can be obtained. Moreover, other arbitrary structures and processes may be added to the present invention.

また、本発明は、前述した実施の形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。
なお、本発明は、例えばPC等に接続されるテレビ電話用またはゲームソフト用等の小型カメラに撮像信号等を処理する画像処理装置に対しても適用することができる。
In addition, the present invention may be a combination of any two or more configurations (features) of the above-described embodiments.
Note that the present invention can also be applied to an image processing apparatus that processes an imaging signal or the like in a small camera such as a videophone or game software connected to a PC or the like.

実施の形態の撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging device of embodiment. カメラ信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of a camera signal processing part. シェーディング補正部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a shading correction | amendment part. 座標系回転部の動作を模式的に示した図である。It is the figure which showed typically operation | movement of a coordinate system rotation part. 座標系回転部の構成を示すブロック図である。It is a block diagram which shows the structure of a coordinate system rotation part.

符号の説明Explanation of symbols

1・・・撮像装置、52b・・・シェーディング補正部、521・・・カウンタ生成部、522・・・距離算出部、522a・・・光軸中心座標シフト部、522b・・・座標系回転部、522c・・・距離算出部、523・・・ゲインルックアップテーブル、524・・・ゲイン乗算部、91、92・・・乗算部、93、94・・・シフト部   DESCRIPTION OF SYMBOLS 1 ... Imaging device, 52b ... Shading correction part, 521 ... Counter production | generation part, 522 ... Distance calculation part, 522a ... Optical axis center coordinate shift part, 522b ... Coordinate system rotation part 522c: distance calculation unit, 523: gain lookup table, 524 ... gain multiplication unit, 91, 92 ... multiplication unit, 93, 94 ... shift unit

Claims (6)

画像信号を処理する画像処理装置において、
入力画像の中心座標を基準にして前記入力画像の座標系を回転させる座標系回転部と、
前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出する距離算出部と、
前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、
決定された前記補正係数を、前記入力画像の対応する画素信号に乗算する補正係数乗算部と、を有し、
前記座標系回転部は、
入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、
前記tanθを近似して得られる2のべき乗部分 -m を乗算するためのシフト部と、
を有する画像処理装置。
In an image processing apparatus that processes an image signal,
A coordinate system rotation unit that rotates the coordinate system of the input image with reference to the center coordinates of the input image;
A distance calculation unit for calculating a distance from the center coordinate in each pixel coordinate of the input image after rotation of the coordinate system;
A correction coefficient determination unit that determines a correction coefficient according to the distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system;
A correction coefficient multiplier that multiplies the determined correction coefficient by the corresponding pixel signal of the input image,
The coordinate system rotation unit is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image to be input , tan θ is 2 a multiplication unit for multiplying the rotation correction coefficient A obtained by approximating m · A ;
A shift unit for multiplying the power-of- two part 2- m obtained by approximating the tan θ,
An image processing apparatus.
前記入力画像の座標系の原点を、前記中心座標に一致させるようにシフトする座標シフト部をさらに有する請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a coordinate shift unit that shifts an origin of a coordinate system of the input image so as to coincide with the center coordinate. 前記中心座標は、撮像時における光学系の光軸の位置である請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the central coordinate is a position of an optical axis of an optical system at the time of imaging. 前記距離算出部は、前記入力画像内の各画素座標の前記中心座標からの距離を、多角形近似して算出する請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the distance calculation unit calculates a distance from the center coordinate of each pixel coordinate in the input image by approximating a polygon. 画像信号を処理する画像処理方法において、
入力画像の中心座標を基準にして前記入力画像の座標系を回転させ、
前記座標系の回転後の前記入力画像の各画素座標における前記中心座標からの距離をそれぞれ算出し、
前記座標系の回転後の前記各画素座標毎に、算出された前記距離に応じた補正係数を決定し、
決定された前記補正係数を、前記入力画像の対応する画素信号に乗算し、
前記入力画像の座標系の回転は、
入力される前記入力画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算し、前記tanθを近似して得られる2のべき乗部分 -m をシフトしておこなう画像処理方法。
In an image processing method for processing an image signal,
Rotate the input image coordinate system with respect to the center coordinates of the input image,
Calculating the distance from the center coordinate in each pixel coordinate of the input image after rotation of the coordinate system,
For each pixel coordinate after the rotation of the coordinate system, determine a correction coefficient according to the calculated distance,
Multiplying the determined correction factor by the corresponding pixel signal of the input image;
The rotation of the coordinate system of the input image is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the input image to be input , tan θ is 2 − An image processing method that is performed by multiplying a rotation correction coefficient A obtained by approximating m · A and shifting a power-of- two part 2- m obtained by approximating tan θ.
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像画像の光軸の位置座標を基準にして撮像画像の座標系を回転させる座標系回転部と、
前記座標系の回転後の前記撮像画像の各画素座標における前記位置座標からの距離をそれぞれ算出する距離算出部と、
前記座標系の回転後の前記各画素座標毎に、前記距離算出部にて算出された距離に応じた補正係数を決定する補正係数決定部と、
決定された前記補正係数を、前記撮像画像の対応する画素信号に乗算する補正係数乗算部と、を有し、
前記座標系回転部は、
前記撮像画像の各画素座標における水平方向成分と垂直方向成分それぞれに対して、cosθ(θ:前記座標系を回転させる際の回転角度)を1と近似できるときに、tanθを2 -m ・Aと近似して得られる回転補正係数Aを乗算するための乗算部と、
前記tanθを近似して得られる2のべき乗部分 -m を乗算するためのシフト部と、
を有する撮像装置。
In an imaging device that captures an image using a solid-state imaging device,
A coordinate system rotating portion for rotating the coordinate system of the captured image based on the position coordinates of the optical axis of the captured image,
A distance calculation unit that calculates the distance from the position coordinate in each pixel coordinate of the captured image after rotation of the coordinate system;
A correction coefficient determination unit that determines a correction coefficient according to the distance calculated by the distance calculation unit for each pixel coordinate after rotation of the coordinate system;
A correction coefficient multiplier that multiplies the determined correction coefficient by the corresponding pixel signal of the captured image,
The coordinate system rotation unit is
When cos θ (θ: rotation angle when rotating the coordinate system) can be approximated to 1 for each of the horizontal component and the vertical component at each pixel coordinate of the captured image , tan θ is 2 −m · A And a multiplication unit for multiplying the rotation correction coefficient A obtained by approximation with
A shift unit for multiplying the power-of- two part 2- m obtained by approximating the tan θ,
An imaging apparatus having
JP2006003449A 2006-01-11 2006-01-11 Image processing apparatus, image processing method, and imaging apparatus Expired - Fee Related JP4940661B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006003449A JP4940661B2 (en) 2006-01-11 2006-01-11 Image processing apparatus, image processing method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006003449A JP4940661B2 (en) 2006-01-11 2006-01-11 Image processing apparatus, image processing method, and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2007189298A JP2007189298A (en) 2007-07-26
JP4940661B2 true JP4940661B2 (en) 2012-05-30

Family

ID=38344189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006003449A Expired - Fee Related JP4940661B2 (en) 2006-01-11 2006-01-11 Image processing apparatus, image processing method, and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4940661B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049609A (en) * 2007-08-16 2009-03-05 Fujitsu Microelectronics Ltd Correcting circuit, correcting method, and image pick-up device
JP4994158B2 (en) * 2007-08-28 2012-08-08 三菱電機株式会社 Image correction device
US10198797B2 (en) 2015-09-09 2019-02-05 Ichikawa Soft Laboratory Co., Ltd. Apparatus correcting shading without taking optical characteristics into consideration and method thereof
JP6450498B2 (en) * 2016-03-17 2019-01-09 富士フイルム株式会社 Image processing apparatus, image processing system, and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216136A (en) * 2001-01-23 2002-08-02 Sony Corp Distance calculating method and imaging system
JP2004038728A (en) * 2002-07-05 2004-02-05 Noritsu Koki Co Ltd Image processing method, image processing program, and recording medium recording image processing program
WO2005043891A1 (en) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha Image correcting method and imaging apparatus

Also Published As

Publication number Publication date
JP2007189298A (en) 2007-07-26

Similar Documents

Publication Publication Date Title
JP4293174B2 (en) Imaging apparatus and image processing apparatus
US9215389B2 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
US8767085B2 (en) Image processing methods and apparatuses to obtain a narrow depth-of-field image
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
US8797462B2 (en) Image processing apparatus and image processing method
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
US20060087702A1 (en) Image capturing apparatus
US20130016251A1 (en) Solid-state imaging device, image processing apparatus, and camera module
JP2007336561A (en) Image generating apparatus and method
US20180338096A1 (en) Image processing appartatus
JP6351231B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2014123809A (en) Imaging apparatus, imaging system, and imaging apparatus control method
JP2009031682A (en) Imaging system and image signal processing program
JP2018207413A (en) Imaging apparatus
JP4940661B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2009200743A (en) Image processor, image processing method, image processing program and imaging apparatus
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP4687454B2 (en) Image processing apparatus and imaging apparatus
JP2006253970A (en) Imaging apparatus, shading correction data generating method, and program
JP2019154029A (en) Image processing apparatus and imaging device
JP4779536B2 (en) Imaging device
WO2017010027A1 (en) Imaging device, signal processing method, and signal processing program
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP2020053960A (en) Imaging apparatus, control method of the same, and program
JP2006332732A (en) Apparatus for suppressing color shift noise

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees