JP5251203B2 - Image processing apparatus and image processing program - Google Patents

Image processing apparatus and image processing program Download PDF

Info

Publication number
JP5251203B2
JP5251203B2 JP2008083738A JP2008083738A JP5251203B2 JP 5251203 B2 JP5251203 B2 JP 5251203B2 JP 2008083738 A JP2008083738 A JP 2008083738A JP 2008083738 A JP2008083738 A JP 2008083738A JP 5251203 B2 JP5251203 B2 JP 5251203B2
Authority
JP
Japan
Prior art keywords
image
correction
image processing
lens
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008083738A
Other languages
Japanese (ja)
Other versions
JP2009239667A (en
Inventor
太郎 牧垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008083738A priority Critical patent/JP5251203B2/en
Publication of JP2009239667A publication Critical patent/JP2009239667A/en
Application granted granted Critical
Publication of JP5251203B2 publication Critical patent/JP5251203B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、周辺減光を補正する画像処理技術に関する。   The present invention relates to an image processing technique for correcting peripheral dimming.

近年、固体撮像素子を用いた電子カメラが広く普及している。ところが、電子カメラに用いる撮影レンズの特性により、撮影画像の光軸中心部に対して同心円状に周辺部の光量が落ちる周辺減光が問題となる。この周辺減光は、固体撮像素子に入射される光の入射角,撮影レンズの前玉レンズおよび後玉レンズの直径,絞り径,レンズや絞りから撮像素子までの距離などにより変化する。特に、ズームレンズの場合はズーム位置に応じて周辺減光の状態が異なり、レンズ設計だけでは周辺減光をなくすことは難しい。そこで、周辺減光による光量むらをなくすために、撮影後に画像処理を行って光量むらを補正する技術が知られている。例えば、使用する撮影レンズについて、撮影条件毎に複数の補正テーブルを予め電子カメラのメモリに記憶しておき、撮影時に撮影条件に応じた補正テーブルを読み出して周辺減光を補正する方法が考えられている(例えば、特許文献1参照)。
特開2006−270919号公報
In recent years, electronic cameras using solid-state image sensors have been widely used. However, due to the characteristics of the photographic lens used in the electronic camera, there is a problem of peripheral dimming in which the amount of light at the peripheral portion falls concentrically with respect to the center of the optical axis of the captured image. This peripheral dimming changes depending on the incident angle of light incident on the solid-state image sensor, the diameters of the front lens and rear lens of the photographing lens, the aperture diameter, the distance from the lens and the aperture to the image sensor, and the like. In particular, in the case of a zoom lens, the peripheral dimming state differs depending on the zoom position, and it is difficult to eliminate the peripheral dimming only by the lens design. Therefore, in order to eliminate unevenness in the amount of light due to peripheral dimming, a technique for correcting the unevenness in the amount of light by performing image processing after shooting is known. For example, a method may be considered in which a plurality of correction tables are stored in advance in the memory of the electronic camera for each shooting condition for the shooting lens to be used, and the peripheral dimming is corrected by reading the correction table corresponding to the shooting condition during shooting. (For example, refer to Patent Document 1).
JP 2006-270919 A

ところが、従来の周辺減光補正技術は、使用する撮影レンズに対応する補正テーブルを撮影レンズ毎に持つ必要があり、新しい撮影レンズを使用する場合は電子カメラの補正テーブルを更新する必要があった。   However, the conventional peripheral dimming correction technology needs to have a correction table corresponding to the shooting lens to be used for each shooting lens, and when a new shooting lens is used, the correction table of the electronic camera has to be updated. .

また、新しい撮影レンズに対応する周辺減光形状の算出処理を電子カメラ内で行うことも考えられるが、複雑な周辺減光形状の算出処理を電子カメラ内で行うことは難しかった。或いは、様々な周辺減光形状毎の補正テーブルを用いて処理を簡略化することも考えられるが、メモリ容量が増加するという問題が生じる。   Although it is conceivable to perform processing for calculating the peripheral light attenuation shape corresponding to the new photographing lens in the electronic camera, it is difficult to perform processing for calculating the complex light attenuation shape in the electronic camera. Alternatively, it may be possible to simplify the processing by using a correction table for each of various peripheral dimming shapes, but there is a problem that the memory capacity increases.

本発明の目的は、複雑な演算を行う必要がなく、高速に周辺減光補正を行うことができる画像処理装置および画像処理プログラムを提供することである。   An object of the present invention is to provide an image processing apparatus and an image processing program capable of performing peripheral light attenuation correction at high speed without the need for performing complicated calculations.

本発明に係る画像処理装置は、レンズ光学系を介して撮影する画像の周辺減光補正を行う画像処理装置であって、前記レンズ光学系のレンズ情報を含む複数の撮影条件を基に各像高における前記レンズ光学系の周辺減光形状情報の予測値を算出する予測式の係数を前記複数の撮影条件毎に対応させて予め記憶された記憶部と、画像撮影時のレンズ情報を含む複数の撮影条件を取得する撮影条件取得部と、前記撮影条件取得部が取得した撮影条件毎に対応する前記予測式の係数を前記記憶部から読み出して、前記予測式により像高毎に周辺減光を補正するゲイン値を求め、前記ゲイン値を基に前記レンズ光学系を介して撮影する画像を補正する画像補正部と、周辺減光形状の補正の度合いが異なる複数の補正度合いのいずれか1つを選択する操作部と、前記操作部により選択された前記補正度合いに基づいて前記ゲイン値から周辺減光補正ゲインテーブルを作成する周辺減光補正ゲインテーブル作成部とを有し、前記画像補正部は、前記周辺減光補正ゲインテーブルの補正ゲインで、前記レンズ光学系を介して撮影する画像を補正することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that performs peripheral dimming correction of an image shot through a lens optical system, and each image is based on a plurality of shooting conditions including lens information of the lens optical system. A storage unit that stores in advance a coefficient of a prediction formula for calculating a predicted value of peripheral dimming shape information of the lens optical system at a high level for each of the plurality of shooting conditions, and a plurality of lens information including lens information at the time of image shooting An imaging condition acquisition unit for acquiring the imaging condition, and a coefficient of the prediction formula corresponding to each imaging condition acquired by the imaging condition acquisition unit is read from the storage unit, and peripheral dimming is performed for each image height by the prediction formula Any one of an image correction unit that obtains a gain value for correcting the image and corrects an image photographed through the lens optical system based on the gain value, and a plurality of correction degrees with different degrees of correction of the peripheral dimming shape. To select one It has a section, a vignetting compensation gain table creation unit for creating a vignetting compensation gain table from the gain value based on the correction degree selected by the operation unit, the image correcting unit, the peripheral An image captured through the lens optical system is corrected with a correction gain of a dimming correction gain table.

また、好ましくは、前記記憶部に記憶された前記予測式の係数は、複数のレンズ光学系のレンズ情報を含む複数の撮影条件別に測定した実測値を用いて、多変量解析によって予め算出されることを特徴とする。
特に、前記記憶部に記憶された前記予測式の係数は、複数のレンズ光学系のレンズ情報を含む複数の撮影条件別に撮影した画像データを前記撮影条件に対応させて前記記憶部に予め記憶しておく処理と、前記画像データを前記記憶部から読み出して前記撮影条件毎に像高毎の出力レベルを実測する処理と、像高別に複数の撮影条件毎の実測値を用いて多変量解析によって係数を算出する処理とからなる学習処理によって求められ、係数テーブルとして像高毎に前記記憶部に記憶されることを特徴とする。
Preferably, the coefficient of the prediction formula stored in the storage unit is calculated in advance by multivariate analysis using actual measurement values measured for a plurality of photographing conditions including lens information of a plurality of lens optical systems. It is characterized by that.
In particular, the coefficient of the prediction formula stored in the storage unit is stored in advance in the storage unit in association with the shooting conditions, image data shot by a plurality of shooting conditions including lens information of a plurality of lens optical systems. A process for reading out the image data from the storage unit and actually measuring an output level for each image height for each photographing condition, and multivariate analysis using actually measured values for a plurality of photographing conditions for each image height. It is obtained by a learning process including a process for calculating a coefficient, and is stored in the storage unit for each image height as a coefficient table.

また、好ましくは、前記多変量解析は重回帰分析であることを特徴とする。   Preferably, the multivariate analysis is a multiple regression analysis.

また、好ましくは、前記予測式は1次式であることを特徴とする。   Preferably, the prediction formula is a linear formula.

また、好ましくは、前記画像補正部により補正された画像を用いて、被写体輝度を算出することを特徴とする。   Preferably, the subject luminance is calculated using the image corrected by the image correction unit.

本発明に係る画像処理プログラムは、レンズ光学系を介して撮影する画像の周辺減光補正を行う画像処理プログラムであって、前記レンズ光学系のレンズ情報を含む複数の撮影条件を基に各像高における前記レンズ光学系の周辺減光形状情報の予測値を算出する予測式の係数を前記複数の撮影条件毎に対応させて予め記憶部に記録する記憶手順と、画像撮影時のレンズ情報を含む複数の撮影条件を取得する撮影条件取得手順と、前記撮影条件取得部が取得した撮影条件毎に対応する前記予測式の係数を前記記憶部から読み出して、前記予測式により像高毎に周辺減光を補正するゲイン値を求め、前記ゲイン値を基に前記レンズ光学系を介して撮影する画像を補正する画像補正手順と、周辺減光形状の補正の度合いが異なる複数の補正度合いのいずれか1つを選択する操作手順と、前記操作手順により選択された前記補正度合いに基づいて前記ゲイン値から周辺減光補正ゲインテーブルを作成する周辺減光補正ゲインテーブル作成手順とを有し、前記画像補正手順は、前記周辺減光補正ゲインテーブルの補正ゲインで、前記レンズ光学系を介して撮影する画像を補正する処理を行うことを特徴とする。 An image processing program according to the present invention is an image processing program for performing peripheral dimming correction of an image shot through a lens optical system, and each image based on a plurality of shooting conditions including lens information of the lens optical system. A storage procedure for pre-recording a coefficient of a prediction formula for calculating a predicted value of peripheral dimming shape information of the lens optical system at a high level in correspondence with each of the plurality of shooting conditions, and lens information at the time of image shooting An imaging condition acquisition procedure for acquiring a plurality of imaging conditions including, and a coefficient of the prediction formula corresponding to each of the imaging conditions acquired by the imaging condition acquisition unit is read from the storage unit, and a peripheral for each image height by the prediction formula obtains a gain value to correct the dimming, the image correction procedure that corrects a captured image through the lens optical system based on the gain value, the degree of correction of vignetting shape of different correction degree Has an operation procedure for selecting the Zureka one, a vignetting compensation gain table creation process of creating a vignetting compensation gain table from the gain value based on the correction degree selected by the operation procedure, The image correction procedure includes a process of correcting an image photographed through the lens optical system with a correction gain of the peripheral light attenuation correction gain table.

本発明によれば、複雑な演算を行う必要がなく、高速に周辺減光補正を行うことができる。   According to the present invention, it is not necessary to perform complicated calculations, and peripheral light attenuation correction can be performed at high speed.

以下、本発明に係る画像処理装置および画像処理プログラムに関する実施形態について図面を用いて詳しく説明する。   Hereinafter, embodiments of an image processing apparatus and an image processing program according to the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
第1の実施形態に係る電子カメラ100は、本発明に係る画像処理装置の機能と画像処理プログラムの機能とを含んでいる。先ず、電子カメラ100の構成について説明する。
[電子カメラ100の構成]
図1は、本実施形態に係る電子カメラ100の構成を示すブロック図である。電子カメラ100は、カメラ本体101と、撮影レンズ102とで構成される。撮影レンズ102は、レンズマウント103を介してカメラ本体101に接続され、撮影レンズ102を交換することが可能な一眼レフカメラである。
(First embodiment)
The electronic camera 100 according to the first embodiment includes the function of the image processing apparatus and the function of the image processing program according to the present invention. First, the configuration of the electronic camera 100 will be described.
[Configuration of Electronic Camera 100]
FIG. 1 is a block diagram illustrating a configuration of an electronic camera 100 according to the present embodiment. The electronic camera 100 includes a camera body 101 and a photographing lens 102. The photographing lens 102 is a single-lens reflex camera that is connected to the camera body 101 via the lens mount 103 and can exchange the photographing lens 102.

撮影レンズ102は、レンズ光学系104と、絞り105と、エンコーダ106と、ROM107とで構成される。   The photographing lens 102 includes a lens optical system 104, a diaphragm 105, an encoder 106, and a ROM 107.

レンズ光学系104は、前玉レンズ104aおよび後玉レンズ104bのみ描いてあるが、実際には複数のレンズで構成される。   Although only the front lens 104a and the rear lens 104b are drawn, the lens optical system 104 is actually composed of a plurality of lenses.

エンコーダ106は、レンズ光学系104のレンズ位置を検出し、カメラ本体101側に出力する。ROM107は、撮影レンズ102のレンズ情報が予め記憶されている。記憶されているレンズ情報は、例えば、撮影レンズ102の型番,焦点距離,前玉レンズ104aおよび後玉レンズ104bのレンズ系などである。   The encoder 106 detects the lens position of the lens optical system 104 and outputs it to the camera body 101 side. The ROM 107 stores lens information of the photographing lens 102 in advance. The stored lens information includes, for example, the model number of the photographing lens 102, the focal length, the lens system of the front lens 104a and the rear lens 104b.

カメラ本体101は、メカニカルシャッター108と、撮像素子109と、A/D変換部110と、ゲイン制御部111と、信号処理部112と、記憶部113と、表示部114と、ミラーユニット115と、ビューファインダ116と、AEセンサ117と、AFセンサ118と、CPU(中央演算処理部)119と、絞り制御部120と、レンズ制御部121と、シャッタ制御部122と、操作部123と、周辺減光テーブル算出部124と、係数テーブル125とで構成される。尚、ミラーユニット115は、メインミラー115aと、サブミラー115bと、回転機構115cとで構成される。   The camera body 101 includes a mechanical shutter 108, an image sensor 109, an A / D conversion unit 110, a gain control unit 111, a signal processing unit 112, a storage unit 113, a display unit 114, a mirror unit 115, Viewfinder 116, AE sensor 117, AF sensor 118, CPU (central processing unit) 119, aperture control unit 120, lens control unit 121, shutter control unit 122, operation unit 123, and peripheral reduction An optical table calculation unit 124 and a coefficient table 125 are included. The mirror unit 115 includes a main mirror 115a, a sub mirror 115b, and a rotation mechanism 115c.

電子カメラ100は、CPU119の内部に予め記憶されているプログラムに従って制御される。撮影者は、操作部123の操作ボタン(電源ボタン、レリーズボタン、ズームボタン、設定ボタンなど)を操作して、電子カメラ100を使用する。操作部123の操作情報はCPU119に入力され、CPU119は操作情報に応じて電子カメラ100の各部を制御する。尚、本実施形態では説明が分かり易いように、絞り制御部120と、レンズ制御部121と、シャッター制御部122と、周辺減光テーブル算出部124は、CPU119とは別のブロックとして描いてあるが、CPU119で行う処理ブロックとしてCPU119に含めても構わない。
[電子カメラ100の動作]
次に、本実施形態に係る電子カメラ100の動作について説明する。図1において、撮影レンズ102のレンズ光学系104および絞り105を介して入射する被写体光は、カメラ本体101のミラーユニット115に入射される。
The electronic camera 100 is controlled according to a program stored in advance in the CPU 119. The photographer uses the electronic camera 100 by operating the operation buttons (power button, release button, zoom button, setting button, etc.) of the operation unit 123. Operation information of the operation unit 123 is input to the CPU 119, and the CPU 119 controls each unit of the electronic camera 100 according to the operation information. In this embodiment, for easy understanding, the aperture control unit 120, the lens control unit 121, the shutter control unit 122, and the peripheral light attenuation table calculation unit 124 are drawn as blocks different from the CPU 119. However, the processing block performed by the CPU 119 may be included in the CPU 119.
[Operation of Electronic Camera 100]
Next, the operation of the electronic camera 100 according to this embodiment will be described. In FIG. 1, subject light that enters through the lens optical system 104 of the photographing lens 102 and the diaphragm 105 enters the mirror unit 115 of the camera body 101.

ミラーユニット115に入射された被写体光は、メインミラー115aで反射されてビューファインダ116およびAEセンサ117に入射されると共に、サブミラー115bで反射されてAFセンサ118に入射される。撮影者は、ビューファインダ116を覗いて撮影構図を決定する。   The subject light incident on the mirror unit 115 is reflected by the main mirror 115a and incident on the viewfinder 116 and the AE sensor 117, and is reflected by the sub mirror 115b and incident on the AF sensor 118. The photographer looks into the viewfinder 116 and determines the shooting composition.

AEセンサ117は所定領域の測光を行い、CPU119に測光値を出力する。AFセンサ118は位相差検出方式の焦点位置を行うための専用のセンサで、センサ信号はCPU119に出力される。尚、ミラーユニット115は回転機構115cによって跳ね上げることができ、撮影時に操作部123のレリーズボタンが押された場合、CPU119の指令によってシャッター制御部122は、ミラーユニット115を跳ね上げると共にメカニカルシャッター108を開くよう制御する。このようにして、撮影レンズ102を介して入射する被写体光は撮像素子109の撮像面に結像される。   The AE sensor 117 performs photometry of a predetermined area and outputs a photometric value to the CPU 119. The AF sensor 118 is a dedicated sensor for performing a phase difference detection type focal position, and a sensor signal is output to the CPU 119. The mirror unit 115 can be flipped up by the rotation mechanism 115c. When the release button of the operation unit 123 is pressed during shooting, the shutter control unit 122 jumps up the mirror unit 115 and mechanical shutter 108 according to a command from the CPU 119. Control to open. In this way, the subject light incident through the photographing lens 102 is imaged on the imaging surface of the image sensor 109.

CPU119は、AEセンサ117が出力する測光値から撮影モードに応じて最適な露出となる絞り値やシャッター速度を求め、絞り制御部120とシャッター制御部122とに指令を出す。   The CPU 119 obtains the aperture value and shutter speed at which the optimum exposure is obtained from the photometric value output from the AE sensor 117 according to the shooting mode, and issues a command to the aperture controller 120 and the shutter controller 122.

絞り制御部120は、CPU119の指令に応じて撮影レンズ102側の絞り105を可変する。シャッター制御部122は、CPU119の指令に応じてメカニカルシャッター108のシャッター速度を可変する。   The diaphragm control unit 120 varies the diaphragm 105 on the photographing lens 102 side in accordance with a command from the CPU 119. The shutter control unit 122 varies the shutter speed of the mechanical shutter 108 in accordance with a command from the CPU 119.

また、CPU119は、AFセンサ118の出力信号からデフォーカス量を算出し、焦点位置を求め、レンズ制御部121に指令を出す。レンズ制御部121は、CPU119の指令に応じて撮影レンズ102側のレンズ光学系104のフォーカスレンズの位置を可変する。尚、レンズ制御部121は、撮影者が操作部123のズームボタンを操作した場合にもCPU119の指令に応じて撮影レンズ102側のレンズ光学系104のズームレンズの位置を可変する。   Further, the CPU 119 calculates a defocus amount from the output signal of the AF sensor 118, obtains a focal position, and issues a command to the lens control unit 121. The lens control unit 121 changes the position of the focus lens of the lens optical system 104 on the photographing lens 102 side in accordance with a command from the CPU 119. The lens control unit 121 changes the position of the zoom lens of the lens optical system 104 on the photographing lens 102 side in accordance with a command from the CPU 119 even when the photographer operates the zoom button of the operation unit 123.

撮像素子109は、二次元マトリクス状に配置された複数の画素で構成される撮像面を有し、撮像面に結像された被写体光は、各画素の光電変換部によって電気信号に変換されてA/D変換部110に出力される。   The imaging element 109 has an imaging surface composed of a plurality of pixels arranged in a two-dimensional matrix, and subject light imaged on the imaging surface is converted into an electric signal by a photoelectric conversion unit of each pixel. The data is output to the A / D converter 110.

A/D変換部110は、撮像素子109が光電変換したアナログの電気信号を画素毎にデジタルの画像データに変換し、ゲイン制御部111に出力する。   The A / D conversion unit 110 converts the analog electric signal photoelectrically converted by the image sensor 109 into digital image data for each pixel, and outputs the digital image data to the gain control unit 111.

ゲイン制御部111は、A/D変換部110が出力する画像データのゲイン制御を行い、信号処理部112に出力する。尚、ゲイン制御については後で詳しく説明する。   The gain control unit 111 performs gain control of the image data output from the A / D conversion unit 110 and outputs the gain to the signal processing unit 112. The gain control will be described in detail later.

信号処理部112は、ゲイン制御部111で適正レベルに調整された画像の色変換処理やγ補正処理、或いはJPEG規格などによる画像圧縮処理を行った後、最終的な撮影画像として記憶部113に記憶したり、表示部114に撮影画像を表示する。   The signal processing unit 112 performs color conversion processing, γ correction processing of the image adjusted to an appropriate level by the gain control unit 111, or image compression processing according to the JPEG standard, and the like, and then stores the final captured image in the storage unit 113. It memorize | stores or displays a picked-up image on the display part 114. FIG.

周辺減光テーブル算出部124は、撮影条件に応じて、係数テーブル125に記憶されている係数を用いて多変量解析式で周辺減光形状情報を求め、周辺減光を補正するための補正ゲインテーブルを算出する。尚、多変量解析による係数の算出や補正ゲインテーブルの算出については後で詳しく説明する。
[周辺減光について]
ここで、周辺減光について図2を用いて説明する。図2(a)は、周辺減光がある場合の撮像素子109の撮像面200の様子を描いたものである。周辺減光は、電子カメラ100に用いる撮影レンズ102の特性により、撮像素子109で撮影される画像の光軸中心L0に対して同心円状に画像200の周辺部の光量が落ちて暗くなる現象である。尚、図2では、分かり易いように、光量の変化を階段状に変化させて描いてあるが、実際には画像の階調の範囲内で滑らかに変化する。
The peripheral dimming table calculation unit 124 obtains peripheral dimming shape information by a multivariate analytical expression using the coefficients stored in the coefficient table 125 according to the photographing conditions, and a correction gain for correcting the peripheral dimming Calculate the table. Note that the calculation of the coefficient by the multivariate analysis and the calculation of the correction gain table will be described in detail later.
[Ambient dimming]
Here, peripheral dimming will be described with reference to FIG. FIG. 2A illustrates a state of the imaging surface 200 of the imaging element 109 when there is peripheral light reduction. Peripheral dimming is a phenomenon in which the amount of light in the peripheral portion of the image 200 drops and darkens concentrically with respect to the optical axis center L0 of the image captured by the image sensor 109 due to the characteristics of the photographing lens 102 used in the electronic camera 100. is there. In FIG. 2, for the sake of easy understanding, the change in the amount of light is depicted in a staircase pattern. However, in actuality, it changes smoothly within the gradation range of the image.

図2(b)のグラフは、撮像素子109の撮像面200を対角線(二点鎖線A−A’)で切断した時の出力レベルの変化(周辺減光特性201)を示したグラフである。図2(b)のグラフにおいて、横軸は像高、縦軸は出力レベルを示す。ここでは、撮像素子109の撮像面200の光軸中心L0での像高rを0mm,出力レベルを1.0として、光軸中心L0から同心円状に広がる等距離の位置(像高)毎の出力レベルの変化を描くと周辺減光特性201のようになり、撮像面200の周辺部になるほど出力レベルは低下していく。   The graph of FIG. 2B is a graph showing a change in output level (peripheral dimming characteristic 201) when the imaging surface 200 of the imaging element 109 is cut along a diagonal line (two-dot chain line A-A ′). In the graph of FIG. 2B, the horizontal axis indicates the image height, and the vertical axis indicates the output level. Here, assuming that the image height r at the optical axis center L0 of the imaging surface 109 of the image sensor 109 is 0 mm and the output level is 1.0, for each equidistant position (image height) extending concentrically from the optical axis center L0. When the change of the output level is drawn, it becomes like a peripheral dimming characteristic 201, and the output level decreases as the peripheral portion of the imaging surface 200 is reached.

周辺減光の形状は、例えば図3に示すように、撮像素子109に入射される光の入射角,撮影レンズ102の前玉レンズ104aの直径L1,後玉レンズ104bの直径L2,絞り105の絞り径S,前玉レンズ104aから撮像素子109までの距離d1,絞り105から撮像素子109までの距離d2,後玉レンズ104bから撮像素子109までの距離d3などにより異なる。また、撮影レンズ102がズームレンズの場合はズーム位置に応じて周辺減光の形状が変化する。尚、図3において、前玉レンズ104aの直径L1や距離d1および後玉レンズ104bの直径L2や距離d3は、複数のレンズで構成されるレンズ光学系104の設計上の各直径及び各距離を示すもので実測値ではない。
[周辺減光補正処理]
ここで、本実施形態に係る電子カメラ100で行われる周辺減光補正を行うための画像処理は、電子カメラ100外の画像処理と電子カメラ100内の画像処理とに分かれる。先ず、電子カメラ100外の画像処理について説明する。
[電子カメラ100外で行う画像処理]
係数テーブル125には、レンズ光学系104のレンズ情報を含む複数の撮影条件を基に各像高におけるレンズ光学系104の周辺減光形状情報の予測値を算出する予測式の係数が、複数の撮影条件毎に各撮影条件に対応させて予め記憶されている。次に、予測式の係数を算出する方法について説明する。
For example, as shown in FIG. 3, the peripheral dimming shape includes an incident angle of light incident on the image sensor 109, a diameter L1 of the front lens 104a of the photographing lens 102, a diameter L2 of the rear lens 104b, and an aperture 105. It depends on the aperture diameter S, the distance d1 from the front lens 104a to the image sensor 109, the distance d2 from the aperture 105 to the image sensor 109, the distance d3 from the rear lens 104b to the image sensor 109, and the like. Further, when the photographing lens 102 is a zoom lens, the shape of the peripheral dimming changes according to the zoom position. In FIG. 3, the diameter L1 and distance d1 of the front lens 104a and the diameter L2 and distance d3 of the rear lens 104b are the design diameters and distances of the lens optical system 104 composed of a plurality of lenses. It is shown and not an actual measurement.
[Ambient dim correction]
Here, the image processing for performing the peripheral light reduction correction performed by the electronic camera 100 according to the present embodiment is divided into image processing outside the electronic camera 100 and image processing inside the electronic camera 100. First, image processing outside the electronic camera 100 will be described.
[Image processing performed outside the electronic camera 100]
The coefficient table 125 includes a plurality of prediction formula coefficients for calculating predicted values of peripheral dimming shape information of the lens optical system 104 at each image height based on a plurality of imaging conditions including lens information of the lens optical system 104. Each shooting condition is stored in advance corresponding to each shooting condition. Next, a method for calculating the coefficient of the prediction formula will be described.

係数テーブル125に予め記憶されている予測式の係数は、電子カメラ100内ではなくパソコンなどを画像処理装置として用い、これらの装置の画像処理プログラムによって算出される。尚、本実施形態では、予測式として多変量解析式の重回帰式を用いて説明するが、最小二乗法など他の多変量解析方法を用いても構わない。また、算出された多変量解析式の係数は、電子カメラ100の製造時に係数テーブル125に記憶されるものとする。   The coefficient of the prediction formula stored in advance in the coefficient table 125 is calculated by an image processing program of these apparatuses using a personal computer or the like as an image processing apparatus instead of the electronic camera 100. In this embodiment, the multivariate analysis formula is used as the prediction formula. However, another multivariate analysis method such as a least square method may be used. In addition, the calculated coefficient of the multivariate analytical expression is stored in the coefficient table 125 when the electronic camera 100 is manufactured.

次に、多変量解析式の係数を算出する学習処理について図4のフローチャートを用いて説明する。尚、既に様々な撮影条件で撮影した画像データが撮影条件に対応させてパソコンの記憶媒体に記憶されているものとする。また、本実施形態で用いる撮影条件とは、撮影レンズ102のROM107から得られる開口値などのレンズ情報や、CPU119から得られるF値などのカメラ制御情報などを含んでいる。例えば、図3で説明したように、撮影レンズ102に光学的に形成されるレンズ径や絞り径などに関する開口値,瞳位置,焦点距離などを撮影条件とする。尚、図5に示したように、撮像素子109の撮像面と光軸とのなす角θなどを撮影条件として用いても構わない。   Next, the learning process for calculating the coefficients of the multivariate analytical expression will be described using the flowchart of FIG. It is assumed that image data already taken under various shooting conditions is stored in a storage medium of a personal computer corresponding to the shooting conditions. The imaging conditions used in this embodiment include lens information such as an aperture value obtained from the ROM 107 of the photographing lens 102, camera control information such as an F value obtained from the CPU 119, and the like. For example, as described with reference to FIG. 3, an aperture value, a pupil position, a focal length, and the like relating to a lens diameter and an aperture diameter that are optically formed on the imaging lens 102 are used as imaging conditions. As shown in FIG. 5, an angle θ formed by the imaging surface of the image sensor 109 and the optical axis may be used as the imaging condition.

(ステップS101)パソコンなどで画像処理プログラムを立ち上げ、学習処理を開始する。   (Step S101) An image processing program is launched on a personal computer or the like, and learning processing is started.

(ステップS102)記憶媒体に記憶された撮影条件別の画像データを読み出して、撮影条件毎に、撮像面に到達する光量分布、つまり像高毎の出力レベルを実測する。   (Step S102) The image data for each shooting condition stored in the storage medium is read, and the light amount distribution reaching the imaging surface, that is, the output level for each image height is measured for each shooting condition.

(ステップS103)像高別に複数の撮影条件毎の実測値とを用いて重回帰分析を行う。重回帰分析は多変量解析では一般的な手法で、パソコンのアプリケーションソフトウェアでも簡単に求めることが可能である。図6のグラフは、30本程度の撮影レンズを用いて像高r=18mmの場合に、重回帰分析を行った結果の一例である。図6は、横軸にレンズ情報による予測結果を示し、縦軸に実測値を示している。縦軸および横軸は、図2で説明したように、撮像面200の中心の像高r=0の時の出力レベルを1.0とした場合の値を示している。尚、多変量解析の際に、撮影レンズ毎に重み付けした分析を行っても良い。   (Step S103) A multiple regression analysis is performed using measured values for each of a plurality of photographing conditions for each image height. Multiple regression analysis is a common technique in multivariate analysis, and can be easily obtained using application software on a personal computer. The graph of FIG. 6 is an example of a result of performing multiple regression analysis when an image height r = 18 mm using about 30 photographing lenses. In FIG. 6, the horizontal axis indicates the prediction result based on the lens information, and the vertical axis indicates the actual measurement value. As shown in FIG. 2, the vertical axis and the horizontal axis indicate values when the output level when the image height r = 0 at the center of the imaging surface 200 is 1.0. In the case of multivariate analysis, weighted analysis may be performed for each photographing lens.

図6のグラフに示したように、ノイズなどの影響により実測値と予測結果との間にずれが生じるが、一次関数の直線251で近似することができる。同様の解析を、例えば像高r=12mm,像高r=6mmなど複数の像高について行う。   As shown in the graph of FIG. 6, a deviation occurs between the actual measurement value and the prediction result due to the influence of noise or the like, but it can be approximated by a straight line 251 of a linear function. Similar analysis is performed for a plurality of image heights such as an image height r = 12 mm and an image height r = 6 mm.

(ステップS104)重回帰分析の結果から重回帰式を像高毎に求める。これにより、全ての撮影条件に対して残差が最小となる多項式の係数(本実施形態では傾きおよび切片を含めて係数と称す)が求まる。ここで、(式1)に重回帰式の一例を示す。
y=a1・x1+a2・x2+a3・x3+・・・・・+an・xn+b (式1)
尚、(式1)において、yは目的変数(出力レベルに相当)、x1,x2,x3,・・・,xnは説明変数(絞り値や開口値などの撮影条件に相当)、a1,a2,a3,・・・,anは傾き、bは切片をそれぞれ示す。
(Step S104) A multiple regression equation is obtained for each image height from the result of the multiple regression analysis. As a result, the coefficient of the polynomial that minimizes the residual with respect to all the imaging conditions (in this embodiment, the coefficient including the slope and the intercept is referred to) is obtained. Here, an example of a multiple regression equation is shown in (Equation 1).
y = a1 · x1 + a2 · x2 + a3 · x3 + ... + an · xn + b (Formula 1)
In (Expression 1), y is an objective variable (corresponding to an output level), x1, x2, x3,..., Xn are explanatory variables (corresponding to photographing conditions such as an aperture value and an aperture value), a1, a2 , A3,..., An are inclinations, and b is an intercept.

(ステップS105)算出した係数を電子カメラ100の係数テーブル125に像高毎に記憶する。   (Step S105) The calculated coefficient is stored in the coefficient table 125 of the electronic camera 100 for each image height.

(ステップS106)パソコンなどによる画像処理プログラムの学習処理を終了する。   (Step S106) The learning process of the image processing program by a personal computer or the like is terminated.

以上の学習処理によって、像高毎の出力レベル(周辺減光形状情報)を算出する重回帰式の係数が求められ、電子カメラ100の係数テーブル125に記憶される。
[電子カメラ100内で行う画像処理]
電子カメラ100内では、撮影時に係数テーブル125に記憶された重回帰式の係数を用いて、像高毎の周辺減光レベルを算出する。例えば、電子カメラ100で撮影する際の撮影条件を(式1)の重回帰式の説明変数に入力して計算を行うことにより、その撮影条件での各像高位置の周辺減光レベルを求める。尚、(式1)に示したように、重回帰式は一次関数の式で単純な掛け算と足し算の計算式なので、電子カメラ100の処理の負荷は少なく、高速処理が可能である。
Through the learning process described above, the coefficient of the multiple regression equation for calculating the output level (peripheral dimming shape information) for each image height is obtained and stored in the coefficient table 125 of the electronic camera 100.
[Image processing performed in electronic camera 100]
In the electronic camera 100, the peripheral light attenuation level for each image height is calculated using the coefficient of the multiple regression equation stored in the coefficient table 125 at the time of photographing. For example, the surrounding dimming level at each image height position under the photographing condition is obtained by inputting the photographing condition when photographing with the electronic camera 100 into the explanatory variable of the multiple regression equation of (Equation 1) and performing calculation. . Note that, as shown in (Expression 1), the multiple regression equation is a linear function equation and is a simple multiplication and addition equation, so the processing load of the electronic camera 100 is small and high-speed processing is possible.

次に、電子カメラ100で撮影する際の画像処理について図7のフローチャートを用いて説明する。尚、図7のフローチャートは、図1のCPU119に予め記憶されたプログラムによって動作する。   Next, image processing when photographing with the electronic camera 100 will be described with reference to the flowchart of FIG. 7 is operated by a program stored in advance in the CPU 119 in FIG.

(ステップS201)操作部123の電源ボタンを押して電子カメラ100の電源を投入し、操作部123のレリーズボタンが押されると撮影処理を開始する。   (Step S201) The power button of the operation unit 123 is pressed to turn on the electronic camera 100. When the release button of the operation unit 123 is pressed, the photographing process is started.

(ステップS202)撮影レンズ102を介して撮像素子109の撮像面に結像された画像をA/D変換部110を介してゲイン制御部111に入力する。   (Step S <b> 202) An image formed on the imaging surface of the imaging element 109 via the photographing lens 102 is input to the gain control unit 111 via the A / D conversion unit 110.

(ステップS203)周辺減光テーブル算出部124は、撮影条件を取得する。例えば、開口値などのレンズ情報は撮影レンズ102のROM107から入力し、F値などのカメラ制御情報は絞り制御を行うCPU119から入力する。尚、周辺減光テーブル算出部124は、撮影レンズ102のROM107から直接レンズ情報を読み取るように描いてあるが、カメラ制御情報と同様にCPU119を介して読み取るようにしても構わない。   (Step S203) The peripheral dimming table calculation unit 124 acquires imaging conditions. For example, lens information such as an aperture value is input from the ROM 107 of the photographing lens 102, and camera control information such as an F value is input from the CPU 119 that performs aperture control. Although the peripheral light attenuation table calculation unit 124 is drawn so as to read lens information directly from the ROM 107 of the photographing lens 102, it may be read via the CPU 119 in the same manner as the camera control information.

(ステップS204)周辺減光テーブル算出部124は、ステップS203で入力した撮影条件を(式1)の重回帰式の説明変数に入力して、複数の像高位置での出力レベルを求める。この結果、周辺減光形状がわかる。   (Step S204) The peripheral dimming table calculation unit 124 inputs the imaging conditions input in step S203 to the explanatory variable of the multiple regression equation of (Expression 1), and obtains output levels at a plurality of image height positions. As a result, the peripheral dimming shape is known.

(ステップS205)周辺減光テーブル算出部124は、ステップS204で求めた周辺減光形状情報から周辺減光補正ゲインテーブルを作成する。周辺減光補正ゲインテーブルは、像高r=0の出力レベルを基準として同心円状に低下する出力レベルに所定のゲインを掛けてフラットな特性にするための補正ゲインテーブルである。尚、ステップS204で求めた出力レベルは、例えば像高位置が3点程度の離散値なので、全ての像高位置での出力レベルを示しているわけではない。そこで、簡単な二次関数による近似パターンによって補間を行い、各像高位置での周辺減光形状情報を求めて、補正ゲインテーブルを作成する。   (Step S205) The peripheral dimming table calculation unit 124 creates a peripheral dimming correction gain table from the peripheral dimming shape information obtained in step S204. The peripheral dimming correction gain table is a correction gain table for making a flat characteristic by multiplying an output level that decreases concentrically by a predetermined gain with an output level of image height r = 0 as a reference. Note that the output level obtained in step S204 is a discrete value having, for example, about three image height positions, and therefore does not indicate the output level at all image height positions. Therefore, interpolation is performed with an approximate pattern based on a simple quadratic function to obtain peripheral dimming shape information at each image height position, and a correction gain table is created.

ここで、補正ゲインテーブルの作成方法について図8を用いて説明する。図8は、横軸に像高r(mm),縦軸に出力レベルを示したグラフで、先に説明した図2(b)のグラフに相当する。図8(a)は、ステップS204で求めた出力レベルをz1(r=6),z2(r=12),z3(r=18)の3点とした場合の様子を描いたもので、実際の周辺減光特性201は像高r=0のz0を加えたz0からz3の4つの離散点で示される。   Here, a method of creating a correction gain table will be described with reference to FIG. FIG. 8 is a graph showing the image height r (mm) on the horizontal axis and the output level on the vertical axis, and corresponds to the graph of FIG. FIG. 8A illustrates a state where the output levels obtained in step S204 are three points z1 (r = 6), z2 (r = 12), and z3 (r = 18). The peripheral dimming characteristic 201 is represented by four discrete points from z0 to z3 obtained by adding z0 of image height r = 0.

図8(a)において、周辺減光特性201は(式2)で近似することができる。
z=a・r^2+b・r+1 (式2)
ここで、(式2)の係数aおよびbの複数の組み合わせが予め係数テーブル125に記憶されているものとする。そして、ステップS204で求めた出力レベルをz0(r=0),z1(r=6),z2(r=12),z3(r=18)の4点の値から、実際の周辺減光特性201に近くなる近似式(式2)の係数aおよびbを係数テーブル125から選択して、周辺減光特性201を近似する。
In FIG. 8A, the peripheral dimming characteristic 201 can be approximated by (Equation 2).
z = a · r ^ 2 + b · r + 1 (Formula 2)
Here, it is assumed that a plurality of combinations of the coefficients a and b in (Expression 2) are stored in the coefficient table 125 in advance. Then, the actual peripheral dimming characteristics are obtained from the four levels of z0 (r = 0), z1 (r = 6), z2 (r = 12), and z3 (r = 18) as the output level obtained in step S204. The coefficients a and b of the approximate expression (expression 2) close to 201 are selected from the coefficient table 125 to approximate the peripheral dimming characteristic 201.

尚、本実施形態では、周辺減光特性201を近似するのではなく、図8(b)に示すように、周辺減光特性201をフラットにする補正ゲイン特性202を求める。   In this embodiment, instead of approximating the peripheral dimming characteristic 201, a correction gain characteristic 202 for flattening the peripheral dimming characteristic 201 is obtained as shown in FIG.

図8(b)において、補正ゲイン特性202は(式3)で近似することができる。
g=c・r^2+d・r+1 (式3)
ここで、(式3)の係数cおよびdの複数の組み合わせが予め係数テーブル125に記憶されているものとする。そして、ステップS204で求めたz0(r=0),z1(r=6),z2(r=12),z3(r=18)の4点の出力レベルの変化から、周辺減光特性201がフラットになるように補正する補正ゲインg0(r=0),g1(r=6),g2(r=12),g3(r=18)を求める。さらに、これらの離散値から補正ゲイン特性202に近くなる近似式(式3)の係数cおよびdの組み合わせを係数テーブル125から選択し、像高r=0,6,12,18の4点以外の像高位置における補正ゲインを求めるための周辺減光補正ゲインテーブルを作成する。
In FIG. 8B, the correction gain characteristic 202 can be approximated by (Equation 3).
g = c · r ^ 2 + d · r + 1 (Formula 3)
Here, it is assumed that a plurality of combinations of the coefficients c and d in (Equation 3) are stored in the coefficient table 125 in advance. Then, the peripheral dimming characteristic 201 is obtained from the change in the output level at four points z0 (r = 0), z1 (r = 6), z2 (r = 12), and z3 (r = 18) obtained in step S204. Correction gains g0 (r = 0), g1 (r = 6), g2 (r = 12), and g3 (r = 18) that are corrected to be flat are obtained. Further, a combination of the coefficients c and d of the approximate expression (Expression 3) that approximates the correction gain characteristic 202 from these discrete values is selected from the coefficient table 125, and other than the four points of the image height r = 0, 6, 12, and 18. A peripheral light reduction correction gain table for determining a correction gain at the image height position of the image is created.

(ステップS206)ゲイン制御部111は、周辺減光補正ゲインテーブルに基づいて、撮影画像の像高毎の補正処理を行う。尚、像高毎のゲインは同心円状に異なるので、二次元マトリクス状に配置された画素列をルックアップテーブルなどで同心円状の画素列に変換して補正ゲインを掛けることにより、処理を簡単にすることができる。   (Step S206) The gain control unit 111 performs correction processing for each image height of the captured image based on the peripheral light attenuation correction gain table. Since the gain for each image height differs concentrically, the processing can be simplified by converting the pixel array arranged in a two-dimensional matrix into a concentric pixel array using a lookup table and multiplying it by a correction gain. can do.

(ステップS207)ゲイン制御部111で周辺減光を補正された画像は、信号処理部112で色補間処理やγ補正処理などが行われた後、画像圧縮処理を行って記憶部113に記憶し、必要に応じて表示部114に撮影画像を表示する。   (Step S207) The image whose peripheral light is corrected by the gain control unit 111 is subjected to color interpolation processing, γ correction processing, and the like by the signal processing unit 112, and then subjected to image compression processing and stored in the storage unit 113. The captured image is displayed on the display unit 114 as necessary.

(ステップS208)撮影処理を終了する。   (Step S208) The photographing process is terminated.

このように本実施形態に係る電子カメラ100は、周辺減光レベルを補正する画像処理装置および画像処理プログラムを有するので、複雑な演算を行う必要がなく電子カメラ100でも高速処理が可能で、且つ精度良く周辺減光補正できる。装着されたレンズの周辺減光補正のための補正値がレンズまたはカメラに予め記憶されていない場合であっても、装着されたレンズの光学的情報などの汎用的なレンズ情報を用いることで周辺減光形状情報を求め、適正な周辺減光補正を行うことができる。   As described above, since the electronic camera 100 according to the present embodiment includes the image processing apparatus and the image processing program for correcting the peripheral dimming level, it is not necessary to perform complicated calculations, and the electronic camera 100 can perform high-speed processing. Peripheral dimming correction can be performed with high accuracy. Even if the correction value for the peripheral dimming correction of the mounted lens is not stored in advance in the lens or camera, it can be used by using general-purpose lens information such as optical information of the mounted lens. It is possible to obtain dimming shape information and perform appropriate peripheral dimming correction.

尚、周辺減光補正を行う電子カメラ100内の画像処理装置および画像処理プログラムは、少なくともCPU119と、周辺減光テーブル算出部124と、係数テーブル125と、ゲイン制御部111とによって構成され、図7のフローチャートに従って処理することで実現できる。また、電子カメラ100外で行う学習処理は、図4のフローチャートに従った画像処理プログラムをパソコンなどで実行することによって実現できる。   Note that an image processing apparatus and an image processing program in the electronic camera 100 that perform peripheral light attenuation correction include at least a CPU 119, a peripheral light attenuation table calculation unit 124, a coefficient table 125, and a gain control unit 111. This can be realized by processing according to the flowchart of FIG. The learning process performed outside the electronic camera 100 can be realized by executing an image processing program according to the flowchart of FIG. 4 on a personal computer or the like.

また、本実施形態では、撮像素子109が撮影した画像をA/D変換部110でA/D変換後のRAWデータを用いて周辺減光補正を行う場合について説明したが、ホワイトバランス処理,色補正処理,γ補正処理などを行った画像データや、JPEG規格などで画像圧縮された画像データなどを用いても構わない。但し、γ補正など階調変換後の画像を用いる場合は、逆γ補正によって画像データを一旦リニアな値に戻した後の画像データを用いる。リニアな値に戻した後の画像データを図1のA/D変換部110の出力画像データの代わりに用いて、本実施形態で述べたような周辺減光補正処理を行えばよい。そして、周辺減光補正後に再びγ補正や色補正処理などを行い、必要に応じてJPEG圧縮処理を施して周辺減光補正後の画像とする。尚、この場合は、撮影画像毎に撮影条件がEXIF規格の情報として記憶されているものとし、周辺減光補正する画像データを読み出す際に、その画像を撮影した時の撮影条件も読み出し、読み出された撮影条件に応じて多変量解析式を計算することによって、当該画像の周辺減光形状情報を求めることができ、周辺減光補正ゲインテーブルを作成して周辺減光を補正することができる。   In the present embodiment, the case where the image captured by the image sensor 109 is subjected to the peripheral light reduction correction using the RAW data after A / D conversion by the A / D conversion unit 110 has been described. Image data that has been subjected to correction processing, γ correction processing, or the like, or image data that has been compressed according to the JPEG standard, or the like may be used. However, when an image after gradation conversion such as γ correction is used, the image data after the image data is once returned to a linear value by inverse γ correction is used. The image data after returning to the linear value may be used in place of the output image data of the A / D converter 110 in FIG. Then, γ correction, color correction processing, and the like are performed again after the peripheral light reduction correction, and a JPEG compression process is performed as necessary to obtain an image after peripheral light attenuation correction. In this case, it is assumed that shooting conditions are stored as information of the EXIF standard for each shot image, and when reading out image data to be corrected for peripheral light reduction, the shooting conditions at the time of shooting the image are also read and read. By calculating a multivariate analysis formula according to the shooting conditions that have been issued, it is possible to obtain peripheral dimming shape information of the image, and to create a peripheral dimming correction gain table to correct the peripheral dimming it can.

このように、電子カメラ100内ではなく、電子カメラ100で撮影済みの画像に対してもパソコンなどの画像処理プログラムで図7のフローチャートに従った処理を実行することにより、周辺減光補正を行うことができる。   As described above, the peripheral dimming correction is performed by executing the processing according to the flowchart of FIG. 7 using an image processing program such as a personal computer on an image captured by the electronic camera 100 instead of in the electronic camera 100. be able to.

(第2の実施形態)
次に、第2の実施形態に係る電子カメラ100について説明する。尚、第2の実施形態に係る電子カメラ100は、本発明に係る画像処理装置の機能と画像処理プログラムの機能とを含んでいる。
(Second Embodiment)
Next, an electronic camera 100 according to the second embodiment will be described. The electronic camera 100 according to the second embodiment includes the function of the image processing apparatus and the function of the image processing program according to the present invention.

本実施形態に係る電子カメラ100は、周辺減光形状の補正の度合いを選択することができる。例えば、第1の実施形態で説明した図8において、周辺減光特性201がフラットになるように補正する補正ゲイン特性202を求めたが、図9に示すように、補正ゲイン特性202より弱い補正ゲイン特性203や、補正ゲイン特性202より強い補正ゲイン特性204を選択的に求めることができる。   The electronic camera 100 according to the present embodiment can select the degree of correction of the peripheral dimming shape. For example, in FIG. 8 described in the first embodiment, the correction gain characteristic 202 for correcting the peripheral dimming characteristic 201 to be flat is obtained. However, as shown in FIG. 9, the correction gain characteristic 202 is weaker than the correction gain characteristic 202. A gain characteristic 203 or a correction gain characteristic 204 stronger than the correction gain characteristic 202 can be selectively obtained.

例えば、撮影者は操作部123によって、周辺減光補正度合いを、「強」,「中」,「弱」,「なし」の4段階の中から選択する。撮影者が「強」を選択した場合は図9の補正ゲイン特性204を用いて周辺減光形状を補正し、撮影者が「中」を選択した場合は図9の補正ゲイン特性202を用いて周辺減光形状を補正し、撮影者が「弱」を選択した場合は図9の補正ゲイン特性203を用いて周辺減光形状を補正し、撮影者が「なし」を選択した場合は周辺減光形状の補正を行わないようにCPU119は制御する。   For example, the photographer uses the operation unit 123 to select the peripheral dimming correction degree from four levels of “strong”, “medium”, “weak”, and “none”. When the photographer selects “strong”, the peripheral dimming shape is corrected using the correction gain characteristic 204 of FIG. 9, and when the photographer selects “medium”, the correction gain characteristic 202 of FIG. 9 is used. When the peripheral dimming shape is corrected and the photographer selects “weak”, the peripheral dimming shape is corrected using the correction gain characteristic 203 of FIG. 9, and when the photographer selects “none”, the peripheral dimming shape is corrected. The CPU 119 controls not to correct the light shape.

このように、本実施形態では、周辺減光特性を必ずしもフラットに補正するのではなく、撮影者の好みに応じた補正度合いを選択することができるので、第1の実施形態の効果に加えて、多様な撮影が可能になる。   As described above, in the present embodiment, the peripheral dimming characteristic is not necessarily corrected to be flat, but a correction degree according to the photographer's preference can be selected, so in addition to the effects of the first embodiment. Various shootings are possible.

(第3の実施形態)
次に、第3の実施形態に係る電子カメラ100について説明する。本実施形態では、AEセンサ117の出力に生じる周辺減光を補正する。例えば、第1の実施形態で説明した図2の撮像面200をAEセンサ117の受光面に置き換えて考える。この場合、AEセンサ117の受光面においても、撮像素子109の撮像面200と同様に、光軸中心から像高毎に同心円状に周辺減光形状が形成される。この結果、例えば、AEセンサ117の受光面の周辺部分で部分測光を行う場合、周辺減光によって適切な測光を行うことができないという問題が生じる。
(Third embodiment)
Next, an electronic camera 100 according to a third embodiment will be described. In the present embodiment, the peripheral dimming that occurs in the output of the AE sensor 117 is corrected. For example, the imaging surface 200 in FIG. 2 described in the first embodiment is considered to be replaced with the light receiving surface of the AE sensor 117. In this case, on the light receiving surface of the AE sensor 117, similarly to the imaging surface 200 of the imaging element 109, a peripheral dimming shape is formed concentrically for each image height from the center of the optical axis. As a result, for example, when partial photometry is performed in the peripheral portion of the light receiving surface of the AE sensor 117, there is a problem that appropriate photometry cannot be performed due to peripheral dimming.

そこで、本実施形態では、図1のAEセンサ117の出力信号を受け取ったCPU119は、第1の実施形態と同様に、ゲイン制御部111と、周辺減光テーブル算出部124と、係数テーブル125とで構成される画像処理装置および画像処理プログラムと同じ処理行うことによって、AEセンサ117の受光面で生じる周辺減光を補正する。   Therefore, in the present embodiment, the CPU 119 that has received the output signal of the AE sensor 117 in FIG. 1, as in the first embodiment, the gain control unit 111, the peripheral light attenuation table calculation unit 124, the coefficient table 125, By performing the same processing as the image processing apparatus and the image processing program configured as described above, the peripheral light reduction generated on the light receiving surface of the AE sensor 117 is corrected.

このように、本実施形態に係る電子カメラ100は、AEセンサ117の受光面における周辺減光レベルを補正する画像処理装置および画像処理プログラムを有するので、複雑な演算を行う必要がなく電子カメラ100でも高速処理が可能で、且つ精度良く周辺減光形状を補正でき、新しいレンズが装着された場合でも撮影条件の組み合わせから適正な周辺減光補正を行うことができる。この結果、適正な露出制御を行うことが可能になる。   As described above, since the electronic camera 100 according to the present embodiment includes the image processing apparatus and the image processing program for correcting the peripheral light attenuation level on the light receiving surface of the AE sensor 117, the electronic camera 100 does not need to perform complicated calculations. However, it is possible to perform high-speed processing and accurately correct the peripheral dimming shape, and even when a new lens is attached, appropriate peripheral dimming correction can be performed from a combination of photographing conditions. As a result, appropriate exposure control can be performed.

以上、各実施形態で説明してきたように、本発明に係る画像処理装置および画像処理プログラムを用いた電子カメラ100は、予め様々な撮影条件での周辺減光形状情報を多変量解析式を用いて予測した多変量解析式の係数を記憶しているので、撮影条件に応じた周辺減光形状情報を簡単な計算式で求めることができ、精度良く周辺減光形状を補正することができる。特に、新しいレンズが装着された場合でも撮影条件の組み合わせから最適な周辺減光形状情報を求め、撮影画像の周辺減光補正を行うことができる。   As described above in each embodiment, the electronic camera 100 using the image processing apparatus and the image processing program according to the present invention uses the multivariate analysis formulas for the peripheral dimming shape information under various shooting conditions in advance. Since the coefficients of the multivariate analysis formula predicted in the above are stored, the peripheral dimming shape information corresponding to the photographing conditions can be obtained by a simple calculation formula, and the peripheral dimming shape can be corrected with high accuracy. In particular, even when a new lens is attached, it is possible to obtain optimum peripheral dimming shape information from a combination of photographing conditions and perform peripheral dimming correction on the photographed image.

尚、各実施形態において、電子カメラ100外の画像処理装置および画像処理プログラムで実行する学習処理は、レンズ情報やカメラ制御情報などからなる複数の撮影条件を用いて像高毎に多変量解析を行うこととしたが、多変量解析の変数として像高を加えて学習処理を行っても構わない。この場合は、像高別に多変量解析式の係数が求まるのではなく、像高も含めた多変量解析式の係数が求まるので、一度に周辺減光形状情報を求めることができ、記憶すべき係数の数も少なくなるので、処理の高速化や記憶容量の削減を行うことができる。   In each embodiment, the learning process executed by the image processing apparatus and the image processing program outside the electronic camera 100 performs multivariate analysis for each image height using a plurality of shooting conditions including lens information and camera control information. However, the learning process may be performed by adding the image height as a variable for multivariate analysis. In this case, the coefficient of the multivariate analytical expression including the image height is obtained, not the coefficient of the multivariate analytical expression for each image height, so the peripheral dimming shape information can be obtained at one time and should be stored. Since the number of coefficients is also reduced, the processing speed can be increased and the storage capacity can be reduced.

各実施形態に係る電子カメラ100のブロック図である。1 is a block diagram of an electronic camera 100 according to each embodiment. 周辺減光形状を説明するための説明図である。It is explanatory drawing for demonstrating a periphery dimming shape. 周辺減光に関連する撮影条件の一例を示す説明図である。It is explanatory drawing which shows an example of the imaging | photography conditions relevant to a peripheral light reduction. 学習処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a learning process. 角度をパラメータとする場合の様子を示す説明図である。It is explanatory drawing which shows a mode in case an angle is used as a parameter. 撮影条件による予測結果と実測値との関係を示す説明図である。It is explanatory drawing which shows the relationship between the prediction result by imaging | photography condition, and a measured value. 撮影処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an imaging | photography process. 周辺減光特性および補正ゲイン特性の一例を示す説明図である。It is explanatory drawing which shows an example of a peripheral light attenuation characteristic and a correction gain characteristic. 第2の実施形態の一例を示す説明図である。It is explanatory drawing which shows an example of 2nd Embodiment.

符号の説明Explanation of symbols

100・・・電子カメラ 101・・・カメラ本体
102・・・撮影レンズ 103・・・レンズマウント
104・・・レンズ光学系 105・・・絞り
106・・・エンコーダ 107・・・ROM
104a・・・前玉レンズ 104b・・・後玉レンズ
108・・・メカニカルシャッター 109・・・撮像素子
110・・・A/D変換部 111・・・ゲイン制御部
112・・・信号処理部 113・・・記憶部
114・・・表示部 115・・・ミラーユニット
116・・・ビューファインダ 117・・・AEセンサ
118・・・AFセンサ 119・・・CPU
120・・・絞り制御部 121・・・レンズ制御部
122・・・シャッタ制御部 123・・・操作部
124・・・周辺減光テーブル算出部
125・・・係数テーブル 115a・・・メインミラー
115b・・・サブミラー 115c・・・回転機構
DESCRIPTION OF SYMBOLS 100 ... Electronic camera 101 ... Camera body 102 ... Shooting lens 103 ... Lens mount 104 ... Lens optical system 105 ... Aperture 106 ... Encoder 107 ... ROM
104a, front lens 104b, rear lens 108, mechanical shutter 109, image sensor 110, A / D conversion unit 111, gain control unit 112, signal processing unit 113 ... Storage unit 114 ... Display unit 115 ... Mirror unit 116 ... Viewfinder 117 ... AE sensor 118 ... AF sensor 119 ... CPU
DESCRIPTION OF SYMBOLS 120 ... Diaphragm control part 121 ... Lens control part 122 ... Shutter control part 123 ... Operation part 124 ... Peripheral light reduction table calculation part 125 ... Coefficient table 115a ... Main mirror 115b ... Submirror 115c ... Rotation mechanism

Claims (7)

レンズ光学系を介して撮影する画像の周辺減光補正を行う画像処理装置であって、
前記レンズ光学系のレンズ情報を含む複数の撮影条件を基に各像高における前記レンズ光学系の周辺減光形状情報の予測値を算出する予測式の係数を前記複数の撮影条件毎に対応させて予め記憶された記憶部と、
画像撮影時のレンズ情報を含む複数の撮影条件を取得する撮影条件取得部と、
前記撮影条件取得部が取得した撮影条件毎に対応する前記予測式の係数を前記記憶部から読み出して、前記予測式により像高毎に周辺減光を補正するゲイン値を求め、前記ゲイン値を基に前記レンズ光学系を介して撮影する画像を補正する画像補正部と、
周辺減光形状の補正の度合いが異なる複数の補正度合いのいずれか1つを選択する操作部と
前記操作部により選択された前記補正度合いに基づいて前記ゲイン値から周辺減光補正ゲインテーブルを作成する周辺減光補正ゲインテーブル作成部と
を有し、
前記画像補正部は、前記周辺減光補正ゲインテーブルの補正ゲインで、前記レンズ光学系を介して撮影する画像を補正する
ことを特徴とする画像処理装置。
An image processing apparatus that performs peripheral dimming correction of an image shot through a lens optical system,
Based on a plurality of imaging conditions including lens information of the lens optical system, a coefficient of a prediction formula for calculating a predicted value of peripheral dimming shape information of the lens optical system at each image height is associated with each of the plurality of imaging conditions. A storage unit stored in advance,
A shooting condition acquisition unit for acquiring a plurality of shooting conditions including lens information at the time of image shooting;
The coefficient of the prediction formula corresponding to each imaging condition acquired by the imaging condition acquisition unit is read from the storage unit, a gain value for correcting peripheral light attenuation is obtained for each image height by the prediction formula, and the gain value is calculated. An image correction unit that corrects an image captured through the lens optical system,
An operation unit that selects any one of a plurality of correction degrees with different degrees of correction of the peripheral dimming shape ;
A peripheral dimming correction gain table creating unit that creates a peripheral dimming correction gain table from the gain value based on the correction degree selected by the operation unit ;
The image processing apparatus, wherein the image correction unit corrects an image captured through the lens optical system with a correction gain of the peripheral light attenuation correction gain table.
請求項1に記載の画像処理装置において、
前記記憶部に記憶された前記予測式の係数は、
複数のレンズ光学系のレンズ情報を含む複数の撮影条件別に測定した実測値を用いて、多変量解析によって予め算出される
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The coefficient of the prediction formula stored in the storage unit is
An image processing apparatus characterized in that it is calculated in advance by multivariate analysis using measured values measured for a plurality of photographing conditions including lens information of a plurality of lens optical systems.
請求項2に記載の画像処理装置において、
前記記憶部に記憶された前記予測式の係数は、
複数のレンズ光学系のレンズ情報を含む複数の撮影条件別に撮影した画像データを前記撮影条件に対応させて前記記憶部に予め記憶しておく処理と、
前記画像データを前記記憶部から読み出して前記撮影条件毎に像高毎の出力レベルを実測する処理と、
像高別に複数の撮影条件毎の実測値を用いて多変量解析によって係数を算出する処理と
からなる学習処理によって求められ、係数テーブルとして像高毎に前記記憶部に記憶される
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 2,
The coefficient of the prediction formula stored in the storage unit is
A process of storing in advance in the storage unit image data photographed according to a plurality of photographing conditions including lens information of a plurality of lens optical systems, corresponding to the photographing conditions;
A process of reading the image data from the storage unit and actually measuring an output level for each image height for each shooting condition;
It is obtained by a learning process including a process for calculating coefficients by multivariate analysis using measured values for a plurality of photographing conditions for each image height, and is stored in the storage unit as a coefficient table for each image height. An image processing apparatus.
請求項2または3に記載の画像処理装置において、
前記多変量解析は重回帰分析であることを特徴とする画像処理装置。
The image processing apparatus according to claim 2 or 3,
The image processing apparatus according to claim 1, wherein the multivariate analysis is a multiple regression analysis.
請求項1乃至4のいずれか一項に記載の画像処理装置において、
前記予測式は1次式であることを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 4,
The image processing apparatus according to claim 1, wherein the prediction formula is a linear formula.
請求項1乃至5のいずれか一項に記載の画像処理装置において、
前記画像補正部により補正された画像を用いて、被写体輝度を算出することを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 5,
An image processing apparatus that calculates subject luminance using an image corrected by the image correction unit.
レンズ光学系を介して撮影する画像の周辺減光補正を行う画像処理プログラムであって、
前記レンズ光学系のレンズ情報を含む複数の撮影条件を基に各像高における前記レンズ光学系の周辺減光形状情報の予測値を算出する予測式の係数を前記複数の撮影条件毎に対応させて予め記憶部に記録する記憶手順と、
画像撮影時のレンズ情報を含む複数の撮影条件を取得する撮影条件取得手順と、
前記撮影条件取得部が取得した撮影条件毎に対応する前記予測式の係数を前記記憶部から読み出して、前記予測式により像高毎に周辺減光を補正するゲイン値を求め、前記ゲイン値を基に前記レンズ光学系を介して撮影する画像を補正する画像補正手順と、
周辺減光形状の補正の度合いが異なる複数の補正度合いのいずれか1つを選択する操作手順と
前記操作手順により選択された前記補正度合いに基づいて前記ゲイン値から周辺減光補正ゲインテーブルを作成する周辺減光補正ゲインテーブル作成手順と
を有し、
前記画像補正手順は、前記周辺減光補正ゲインテーブルの補正ゲインで、前記レンズ光学系を介して撮影する画像を補正する処理を行う
ことを特徴とする画像処理プログラム。
An image processing program for performing peripheral light reduction correction of an image taken through a lens optical system,
Based on a plurality of imaging conditions including lens information of the lens optical system, a coefficient of a prediction formula for calculating a predicted value of peripheral dimming shape information of the lens optical system at each image height is associated with each of the plurality of imaging conditions. Storage procedure to be recorded in advance in the storage unit,
Shooting condition acquisition procedure for acquiring a plurality of shooting conditions including lens information at the time of image shooting,
The coefficient of the prediction formula corresponding to each imaging condition acquired by the imaging condition acquisition unit is read from the storage unit, a gain value for correcting peripheral light attenuation is obtained for each image height by the prediction formula, and the gain value is calculated. An image correction procedure for correcting an image shot through the lens optical system,
An operation procedure for selecting any one of a plurality of correction degrees having different degrees of correction of the peripheral dimming shape ;
A peripheral dimming correction gain table creating procedure for creating a peripheral dimming correction gain table from the gain value based on the correction degree selected by the operation procedure ,
The image processing program is characterized in that the image correction procedure performs a process of correcting an image photographed through the lens optical system with a correction gain of the peripheral light attenuation correction gain table.
JP2008083738A 2008-03-27 2008-03-27 Image processing apparatus and image processing program Expired - Fee Related JP5251203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008083738A JP5251203B2 (en) 2008-03-27 2008-03-27 Image processing apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008083738A JP5251203B2 (en) 2008-03-27 2008-03-27 Image processing apparatus and image processing program

Publications (2)

Publication Number Publication Date
JP2009239667A JP2009239667A (en) 2009-10-15
JP5251203B2 true JP5251203B2 (en) 2013-07-31

Family

ID=41253082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008083738A Expired - Fee Related JP5251203B2 (en) 2008-03-27 2008-03-27 Image processing apparatus and image processing program

Country Status (1)

Country Link
JP (1) JP5251203B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248547B2 (en) * 2013-10-31 2017-12-20 リコーイメージング株式会社 Imaging device, image correction device, software, and image correction method
JP2015109582A (en) * 2013-12-05 2015-06-11 三星電子株式会社Samsung Electronics Co.,Ltd. Image processing device and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235932A (en) * 2003-01-30 2004-08-19 Nikon Corp Image processor and image processing program
JP2006157457A (en) * 2004-11-29 2006-06-15 Canon Inc Imaging apparatus, imaging method and imaging program
JP2006270919A (en) * 2005-02-25 2006-10-05 Ricoh Co Ltd Image correcting method, photographing apparatus, image correcting apparatus, program and recording medium

Also Published As

Publication number Publication date
JP2009239667A (en) 2009-10-15

Similar Documents

Publication Publication Date Title
US8531583B2 (en) Image capturing apparatus and image processing method
JP4979482B2 (en) Imaging apparatus and image signal processing program
JP4858263B2 (en) 3D measuring device
US20080043126A1 (en) Image pickup apparatus and method and apparatus for manufacturing the same
WO2014171304A1 (en) Imaging device, imaging device drive method, and imaging device control program
JP4700993B2 (en) Imaging device
JP2014006388A (en) Imaging apparatus, and its control method and program
JP5586796B2 (en) Imaging device, control method thereof, interchangeable lens and interchangeable lens imaging device body
JP2000324505A (en) Image input device and lens for exchange
JP4863441B2 (en) Imaging apparatus and control method thereof
JP5560766B2 (en) Image processing apparatus, imaging apparatus, and program
JP5251203B2 (en) Image processing apparatus and image processing program
JP5173664B2 (en) Image processing apparatus and image processing method
JP4229053B2 (en) IMAGING DEVICE, IMAGING METHOD, AND PROGRAM FOR IMAGING PROCESS
JP2013247435A (en) Imaging device
JP6576114B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5444928B2 (en) Photometric device and imaging device
JP2012168429A (en) Image pickup apparatus
JP5409050B2 (en) Information processing apparatus, photographing apparatus, and control method for information processing apparatus
JP6395790B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND FOCUS CONTROL PROGRAM
JP5755311B2 (en) Information processing apparatus, photographing apparatus, and control method for information processing apparatus
JP6573382B2 (en) Imaging apparatus and photometric method
JP6272006B2 (en) Imaging apparatus, image processing method, and program
JP5597273B2 (en) Imaging apparatus and image processing method
JP5942755B2 (en) Image processing circuit, image processing method, and imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Ref document number: 5251203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees