JP6381351B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP6381351B2 JP6381351B2 JP2014160796A JP2014160796A JP6381351B2 JP 6381351 B2 JP6381351 B2 JP 6381351B2 JP 2014160796 A JP2014160796 A JP 2014160796A JP 2014160796 A JP2014160796 A JP 2014160796A JP 6381351 B2 JP6381351 B2 JP 6381351B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- image sensor
- image
- frequency
- cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
従来の撮像素子では、フォトダイオードに蓄積された電荷を読出し回路で電気信号に変換し、変換した電気信号を増幅して出力している。この過程において、撮像素子では、画質を悪化させる要因となるノイズが発生してしまう。代表的なものとして、画素の読出し回路でのリセットノイズや、読出し回路を構成する部品のばらつきに起因するノイズ、画素部で発生する暗電流によるノイズが知られている。 In a conventional imaging device, charges accumulated in a photodiode are converted into an electric signal by a readout circuit, and the converted electric signal is amplified and output. In this process, noise that causes a deterioration in image quality occurs in the image sensor. As a typical example, reset noise in a pixel readout circuit, noise due to variations in components constituting the readout circuit, and noise due to dark current generated in a pixel portion are known.
これらのノイズを低減するために、以下のように電荷を読出す撮像素子が知られている。まず、フォトダイオードから電荷を読み出す前に、フォトダイオードを除いた画素内の後段の回路及び、画素の読出し回路をリセットし、このリセット動作時に生じるノイズ成分(N信号)を読み出す。次に、フォトダイオードに蓄積された電荷(S信号)を、画素内の後段の回路に転送して読み出す。そして、読出したS信号からN信号を減算することで(以下、「S−N動作」と呼ぶ。)、ノイズ成分を除去する。 In order to reduce these noises, an image sensor that reads out charges as described below is known. First, before reading out the charge from the photodiode, the subsequent circuit in the pixel excluding the photodiode and the pixel readout circuit are reset, and the noise component (N signal) generated during the reset operation is read out. Next, the charge (S signal) accumulated in the photodiode is transferred to a subsequent circuit in the pixel and read out. Then, the noise component is removed by subtracting the N signal from the read S signal (hereinafter referred to as “S-N operation”).
しかしながら、N信号とS信号ではサンプリングタイミングが異なるため、撮像素子の画像読出し期間に、周期的なノイズが撮像素子へ供給される電源ラインやグラウンドラインに重畳すると、S−N動作により画像に縞状のノイズが発生することが知られている。これは、画像読出し時に電源の変動によりN信号とS信号の転送時の基準電圧に差が出ると、S−N動作を行った際、この差が画像の出力信号のオフセットとなるためである。読出しは1行単位で行われるので、オフセットが読み出す行によって異なると、それが画像に横縞状のパターンノイズ(横縞)となって現れる。 However, since the sampling timing differs between the N signal and the S signal, if periodic noise is superimposed on the power supply line or ground line supplied to the image sensor during the image reading period of the image sensor, the image is striped by the SN operation. It is known that noise of the shape occurs. This is because if a difference occurs in the reference voltage when transferring the N signal and the S signal due to fluctuations in the power supply during image reading, this difference becomes an offset of the output signal of the image when the SN operation is performed. . Since reading is performed in units of one line, if the offset differs depending on the line to be read, it appears as horizontal stripe pattern noise (horizontal stripes) in the image.
この様な画像に発生する横縞を補正するために、画像信号を出力する遮光されていない画素領域の他に、遮光されている画素領域である水平オプティカルブラック(HOB)領域の出力を用いて補正する方法が知られている。例えば、HOB領域では、行方向に平均値を算出してオフセット分を抽出し、このオフセット値を列方向に複数行分の移動平均したものを補正値として生成する。このようにして生成された補正値を画像の出力信号から減算することで、オフセット成分を補正し、横縞ノイズを補正することができる。 In order to correct the horizontal stripes generated in such an image, correction is performed by using the output of the horizontal optical black (HOB) area, which is a light-shielded pixel area, in addition to the non-light-shielded pixel area for outputting an image signal. How to do is known. For example, in the HOB area, an average value is calculated in the row direction to extract an offset, and a value obtained by moving and averaging the offset value for a plurality of rows in the column direction is generated as a correction value. By subtracting the correction value thus generated from the output signal of the image, the offset component can be corrected and the horizontal stripe noise can be corrected.
このようにHOB領域からの信号を用いた補正は、HOB領域のランダムノイズや微小傷の影響により、過補正や誤補正にならないように、補正値にある程度の移動平均フィルタをかけて補正を行う必要がある。このため、低周波の横縞除去には効果のある補正であるが、高周波の横縞は完全に除去することができない。したがって、横縞を発生させるノイズの周波数によっては前述の補正では充分な効果が得られない場合がある。 As described above, the correction using the signal from the HOB area is performed by applying a certain moving average filter to the correction value so as not to be overcorrected or erroneously corrected due to the influence of random noise or micro-scratches in the HOB area. There is a need. For this reason, although correction is effective for removing low-frequency horizontal stripes, high-frequency horizontal stripes cannot be completely removed. Therefore, depending on the frequency of noise that generates horizontal stripes, the above correction may not provide a sufficient effect.
例えば、ノイズ源となる撮像素子に供給される電源の電源駆動用の発振回路周波数が温度変化の影響等で変動してしまうと、撮像素子の基準電圧のノイズの周波数も変動してしまう。ノイズの周波数の変動により画像に発生する横縞の周波数が高周波側に変化した場合、横縞が残ってしまう場合がある。 For example, if the frequency of an oscillation circuit for driving a power source supplied to an image sensor serving as a noise source fluctuates due to a change in temperature or the like, the noise frequency of the reference voltage of the image sensor also varies. When the frequency of the horizontal stripes generated in the image changes to the high frequency side due to the fluctuation of the noise frequency, the horizontal stripes may remain.
これに対し、特許文献1では、記録画像取得用の第一の撮像素子とは別に構成された第二の撮像素子の出力を用いて、記録画像に出現するノイズを検出する方法が提案されている。第一の撮像素子の出力と第二の撮像素子の出力とを比較し、第一の撮像素子の表面にゴミが付着しているか否かを判断している。
On the other hand,
しかしながら、特許文献1で開示されているノイズ検出方法では、横縞の原因となるノイズの周波数を特定することはできない。
However, the noise detection method disclosed in
撮像装置の外部のノイズ源から入ってくるノイズとしては、特定のレンズやアクセサリ内部に備えられたアクチュエータや電源回路から発生する磁気ノイズや電波ノイズ等がある。ノイズの周波数を直接検出する機構が撮像装置内部に無いこれらのノイズに対して、横縞が発生している画像出力からノイズの周波数を算出する方法がある。 Noise coming from a noise source outside the imaging apparatus includes magnetic noise and radio wave noise generated from an actuator or power supply circuit provided in a specific lens or accessory. For those noises that do not have a mechanism for directly detecting the noise frequency in the imaging apparatus, there is a method of calculating the noise frequency from the image output in which horizontal stripes are generated.
しかしながら、この方法では記録画像を撮影する前に一度、撮像素子を駆動させる必要があり、1枚目の画像では横縞が発生してしまう。また、ノイズの周波数の検出のために通常より1回多く撮像素子を駆動させる必要があるため、周波数検出を実施しない場合に比べ時間と消費電力が増加する。加えて、検出することが可能なノイズの周波数の上限が磁気ノイズより低く、正確にノイズの周波数を検出することができない場合がある。 However, with this method, it is necessary to drive the image sensor once before taking a recorded image, and horizontal stripes are generated in the first image. Further, since it is necessary to drive the image sensor once more than usual for detection of noise frequency, time and power consumption increase as compared with the case where frequency detection is not performed. In addition, the upper limit of the noise frequency that can be detected is lower than the magnetic noise, and the noise frequency may not be detected accurately.
本発明は上記問題点を鑑みてなされたものであり、撮影時間を増大すること無く、画像信号に重畳するノイズの周波数を検出できるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to detect the frequency of noise superimposed on an image signal without increasing the photographing time.
上記目的を達成するために、本発明の撮像装置は、被写体の光学像を画像信号に変換して出力する第1の撮像素子と、予め決められた駆動周期で各走査線を走査する、前記第1の撮像素子と異なる第2の撮像素子と、前記第2の撮像素子から出力された信号と、前記予め決められた駆動周期とから、前記第2の撮像素子から出力された信号に重畳したノイズの周波数を検出する検出手段と、前記検出手段により検出されたノイズの周波数に基づいて、前記第1の撮像素子の各走査線を走査する駆動周期を設定する設定手段とを有し、ノイズによって前記走査線に対して垂直な方向に発生する前記第1の撮像素子の出力の変動の周期が、前記ノイズの周波数と前記第1の撮像素子の各走査線を走査する駆動周期とに応じて変化し、前記設定手段は、前記変動の周期が予め決められた周期よりも大きくなる駆動周期を求めて設定する。 In order to achieve the above object, an imaging apparatus of the present invention scans each scanning line with a first imaging element that converts an optical image of a subject into an image signal and outputs the image signal, and a predetermined driving cycle. A second image sensor different from the first image sensor, a signal output from the second image sensor, and a predetermined drive cycle are superimposed on the signal output from the second image sensor. Detecting means for detecting the frequency of the noise, and setting means for setting a driving cycle for scanning each scanning line of the first image sensor based on the noise frequency detected by the detecting means, The fluctuation cycle of the output of the first image sensor that occurs in the direction perpendicular to the scanning line due to noise is the frequency of the noise and the driving period for scanning each scanning line of the first image sensor. Change according to the setting means , It sets seeking driving cycle period of the fluctuation becomes larger than a predetermined period.
本発明によれば、撮影時間を増大すること無く、画像信号に重畳するノイズの周波数を検出できるようにすることができる。 According to the present invention, it is possible to detect the frequency of noise superimposed on an image signal without increasing the shooting time.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
<第1の実施形態>
図1は、本発明の第1の実施形態に係る撮像装置100の概略構成を示すブロック図である。図1において、周知の撮影用レンズ(以下、単に「レンズ」と呼ぶ。)101には不図示のモータが備えられ、焦点を合わせることにより、撮像素子102の受光面に被写体の光学像を結像させる。撮像素子102は、レンズ101により結像された被写体の光学像を画像信号として取り込み、後述するノイズ除去処理してから出力する。
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of an
ここで、撮像素子102の構成について説明する。図2に示すように、撮像素子102の画素領域200は2次元状に配列された複数の画素から成り、露光される領域である有効画素領域201と、遮光された領域である水平オプティカルブラック(HOB)領域202(遮光領域)とに分かれている。
Here, the configuration of the
図3は、第1の実施形態における撮像素子102の1画素及び読出し回路の概略等価回路図を示す。画素301は、フォトダイオード(PD)302、転送スイッチ303、フローティングディフュージョン部(FD)304、増幅トランジスタ305、リセットスイッチ306、選択スイッチ307を含む。画素301から読出された信号は、垂直出力線308を介して、読出し回路に入力される。垂直出力線308には定電流源309が接続されている。
FIG. 3 is a schematic equivalent circuit diagram of one pixel of the
読出し回路は、クランプコンデンサ310、読出し回路をリセットするためのリセット電源に接続するためのリセットスイッチ311、容量CTN及びCTS、容量CTN及びCTSへの書き込みを制御するスイッチ312及び313を含む。更に、容量CTN及びCTSに書き込まれた信号を差動アンプ320へ転送するためのスイッチ314及び315を含む。なお、読出し回路は、同じ列に配列された複数の画素により共有される。
The read circuit includes a
図4は、図3に示す構成を有する画素及び読出し回路における、通常の1画素分の読出し動作を示すタイミングチャートである。ここでは、予め決められた露光時間が終了して、PD302に電荷が蓄積されているものとする。時刻t1において、水平同期信号SYNCが立ち上がるとともに、選択された行(走査線)の制御信号φSELがLからHとなる。これにより選択された行の選択スイッチ307がオンし、選択された行の画素を走査して得られた信号を垂直出力線308に出力することが可能となる。
FIG. 4 is a timing chart showing a normal readout operation for one pixel in the pixel and readout circuit having the configuration shown in FIG. Here, it is assumed that a predetermined exposure time has ended and charges are accumulated in the
時刻t2では、リセットパルス信号φRESがLからHとなり、リセットスイッチ306がオンし、FD304の電位がリセットされる。時刻t3には、リセットパルス信号φRESがHからLとなり、リセットスイッチ306がオフし、FD304のリセットが解除される。このときのFD304の電位は、垂直出力線308に増幅トランジスタ305を介してノイズ成分(N信号)として読み出され、クランプコンデンサ310に入力される。時刻t4で制御信号φTN1をHにしてスイッチ312をオンして、クランプされたN信号を容量CTNへ書き込む。その後、時刻t5で制御信号φTN1をLとしてスイッチ312をオフし、容量CTNへのN信号の書き込みを終了する。
At time t2, the reset pulse signal φRES changes from L to H, the
次に、時刻t6で制御信号φTS1をHとし、スイッチ313をオンにして、容量CTSに信号を書き込み可能な状態とする。続いて、時刻t7で転送パルス信号φTXをHとして、PD302に蓄積された電荷(S信号)をFD304へ読み出す。そして、時刻t8で転送パルス信号φTXをLとする。これにより、FD304には、S信号にノイズ成分が重畳した信号(S+N信号)が保持されることになる。FD304に保持されたS+N信号は、増幅トランジスタ305により電圧に変換されて垂直出力線308に現れ、クランプコンデンサ310によりクランプされた後、容量CTSに書き込まれる。時刻t9で制御信号φTS1をHからLに切り替えてスイッチ313をオフし、容量CTSへの書き込みを終了する。ここまでの動作で、容量CTNにはN信号が、また、容量CTSには、S+N信号が保持される。
Next, at time t6, the control signal φTS1 is set to H, the
そして、時刻t10で、φTS2及びφTN2を同時にオンすることで、容量CTN及び容量CTSに保持されたN信号及びS+N信号が同時に差動アンプ320に出力され、その差分であるS信号が出力される(S−N動作)。時刻t11で、φTS2及びφTN2をオフにすると共に、制御信号φSELをHからLとして、選択スイッチ307をオフし、選択された行の画素の読み出しを終了する。このように差分動作を行うことにより、画素や読出し回路毎に異なるノイズを撮像動作毎に除去し、画像に発生するノイズを低減させることができる。
At time t10, φTS2 and φTN2 are simultaneously turned on, so that the N signal and the S + N signal held in the capacitor CTN and the capacitor CTS are simultaneously output to the
図1の説明に戻り、A/D変換部103は、撮像素子102から出力される画像信号のアナログ−デジタル変換を行う。信号処理部104は、A/D変換部103より出力された画像データに対して、各種補正やデータの圧縮等を行う。また、信号処理部104は、図2に示す撮像素子102のHOB領域202から得られる信号を用いて、垂直方向のシェーディング(オフセット)を取得する。そして、垂直方向に複数画素単位で移動平均演算を行って補正値を算出し、算出した補正値を有効画素領域201の画素の出力信号から減算することにより、横縞の補正を行う。
Returning to the description of FIG. 1, the A /
タイミング発生部113は、撮像素子102、A/D変換部103、信号処理部104に各種駆動タイミングパルスを出力する。画像処理部105は、信号処理部104から出力された画像信号に対して、所定の画素補間処理や色変換処理を行うとともに、必要に応じて撮像した画像データを用い、所定の演算処理を行う。また、画像処理部105では横縞強度の検出及びノイズの周波数の算出も実施する。ここで、横縞強度とは、例えば、横縞の振幅の最大値で判断する。メモリ部107は画像データを一時的に記憶する。
The
全体制御部106は撮像装置100全体を制御する。記録媒体109は画像データを記録するための着脱可能な半導体メモリ等からなる。フラッシュ発光部111はAF補助光の投光やフラッシュ調光を行う。電源部115は電池などから供給された電圧を所望の電圧に変換するDC−DCコンバータ回路を介し、必要な電圧を、必要な期間、各部に供給する。表示部108は、例えばTFT方式のLCDからなる。
The
116はAEセンサであり、撮像素子102と画素数が異なるが同様の構造をしている。このAEセンサ116の出力を用いて光源の明るさ、色を検出することができる。また、AEセンサ116と撮像素子102は1行の画素数が異なるため、HD期間は異なる。図5に撮像素子102とAEセンサ116の仕様を示す。撮像素子102には、水平方向に6000画素、垂直方向に4000画素が配列されており、AEセンサ116には、水平方向に400画素、垂直方向に300画素が配列されている。また、撮像素子102の1行分(6000画素)を読出すのにかかるHD期間TH1(駆動周期)が、30μsecであるものとする。一方、AEセンサ116は1行の画素数が400画素で、撮像素子102の1/15であるため、撮像素子102とAEセンサ116の読出し動作のクロック周波数を同じとすると、HD期間TH2(駆動周期)は2μsecとなる。
次に、ノイズと画像に現れる横縞との関係について説明する。図6は、第1の実施形態に関わる、画像読出し時に撮像素子102の基準電圧に周期的なノイズが混入した際のS−N動作で生じるオフセット成分について示す。撮像素子102では、上述したように、N信号を読み出すタイミングと、S+N信号を読出すタイミングが異なるため(Δt)、読み出し時に基準電圧の変動があると、行毎に出力信号にオフセットが生じる。このオフセットによって画像に周期的な横縞(信号の強度の周期的な変動)が生じる。
Next, the relationship between noise and horizontal stripes appearing in the image will be described. FIG. 6 shows an offset component generated in the SN operation when periodic noise is mixed in the reference voltage of the
このようなS−N動作時に正弦波状のノイズが重畳した時の横縞Yは、次式によって表すことができる。 The horizontal stripe Y when the sinusoidal noise is superimposed during such SN operation can be expressed by the following equation.
上記の式(1)のうち、画像に発生する横縞の周波数は、第2項の
In the above equation (1), the frequency of the horizontal stripes generated in the image is the second term.
によって定まる。つまり、ノイズの周波数fと1行読出し周期(HD期間)THによって、横縞の周波数は変化する。また、式(2)から、画像の横縞の周波数は、周波数fの正弦波をHD期間THの逆数fh=1/THでサンプリングした場合と等しくなるということが言える。
なお、サンプリング定理によりナイキスト周波数fh/2よりも高い周波数は折り返される。
It depends on. That is, the frequency of the horizontal stripes varies depending on the noise frequency f and the one-row readout cycle (HD period) TH. Further, from the equation (2), it can be said that the frequency of the horizontal stripe of the image is equal to the case where the sine wave of the frequency f is sampled at the reciprocal f h = 1 / TH of the HD period TH.
Note that a frequency higher than the Nyquist frequency f h / 2 is folded by the sampling theorem.
具体例を図7を参照して説明する。図7はノイズの周波数と1行読出し周期(HD期間)及び、発生する横縞の関係を示す概念図である。図7(a)はノイズの周波数が撮像素子のHD期間の2倍の逆数より小さい場合を示した図である。図7(b)はノイズの周波数がHD期間の2倍の逆数以上の場合を示した図である。 A specific example will be described with reference to FIG. FIG. 7 is a conceptual diagram showing the relationship between noise frequency, one-row readout cycle (HD period), and generated horizontal stripes. FIG. 7A shows a case where the noise frequency is smaller than the reciprocal of twice the HD period of the image sensor. FIG. 7B is a diagram illustrating a case where the noise frequency is equal to or greater than the inverse of twice the HD period.
画像出力はノイズの周波数をHD期間の逆数の周波数でサンプリングしたものである。したがって、図7(a)で示している通り、サンプリング定理よりノイズの周波数がHD期間の2倍の逆数より小さい場合には、ノイズの周波数と、画像の横縞周波数が一対一で対応するため、横縞周波数からノイズの周波数を検出することができる。一方、図7(b)で示している通り、ノイズの周波数がHD期間の2倍の逆数より大きい場合にはエイリアシングが発生し、横縞周波数からノイズの周波数を正確に検出することができない。 The image output is obtained by sampling the frequency of noise at the reciprocal frequency of the HD period. Therefore, as shown in FIG. 7A, when the noise frequency is smaller than the inverse of twice the HD period according to the sampling theorem, the noise frequency and the horizontal stripe frequency of the image correspond one-to-one. The frequency of noise can be detected from the horizontal stripe frequency. On the other hand, as shown in FIG. 7B, when the noise frequency is larger than the inverse of twice the HD period, aliasing occurs, and the noise frequency cannot be accurately detected from the horizontal stripe frequency.
従って、横縞の周波数は次式(3)により求めることができる。 Therefore, the frequency of the horizontal stripe can be obtained by the following equation (3).
また、サンプリング定理よりノイズの周波数fとHD期間THの関係が以下に示す式(4)のようであれば、画像の横縞の周波数とノイズの周波数fは一対一で対応する。
f < 1 / (2×TH) …(4)
If the relationship between the noise frequency f and the HD period TH is expressed by the following equation (4) based on the sampling theorem, the horizontal stripe frequency of the image and the noise frequency f have a one-to-one correspondence.
f <1 / (2 × TH) (4)
以上説明したように、ノイズと画像に現れる横縞の関係はノイズの周波数fとHD期間THの関係により変化し、ノイズの周波数fとHD期間THの関係が式(4)を満足する場合は画像に現れる横縞の周波数からノイズの周波数fを算出可能であることが分かる。また、ノイズの周波数fとHD期間THの関係が式(4)を満足しない場合には、画像に現れる横縞の周波数はノイズの周波数fと一致しないことが分かる。つまり、ノイズの周波数とHD期間THの関係が式(4)を満足するようにHD期間TH(第1の駆動周期)を設定することにより、画像に現れる横縞からノイズの周波数を検出することが可能である。 As described above, the relationship between the noise and the horizontal stripes appearing in the image changes depending on the relationship between the noise frequency f and the HD period TH, and when the relationship between the noise frequency f and the HD period TH satisfies Expression (4), the image It can be seen that the noise frequency f can be calculated from the frequency of the horizontal stripes appearing in FIG. In addition, when the relationship between the noise frequency f and the HD period TH does not satisfy Expression (4), it can be seen that the frequency of the horizontal stripes appearing in the image does not coincide with the noise frequency f. That is, by setting the HD period TH (first drive cycle) so that the relationship between the noise frequency and the HD period TH satisfies Expression (4), the noise frequency can be detected from the horizontal stripes appearing in the image. Is possible.
上述した図5に示す例では、撮像素子102の1行が6000画素であり、HD期間TH1が30μsecであるため、撮像素子102の出力から検出可能なノイズの周波数fの最大値は約16.7kHzである。また、AEセンサ116の1行が400画素でありHD期間TH2が2μsecであるため、AEセンサ116の出力から検出可能なノイズの周波数fの最大値は約250kHzである。このように、撮像素子102の出力からは、例えば数十kHzのノイズの周波数fを正確に検出することができない。これに対し、AEセンサ116の出力からは、数十kHzのノイズの周波数fであっても検出することが可能である。
In the example shown in FIG. 5 described above, since one row of the
次に、本発明の第1の実施形態における撮像装置の動作について、図8のフローチャートに従って説明する。処理を開始すると、S101では画像処理部105がAEセンサ116の出力を得る。ここでは、ユーザ操作により図1には不図示の操作部からの操作によりレリーズボタンが半押しされてSW1がオンされた場合に、全体制御部106はAEセンサ116の動作を実行する。AEセンサ116は出力をA/D変換部103に送り、A/D変換された出力は更に信号処理部104を経て、画像処理部105に到達する。S102では画像処理部105はAEセンサ116の出力の行方向の平均値を演算し、その演算結果に対してFFT(高速フーリエ変換)をかけ、ノイズの周波数fを算出する。
Next, the operation of the imaging apparatus according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. When the process is started, the
S103において、画像処理部105はS102で検出されたノイズの周波数fに対し、横縞が発生しないように撮像素子102の読み出し動作を実施させるためのHD期間T1’(駆動周期)を算出する。画像処理部105が実施する具体的な演算としては、まずノイズの周波数fの逆数であるノイズの周期Tnを算出する。このノイズの周期Tnの整数倍で撮像素子102を駆動すれば、記録画像に横縞が出現しない。そのため、ノイズの周期Tnの整数倍であり、かつ撮像素子102のHD期間であるHD期間TH1以上になるHD期間T1’を、以下の式(5)を用いて算出する。
Tn×N=T1’≧TH1 (N=1、2、・・・) …(5)
In S <b> 103, the
Tn × N = T1 ′ ≧ TH1 (N = 1, 2,...) (5)
このようにして求めたHD期間T1’の逆数が、横縞が発生しないように撮像素子102の読み出し動作を実施させるための1行読出し周波数(以下、HD周波数)f1’となる。S104では、S104で算出したHD周波数f1’にて撮像素子102を駆動させることにより、横縞の無い出力を得て、処理を終了する。
The reciprocal of the HD period T <b> 1 ′ thus obtained is a one-row readout frequency (hereinafter referred to as “HD frequency”) f <b> 1 ′ for performing the readout operation of the
図9にノイズの周波数が125kHzである場合のHD期間と横縞の周期(行数)との関係を示す。図9(a)及び(b)に示すように、ノイズの周期である8μsec毎に画像に現れる横縞の周期(行数)が無限大になる。画像に現れる横縞の周期(行数)が無限大になるということは、画像に横縞が現れていない状態を示している。そのため、画像に現れる横縞の周期(行数)が無限大になるHD期間を撮像素子102のHD期間にすれば画像に横縞が現れなくなる。撮像素子102の1行分の画素を読出すために必要なHD期間が図5に示すように30μsecであった場合、上記式(5)を満たす最小のNは4であり、HD期間T1’は32μsecとなる。即ち、32μsecで駆動するようにHD期間を変更すれば、横縞が見えなくなる(図9(c))。
FIG. 9 shows the relationship between the HD period and the horizontal stripe period (number of rows) when the noise frequency is 125 kHz. As shown in FIGS. 9A and 9B, the period (number of rows) of horizontal stripes appearing in an image becomes infinite every 8 μsec, which is the period of noise. The fact that the period (number of rows) of horizontal stripes appearing in the image is infinite indicates that no horizontal stripes appear in the image. Therefore, if the HD period in which the period (number of rows) of horizontal stripes appearing in the image is infinite is set as the HD period of the
なお、S103のHD周波数f1’の算出後、S104の画像取得前にAEセンサ116のHD周波数を検出されたノイズの周波数fと一致させて駆動し、再度AEセンサ116の出力に基づいてノイズの周波数fを検出するようにしても良い。検出されたノイズの周波数fにて駆動したAEセンサ116の出力からノイズの周波数fが検出されなければ、S103で検出したノイズの周波数fは正しいということを意味している。
Note that after the calculation of the HD frequency f1 ′ in S103, the HD frequency of the
上記の通り第1の実施形態によれば、撮像素子102と異なる第2の撮像素子(第1の実施形態ではAEセンサ116)の出力を用いて、撮像素子102で得られる出力に横縞を発生させるノイズの周波数fを算出することができる。また、第2の撮像素子のHD期間が撮像素子102のHD期間よりも短い構成とすることで、より高い周波数のノイズを検出することが可能となる。加えて、別途、ノイズの周波数fを検出するための機構を設けることなくノイズの周波数fを検出し、横縞が発生しないように駆動することができる。さらに、撮像素子102を動作させること無くノイズの周波数fを検出できるため、撮像素子の出力を用いて検出を行う従来技術に比べ、短時間でかつ省電力でノイズの周波数fを検出することが可能である。
As described above, according to the first embodiment, horizontal stripes are generated in the output obtained by the
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態では、撮像素子102のHD期間をAEセンサ116のHD期間の整数倍に設定することでノイズの検出をより正確に行うことが可能となる。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. In the second embodiment, noise can be detected more accurately by setting the HD period of the
AEセンサ116のHD期間がノイズ源の周期の整数倍であった場合、AEセンサ116では横縞が見えないが撮像素子102では横縞が見えてしまう、といった状況が発生してしまうことがある。しかし、ここで説明する第2の実施形態のように、撮像素子102のHD期間をAEセンサ116のHD期間の整数倍にしておけばAEセンサ116で横縞が発生していない場合には撮像素子102でも横縞が発生しない。
When the HD period of the
具体的な例として、図10に第2の実施形態における撮像素子102とAEセンサ116の仕様を示す。図10に示した関係ではAEセンサ116のHD期間と撮像素子102のHD期間は整数倍の関係にはない。HD期間が長くなると1枚の画像の撮影時間にも影響するため、それぞれの素子に最適なHD期間で駆動している。そのため、撮像素子102とAEセンサ116のHD期間には関係性が無い。
As a specific example, FIG. 10 shows specifications of the
図11はノイズの周波数500kHzに対する画像の横縞の周期(行数)を示した図である。ノイズの周期Tnを超えるHD期間2μsec以上ではノイズ周期Tn毎にピークが現れているのが確認できる(図11(a))。ノイズの周期Tnを正確に捉えられるのはHD期間がノイズ周期Tnの半分以下の時である。図10のような条件で撮像素子102とAEセンサ116が駆動している場合、AEセンサ116のHD期間は2μsecのため、ノイズ周期と一致しており、AEセンサ116の出力には横縞が見えない(図11(b))。しかし撮像素子102のHD期間は27μsecであるため、図11(c)から分かるように、撮像素子102の出力には約2行周期の細かい横縞が発生してしまう。
FIG. 11 is a diagram showing the horizontal stripe period (number of rows) of an image with respect to a noise frequency of 500 kHz. It can be confirmed that a peak appears for each noise period Tn in the HD period of 2 μsec or more exceeding the noise period Tn (FIG. 11A). The period of noise Tn can be accurately captured when the HD period is less than half the noise period Tn. When the
従って、撮像素子102のHD期間をAEセンサ116のHD期間の整数倍である28μsecに最初から設定しておく。これにより、撮像素子102で画像を取得した場合にも横縞の周期(行数)が極大になり、横縞の発生していない画像を得ることができる(図11(c))。すなわち、撮像素子102のHD期間をAEセンサ116のHD期間の整数倍に最初から設定しておくことで、AEセンサ116の出力に横縞が検出されない場合には、撮像素子102の出力にも横縞が検出されない。これにより、AEセンサ116の出力では横縞が検出されないが、撮像素子102の出力では横縞が発生してしまう、といった状況を回避することが出来、より正確にノイズを検出することが可能となる。
Accordingly, the HD period of the
以上述べたように撮像素子に混入するノイズ源の周波数を直接検出する機構が無い場合に、記録画像撮影用の撮像素子を駆動することなく、ノイズの周波数を検出することが可能となる。また、ノイズの周波数検出動作の有無で撮影時間を増大すること無く、ノイズの周波数を検出することが可能となる。 As described above, when there is no mechanism for directly detecting the frequency of the noise source mixed in the image pickup device, the noise frequency can be detected without driving the image pickup device for recording image shooting. Further, it is possible to detect the noise frequency without increasing the shooting time depending on the presence or absence of the noise frequency detection operation.
なお、上記第1及び第2の実施形態では、ノイズの周期Tnの倍数を撮像素子102のHD期間する場合について説明したが、本発明はこれに限るものではない。例えば、ノイズの周期(行数)が撮像素子102の行数よりも大きければ、横縞を抑えることができるため、ノイズの周期(行数)の倍数周辺の予め決められた範囲としてもよい。
In the first and second embodiments, the case has been described in which a multiple of the noise period Tn is the HD period of the
102:撮像素子、106:全体制御部、104:信号処理部、105:画像処理部、113:タイミング発生部、115:電源部、116:AEセンサ 102: Image sensor, 106: Overall control unit, 104: Signal processing unit, 105: Image processing unit, 113: Timing generation unit, 115: Power supply unit, 116: AE sensor
Claims (8)
予め決められた駆動周期で各走査線を走査する、前記第1の撮像素子と異なる第2の撮像素子と、
前記第2の撮像素子から出力された信号と、前記予め決められた駆動周期とから、前記第2の撮像素子から出力された信号に重畳したノイズの周波数を検出する検出手段と、
前記検出手段により検出されたノイズの周波数に基づいて、前記第1の撮像素子の各走査線を走査する駆動周期を設定する設定手段とを有し、
ノイズによって前記走査線に対して垂直な方向に発生する前記第1の撮像素子の出力の変動の周期が、前記ノイズの周波数と前記第1の撮像素子の各走査線を走査する駆動周期とに応じて変化し、前記設定手段は、前記変動の周期が予め決められた周期よりも大きくなる駆動周期を求めて設定することを特徴とする撮像装置。 A first image sensor that converts an optical image of a subject into an image signal and outputs the image signal;
A second imaging element different from the first imaging element that scans each scanning line at a predetermined driving cycle;
Detecting means for detecting a frequency of noise superimposed on the signal output from the second image sensor from the signal output from the second image sensor and the predetermined drive cycle;
Setting means for setting a driving cycle for scanning each scanning line of the first image sensor based on the frequency of noise detected by the detecting means;
The fluctuation cycle of the output of the first image sensor that occurs in the direction perpendicular to the scanning line due to noise is the frequency of the noise and the driving period for scanning each scanning line of the first image sensor. The imaging apparatus is characterized in that the setting means obtains and sets a driving cycle in which the cycle of the fluctuation is greater than a predetermined cycle.
設定手段が、前記検出工程で検出されたノイズの周波数に基づいて、前記第1の撮像素子と異なる、被写体の光学像を画像信号に変換して出力する第2の撮像素子の各走査線を走査する駆動周期を設定する設定工程とを有し、
ノイズによって前記走査線に対して垂直な方向に発生する前記第2の撮像素子の出力の変動の周期が、前記ノイズの周波数と前記第2の撮像素子の各走査線を走査する駆動周期とに応じて変化し、前記設定工程では、前記変動の周期が予め決められた周期よりも大きくなる駆動周期を求めて設定することを特徴とする撮像装置の制御方法。 The detection means scans each scanning line at a predetermined drive cycle, and the noise output superimposed on the output signal from the signal output from the first image sensor and the predetermined drive cycle. A detection step for detecting the frequency;
Based on the frequency of the noise detected in the detection step, the setting means converts each scanning line of the second image sensor that converts an optical image of the subject into an image signal and outputs the image signal, which is different from the first image sensor. A setting step for setting a driving cycle to be scanned,
The fluctuation cycle of the output of the second image sensor that occurs in the direction perpendicular to the scanning line due to noise is the frequency of the noise and the driving period for scanning each scanning line of the second image sensor. The control method for an image pickup apparatus, wherein the control method changes and changes, and in the setting step, obtains and sets a driving cycle in which the cycle of the fluctuation is larger than a predetermined cycle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160796A JP6381351B2 (en) | 2014-08-06 | 2014-08-06 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160796A JP6381351B2 (en) | 2014-08-06 | 2014-08-06 | Imaging apparatus and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016039462A JP2016039462A (en) | 2016-03-22 |
JP2016039462A5 JP2016039462A5 (en) | 2017-09-14 |
JP6381351B2 true JP6381351B2 (en) | 2018-08-29 |
Family
ID=55530232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014160796A Expired - Fee Related JP6381351B2 (en) | 2014-08-06 | 2014-08-06 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6381351B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5161706B2 (en) * | 2008-08-27 | 2013-03-13 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP5921092B2 (en) * | 2011-06-08 | 2016-05-24 | キヤノン株式会社 | Imaging device, control method thereof, and control program |
-
2014
- 2014-08-06 JP JP2014160796A patent/JP6381351B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016039462A (en) | 2016-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4424753B2 (en) | Solid-state imaging device and driving method thereof | |
US9482628B2 (en) | Imaging apparatus, control method therefor, and storage medium | |
US10313588B2 (en) | Image capturing system and control method of image capturing system | |
US9716848B2 (en) | Imaging apparatus and control method thereof | |
US20160105623A1 (en) | Image sensor and image capturing apparatus | |
JP6362511B2 (en) | Imaging apparatus and control method thereof | |
US10574928B2 (en) | Solid-state imaging element and method for controlling solid-state imaging element | |
JP5921092B2 (en) | Imaging device, control method thereof, and control program | |
JP2011151549A (en) | Signal processing apparatus, imaging device, and signal processing method | |
US20160173799A1 (en) | Driving method for image pickup apparatus, and image pickup apparatus | |
US20160006917A1 (en) | Imaging device and method of driving imaging device | |
JP6381351B2 (en) | Imaging apparatus and control method thereof | |
JP2012235193A (en) | Image sensor, imaging device, control method therefor, and control program | |
US10009559B2 (en) | Imaging apparatus, method for controlling the same, and program | |
JP7134786B2 (en) | Imaging device and control method | |
JP6257348B2 (en) | Solid-state imaging device, imaging system, and copying machine | |
JP2013102288A (en) | Imaging apparatus and control method of the same | |
JP2015126367A (en) | Image processing apparatus, control method thereof, and control program, and imaging apparatus | |
JP5153757B2 (en) | Solid-state imaging device | |
JP5129650B2 (en) | Imaging device | |
JP6659168B2 (en) | Image processing apparatus, control method thereof, and program | |
JP6150502B2 (en) | Imaging apparatus and control method thereof | |
JP2016039461A (en) | Imaging device and control method of the same | |
JP6261334B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
JP2014057196A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |