WO2012114390A1 - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
WO2012114390A1
WO2012114390A1 PCT/JP2011/003550 JP2011003550W WO2012114390A1 WO 2012114390 A1 WO2012114390 A1 WO 2012114390A1 JP 2011003550 W JP2011003550 W JP 2011003550W WO 2012114390 A1 WO2012114390 A1 WO 2012114390A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
optical black
vertical
line
black line
Prior art date
Application number
PCT/JP2011/003550
Other languages
English (en)
French (fr)
Inventor
釣部　智行
豊田　圭司
信幸 廣瀬
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180065320XA priority Critical patent/CN103314575A/zh
Priority to EP11859050.4A priority patent/EP2680572A1/en
Publication of WO2012114390A1 publication Critical patent/WO2012114390A1/ja
Priority to US13/923,805 priority patent/US8982258B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, and a program using a solid-state imaging device.
  • Patent Document 1 Japanese Patent Laid-Open No. 7-67038
  • an optical black pixel portion vertical OB region in the vertical direction of an individual image sensor
  • random noise components are averaged to zero to detect a fixed pattern noise signal, and the fixed pattern is detected from the output signal of the effective pixel portion of the individual image sensor.
  • a method of improving white lines and smear by subtracting a noise signal is disclosed.
  • FIG. 4 shows a conventional imaging device when correcting vertical streak noise (hereinafter simply referred to as “vertical streak”) using the vertical OB region that is an optically black region as described above. It is a block diagram which shows the outline of the example of a structure.
  • the output signal from the solid-state imaging device 1001 is amplified by an amplifier 1002, quantized by an A / D converter 1003, and input to a vertical stripe correction unit 1004.
  • the vertical stripe correction unit 1004 includes an OB line selector 1005, a line memory 1006, a line integrator 1007, and a subtractor 1008.
  • the OB line selector 1005 outputs only the signal in the vertical OB area out of the signal in the effective pixel area and the signal in the vertical OB area.
  • the line integrator 1007 uses the line memory 1006 to perform line integration (addition averaging) of signals in the vertical OB region for each pixel. Thereby, random noise is removed, and a correction value for one line is obtained. This correction value is stored in the line memory 1006.
  • the line integrator 1007 reads the correction value stored in the line memory 1006 and outputs it to the subtracter 1008.
  • the subtractor 1008 subtracts the above correction value for each pixel from each line signal input from the solid-state image sensor 1001. By such a procedure, a signal from which vertical stripe noise is removed (vertical stripe correction) is obtained.
  • the present invention has been made in view of the problems of the conventional imaging apparatus as described above, and the object of the present invention is when the number of lines in the vertical OB region is small or the gain of the amplifier changes between frames. Even in such a case, it is to provide a technique capable of obtaining high image quality by appropriately performing vertical stripe correction.
  • an imaging apparatus of the present invention has a solid-state imaging device having an optical black region, and a vertical stripe correction unit that performs vertical stripe correction on an output signal of the solid-state imaging device,
  • the vertical streak correction unit is an OB line selection unit that selects an optical black line signal included in an output signal of the solid-state imaging device, a memory that stores the optical black line signal, and a memory that is read from the memory
  • a level adjustment unit that adjusts the level of the optical black line signal of the past frame according to the video gain of the output signal of the solid-state imaging device, the first optical black line signal of the current frame, and the past frame of which the level has been adjusted
  • a first subtractor for calculating a difference signal from the optical black line signal; a multiplier for calculating a product by multiplying the difference signal by a cyclic coefficient; and the difference signal from the optical black line signal of the current frame.
  • a second subtraction unit that obtains a signal obtained by subtracting the product of the time coefficients and rewrites the subtracted signal as an optical black line signal in the memory; and the memory from the output signal from the effective pixel region of the solid-state imaging device And a third subtracting unit for subtracting the signal read from.
  • the imaging method of the present invention is an imaging method for performing vertical stripe correction on an output signal of a solid-state imaging device having an optical black region, and an optical black line signal included in the output signal of the solid-state imaging device.
  • a step of storing the optical black line signal in the memory, reading out the optical black line signal of the past frame from the memory, and adjusting the level according to the video gain of the output signal of the solid-state imaging device A first subtraction step of calculating a difference signal between the first optical black line signal of the current frame and the optical black line signal of the previous frame whose level has been adjusted, and multiplying the difference signal by a cyclic coefficient Calculating a product, obtaining a signal obtained by subtracting the product of the difference signal and the cyclic coefficient from the optical black line signal of the current frame, and obtaining the subtracted signal as the signal
  • the program of the present invention is a program for performing vertical stripe correction on the output signal of the solid-state imaging device having an optical black region, and is a program for causing a computer to execute the following steps. Selecting an optical black line signal included in an output signal of the solid-state imaging device; storing the optical black line signal in a memory; reading an optical black line signal of a past frame from the memory; Adjusting the level in accordance with the video gain of the output signal of the element; first calculating a difference signal between the first optical black line signal of the current frame and the optical black line signal of the previous frame whose level has been adjusted; Subtracting; calculating a product by multiplying the difference signal by a cyclic coefficient; obtaining a signal obtained by subtracting the product of the difference signal and the cyclic coefficient from the optical black line signal of the current frame; A second subtracting step of rewriting the memory as an optical black line signal; from the output signal from the effective pixel area of the solid-state image sensor to the memory Third subtraction step of subtracting the al
  • the present invention even when the number of lines in the vertical OB region is small, noise can be effectively reduced by the cyclic operation between frames, and appropriate vertical stripe correction can be performed. Even when the gain of the amplifier of the imaging apparatus changes between frames, the level of the vertical OB line signal that has been circulated to the previous frame can be circulated by adjusting the level corresponding to the change in the video level. As a result, it becomes possible to correct the vertical streak by reducing the residual correction by causing the level of the vertical streak correction signal to follow the video level change such as a change in the amplification factor.
  • FIG. 2 is a block diagram showing an outline of a configuration example of a conventional imaging device when correction for removing vertical streak noise is performed using a vertical OB region that is an optically black region.
  • FIG. 1 is a block diagram illustrating the configuration of the imaging apparatus according to the present embodiment.
  • the output signal of the solid-state image sensor 101 is amplified by the amplifier 102, quantized by the A / D converter 103, and input to the vertical stripe correction unit 104.
  • the vertical stripe correction unit 104 includes an OB line selector 105, a line memory 106, a level adjuster 107, a first selector (selector A) 108, a second selector (selector B) 110, a multiplier 111, And three subtractors 109, 112 and 113.
  • a signal Q n quantized by the A / D converter 103 is input to the OB line selector 105, and a signal (vertical OB line signal: X n) of the signal Q n only in the period of the vertical OB line. ) Is output.
  • the line memory 106, the vertical OB line signal X n subtraction result Y n obtained by performing an operation that will be described later with respect to is rewritten every frame.
  • the subtraction result stored in the line memory 106 indicates that the vertical OB line signal Y n ⁇ 1 of the past frame is the level adjuster 107.
  • the vertical OB line signal Y n-1 of the past frame in this case is the vertical OB line signal Y n ⁇ 1 of the past frame read from the line memory 106 during the period when the first vertical OB line signal in the frame is input to the vertical stripe correction unit 104. Line signal.
  • the vertical OB line signal Xn is a vertical OB line signal for the second and subsequent lines
  • the vertical OB line signal Yn -1 of the past frame is not transmitted through the level adjuster 107, but the selector A108. Is discharged.
  • the level adjuster 107 When the vertical OB line signal X n -1 of the past frame is discharged to the level adjuster 107 when the vertical OB line signal X n is the first vertical OB line signal in the frame, the level adjuster 107 The level of the OB line signal Y n-1 is adjusted according to the amplification factor of the amplifier 102, and the adjusted vertical OB line signal Y n-1 is output to the selector A108. The level adjustment corresponding to the amplification factor of the amplifier 102 will be described later.
  • Selector A108 is the first vertical OB line signal Y n-1 after level adjustment in the case of the vertical OB line signal of the vertical OB line signal X n is in a frame, the vertical OB line signal X n is 2 line In the case of the subsequent vertical OB line signal, the vertical OB line signal Y n ⁇ 1 of the past frame is discharged to the subtractor 109.
  • a vertical OB line signal X n from OB line selector 105 receives the vertical OB line signal Y n-1 input from the selector A108, the vertical OB line from the vertical OB line signal X n The signal Y n ⁇ 1 is subtracted and the result (X n ⁇ Y n ⁇ 1 ) is output to the multiplier 111.
  • the selector B110 uses the cyclic coefficient K1H , and the vertical OB line signal Xn is the second and subsequent vertical OB line signals.
  • the cyclic coefficient K is output to the multiplier 111.
  • the multiplier 111 receives the subtraction result (X n ⁇ Y n ⁇ 1 ) and the cyclic coefficient K 1H or K, and multiplies them. That is, when the vertical OB line signal X n is the first vertical OB line signal in the frame, (X n ⁇ Y n ⁇ 1 ) is multiplied by the cyclic coefficient K 1H to obtain K 1H (X n ⁇ Y n ⁇ 1). ), And when the vertical OB line signal X n is the second or subsequent vertical OB line signal, (X n ⁇ Y n ⁇ 1 ) is multiplied by the cyclic coefficient K to obtain K (X n ⁇ Y n ⁇ 1 ). And The multiplication result is output to the subtractor 112.
  • the subtractor 112 receives the vertical OB line signal X n from the OB line selector 105 and the input of K 1H (X n ⁇ Y n ⁇ 1 ) or K (X n ⁇ Y n ⁇ 1 ) from the multiplier 111.
  • a subtracter 113 a vertical OB line signal Y n being the title by the formula (1) or formula (2) from the A / D converter 103 by the quantized signal Q n subtracter 112 is inputted.
  • the subtractor 113 subtracts the vertical streak correction operation by subtracting the vertical OB line signal Y n represented by the above formula (1) or (2) from the quantized signal Q n as a vertical streak correction signal. Do.
  • FIG. 2 is a diagram for explaining the gain adjustment performed by the level adjuster 107 in the present embodiment.
  • the gain of the amplifier 102 changes from Ga to Gb during the blanking period between frame 1 and frame 2.
  • the video signal level of frame 2 is Gb / Ga times the video signal level of frame 1.
  • the level adjustment gain value is returned to 1 for the second and subsequent vertical OB lines.
  • the frame 1 also frame 2 also, the level of level and vertical OB line signal of the signal Y n stored in the line memory 106 regardless of the gain becomes ones generally close, it is possible to vertical stripe correction described above .
  • FIG. 3 is a flowchart of signal processing in the present embodiment, and each step described below constitutes the imaging method of the present invention.
  • the vertical OB line signal Y n ⁇ 1 stored in the line memory 106 in the past frame is read (S301).
  • this signal is for the first line of the vertical OB (S302: Yes)
  • the level of the signal Yn -1 read in S301 is adjusted. Specifically, [Y n-1 ⁇ Gb / Ga] is replaced with new Y n-1 (S303). If the quantized signal is not for the first line of the vertical OB (S302: No), it is for the second and subsequent lines of the vertical OB, so Y n-1 is left as it is.
  • this signal is a vertical OB from the second line onward (S305: No)
  • the cyclic coefficient K is multiplied to calculate K ⁇ (X n ⁇ Y n ⁇ 1 ) (S307).
  • the grasp of whether the current signal is the first line, the second line and subsequent lines, or the effective pixel area of the vertical OB area can be performed using, for example, an interrupt process. it can.
  • the gain change is described as the change in the amplification factor of the amplifier before A / D conversion.
  • the gain is changed by multiplying the quantized signal after A / D conversion. It is also possible.
  • the gain adjustment in the first vertical OB line is not limited to Gb / Ga times, and can be adjusted by adding a separately determined coefficient.
  • the signal stored in the line memory 106 is read out from the effective pixel as a vertical stripe correction signal and subtracted, and then the level is adjusted by adding or subtracting a constant value, or the signal read from the line memory 106 is constant. An operation of adjusting the level by adding and subtracting the value and then subtracting from the subtractor 113 can be easily assumed.
  • each step constituting the imaging method described above can be executed using a computer by a program recording the steps.
  • the vertical stripe correction by reducing the residual correction by causing the level of the vertical stripe correction signal to follow the video level change such as a change in the amplification factor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　Ａ／Ｄ変換器１０３で量子化された固体撮像素子１０１の出力信号のうち、垂直ＯＢラインの期間のみの信号がＯＢライン選択器１０５で選択されてラインメモリ１０６に格納される。レベル調整器１０７は増幅器１０２の増幅率が変化したフレームの最初の垂直ＯＢラインの期間にラインメモリ１０６から読み出された過去の垂直ＯＢライン信号をレベル調整し、選択器Ａ１０８経由で出力する。減算器１０９は現在の垂直ＯＢライン信号からレベル調整済みの信号を減算する。乗算器１１１は減算済みの信号に対して選択器Ｂ１１１経由で増幅率が変化したフレームの最初の垂直ＯＢラインの期間用の巡回係数Ｋ１Ｈの乗算を行なう。減算器１１２は現在の垂直ＯＢライン信号から上記乗算結果を減算し、その減算結果をラインメモリ１０６に再書き込みすることで巡回動作が行なわれる。これにより、高画質を得るための適切な縦筋補正技術が提供される。

Description

撮像装置、撮像方法及びプログラム
　本発明は、固体撮像素子を利用した撮像装置および撮像方法ならびにプログラムに関する。
　従来より、固体撮像素子を使用した撮像装置においては、システム起因の周期性クロックノイズや垂直転送レジスタの欠陥に起因するノイズによる画質劣化が問題となっている。これらのノイズのレベルそのものは極めて低いが、画面上では固定した縦筋状のノイズとなるため非常に目立ち易く、画質を顕著に劣化させる結果となる。また、周囲よりも極めて輝度の高い被写体を撮像した際に画面全体にわたって直線状に白飛びが発生するスミア現象も、画質劣化の主要因のひとつである。
　このような縦筋状ノイズを除去する手法が検討されてきているが、特許文献１（特開平７－６７０３８号公報）には、個体撮像素子の垂直方向の光学的黒画素部分（垂直ＯＢ領域）の出力信号を画素単位で積分（加算平均）してランダムなノイズ成分を平均化して零とすることにより固定パターンノイズ信号を検出し、個体撮像素子の有効画素部分の出力信号より上記固定パターンノイズ信号を減算することで、白線等及びスミアを改善する方法が開示されている。
　図４は、上述したような、光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズ（以下では、単に「縦筋」という）の補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図である。
　図４に示すように、固体撮像素子１００１からの出力信号は、増幅器１００２で増幅された後、Ａ／Ｄ変換器１００３にて量子化され、縦筋補正部１００４に入力される。
　縦筋補正部１００４は、ＯＢライン選択器１００５、ラインメモリ１００６、ライン積分器１００７、減算器１００８を備えている。
　ＯＢライン選択器１００５は、有効画素領域の信号と垂直ＯＢ領域の信号のうち、垂直ＯＢ領域の信号のみを出力する。ライン積分器１００７は、ラインメモリ１００６を利用して、垂直ＯＢ領域の信号を画素毎にライン積分（加算平均）する。これによりランダムノイズは除去され、１ライン分の補正値が得られる。この補正値は、ラインメモリ１００６に格納される。ライン積分器１００７は、ラインメモリ１００６に格納された補正値を読み出し、減算器１００８に出力する。減算器１００８は、固体撮像素子１００１から入力された各ライン信号から上述の補正値を画素毎に減算する。このような手順により、縦筋状ノイズが除去された（縦筋補正された）信号が得られる。
特開平７－６７０３８号公報
　しかしながら、上述したような従来手法では、固体撮像素子に設けられた垂直ＯＢ領域のライン数が少ない場合には、フレーム内でライン積分（加算平均）を行なう際の、垂直方向の１画素毎の加算平均回数が少なくなるため、ノイズ低減が不十分となって、補正後の信号にノイズが残ってしまう場合がある。また、フレーム間で加算平均を行なうような場合には、特に、フレーム間で撮像装置の増幅器１００２のゲインを変化させた場合に、ノイズと縦筋が残留してしまう。
　本発明は、上述したような従来の撮像装置の問題点に鑑みてなされたもので、その目的とするところは、垂直ＯＢ領域のライン数が少ない場合や、増幅器のゲインがフレーム間で変化した場合でも、縦筋補正を適切に行うことにより高い画質が得られる技術を提供することにある。
　上記課題を解決するために、本発明の撮像装置は、光学的黒領域を有する固体撮像素子と、該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、前記縦筋補正部は、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、前記光学的黒ライン信号を格納するメモリと、前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、前記差信号に巡回係数を乗算して積を算出する乗算部と、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、を備えている。
　また、本発明の撮像方法は、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、前記光学的黒ライン信号をメモリに格納するステップと、過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、前記差信号に巡回係数を乗算して積を算出するステップと、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、を備えている。
　さらに、本発明のプログラムは、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、コンピュータに下記のステップを実行させるためのプログラムである。前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；前記光学的黒ライン信号をメモリに格納するステップ；過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；前記差信号に巡回係数を乗算して積を算出するステップ；前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。
　本発明によれば、垂直ＯＢ領域のライン数が少ない場合でも、フレーム間の巡回動作により、効果的にノイズ低減が行われ、適切な縦筋補正を行なうことができる。また、撮像装置の増幅器のゲインがフレーム間で変化した場合でも、前フレームまで巡回させた垂直ＯＢライン信号を映像レベルの変化分だけレベル調整して巡回させることができる。その結果、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。
実施例における撮像装置の構成を示すブロック図 実施例における撮像装置のゲイン調整の説明図 実施例における信号処理のフローチャート 光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズの除去のための補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図
　以下に、図面を参照して、本発明を実施するための形態について説明する。
　図１は、本実施例における撮像装置の構成を示すブロック図である。
　固体撮像素子１０１の出力信号は、増幅器１０２で増幅された後、Ａ／Ｄ変換器１０３にて量子化され、縦筋補正部１０４に入力される。
　縦筋補正部１０４は、ＯＢライン選択器１０５、ラインメモリ１０６、レベル調整器１０７、第１の選択器（選択器Ａ）１０８、第２の選択器（選択器Ｂ）１１０、乗算器１１１、および、３つの減算器１０９、１１２、１１３を備えている。
　ＯＢライン選択器１０５には、Ａ／Ｄ変換器１０３で量子化された信号Ｑｎが入力され、当該信号Ｑｎのうちの、垂直ＯＢラインの期間のみの信号（垂直ＯＢライン信号：Ｘｎ）を出力する。
　ラインメモリ１０６には、上記垂直ＯＢライン信号Ｘｎに対して後述する演算を施して得られた減算結果Ｙｎが、フレーム毎に再書込みされる。
　ラインメモリ１０６に格納された減算結果は、上記垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合には、過去フレームの垂直ＯＢライン信号Ｙｎ－１がレベル調整器１０７に排出される。この場合の過去フレームの垂直ＯＢライン信号Ｙｎ－１は、フレーム内の最初の垂直ＯＢライン信号が縦筋補正部１０４に入力される期間にラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号である。
　一方、上記垂直ＯＢライン信号Ｘｎが２ライン目以降の垂直ＯＢライン信号である場合には、上記レベル調整器１０７を介さずに、過去フレームの垂直ＯＢライン信号Ｙｎ－１が選択器Ａ１０８へと排出される。
　垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合に過去フレームの垂直ＯＢライン信号Ｙｎ－１がレベル調整器１０７に排出されると、レベル調整器１０７は、この垂直ＯＢライン信号Ｙｎ－１を、増幅器１０２の増幅率に応じてレベル調整し、調整後の垂直ＯＢライン信号Ｙｎ－１を選択器Ａ１０８に出力する。なお、増幅器１０２の増幅率に応じたレベル調整については後述する。
　選択器Ａ１０８は、垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合にはレベル調整後の垂直ＯＢライン信号Ｙｎ－１を、垂直ＯＢライン信号Ｘｎが２ライン目以降の垂直ＯＢライン信号である場合には過去フレームの垂直ＯＢライン信号Ｙｎ－１を、減算器１０９に排出する。
　減算器１０９は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘｎと、選択器Ａ１０８からの垂直ＯＢライン信号Ｙｎ－１の入力を受け、上記垂直ＯＢライン信号Ｘｎから上記垂直ＯＢライン信号Ｙｎ－１を減算して、その結果（Ｘｎ－Ｙｎ－１）を乗算器１１１へと出力する。
　選択器Ｂ１１０は、垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合には巡回係数Ｋ１Ｈを、垂直ＯＢライン信号Ｘｎが２ライン目以降の垂直ＯＢライン信号である場合には巡回係数Ｋを、乗算器１１１へと出力する。
　乗算器１１１は、上記減算結果（Ｘｎ－Ｙｎ－１）および上記巡回係数Ｋ１ＨまたはＫの入力を受け、両者の乗算を行う。すなわち、垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合には（Ｘｎ－Ｙｎ－１）に巡回係数Ｋ１Ｈを乗じてＫ１Ｈ（Ｘｎ－Ｙｎ－１）とし、垂直ＯＢライン信号Ｘｎが２ライン目以降の垂直ＯＢライン信号である場合には（Ｘｎ－Ｙｎ－１）に巡回係数Ｋを乗じてＫ（Ｘｎ－Ｙｎ－１）とする。そして、この乗算結果は、減算器１１２へと出力される。
　減算器１１２は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘｎと、乗算器１１１からのＫ１Ｈ（Ｘｎ－Ｙｎ－１）またはＫ（Ｘｎ－Ｙｎ－１）の入力を受け、垂直ＯＢライン信号ＸｎからＫ１Ｈ（Ｘｎ－Ｙｎ－１）またはＫ（Ｘｎ－Ｙｎ－１）を減算して、その結果を、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙｎとして、減算器１１３およびラインメモリ１０６へと出力する。
　以降、上記巡回動作が繰り返される。
　つまり、上記の巡回動作では、垂直ＯＢライン信号Ｘｎがフレーム内の最初の垂直ＯＢライン信号である場合には下式（１）が、また、垂直ＯＢライン信号Ｘｎが２ライン目以降の垂直ＯＢライン信号である場合には下式（２）が、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙｎとして得られることになる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　減算器１１３には、Ａ／Ｄ変換器１０３で量子化された信号Ｑｎと減算器１１２からの式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙｎが入力される。減算器１１３は、上記式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙｎを縦筋補正信号として、量子化された信号Ｑｎから減算することで、縦筋補正動作を行う。
　図２は、本実施例におけるレベル調整器１０７が実行するゲイン調整を説明するための図である。
　フレーム１とフレーム２の間のブランキング期間において増幅器１０２のゲインがＧａからＧｂに変化すると仮定する。この場合、フレーム２の映像信号レベルは、フレーム１の映像信号レベルに対してＧｂ／Ｇａ倍となる。
　そこで、垂直ＯＢラインの最初のラインにてラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号に対し、レベル調整用ゲイン値＝Ｇｂ／Ｇａを乗じて、現在の垂直ＯＢライン信号に近いレベルに調整する。そして、この調整後の垂直ＯＢライン信号に対して（式１）の巡回動作を行い、再度、ラインメモリ１０６に書き込み、調整済み信号Ｙｎとする。
　垂直ＯＢラインの２ライン目以降の同一フレームでは、増幅器１０２のゲインには変化がないため信号の調整は必要ない。従って、垂直ＯＢラインの２ライン目以降は、レベル調整用ゲイン値を１に戻す。
　以上の動作により、フレーム１もフレーム２も、ゲインに関わらずラインメモリ１０６に格納された信号Ｙｎのレベルと垂直ＯＢライン信号のレベルは概ね近いものとなり、上述した縦筋補正が可能となる。
　図３は、本実施例における信号処理のフローチャートであり、以下に説明する各ステップは、本発明の撮像方法を構成する。
　先ず、縦筋補正信号を生成するに当たり、過去フレームにてラインメモリ１０６に格納されている垂直ＯＢライン信号Ｙｎ－１の読み出しを行なう（Ｓ３０１）。次に、固体撮像素子１０１から増幅器１０２およびＡ／Ｄ変換器１０３を介して入力される量子化された信号が、垂直ＯＢの１ライン目のものであるか否かを判断する（Ｓ３０２）。
　この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０２：Ｙｅｓ）、Ｓ３０１で読み出された信号Ｙｎ－１のレベル調整を行う。具体的には、［Ｙｎ－１×Ｇｂ／Ｇａ］を新たなＹｎ－１として置き換える（Ｓ３０３）。なお、上記量子化された信号が垂直ＯＢの１ライン目のものでない場合には（Ｓ３０２：Ｎｏ）、垂直ＯＢの２ライン目以降のものであるから、Ｙｎ－１はそのままとする。
　続いて、現在の垂直ＯＢラインの信号Ｘｎから上記Ｙｎ－１を減算する（Ｓ３０４）。
　さらに、現在の信号が垂直ＯＢの１ライン目のものであるか否かを判断し（Ｓ３０５）、この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０５：Ｙｅｓ）、巡回係数Ｋ１Ｈを乗算してＫ１Ｈ・（Ｘｎ－Ｙｎ－１）を算出する（Ｓ３０６）。
　一方、この信号が２ライン目以降の垂直ＯＢであれば（Ｓ３０５：Ｎｏ）、巡回係数Ｋを乗算してＫ・（Ｘｎ－Ｙｎ－１）を算出する（Ｓ３０７）。
　そして、上記Ｓ３０６またはＳ３０７で得られた値を用いて、上記式１および式２で与えられるＹｎを算出し（Ｓ３０８）、これを再びラインメモリ１０６に格納する（Ｓ３０９）。
　垂直ＯＢラインが終了したか否かを判断し（Ｓ３１０）、終了していない場合には（Ｓ３１０：Ｎｏ）、Ｓ３０１に戻り上記ステップを繰り返す。一方、垂直ＯＢラインが終了していれば（Ｓ３１０：Ｙｅｓ）、有効画素からラインメモリ１０６に格納されている信号を縦筋補正信号として読み出して減算することで縦筋補正を行なう（Ｓ３１１）。
　このようにして、映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくした縦筋補正が実行される。
　上述した処理のうち、現在の信号が垂直ＯＢ領域の１ライン目のものか２ライン目以降のものかあるいは有効画素領域のものであるかの掌握は、例えば割り込み処理を利用して行うことができる。
　なお、上述の実施例では、ゲイン変化をＡ／Ｄ変換前の増幅器の増幅率の変化として説明したが、Ａ／Ｄ変換後の量子化された信号に対して乗算を行なうことでゲインを変えることも可能である。かかる変更後の態様も、本発明の範囲に含まれる。また、垂直ＯＢ１ライン目におけるゲイン調整についてはＧｂ／Ｇａ倍に限定するものではなく、別に定めた係数を付加して調整することもできる。また、有効画素からラインメモリ１０６に格納されている信号を縦筋補正信号として読み出して減算した後に一定値を加減算してレベルを調整したり、ラインメモリ１０６から読み出された信号に対して一定値を加減算した後に減算器１１３から減算してレベルを調整する操作は容易に想定できる。
　以上、実施例により本発明の撮像装置および撮像方法について説明したが、上述の撮像方法を構成する各ステップは、これを記録したプログラムにより、コンピュータを用いて実行することができることは明らかである。
　本発明によれば、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。
　１０１、１００１　固体撮像素子
　１０２、１００２　増幅器
　１０３、１００３　Ａ／Ｄ変換器
　１０４、１００４　縦筋補正部
　１０５、１００５　ＯＢライン選択器
　１０６、１００６　ラインメモリ
　１０７　レベル調整器
　１０８　選択器Ａ
　１０９、１１２、１１３、１００８　減算器
　１１０　選択器Ｂ
　１１１　乗算器
　１００７　ライン積分器

Claims (3)

  1. 　光学的黒領域を有する固体撮像素子と、
    　該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、
    　前記縦筋補正部は、
    　前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、
    　前記光学的黒ライン信号を格納するメモリと、
    　前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、
    　現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、
    　前記差信号に巡回係数を乗算して積を算出する乗算部と、
    　前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、
    　前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、
    を備えている撮像装置。
  2. 　光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、
    　前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、
    　前記光学的黒ライン信号をメモリに格納するステップと、
    　過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、
    　現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、
    　前記差信号に巡回係数を乗算して積を算出するステップと、
    　前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、
    　前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、
    を備えている撮像方法。
  3. 　光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、
    　コンピュータに下記のステップを実行させるためのプログラム。
    　前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；
    　前記光学的黒ライン信号をメモリに格納するステップ；
    　過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；
    　現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；
    　前記差信号に巡回係数を乗算して積を算出するステップ；
    　前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；
    　前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。
PCT/JP2011/003550 2011-02-21 2011-06-22 撮像装置、撮像方法及びプログラム WO2012114390A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180065320XA CN103314575A (zh) 2011-02-21 2011-06-22 成像装置、成像方法和程序
EP11859050.4A EP2680572A1 (en) 2011-02-21 2011-06-22 Imaging device, imaging method and program
US13/923,805 US8982258B2 (en) 2011-02-21 2013-06-21 Imaging device, imaging method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011034491A JP2012175328A (ja) 2011-02-21 2011-02-21 撮像装置、撮像方法及びプログラム
JP2011-034491 2011-02-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/923,805 Continuation US8982258B2 (en) 2011-02-21 2013-06-21 Imaging device, imaging method and program

Publications (1)

Publication Number Publication Date
WO2012114390A1 true WO2012114390A1 (ja) 2012-08-30

Family

ID=46720213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003550 WO2012114390A1 (ja) 2011-02-21 2011-06-22 撮像装置、撮像方法及びプログラム

Country Status (5)

Country Link
US (1) US8982258B2 (ja)
EP (1) EP2680572A1 (ja)
JP (1) JP2012175328A (ja)
CN (1) CN103314575A (ja)
WO (1) WO2012114390A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418839B2 (ja) * 2014-08-04 2018-11-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP2001218081A (ja) * 2000-02-01 2001-08-10 Canon Inc 撮像装置および撮像信号のクランプ方法
JP2005354670A (ja) * 2004-05-13 2005-12-22 Matsushita Electric Ind Co Ltd 画像処理方法およびカメラシステム
JP2006094474A (ja) * 2004-08-24 2006-04-06 Matsushita Electric Ind Co Ltd 撮像装置および画像データの補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293225A (en) * 1991-05-31 1994-03-08 Victor Company Of Japan, Ltd. Digital signal processing system for color camera apparatus including separate delays for color signal and brightness signal processing
JP2004112739A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 固体イメージセンサ
US7948531B2 (en) * 2004-08-24 2011-05-24 Panasonic Corporation Imaging apparatus and correction method of image data
JP4268643B2 (ja) * 2007-01-17 2009-05-27 株式会社日立国際電気 撮像装置およびその雑音低減方法
JP5335356B2 (ja) * 2008-10-03 2013-11-06 キヤノン株式会社 信号処理装置、信号処理方法、及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP2001218081A (ja) * 2000-02-01 2001-08-10 Canon Inc 撮像装置および撮像信号のクランプ方法
JP2005354670A (ja) * 2004-05-13 2005-12-22 Matsushita Electric Ind Co Ltd 画像処理方法およびカメラシステム
JP2006094474A (ja) * 2004-08-24 2006-04-06 Matsushita Electric Ind Co Ltd 撮像装置および画像データの補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2680572A4

Also Published As

Publication number Publication date
EP2680572A4 (en) 2014-01-01
US20130278803A1 (en) 2013-10-24
JP2012175328A (ja) 2012-09-10
EP2680572A1 (en) 2014-01-01
US8982258B2 (en) 2015-03-17
CN103314575A (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
JP4285555B2 (ja) 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
JP4806584B2 (ja) 画像処理方法及び画像処理回路
US8379118B2 (en) Imaging apparatus and imaging method
US20140321766A1 (en) Image processing apparatus, image processing method, and program
JP5350466B2 (ja) カラム固定パターンノイズ補正方法
US20050093991A1 (en) Black level correction circuit and black level correction method for video camera using solid state image pickup device
JP2020524958A (ja) デジタル画像におけるハイライト及び飽和領域を回復し、ダイナミックレンジを拡張する方法
JP2007028026A (ja) 撮像装置
US8159566B2 (en) Method and apparatus for compensating signal distortion caused by noise
JP5091550B2 (ja) ホワイトバランス調整装置およびホワイトバランス調整方法
WO2012114390A1 (ja) 撮像装置、撮像方法及びプログラム
JP4110044B2 (ja) 画像撮像方法
JP4868003B2 (ja) 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
JP4136776B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP2007274226A (ja) 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体
JP7134786B2 (ja) 撮像装置および制御方法
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
JP5632703B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2010200236A (ja) 横引きノイズ補正方法
JP4397869B2 (ja) スミア補正方法及びスミア補正回路
JP2006041935A (ja) 画像処理装置および画像処理プログラム
JP2009284343A (ja) 撮像装置、欠陥補正装置、欠陥補正方法及びプログラム
KR100631850B1 (ko) 평형잡음 보상 회로 및 그 방법
JP2006108918A (ja) 撮像装置
JP2021093571A (ja) 撮像装置および撮像装置の処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859050

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011859050

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE