WO2020075357A1 - Solid-state imaging element, imaging device, and method for controlling solid-state imaging element - Google Patents

Solid-state imaging element, imaging device, and method for controlling solid-state imaging element Download PDF

Info

Publication number
WO2020075357A1
WO2020075357A1 PCT/JP2019/027623 JP2019027623W WO2020075357A1 WO 2020075357 A1 WO2020075357 A1 WO 2020075357A1 JP 2019027623 W JP2019027623 W JP 2019027623W WO 2020075357 A1 WO2020075357 A1 WO 2020075357A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
correction
dark current
solid
value
Prior art date
Application number
PCT/JP2019/027623
Other languages
French (fr)
Japanese (ja)
Inventor
中村　信男
正武 尾崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2020075357A1 publication Critical patent/WO2020075357A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Abstract

Provided is a solid-state imaging element that corrects a contrast distortion, wherein the accuracy of correction is improved. This solid-state imaging element comprises an area division unit, a correction-value-holding unit, and a correction unit. The area division unit divides a pixel array unit, in which a plurality of pixels are arrayed in a two-dimensional grid pattern, into a plurality of areas on the basis of a dark current distribution in the pixel array unit. The correction-value-holding unit holds the value of a dark current at the boundary of each of the plurality of areas as a correction value for dark current correction. The correction unit performs dark current correction on the pixel signal of each of the plurality of pixels by using the correction value.

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法Solid-state imaging device, imaging device, and method for controlling solid-state imaging device
　本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、暗電流ノイズを除去する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。 The present technology relates to a solid-state imaging device, an imaging device, and a method for controlling the solid-state imaging device. More specifically, the present invention relates to a solid-state imaging device that removes dark current noise, an imaging device, and a method for controlling the solid-state imaging device.
　近年、デジタルカメラ、監視装置やスマートフォンに用いられる固体撮像素子においては、多画素化、高速化、大面積化が進められている。特にデジタルカメラに用いられる固体撮像素子は、大面積化が進められているが、面積の増大に伴い、暗電流に起因して明暗の歪み（すなわち、シェーディング）が発生し、高品質な画像を得ることが困難となる。このシェーディングを補正するために、例えば、一定形状のブロック単位で画素アレイ部を分割し、ブロックごとに補正係数を求めて保持しておく固体撮像素子が提案されている（例えば、特許文献１参照。）。 In recent years, the number of pixels, speed, and area of solid-state imaging devices used in digital cameras, surveillance devices and smartphones have been increasing. In particular, the solid-state image sensor used in a digital camera is being made larger in area, but with the increase in area, bright and dark distortion (that is, shading) occurs due to dark current, and a high-quality image is obtained. Hard to get. In order to correct this shading, for example, a solid-state imaging device has been proposed in which a pixel array section is divided into blocks of a fixed shape, and a correction coefficient is obtained and held for each block (see, for example, Patent Document 1). .).
特開平１１－２７５４５２号公報JP-A-11-275452
　上述の従来技術では、固体撮像素子は、補正係数を用いてブロック単位で明暗の歪みを補正する。しかしながら、固体撮像素子内の暗電流は、一定とは限らず、局所的に変化することがあるため、上述の従来技術では、十分な補正精度が得られないおそれがある。例えば、一定形状のブロック内で局所的に暗電流が変化した際に、ブロック単位の補正では暗電流ノイズによる明暗の歪みを補正しきれず、補正精度が低下してしまうという問題がある。 In the above-mentioned conventional technology, the solid-state image sensor corrects the light and dark distortion in block units using the correction coefficient. However, since the dark current in the solid-state image sensor is not always constant and may change locally, there is a possibility that sufficient correction accuracy cannot be obtained in the above-described conventional technique. For example, when the dark current locally changes in a block of a certain shape, the correction of each block cannot completely correct the light and dark distortion due to the dark current noise, and the correction accuracy is deteriorated.
　本技術はこのような状況に鑑みて生み出されたものであり、明暗の歪みを補正する固体撮像素子において、補正精度を向上させることを目的とする。 The present technology was created in view of such circumstances, and its purpose is to improve the correction accuracy in a solid-state image sensor that corrects the brightness distortion.
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、上記複数の領域のそれぞれの境界における上記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、上記複数の画素のそれぞれの画素信号に対する上記暗電流補正を上記補正値を用いて行う補正部とを具備する固体撮像素子、および、その制御方法である。これにより、暗電流の分布に基づいて分割された領域ごとの補正値により暗電流補正が行われるという作用をもたらす。 The present technology has been made to solve the above-described problems, and a first aspect thereof is a pixel array based on the distribution of dark current in a pixel array unit in which a plurality of pixels are arranged in a two-dimensional lattice shape. A region dividing unit that divides a portion into a plurality of regions, a correction value holding unit that holds the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction, and a plurality of pixels A solid-state image sensor including a correction unit that performs the dark current correction on each pixel signal using the correction value, and a control method thereof. This brings about the effect that the dark current correction is performed by the correction value for each area divided based on the distribution of the dark current.
　また、この第１の側面において、上記画素アレイ部には、複数の行が配列され、上記複数の行のそれぞれには、所定方向に沿って所定数の画素が配列され、上記領域分割部は、上記複数の行のそれぞれについて上記分布を取得して上記分布に基づいて上記境界を設定してもよい。これにより、行ごとに設定さた境界により画素アレイ部が複数の領域に分割されるという作用をもたらす。 Further, in the first aspect, a plurality of rows are arranged in the pixel array section, a predetermined number of pixels are arranged in a predetermined direction in each of the plurality of rows, and the area dividing section is Alternatively, the distribution may be acquired for each of the plurality of rows and the boundary may be set based on the distribution. This brings about the effect that the pixel array section is divided into a plurality of regions by the boundaries set for each row.
　また、この第１の側面において、上記画素アレイ部は、所定方向に垂直な方向において一定の間隔で複数の垂直分割エリアに分割され、上記領域分割部は、上記複数の垂直分割エリアのそれぞれについて上記分布を取得して上記分布に基づいて上記境界を設定してもよい。これにより、垂直分割エリアごとに設定された境界により画素アレイ部が複数の領域に分割されるという作用をもたらす。 Further, in the first aspect, the pixel array section is divided into a plurality of vertical divided areas at regular intervals in a direction perpendicular to a predetermined direction, and the area dividing section is provided for each of the plurality of vertical divided areas. The distribution may be acquired and the boundary may be set based on the distribution. This brings about an effect that the pixel array section is divided into a plurality of areas by the boundary set for each vertical division area.
　また、この第１の側面において、温度、消費電力および電圧の少なくとも１つを含む環境情報を取得する環境情報取得部をさらに具備し、上記補正部は、上記環境情報と上記補正値とに基づいて上記暗電流補正を行ってもよい。これにより、暗電流の分布と環境情報とに応じた暗電流補正が行われるという作用をもたらす。 Further, in the first aspect, an environment information acquisition unit that acquires environment information including at least one of temperature, power consumption, and voltage is further provided, and the correction unit is based on the environment information and the correction value. The above dark current correction may be performed. This brings about the effect that the dark current correction is performed according to the dark current distribution and the environmental information.
　また、この第１の側面において、上記画素アレイ部には、浮遊拡散層を共有する複数の画素がそれぞれに配列された複数の画素ブロックが配列され、上記領域分割部は、上記画素アレイ部内の相対位置が同一の画素ごとに上記分布に基づいて上記複数の領域に分割してもよい。これにより、浮遊拡散層を共有する画素の画素信号に対して暗電流補正が行われるという作用をもたらす。 Further, in the first aspect, a plurality of pixel blocks in which a plurality of pixels sharing a floating diffusion layer are arranged are arranged in the pixel array section, and the area dividing section is arranged in the pixel array section. You may divide into the said some area | region based on the said distribution for every pixel with the same relative position. As a result, the dark current correction is performed on the pixel signals of the pixels sharing the floating diffusion layer.
　また、この第１の側面において、上記領域分割部は、上記分布における上記暗電流の変化量が所定の閾値を超えた座標を上記境界として求めてもよい。これにより、暗電流の変化量が閾値を超える座標で分割された領域ごとの補正値により暗電流補正が行われるという作用をもたらす。 In the first aspect, the area dividing unit may obtain, as the boundary, coordinates at which the amount of change in dark current in the distribution exceeds a predetermined threshold. This brings about the effect that the dark current correction is performed by the correction value for each area divided by the coordinates in which the change amount of the dark current exceeds the threshold value.
　また、この第１の側面において、上記領域分割部は、上記分布を示す関数の変曲点を上記境界として求めてもよい。これにより、変曲点で分割された領域ごとの補正値により暗電流補正が行われるという作用をもたらす。 Further, in the first aspect, the area dividing unit may obtain the inflection point of the function indicating the distribution as the boundary. This brings about the effect that the dark current correction is performed by the correction value for each region divided at the inflection point.
　また、この第１の側面において、上記補正部は、上記境界に該当しない座標における上記暗電流の値を上記補正値から補間して当該補間した補間値を用いて上記暗電流補正を行ってもよい。これにより、補正値保持部の容量が削減されるという作用をもたらす。 Further, in the first aspect, the correction unit may interpolate a value of the dark current at a coordinate that does not correspond to the boundary from the correction value and perform the dark current correction using the interpolated interpolation value. Good. This brings about an effect that the capacity of the correction value holding unit is reduced.
　また、この第１の側面において、上記補正部は、線形補間により上記補間値を求めてもよい。これにより、線形補間により得られた補正値により暗電流補正が行われるという作用をもたらす。 Further, in the first aspect, the correction unit may obtain the interpolation value by linear interpolation. This brings about the effect that the dark current correction is performed by the correction value obtained by the linear interpolation.
　また、本技術の第２の側面は、複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、上記複数の領域のそれぞれの境界における上記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、上記複数の画素のそれぞれの画素信号に対する上記暗電流補正を上記補正値を用いて行う補正部と、上記暗電流補正が行われた上記画素信号を処理する信号処理部とを具備する撮像装置である。これにより、暗電流の分布に基づいて分割された領域ごとの補正値により暗電流補正が行われ、暗電流補正後の画素信号が処理されるという作用をもたらす。 A second aspect of the present technology is an area dividing section that divides the pixel array section into a plurality of areas based on the distribution of dark current in the pixel array section in which a plurality of pixels are arranged in a two-dimensional lattice shape, A correction value holding unit that holds the value of the dark current at each boundary of the regions as a correction value for dark current correction, and the dark current correction for each pixel signal of the plurality of pixels using the correction value. The image pickup apparatus includes a correction unit that performs the dark current correction and a signal processing unit that processes the pixel signal subjected to the dark current correction. As a result, the dark current correction is performed by the correction value for each area divided based on the distribution of the dark current, and the pixel signal after the dark current correction is processed.
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。It is a block diagram showing an example of 1 composition of an imaging device in a 1st embodiment of this art. 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。It is a block diagram showing an example of 1 composition of a solid-state image sensing device in a 1st embodiment of this art. 本技術の第１の実施の形態における画素アレイ部の平面図の一例である。FIG. 3 is an example of a plan view of a pixel array section in the first embodiment of the present technology. 本技術の第１の実施の形態におけるカラム信号処理部の一構成例を示すブロック図である。It is a block diagram showing an example of 1 composition of a column signal processing part in a 1st embodiment of this art. 本技術の第１の実施の形態におけるダークレベルおよび補正値の分布の一例を示す図である。It is a figure showing an example of distribution of a dark level and a correction value in a 1st embodiment of this art. 本技術の第１の実施の形態における境界ごとの補正値の一例を示す図である。It is a figure which shows an example of the correction value for every boundary in 1st Embodiment of this technique. 本技術の第１の実施の形態におけるエリア分割の結果の一例を示す図である。It is a figure showing an example of a result of area division in a 1st embodiment of this art. 本技術の第１の実施の形態における補正値と補正前後の信号レベルとの一例を示す図である。It is a figure which shows an example of the correction value and the signal level before and behind correction in 1st Embodiment of this technique. 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of the solid-state image sensing device in a 1st embodiment of this art. 本技術の第２の実施の形態における垂直方向のエリア分割の結果の一例を示す図である。It is a figure which shows an example of the result of the area division of the vertical direction in 2nd Embodiment of this technique. 本技術の第２の実施の形態におけるダークレベルの平均値の分布の一例を示す図である。It is a figure showing an example of distribution of an average value of a dark level in a 2nd embodiment of this art. 本技術の第２の実施の形態における水平方向のエリア分割の結果の一例を示す図である。It is a figure showing an example of a result of horizontal area division in a 2nd embodiment of this art. 本技術の第３の実施の形態におけるカラム信号処理部の一構成例を示すブロック図である。It is a block diagram showing an example of 1 composition of a column signal processing part in a 3rd embodiment of this art. 本技術の第３の実施の形態におけるＤＳＰ回路の一構成例を示すブロック図である。It is a block diagram showing an example of 1 composition of a DSP circuit in a 3rd embodiment of this art. 本技術の第３の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of the solid-state image sensing device in a 3rd embodiment of this art. 本技術の第４の実施の形態における画素ブロックの一構成例を示す回路図である。It is a circuit diagram showing an example of 1 composition of a pixel block in a 4th embodiment of this art. 車両制御システムの概略的な構成例を示すブロック図である。It is a block diagram showing a schematic example of composition of a vehicle control system. 撮像部の設置位置の一例を示す説明図である。It is explanatory drawing which shows an example of the installation position of an imaging part.
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（暗電流の分布に基づいて分割する例）
　２．第２の実施の形態（暗電流の分布に基づいて矩形のエリアに分割する例）
　３．第３の実施の形態（暗電流の分布に基づいて分割し、環境情報に基づいて補正する例）
　４．第４の実施の形態（浮遊拡散層を共有する画素を配列した画素アレイ部内の暗電流の分布に基づいて分割する例）
　５．移動体への応用例 Hereinafter, a mode for implementing the present technology (hereinafter, referred to as an embodiment) will be described. The description will be made in the following order.
1. First embodiment (example of division based on dark current distribution)
2. Second embodiment (example of dividing into rectangular areas based on dark current distribution)
3. Third embodiment (example in which division is performed based on dark current distribution and correction is performed based on environmental information)
4. Fourth Embodiment (an example of dividing based on a distribution of dark current in a pixel array section in which pixels sharing a floating diffusion layer are arranged)
5. Application example to mobile
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。 <1. First Embodiment>
[Example of configuration of imaging device]
FIG. 1 is a block diagram showing a configuration example of an imaging device 100 according to the first embodiment of the present technology. The image pickup apparatus 100 is an apparatus for picking up image data, and includes an optical unit 110, a solid-state image pickup element 200, and a DSP circuit 120. Furthermore, the imaging device 100 includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180. As the imaging apparatus 100, for example, a digital camera such as a digital still camera, a smartphone having an imaging function, a personal computer, an in-vehicle camera, or the like is assumed.
　光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。 The optical unit 110 collects light from a subject and guides it to the solid-state imaging device 200. The solid-state image sensor 200 is to generate image data by photoelectric conversion in synchronization with the vertical synchronization signal VSYNC. Here, the vertical synchronization signal VSYNC is a periodic signal of a predetermined frequency that indicates the timing of image capturing. The solid-state imaging device 200 supplies the generated image data to the DSP circuit 120 via the signal line 209.
　ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載の信号処理部の一例である。 The DSP circuit 120 executes predetermined signal processing on the image data from the solid-state image sensor 200. The DSP circuit 120 outputs the processed image data to the frame memory 160 or the like via the bus 150. The DSP circuit 120 is an example of the signal processing unit described in the claims.
　表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。 The display unit 130 displays image data. As the display unit 130, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel is assumed. The operation unit 140 generates an operation signal according to a user operation.
　バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。 The bus 150 is a common path for the optical unit 110, the solid-state image sensor 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
　フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。 The frame memory 160 holds image data. The storage unit 170 stores various data such as image data. The power supply unit 180 supplies power to the solid-state imaging device 200, the DSP circuit 120, the display unit 130, and the like.
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、行選択部２１０、タイミング制御部２２０、ＤＡＣ（Digital to Analog Converter）２３０、画素アレイ部２５０、カラム信号処理部２６０および水平転送走査部２７０を備える。また、画素アレイ部２５０には、複数の画素が二次元格子状に配列される。 [Configuration example of solid-state image sensor]
FIG. 2 is a block diagram showing a configuration example of the solid-state imaging device 200 according to the first embodiment of the present technology. The solid-state imaging device 200 includes a row selection unit 210, a timing control unit 220, a DAC (Digital to Analog Converter) 230, a pixel array unit 250, a column signal processing unit 260, and a horizontal transfer scanning unit 270. Further, in the pixel array unit 250, a plurality of pixels are arranged in a two-dimensional lattice shape.
　以下、所定の方向（水平方向など）に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。画素アレイ部２５０の行数をＭ（Ｍは整数）とし、列数をＮ（Ｎは整数）とする。 Hereafter, a set of pixels arranged in a predetermined direction (horizontal direction, etc.) is called a "row", and a set of pixels arranged in a direction perpendicular to the row is called a "column". The number of rows of the pixel array section 250 is M (M is an integer), and the number of columns is N (N is an integer).
　行選択部２１０は、垂直同期信号ＶＳＹＮＣより周波数の高い水平同期信号に同期して行を順に選択し、駆動するものである。 The row selection unit 210 sequentially selects and drives rows in synchronization with a horizontal sync signal having a frequency higher than that of the vertical sync signal VSYNC.
　個々の画素は、光電変換により画素信号を生成する。これらの画素は、浮遊拡散層、フォトダイオードやトランジスタなどにより実現される。画素アレイ部２５０内のＮ列の画素からカラム信号処理部２６０へは、Ｎ本の垂直信号線２５９を介して各列の画素信号が伝送される。 Individual pixels generate pixel signals by photoelectric conversion. These pixels are realized by a floating diffusion layer, a photodiode, a transistor, and the like. Pixel signals of each column are transmitted from the N columns of pixels in the pixel array unit 250 to the column signal processing unit 260 via N vertical signal lines 259.
　ＤＡＣ２３０は、タイミング制御部２２０からのデジタル信号に対するＤＡ（Digital to Analog）変換により、時間の経過に伴って変化するランプ信号を生成するものである。このＤＡＣ２３０は、ランプ信号をカラム信号処理部２６０に供給する。 The DAC 230 generates a ramp signal that changes over time by DA (Digital to Analog) conversion of the digital signal from the timing control unit 220. The DAC 230 supplies the ramp signal to the column signal processing unit 260.
　タイミング制御部２２０は、垂直同期信号ＶＳＹＮＣに同期して、行選択部２１０、ＤＡＣ２３０、カラム信号処理部２６０および水平転送走査部２７０のそれぞれの動作タイミングを制御するものである。 The timing control unit 220 controls the operation timing of each of the row selection unit 210, the DAC 230, the column signal processing unit 260, and the horizontal transfer scanning unit 270 in synchronization with the vertical synchronization signal VSYNC.
　カラム信号処理部２６０は、列ごとに、画素信号に対して所定の信号処理を実行するものである。この信号処理は、アナログの画素信号をデジタル信号に変換するＡＤ（Analog to Digital）変換の処理と、暗電流による明暗の歪みを補正する暗電流補正の処理とを含む。カラム信号処理部２６０は、信号処理後のデジタル信号を水平転送走査部２７０の制御に従ってＤＳＰ回路１２０に出力する。Ｍ×Ｎ個のデジタル信号により画像データが生成される。 The column signal processing unit 260 executes predetermined signal processing on pixel signals for each column. This signal processing includes AD (Analog to Digital) conversion processing for converting an analog pixel signal into a digital signal, and dark current correction processing for correcting light-dark distortion due to dark current. The column signal processing unit 260 outputs the signal-processed digital signal to the DSP circuit 120 under the control of the horizontal transfer scanning unit 270. Image data is generated by M × N digital signals.
　水平転送走査部２７０は、カラム信号処理部２６０を制御して、デジタル信号を順に出力させるものである。 The horizontal transfer scanning unit 270 controls the column signal processing unit 260 to sequentially output digital signals.
　［画素アレイ部の構成例］
　図３は、本技術の第１の実施の形態における画素アレイ部の平面図の一例である。画素アレイ部２５０には、有効エリア２５３と遮光エリア２５１とが設けられる。同図における一定鎖線で囲まれたエリアは、有効エリア２５３を示し、有効エリア２５３の周囲のエリアは、遮光エリア２５１を示す。 [Configuration example of pixel array section]
FIG. 3 is an example of a plan view of the pixel array section according to the first embodiment of the present technology. The pixel array section 250 is provided with an effective area 253 and a light shielding area 251. An area surrounded by a constant chain line in the figure shows an effective area 253, and an area around the effective area 253 shows a light shielding area 251.
　有効エリア２５３は、遮光されていないエリアであり、複数の有効画素２５４が二次元格子状に配列される。一方、遮光エリア２５１は、遮光されたエリアであり、複数の遮光画素２５２が配列される。 The effective area 253 is an area that is not shielded from light, and a plurality of effective pixels 254 are arranged in a two-dimensional grid pattern. On the other hand, the light shielding area 251 is a light shielded area, and a plurality of light shielding pixels 252 are arranged.
　有効画素２５４は、遮光されていない画素であり、入射光に対する光電変換により画素信号を生成して出力する。一方、遮光画素２５２は、遮光された画素であり、暗電流に応じた信号を画素信号として出力する。 The effective pixel 254 is a pixel that is not shielded from light and generates and outputs a pixel signal by photoelectric conversion of incident light. On the other hand, the light-shielded pixel 252 is a light-shielded pixel and outputs a signal corresponding to the dark current as a pixel signal.
　［カラム信号処理部の構成例］
　図４は、本技術の第１の実施の形態におけるカラム信号処理部２６０の一構成例を示すブロック図である。このカラム信号処理部２６０は、アナログデジタル変換部２６１、エリア分割部２６２、補正値設定部２６３、補正値保持部２６４およびシェーディング補正部２６５を備える。 [Example of configuration of column signal processing unit]
FIG. 4 is a block diagram showing a configuration example of the column signal processing unit 260 according to the first embodiment of the present technology. The column signal processing unit 260 includes an analog / digital conversion unit 261, an area dividing unit 262, a correction value setting unit 263, a correction value holding unit 264, and a shading correction unit 265.
　また、カラム信号処理部２６０には、モード信号ＭＯＤＥが入力される。ここで、モード信号ＭＯＤＥは、補正モードおよび撮像モードを含む複数のモードのいずれかを設定するための信号である。補正モードは、暗電流補正のための補正値を固体撮像素子２００が生成して保持しておくモードである。この補正モードにおいては、画素アレイ部２５０全体を遮光した状態で画像データがダーク画像として撮像される。一方、撮像モードは、固体撮像素子２００が、画素毎に画素信号に対して暗電流補正を行い、画像データを生成するモードである。この撮像モードにおいては、撮像時に画素アレイ部２５０が遮光されない。また、補正モードは、例えば、撮像装置１００の工場出荷時などにおいて設定される。 A mode signal MODE is also input to the column signal processing unit 260. Here, the mode signal MODE is a signal for setting any one of a plurality of modes including a correction mode and an imaging mode. The correction mode is a mode in which the solid-state imaging device 200 generates and holds a correction value for dark current correction. In this correction mode, the image data is captured as a dark image with the entire pixel array section 250 shielded from light. On the other hand, the imaging mode is a mode in which the solid-state imaging device 200 performs dark current correction on a pixel signal for each pixel and generates image data. In this imaging mode, the pixel array section 250 is not shielded during imaging. The correction mode is set, for example, at the time of factory shipment of the image pickup apparatus 100.
　アナログデジタル変換部２６１は、ランプ信号を用いて、アナログの画素信号Ａｉｎ１乃至ＡｉｎＮをデジタル信号Ｄｏｕｔ１乃至ＤｏｕｔＮに変換するものである。ここで、画素信号Ａｉｎｊ（ｊは１乃至Ｎの整数）は、ｊ列目の画素信号である。このアナログデジタル変換部２６１は、例えば、カラムごとに設けられたＡＤＣにより実現される。Ｎ列分のＡＤ変換は、Ｍ行のそれぞれについて順に実行される。これらのＡＤ変換により、Ｍ×Ｎ個のデジタル信号が生成される。アナログデジタル変換部２６１は、デジタル信号をエリア分割部２６２、補正値設定部２６３およびシェーディング補正部２６５に供給する。 The analog-to-digital converter 261 converts the analog pixel signals Ain1 to AinN into digital signals Dout1 to DoutN using the ramp signal. Here, the pixel signal Ainj (j is an integer from 1 to N) is the pixel signal in the j-th column. The analog-digital conversion unit 261 is realized by, for example, an ADC provided for each column. The AD conversion for N columns is sequentially executed for each of M rows. These AD conversions generate M × N digital signals. The analog-digital conversion unit 261 supplies the digital signal to the area division unit 262, the correction value setting unit 263, and the shading correction unit 265.
　エリア分割部２６２は、画素アレイ部２５０内の暗電流の分布に基づいて画素アレイ部２５０内の有効エリア２５３を複数の分割エリアに分割するものである。このエリア分割部２６２は、モード信号ＭＯＤＥにより補正モードが設定された場合に、行ごとに、その行内の暗電流の分布を取得し、その分布に基づいて複数のエリアのそれぞれの境界を設定する。例えば、エリア分割部２６２は、暗電流を示すＮ列分のデジタル信号のそれぞれの値を目的変数Ｙ１乃至ＹＮとし、Ｎ列のそれぞれのＸ座標を説明変数Ｘ１乃至ＸＮとする。そして、エリア分割部２６２は、曲線あてはめにより、次の式に示す多項式などの関数を求める。
　　ｙｊ＝ｆ（ｘｊ） The area dividing section 262 divides the effective area 253 in the pixel array section 250 into a plurality of divided areas based on the distribution of dark current in the pixel array section 250. When the correction mode is set by the mode signal MODE, the area dividing unit 262 acquires the distribution of the dark current in each row and sets the boundaries of the plurality of areas based on the distribution. . For example, the area dividing unit 262 sets the respective values of the digital signals for N columns indicating the dark current as the target variables Y 1 to Y N, and sets the X coordinates of the N columns as the explanatory variables X 1 to X N. Then, the area dividing unit 262 obtains a function such as a polynomial expression shown in the following equation by curve fitting.
y j = f (x j )
　曲線あてはめにおいては、例えば、次の式により表される誤差Ｊが最小となるように関数ｆ（ｘｊ）のフィッティングパラメータを求める最小二乗法が用いられる。関数ｆ（ｘｊ）が多項式である場合、項のそれぞれの係数がフィッティングパラメータとして求められる。
Figure JPOXMLDOC01-appb-M000001
 In the curve fitting, for example, the least squares method for finding the fitting parameter of the function f (x j ) so that the error J represented by the following equation is minimized is used. If the function f (x j ) is a polynomial, then each coefficient of the term is found as a fitting parameter.
Figure JPOXMLDOC01-appb-M000001
　そして、エリア分割部２６２は、求めた関数ｆ（ｘｊ）を一次微分し、微分値を画素毎に求める。この微分値は、暗電流の変化量を示す。エリア分割部２６２は、画素毎に微分値（変化量）が所定の閾値を超えるか否かを判断する。また、エリア分割部２６２は、関数ｆ（ｘｊ）を二次微分し、その微分値が「０」になる画素（すなわち、変曲点）を求める。 Then, the area dividing unit 262 first-order differentiates the obtained function f (x j ) and obtains a differential value for each pixel. This differential value indicates the amount of change in dark current. The area division unit 262 determines for each pixel whether or not the differential value (change amount) exceeds a predetermined threshold value. Further, the area dividing unit 262 second-order differentiates the function f (x j ) and obtains a pixel (that is, an inflection point) whose differential value is “0”.
　続いてエリア分割部２６２は、微分値が閾値を超える画素と変曲点との座標を、分割したエリアの境界の座標である境界座標として設定する。エリア分割部２６２は、行ごとに、その行内の境界座標を求める。これらの処理により、画素アレイ部２５０は、境界座標からなる曲線や直線を境界とする複数の分割エリアに分割される。エリア分割部２６２は、行ごとの境界座標を補正値設定部２６３に供給する。また、エリア分割部２６２は、遮光エリア２５１内の有効エリア２５３に隣接する画素の座標についても境界座標として補正値設定部２６３に供給する。なお、エリア分割部２６２は、特許請求の範囲に記載の領域分割部の一例である。 Subsequently, the area division unit 262 sets the coordinates of the pixel and the inflection point whose differential value exceeds the threshold value as the boundary coordinates which are the coordinates of the boundary of the divided area. The area dividing unit 262 obtains, for each row, the boundary coordinates within the row. By these processes, the pixel array section 250 is divided into a plurality of divided areas having a boundary or a curve or straight line composed of boundary coordinates. The area division unit 262 supplies the boundary coordinates for each row to the correction value setting unit 263. The area division unit 262 also supplies the coordinates of pixels adjacent to the effective area 253 in the light-shielded area 251 to the correction value setting unit 263 as boundary coordinates. The area division unit 262 is an example of the area division unit described in the claims.
　なお、エリア分割部２６２は、微分値が閾値を超える画素と変曲点との両方の座標を境界座標として求めているが、いずれか一方のみを境界座標として求める構成であってもよい。 Note that the area division unit 262 obtains the coordinates of both the pixel and the inflection point whose differential value exceeds the threshold value as the boundary coordinates, but may be configured to obtain only one of them as the boundary coordinates.
　補正値設定部２６３は、境界座標ごとに、その座標に対応するデジタル信号Ｄｏｕｔｊの値をアナログデジタル変換部２６１から取得し、その座標の補正値として補正値保持部２６４に保持させるものである。これらの補正値は、暗電流補正に用いられる。補正値保持部２６４は、遮光エリア内の座標ごとに、また、境界座標ごとに補正値を保持するものである。 The correction value setting unit 263 acquires, for each boundary coordinate, the value of the digital signal Doutj corresponding to the coordinate from the analog-digital conversion unit 261 and causes the correction value holding unit 264 to hold the value as the correction value for the coordinate. These correction values are used for dark current correction. The correction value holding unit 264 holds the correction value for each coordinate in the light-shielded area and for each boundary coordinate.
　シェーディング補正部２６５は、モード信号ＭＯＤＥにより撮像モードが設定された場合に、デジタル信号Ｄｏｕｔｊに対して暗電流補正を行うものである。このシェーディング補正部２６５は、行ごとに、その行内の境界座標に対応する補正値を補正値保持部２６４から読み出す。 The shading correction unit 265 performs dark current correction on the digital signal Doutj when the imaging mode is set by the mode signal MODE. The shading correction unit 265 reads, for each row, a correction value corresponding to the boundary coordinates in the row from the correction value holding unit 264.
　そして、シェーディング補正部２６５は、読み出した補正値に基づいて、境界座標に該当しない座標の補正値を線形補間などにより補間する。補間した補正値を、以下、「補間値」と称する。例えば、ある行において境界座標（Ｘ１、Ｙ１）と、境界座標（Ｘ２、Ｙ１）との間の座標（Ｘ、Ｙ１）の補間値Ｄ（Ｘ、Ｙ１）は、次の式により演算される。
　　｛Ｄ（Ｘ、Ｙ１）－Ｄ（Ｘ１、Ｙ１）｝／｛Ｄ（Ｘ２、Ｙ１）－Ｄ（Ｘ１、Ｙ１）｝
　　　＝（Ｘ－Ｘ１）／（Ｘ２－Ｘ１）　　　　　　　　　　・・・式１
上式において、Ｄ（Ｘ１、Ｙ１）は、境界座標（Ｘ１、Ｙ１）の補正値であり、Ｄ（Ｘ２、Ｙ１）は、境界座標（Ｘ２、Ｙ１）の補正値である。 Then, the shading correction unit 265 interpolates the correction value of the coordinates not corresponding to the boundary coordinates by linear interpolation or the like based on the read correction value. The interpolated correction value will be referred to as "interpolation value" below. For example, the interpolation value D (X, Y1) of the coordinates (X, Y 1 ) between the boundary coordinates (X 1 , Y 1 ) and the boundary coordinates (X 2 , Y 1 ) in a certain row is given by Is calculated by
{D (X, Y1) -D (X1, Y1) } / {D (X2, Y1) -D (X1, Y1) }
= (X−X 1 ) / (X 2 −X 1 ) ... Formula 1
In the above equation, D (X1, Y1) is a correction value of the boundary coordinate (X 1, Y 1), D (X2, Y1) is the correction value of the boundary coordinate (X 2, Y 1).
　式１による線形補間の後にシェーディング補正部２６５は、デジタル信号Ｄｏｕｔｊから、対応する補正値を減算する。補正値は、暗電流に応じた値であるため、その減算により、デジタル信号から暗電流ノイズが除去される。これにより、暗電流によるデジタル信号Ｄｏｕｔｊの明暗の歪みが補正（すなわち、暗電流補正）される。シェーディング補正部２６５は、補正後のデジタル信号ＤｏｕｔｊをＤｏｕｔｊ'としてＤＳＰ回路１２０に供給する。なお、シェーディング補正部２６５は、特許請求の範囲に記載の補正部の一例である。 After the linear interpolation according to Expression 1, the shading correction unit 265 subtracts the corresponding correction value from the digital signal Doutj. Since the correction value is a value according to the dark current, the subtraction removes the dark current noise from the digital signal. As a result, the light and dark distortion of the digital signal Doutj due to the dark current is corrected (that is, dark current correction). The shading correction unit 265 supplies the corrected digital signal Doutj to the DSP circuit 120 as Doutj ′. The shading correction unit 265 is an example of the correction unit described in the claims.
　なお、カラム信号処理部２６０内の処理のエリア分割、補正値の設定やシェーディング補正の一部または全てを、カラム信号処理部２６０の代わりに固体撮像素子２００の外部の回路（ＤＳＰ回路１２０など）が実行する構成であってもよい。 It should be noted that, in place of the column signal processing unit 260, a circuit outside the solid-state imaging device 200 (such as the DSP circuit 120) is used for part or all of area division of processing in the column signal processing unit 260, setting of correction values, and shading correction. May be executed.
　図５は、本技術の第１の実施の形態におけるダークレベルおよび補正値の分布の一例を示す図である。同図におけるａは、ある行のダークレベルの分布の一例を示す。同図におけるｂは、エリア分割した際のダークレベルの分布の一例を示す。同図におけるｃは、ある行の補正値の分布の一例を示す。同図におけるａおよびｂの縦軸は、補正モードにおけるデジタル信号のレベルであるダークレベルを示し、横軸は、列アドレスを示す。同図におけるｃの縦軸は、補正値を示し、横軸は、列アドレスを示す。 FIG. 5 is a diagram showing an example of the distribution of dark levels and correction values according to the first embodiment of the present technology. In the figure, a indicates an example of the dark level distribution of a certain row. B in the figure shows an example of the distribution of the dark level when the area is divided. C in the figure shows an example of the distribution of the correction values in a certain row. In the figure, the vertical axes of a and b show the dark level which is the level of the digital signal in the correction mode, and the horizontal axis shows the column address. In the figure, the vertical axis of c indicates the correction value, and the horizontal axis indicates the column address.
　エリア分割部２６２は、補正モードにおいて、行ごとに、その行内の全ての列アドレスのデジタル信号を取得する。補正モードにおいては、画素アレイ部２５０が遮光されているため、画素信号のレベルは、暗電流のレベルであるダークレベルに該当する。同図におけるａに例示するように、ダークレベルの空間分布は一定とは限らず、局所的に変動することがある。 The area division unit 262 acquires digital signals of all column addresses in each row in the correction mode. In the correction mode, since the pixel array section 250 is shielded from light, the level of the pixel signal corresponds to the dark level which is the level of dark current. As illustrated in a in the figure, the spatial distribution of the dark level is not always constant, but may vary locally.
　エリア分割部２６２は、曲線あてはめにより、暗電流の分布を表す関数ｆ（ｘｉ）を求め、その関数の一次微分および二次微分を行う。エリア分割部２６２は、一次微分の微分値が閾値以上となる画素と、二次微分の微分値が「０」となる画素（変曲点）との座標を境界座標として設定する。また、エリア分割部２６２は、遮光エリア２５１内の有効エリア２５３に隣接する画素の座標についても境界座標として設定する。例えば、同図におけるｂに例示するようにＸ１乃至Ｘ８が、Ｘ座標およびＹ座標からなる境界座標のうちＸ座標として設定される。これらの境界座標により、この行は、分割エリアＡ１乃至Ａ７に分割される。 The area dividing unit 262 obtains a function f (x i ) representing the distribution of dark current by curve fitting, and performs the first derivative and second derivative of the function. The area division unit 262 sets, as boundary coordinates, the coordinates of the pixel having the differential value of the primary differential equal to or greater than the threshold value and the pixel having the differential value of the secondary differential of “0” (inflection point). The area division unit 262 also sets the coordinates of pixels adjacent to the effective area 253 in the light-shielded area 251 as boundary coordinates. For example, X1 to X8 are set as the X coordinate of the boundary coordinates composed of the X coordinate and the Y coordinate, as illustrated in b in the figure. This line is divided into division areas A1 to A7 by these boundary coordinates.
　そして、補正値設定部２６３は、Ｘ１乃至Ｘ８などの境界座標ごとに、その座標のダークレベルを補正値として補正値保持部２６４に保持させる。このように境界の補正値のみを保持することにより、全画素の補正値を保持する場合と比較して、少ない容量のメモリにより補正値保持部２６４を実現することができる。 Then, the correction value setting unit 263 causes the correction value holding unit 264 to hold the dark level of each boundary coordinate such as X1 to X8 as a correction value. By holding only the boundary correction value in this way, the correction value holding unit 264 can be realized with a memory having a smaller capacity than in the case where the correction values of all pixels are held.
　撮像モードにおいて、シェーディング補正部２６５は、境界座標ごとの補正値を補正値保持部２６４から読み出し、境界座標以外の座標の補正値を線形補間により補間する。同図におけるｃの黒丸は、境界座標の補正値を示し、黒丸以外の実線の補正値は、補間値を示す。 In the imaging mode, the shading correction unit 265 reads the correction value for each boundary coordinate from the correction value holding unit 264, and interpolates the correction value for coordinates other than the boundary coordinate by linear interpolation. The black circles of c in the figure show the correction values of the boundary coordinates, and the solid line correction values other than the black circles show the interpolated values.
　図６は、本技術の第１の実施の形態における境界ごとの補正値の一例を示す図である。同図に例示するように、補正値保持部２６４には、境界座標ごとに、補正値が保持される。例えば、座標Ｙ１の行において、Ｘ１乃至Ｘ８のＸ座標が境界として設定された場合、境界座標（Ｘ１、Ｙ１）乃至（Ｘ８、Ｙ１）が保持される。また、それらの境界座標に対応付けて補正値Ｄ（Ｘ１、Ｙ１）乃至Ｄ（Ｘ８、Ｙ１）が保持される。 FIG. 6 is a diagram showing an example of a correction value for each boundary according to the first embodiment of the present technology. As illustrated in the figure, the correction value holding unit 264 holds the correction value for each boundary coordinate. For example, in the row of the coordinate Y1, when the X coordinate of X1 to X8 is set as the boundary, the boundary coordinates (X1, Y1) to (X8, Y1) are held. Further, the correction values D (X1, Y1) to D (X8, Y1) are held in association with those boundary coordinates.
　図７は、本技術の第１の実施の形態におけるエリア分割の結果の一例を示す図である。有効エリア２５３は、分割エリアＡ１乃至Ａ７などの複数の分割エリアに分割される。同図において、点線の行における黒丸は、その行の境界座標を示す。この行のダークレベルの分布は、例えば、図５におけるａのグラフにより表される。 FIG. 7 is a diagram illustrating an example of a result of area division according to the first embodiment of the present technology. The effective area 253 is divided into a plurality of divided areas such as the divided areas A1 to A7. In the figure, the black circles in the dotted line indicate the boundary coordinates of the line. The distribution of dark levels in this row is represented by, for example, the graph of a in FIG.
　エリア分割部２６２は、Ｍ行のそれぞれについて、その行の境界座標を求める。Ｍ行の全ての境界座標からなる曲線や直線は、図７における分割エリアの境界に該当する。ダークレベルは、一定とは限らず、局所的に変化する。この変化量が大きな箇所が境界座標に設定されている。このため、分割エリアの内部では、変化量が閾値より低く、分割エリア内の補正値は、境界の補正値から線形補間などの補間により求めることができる。 The area division unit 262 obtains the boundary coordinates of each M row. A curved line or a straight line composed of all the boundary coordinates of the M row corresponds to the boundary of the divided area in FIG. 7. The dark level is not always constant but changes locally. The position where the amount of change is large is set as the boundary coordinate. Therefore, the amount of change is lower than the threshold value inside the divided area, and the correction value within the divided area can be obtained from the boundary correction value by interpolation such as linear interpolation.
　なお、分割エリアのコーナーの部分では、線形補間のみを行うと、補正残りが生じる場合がある。そこで、シェーディング補正部２６５は、分割エリアごとにコーナーを検出し、そのコーナーを中心とした一定範囲内において二次関数補間などに補間方法を変えることができる。これにより、補間精度をさらに向上させることができる。 Note that if only linear interpolation is performed at the corners of the divided area, uncorrected portions may occur. Therefore, the shading correction unit 265 can detect a corner for each divided area and change the interpolation method to quadratic function interpolation or the like within a certain range centered on the corner. Thereby, the interpolation accuracy can be further improved.
　図８は、本技術の第１の実施の形態における補正値と補正前後の信号レベルとの一例を示す図である。同図におけるａは、ある行の補正値の分布の一例を示す。同図におけるｂは、ある行の補正前のデジタル信号の分布の一例を示す。同図におけるｃは、ある行の補正後のデジタル信号の分布の一例を示す。 FIG. 8 is a diagram showing an example of the correction value and the signal levels before and after the correction according to the first embodiment of the present technology. In the figure, a shows an example of the distribution of the correction values in a certain row. B in the same figure shows an example of the distribution of the digital signal before correction of a certain row. C in the figure shows an example of the distribution of the digital signal after correction of a certain row.
　撮像モードにおいて、シェーディング補正部２６５は、同図におけるａに例示するように、行内の列ごとの補正値を線形補間により求める。そして、撮像モードにおいて、ある行の画素毎の受光量が一定であるものと仮定する。この場合であっても、暗電流ノイズが生じた場合には、同図におけるｂに例示するように、行内のデジタル信号が一定とならない。暗電流補正により暗電流ノイズの成分を除去しないと、シェーディングが発生して画質が低下してしまう。そこで、シェーディング補正部２６５は、その行内の列ごとのデジタル信号の値から、対応する補正値を減算する。これにより、同図におけるｃに例示するように、行内のデジタル信号が一定となり、シェーディングが補正される。 In the imaging mode, the shading correction unit 265 obtains a correction value for each column in a row by linear interpolation, as illustrated in a in the figure. Then, in the imaging mode, it is assumed that the amount of received light for each pixel in a certain row is constant. Even in this case, when dark current noise occurs, the digital signal in the row is not constant, as illustrated in b in the figure. If the dark current noise component is not removed by the dark current correction, shading occurs and the image quality deteriorates. Therefore, the shading correction unit 265 subtracts the corresponding correction value from the value of the digital signal for each column in the row. As a result, the digital signal in the row becomes constant and shading is corrected, as illustrated in c in the figure.
　［固体撮像素子の動作例］
　図９は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、補正モードが設定された場合に開始される。固体撮像素子２００は、遮光された状態で画像データをダーク画像として撮像する（ステップＳ９０１）。固体撮像素子２００は、行ごとに、関数ｆ（ｘｉ）を求め、一次微分を行い、閾値との比較により境界を設定する（ステップＳ９０２）。また、固体撮像素子２００は、行ごとに、二次微分を行って変曲点を境界として設定する（ステップＳ９０３）。そして、固体撮像素子２００は、境界における暗電流の値を補正値として保持する（ステップＳ９０４）。 [Operation example of solid-state image sensor]
FIG. 9 is a flowchart showing an example of the operation of the solid-state image sensor 200 according to the first embodiment of the present technology. This operation is started, for example, when the correction mode is set. The solid-state image sensor 200 captures image data as a dark image in a light-shielded state (step S901). The solid-state imaging device 200 obtains the function f (x i ) for each row, performs the first-order differentiation, and sets the boundary by comparison with the threshold value (step S902). In addition, the solid-state imaging device 200 performs second-order differentiation for each row and sets an inflection point as a boundary (step S903). Then, the solid-state image sensor 200 holds the value of the dark current at the boundary as a correction value (step S904).
　そして、固体撮像素子２００は、撮像モードが設定されたか否かを判断する（ステップＳ９０５）。撮像モードが設定された場合に（ステップＳ９０５：Ｙｅｓ）、固体撮像素子２００は、画像データを撮像する（ステップＳ９０６）。固体撮像素子２００は、線形補間により、境界に該当しない座標の補正値を補間し（ステップＳ９０７）、それらの補正値を用いてシェーディング補正を行う（ステップＳ９０８）。 Then, the solid-state imaging device 200 determines whether or not the imaging mode is set (step S905). When the imaging mode is set (step S905: Yes), the solid-state imaging device 200 images the image data (step S906). The solid-state imaging device 200 interpolates correction values of coordinates that do not correspond to the boundary by linear interpolation (step S907), and performs shading correction using these correction values (step S908).
　撮像モードが設定されてない場合（ステップＳ９０５：Ｎｏ）、または、ステップＳ９０８の後に固体撮像素子２００は、ステップＳ９０５以降を繰り返し実行する。 If the imaging mode is not set (step S905: No), or after step S908, the solid-state imaging device 200 repeatedly executes step S905 and subsequent steps.
　このように、本技術の第１の実施の形態では、カラム信号処理部２６０は、暗電流の分布に基づいて画素アレイ部２５０を複数の領域に分割し、それらの領域の境界に対応する補正値を用いて暗電流補正を行う。これにより、暗電流の分布において暗電流が局所的に変動しても、その分布に応じた補正値により、暗電流ノイズを十分に除去することができる。したがって、暗電流補正の補正精度を向上させることができる。 As described above, in the first embodiment of the present technology, the column signal processing unit 260 divides the pixel array unit 250 into a plurality of regions based on the distribution of the dark current, and performs the correction corresponding to the boundaries of those regions. Dark current correction is performed using the value. As a result, even if the dark current locally changes in the dark current distribution, the dark current noise can be sufficiently removed by the correction value according to the distribution. Therefore, the correction accuracy of dark current correction can be improved.
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、補正値保持部２６４は、行ごとに演算により境界座標を設定し、境界座標ごとに補正値を保持していたが、境界の形状が複雑になるほど、補正値の総数と演算量とが増大してしまう。この第２の実施の形態のカラム信号処理部２６０は、矩形の分割エリアにより分割することにより演算量と補正値の総数とを削減した点において第１の実施の形態と異なる。 <2. Second Embodiment>
In the above-described first embodiment, the correction value holding unit 264 sets the boundary coordinates by calculation for each row and holds the correction value for each boundary coordinate. The total number of values and the amount of calculation increase. The column signal processing unit 260 of the second embodiment differs from that of the first embodiment in that the calculation amount and the total number of correction values are reduced by dividing the column signal processing unit 260 by a rectangular division area.
　図１０は、本技術の第２の実施の形態における垂直方向のエリア分割の結果の一例を示す図である。同図に例示するように、垂直方向において画素アレイ部２５０内の有効エリア２５３は、一定の間隔で分割される。これらのエリアを以下、「垂直分割エリア」と称する。 FIG. 10 is a diagram showing an example of a result of vertical area division according to the second embodiment of the present technology. As illustrated in the figure, the effective area 253 in the pixel array unit 250 is divided at regular intervals in the vertical direction. Hereinafter, these areas will be referred to as “vertical division areas”.
　図１１は、本技術の第２の実施の形態におけるダークレベルの平均値の分布の一例を示す図である。同図におけるａは、エリア分割前のダークレベルの平均値の分布の一例を示す図であり、同図におけるｂは、エリア分割後のダークレベルの平均値の分布の一例を示す図である。同図における縦軸は、ある垂直分割エリア内の列ごとのダークレベルの平均値の一例を示し、同図における横軸は、列アドレスを示す。 FIG. 11 is a diagram showing an example of a distribution of average values of dark levels according to the second embodiment of the present technology. In the figure, a is a diagram showing an example of the distribution of the average value of the dark level before the area division, and b in the figure is a diagram showing an example of the distribution of the average value of the dark level after the area division. The vertical axis in the figure shows an example of the average value of the dark level for each column in a certain vertical division area, and the horizontal axis in the figure shows the column address.
　同図におけるａに例示するように第２の実施の形態のエリア分割部２６２は、垂直分割エリア内において、列ごとに、その列内の全画素のデジタル信号（ダークレベル）の平均値を演算する。そして、エリア分割部２６２は、同図におけるｂに例示するように第１の実施の形態と同様の方法により、水平方向において境界座標を設定する。これにより、垂直分割エリアは、水平方向において複数の分割エリアに分割される。これらのエリアを、以下、「水平分割エリア」と称する。水平方向に分割する処理は、垂直分割エリアごとに実行される。 As illustrated in a in the figure, the area division unit 262 of the second embodiment calculates, for each column in the vertical division area, the average value of the digital signals (dark level) of all the pixels in the column. To do. Then, the area dividing unit 262 sets the boundary coordinates in the horizontal direction by the same method as in the first embodiment, as illustrated in b in FIG. As a result, the vertical divided area is divided into a plurality of divided areas in the horizontal direction. Hereinafter, these areas will be referred to as “horizontal divided areas”. The process of dividing in the horizontal direction is executed for each vertical divided area.
　図１２は、本技術の第２の実施の形態における水平方向のエリア分割の結果の一例を示す図である。同図に例示するように、水平方向において、画素アレイ部２５０内の垂直分割エリアＶ１は、垂直分割エリアＨ１１乃至Ｈ１６に分割される。同図における一点鎖線の太線は、水平分割エリアのそれぞれの列方向に平行な境界を示す。垂直分割エリアＶ１以外の垂直分割エリアについても同様に、複数の水平分割エリアに分割される。 FIG. 12 is a diagram showing an example of a result of horizontal area division according to the second embodiment of the present technology. As illustrated in the figure, in the horizontal direction, the vertical division area V1 in the pixel array section 250 is divided into vertical division areas H11 to H16. The thick dashed line in the figure shows the boundaries parallel to the respective column directions of the horizontal divided areas. Vertical division areas other than the vertical division area V1 are similarly divided into a plurality of horizontal division areas.
　図１０乃至図１２に例示した垂直方向および水平方向のエリア分割により、有効エリア２５３は、矩形の複数の水平分割エリアに分割される。そして、垂直分割エリアごとに、そのエリア内の列のそれぞれのデジタル信号の平均値が補正値として保持される。これにより、境界内の画素毎に補正値を求める第１の実施の形態と比較して補正値の総数を削減することができる。これにより、容量の小さなメモリにより補正値保持部２６４を実現することができる。 The effective area 253 is divided into a plurality of rectangular horizontal divided areas by the vertical and horizontal area divisions illustrated in FIGS. 10 to 12. Then, for each vertical division area, the average value of the digital signals of the columns in the area is held as a correction value. As a result, it is possible to reduce the total number of correction values as compared with the first embodiment in which the correction value is calculated for each pixel within the boundary. Accordingly, the correction value holding unit 264 can be realized by a memory having a small capacity.
　また、シェーディング補正部２６５は、垂直分割エリアごとに、行方向においてのみ線形補間を行って列ごとの補正値を算出し、シェーディング補正を行う。このようにシェーディング補正部２６５は垂直分割エリアごとに線形補間を行えばよいため、行ごとに線形補間を行う第１の実施の形態と比較して、演算量を削減することができる。 Also, the shading correction unit 265 performs a linear interpolation only in the row direction for each vertical division area to calculate a correction value for each column, and performs shading correction. As described above, the shading correction unit 265 only needs to perform the linear interpolation for each vertical division area, and thus the amount of calculation can be reduced as compared with the first embodiment in which the linear interpolation is performed for each row.
　このように、本技術の第２の実施の形態によれば、エリア分割部２６２は、垂直分割エリアごとに、列のそれぞれのダークレベルの平均値の分布を求めるため、行ごとにダークレベルの分布を求める場合と比較して演算量を削減することができる。 As described above, according to the second embodiment of the present technology, the area division unit 262 obtains the distribution of the average value of the dark levels of each column for each vertical division area, and therefore the dark level of each row is calculated. The calculation amount can be reduced as compared with the case of obtaining the distribution.
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、補正モードにおいてカラム信号処理部２６０は、温度や電圧を測定せずに、境界座標ごとに暗電流の値を補正値として保持していた。しかし、暗電流の値は、一般に、電圧や温度などの環境情報に依存して変動する。このため、補正値を保持したときと異なる電圧や温度の条件下において暗電流値が変動し、暗電流ノイズを十分に除去することができないおそれがある。この第３の実施の形態の撮像装置１００は、環境情報に基づいて暗電流補正を行う点において第１の実施の形態と異なる。 <3. Third Embodiment>
In the above-described first embodiment, in the correction mode, the column signal processing unit 260 holds the value of the dark current as the correction value for each boundary coordinate without measuring the temperature or the voltage. However, the value of dark current generally fluctuates depending on environmental information such as voltage and temperature. For this reason, the dark current value may fluctuate under conditions of voltage and temperature different from when the correction value is held, and dark current noise may not be sufficiently removed. The image pickup apparatus 100 of the third embodiment is different from that of the first embodiment in that dark current correction is performed based on environment information.
　図１３は、本技術の第３の実施の形態におけるカラム信号処理部２６０の一構成例を示すブロック図である。この第３の実施の形態のカラム信号処理部２６０は、エリア分割部２６２、補正値設定部２６３、補正値保持部２６４およびシェーディング補正部２６５を備えない点において第１の実施の形態と異なる。 FIG. 13 is a block diagram showing a configuration example of the column signal processing unit 260 according to the third embodiment of the present technology. The column signal processing unit 260 of the third embodiment differs from that of the first embodiment in that the area dividing unit 262, the correction value setting unit 263, the correction value holding unit 264, and the shading correction unit 265 are not provided.
　図１４は、本技術の第３の実施の形態におけるＤＳＰ回路１２０の一構成例を示すブロック図である。このＤＳＰ回路１２０は、エリア分割部１２１、補正値設定部１２２、補正値保持部１２３、環境情報取得部１２４およびシェーディング補正部１２５を備える。 FIG. 14 is a block diagram showing a configuration example of the DSP circuit 120 according to the third embodiment of the present technology. The DSP circuit 120 includes an area division unit 121, a correction value setting unit 122, a correction value holding unit 123, an environment information acquisition unit 124, and a shading correction unit 125.
　エリア分割部１２１、補正値設定部１２２および補正値保持部１２３の構成は、第１の実施の形態のカラム信号処理部２６０内のエリア分割部２６２、補正値設定部２６３および補正値保持部２６４と同様である。ただし、補正値保持部２６４は、補正モードのときの環境情報をさらに保持する。ここで、環境情報は、撮像装置１００の環境に関する情報であり、温度、消費電力および電圧の少なくとも１つを含む。 The configurations of the area dividing unit 121, the correction value setting unit 122, and the correction value holding unit 123 are as follows: the area dividing unit 262, the correction value setting unit 263, and the correction value holding unit 264 in the column signal processing unit 260 according to the first embodiment. Is the same as. However, the correction value holding unit 264 further holds the environment information in the correction mode. Here, the environment information is information about the environment of the imaging device 100 and includes at least one of temperature, power consumption, and voltage.
　環境情報取得部１２４は、環境情報を取得するものである。例えば、温度センサー、消費電力を算出する回路や、電圧計などにより環境情報取得部１２４が実現される。この環境情報取得部１２４は、補正モードが設定された場合に環境情報を補正値に対応付けて補正値保持部１２３に保持させる。一方、撮像モードが設定された場合に環境情報取得部１２４は、環境情報および補正値をシェーディング補正部１２５に供給する。 The environment information acquisition unit 124 acquires environment information. For example, the environment information acquisition unit 124 is realized by a temperature sensor, a circuit that calculates power consumption, a voltmeter, and the like. The environment information acquisition unit 124 causes the correction value holding unit 123 to hold the environment information in association with the correction value when the correction mode is set. On the other hand, when the imaging mode is set, the environment information acquisition unit 124 supplies the environment information and the correction value to the shading correction unit 125.
　シェーディング補正部１２５は、保持した補正値と環境情報とに基づいてシェーディング補正を行う。例えば、シェーディング補正部１２５は、環境情報と暗電流との間の関係を示す関数を用いて補正値を演算する。一般に温度が上昇するほど、暗電流の値が大きくなる。このため、例えば、シェーディング補正部１２５は、温度が高いほど、元の補正値を大きくする関数を用いて、取得された環境情報に対応する補正値を演算する。 The shading correction unit 125 performs shading correction based on the held correction value and environment information. For example, the shading correction unit 125 calculates a correction value using a function indicating the relationship between environmental information and dark current. Generally, the higher the temperature, the larger the value of dark current. Therefore, for example, the shading correction unit 125 calculates a correction value corresponding to the acquired environment information using a function that increases the original correction value as the temperature increases.
　あるいは、シェーディング補正部１２５は、補正モードの際の環境情報に対応する補正値に基づいて、撮像モードの際の環境情報に対応する補正値を線形補間などにより補間する。この場合に、環境情報取得部１２４は、補正モードのときに複数の条件下で補正値を求め、条件に係る環境情報ごとに補正値を補正値保持部１２３が保持しておく。 Alternatively, the shading correction unit 125 interpolates the correction value corresponding to the environment information in the imaging mode by linear interpolation or the like based on the correction value corresponding to the environment information in the correction mode. In this case, the environment information acquisition unit 124 obtains the correction value under a plurality of conditions in the correction mode, and the correction value holding unit 123 holds the correction value for each environment information related to the condition.
　例えば、補正モードの際に、温度Ｔ１について、ある行の境界座標（Ｘ１、Ｙ１）および（Ｘ２、Ｙ１）において、補正値Ｄ（Ｘ１、Ｙ１、Ｔ１）およびＤ（Ｘ２、Ｙ１、Ｔ１）が保持されたものとする。また、温度Ｔ２について、それらの境界座標において、補正値Ｄ（Ｘ１、Ｙ１、Ｔ２）およびＤ（Ｘ２、Ｙ１、Ｔ２）が保持されたものとする。シェーディング補正部１２５は、温度Ｔ１およびＴ２の間の温度Ｔが取得された際に、その条件下で境界座標（Ｘ１、Ｙ１）および（Ｘ２、Ｙ１）の間の（Ｘ、Ｙ１）の補正値を求めるため、まず、次の式により補正値Ｄ（Ｘ、Ｙ１、Ｔ１）を演算する。
　　｛Ｄ（Ｘ、Ｙ１、Ｔ１）－Ｄ（Ｘ１、Ｙ１、Ｔ１）｝
　　／｛Ｄ（Ｘ２、Ｙ１、Ｔ１）－Ｄ（Ｘ１、Ｙ１、Ｔ１）｝
　　　＝（Ｘ－Ｘ１）／（Ｘ２－Ｘ１）　　　　　　　　　　　・・・式２ For example, when the correction mode, the temperature T 1, the boundary coordinates of a row (X 1, Y 1) and (X 2, Y 1), the correction value D (X1, Y1, T1) and D (X2, Y1 and T1) are held. Further, it is assumed that the correction values D (X1, Y1, T2) and D (X2, Y1, T2) are held at the boundary coordinates of the temperature T 2 . When the temperature T between the temperatures T 1 and T 2 is acquired, the shading correction unit 125 causes the boundary coordinates (X 1 , Y 1 ) and (X 2 , Y 1 ) between (X 2 , Y 1 ), the correction value D (X, Y1, T1) is first calculated by the following equation.
{D (X, Y1, T1) -D (X1, Y1, T1) }
/ {D (X2, Y1, T1) -D (X1, Y1, T1) }
= (X−X 1 ) / (X 2 −X 1 ) ... Formula 2
　また、シェーディング補正部１２５は、次の式により、補正値Ｄ（Ｘ、Ｙ１、Ｔ２）を演算する。
　　｛Ｄ（Ｘ、Ｙ１、Ｔ２）－Ｄ（Ｘ１、Ｙ１、Ｔ２）｝
　　／｛Ｄ（Ｘ２、Ｙ１、Ｔ２）－Ｄ（Ｘ１、Ｙ１、Ｔ２）｝
　　　＝（Ｘ－Ｘ１）／（Ｘ２－Ｘ１）　　　　　　　　　　　・・・式３ Further, the shading correction unit 125 calculates the correction value D (X, Y1, T2) by the following formula.
{D (X, Y1, T2) -D (X1, Y1, T2) }
/ {D (X2, Y1, T2) -D (X1, Y1, T2) }
= (X−X 1 ) / (X 2 −X 1 ) ... Formula 3
　式２および式３の演算結果に基づいてシェーディング補正部１２５は、次の式により、補正値Ｄ（Ｘ、Ｙ１、Ｔ）を演算する。
　　｛Ｄ（Ｘ、Ｙ１、Ｔ）－Ｄ（Ｘ、Ｙ１、Ｔ１）｝
　　／｛Ｄ（Ｘ、Ｙ１、Ｔ２）－Ｄ（Ｘ、Ｙ１、Ｔ１）｝
　　　＝（Ｔ－Ｔ１）／（Ｔ２－Ｔ１）　　　　　　　　　　　・・・式４ Based on the calculation results of Expression 2 and Expression 3, the shading correction unit 125 calculates the correction value D (X, Y1, T) by the following expression.
{D (X, Y1, T) -D (X, Y1, T1) }
/ {D (X, Y1, T2) -D (X, Y1, T1) }
= (T−T 1 ) / (T 2 −T 1 ) ... Equation 4
　温度の他、消費電力や電圧が取得された場合においてもシェーディング補正部１２５は、同様の方法により線形補間を行うことができる。シェーディング補正部１２５は、線形補間後にシェーディング補正を行い、補正後の画像データを出力する。 The shading correction unit 125 can perform linear interpolation by the same method when power consumption and voltage are acquired in addition to temperature. The shading correction unit 125 performs shading correction after linear interpolation and outputs the corrected image data.
　なお、ＤＳＰ回路１２０内にエリア分割部１２１、補正値設定部１２２および補正値保持部１２３を配置しているが、これらの一部または全てを第１の実施の形態のようにカラム信号処理部２６０内に配置することもできる。 Although the area dividing unit 121, the correction value setting unit 122, and the correction value holding unit 123 are arranged in the DSP circuit 120, some or all of them are arranged as in the column signal processing unit as in the first embodiment. It can also be located within 260.
　また、第３の実施の形態において、エリア分割部２６２は、第２の実施の形態のように、矩形の分割エリアに分割することもできる。 Also, in the third embodiment, the area dividing unit 262 can also be divided into rectangular divided areas as in the second embodiment.
　図１５は、本技術の第３の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この第３の実施の形態の固体撮像素子２００の動作は、ステップＳ９１０をさらに実行する点において第１の実施の形態と異なる。固体撮像素子２００は、画像データを撮像し（ステップＳ９０６）、温度や電圧などの環境情報を取得する（ステップＳ９１０）。そして、固体撮像素子２００は、式２乃至式４を用いて線形補間を行い（ステップＳ９０７）、シェーディング補正を行う（ステップＳ９０８）。 FIG. 15 is a flowchart showing an example of the operation of the solid-state imaging device 200 according to the third embodiment of the present technology. The operation of the solid-state image sensor 200 of the third embodiment is different from that of the first embodiment in that step S910 is further executed. The solid-state imaging device 200 captures image data (step S906) and acquires environmental information such as temperature and voltage (step S910). Then, the solid-state imaging device 200 performs linear interpolation using Equations 2 to 4 (step S907) and performs shading correction (step S908).
　このように、本技術の第３の実施の形態によれば、シェーディング補正部１２５は、温度などの環境情報に基づいて暗電流補正を行うため、温度等が変化した場合であっても、補正精度を十分に高くすることができる。 As described above, according to the third embodiment of the present technology, since the shading correction unit 125 performs the dark current correction based on the environmental information such as the temperature, the shading correction unit 125 corrects the dark current even when the temperature changes. The accuracy can be made sufficiently high.
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、画素毎にフォトダイオードや浮遊拡散層を配置していたが、画素数が多くなるほど、画素アレイ部２５０の回路規模が増大してしまう。この第４の実施の形態の固体撮像素子２００は、浮遊拡散層を共有するＦＤ（Floating Diffusion）共有型の構成において暗電流補正を行う点において第１の実施の形態と異なる。 <4. Fourth Embodiment>
Although the photodiode and the floating diffusion layer are arranged for each pixel in the above-described first embodiment, the circuit scale of the pixel array section 250 increases as the number of pixels increases. The solid-state imaging device 200 of the fourth embodiment is different from that of the first embodiment in that dark current correction is performed in an FD (Floating Diffusion) sharing type configuration in which a floating diffusion layer is shared.
　図１６は、本技術の第４の実施の形態における画素ブロック２８０の一構成例を示す回路図である。この第４の実施の形態の画素アレイ部２５０内の有効エリア２５３および遮光エリア２５１のそれぞれには、複数の画素ブロック２８０が二次元格子状に配列される。それぞれの画素ブロック２８０には、浮遊拡散層を共有する複数の画素が配列される。例えば、ベイヤー配列においては、Ｇｒ(Green)画素、Ｒ(Red)画素、Ｇｂ(Green)画素およびＢ(Blue)画素の４画素が画素ブロック２８０に配列される。 FIG. 16 is a circuit diagram showing a configuration example of a pixel block 280 according to the fourth embodiment of the present technology. A plurality of pixel blocks 280 are arranged in a two-dimensional grid pattern in each of the effective area 253 and the light shielding area 251 in the pixel array section 250 of the fourth embodiment. A plurality of pixels sharing the floating diffusion layer are arranged in each pixel block 280. For example, in the Bayer array, four pixels of Gr (Green) pixels, R (Red) pixels, Gb (Green) pixels and B (Blue) pixels are arrayed in the pixel block 280.
　画素ブロック２８０は、フォトダイオード２８２、２８４、２８６および２８８と、転送トランジスタ２８１、２８３、２８５および２８７とを備える。また、画素ブロック２８０は、浮遊拡散層２８９と、リセットトランジスタ２９０と、増幅トランジスタ２９１と、選択トランジスタ２９２とを備える。 The pixel block 280 includes photodiodes 282, 284, 286 and 288, and transfer transistors 281, 283, 285 and 287. The pixel block 280 also includes a floating diffusion layer 289, a reset transistor 290, an amplification transistor 291, and a selection transistor 292.
　フォトダイオード２８２、２８４、２８６および２８８は、光電変換により電荷を生成するものである。ただし、フォトダイオード２８２および２８８は、緑色の光を受光し、フォトダイオード２８４は、赤色の光を受光し、フォトダイオード２８６は、青色の光を受光する。 The photodiodes 282, 284, 286, and 288 generate electric charges by photoelectric conversion. However, the photodiodes 282 and 288 receive green light, the photodiode 284 receives red light, and the photodiode 286 receives blue light.
　転送トランジスタ２８１は、行選択部２１０からの転送信号ＴＸ＿Ｇｒに従ってフォトダイオード２８２から浮遊拡散層２８９へ電荷を転送するものである。転送トランジスタ２８３は、行選択部２１０からの転送信号ＴＸ＿Ｒに従ってフォトダイオード２８４から浮遊拡散層２８９へ電荷を転送するものである。転送トランジスタ２８５は、行選択部２１０からの転送信号ＴＸ＿Ｂに従ってフォトダイオード２８６から浮遊拡散層２８９へ電荷を転送するものである。転送トランジスタ２８７は、行選択部２１０からの転送信号ＴＸ＿Ｇｂに従ってフォトダイオード２８８から浮遊拡散層２８９へ電荷を転送するものである。 The transfer transistor 281 transfers charges from the photodiode 282 to the floating diffusion layer 289 according to the transfer signal TX_Gr from the row selection unit 210. The transfer transistor 283 transfers charges from the photodiode 284 to the floating diffusion layer 289 according to the transfer signal TX_R from the row selection unit 210. The transfer transistor 285 transfers charges from the photodiode 286 to the floating diffusion layer 289 according to the transfer signal TX_B from the row selection unit 210. The transfer transistor 287 transfers charges from the photodiode 288 to the floating diffusion layer 289 according to the transfer signal TX_Gb from the row selection unit 210.
　浮遊拡散層２８９は、転送された電荷を蓄積し、電荷量に応じた電圧を生成するものである。リセットトランジスタ２９０は、行選択部２１０からのリセット信号ＲＳＴに従って浮遊拡散層２８９から電荷を引き抜いて初期化するものである。増幅トランジスタ２９１は、浮遊拡散層２８９の電圧を増幅するものである。選択トランジスタ２９２は、行選択部２１０からの選択信号ＳＥＬに従って増幅された電圧の信号を画素信号としてカラム信号処理部２６０へ出力するものである。 The floating diffusion layer 289 accumulates the transferred charges and generates a voltage according to the amount of charges. The reset transistor 290 extracts electric charge from the floating diffusion layer 289 and initializes it according to a reset signal RST from the row selection unit 210. The amplification transistor 291 amplifies the voltage of the floating diffusion layer 289. The selection transistor 292 outputs the signal of the voltage amplified according to the selection signal SEL from the row selection unit 210 to the column signal processing unit 260 as a pixel signal.
　上述の構成により、浮遊拡散層２８９、リセットトランジスタ２９０、増幅トランジスタ２９１および選択トランジスタ２９２は、４画素により共有される。転送トランジスタ２８１と、フォトダイオード２８２と、共有される浮遊拡散層２８９等とからなる回路はＧｒ画素として機能する。転送トランジスタ２８３と、フォトダイオード２８４と、共有される浮遊拡散層２８９等とからなる回路はＲ画素として機能する。転送トランジスタ２８５と、フォトダイオード２８６と、共有される浮遊拡散層２８９等とからなる回路はＢ画素として機能する。転送トランジスタ２８７と、フォトダイオード２８８と、共有される浮遊拡散層２８９等とからなる回路はＧｂ画素として機能する。 With the above configuration, the floating diffusion layer 289, the reset transistor 290, the amplification transistor 291 and the selection transistor 292 are shared by the four pixels. A circuit including the transfer transistor 281, the photodiode 282, the shared floating diffusion layer 289, and the like functions as a Gr pixel. A circuit including the transfer transistor 283, the photodiode 284, the shared floating diffusion layer 289, and the like functions as an R pixel. A circuit including the transfer transistor 285, the photodiode 286, the shared floating diffusion layer 289, and the like functions as a B pixel. A circuit including the transfer transistor 287, the photodiode 288, and the shared floating diffusion layer 289 and the like functions as a Gb pixel.
　また、第４の実施の形態のエリア分割部２６２は、画素ブロック２８０内において相対位置が同一の画素ごとに、暗電流の分布に基づいて複数の分割エリアに分割する。例えば、画素ブロック２８０がＫ（Ｋは整数）個配列される場合、Ｇｒ画素、Ｒ画素、Ｇｂ画素およびＢ画素も、Ｋ個ずつ配列される。エリア分割部２６２は、Ｋ個のＧｒ画素からなる画像を複数の分割エリアに分割する。同様に、Ｋ個のＲ画素からなる画像と、Ｋ個のＧｂ画素からなる画像と、Ｋ個のＢ画素からなる画像とのそれぞれも個別に分割される。 Also, the area dividing unit 262 of the fourth embodiment divides each pixel in the pixel block 280 having the same relative position into a plurality of divided areas based on the dark current distribution. For example, when K (K is an integer) pixel blocks 280 are arranged, K Gr pixels, R pixels, Gb pixels, and B pixels are also arranged K each. The area dividing unit 262 divides the image composed of K Gr pixels into a plurality of divided areas. Similarly, an image composed of K R pixels, an image composed of K Gb pixels, and an image composed of K B pixels are also individually divided.
　補正値設定部２６３、補正値保持部２６４およびシェーディング補正部２６５の構成は、第１の実施の形態と同様である。なお、４画素で浮遊拡散層２８９を共有しているが、共有する画素数は４画素に限定されず、８画素などであってもよい。また、ベイヤー配列以外の配列により画素を配列してもよい。また、第４の実施の形態に、第１乃至第３の実施の形態の構成を適用することもできる。 The configurations of the correction value setting unit 263, the correction value holding unit 264, and the shading correction unit 265 are the same as those in the first embodiment. Although the floating diffusion layer 289 is shared by 4 pixels, the number of pixels shared is not limited to 4 pixels, and may be 8 pixels or the like. Further, the pixels may be arranged in an arrangement other than the Bayer arrangement. Further, the configurations of the first to third embodiments can be applied to the fourth embodiment.
　このように、本技術の第４の実施の形態によれば、浮遊拡散層２８９を共有する複数の画素を配列したため、浮遊拡散層２８９を共有しない場合と比較して画素アレイ部２５０の回路規模を削減することができる。 As described above, according to the fourth embodiment of the present technology, since the plurality of pixels sharing the floating diffusion layer 289 are arranged, the circuit scale of the pixel array section 250 is larger than that in the case where the floating diffusion layer 289 is not shared. Can be reduced.
　＜５．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。 <5. Example of application to moving objects>
The technology (the present technology) according to the present disclosure can be applied to various products. For example, the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。 The vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001. In the example shown in FIG. 17, the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050. Further, as a functional configuration of the integrated control unit 12050, a microcomputer 12051, a voice image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown.
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。 The drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs. For example, the driving system control unit 12010 includes a driving force generating device for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting driving force to wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。 The body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs. For example, the body control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp. In this case, a radio wave or various switch signals transmitted from a portable device replacing the key may be input to the body control unit 12020. The body control unit 12020 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。 外 Out-of-vehicle information detection unit 12030 detects information external to the vehicle on which vehicle control system 12000 is mounted. For example, an imaging unit 12031 is connected to the outside-of-vehicle information detection unit 12030. The out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image. The out-of-vehicle information detection unit 12030 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image.
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。 The image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light. The imaging unit 12031 can output an electric signal as an image or can output the information as distance measurement information. The light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。 The in-vehicle information detection unit 12040 detects information in the vehicle. The in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver. The driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。 The microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010. For example, the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including collision avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。 Further, the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。 マ イ ク ロ Also, the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030. For example, the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。 The sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information. In the example of FIG. 17, an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices. The display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
　図１８は、撮像部１２０３１の設置位置の例を示す図である。 FIG. 18 is a diagram showing an example of the installation position of the imaging unit 12031.
　図１８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。 In FIG. 18, the image pickup unit 12031 includes image pickup units 12101, 12102, 12103, 12104, and 12105.
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。 The imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper portion of the windshield in the vehicle interior. The imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100. The imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100. The imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100. The imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。 Note that FIG. 18 shows an example of the shooting range of the imaging units 12101 to 12104. The imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose, the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively, and the imaging range 12114 indicates 13 shows an imaging range of an imaging unit 12104 provided in a rear bumper or a back door. For example, a bird's-eye view image of the vehicle 12100 viewed from above is obtained by superimposing image data captured by the imaging units 12101 to 12104.
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。 At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information. For example, at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements or an imaging element having pixels for detecting a phase difference.
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。 For example, the microcomputer 12051, based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). It is possible to extract the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in a substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km / h or more), as a preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured before the preceding vehicle and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。 For example, the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。 At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays. For example, the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian exists in the captured images of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed by, for example, extracting a feature point in an image captured by the imaging units 12101 to 12104 as an infrared camera, and performing a pattern matching process on a series of feature points indicating the outline of the object to determine whether the object is a pedestrian. Is performed according to a procedure for determining When the microcomputer 12051 determines that a pedestrian is present in the images captured by the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a rectangular contour line for emphasizing the recognized pedestrian. The display unit 12062 is controlled so that is superimposed. Further, the sound image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、シェーディングを補正して、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。 As described above, an example of the vehicle control system to which the technology according to the present disclosure can be applied has been described. The technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above. Specifically, for example, the image pickup apparatus 100 in FIG. 1 can be applied to the image pickup unit 12031. By applying the technique according to the present disclosure to the image capturing unit 12031, it is possible to correct shading and obtain a more easily photographed image, and it is possible to reduce driver fatigue.
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。 Note that the above-described embodiment shows an example for embodying the present technology, and the matters in the embodiment and the matters specifying the invention in the claims have a correspondence relationship. Similarly, the matters specifying the invention in the claims and the matters in the embodiments of the present technology with the same names have a correspondence relationship. However, the present technology is not limited to the embodiments, and can be embodied by variously modifying the embodiments without departing from the gist thereof.
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。 It should be noted that the effects described in the present specification are merely examples and are not limited, and there may be other effects.
　なお、本技術は以下のような構成もとることができる。
（１）複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、
　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、
　前記複数の画素のそれぞれの画素信号に対する前記暗電流補正を前記補正値を用いて行う補正部と
を具備する固体撮像素子。
（２）前記画素アレイ部には、複数の行が配列され、
　前記複数の行のそれぞれには、所定方向に沿って所定数の画素が配列され、
　前記領域分割部は、
　前記複数の行のそれぞれについて前記分布を取得して前記分布に基づいて前記境界を設定する
前記（１）記載の固体撮像素子。
（３）前記画素アレイ部は、所定方向に垂直な方向において一定の間隔で複数の垂直分割エリアに分割され、
　前記領域分割部は、前記複数の垂直分割エリアのそれぞれについて前記分布を取得して前記分布に基づいて前記境界を設定する
前記（１）記載の固体撮像素子。
（４）温度、消費電力および電圧の少なくとも１つを含む環境情報を取得する環境情報取得部をさらに具備し、
　前記補正部は、前記環境情報と前記補正値とに基づいて前記暗電流補正を行う
前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）前記画素アレイ部には、浮遊拡散層を共有する複数の画素がそれぞれに配列された複数の画素ブロックが配列され、
　前記領域分割部は、前記画素アレイ部内の相対位置が同一の画素ごとに前記分布に基づいて前記複数の領域に分割する
前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記領域分割部は、前記分布における前記暗電流の変化量が所定の閾値を超えた座標を前記境界として求める
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記領域分割部は、前記分布を示す関数の変曲点を前記境界として求める
前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）前記補正部は、前記境界に該当しない座標における前記暗電流の値を前記補正値から補間して当該補間した補間値を用いて前記暗電流補正を行う
前記（１）から（７）のいずれかに記載の固体撮像素子。
（９）前記補正部は、線形補間により前記補間値を求める
前記（８）記載の固体撮像素子。
（１０）複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、
　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、
　前記複数の画素のそれぞれの画素信号に対する前記暗電流補正を前記補正値を用いて行う補正部と、
　前記暗電流補正が行われた前記画素信号を処理する信号処理部と
を具備する撮像装置。
（１１）複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割手順と、
　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として補正値保持部に保持する保持手順と、
　前記複数の画素のそれぞれの画素信号に対する暗電流補正を前記補正値を用いて行う補正手順と
を具備する固体撮像素子の制御方法。 The present technology may have the following configurations.
(1) A region dividing unit that divides the pixel array unit into a plurality of regions based on a distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional lattice pattern,
A correction value holding unit that holds the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction,
A solid-state image sensor, comprising: a correction unit that performs the dark current correction on each pixel signal of the plurality of pixels using the correction value.
(2) A plurality of rows are arranged in the pixel array section,
A predetermined number of pixels are arranged in a predetermined direction in each of the plurality of rows,
The area dividing unit,
The solid-state imaging device according to (1), wherein the distribution is acquired for each of the plurality of rows and the boundary is set based on the distribution.
(3) The pixel array section is divided into a plurality of vertical division areas at regular intervals in a direction perpendicular to a predetermined direction,
The solid-state imaging device according to (1), wherein the area dividing unit acquires the distribution for each of the plurality of vertical divided areas and sets the boundary based on the distribution.
(4) An environmental information acquisition unit that acquires environmental information including at least one of temperature, power consumption, and voltage is further provided.
The solid-state imaging device according to any one of (1) to (3), wherein the correction unit performs the dark current correction based on the environment information and the correction value.
(5) In the pixel array part, a plurality of pixel blocks in which a plurality of pixels sharing a floating diffusion layer are arranged are arranged,
The solid-state imaging device according to any one of (1) to (4), wherein the region dividing unit divides the pixels into the plurality of regions based on the distribution for each pixel having the same relative position in the pixel array unit.
(6) The solid-state imaging device according to any one of (1) to (5), wherein the area dividing unit obtains, as the boundary, a coordinate at which the amount of change in the dark current in the distribution exceeds a predetermined threshold value.
(7) The solid-state imaging device according to any one of (1) to (6), in which the area dividing unit obtains an inflection point of a function indicating the distribution as the boundary.
(8) The correction unit interpolates the value of the dark current at a coordinate that does not correspond to the boundary from the correction value and performs the dark current correction using the interpolated interpolation value (1) to (7) 7. The solid-state image sensor according to any one of 1.
(9) The solid-state imaging device according to (8), wherein the correction unit obtains the interpolation value by linear interpolation.
(10) A region dividing unit that divides the pixel array unit into a plurality of regions based on a distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional lattice pattern,
A correction value holding unit that holds the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction,
A correction unit that performs the dark current correction on each pixel signal of the plurality of pixels using the correction value;
An image pickup apparatus comprising: a signal processing unit that processes the pixel signal that has been subjected to the dark current correction.
(11) A region division procedure of dividing the pixel array unit into a plurality of regions based on the distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional lattice pattern,
A holding procedure of holding the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction in a correction value holding unit,
A method of controlling a solid-state image sensor, comprising: a dark current correction for each pixel signal of the plurality of pixels, using the correction value.
　１００　撮像装置
　１１０　光学部
　１２０　ＤＳＰ回路
　１２１　エリア分割部
　１２２　補正値設定部
　１２３　補正値保持部
　１２４　環境情報取得部
　１２５　シェーディング補正部
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　フレームメモリ
　１７０　記憶部
　１８０　電源部
　２００　固体撮像素子
　２１０　行選択部
　２２０　タイミング制御部
　２３０　ＤＡＣ
　２５０　画素アレイ部
　２５１　遮光エリア
　２５２　遮光画素
　２５３　有効エリア
　２５４　有効画素
　２６０　カラム信号処理部
　２６１　アナログデジタル変換部
　２６２　エリア分割部
　２６３　補正値設定部
　２６４　補正値保持部
　２６５　シェーディング補正部
　２７０　水平転送走査部
　２８０　画素ブロック
　２８１、２８３、２８５、２８７　転送トランジスタ
　２８２、２８４、２８６、２８８　フォトダイオード
　２８９　浮遊拡散層
　２９０　リセットトランジスタ
　２９１　増幅トランジスタ
　２９２　選択トランジスタ
　１２０３１　撮像部 100 image pickup device 110 optical unit 120 DSP circuit 121 area dividing unit 122 correction value setting unit 123 correction value holding unit 124 environment information acquisition unit 125 shading correction unit 130 display unit 140 operation unit 150 bus 160 frame memory 170 storage unit 180 power supply unit 200 Solid-state image sensor 210 Row selection unit 220 Timing control unit 230 DAC
250 pixel array unit 251 light-shielding area 252 light-shielding pixel 253 effective area 254 effective pixel 260 column signal processing unit 261 analog-to-digital conversion unit 262 area dividing unit 263 correction value setting unit 264 correction value holding unit 265 shading correction unit 270 horizontal transfer scanning unit 280 Pixel block 281, 283, 285, 287 Transfer transistor 282, 284, 286, 288 Photodiode 289 Floating diffusion layer 290 Reset transistor 291 Amplifying transistor 292 Select transistor 12031 Imaging unit

Claims (11)

  1. 　複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、
    　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、
    　前記複数の画素のそれぞれの画素信号に対する前記暗電流補正を前記補正値を用いて行う補正部と
    を具備する固体撮像素子。     A region dividing unit that divides the pixel array unit into a plurality of regions based on a distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid pattern;
    A correction value holding unit that holds the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction,
    A solid-state image sensor, comprising: a correction unit that performs the dark current correction on each pixel signal of the plurality of pixels using the correction value.
  2. 　前記画素アレイ部には、複数の行が配列され、
    　前記複数の行のそれぞれには、所定方向に沿って所定数の画素が配列され、
    　前記領域分割部は、
    　前記複数の行のそれぞれについて前記分布を取得して前記分布に基づいて前記境界を設定する
    請求項１記載の固体撮像素子。     A plurality of rows are arranged in the pixel array section,
    A predetermined number of pixels are arranged in a predetermined direction in each of the plurality of rows,
    The area dividing unit,
    The solid-state imaging device according to claim 1, wherein the distribution is acquired for each of the plurality of rows, and the boundary is set based on the distribution.
  3. 　前記画素アレイ部は、所定方向に垂直な方向において一定の間隔で複数の垂直分割エリアに分割され、
    　前記領域分割部は、前記複数の垂直分割エリアのそれぞれについて前記分布を取得して前記分布に基づいて前記境界を設定する
    請求項１記載の固体撮像素子。     The pixel array section is divided into a plurality of vertical division areas at regular intervals in a direction perpendicular to a predetermined direction,
    The solid-state imaging device according to claim 1, wherein the area dividing unit acquires the distribution for each of the plurality of vertical divided areas and sets the boundary based on the distribution.
  4. 　温度、消費電力および電圧の少なくとも１つを含む環境情報を取得する環境情報取得部をさらに具備し、
    　前記補正部は、前記環境情報と前記補正値とに基づいて前記暗電流補正を行う
    請求項１記載の固体撮像素子。     The system further includes an environment information acquisition unit that acquires environment information including at least one of temperature, power consumption, and voltage,
    The solid-state imaging device according to claim 1, wherein the correction unit performs the dark current correction based on the environment information and the correction value.
  5. 　前記画素アレイ部には、浮遊拡散層を共有する複数の画素がそれぞれに配列された複数の画素ブロックが配列され、
    　前記領域分割部は、前記画素アレイ部内の相対位置が同一の画素ごとに前記分布に基づいて前記複数の領域に分割する
    請求項１記載の固体撮像素子。     In the pixel array unit, a plurality of pixel blocks in which a plurality of pixels sharing the floating diffusion layer are arranged are arranged,
    The solid-state imaging device according to claim 1, wherein the region dividing unit divides the pixels into the plurality of regions based on the distribution for each pixel having the same relative position in the pixel array unit.
  6. 　前記領域分割部は、前記分布における前記暗電流の変化量が所定の閾値を超えた座標を前記境界として求める
    請求項１記載の固体撮像素子。     The solid-state imaging device according to claim 1, wherein the area dividing unit obtains, as the boundary, a coordinate at which a variation amount of the dark current in the distribution exceeds a predetermined threshold value.
  7. 　前記領域分割部は、前記分布を示す関数の変曲点を前記境界として求める
    請求項１記載の固体撮像素子。     The solid-state imaging device according to claim 1, wherein the area dividing unit obtains an inflection point of a function indicating the distribution as the boundary.
  8. 　前記補正部は、前記境界に該当しない座標における前記暗電流の値を前記補正値から補間して当該補間した補間値を用いて前記暗電流補正を行う
    請求項１記載の固体撮像素子。     The solid-state image sensor according to claim 1, wherein the correction unit interpolates a value of the dark current at a coordinate that does not correspond to the boundary from the correction value, and performs the dark current correction using the interpolated value.
  9. 　前記補正部は、線形補間により前記補間値を求める
    請求項８記載の固体撮像素子。     The solid-state image sensor according to claim 8, wherein the correction unit obtains the interpolation value by linear interpolation.
  10. 　複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割部と、
    　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として保持する補正値保持部と、
    　前記複数の画素のそれぞれの画素信号に対する前記暗電流補正を前記補正値を用いて行う補正部と、
    　前記暗電流補正が行われた前記画素信号を処理する信号処理部と
    を具備する撮像装置。     A region dividing unit that divides the pixel array unit into a plurality of regions based on a distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid pattern;
    A correction value holding unit that holds the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction,
    A correction unit that performs the dark current correction on each pixel signal of the plurality of pixels using the correction value;
    An image pickup apparatus comprising: a signal processing unit that processes the pixel signal that has been subjected to the dark current correction.
  11. 　複数の画素を二次元格子状に配列した画素アレイ部内の暗電流の分布に基づいて画素アレイ部を複数の領域に分割する領域分割手順と、
    　前記複数の領域のそれぞれの境界における前記暗電流の値を暗電流補正のための補正値として補正値保持部に保持する保持手順と、
    　前記複数の画素のそれぞれの画素信号に対する暗電流補正を前記補正値を用いて行う補正手順と
    を具備する固体撮像素子の制御方法。     A region division procedure for dividing the pixel array unit into a plurality of regions based on the distribution of dark current in the pixel array unit in which a plurality of pixels are arranged in a two-dimensional lattice pattern,
    A holding procedure of holding the value of the dark current at each boundary of the plurality of regions as a correction value for dark current correction in a correction value holding unit,
    A method of controlling a solid-state image sensor, comprising: a dark current correction for each pixel signal of the plurality of pixels, using the correction value.
PCT/JP2019/027623 2018-10-11 2019-07-12 Solid-state imaging element, imaging device, and method for controlling solid-state imaging element WO2020075357A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018192233A JP2020061669A (en) 2018-10-11 2018-10-11 Solid state imaging device, imaging apparatus, and control method of solid state imaging device
JP2018-192233 2018-10-11

Publications (1)

Publication Number Publication Date
WO2020075357A1 true WO2020075357A1 (en) 2020-04-16

Family

ID=70164121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027623 WO2020075357A1 (en) 2018-10-11 2019-07-12 Solid-state imaging element, imaging device, and method for controlling solid-state imaging element

Country Status (2)

Country Link
JP (1) JP2020061669A (en)
WO (1) WO2020075357A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184422A (en) * 2021-06-01 2022-12-13 ソニーセミコンダクタソリューションズ株式会社 Signal processing method, signal processing device and imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071709A (en) * 2009-09-25 2011-04-07 Nikon Corp Electronic camera
JP2012049947A (en) * 2010-08-30 2012-03-08 Mitsubishi Electric Corp Image processing apparatus
JP2018019227A (en) * 2016-07-27 2018-02-01 キヤノン株式会社 Imaging sensor and dark current noise cancellation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071709A (en) * 2009-09-25 2011-04-07 Nikon Corp Electronic camera
JP2012049947A (en) * 2010-08-30 2012-03-08 Mitsubishi Electric Corp Image processing apparatus
JP2018019227A (en) * 2016-07-27 2018-02-01 キヤノン株式会社 Imaging sensor and dark current noise cancellation method

Also Published As

Publication number Publication date
JP2020061669A (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US20200161352A1 (en) Imaging apparatus and electronic device
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
WO2020066803A1 (en) Solid-state imaging element and imaging device
WO2020105314A1 (en) Solid-state imaging element and imaging device
WO2018190126A1 (en) Solid-state imaging device and electronic apparatus
US11196956B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US20200057149A1 (en) Optical sensor and electronic device
JP7230824B2 (en) Image processing device, image processing method and program
US11418741B2 (en) Solid-state imaging device and electronic device
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
WO2022019026A1 (en) Information processing device, information processing system, information processing method, and information processing program
WO2020075357A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2020137198A1 (en) Solid-state image capturing element and image capturing device
US11770641B2 (en) Solid-state image capturing element, image capturing apparatus, and method of controlling solid-state image capturing element
WO2023112480A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2017169079A1 (en) Image processing device, image processing method, and image pickup element
WO2022137790A1 (en) Solid-state image capturing element, sensing device, and method for controlling solid-state image capturing element
WO2023286297A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2023100640A1 (en) Semiconductor device, signal processing method, and program
JP2024000625A (en) Solid-state imaging apparatus and electronic equipment
WO2023021780A1 (en) Imaging device, electronic apparatus, and information processing method
WO2023021774A1 (en) Imaging device, and electronic apparatus comprising imaging device
WO2023136093A1 (en) Imaging element and electronic apparatus
WO2020100399A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19870211

Country of ref document: EP

Kind code of ref document: A1