JP7174925B2 - 撮像装置およびカメラシステム - Google Patents
撮像装置およびカメラシステム Download PDFInfo
- Publication number
- JP7174925B2 JP7174925B2 JP2021102243A JP2021102243A JP7174925B2 JP 7174925 B2 JP7174925 B2 JP 7174925B2 JP 2021102243 A JP2021102243 A JP 2021102243A JP 2021102243 A JP2021102243 A JP 2021102243A JP 7174925 B2 JP7174925 B2 JP 7174925B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- voltage
- photoelectric conversion
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 61
- 230000035945 sensitivity Effects 0.000 claims description 104
- 238000006243 chemical reaction Methods 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 37
- 238000009825 accumulation Methods 0.000 claims description 19
- 239000003990 capacitor Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 56
- 238000010586 diagram Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 23
- 239000004065 semiconductor Substances 0.000 description 22
- 239000012535 impurity Substances 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 18
- 239000000758 substrate Substances 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000001276 controlling effect Effects 0.000 description 12
- 239000011229 interlayer Substances 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 229920005591 polysilicon Polymers 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001066 destructive effect Effects 0.000 description 3
- 239000011368 organic material Substances 0.000 description 3
- -1 triarylamine compound Chemical class 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 150000000660 7-membered heterocyclic compounds Chemical class 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910006404 SnO 2 Inorganic materials 0.000 description 1
- 229910010413 TiO 2 Inorganic materials 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 150000001601 aromatic carbocyclic compounds Chemical class 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 125000004433 nitrogen atom Chemical group N* 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 125000004430 oxygen atom Chemical group O* 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920000412 polyarylene Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 125000004434 sulfur atom Chemical group 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
- H10K39/30—Devices controlled by radiation
- H10K39/32—Organic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
前述のディープラーニングにおける畳み込みニューラルネットワークでは、畳み込み層とプーリング層という各処理階層により画像処理が行われている。畳み込み層では様々なフィルタ処理が適用されている。これらの処理は、イメージセンサから出力された信号に対する画像処理として実施されていた。つまり、これらの処理はイメージセンサの外で行われていた。しかし、画像処理の段階で複数の演算が行われるため、演算負荷や読み出し画素数が多いことにより、データレート律速、すなわちスピード低下といった課題があった。そこで、本開示では、畳み込み処理の一部をイメージセンサチップ内で実現することにより、画像処理時のデジタル演算負荷を軽減する。
前述の畳み込み層では様々なフィルタ処理が適用されており、そのフィルタの1例を図2に示す。こちらは3×3画素単位で適用するフィルタを表しており、アンシャープマスキングの特徴を持つ。このフィルタは、図示する画素の配列であり、後述する多数の画素が2次元に配置された画素アレイに対して位置をずらしながら繰り返し適用される。適用された3×3の画素群の出力は、1つの値として合算して出力される。つまり、フィルタは、規定のパターンで配列された画素で構成され、その規定のパターンは、画素アレイ中に渡って繰り返される。本フィルタ内の各画素は、異なる感度、つまり、異なる演算係数ごとに、-1、5、0の3つの画素群に分類できる。演算係数が異なるとは、演算符号が異なる場合も含む。ここでは、画素10b、10d、10fおよび10hには演算係数として-1が割り当てられ、画素10eには演算係数として5が割り当てられ、画素10a、10c、10gおよび10iには演算係数として0が割り当てられている。
図7Bは、フィルタを適用する画素ブロックの配列例を示す。図7Bに示すように、フィルタを適用する画素ブロックは3×3や4×4などの画素群からなり、各画素ブロックを互いに隣接させてもよい。図7Bでは、画素ブロックが3×3の画素群からなる例を示している。図7Bでは、フィルタを適用する6つの画素ブロック60a~60fは、互いに隣接して配置されている。各画素ブロックを互いに隣接させ、画素アレイ70全体にフィルタを掛けることにより、画素情報を欠くことなく畳み込みを行うことができ、画素出力データ数を削減することができる。
図8Aは、本開示の実施形態に係る撮像装置100の例示的な回路構成を示す模式的な図である。図8Aに示す撮像装置100は、1チップの集積回路で実現される有機イメージセンサであり、2次元に配列された複数の単位画素セル10を含む画素アレイPAを有する。図8Aは、単位画素セル10が2行2列のマトリクス状に配置された例を模式的に示している。言うまでもないが、撮像装置100における単位画素セル10の数および配置は、図8Aに示す例に限定されない。なお、図8Aでは、図示の便宜上、単位画素セル10の感度を個別に設定するための回路(後述する図8Bに示す画素電極制御回路33)の図示が省略されている。
図11に、画素電極11の電位により感度を設定する単位画素セル10の模式的な回路図を示す。画素電極11には、電圧印加回路を含む電圧書き込み手段61、および、信号を読み出す読み出し回路62が接続されている。読み出し回路62から出力された信号は、選択回路63を介して垂直信号線47に出力される。電圧書き込み手段61は、図8Bの画素電極制御回路33に相当する。読み出し回路62は、図8Aの信号検出トランジスタ24に相当する。選択回路63は、図8Aのアドレストランジスタ26に相当する。電圧書き込み手段61により、電荷蓄積ノード41の電位が任意の電圧に初期化される。すなわち、電荷蓄積期間の開始時における電荷蓄積ノード41の電位、すなわち画素電極11の電位を任意の電位に設定できる。これにより、単位画素セル10の感度を任意に設定でき、任意の感度で露光を開始できる。電圧書き込み手段61により、電荷蓄積ノード41の電位を任意に設定することで、光電変換層15に印加される電圧を制御することが可能となる。これにより、画素単位の感度を制御することができる。電圧書き込み手段61は、電源電圧など任意の電圧にリセットしてもよく、リセット手段を通して外部からの電圧を電荷蓄積ノード41に書き込んでもよい。なお、電荷蓄積期間に全く光が照射されない場合には、電荷蓄積期間の開始時点における対向電極12および画素電極11の間の電位差、すなわち、光電変換層15に印加される電圧は電荷蓄積期間の終了時点まで維持される。また、電荷蓄積期間の開始時点における画素電極11の電位も電荷蓄積期間の終了時点まで維持される。
図12は、電荷蓄積ノード41に容量CSが接続されている、単位画素セル10の模式的な回路図を示す。電荷蓄積ノード41は、容量CSを介して、行方向に設けられた信号線TPに接続されている。信号線TPにパルス状の電圧を印加することで、容量CSによるカップリングにより、電荷蓄積ノード41の電位を任意に設定でき、光電変換層15に印加される電圧を制御することが可能となる。例えば、信号線TPの電圧をLOWレベルからHIGHレベルにすることで、電荷蓄積ノード41の電圧は、電荷蓄積ノード41の容量値と容量CSの容量値とに依存して昇圧される。このように、電荷蓄積期間において信号線TPに印加する電圧を任意に設定することにより、電荷蓄積期間の開始時における電荷蓄積ノード41の電位、すなわち画素電極の11の電位を任意の電位に設定できる。これにより、単位画素セル10の感度を任意に設定できる。容量CSの容量値を大きくすることで、制御する信号線TPの電圧振幅を小さくすることができる。また、微細画素のためには、信号線TPの電圧振幅を大きくし、容量CSのサイズを小さくしてもよい。本構成は、行ごとに個別の信号線TPを設けることで、ローリングシャッタ動作が可能となる。光電変換層15に印加される電位差を光電変換の感度がゼロになるように制御することで、ローリングシャッタが実現できる。光電変換層15に印加される電位差を光電変換の感度が所望の値になるように制御することで、ローリング感度可変が実現できる。具体的には、例えば、感度がセロの状態と、通常の感度の状態とを行単位で切り替えることにより、従来のローリングシャッタと同様に行単位で順次に露光することができる。なお、露光時において、容量CSを介して電荷蓄積ノード41の電位を上げると、蓄積した電荷の読み出し時に、読み出し回路62の動作電圧範囲に対して、電荷蓄積ノード41の電位が高くなり読み出せなくなる場合もあり得る。このような場合には、読み出し回路62の電源電圧を上げてもよいが、消費電力が増大してしまう。そこで、露光期間において信号線TPの電圧を昇圧し、その後の読み出し期間では信号線TPの電圧を降圧してもよい。これにより、読み出し期間の電荷蓄積ノード41の電位が低下し、読み出し回路62の電源電圧を上げることなく蓄積した電荷を読み出すことができる。
図13は、画素毎に感度を変えた時の電圧ダイアグラムを示す。画素内、もしくは画素外に設けられた電圧書き込み手段61により、各画素10a~10cの画素電極11に感度設定用のリセット電圧を書き込む。図13において、画素10aでは電圧V1を書き込むことにより画素10aを第1感度に設定し、画素10aに隣接する画素10bでは電圧V2を書き込むことにより画素10bを第2感度に設定し、画素10bに隣接する画素10cでは電圧V3を書き込むことにより画素10cを第3感度に設定する。このように、画素ごとに感度を設定することにより、畳み込み時のフィルタ係数(つまり、演算係数)を画素ごとに設定することができる。
図14は、アクティブマトリクス構成において、画素ごとに感度設定用の電圧を書き込むための基本的な回路図の一例を示す。画素電極11への電圧印加方法は、本図に示すように、水平制御線85および垂直制御線84によるアクティブマトリクス方式で行っても良い。感度を設定したい画素に対して、水平方向と垂直方向とから制御信号を与えることで、画素ごとに設けられた行列選択回路81に制御信号を与える。行列選択回路81は、水平および垂直の両方向から制御信号が入力されたとき、すなわちアクティブ状態になったとき、画素内スイッチ82をONする。これにより、行列選択回路81は、画素アレイPA外に設けられた下部電圧生成回路80からの電位を、下部電圧線83および画素内スイッチ82を介して画素電極11に印加する。このアクティブマトリクス方式により、画素アレイPA内の任意の画素10を選択し、画素電極11の電圧を変化させることができる。画素電極11へ電圧を書き込んでいるときは、対向電極12の電圧をLowレベルとしてシャッタ状態としておいてもよい。これにより、電圧書き込み後も露光が始まらないという利点がある。
図15は、アクティブマトリクス構成において、画素ごとに感度設定用の電圧を書き込むための具体的な回路図の一例を示す。図示するように、図14に示される行列選択回路81の具体例として、AND回路81aを用いてもよい。図14に示される画素内スイッチ82の具体例として、トランジスタ82aで実現しても良い。なお、AND回路81aを用いる場合には、一般的には、AND回路はNAND回路とインバータ回路とにより構成されるため、多くの素子数が必要となる。ここで素子数とは、例えばトランジスタの個数である。そのため、AND回路81aの代わりとしてNAND回路を採用し、High電圧でアクティブとなる駆動システムではなく、Low電圧でアクティブとなる駆動システムにしても良い。
図16は、アクティブマトリクス構成において、画素ごとに感度設定用の電圧を書き込むための具体的な回路図の他の一例を示す。図15に示した回路図からさらに素子数を減らした例を示す。図14に示される行列選択回路81の具体例として、1つのNMOSトランジスタ81bを用いている。本構成により、画素内に2つのトランジスタ81bおよび82bを追加するだけで、アクティブマトリクス方式を実現できる。
図17は、アクティブマトリクス構成において、画素電極11に電圧を書き込むときのシーケンスの一例を示す。下部電圧生成回路80は、画素電極11の電位を決定するための任意の電圧を画素アレイ70に印加する。電圧書き込みアドレス回路92は、行選択回路90および列選択回路91に、電圧を書き込む画素のアドレスの情報を伝達する。ある時間において、行選択回路90が1行目を選択し、列選択回路91が任意の列を選択することで、1行目の任意の画素に対して電圧が書き込まれる。この電圧の書き込みが終わると、行選択回路90は2行目を選択し、列選択回路91は、所望の列に切り替える。下部電圧生成回路80は、電圧書き込みアドレス回路92により指定された画素に電圧1を書き込む。この動作を1行目から最終行目まで行った後、下部電圧生成回路80は次に設定する感度に対応する電圧2に切り替え、電圧1の書き込みと同様にして指定された画素への電圧書き込みを順次行う。
図18は、露光時間による感度設定方法の一例を示す。前述した光電変換層に印加する電圧による感度設定方法に加えて、露光時間の調整による感度設定方法を組み合わせてもよく、露光時間の調整による感度設定方法を単独で用いてもよい。有機イメージセンサでは、有機膜で発生した電荷を電圧に変換し、読み出し回路がこの電圧を読み出す。つまり、蓄積電荷を破壊しないで読み出すこと、いわゆる非破壊読み出しが可能である。図18に示すように、演算係数「1」を掛ける第1画素と、演算係数「5」を掛ける第2画素とがある場合を想定する。この場合、露光時間Tにおいて、第1画素を読み出し、第2画素を非破壊読み出しにより読み出す。第2画素はそのまま露光を続け、露光時間5Tが経過した時に第2画素を読み出す。これにより、第1画素と第2画素との感度比率を5倍とすることができる。
図20は、読み出し回路62の出力側での画素加算方法の一例を示す。画素<i、j>および画素<i+1、j>のそれぞれは、電圧書き込み手段61によって画素電極11が任意の電圧に設定され、所定の感度で電荷を蓄積する。これら2つの画素の感度は異なっていてもよく、同じであってもよい。これら2つの画素のそれぞれから、電荷蓄積期間の前または後に、リセットレベルまたは信号レベルを読み出す際の動作を説明する。加算する任意の同一列に接続された2つの画素10aおよび10bに対して、選択回路63を同時にON(導通状態に)して出力することにより、垂直信号線47で電圧を加算する。このケースでは、垂直信号線47が、複数の画素から出力される信号を加算する加算回路として機能する。1回の読み出しで2画素分の加算読み出しが可能となる。この読み出し方法では、読み出し回路62の非線形性などが問題となり得る。よって、リセットレベル取得時および画素信号取得時に選択回路63を同時にONして読み出し、リセットレベル取得時および画素信号取得時のそれぞれで得られた信号同士を減算してもよい。これにより、一定のオフセット成分を除去し、前述の非線形性の影響を低減できる。なお、選択回路63は、読み出し回路62の内部に持たせてもよく、読み出しを実施するときのみ読み出し回路62を有効にしてもよい。この場合には、図20における選択回路63を省略することができる。
図25を参照して、本実施の形態によるカメラシステム204を説明する。図25は、本実施の形態によるカメラシステム204のシステム構成を示している。カメラシステム204は、レンズ光学系201と、撮像装置200と、システムコントローラ203と、カメラ信号処理部202とを備えている。レンズ光学系201は、例えば、オートフォーカス用レンズ、ズーム用レンズおよび絞りを含んでいる。レンズ光学系201は、撮像装置200の撮像面に光を集光する。撮像装置200として、上述した実施形態およびそれらの変形例による撮像装置100を広く用いることができる。本実施の形態では、撮像装置200は、上記実施の形態等で説明した撮像装置100に加えて、撮像装置100から出力された信号を減算する減算回路101も備える1チップのイメージセンサである。減算回路101は、撮像装置100から出力される信号を一時的に保持するメモリと、メモリに保持された信号を減算する減算器とを有する。減算回路101は、例えば、図1に示されるような第1画素群の信号の和から第2画素群の信号の和を減算し、得られた結果を画素ブロック60の信号として出力する。これにより、正と負の両方の演算係数をもつフィルタ処理が、撮像装置100と減算回路101との連携処理によって実現される。
6 カラーフィルタ
10、10a~10i 単位画素セル(画素)
11 画素電極
12 対向電極
13 光電変換部
14 検出回路
15、15a、15b 光電変換層
20 半導体基板
20t 素子分離領域
24 信号検出トランジスタ
24d、24s、26s、28d、28s 不純物領域
26 アドレストランジスタ
28 リセットトランジスタ
32 電圧供給回路(対向電極電圧供給回路)
33 画素電極制御回路
34 リセット電圧供給回路(リセット電圧源)
36 垂直走査回路(行走査回路)
37 カラム信号処理回路
38 水平信号読み出し回路(列走査回路)
40 電源線
41 電荷蓄積ノード(フローティングディフュージョンノード、電荷蓄積部)
44 リセット電圧線
46 アドレス制御線
47、47a~47d 垂直信号線
48 リセット制御線
49 水平共通信号線
50 層間絶縁層
52、54、55 コンタクトプラグ
53 配線
56 配線層
60、60a~60f 画素ブロック
61 電圧書き込み手段
62 読み出し回路
63、63a~63d 選択回路
65、71、71a~71d 接続配線
66 加算用スイッチ
70、PA 画素アレイ
72、72a~72d 列加算スイッチ
80 下部電圧生成回路
81 行列選択回路
81a AND回路
81b NMOSトランジスタ
82 画素内スイッチ
82a トランジスタ
83 下部電圧線
84 垂直制御線
85、SEL 水平制御線
90 行選択回路
91 列選択回路
92 電圧書き込みアドレス回路
CS 容量
100、200 撮像装置
101 減算回路
201 レンズ光学系
202 カメラ信号処理部
203 システムコントローラ
204 カメラシステム
Claims (13)
- それぞれが、光を電荷に変換する光電変換部を備える複数の画素であって、第1画素および第2画素を含む複数の画素からなる画素アレイと、
加算回路と、
電圧供給回路と、
を備え、
前記電圧供給回路は、前記第1画素の前記光電変換部に第1電圧を供給することによって、前記第1画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第1感度に設定し、
前記電圧供給回路は、前記第2画素の前記光電変換部に第2電圧を供給することによって、前記第2画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第2感度に設定し、
前記加算回路は、前記第1画素の前記光電変換部が前記第1感度であるときに前記第1画素が生成する信号と、前記第2画素の前記光電変換部が前記第2感度であるときに前記第2画素が生成する信号とを加算して畳み込みを行う、
撮像装置。 - 前記第1感度は、前記第2感度と異なる、請求項1に記載の撮像装置。
- 前記第1画素の電荷蓄積期間の長さは、前記第2画素の電荷蓄積期間の長さと異なる、請求項1または2に記載の撮像装置。
- 前記加算回路は、前記第1画素および前記第2画素の両方に接続され、前記第1画素から出力される信号と前記第2画素から出力される信号とを加算して伝送する垂直信号線を含む、請求項1から3のいずれか1項に記載の撮像装置。
- 前記複数の画素のそれぞれは、前記光電変換部で生じた電荷を蓄積する電荷蓄積部を備え、
前記加算回路は、前記第1画素の前記電荷蓄積部を前記第2画素の前記電荷蓄積部に接続する配線を含む、請求項1から3のいずれか1項に記載の撮像装置。 - 前記加算回路は、前記第1画素に接続され、前記第1画素から出力される信号を伝送する第1垂直信号線と、前記第2画素に接続され、前記第2画素から出力される信号を伝送する第2垂直信号線と、前記第1垂直信号線を前記第2垂直信号線に接続する配線と、を含む、請求項1から3のいずれか1項に記載の撮像装置。
- 前記光電変換部は、第1電極、前記第1電極に対向する第2電極、および前記第1電極と前記第2電極との間に位置する光電変換層を含み、
前記複数の画素のそれぞれは、前記第1電極に接続され前記光電変換部で生じた電荷を検出する検出回路をさらに備え、
前記電圧供給回路は、容量を介して、前記第1画素の前記第1電極に前記第1電圧を供給することによって、前記第1画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第1感度に設定し、
前記電圧供給回路は、容量を介して、前記第2画素の前記第1電極に前記第2電圧を供給することによって、前記第2画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第2感度に設定する、
請求項1から6のいずれか1項に記載の撮像装置。 - 前記光電変換部は、第1電極、前記第1電極に対向する第2電極、および前記第1電極と前記第2電極との間に位置する光電変換層を含み、
前記複数の画素のそれぞれは、前記第1電極に接続され前記光電変換部で生じた電荷を検出する検出回路をさらに備え、
前記電圧供給回路は、リセット期間に、前記第1画素の前記第1電極に前記第1電圧を供給することによって、前記第1画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第1感度に設定し、
前記電圧供給回路は、リセット期間に、前記第2画素の前記第1電極に前記第2電圧を供給することによって、前記第2画素の前記光電変換部を畳み込み時のフィルタ係数に対応する第2感度に設定する、
請求項1から6のいずれか1項に記載の撮像装置。 - それぞれが、光を電荷に変換する光電変換部を備える複数の画素であって、第1画素および第2画素を含む複数の画素からなる画素アレイと、
加算回路と、
を備え、
前記第1画素は、畳み込み時のフィルタ係数に対応する第1感度に設定され、
前記第2画素は、畳み込み時のフィルタ係数に対応する第2感度に設定され、
前記加算回路は、前記第1画素が前記第1感度において生成する信号と、前記第2画素が前記第2感度において生成する信号とを加算して畳み込みを行い、
前記画素アレイは、
前記第1画素を含む複数の画素からなる第1画素群と、
前記第2画素を含み、前記第1画素群とは異なる複数の画素から成る第2画素群と、
を備える第1画素ブロックを有し、
前記加算回路は、第1画素群に属する複数の画素のそれぞれから出力される信号を加算し、第2画素群に属する複数の画素のそれぞれから出力される信号を加算する、撮像装置。 - 前記加算回路によって得られた前記第1画素群に属する複数の画素のそれぞれから出力される信号の和から、前記加算回路によって得られた前記第2画素群に属する複数の画素のそれぞれから出力される信号の和を減算する、減算回路をさらに備える、請求項9に記載の撮像装置。
- 前記第1画素群の各画素は第1のパターンで配列され、前記第2画素群の各画素は第2のパターンで配列され、
前記画素アレイは、前記第1のパターンで配列する複数の画素からなる第3画素群と、前記第2のパターンで配列する複数の画素からなる第4画素群とを含む、前記第1画素ブロックとは異なる第2画素ブロックを有し、
前記加算回路は、前記第3画素群に属する複数の画素のそれぞれから出力される信号を加算し、前記第4画素群に属する複数の画素のそれぞれから出力される信号を加算する、請求項9に記載の撮像装置。 - 制御回路をさらに備え、
前記第1画素および前記第2画素は、感度可変に構成されており、
前記制御回路は、前記第1画素の感度を畳み込み時のフィルタ係数に対応する前記第1感度に設定し、前記第2画素の感度を畳み込み時のフィルタ係数に対応する前記第2感度に設定する、請求項1から11のいずれか1項に記載の撮像装置。 - 請求項1から12のいずれか1項に記載の撮像装置と、
前記撮像装置から出力される画像信号を処理して画像データを出力するカメラ信号処理部と、を備えるカメラシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019034 | 2017-02-03 | ||
JP2017019034 | 2017-02-03 | ||
JP2017215672A JP6910009B2 (ja) | 2017-02-03 | 2017-11-08 | 撮像装置およびカメラシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017215672A Division JP6910009B2 (ja) | 2017-02-03 | 2017-11-08 | 撮像装置およびカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021153338A JP2021153338A (ja) | 2021-09-30 |
JP7174925B2 true JP7174925B2 (ja) | 2022-11-18 |
Family
ID=63037472
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017215672A Active JP6910009B2 (ja) | 2017-02-03 | 2017-11-08 | 撮像装置およびカメラシステム |
JP2021102243A Active JP7174925B2 (ja) | 2017-02-03 | 2021-06-21 | 撮像装置およびカメラシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017215672A Active JP6910009B2 (ja) | 2017-02-03 | 2017-11-08 | 撮像装置およびカメラシステム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10375362B2 (ja) |
JP (2) | JP6910009B2 (ja) |
CN (1) | CN108401090B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10341592B2 (en) | 2015-06-09 | 2019-07-02 | Sony Semiconductor Solutions Corporation | Imaging element, driving method, and electronic device |
JP6920652B2 (ja) | 2017-02-03 | 2021-08-18 | パナソニックIpマネジメント株式会社 | 撮像装置 |
WO2018181723A1 (ja) * | 2017-03-29 | 2018-10-04 | 株式会社ニコン | 撮像素子および電子カメラ |
WO2018211366A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社半導体エネルギー研究所 | 画像検出モジュール、情報管理システム |
US11232352B2 (en) * | 2018-07-17 | 2022-01-25 | Hewlett Packard Enterprise Development Lp | Memristor spiking architecture |
JP2021034749A (ja) * | 2019-08-13 | 2021-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2021093563A (ja) | 2019-12-06 | 2021-06-17 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、制御方法 |
JP7492345B2 (ja) | 2020-02-27 | 2024-05-29 | キヤノン株式会社 | 撮像素子及びその制御方法、及び、撮像装置及びその制御方法 |
CN112614040B (zh) * | 2020-12-16 | 2021-09-21 | 上海壁仞智能科技有限公司 | 用于卷积计算的方法、计算设备和计算机可读存储介质 |
JP7346376B2 (ja) * | 2020-12-24 | 2023-09-19 | キヤノン株式会社 | 光電変換装置、光電変換システム、移動体、半導体基板 |
CN112792821B (zh) * | 2021-04-01 | 2021-06-25 | 北京科技大学 | 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统 |
CN113281941B (zh) * | 2021-04-29 | 2022-07-12 | 深圳市华星光电半导体显示技术有限公司 | 显示面板 |
JP2023027703A (ja) * | 2021-08-17 | 2023-03-02 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器及び情報処理方法 |
WO2024135091A1 (ja) * | 2022-12-21 | 2024-06-27 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006174325A (ja) | 2004-12-20 | 2006-06-29 | Sony Corp | 固体撮像装置および固体撮像装置の駆動方法 |
JP2007104114A (ja) | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 感度可変型撮像素子及びこれを搭載した撮像装置 |
JP2015204469A (ja) | 2014-04-10 | 2015-11-16 | キヤノン株式会社 | 撮像素子及び撮像装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04330411A (ja) * | 1991-05-02 | 1992-11-18 | Olympus Optical Co Ltd | 自動合焦装置 |
JPH05130513A (ja) * | 1991-11-05 | 1993-05-25 | Olympus Optical Co Ltd | 固体撮像装置 |
JPH06252729A (ja) * | 1993-02-25 | 1994-09-09 | Mitsubishi Electric Corp | 光電子集積装置 |
US5949483A (en) * | 1994-01-28 | 1999-09-07 | California Institute Of Technology | Active pixel sensor array with multiresolution readout |
JP3740324B2 (ja) * | 1999-08-03 | 2006-02-01 | キヤノン株式会社 | 撮像装置 |
EP1102323B1 (en) * | 1999-11-19 | 2012-08-15 | CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement | Method for detecting electromagnetic radiation using an optoelectronic sensor |
WO2002063691A2 (en) * | 2001-02-02 | 2002-08-15 | Symagery Microsystems Inc. | Active pixel cell with charge storage |
US6794627B2 (en) * | 2001-10-24 | 2004-09-21 | Foveon, Inc. | Aggregation of active pixel sensor signals |
US7154075B2 (en) * | 2003-11-13 | 2006-12-26 | Micron Technology, Inc. | Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit |
KR100787938B1 (ko) | 2005-07-15 | 2007-12-24 | 삼성전자주식회사 | 공유 능동 화소 센서 구조의 씨모스 이미지 센서 및 그구동 방법 |
JP4511441B2 (ja) | 2005-09-30 | 2010-07-28 | 富士フイルム株式会社 | 感度可変型撮像素子及びこれを搭載した撮像装置 |
JP2007129581A (ja) * | 2005-11-04 | 2007-05-24 | Canon Inc | 撮像装置及び撮像システム |
JP4626706B2 (ja) | 2008-12-08 | 2011-02-09 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
JP4683121B2 (ja) | 2008-12-08 | 2011-05-11 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
JPWO2011058684A1 (ja) * | 2009-11-12 | 2013-03-28 | パナソニック株式会社 | 固体撮像装置 |
JP2011229120A (ja) * | 2010-03-30 | 2011-11-10 | Sony Corp | 固体撮像装置、固体撮像装置の信号処理方法、及び、電子機器 |
JP2012049911A (ja) * | 2010-08-27 | 2012-03-08 | Canon Inc | 光電変換装置および撮像システム |
JP2013012809A (ja) * | 2011-06-28 | 2013-01-17 | Toshiba Corp | 固体撮像装置 |
JP2013055500A (ja) * | 2011-09-02 | 2013-03-21 | Sony Corp | 固体撮像素子およびカメラシステム |
JP2013070180A (ja) | 2011-09-21 | 2013-04-18 | Panasonic Corp | 固体撮像素子および固体撮像装置 |
JP6233718B2 (ja) * | 2012-12-27 | 2017-11-22 | パナソニックIpマネジメント株式会社 | 撮像装置及びその駆動方法 |
JP6239975B2 (ja) | 2013-12-27 | 2017-11-29 | キヤノン株式会社 | 固体撮像装置及びそれを用いた撮像システム |
JP6393083B2 (ja) | 2014-05-27 | 2018-09-19 | キヤノン株式会社 | 撮像素子及びその制御方法、及び撮像装置 |
WO2015191734A1 (en) * | 2014-06-10 | 2015-12-17 | Edward Hartley Sargent | Multi-terminal optoelectronic devices for light detection |
JP6508805B2 (ja) | 2014-06-20 | 2019-05-08 | 日本放送協会 | 撮像素子および撮像装置 |
KR101662395B1 (ko) * | 2014-10-10 | 2016-10-05 | 하이디스 테크놀로지 주식회사 | 액정구동장치 및 이를 포함하는 액정표시장치 |
US10141354B2 (en) * | 2014-10-23 | 2018-11-27 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device and image acquisition device |
JP6555512B2 (ja) * | 2014-10-23 | 2019-08-07 | パナソニックIpマネジメント株式会社 | 撮像装置および画像取得装置 |
US10079988B2 (en) * | 2015-07-07 | 2018-09-18 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device including pixel |
JP6785429B2 (ja) * | 2015-12-03 | 2020-11-18 | パナソニックIpマネジメント株式会社 | 撮像装置 |
-
2017
- 2017-11-08 JP JP2017215672A patent/JP6910009B2/ja active Active
-
2018
- 2018-01-12 CN CN201810028991.2A patent/CN108401090B/zh active Active
- 2018-01-22 US US15/876,262 patent/US10375362B2/en active Active
-
2019
- 2019-06-19 US US16/446,310 patent/US11303857B2/en active Active
-
2021
- 2021-06-21 JP JP2021102243A patent/JP7174925B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006174325A (ja) | 2004-12-20 | 2006-06-29 | Sony Corp | 固体撮像装置および固体撮像装置の駆動方法 |
JP2007104114A (ja) | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 感度可変型撮像素子及びこれを搭載した撮像装置 |
JP2015204469A (ja) | 2014-04-10 | 2015-11-16 | キヤノン株式会社 | 撮像素子及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018125842A (ja) | 2018-08-09 |
US20190306470A1 (en) | 2019-10-03 |
US20180227551A1 (en) | 2018-08-09 |
CN108401090A (zh) | 2018-08-14 |
CN108401090B (zh) | 2021-11-09 |
US11303857B2 (en) | 2022-04-12 |
US10375362B2 (en) | 2019-08-06 |
JP6910009B2 (ja) | 2021-07-28 |
JP2021153338A (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7174925B2 (ja) | 撮像装置およびカメラシステム | |
JP7301936B2 (ja) | 固体撮像素子およびその製造方法、並びに電子機器 | |
US9036067B2 (en) | Solid-state imaging device including a shielding film over a floating diffusion region, fabrication method and electronic apparatus | |
JP7018593B2 (ja) | 撮像装置、および、カメラシステム | |
KR102352333B1 (ko) | 고체 촬상 장치 및 그 제조 방법, 및 전자 기기 | |
US20110242349A1 (en) | Solid-state image capturing device and electronic device | |
WO2011125677A1 (ja) | 固体撮像素子及び撮像装置 | |
JP6351423B2 (ja) | 撮像装置及び撮像システム | |
WO2015167702A1 (en) | Image sensor with floating diffusion interconnect capacitor | |
WO2012144196A1 (ja) | 固体撮像装置 | |
US10791294B2 (en) | Image sensors having capacitively coupled pixels | |
TWI709235B (zh) | 固體攝像元件、其製造方法及電子機器 | |
JP2014225536A (ja) | 固体撮像装置及びカメラ | |
JP6587123B2 (ja) | 撮像装置 | |
JP2021057891A (ja) | 調整可能な増幅器回路を有する撮像システム | |
JP2013005297A (ja) | 撮像素子および駆動方法、並びに電子機器 | |
US11457165B2 (en) | Pixel array and image sensor including the same | |
US20230178571A1 (en) | Pixel arrangement, pixel matrix, image sensor and method of operating a pixel arrangement | |
JP7357297B2 (ja) | 撮像装置および撮像方法 | |
JP6274897B2 (ja) | 撮像素子及び撮像素子の駆動方法 | |
US10477126B1 (en) | Dual eclipse circuit for reduced image sensor shading | |
JP2014082293A (ja) | 固体撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221025 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7174925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |