JPWO2018159002A1 - 撮像システム及び撮像方法 - Google Patents
撮像システム及び撮像方法 Download PDFInfo
- Publication number
- JPWO2018159002A1 JPWO2018159002A1 JP2019502447A JP2019502447A JPWO2018159002A1 JP WO2018159002 A1 JPWO2018159002 A1 JP WO2018159002A1 JP 2019502447 A JP2019502447 A JP 2019502447A JP 2019502447 A JP2019502447 A JP 2019502447A JP WO2018159002 A1 JPWO2018159002 A1 JP WO2018159002A1
- Authority
- JP
- Japan
- Prior art keywords
- sensitivity
- pixel cells
- image
- setting
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 293
- 230000035945 sensitivity Effects 0.000 claims abstract description 424
- 238000006243 chemical reaction Methods 0.000 claims abstract description 187
- 238000003860 storage Methods 0.000 claims abstract description 93
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 230000035508 accumulation Effects 0.000 claims description 93
- 238000009825 accumulation Methods 0.000 claims description 93
- 238000012545 processing Methods 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 44
- 230000000875 corresponding effect Effects 0.000 description 64
- 239000010410 layer Substances 0.000 description 35
- 238000001514 detection method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 26
- 239000012535 impurity Substances 0.000 description 20
- 239000004065 semiconductor Substances 0.000 description 17
- 239000000758 substrate Substances 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 10
- 239000011229 interlayer Substances 0.000 description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 229920005591 polysilicon Polymers 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910006404 SnO 2 Inorganic materials 0.000 description 1
- 229910010413 TiO 2 Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- XLOMVQKBTHCTTD-UHFFFAOYSA-N zinc oxide Inorganic materials [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14806—Structural or functional details thereof
- H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/142—Energy conversion devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14665—Imagers using a photoconductor layer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
ソフトウェアにより畳み込み処理を行う場合、画素数が増えるとそれに比例して演算量が増大する。また、畳み込み処理は、いわゆるディープラーニングを含む画像認識で多用される。具体的には、ディープラーニング等の処理では、一つの画像に対して100を超えるようなフィルタを用いた畳み込みを行う場合がある。この場合、画素数が増大すると計算が膨大な量となる。高い演算能力を持つサーバーで時間をかけて処理する場合には問題が比較的少ないが、モバイル機器など演算能力が制限されている装置で畳み込みを行いたい場合、演算量の削減が強く求められる。
まず、畳み込み処理について説明する。畳み込み処理に用いられるフィルタはx×yの二次元に配置された係数群を複数の要素としてもつ。ここで、xおよびyは、それぞれ、2以上の整数である。二次元配置のうち、基準となる位置をフィルタの中心と呼ぶ。行数、列数ともに奇数であるフィルタの場合は、配置の中央をフィルタの中心とすることが一般的である。図1に3×3の係数を含むフィルタの一例を示す。
実施の形態1では、フィルタにおいて正の値を有する要素に対応した第1画像と、フィルタにおいて負の値を有する要素に対応した第2画像とを生成し、第1画像と第2画像との差分を算出する例を説明した。本実施の形態では、フィルタに対応する画像を得る別の手法について説明する。
実施の形態1では、画素セルの整数倍の単位で、被写体の像と撮像素子101との相対位置をずらす例を説明したが、連続的に相対位置をずらしてもよい。
本実施の形態では、撮像素子101の各画素セル10に複数の光電変換素子13が含まれ、かつ一つの画素セル10に含まれる複数の光電変換素子の各々について感度が独立して設定可能な撮像素子101を用いた撮像方法について説明する。
11 画素電極
12 対向電極
13 光電変換素子
14 信号検出回路
15 光電変換層
20 半導体基板
24 信号検出トランジスタ
26 アドレストランジスタ
28 リセットトランジスタ
32 電圧供給回路
34 リセット電圧源
36 垂直走査回路
37 カラム信号処理回路
38 水平信号読み出し回路
40 電源線
41 電荷蓄積領域
42 感度制御線
44 リセット電圧線
46 アドレス制御線
47 垂直信号線
48 リセット制御線
49 水平共通信号線
50 層間絶縁層
52 プラグ
53 配線
54,55 コンタクトプラグ
56 配線層
100 撮像システム
101 撮像素子
102 結像光学系
103 位置設定部
104 感度設定回路
105 位置設定回路
106 同期回路
107 メカシャッタ
108 演算回路
109 記憶領域
120 サブ画素
PA 画素アレイ
Claims (25)
- 被写体の像を結像させる結像光学系と、
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、
前記相対位置を第1位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第1感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第1信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第1位置とは異なる第2位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第1感度とは異なる第2感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第2信号電荷を、前記第1信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像システム。 - 前記制御回路は、
前記相対位置の前記第1位置への設定と、前記複数の画素セルの各々の前記感度の前記第1感度への設定と、を同期させて行い、
前記相対位置の前記第2位置への設定と、前記複数の画素セルの各々の前記感度の前記第2感度への前記設定と、を同期させて行う、請求項1に記載の撮像システム。 - 前記制御回路は、前記複数の画素セルのうち隣接する2つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第1位置から前記第2位置に変更することにより、前記第2位置への前記設定を行う
請求項1または2記載の撮像システム。 - 被写体の像を結像させる結像光学系と、
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、一つの露光期間中に、
前記相対位置を第1位置から前記第1位置と異なる第2位置に変更し、かつ、前記複数の画素セルの各々の前記感度を第1感度から前記第1感度と異なる第2感度に変更することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第3信号電荷を前記電荷蓄積領域に蓄積させる、
撮像システム。 - 前記制御回路は、前記相対位置を前記第1位置から前記第2位置に連続的に変更する
請求項4記載の撮像システム。 - 前記制御回路は、前記複数の画素セルの各々の前記感度を前記第1感度から前記第2感度に連続的に変更する
請求項4または5に記載の撮像システム。 - 前記制御回路は、
前記相対位置の前記変更と、前記複数の画素セルの各々の前記感度の前記変更と、を同期させて行う、請求項4〜6のいずれか1項に記載の撮像システム。 - 前記複数の画素セルは、行方向および列方向の二次元に配置されている、
請求項1〜7のいずれか1項に記載の撮像システム。 - 前記制御回路は、前記複数の画素セルの各々の前記感度の前記設定または前記変更を一括して行う
請求項1〜8のいずれか1項に記載の撮像システム。 - 前記複数の画素セルの各々は、第1サブ画素と第2サブ画素とを含み、
前記複数の画素セルの各々の前記第1サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第1サブ画素の感度であり、
前記複数の画素セルの各々の前記第2サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記制御回路は、前記複数の画素セルの各々において、前記第2サブ画素の感度を前記第1サブ画素の前記感度とは独立して設定または変更する
請求項1〜9のいずれか1項に記載の撮像システム。 - 前記光電変換素子は、
前記電荷蓄積領域に接続された画素電極と、
透光性の対向電極と、
前記画素電極と前記対向電極の間に配置された光電変換層と、を含む
請求項1〜10のいずれか1項に記載の撮像システム。 - 前記撮像素子は、前記複数の画素セルの各々の前記光電変換素子に含まれる前記画素電極と前記対向電極との間に電圧を印加する電圧印加回路をさらに備え、
前記制御回路は、前記電圧印加回路が印加する前記電圧を変更することで前記複数の画素セルの各々の前記感度を変更する
請求項11記載の撮像システム。 - 被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法であって、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、
前記相対位置を第1位置に設定し、
前記複数の画素セルの各々の前記感度を第1感度に設定し、
前記相対位置が前記第1位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第1感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第1信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第1位置とは異なる第2位置に設定し、
前記複数の画素セルの各々の前記感度を前記第1感度とは異なる第2感度に設定し、
前記相対位置が前記第2位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第2感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第2信号電荷を、前記第1信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像方法。 - 前記複数の画素セルのうち隣接する2つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第1位置から前記第2位置に変更することにより、前記第2位置への前記設定を行う
請求項13記載の撮像方法。 - 前記撮像システムは、さらに、前記撮像素子を遮光するメカシャッタを備え、
前記撮像方法は、前記メカシャッタにより前記撮像素子を遮光した状態において、前記相対位置を前記第1位置から前記第2位置に変更することにより、前記第2位置への前記設定を行う
請求項13または14に記載の撮像方法。 - 前記複数の画素セルの各々の前記感度をゼロに設定した状態で、前記相対位置を前記第1位置から前記第2位置に変更することにより、前記第2位置への前記設定を行う
請求項13または14に記載の撮像方法。 - 前記撮像方法は、
前記第1位置への前記設定および前記第2位置への前記設定を含む、前記相対位置のN回(Nは2以上の整数)の設定と、
前記第1感度への前記設定および前記第2感度への前記設定を含む、前記感度のN回の設定と、
前記第1信号電荷の前記蓄積および前記第2信号電荷の前記蓄積を含むN回の蓄積と、
を含み、
前記相対位置のi(iは1からNの整数)回目の設定では、前記相対位置を第i位置に設定し、
前記感度のi回目の設定では、前記複数の画素セルの各々の前記感度を第i感度に設定し、
i回目の蓄積では、前記相対位置が前記第i位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第i感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第i信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法では、さらに、前記N回の前記蓄積により得られた1以上の画像を用いて、予め定められた第1の畳み込み処理後の画像に相当する画像を取得し、
前記第i位置は、前記第1の畳み込み処理の複数の係数のうちのN個の係数に含まれる第i係数の位置に対応し、
前記第i感度は、前記第i係数の値に対応する
請求項13〜16のいずれか1項に記載の撮像方法。 - 前記1以上の画像は、第1画像および第2画像を含み、
前記Nは3以上の整数であり、
前記N個の係数は、正の値を有するM(Mは1以上N未満の整数)個の係数および負の値を有する(N−M)個の係数からなり、
前記第1画像は、前記N回の蓄積のうち、前記M個の係数に対応するM回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第2画像は、前記N回の蓄積のうち、前記(N−M)個の負の係数に対応する(N−M)回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第1画像から前記第2画像を減算することで、前記第1の畳み込み処理後の前記画像に相当する前記画像を得る
請求項17記載の撮像方法。 - 前記撮像方法は、
前記第1位置への前記設定および前記第2位置への前記設定を含む、前記相対位置のN(Nは4以上の整数)回の設定と、
前記第1感度への前記設定および前記第2感度への前記設定を含む、前記感度のN回の設定と、
前記第1信号電荷の前記蓄積および前記第2信号電荷の前記蓄積を含むN回の蓄積とを含み、
前記相対位置のi(iは1からNの整数)回目の設定では、前記相対位置を第i位置に設定し、
前記感度のi回目の設定では、前記複数の画素セルの各々の前記感度を第i感度に設定し、
i回目の蓄積では、前記相対位置が前記第i位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第i感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第i信号電荷を前記電荷蓄積領域に蓄積し、
前記感度の前記N回の設定のうちM(Mは2以上N未満の整数)回の設定の各々では、予め定められた第1の畳み込み処理の複数の係数のうちの何れか一つにオフセット値を加算した値に対応する感度への設定を行い、
前記感度の前記N回の設定のうち(N−M)回の設定の各々では、前記オフセット値に対応する感度への設定を行い、
前記感度の前記M回の設定に対応するM回の蓄積により、前記第1の畳み込み処理の全ての係数にオフセット値を加算することで得られる複数の係数を用いる畳み込み処理後の画像に相当する第1画像を取得し、
前記感度の前記(N−M)回の設定に対応する(N−M)回の蓄積により、全ての係数として前記オフセット値を用いる畳み込み処理後の画像に相当する第2画像を取得し、
前記第1画像から前記第2画像を減算することで、前記第1の畳み込み処理後の画像に相当する画像を得る、
請求項13〜16のいずれか1項に記載の撮像方法。 - 前記感度の前記N回の設定に用いるN個の係数の値は0でない
請求項17〜19のいずれか1項に記載の撮像方法。 - 前記複数の画素セルの各々は、第1サブ画素と第2サブ画素とを含み、
前記複数の画素セルの各々の前記第1サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第1サブ画素の感度であり、
前記複数の画素セルの各々の前記第2サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記感度の前記N回の設定の各々では、さらに、前記複数の画素セルの各々の前記第2サブ画素の感度を設定し、
前記感度の前記N回の設定のうち少なくとも一つでは、前記第1サブ画素の前記感度の設定値と前記第2サブ画素の前記感度の設定値が異なり、
前記N回の蓄積の各々では、さらに、前記複数の画素セルの各々において、前記第2サブ画素の前記他の光電変換素子で得られた信号電荷を前記他の電荷蓄積領域に蓄積させ、
前記撮像方法では、前記N回の蓄積により前記複数の第1サブ画素で得られた前記1以上の画像を用いて、前記第1の畳み込み処理後の前記画像に相当する前記画像を取得し、前記N回の蓄積ステップにより前記複数の第2サブ画素で得られた他の1以上の画像を用いて、前記第1の畳み込み処理とは異なる第2の畳み込み処理後の画像に相当する画像を取得する、
請求項17〜20のいずれか1項に記載の撮像方法。 - 前記撮像方法は、
前記第1位置への前記設定および前記第2位置への前記設定を含む、前記相対位置のN回(Nは2以上の整数)の設定と、
前記第1感度への前記設定および前記第2感度への前記設定を含む、前記感度のN回の設定と、
前記第1信号電荷の前記蓄積および前記第2信号電荷の前記蓄積を含むN回の蓄積と、
を含み、
前記相対位置のi(iは1からNの整数)回目の設定では、前記相対位置を第i位置に設定し、
前記感度のi回目の設定では、前記複数の画素セルの各々の前記感度を第i感度に設定し、露光時間を第i露光時間に設定し、
i回目の蓄積では、前記相対位置が前記第i位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第i感度に設定された状態で、前記複数の画素セルの各々において、前記第i露光時間に前記光電変換素子で得られた第i信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法は、さらに、前記N回の前記蓄積により得られた1以上の画像を用いて、予め定められた第1の畳み込み処理後の画像に相当する画像を取得する
請求項13〜16のいずれか1項に記載の撮像方法。 - 被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法であって、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、一つの露光期間中に、
前記相対位置を第1位置から前記第1位置と異なる第2位置に変更し、
前記複数の画素セルの各々の前記感度を第1感度から前記第1感度と異なる第2感度に変更し、
前記複数の画素セルの各々において、前記光電変換素子で得られた第3信号電荷を前記電荷蓄積領域に蓄積させる、
撮像方法。 - 前記相対位置を前記第1位置から前記第2位置に連続的に変更する
請求項23記載の撮像方法。 - 前記複数の画素セルの各々の前記感度を前記第1感度から前記第2感度に連続的に変更する
請求項23または24に記載の撮像方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037274 | 2017-02-28 | ||
JP2017037274 | 2017-02-28 | ||
PCT/JP2017/035898 WO2018159002A1 (ja) | 2017-02-28 | 2017-10-03 | 撮像システム及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018159002A1 true JPWO2018159002A1 (ja) | 2019-12-26 |
JP6975908B2 JP6975908B2 (ja) | 2021-12-01 |
Family
ID=63369859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019502447A Active JP6975908B2 (ja) | 2017-02-28 | 2017-10-03 | 撮像システム及び撮像方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10903264B2 (ja) |
JP (1) | JP6975908B2 (ja) |
CN (1) | CN109792495B (ja) |
WO (1) | WO2018159002A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110959287A (zh) * | 2017-07-27 | 2020-04-03 | 麦克赛尔株式会社 | 摄像元件、摄像装置和距离图像的获取方法 |
US20190214427A1 (en) * | 2018-01-10 | 2019-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Image sensor including pixel electrodes, control electrode, photoelectric conversion film, transparent electrode, and connector |
WO2019229855A1 (ja) * | 2018-05-29 | 2019-12-05 | 日本電気株式会社 | 物体検出装置、物体検出システム、物体検出方法、およびプログラムを記録する記録媒体 |
JP2021034749A (ja) * | 2019-08-13 | 2021-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP7303703B2 (ja) * | 2019-08-22 | 2023-07-05 | 日本放送協会 | 光電変換膜積層型固体撮像素子とその駆動方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104114A (ja) * | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 感度可変型撮像素子及びこれを搭載した撮像装置 |
JP2008283705A (ja) * | 2008-06-23 | 2008-11-20 | Nec Corp | 画像読取り装置、及び該装置に用いられる画像読取り方法 |
WO2010013417A1 (ja) * | 2008-07-29 | 2010-02-04 | パナソニック株式会社 | 固体撮像装置および差分回路 |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2011008322A (ja) * | 2009-06-23 | 2011-01-13 | Univ Of Tokyo | 撮像装置及び画像処理方法 |
JP2011101139A (ja) * | 2009-11-05 | 2011-05-19 | Panasonic Corp | 撮像装置及びネットワークカメラシステム |
JP2011199643A (ja) * | 2010-03-19 | 2011-10-06 | Toshiba Corp | 固体撮像装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58182265A (ja) | 1982-04-19 | 1983-10-25 | Toshiba Corp | 固体撮像素子の撮像方法 |
US7084905B1 (en) | 2000-02-23 | 2006-08-01 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for obtaining high dynamic range images |
US7719575B2 (en) * | 2003-12-22 | 2010-05-18 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing apparatus and pixel signal processing method |
JP4511441B2 (ja) * | 2005-09-30 | 2010-07-28 | 富士フイルム株式会社 | 感度可変型撮像素子及びこれを搭載した撮像装置 |
EP2061233B1 (en) | 2006-09-14 | 2013-06-26 | Mitsubishi Electric Corporation | Image processing device and image processing method |
JP4024284B1 (ja) | 2007-01-12 | 2007-12-19 | 三菱電機株式会社 | 撮像装置及び撮像方法 |
US7674648B2 (en) * | 2007-03-21 | 2010-03-09 | Eastman Kodak Company | Extended dynamic range using variable sensitivity pixels |
JP2008277991A (ja) | 2007-04-26 | 2008-11-13 | Olympus Corp | 撮像装置 |
JP2009055433A (ja) * | 2007-08-28 | 2009-03-12 | Sanyo Electric Co Ltd | 撮像装置 |
JP4661912B2 (ja) | 2008-07-18 | 2011-03-30 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
JP2010087850A (ja) | 2008-09-30 | 2010-04-15 | Fujitsu Frontech Ltd | 情報読取用撮像装置 |
JP2013143730A (ja) * | 2012-01-12 | 2013-07-22 | Sony Corp | 撮像素子、撮像装置、電子機器および撮像方法 |
JP6418785B2 (ja) * | 2014-05-21 | 2018-11-07 | キヤノン株式会社 | 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置 |
JP6555512B2 (ja) | 2014-10-23 | 2019-08-07 | パナソニックIpマネジメント株式会社 | 撮像装置および画像取得装置 |
JP2016192755A (ja) | 2015-03-31 | 2016-11-10 | キヤノン株式会社 | 画像信号処理装置、画像信号処理方法、及びプログラム |
JP6492960B2 (ja) | 2015-05-19 | 2019-04-03 | リコーイメージング株式会社 | 撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラム |
EP3833004A1 (en) * | 2015-07-10 | 2021-06-09 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
-
2017
- 2017-10-03 WO PCT/JP2017/035898 patent/WO2018159002A1/ja active Application Filing
- 2017-10-03 CN CN201780060941.6A patent/CN109792495B/zh active Active
- 2017-10-03 JP JP2019502447A patent/JP6975908B2/ja active Active
-
2019
- 2019-06-20 US US16/447,147 patent/US10903264B2/en active Active
-
2020
- 2020-12-15 US US17/121,828 patent/US11177313B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104114A (ja) * | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 感度可変型撮像素子及びこれを搭載した撮像装置 |
JP2008283705A (ja) * | 2008-06-23 | 2008-11-20 | Nec Corp | 画像読取り装置、及び該装置に用いられる画像読取り方法 |
WO2010013417A1 (ja) * | 2008-07-29 | 2010-02-04 | パナソニック株式会社 | 固体撮像装置および差分回路 |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2011008322A (ja) * | 2009-06-23 | 2011-01-13 | Univ Of Tokyo | 撮像装置及び画像処理方法 |
JP2011101139A (ja) * | 2009-11-05 | 2011-05-19 | Panasonic Corp | 撮像装置及びネットワークカメラシステム |
JP2011199643A (ja) * | 2010-03-19 | 2011-10-06 | Toshiba Corp | 固体撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210118941A1 (en) | 2021-04-22 |
WO2018159002A1 (ja) | 2018-09-07 |
JP6975908B2 (ja) | 2021-12-01 |
US10903264B2 (en) | 2021-01-26 |
US20190312080A1 (en) | 2019-10-10 |
CN109792495B (zh) | 2022-04-01 |
US11177313B2 (en) | 2021-11-16 |
CN109792495A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6975908B2 (ja) | 撮像システム及び撮像方法 | |
JP5562953B2 (ja) | 複数のセンシング層を有するイメージセンサ | |
JP6369233B2 (ja) | 固体撮像素子及びその信号処理方法、並びに電子機器 | |
JP7174925B2 (ja) | 撮像装置およびカメラシステム | |
JP5351156B2 (ja) | 画像センサの複数の構成要素の読み出し | |
JP2021028981A (ja) | 固体撮像素子およびその製造方法、並びに電子機器 | |
US8054355B2 (en) | Image sensor having multiple sensing layers | |
US9293500B2 (en) | Exposure control for image sensors | |
CN109981939B (zh) | 成像系统 | |
KR102261981B1 (ko) | 고체 촬상 장치 및 그 구동 방법, 및 전자 기기 | |
US9985066B2 (en) | Solid-state imaging device, method for manufacturing same, and electronic device | |
US9729806B2 (en) | Imaging systems with phase detection pixels | |
US20110074996A1 (en) | Ccd image sensors with variable output gains in an output circuit | |
US20130099095A1 (en) | Multiple-gain charge sensing in image sensors | |
TWI618414B (zh) | 全域快門校正 | |
JP6912342B2 (ja) | 積層型固体撮像装置およびそのランダムノイズ低減方法 | |
US20130258153A1 (en) | Hybrid CCD-CMOS Camera Adapted for Forming Images of Moving Scenes | |
US10129494B2 (en) | Imaging device, and solid-state image sensor | |
WO2018124056A1 (ja) | 撮像装置及びその制御方法 | |
US9761624B2 (en) | Pixels for high performance image sensor | |
US20230292017A1 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211020 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6975908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |