JP7262236B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP7262236B2 JP7262236B2 JP2019018257A JP2019018257A JP7262236B2 JP 7262236 B2 JP7262236 B2 JP 7262236B2 JP 2019018257 A JP2019018257 A JP 2019018257A JP 2019018257 A JP2019018257 A JP 2019018257A JP 7262236 B2 JP7262236 B2 JP 7262236B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pulse signal
- count value
- time
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 63
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims description 51
- 230000004044 response Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 description 63
- 238000012545 processing Methods 0.000 description 48
- 230000010354 integration Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 23
- 239000000758 substrate Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 208000009989 Posterior Leukoencephalopathy Syndrome Diseases 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 6
- 238000010791 quenching Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
図1は、本発明の第1実施形態に係る、フォトンカウンティング方式の撮像素子を用いたカメラ100の機能構成例を示すブロック図である。
撮影レンズ101は、フォーカスレンズを含む複数のレンズと、絞りおよび/またはNDフィルタを有する。撮影レンズ101は着脱可能であってもなくてもよい。撮影レンズ101は、被写体光学像を撮像素子102の撮像面に形成する撮影光学系である。フォトンカウンティング方式の撮像素子102(撮像装置とも呼ぶ)には、光電変換素子としてアバランシェフォトダイオード(APD)を有する画素が2次元配列されている。撮像素子102の構成例については後述する。
表示装置108は例えばフラットパネルディスプレイであり、制御回路106から供給される表示信号に基づく画像、例えばライブビュー画像やメニュー画面などを表示する。なお、表示装置108はタッチディスプレイであってもよい。
撮像素子102は、受光部基板401と、計数部基板402と、フレームメモリ基板403とが積層された構成を有する。基板間はシリコン貫通電極などを用いて電気的に接続される。受光部基板401には、画素領域200のうち、各画素201の受光部301が行列状に配置される。計数部基板402には、各画素201の計数部302が行列状に配置される。また、計数部基板402には、垂直選択回路202および水平選択回路203、TG204、パルス頻度検出部205も配置される。フレームメモリ基板403には、フレームメモリ206および加算回路207、デジタル出力部208が配置される。
S601で制御回路106は、被写体輝度を測定する。被写体輝度は、撮影スタンバイ時に撮影されるライブビュー表示用の動画像を用いて取得してもよいし、専用の測光センサを用いて取得してもよい。また、どのような輝度情報を被写体輝度として求めてもよい。例えば全体および/または特定の領域についての、平均輝度および/または最大輝度であってよい。自動露出制御(AE)に用いる輝度の評価値を、被写体輝度として用いてもよい。フリッカ光が存在する可能性を踏まえ、複数フレームもしくは所定の期間について経時的に被写体輝度を測定してもよい。そして、制御回路106は、被写体輝度に周期的な経時変化が見られる場合にはフリッカ光が存在するものと判定し、フリッカ光の輝度変化特性を検出してもよい。
S609で制御回路106は、蓄積および読み出し動作を終了する。
上述したように、図5のタイミングチャートは、信号蓄積時間がフリッカ光の輝度変化周期よりも短い場合の動作を示していた。信号蓄積時間がフリッカ光の輝度変化周期より長い場合の信号蓄積および読み出し動作に関するタイミングチャートを図7に示す。例えば、図6におけるS606において、従前の蓄積および読み出し動作の代わりに実行することができる。
時刻t701~t707の動作は、図5の時刻t501~t507までの動作と同様である。ただし、この期間において計数値を積算した期間Aは、設定された信号蓄積時間よりも短い。したがって、時刻t707でCOUNTが閾値Cth未満になり、PFREQがHレベルになっても、VCLKおよびHCLKの出力が停止されるだけで、フレームメモリ206の積算メモリ領域からの読み出しは実行しない。
図8は本実施形態における撮像素子102’の全体構成を、図9は撮像素子102’に配置された画素801の回路図をそれぞれ示す。図8および図9において、第1実施形態の撮像素子102および画素201と同じ構成については図2および図3と同じ参照符号を付し、説明を省略する。本実施形態では、第1実施形態におけるパルス頻度検出部、加算回路、および積算した計数値(画像データ)を保持するメモリを画素ごとに備えた構成を有する。
積算部903は、加算回路905および積算メモリ906を有する。加算回路905および積算メモリ906は、それぞれ図2の加算回路207、フレームメモリ206の積算メモリ領域に相当する。積算メモリ906はカウンタ回路306および画素メモリ307のビット幅よりも十分大きなビット幅を備えることができる。
次に、本発明の第3実施形態について図12と図13を用いて説明する。
なお、本実施形態は、撮像素子の構成以外は第1実施形態の構成と同様の構成で実現可能であるため、共通する構成についての説明は省略する。また、本実施形態の信号蓄積および読み出し動作についても第1実施形態と同様の動作であってよいため、共通する動作についての説明は省略する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (6)
- フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、2次元配列された画素領域と、
前記パルス信号の出力頻度が予め定められた閾値以上となる周期に基づいて、撮影範囲におけるフリッカ光源の存在有無を検出する検出手段と、
を有することを特徴とする撮像装置。 - 前記パルス信号の出力頻度が、予め定められた単位期間あたりの前記計数部における計数値であることを特徴とする請求項1に記載の撮像装置。
- フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、2次元配列された画素領域と、
前記計数部における計数値の積算値を画素ごとに格納するメモリと、
前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御する制御手段と、を有し、
前記画素領域が複数の画素ブロックに分割され、
前記制御手段は、
前記画素ブロックごとに、前記パルス信号の出力頻度に基づいて、該画素ブロックの撮影範囲におけるフリッカ光源の存在有無を検出し、
フリッカ光源の存在が検出された画素ブロックについては、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御し、
フリッカ光源の存在が検出されない画素ブロックについては、前記パルス信号の出力頻度に関わらず、前記計数部における計数値を積算するか否かを制御する、
ことを特徴とする撮像装置。 - 前記制御手段は、フリッカ光源の存在が検出された画素ブロックについては、前記メモリに格納される積算値に、前記計数値を積算した単位期間の数を関連づけることを特徴とする請求項3に記載の撮像装置。
- フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、2次元配列された画素領域を有する撮像装置の制御方法であって、
検出手段が、前記パルス信号の出力頻度が予め定められた閾値以上となる周期に基づいて、撮影範囲におけるフリッカ光源の存在有無を検出する検出工程を有することを特徴とする撮像装置の制御方法。 - フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、2次元配列された画素領域と、
前記計数部における計数値の積算値を画素ごとに格納するメモリと、を有し、
前記画素領域が複数の画素ブロックに分割されている撮像装置の制御方法であって、
制御手段が、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御する制御工程を有し、
前記制御工程は、
前記画素ブロックごとに、前記パルス信号の出力頻度に基づいて、該画素ブロックの撮影範囲におけるフリッカ光源の存在有無を検出することと、
フリッカ光源の存在が検出された画素ブロックについては、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御することと、
フリッカ光源の存在が検出されない画素ブロックについては、前記パルス信号の出力頻度に関わらず、前記計数部における計数値を積算するか否かを制御することと、
を含むことを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019018257A JP7262236B2 (ja) | 2019-02-04 | 2019-02-04 | 撮像装置およびその制御方法 |
US16/778,604 US11172151B2 (en) | 2019-02-04 | 2020-01-31 | Image capture apparatus and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019018257A JP7262236B2 (ja) | 2019-02-04 | 2019-02-04 | 撮像装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020127123A JP2020127123A (ja) | 2020-08-20 |
JP2020127123A5 JP2020127123A5 (ja) | 2022-02-01 |
JP7262236B2 true JP7262236B2 (ja) | 2023-04-21 |
Family
ID=71835850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019018257A Active JP7262236B2 (ja) | 2019-02-04 | 2019-02-04 | 撮像装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11172151B2 (ja) |
JP (1) | JP7262236B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11373281B1 (en) * | 2021-02-23 | 2022-06-28 | Qualcomm Incorporated | Techniques for anchor frame switching |
JP2023046662A (ja) * | 2021-09-24 | 2023-04-05 | キヤノン株式会社 | 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム |
WO2024135122A1 (ja) * | 2022-12-23 | 2024-06-27 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、制御装置およびスパイキングニューラルネットワーク |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012119788A (ja) | 2010-11-29 | 2012-06-21 | Fujifilm Corp | 撮影装置、画像処理装置、撮影方法及び画像処理方法 |
JP2018093527A (ja) | 2018-02-21 | 2018-06-14 | キヤノン株式会社 | 撮像装置、制御方法、プログラム及び記憶媒体 |
JP2018164029A (ja) | 2017-03-27 | 2018-10-18 | 株式会社デンソー | 光検出器 |
JP2018190705A (ja) | 2017-02-16 | 2018-11-29 | エフ・イ−・アイ・カンパニー | 荷電粒子源の放出雑音補正 |
JP2019017065A (ja) | 2017-07-06 | 2019-01-31 | キヤノン株式会社 | 固体撮像素子、撮像装置及び撮像方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174537A (ja) * | 2005-12-26 | 2007-07-05 | Victor Co Of Japan Ltd | 撮像装置 |
US8026471B2 (en) * | 2008-07-23 | 2011-09-27 | Princeton Lightwave, Inc. | Single-photon avalanche detector-based focal plane array |
CN102099916B (zh) * | 2008-07-25 | 2013-07-31 | 康奈尔大学 | 光场图像传感器、方法及应用 |
JP5797884B2 (ja) * | 2010-08-04 | 2015-10-21 | 株式会社日立ハイテクノロジーズ | 光量検出方法及びその装置 |
EP2437484B1 (en) * | 2010-10-01 | 2017-02-15 | Sony Semiconductor Solutions Corporation | Imaging device and camera system |
JP2012174783A (ja) | 2011-02-18 | 2012-09-10 | Toyota Central R&D Labs Inc | フォトダイオードおよびフォトダイオードアレイ |
JP6791667B2 (ja) * | 2015-07-16 | 2020-11-25 | 株式会社半導体エネルギー研究所 | 撮像装置 |
-
2019
- 2019-02-04 JP JP2019018257A patent/JP7262236B2/ja active Active
-
2020
- 2020-01-31 US US16/778,604 patent/US11172151B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012119788A (ja) | 2010-11-29 | 2012-06-21 | Fujifilm Corp | 撮影装置、画像処理装置、撮影方法及び画像処理方法 |
JP2018190705A (ja) | 2017-02-16 | 2018-11-29 | エフ・イ−・アイ・カンパニー | 荷電粒子源の放出雑音補正 |
JP2018164029A (ja) | 2017-03-27 | 2018-10-18 | 株式会社デンソー | 光検出器 |
JP2019017065A (ja) | 2017-07-06 | 2019-01-31 | キヤノン株式会社 | 固体撮像素子、撮像装置及び撮像方法 |
JP2018093527A (ja) | 2018-02-21 | 2018-06-14 | キヤノン株式会社 | 撮像装置、制御方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2020127123A (ja) | 2020-08-20 |
US20200252569A1 (en) | 2020-08-06 |
US11172151B2 (en) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7062430B2 (ja) | 撮像素子、撮像装置および画像処理方法 | |
JP6929403B2 (ja) | 撮像素子及び撮像装置 | |
US10771724B2 (en) | Image capturing apparatus | |
JP7262236B2 (ja) | 撮像装置およびその制御方法 | |
KR102206359B1 (ko) | 촬상 소자, 촬상장치 및 촬상 소자의 제어방법 | |
US10785423B2 (en) | Image sensor, image capturing apparatus, and image capturing method | |
US10063762B2 (en) | Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color | |
US9635241B2 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP7339779B2 (ja) | 撮像装置 | |
JP4637029B2 (ja) | 撮像装置及びその制御方法 | |
JP7132799B2 (ja) | 撮像素子、撮像装置及び撮像方法 | |
JP2021090134A (ja) | 撮像装置およびその制御方法 | |
JP2021090134A5 (ja) | ||
JP2020036073A (ja) | 撮像装置およびその制御方法 | |
JP7394649B2 (ja) | 撮像素子及び撮像装置 | |
JP7361514B2 (ja) | 撮像素子および撮像装置 | |
JP2020182026A (ja) | 撮像装置およびその制御方法 | |
JP2019186792A (ja) | 撮像装置 | |
WO2023047975A1 (ja) | 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム | |
US11917290B2 (en) | Photoelectric conversion device, image pickup apparatus, control method, and storage medium | |
JP6167473B2 (ja) | 撮像装置 | |
JP7020463B2 (ja) | 撮像装置 | |
JP6590055B2 (ja) | 撮像装置 | |
JP7336320B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2018170703A (ja) | 撮像素子、撮像装置、及び撮像素子の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230411 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |