JP2024048578A - 光電変換装置、制御方法、及びコンピュータプログラム - Google Patents
光電変換装置、制御方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2024048578A JP2024048578A JP2022154574A JP2022154574A JP2024048578A JP 2024048578 A JP2024048578 A JP 2024048578A JP 2022154574 A JP2022154574 A JP 2022154574A JP 2022154574 A JP2022154574 A JP 2022154574A JP 2024048578 A JP2024048578 A JP 2024048578A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- image
- conversion device
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims description 93
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000012937 correction Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 82
- 230000002950 deficient Effects 0.000 claims description 72
- 238000010791 quenching Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 abstract description 6
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 20
- 239000000758 substrate Substances 0.000 description 14
- 238000007493 shaping process Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- MWRWFPQBGSZWNV-UHFFFAOYSA-N Dinitrosopentamethylenetetramine Chemical compound C1N2CN(N=O)CN1CN(N=O)C2 MWRWFPQBGSZWNV-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/51—Control of the gain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】アバランシェフォトダイオードを有すると共に、画質劣化を抑制可能な光電変換装置を提供する【解決手段】光電変換装置において、光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、前記光電変換素子の第1の特性情報を取得する取得手段と、前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理手段と、を有し、前記補正処理手段において、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせる。【選択図】 図9
Description
本発明は、アバランシェフォトダイオードを有する光電変換装置、制御方法、及びコンピュータプログラムに関するものである。
近年、アバランシェフォトダイオード(APD)に到来する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。
APDを有する光電変換装置においては、アバランシェ発光という現象が生じることが知られている(例えば非特許文献1)。アバランシェ発光が生じた場合、発生した2次電子が隣接する画素に入射することで、隣接する画素値のカウント数が増加し、誤カウントが発生してしまう。
I.Rech et al.,"Optical crosstalk in single photon avalanche diode arrays:a new complete model",OpEx 16(12),2008
そこで、本発明では、アバランシェフォトダイオードを有すると共に、画質劣化を抑制可能な光電変換装置を提供することを目的とする。
本発明の1側面の光電変換装置は、
光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、
前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、
前記光電変換素子の第1の特性情報を取得する取得手段と、
前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理手段と、を有し、
前記補正処理手段において、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする。
光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、
前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、
前記光電変換素子の第1の特性情報を取得する取得手段と、
前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理手段と、を有し、
前記補正処理手段において、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする。
本発明によれば、アバランシェフォトダイオードを有すると共に、画質劣化を抑制可能な光電変換装置を提供することができる。
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
<実施形態1>
図1は、実施形態1の光電変換素子の構成例を示す図である。以下では、光電変換素子100が、センサ基板11と、回路基板21の2枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂積層構造である光電変換装置を例にとって説明する。しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂非積層構造であっても良い。センサ基板11は、画素領域12を含む。回路基板21は、画素領域12で検出された信号を処理する回路領域22を含む。
図1は、実施形態1の光電変換素子の構成例を示す図である。以下では、光電変換素子100が、センサ基板11と、回路基板21の2枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂積層構造である光電変換装置を例にとって説明する。しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂非積層構造であっても良い。センサ基板11は、画素領域12を含む。回路基板21は、画素領域12で検出された信号を処理する回路領域22を含む。
図2は、センサ基板11の構成例を示す図である。センサ基板11の画素領域12は、複数行及び列方向に渡って二次元状に複数配置された画素101を含む。画素101は、アバランシェフォトダイオード(以下、APD)を含む光電変換部102を備える。尚、画素領域12を成す画素アレイの行数及び列数は、特に限定されるものではない。
図3は、回路基板21の構成例を示す図である。回路基板21は、図2の各光電変換部102で光電変換された電荷を処理する信号処理回路103、読み出し回路112、制御パルス生成部115、水平走査回路111、垂直信号線113、垂直走査回路110、出力回路114を有している。
垂直走査回路110は、制御パルス生成部115から供給された制御パルスを受け、行方向に配列された複数の画素に、順次的に制御パルスを供給する。垂直走査回路110にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
各画素の光電変換部102から出力された信号は、各信号処理回路103で処理される。信号処理回路103は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路111は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路103に入力する。
垂直信号線113には、垂直走査回路110により選択された行の画素の信号処理回路103から信号が出力される。垂直信号線113に出力された信号は、読み出し回路112、出力回路114を介して、光電変換素子100の外部に出力される。
図2及び図3に示すように、平面視で画素領域12に重なる領域に、複数の信号処理回路103が配される。そして、平面視で、センサ基板11の端と画素領域12の端との間に重なるように、垂直走査回路110、水平走査回路111、読み出し回路112、出力回路114、制御パルス生成部115が配される。
言い換えると、センサ基板11は、画素領域12と画素領域12の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路110、水平走査回路111、読み出し回路112、出力回路114、制御パルス生成部115が配される。
尚、垂直信号線113の配置、読み出し回路112、出力回路114の配置は図3に示した例に限定されない。例えば、垂直信号線113が行方向に延びて配されており、読み出し回路112を垂直信号線113が延びる先に配しても良い。又、信号処理回路103は、必ずしもすべての光電変換部に1つずつ設けられる必要はなく、複数の光電変換部に対して1つの信号処理部が共有され、順次信号処理を行う構成となっていても良い。
図4は、図2及び図3における画素101と、画素101に対応した信号処理回路103の等価回路を示した図である。
光電変換部102に含まれるAPD201は、光電変換により入射光に応じた電荷対を生成する。APD201の2つのノードのうちの一方のノードは、駆動電圧VL(第1電圧)が供給される電源線と接続されている。又、APD201の2つのノードのうちの他方のノードは、電圧VLよりも高い駆動電圧VH(第2電圧)が供給される電源線と接続されている。
図4では、APD201の一方のノードはアノードであり、APDの他方のノードはカソードである。APD201のアノードとカソードには、APD201がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きな電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるAPDをSPADと呼ぶ。SPADの場合、例えば、電圧VL(第1電圧)は、-30V、電圧VH(第2電圧)は、1Vである。
信号処理回路103は、クエンチ素子202、波形整形部210、カウンタ回路211、選択回路212を有する。クエンチ素子202は、駆動電圧VHが供給される電源線とAPD201のアノード及びカソードのうちの一方のノードに接続される。
クエンチ素子202は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD201に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。又、クエンチ素子202は、クエンチ動作で電圧降下した分の電流を流すことにより、APD201に供給する電圧を駆動電圧VHへと戻す働きを持つ(リチャージ動作)。
図4では、信号処理回路103は、クエンチ素子202の他に波形整形部210、カウンタ回路211、及び選択回路212を有する例を示した。しかし、信号処理回路103は、クエンチ素子202の他に波形整形部210、カウンタ回路211、選択回路212の少なくともいずれか1つを有していれば良い。
波形整形部210は、光子検出時に得られるAPD201のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部210としては、例えば、インバータ回路が用いられる。図4では、波形整形部210としてインバータを1つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。
カウンタ回路211は、波形整形部210から出力されたパルス信号をカウントし、カウント値を保持する。又、駆動線213を介して制御パルスRESが供給されたとき、カウンタ回路211に保持された信号がリセットされる。
選択回路212には、図3の垂直走査回路110から、図4の駆動線214(図3では不図示)を介して制御パルスSELが供給され、カウンタ回路211と垂直信号線113との電気的な接続、非接続を切り替える。選択回路212には、例えば、信号を出力するためのバッファ回路などを含み、画素のカウンタ回路211からの出力信号を垂直信号線113に出力する。
尚、クエンチ素子202とAPD201との間や、光電変換部102と信号処理回路103との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えても良い。同様に、光電変換部102に供給される電圧VH又は電圧VLの供給をトランジスタ等のスイッチを用いて電気的に切り替えても良い。
図5は、APD201の動作と出力信号の関係を模式的に示した図である。波形整形部210の入力側をnodeA、出力側をnodeBとしている。時刻t0から時刻t1の間において、APD201には、VH-VLの電位差が印加されている。時刻t1において光子がAPD201に入射すると、APD201でアバランシェ増倍が生じ、クエンチ素子202にアバランシェ増倍電流が流れ、nodeAの電圧は降下する。
電圧降下量が更に大きくなり、APD201に印加される電位差が小さくなると、時刻t2のようにAPD201のアバランシェ増倍が停止し、nodeAの電圧レベルはある一定値以下には降下しなくなる。その後、時刻t2から時刻t3の間において、nodeAには電圧VLから電圧降下分を補う電流が流れ、時刻t3においてnodeAは元の電位レベルに静定する。このとき、nodeAにおいて出力波形がある閾値を越えた部分は、波形整形部210で波形整形され、nodeBでパルス信号として出力される。
以下に、実施形態1の光電変換装置300について説明する。図6は実施形態1に係る光電変換装置300の機能ブロック図である。尚、図6に示される機能ブロックの一部は、光電変換装置300に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。
しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。又、図6に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、図6に関する上記の説明は、図16についても同様に当てはまる。
光電変換装置300は、図1~図5で説明した光電変換素子100、結像光学系301、光電変換素子100で取得された像信号を処理する信号処理部302を有する。光電変換素子100は、光学像を光電変換するためのアバランシェフォトダイオードで構成されている。尚、実施形態1では、光電変換素子100の各画素がカラーフィルタを有さない、所謂モノクロセンサである場合を説明する。
信号処理部302は、光電変換部で取得した信号から第1の画像を生成する画像生成部303と、補正処理部304と、光電変換素子100の第1の特性情報に関する第1の配列データを記憶する記憶手段としての記憶部305を有する。
尚、上記の第1の特性情報は、光電変換素子100のアバランシェ発光現象によって生じる画素間のクロストーク特性に関する情報である。尚、記憶部305は外部のサーバ等から第1の特性情報(第1の配列データ等)をダウンロードして一時的に保存するものであっても良い。
補正処理部では、光電変換素子100の第1の特性に基づく第1の配列データ、即ち、光電変換素子のアバランシェ発光現象によって生じる画素間のクロストーク特性に関する第1の特性情報を用いて第1の補正処理を行う。尚、本実施形態の光電変換素子では、第1の画像における画素信号の大きさの情報に基づき、画素毎に第1の補正処理の重みづけを変更している。尚、第1の特性情報は、配列データでも良いし関数でも良い。
図7は、光電変換素子100の隣接画素間での誤カウントが発生する確率分布を第1の配列データとして示した図であり、光電変換素子100の第1の特性情報に対応した第1の配列データの例を示している。図7に示すような第1の配列データ(第1の特性情報)が記憶部305に記憶されており、この第1の配列データ(第1の特性情報)を用いて補正処理手段としての補正処理部304で第1の補正処理を行う。
非特許文献1に示すように、画素がアバランシェフォトダイオードである場合においては、アバランシェ発光現象に起因して隣接画素での誤カウント、即ち隣接画素間でのクロストーク(以下、発光クロストークと呼ぶ)が発生する。
1つの画素に入射した光子が、隣接画素に与える影響は、発光クロストークの発生する確率で決まる。そして、発光クロストークの発生確率は、光電変換素子の画素構造によって決定されるため、発光クロストークの発生確率は、光電変換素子の画素構造によって予測することができる。従って、実施形態1に係る光電変換装置300では、発光クロストークの発生確率の情報を用いて、誤カウントの影響を抑制する信号処理を行うことで、画像の品質を向上させている。
特に、本実施形態の光電変換素子では、第1の画像における画素信号が周囲の画素よりも大きいキズ画素と、キズ画素以外の画素で、第1の配列データにかける重みづけ(係数)を変える。即ち、第1の画像における画素信号の大きさによって、第1の補正処理の重みづけ(係数)を異ならせることによって、第1の補正処理の重みづけを変更する。これにより、誤カウントによる画質の劣化を抑制することが出来る。以下で、実施形態1に係る信号処理のフローチャート及びその効果について説明を行う。
図8は、実施形態1に係る光電変換装置の第1の補正処理に関するフローチャートである。尚、光電変換装置300内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図8のフローチャートにより示される光電変換装置の制御方法の各ステップの動作が行われる。
図8に示すフローによって、補正処理部304では、キズ画素に対する補正を実施する。前述したように、画素がアバランシェフォトダイオードである場合においては、発光クロストークによって、キズ画素の影響が、周囲の画素にまで伝搬する。このようなキズをクラスターキズと呼ぶ。補正処理部304では、発光クロストークの発生確率の情報を用いて、クラスターキズによる誤カウントの影響を抑制する信号処理を行うことで、画像の品質を向上させている。
先ず、ステップS401(画像生成ステップ)において、光電変換部102で取得された信号に基づき、画像生成手段としての画像生成部303で第1の画像を生成する。次に、ステップS402において、画像生成部303で生成した第1の画像に対して、周囲の画素よりも出力レベルが高い画素をキズ画素として抽出する。
キズ画素の位置及びレベルは、予めダーク画像を取得しておき、所定の閾値以上の出力の画素の位置及び出力レベルを、アドレスデータとして記憶部305などのメモリに記憶しておき、それを用いれば良い。
続いて、ステップS403において、第1の配列データを取得する。このときステップS403は光電変換素子の第1の特性情報を取得する取得ステップ(取得手段)として機能している。又、ステップS403において、第1の画像に対して、第1の配列データを用いた補正処理を行い、第2の画像を生成する。
この時、キズ画素の補正処理の重みづけを、キズ画素以外の補正処理の重みづけよりも軽くする。具体的には、第1の補正処理において、第1の画像に対して、第1の配列データ(第1の特性情報)に重みづけ係数Kをかけたものを畳み込み演算する。このとき、キズ画素の重みづけ係数K1を、キズ画素以外の重みづけ係数K2よりも小さくする。
その後、ステップS404において、第1の画像から第2の画像を減算し、第3の画像を生成する。前述したように、第2の画像は発光クロストークによって発生した誤カウントを表す信号になっているため、第3の画像は、発光クロストークによる誤カウントが発生しなかった場合に得られる信号を復元した画像となっている。
ここで、ステップS403、S404は、第1の配列データ等の第1の特性情報を用いて第1の画像に対して第1の補正処理を行う補正処理ステップ(補正処理手段)として機能している。更に又、第1の補正処理においては、第1の画像における画素信号の大きさによって、第1の補正処理の重みづけを異ならせており、キズのクロストークによって発生する誤カウントの影響を低減することができる。
図9は実施形態1に係る第1の補正処理を説明する図であり、(A)は第1の画像、(B)はキズ画素、(C)は第1の配列データ、(D)はキズ画素に対する畳み込み演算結果を示している。又、(E)はキズ画素以外の画素の畳み込み演算結果、(F)は第3の画像を示している。第3の画像である(F)は、第1の画像である(A)から第2の画像である(D)、(E)を減算した結果となる。
尚、図9の例においては、第1の画像である(A)の下半分の5×5の領域は、本来は黒い画面であるが、白キズによって(A)に示すようにクロストークが発生している。しかし、第1の補正処理を経て得られる第3の画像である(F)においては、本来の黒い画面に復元されていることが分かる。
尚、ステップS403において第1の配列データに対して重みづけ係数K1をかけて畳み込み演算するのは、ステップS402において抽出された(B)のキズ画素のみであり、キズ画素以外の周囲や近傍の画素は重みづけ係数K2をかけて畳み込み演算をする。
尚、図7に示すように、第1の特性情報としての第1の配列データは、2以上のデータを含むものであれば1次元でも2次元でも良いが、2次元の配列データであることが好ましい。更に、クロストーク確率の対称性を考慮すると、行、列ともに奇数の行列であって、中央を中心に上下左右が対称であることが好ましい。クロストーク確率は、当該画素に近いほど値が大きくなるため、クロストーク行列は、中央にピーク値を有し、周辺に向かって単調変化する分布を有する。
具体的には、2次元配列データであるクロストーク行列の1行分或いは1列分を1次元データとして取り出すと、中央のピーク値から、両方のデータ端に向かって単調減少する分布を有する。即ち、2次元配列データの少なくとも1行分又は1列分に対応する1次元データは、中央にピーク値を有する。そして、取り出した1次元データのピーク値を共有し、1次元データに交差する方向に配列された他の1次元データも、ピーク値からデータ端に向かって単調減少する分布を有する。
尚、図8では、ステップS404において、予めメモリに記憶されたアドレスデータを用いてキズを抽出する例を示したが、第1の画像から、キズ画素及びその出力レベルを抽出しても良い。具体的には、第1の画像に対して、メディアンフィルタをかけた第2の画像を生成する。そして、第1の画像と第2の画像の差分が第1の閾値以上の出力の画素を、キズ画素として抽出し、第1の画像と第2の画像の差分をキズ画素の出力レベルとすれば良い。即ち、第1の画像の各画素と周囲の画素の出力を比較することでキズ画素を抽出すれば良い。
第1の画像から、キズ画素及びその出力レベルを抽出したほうが、アドレスデータを用いるよりも、キズアドレスを記憶するためのメモリを必要としないため、光電変換装置300の構成が簡素化し、好ましい。
一方、第1の画像からメディアンフィルタを用いてキズ画素を抽出する場合、輝点のような被写体を撮影した場合には、キズ画素を誤検出してしまう可能性があるため、キズ画素を正確に抽出するためには、アドレスデータを使用したほうが好ましい。尚、以上ではメディアンフィルタを用いる場合を示したが、当該画素の出力値と、周囲の画素の平均の出力値を比較することで、キズ画素を抽出しても良い。
続いて、本実施形態の効果について、キズ画素とそれ以外の画素に対して同じ重みづけ係数で第1の補正処理を行った場合と比較して説明を行う。
前述したように、発光クロストークの発生確率は、光電変換素子の画素構造によって予測できる。しかし、製造ばらつきの影響などにより、発光クロストークの発生確率は必ずしもすべての画素で同じ確率にはならない。
例えば周囲の画素に対して出力レベルの差が小さい画素の場合、畳み込み演算時に当該画素が周囲の画素に与える影響と、周囲の画素が当該画素に与える影響は同程度であるため、製造ばらつきによる影響は限定的である。
一方、周囲の画素に対して出力レベルが高い画素、即ちクラスターキズの原因となるようなキズ画素では、畳み込み演算時に周囲の画素に与える影響が大きいため、製造ばらつきによる影響が大きい。
即ち、発光クロストークの発生確率が低い画素では、実際に発生している発光クロストークよりも、畳み込み演算時に使用している発光クロストークの確率が高いため、クラスターキズの周囲の画素において黒沈みが発生する。一方、発光クロストークの発生確率が高い画素では、実際に発生している発光クロストークよりも、畳み込み演算時に使用している発光クロストークの確率が低いため、クラスターキズの周囲の画素においてキズ残りが発生する。
特に黒沈みが発生すると、キズ画素の周囲のみが黒く沈み込んでいるため、人間の視覚に違和感を覚える。そこで、本実施形態の光電変換装置では、キズ画素に畳み込む第1の配列データは重みづけ係数K1を相対的に小さくする。即ち、キズ画素のほうが、それ以外の画素よりも、第1の補正処理の重みづけ係数が小さくなるようにして黒沈みが発生しないようにする。
一方で、キズ画素以外に畳み込む第1の配列データついては、重みづけ係数K2を相対的に大きくして、キズ画素の発光クロストークによる誤カウントを抑制している。具体的には、キズ画素の重みづけ係数K1は、キズ画素以外の重みづけ係数K2の0.4倍~0.8倍程度にすれば良い。
尚、キズ画素に対する畳み込み演算は、製造ばらつきを考慮して、発光クロストークの発生確率が低い画素に合わせた配列データを使用しても良い。ここで発生確率が低いとは、例えば、キズ画素毎に発生確率のヒストグラムを生成した場合、発生確率が低い方から数えて例えば10%の発生確率を意味する。一方、キズ画素以外に対する畳み込み演算は、発光クロストークの発生確率が平均的な画素に合わせた配列データを使用しても良い。
尚、図10は、複数のキズ画素が近接している場合における実施形態1に係る第1の補正処理を説明するための図である。第1の画像である(A)は、本来は全面が黒画面であるが、上半分の中央の白キズと下半分の中央の白キズによって(A)のような画像になっている。
複数のキズ画素の近傍の画素に対して、複数のキズ画素(B1)、(B2)に対する畳み込み演算の結果を夫々減算すると、引きすぎによる黒沈みが発生する可能性がある。そのため、図10に示すように、複数のキズ画素の近傍の画素に対しては、複数のキズ画素(B1)、(B2)に対する畳み込み演算を同じ重みづけ係数K1で行った結果を比較する。
そして、大きいほうの畳み込み演算結果を、上半分と下半分の夫々の畳み込み演算結果として共通に使用し、夫々の畳み込み演算結果である(D)、(E)を、第1の画像である(A)から夫々減算する。即ち、複数の前記キズ画素に対する畳み込み演算の演算結果のうち、大きいほうの前記演算結果を共通に使用する。それによって、本来の黒画面である(F)を得ることができる。
以上では、キズ画素かそれ以外かに応じて第1の補正処理の重みづけ係数を異ならせる例を説明したが、重みづけ係数をもっと細かく変えても良い。即ち、キズ画素のレベルが大きいほど、周囲の画素に与える影響が大きいため、周囲の画素に対する画素信号の差異が大きいキズ画素ほど、第1の補正処理の重みづけ係数を小さくしても良い。
又、アドレスデータを用いてキズを抽出する場合は、キズのアドレスのほかに周囲の画素に対する画素信号の差異(キズのレベル)を記憶しておき、キズのレベルに応じた重みづけ係数を使用すれば良い。
一方、第1の画像からキズ画素及びその出力レベルを抽出する場合には、抽出した出力レベルに応じた重みづけ係数を使用すれば良い。その場合には、キズ画素もキズ画素以外も含めて、周囲の画素に対する出力レベルの差異が大きいほど、重みづけ係数を小さくしても良い。
周囲の画素に対する出力レベルの差異は、例えば、第1の画像に対してメディアンフィルタをかけて生成した第2の画像を、第1の画像から減算して求めれば良い。即ち、第1の画像と第2の画像の差異が大きい画素ほど、重みづけ係数を小さくすれば良い。
尚、光電変換素子100はオンチップカラーフィルタを有さないモノクロセンサであっても良いし、分光特性の異なる2種類以上の画素を有するカラーセンサであっても良い。カラーセンサの場合、色毎に補正処理を変更することが望ましい。
カラーセンサの場合、色間でクロストーク確率の差異はないが、被写体の色によって異なる色画素毎で信号レベルが変わるため、クロストークによる誤カウントの影響を受けやすい色が存在する場合がある。
例えば、光電変換素子が例えばRGBのカラーフィルタを画素毎に配列したカラーセンサの場合、一般的な被写体では、B画素の輝度が最も小さく、G画素の輝度が最も大きい。従って、B画素が最もクロストークによる誤カウントの影響を受けやすく、G画素が最も影響を受けにくい。
畳み込み演算に使用する配列データ(第1の特性情報)のサイズが大きいほど、クロストークによる誤カウントの影響を低減することが出来るが、クラスターキズや製造ばらつきによる発光クロストーク確率の差異による影響を受けやすくなる。そのため、第1の配列データは、クロストークによる誤カウントの影響が抑えられる最小のサイズとするのが望ましい。そのため、光電変換素子がRGBのベイヤー配列型などのカラーセンサの場合、B画素に対してはG画素よりもステップS502で使用する配列データ(第1の特性情報)のサイズを大きくすることが望ましい。
尚、カラーセンサの場合、分光特性の異なる画素毎に、第1の特性情報としての第1の配列データのサイズを変更するだけではなく、キズ画素かそれ以外かで畳み込み演算に使用する配列データのサイズも変更することが望ましい。前述したように、キズ画素の周囲では、黒沈みが発生することを抑制するために、第1の補正処理の重みづけ係数を小さくすることが望ましい。
そのため、キズ画素の周囲では、色のクロストーク補正が不十分になってしまう可能性がある。そこでキズ画素では重みづけ係数を小さくするとともに、配列データ(第1の特性情報)のサイズを大きくすることで、キズ画素の周囲の黒沈みを抑制しつつ、色のクロストーク補正の精度を向上することが出来る。即ち、周囲の画素に対する画素信号の差異が大きい画素ほど、第1の配列データ(第1の特性情報)のサイズを大きくすることが望ましい。
<実施形態2>
実施形態2に係る光電変換装置は、実施形態1に係る光電変換装置に対して、光電変換素子の駆動方法が異なる。図11は、実施形態2に係る光電変換素子の画素に対応した等価回路図である。
実施形態2に係る光電変換装置は、実施形態1に係る光電変換装置に対して、光電変換素子の駆動方法が異なる。図11は、実施形態2に係る光電変換素子の画素に対応した等価回路図である。
図11に示すように、クエンチ素子202がMOSトランジスタにより構成されており、MOSトランジスタのゲートに接続されている制御信号CLKによってクエンチ素子202(MOSトランジスタ)のオンとオフが制御される。クエンチ素子の動作を制御するための制御信号CLKは、信号生成手段としての制御パルス生成部115から供給される。
図12は、実施形態2に係る光電変換素子の駆動タイミングチャートである。図11に示す光電変換素子における、クエンチ素子202の制御信号CLK、ノードnodeAの電圧、ノードnodeBの電圧、選択回路212の出力信号OUTの関係を示している。
実施形態2の光電変換素子では、制御信号CLKがハイレベル(例えば1V)の場合にAPDへと駆動電圧VHが供給されにくい状態となり、制御信号CLKがローレベル(例えば0V)の場合にAPDへと駆動電圧VHが供給される状態となる。制御信号CLKがハイレベルの場合にクエンチ素子202はオフとなり、制御信号CLKがローレベルの場合にクエンチ素子202はオンとなる。
制御信号CLKがハイレベルの場合におけるクエンチ素子202の抵抗値は、制御信号CLKがローレベルの場合におけるクエンチ素子202の抵抗値よりも高くなる。従って、制御信号CLKがハイレベルの場合は、APDでアバランシェ増倍が生じてもリチャージ動作が行われにくいため、APDへと供給される電圧がAPDの降伏電圧以下の電圧となる。従って、APDでのアバランシェ増倍動作が停止する。
時刻t1において、制御信号CLKはハイレベルからローレベルへと変化して、クエンチ素子202がオンとなり、APDのリチャージ動作が開始される。これにより、APDのカソードの電圧がハイレベルへと遷移する。そして、APDのアノードとカソードへと印加される電圧の電圧差がアバランシェ増倍可能な状態となる。
カソードの電圧はノードnodeAと同じである。従って、カソードの電圧がローレベルからハイレベルへと遷移するときに、時刻t2でノードnodeAの電圧は判定閾値以上となる。このとき、ノードnodeBから出力されるパルス信号は反転して、ハイレベルからローレベルとなる。
リチャージが完了すると、APD201には、駆動電圧VH-駆動電圧VLの電圧差が印加される状態となる。その後、制御信号CLKがハイレベルとなり、クエンチ素子202はオフとなる。
次に、時刻t3において、光子がAPD201に入射すると、APD201でアバランシェ増倍が生じ、クエンチ素子202にアバランシェ増倍電流が流れ、カソードの電圧は降下する。つまり、ノードnodeAの電圧は降下する。ノードnodeAの電圧が降下する途中でnodeAの電圧が判定閾値よりも低くなると、ノードnodeBの電圧はローレベルからハイレベルとなる。
つまり、ノードnodeAにおいて出力波形が判定閾値を越えた部分は、波形整形部210で波形整形され、nodeBでパルス信号として出力される。そして、カウンタ回路でカウントされ、カウンタ回路から出力されるカウンタ信号のカウント値が1LSB分増加する。
時刻t3と時刻t4の間にAPDに光子が入射しているが、クエンチ素子202がオフの状態であり、APD201への印加電圧がアバランシェ増倍可能な電圧差となっていないため、ノードnodeAの電圧レベルは判定閾値を超えない。
時刻t4において、制御信号CLKがハイレベルからローレベルに変わり、クエンチ素子202がオンとなる。これに伴い、ノードnodeAには駆動電圧VLから電圧降下分を補う電流が流れ、ノードnodeAの電圧は元の電圧レベルへと遷移する。このとき、時刻t5でノードnodeAの電圧が判定閾値以上となるため、ノードnodeBのパルス信号は反転し、ハイレベルからローレベルになる。
時刻t6において、ノードnodeAは元の電圧レベルに静定し、制御信号CLKはローレベルからハイレベルになる。以降においても、時刻t1から時刻t6で説明したように制御信号CLKや光子の入射に応じて各ノードや信号線などの電圧が変化する。
このように、クエンチ素子202に制御信号CLKを印加してクエンチ素子202のオンとオフを所定の周期で切り替えることにより、APDのリチャージ頻度を制御することができる。
制御信号CLKを用いなかった場合には、高輝度時に入射光の輝度に対応する計数値よりも実際のカウント値が小さくなってしまうという問題がある。しかし、クエンチ素子202に制御信号CLKを印加してクエンチ素子202のオンとオフを周期的に切り替えることにより、この問題を解決することが出来る。
但し、制御信号CLKにより、APDのリチャージ頻度を制御する場合、入力信号数に対する出力信号数の関係が非線形であるが、発光クロストークによる影響を無視した場合、入力信号数に対する出力信号数の関係は理論的に導くことが出来る。具体的には、入力信号数をNph、出力信号数をNct、制御信号CLKの周波数(単位時間当たりのCLK数の逆数)をf、露光期間の長さをTとしたとき、以下の式1を満たす。
実施形態2に係る光電変換装置では、制御信号CLKによって発生する非線形応答の影響、クロストークによって発生する誤カウントの影響を同時に低減することができるような補正処理を実施する。以下で説明を行う。
図13は、実施形態2に係る光電変換装置の信号処理のフローチャートである。尚、光電変換装置300内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図13のフローチャートの各ステップの動作が行われる。
以下、図8のフローチャートと異なる部分を中心に説明する。先ず、ステップS501において、ステップS401と同様に、画像生成部303で第1の画像を生成し、ステップS402と同様に、ステップS502において、キズ画素を抽出する。
次に、ステップS503において、ステップS403と同様に、第1の画像に対して、第1の配列データを畳み込み演算して、第2の画像を生成する。この時、キズ画素の畳み込み演算の重みづけを、キズ画素以外の畳み込み演算の重みづけよりも軽くする。
第2の実施形態の光電変換装置では、ステップS501の後で、ステップS502、503と分岐して、ステップS504の信号処理(第2の補正処理)を実施する。ステップS504では、第1の画像に対して、制御信号CLKによって発生する非線形応答を線形に戻す(非線形性の補正をする)ための非線形性補正処理を行い、第3の画像を生成する。具体的には、以下の式2を満たすように、出力信号数Nctから入力信号数Nphを求める。
その後、ステップS505において、第3の画像から第2の画像を減算し、第4の画像を生成する。即ち、第1の補正処理においては、第1の画像に対して非線形性補正処理を行って生成した第3の画像から、第1の画像に対して第1の配列データを畳み込んで生成した第2の画像を減算して、第4の画像を生成する。
前述したように、第2の画像は発光クロストークによって発生した誤カウントを表す信号になっているため、第4の画像は、発光クロストークによる誤カウントが発生しなかった場合に得られる信号を復元した画像となっている。
このように、ステップS503~S505の処理によって、制御信号CLKにより発生する非線形応答の影響と、クロストークによって発生する誤カウントの影響を同時に低減できる。
図14は、実施形態2に係る第1の補正処理を説明する図であり、(A)は第1の画像を、(B)はキズ画素を、(C)は第1の配列データを、(D)はキズ画素に対する畳み込み演算結果を示している。又、(E)は第1の画像の上半分の画素に対する畳み込み演算結果を、(F)は第3の画像を、(G)は第4の画像を示している。
<実施形態3>
実施形態3に係る光電変換装置は、実施形態2に係る光電変換装置に対して、信号処理部302が、第1の画像に対してゲインをかけるゲイン調整手段としての不図示のゲイン調整部を備えている点が異なる。一般に、画像を取得する光電変換装置では、被写体の明るさによって、露光時間や結像光学系のF値や信号処理回路のゲイン(以下、信号ゲインと呼ぶ。)を変更し、被写体の輝度が適正になるように撮影を行う。
実施形態3に係る光電変換装置は、実施形態2に係る光電変換装置に対して、信号処理部302が、第1の画像に対してゲインをかけるゲイン調整手段としての不図示のゲイン調整部を備えている点が異なる。一般に、画像を取得する光電変換装置では、被写体の明るさによって、露光時間や結像光学系のF値や信号処理回路のゲイン(以下、信号ゲインと呼ぶ。)を変更し、被写体の輝度が適正になるように撮影を行う。
実施形態3に係る光電変換装置では、明るさを調整するために信号ゲインの値を変更した場合にそれに応じて第1の補正処理と第2の補正処理のパラメータを変更している。
図15は実施形態3に係る光電変換装置の信号処理のフローチャートである。尚、光電変換装置300内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図15のフローチャートの各ステップの動作が行われる。
以下では、図14のフローチャートと異なる部分を中心に説明する。ステップS601において、画像生成部303で第1の画像を生成し、ステップS602において、キズ画素を抽出する。
次に、ステップS603において、第1の画像に対して、不図示のゲイン調整部によって信号ゲインをかけたのち、第1の画像に対して、第1の配列データを用いた補正処理(畳み込み演算)を行い、第2の画像を生成する。
発光クロストーク確率に基づいて生成する、第1の配列データはしばしば小数値を有する。画像の出力は一般的に整数であるため、畳み込み演算の際に第1の画像にゲイン調整をすることで、量子化誤差の影響を抑制し、補正精度を高めることが出来る。尚、ステップS603でかけたものと同じ信号ゲイン(以下、第1のゲインと呼ぶ)はステップS604でも使用する。
ステップS604において、第1の画像に対して同様に第1のゲインをかけると共に、制御信号CLKによって発生する非線形応答を線形に戻す非線形性補正処理を行い、第3の画像を生成する。式2は対数を含む演算であるため、小数の精度を必要とする。そのため、実施形態3では非線形応答を線形に戻す非線形性補正処理を行う際に、画像に第1のゲインをかけることで、量子化誤差の影響を抑制し、補正精度を高めることが出来る。
尚、ステップS604では、式2を計算する処理回路を実装して、出力信号数Nctから入力信号数Nphを求めても良いし、式2の特性を有するルックアップテーブルを用いても良い。ルックアップテーブルを用いる場合、第1のゲインと線形に戻す処理を合体したルックアップテーブルを用いると、量子化誤差を低減できるため、好ましい。その後、ステップS605において、第3の画像から第2の画像を減算し、第4の画像を生成する。
このように、信号ゲインを調整するゲイン調整部を有する光電変換装置の場合、信号ゲインの値によって、第1の補正処理等のパラメータも変更することが望ましい。制御信号CLKによって応答に非線形性がある場合、出力信号数Nctが小さいほど、クロストークによる影響が大きくなる。
そのため、被写体の明るさが暗く、明るさを調整するためにかける信号ゲインの値が高いほど、畳み込み演算に用いる第1の配列データ(第1の特性情報)のサイズを大きくしたり、畳み込み演算の重みづけ係数を大きくしたりする方が好ましい。言い換えると、ゲイン調整部においてかける信号ゲインの値が高いほど、補正処理の重みづけ係数を大きくすることが望ましい。
又、信号ゲインの値に応じて、制御信号CLKの周波数fの値も変えても良い。式1からわかるように、Nctの飽和レベルはf×Tに比例するため、露光時間の長さTが同じであれば、制御信号CLKの周波数fとNctの飽和レベルは比例する。従って、制御信号CLKの周波数fが低いほど、信号ゲインの値を大きく、明るさを明るくすることが望ましい。
式2は、制御信号CLKの周波数fに依存するため、ステップS604における非線形性補正処理も、周波数fによって変更することが望ましい。式2の特性を有するルックアップテーブルを用いる場合、制御信号CLKの周波数fによって異なるルックアップテーブルを用いれば良い。
式1からわかるように、露光時間の長さTが同じであれば、制御信号CLKの周波数fが小さいほど、応答がより非線形になるため、クロストークによる影響が大きくなる。そのため、周波数fが低いほど、畳み込み演算に用いる第1の配列データのサイズを大きくしたり、畳み込み演算の重みづけ係数を大きくしたりする方が好ましい。即ち、制御信号の周波数fが低いほど、第1の補正処理の重みづけ係数を大きくすることが望ましい。
<実施形態4>
図16は、実施形態1~3の光電変換装置を用いた実施形態4に係る光電変換システムの機能ブロック図である。光電変換システム800は、光電変換素子100を有する光電変換装置300、制御部801、記憶部802、通信部803を含む。
図16は、実施形態1~3の光電変換装置を用いた実施形態4に係る光電変換システムの機能ブロック図である。光電変換システム800は、光電変換素子100を有する光電変換装置300、制御部801、記憶部802、通信部803を含む。
光電変換素子100では、結像光学系301によって形成される光学像を撮像する。光電変換素子100から読みだした信号は、信号処理部302において画像生成、補正処理に加えて、黒レベル補正や、ガンマカーブ調整、ノイズリダクション、データ圧縮等の処理がなされ、最終的な画像が生成される。光電変換素子100がRGBのオンチップカラーフィルタを有する場合、ホワイトバランス補正、色変換などの処理を行うと更に好ましい。
尚、制御部801にはコンピュータとしてのCPUが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき光電変換システム800全体の各部の動作を制御する制御手段として機能する。又、制御部801は、光電変換素子100の制御パルス生成部を介して、光電変換素子100の各フレームの露光期間の長さや、制御信号CLKのタイミングの制御などを行う。
記憶部802は、例えば、メモリカード、ハードディスク等の記録媒体を含む。通信部803は無線や有線のインターフェースを備え、生成した画像を光電変換システム800の外部に出力すると共に外部からの信号を受信する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。尚、本実施形態は、以下の組み合わせを含む。
(構成1)光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、前記光電変換素子の第1の特性情報を取得する取得手段と、前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理手段と、を有し、前記補正処理手段において、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする光電変換装置。
(構成2)前記第1の特性情報は、2次元の配列データであり、前記2次元の配列データの少なくとも1行分又は1列分に対応する1次元データは、中央にピーク値を有することを特徴とする構成1に記載の光電変換装置。
(構成3)前記1次元データは、前記ピーク値からデータ端に向かって単調減少する分布を有することを特徴とする構成2に記載の光電変換装置。
(構成4)前記1次元データの前記ピーク値を共有し、前記1次元データに交差する方向に配列された他の1次元データは、前記他の1次元データの前記ピーク値からデータ端に向かって単調減少する分布を有することを特徴とする構成2又は3に記載の光電変換装置。
(構成5)前記2次元の配列データは、行、列ともに奇数の配列データであって、中央を中心に上下左右が対称であることを特徴とする構成2~4のいずれか1つに記載の光電変換装置。
(構成6)前記第1の補正処理が、前記第1の画像におけるキズ画素を抽出する処理を含み、前記キズ画素と、それ以外の画素で、前記第1の補正処理の重みづけ係数を変更することを特徴とする構成1~5のいずれか1つに記載の光電変換装置。
(構成7)前記キズ画素のほうが、それ以外の画素よりも、前記第1の補正処理の前記重みづけ係数が小さいことを特徴とする構成6に記載の光電変換装置。
(構成8)周囲の画素に対する画素信号の差異が大きい前記キズ画素ほど、前記第1の補正処理の前記重みづけ係数を小さくすることを特徴とする構成7に記載の光電変換装置。
(構成9)前記キズ画素を抽出する処理は、予め記憶されたアドレスデータに基づいて行われることを特徴とする構成6~8のいずれか1つに記載の光電変換装置。
(構成10)前記キズ画素を抽出する処理は、前記第1の画像の各画素と周囲の画素の出力を比較することで前記キズ画素を抽出することを特徴とする構成6~9のいずれか1つに記載の光電変換装置。
(構成11)前記第1の補正処理が、前記第1の画像に対し、前記第1の特性情報に重みづけ係数をかけたものを畳み込み演算する処理を含むことを特徴とする構成1~10のいずれか1つに記載の光電変換装置。
(構成12)前記第1の特性情報にかける重みづけ係数を変えることによって、前記第1の補正処理の重みづけを異ならせることを特徴とする構成11に記載の光電変換装置。
(構成13)前記第1の補正処理が、前記第1の画像において、画素信号が周囲の画素よりも大きいキズ画素を抽出する処理を含み、複数の前記キズ画素に対する畳み込み演算の演算結果のうち、大きいほうの前記演算結果を共通に使用することを特徴とする構成11又は12に記載の光電変換装置。
(構成14)前記光電変換素子は、分光特性の異なる複数の画素を有することを特徴とする構成1~13のいずれか1つに記載の光電変換装置。
(構成15)前記分光特性の異なる画素毎に、前記第1の特性情報のサイズを変更することを特徴とする構成14に記載の光電変換装置。
(構成16)周囲の画素に対する画素信号の差異が大きい画素ほど、前記第1の特性情報の前記サイズを大きくすることを特徴とする構成15に記載の光電変換装置。
(構成17)前記光電変換素子は、前記アバランシェフォトダイオードのアノードとカソードのうちの一方のノードと電源線とに接続されたクエンチ素子と、前記クエンチ素子の動作を制御するための制御信号を供給する信号生成手段を有することを特徴とする構成1~16のいずれか1つに記載の光電変換装置。
(構成18)前記第1の補正処理が、前記制御信号の周波数をf、露光時間の長さをT、入力信号数をNph、出力信号数をNctとしたときに以下の式
を満たすように非線形性の補正をすることを特徴とする構成17に記載の光電変換装置。
を満たすように非線形性の補正をすることを特徴とする構成17に記載の光電変換装置。
(構成19)前記第1の補正処理が、前記第1の画像に対して非線形性補正処理を行う処理を含むことを特徴とする構成18に記載の光電変換装置。
(構成20)前記第1の画像に対してゲインをかけるゲイン調整手段を有することを特徴とする構成1~19のいずれか1つに記載の光電変換装置。
(構成21)ゲイン調整部においてかける信号ゲインの値が高いほど、前記第1の補正処理の重みづけ係数を大きくすることを特徴とする構成20に記載の光電変換装置。
(構成22)前記光電変換素子が、前記アバランシェフォトダイオードのアノードとカソードのうちの一方のノードと電源線に接続されたクエンチ素子と、前記クエンチ素子の動作を制御するための制御信号を供給する信号生成手段を有し、前記制御信号の周波数が低いほど、前記ゲイン調整手段においてかける前記ゲインの値を大きくすることを特徴とする構成21に記載の光電変換装置。
(構成23)前記制御信号の周波数が低いほど、前記第1の補正処理の重みづけを大きくすることを特徴とする構成22に記載の光電変換装置。
(構成24)前記第1の特性情報はアバランシェ発光現象によって生じる画素間のクロストーク特性に関するものであることを特徴とする構成1~23のいずれか1つに記載の光電変換装置。
(構成25)光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、前記光電変換素子のアバランシェ発光現象によって生じる画素間のクロストーク特性に関する第1の特性情報を取得する取得手段と、前記第1の画像に対して前記第1の特性情報に重みづけ係数をかけて所定の演算をすることによって得た第2の画像を、前記第1の画像から減算する第1の補正処理を行う補正処理手段と、を有し、前記補正処理手段において、前記第1の画像におけるキズ画素と前記キズ画素以外の画素とで、前記重みづけ係数を異ならせることを特徴とする光電変換装置。
(方法)光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子を有する光電変換装置を制御する制御方法であって、前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成ステップと、前記光電変換素子の第1の特性情報を取得する取得ステップと、前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理ステップと、を有し、前記補正処理ステップにおいて、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする制御方法。
(プログラム)構成1~25のいずれか1つに記載の光電変換装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
尚、本実施例における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置に供給するようにしても良い。そしてその光電変換装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしても良い。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
100:光電変換素子
11:センサ基板
12:画素領域
21:回路基板
22:回路領域
101:画素
102:光電変換部
103:信号処理回路
110:垂直走査回路
111:水平走査回路
112:読み出し回路
113:垂直信号線
114:出力回路
115:制御パルス生成部
201:アバランシェフォトダイオード
202:クエンチ素子
210:波形整形部
211:カウンタ回路
212:選択回路
213:駆動線
300:光電変換装置
301:結像光学系
302:信号処理部
303:画像生成部
304:補正処理部
305:記憶部
800:光電変換システム
801:制御部
802:記憶部
803:通信部
11:センサ基板
12:画素領域
21:回路基板
22:回路領域
101:画素
102:光電変換部
103:信号処理回路
110:垂直走査回路
111:水平走査回路
112:読み出し回路
113:垂直信号線
114:出力回路
115:制御パルス生成部
201:アバランシェフォトダイオード
202:クエンチ素子
210:波形整形部
211:カウンタ回路
212:選択回路
213:駆動線
300:光電変換装置
301:結像光学系
302:信号処理部
303:画像生成部
304:補正処理部
305:記憶部
800:光電変換システム
801:制御部
802:記憶部
803:通信部
Claims (27)
- 光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、
前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、
前記光電変換素子の第1の特性情報を取得する取得手段と、
前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理手段と、を有し、
前記補正処理手段において、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする光電変換装置。 - 前記第1の特性情報は、2次元の配列データであり、前記2次元の配列データの少なくとも1行分又は1列分に対応する1次元データは、中央にピーク値を有することを特徴とする請求項1に記載の光電変換装置。
- 前記1次元データは、前記ピーク値からデータ端に向かって単調減少する分布を有することを特徴とする請求項2に記載の光電変換装置。
- 前記1次元データの前記ピーク値を共有し、前記1次元データに交差する方向に配列された他の1次元データは、前記他の1次元データの前記ピーク値からデータ端に向かって単調減少する分布を有することを特徴とする請求項2に記載の光電変換装置。
- 前記2次元の配列データは、行、列ともに奇数の配列データであって、中央を中心に上下左右が対称であることを特徴とする請求項2に記載の光電変換装置。
- 前記第1の補正処理が、前記第1の画像におけるキズ画素を抽出する処理を含み、前記キズ画素と、それ以外の画素で、前記第1の補正処理の重みづけ係数を変更することを特徴とする請求項1に記載の光電変換装置。
- 前記キズ画素のほうが、それ以外の画素よりも、前記第1の補正処理の前記重みづけ係数が小さいことを特徴とする請求項6に記載の光電変換装置。
- 周囲の画素に対する画素信号の差異が大きい前記キズ画素ほど、前記第1の補正処理の前記重みづけ係数を小さくすることを特徴とする請求項7に記載の光電変換装置。
- 前記キズ画素を抽出する処理は、予め記憶されたアドレスデータに基づいて行われることを特徴とする請求項6に記載の光電変換装置。
- 前記キズ画素を抽出する処理は、前記第1の画像の各画素と周囲の画素の出力を比較することで前記キズ画素を抽出することを特徴とする請求項6に記載の光電変換装置。
- 前記第1の補正処理が、前記第1の画像に対し、前記第1の特性情報に重みづけ係数をかけたものを畳み込み演算する処理を含むことを特徴とする請求項1に記載の光電変換装置。
- 前記第1の特性情報にかける重みづけ係数を変えることによって、前記第1の補正処理の重みづけを異ならせることを特徴とする請求項11に記載の光電変換装置。
- 前記第1の補正処理が、前記第1の画像において、画素信号が周囲の画素よりも大きいキズ画素を抽出する処理を含み、複数の前記キズ画素に対する畳み込み演算の演算結果のうち、大きいほうの前記演算結果を共通に使用することを特徴とする請求項11に記載の光電変換装置。
- 前記光電変換素子は、分光特性の異なる複数の画素を有することを特徴とする請求項1に記載の光電変換装置。
- 前記分光特性の異なる画素毎に、前記第1の特性情報のサイズを変更することを特徴とする請求項14に記載の光電変換装置。
- 周囲の画素に対する画素信号の差異が大きい画素ほど、前記第1の特性情報の前記サイズを大きくすることを特徴とする請求項15に記載の光電変換装置。
- 前記光電変換素子は、前記アバランシェフォトダイオードのアノードとカソードのうちの一方のノードと電源線とに接続されたクエンチ素子と、前記クエンチ素子の動作を制御するための制御信号を供給する信号生成手段を有することを特徴とする請求項1に記載の光電変換装置。
- 前記第1の補正処理が、前記制御信号の周波数をf、露光時間の長さをT、入力信号数をNph、出力信号数をNctとしたときに以下の式
を満たすように非線形性の補正をすることを特徴とする請求項17に記載の光電変換装置。 - 前記第1の補正処理が、前記第1の画像に対して非線形性補正処理を行う処理を含むことを特徴とする請求項18に記載の光電変換装置。
- 前記第1の画像に対してゲインをかけるゲイン調整手段を有することを特徴とする請求項1に記載の光電変換装置。
- ゲイン調整部においてかける信号ゲインの値が高いほど、前記第1の補正処理の重みづけ係数を大きくすることを特徴とする請求項20に記載の光電変換装置。
- 前記光電変換素子が、前記アバランシェフォトダイオードのアノードとカソードのうちの一方のノードと電源線に接続されたクエンチ素子と、前記クエンチ素子の動作を制御するための制御信号を供給する信号生成手段を有し、前記制御信号の周波数が低いほど、前記ゲイン調整手段においてかける前記ゲインの値を大きくすることを特徴とする請求項21に記載の光電変換装置。
- 前記制御信号の周波数が低いほど、前記第1の補正処理の重みづけを大きくすることを特徴とする請求項22に記載の光電変換装置。
- 前記第1の特性情報はアバランシェ発光現象によって生じる画素間のクロストーク特性に関するものであることを特徴とする請求項1に記載の光電変換装置。
- 光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子と、
前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成手段と、
前記光電変換素子のアバランシェ発光現象によって生じる画素間のクロストーク特性に関する第1の特性情報を取得する取得手段と、
前記第1の画像に対して前記第1の特性情報に重みづけ係数をかけて所定の演算をすることによって得た第2の画像を、前記第1の画像から減算する第1の補正処理を行う補正処理手段と、を有し、
前記補正処理手段において、前記第1の画像におけるキズ画素と前記キズ画素以外の画素とで、前記重みづけ係数を異ならせることを特徴とする光電変換装置。 - 光学像を光電変換するためのアバランシェフォトダイオードで構成された光電変換素子を有する光電変換装置を制御する制御方法であって、
前記光電変換素子で取得された信号に基づき第1の画像を生成する画像生成ステップと、
前記光電変換素子の第1の特性情報を取得する取得ステップと、
前記第1の特性情報を用いて前記第1の画像に対して第1の補正処理を行う補正処理ステップと、を有し、
前記補正処理ステップにおいて、前記第1の画像における画素信号の大きさによって、前記第1の補正処理の重みづけを異ならせることを特徴とする制御方法。 - 請求項1~25のいずれか1項に記載の光電変換装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022154574A JP2024048578A (ja) | 2022-09-28 | 2022-09-28 | 光電変換装置、制御方法、及びコンピュータプログラム |
US18/368,182 US20240107199A1 (en) | 2022-09-28 | 2023-09-14 | Photoelectric conversion device, control method, and storage medium |
EP23199070.6A EP4346225A1 (en) | 2022-09-28 | 2023-09-22 | Avalanche photoelectric conversion device, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022154574A JP2024048578A (ja) | 2022-09-28 | 2022-09-28 | 光電変換装置、制御方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024048578A true JP2024048578A (ja) | 2024-04-09 |
Family
ID=88146552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022154574A Pending JP2024048578A (ja) | 2022-09-28 | 2022-09-28 | 光電変換装置、制御方法、及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240107199A1 (ja) |
EP (1) | EP4346225A1 (ja) |
JP (1) | JP2024048578A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6509018B2 (ja) * | 2015-04-17 | 2019-05-08 | キヤノン株式会社 | 固体撮像装置、撮像システム及び信号処理方法 |
US10823825B2 (en) * | 2016-05-02 | 2020-11-03 | 3Deo, Inc | System and method for wide-area surveillance |
JP2022154574A (ja) | 2021-03-30 | 2022-10-13 | 高砂熱学工業株式会社 | 天井吊り用空調ユニット、空調ユニットの天井吊り構造、および天井吊り施工方法 |
-
2022
- 2022-09-28 JP JP2022154574A patent/JP2024048578A/ja active Pending
-
2023
- 2023-09-14 US US18/368,182 patent/US20240107199A1/en active Pending
- 2023-09-22 EP EP23199070.6A patent/EP4346225A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4346225A1 (en) | 2024-04-03 |
US20240107199A1 (en) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5219962B2 (ja) | 固体撮像素子、その駆動方法、及び撮像システム | |
US9001251B2 (en) | Oversampled image sensor with conditional pixel readout | |
CN110753192B (zh) | 一种集成电路图像传感器 | |
WO2016013412A1 (ja) | 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器 | |
JP5306081B2 (ja) | 信号処理回路 | |
US20060001753A1 (en) | Imaging device, control method thereof and CMOS image sensor | |
CN110944126B (zh) | 成像系统和对图像传感器进行黑阶校正的方法 | |
US20200296307A1 (en) | Information processing apparatus, image sensor, image capturing apparatus, and information processing method | |
KR20070105822A (ko) | 화상 처리 방법 및 화상 처리 회로 | |
US20100329421A1 (en) | Suppression of direct detection events in x-ray detectors | |
JP2012253726A (ja) | 画像処理装置 | |
WO2014196176A1 (ja) | 固体撮像素子および撮像装置 | |
JP2024048578A (ja) | 光電変換装置、制御方法、及びコンピュータプログラム | |
JP7116620B2 (ja) | 撮像素子及び撮像装置 | |
JP2024048797A (ja) | 光電変換装置、制御方法、及びコンピュータプログラム | |
US20240163577A1 (en) | Photoelectric conversion apparatus, method for controlling photoelectric conversion apparatus, and storage medium | |
JP2023110533A (ja) | 光電変換装置、その制御方法およびプログラム | |
US11122231B2 (en) | Image sensor and control method thereof, image capturing apparatus, and image processing apparatus | |
JP7339780B2 (ja) | 撮像装置及びその制御方法 | |
JP2021057885A (ja) | 撮像装置およびその駆動方法 | |
US11843890B2 (en) | Photoelectric conversion device, image pickup apparatus, control method, and storage medium | |
JP6699553B2 (ja) | 信号処理装置、撮像素子、並びに、電子機器 | |
JP2008028634A (ja) | 撮像装置 | |
Elmezayen | Smart Readout Electronics for CMOs Image Sensors | |
JP2023046660A (ja) | 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240521 |