JP7261005B2 - 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法 - Google Patents

画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法 Download PDF

Info

Publication number
JP7261005B2
JP7261005B2 JP2018243786A JP2018243786A JP7261005B2 JP 7261005 B2 JP7261005 B2 JP 7261005B2 JP 2018243786 A JP2018243786 A JP 2018243786A JP 2018243786 A JP2018243786 A JP 2018243786A JP 7261005 B2 JP7261005 B2 JP 7261005B2
Authority
JP
Japan
Prior art keywords
image
imaging device
pixels
signal
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018243786A
Other languages
English (en)
Other versions
JP2020107973A (ja
Inventor
宏 中岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018243786A priority Critical patent/JP7261005B2/ja
Publication of JP2020107973A publication Critical patent/JP2020107973A/ja
Application granted granted Critical
Publication of JP7261005B2 publication Critical patent/JP7261005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Light Receiving Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法に関する。
従来、アバランシェフォトダイオード(APD)を用いることによって、単一光子の検出を可能とする受光素子がある。アバランシェフォトダイオードに降伏電圧より大きな逆バイアス電圧を印加してガイガーモードで駆動する場合、単一光子の入射によって生成される電子および正孔がアバランシェ増倍を起こし、大きな電流が発生する。この電流を電圧に変換することで、単一光子の入射を電圧パルスとして検出することができる。そして、検出されたパルスの数をカウントすることで、入射した光子数を取得することができる。上記の様なAPDを用いた受光素子は、Single Photon Avalanche Diode(SPAD)と呼ばれている。
一方、APDを用いた受光素子(SPAD)においては、入出力の線型性に課題があることが知られている。特に、照度が高い状態、つまり単位時間当たりの受光量が多い状態において、カウントした値が実際に入射した光子の数よりも低下してしまう。このように線型性が悪化する要因としては、照度が高い状態において、複数の電圧パルスが繋がって単一のパルスとしてカウントされてしまったり、不感時間に光子が入射することが挙げられる。
この様な課題に対して、特許文献1に記載の受光素子では、複数のSPADから発せられる電圧パルスの幅を積分することによって、入射光量の増加に対して常に単調増加する出力を得ることが開示されている。そのために、特許文献1の受光素子は、電圧信号を電流信号に変換する電圧電流変換手段を画素毎に備えると共に、さらに複数画素の電流信号を積分する積分手段を備えている。この構成により、上記要因の線型性の課題を改善している。
特開2014-81253号公報
しかしながら、特許文献1に記載された構成のSPADをカメラなどの撮像装置へ適用することを考えると、1つの画素に複数のSPADを形成しなければならないことになる。
また、SPADをカメラなどの撮像装置へ適用することを考えると、被写体の分光情報を得るために、複数色のカラーフィルタで覆うことになる。カラーフィルタを通った光は、画素ごとに波長の偏りを持つため、波長の違いによって発生した電子正孔対の増幅率が変化することで、電圧パルスの重なり方も変化してしまう。そのため、画像信号として見たときに、カラーフィルタの色毎に入出力の線型性が異なると共に、高輝度部で色曲がりが発生するという問題がある。
本発明は上記課題を鑑みてなされたものであり、SPADを用いた撮像素子から得られる信号の線型性を精度良く補償することを目的とする。また、高輝度部での色曲がりを抑制することを別の目的とする。
上記目的を達成するために、本発明の画像処理装置は、複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子から得られた画像信号を処理する画像処理装置であって、前記複数の画素がそれぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記画像処理装置は、前記波長帯域ごとに、予め決められた複数の温度それぞれについて設定され、撮像素子から出力される画像信号の線形性を補償するためのパラメータを記憶する記憶手段と、前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および温度に応じた前記パラメータを用いて補償する補償手段とを有する。
また、別の一様態によれば、本発明の画像処理装置は、複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子から得られた画像信号を処理する画像処理装置であって、前記複数の画素がそれぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記画像処理装置は、前記波長帯域ごとに、予め決められた複数の露光時間ごとに設定され、撮像素子から出力される画像信号の線形性を補償するためのパラメータを記憶する記憶手段と、前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および前記画像信号の露光時間に応じた前記パラメータを用いて補償する補償手段とを有する。
本発明によれば、SPADを用いた撮像素子から得られる信号の線型性を精度良く補償することができる。また、高輝度部での色曲がりを抑制することができる。
本発明の第1の実施形態における撮像装置の概略構成を示すブロック図、及び撮像素子の構成を示す概略図。 第1の実施形態における処理を示すフローチャート。 第1の実施形態における記憶部に記録されているパラメータを示す図。 第1の実施形態における記憶部に記録されているパラメータのうち、1種類について示した模式図である。 第1の実施形態における補間演算を説明するための模式図。 第2の実施形態における撮像素子の概略構成を示すブロック図。 第2の実施形態における処理を示すフローチャート。 第2の実施形態における記憶部に記録されているパラメータを示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
<第1の実施形態>
本発明の第1の実施形態について説明する。図1(a)は、第1の実施形態における撮像装置の構成を示すブロック図である。図1(a)に示す撮像装置において、撮像素子101は、被写体像を光電変換により電気信号に変換して、画像信号として出力する。線型性補償部102は、撮像素子101から出力される画像信号に対して、線型性を補償する処理を行う。
パラメータ決定部103は、線型性補償部102で用いられる線型性を補償するためのパラメータを決定する。記憶部104は、線型性を補償するためのパラメータを記録する。温度センサ105は、撮像素子101の近傍に配置され、撮像素子101の周辺の温度を測定する。制御部106は、撮像装置全体の制御及び、撮像素子101から読み出す画素数などの駆動情報を渡す。
図1(b)は、撮像素子101の構成を示す概略図である。以下、図1(b)を参照して、撮像素子101の構成及び撮像素子101からの画像信号の読み出し方法について説明する。図1(b)に示すように、本実施形態の撮像素子101は、複数の画素301、垂直走査部308、列メモリ309、出力部310を含む構成を有する。なお、図1(b)では、説明のため、同じ構造の画素301を行方向に2つ、列方向に2つ配置して示しているが、実際にはさらに多くの画素301が配置されている。また、列方向に配置された2つの画素301は、垂直信号線307に接続されている。
撮像素子101は、Single Photon Avalanche Diode(SPAD)を用いた受光素子であって、各画素301は、アバランシェフォトダイオード(APD)302、クエンチ抵抗303、インバータ304、カウンタ305、読み出しスイッチ306を含む構成を有する。画素301は、カラー画像を得るために複数色のカラーフィルタにより覆われており、各画素にはカラーフィルタを透過した異なる波長帯域の光が入射する。カラーフィルタとしては様々なタイプのものが考えられ、例えば、原色系であっても補色系であっても良く、カラー画像を取得可能なものであれば、その種類は限定されない。なお、ここでは一例として、ベイヤー配列のR、G、Bのカラーフィルタが配設されている場合について説明する。
APD302は、単一光子を検出するためにガイガーモードで動作させるアバランシェフォトダイオード(APD)である。ガイガーモードとは、降伏電圧より大きな逆バイアス電圧を印加して動作させるAPDの動作モードである。APD302では、降伏電圧Vaより大きな逆バイアス電圧Vbiasが印加されてガイガーモードになると、単一光子の入射で発生したキャリアがアバランシェ増倍を引き起こし、大きな電流を発生させる。ここで、Vbiasは例えば-20Vである。
クエンチ抵抗303は、APD302のアバランシェ増倍を停止させるための抵抗素子であり、第1の実施形態では抵抗器を用いる。APD302に光子が入射し、アバランシェ増倍により電流が発生すると、クエンチ抵抗303では電圧降下(電圧の変動)が発生する。この電圧降下によってAPD302のカソードの電圧が、Vbiasから降伏電圧Va以下まで振られると、アバランシェ増倍が停止する。その後、クエンチ抵抗303を介してAPD302のカソードが充電されると、電圧が再びVbias(変動前の電圧)に戻る。
この様にして、APD302のカソードでは、単一光子の入射に応じて1つの電圧信号パルスが発生する。このとき、クエンチ抵抗303の抵抗値の大きさによって決まる時定数に応じて、電圧信号パルスの幅は変化する。APD302とクエンチ抵抗303により、センサ手段が構成される。
バッファ手段としてのインバータ304は、前述した様にAPD302で発生した電圧信号パルスを入力として受けて、その出力端子に波形整形された信号パルスを出力する。
カウンタ305は、インバータ304が出力した信号パルスを入力として受けて、その立ち上がりエッジをカウントする。なお、バッファ手段としてインバータ304を用いたのは、カウンタ305が立ち上がりエッジをカウントする構成であるためで、極性を反転させないバッファを用いる場合、カウンタ305はバッファが出力した信号パルスの立ち下がりエッジをカウントすればよい。
カウンタ305は、本実施形態では一例として16bit分のパルス数をカウントできるように構成されているものとする。また、以下の説明において「カウント値」とは、カウンタ305によってカウントされた値を指すこととする。また、カウンタ305は、垂直走査部308が出力する信号パルスresを受けて、カウント値のリセット動作と、カウント動作の開始タイミングが制御される。
読み出しスイッチ306は、垂直走査部308が行毎に順次出力する信号パルスselを受けてON状態となり、カウンタ305に保持されたカウント値が、垂直信号線307を介して、列メモリ309に書き込まれる。
垂直走査部308は、前述した様に、行列配置された画素の行を順次選択して、各行に信号パルスselを出力する。また、垂直走査部308は、カウンタ305のカウント値のリセット動作と、カウント動作の開始タイミングを制御する信号パルスresを出力する。
列メモリ309では、信号パルスselによって垂直走査部308が選択した行の各画素301のカウント値が垂直信号線307を介して書き込まれ、これら列毎のカウント値を保持する。また、垂直走査部308は、列メモリ309に保持されている各画素301のカウント値を、列毎に順次選択することによって、各画素301のカウント値を出力部310に順次出力する。
出力部310は、列メモリ309から出力された各画素301のカウント値に対して、ゲイン処理、信号の並べ替えなどのデジタル処理を行い、処理した画像信号を撮像素子101の外部へと出力する。
次に、図2を参照して、上記構成を有する撮像装置における第1の実施形態における処理について説明する。
まず、S101において、制御部106は、撮像素子101から画像信号を出力するための駆動情報を出力し、撮像素子101を上述したようにして駆動する。
S102において、パラメータ決定部103は、撮像素子101の近傍に備えられた温度センサ105から、撮像素子101の温度情報を取得する。更に、S103において、パラメータ決定部103は、制御部106から、撮像素子101から読み出された画像信号の、現在処理している画素の色フィルタに関する情報を取得する。
S104では、パラメータ決定部103は、記憶部104から線型性補償のために必要なパラメータセットを参照して読み出す。図3は、記憶部104に記録されているテーブル400に保持されたパラメータセットを模式的に示すものである。テーブル400には、R、G、Bの3種類のカラーフィルタ各々について、3種類の温度T0,T1,T2に応じた、計9種類のパラメータセットが保持されているものとする。例えば、R_T0は、Rのカラーフィルタの温度T0の時のパラメータセットを示している。各パラメータセットは、データ長が32bit、ワード数が16wordで格納されており、32bitのデータ長には、16bitの係数が2つ格納されている。S104においては、パラメータ決定部103は、温度センサ105から得られた温度情報と、制御部106から得られた色フィルタ情報とに基づいて、テーブル400から対応するパラメータセットを読み出し、線型性補償部102に送信する。
S105において、線型性補償部102は、パラメータ決定部103から受け取ったパラメータセットを加工する。図4は、パラメータセットに含まれる複数のパラメータを模式的に示したものである。横軸は線型性補償部102に入力される、撮像素子101から出力された画像信号の信号レベルを、縦軸は線型性補償部102から出力する信号のレベルを示している。点線401は、入力信号レベルと出力信号レベルを変える必要が無い、理想的な状態を示している。
しかしながら、上述したように、SPADを用いた受光素子では、特に、照度が高い状態、つまり単位時間当たりの受光量が多い状態において、カウントした値が実際に入射した光子の数よりも少なくなってしまう。そのため、線型性補償部102では、実際に入射した光子の数よりも少なくカウントされた信号レベルを回復させるような補償を行うために、実線402に示すような特性を有するパラメータセットを用いて、入力信号を変換する。
図4の実線402上の複数(図4に示す例では16点)の黒丸が、図3のテーブル400に保持された1つのパラメータセットに含まれるパラメータに対応している。1つの黒丸に対応するパラメータは、16bitのx座標値と16bitのy座標値の計32bitから成る。入力信号は、撮像素子101から出力される信号であって、上述したように本実施形態では16bitの値域(レンジ)を持っているため、16点が入力信号レベルのレンジ上で等間隔になるように、パラメータが予め設計されている。
線型性補償部102は予め離散的に設計されているパラメータから、入力信号レベルに近い2点を選択して加工する。図4において、現在処理している画素の信号レベルがaであったとき、その近傍の2点(403と404)を抽出して、出力信号レベルを算出する。なお、入力信号レベルaがいずれかのパラメータのx座標値と同じであった場合は、その1点のみを抽出する。
次に、図5を用いて、抽出した2点から線型性の補償値(出力信号レベル)を算出する方法について説明する。図5は、線型性補償部102により抽出した2点(403、404)と、現在処理している画素の入力信号レベルaとの関係を示している。点501は、入力信号レベルaに対応する線型性の補償値を示している。ここで、パラメータ403のx座標値をx0、y座標値をy0、パラメータ404のx座標値をx1、y座標値をy1とする。算出したい線型性補償値のx座標値は、すでに入力信号レベルaとして分かっているため、本実施形態では補間演算によって、求めたい線型性補償値のy座標値を算出する。線型性補償値(点501)のy座標値をbとおくと、式(1)により算出することができる。
Figure 0007261005000001
S106において、線型性補償部102は、入力信号レベルをS105で算出した線型性補償値に置き換えて出力することにより、画像信号を補正する。
S107において、撮像素子101から出力される全ての画素の画像信号を処理し終えかどうかを判断し、処理し終えていれば処理を終了し、まだ処理していない画素の画像信号が残っている場合は、S103に戻って上述した処理を続ける。
上記の通り本第1の実施形態によれば、カウントする対象である光子の波長に関する特性に着目し、カラーフィルタにより画素毎に入射する光の波長の違いに起因する線型性のずれを精度よく補償することができ、高輝度部の色曲りを抑圧することができる。
なお、第1の実施形態では、記憶部104に保持されているパラメータセットについて、カラーフィルタの色及び温度毎に設定した場合を例として説明したが、本発明はこれに限られるものでは無い。少なくとも、カラーフィルタの色によってのみ異なるパラメータセットを設定していれば良い。一方、更に、露光時間毎にパラメータを設定することで、撮像素子101上の照度(単位時間当たりの受光量)で決まる入出力の非線型性を露光時間に応じて補償することが可能となり、更に精度良く補償することが可能となる。
また、上述した例では、パラメータセットをテーブル400に保持するものとしたが、図4に示す特性を示す式及び係数を保持しておき、演算により補償するようにしても良い。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図6は、第2の実施形態における撮像装置の概略構成を示すブロック図である。なお、図1と同じ構成には同じ参照番号を付して説明を省略する。
図6において、電圧制御部701は、パラメータ決定部103から受け取るパラメータに従って、後述する画素301に備えられたクエンチ素子702のゲート電圧を制御する。クエンチ素子702は、APD302のアバランシェ増倍を停止するための素子であり、第2の実施形態では、P型のMOSトランジスタ(PMOS)の抵抗成分を利用している。クエンチ素子702の抵抗成分の抵抗値の大きさによって決まる時定数に応じて、電圧信号パルスの幅が変化する。また、このクエンチ素子702のPMOSのゲート端子には、電圧制御部701から出力される、第1の電圧供給線703、第2の電圧供給線704、第3の電圧供給線705のいずれかに接続されている。APD302とクエンチ素子702により、センサ手段が構成される。
本第2の実施形態においても、画素301は、ベイヤー配列のR、G、Bのカラーフィルタにより覆われているものとする。以下、区別するために、Rのカラーフィルタに覆われた画素を画素301R、Gのカラーフィルタに覆われた画素を画素301G、Bのカラーフィルタに覆われた画素を画素301Bと記す。第1の電圧供給線703は、画素301Rに接続され、第2の電圧供給線704は、画素301Gに接続され、第3の電圧供給線705は、画素301Bに接続される。図6では説明の都合上、行方向に2画素、列方向に2画素のみを示しているが、実際にはより多くの画素で構成されている。
次に、図7を参照して、上記構成を有する撮像装置における第2の実施形態における処理ついて説明する。
まず、S201において、パラメータ決定部103は、撮像素子101の近傍に備えられた温度センサ105から、撮像素子101の温度情報を取得する。更に、S202において、パラメータ決定部103は、記憶部104からクエンチ素子702のゲート電圧を制御するためのパラメータを参照して読み出す。
図8は、記憶部104に記録されているテーブル800に保持されたパラメータを模式的に示すものである。テーブル800には、R、G、Bの3種類のカラーフィルタ各々について、3種類の温度T0,T1,T2に応じた、計9種類のパラメータが保持されているものとする。たとえば、Vr_T0は、Rのカラーフィルタの温度T0の時のパラメータを表している。各パラメータは、データ長が16bitで格納されており、クエンチ素子702に印可する電圧の値に関するデータが記憶されている。
クエンチ素子702のゲート電圧を調整することによって抵抗値を変化させることにより、光子の入射に伴って発生する信号パルスの幅を制御することができる。
S202において、パラメータ決定部103は、制御部106から送られてくる制御タイミングに従って、温度センサ105から得られた温度情報に基づいて、テーブル800から対応するパラメータを読み出す。そして、S203において、パラメータ決定部103は、S202で読み出したパラメータを、撮像素子101に備えられた電圧制御部701に送信する。
S204において、クエンチ素子702を制御する。電圧制御部701は、パラメータ決定部103から送られてきたパラメータである、クエンチ素子702に印可する電圧の値に関するデータをもとに、第1の電圧供給線703から供給する電圧値、第2の電圧供給線704から供給する電圧値、第3の電圧供給線705から供給する電圧値、をそれぞれ決定して、撮像素子101を構成する複数の画素に供給する。
S205において、不図示のレリーズ部材が押下されると、撮影するためにS206に移行する。押下されていない場合は、S201に戻って上記処理を繰り返す。
S206では、制御部106は、撮像素子101から画像信号を出力するための駆動情報を出力する。駆動情報には、撮像素子101の垂直走査部308や列メモリ309、出力部310の設定等が含まれており、駆動情報に従って撮像素子101は画像信号を出力する。
S207において、撮像素子101から画像信号が出力され、不図示の信号処理を経た後に、記録装置や表示装置へと送られる。
上記の通り本第2の実施形態によれば、カウントする対象である光子の波長に関する特性に着目し、光子の入射に伴って発生する信号パルスの幅を制御する。これにより、カラーフィルタにより画素毎に入射する光の波長の違いに起因する線型性のずれによる高輝度部の色曲りを抑制することができる。
なお、第2の実施形態では、記憶部104に保持されているパラメータについて、カラーフィルタのすべての色及び温度毎に設定した場合を例として説明したが、本発明はこれに限られるものでは無い。例えば、線形性が特に悪化しているカラーフィルタに関するパラメータのみを保持することで、保持するパラメータの量を削減することが可能となる。
また、上述した第2の実施形態では、カラーフィルタの色と、温度とに応じて異なるパラメータを有するものとしたが、少なくとも、カラーフィルタの色によって異なるパラメータを有していれば、高輝度部での色曲りを抑制することができる。
<他の実施形態>
なお、本発明は、複数の機器(例えばカメラ、インターフェイス機器、画像処理装置など)から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101:撮像素子、102:線型性補償部、103:パラメータ決定部、104:記憶部、105:温度センサ、106:制御部、301,706,707,708:画素、302:アバランシェフォトダイオード、303:クエンチ抵抗、701:電圧制御部、702:クエンチ素子

Claims (18)

  1. 複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子から得られた画像信号を処理する画像処理装置であって、前記複数の画素がそれぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記画像処理装置は、
    前記波長帯域ごとに、予め決められた複数の温度それぞれについて設定され、撮像素子から出力される画像信号の線形性を補償するためのパラメータを記憶する記憶手段と、
    前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および温度に応じた前記パラメータを用いて補償する補償手段と
    を有することを特徴とする画像処理装置。
  2. 前記撮像素子の周辺の温度を測定する測定手段を更に有し、
    記補償手段は、更に、前記画像信号を出力する画素が受光する光の波長帯域および前記測定された温度に応じた前記パラメータを用いて補償することを特徴とする請求項1に記載の画像処理装置。
  3. 複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子から得られた画像信号を処理する画像処理装置であって、前記複数の画素がそれぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記画像処理装置は、
    前記波長帯域ごとに、予め決められた複数の露光時間ごとに設定され、撮像素子から出力される画像信号の線形性を補償するためのパラメータを記憶する記憶手段と、
    前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および前記画像信号の露光時間に応じた前記パラメータを用いて補償する補償手段と
    を有することを特徴とする画像処理装置。
  4. 前記パラメータは、予め決められた複数の信号レベルに対する、補償した後の信号レベルを示す値であって、
    前記補償手段は、前記パラメータを用いて前記画像信号の信号レベルを補償することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記複数の画素は、前記複数の異なる波長帯域の光を主に透過する複数の色のカラーフィルタにより覆われていることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記各画素が、ガイガーモードで駆動されるアバランシェフォトダイオードを有することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 請求項1乃至6のいずれか1項に記載の画像処理装置と、
    前記撮像素子と
    を有することを特徴とする撮像装置。
  8. 複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子と、
    前記複数の波長帯域の少なくとも一つについて、前記撮像素子を制御するためのパラメータを記憶する記憶手段と、
    前記パラメータを用いて、前記撮像素子を制御する制御手段と、を有し、
    前記撮像素子の各画素が、光子の入射に応じて電圧が変動すると共に、前記変動した電圧を変動前の電圧に戻すための抵抗を有するセンサ手段と、前記電圧の変動に応じて前記センサ手段から出力される信号パルスの数をカウントするカウント手段と、を有し、
    前記パラメータは、前記抵抗の抵抗値を制御するための値であって、前記制御手段は、前記複数の画素それぞれが受光する光の波長帯域に応じた前記パラメータを用いて前記撮像素子を制御することを特徴とする撮像装置。
  9. 前記抵抗はMOSトランジスタであって、前記パラメータは、前記MOSトランジスタのゲート電圧を制御するための値であることを特徴とする請求項8に記載の撮像装置。
  10. 前記撮像素子の周辺の温度を測定する測定手段を更に有し、
    前記パラメータは、更に、予め決められた複数の温度それぞれについて設定され、
    前記制御手段は、更に、前記測定された温度に応じた前記パラメータを用いて制御することを特徴とする請求項8または9に記載の撮像装置。
  11. 前記複数の画素は、前記複数の異なる波長帯域の光を主に透過する複数の色のカラーフィルタにより覆われていることを特徴とする請求項8乃至10のいずれか1項に記載の撮像装置。
  12. 前記各画素が、ガイガーモードで駆動されたアバランシェフォトダイオードを有することを特徴とする請求項8乃至11のいずれか1項に記載の撮像装置。
  13. 複数の異なる波長帯域の光を受光する複数の画素が、それぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記各画素のカウント手段によりカウントして得られた画像信号を出力する撮像素子から得られた画像信号を処理する画像処理方法であって、
    取得手段が、前記波長帯域ごとに、予め決められた複数の温度それぞれについて設定された、撮像素子から出力される画像信号の線形性を補償するためのパラメータを取得する取得工程と、
    補償手段が、前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および温度に応じた前記パラメータを用いて補償する補償工程と
    を有することを特徴とする画像処理方法。
  14. 複数の異なる波長帯域の光を受光する複数の画素を有する撮像素子から得られた画像信号を処理する画像処理装置であって、前記複数の画素がそれぞれ、光子の入射に応じて信号パルスを出力するセンサ手段と、前記信号パルスの数をカウントするカウント手段と、を有し、前記各画素のカウント手段によりカウントして得られた画像信号を出力する撮像素子から得られた画像信号を処理する画像処理方法であって、
    取得手段が、前記波長帯域ごとに、予め決められた複数の露光時間ごとに設定された、撮像素子から出力される画像信号の線形性を補償するためのパラメータを取得する取得工程と、
    補償手段が、前記撮像素子から得られた前記画像信号それぞれに対して、当該画像信号を出力する画素が受光する光の波長帯域および前記画像信号の露光時間に応じた前記パラメータを用いて補償する補償工程と
    を有することを特徴とする画像処理方法。
  15. 複数の異なる波長帯域の光を受光する複数の画素を有し、各画素が、光子の入射に応じて電圧が変動すると共に、前記変動した電圧を変動前の電圧に戻すための抵抗を有するセンサ手段と、前記電圧の変動に応じて前記センサ手段から出力される信号パルスの数をカウントするカウント手段と、を有する撮像素子の制御方法であって、
    取得手段が、前記波長帯域それぞれに応じたパラメータを取得する取得工程と、
    制御手段が、前記各画素の抵抗の抵抗値を、前記各画素が受光する光の波長帯域に応じた前記パラメータを用いて制御する制御工程と
    を有することを特徴とする撮像素子の制御方法。
  16. コンピュータを、請求項1乃至6のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  17. コンピュータに、請求項15に記載の制御方法の各工程を実行させるためのプログラム。
  18. 請求項16または17に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2018243786A 2018-12-26 2018-12-26 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法 Active JP7261005B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018243786A JP7261005B2 (ja) 2018-12-26 2018-12-26 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018243786A JP7261005B2 (ja) 2018-12-26 2018-12-26 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法

Publications (2)

Publication Number Publication Date
JP2020107973A JP2020107973A (ja) 2020-07-09
JP7261005B2 true JP7261005B2 (ja) 2023-04-19

Family

ID=71450965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018243786A Active JP7261005B2 (ja) 2018-12-26 2018-12-26 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法

Country Status (1)

Country Link
JP (1) JP7261005B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260693A (ja) 2004-03-12 2005-09-22 Seiko Epson Corp 照明光源に応じた座標変換を施して画像を再生する画像再生方法
JP2008219117A (ja) 2007-02-28 2008-09-18 Acutelogic Corp 画像処理装置および画像処理方法
JP2015068791A (ja) 2013-09-30 2015-04-13 株式会社東芝 放射線検出装置および放射線検出方法
US20150115131A1 (en) 2013-10-28 2015-04-30 Omnivision Technologies, Inc. Stacked chip spad image sensor
JP2018040764A (ja) 2016-09-09 2018-03-15 大塚電子株式会社 光学測定方法および光学測定装置
JP2018179732A (ja) 2017-04-12 2018-11-15 株式会社デンソー 光検出器
JP2018157387A5 (ja) 2017-03-17 2020-04-30

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6929671B2 (ja) 2017-03-17 2021-09-01 キヤノン株式会社 撮像装置及び撮像システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260693A (ja) 2004-03-12 2005-09-22 Seiko Epson Corp 照明光源に応じた座標変換を施して画像を再生する画像再生方法
JP2008219117A (ja) 2007-02-28 2008-09-18 Acutelogic Corp 画像処理装置および画像処理方法
JP2015068791A (ja) 2013-09-30 2015-04-13 株式会社東芝 放射線検出装置および放射線検出方法
US20150115131A1 (en) 2013-10-28 2015-04-30 Omnivision Technologies, Inc. Stacked chip spad image sensor
JP2018040764A (ja) 2016-09-09 2018-03-15 大塚電子株式会社 光学測定方法および光学測定装置
JP2018157387A5 (ja) 2017-03-17 2020-04-30
JP2018179732A (ja) 2017-04-12 2018-11-15 株式会社デンソー 光検出器

Also Published As

Publication number Publication date
JP2020107973A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
EP3499873B1 (en) Correction for variations in received light amount in photon counting image sensor
TWI726070B (zh) 固體攝像元件
EP2549743B1 (en) Imaging apparatus
US8441561B2 (en) Image pickup apparatus and control method that correct image data taken by image pickup apparatus
US10630912B2 (en) Image sensor, image capturing apparatus, and method for controlling image sensor
US9432603B2 (en) Imaging apparatus
US8441560B2 (en) Image capturing apparatus and control method therefor
US11363219B2 (en) Information processing apparatus, image sensor, image capturing apparatus, and information processing method
CN110944126B (zh) 成像系统和对图像传感器进行黑阶校正的方法
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
US9918033B2 (en) Signal processing apparatus and signal processing method, and image capturing apparatus
JP2020017861A (ja) 撮像素子、撮像装置及び信号処理方法
JP6362511B2 (ja) 撮像装置及びその制御方法
US10277855B2 (en) Image sensing device and control method thereof with switchable analog-to-digital conversion modes based on the amount of dark current generated in pixels
JP2008306565A (ja) 撮像装置及びその信号補正方法
JP7339779B2 (ja) 撮像装置
JP2016167773A (ja) 撮像装置及び撮像装置の処理方法
US9813646B2 (en) Solid-state imaging apparatus, imaging system, and method for driving solid-state imaging apparatus, where longer accumulation time is used for light-shielded pixels
JP7261005B2 (ja) 画像処理装置及び方法、及び撮像装置、及び撮像素子の制御方法
JP2020025171A5 (ja) 撮像素子及び撮像装置
JP7134786B2 (ja) 撮像装置および制御方法
JP6433276B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6564239B2 (ja) 高ダイナミックレンジ撮像装置及び撮像方法
JP2019033442A (ja) 撮像素子及びその制御方法
US20240107199A1 (en) Photoelectric conversion device, control method, and storage medium

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230407

R151 Written notification of patent or utility model registration

Ref document number: 7261005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151