JP3924755B2 - 高速事象撮影装置 - Google Patents
高速事象撮影装置 Download PDFInfo
- Publication number
- JP3924755B2 JP3924755B2 JP2003529753A JP2003529753A JP3924755B2 JP 3924755 B2 JP3924755 B2 JP 3924755B2 JP 2003529753 A JP2003529753 A JP 2003529753A JP 2003529753 A JP2003529753 A JP 2003529753A JP 3924755 B2 JP3924755 B2 JP 3924755B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- output
- correction
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title 1
- 238000012937 correction Methods 0.000 claims description 164
- 230000015654 memory Effects 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003071 parasitic effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 30
- 239000008186 active pharmaceutical agent Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 8
- 206010047571 Visual impairment Diseases 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 3
- 101000608734 Helianthus annuus 11 kDa late embryogenesis abundant protein Proteins 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
技術分野
本発明は、高速事象を撮影した画像のデータをメモリに記憶したうえで、その記憶データにもとづいて画像を再生するようにした高速事象撮影装置に関する。
背景技術
一般に、発生が突発的で、前もって最適な撮影条件を設定しておくことができないような高速事象をカメラによって撮影しようとする場合、通常のカメラによるのでは自動絞りが追従しきれず、そのため撮影した画像がぼやけてしまい、また残像による尾引きが顕著になっている。
そのため、従来では、高速事象の撮影に最適なように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサが開発されている。
そのイメージセンサとしては、その１画素分の光センサ回路が、第１図に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄを増幅するトランジスタＱ２と、画信号読出し信号Ｖｓのパルスタイミングでもって画信号を出力するトランジスタＱ３とによって構成され、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようになっている。そして、トランジスタＱ１のドレイン電圧ＶＤを所定時間だけ定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量に蓄積された電荷を放電させて初期化させることにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
このようなイメージセンサにあっては、各画素の構成上からくる出力特性のバラツキおよび温度特性のバラツキに起因して、各画素の出力特性が不揃いなものになっており、そのままでは撮影時に暗時および明時の画像データを得ることができないため、各画素の出力特性のバラツキを補正する必要があるものになっている。
そのイメージセンサにおける各画素の出力特性のバラツキの補正としては、通常、予め各画素の出力のバラツキ状態を測定して、それが所定の出力値になるような補正値を求めて記憶しておき、実際に撮影したときの各画素の出力をその補正値を用いて演算処理によって補正することになる。
しかして、このようなイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示するような場合に、イメージセンサにおける各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、その補正を高速で行わせる必要があるが、そのような高速事象に追従してイメージセンサの出力補正を行わせるような補正回路を実現するのが困難になっている。
このように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって高速事象を撮影した画像のデータを高速度で記憶するメモリに一時蓄積したうえで、その蓄積されたデータを読み出して画像を表示装置に表示させるに際して、各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、高速事象に追従したイメージセンサの出力補正を行わせることが困難になってしまうという問題がある。
また、そのイメージセンサによる撮影中の高速事象の画像を表示装置に表示して撮影状況をモニタするような場合に、イメージセンサによる撮影画像のフレーム速度が早すぎて、そのままでは表示フレームの速度が遅い表示装置に表示させることができないという問題がある。
発明の開示
本発明は、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって撮影した画像の記録を高速事象に追従して行わせることができるようにするとともに、そのイメージセンサにおける各画素の出力のバラツキの補正を撮影時の高速度に追従させることなく通常の処理速度をもって行わせて、撮影中の高速事象を通常の表示速度をもった表示装置に示させることができるようにしている。
具体的には、光検知時の入射光量に応じて光電変換素子に流れるセンサ電流をトランジスタのオーバーフロードレイン動作による弱反転状態で対数特性をもって電圧信号に変換して、その変換した電圧信号に応じたセンサ出力を生ずるとともに、光検知に先がけて前記トランジスタのドレイン電圧を一時的に定常よりも低い値に切り換えて、前記光電変換素子の寄生容量に蓄積された電荷を放電させて初期化するようにした光センサ回路を画素単位に用いたイメージセンサと、そのイメージセンサによって撮影された画像のデータを高速度で記憶するフレームメモリと、表示装置の表示フレームの速度に合せた表示用メモリと、前記イメージセンサによって撮影され、前記フレームメモリに記憶された画像を前記フレームメモリのフレーム速度に合せたタイミングをもって間引くように抽出された画信号を前記表示用メモリに更新的に記憶させる録画／再生制御回路と、前記表示用メモリから読み出した画像データにもとづいて、イメージセンサにおける各画素のセンサ出力をオフセット補正し、そのオフセット補正されたセンサ出力が、センサ電流が所定値を越える電流である場合に対数特性を有する検出電圧を検出する対数応答領域にある場合には、さらにゲイン補正を行う補正回路と、その補正されたデータにもとづいて画像を表示する表示装置とによって構成するようにしている。
発明を実施するための最良の形態
本発明による高速事象撮影装置に用いられるイメージセンサは、基本的に前述した図１に光センサ回路を画素単位に用いている。
第２図は、その光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光検知のタイミングを、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間をそれぞれ示している。
その光センサ回路にあっては、第３図に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
第４図は、第１図に示す光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画信号の時系列的な読出し走査を行わせるとともに、各画信号の読出し走査に応じた適切なタイミングをもって各画素の初期化を行わせるように構築したときのイメージセンサの一構成例を示している。
ここでは、例えば、イメージセンサの基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
そして、このようなイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
第５図は、このように構成されたイメージセンサの動作時における各部信号のタイムチャートを示している。
以上は、前述した従来のイメージセンサと全く同じ構成である。
このように構成されたイメージセンサにあっては、各画素における入射光量に応じたセンサ電流に対する電圧変換は対数変換用のトランジスタＱ１のサブスレッショルド領域の特性を利用して行われるが、そのサブスレッショルド値は画素毎に異なるために、各画素のセンサ出力にバラツキを生じてしまう。また、各画素にあっては、対数変換された電圧信号を高インピーダンスで受けて出力する必要があることから増幅用トランジスタＱ２を設けているが、そのトランジスタＱ２の特性の不揃いも各画素のセンサ出力のバラツキの要因となっている。
また、このようなイメージセンサにあっては、各画素におけるトランジスタの温度特性の不揃いに起因して、各画素の出力特性にバラツキを生ずるものとなっている。
第６図は、このようなイメージセンサにおける各画素の構成上からくる出力特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７および各画素の画信号を時系列的に読み出すための駆動制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ８から与えられる画信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１０と、そのメモリ１０から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１１とによって構成されている。
第８図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値１ｍは各画素の画信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるものである。各画素のパラメータとして、それぞれの各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第７図は、出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第９図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（画信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第１０図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも小さければ、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第１１図は、各画素の温度特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７およびその雰囲気温度を検出する内蔵の温度センサ１２と、イメージセンサ７から各画素の画信号Ｖｏを時系列的に読み出すとともに、温度センサ１２による温度検出信号ＴＳを所定のタイミングで読み出すための制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、温度センサ１２からの温度検出信号ＴＳをデジタル信号に変換するＡＤ変換器１３と、予め各画素の温度特性に応じたオフセット補正値Ｔ−ＯＦＳおよびゲイン補正のための乗数Ｔ−ＭＬＴが設定されており、デジタル変換された温度検出信号ＤＴＳに応じて所定のオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴを読み出すメモリ１４と、そのメモリ１４から読み出されたオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１５とによって構成されている。
第１３図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値ＴＨに応じたセンサ電流の値Ｉｔｍは温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにするものである。各画素のパラメータとして、それぞれの温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第１２図は、出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第１４図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以上か否かを判断して、しきい値ＴＨ以上であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ＋（画信号ＤＳ１−ＴＨ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような各画素の温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第１５図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも小さければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
イメージセンサにおける各画素の出力のバラツキの補正としては、イメージセンサにおける各画素の構成上からくる出力特性のバラツキおよび各画素の温度特性のバラツキの両方の影響が抑制された画信号が得られるように、以上説明した各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正と、温度特性のバラツキのオフセット補正およびゲイン補正とを行わせるようにする必要がある。
その場合、各画素の構成上からくる出力特性のバラツキと温度特性のバラツキとの両方の影響を受けた画信号の補正を行わせるに際して、例えば、先に第７図に示す処理によって各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正をなしたうえで、続けて第１２図に示す処理によって温度特性のバラツキのオフセット補正およびゲイン補正を行わせるようにすると、温度による変化分を適正化することなく画信号の補正が行われてしまうことになる。
すなわち、第１６図に示すように、各画素の構成上からくる出力特性のバラツキのオフセット補正とゲイン補正をＨレベルを境として行わせるに際して、図中点線で示すように、温度による画信号のオフセットがない場合には問題ないが、図中実線で示すように、温度による画信号のオフセットがある場合にはＨレベルが固定のために補正の切換点がａからａ′点に移行してしまい、正規とは異なった補正が行われてしまう。ここでは、温度変化によって出力特性が下方向にシフトした例を示しており、Ｈレベルが非対数応答領域ＷＡと対数応答領域ＷＢとの境目から上方にずれてしまっている。
このような問題を解決するため、各画素の構成上からくる出力特性のバラツキを補正するに先立って、Ｈレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、温度特性のバラツキによるオフセット補正を行わせるようにしている。
同様の問題は、先に温度特性のバラツキの補正を行わせてから、あとで各画素の構成上からくる出力特性のバラツキを補正する場合にも生ずることになる。したがって、この場合には、温度特性のバラツキを補正するに先立って、ＴＨレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、各画素の構成上からくる出力特性のバラツキによるオフセット補正を行わせるようにしている。
第１７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。図中、１６は第７図に示す各画素の出力特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものであり、１７は第１２図に示す温度特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものである。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第１８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
第２０図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
第１９図は、その場合の出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２１図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以げの非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以下であるが否かを判断して、しきい値Ｈ以下であれば、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第２２図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも大きければ、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第２４図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の他の例を示している。
ここでは、基本的に、このような対数応答領域ＷＢにおける各画信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各画信号の出力特性の形状がそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにしている。
第２３図は、その場合の出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２５図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以下か否かを判断して、しきい値ＴＨ以下であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ−（ＴＨ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第２６図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも大きければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
第２７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第２８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
本発明による高速事象撮影装置にあっては、このような各画素の出力特性のバラツキを補正するようにしたイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示させるようにしている。
その場合、第２９図に示すように、イメージセンサ７から時系列的に出力する画信号をＡＤ変換器９によってデジタル信号に変換したうえで、補正装置１８において各画素の出力特性のバラツキを補正した画信号をメモリコントローラ１９の制御下でフレームメモリ（またはバッファメモリ）２０に順次記憶していくことによって撮影画像の録画を行わせるような構成にするのでは、補正装置１８における処理を高速事象に追従して高速で行わせる必要があるものになってしまう。ここで、補正装置１８は、第６図および第１１図の構成におけるイメージセンサ７およびＡＤ変換器９を除いた部分の構成からなっている。
そのため、特に本発明では、第３０図に示すように、イメージセンサ７によって撮影した画像の画信号を何ら補正することなくそのままフレームメモリ２０に記憶させるようにしている。そして、メモリコントローラ１９の制御下においてフレームメモリ２０からその記憶した画信号を読み出して画像を再生する際に、補正装置１８によりフレームメモリ２０から順次読み出される各画素の画信号のバラツキを補正したうえで、信号変換器２１によりビデオ信号に変換して表示装置２２に撮影画像を映し出すようにしている。図中、２３は、外部からの録画、再生のスイッチ指令ＳＣに応じて、メモリコントローラ１９に画信号の記憶、読出しの切り換えの制御信号を与える録画／再生制御回路である。
したがって、このような構成をとることによって、イメージセンサ７によって撮影した画像の記録を高速事象に追従して行わせることができる。そして、そのイメージセンサ７における各画素の出力のバラツキの補正を、記録画像の再生時に、表示装置２２における画像表示のフレーム速度に応じてフレームメモリ２０ら読み出される画信号にもとづいて、撮影時の非常な高速度に追従させることなく、通常の処理速度をもって行わせることができるようになる。
その際、例えば、自動車の衝突試験にあって、イメージセンサ７によって自動車の衝突の瞬間を撮影するような場合、１ｍｓｅｃ当り６０〜８０フレームの高速度で撮影して録画する。そして、その録画された画像を、表示装置２２における画像表示のフレーム速度（１／３０秒または１／６０秒）に応じてフレームメモリ２０から読み出して再生する。
第３１図は、本発明による高速事象撮影装置の他の実施例を示している。
イメージセンサ７による高速度撮影の録画中には、その撮影のフレーム速度が表示装置２２における表示速度と異なっているので、そのままでは表示装置２２の画面に映し出すことができないものになっている。
そのため、ここでは、録画／再生制御回路２３の制御下において、イメージセンサ７によって撮影された画像のデータを表示装置２２における画像表示のフレーム速度に応じて記憶する表示用のメモリ２４を別途に設けて、そのメモリ２４から読み出した撮影画像のデータを補正装置１８に与えて補正したうえで、高速録画中の画像を表示装置２２に映し出すことができるようにしている。
表示用のメモリ２４には、所定のタイミングをもって間引くように抽出されたフレームの画信号が更新的に記憶される。そして、この場合にあっても、撮影時の非常な高速度に追従させることなく、補正装置１４において通常の処理速度をもって画信号の補正を行わせることができるようになる。その際、イメージセンサ７の撮影画像のフレーム速度が画像表示のフレーム速度の倍数でない場合には、最も表示フレーム速度に近くなるようなタイミングをもって抽出したフレームの画信号をメモリ２４に記憶するようにする。
したがって、高速録画中の画像を表示装置２２に同時に映し出すことによって、高速事象の撮影状態をリアルタイムで監視することができるようになる。
なお、表示用のメモリ２４を別途に設けることなく、フレームメモリ２０の一部に画像表示のフレーム速度に応じて画信号を記憶するエリアを設けるようにすることも可能である。
また、第３２図は、スイッチ操作によって表示装置２２における画像表示のフレーム速度が１／３０秒および１／６０秒に選択的に切り換えることができる場合に、１／３０秒のフレーム速度用の画信号を記憶するメモリ２４１と、１／６０秒のフレーム速度用の画信号を記憶するメモリ２４２とを並設して、表示装置２２からのフレーム速度の選択信号に応じて切換回路２５によってメモリ選択用のスイッチＳＷ１，ＳＷ２を適宜切り換えるようにしている。なお、各メモリ２４１，２４２への画信号の書込みのタイミングは、表示装置２２からのフレーム速度の選択信号に応じて、録画／再生制御回路２３の制御下において行われることになる。
産業上の利用の可能性
このように、本発明による高速事象撮影装置によれば、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって撮影された画像のデータを表示装置の表示フレームの速度に合せて記憶するメモリを別途に設けて、そのメモリから読み出された画像のデータにもとづいてイメージセンサにおける各画素の出力のバラツキを補正したうえで、その補正されたデータに基いて表示装置に撮影画像を表示させるようにしているので、撮影した画像の記録を高速事象に追従して行わせることができるとともに、そのイメージセンサにおける各画素の出力のバラツキの補正を撮影時の高速度に追従させることなく通常の処理速度をもって行わせて、撮影中の高速事象を通常の表示速度をもった表示装置に表示させることができ、高速事象の撮影に有利になるとともに、撮影中の高速事象の画像をモニタ表示させるのに有利となる。
【図面の簡単な説明】
第１図は、本発明による高速事象撮影装置に用いられるイメージセンサの１画素分の光センサ回路を示す電気回路図である。
第２図は、その光センサ回路における各部信号のタイムチャートである。
第３図は、その光センサ回路におけるセンサ電流に対する画信号の出力特性を示す図である。
第４図は、イメージセンサの基本的な構成例を示すブロック図である。
第５図は、その基本的な構成例におけるイメージセンサの各部信号のタイムチャートである。
第６図は、イメージセンサの出力のバラツキを補正する補正装置の一構成例を示すブロック図である。
第７図は、その補正装置における処理のフローの一例を示す図である。
第８図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の一例を示す特性図である。
第９図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第１０図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第１１図は、イメージセンサの出力の温度によるバラツキを補正するようにした補正装置の他の構成例を示すブロック図である。
第１２図は、その他の構成例による補正装置における処理のフローの一例を示す図である。
第１３図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の一例を示す特性図である。
第１４図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第１５図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第１６図は、温度によるオフセットのない画信号の出力特性と、温度によるオフセットの影響を受けたときの画信号の出力特性とを示す特性図である。
第１７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの一例を示す図である。
第１８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第１９図は、第６図の補正装置における処理のフローの他の例を示す図である。
第２０図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２１図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第２２図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第２３図は、第１１図に示す補正装置における処理のフローの他の例を示す図である。
第２４図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２５図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第２６図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第２７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第２８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローのさらに他の例を示す図である。
第２９図は、高速事象撮影装置の一般的な構成を示すブロック図である。
第３０図は、本発明による高速事象撮影装置の一構成例を示すブロック図である。
第３１図は、本発明による高速事象撮影装置の他の構成例を示すブロック図である。
第３２図は、本発明による高速事象撮影装置のさらに他の構成例を示すブロック図である。
本発明は、高速事象を撮影した画像のデータをメモリに記憶したうえで、その記憶データにもとづいて画像を再生するようにした高速事象撮影装置に関する。
背景技術
一般に、発生が突発的で、前もって最適な撮影条件を設定しておくことができないような高速事象をカメラによって撮影しようとする場合、通常のカメラによるのでは自動絞りが追従しきれず、そのため撮影した画像がぼやけてしまい、また残像による尾引きが顕著になっている。
そのため、従来では、高速事象の撮影に最適なように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサが開発されている。
そのイメージセンサとしては、その１画素分の光センサ回路が、第１図に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄを増幅するトランジスタＱ２と、画信号読出し信号Ｖｓのパルスタイミングでもって画信号を出力するトランジスタＱ３とによって構成され、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようになっている。そして、トランジスタＱ１のドレイン電圧ＶＤを所定時間だけ定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量に蓄積された電荷を放電させて初期化させることにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
このようなイメージセンサにあっては、各画素の構成上からくる出力特性のバラツキおよび温度特性のバラツキに起因して、各画素の出力特性が不揃いなものになっており、そのままでは撮影時に暗時および明時の画像データを得ることができないため、各画素の出力特性のバラツキを補正する必要があるものになっている。
そのイメージセンサにおける各画素の出力特性のバラツキの補正としては、通常、予め各画素の出力のバラツキ状態を測定して、それが所定の出力値になるような補正値を求めて記憶しておき、実際に撮影したときの各画素の出力をその補正値を用いて演算処理によって補正することになる。
しかして、このようなイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示するような場合に、イメージセンサにおける各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、その補正を高速で行わせる必要があるが、そのような高速事象に追従してイメージセンサの出力補正を行わせるような補正回路を実現するのが困難になっている。
このように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって高速事象を撮影した画像のデータを高速度で記憶するメモリに一時蓄積したうえで、その蓄積されたデータを読み出して画像を表示装置に表示させるに際して、各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、高速事象に追従したイメージセンサの出力補正を行わせることが困難になってしまうという問題がある。
また、そのイメージセンサによる撮影中の高速事象の画像を表示装置に表示して撮影状況をモニタするような場合に、イメージセンサによる撮影画像のフレーム速度が早すぎて、そのままでは表示フレームの速度が遅い表示装置に表示させることができないという問題がある。
発明の開示
本発明は、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって撮影した画像の記録を高速事象に追従して行わせることができるようにするとともに、そのイメージセンサにおける各画素の出力のバラツキの補正を撮影時の高速度に追従させることなく通常の処理速度をもって行わせて、撮影中の高速事象を通常の表示速度をもった表示装置に示させることができるようにしている。
具体的には、光検知時の入射光量に応じて光電変換素子に流れるセンサ電流をトランジスタのオーバーフロードレイン動作による弱反転状態で対数特性をもって電圧信号に変換して、その変換した電圧信号に応じたセンサ出力を生ずるとともに、光検知に先がけて前記トランジスタのドレイン電圧を一時的に定常よりも低い値に切り換えて、前記光電変換素子の寄生容量に蓄積された電荷を放電させて初期化するようにした光センサ回路を画素単位に用いたイメージセンサと、そのイメージセンサによって撮影された画像のデータを高速度で記憶するフレームメモリと、表示装置の表示フレームの速度に合せた表示用メモリと、前記イメージセンサによって撮影され、前記フレームメモリに記憶された画像を前記フレームメモリのフレーム速度に合せたタイミングをもって間引くように抽出された画信号を前記表示用メモリに更新的に記憶させる録画／再生制御回路と、前記表示用メモリから読み出した画像データにもとづいて、イメージセンサにおける各画素のセンサ出力をオフセット補正し、そのオフセット補正されたセンサ出力が、センサ電流が所定値を越える電流である場合に対数特性を有する検出電圧を検出する対数応答領域にある場合には、さらにゲイン補正を行う補正回路と、その補正されたデータにもとづいて画像を表示する表示装置とによって構成するようにしている。
発明を実施するための最良の形態
本発明による高速事象撮影装置に用いられるイメージセンサは、基本的に前述した図１に光センサ回路を画素単位に用いている。
第２図は、その光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光検知のタイミングを、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間をそれぞれ示している。
その光センサ回路にあっては、第３図に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
第４図は、第１図に示す光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画信号の時系列的な読出し走査を行わせるとともに、各画信号の読出し走査に応じた適切なタイミングをもって各画素の初期化を行わせるように構築したときのイメージセンサの一構成例を示している。
ここでは、例えば、イメージセンサの基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
そして、このようなイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
第５図は、このように構成されたイメージセンサの動作時における各部信号のタイムチャートを示している。
以上は、前述した従来のイメージセンサと全く同じ構成である。
このように構成されたイメージセンサにあっては、各画素における入射光量に応じたセンサ電流に対する電圧変換は対数変換用のトランジスタＱ１のサブスレッショルド領域の特性を利用して行われるが、そのサブスレッショルド値は画素毎に異なるために、各画素のセンサ出力にバラツキを生じてしまう。また、各画素にあっては、対数変換された電圧信号を高インピーダンスで受けて出力する必要があることから増幅用トランジスタＱ２を設けているが、そのトランジスタＱ２の特性の不揃いも各画素のセンサ出力のバラツキの要因となっている。
また、このようなイメージセンサにあっては、各画素におけるトランジスタの温度特性の不揃いに起因して、各画素の出力特性にバラツキを生ずるものとなっている。
第６図は、このようなイメージセンサにおける各画素の構成上からくる出力特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７および各画素の画信号を時系列的に読み出すための駆動制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ８から与えられる画信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１０と、そのメモリ１０から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１１とによって構成されている。
第８図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値１ｍは各画素の画信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるものである。各画素のパラメータとして、それぞれの各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第７図は、出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第９図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（画信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第１０図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも小さければ、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第１１図は、各画素の温度特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７およびその雰囲気温度を検出する内蔵の温度センサ１２と、イメージセンサ７から各画素の画信号Ｖｏを時系列的に読み出すとともに、温度センサ１２による温度検出信号ＴＳを所定のタイミングで読み出すための制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、温度センサ１２からの温度検出信号ＴＳをデジタル信号に変換するＡＤ変換器１３と、予め各画素の温度特性に応じたオフセット補正値Ｔ−ＯＦＳおよびゲイン補正のための乗数Ｔ−ＭＬＴが設定されており、デジタル変換された温度検出信号ＤＴＳに応じて所定のオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴを読み出すメモリ１４と、そのメモリ１４から読み出されたオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１５とによって構成されている。
第１３図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値ＴＨに応じたセンサ電流の値Ｉｔｍは温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにするものである。各画素のパラメータとして、それぞれの温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第１２図は、出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第１４図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以上か否かを判断して、しきい値ＴＨ以上であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ＋（画信号ＤＳ１−ＴＨ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような各画素の温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第１５図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも小さければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
イメージセンサにおける各画素の出力のバラツキの補正としては、イメージセンサにおける各画素の構成上からくる出力特性のバラツキおよび各画素の温度特性のバラツキの両方の影響が抑制された画信号が得られるように、以上説明した各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正と、温度特性のバラツキのオフセット補正およびゲイン補正とを行わせるようにする必要がある。
その場合、各画素の構成上からくる出力特性のバラツキと温度特性のバラツキとの両方の影響を受けた画信号の補正を行わせるに際して、例えば、先に第７図に示す処理によって各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正をなしたうえで、続けて第１２図に示す処理によって温度特性のバラツキのオフセット補正およびゲイン補正を行わせるようにすると、温度による変化分を適正化することなく画信号の補正が行われてしまうことになる。
すなわち、第１６図に示すように、各画素の構成上からくる出力特性のバラツキのオフセット補正とゲイン補正をＨレベルを境として行わせるに際して、図中点線で示すように、温度による画信号のオフセットがない場合には問題ないが、図中実線で示すように、温度による画信号のオフセットがある場合にはＨレベルが固定のために補正の切換点がａからａ′点に移行してしまい、正規とは異なった補正が行われてしまう。ここでは、温度変化によって出力特性が下方向にシフトした例を示しており、Ｈレベルが非対数応答領域ＷＡと対数応答領域ＷＢとの境目から上方にずれてしまっている。
このような問題を解決するため、各画素の構成上からくる出力特性のバラツキを補正するに先立って、Ｈレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、温度特性のバラツキによるオフセット補正を行わせるようにしている。
同様の問題は、先に温度特性のバラツキの補正を行わせてから、あとで各画素の構成上からくる出力特性のバラツキを補正する場合にも生ずることになる。したがって、この場合には、温度特性のバラツキを補正するに先立って、ＴＨレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、各画素の構成上からくる出力特性のバラツキによるオフセット補正を行わせるようにしている。
第１７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。図中、１６は第７図に示す各画素の出力特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものであり、１７は第１２図に示す温度特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものである。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第１８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
第２０図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
第１９図は、その場合の出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２１図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以げの非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以下であるが否かを判断して、しきい値Ｈ以下であれば、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第２２図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも大きければ、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第２４図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の他の例を示している。
ここでは、基本的に、このような対数応答領域ＷＢにおける各画信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各画信号の出力特性の形状がそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにしている。
第２３図は、その場合の出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２５図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以下か否かを判断して、しきい値ＴＨ以下であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ−（ＴＨ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第２６図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも大きければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
第２７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第２８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
本発明による高速事象撮影装置にあっては、このような各画素の出力特性のバラツキを補正するようにしたイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示させるようにしている。
その場合、第２９図に示すように、イメージセンサ７から時系列的に出力する画信号をＡＤ変換器９によってデジタル信号に変換したうえで、補正装置１８において各画素の出力特性のバラツキを補正した画信号をメモリコントローラ１９の制御下でフレームメモリ（またはバッファメモリ）２０に順次記憶していくことによって撮影画像の録画を行わせるような構成にするのでは、補正装置１８における処理を高速事象に追従して高速で行わせる必要があるものになってしまう。ここで、補正装置１８は、第６図および第１１図の構成におけるイメージセンサ７およびＡＤ変換器９を除いた部分の構成からなっている。
そのため、特に本発明では、第３０図に示すように、イメージセンサ７によって撮影した画像の画信号を何ら補正することなくそのままフレームメモリ２０に記憶させるようにしている。そして、メモリコントローラ１９の制御下においてフレームメモリ２０からその記憶した画信号を読み出して画像を再生する際に、補正装置１８によりフレームメモリ２０から順次読み出される各画素の画信号のバラツキを補正したうえで、信号変換器２１によりビデオ信号に変換して表示装置２２に撮影画像を映し出すようにしている。図中、２３は、外部からの録画、再生のスイッチ指令ＳＣに応じて、メモリコントローラ１９に画信号の記憶、読出しの切り換えの制御信号を与える録画／再生制御回路である。
したがって、このような構成をとることによって、イメージセンサ７によって撮影した画像の記録を高速事象に追従して行わせることができる。そして、そのイメージセンサ７における各画素の出力のバラツキの補正を、記録画像の再生時に、表示装置２２における画像表示のフレーム速度に応じてフレームメモリ２０ら読み出される画信号にもとづいて、撮影時の非常な高速度に追従させることなく、通常の処理速度をもって行わせることができるようになる。
その際、例えば、自動車の衝突試験にあって、イメージセンサ７によって自動車の衝突の瞬間を撮影するような場合、１ｍｓｅｃ当り６０〜８０フレームの高速度で撮影して録画する。そして、その録画された画像を、表示装置２２における画像表示のフレーム速度（１／３０秒または１／６０秒）に応じてフレームメモリ２０から読み出して再生する。
第３１図は、本発明による高速事象撮影装置の他の実施例を示している。
イメージセンサ７による高速度撮影の録画中には、その撮影のフレーム速度が表示装置２２における表示速度と異なっているので、そのままでは表示装置２２の画面に映し出すことができないものになっている。
そのため、ここでは、録画／再生制御回路２３の制御下において、イメージセンサ７によって撮影された画像のデータを表示装置２２における画像表示のフレーム速度に応じて記憶する表示用のメモリ２４を別途に設けて、そのメモリ２４から読み出した撮影画像のデータを補正装置１８に与えて補正したうえで、高速録画中の画像を表示装置２２に映し出すことができるようにしている。
表示用のメモリ２４には、所定のタイミングをもって間引くように抽出されたフレームの画信号が更新的に記憶される。そして、この場合にあっても、撮影時の非常な高速度に追従させることなく、補正装置１４において通常の処理速度をもって画信号の補正を行わせることができるようになる。その際、イメージセンサ７の撮影画像のフレーム速度が画像表示のフレーム速度の倍数でない場合には、最も表示フレーム速度に近くなるようなタイミングをもって抽出したフレームの画信号をメモリ２４に記憶するようにする。
したがって、高速録画中の画像を表示装置２２に同時に映し出すことによって、高速事象の撮影状態をリアルタイムで監視することができるようになる。
なお、表示用のメモリ２４を別途に設けることなく、フレームメモリ２０の一部に画像表示のフレーム速度に応じて画信号を記憶するエリアを設けるようにすることも可能である。
また、第３２図は、スイッチ操作によって表示装置２２における画像表示のフレーム速度が１／３０秒および１／６０秒に選択的に切り換えることができる場合に、１／３０秒のフレーム速度用の画信号を記憶するメモリ２４１と、１／６０秒のフレーム速度用の画信号を記憶するメモリ２４２とを並設して、表示装置２２からのフレーム速度の選択信号に応じて切換回路２５によってメモリ選択用のスイッチＳＷ１，ＳＷ２を適宜切り換えるようにしている。なお、各メモリ２４１，２４２への画信号の書込みのタイミングは、表示装置２２からのフレーム速度の選択信号に応じて、録画／再生制御回路２３の制御下において行われることになる。
産業上の利用の可能性
このように、本発明による高速事象撮影装置によれば、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって撮影された画像のデータを表示装置の表示フレームの速度に合せて記憶するメモリを別途に設けて、そのメモリから読み出された画像のデータにもとづいてイメージセンサにおける各画素の出力のバラツキを補正したうえで、その補正されたデータに基いて表示装置に撮影画像を表示させるようにしているので、撮影した画像の記録を高速事象に追従して行わせることができるとともに、そのイメージセンサにおける各画素の出力のバラツキの補正を撮影時の高速度に追従させることなく通常の処理速度をもって行わせて、撮影中の高速事象を通常の表示速度をもった表示装置に表示させることができ、高速事象の撮影に有利になるとともに、撮影中の高速事象の画像をモニタ表示させるのに有利となる。
【図面の簡単な説明】
第１図は、本発明による高速事象撮影装置に用いられるイメージセンサの１画素分の光センサ回路を示す電気回路図である。
第２図は、その光センサ回路における各部信号のタイムチャートである。
第３図は、その光センサ回路におけるセンサ電流に対する画信号の出力特性を示す図である。
第４図は、イメージセンサの基本的な構成例を示すブロック図である。
第５図は、その基本的な構成例におけるイメージセンサの各部信号のタイムチャートである。
第６図は、イメージセンサの出力のバラツキを補正する補正装置の一構成例を示すブロック図である。
第７図は、その補正装置における処理のフローの一例を示す図である。
第８図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の一例を示す特性図である。
第９図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第１０図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第１１図は、イメージセンサの出力の温度によるバラツキを補正するようにした補正装置の他の構成例を示すブロック図である。
第１２図は、その他の構成例による補正装置における処理のフローの一例を示す図である。
第１３図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の一例を示す特性図である。
第１４図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第１５図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第１６図は、温度によるオフセットのない画信号の出力特性と、温度によるオフセットの影響を受けたときの画信号の出力特性とを示す特性図である。
第１７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの一例を示す図である。
第１８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第１９図は、第６図の補正装置における処理のフローの他の例を示す図である。
第２０図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２１図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第２２図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第２３図は、第１１図に示す補正装置における処理のフローの他の例を示す図である。
第２４図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２５図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第２６図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第２７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第２８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローのさらに他の例を示す図である。
第２９図は、高速事象撮影装置の一般的な構成を示すブロック図である。
第３０図は、本発明による高速事象撮影装置の一構成例を示すブロック図である。
第３１図は、本発明による高速事象撮影装置の他の構成例を示すブロック図である。
第３２図は、本発明による高速事象撮影装置のさらに他の構成例を示すブロック図である。
Claims (1)
- 光検知時の入射光量に応じて光電変換素子に流れるセンサ電流をトランジスタのオーバーフロードレイン動作による弱反転状態で対数特性をもって電圧信号に変換して、その変換した電圧信号に応じたセンサ出力を生ずるとともに、光検知に先がけて前記トランジスタのドレイン電圧を一時的に定常よりも低い値に切り換えて、前記光電変換素子の寄生容量に蓄積された電荷を放電させて初期化するようにした光センサ回路を画素単位に用いたイメージセンサと、そのイメージセンサによって撮影された画像のデータを高速度で記憶するフレームメモリと、表示装置の表示フレームの速度に合せた表示用メモリと、前記イメージセンサによって撮影され、前記フレームメモリに記憶された画像を前記フレームメモリのフレーム速度に合せたタイミングをもって間引くように抽出された画信号を前記表示用メモリに更新的に記憶させる録画／再生制御回路と、前記表示用メモリから読み出した画像データにもとづいて、イメージセンサにおける各画素のセンサ出力をオフセット補正し、そのオフセット補正されたセンサ出力が、センサ電流が所定値を越える電流である場合に対数特性を有する検出電圧を検出する対数応答領域にある場合には、さらにゲイン補正を行う補正回路と、その補正されたデータにもとづいて画像を表示する表示装置とによって構成されたことを特徴とする高速事象撮影装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001322869 | 2001-09-13 | ||
| JP2001322869 | 2001-09-13 | ||
| PCT/JP2002/005729 WO2003026282A1 (fr) | 2001-09-13 | 2002-06-10 | Dispositif d'imagerie d'evenement haute vitesse |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003026282A1 JPWO2003026282A1 (ja) | 2005-01-06 |
| JP3924755B2 true JP3924755B2 (ja) | 2007-06-06 |
Family
ID=19139840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003529753A Expired - Fee Related JP3924755B2 (ja) | 2001-09-13 | 2002-06-10 | 高速事象撮影装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7319486B2 (ja) |
| JP (1) | JP3924755B2 (ja) |
| TW (1) | TW564634B (ja) |
| WO (1) | WO2003026282A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10258662A1 (de) * | 2002-12-13 | 2004-07-08 | Forschungszentrum Jülich GmbH | Verfahren und Vorrichtung zur digitalen Bildverarbeitung von CMOS-Kamerabildern |
| JP4518757B2 (ja) | 2003-07-18 | 2010-08-04 | ソニー株式会社 | 撮像装置 |
| JPWO2006085464A1 (ja) * | 2005-02-10 | 2008-06-26 | コニカミノルタホールディングス株式会社 | 撮像装置 |
| WO2006098374A1 (ja) * | 2005-03-15 | 2006-09-21 | Omron Corporation | 撮像装置、信号処理装置及び信号処理方法 |
| JP4680166B2 (ja) | 2006-10-30 | 2011-05-11 | ソニー株式会社 | 撮像装置および撮像方法 |
| US9052497B2 (en) | 2011-03-10 | 2015-06-09 | King Abdulaziz City For Science And Technology | Computing imaging data using intensity correlation interferometry |
| US9099214B2 (en) | 2011-04-19 | 2015-08-04 | King Abdulaziz City For Science And Technology | Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof |
| US11363221B2 (en) * | 2018-06-08 | 2022-06-14 | Facebook Technologies, Llc | Image sensor post processing |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4378567A (en) * | 1981-01-29 | 1983-03-29 | Eastman Kodak Company | Electronic imaging apparatus having means for reducing inter-pixel transmission nonuniformity |
| JPH11298799A (ja) * | 1998-04-15 | 1999-10-29 | Honda Motor Co Ltd | 光センサ信号処理装置 |
| KR100279295B1 (ko) * | 1998-06-02 | 2001-02-01 | 윤종용 | 액티브 픽셀 센서 |
| JP2000175108A (ja) * | 1998-12-04 | 2000-06-23 | Honda Motor Co Ltd | イメ―ジセンサの出力補正回路 |
| JP3278716B2 (ja) * | 1999-05-18 | 2002-04-30 | 本田技研工業株式会社 | 光センサ回路 |
| IL152425A (en) * | 2000-05-01 | 2006-12-10 | Bae Systems Information | Methods and apparatus for compensating a radiation sensor for temperature variations of the sensor |
| JP3882128B2 (ja) * | 2000-12-01 | 2007-02-14 | 本田技研工業株式会社 | イメージセンサの出力補正装置 |
| KR100396683B1 (ko) * | 2001-01-08 | 2003-09-03 | 엘지전자 주식회사 | 티브이의 화면밝기/색도 보정장치 및 방법 |
-
2002
- 2002-06-10 WO PCT/JP2002/005729 patent/WO2003026282A1/ja active Application Filing
- 2002-06-10 US US10/489,580 patent/US7319486B2/en not_active Expired - Lifetime
- 2002-06-10 JP JP2003529753A patent/JP3924755B2/ja not_active Expired - Fee Related
- 2002-06-12 TW TW091112766A patent/TW564634B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US20050104978A1 (en) | 2005-05-19 |
| WO2003026282A1 (fr) | 2003-03-27 |
| US7319486B2 (en) | 2008-01-15 |
| JPWO2003026282A1 (ja) | 2005-01-06 |
| TW564634B (en) | 2003-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7689113B2 (en) | Photographing apparatus and method | |
| US9571742B2 (en) | Image capture apparatus and control method thereof | |
| JP4742359B2 (ja) | 動画撮像装置及びそのプログラム | |
| JP5028075B2 (ja) | 撮像装置及び撮像方法 | |
| US20020008766A1 (en) | Image sensing apparatus | |
| CN101959009B (zh) | 图像处理设备 | |
| JP2004215283A (ja) | デジタルカメラにおける画像ぼけを低減させるための装置及び方法 | |
| JP4154268B2 (ja) | 撮像装置 | |
| JP5013812B2 (ja) | 撮像装置及び補正方法 | |
| JP3924755B2 (ja) | 高速事象撮影装置 | |
| US20040239781A1 (en) | Image capture apparatus | |
| JP2003158680A (ja) | 撮像装置 | |
| JPH11112884A (ja) | ビデオカメラ装置の暗電流補正方法および該方法によるビデオカメラ装置 | |
| JP4416812B2 (ja) | 撮像装置 | |
| JP2000350091A (ja) | 撮影装置及びその信号処理方法 | |
| JP2002320141A (ja) | 固体撮像装置および撮像方法 | |
| JP4292751B2 (ja) | 撮像装置 | |
| JPH0795841B2 (ja) | 画像記録装置 | |
| US20070076106A1 (en) | Image pickup apparatus and image pickup method | |
| JP4054780B2 (ja) | 撮像装置 | |
| JP6631589B2 (ja) | 撮像装置 | |
| JP2011009834A (ja) | 撮像装置及び撮像方法 | |
| JP2003304453A (ja) | 撮像装置 | |
| JP4616527B2 (ja) | イメージセンサの出力補正装置 | |
| JP2000023028A (ja) | デジタルスチルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3924755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |