JP3803924B2 - イメージセンサ - Google Patents
イメージセンサ Download PDFInfo
- Publication number
- JP3803924B2 JP3803924B2 JP2002302357A JP2002302357A JP3803924B2 JP 3803924 B2 JP3803924 B2 JP 3803924B2 JP 2002302357 A JP2002302357 A JP 2002302357A JP 2002302357 A JP2002302357 A JP 2002302357A JP 3803924 B2 JP3803924 B2 JP 3803924B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- pixel
- sensor
- signal
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Facsimile Heads (AREA)
- Facsimile Scanning Arrangements (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、入射光量に応じて光電変換素子に流れる光電流に応じて、その光電変換素子の寄生容量に電荷の蓄積を行ってセンサ信号を出力するセンサ回路を画素単位に用いたイメージセンサに係り、特に照明用光源のちらつきによるフリッカを抑制するようにしたイメージセンサに関する。
【０００２】
【従来の技術】
【０００３】
イメージセンサの画素単位に用いられる光センサ回路として、ダイナミックレンジを広げるべく、トランジスタのサブスレッショルド領域の特性を利用し、光検知時の入射光量に応じてフォトダイオードに流れるセンサ電流を弱反転状態で対数特性をもって電圧信号に変換するようにした対数出力型のイメージセンサが開発されている（特開平５−２１９４４３号公報、特開平７−４６４８１号公報参照）。
【０００４】
また、その対数変換特性をもった光センサ回路にあって、フォトダイオードの寄生容量の残留電荷に起因する残像を抑制するべく、光検知に先がけて対数変換用のトランジスタのドレイン電圧を定常よりも低い値に切り換えて電荷が残留している寄生容量を放電させて初期化する手段をとるようにしたものが開発されている（特開２０００−３２９６１６公報参照）。
【０００５】
このような入射光に応じて光電変換素子に流れる光電流に応じてその光電変換子の寄生容量に電荷の蓄積を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにあっては、蛍光灯などの照明用光源のちらつき（電源周波数に応じた点滅）に各画素が追従して反応してしまい、その撮影画像をビデオ表示する場合に、照明用光源のちらつきの周期とビデオ表示レートとの違いからフリッカを生じてしまう。
【０００６】
その際、イメージセンサにおける各画素からそれぞれセンサ信号を読み出した時点での照明用光源の明るさが支配的となる。例えば、５０Ｈｚの商用電源で駆動している蛍光灯は、１／（２×５０Ｈｚ）の周期で点滅している。一方、ビデオ表示レートは１フレームの周期で１／６０Ｈｚである。その蛍光灯のちらつきの周期とビデオレートの周期との最小公倍数０．０５がフリッカの周期Ｔとなり、１／Ｔ＝２０Ｈｚで画面に映し出される画像にフリッカが生じてしまう。
【０００７】
このような入射光に応じて電荷の蓄積動作を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサでは、各画素の蓄積時間を揃えることで照明用光源のちらつきに起因するフリッカの影響を除去することが可能である。例えば、電子シャッタの場合、商用電源５０Ｈｚの光源に対して、電子シャッタの開放時間を１／１００秒とすることで、蓄積電荷量を同じにして映像に生ずるフリッカを低減することができる。
【０００８】
しかし、このような電子シャッタの制御手段をとるのでは、フリッカ抑制のための構成が複雑になってしまう。
【０００９】
また、従来、固体撮像素子を用いたビデオカメラにあって、照明用光源のちらつきの周期、位相などを検出することによって照明用光源の情報を得て、その情報にもとづいて映像信号を補正することによってフリッカの発生を抑制するようにしている（特開平５−１１５０２４号公報、特開２００１−８６４０１号公報参照）。
【００１０】
しかし、照明用光源のちらつき状態を検出し、その検出したちらつき状態の情報を用いてフリッカを抑制するように映像信号そのものを補正するのでは、そのための構成が複雑になってしまう。また、フリッカの抑制を充分に行わせるためには、その映像信号の補正手段が複雑なものになってしまう。
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、入射光に応じて光電変換素子に流れる光電流に応じてその光電変換素子の寄生容量に電荷の蓄積を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにあって、照明用光源のちらつきに起因して画面に映し出される撮影画像に生ずるフリッカを抑制するために、電子シャッタの制御手段を用いて各画素の蓄積時間を揃えるようにしたり、照明用光源のちらつき状態を検出して、その検出されたちらつき状態の情報を用いてフリッカを抑制するように映像信号を補正したりするのでは、フリッカ抑制のための構成が複雑になってしまうことである。
【００１２】
【課題を解決するための手段】
本発明は、撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、各画素の蓄積時間を揃えたり、映像信号そのものを補正したりするようなことなく、簡単にフリッカを抑制できるようにするべく、光センサ回路におけるセンサ信号出力用トランジスタのＰＮ接合部に照明用光源からの光が入射することによって生ずる光電流を光検知信号として、その光検知信号の変化から照明用光源のちらつきの周期、位相を検出する手段と、その検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしている。
【００１３】
【実施例】
図１は、本発明のイメージセンサにおける画素要素となる光センサ回路の基本的な構成を示している。
【００１４】
その光センサ回路は、入射光Ｌｓの光量に応じたセンサ電流を生ずるフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄをハイインピーダンスをもって増幅するトランジスタＱ２と、画信号読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｓｏを出力するトランジスタＱ３とによって構成されている。図中、ＣはフォトダイオードＰＤの接合容量、配線容量などからなる寄生容量である。
【００１５】
トランジスタＱ１の対数動作としては、以下のとおりである。
【００１６】
いま、トランジスタＱ１のゲート電圧ＶＧを一定に固定して、トランジスタＱ１を弱反転状態で動作させると、入射光Ｌｓによって生じた電荷がトランジスタＱ１のサブスレッショルド領域でドレインＤに排出されるため、図２に示すように、入射光量に応じたセンサ電流に対する電圧値に規定されたセンサ出力の関係が完全な対数出力特性を示すようになる。
【００１７】
このようなものでは、入射光量が少ない場合、トランジスタＱ１の抵抗値は対数的に上昇するために電荷の放電速度が遅くなり、残留電荷による容量性の残像が生じてしまう。その場合、暗い背景に動く輝点があると尾を引く現象が顕著となる。
【００１８】
図２の特性にあって、Ａは明から暗になったときに残像が生じやすい領域を示している。
【００１９】
そこで、各光検知の周期ごとに、光検知に先がけて、トランジスタＱ１のドレイン電圧ＶＤを定常よりも低い値に一時的に切り換えて光電変換素子ＬＥの寄生容量Ｃに電荷を注入させるようにすると、残留電荷の上に大量の新たな電荷が注入されることになる。
【００２０】
そして、電荷が残留している寄生容量を放電させて初期化を行わせた後、ドレイン電圧ＶＤをもとの定常値に戻すと、その時点から直ちに入射光Ｌｓの光量に応じた電荷の蓄積が行われて、残像の発生が抑制されることになる。
【００２１】
このような初期化手段をとる光センサ回路にあっては、図３に示すように、入射光量に応じて光電変換素子ＬＥに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときには光電変換素子ＬＥの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００２２】
図３に示す特性にあって、入射光量の少ないＷＡの領域では対数特性が失われるが、残像が生ずることがなくなる。
【００２３】
図４は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光検知のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、Ｔは光電変換素子ＬＥの寄生容量Ｃの蓄積期間を示している。
【００２４】
図５は、図２に示す完全対数出力特性をもった光センサ回路におけるセンサ電流に対するセンサ信号が収束するまでに必要な時間の特性を示している。
【００２５】
この図５の特性からして、撮影時の照明光が明るくてフォトダイオードＰＤに流れるセンサ電流が多ければ、高速にセンサ信号を確立することができることがわかる。
【００２６】
また、初期化手段をとる光センサ回路にあっても、図３に示す対数応答領域ＷＢでは先のセンサ電流に対するセンサ信号の収束時間の関係が成り立つ。すなわち、撮影時の照明光が明るくてフォトダイオードＰＤに流れるセンサ電流が多ければ、高速にセンサ信号を確立することができるようになる。
【００２７】
したがって、このような光センサ回路を画素に用いたイメージセンサによって、蛍光灯による照明用光源のもとで撮影を行うに際して、照明用光源がその電源周波数に応じて点滅しているときの最も明るいタイミングで各画素のセンサ信号をとり込むことにより、高速で画像を確立することが可能になり、フリッカの発生を有効に抑制することができる。
【００２８】
図６は、光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号Ｓｏの時系列的な読出し走査を行わせるようにしたイメージセンサの構成例を示している。
【００２９】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によって制御スイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｓｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。ここでは、出力側に基準抵抗Ｒを介してバイアス電圧Ｖｂを印加することによって各画素のセンサ信号Ｓｏを電圧信号Ｖｏとしてとり出すようにしている。
【００３０】
そして、このようなイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００３１】
このように構成されたイメージセンサの動作について、図７に示す各部信号のタイムチャートとともに、以下説明をする。
【００３２】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３３】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３４】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３５】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３６】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３７】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３８】
図中、Ｔ４は各画素からセンサ信号の読み出しを行わない入射光に応じた電荷の蓄積期間である。
【００３９】
以上のような各部信号の発生のタイミングは、図示しないＥＣＵの制御下で画素列選択回路１、画素選択回路２および電圧切換回路６の駆動を行わせることによって決定されるようになっている。
【００４０】
このように、各画素のセンサ信号Ｓｏの読出し走査に応じた適切なタイミングをもって各画素の初期化を行わせることによって、イメージセンサ全体としての蓄積時間の過不足を低減できるようになる。
【００４１】
そして、残像がなく、ダイナミックレンジの広い対数出力特性をもったイメージセンサが実現できるようになる。
【００４２】
図８は、本発明によるフリッカ抑制手段を講じたイメージセンサの一構成例を示している。
【００４３】
ここでは、蛍光灯などの光源７によって照明されている被写体８を対物レンズ９を通してイメージセンサ本体１０によって撮影するに際して、そのときの照明光を別途設けたレンズ１１を通してフォトセンサ１２によって検知し、その照明光の光量に応じた光検知信号を照明光ちらつき状態検出回路１３に与えて、光源７のちらつきの周期、位相を検出する。その検出された光源７のちらつきの周期、位相のデータをイメージセンサ本体１０の駆動制御を行うＥＣＵ１４に与えて、光源７による照明光が最も明るくなるタイミングをわり出す。そして、ＥＣＵ１４の制御下において、照明光が最も明るくなるタイミングをもって、イメージセンサ本体１０から各画素のセンサ信号を読み出すようになっている。
【００４４】
具体的には、ＥＣＵ１４によってイメージセンサ本体１０における画素列選択回路１の駆動制御を行わせることになる。
【００４５】
照明光が最も明るくなるタイミングをもってイメージセンサ本体１０における各画素から読み出されるセンサ信号はビデオ表示レートと同期しているわけではなく、そのため各画素から読み出されるセンサ信号をいったんフレームメモリ１５に格納したうえで、ビデオ表示レートに合せて読み出すことができるようにしている。
【００４６】
具体的に、光源７が商用周波数５０Ｈｚで駆動されている場合には、イメージセンサ本体１０における各画素のセンサ信号は１０ｍＳごとのタイミングで読み出されることになるため、ビデオ表示レート１／３０（１／６０）秒とは同期することができない。そのため、イメージセンサ本体１０から読み出される各画素の画情報をいったんＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに格納したうえで、タイミングジェネレータからのビデオ表示レートに即した読出し信号に応じて画情報を読み出してビデオ装置側へ送出するようにする。
【００４７】
また、図９は、本発明によるフリッカ抑制手段を講じたイメージセンサの他の構成例を示している。
【００４８】
ここでは、特に、照明光の光検知系統のレンズを別途に設けることなく、対物レンズ９を通した光をハーフミラー１６を介してフォトセンサ１２に与えるようにしている。
【００４９】
また、照明用光源からの光を検知するためのフォトセンサを別途設けることなく、イメージセンサにおける各画素の光センサ回路におけるＭＯＳ型のトランジスタＱ１〜Ｑ３のＰＮ接合部が基本的にフォトダイオードと同等の特性を有することに着目して、撮影時の入射光による電荷の蓄積期間中（センサ信号の非出力時）にそのトランジスタのＰＮ接合部に光が入射することによって生ずる光電流の変化から照明用光源のちらつきの周期、位相を検出するようにすることも可能である。
【００５０】
図１０は、光センサ回路におけるトランジスタＱ１〜Ｑ３のＰＮ接合部が光検出用のフォトダイオードＰＤ１〜ＰＤ５として機能するときの等価回路を示している。
【００５１】
ここで、実際には、イメージセンサにおける各画素のトランジスタＱ１〜Ｑ３が誤動作しないように、フォトダイオードＰＤの部分以外に遮光を施すのが一般的である。しかし、その場合完全な遮光を施すことは困難であり、僅かながら光がフォトダイオードＰＤの部分以外に入射してしまう。
【００５２】
このことは、インターライン方式のＣＣＤカメラなどでは特に問題となるが、ＭＯＳ型イメージセンサではフォトダイオードＰＤの部分以外に光が入射しても各画素のセンサ信号を読み出すのに問題はない。その際、光が弱ければ、トランジスタＱ３は充分なオフ特性を維持することができる。
【００５３】
また、標準のＣＭＯＳプロセスではＣＣＤプロセスで用いるほどの遮光を施すことができない。したがって、ＣＭＯＳプロセスにおいてフォトダイオードＰＤの部分以外に遮光を施してもそれが不完全となって、フォトダイオードＰＤの部分以外に僅かながら光が入射してしまうことになる。
【００５４】
基本的に、フォトダイオードＰＤ１〜ＰＤ５のうちの何れかに流れる光電流を検出すればよいが、その場合、特に図１１に示すように、トランジスタＱ３の出力側のＰＮ接合部のフォトダイオードＰＤ２を用いて光電流を検出するようにすれば、特にその光電流の検出回路を設けることなく、センサ信号Ｓｏの出力側にその光電流の検出信号をとり出すことができるようになる。そして、例えば、イメージセンサから時系列的に読み出される各画素の出力信号を読み取って量子化する画情報読取回路（図示せず）において、ＥＣＵの制御下で、トランジスタＱ３のオフ期間中にフォトダイオードＰＤ２に流れる光電流に応じた信号を読み取ることにより、光量や光の点滅周期などを検出することができるようになる。
【００５５】
図１２は、ＣＭＯＳプロセスによって形成される光センサ回路におけるトランジスタＱ１〜Ｑ３およびフォトダイオードＰＤ、ＰＤ２部分の構成を簡易的に示している。
【００５６】
画素をｍ×ｎのマトリクス状に配設したイメージセンサにあって、全面に均一な光が入射している場合、ＥＣＵの制御下において、画素列選択回路１がどの画素列も選択しないようにしたうえで、画素選択回路２によって全てのラインの各画素におけるフォトダイオードＰＤ２に流れる光電流に応じた信号を同時に出力させることにより、１画素の場合のｍ×ｎ倍の大きさの信号をとり出すことができるようになる。
【００５７】
また、センサ信号の出力時にトランジスタＱ３がオン状態になると、フォトダイオードＰＤに流れる光電流に応じたセンサ信号にフォトダイオードＰＤ２に流れる光電流に応じた信号が重畳されることになるが、トランジスタＱ２で増幅されたセンサ信号が支配的となって、それに重畳されるフォトダイオードＰＤ２に流れる光電流が微少となって各画素のセンサ信号に影響を与えることがない。
【００５８】
照明光ちらつき状態検出回路１３としては、例えば、照明用光源の光検知信号をしきい値を用いて２値化し、その２値化された光検知信号を周波数・電圧変換したうえでＡＤ変換して照明用光源のちらつきの周期を検出し、そのちらつきの周波数と２値化された光検知信号の周波数とが最も一致する位相を検出するようにする。
【００５９】
図１３は、その場合における照明光ちらつき状態検出回路１３の具体的な構成例を示している。
【００６０】
ここでは、蛍光灯などの光源からの照明光を検知するフォトセンサ１２の出力をバンドパスフィルタ１３１に通して必要な周波数成分を抽出する。実際の光源のちらつきは電源周波数の２倍であり、電源周波数が５０Ｈｚの場合にはバンドパスフィルタ１３１によって１００Ｈｚの帯域の信号を抽出することになる。
【００６１】
次いで、そのパンドパスフィルタ１３１を通過した信号をコンパレータ１３２に与えて、そこで予め定められたしきい値をもって２値化する。そして、その２値化信号を周波数・電圧変換器１３３において電圧信号に変換したうえで、Ａ・Ｄ変換器１３５においてデジタル変換する。それにより、光源のちらつきの周期（周波数）がデジタル的に得られる。
【００６２】
その際、周波数・電圧変換器１３３とＡ・Ｄ変換器１３５との間にローパスフィルタ１３４を設けることによって、周波数の変動を吸収することができるようになる。さらに、Ａ・Ｄ変換器１３５の出力をまるめ処理（四捨五入）することによって、光源のちらつきの周波数を限定できるようになる。
【００６３】
次いで、そのデジタル値を位相比較回路１３６に与えて、そこでコンパレータ１３２によって２値化された信号のタイミングを調整すると、光源の明るさが最大となるタイミングを得ることができ、光源のちらつきの位相を検出できるようになる。その際、コンパレータ１３２の２値化出力には光源の光量変動によるノイズによるジッタが多分に含まれているため、タイミング調整部分では位相を比較することによって最も位相が揃うタイミングが採用される。
【００６４】
図１４は、そのときの照明光ちらつき状態検出回路１３における各部信号のタイムチャートを示している。図中、（ａ）はフォトセンサ１２の出力信号を、（ｂ）はバンドパスフィルタ１３１の通過信号を、（ｃ）はコンパレータ１３２の２値化信号を、（ｄ）は光源のちらつきの周波数と位相の検出信号をそれぞれ示している。（ｂ）中、ＳＬはしきい値である。
【００６５】
照明光ちらつき状態検出回路１３をこのように構成することによって、ノイズが混入した信号から必要な信号を抽出するのと異なり、基準信号との一致を比較することになるので、外乱光に強い処理を行うことができるようになる。
【００６６】
また、照明光ちらつき状態検出回路１３として、照明用光源の光検知信号をＡＤ変換したうえで周波数解析して照明用光源のちらつきの周期を検出し、その検出したちらつきの周期から帯域フィルタの通過周波数に設定して光検知信号のちらつき成分のみをとり出し、そのちらつき成分の信号と照明用光源のちらつきの周期とが最も一致する位相を検出するようにしてもよい。
【００６５】
図１５は、その場合における照明光ちらつき状態検出回路１３の具体的な構成例を示している。
【００６６】
ここでは、フォトセンサ１２の出力信号をＡ・Ｄ変換器１３５によってデジタル信号に変換したうえで、その変換されたデジタル信号をＦＦＴ１３７に与えて周波数解析することによって、照明用光源の主要なちらつきの周波数を検出する。
【００６７】
次いで、その検出したちらつき周波数をバンドパスフィルタ（デジタルフィルタ）１３８における通過周波数として設定して、照明用光源のちらつきの周波数成分のみをとり出す。そして、位相比較回路１３６において、バンドパスフィルタ１３８によってとり出したちらつき周波数の信号とＦＦＴ１３７から出力するちらつき周波数の信号とが最も一致する位相の検出を行う。そして、タイミング調整回路１３９において、位相比較回路１３６から与えられる位相の検出信号をロックタイミング情報として、ＦＦＴ１３７からのちらつき周波数をもとにしてトリガのタイミングを調整して、照明用光源の明るさが最大となるタイミングでイメージセンサにおける各画素のセンサ信号を読み出すためのトリガ信号として出力するようになっている。
【００６８】
このように、本発明によれば、蛍光灯などの照明用光源のちらつきの周期および位相を検出して、その光源の光量が最大となる時点でイメージセンサおける各画素のセンサ信号の読出しの走査を高速で行わせるようにしており、そのイメージセンサによって撮影した画像をビデオ表示する際におけるフリッカの発生を有効に抑制できるようになる。
【００６９】
そして、照明用光源の光量が最大となる時点で撮影画像を得るようにしているので、最も明るい画像を得ることができるようになる。
【００７０】
なお、設定によっては、照明用光源の光量が最小となる時点でイメージセンサおける各画素のセンサ信号を読み出すようにしても、フリッカの発生を有効に抑制できるようになる。
【００７１】
【効果】
以上、本発明は、撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、その光センサ回路におけるセンサ信号出力用トランジスタのＰＮ接合部に照明用光源からの光が入射することによって生ずる光電流を光検知信号として、その光検知信号の変化から照明用光源のちらつきの周期、位相を検出する手段と、その検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしたもので、各画素の蓄積時間を揃えたり、映像信号そのものを補正したりするようなことなく、イメージセンサによって撮影した画像をビデオ表示する際のフリッカの発生を簡単に、かつ有効に抑制できるという利点を有している。
【図面の簡単な説明】
【図１】 イメージセンサにおける画素要素となる光センサ回路の基本的な回路構成を示す電気回路図である。
【図２】 完全対数出力特性をもった光センサ回路におけるフォトダイオードに流れるセンサ電流に対するセンサ信号の出力特性を示す図である。
【図３】 対数出力特性をもった光センサ回路において残像抑制のための初期化手段をとったときのフォトダイオードに流れるセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】 初期化手段をとる光センサ回路における各部信号のチイムチャートである。
【図５】 完全対数出力特性をもった光センサ回路におけるセンサ電流に対するセンサ信号が収束するまでに必要な時間の特性を示す図である。
【図６】 光センサ回路を画素単位に用いたイメージセンサの一構成例を示すブロック図である。
【図７】 図６に示すイメージセンサにおける各部信号のタイムチャートである。
【図８】 本発明によるフリッカ抑制手段を講じたイメージセンサの一構成例を示すブロック図である。
【図９】 本発明によるフリッカ抑制手段を講じたイメージセンサの他の構成例を示すブロック図である。
【図１０】 光センサ回路における各トランジスタのＰＮ接合部がフォトダイオードとして機能するときの等価回路を示す電気回路図である。
【図１１】 光センサ回路における出力用トランジスタのＰＮ接合部が光検出用のフォトダイオードとして機能するときの等価回路を示す電気回路図である。
【図１２】 ＣＭＯＳプロセスによって形成される光センサ回路における各トランジスタ部分の構成を簡略的に示す正断面図である。
【図１３】 照明光ちらつき状態検出回路の具体的な一構成例を示すブロック図である。
【図１４】 図１３に示す照明光ちらつき状態検出回路における各部信号のタィムチャートである。
【図１５】 照明光ちらつき状態検出回路の具体的な他の構成例を示すブロック図である。
【符号の説明】
Ｑ１ 対数特性変換用トランジスタ
Ｑ２ 増幅用トランジスタ
Ｑ３ 出力用トランジスタ
ＰＤ フォトダイオード（光電変換素子）
Ｃ 寄生容量
ＰＤ２ ＰＮ接合部の光検出用フォトダイオード
７ 照明用光源
９ 対物レンズ
１０ イメージセンサ本体
１１ レンズ
１２ フォトセンサ
１３ 照明光ちらつき状態検出回路
１５ フレームメモリ
１６ ハーフミラー
【産業上の利用分野】
本発明は、入射光量に応じて光電変換素子に流れる光電流に応じて、その光電変換素子の寄生容量に電荷の蓄積を行ってセンサ信号を出力するセンサ回路を画素単位に用いたイメージセンサに係り、特に照明用光源のちらつきによるフリッカを抑制するようにしたイメージセンサに関する。
【０００２】
【従来の技術】
【０００３】
イメージセンサの画素単位に用いられる光センサ回路として、ダイナミックレンジを広げるべく、トランジスタのサブスレッショルド領域の特性を利用し、光検知時の入射光量に応じてフォトダイオードに流れるセンサ電流を弱反転状態で対数特性をもって電圧信号に変換するようにした対数出力型のイメージセンサが開発されている（特開平５−２１９４４３号公報、特開平７−４６４８１号公報参照）。
【０００４】
また、その対数変換特性をもった光センサ回路にあって、フォトダイオードの寄生容量の残留電荷に起因する残像を抑制するべく、光検知に先がけて対数変換用のトランジスタのドレイン電圧を定常よりも低い値に切り換えて電荷が残留している寄生容量を放電させて初期化する手段をとるようにしたものが開発されている（特開２０００−３２９６１６公報参照）。
【０００５】
このような入射光に応じて光電変換素子に流れる光電流に応じてその光電変換子の寄生容量に電荷の蓄積を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにあっては、蛍光灯などの照明用光源のちらつき（電源周波数に応じた点滅）に各画素が追従して反応してしまい、その撮影画像をビデオ表示する場合に、照明用光源のちらつきの周期とビデオ表示レートとの違いからフリッカを生じてしまう。
【０００６】
その際、イメージセンサにおける各画素からそれぞれセンサ信号を読み出した時点での照明用光源の明るさが支配的となる。例えば、５０Ｈｚの商用電源で駆動している蛍光灯は、１／（２×５０Ｈｚ）の周期で点滅している。一方、ビデオ表示レートは１フレームの周期で１／６０Ｈｚである。その蛍光灯のちらつきの周期とビデオレートの周期との最小公倍数０．０５がフリッカの周期Ｔとなり、１／Ｔ＝２０Ｈｚで画面に映し出される画像にフリッカが生じてしまう。
【０００７】
このような入射光に応じて電荷の蓄積動作を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサでは、各画素の蓄積時間を揃えることで照明用光源のちらつきに起因するフリッカの影響を除去することが可能である。例えば、電子シャッタの場合、商用電源５０Ｈｚの光源に対して、電子シャッタの開放時間を１／１００秒とすることで、蓄積電荷量を同じにして映像に生ずるフリッカを低減することができる。
【０００８】
しかし、このような電子シャッタの制御手段をとるのでは、フリッカ抑制のための構成が複雑になってしまう。
【０００９】
また、従来、固体撮像素子を用いたビデオカメラにあって、照明用光源のちらつきの周期、位相などを検出することによって照明用光源の情報を得て、その情報にもとづいて映像信号を補正することによってフリッカの発生を抑制するようにしている（特開平５−１１５０２４号公報、特開２００１−８６４０１号公報参照）。
【００１０】
しかし、照明用光源のちらつき状態を検出し、その検出したちらつき状態の情報を用いてフリッカを抑制するように映像信号そのものを補正するのでは、そのための構成が複雑になってしまう。また、フリッカの抑制を充分に行わせるためには、その映像信号の補正手段が複雑なものになってしまう。
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、入射光に応じて光電変換素子に流れる光電流に応じてその光電変換素子の寄生容量に電荷の蓄積を行ってセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにあって、照明用光源のちらつきに起因して画面に映し出される撮影画像に生ずるフリッカを抑制するために、電子シャッタの制御手段を用いて各画素の蓄積時間を揃えるようにしたり、照明用光源のちらつき状態を検出して、その検出されたちらつき状態の情報を用いてフリッカを抑制するように映像信号を補正したりするのでは、フリッカ抑制のための構成が複雑になってしまうことである。
【００１２】
【課題を解決するための手段】
本発明は、撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、各画素の蓄積時間を揃えたり、映像信号そのものを補正したりするようなことなく、簡単にフリッカを抑制できるようにするべく、光センサ回路におけるセンサ信号出力用トランジスタのＰＮ接合部に照明用光源からの光が入射することによって生ずる光電流を光検知信号として、その光検知信号の変化から照明用光源のちらつきの周期、位相を検出する手段と、その検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしている。
【００１３】
【実施例】
図１は、本発明のイメージセンサにおける画素要素となる光センサ回路の基本的な構成を示している。
【００１４】
その光センサ回路は、入射光Ｌｓの光量に応じたセンサ電流を生ずるフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄをハイインピーダンスをもって増幅するトランジスタＱ２と、画信号読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｓｏを出力するトランジスタＱ３とによって構成されている。図中、ＣはフォトダイオードＰＤの接合容量、配線容量などからなる寄生容量である。
【００１５】
トランジスタＱ１の対数動作としては、以下のとおりである。
【００１６】
いま、トランジスタＱ１のゲート電圧ＶＧを一定に固定して、トランジスタＱ１を弱反転状態で動作させると、入射光Ｌｓによって生じた電荷がトランジスタＱ１のサブスレッショルド領域でドレインＤに排出されるため、図２に示すように、入射光量に応じたセンサ電流に対する電圧値に規定されたセンサ出力の関係が完全な対数出力特性を示すようになる。
【００１７】
このようなものでは、入射光量が少ない場合、トランジスタＱ１の抵抗値は対数的に上昇するために電荷の放電速度が遅くなり、残留電荷による容量性の残像が生じてしまう。その場合、暗い背景に動く輝点があると尾を引く現象が顕著となる。
【００１８】
図２の特性にあって、Ａは明から暗になったときに残像が生じやすい領域を示している。
【００１９】
そこで、各光検知の周期ごとに、光検知に先がけて、トランジスタＱ１のドレイン電圧ＶＤを定常よりも低い値に一時的に切り換えて光電変換素子ＬＥの寄生容量Ｃに電荷を注入させるようにすると、残留電荷の上に大量の新たな電荷が注入されることになる。
【００２０】
そして、電荷が残留している寄生容量を放電させて初期化を行わせた後、ドレイン電圧ＶＤをもとの定常値に戻すと、その時点から直ちに入射光Ｌｓの光量に応じた電荷の蓄積が行われて、残像の発生が抑制されることになる。
【００２１】
このような初期化手段をとる光センサ回路にあっては、図３に示すように、入射光量に応じて光電変換素子ＬＥに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときには光電変換素子ＬＥの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００２２】
図３に示す特性にあって、入射光量の少ないＷＡの領域では対数特性が失われるが、残像が生ずることがなくなる。
【００２３】
図４は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光検知のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、Ｔは光電変換素子ＬＥの寄生容量Ｃの蓄積期間を示している。
【００２４】
図５は、図２に示す完全対数出力特性をもった光センサ回路におけるセンサ電流に対するセンサ信号が収束するまでに必要な時間の特性を示している。
【００２５】
この図５の特性からして、撮影時の照明光が明るくてフォトダイオードＰＤに流れるセンサ電流が多ければ、高速にセンサ信号を確立することができることがわかる。
【００２６】
また、初期化手段をとる光センサ回路にあっても、図３に示す対数応答領域ＷＢでは先のセンサ電流に対するセンサ信号の収束時間の関係が成り立つ。すなわち、撮影時の照明光が明るくてフォトダイオードＰＤに流れるセンサ電流が多ければ、高速にセンサ信号を確立することができるようになる。
【００２７】
したがって、このような光センサ回路を画素に用いたイメージセンサによって、蛍光灯による照明用光源のもとで撮影を行うに際して、照明用光源がその電源周波数に応じて点滅しているときの最も明るいタイミングで各画素のセンサ信号をとり込むことにより、高速で画像を確立することが可能になり、フリッカの発生を有効に抑制することができる。
【００２８】
図６は、光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号Ｓｏの時系列的な読出し走査を行わせるようにしたイメージセンサの構成例を示している。
【００２９】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によって制御スイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｓｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。ここでは、出力側に基準抵抗Ｒを介してバイアス電圧Ｖｂを印加することによって各画素のセンサ信号Ｓｏを電圧信号Ｖｏとしてとり出すようにしている。
【００３０】
そして、このようなイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００３１】
このように構成されたイメージセンサの動作について、図７に示す各部信号のタイムチャートとともに、以下説明をする。
【００３２】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３３】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３４】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３５】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３６】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３７】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号Ｖｏの読出しにそなえる。
【００３８】
図中、Ｔ４は各画素からセンサ信号の読み出しを行わない入射光に応じた電荷の蓄積期間である。
【００３９】
以上のような各部信号の発生のタイミングは、図示しないＥＣＵの制御下で画素列選択回路１、画素選択回路２および電圧切換回路６の駆動を行わせることによって決定されるようになっている。
【００４０】
このように、各画素のセンサ信号Ｓｏの読出し走査に応じた適切なタイミングをもって各画素の初期化を行わせることによって、イメージセンサ全体としての蓄積時間の過不足を低減できるようになる。
【００４１】
そして、残像がなく、ダイナミックレンジの広い対数出力特性をもったイメージセンサが実現できるようになる。
【００４２】
図８は、本発明によるフリッカ抑制手段を講じたイメージセンサの一構成例を示している。
【００４３】
ここでは、蛍光灯などの光源７によって照明されている被写体８を対物レンズ９を通してイメージセンサ本体１０によって撮影するに際して、そのときの照明光を別途設けたレンズ１１を通してフォトセンサ１２によって検知し、その照明光の光量に応じた光検知信号を照明光ちらつき状態検出回路１３に与えて、光源７のちらつきの周期、位相を検出する。その検出された光源７のちらつきの周期、位相のデータをイメージセンサ本体１０の駆動制御を行うＥＣＵ１４に与えて、光源７による照明光が最も明るくなるタイミングをわり出す。そして、ＥＣＵ１４の制御下において、照明光が最も明るくなるタイミングをもって、イメージセンサ本体１０から各画素のセンサ信号を読み出すようになっている。
【００４４】
具体的には、ＥＣＵ１４によってイメージセンサ本体１０における画素列選択回路１の駆動制御を行わせることになる。
【００４５】
照明光が最も明るくなるタイミングをもってイメージセンサ本体１０における各画素から読み出されるセンサ信号はビデオ表示レートと同期しているわけではなく、そのため各画素から読み出されるセンサ信号をいったんフレームメモリ１５に格納したうえで、ビデオ表示レートに合せて読み出すことができるようにしている。
【００４６】
具体的に、光源７が商用周波数５０Ｈｚで駆動されている場合には、イメージセンサ本体１０における各画素のセンサ信号は１０ｍＳごとのタイミングで読み出されることになるため、ビデオ表示レート１／３０（１／６０）秒とは同期することができない。そのため、イメージセンサ本体１０から読み出される各画素の画情報をいったんＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに格納したうえで、タイミングジェネレータからのビデオ表示レートに即した読出し信号に応じて画情報を読み出してビデオ装置側へ送出するようにする。
【００４７】
また、図９は、本発明によるフリッカ抑制手段を講じたイメージセンサの他の構成例を示している。
【００４８】
ここでは、特に、照明光の光検知系統のレンズを別途に設けることなく、対物レンズ９を通した光をハーフミラー１６を介してフォトセンサ１２に与えるようにしている。
【００４９】
また、照明用光源からの光を検知するためのフォトセンサを別途設けることなく、イメージセンサにおける各画素の光センサ回路におけるＭＯＳ型のトランジスタＱ１〜Ｑ３のＰＮ接合部が基本的にフォトダイオードと同等の特性を有することに着目して、撮影時の入射光による電荷の蓄積期間中（センサ信号の非出力時）にそのトランジスタのＰＮ接合部に光が入射することによって生ずる光電流の変化から照明用光源のちらつきの周期、位相を検出するようにすることも可能である。
【００５０】
図１０は、光センサ回路におけるトランジスタＱ１〜Ｑ３のＰＮ接合部が光検出用のフォトダイオードＰＤ１〜ＰＤ５として機能するときの等価回路を示している。
【００５１】
ここで、実際には、イメージセンサにおける各画素のトランジスタＱ１〜Ｑ３が誤動作しないように、フォトダイオードＰＤの部分以外に遮光を施すのが一般的である。しかし、その場合完全な遮光を施すことは困難であり、僅かながら光がフォトダイオードＰＤの部分以外に入射してしまう。
【００５２】
このことは、インターライン方式のＣＣＤカメラなどでは特に問題となるが、ＭＯＳ型イメージセンサではフォトダイオードＰＤの部分以外に光が入射しても各画素のセンサ信号を読み出すのに問題はない。その際、光が弱ければ、トランジスタＱ３は充分なオフ特性を維持することができる。
【００５３】
また、標準のＣＭＯＳプロセスではＣＣＤプロセスで用いるほどの遮光を施すことができない。したがって、ＣＭＯＳプロセスにおいてフォトダイオードＰＤの部分以外に遮光を施してもそれが不完全となって、フォトダイオードＰＤの部分以外に僅かながら光が入射してしまうことになる。
【００５４】
基本的に、フォトダイオードＰＤ１〜ＰＤ５のうちの何れかに流れる光電流を検出すればよいが、その場合、特に図１１に示すように、トランジスタＱ３の出力側のＰＮ接合部のフォトダイオードＰＤ２を用いて光電流を検出するようにすれば、特にその光電流の検出回路を設けることなく、センサ信号Ｓｏの出力側にその光電流の検出信号をとり出すことができるようになる。そして、例えば、イメージセンサから時系列的に読み出される各画素の出力信号を読み取って量子化する画情報読取回路（図示せず）において、ＥＣＵの制御下で、トランジスタＱ３のオフ期間中にフォトダイオードＰＤ２に流れる光電流に応じた信号を読み取ることにより、光量や光の点滅周期などを検出することができるようになる。
【００５５】
図１２は、ＣＭＯＳプロセスによって形成される光センサ回路におけるトランジスタＱ１〜Ｑ３およびフォトダイオードＰＤ、ＰＤ２部分の構成を簡易的に示している。
【００５６】
画素をｍ×ｎのマトリクス状に配設したイメージセンサにあって、全面に均一な光が入射している場合、ＥＣＵの制御下において、画素列選択回路１がどの画素列も選択しないようにしたうえで、画素選択回路２によって全てのラインの各画素におけるフォトダイオードＰＤ２に流れる光電流に応じた信号を同時に出力させることにより、１画素の場合のｍ×ｎ倍の大きさの信号をとり出すことができるようになる。
【００５７】
また、センサ信号の出力時にトランジスタＱ３がオン状態になると、フォトダイオードＰＤに流れる光電流に応じたセンサ信号にフォトダイオードＰＤ２に流れる光電流に応じた信号が重畳されることになるが、トランジスタＱ２で増幅されたセンサ信号が支配的となって、それに重畳されるフォトダイオードＰＤ２に流れる光電流が微少となって各画素のセンサ信号に影響を与えることがない。
【００５８】
照明光ちらつき状態検出回路１３としては、例えば、照明用光源の光検知信号をしきい値を用いて２値化し、その２値化された光検知信号を周波数・電圧変換したうえでＡＤ変換して照明用光源のちらつきの周期を検出し、そのちらつきの周波数と２値化された光検知信号の周波数とが最も一致する位相を検出するようにする。
【００５９】
図１３は、その場合における照明光ちらつき状態検出回路１３の具体的な構成例を示している。
【００６０】
ここでは、蛍光灯などの光源からの照明光を検知するフォトセンサ１２の出力をバンドパスフィルタ１３１に通して必要な周波数成分を抽出する。実際の光源のちらつきは電源周波数の２倍であり、電源周波数が５０Ｈｚの場合にはバンドパスフィルタ１３１によって１００Ｈｚの帯域の信号を抽出することになる。
【００６１】
次いで、そのパンドパスフィルタ１３１を通過した信号をコンパレータ１３２に与えて、そこで予め定められたしきい値をもって２値化する。そして、その２値化信号を周波数・電圧変換器１３３において電圧信号に変換したうえで、Ａ・Ｄ変換器１３５においてデジタル変換する。それにより、光源のちらつきの周期（周波数）がデジタル的に得られる。
【００６２】
その際、周波数・電圧変換器１３３とＡ・Ｄ変換器１３５との間にローパスフィルタ１３４を設けることによって、周波数の変動を吸収することができるようになる。さらに、Ａ・Ｄ変換器１３５の出力をまるめ処理（四捨五入）することによって、光源のちらつきの周波数を限定できるようになる。
【００６３】
次いで、そのデジタル値を位相比較回路１３６に与えて、そこでコンパレータ１３２によって２値化された信号のタイミングを調整すると、光源の明るさが最大となるタイミングを得ることができ、光源のちらつきの位相を検出できるようになる。その際、コンパレータ１３２の２値化出力には光源の光量変動によるノイズによるジッタが多分に含まれているため、タイミング調整部分では位相を比較することによって最も位相が揃うタイミングが採用される。
【００６４】
図１４は、そのときの照明光ちらつき状態検出回路１３における各部信号のタイムチャートを示している。図中、（ａ）はフォトセンサ１２の出力信号を、（ｂ）はバンドパスフィルタ１３１の通過信号を、（ｃ）はコンパレータ１３２の２値化信号を、（ｄ）は光源のちらつきの周波数と位相の検出信号をそれぞれ示している。（ｂ）中、ＳＬはしきい値である。
【００６５】
照明光ちらつき状態検出回路１３をこのように構成することによって、ノイズが混入した信号から必要な信号を抽出するのと異なり、基準信号との一致を比較することになるので、外乱光に強い処理を行うことができるようになる。
【００６６】
また、照明光ちらつき状態検出回路１３として、照明用光源の光検知信号をＡＤ変換したうえで周波数解析して照明用光源のちらつきの周期を検出し、その検出したちらつきの周期から帯域フィルタの通過周波数に設定して光検知信号のちらつき成分のみをとり出し、そのちらつき成分の信号と照明用光源のちらつきの周期とが最も一致する位相を検出するようにしてもよい。
【００６５】
図１５は、その場合における照明光ちらつき状態検出回路１３の具体的な構成例を示している。
【００６６】
ここでは、フォトセンサ１２の出力信号をＡ・Ｄ変換器１３５によってデジタル信号に変換したうえで、その変換されたデジタル信号をＦＦＴ１３７に与えて周波数解析することによって、照明用光源の主要なちらつきの周波数を検出する。
【００６７】
次いで、その検出したちらつき周波数をバンドパスフィルタ（デジタルフィルタ）１３８における通過周波数として設定して、照明用光源のちらつきの周波数成分のみをとり出す。そして、位相比較回路１３６において、バンドパスフィルタ１３８によってとり出したちらつき周波数の信号とＦＦＴ１３７から出力するちらつき周波数の信号とが最も一致する位相の検出を行う。そして、タイミング調整回路１３９において、位相比較回路１３６から与えられる位相の検出信号をロックタイミング情報として、ＦＦＴ１３７からのちらつき周波数をもとにしてトリガのタイミングを調整して、照明用光源の明るさが最大となるタイミングでイメージセンサにおける各画素のセンサ信号を読み出すためのトリガ信号として出力するようになっている。
【００６８】
このように、本発明によれば、蛍光灯などの照明用光源のちらつきの周期および位相を検出して、その光源の光量が最大となる時点でイメージセンサおける各画素のセンサ信号の読出しの走査を高速で行わせるようにしており、そのイメージセンサによって撮影した画像をビデオ表示する際におけるフリッカの発生を有効に抑制できるようになる。
【００６９】
そして、照明用光源の光量が最大となる時点で撮影画像を得るようにしているので、最も明るい画像を得ることができるようになる。
【００７０】
なお、設定によっては、照明用光源の光量が最小となる時点でイメージセンサおける各画素のセンサ信号を読み出すようにしても、フリッカの発生を有効に抑制できるようになる。
【００７１】
【効果】
以上、本発明は、撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、その光センサ回路におけるセンサ信号出力用トランジスタのＰＮ接合部に照明用光源からの光が入射することによって生ずる光電流を光検知信号として、その光検知信号の変化から照明用光源のちらつきの周期、位相を検出する手段と、その検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしたもので、各画素の蓄積時間を揃えたり、映像信号そのものを補正したりするようなことなく、イメージセンサによって撮影した画像をビデオ表示する際のフリッカの発生を簡単に、かつ有効に抑制できるという利点を有している。
【図面の簡単な説明】
【図１】 イメージセンサにおける画素要素となる光センサ回路の基本的な回路構成を示す電気回路図である。
【図２】 完全対数出力特性をもった光センサ回路におけるフォトダイオードに流れるセンサ電流に対するセンサ信号の出力特性を示す図である。
【図３】 対数出力特性をもった光センサ回路において残像抑制のための初期化手段をとったときのフォトダイオードに流れるセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】 初期化手段をとる光センサ回路における各部信号のチイムチャートである。
【図５】 完全対数出力特性をもった光センサ回路におけるセンサ電流に対するセンサ信号が収束するまでに必要な時間の特性を示す図である。
【図６】 光センサ回路を画素単位に用いたイメージセンサの一構成例を示すブロック図である。
【図７】 図６に示すイメージセンサにおける各部信号のタイムチャートである。
【図８】 本発明によるフリッカ抑制手段を講じたイメージセンサの一構成例を示すブロック図である。
【図９】 本発明によるフリッカ抑制手段を講じたイメージセンサの他の構成例を示すブロック図である。
【図１０】 光センサ回路における各トランジスタのＰＮ接合部がフォトダイオードとして機能するときの等価回路を示す電気回路図である。
【図１１】 光センサ回路における出力用トランジスタのＰＮ接合部が光検出用のフォトダイオードとして機能するときの等価回路を示す電気回路図である。
【図１２】 ＣＭＯＳプロセスによって形成される光センサ回路における各トランジスタ部分の構成を簡略的に示す正断面図である。
【図１３】 照明光ちらつき状態検出回路の具体的な一構成例を示すブロック図である。
【図１４】 図１３に示す照明光ちらつき状態検出回路における各部信号のタィムチャートである。
【図１５】 照明光ちらつき状態検出回路の具体的な他の構成例を示すブロック図である。
【符号の説明】
Ｑ１ 対数特性変換用トランジスタ
Ｑ２ 増幅用トランジスタ
Ｑ３ 出力用トランジスタ
ＰＤ フォトダイオード（光電変換素子）
Ｃ 寄生容量
ＰＤ２ ＰＮ接合部の光検出用フォトダイオード
７ 照明用光源
９ 対物レンズ
１０ イメージセンサ本体
１１ レンズ
１２ フォトセンサ
１３ 照明光ちらつき状態検出回路
１５ フレームメモリ
１６ ハーフミラー
Claims (3)
- 撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、該光センサ回路におけるセンサ信号出力用トランジスタのＰＮ接合部に照明用光源からの光が入射することによって生ずる光電流を光検知信号として、その光検知信号の変化から照明用光源のちらつきの周期、位相を検出する手段と、その検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしたことを特徴とするイメージセンサ。
- 撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、照明用光源からの光をフォトセンサによって検知した後しきい値を用いて２値化し、その２値化された光検知信号を周波数・電圧変換したうえでＡＤ変換して照明用光源のちらつきの周期を検出し、そのちらつきの周波数と２値化された光検知信号の周波数とが最も一致する位相を検出するようにする手段と、検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしたことを特徴とするイメージセンサ。
- 撮影時の入射光に応じて光電変換素子に流れる光電流に応じたセンサ信号を出力する光センサ回路を画素に用いたイメージセンサにおいて、照明用光源からの光をフォトセンサによって検知し、検知した光検知信号をＡＤ変換したうえで周波数解析して照明用光源のちらつきの周波数を検出し、そのちらつきの周波数をバンドパスフィルタの通過周波数に設定して光検知信号のちらつき成分のみをとり出し、そのちらつき成分の信号と照明用光源のちらつきの周期とが最も一致する位相を検出するようにする手段と、検出した照明用光源のちらつきの周期、位相から照明用光源の光が最も明るくなるタイミングをわり出して、そのタイミングでイメージセンサにおける各画素のセンサ信号を読み出す手段とを設けるようにしたことを特徴とするイメージセンサ。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302357A JP3803924B2 (ja) | 2002-09-09 | 2002-09-09 | イメージセンサ |
| AU2003264361A AU2003264361A1 (en) | 2002-09-09 | 2003-09-01 | Image sensor |
| PCT/JP2003/011139 WO2004023798A1 (ja) | 2002-09-09 | 2003-09-01 | イメージセンサ |
| US11/077,137 US7679654B2 (en) | 2002-09-09 | 2005-03-07 | Detecting phase and frequency of light source flicker and driving image sensor in phase when light source flicker is brightest |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302357A JP3803924B2 (ja) | 2002-09-09 | 2002-09-09 | イメージセンサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004104741A JP2004104741A (ja) | 2004-04-02 |
| JP3803924B2 true JP3803924B2 (ja) | 2006-08-02 |
Family
ID=31973474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002302357A Expired - Fee Related JP3803924B2 (ja) | 2002-09-09 | 2002-09-09 | イメージセンサ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7679654B2 (ja) |
| JP (1) | JP3803924B2 (ja) |
| AU (1) | AU2003264361A1 (ja) |
| WO (1) | WO2004023798A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5005179B2 (ja) | 2005-03-23 | 2012-08-22 | ソニー株式会社 | 固体撮像装置 |
| JP2007336470A (ja) * | 2006-06-19 | 2007-12-27 | Sony Corp | 撮像装置及び撮像方法 |
| JP2008054292A (ja) * | 2006-07-28 | 2008-03-06 | Matsushita Electric Ind Co Ltd | 位相調整装置および位相調整方法 |
| US20100060723A1 (en) * | 2006-11-08 | 2010-03-11 | Nec Corporation | Display system |
| US7605359B2 (en) * | 2007-09-14 | 2009-10-20 | Omnivision Technologies, Inc. | Light source frequency detection circuit for image sensor |
| JP2009077057A (ja) * | 2007-09-19 | 2009-04-09 | Olympus Imaging Corp | 撮像装置、撮像装置の制御方法 |
| US7847834B2 (en) * | 2007-11-19 | 2010-12-07 | Omnivision Technologies, Inc. | Light source frequency detection circuit using bipolar transistor |
| JP2010103746A (ja) * | 2008-10-23 | 2010-05-06 | Hoya Corp | 撮像装置 |
| JP5212170B2 (ja) * | 2009-02-25 | 2013-06-19 | 株式会社ニコン | 撮像装置 |
| US8599281B2 (en) * | 2009-09-02 | 2013-12-03 | Broadcom Corporation | Apparatus for anti color rolling |
| NO331527B1 (no) * | 2009-12-23 | 2012-01-23 | Cisco Systems Int Sarl | Metode for a fjerne flimring i videoopptak |
| US8330829B2 (en) | 2009-12-31 | 2012-12-11 | Microsoft Corporation | Photographic flicker detection and compensation |
| CZ303282B6 (cs) * | 2010-11-08 | 2012-07-11 | Vysoké ucení technické | Zpusob regulace doby spuštení uzáverky fotoaparátu a zarízení pro provádení tohoto zpusobu |
| JP5720382B2 (ja) * | 2011-04-06 | 2015-05-20 | 株式会社リコー | 撮像装置 |
| WO2013040058A1 (en) * | 2011-09-12 | 2013-03-21 | Jian Guo | Imaging fluorescence or luminescence lifetime |
| WO2020079946A1 (ja) * | 2018-10-17 | 2020-04-23 | コニカミノルタ株式会社 | フリッカ測定装置、フリッカ測定方法、フリッカ測定プログラム、フリッカ評価支援装置、フリッカ評価支援方法およびフリッカ評価支援プログラム |
| EP3930312B8 (en) * | 2020-06-26 | 2023-10-25 | Alpsentek GmbH | Delta image sensor with digital pixel storage |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4605952A (en) * | 1983-04-14 | 1986-08-12 | Rca Corporation | Compatible HDTV system employing nonlinear edge compression/expansion for aspect ratio control |
| JP3077034B2 (ja) * | 1990-07-25 | 2000-08-14 | セイコーインスツルメンツ株式会社 | 半導体イメージセンサ装置 |
| JPH05115024A (ja) | 1991-10-22 | 1993-05-07 | Hitachi Ltd | 蛍光灯フリツカ抑圧固体撮像装置 |
| JPH05219443A (ja) | 1992-02-05 | 1993-08-27 | Minolta Camera Co Ltd | 固体撮像装置 |
| JPH05316430A (ja) * | 1992-05-11 | 1993-11-26 | Mitsubishi Electric Corp | 撮像装置及び撮像素子 |
| JPH06209427A (ja) * | 1993-01-11 | 1994-07-26 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
| JPH0746481A (ja) | 1993-07-29 | 1995-02-14 | Minolta Co Ltd | 固体撮像装置 |
| JP3087684B2 (ja) * | 1997-06-02 | 2000-09-11 | 日本電気株式会社 | 画像読取装置 |
| US6295085B1 (en) * | 1997-12-08 | 2001-09-25 | Intel Corporation | Method and apparatus for eliminating flicker effects from discharge lamps during digital video capture |
| JP2000244822A (ja) * | 1999-02-22 | 2000-09-08 | Matsushita Electric Ind Co Ltd | フリッカ補正方法及び回路とこのフリッカ補正回路を構成するテレビカメラ装置 |
| JP3278716B2 (ja) * | 1999-05-18 | 2002-04-30 | 本田技研工業株式会社 | 光センサ回路 |
| JP4269427B2 (ja) | 1999-09-16 | 2009-05-27 | ソニー株式会社 | 撮像装置およびフリッカ補正回路 |
| CA2322593C (en) * | 1999-10-08 | 2004-02-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detection and correction of illumination flicker |
| JP3370979B2 (ja) * | 2000-09-08 | 2003-01-27 | 三菱電機株式会社 | 撮像装置および自動レベル調整方法 |
| JP4608766B2 (ja) * | 2000-11-27 | 2011-01-12 | ソニー株式会社 | 固体撮像素子の駆動方法、及びカメラ |
| US7187405B2 (en) * | 2001-10-02 | 2007-03-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Automatic flicker frequency detection device and method |
-
2002
- 2002-09-09 JP JP2002302357A patent/JP3803924B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-01 AU AU2003264361A patent/AU2003264361A1/en not_active Abandoned
- 2003-09-01 WO PCT/JP2003/011139 patent/WO2004023798A1/ja active Application Filing
-
2005
- 2005-03-07 US US11/077,137 patent/US7679654B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7679654B2 (en) | 2010-03-16 |
| AU2003264361A1 (en) | 2004-03-29 |
| WO2004023798A1 (ja) | 2004-03-18 |
| US20050225649A1 (en) | 2005-10-13 |
| JP2004104741A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3803924B2 (ja) | イメージセンサ | |
| KR100709543B1 (ko) | 플리커 검출 가능한 촬상 장치 | |
| US6452633B1 (en) | Exposure control in electronic cameras by detecting overflow from active pixels | |
| US7692713B2 (en) | Solid state image pickup device and camera utilizing a maximum value signal corresponding to a predetermined carrier-accumulation end level | |
| CN101959009B (zh) | 图像处理设备 | |
| US10939046B2 (en) | LED flicker mitigation for motion pictures | |
| JP2009514294A (ja) | イメージセンサ | |
| US7202897B2 (en) | Solid-state image pickup exposure control system and method | |
| US20090086054A1 (en) | Image pickup apparatus and control method therefor | |
| JP4253908B2 (ja) | 固体撮像素子およびその駆動方法、並びに固体撮像素子の信号処理方法 | |
| JP2005039447A (ja) | 撮像装置 | |
| JP3882129B2 (ja) | イメージセンサの出力補正装置 | |
| JPS63308484A (ja) | 固体撮像装置 | |
| EP1549046A2 (en) | Solid-state imaging device, digital camera and digital video camera | |
| WO2002052843A1 (fr) | Processeur d'images | |
| JP4292628B2 (ja) | 固体撮像装置 | |
| JP2004140767A (ja) | イメージセンサ | |
| JP3823919B2 (ja) | 撮像装置 | |
| JP2003323608A (ja) | イメージセンサの出力補正装置 | |
| JP2003189190A (ja) | イメージセンサ | |
| JP5533059B2 (ja) | 撮像装置 | |
| JP4648777B2 (ja) | 光センサ回路およびイメージセンサ | |
| JP4026127B2 (ja) | イメージセンサの出力補正装置 | |
| JP4658388B2 (ja) | イメージセンサの出力補正装置 | |
| JP2004304378A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |