JP3878613B2

JP3878613B2 - イメージセンサ及び該センサを用いた画像信号処理装置

Info

Publication number: JP3878613B2
Application number: JP2004061540A
Authority: JP
Inventors: 淳太田; 崇徳田; 景一郎香川
Original assignee: 国立大学法人奈良先端科学技術大学院大学
Priority date: 2004-03-05
Filing date: 2004-03-05
Publication date: 2007-02-07
Anticipated expiration: 2024-03-05
Also published as: JP2005252743A

Description

本発明は、撮影対象物から到来する光の強度を検出して電気信号として出力するイメージセンサ、及びこのイメージセンサを用いた画像信号処理装置に関する。

現在実用化されているイメージセンサの方式には、大別して、ＣＣＤ方式とＣＭＯＳ方式とがある。この両者は主として画素信号を読み出す際の構造及び動作に相違があるが、光強度を電気信号に変換する際には、いずれも、一定時間（通常数〜数十msec）内に画素内受光素子に生じたフォトキャリア（光電荷）を蓄積し、その蓄積電荷量を直接的又は間接的に検出するという動作を行うのが一般的である。従来、感度の高さや高密度化などに有利であるＣＣＤ方式が主流であったが、最近は、低消費電力化に有利であるとともに後段の画像処理回路等との１チップ化などに適したＣＭＯＳ方式も注目されている。

こうしたＣＭＯＳ型のイメージセンサについて、従来から知られている光強度検出方式を図１２及び図１３を参照しながら説明する（非特許文献１など参照）。

（１）アクティブピクセルセンサ（ＡＰＳ）方式
まずＰＮ接合ダイオード（フォトダイオード）に或る時点で一定の逆電圧を印加することで、フォトダイオード電位を所定のリセット電位Ｖresにリセットする。その後、フォトダイオードに光が入射するとフォトキャリアが発生し、電流が流れることによって放電してフォトダイオード電位が下がってゆく。このときに流れる放電電流は入射光の強度に依存するから、入射光強度が大きいほど電位の低下速度は大きくなる。そこで、図１２に示すように、リセット終了時点から或る一定時間ｔ１が経過した時点でのフォトダイオード電位Ｖ１（又はＶ１’）を検出し、リセット電位Ｖresからの減少量（放電量）を得る。この電位の減少量が入射光強度を反映した輝度信号となる（図１３（ａ）参照）。この方法では、フォトダイオード電位をリセットしてからその電位の減少量を検出するまでの時間（つまり電荷蓄積時間）ｔ１を長くすれば、入射光が微弱であっても検出時の電位差が大きくなるので検出感度を上げることが可能である。しかしながら、その場合、強い光が入射している画素では検出限界（通常フォトダイオード構造の飽和電荷量で決まる）を越えてしまうため、実際には電荷蓄積時間をあまり長くすることはできず、それによってダイナミックレンジが制約を受ける。

（２）パルス幅変調（ＰＷＭ）方式
この方式ではＡＰＳ方式のようにリセット時点から一定時間後の電位を検出するのではなく、フォトダイオード電位が所定のリセット電位Ｖresにリセットされてから所定の基準電位Ｖrefに下がるまでの時間をパルス信号の幅として検出する。したがって、図１２及び図１３（ｂ）に示すように、入射光強度が大きく放電速度が速い場合には時間（パルス幅）ｔ２は短く、入射光強度が微弱で放電速度が遅い場合には時間（パルス幅）ｔ２’は長くなる。この場合には、フォトダイオード電位が基準電位Ｖref以下に下がった後に次のリセットを実行する。この方式では、入射光強度が微弱であるほど電荷蓄積時間が長くなるから、ダイナミックレンジを広げるのに有効である。

（３）パルス周波数変調（ＰＦＭ）方式
基本的にはＰＷＭ方式と同じであるが、例えば各画素毎にフォトダイオード電位が基準電位Ｖrefまで下がったら自動的にリセットを行い、次の放電を開始させる。入射光強度が大きく放電速度が速い場合にはパルス信号の発生頻度が高くなり、入射光強度が微弱で放電速度が遅い場合にはパルス信号の発生は疎らになる。そこで、或る一定時間内に発生するパルス信号の数を計数すると、その計数値が入射光強度を反映した輝度信号となる（図１３（ｃ）参照）。なお、パルス幅変調方式とパルス周波数変調方式とはパルス信号を発生するための基本的な原理は同じであるため、本明細書中ではこの両者を合わせてパルス変調方式と呼ぶこととする。

上述したように、パルス変調方式による検出はダイナミックレンジの拡大に非常に有効であり、例えば生体細胞の蛍光検出等、検出対象の光が非常に微弱であり、しかもその微弱光の変化量に情報を有しているような場合に特に有益である。

しかしながら、一般にパルス変調方式による検出を行う場合、ＡＰＳ方式による検出を行う場合よりも画素を構成する回路の規模が大きくなる。例えば特許文献１に記載の装置では、画素セル内に光電変換部や電荷を蓄積するための記憶回路のほか、コンパレータ、アンド回路、出力回路などを備える。こうした付加的な処理回路を各画素毎に設ける必要があるため、半導体チップ上で１画素の面積に占める受光面の面積の割合が小さくなるという問題がある。その結果、例えば全画素セルに割り当てられた面積が同一であるとすると、パルス変調方式ではＡＰＳ方式よりも画素数が少なくなってしまい、画像分解能が低下してしまうという問題がある。

また、パルス変調方式を採用した従来のイメージセンサでは、上述したように画素セル内の回路構成が従来のＡＰＳ方式の画素セルの回路構成とはかなり変わってしまうため、例えばＡＰＳ方式用に設計された回路構成をパルス変調方式用に簡単に変更することや、例えば簡便な切替え等によって両方式に対応可能であるように変更することは難しいという問題がある。

特許第２８７９６７０号公報太田淳著、「分子シンクロナイゼーションとビジョンチップ」、[Online]、奈良先端科学技術大学院大学物質創成科学研究科光機能素子科学講座、[平成１６年３月１日検索]、インターネット＜URL: http://mswebs.aist-nara.dc.jp/LABs/nunosita-web/research_activity/vision_chip/publish/2002.02.org.pfm-pwm(ohta)digest.pdf＞

本発明はかかる課題に鑑みて成されたものであり、その主たる目的は、パルス変調方式による検出を行うイメージセンサにおいて、各画素セルの光電変換部以外の回路規模を小さくすることによって画素セルの配置密度を高め、画像分解能を向上させることができるイメージセンサ及び該センサを用いた画像信号処理装置を提供することにある。

課題を解決するための手段、及び発明の効果

上記課題を解決するために成された本発明に係るイメージセンサは、
a)ｎ行×ｍ列（ｎ、ｍはともに２以上の整数）の２次元状に配列された複数の画素セルであって、それぞれが、受光した光を電荷信号に変換して蓄積する光電変換部、後記行選択制御回路により選択された状態においてリセット制御信号を受けて前記光電変換部の蓄積電荷による電位を所定電位にリセットする電位リセット部、及び後記行選択制御回路による選択に応じて前記光電変換部による電気信号を出力する出力部、を含む画素セルと、
b)ｎ行のいずれかを選択するための行選択制御回路と、
c)ｍ個の各列毎に設けられた信号変換処理回路であって、対応する列内のｎ個の画素セルにおいて前記出力部を通して出力された電気信号を基準電位と比較することで二値信号に変換する二値変換部、及びその二値信号の値に応じて元の電気信号を得た画素セルの光電変換部の電位をリセットするためのリセット制御信号を生成するリセット信号生成部、を含むｍ個の信号変換処理回路と、
d)該ｍ個の信号変換処理回路で得られる二値信号を順次選択して順番に出力する列選択出力制御回路と、
を備え、前記行選択制御回路により行を選択する毎に、該行に属するｍ個の画素セルに対応して前記信号変換処理回路により得られるｍ個の二値信号を前記列選択出力制御回路により順次選択して出力することで、全ての又は一部の画素セルで受光した光強度に対応した二値信号を時系列的に得るようにしたことを特徴としている。

本発明に係るイメージセンサにおいて、各画素セルは、光電変換部で得られたアナログレベルの電気信号を二値信号に変換するための特別な回路（例えばコンパレータなど）を含まず、そうした回路は２次元状の画素セルアレイの外側に、各列毎に信号変換処理回路として設けられる。

このイメージセンサにより画像信号を取得する際には、行選択制御回路はｎ行を１行ずつ順次選択し、各行に属するｍ個の画素セルを信号読み出し可能及びリセット可能な状態とする。行選択されたｍ個の各画素セル内において、出力部は光電変換部により蓄積された電荷に基づく電気信号を出力して、その画素センサの列の信号変換処理回路へと送る。また、電位リセット部はその画素センサの列の信号変換処理回路から送られて来たリセット制御信号を受けると、光電変換部の蓄積電荷による電位を所定電位にリセットする。一方、ｍ個の各信号変換処理回路では、二値変換部が、上述したように出力部により出力された電気信号を基準電位と比較することでアナログレベルの電気信号を「０」又は「１」の二値信号に変換する。また、リセット信号生成部はその二値信号の値が「０」→「１」又はその逆に変化した後にリセット制御信号を生成して画素セルに送る。具体的に、画素セル内で光電変換部を所定電位にリセットした後に入射光により生成する電流で放電を行って電位を低下させる構成においては、その電位が基準電位に到達するまでは二値信号を「０」とし、基準電位に到達したならば二値信号を「１」に反転する。リセット信号生成部はその反転に応じてリセット制御信号を出して該当画素セルの光電変換部を所定電位に一旦リセットする。

こうして行選択制御回路により或る１行が選択された状態で、ｍ個の信号変換処理回路では列方向のｍ個の二値信号が用意されるから、列選択出力制御回路により各列の二値信号を所定の順番で指定して出力する。行選択制御回路が各行を選択する毎に、上述したような処理を繰り返すことによって、各画素セル内で発生した電気信号を基準電位と比較した結果である二値信号が全画素セルについて得られる。もちろん、必ずしも全画素セルの結果が必要ない場合もあるから、必要に応じて適宜の画素セルに対応した二値信号のみ選択的に得るようにしてもよい。

上述したように本発明に係るイメージセンサでは、各画素セルにはＡＰＳ方式による検出の場合と同程度の回路しか含まない。具体的には、ＣＭＯＳイメージセンサの画素構成として一般的である３トランジスタ（Ｔｒ）構成に１個のトランジスタを追加した４個のトランジスタにより１個の画素回路を構成することができ、パルス変調のための処理回路は画素セル内から除去することができるので、１個毎の画素セルの中での光電変換部の占める割合を増やしながら、１個毎の画素セルサイズを縮小することができる。それによって、例えば従来と同一面積の画素セル配置領域を与えられた場合に、その領域内に配置する画素セルの数を大幅に増加させて、画像分解能を向上させることができる。また、画素セル数を同一とした場合には、画素セル配置領域の面積を縮小してチップ面積を小さくしたり、或いは他の回路を同一チップ上に形成したりすることが容易になる。

さらにまた、本発明に係るイメージセンサによれば、各画素セルの出力部から出力される電気信号は通常のＡＰＳ方式の画素セルと同様のアナログレベルの信号であるため、従来のＡＰＳ方式用に設計されたＣＭＯＳイメージセンサの画素セルを殆どそのまま流用して、その外側に必要な回路を追加することによって本発明に係るイメージセンサを得ることができる。このようにＡＰＳ方式とも整合性が良好であるので、設計・製造にかかるコストを抑制することが可能となる。

また、本発明に係るイメージセンサでは上述したように二値信号が時系列的に（つまりビットストリームとして）得られるが、これをパルス幅変調方式として処理する場合には、画像信号処理装置として、行選択制御手段による行選択を画像のフレームレートよりも高速で行うことによって、２次元状の二値信号を繰り返し取得し、各画素セルに対する時系列的な二値信号をパルス幅変調信号とみなしてデジタル画素信号に変換する構成とすることができる。

他方、時系列的な二値信号をパルス周波数変調方式として処理する場合には、画像信号処理装置として、行選択制御手段による行選択を画像のフレームレートよりも高速で行うことによって、２次元状の二値信号を繰り返し取得し、各画素セルに対する時系列的な二値信号をパルス周波数変調信号とみなしてデジタル画素信号に変換する構成とするとよい。

このように行選択を高速で行いながらイメージセンサから得られる信号を適宜に処理することによって、パルス幅変調方式又はパルス周波数変調方式による信号からデジタル画素信号を得ることができる。なお、こうした信号処理はイメージセンサと同一チップ上又は別のチップ上に形成した専用の信号処理回路によって行うこともできるし、例えばＣＰＵを含む汎用のマイクロプロセッサ（コンピュータ）で行うようにすることもできる。

また、本発明に係るイメージセンサにおいて、前記信号変換処理回路は、二値信号に変換する前の各画素セルからの電気信号を前記列選択出力制御回路を通して順次出力するための出力切替手段と、その二値信号の値に拘わらず強制的にリセット制御信号を与えるための強制リセット信号生成部とをさらに含む構成としてもよい。この構成によれば、目的に応じてパルス変調（ＰＷＭ又はＰＦＭ）方式と一般的なＡＰＳ方式による検出とを選択的に行うことが可能になり、イメージセンサとしての用途が広がる。

本発明に係るイメージセンサでは、異なる画素セルにおけるトランジスタの閾値等の特性のばらつきや、異なる信号変換処理回路におけるコンパレータのオフセット電圧等の特性のばらつきなどが検出信号の誤差要因となり得る。そこで、こうした誤差を軽減するために、各列の信号変換処理回路の二値変換部の出力電位を各画素セルの光電変換部のリセット電位としてフィードバックして与える構成とすることが好ましい。この構成によれば、上述したような各素子の特性のばらつきがあっても、そのばらつきの影響が相殺されるようにリセット電位自体が変化する。したがって、光電変換部へ入射する光の強度に対応した信号をより高い精度で以て取得することができる。

また、上記本発明に係るイメージセンサでは、通常、光電変換部において得た電気信号を１個のトランジスタから構成されるソースフォロアアンプ等のゲインが１以下のバッファアンプを介して電流信号として信号変換処理回路へと送るが、場合によっては、画素セル内でゲインが１よりも大きなアンプを通して信号増幅を行ってもよい。すなわち、この場合、各画素セルは光電変換部による電気信号を増幅するための増幅用素子を含み、前記信号変換処理回路にはその増幅用素子の負荷となる抵抗用素子を含む構成とすればよい。ここで、ＣＭＯＳプロセスでは一般に増幅用素子、抵抗用素子ともにＭＯＳトランジスタであり、増幅用素子は例えばソース接地アンプを構成する。

この構成によれば、画素セル内で或る程度のゲインをとって信号を増幅するので、各画素セルと信号変換処理回路とを接続する信号線に外来ノイズが混入しても高いＳ／Ｎ比を確保することができる。それによって、外来ノイズが多い状況下でも検出精度の低下を防止することができる。

以下、本発明に係るイメージセンサについて、具体的な例を挙げつつ図面を参照して説明する。

［第１実施例］
図１は第１実施例によるＣＭＯＳイメージセンサの概略構成図、図２は１個の画素セルの回路構成図、図３は１個のパルス変換部の回路構成図である。

本実施例のイメージセンサ１の内部に設けられたイメージセル部２には、１６個の画素セル１０がｙ方向に４行、ｘ方向に４列の、４行×４列の２次元状に配置されている。もちろん、これは説明を容易にするために画素セルの数を減らしたものであり、実用上は画素セルの数は遙かに多いことは言うまでもない。後述するが、各画素セル１０はそれぞれ受光素子としてフォトダイオードを備えており、イメージセル部２に照射された光は各フォトダイオードによって光電変換され、画素単位で電気信号を発生する。

本発明における行選択制御回路である行選択スキャナ３は行選択信号線Ｂ１を介して、イメージセル部２内の同一行（ｙ１，ｙ２，ｙ３，ｙ４）に属する４個の画素セル１０を選択する機能を有する。一方、イメージセル部２内の同一列（ｘ１，ｘ２，ｘ３，ｘ４）に属する４個の画素セル１０に対しては、その列毎に本発明における信号変換処理回路であるパルス変換部４が設けられている。各パルス変換部４はその列に属する４個の画素セル１０とリセット信号線Ｂ２及び読み出し信号線Ｂ３を介して接続されている。この４個のパルス変換部４の出力はセレクタ５に入力され、列選択スキャナ６の制御の下にセレクタ５で選択された信号がイメージセンサ１から出力される。すなわち、セレクタ５及び列選択スキャナ６が本発明における列選択出力制御回路に相当する。タイミング制御部７は外部から複数のクロック信号を受けて、行選択スキャナ３、パルス変換部４、列選択スキャナ６等の動作を制御するための制御信号を生成する。

このイメージセンサ１の外側には、イメージセンサ１から出力される信号を処理するためのデータ処理回路１００が設けられている。このデータ処理回路１００は専用のハードウエアで構成することも可能であるが、適宜のインターフェイス回路を介してＣＰＵを中心とするコンピュータに取り込み、コンピュータによる演算処理によってデータ処理を行ってもよい。

図２に示すように、１個の画素セル１０は、本発明における光電変換部としての１個のフォトダイオード１１と４個のＭＯＳトランジスタ１２、１３、１４、１５とを含む。フォトダイオード１１はアノードが接地され、カソードにはリセット用スイッチである第１トランジスタ１２とソースフォロアアンプとして機能する第３トランジスタ１４のゲート端子とが接続されている。第１トランジスタ１２は第２トランジスタ１３を介して直流電源電圧Ｖddに接続され、第１トランジスタ１２のゲート端子はリセット信号線Ｂ２に、第２トランジスタ１３のゲート端子は行選択信号線Ｂ１に接続されている。すなわち、第１及び第２トランジスタが本発明における電位リセット部に相当する。第３トランジスタ１４の出力であるソース端子は、本発明における出力部としての第４トランジスタ１５を介して読み出し信号線Ｂ３に接続されており、その第４トランジスタ１５のゲート端子は行選択信号線Ｂ１に接続されている。

この画素セル１０の基本的な光電変換及び信号読み出し動作は次の通りである。すなわち、第１、第２トランジスタ１２、１３が共にオンしたときに、フォトダイオード１１のカソード側の電位（以下、これをフォトダイオード電位という）は直流電源電圧Ｖddに一旦リセットされる。第１、第２トランジスタ１２、１３の少なくともいずれか一方がオフした状態でフォトダイオード１１に光が入射すると、その受光強度に応じた電流がフォトダイオード１１に流れ、その電流による放電のためにフォトダイオード電位は徐々に低下する。このときの電位の低下速度（図１２における電位低下の傾き）は受光強度に依存しており、受光強度が大きいほど低下速度が速く（傾きが急に）なる。第４トランジスタ１５がオフしている間、この画素セル１０は読み出し信号線Ｂ３と実質的には切り離されているが、行選択信号線Ｂ１に供給される信号によって第４トランジスタ１５がオンすると、フォトダイオード電位に応じてソースフォロアアンプである第３トランジスタ１４に流れる電流信号が読み出し信号線Ｂ３に供給される。

上記画素セル１０の構成において、第３トランジスタ１４により構成されるソースフォロアアンプはゲインが１をやや下回る単なるバッファアンプである。したがって、各画素セル１０の内部にはパルス変調による検出のための構成要素は特に含まれず、基本的な構成は、いわゆる３Ｔｒ型のＣＭＯＳイメージセンサの画素にトランジスタを１個だけ追加したものであり、画素セル１０への入出力信号線及び画素単体での動作は３Ｔｒ型画素と同一となる。そのため、１個毎の画素サイズは従来の一般的な（つまりＡＰＳ方式の）ＣＭＯＳイメージセンサのものとほぼ同等にすることができる。

図３に示すように、パルス変換部４においては、読み出し信号線Ｂ３を介して供給される電流信号が上記ソースフォロアアンプの負荷抵抗として機能するトランジスタ２１により電圧信号に変換され、その電圧信号の電圧値と基準電位Ｖrefとがコンパレータ２２で比較される。コンパレータ２２は電圧信号が基準電位Ｖrefよりも大きいときに「０」を出力し、電圧信号が基準電位Ｖref以下になると「１」を出力する。この二値信号はフリップフロップ回路２３のデータ端子（Ｄ）に入力され、タイミング制御部７から与えられるクロック信号PWM-CLKの立ち上がりエッジ毎に内部に読み込まれて出力端子（Ｑ）に反映される。この出力信号Doutがセレクタ５に送られるとともに、アンドゲート２４の一入力端に与えられる。

アンドゲート２４はこのフリップフロップ回路２３の出力信号Doutとリセットタイミング信号RST-TIMとが共に「１」になったときにリセット信号線Ｂ２にフォトダイオードリセット信号PD-RSTを出す。したがって、基本的には、コンパレータ２２に与えられる電圧信号が基準電位Ｖref以下になってから少し遅れてフォトダイオードリセット信号PD-RSTを出す。それによって、電圧信号が基準電位Ｖref以下になった画素セルのフォトダイオード電位をリセットする。基本的には基準電位Ｖrefは全ての画素セルで同一であるが、電圧信号は各画素セル１０のフォトダイオード１１で受けた受光強度に依存する。したがって、フォトダイオードリセット信号PD-RSTが出るタイミングは各列毎及び各行毎に全く異なる（偶然に一致する場合もある）。

ここまでは画素セル１０及びパルス変換部４の個別の動作について説明したが、以下、本実施例のＣＭＯＳイメージセンサを用いた画像信号の収集動作の一例についてデータ処理方法を含めて、図４〜図６を参照しながら説明する。

このイメージセンサ１では、タイミング制御部７による制御の下に行選択スキャナ３は、ｙ１→ｙ２→ｙ３→ｙ４→ｙ１…と各行に属する４個の画素セルをまとめて順次選択するように行選択信号線Ｂ１に選択信号を出す（図４（ａ）参照）。選択されている行に属する４個の画素セル１０においてのみ、上記のような電流信号の読み出し動作とフォトダイオード電位のリセット動作とが可能となる。読み出し信号線Ｂ３及びパルス変換部４は各列毎に全く独立しているから、選択された行に属する４個の画素セル１０の電流信号に基づくコンパレータ２２の判定結果（二値信号）はほぼ同時にそれぞれのフリップフロップ回路２３に読み込まれ、その出力Doutが「１」になっている場合、つまりコンパレータ２２に与えられる電圧信号が基準電位Ｖref以下まで下がっている場合には、その画素セル１０のフォトダイオード電位はリセットされる。

各フリップフロップ回路２３に読み込まれた二値信号は、列選択スキャナ６により制御されるセレクタ５でｘ１→ｘ２→ｘ３→ｘ４と順次選択されて出力される（図４（ｂ）参照）。上記フリップフロップ回路２３の出力Doutをそのままセレクタ５で選択して出力する場合、次のクロック信号PWM-CLKの立ち上がりエッジまでに４個全て（ｘ１，ｘ２，ｘ３，ｘ４）の二値信号を取り出す必要がある。そこで、イメージセンサ１からデータ処理回路１００へのデータの受け渡しの時間的余裕を設けたい場合には、各列に対応してラッチ回路やフリップフロップ回路などを余分に設け、読み出し時間のマージンを設けるようにしてもよい。

上述したように行選択スキャナ３により各行が順次選択される毎に、その行に属する４個の画素セル１０に対応した二値信号が順次読み出される。そして、行選択がｙ１→ｙ２→ｙ３→ｙ４と一巡した時点で、図５に示すように１枚の画像に対応する合計１６個の画素セル１０のデータが揃うことになる。但し、このとき各画素セル１０に対応したデータは１ビットにすぎず「０」又は「１」の２状態しか表すことができない。通常、ＡＰＳ方式の場合、各画素セルから取り出されたアナログ画素信号は８ビット乃至１０ビット程度のデジタル信号に変換されるから、これに比べると、上記構成で得られるデータの情報量は遙かに少ない。そこで、本実施例のイメージセンサでは、上記のような各行の循環的なスキャンを非常に速い速度で行うことによって、画像１枚分当たりのデータ量の少なさを補う。

具体的には例えば一般的なテレビジョン画像などを想定した場合、約1/30秒である１フレーム期間内で各画素セル毎に２⁸（=256)又は２¹⁰（=1024)個の１ビットデータが得られるように高速で行スキャンを行う。単純に計算した場合、10kfps〜30kfps程度のフレームレートが必要になる。また、例えば生体細胞の蛍光イメージングなどの用途においては、多くの場合、上記のような高速の画像フレームレートは不要であり、例えば１秒に１枚の画像が得られればよい場合もある。そうした場合には行スキャンの速度を落とすことができ、ハードウエアを構成し易くなる。

但し、ＡＰＳ方式とパルス変調方式との原理的な相違から、次のような点に注意すべきである。すなわち、ＡＰＳ方式の場合には、各画素セルの信号読み出し時間間隔を決めておき、その時間間隔で必ず有意なデータを得ることが可能である。一方、パルス変調の場合、受光強度が非常に微弱であるとフォトダイオード電位がリセット電位（Ｖdd）から基準電位Ｖrefまで低下するのに非常に時間がかかる。その時間よりも長く画像のフレームレートが設定されていないと、少なくともその画素セルについては有意なデータを得られない。したがって、本質的に、本実施例のイメージセンサを利用してパルス変調方式による検出を行う場合には、１フレーム期間（つまり画像の更新間隔）は或る程度長くしておくことが望ましい。それによって、微弱な光信号を反映させた画像を作成することが可能となる。

イメージセンサ１における上記のような処理によって、１フレーム分の各画素１ビットずつのデータストリームが連続的に得られる。このデータストリームをデータ処理回路１００では次のように処理する。
（ｉ）パルス幅変調（ＰＷＭ）方式の検出を行う場合
データ処理回路１００では、順次得られるデータストリームを各画素毎のデータ列に分離する。いま、或る１個の画素セル１０に対するデータ列が図６（ａ）に示すようになっているものとする。これは図６（ｂ）に示すように「０」のパルス幅に情報を有するＰＷＭ信号であるから、「０」の連続数を計数するか、或いは更に高速のクロックパルス信号により上記ＰＷＭ信号の「０」期間を計数する。その計数値自体がパルス幅に対応した画像信号（輝度信号）になる。

（ii）パルス周波数変調（ＰＦＭ）方式の検出を行う場合
この場合にはパルス幅ではなくパルス発生頻度に情報を有している。したがって、データ処理回路１００では、順次得られるデータストリームを各画素毎のデータ列に分離した後に、或る一定時間内に発生するパルスの数を計数する。その計数値自体がパルス周波数に対応した画像信号（輝度信号）になる。

以上のようにして、本実施例によるイメージセンサによれば、画素セル１０内のフォトダイオード１１で光電変換によって得られた電気信号をパルス変調方式によって検出して受光強度に対応した輝度信号を得ることができる。

［第２実施例］
次に本発明の第２実施例によるイメージセンサについて説明する。図７は第２実施例によるＣＭＯＳイメージセンサにおけるパルス変換部４の回路構成図である。全体の構成や各画素セルの回路構成は上記第１実施例と同じであるので説明を省略する。

この第２実施例によるイメージセンサの特徴は、上述したパルス変調による検出だけでなく、通常のＡＰＳの検出動作も選択的に行える点である。そのために、負荷用のトランジスタ２１とコンパレータ２２との間にモード切替用のトランジスタ２６、２７を設け、パルス変調モードで使用する場合にはトランジスタ２６をオンし、ＡＰＳモードで使用する場合にはトランジスタ２７をオンする。また、外部から強制的に各画素セル１０のフォトダイオード電位をリセットできるように、フリップフロップ回路２３の出力とアンドゲート２４との間にオアゲート２５を挿入している。

この回路構成ではPWMmode=１、APSmode=０、強制RST=０とすれば、第１実施例におけるパルス変換部４と同じ動作をする。一方、ＡＰＳモードで動作させる場合には、PWMmode=０、APSmode=１とし、全行を適当なレートでスキャンしながら強制RST=１としてフォトダイオード電位をリセットした後、次のフレームで画素セル１０から送られてきたアナログ値の画素信号をAoutから出力し、セレクタ５で選択して順番に出力する。このときには、スキャンのフレームレートを適当に下げることは言うまでもない。

［第３実施例］
次に本発明の第３実施例によるイメージセンサについて説明する。図８は第３実施例のイメージセンサにおける画素セルの回路構成図、図９は第３実施例のイメージセンサにおけるパルス変換部の回路構成図である。

上記第１実施例のイメージセンサでは、理想的には各画素セル間のトランジスタの閾値などの特性やパルス変換部のコンパレータの特性にはばらつきがない。しかしながら、実際にはこうした特性のばらつきは或る程度避けることができず、これがこのセンサにおける誤差の一つの要因となる。そこで、この第３実施例によるイメージセンサでは、図８に示すように、各画素セル１０内においてトランジスタ１３のドレイン端子を直流電源電圧Ｖddに接続するのではなく、図９に示すようにコンパレータ２２の出力電圧によって与えられるリセット電圧信号線Ｂ４に接続している。すなわち、コンパレータ２２の出力をトランジスタ１３にフィードバックすることにより負帰還ループを形成する。これによって、各画素セル内のトランジスタの特性のばらつきやコンパレータの特性のばらつきなどに起因するオフセットを軽減することができる。

また、上記第２実施例及びこの第３実施例におけるイメージセンサでは、外部から強制的にフォトダイオード電位をリセットできることを利用して次のような、単一測定モードによる１枚のみの画像測定を行うことができる。

すなわち、まず行選択スキャナ３により全行をスキャンしながら全ての画素セルのフォトダイオード電位をリセットし、続いて、高速で行スキャンを行って順次選択された行の画素セルの電圧信号をコンパレータで判定するという処理を繰り返す。基本的には、全ての画素セルの電圧信号が基準電位Ｖrefを下回るまで行スキャンを繰り返すと、全ての画素に対応した輝度信号が得られる。但し、光信号がきわめて微弱である場合、フォトダイオード電位がリセットされてから基準電位Ｖrefにまで電位が下がるのに非常に長い時間がかかることがあり得る。そこで、例えば放電時間（又は計測フレーム数）に上限を設定しておき、既定の時間又はフレーム数に達した時点で計測を打ち切り、その時点で得られている輝度信号のみで画像を構成するようにしてもよい。また、基準電位Ｖrefを変化可能としておけば、例えば１回の測定の終了に近い期間で基準電位Ｖrefを変化させる（上記例では基準電位Ｖrefを上げる）ことで、或る画素の輝度信号が不定になることを防止することができる。これはパルス変調方式のフォトセンサの持つガンマ特性可変センサとしての特徴を利用したものである。

［第４実施例］
次に本発明の第４実施例によるイメージセンサについて説明する。図１０は第４実施例のイメージセンサにおける画素セルの回路構成図、図１１は第４実施例のイメージセンサにおけるパルス変換部の回路構成図である。

第１実施例の画素セルの構成では、フォトダイオード電位を受けるソースフォロアアンプのゲインは１以下であり増幅機能を有さない。これに対し第４実施例のイメージセンサは、画素セル１０内の回路でフォトダイオード電位を増幅することによって、読み出し信号線Ｂ３などに外来ノイズが混入し易い場合であっても、その影響を軽減するようにしている。ここでは、各画素セル１０内で、ソースフォロアに代えて、ソース接地アンプのトランジスタ１６を設け、そのトランジスタ１６のドレインをトランジスタ１５を介して読み出し信号線Ｂ３に接続している。一方、パルス変換部４内では各画素セル１０のソース接地アンプの負荷となるトランジスタ（実際には抵抗として機能）２８が設けられている。

このような構成では、トランジスタ１６によるソース接地アンプのゲインを１よりも大きくすることができ、電気信号の振幅が大きくなる分だけＳ／Ｎ比が改善される。それによって、コンパレータ２２での信号の判定の際に誤判定が回避される。但し、この構成では、画素セル１０内のソース接地アンプで信号増幅を行う際に線形性が損なわれるため、第３実施例のようにフィードバックによるトランジスタ等の特性補正は不可能である。

なお、上記各実施例は一例であって、本発明の趣旨の範囲で適宜変形や修正を行っても、本願の請求の範囲に包含されることは明らかである。

本発明に係る第１実施例によるイメージセンサの概略構成図。第１実施例のイメージセンサにおける１個の画素セルの回路構成図。第１実施例のイメージセンサにおける１個のパルス変換部の回路構成図。第１実施例のイメージセンサの信号読み出し動作の説明図。第１実施例のイメージセンサの信号読み出し動作の説明図。第１実施例のイメージセンサにおいて読み出された信号の処理動作の説明図。本発明に係る第２実施例のイメージセンサにおけるパルス変換部の回路構成図。本発明に係る第３実施例のイメージセンサにおける画素セルの回路構成図。本発明に係る第３実施例のイメージセンサにおけるパルス変換部の回路構成図。本発明に係る第４実施例のイメージセンサにおける画素セルの回路構成図。本発明に係る第４実施例のイメージセンサにおけるパルス変換部の回路構成図。イメージセンサにおける信号読み出し方式の相違の説明図。イメージセンサにおける信号読み出し方式の相違の説明図。

符号の説明

１…イメージセンサ
２…イメージセル部
３…行選択スキャナ
４…パルス変換部
５…セレクタ
６…列選択スキャナ
７…タイミング制御部
１０…画素セル
１１…フォトダイオード
１２、１３、１４、１５、１６、２１、２６、２７…ＭＯＳトランジスタ
２２…コンパレータ
２３…フリップフロップ回路
２４…アンドゲート
２５…オアゲート
１００…データ処理回路
Ｂ１…行選択信号線
Ｂ２…リセット信号線
Ｂ３…読み出し信号線
Ｂ４…リセット電圧信号線

Claims

a)ｎ行×ｍ列（ｎ、ｍはともに２以上の整数）の２次元状に配列された複数の画素セルであって、それぞれが、受光した光を電荷信号に変換して蓄積する光電変換部、後記行選択制御回路により選択された状態においてリセット制御信号を受けて前記光電変換部の蓄積電荷による電位を所定電位にリセットする電位リセット部、及び後記行選択制御回路による選択に応じて前記光電変換部による電気信号を出力する出力部、を含む画素セルと、
b)ｎ行のいずれかを選択するための行選択制御回路と、
c)ｍ個の各列毎に設けられた信号変換処理回路であって、対応する列内のｎ個の画素セルにおいて前記出力部を通して出力された電気信号を基準電位と比較することで二値信号に変換する二値変換部、及びその二値信号の値に応じて元の電気信号を得た画素セルの光電変換部の電位をリセットするためのリセット制御信号を生成するリセット信号生成部、を含むｍ個の信号変換処理回路と、
d)該ｍ個の信号変換処理回路で得られる二値信号を順次選択して順番に出力する列選択出力制御回路と、
を備え、前記行選択制御回路により行を選択する毎に、該行に属するｍ個の画素セルに対応して前記信号変換処理回路により得られるｍ個の二値信号を前記列選択出力制御回路により順次選択して出力することで、全ての又は一部の画素セルで受光した光強度に対応した二値信号を時系列的に得るようにしたことを特徴とするイメージセンサ。
請求項１に記載のイメージセンサにおいて、前記信号変換処理回路は、二値信号に変換する前の各画素セルからの電気信号を前記列選択出力制御回路を通して順次出力するための出力切替部と、その二値信号の値に拘わらず強制的にリセット制御信号を与えるための強制リセット信号生成部とをさらに含むことを特徴とするイメージセンサ。
請求項１又は２に記載のイメージセンサにおいて、各列の信号変換処理回路の二値変換部の出力電位を各画素セルの光電変換部のリセット電位としてフィードバックして与えるようにしたことを特徴とするイメージセンサ。
請求項１に記載のイメージセンサにおいて、各画素セルは光電変換部による電気信号を増幅するための増幅用素子を含み、前記信号変換処理回路にはその増幅用素子の負荷となる抵抗用素子を含むことを特徴とするイメージセンサ。
請求項１〜４に記載のイメージセンサを用いた画像信号処理装置であって、前記行選択制御回路による行選択を画像のフレームレートよりも高速で行うことによって、２次元状の二値信号を繰り返し取得し、各画素セルに対する時系列的な二値信号をパルス幅変調信号とみなしてデジタル画素信号に変換することを特徴とする画像信号処理装置。
請求項１〜４に記載のイメージセンサを用いた画像信号処理装置であって、前記行選択制御回路による行選択を画像のフレームレートよりも高速で行うことによって、２次元状の二値信号を繰り返し取得し、各画素セルに対する時系列的な二値信号をパルス周波数変調信号とみなしてデジタル画素信号に変換することを特徴とする画像信号処理装置。