以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS固体撮像装置をデバイスとして使用した場合を例に説明する。また、CMOS固体撮像装置は、全ての画素がNMOSよりなるものであるとして説明する。
ただしこれは一例であって、対象となるデバイスはMOS型の固体撮像装置に限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。
<固体撮像装置の全体概要>
図1は、本発明に係る固体撮像装置の一実施形態であるCMOS固体撮像装置(CMOSイメージセンサ)の概略構成図である。
固体撮像装置1は、入射光量に応じた信号を出力する受光素子(電荷生成部の一例)を含む複数個の画素が行および列に配列された(すなわち2次元マトリクス状の)画素部を有し、各画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やアナログ/デジタル変換部(ADC;Analog Digital Converter)などが列並列に設けられているものである。
“列並列にCDS処理機能部やアナログ/デジタル変換部が設けられている”とは、垂直列の垂直信号線(列信号線の一例)19に対して実質的に並列に複数のCDS処理機能部やデジタル変換部が設けられていることを意味する。
複数の各機能部は、デバイスを平面視したときに、ともに画素アレイ部10に対して列方向の一方の端縁側(図の下側に配されている出力側)にのみ配されている形態のものであってもよいし、画素アレイ部10に対して列方向の一方の端縁側(図の下側に配されている出力側)とその反対側である他方の端縁側(図の上側)に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査(水平走査)を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。
たとえば、列並列にCDS処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、CDS処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型(列並列型)に限らず、隣接する複数(たとえば2つ分)の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態や、N本おき(Nは正の整数;間にN−1本を配する)のN本分の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。
カラム型を除くものは、何れの形態も、複数の垂直信号線19(垂直列)が1つのCDS処理機能部やデジタル変換部を共通に使用する構成となるので、画素アレイ部10側から供給される複数列分の画素信号を1つのCDS処理機能部やデジタル変換部に供給する切替回路(スイッチ)を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。
何れにしても、複数の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。
また、列並列に配された複数の信号処理部にて1行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で1つのCDS処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。
なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路(スイッチ)が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。
図1に示すように、本実施形態の固体撮像装置1は、複数の単位画素3が行および列に配列された画素部や撮像部などとも称される画素アレイ部10と、画素アレイ部10の外側に設けられた駆動制御部7と、画素アレイ部10の単位画素3に画素信号読出用の動作電流(読出電流)を供給する読出電流源部24と、垂直列ごとに配されたカラムAD回路25を有するカラム処理部26と、カラム処理部26にAD変換用の参照信号Vslopを供給する参照信号生成部27と、デジタル演算部29とを備えている。これらの各機能部は、同一の半導体基板上に設けられている。
なお、参照信号Vslopは、全体的にある傾きを持って線形に変化する波形を持つものであればよく、その変化が滑らかなスロープ状を呈するものであってもよいし、階段状に順次変化するものであってもよい。
本実施形態のカラムAD回路25は、画素信号Soの基準レベルであるリセットレベルSrst と信号レベルSsig とを独立にデジタルデータに変換するAD変換部と、リセットレベルSrst のAD変換結果と信号レベルSsig のAD変換結果との間で差分処理を実行することで、リセットレベルSrst と信号レベルSsig の差で示される信号成分のデジタルデータを取得する差分処理部の機能を備えている。
なお、カラム処理部26の前段または後段には、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路などをカラム処理部26と同一の半導体領域に設けることも可能である。カラム処理部26の前段でAGCを行なう場合にはアナログ増幅、カラム処理部26の後段でAGCを行なう場合にはデジタル増幅となる。nビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。
駆動制御部7は、画素アレイ部10の信号を順次読み出すための制御回路機能を備えている。たとえば駆動制御部7としては、列アドレスや列走査を制御する水平デコーダ12aおよび水平駆動部12bを有する水平走査回路(列走査回路)12と、行アドレスや行走査を制御する垂直デコーダ14aおよび垂直駆動部14bを有する垂直走査回路(行走査回路)14と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部20とを備えている。
なお、図中、通信・タイミング制御部20の近傍に示すように、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部23を設けるようにしてもよい。通信・タイミング制御部20は、端子5aを介して入力される入力クロック(マスタークロック)CLK0やクロック変換部23で生成された高速クロックに基づいて内部クロックを生成する。
クロック変換部23で生成された高速クロックを源とする信号を用いることで、AD変換処理などを高速に動作させることができるようになる。また、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。また、カラム処理部26から出力されるパラレルデータをシリアルデータ化してデバイス外部に映像データD1を出力することもできる。こうすることで、AD変換されたデジタルデータのビット分よりも少ない端子で高速動作出力する構成を採ることができる。
クロック変換部23は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部23は、通信・タイミング制御部20から低速クロックCLK2を受け取り、それを元にして2倍以上高い周波数のクロックを生成する。クロック変換部23の逓倍回路としては、k1を低速クロックCLK2の周波数の倍数としたときk1逓倍回路を設ければよく、周知の様々な回路を利用することができる。
図1では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の単位画素3が配置される。この単位画素3は、典型的には、受光素子(電荷生成部)としてのフォトダイオードと、増幅用の半導体素子(たとえばトランジスタ)を有する画素内アンプとから構成される。
画素内アンプとしては、単位画素3の電荷生成部で生成・蓄積された信号電荷を電気信号として出力することができるものであればよく、様々な構成を採ることができるが、一般的には、フローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、CMOSセンサとして汎用的な4つのトランジスタからなる構成のものを使用することができる(たとえば後述の図2を参照)。
あるいは、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線(DRN)に接続された増幅用トランジスタと、電荷生成部をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線(TRF)を介して走査される読出選択用トランジスタ(転送ゲート部)を有する、3つのトランジスタからなる構成のものを使用することもできる。
なお、固体撮像装置1は、色分解(色分離)フィルタを使用することで、画素アレイ部10をカラー撮像対応にすることができる。すなわち、画素アレイ部10における各電荷生成部(フォトダイオードなど)の電磁波(本例では光)が入射される受光面に、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタを、たとえばいわゆるベイヤー(Bayer)配列などにして設けることで、カラー画像撮像対応とする。
ベイヤー配列とする場合、同一行の画素には、G(Green)、R(Red)またはB(Blue)、Gのカラーフィルタが配置され、それらが2次元格子状に配列されることになる。
単位画素3は、行選択のための行制御線15を介して垂直走査部14と、また垂直信号線19を介してカラムAD回路25が垂直列ごとに設けられているカラム処理部26と、それぞれ接続されている。ここで、行制御線15は垂直走査部14から画素に入る配線全般を示す。
水平走査回路12は、カラム処理部26からカウント値を水平信号線18へ読み出す読出走査部の機能を持つ。水平信号線18の後段(出力側)には、出力回路28が設けられている。
なお、必要に応じて、出力回路28の前段に、デジタル演算部29を設けてもよい。ここで、「必要に応じて」とは、水平方向に関しての加算処理を要する場合を意味する。よって、デジタル演算部29は、基本的には、水平方向について、複数列のデータを加算処理する機能を備えたものとする。また、水平信号線18との結線態様に応じて、加算対象の複数列のデータを記憶するメモリを備えるようにする。たとえば、加算対象の複数列をそれぞれ個別の系統の水平信号線18でデジタル演算部29に伝達する結線態様とするときにはメモリが不要であるが、1つの系統の水平信号線18で伝達するときには、被加算列のデータを保持しておくメモリが必要となる。
水平走査部12は、低速クロックCLK2に同期してカラム処理部26のカラムAD回路25を順番に選択し、その信号を水平信号線18に導くものである。たとえば、水平方向の読出列を規定する(カラム処理部26内の個々のカラムAD回路25を選択する)水平デコーダ12aと、水平デコーダ12aにて規定された読出アドレスに従って、カラム処理部26の各信号を水平信号線18に導く水平駆動部12bとを有する。なお、水平信号線18は、たとえばカラムAD回路25が取り扱うビット数n(nは正の整数)分、たとえば10(=n)ビットならば、そのビット数分に対応して10本配置される。
水平走査部12や垂直走査回路14などの駆動制御部7の各要素は、画素アレイ部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像装置として構成される。
これらの各機能部は、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたいわゆる1チップもの(同一の半導体基板上に設けられているもの)として、半導体システムの一例であるCMOSイメージセンサとして、本実施形態の固体撮像装置1の一部をなすように構成される。
なお、固体撮像装置1は、このように各部が半導体領域に一体的に形成された1チップとして形成された形態であってもよいし、図示を割愛するが、画素アレイ部10、駆動制御部7、カラム処理部26などの各種の信号処理部の他に、撮影レンズ、光学ローパスフィルタ、あるいは赤外光カットフィルタなどの光学系をも含む状態で、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態としてもよい。
水平走査部12や垂直走査部14は、たとえばデコーダを含んで構成され、通信・タイミング制御部20から与えられる制御信号CN1,CN2に応答してシフト動作(走査)を開始するようになっている。このため、たとえば、行制御線15には、単位画素3を駆動するための種々のパルス信号(たとえば、画素リセットパルスRST 、転送パルスTRG 、垂直選択パルスVSELなど)が含まれる。
通信・タイミング制御部20は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、端子5aを介して外部の主制御部から供給されるマスタークロックCLK0を受け取り、また端子5bを介して外部の主制御部から供給される動作モードなどを指令するデータDATAを受け取り、さらに固体撮像装置1の情報を含むデータを外部の主制御部に出力する通信インタフェースの機能ブロックとを備える。
たとえば、水平アドレス信号を水平デコーダ12aへ、また垂直アドレス信号を垂直デコーダ14aへ出力し、各デコーダ12a,14aは、それを受けて対応する行もしくは列を選択する。
この際、単位画素3を2次元マトリクス状に配置してあるので、画素信号生成部5により生成され垂直信号線19を介して列方向に出力されるアナログの画素信号を行単位で(列並列で)アクセスし取り込む(垂直)スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号(本例ではデジタル化された画素データ)を出力側へ読み出す(水平)スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。もちろん、スキャン読みに限らず、読み出したい単位画素3を直接にアドレス指定することで、必要な単位画素3の情報のみを読み出すランダムアクセスも可能である。
また、通信・タイミング制御部20では、端子5aを介して入力されるマスタークロック(マスタークロック)CLK0と同じ周波数のクロックCLK1や、それを2分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査部12、垂直走査部14、カラム処理部26などに供給する。以下、2分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2とも言う。
垂直走査部14は、画素アレイ部10の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出行を規定する(画素アレイ部10の行を選択する)垂直デコーダ14aと、垂直デコーダ14aにて規定された読出アドレス上(行方向)の単位画素3に対する行制御線15にパルスを供給して駆動する垂直駆動部14bとを有する。なお、垂直デコーダ14aは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。
また、本実施形態においては、全ての単位画素3の情報を読み出すプログレッシブ走査方式での通常フレームレートモードと、通常フレームレートモード時に比べて、フレームレートをN倍、たとえば2倍に上げる高速フレームレートモードとの各動作モードに対応したAD変換動作を選択的に行ない得る構成となっている。
水平走査回路12や垂直走査回路14では、水平デコーダ12aや通常フレームレート出モード時の順次走査だけでなく、高速フレームレートモード時に、加算読出動作や間引読出動作を可能とするべく、処理対象の行や列を任意に選択できるようにアドレスデコーダによって構成することが好ましい。
特に、カラー画像撮像用の色分離フィルタが画素アレイ部10の各単位画素3に設けられる場合において、加算読出動作との関係においては、少なくとも、垂直走査回路14に関しては、同色の単位画素3同士での加算処理を実現できるようにすることが好ましく、垂直方向の加算処理をAD変換処理と並行して行なうようにするべく、少なくとも垂直走査回路14については、任意の行制御線15を選択できるようにする垂直デコーダ14aを具備していることが望ましい。
カラー画像撮像時に異なるカラーフィルタ要素を持つ画素同士の加算を行なうと混色を起こす。これに対して、たとえばベイヤー配列において奇数行同士および偶数行同士での画素加算を行なうなど、同色同士での加算演算を行なうと、画素加算に伴う混色が発生することはない。
ここで「垂直方向の加算処理をAD変換処理と並行して行なう」とは、加算処理の対象となる複数行の内の最後の処理対象行についてのAD変換処理結果として得られるカウンタ値が、加算処理の対象となる複数行の単位画素3の画素信号のAD変換結果を加算した状態を示すことを意味する。特に、カウンタ部254にてCDS処理をAD変換とともに実行する場合であれば、信号成分同士の加算結果を示すことを意味する。つまり、カラムAD回路25内でAD変換処理とともに垂直方向の加算処理を実行することを意味する。
もちろん、原理的には、このことは必須ではなく、読出行を任意に選択可能な垂直デコーダ14aに代えて読出行を順番に選択していく単純な走査回路を使用し、垂直方向へ順次走査で読み出した後に、デジタル演算処理にて加算処理を実行してもよい。ただし、この場合、加算処理の対象となる複数行分のデータを保持しておく外部メモリ(複数行分のラインメモリ)が必要となる。
あるいは、加算処理の対象となる複数行のそれぞれについて独立して読み出してから加算処理をカラム処理部26の外部でデジタル演算処理によって加算処理を実行することも考えられる。この場合、外部メモリ(複数行分のラインメモリ)は不要であるが、カラム処理部26(カラムAD回路25)、参照信号生成部27、水平走査回路12、および垂直走査回路14を、その複数行の系統だけ配する必要があり、回路規模が増える難点がある。たとえば2行分の加算処理を実行するようにする場合であれば、画素アレイ部10を挟むようにして各々1対ずつを配することになる。
それに対して、カラムAD回路25内でAD変換処理とともに垂直方向の加算処理を実行してしまえば、外部メモリや複数系統のカラム処理部26などを配することが不要となる利点がある。この点に着目し、本実施形態では、カラムAD回路25内でAD変換処理とともに垂直方向の加算処理を実行する仕組みを採用する。
一方、同色の単位画素3同士での水平方向の加算処理に関しては、出力回路28側への読出列を任意に選択可能な水平デコーダ12aに代えて読出列を順番に選択していく単純な順次走査回路を使用し、水平方向へ順次走査で読み出した後に、デジタル演算処理にて加算対象の同色の単位画素3を選択して加算処理を実行してもよい。あるいは、水平デコーダ12aによって、加算対象の同色の単位画素3の成分が順番に送られるように読出行の選択順を適宜切り替えられるようにしつつ、水平方向へ選択順で読み出した後に、デジタル演算処理(たとえばデジタル演算部29を利用する)にて、順番に送られてくる同色の単位画素3の成分を加算処理してもよい。
また、特許文献1(の第4や第5実施形態)に記載のように、読出対象列を切り替える選択スイッチを画素アレイ部10とカラムAD回路25との間に選択スイッチを設けるとともに、カラム処理部26(カラムAD回路25)、参照信号生成部27、水平走査回路12、および垂直走査回路14を、画素アレイ部10を挟むようにして各々1対ずつを配するようにして、たとえば奇数列同士(たとえば1列目と3列目)や偶数列同士(たとえば2列目と4列目)での画素加算を実現可能にする、あるいは画素加算する列の組み合わせを任意に切り替え可能にする構成を採ってもよい。
このような構成の固体撮像装置1において、単位画素3から出力された画素信号は、垂直列ごとに、垂直信号線19を介して、カラム処理部26のカラムAD回路25に供給される。
カラム処理部26の各カラムAD回路25は、1列分の画素のアナログ信号Soを受けて、そのアナログ信号Soを処理する。たとえば、各カラムAD回路25は、アナログ信号を、たとえば低速クロックCLK2を用いて、たとえば10ビットのデジタル信号に変換するADC(Analog Digital Converter)回路を持つ。
カラム処理部26におけるAD変換処理としては、行単位で並列に保持されたアナログ信号を、列ごとに設けられたカラムAD回路25を使用して、行ごとに並列にAD変換する方法を採る。この際には、シングルスロープ積分型(あるいはランプ信号比較型)のAD変換の手法を使用する。この手法は、簡単な構成でAD変換器が実現できるため、並列に設けても回路規模が大きくならないという特徴を有している。
シングルスロープ積分型のAD変換に当たっては、変換開始から参照信号Vslopと処理対象信号電圧とが一致するまでの時間に基づいて、アナログの処理対象信号をデジタル信号に変換する。このための仕組みとしては、原理的には、コンパレータ(電圧比較器)にランプ状の参照信号Vslopを供給するとともに、クロック信号でのカウント(計数)を開始し、垂直信号線19を介して入力されたアナログの画素信号を参照信号Vslopと比較することによって比較結果を示すパルス信号が得られるまでのクロック数をカウントすることでAD変換を行なう。
また、この際、回路構成を工夫することで、AD変換とともに、垂直信号線19を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル(ノイズレベルもしくはリセットレベルと称する)と真の(受光光量に応じた)信号レベルVsig との差分をとる処理(いわゆるCDS処理と等価)を行なうことができる。これにより、固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズと言われるノイズ信号成分を取り除くことができる。
<参照信号生成部とカラムAD回路との詳細>
参照信号生成部27は、DA変換回路(DAC;Digital Analog Converter)27aを有して構成されており、通信・タイミング制御部20からの制御データCN4で示される初期値からカウントクロックCKdac に同期して、階段状の鋸歯状波(ランプ波形;以下参照信号Vslopとも称する)を生成して、カラム処理部26の個々のカラムAD回路25に、この生成した階段状の鋸歯状波の参照信号VslopをAD変換用の参照電圧(ADC基準信号)として供給するようになっている。なお、図示を割愛しているが、ノイズ防止用のフィルタを設けるとよい。
なお、この参照信号Vslopは、クロック変換部23の逓倍回路で生成される逓倍クロック(高速クロック)を基準として生成することで、端子5aを介して入力されるマスタークロックCLK0に基づき生成するよりも高速に変化させることができる。
通信・タイミング制御部20から参照信号生成部27のDA変換回路27aに供給する制御データCN4は、比較処理ごとの参照信号Vslopが基本的には同じ傾き(変化率)となるように、時間に対するデジタルデータの変化率を同じにする情報も含んでいる。具体的には、カウントクロックCKdac に同期して、単位時間ごとに1ずつカウント値を変化させ、そのカウント値を電流加算型のDA変換回路で電圧信号に変換するようにする。
ここで、本実施形態のDA変換回路27aは、通信・タイミング制御部20の制御の元で参照信号Vslopの変化特性(具体的には傾き)を、電圧比較部252における比較処理の途中で変更可能になっている(具体的にはより大きくなるようにできる)。
参照信号Vslopの傾き調整は、たとえばカウントクロックCKdac の周波数(クロック周期)を変更する手法を採ることができる。たとえば、DA変換回路27aに供給するカウントクロックCKdac を、当初はカウントクロックCK0と同じにしておくが、所定回数のカウントが完了したときカウントクロックCK0に対して2倍速にし、さらに所定回数のカウントが完了したときカウントクロックCK0に対して4倍速にするなど、カウントクロックCK0に対して2^m倍速にするとよい。
なお、ここで示した参照信号Vslopの傾き変更手法は一例であって、このような手法に限定されない。たとえば、参照信号生成部27に与えるカウントクロックCKdac の周期を一定にしつつ、カウンタ値をx、制御データCN4に含まれている参照信号Vslopの傾き(変化率)βとしてy=α(初期値)−β*xによって算出される電位を出力するなど、制御データCN4に含まれているランプ電圧の傾き(変化率)を指示する情報により、1つのカウントクロックCKdac ごとの電圧変化分ΔSLPを調整するなど、任意の回路を用いることができる。参照信号Vslopの傾きの調整は、たとえばクロック周期を変える以外に、単位電流源の電流量を変えることによって、クロック当たりのΔSLPを調整することでも実現できる。
カラムAD回路25は、参照信号生成部27のDA変換回路27aで生成される参照信号Vslopと、行制御線15(V0,V1,…)ごとに単位画素3から垂直信号線19(H0,H1,…)を経由し得られるアナログの画素信号を比較する電圧比較部(コンパレータ)252と、電圧比較部252が比較処理を完了するまでの時間をカウントし、その結果を保持するカウンタ部254とを備えて構成されnビットAD変換機能を有している。
ここで、本実施形態では、列ごとに配された電圧比較部252にDA変換回路27aから参照信号Vslopが共通に供給され、各電圧比較部252が処理を担当する画素信号電圧Vxについて、共通の参照信号Vslopを使用して比較処理を行なうようになっている。
通信・タイミング制御部20は、電圧比較部252が画素信号のリセットレベルVrst と信号成分Vsig の何れについて比較処理を行なっているのかに応じてカウンタ部254におけるカウント処理のモードを切り替える制御部の機能を持つ。この通信・タイミング制御部20から各カラムAD回路25のカウンタ部254には、カウンタ部254がダウンカウントモードで動作するのかアップカウントモードで動作するのかを指示するための制御信号CN5が入力されている。
電圧比較部252の一方の入力端子RAMPは、他の電圧比較部252の入力端子RAMPと共通に、参照信号生成部27で生成される階段状の参照信号Vslopが入力され、他方の入力端子には、それぞれ対応する垂直列の垂直信号線19が接続され、画素アレイ部10からの画素信号電圧が個々に入力される。電圧比較部252の出力信号はカウンタ部254に供給される。
カウンタ部254のクロック端子CKには、他のカウンタ部254のクロック端子CKと共通に、通信・タイミング制御部20からカウントクロックCK0が入力されている。
カウントクロックCK0も、参照信号Vslopと同様に、クロック変換部23の逓倍回路で生成される逓倍クロック(高速クロック)を使用することができ、この場合、端子5aを介して入力されるマスタークロックCLK0を使用するよりも高分解能にできる。
ここで、カウンタ部254は、カウントモードに拘わらず共通のアップダウンカウンタ(U/D CNT)を用いて、ダウンカウント動作とアップカウント動作とを切り替えて(具体的には交互に)カウント処理を行なうことが可能に構成されている点に特徴を有する。
カウンタ部254は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部256の配線形態を同期カウンタ形式に変更することで実現でき、1本のカウントクロックCK0の入力で内部カウントを行なうようにすることができる。
ただし、本実施形態のカウンタ部254としては、カウント出力値がカウントクロックCK0に同期せずに出力される非同期カウンタを使用するのが好ましい。基本的には、同期カウンタを使用することもできるが、同期カウンタの場合、全てのフリップフロップ(カウンタ基本要素)の動作がカウントクロックCK0で制限される。よって、より高周波数動作が要求される場合には、カウンタ部254としては、その動作制限周波数が最初のフリップフロップ(カウンタ基本要素)の制限周波数でのみ決められるため高速動作に適する非同期カウンタの使用がより好ましいのである。
ここで、本実施形態のカラム処理部26(特にカラムAD回路25)と参照信号生成部27とは、詳細は後述するが、加算読出動作を利用した高速フレームレートモード時に、各ビットについてのカウントクロックの周波数(カウント周期と称する)および/または各列のカラムAD回路25に供給する参照信号Vslopの傾きを適宜切り替えることで、行別に異なる重みを付けて垂直方向の加算処理を行なうようにし、これによって加算後の各色の垂直方向の空間位置がより高解像度の画像が得られるような間隔となるように調整する点に特徴を有する。なお、好ましくは、垂直方向だけでなく、水平方向についても、デジタル演算部29にて重付け加算を行なうことで、加算後の各色の水平方向の空間位置がより高解像度の画像が得られるような間隔となるように調整する。
より詳しく言えば、加算処理時に、加算対象画素の重付けを不均等にする重付けデジタル加算処理を実行することで、加算後の画素中心が、加算時の垂直方向や水平方向の重心にならず、より大きな重付けを掛けた側にシフトするようにすることを特徴とする。
ここで、「加算対象画素の重付けを不均等にする」とは、垂直方向や水平方向のそれぞれにおいて、加算対象画素の内の少なくとも1画素は、他の画素と重付けが異なることを意味する。たとえば、2画素での加算処理の場合であれば、1対n(nは1を超える値)とする。好ましくは、nは、2,3,4,…というように2以上の正の整数あるいは任意の値とし、さらに好ましくは、2,4,8,…というように2のべき乗とする。
また、デジタル加算処理時には、特に、処理時間やダイナミックレンジの観点から、好ましくは、加算処理の対象となる複数行については参照信号Vslopの傾きを同じ状態にしつつ、カウンタクロックの周波数を切り替える手法を採る。さらに好ましくは、各ビット用のフリップフロップの高速化対応を考慮して、カウンタ回路の全ビットのフリップフロップを高速動作させるのではなく、上位ビット側もしくは下位ビット側のフリップフロップのみを高速動作させる仕組みを採る。
カウンタ部254には、水平走査回路12から制御線12cを介して制御パルスが入力される。カウンタ部254は、カウント結果を保持するラッチ機能を有しており、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ値を保持する。
個々のカラムAD回路25の出力側は、たとえば、カウンタ部254の出力を水平信号線18に接続することができる。あるいは、図示のように、カウンタ部254の後段に、このカウンタ部254の保持したカウント結果を保持するnビットのメモリ装置としてのデータ記憶部256と、カウンタ部254とデータ記憶部256との間に配されたスイッチ258とを備える構成を採ることもできる。
データ記憶部256を備える構成を採る場合、スイッチ258には、他の垂直列のスイッチ258と共通に、通信・タイミング制御部20から、所定のタイミングで、制御パルスとしてのメモリ転送指示パルスCN8が供給される。スイッチ258は、メモリ転送指示パルスCN8が供給されると、対応するカウンタ部254のカウント値をデータ記憶部256に転送する。データ記憶部256は、転送されたカウント値を保持・記憶する。
なお、カウンタ部254のカウント値を所定のタイミングでデータ記憶部256に保持させる仕組みは、両者間にスイッチ258を配する構成に限らず、たとえば、カウンタ部254とデータ記憶部256とを直接に接続しつつ、カウンタ部254の出力イネーブルをメモリ転送指示パルスCN8で制御することで実現することもできるし、データ記憶部256のデータ取込タイミングを決めるラッチクロックとしてメモリ転送指示パルスCN8を用いることでも実現できる。
データ記憶部256には、水平走査回路12から制御線12cを介して制御パルスが入力される。データ記憶部256は、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ部254から取り込んだカウント値を保持する。
水平走査回路12は、カラム処理部26の各電圧比較部252とカウンタ部254とが、それぞれが担当する処理を行なうのと並行して、各データ記憶部256が保持していたカウント値を読み出す読出走査部の機能を持つ。
データ記憶部256の出力は、水平信号線18に接続されている。水平信号線18は、カラムAD回路25のビット幅であるnビット幅分の信号線を有し、図示しないそれぞれの出力線に対応したn個のセンス回路を経由して出力回路28に接続される。
特に、データ記憶部256を備えた構成とすれば、カウンタ部254が保持したカウント結果を、データ記憶部256に転送することができるため、カウンタ部254のカウント動作すなわちAD変換処理と、カウント結果の水平信号線18への読出動作とを独立して制御可能であり、AD変換処理と外部への信号の読出動作とを並行して行なうパイプライン動作が実現できる。
このような構成において、カラムAD回路25は、水平ブランキング期間に相当する画素信号読出期間において、カウント動作を行ない、所定のタイミングでカウント結果を出力する。すなわち、先ず、電圧比較部252では、参照信号生成部27からのランプ波形電圧と、垂直信号線19を介して入力される画素信号電圧とを比較し、双方の電圧が同じになると、電圧比較部252のコンパレート出力が反転する。たとえば、電圧比較部252は、電源電位などのHレベルをインアクティブ状態として、画素信号電圧と参照信号Vslopとが一致したときに、Lレベル(アクティブ状態)へ遷移する。
カウンタ部254は、参照信号生成部27から発せられるランプ波形電圧に同期してダウンカウントモードもしくはアップカウントモードでカウント動作を開始しており、コンパレート出力の反転した情報がカウンタ部254に通知されると、カウント動作を停止し、その時点のカウント値を画素データとしてラッチ(保持・記憶)することでAD変換を完了する。
この後、カウンタ部254は、所定のタイミングで水平走査回路12から制御線12cを介して入力される水平選択信号CH(i)によるシフト動作に基づいて、記憶・保持した画素データを、順次、カラム処理部26外や画素アレイ部10を有するチップ外へ出力端子5cから出力する。
なお、本実施形態の説明としては直接関連しないため特に図示しないが、その他の各種信号処理回路なども、固体撮像装置1の構成要素に含まれる場合がある。
<画素部>
図2は、図1に示した固体撮像装置1に使用される単位画素3の構成例と、駆動部と駆動制御線と画素トランジスタの接続態様を示す図である。画素アレイ部10内の単位画素(画素セル)3の構成は、通常のCMOSイメージセンサと同様であり、本実施形態では、CMOSセンサとして汎用的な4TR構成のものや、3つのトランジスタからなる3TR構成のものを使用することができる。もちろん、これらの画素構成は一例であり、通常のCMOSイメージセンサのアレイ構成であれば、何れのものでも使用できる。
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、CMOSセンサとして汎用的な4つのトランジスタからなる構成(以下4TR構成とも言う)のものを使用することができる。
たとえば、図2に示す4TR構成の単位画素3は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えた電荷生成部32と、電荷生成部32に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ(転送トランジスタ)34、リセットゲート部の一例であるリセットトランジスタ36、垂直選択用トランジスタ40、およびフローティングディフュージョン38の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ42を有する。
この単位画素3は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン38とからなるFDA(Floating Diffusion Amp)構成の画素信号生成部5を有するものとなっている。フローティングディフュージョン38は寄生容量を持った拡散層である。
読出選択用トランジスタ(第2の転送部)34は、転送信号φTRG が供給される転送駆動バッファBF1により転送配線(読出選択線TX)55を介して駆動されるようになっている。リセットトランジスタ36は、リセット信号φRST が供給されるリセット駆動バッファBF2によりリセット配線(RST)56を介して駆動されるようになっている。垂直選択用トランジスタ40は、垂直選択信号φVSELが供給される選択駆動バッファBF3により垂直選択線(SEL)52を介して駆動されるようになっている。各駆動バッファは、垂直走査部14の垂直駆動部14bによって駆動可能になっている。
画素信号生成部5におけるリセットトランジスタ36は、ソースがフローティングディフュージョン38に、ドレインが電源VRD(電源Vddと共通でもよい)にそれぞれ接続され、ゲート(リセットゲートRG)には画素リセットパルスRST がリセット駆動バッファから入力される。
垂直選択用トランジスタ40は、一例として、ドレインが増幅用トランジスタ42のソースに、ソースが画素線51にそれぞれ接続され、ゲート(特に垂直選択ゲートSELVという)が垂直選択線52に接続されている。なおこのような接続構成に限らず、ドレインが電源Vddに、ソースが増幅用トランジスタ42のドレインにそれぞれ接続され、垂直選択ゲートSELVが垂直選択線52に接続されるようにしてもよい。
垂直選択線52には、垂直選択信号φVSELが印加される。増幅用トランジスタ42は、ゲートがフローティングディフュージョン38に接続され、ドレインが垂直選択用トランジスタ40を介して電源Vddに、ソースは画素線51に接続され、さらに垂直信号線53(19)に接続されるようになっている。
さらに垂直信号線53は、その一端がカラム処理部26側に延在するとともに、その経路において、読出電流源部24が接続され、増幅用トランジスタ42との間で、略一定の動作電流(読出電流)が供給されるソースフォロワ構成が採られるようになっている。
具体的には、読出電流源部24は、各垂直列に設けられたNMOS型のトランジスタ(特に負荷MOSトランジスタという)242と、全垂直列に対して共用される電流生成部245およびゲートおよびドレインが共通に接続されソースがソース線248に接続されたNMOS型のトランジスタ246を有する基準電流源部244とを備えている。
各負荷MOSトランジスタ242は、ドレインが対応する列の垂直信号線53に接続され、ソースが接地線であるソース線248に共通に接続されている。これにより、各垂直列の負荷MOSトランジスタ242は基準電流源部244のトランジスタ246との間でゲート同士が接続されカレントミラー回路を構成し、垂直信号線19に対し電流源として機能するように接続されている。
ソース線248は、水平方向の端部(図1の左右の垂直列)で基板バイアスである接地(GND)に接続され、負荷MOSトランジスタ242の接地に対する動作電流(読出電流)が、チップの左右両端から供給されるような構成となっている。
電流生成部245には、必要時にのみ所定電流を出力するようにするための負荷制御信号SFLACTが、図示しない負荷制御部から供給されるようになっている。電流生成部245は、信号読出し時には、負荷制御信号SFLACTのアクティブ状態が入力されることで、各増幅用トランジスタ42に接続された負荷MOSトランジスタ242によって、予め決められた定電流を流し続けるようになっている。つまり、負荷MOSトランジスタ242は、選択行の増幅用トランジスタ42とソースフォロアを組んで読出電流を増幅用トランジスタ42に供給することで垂直信号線53への信号出力をさせる。
このような4TR構成では、フローティングディフュージョン38は増幅用トランジスタ42のゲートに接続されているので、増幅用トランジスタ42はフローティングディフュージョン38の電位(以下FD電位という)に対応した信号を電圧モードで、画素線51を介して垂直信号線19(53)に出力する。
リセットトランジスタ36は、フローティングディフュージョン38をリセットする。読出選択用トランジスタ(転送トランジスタ)34は、電荷生成部32にて生成された信号電荷をフローティングディフュージョン38に転送する。垂直信号線19には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ40をオンする。すると選択画素のみが垂直信号線19と接続され、垂直信号線19には選択画素の信号が出力される。
<電圧比較部とカウンタ部とのインタフェース例>
図3は、電圧比較部252およびカウンタ部254周辺の接続インタフェース例を説明する図である。
各垂直信号線19に対応する各列の電圧比較部252は、画素アレイ部10から読み出された画素信号電圧Vxと参照信号生成部27から供給された参照信号Vslopとが一致したときに、コンパレート出力Compをインアクティブ状態(たとえばハイレベル)からアクティブ状態(たとえばローレベル)に反転する。
カウンタ部254は、電圧比較部252からのコンパレート出力Compに基づいてカウントクロックCK0の出力を制御(ゲート)するゲート部502と、ゲート部502からのカウントクロックCINに基づいてカウント動作をするカウント実行部504を備える。
参照信号生成部27には、傾き変更指示信号CHNGが、また、カウント実行部504には、カウントモード制御信号UDC、リセット制御信号CLR、データ保持制御パルスHLDC、およびカウントクロック制御信号THが、それぞれ通信・タイミング制御部20から供給される。
なお、傾き変更指示信号CHNGとしては、DA変換回路27aがどのような形態で参照信号Vslopの傾きを変更する構成であるのかに適したものが使用される。一例としては、周波数(クロック周期)が適宜切り替えられるカウントクロックCKdac であってもよいし、参照信号Vslopの傾き(変化率)βとして制御データCN4に含むようにしてもよい。
通信・タイミング制御部20は、参照信号Vslopの傾きを変化させるタイミングと、カウンタ部254(カウント実行部504)のカウント周期を変化させるタイミングを独立に調整できるようになっており、電圧比較部252における処理対象となる複数の画素の空間的な位置の選択動作を垂直走査回路14を制御することで制御するとともに、加算対象となる複数行に亘る処理において、分周速度の調整によって加算時の重付け値を制御することで、加算後の画素の空間位置を調整する加算空間位置調整部の機能を持つ。
たとえば、後述する第1実施形態の加算処理動作においては、加算対象となる複数行に亘る処理において、何れの行も参照信号Vslopの傾きを同じ状態にしつつ、重付け値に合わせてカウント周期(分周速度)を切り替える。一例として、前の行(被加算行)よりも後からの行(加算行)の方の重付けを大きくする場合であれば、上位ビット側のフリップフロップがより高速に分周動作をするようにカウント周期をより高速側となるように、カウントモード制御信号UDC、リセット制御信号CLR、データ保持制御パルスHLDC、およびカウントクロック制御信号THをカウンタ部254のカウント実行部504に発して、カウント実行部504における各ビット出力の分周動作をL倍に変更する。参照信号Vslopの傾きを同じにしたままで分周動作をL倍に変更すると、事実上、AD変換ゲインをL倍にしてAD変換を実行することになる。その結果、L倍の重付けをして加算処理を実行できる。
また、後述する第2実施形態の加算処理動作においては、第1実施形態の加算処理動作に加えて、さらに、1つの行内の処理においても、信号レベルSsig についての処理時には、電圧比較部252における比較処理過程で比較処理が完了する前に、傾き変更指示信号CHNGを参照信号生成部27に発して参照信号Vslopの傾きをJ倍に変更するとともに、カウントモード制御信号UDC、リセット制御信号CLR、データ保持制御パルスHLDC、およびカウントクロック制御信号THをカウンタ部254のカウント実行部504に発して、カウント実行部504における各ビット出力の分周動作をそれ以前に対してK倍(好ましくはK倍=J倍)に変更する。
参照信号Vslopの傾きをJ倍にし、分周動作をK倍に変更すると、事実上、AD変換処理時間を1/J倍に短縮させながらAD変換ゲインをK/J倍にしてAD変換を実行することになる。K倍=J倍とすることで、事実上、AD変換処理時間を1/J倍に短縮させながら、AD変換ゲインを一定にすることができ、AD変換結果の線形性を崩すことがなくなる。
先の、第1実施形態の加算処理動作における加算行についてのL倍と組み合わせると、AD変換処理時間を1/J倍(=1/K倍)に短縮させながら、2行分の画素信号Vsig1,Vsig2について、それぞれの線形性を崩すことなく、“Vsig1+K・Vsig2”のAD変換結果を取得することができる。
通信・タイミング制御部20は、傾き変更指示信号CHNG、カウントモード制御信号UDC、リセット制御信号CLR、データ保持制御パルスHLDC、およびカウントクロック制御信号THのオン/オフタイミングを、外部の主制御部から供給されるデータDATAに従って決定する。
これらのオン/オフタイミングは、第1実施形態の加算処理動作においては、重付けの設定に応じて決定される。また、第2実施形態の加算処理動作においては、さらに、光ショットノイズと量子化ノイズとの関係に基づいてより高精度を求めるか高速性を求めるかといった目的に応じて決定される。
ゲート部502は、コンパレート出力がインアクティブ状態にあるときには入力されたカウントクロックCK0をそのままカウントクロックCINとしてカウント実行部504に伝達するが、コンパレート出力がアクティブ状態に反転したときには、カウントクロックCK0の伝達を停止する。
カウントクロックCK0の伝達が停止されることにより、カウント実行部504は、カウンタの動作を停止し、その時点の画素信号電圧Vxを反映したカウント値を保持する、すなわちカウント実行部504は、画素信号電圧Vxをデジタルデータに変換して保持することになる。
<カウンタ部>
図4および図5は、カウンタ部254のカウント実行部504の一構成例を示す図である。ここでは、12ビットに対応した構成で示している。
各垂直信号線19に対応する各列のカウント実行部504は、基本構成としては、D型のフリップフロップ(FF)を縦続接続し、前段のカウント出力を後段のクロック端子CKに入力する非同期カウンタの構成を採っている。
また、本実施形態の特徴点として、フリップフロップのそれぞれは、自身の反転出力NQをD入力端子に戻す際に、反転出力NQに対するホールド機能のオン/オフをフリップフロップの別に制御可能な構成を採る。加えて、段間には、カウントモードをアップカウントとダウンカウントの何れかに切り替える機能部と、カウントクロックを前段のカウント出力に基づくパルスとするのかゲート部502からのカウントクロックCINとするのかを切り替える機能部とを有する。
具体的には、カウント実行部504は、先ず、フリップフロップ(FF)510_00 〜510_11 を有する。またカウント実行部504は、フリップフロップ510(_00 〜_11 )の反転出力端NQ(図ではQの上にバーを付して示す)とD入力端との間に、反転出力端NQのデータを保持可能なデータ保持部(HOLD)512(_00 〜_11 )を有する。各データ保持部512(_00 〜_11 )は、各別のデータ保持制御パルスHLDC(00〜11)によって制御されるようになっている。データ保持部512は、フリップフロップ510の入力の状態を問わずカウント出力を保持する機能を持ち、たとえば排他的論理和で実現できる。
たとえば、データ保持部512は、データ保持制御パルスHLDCがアクティブH(H:ハイレベル)のときに入力データ(フリップフロップ510の反転出力NQ)を保持し、インアクティブL(L:ローレベル)のときには保持動作を解除して、入力データ(フリップフロップ510の反転出力NQ)をそのままフリップフロップ510のD入力端に伝達する。
各フリップフロップ510のリセット端Rには、リセット制御信号CLRが共通に入力されるようになっている。フリップフロップ510は、たとえば、リセット制御信号CLRがアクティブHのときには非反転出力QをLレベルに、反転出力端NQをHレベルにセットする。
また、カウント実行部504は、各フリップフロップ510の段間に、カウントモードをアップカウントとダウンカウントの何れか一方に切り替えるカウントモード切替部(U/D)514(_00 〜_10 )を有する。カウントモード切替部514は、前段のフリップフロップ510の反転出力端NQのデータをそのまま出力するのか反転して出力するのかを、カウントモード制御信号UDCに基づいて切り替える。このカウントモード切替部514は、たとえば排他的論理和で実現できる。
たとえば、カウントモード切替部514は、カウントモード制御信号UDCがハイレベルのときにはカウント実行部504がアップカウント動作をし、ローレベルのときにはカウント実行部504がダウンカウント動作をするように、フリップフロップ510の反転出力端NQのデータの反転/非反転を切り替える。
また、カウント実行部504は、各フリップフロップ510の段間において、カウントモード切替部514の後段に、カウントモード切替部514の出力パルスとゲート部502からのカウントクロックCINとをカウントクロック制御信号TH(00〜10)に基づいて切り替えて後段のフリップフロップ510のクロック端CKに供給するカウントクロック切替部(SEL)516(00〜10)を有する。
各カウントクロック切替部516(_00 〜_10 )は、各別のカウントクロック制御信号TH(00〜10)によって制御されるようになっている。カウントクロック制御信号TH(00〜10)は、前段側が先にアクティブになり、順次遅れた所定のタイミングで後段側がアクティブになるようになっている(詳細は後述する)。
たとえば、カウントクロック切替部516は、カウントクロック制御信号THがインアクティブLのときにはカウントモード切替部514の出力を伝達し、カウントクロック制御信号THがアクティブHに切り替わるとゲート部502からのカウントクロックCINを伝達する。
ここで、カウントクロック切替部516は、ゲート部502からのカウントクロックCINの取込み形態として、図4に示す第1例では、カラム別に、前段のフリップフロップ510に入力されるクロックパルスを取り扱うように配線しているのに対して、図5に示す第2例では、各段用のカウントクロック線517(_00 〜_11 )を設けて、ゲート部502からのカウントクロックCINを、各カラムに対して共通かつ各フリップフロップ510の段間にも配線しておき、そのカウントクロック線517から取り込むようにしている。
図4に示す第1例では、カウントクロックCINの配線の引回しが図5に示す第2例よりも少なくて済むが、カウントクロックCINを順次上位ビット側のフリップフロップ510に伝達する際、下位側のフリップフロップ510のデータ出力自体は無効なものとして取り扱われるものの、実際には動作したままとなっている。
これに対して、図5に示す第2例では、カウントクロックCINの配線の引回しが図4に示す第1例よりも多くなるが、たとえばクロック停止部(STOP)518(_00 〜_10 )をゲート部502と各段用のカウントクロック線517(_00 〜_10 )との間に設けてフリップフロップ510へのカウントクロック供給をカウントクロック制御信号TH(_00 〜_10 )に基づき停止可能に構成するなど、切替え後には前段側(下位ビット側)のフリップフロップ510へのカウント動作を停止させることができるので低消費電力化を図ることができる利点がある。
第1例および第2例の何れの構成を採っても、カウント実行部504としては、非同期バイナリカウンタとして動作するようになっており、また、カウントクロック切替部516をカウントクロック制御信号THに基づいて動作させることで、各段のフリップフロップ510それぞれのクロック入力を後段側(上位ビット側)のフリップフロップ510のクロック入力に伝達する機能を持つ。換言すれば、下位ビット出力に使用されていたより高速のクロックを順次所定のタイミングで後段側(上位ビット側)に伝達していくことで、カウントクロックCINに対する上位ビット出力の分周動作を順次高速にしていくようになっている。たとえば、切替え前にカウントクロックCINに対して1/4分周動作をしていたものを、切替え後にはカウントクロックCINに対して1/2分周動作をするように変更することができる。
カウントクロックの切替え後には、それまでのクロックより高速のクロックでカウント動作(分周動作)をすることになるので、参照信号Vslopの傾きとの関係を調整することで、AD変換の線形性を保持しつつ高速なAD変換が可能となる。この点については、後で詳しく説明する。
<固体撮像装置の動作;基本動作>
図6は、図1に示した固体撮像装置1のカラムAD回路25における基本動作である信号取得差分処理を説明するためのタイミングチャートである。
画素アレイ部10の各単位画素3で感知されたアナログの画素信号をデジタル信号に変換する仕組みとしては、たとえば、所定の傾きで下降するランプ波形状の参照信号Vslopと単位画素3からの画素信号における基準成分や信号成分の各電圧とが一致する点を探し、この比較処理で用いる参照信号Vslopの生成時点から、画素信号における基準成分や信号成分に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント(計数)することで、基準成分や信号成分の各大きさに対応した画素信号レベルのカウント値を得る手法を採る。
つまり、垂直信号線19に読み出したアナログの画素信号電圧Vxを、列ごとに配置されたカラムAD回路25の電圧比較部252で参照信号Vslopと比較する。このとき、電圧比較部252と同様に列ごとに配置されたカウンタ部254を動作させておき、参照信号Vslopのある電位とカウンタ部254とを1対1の対応を取りながら変化させることで、垂直信号線19の画素信号電圧Vxをデジタルデータに変換する。ここで、参照信号Vslopの変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で量子化しながらカウンタ部254で数えることで、デジタルデータに変換する。参照信号Vslopがある時間Δtの間にΔV変化するとして、Δtの周期でカウンタ部254を動作させると参照信号VslopがN×ΔV変化したときのカウンタ値はNとなる。
ここで、垂直信号線19から出力される画素信号So(画素信号電圧Vx)は、時間系列として、基準レベルとしての画素信号の雑音を含むリセットレベルSrst の後に信号レベルSsig が現れるものである。1回目の処理を基準レベル(リセットレベルSrst ・事実上リセットレベルVrst と等価)について行なう場合、2回目の処理はリセットレベルSrst に信号成分Vsig を加えた信号レベルSsig についての処理となる。以下具体的に説明する。
1回目の処理時、つまりリセットレベルSrst についてのAD変換期間Trst においては、先ず通信・タイミング制御部20は、リセット制御信号CLRをアクティブHにして、カウンタ部254の各フリップフロップ510の非反転出力端Qから出力されるカウント値を初期値“0”にリセットさせるとともに、カウンタ部254をダウンカウントモードに設定する(t1)。このとき、通信・タイミング制御部20は、データ保持制御パルスHLDCをアクティブHに、またカウントモード制御信号UDCをローレベル(つまりダウンカウントモード)にしておく。
またこのとき、単位画素3では、読出対象行Vnの垂直選択信号φVSELをアクティブHにして画素信号Soの垂直信号線19への出力を許可し、ほぼ同時にリセット信号φRST をアクティブHにしてフローティングディフュージョン38をリセット電位にする(t1〜t2)。このリセット電位が画素信号Soとして垂直信号線19に出力される。これにより、画素信号電圧Vxとしては、リセットレベルSrst が垂直信号線19に現れるようになる。なお、このとき、単位画素3ごとの画素内アンプ(画素信号生成部5)のばらつきにより、収束するリセットレベルSrst の電位はばらつく。
そして、読出対象行Vnの単位画素3から垂直信号線19(H0,H1,…)への1回目の読出しが安定した後、つまり、リセットレベルSrst が収束したら、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslop生成用の制御データCN4を供給する。ここでは、カウンタ部254におけるカウント動作開始と同時に参照信号Vslopが変化し始めるようにするべく、制御データCN4としてはデータ保持制御パルスHLDCを使用し、このデータ保持制御パルスHLDCをインアクティブLにする(t10)。
これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子RAMPへの比較電圧である参照信号Vslopとして、初期電圧SLP_iniを始点とする、全体として鋸歯状(RAMP状)に時間変化させた階段状もしくは線形状の電圧波形を入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される垂直信号線19の画素信号電圧Vxとを比較する。
電圧比較部252の入力端子RAMPへの参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、参照信号生成部27から発せられる参照信号Vslopに同期して、行ごとに配置されたカウンタ部254で計測する。実際には、参照信号Vslopの生成のためにデータ保持制御パルスHLDCがインアクティブLにされており、これによってデータ保持部512の保持動作が解除されるので、カウンタ部254は、1回目のカウント動作として、初期値“0”からダウンカウントを開始する。すなわち、負の方向にカウント処理を開始する。
電圧比較部252は、参照信号生成部27からのランプ状の参照信号Vslopと垂直信号線19を介して入力される画素信号電圧Vxとを比較し、双方の電圧が同じになったときに、コンパレート出力をHレベルからLレベルへ反転させる。つまり、リセットレベルVrst に応じた電圧信号(リセットレベルSrst )と参照信号Vslopとを比較して、リセットレベルVrst の大きさに対応した時間軸方向に大きさを持っているアクティブロー(L)のパルス信号を生成して、カウンタ部254に供給する。
この結果を受けて、カウンタ部254は、コンパレート出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ(保持・記憶)することでAD変換を完了する。つまり、電圧比較部252における比較処理によって得られる時間軸方向に大きさを持っているアクティブロー(L)のパルス信号の幅をカウントクロックCK0でカウント(計数)することで、リセットレベルVrst の大きさに対応したデジタル値Drst を示す(符号を加味すれば−Drst を示す)カウント値を得る。
通信・タイミング制御部20は、所定のダウンカウント期間を経過すると、データ保持制御パルスHLDCをアクティブHにする(t14)。これにより、参照信号生成部27は、ランプ状の参照信号Vslopの生成を停止し(t14)、初期電圧SLP_iniに戻る。
1回目の処理時は、画素信号電圧VxにおけるリセットレベルVrst を電圧比較部252で検知してカウンタ部254でカウント動作を行なっているので、単位画素3のリセットレベルVrst を読み出してリセットレベルVrst のAD変換を実施することになる。
このリセットレベルVrst 内には、単位画素3ごとにばらつく雑音がオフセットとして含まれている。しかし、このリセットレベルVrst のばらつきは一般に小さく、またリセットレベルSrst は概ね全画素共通であるので、任意の垂直信号線19の画素信号電圧VxにおけるリセットレベルVrst の出力値はおおよそ既知である。
したがって、1回目のリセットレベルVrst の読出しおよびAD変換時には、参照信号Vslopを調整することにより、ダウンカウント期間(比較期間)を短くすることが可能である。たとえば、リセットレベルSrst についての比較処理の最長期間(つまりリセット成分用のAD変換期間)を、7ビット分のカウント期間(128クロック)にして、リセットレベルSrst (リセットレベルVrst )の比較を行なう。
続いての2回目の処理時、つまり信号レベルSsig についてのAD変換期間Tsig においては、リセットレベルVrst に加えて、単位画素3ごとの入射光量に応じた信号成分Vsig を読み出し、1回目の読出しと同様の動作を行なう。すなわち、先ず通信・タイミング制御部20は、カウントモード制御信号UDCをハイレベルにしてカウンタ部254をアップカウントモードに設定する(t16)。
またこのとき、単位画素3では、読出対象行Vnの垂直選択信号φVSELをアクティブHにしたままで転送信号φTRG をアクティブHにして垂直信号線19に信号レベルSsig を読み出す(t18〜t19)。
そして、読出対象行Vnの単位画素3から垂直信号線19(H0,H1,…)への2回目の読出しが安定した後、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslop生成用の制御データCN4を供給する。ここでも、カウンタ部254におけるカウント動作開始と同時に参照信号Vslopが変化し始めるようにするべく、制御データCN4としてはデータ保持制御パルスHLDCを使用し、このデータ保持制御パルスHLDCをインアクティブLにする(t20)。
これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子RAMPへの比較電圧である参照信号Vslopとして、初期電圧SLP_iniを始点とし1回目と同じ傾きを持った全体として鋸歯状(RAMP状)に時間変化させた階段状もしくは線形状の電圧波形を入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される垂直信号線19の画素信号電圧Vxとを比較する。
電圧比較部252の入力端子RAMPへの参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、参照信号生成部27から発せられる参照信号Vslopに同期して、行ごとに配置されたカウンタ部254で計測する。ここでも、実際には、参照信号Vslopの生成のためにデータ保持制御パルスHLDCがインアクティブLにされており、これによってデータ保持部512の保持動作が解除されるので、カウンタ部254は、2回目のカウント動作として、1回目の読出しおよびAD変換時に取得された画素信号電圧VxのリセットレベルSrst のデジタル値Drst (ここでは負の値となっている)から、1回目とは逆にアップカウントを開始する。すなわち、正の方向にカウント処理を開始する。
電圧比較部252は、参照信号生成部27からのランプ状の参照信号Vslopと垂直信号線19を介して入力される画素信号電圧Vxとを比較し、双方の電圧が同じになったときに、コンパレート出力をHレベルからLレベルへ反転させる(t22)。つまり、信号成分Vsig に応じた電圧信号(画素信号電圧Vxの信号レベルSsig )と参照信号Vslopとを比較して、信号成分Vsig の大きさに対応した時間軸方向に大きさを持っているアクティブロー(L)のパルス信号を生成して、カウンタ部254に供給する。
この結果を受けて、カウンタ部254は、コンパレート出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ(保持・記憶)することでAD変換を完了する(t22)。つまり、電圧比較部252における比較処理によって得られる時間軸方向に大きさを持っているアクティブロー(L)のパルス信号の幅をカウントクロックCK0でカウント(計数)することで、画素信号電圧Vxにおける信号レベルSsig に対応したカウント値を得る。
所定のアップカウント期間を経過すると、単位画素3では、読出対象行Vnの垂直選択信号φVSELをインアクティブLにして画素信号Soの垂直信号線19への出力を禁止し、次の読出対象行Vn+1について、垂直選択信号φVSELをアクティブHにする(t26)。このとき、通信・タイミング制御部20は、次の読出対象行Vn+1についての処理に備える。たとえば、カウントモード制御信号UDCをローレベルにしてカウンタ部254をダウンカウントモードに設定する。
この2回目の処理時は、画素信号電圧Vxにおける信号レベルSsig を電圧比較部252で検知してカウント動作を行なっているので、単位画素3の信号成分Vsig を読み出して信号レベルSsig のAD変換を実施することになる。
ここで、信号レベルSsig は、リセットレベルSrst に信号成分Vsig を加えたレベルであるので、信号レベルSsig のAD変換結果のカウント値は、基本的には“Drst +Dsig ”であるが、アップカウントの開始点を、リセットレベルSrst のAD変換結果である“−Drst ”としているので、実際に保持されるカウント値は、“−Drst +(Dsig +Drst ) =Dsig ”となる。
リセットレベルSrst についてのAD変換期間Trst と信号レベルSsig についてのAD変換期間Tsig の1digit 当たりの電圧値(変換係数)をα[V/digit ]として、AD変換結果のカウント値Dsig を電圧値に変換すると、信号成分Vsig の電圧値はα・Dsig となる。
たとえば、図6では、画素信号電圧Vx部分に括弧書きでデジタル値を示すように、垂直信号線19の画素信号電圧VxのリセットレベルSrst が“10”であり、信号成分Vsig が“60”であり、信号レベルSsig がデジタル値で“70”の場合を示している。
リセットレベルSrst についてのAD変換期間Trst では、カウンタ値Drst が“−10”になったとき、参照信号Vslopと画素信号電圧Vxが一致(クロス)し、電圧比較部252のコンパレート出力がアクティブLに反転することで、カウンタ部254はダウンカウント動作を停止する。したがって、リセットレベルSrst のAD変換結果は“−10”となり、この値は、次の画素信号読出し期間である信号レベルSsig についてのAD変換期間Tsig まで保持される。
次に、信号レベルSsig についてのAD変換期間Tsig では、単位画素3から信号レベルVsig を読み出して、カウンタ部254でアップカウントを開始する。参照信号VslopがAD変換期間Trst のときの画素信号電圧Vxの電位になったときに(図中点P)にカウンタ値はゼロとなり、参照信号Vslopと画素信号電圧Vxの信号レベルSsig が一致したときに、電圧比較部252のコンパレート出力がアクティブLに反転することで、カウンタ部254はアップカウント動作を停止する。
このとき、カウンタ部254が実際にアップカウントした回数は“70”であるが、カウンタ部254は負の値の“−10”からアップカウントを開始しているので、実際のカウンタ値は、“−10+70=60”となり、信号成分Vsig のデジタル値Dsig =60と等しくなる。
つまり、本実施形態においては、カウンタ部254におけるカウント動作を、1回目の処理時にはダウンカウント、2回目の処理時にはアップカウントとしているので、カウンタ部254内で自動的に、リセットレベルSrst のAD変換結果であるカウント値“−Drst ”と信号レベルSsig のAD変換結果であるカウント値“Drst +Dsig ”との間での差分処理(減算処理)が自動的に行なわれ、この差分処理結果に応じたカウント値Dsig がカウンタ部254に保持される。この差分処理結果に応じたカウンタ部254に保持されるカウント値Dsig は信号成分Vsig に応じたものとなる。
上述のようにして、リセットレベルSrst (=事実上リセット成分Vrst )と信号レベルSsig についての2回に亘る比較処理とその比較処理と連動したダウンカウント動作およびアップカウント動作によって、“(2回目の比較期間のカウント値)−(1回目の比較期間のカウント値)”の減算処理の結果に応じたカウント値が保持される。このとき、実際には、カラムAD回路25のオフセット成分も加味する必要がある。
したがって、(2回目の比較期間のカウント値)−(1回目の比較期間のカウント値)=(リセットレベルSrst +信号成分Vsig +カラムAD回路25のオフセット成分)−(リセットレベルSrst +カラムAD回路25のオフセット成分)=(信号成分Vsig )であり、以上2回の読出動作とカウンタ部254内での自動的な差分処理により、単位画素3ごとのばらつきを含んだリセット成分Vrst に加えて、カラムAD回路25ごとのオフセット成分も除去されるため、単位画素3ごとの入射光量に応じた信号成分Vsig のみのAD変換結果を取得することができる。
よって、本実施形態のカラムAD回路25は、アナログの画素信号をデジタルの画素データに変換するデジタル変換部としてだけでなく、CDS処理機能部としても動作することとなる。
ここで、2回目の処理時は、入射光量に応じた信号成分Vsig を読み出してAD変換を行なうので、光量の大小を広い範囲で判定するために、アップカウント期間(t20〜t24;比較期間)を広く取り、電圧比較部252に供給する参照信号Vslopを大きく変化させる必要がある。
そこで本実施形態では、信号レベルSsig についての比較処理の最長期間を、たとえば12ビット分のカウント期間(4096クロック)にして、信号レベルSsig の比較を行なう。つまり、リセットレベルSrst (リセットレベルVrst /基準成分)についての比較処理の最長期間(リセット成分用のAD変換期間)を、信号レベルSsig についての比較処理の最長期間(つまり信号成分用のAD変換期間)よりも短くする。リセットレベルSrst と信号レベルSsig の双方の比較処理の最長期間すなわちAD変換期間の最大値を同じにするのではなく、リセットレベルSrst についての比較処理の最長期間を信号レベルSsig についての比較処理の最長期間よりも短くすることで、2回に亘るトータルのAD変換期間が短くなるように工夫する。
この場合、1回目と2回目との比較ビット数が異なるが、通信・タイミング制御部20から制御データを参照信号生成部27に供給して、この制御データに基づいて参照信号生成部27にて参照信号Vslopを生成するようにすることで、参照信号Vslopの傾きすなわち参照信号Vslopの変化率を1回目と2回目とで同じにする。デジタル制御で参照信号Vslopを生成すれば、参照信号Vslopの傾きを1回目と2回目とで同じにすることが容易である。これにより、AD変換の精度を等しくできるため、アップダウンカウンタによる差分処理結果が正しく得られる。
また、本実施形態のカラムAD回路25では、カウンタ部254の後段にデータ記憶部256を備えており、カウンタ部254の動作前に、通信・タイミング制御部20からのメモリ転送指示パルスCN8に基づき、前行Hx−1のカウント結果をデータ記憶部256に転送することができる。
つまり、AD変換期間終了後、カウンタ部254内のデータをデータ記憶部256へと退避し、カラムAD回路25は次の行Vx+1のAD変換を開始する。データ記憶部256内のデータは、その裏で水平走査回路12により順に選択され、出力回路28を用いて読み出すことができる。
データ記憶部256を備えない構成では、2回目の読出処理、すなわちAD変換処理が完了した後でなければ画素データをカラム処理部26の外部に出力することができないので、読出処理には制限があるのに対して、データ記憶部256を備えることで、1回目の読出処理(AD変換処理)に先立って前回の減算処理結果を示すカウント値をデータ記憶部256に転送しているので、読出処理には制限がない。
カウンタ部254が保持したカウント結果を、データ記憶部256に転送することができるため、カウンタ部254のカウント動作すなわちAD変換処理と、カウント結果の水平信号線18への読出動作とを独立して制御可能であり、AD変換処理と外部への信号の読出動作とを並行して行なうパイプライン動作が実現できる。
このように、本実施形態の固体撮像装置1では、アップカウントとダウンカウントとを切り替えて動作させるようにしているが、この際、1つのカウンタそのものがモード切替えで対応可能なアップダウンカウンタを用いつつ、その処理モードを切り替えて2回に亘ってカウント処理を行なうようにした。また、行列状に単位画素3が配列された構成において、カラムAD回路25を垂直列ごとに設けた列並列カラムAD回路で構成した。
このため、基準レベル(リセットレベルSrst )と信号レベルSsig との減算処理が2回目のカウント結果として垂直列ごとに直接に取得することができ、リセットレベルSrst と信号レベルSsig のそれぞれのカウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、AD変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。
加えて、基準成分に対応する信号レベル(リセットレベルSrst )のデジタルデータと信号成分に対応する信号レベルSsig のデジタルデータとの差を取るための特別な減算器が不要になる。個別のアップカウンタとダウンカウンタとを組み合わせて構成することもできるが、この場合、たとえば一方(前例ではダウンカウンタ)のカウント値を他方(前例ではアップカウンタ)にロードさせてからカウント動作を開始するようにする、あるいは、それぞれのカウント値をデジタル演算処理で減算するなどのための機能要素が必要になる。
たとえば、リセットレベルSrst についてのAD変換期間Trst ではダウンカウントして単位画素3のリセットレベルSrst のAD変換結果を保持し、信号レベルSsig についてのAD変換期間Tsig ではアップカウントすることで、リセットレベルSrst からの信号成分Vsig についてのAD変換結果を取得することが可能となり、実質的に、信号成分Vsig についてのAD変換とCDS処理の機能を同時に実現することになる。また、カウンタ部254内に保持されたカウント値が示す画素データは正の信号電圧を示すので、負の信号電圧を正の信号電圧にする補数演算などが不要となり、既存のシステムとの親和性が高い。
また、カウンタ部254の後段にデータ記憶部256を設けることで、データ記憶部256から水平信号線18および出力回路28を経た外部への信号出力動作と、現行Hxの読出しおよびカウンタ部254のカウント動作とを並行して行なうことができ、より効率のよい信号出力が可能となる。画素信号電圧Vxの信号成分Vsig をデジタルデータに変換した値Dsig はデータ記憶部256に保持された後、水平走査回路12によって順次外部に読み出されていく。このように、列ごとに、電荷生成部32で生成された信号電荷がアナログ電気信号さらにデジタルデータまで並列に処理することで、その後の転送はデジタルデータであることから、高速演算が可能であり、高速処理を実現することができる。
<AD変換+加算処理;基本動作>
図7は、AD変換処理動作と並行して実行される垂直方向に関しての加算処理を説明するためのタイミングチャートである。なお、説明を簡潔にするため、カラムAD回路25のオフセット成分については無視して説明する。
図7における各タイミングや信号は、処理対象行を問わず、図6に示した1行分のタイミングや信号と同じタイミングや信号で示す。そして、説明中においては、そのタイミングや信号に、処理対象行を参照子で示すことで区別する。後述の類似のタイミングチャートにおいても同様である。
AD変換処理動作と並行して実行される垂直方向に関しての加算処理は、画素アレイ部10の全ての単位画素3から画素情報を読み出す通常フレームレートモードに比べて、単位画素3の露光時間を1/2に設定することによって高フレームレート化を図る高速フレームレートモードの動作時に実行されることになる。
カウンタ部254は、ある行の単位画素3を処理対象として、信号レベルSsig についてNビットでAD変換処理を実行した後も、そのAD変換結果を示すカウント値をカウンタ部254内に保持することができる。本例では、このカウンタ部254のデータ保持特性を利用して、複数の行間で単位画素3のAD変換値を加算する処理をカウンタ部254において実現する。
ここで、加算処理の対象となる複数の行は、2行以上であればよく、3行以上の任意の複数であってもよい。また、各行の関係としては、隣り合う行同士での加算に限らず、幾つかの行ごととすることもできる。たとえば、典型的には、画素アレイ部10がカラー画像撮像用のものであれば、色分離フィルタの色配列と整合するように、つまり同色成分同士を加算するように、適切な行を処理対象とする。たとえば、ベイヤー配列の場合であれば、奇数行同士、偶数行同士での加算処理を行なう。
なお、水平方向の加算処理に関しても同様であり、加算処理の対象となる複数の列は、2列以上であればよく、3列以上の任意の複数であってもよい。また、各列の関係としては、隣り合う列同士での加算に限らず、幾つかの列ごととすることもできる。たとえば、典型的には、画素アレイ部10がカラー画像撮像用のものであれば、色分離フィルタの色配列と整合するように、つまり同色成分同士を加算するように、適切な列を処理対象とする。たとえば、ベイヤー配列の場合であれば、奇数列同士、偶数列同士での加算処理を行なう。
以下の説明においては、任意のIv行と任意のJv行の2行間での加算処理(2行単位での加算演算)をカラムAD回路25のアップ/ダウンカウント機能を持つカウンタ部254にて実行し、その後に、任意のIh列と任意のJh列の2列間での加算処理(2列単位での加算演算)をデジタル演算部29で実行する、つまり行、列それぞれが所定の関係を持つ2行2列の加算演算を実行するものとして説明する。また、Iv行を被加算行とし先にAD変換処理を実行してから、Jv行のAD変換処理を実行するものとする。
信号取得差分処理の基本動作説明から理解されるように、Iv行の単位画素3の信号を読み出してAD変換処理を実行する場合は、先ず、読出対象行Ivの垂直選択信号φVSEL _IvをアクティブHにして画素信号Soの垂直信号線19への出力を許可する。このとき、データ保持制御パルスHLDC00〜HLDC11は全て当初はアクティブHで( t1_Iv〜t10_Iv)、比較処理およびカウント処理時にはインアクティブLにするし(t10_Iv〜t14_Iv)、図示していないがカウントクロック制御信号TH00〜TH10は全てインアクティブLである( t1_Iv〜t26_Iv)。
ここで、Iv行目のリセット成分をVrst_Iv、リセットレベルをSrst_Iv,Iv行目の信号成分をVsig_Iv、信号レベルをSsig_Ivとすると、比較処理およびカウント処理によって( t1_Iv〜t26_Iv)、カウンタ部254には、(2回目の比較時間のカウント値)−(1回目の比較時間のカウント値)=“(Srst_Iv+Vsig_Iv)−Srst_Iv=Vsig_Iv”のデジタル値Dsig_Ivが保持される(t26_Iv)。
このIv行目のAD変換期間が終了した後、カウンタ部254をリセットしないで、引き続きJv行目の単位画素3の信号の読出動作とAD変換処理動作に移行し、Iv行目と同様の読出動作を繰り返す。このため、先ず、先の読出対象行Ivの垂直選択信号φVSEL _IvをインアクティブLにするとともに、新たな読出対象行Jvの垂直選択信号φVSEL _JvをアクティブHにして画素信号Soの垂直信号線19への出力を許可する( t1_Jv=t26_Iv)。
このとき、データ保持制御パルスHLDC00〜HLDC11は全て当初はアクティブHで( t1_Jv〜t10_Jv)、比較処理およびカウント処理時にはインアクティブLにするし(t10_Jv〜t14_Jv)、図示していないがカウントクロック制御信号TH00〜TH10は全てインアクティブLである( t1_Jv〜t26_Jv)。
ここで、Jv行目のリセット成分をVrst_Jv、リセットレベルをSrst_Jv,Jv行目の信号成分をVsig_Jv、信号レベルをSsig_Jvとすると、比較処理およびカウント処理によって( t1_Jv〜t26_Jv)、Jv行目のAD変換終了時にカウンタ部254に保持されるデジタル値は、“Vsig_Iv+(Srst_Jv+Vsig_Jv)−Srst_Jv=Vsig_Iv+Vsig_Jv”となる。つまり、垂直方向のIv行とJv行の2行分の信号成分Vsig_Iv,Vsig_Jvの加算結果をAD変換したカウンタ値がカウンタ部254に保持される(t26_Jv)。
たとえば、図7中の画素信号電圧Vx部分に括弧書きでデジタル値で示すように、Iv,Jv行目のリセットレベルSrst_Iv,Srst_Jvが何れも“10”、信号成分Vsig_Iv,Vsig_Jvが何れも“60”、信号レベルSsig_Iv,Ssig_Jvが何れも“70”であるものとする。
この場合、Iv行目の信号レベルSsig_Iv(信号成分Vsig_Iv)のAD変換においては、リセットレベルSrst_IvについてのAD変換において取得したカウント値“Drst_Iv”(=−10)を始点としてアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値Dsig_Ivは“−10+70=60”となる。
この後、Jv行目のAD変換においては、Iv行目についてのAD変換において取得したカウント値“Dsig_Iv”(=60)を始点として先ずリセットレベルSrst_Jvに関してダウンカウントを行なうことでカウンタ部254に保持される値Drst_Jvは“60−10=50”となる。さらに、このカウント値“Drst_Jv”(=50)を始点として信号レベルSsig_Jvに関してアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値ADD は“50+70=120”となり、Iv行目の信号成分Vsig_Ivのデジタル値Dsig_IvとJv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvとを加算した値を表わす。
なお、前例では、カラムAD回路25内でデジタル加算処理を実行するに当たり、アップカウントとダウンカウントとを切り替えて動作させるようにしているが、この際、1つのカウンタそのものがモード切替えで対応可能なものを使用することで、単位画素3の信号成分Vsig からリセット成分Vrst を除去するデジタルCDS処理と加算処理を自動的に行なうことができる利点がある。個別のアップカウンタとダウンカウンタとを組み合わせて構成することもできるが、この場合、たとえば一方のカウント値を他方にロードさせてからカウント動作を開始するようにする、あるいは、それぞれのカウント値をデジタル演算処理で減算や加算するなどのための機能要素が必要になる。
カウンタ部254は、AD変換処理の後に、そのカウンタ値を、データ記憶部256を介して水平信号線18に送る。これにより、デジタル演算部29には、垂直方向のIv行とJv行の2行分の信号成分Vsig_Iv,Vsig_Jvの加算結果を示すデジタルデータが列ごとに順次供給される。
同様の動作を繰り返すことにより、垂直方向(センサ面縦(列)方向)において画素情報を1/2に間引いた画像を得ることができる。その結果、フレームレートを全ての画素情報を読み出す通常フレームレートモード時に比べて2倍に高速化できる。
デジタル演算部29は、カラム処理部26から送られた、垂直方向のIv行とJv行の2行分の信号成分Vsig_Iv,Vsig_Jvの加算結果を示すデジタルデータ(以下行加算データADD とも称する)を処理対象として、Ih列の行加算データADD_IhとJh列の行加算データADD_Jhとを加算することで、最終的に、2行2列分の加算結果のデジタルデータを取得する。
一例として、カウンタ部254では奇数行とそれに隣接する偶数行についての加算処理を実行し、デジタル演算部29では、奇数列とそれに隣接する偶数列についての加算処理を実行するものとする。この場合、デジタル演算部29は、偶数列、奇数列の行加算データをデータ記憶部256からから読み出して加算することで、2列間における画素の加算演算を実行する。
その結果、垂直方向の奇数行Ivにおける水平方向の奇数列Ihとそれに隣接する偶数列Jhの2列分の信号成分Vsig_IvIh,Vsig_IvJhと、奇数行Ivに隣接する偶数行Jvにおける水平方向の奇数列Ihとそれに隣接する偶数列Jhの2列分の信号成分Vsig_JvIh,Vsig_JvJhとを加算した結果のデジタルデータがデジタル演算部29にて取得される。つまり隣接する2行2列の4画素の加算演算を実行することになる。
単位画素3から垂直信号線19を経由して出力される画素信号電圧Vxを、カラムAD回路25でデジタル値に変換するとともに、このデジタル値を垂直方向(列方向)における複数の単位画素3間(前例では2行の単位画素3)間で加算することにより、次のような作用効果を得ることができる。
たとえば、画素情報数の観点からは、画素情報について垂直方向で1/2に間引き読み出し(飛ばし読み出し)を行なったのと同じことになるが、垂直方向における2画素間で画素情報を加算しているため、1つの画素情報についての情報量の点では2倍となる。したがって、フレームレートをたとえば2倍に向上するべく、単位画素3の露光時間を1/2に設定したとしても、AD変換の際にデジタル値を2行分の単位画素間で加算することで、1つの画素情報についての情報量が2倍になるため、通常フレームレートモード時に比べて感度が低下することはない。
換言すれば、単位画素3の露光時間を短縮したとしても、結果として1つの画素情報の情報量が減ることはないため、感度低下を招くことなく、高フレームレート化を実現できる。しかも、カラムAD回路25にアップ/ダウンカウンタを内蔵するなどしてアップカウントとダウンカウントとを切り替えて動作させ加算処理を行なうようにしているため、画素アレイ部10やカラム処理部26などを同一の半導体領域に収容したチップの外部のメモリ装置を使用したり、あるいは列並列ADCとして追加回路を使ったりしなくても、高精度の加算演算を実現できる。
なお、前例では、2行間での画素加算を例に挙げて説明したが、2行加算に限らず、複数行に亘って画素加算を行なうこともできる。このとき、加算する行数をM行とすると、画像データ量を1/Mに圧縮することができる。
また、画像データ量を1/Mに圧縮するに際して、データ出力レートを変更することによってフレームレートをM倍にするようにしたが、特許文献1の段落68〜71,87などに記載のように、様々な変形態様を採ることができる点は同様である。ここでは、その詳細については説明を割愛する。
<デジタル加算処理の問題点について>
図8は、前述のカウンタ部254における垂直方向のデジタル加算処理とデジタル演算部29における水平方向のデジタル加算処理による問題点を説明する図である。この図では、垂直方向および水平方向の加算動作における画素配置の状態を示している。
前述のようにしてデジタル加算処理を実行すると、加算後のイメージ(画像)における画素の空間的な中心は、加算対象画素の中間位置となる。そして、この関係が、順次繰り返されて、加算後の画像における画素位置が決定されることとなる。
加算対象画素の行順や列順が、1,2,3,4,…というように前後しない場合であれば、このことは問題とならないが、たとえば1,3,2,4,…というように行順や列順が前後する場合には問題が生じる。現実的には、白黒撮像時においては順序を前後させて加算処理するケースは希であるので殆ど問題が生じないと考えられるが、単板方式でのカラー撮像時において同色同士を加算する場合には、色分離フィルタの色配列に合わせてその順序を決めなければならず、ほぼ確実に問題が生じる。
たとえば、色分離フィルタとして、図8(A)に示すようなR,G,B(GはR行のGrとB行のGbで区別して示す)の色フィルタを有するベイヤー配列を用いた場合を考える。
ここで、2行2列の加算処理を実行する場合、垂直選択信号φVSEL は、下から1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目…の順に指定する。そうすると、カラム処理部26に読み出される順に並び変えたイメージ図(図8(B))に示すように、奇数行同士や偶数行同士の同色の行が2行ごとにカラム処理部26へ供給される。
カラム処理部26の各列に配された各カラムAD回路25は、縦に同じ色が入力されるとき加算演算を行なう。たとえば、1行目と3行目のR成分やGr成分の各画素信号の加算、2行目と4行目のGb成分やB成分の各画素信号の加算、5行目と7行目のR成分やGr成分の各画素信号の加算、6行目と8行目のGb成分やB成分の各画素信号の加算、…を順次実行する。つまり、垂直方向に同じ色成分が2画素分カラムAD回路25に入力されると、カラムAD回路25は、その同色成分同士の加算演算を行なう。
その加算演算後のイメージ図は、図8(C)に示すようになり、加算対象の2行分の中心となる行が、すなわち加算時の垂直方向の重心が加算後の画素中心となる。たとえば、1行目と3行目の加算では2行目、2行目と4行目の加算では3行目、5行目と7行目の加算では6行目、6行目と8行目の加算では7行目、がそれぞれの中心位置となる。
デジタル演算部29では、このような状態のイメージを対象として、行加算データADD を順次取り込み、水平方向に同じ色が入力されるとき加算演算を行なう。たとえば、1列目と3列目のR成分やGb成分の各画素信号の加算、2列目と4列目のGr成分やB成分の各画素信号の加算、5列目と7列目のR成分やGb成分の各画素信号の加算、6列目と8列目のGr成分やB成分の各画素信号の加算、…を順次実行する。つまり、水平方向に同じ色成分が2画素分デジタル演算部29に入力されると、デジタル演算部29は、その同色成分同士の加算演算を行なう。
その加算演算後のイメージ図は、水平方向に関しては、加算対象の2列分の中心となる列、すなわち加算時の水平方向の重心が加算後の画素中心となる。たとえば、1列目と3列目の加算では2列目、2列目と4列目の加算では3列目、5列目と7列目の加算では6列目、6列目と8列目の加算では7列目、がそれぞれの中心位置となる。
図8(C)に示した垂直方向に関しての加算後の中心と組み合わせると、図8(D)の右側に示すように、それぞれの色で、2×2の枠の中心が加算後の空間的な色の位置となる。たとえば、4行4列を1つの組み合わせとして、オペレータn(nは0または正の整数)に従って、R画素の中心は“2+4n”行目かつ“2+4n”列目、Gr画素の中心は“2+4n”行目かつ“3+4n”列目、Gb画素の中心は“3+4n”行目かつ“2+4n”列目、B画素の中心は“3+4n”行目かつ“3+4n”列目となる。
この場合、図8(D)の左側に示す元の画素位置との比較から分かるように、加算前には各色の空間位置は等間隔であるのに対して、加算後の各色の空間位置は、4行4列ごとにその中心に纏まってしまい、他の4行4列分との関係を加味すると、等間隔にはならない。このような状態では、加算後の画像は、解像度に問題を生じてしまう。具体的には、高解像度の加算画像を得ることはできない。
<<加算画像の解像度改善手法;第1実施形態>>
図9〜図11は、カウンタ部254における垂直方向のデジタル加算処理とデジタル演算部29における水平方向のデジタル加算処理において、解像度低下の問題を解消する手法の第1実施形態の一例を説明する図である。
ここで、図9および図10は、第1実施形態の解像度改善手法における、AD変換処理動作と並行して実行される垂直方向に関しての重付け加算処理を説明するためのタイミングチャートである。なお、説明を簡潔にするため、カラムAD回路25のオフセット成分については無視して説明する。また、図11は、第1実施形態の解像度改善手法においてカウントクロック切替部516を動作させたときの効果を説明する図である。
図9および図10に示した例は、2画素での加算処理とし、重付け関係を1対2とした場合(2倍重付け加算と称する)で示している。図9に示す第1例は、加算対象となる2行の内の始めの行IvのAD変換処理時の重付けを“1”とし次行JvのAD変換処理時の重付けを“2”とする1対2の2倍重付け加算の場合である。一方、図10に示す第2例は、加算対象となる2行の内の始めの行IvのAD変換処理時の重付けを“2”とし次行JvのAD変換処理時の重付けを“1”とする2対1の2倍重付け加算の場合である。
ここで、カウンタ部254における垂直方向の加算処理時に重付けを“2”にするつまりAD変換ゲインを2倍にする場合、その手法としては、参照信号Vslopの傾きを小さく(本例では1/2に)する第1の手法、カウンタの分周速度を高速(本例では2倍)にする第2の手法、あるいは、参照信号Vslopの傾き調整とカウンタの分周速度調整とを組み合わせる第3の手法の何れかを採ることができる。
参照信号Vslopの傾きを小さくする第1の手法の場合、その傾きを任意に変化させ得るものの、AD変換期間が長くなる、換言すれば、決められたAD変換期間では変換可能な電圧幅(つまりダイナミックレンジ)が狭くなるので、AD変換処理の高速性や広ダイナミックレンジを要求される場合には難点がある。
それに対して、カウンタの分周速度を高速にする第2の手法では、AD変換期間やダイナミックレンジに影響を与えることなく重付けを設定することができる。ただし、カウンタ部254に供給するカウントクロックCK0そのものを変化させる場合にはそのクロック周波数を任意に変化させ得るものの、本実施形態で採用するように、カウントクロックCK0のクロック周波数を変化させずにカウンタ部254の分周速度をビット単位で変化させる仕組みを採る場合には、重付け値としては2のべき乗に制限されてしまう。
一方、参照信号Vslopの傾き調整とカウンタの分周速度調整とを組み合わせる第3の手法では、それぞれの長所を取りいれることができ、カウントクロックCK0のクロック周波数を変化させずにカウンタ部254の分周速度をビット単位で変化させる仕組みを採る場合においても、AD変換期間やダイナミックレンジに悪影響を与えることなく、かつ任意の重付け値を設定することができる。
<垂直方向の重付け加算>
図9に示すように、先ず、加算対象となる2行の内の始めの行Ivの信号を読み出してAD変換処理を実行する場合は、読出対象行Ivの垂直選択信号φVSEL _IvをアクティブHにして画素信号Soの垂直信号線19への出力を許可する。このとき、データ保持制御パルスHLDC00〜HLDC11は全て当初はアクティブHで( t1_Iv〜t10_Iv)、比較処理およびカウント処理時にはインアクティブLにするし(t10_Iv〜t14_Iv)、カウントクロック制御信号TH00〜TH10は全てインアクティブLである( t1_Iv〜t26_Iv)。これにより、比較処理およびカウント処理によって( t1_Iv〜t26_Iv)、カウンタ部254には、“Vsig_Iv”のデジタル値Dsig_Ivが保持される(t26_Iv)。この点は、図7に示したのと同じである。
次に、加算対象となる2行の内の次行Jvの信号を読み出してAD変換処理を実行するべく、読出対象行Jvの垂直選択信号φVSEL _JvをアクティブHにして画素信号Soの垂直信号線19への出力を許可する。このとき、カウンタ部254をリセットしないで、引き続きJv行目の単位画素3の信号の読出動作とAD変換処理動作に移行する( t1_Jv=t26_Iv)。この点も、図7に示したのと同じである。
一方、本実施形態の特徴点として、次行Jvについての処理時には( t1_Jv〜t26_Jv)、参照信号Vslopを始めの行Ivについての処理時( t1_Iv〜t26_Iv)と同じ傾きで変化させつつ、データ保持部512_00 へのデータ保持制御パルスHLDC00を全期間アクティブHにする一方( t1_Jv〜t26_Jv)、残りのデータ保持部512_01〜512_10へのデータ保持制御パルスHLDC01〜HLDC10を、当初はアクティブHで( t1_Jv〜t10_Jv)、比較処理およびカウント処理時にはインアクティブLにする(t10_Jv〜t14_Jv)。また、カウントクロック制御信号TH00をアクティブH、残りのカウントクロック制御信号TH01〜TH11を全てインアクティブLにする( t1_Iv〜t26_Iv)。
これにより、先ず、データ保持制御パルスHLDC00がアクティブHになることで、最下位ビットのフリップフロップ510_00 に記録されたデータが保持される。事実上、次行Jvについての処理時には( t1_Jv〜t26_Jv)、この最下位ビット出力が無効化される。このため、次行Jvについての処理時には低分解能処理となる。
また、次行Jvについての処理時に( t1_Jv〜t26_Jv)、カウントクロック制御信号TH00がアクティブHになると、最下位ビット(0ビット目)のフリップフロップ510_00 の入力クロックが2段目(1ビット目)のフリップフロップ510_01 のクロック端へ伝達される。カウンタ部254は、最下位ビットのクロック周期が次のビットに伝達されることで、最下位ビットを除く残りの上位ビット出力の分周動作が2倍となり、以前よりも量子化ステップを粗くしつつ2倍のスピードでカウントアップを行なう。
たとえば、図11は、カウントクロック制御信号TH00と参照信号Vslopの傾き(およびその傾きに応じたゲイン)と分周速度を切り替えたときの各ビットのフリップフロップ510の出力を示している。カウントクロック制御信号TH00がアクティブHに切り替わることで、最下位ビットのフリップフロップ510_00 に供給されていたカウントクロックCINが2段目のフリップフロップ510_01 に伝達され、切替え後は、上位ビットでは切替え前よりも高速で動作するようになる。ただし、以前の最下位ビット出力は無効になるので、以前よりも量子化ステップは粗くなる。
たとえば、カウントクロック制御信号TH00の切替え前の1段目のフリップフロップ510_00 のカウント出力D00が100MHzの周期である場合、2段目のフリップフロップ510_01 のカウント出力D01が50MHzの周期になっている。これに対して、カウントクロック制御信号TH00がHレベルに切り替わると、2段目のフリップフロップ510_01 のカウント出力D01が100MHzの周期となり、上位ビットでは2倍の速度で分周動作をするようになる。
このとき、参照信号Vslopの傾きは、始めの行Ivについての処理時( t1_Iv〜t26_Iv)と次行Jvについての処理時( t1_Jv〜t26_Jv)とで共通であるので、カウンタ値と電圧値の関係は、始めの行Ivについての処理時にはΔV/ΔtとなりAD変換処理のトータルゲインは“1”であるのに対して、次行Jvについての処理時には2ΔV/ΔtとなりAD変換処理のトータルゲインは“2”となる。
すなわち、本実施形態では、次行Jvについての処理時には( t1_Jv〜t26_Jv)は、参照信号Vslopの傾きを始めの行Ivに対して変化させることなく、カウンタの分周速度のみをK倍(前例では2倍)にしている。したがって、次行Jvの信号成分Vsig_JvについてのAD変換処理においては、始めの行Ivの信号成分Vsig_IvについてのAD変換処理に対して2倍のゲインが掛かってAD変換されることになる。
したがって、始めの行IvのAD変換処理の1digit 当たりの電圧値(変換係数)をα[V/digit ]、カウンタ部254における高速化度合い(カウンタ部254でのゲインに相当する)をLvとすると、次行JvのAD変換処理時における1digit 当たりの電圧値(変換係数)はLv×αとなる。前例で言えば、Lv=2であり、2αとなる。
よって、Jv行目のAD変換終了時にカウンタ部254に保持されるデジタル値、すなわち重付けデジタル加算処理の最終的なカウンタ値は、“α×Vsig_Iv+2α×Vsig_Jv”を示すこととなる。
たとえば、図9中の画素信号電圧Vx部分に括弧書きでデジタル値で示すように、Iv,Jv行目の信号成分Vsig_Iv,Vsig_Jvが何れも“60”であり、リセットレベルSrst_Iv,Srst_Jvが何れも“10”であるものとする。
この場合、Iv行目の信号レベルSsig_Iv(信号成分Vsig_Iv)のAD変換においては、リセットレベルSrst_IvについてのAD変換において取得したカウント値“−Drst_Iv”(=−10)を始点としてアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値は“−10+70=60=Dsig_Iv”となる。
この後、Jv行目のAD変換においては、Iv行目についてのAD変換において取得したカウント値“60=Dsig_Iv”を始点として先ずリセットレベルSrst_Jvに関してダウンカウントを行なうことでカウンタ部254に保持される値は“Dsig_Iv−2・Drst_Jv=50−2×10=40”となる。さらに、このカウント値“40”を始点として信号レベルSsig_Jvに関してアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値“40+2×70=180”となる。このカウント値は、Iv行目の信号成分Vsig_Ivのデジタル値Dsig_Ivに、Jv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvの2倍を加算した値“Dsig_Iv+2・Dsig_Jv”を表わす。
図9に示す第1例では、次行Jvについての処理時にカウンタの分周動作をLv(=2)倍にすることで、加算結果として“Dsig_Iv+Lv・Dsig_Iv”を取得する事例で説明したが、図10に示す第2例のように、始めの行Ivについての処理時にカウンタの分周動作を次行Jvについての処理時に対してLv(=2)倍にすれば、加算結果として“Lv・Dsig_Iv+Dsig_Iv”を取得することができる。
前例では、カウント部における上位ビット側の分周動作のみをL倍に変更して、下位ビット側のデータを無効なものとして取り扱うことで、大元のカウントクロックCINの周波数を同じに維持して、カウンタ部での消費電力の増大が起きないようにしていたが、このことは必須ではない。
カウンタ部での消費電力の増大が許容される場合には、カウントクロック切替部516による切替えを行なわずに、クロック変換部23による逓倍機能で生成される高速クロックを利用して、大元のカウントクロックCINそのものを高周波数に変更するようにして、カウント実行部504の全体を高速に分周動作させるようにしてもよい。こうすれば、切替え後にも全てのビットデータを有効なものとして取り扱うことができるので、AD変換精度に低下の問題を起こすことなく垂直方向の加算処理をカラムAD回路25内で実現できる。
また、フリップフロップ510をより高速にカウント動作(分周動作)をするように制御するに当たって、フリップフロップ出力のビットの重付け関係を一定にしたまま、下位ビット出力を無効にしつつ、残りの上位ビット出力の分周動作を高速にするように回路を構成して制御していたが、これは、一例であって、フリップフロップ510の分周動作を高速にするものであればよく、様々な変形が可能である。
たとえば、各段のフリップフロップ510に与えるカウントクロック供給形態を変更するためのカウントクロック切替部516を取り除きつつ、ビット出力を、順次下位側へシフトする切替手段を設けるようにしてもよい。この場合、後段側のフリップフロップ510のデータ出力を無効なものとして取り扱えばよい。この場合でも、AD変換データとしては、下位ビットデータを無効なものとして取り扱う点には相違ない。ただし、この場合、切替え時点の各ビットのカウント値を、前段側へロードするための回路が必要になる。したがって、前例で示したカウントクロック切替用のカウントクロック切替部516を利用する構成に比べると回路構成が複雑になる。しかしながら、切替え後には後段側のフリップフロップ510へのカウントクロック供給を停止するなどしてカウント動作を停止させることができるので低消費電力化を図ることができる利点がある。
また、カウンタ部254として非同期カウンタを用いた場合への適用例を具体的に示したが、同期カウンタを用いた場合でも、同様の思想を適用することは可能である。たとえば、同期カウンタを用いる場合には、各フリップフロップ510は、共通のカウントクロックを使用して動作するようにしておき、かつ各フリップフロップ510は、自分の値が反転するのを自分よりも下位ビットが全て“1”(アップカウントのとき)もしくは全て“0”(ダウンカウントのとき)のときとなるようにするゲート回路を必要とする。
このようなものについて、フリップフロップ510の分周動作を高速にするには、より下位ビット側のゲート回路出力を取り込むようにする切替回路を設けるとよい。ただし、非同期カウンタにおけるカウントクロック切替用のカウントクロック切替部516に比べると回路構成が複雑になる。
あるいは、非同期カウンタを用いた場合の変形例で説明したように、切替え時点の各ビットのカウント値を、下位側へロードするための回路を設けつつ、ビット出力を、順次下位側へシフトする切替手段を設けるようにしてもよい。
<水平方向の2倍重付け加算と最終的な加算画像>
図12〜図14は、第1実施形態の解像度改善手法における、垂直方向および水平方向の加算動作時の画素配置の状態を示す図である。図8と同様に、2行2列の加算処理を実行する場合の例として、R,G,B(GはR行のGrとB行のGbで区別して示す)の色フィルタを色分離フィルタとして有するベイヤー配列を用いた場合で示している。
ここで、図12は図8(A)と同じ行順や列順で取り込みつつ図9を適用する事例であり、図13は図8(A)と同じ行順や列順で取り込みつつ図9と図10とを組み合わせた事例であり、図14は図9を適用しつつ取り込みの行順や列順を図8(A)とは異なるものとする事例である。
水平方向の2倍重付け加算処理に当たっては、垂直方向に関するLv倍重付け加算処理がなされたものをデジタル演算部29に転送して、デジタル演算部29にて、水平方向に関する加算処理を実行する。この加算処理を実行すること自体は、図8で示した処理と相違ない。
ここで、本実施形態では、垂直方向に関するLv(=2)倍重付け加算加算処理の場合と同様にLh倍重付け加算を行なう。具体的には、次列Jhについての加算データADD_Jhに関しては、最初の列Ihの加算データADD_Ihに対してLh倍の重付けをして加算する。典型的には、Lh=Lvとする。前例に従うと、たとえば2倍にする。
[1対2の2倍重付け加算の例]
図8(A)と同じ行順や列順で取り込みつつ図9を適用する事例の場合、先ず垂直方向に関する加算処理においては、図12(A)(図8(A)と同じである)に示すように、垂直選択信号φVSEL は、下から1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目…の順に指定する。
カラム処理部26の各列に配された各カラムAD回路25は、カラム処理部26に読み出される順に並び変えたイメージ図(図12(B))に示すように、奇数行同士や偶数行同士の縦に同じ色の行が2行分入力されるときに加算演算を行なう。
このときには、図9での説明から分かるように、カウンタ部254の分周動作は、始めの行Ivについての処理時に対して次行Jvについての処理時の方が2倍に高速化されており、始めの行Iv(1行目、2行目、5行目、6行目)の重付けを“1”とし、図中右側に“×2”で示すように次行Jv(3行目、4行目、7行目、8行目)の重付けを“2”として加算処理を実行する。
たとえば、1行目のR成分と3行目のR成分の2倍との加算や1行目のGr成分と3行目のGr成分の2倍との加算、2行目のGb成分と4行目のGb成分の2倍との加算や2行目のB成分と4行目のB成分の2倍との加算、5行目のR成分と7行目のR成分の2倍との加算や5行目のGr成分と7行目のGr成分の2倍との加算、6行目のGb成分と8行目のGb成分の2倍との加算や6行目のB成分と8行目のB成分の2倍との加算、…を順次実行する。つまり、垂直方向に同じ色成分が2画素分カラムAD回路25に入力されると、カラムAD回路25は、その同色成分同士について、次行Jv側を始めの行Ivに対して2倍にして加算演算を行なう。
その加算演算後のイメージ図は、図12(C)に示すようになり、加算後の画素中心は、加算対象の2行分の中心となる行すなわち加算時の垂直方向の重心ではなく、より大きな重付けを掛けた次行Jv側にシフトする。具体的には、加算時の垂直方向の重心ではなく、始めの行Ivと次行Jvとの空間距離を2:1で内分した位置が加算後の中心となり、大きな重付けを掛けた次行Jv側に1/3行分だけシフトする(図12(E)を参照)。
たとえば、1行目と3行目の2倍重付け加算では2行目に対して1/3行分だけ3行目側にシフトし、2行目と4行目の2倍重付け加算では3行目に対して1/3行分だけ4行目側にシフトし、5行目と7行目の2倍重付け加算では6行目に対して1/3行分だけ7行目側にシフトし、6行目と8行目の2倍重付け加算では7行目に対して1/3行分だけ8行目側にシフトした位置、がそれぞれの中心位置となる。
デジタル演算部29では、このような状態のイメージを対象として、行加算データADD を順次取り込み、水平方向に同じ色が入力されるとき加算演算を行なう。たとえば、1列目のR成分と3列目のR成分の2倍との加算や1列目のGr成分と3列目のGr成分の2倍との加算、2列目のGb成分と4列目のGb成分の2倍との加算や2列目のB成分と4列目のB成分の2倍との加算、5列目のR成分と7列目のR成分の2倍との加算や5列目のGr成分と7列目のGr成分の2倍との加算、6列目のGb成分と8列目のGb成分の2倍との加算や6列目のB成分と8列目のB成分の2倍との加算、…を順次実行する。
つまり、水平方向に同じ色成分の加算データが2列分、デジタル演算部29に入力されると、デジタル演算部29は、その同色成分同士について、次列Jh側を始めの列Ihに対して2倍にして加算演算を行なう。
その加算演算後のイメージ図は、水平方向に関しては、加算後の画素中心は、加算対象の2列分の中心となる列すなわち加算時の水平方向の重心ではなく、より大きな重付けを掛けた次列Jh側にシフトする。具体的には、加算時の水平方向の重心ではなく、始めの列Ihと次列Jhとの空間距離を2:1で内分した位置が加算後の中心となり、大きな重付けを掛けた次列Jh側に1/3列分だけシフトする(図12(F)を参照)。
たとえば、1列目と3列目の2倍重付け加算では2列目に対して1/3列分だけ3列目側にシフトし、2列目と4列目の2倍重付け加算では3列目に対して1/3列分だけ4列目側にシフトし、5列目と7列目の2倍重付け加算では6列目に対して1/3列分だけ7列目側にシフトし、6列目と8列目の2倍重付け加算では7列目に対して1/3列分だけ8列目側にシフトした位置、がそれぞれの中心位置となる。
図12(C)に示した垂直方向に関しての加算後の中心と組み合わせると、図12(D)の右側に示すように、それぞれの色で、始めの行Ivと次行Jvとの空間距離を2:1で内分した位置かつ始めの列Ihと次列Jhとの空間距離を2:1で内分した位置が加算後の中心となる。
この場合、図12(D)の左側に示す元の画素位置との比較から分かるように、図8(D)の右側に示した状態とは異なるものの、加算後の各色の空間位置は等間隔にはならない。
[1対2と2対1を組み合わせた2倍重付け加算の例]
図8(A)と同じ行順や列順で取り込みつつ、図9と図10とを組み合わせた事例の場合、1対2の2倍重付け加算(図9の態様)と2対1の2倍重付け加算(図10の態様)とを交互に繰り返す。シフト方向を加味した重付け加算が実現できる。
たとえば、垂直方向に関する加算処理においては、図13(A)(図12(A)と同じである)に示すように、垂直選択信号φVSEL は、下から1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目…の順に指定する。
カラム処理部26の各列に配された各カラムAD回路25は、カラム処理部26に読み出される順に並び変えたイメージ図(図13(B))に示すように、奇数行同士や偶数行同士の縦に同じ色の行が2行分入力されるときに加算演算を行なう。
このときには、始めの加算処理時には図9に示す1対2の2倍重付け加算を行ない、次の加算処理時には図10に示す2対1の2倍重付け加算を行なう。こうすることで、カウンタ部254の分周動作は始めの加算処理時における次行Jvについての処理時に対して始めの行Ivについての処理時の方が2倍に高速化され、図中右側に“×2”で示すように始めの行Iv(1行目、5行目)の重付けを“2”とし、次行Jv(3行目、7行目)の重付けを“1”として加算処理を実行することになる。そして、次の加算処理時のカウンタ部254の分周動作は、始めの行Ivについての処理時に対して次行Jvについての処理時の方が2倍に高速化され、始めの行Iv(2行目、6行目)の重付けを“1”とし、図中右側に“×2”で示すように次行Jv(4行目、8行目)の重付けを“2”として加算処理を実行することになる。1行目、4行目、5行目、8行目については2倍の重付けで加算処理を実行するのである。
たとえば、1行目のR成分の2倍と3行目のR成分との加算や1行目のGr成分の2倍と3行目のGr成分との加算、2行目のGb成分と4行目のGb成分の2倍との加算や2行目のB成分と4行目のB成分の2倍との加算、5行目のR成分の2倍と7行目のR成分との加算や5行目のGr成分の2倍と7行目のGr成分との加算、6行目のGb成分と8行目のGb成分の2倍との加算や6行目のB成分と8行目のB成分の2倍との加算、…を順次実行する。
つまり、垂直方向に同じ色成分が2画素分、カラムAD回路25に入力されると、カラムAD回路25は、その同色成分同士について、始めの加算処理時には始めの行Iv側を次行Jvに対して2倍にして加算演算を行なうが、次の加算処理時には次行Jv側を始めの行Ivに対して2倍にして加算演算を行ない、このような処理を繰り返す。
その加算演算後のイメージ図は、図13(C)に示すようになり、加算後の画素中心は、加算対象の2行分の中心となる行すなわち加算時の垂直方向の重心ではなく、より大きな重付けを掛けた次行Jv側にシフトする。具体的には、加算時の垂直方向の重心ではなく、始めの行Ivと次行Jvとの空間距離を2:1で内分した位置が加算後の中心となり、大きな重付けを掛けた次行Jv側に1/3行分だけシフトする(図13(E)を参照)。この点は、図12(C)の場合と同様であるが、本例では重付けによるシフト方向が交互に異なるものとなるので、加算後の画素中心は、図12(C)とは異なる。
たとえば、1行目と3行目の2対1の2倍重付け加算では2行目に対して1/3行分だけ1行目側にシフトし、2行目と4行目の1対2の2倍重付け加算では3行目に対して1/3行分だけ4行目側にシフトし、5行目と7行目の2対1の2倍重付け加算では6行目に対して1/3行分だけ5行目側にシフトし、6行目と8行目の1対2の2倍重付け加算では7行目に対して1/3行分だけ8行目側にシフトした位置、がそれぞれの中心位置となる。
デジタル演算部29では、このような状態のイメージを対象として、行加算データADD を順次取り込み、水平方向に同じ色が入力されるとき加算演算を行なう。このとき、垂直方向に関する処理と同じように、2対1の2倍重付け加算と1対2の2倍重付け加算とを交互に実行する。
すなわち、始めの加算処理時には、図中下側に“×2”で示すように始めの列Ih(1列目、5列目)の重付けを“2”とし、次列Jh(3列目、7列目)の重付けを“1”として加算処理を実行することになる。そして、次の加算処理時には、始めの列Ih(2列目、6列目)の重付けを“1”とし、図中下側に“×2”で示すように次列Jh(4列目、8列目)の重付けを“2”として加算処理を実行することになる。1列目、4列目、5列目、8列目については2倍の重付けで加算処理を実行するのである。
たとえば、1列目のR成分の2倍と3列目のR成分との加算や1列目のGr成分の2倍と3列目のGr成分との加算、2列目のGb成分と4列目のGb成分の2倍との加算や2列目のB成分と4列目のB成分の2倍との加算、5列目のR成分の2倍と7列目のR成分との加算や5列目のGr成分の2倍と7列目のGr成分との加算、6列目のGb成分と8列目のGb成分の2倍との加算や6列目のB成分と8列目のB成分の2倍との加算、…を順次実行する。
つまり、水平方向に同じ色成分の加算データが2列分、デジタル演算部29に入力されると、デジタル演算部29は、その同色成分同士について、始めの加算処理時には始めの列Ih側を次列Jhに対して2倍にして加算演算を行なうが、次の加算処理時には次列Jh側を始めの列Ihに対して2倍にして加算演算を行ない、このような処理を繰り返す。
その加算演算後のイメージ図は、水平方向に関しては、加算後の画素中心は、加算対象の2列分の中心となる列すなわち加算時の水平方向の重心ではなく、より大きな重付けを掛けた次列Jh側にシフトする。具体的には、加算時の水平方向の重心ではなく、始めの列Ihと次列Jhとの空間距離を2:1で内分した位置が加算後の中心となり、大きな重付けを掛けた次列Jh側に1/3列分だけシフトする(図13(F)を参照)。この点は、図12(D)の場合と同様であるが、本例では重付けによるシフト方向が交互に異なるものとなるので、加算後の画素中心は、図12(D)とは異なる。
たとえば、1列目と3列目の2対1の2倍重付け加算では2列目に対して1/3列分だけ1列目側にシフトし、2列目と4列目の1対2の2倍重付け加算では3列目に対して1/3列分だけ4列目側にシフトし、5列目と7列目の2対1の2倍重付け加算では6列目に対して1/3列分だけ5列目側にシフトし、6列目と8列目の1対2の2倍重付け加算では7列目に対して1/3列分だけ8列目側にシフトした位置、がそれぞれの中心位置となる。
図13(C)に示した垂直方向に関しての加算後の中心と組み合わせると、図13(D)の右側に示すように、それぞれの色で、始めの行Ivと次行Jvとの空間距離を2:1で内分した位置かつ始めの列Ihと次列Jhとの空間距離を2:1で内分した位置が加算後の中心となる。本例では、図8(A)と同じ行順で読み出しつつ、加算処理時の重付けによるシフト方向を交互に異なるようにしたことで、加算後の画素中心は、単純加算の場合よりも等間隔に配置される。その結果、重付け値が均等な単純な加算処理に比べて、高解像度の信号(デジタルデータ)を取得することができる。
[取込み順切替えと1対2の2倍重付け加算の例]
図9で示した1対2の2倍重付け加算を適用しつつ、取り込みの行順や列順を図8(A)とは異なるものとする事例の場合、取込み順の交互切替によって、行の並びや列の並びの空間的な関係においては、実質的に、1対2の2倍重付け加算と2対1の2倍重付け加算とを交互に繰り返すようにする。シフト方向を加味した重付け加算が実現できる。
たとえば、垂直方向に関する加算処理においては、図14(A)に示すように、垂直選択信号φVSEL は、下から3行目、1行目、2行目、4行目、7行目、5行目、6行目、8行目…の順に指定する。
カラム処理部26の各列に配された各カラムAD回路25は、カラム処理部26に読み出される順に並び変えたイメージ図(図14(B))に示すように、奇数行同士や偶数行同士の縦に同じ色の行が2行分入力されるときに加算演算を行なう。このときには、図9に示すタイミングで動作させるので、何れの加算動作時にも、カウンタ部254の分周動作は始めの行Ivについての処理時に対して次行Jvについての処理時の方が2倍に高速化され、始めの行Iv(3行目、2行目、7行目、6行目)の重付けを“1”とし、図中右側に“×2”で示すように次行Jv(1行目、4行目、5行目、8行目)の重付けを“2”として加算処理を実行することになる。
加算処理対象となる行Iv,Jvは、予め垂直走査回路14による制御によって、行の並びの空間的な関係において、実質的に1対2の2倍重付け加算と2対1の2倍重付け加算とを交互に繰り返すように切り替えられる。1行目、4行目、5行目、8行目については2倍の重付けで加算処理を実行する点では、図13の事例と同じこととなる。その結果、加算演算後のイメージ図は、図14(C)に示すように、図13(C)に示した状態と同じになる。
デジタル演算部29では、このような状態のイメージを対象として、行加算データADD を順次取り込み、水平方向に同じ色が入力されるとき加算演算を行なう。このとき、垂直方向に関する処理と同じように、左から3列目、1列目、2列目、4列目、7列目、5列目、6列目、8列目…の順に、加算データを取り込み、1対2の2倍重付け加算を実行する。
何れの加算動作時にも、始めの列Ih(3列目、2列目、7列目、6列目)の重付けを“1”とし、図中下側に“×2”で示すように次列Jh(1列目、4列目、5列目、8列目)の重付けを“2”として加算処理を実行することになる。
加算処理対象となる列Ih,Jhは、予め水平走査回路12による制御によって、列の並びの空間的な関係において、実質的に1対2の2倍重付け加算と2対1の2倍重付け加算とを交互に繰り返すように切り替えられる。1列目、4列目、5列目、8列目については2倍の重付けで加算処理を実行する点では、図13の事例と同じこととなる。その結果、加算演算後のイメージ図は、図14(D)に示すように、図13(D)に示した状態と同じになる。
本例では、何れの加算処理時にも、カウンタ部254に対する重付けに関する制御(具体的にはカウントクロック制御信号THの制御)は図9に示す1対2の2倍重付け加算が実行されるようにするが、取り込みの行順や列順の交互切替えを行なうことで、行の並びや列の並びの空間的な関係において、実質的に、1対2の2倍重付け加算と2対1の2倍重付け加算とを交互に繰り返すようにした。その結果、図13に示した事例と同様に、加算後の画素中心は、単純加算の場合よりも等間隔に配置される。その結果、重付け値が均等な単純な加算処理に比べて、高解像度の信号(デジタルデータ)を取得することができる。
以上の説明から理解されるように、単に重付け加算を適用するだけでは、加算後の画素位置を確実に均等にできるとは限らないのである。重付け加算後の画素中心がより等間隔に配置されるようにするには、加算対象画素の選択を如何様にするかと重付け値をどのような値に設定するかを考慮しなければならない。
また、カラー撮像時には、それらは色分離フィルタの色配列の影響も受ける。換言すれば、混色が生じない加算処理にしつつ、空間距離関係に関して元の色分離フィルタの配置態様と同じ状態とするには、加算対象画素の選択と重付け値の関係にある程度の制限が生じると考えられる。
[重付け値の変形例]
前述の具体的な説明では、ベイヤー配列時の2行2列の2倍重付け加算処理について説明したが、これは一例に過ぎず、重付け値の側面、加算対象の行や列の空間的な取込み位置の側面、加算対象の行数や列数の側面、などから様々な変形が可能である。
たとえば、重付け値の側面からは、2倍に限らず、2のべき乗の範囲で、さらに大きくすることができ、4,8,…というように設定することができる。たとえば、前述の説明では、AD変換処理時にカウンタ部254の分周動作を2倍に高速化させる事例を示したが、これに限らず、フリップフロップ510をより高速にカウント動作(分周動作)をするように制御し、この際には、量子化ステップをさらに粗くすることができる。
たとえば、カウント実行部504を図4,図5に示した構成とする場合、カウントクロック制御信号TH00,TH01をアクティブHにしてカウンタ部254の2ビット目以降の分周動作を4倍に高速化させることができる。こうすることで、たとえばIv行目の信号成分Vsig_Ivのデジタル値Dsig_Ivに、Jv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvの4倍を加算したデジタルデータ“Dsig_Iv+4・Dsig_Iv”を得ることができる。
さらに、カウントクロック制御信号TH02もアクティブHにしてカウンタ部254の3ビット目以降の分周動作を8倍に高速化させることができる。こうすることで、Iv行目の信号成分Vsig_Ivのデジタル値Dsig_Ivに、Jv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvの8倍を加算したデジタルデータ“Dsig_Iv+8・Dsig_Iv”を得ることができる。
以下同様にして、カウントクロック制御信号TH0T(T=S−1)もアクティブHにすれば、カウンタ部254のSビット目以降の分周動作を2^S倍に高速化させることで、ゲインを2^S倍にできる。こうすることで、Iv行目の信号成分Vsig_Ivのデジタル値Dsig_Ivに、Jv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvの2^S倍を加算したデジタルデータ“Dsig_Iv+2^S・Dsig_Iv”を得ることができる。
カウンタの分周動作を、L1(=2)倍、L2(=4)倍、L3(=8)倍、…というように複数段階で高速分周動作(高速化)させる際に、下位ビット出力を順次無効にして残りの上位ビット出力の分周動作のみを高速化させることで量子化ステップを粗くするようにすれば、上位ビット出力を制御する大元のカウントクロックは元のカウントクロックCINと同じ速度にしておいてもよくなる。重付けされるJv行目の信号成分Vsig_JvのAD変換の分解能は低減するが、実質的には、カウンタ全体としては、元のカウントクロックCINに基づいて動作する点に変わりがなく、消費電力の増加は起きない。
このように、重付け値の掛け方はカウントクロック制御信号THの設定を変えることにより、2倍,4倍、8倍、…と2のべき乗で可変することが可能であり、加算後の画素の空間位置が、より高解像度の画像が得られるような間隔となるように、つまり加算後の画素位置がより完全に均等となる重付け値となるように調整することが可能である。
図15は、任意の整数の重付け値を設定する仕組みの一例を説明する図である。
重付け値の側面において、2のべき乗に限らず、任意の値とすることもできる。この場合、参照信号Vslopの傾きを一定にしたままとする場合、カウンタ部254に供給するカウントクロックCK0そのものを、より高速のクロックに変化させるとよい。
また、カウントクロックCK0のクロック周波数を変化させずにカウントクロック制御信号THの設定を変えることでカウンタ部254の分周速度をビット単位で変化させる仕組みを採りつつ任意の整数とする場合、傾き変更指示信号CHNGの設定を変えることで参照信号Vslopの傾きも調整する。この際には、参照信号Vslopの傾き設定値とカウンタ部254における分周速度の設定値と、設定しようとする重付け値Gとの関係は、図15に示すように、2つに大別することができる。
具体的には、設定しようとする重付け値をGとしたとき、2^(n+1)>G>2^nを満たすようにカウンタ部254の分周速度を2^n倍に設定し、参照信号Vslopの傾きを2^n/Gに設定する第1の手法と、2^n>G>2^(n−1)を満たすようにカウンタ部254の分周速度を2^n倍に設定し、参照信号Vslopの傾きを2^n/Gに設定する第2の手法が考えられる。何れにしても、分周速度を高速にすることでのAD変換ゲイン2^nと参照信号Vslopの傾きを変化させることでのAD変換ゲインG/2^n(傾きの倍率の逆数)との積がGとなるようにするのである。
たとえば、重付け値を“3”にする場合、第1の手法では、分周速度を2倍に設定しつつ参照信号Vslopの傾きを2/3倍に設定するし、第2の手法では分周速度を4倍に設定しつつ参照信号Vslopの傾きを4/3倍に設定する。図からも分かるように、第2の手法の方が、カウンタ部254に設定する分周速度の倍率が大きく、その分だけ参照信号Vslopを傾きを大きくでき、分解能が低下するものの、AD変換期間を短くできる利点がある。一方、第1の手法の方が、カウンタ部254に設定する分周速度の倍率が小さく、AD変換期間が長くなるものの、分解能の低下を抑えられる利点がある。
このように、カウントクロック制御信号THの設定と傾き変更指示信号CHNGの設定をそれぞれ変えることで、2のべき乗以外で、任意の値で可変することが可能であり、加算後の画素の空間位置が、より高解像度の画像が得られるような間隔となるように、加算後の画素位置がより完全に均等となる重付け値となるように調整することが可能である。このように2のべき乗以外の任意の値で重付け値を可変して加算後の空間位置の調整を可能とすることで、2のべき乗での重付け値の調整では加算後の画素位置が完全に均等となる重付け値を設定できない場合にでも、加算後の画素位置が完全に均等となる重付け値を設定できるようになる効果が得られる。
たとえば、図15Aは、重付け値を“3”とした「3対1加算+1対3加算」の事例であり、図15Bは、重付け値を“4”とした「4対1加算+1対4加算」の事例である。2のべき乗での重付け値の調整と2のべき乗以外での任意の値での調整とを任意に設定することで、加算後の画素の空間位置の調整の自由度が増え、加算後の各画素の空間位置が均等になるような加算時の重付け値の比率を見つけることができる。
<加算画像の解像度改善手法;第2実施形態>
図16〜図19は、カウンタ部254における垂直方向のデジタル加算処理とデジタル演算部29における水平方向のデジタル加算処理において、解像度低下の問題を解消する手法の第2実施形態を説明する図である。
ここで、図16は、シングルスロープ積分型AD変換方式の問題点、特に、アナログの画素信号電圧Vxとデジタルデータに変換するための参照信号Vslopとを比較する処理期間が、AD変換性能、特に変換処理速度に与える影響と、比較処理期間を短くする手法の一例を説明する図である。
図17は、第2実施形態の一例を説明する、AD変換処理動作と並行して実行される垂直方向に関しての加算処理を説明するためのタイミングチャートである。図18は、第2実施形態の解像度改善手法においてカウントクロック切替部516を動作させたときの効果を説明する図である。図19は、参照信号Vslopの傾き変更制御とカウンタの分周速度制御との関係を示した図である。
第2実施形態は、第1実施形態の加算処理動作に加えて、1つの行内の処理においても、信号レベルSsig についての処理時には、電圧比較部252における比較処理過程で比較処理が完了する前に、参照信号Vslopの傾きとカウンタ部254の分周速度を、その行内でのAD変換ゲインが一定となるように連動して変化させる、すなわちその行の画素についての重付け値を一定に維持する点に特徴を有する。こうすることで、高速に高い解像度の加算画像を取得できるようにする。
具体的には、傾き変更指示信号CHNGを参照信号生成部27に発して参照信号Vslopの傾きをJ倍に変更するとともに、カウントモード制御信号UDC、リセット制御信号CLR、データ保持制御パルスHLDC、およびカウントクロック制御信号THをカウンタ部254のカウント実行部504に発して、カウント実行部504における各ビット出力の分周動作をK倍(好ましくはK倍=J倍)に変更する。
なお、参照信号Vslopの傾きをJ倍に変化させるのと同時に、フリップフロップ510がK倍(好ましくはJ倍)速でカウント動作(分周動作)をするように制御していたが、誤差(ばらつき)の許容範囲を満たす限りにおいて、「同時」であることや、各倍率がJ倍で同じであることは、多少の誤差が許容される。この点は、一般的な技術において、誤差(ばらつき)の許容範囲を満たす限りにおいて、制御対象の設定値にも誤差が認められることと相違ない。
しかしながら、本来は(原理的には)、倍率が等しいことや変更タイミングが同時であることが、信号成分Vsig についてのAD変換処理において、信号レベルSsig と参照信号Vslopとが一致する前に参照信号Vslopを変化させた場合においても、補正演算をすることなく信号成分Vsig を忠実に反映したデジタルデータDsig を取得する上で必要である。
本実施形態のカラム処理部26(特にカラムAD回路25)においては、リセットレベル(リセット電位)および信号レベル(信号電位)のそれぞれについてシングルスロープ積分型のAD変換処理を実行し、その際に、リセット電位についてはアップカウントおよびダウンカウントの内の一方のモード(前例ではダウンカウント)で処理し、信号電位についてはアップカウントおよびダウンカウントの内の他方のモード(前例ではアップカウント)で処理することで、2回目のカウント処理結果においては、自動的に、両者の差分結果のデジタルデータが得られるようにしている。
本実施形態で採用しているシングルスロープ積分型のAD変換方式では、AD変換の分解能、つまり1LSBの大きさは、参照信号Vslopを変化させている間のカウンタ部254のカウントスピード(つまりカウントクロックの周波数)と、参照信号Vslopの傾きによって決定される。
たとえば、カウンタ部254が1カウントを行なうのに必要な時間をカウントサイクルとすると、その間に参照信号Vslopが変化した量がAD変換の分解能(1LSBの幅)ということになる。1LSBの幅が小さい(狭い)ときにはAD変換の分解能が高く、1LSBの幅が大きい(広い)ときにはAD変換の分解能が低い。
よって、たとえば、カウントスピードの側面では、スピードが速いほどカウントサイクルが短くなり、参照信号Vslopの傾きが同じ場合、その間に参照信号Vslopが変化する量、すなわち1LSBの幅は小さく、AD変換の分解能が高くなる。また、参照信号Vslopの傾きが同じ場合、カウントスピードが速いほど参照信号Vslopと垂直信号線19上の信号電圧とが一致する時点までの計数値が進むので、大きなデジタルデータが得られるようになり、AD変換のゲインが高くなる。このことは、カウントスピードを変えることがAD変換ゲインを調整することと等価であり、読出ゲインを制御していることと等価であることを意味する。
また、参照信号Vslopの傾きの側面では、カウントスピードが同じ場合、傾きが緩やかなほど、その間に参照信号Vslopが変化する量、すなわち1LSBの幅は小さく、AD変換の分解能が高くなる。また、カウントスピードが同じ場合、傾きが緩やかなほど参照信号Vslopと垂直信号線19上の信号電圧とが一致する時点が遅くなるので、大きなデジタルデータが得られるようになり、AD変換のゲインが高くなる。
つまり、カウントスピードを同じにした状態で、参照信号Vslopの傾きを変えて1LSBの幅を制御すれば、参照信号Vslopと垂直信号線19上の画素信号電圧Vxとが一致する時点が調整されることになり、その結果、垂直信号線19上の画素信号電圧Vxが同じであっても、一致する時点の計数値、すなわち信号電圧のデジタルデータが調整されることになる。このことは、参照信号Vslopの傾きを変えることがAD変換ゲインを調整することと等価であり、読出ゲインを制御していることと等価であることを意味する。
これらの点を利用して、第1実施形態では、加算処理時に、分周速度をより高速に設定することで(重付け値によってはさらに参照信号Vslopも変化させて)重付け加算を実行するようにしていた。
このとき、さらなる高速化や高精度化を求めるには、カラムAD回路25の高速化が必要となる。このカラムAD回路25において、高速化のためには、参照信号Vslopの傾きを調整しないものとすれば、カウンタ部254の速度向上が必要となる。カウンタの速度を速めるためにはカウントクロックを高速にする必要がある。しかしながら、高速クロックをカラムAD回路25に通させなければならないことや、各列の全てのカラムAD回路25が高速にカウント動作することで消費電力が増加するなどの問題が発生してしまう。
これらの問題を解消しつつAD変換処理の高速化を図るには、カウントクロックを高速にすることなく、参照信号Vslop側を調整してAD変換の階調を可変にすることでカウント時間を圧縮し高速化を図ることが考えられる。
たとえば、単位画素3から出力される光強度に対する光信号出力(センサ出力:sensor output )には、図16(A)に示すように、光粒子に対応する信号成分(signal response )の他に、画素信号生成部5が持つ背景ノイズ成分(sensor noise floor)や光ショットノイズ(photon shot noise )と言われるノイズ成分が載ることが知られている。
センサ出力をAD変換する場合には、背景ノイズ以下のレベルをAD変換しても信号成分がこの背景ノイズに埋もれてしまうので意味がないので、少なくとも背景ノイズレベル以上がAD変換の有効範囲となる。
光ショットノイズは、光信号に応じた光電子に対して1/2乗で変化する。したがって、信号量が少ない場合には光ショットノイズが少なく高分解能でAD変換することで光信号を高精度にAD変換できるが、信号量が多くなると光ショットノイズも相当に多くなり高分解能でAD変換しても、光ショットノイズの分があるために、必ずしも光信号を高精度にAD変換できることにはならない。
このことは、光ショットノイズが多くなる光信号の強い領域では、光ショットノイズの分を除いた分についての信号成分に関しての分解能があれば十分であり、その限りにおいてAD変換の分解能を低下させても(換言すれば量子化ステップを粗くしても)、AD変換結果の精度としては、何ら不都合はないことを意味する。このことを利用して、信号量が多くなってくるとAD変換の精度を調整すれば、換言すれば、分解能や量子化ステップを調整する手法を採れば、信号の大きさに応じてAD変換の高速化を図ることができると考えられる。
たとえば、図16(B)に示すように、センサ出力(信号成分Vsig に対応する光電子数:単位は「a.u.」)がレベル0〜レベル1までの間は量子化ステップを1LSBにし、レベル1〜レベル2までの間は量子化ステップを2LSBにし、以後、同様にして、段階的に、レベルがアップするほど量子化ステップを粗くする、つまり分解能を低下させるようにする。
このことは、センサ出力レベルがアップするほど、カウンタ部254のカウント実行部504を構成するフリップフロップ510の下位ビット側の出力を、センサ出力レベル順に無視し、上位ビット側のフリップフロップ510のみを動作させることができることを意味する。
一方、センサ出力レベルに応じて段階的に分解能を変化させるには、前述の説明から理解されるように、図16(C)に示すように、参照信号Vslopの傾きを、段階的により急になるように変更していき、単位時間当たりの電圧の変化すなわち1カウント当たりの電圧差(mV/digit )を変化させるようにすればよい。
ただし、このままでは、AD変換ゲインが小さくなるので、センサ出力に対するAD変換結果の線形性が崩れてしまう。たとえば、リセットレベルSrst についてのAD変換期間Trst と信号レベルSsig についてのAD変換期間Tsig における変化点以前の1digit 当たりの電圧値(変換係数)をα[V/digit ]とすると、変化点以降における1digit 当たりの電圧値(変換係数)はα/Jとなる。このため、AD変換結果のカウント値Dをそのまま電圧値に変換すると、変化点のカウント値をmとしたとき、“α・m+(D−m)・α/J”となり、センサ出力の大きさが不正確となる。
これを避けるには、参照信号Vslopの傾きの変化度合いを相殺するようにカウントクロックを高速にすることでゲイン補正を加える、つまりカウンタ値と電圧値の関係ΔV/Δtを一定に保つようにすることが考えられる。このとき、単純にカウントクロックを高速にすることは、前述のような問題を招くので、事実上は採用できない。
したがって、実際には、大元のカウントクロックは変更せずに、参照信号Vslopの傾きを変えた箇所から、参照信号Vslopの傾きに応じて、AD変換結果のカウンタ値に対してたとえば、“α・m+(D−m)・α/J・J”というように自動的に補正を加える仕組みを採り入れると、“α・m+(D−m)・α=α・D”となり、センサ出力の大きさが正確に得られる。ここで、第2実施形態においては、自動的に補正を加える仕組みとして、カウンタ部254の分周速度を変更する仕組みを採用する。以下、加算の順序が図13と同じであるものとして具体的に説明する。
リセットレベルSrst についてのAD変換期間Trst においては、単位画素3のリセットレベルSrst_Iv,Srst_Jvが読み出され、カウンタ部254は、そのリセットレベルSrst_Iv,Srst_Jvをダウンカウントする。このとき、カウントクロック制御信号TH00〜TH10は全てインアクティブLである。
次に、信号レベルSsig についてのAD変換期間Tsig においては、最初は参照信号VslopをAD変換期間Trst と同じ傾きで変化させつつ、カウンタ部254では、各デジタル値Drst_Iv,Drst_Jvからアップカウントを開始する。このとき、データ保持制御パルスHLDC00〜HLDC11は全てインアクティブLであるし、カウントクロック制御信号TH00〜TH10は全てインアクティブLである。
そして、点R(t21_Iv)で参照信号Vslopの傾きをJ倍(たとえば2倍)に変化させるとともに、フリップフロップ510の分周動作をそれ以前に対してK(好ましくはK=J)倍に高速化させる。
たとえば、加算対象の始めの行Ivについての処理時には、点R_Iv (t21_Iv)で参照信号Vslopの傾きを2倍に変化させるのと同時に、データ保持部512_00 へのデータ保持制御パルスHLDC00をアクティブHに切り替えるとともに、カウントクロック切替部516_00 へのカウントクロック制御信号TH00をアクティブHに切り替える。
このとき、ある列の垂直信号線19におけるIv行の画素信号電圧Vx_Iv はカウンタ値m0_Iv にデジタル変換される。カウンタ部254が実際にアップカウントした回数は、期間“t21_Iv−t20_Iv”とカウントクロックの周期で決まるし、負の値Drst_Ivからアップカウントを開始しているので点R_Iv (t21_Iv)でのカウンタ値m0_Iv が決まる。
またこのとき、データ保持制御パルスHLDC00がアクティブHになることで、最下位ビットのフリップフロップ510_00 に記録されたデータが保持される。事実上、点R_Iv (t21_Iv)以降は、この最下位ビット出力が無効化される。点R_Iv (t21_Iv)以降では最下位ビット出力が無効化されるので、点R_Iv (t21_Iv)以降は低分解能期間Tsig_L1Ivとなる。
また、同時に、カウントクロック制御信号TH00がアクティブHになると、最下位ビット(0ビット目)のフリップフロップ510_00 の入力クロックが2段目(1ビット目)のフリップフロップ510_01 のクロック端へ伝達される。カウンタ部254は、最下位ビットのクロック周期が次のビットに伝達されることで、最下位ビットを除く残りの上位ビット出力の分周動作が2倍となり、以前よりも量子化ステップを粗くしつつ2倍のスピードでカウントアップを開始する。
たとえば、図18は、カウントクロック制御信号TH00と参照信号Vslopの傾きが変化したときの各ビットのフリップフロップ510の出力を示している。カウントクロック制御信号TH00が点R_Iv (t21_Iv)にてアクティブHに切り替わることで、最下位ビットのフリップフロップ510_00 に供給されていたカウントクロックCINが2段目のフリップフロップ510_01 に伝達され、切替え後は、上位ビットでは切替え前よりも高速で動作するようになる。ただし、以前の最下位ビット出力は無効になるので、以前よりも量子化ステップは粗くなる。
たとえば、カウントクロック制御信号TH00の切替え前の1段目のフリップフロップ510_00 のカウント出力D00が100MHzの周期である場合、2段目のフリップフロップ510_01 のカウント出力D01が50MHzの周期になっている。これに対して、カウントクロック制御信号TH00がHレベルに切り替わると、2段目のフリップフロップ510_01 のカウント出力D01が100Hzの周期となり、上位ビットでは2倍の速度で分周動作をするようになる。
さらに、画素信号電圧Vx_Iv に関しては、点R_Iv (t21_Iv)以降の低分解能期間Tsig_L1Ivで、信号レベルSsig_Ivが参照信号Vslopと一致した時点(t22_Iv)で、カウンタ部254がその時点のカウント値z0_Iv を保持してストップする。
このとき、参照信号Vslopの傾きが点R_Iv (t21_Iv)以前の傾きに対して2倍になっており、カウンタ部254のフリップフロップ510の上位ビットも2倍の速度で分周動作をするので、カウンタ値と電圧値の関係は、2ΔV/2Δt=ΔV/Δtとなり、カウンタ値と電圧値の関係ΔV/Δtは一定に保たれることで、センサ出力に対するAD変換結果の線形性を維持できる。最終カウント値z0_Iv そのものが、自動的に、信号成分Vsig を忠実に反映したデジタルデータDsig となる。外部回路で補正する必要はない。
このIv行目のAD変換期間が終了した後、カウンタ部254をリセットしないで、引き続きJv行目の単位画素3の信号の読出動作とAD変換処理動作に移行し、Iv行目と同様の読出動作を繰り返す。
このときには、参照信号Vslopの傾きはIv行目の処理時と同じになるようにする。また、データ保持制御パルスHLDC_00 およびカウントクロック制御信号TH_00 をアクティブHにしたままとする。こうすることで、参照信号Vslopの傾きがIv行目と同じになっており、カウンタ部254のフリップフロップ510の上位ビットは2倍の速度で分周動作をするので、カウンタ値と電圧値の関係は、2ΔV/Δtとなり、Jv行目の処理を開始した当初は、画素信号電圧Vx_Jv はIv行目の処理に比べて2倍のゲインが掛かって処理される。
そして、点R(t21_Jv)で参照信号Vslopの傾きを2倍に変化させるのと同時に、データ保持部512_01 へのデータ保持制御パルスHLDC01をアクティブHに切り替えるとともに、カウントクロック切替部516_01 へのカウントクロック制御信号TH01をアクティブHに切り替える。
このとき、Jv行の画素信号電圧Vx_Jv はカウンタ値m0_Jv にデジタル変換される。カウンタ部254が実際にアップカウントした回数は、期間“t21_Jv−t20_Jv”とカウントクロックの周期で決まるし、負の値Drst_Jvからアップカウントを開始しているので、点R_Jv (t21_Jv)でのカウンタ値m0_Jv が決まる。
またこのとき、データ保持制御パルスHLDC00,HLDC01がアクティブHであることで、最下位ビット(0ビット目)および2段目(1ビット目)のフリップフロップ510_00 ,510_01 のデータが保持される。事実上、点R_Jv (t21_Jv)以降は、最下位ビット(0ビット目)および2段目(1ビット目)の出力が無効化される。点R_Jv (t21_Jv)以降では0,1ビットの各出力が無効化されるので、点R_Jv (t21_Jv)以降はさらに低分解能期間Tsig_L1Jvとなる。
また、同時に、カウントクロック制御信号TH01がアクティブHになると、1ビット目のフリップフロップ510_01 の入力クロックが3段目(2ビット目)のフリップフロップ510_02 のクロック端へ伝達される。カウンタ部254は、クロック周期が次のビットに伝達されることで、0ビット目および1ビット目を除く残りの上位ビット出力の分周動作がそれ以前の2倍に対してさらに2倍の4倍となり、以前よりもさらに量子化ステップを粗くしつつ4倍のスピードでカウントアップを開始する。
さらに、画素信号電圧Vx_Jv に関しては、点R_Jv (t21_Jv)以降の低分解能期間Tsig_L1Jvで、信号レベルSsig_Jvが参照信号Vslopと一致した時点(t22_Jv)で、カウンタ部254がその時点のカウント値z0_Jv を保持してストップする。
このとき、参照信号Vslopの傾きが点R_Jv (t21_Jv)以前の傾きに対して2倍になっており、カウンタ部254のフリップフロップ510の上位ビットは4倍の速度で分周動作をするので、カウンタ値と電圧値の関係は、2ΔV/2Δt=ΔV/Δtとなり、カウンタ値と電圧値の関係ΔV/Δtは一定に保たれることで、センサ出力に対するAD変換結果の線形性を維持できる。最終カウント値z0_Jv そのものが、自動的に、信号成分Vsig を忠実に反映したデジタルデータDsig となる。外部回路で補正する必要はない。
このJv行目のAD変換期間が終了した後、カウンタ部254をリセットしないで、引き続きJv行目の単位画素3の信号の読出動作とAD変換処理動作に移行し、Jv行目と同様の読出動作を繰り返す。
このときには、参照信号Vslopの傾きがIv行目の点R_Iv (t21_Iv)以降と同じように2倍になっており、一方、カウンタ部254のフリップフロップ510の上位ビットは4倍の速度で分周動作をするので、カウンタ値と電圧値の関係は、4ΔV/2Δt=2ΔV/Δtとなり、カウンタ値と電圧値の関係は点R_Jv (t21_Jv)以前と同じに保たれることで画素信号電圧Vx_Jv はIv行目の処理に比べて2倍のゲインが掛かって処理される。
その結果として、たとえば、リセットレベルSrst についてのAD変換期間Trst と信号レベルSsig についてのAD変換期間Tsig における変化点R以前の1digit 当たりの電圧値(変換係数)をα[V/digit ]とすると、最終的にカウンタ部254が保持するカウンタ値は、“αVsig_Iv+2α×Vsig_Jv”を示すこととなり、重付け加算が実行されたこととなる。
たとえば、図17中の画素信号電圧Vx部分に括弧書きでデジタル値で示すように、Iv,Jv行目の信号成分Vsig_Iv,Vsig_Jvが何れも“60”であり、リセットレベルSrst_Iv,Srst_Jvが何れも“10”であるものとして2倍重付け加算を実行すると、各タイミングでカウンタ部254に保持されるカウンタ値は、図9の場合と同じようになる。
すなわち、Iv行目の信号レベルSsig_Iv(信号成分Vsig_Iv)のAD変換においては、リセットレベルSrst_IvについてのAD変換において取得したカウント値“−Drst_Iv”(=−10)を始点としてアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値は“−10+70=60=Dsig_Iv”となる。
この後、Jv行目のAD変換においては、Iv行目についてのAD変換において取得したカウント値“60=Dsig_Iv”を始点として先ずリセットレベルSrst_Jvに関してダウンカウントを行なうことでカウンタ部254に保持される値は“50−2×10=40”となる。さらに、このカウント値“40”を始点として信号レベルSsig_Jvに関してアップカウントを行なうことで、処理後にカウンタ部254に保持されるカウント値“40+2×70=180”となる。このカウント値は、Iv行目の信号成分Vsig_Ivのデジタル値Dsig_Ivに、Jv行目の信号成分Vsig_Jvのデジタル値Dsig_Jvの2倍を加算した値“Dsig_Iv+2・Dsig_Jv”を表わす。
このことから分かるように、AD変換処理における行内処理の途中で、参照信号Vslopの傾きを変化させても、その傾き変化を相殺するように分周速度を変化させると、最終的なカウンタ値z、すなわち信号成分Vsig のデジタルデータDsig は、その影響を受けることなく、信号成分Vsig が同じであれば、最終的なカウンタ値z(=Dsig )は一致する。最終的なカウンタ値zに対して、単位画素3の別に補正する必要はなく、当然に、変化点のカウンタ値mを保持する機能部も不要である。
変化点R以降では参照信号Vslopの傾きをそれ以前よりも大きくしているので、その分だけAD変換期間を短縮でき、加算画像を高速に取得することができる。
なお、前述の説明では、ある行についてのAD変換処理における行内処理の途中で、参照信号Vslopの傾きを2倍にするとともにカウンタ部254の分周動作をそれ以前よりも2倍に高速化させる事例を示したが、これに限らず、センサ出力レベルの上昇に合わせて、参照信号Vslopの傾きをさらに数段階で変化させるとともにフリップフロップ510をより高速にカウント動作(分周動作)をするように制御し、この際には、量子化ステップをさらに粗くすることができる。
たとえば、カウント実行部504を図4,図5に示した構成とする場合、Iv行目の処理であれば、図19に示すように、参照信号Vslopの傾きを4倍にするとともにカウントクロック制御信号TH01もアクティブHにしてカウンタ部254の2ビット目以降の分周動作を4倍に高速化させることができる。さらに、参照信号Vslopの傾きを8倍にするとともにカウントクロック制御信号TH02もアクティブHにしてカウンタ部254の3ビット目以降の分周動作を8倍に高速化させることができる。
以下同様にして、参照信号Vslopの傾きを2^S(Sは正の整数;“^”はべき乗を示す)倍にするとともにカウントクロック制御信号TH0T(T=S−1)もアクティブHにしてカウンタ部254のSビット目以降の分周動作を2^S倍に高速化させることができる。
このように、信号成分Vsig の大きさ(換言すれば光ショットノイズの大きさ)に合わせて、参照信号Vslopの傾きをJ1(=2)倍、J2(=4)倍、J3(=8)倍、…というように数段階で変化させる(順次より急にしていく)と、参照信号Vslopがフルスイングする時間が一層短縮され、AD変換をより高速に行なうことができる。
また、参照信号Vslopの傾き変化に合わせてカウンタの分周動作を、K1(=2)倍、K2(=4)倍、K3(=8)倍、…というように複数段階で高速分周動作となるように変化させ下位ビットデータを無効にしていくと、参照信号Vslopの変化点のカウンタ値に関わらず、また、信号成分Vsig に応じた正しいカウント値を最終出力として取得できる。より多くの下位ビットデータを無効に取り扱うことになるので量子化ステップがさらに粗くなりAD変換時の分解能が一層低下することになるが、光ショットノイズとの関係で、AD変換結果は、実質的には精度低下が問題となることはないと考えてよい。
参照信号Vslopの傾きを急に(大きく)して比較処理に要する時間を短縮するので、カウンタの動作回数を減らすことが可能となるため高速なAD変換が可能となる、つまりAD変換時間を短縮できる。また逆にAD変換時間を同じとした場合は、カウンタ動作を減らすことができるので低消費電力化が可能となる。
また、カウンタの分周動作を複数段階で高速化させる際に、下位ビット出力を順次無効にして残りの上位ビット出力の分周動作のみを高速化させることで量子化ステップを粗くするようにすれば、上位ビット出力を制御する大元のカウントクロックは元のカウントクロックCINと同じ速度にしておいてもよくなる。AD変換の分解能は低減するが、実質的には、カウンタ全体としては、元のカウントクロックCINに基づいて動作する点に変わりがなく、消費電力の増加は起きない。また、光ショットノイズを利用して信号成分Vsig が大きくなるほど量子化ステップを粗くしてAD変換精度を低下させるので、実質的なAD変換精度は著しく損なうことはない。
なお、参照信号Vslopの傾きを変化させる点Rは可変であり、光ショットノイズと量子化ノイズとの関係に基づいて、より高精度を求めるか高速性を求めるかで目的に応じてモード切替を行なうようにすればよい。
また、前例では、参照信号Vslopの傾きを2^S倍にするに当たり、Sを1,2,3と1ずつ変化させる事例で示したが、これに限らず、たとえば、2,4,…など、その変化ステップは任意である。これに関しても、光ショットノイズと量子化ノイズとの関係に基づいて、より高精度を求めるか高速性を求めるかで目的に応じてモード切替を行なうようにすればよい。
重付け加算を行なう際、光ショットノイズを利用し、AD変換精度を著しく損なうことなくカウンタの動作回数を減らすことが可能となるため、重付け加算処理の際にも高速なAD変換が可能となる。また逆に同じAD変換時間を同じとした場合はカウンタの動作減らすことができるので低消費電力化が可能となる。
<加算画像の解像度改善手法;第3実施形態>
図20は、カウンタ部254における垂直方向のデジタル加算処理とデジタル演算部29における水平方向のデジタル加算処理において、解像度低下の問題を解消する手法の第3実施形態を説明する図である。
第3実施形態では、2行2列の重付け加算処理ではなく、3行3列の重付け加算処理とする場合の事例である。なお、列方向に関しての3列の重付け加算処理は必須ではない。
ここで、3画素での加算処理の場合、たとえば、3画素全ての重付けを異なるものとしてもよいし、何れか1つのみを他の2画素と異なるものとしてもよい。後者の場合、たとえば、1対n対1(nは1を超える値)とする。好ましくは、nは、2,3,4,…というように2以上の正の整数もしくは任意の値とし、さらに好ましくは、2,4,8,…というように2のべき乗とする。これらの重付け値の設定手法は、2画素間での重付け加算時と同様である。
たとえば、図20に示すように、カラムAD回路25によって垂直方向に3行単位で加算処理を行なう垂直方向の重付け加算処理と、デジタル演算部29による、3列単位で重付け加算演算を行なう水平方向の重付け加算処理とを組み合わせることにより、3行3列の重付け加算処理を実現することが可能となる。
この3行3列の重付け加算処理の利用形態としては、たとえば、処理対象画素信号の全ての係数を同じにすれば、図20(A)に示すような平滑化フィルタ処理となってしまうのに対して、周辺画素の係数よりも中央画素の係数が大きくなるように重付け値を設定すれば、図20(B)に示すように、中央画素を強調する重付け加算処理を実現することができる。
たとえば、1対2対1の重付け加算が可能となり、インターレス読み出しをするときに加算後の重心の位置をより強調することが可能となりより解像度の高い画像を得ることが可能になる。
ここで、このような1対2対1の重付け加算と、加算後の空間位置を変化させる点との関係は以下の通りである。すなわち、1対2対1の重付け加算は、1対1対1の単純な加算と同様、加算後の空間位置は変化しないが、その加算後の中心位置をより強調するという面で、加算後の空間位置を変化させると同様、より高い解像度を得ることができる。
<撮像装置>
図21は、前述の固体撮像装置1と同様の仕組みを利用した物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置8は、可視光カラー画像を得る撮像装置になっている。
前述した固体撮像装置1の仕組みは固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置としても、重付け加算によって加算後の空間位置を変化させることでより高解像度が得られる仕組みを実現できるようになる。
この際、重付けを設定するためのカウンタの分周速度の高速化の制御、あるいは参照信号Vslopの傾きの制御は、外部の主制御部において、モード切替指示を通信・タイミング制御部20に対するデータ設定で任意に指定できるようにする。
具体的には、撮像装置8は、蛍光灯などの照明装置801の下にある被写体Zの像を担持する光Lを撮像装置側に導光して結像させる撮影レンズ802と、光学ローパスフィルタ804と、たとえばR,G,Bの色フィルタがベイヤー配列とされている色フィルタ群812と、画素アレイ部10と、画素アレイ部10を駆動する駆動制御部7と、画素アレイ部10から出力された画素信号に対してCDS処理やAD変換処理などを施すカラム処理部26と、カラム処理部26に参照信号Vslopを供給する参照信号生成部27と、カラム処理部26から出力された撮像信号を処理するカメラ信号処理部810を備えている。
光学ローパスフィルタ804は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、光学ローパスフィルタ804と合わせて、赤外光成分を低減させる赤外光カットフィルタ805を設けることもできる。この点は、一般的な撮像装置と同様である。
カラム処理部26の後段に設けられたカメラ信号処理部810は、撮像信号処理部820と、撮像装置8の全体を制御する主制御部として機能するカメラ制御部900とを有する。
撮像信号処理部820は、色フィルタとして原色フィルタ以外のものが使用されているときにカラム処理部26のAD変換機能部から供給されるデジタル撮像信号をR(赤),G(緑),B(青)の原色信号に分離する原色分離機能を具備した信号分離部822と、信号分離部822によって分離された原色信号R,G,Bに基づいて色信号Cに関しての信号処理を行なう色信号処理部830とを有する。
また撮像信号処理部820は、信号分離部822によって分離された原色信号R,G,Bに基づいて輝度信号Yに関しての信号処理を行なう輝度信号処理部840と、輝度信号Y/色信号Cに基づいて映像信号VDを生成するエンコーダ部860とを有する。
色信号処理部830は、図示を割愛するが、たとえば、ホワイトバランスアンプ、ガンマ補正部、色差マトリクス部などを有する。ホワイトバランスアンプは、図示しないホワイトバランスコントローラから供給されるゲイン信号に基づき、信号分離部822の原色分離機能部から供給される原色信号のゲインを調整(ホワイトバランス調整)し、ガンマ補正部および輝度信号処理部840に供給する。
ガンマ補正部は、ホワイトバランスが調整された原色信号に基づいて、忠実な色再現のためのガンマ(γ)補正を行ない、ガンマ補正された各色用の出力信号R,G,Bを色差マトリクス部に入力する。色差マトリクス部は、色差マトリクス処理を行なって得た色差信号R−Y,B−Yをエンコーダ部860に入力する。
輝度信号処理部840は、図示を割愛するが、たとえば、信号分離部822の原色分離機能部から供給される原色信号に基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する高周波輝度信号生成部と、ホワイトバランスアンプから供給されるホワイトバランスが調整された原色信号に基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する低周波輝度信号生成部と、2種類の輝度信号YH,YLに基づいて輝度信号Yを生成しエンコーダ部860に供給する輝度信号生成部とを有する。
エンコーダ部860は、色信号副搬送波に対応するデジタル信号で色差信号R−Y,B−Yをデジタル変調した後、輝度信号処理部840にて生成された輝度信号Yと合成して、デジタル映像信号VD(=Y+S+C;Sは同期信号、Cはクロマ信号)に変換する。
エンコーダ部860から出力されたデジタル映像信号VDは、さらに後段の図示を割愛したカメラ信号出力部に供給され、モニター出力や記録メディアへのデータ記録などに供される。この際、必要に応じて、DA変換によってデジタル映像信号VDがアナログ映像信号Vに変換される。
本実施形態のカメラ制御部900は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたCPU(Central Processing Unit )を代表例とする電子計算機の中枢をなすマイクロプロセッサ(microprocessor)902と、読出専用の記憶部であるROM(Read Only Memory)904、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるRAM(Random Access Memory)906と、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ902、ROM904、およびRAM906を纏めて、マイクロコンピュータ(microcomputer )とも称する。
なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。
また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、CD−ROMなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。
カメラ制御部900は、システム全体を制御するものであり、特に前述のAD変換処理の高速化との関係においては、参照信号生成部27における参照信号Vslopの傾き変化制御やカウンタ部254における分周速度制御のための各種の制御パルスのオン/オフタイミングを調整する機能を有している。
ROM904にはカメラ制御部900の制御プログラムなどが格納されているが、特に本例では、カメラ制御部900によって、各種の制御パルスのオン/オフタイミングを設定するためのプログラムが格納されている。
RAM906にはカメラ制御部900が各種処理を行なうためのデータなどが格納されている。
また、カメラ制御部900は、メモリカードなどの記録媒体924を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部900は、マイクロプロセッサ902、ROM904、およびRAM906の他に、メモリ読出部907および通信I/F(インタフェース)908を備える。
記録媒体924は、たとえば、マイクロプロセッサ902にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部840からの輝度系信号に基づく測光データDLの収束範囲や露光制御処理(電子シャッタ制御を含む)、並びに参照信号生成部27における参照信号Vslopの傾き変化制御やカウンタ部254における分周速度制御のための各種の制御パルスのオン/オフタイミングなど、様々な設定値などのデータを登録するなどのために利用される。
メモリ読出部907は、記録媒体924から読み出したデータをRAM906に格納(インストール)する。通信I/F908は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
なお、このような撮像装置8は、駆動制御部7およびカラム処理部26を、画素アレイ部10と別体にしてモジュール状のもので示しているが、固体撮像装置1について述べたように、これらが画素アレイ部10と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置1を利用してもよいのは言うまでもない。
また、図では、画素アレイ部10や駆動制御部7やカラム処理部26や参照信号生成部27やカメラ信号処理部810の他に、撮影レンズ802、光学ローパスフィルタ804、あるいは赤外光カットフィルタ805などの光学系をも含む状態で、撮像装置8を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
ここで、前述の固体撮像装置1におけるモジュールとの関係においては、図示のように、画素アレイ部10(撮像部)と、AD変換機能や差分(CDS)処理機能を具備したカラム処理部26などの画素アレイ部10側と密接に関連した信号処理部(カラム処理部26の後段のカメラ信号処理部は除く)が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1の後段に、残りの信号処理部であるカメラ信号処理部810を設けて撮像装置8の全体を構成するようにしてもよい。
または、図示を割愛するが、画素アレイ部10と撮影レンズ802などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1に加えて、カメラ信号処理部810をもモジュール内に設けて、撮像装置8の全体を構成するようにしてもよい。
また、固体撮像装置1におけるモジュールの形態として、カメラ信号処理部200に相当するカメラ信号処理部810を含めてもよく、この場合には、事実上、固体撮像装置1と撮像装置8とが同一のものと見なすこともできる。
このような撮像装置8は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。
このような構成の撮像装置8においては、前述の固体撮像装置1の全ての機能を包含して構成されており、前述の固体撮像装置1の基本的な構成および動作と同様とすることができ、全ての係数が均等な単純加算に比べて加算後の空間位置を変化させるように重付け加算を行なうことで、より高解像度が得られる仕組みを実現できるようになる。
たとえば、上述した処理をコンピュータに実行させるプログラムは、フラッシュメモリ、ICカード、あるいはミニチュアーカードなどの不揮発性の半導体メモリカードなどの記録媒体924を通じて配布される。さらに、サーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。
記録媒体924の一例としてのICカードやミニチュアーカードなどの半導体メモリには、上記実施形態で説明した固体撮像装置1(特に参照信号Vslopの傾き変化とカウンタ分周速度変化とを連動させた制御を行なうAD変換高速化処理に関わる機能)における処理の一部または全ての機能を格納することができる。したがって、プログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、参照信号Vslopの傾き変化とカウンタ分周速度変化とを連動させた制御を行なうAD変換高速化処理用のプログラム、すなわちRAM906などにインストールされるソフトウェアは、固体撮像装置1について説明したAD変換高速化処理と同様に、AD変換処理の高速化を実現するための制御パルス設定機能をソフトウェアとして備える。
ソフトウェアは、RAM906に読み出された後にマイクロプロセッサ902により実行される。たとえばマイクロプロセッサ902は、記録媒体の一例であるROM904およびRAM906に格納されたプログラムに基づいて制御パルス設定処理を実行することにより、加算対象の行や列の選択動作とカウンタ分周速度調整や参照信号Vslopの傾き調整(変化)とを連動させた制御を行なうことで、全ての係数が均等な単純加算に比べて、より高解像度の画像が得られるように加算後の画素の空間位置を変化させる機能をソフトウェア的に実現することができる。
1…固体撮像装置、10…画素アレイ部、12…水平走査回路、14…垂直走査回路、15…行制御線、18…水平信号線、19…垂直信号線、20…通信・タイミング制御部、24…読出電流源部、25…カラムAD回路、252…電圧比較部、254…カウンタ部、256…データ記憶部、258…スイッチ、26…カラム処理部、27…参照信号生成部、27a…DA変換回路、28…出力回路、29…デジタル演算部、3…単位画素、32…電荷生成部、502…ゲート部、504…カウント実行部、510…フリップフロップ、512…データ保持部、514…カウントモード切替部、516…カウントクロック切替部、7…駆動制御部、8…撮像装置、900…カメラ制御部