以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における固体撮像装置を搭載した撮像システムの概略構成を示したブロック図である。図1において、撮像システム1は、固体撮像装置10と、画像処理部20と、表示デバイス30と、DRAM(Dynamic Random Access Memory)40と、記録媒体50と、を備えている。また、画像処理部20は、撮像処理部210、評価値生成部211、静止画処理部221、動画処理部222、表示処理部230、DRAMコントローラ240、画像認識部250、CPU260、およびカードインタフェース部270を備えている。
固体撮像装置10は、図示しないレンズによって結像された被写体の光学像を光電変換する、本実施形態の固体撮像装置である。固体撮像装置10は、被写体光に応じた画素信号に基づいた画素データを、画像処理部20内の撮像処理部210に出力する。なお、固体撮像装置10に関する説明は、後述する。
画像処理部20は、固体撮像装置10から入力された画素データに基づいて、予め定められた種々の画像処理を施した画像を生成し、生成した画像のデータ(以下、「画像データ」という)を、DRAM40に転送する(書き込む)。また、画像処理部20は、DRAM40に格納されている画像データを読み出して、予め定められた種々の画像処理を施す。
撮像システム1内の撮像処理部210、評価値生成部211、静止画処理部221、動画処理部222、表示処理部230、DRAMコントローラ240、画像認識部250、CPU260、およびカードインタフェース部270は、データバス290を介してそれぞれ接続され、例えば、DMA(Direct Memory Access)によってDRAMコントローラ240に接続されたDRAM40からのデータの読み出し、およびDRAM40へのデータの書き込みを行う。
撮像処理部210は、固体撮像装置10から入力された画素データに、シェーディング補正や画素欠陥補正などの前処理を施し、前処理した結果の画像データ(以下、「前処理画像データ」という)を、DRAM40に転送する(書き込む)。
また、撮像処理部210に備えた評価値生成部211は、前処理した結果の前処理画像データに基づいて、自動露出(Auto Exposure:AE)、自動焦点(Auto Focus:AF)、オートホワイトバランス(Auto White Balance:AWB)などの制御を行うための評価値を生成し、生成した評価値をDRAM40に転送する(書き込む)。
静止画処理部221は、DRAM40に記録されている前処理画像データを取得し(読み出し)、デモザイク処理(ノイズ除去、YC変換処理、リサイズ処理)、JPEG圧縮処理など、静止画像を記録するための各種の画像処理を施して、記録用の静止画像データを生成する。また、静止画処理部221は、DRAM40に記録されている記録用の静止画像データを取得し(読み出し)、JPEG伸張処理など、静止画像を再生するための各種の画像処理を施して、表示用の静止画像データを生成する。また、静止画処理部221は、生成した記録用の静止画像データおよび表示用の静止画像データを、DRAM40に転送する(書き込む)。
動画処理部222は、DRAM40に記録されている前処理画像データを取得し(読み出し)、デモザイク処理(ノイズ除去、YC変換処理、リサイズ処理)、MPEG圧縮処理やH.264圧縮処理等の動画圧縮処理など、動画像を記録するための各種の画像処理を施して、記録用の動画像データを生成する。また、動画処理部222は、デモザイク処理を施した画像データに対して動画圧縮処理を行わずに、動画像を再生するための表示用の動画像データを生成することもできる。また、動画処理部222は、DRAM40に記録されている記録用の動画像データを取得し(読み出し)、MPEG伸張処理やH.264伸張処理等の動画伸張処理など、動画像を再生するための各種の画像処理を施して、表示用の動画像データを生成する。また、動画処理部222は、生成した記録用の動画像データおよび表示用の動画像データを、DRAM40に転送する(書き込む)。
表示処理部230は、DRAM40に記録されている表示用の画像データを取得し(読み出し)、取得した表示用の画像データにOSD(On−Screen Display)表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス30に出力して表示させる。
表示デバイス30は、TFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や、EVF(Electronic View Finder:電子ビューファインダ)などの表示デバイスであり、表示処理部230から出力された表示処理後の画像データに応じた画像を表示する。なお、表示デバイス30は、有機EL(Electro Luminescence)ディスプレイや、テレビなどの外部ディスプレイであってもよい。
画像認識部250は、DRAM40に記録されている前処理画像データを取得し(読み出し)、取得した前処理画像データに基づいて、撮影された画像に含まれる被写体の動き量や顔を検出し、検出した被写体の情報を生成して、DRAM40に転送する(書き込む)。また、画像認識部250は、取得した前処理画像データに基づいて、撮影された画像のシーンを認識し、認識したシーンの情報を生成して、DRAM40に転送する(書き込む)。なお、画像認識部250は、生成した被写体の情報やシーンの情報をDRAM40に転送せず、画像認識部250内のレジスタに保持する構成であってもよい。
カードインタフェース部270は、DRAM40に記録されている記録用の静止画像データや記録用の動画像データを取得し(読み出し)、記録媒体50に記録させる。また、カードインタフェース部270は、記録媒体50に記録している記録用の静止画像データや記録用の動画像データを読み出し、読み出した画像データを、DRAM40に転送する(書き込む)。
記録媒体50は、SDメモリカード(SD Memory Card)などの記録媒体であり、カードインタフェース部270から出力された記録用の静止画像データや記録用の動画像データを記録する。また、カードインタフェース部270によって記録している記録用の静止画像データや記録用の動画像データが読み出される。なお、図1においては、記録媒体50も撮像システム1の構成要素としているが、記録媒体50は、撮像システム1に着脱可能な構成である。
DRAMコントローラ240は、データバス290に接続されている撮像システム1内の複数の構成要素からのDRAM40へのアクセス要求、例えば、DMAアクセス要求に応じて、接続されているDRAM40へのデータの転送(書き込み)、およびDRAM40からのデータの取得(読み出し)を行う。
DRAM40は、DRAMコントローラ240によってアクセス制御されるメモリである。DRAM40は、撮像システム1内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納する。
CPU260は、撮像システム1の構成要素、すなわち、撮像システム1全体を制御する。例えば、撮像システム1における撮影動作や再生動作に応じて、撮像システム1内の各構成要素の動作を制御する。また、例えば、CPU260は、撮像システム1が撮影動作を行う際に、図示しないレンズを制御する。
<第1の実施形態>
次に、本実施形態の撮像システム1に搭載した固体撮像装置10について説明する。図2は、本第1の実施形態における固体撮像装置10の概略構成を示したブロック図である。図2に示した固体撮像装置10は、画素信号処理部100と、第1の読み出し部110と、第2の読み出し部120と、転送部130とから構成される。
画素信号処理部100は、複数の画素が二次元の行列状に配置されて形成された画素アレイを備え、第1の読み出し部110および第2の読み出し部120のそれぞれから入力された読み出し制御信号に応じて、それぞれの画素が入射した光を光電変換した画素信号を、対応する第1の読み出し部110または第2の読み出し部120に出力する。画素信号処理部100は、画素アレイ内に配置された全ての画素の画素信号のそれぞれを全画素信号S1とし、画素アレイ内に配置された画素の数を減縮した画素の画素信号のそれぞれを減縮画素信号S2として、別々に出力することができる。そして、画素信号処理部100は、第1の読み出し部110から入力された読み出し制御信号に応じて、全画素信号S1のそれぞれを第1の読み出し部110に出力し、第2の読み出し部120から入力された読み出し制御信号に応じて、減縮画素信号S2のそれぞれを第2の読み出し部120に出力する。
第1の読み出し部110は、画素信号処理部100から全画素信号S1のそれぞれを読み出し、読み出した全画素信号S1のそれぞれをアナログデジタル変換したそれぞれのデジタル値を転送部130に出力する。このとき、第1の読み出し部110は、第2の読み出し部120から入力されたビット数削減制御信号に応じて、アナログデジタル変換して出力するそれぞれの全画素信号S1のデジタル値のビット数を削減して、転送部130に出力する。
第2の読み出し部120は、画素信号処理部100から減縮画素信号S2のそれぞれを読み出し、読み出した減縮画素信号S2のそれぞれに基づいて、第1の読み出し部110がアナログデジタル変換して出力するそれぞれの全画素信号S1のデジタル値のビット数を削減する方法を決定する。そして、第2の読み出し部120は、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110に出力する。
転送部130は、第1の読み出し部110から出力された、ビット数が削減されたそれぞれの全画素信号S1のデジタル値を、画素データとして外部に転送する。すなわち、転送部130は、ビット数が削減された画素データを、画像処理部20内の撮像処理部210に転送(出力)する。
このような構成によって、固体撮像装置10は、画素信号処理部100に備えた全ての画素の画素信号に基づいたそれぞれの画素データのビット数を削減して、画像処理部20内の撮像処理部210に出力する。
次に、本第1の実施形態の固体撮像装置10のそれぞれの構成要素について、さらに詳細に説明する。まず、図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100の構成について、さらに詳細に説明する。なお、固体撮像装置10においては、上述したように、複数の画素が二次元の行列状に配置された画素アレイを画素信号処理部100内に備えるが、説明を容易にするため、図2においては、固体撮像装置10に備えた画素信号処理部100内に、画素a〜画素dの4つの画素が配置されている場合の一例を示している。なお、固体撮像装置10には、本固体撮像装置10を搭載した撮像システム1に備えた、本固体撮像装置10の制御を行う制御装置(例えば、画像処理部20内のCPU260など)による制御に応じて、画素信号処理部100内に配置されたそれぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの構成要素も備えているが、図2においては省略している。
なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素a〜画素dを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「a」、「b」、「c」、または「d」の符号を付与して説明する。より具体的には、画素aに対応する構成要素の符号の最後に「a」を付与し、画素bに対応する構成要素の符号の最後に「b」を付与し、画素cに対応する構成要素の符号の最後に「c」を付与し、画素dに対応する構成要素の符号の最後に「d」を付与して説明する。また、画素a〜画素dに共通して対応する構成要素には、「a」〜「d」の符号は付与せずに説明する。また、画素a〜画素dのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「a」〜「d」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100は、4つの光電変換部101a〜光電変換部101dと、4つの電荷転送回路102a〜電荷転送回路102dと、4つの第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dと、2つの第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdとから構成される。図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100では、光電変換部101aと、電荷転送回路102aと、第1の電荷蓄積回路103aとの構成要素によって画素aを構成し、光電変換部101bと、電荷転送回路102bと、第1の電荷蓄積回路103bとの構成要素によって画素bを構成する。また、光電変換部101cと、電荷転送回路102cと、第1の電荷蓄積回路103cとの構成要素によって画素cを構成し、光電変換部101dと、電荷転送回路102dと、第1の電荷蓄積回路103dとの構成要素によって画素dを構成する。また、第2の電荷蓄積回路104abは、画素aと画素bとに共通の構成要素であり、第2の電荷蓄積回路104cdは、画素cと画素dとに共通の構成要素である。
光電変換部101a〜光電変換部101dのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
電荷転送回路102a〜電荷転送回路102dのそれぞれは、対応する光電変換部101a〜光電変換部101dのそれぞれが発生して蓄積した信号電荷を、対応する第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれと、対応する第2の電荷蓄積回路104abまたは第2の電荷蓄積回路104cdのそれぞれに転送するための回路である。
第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれは、対応する電荷転送回路102a〜電荷転送回路102dのそれぞれから転送された、対応する光電変換部101a〜光電変換部101dのそれぞれが発生した信号電荷を保持(蓄積)する回路である。また、第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれは、対応する第1の読み出し部110内の第1の読み出し制御部1101から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を全画素信号S1のそれぞれの画素信号として、第1の読み出し部110内の第1のA/D変換部1102に出力する回路でもある。
第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、対応する電荷転送回路102a〜電荷転送回路102dのそれぞれから転送された、対応する光電変換部101a〜光電変換部101dのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持(蓄積)する回路(平均化電荷蓄積回路)である。つまり、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、固体撮像装置10の画素信号処理部100に備えたそれぞれの画素の信号電荷を加算平均することによって、画素信号処理部100に備えた画素の数(画素数)を減縮した状態にするための信号電荷を保持する回路である。また、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれは、対応する第2の読み出し部120内の第2の読み出し制御部1201から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の減縮画素信号S2のそれぞれの画素信号として、第2の読み出し部120内の第2のA/D変換部1202に出力する回路でもある。
なお、図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100においては、第2の電荷蓄積回路104abが電荷転送回路102aおよび電荷転送回路102b、すなわち、光電変換部101aおよび光電変換部101bに対応し、第2の電荷蓄積回路104cdが電荷転送回路102cおよび電荷転送回路102d、すなわち、光電変換部101cおよび光電変換部101dに対応している。
なお、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、例えば、光電変換部101aおよび光電変換部101bが発生したそれぞれの信号電荷を第2の電荷蓄積回路104abに保持する際に加算平均する構成、第2の電荷蓄積回路104abが保持したそれぞれの信号電荷に応じた信号電圧を出力する際に加算平均する構成などがある。なお、例えば、第2の電荷蓄積回路104abが保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
このような構成によって、画素信号処理部100は、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部101が発生した信号電荷を第1の電荷蓄積回路103にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷(画素数を減縮した信号電荷)を第2の電荷蓄積回路104に保持する。より具体的には、画素信号処理部100は、光電変換部101aが発生した信号電荷を第1の電荷蓄積回路103aに、光電変換部101bが発生した信号電荷を第1の電荷蓄積回路103bに、光電変換部101cが発生した信号電荷を第1の電荷蓄積回路103cに、光電変換部101dが発生した信号電荷を第1の電荷蓄積回路103dにそれぞれに保持する。また、画素信号処理部100は、光電変換部101aが発生した信号電荷と光電変換部101bが発生した信号電荷とを平均化した信号電荷を第2の電荷蓄積回路104abに、光電変換部101cが発生した信号電荷と光電変換部101dが発生した信号電荷とを平均化した信号電荷を第2の電荷蓄積回路104cdにそれぞれに保持する。そして、画素信号処理部100は、第1の電荷蓄積回路103のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第2の電荷蓄積回路104に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力する。すなわち、画素信号処理部100は、同じ1回の露光によって得られた信号電荷に基づいて、画素信号処理部100に備えた全ての画素の画素信号(全画素信号S1)のそれぞれと、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号(減縮画素信号S2)のそれぞれを別々に出力する。
なお、図2に示した本第1の実施形態の固体撮像装置10では、予め定めた2つの画素を組とし、それぞれの画素に備えた光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第2の電荷蓄積回路104を備えた画素信号処理部100の構成を示した。しかし、実際の固体撮像装置では、二次元の行列状に複数の画素が配置された画素アレイに、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの画素に備えた光電変換部101は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、本第1の実施形態の固体撮像装置10においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化しないように、画素の組を構成することが望ましい。
また、図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100においては、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、対応する光電変換部101a〜光電変換部101dのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数を減縮する構成を示した。しかし、画素数を減縮する方法は、図2に示した加算平均のみに限定されるものではなく、例えば、画素を間引くことによって、画素数を減縮する構成であってもよい。この場合、図2に示した本第1の実施形態の固体撮像装置10の画素信号処理部100においては、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、対応する光電変換部101a〜光電変換部101dのそれぞれが発生したそれぞれの信号電荷のいずれか一方の信号電荷を保持(蓄積)することによって、画素を間引く構成が考えられる。
次に、図2に示した本第1の実施形態の固体撮像装置10の第1の読み出し部110の構成について、さらに詳細に説明する。図2に示した本第1の実施形態の固体撮像装置10の第1の読み出し部110は、第1の読み出し制御部1101と、第1のA/D変換部1102と、ビット数削減部1103とから構成される。
第1の読み出し制御部1101は、画素信号処理部100内の第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれから全画素信号S1のそれぞれを順次読み出すための読み出し制御信号を、第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれに順次出力する。
第1のA/D変換部1102は、第1の読み出し制御部1101によって読み出され、第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれから順次入力されたそれぞれの全画素信号S1(アナログ信号)をアナログデジタル変換し、それぞれの全画素信号S1(アナログ信号)の大きさを表す値(デジタル値)を、ビット数削減部1103に順次出力するA/D変換回路である。
ビット数削減部1103は、第2の読み出し部120内のビット数削減方法決定部1205から入力されたビット数削減制御信号に応じて、第1のA/D変換部1102から順次入力されたそれぞれの全画素信号S1のデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したそれぞれの全画素信号S1のデジタル値を転送部130に出力する。なお、ビット数削減部1103がビット数削減制御信号に応じてデジタル値のビット数を削減する方法に関する説明は、後述する。
このような構成によって、第1の読み出し部110は、画素信号処理部100内の第1の電荷蓄積回路103のそれぞれに保持した全画素信号S1のそれぞれを読み出して、読み出したそれぞれの全画素信号S1をアナログデジタル変換したそれぞれのデジタル値を転送部130に出力する。このとき、第1の読み出し部110は、第2の読み出し部120から入力されたビット数削減制御信号に応じて、アナログデジタル変換して出力するそれぞれの全画素信号S1のデジタル値のビット数を削減して、転送部130に出力する。これにより、転送部130は、第1の読み出し部110から入力された、全画素信号S1をアナログデジタル変換してビット数を削減したデジタル値のそれぞれを、ビット数が削減された画素データとして外部に出力する。
次に、図2に示した本第1の実施形態の固体撮像装置10の第2の読み出し部120の構成について、さらに詳細に説明する。図2に示した本第1の実施形態の固体撮像装置10の第2の読み出し部120は、第2の読み出し制御部1201と、第2のA/D変換部1202と、ビット数削減方法決定部1205とから構成される。
第2の読み出し制御部1201は、画素信号処理部100内の第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから減縮画素信号S2のそれぞれを順次読み出すための読み出し制御信号を、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれに順次出力する。
第2のA/D変換部1202は、第2の読み出し制御部1201によって読み出され、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから順次入力されたそれぞれの減縮画素信号S2(アナログ信号)をアナログデジタル変換し、それぞれの減縮画素信号S2(アナログ信号)の大きさを表す値(デジタル値)を、ビット数削減方法決定部1205に順次出力するA/D変換回路である。
なお、画素信号処理部100内の第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれが、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま出力する構成である場合には、第2のA/D変換部1202が、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから出力されたそれぞれの信号電圧を加算平均した大きさのデジタル値を、ビット数削減方法決定部1205に順次出力構成であってもよい。この場合、第2のA/D変換部1202は、第2の読み出し制御部1201によって第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから順次読み出されたそれぞれの信号電圧をアナログ信号の状態で加算平均した後にアナログデジタル変換してもよいし、それぞれの信号電圧をアナログデジタル変換した後にデジタル値の状態で加算平均してもよい。
ビット数削減方法決定部1205は、第2のA/D変換部1202から順次入力されたそれぞれの減縮画素信号S2のデジタル値に基づいて、第1の読み出し部110内のビット数削減部1103がそれぞれの全画素信号S1のデジタル値のビット数を削減する際のビット数削減方法を決定し、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110内のビット数削減部1103に出力する。
このような構成によって、第2の読み出し部120は、画素信号処理部100内の第2の電荷蓄積回路104のそれぞれに保持した減縮画素信号S2のそれぞれを読み出して、読み出したそれぞれの減縮画素信号S2をアナログデジタル変換したそれぞれのデジタル値に基づいて、第1の読み出し部110がそれぞれの全画素信号S1のデジタル値に対するビット数削減方法を決定する。そして、第2の読み出し部120は、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110に出力する。
従って、本第1の実施形態の固体撮像装置10では、第2の読み出し部120が減縮画素信号S2のそれぞれを先に読み出してそれぞれの全画素信号S1のデジタル値に対するビット数削減方法を決定した後に、第1の読み出し部110が、ビット数削減制御信号に応じてそれぞれの全画素信号S1をアナログデジタル変換したそれぞれのデジタル値のビット数を削減して転送部130に出力することになる。
ここで、本第1の実施形態の固体撮像装置10において、画素信号処理部100内の第1の電荷蓄積回路103および第2の電荷蓄積回路104のそれぞれから全画素信号S1および減縮画素信号S2のそれぞれを読み出す際のタイミングについて説明する。図3は、本第1の実施形態の固体撮像装置10における画素信号(全画素信号S1および減縮画素信号S2)の読み出しシーケンスを示した図である。
固体撮像装置10が、ビット数を削減したそれぞれの全画素信号S1に応じた画素データを出力する際には、まず、第2の読み出し部120内の第2の読み出し制御部1201が、減縮画素信号S2のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部100内の第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれに順次出力する。これにより、第2の電荷蓄積回路104abおよび第2の電荷蓄積回路104cdのそれぞれから、減縮画素信号S2のそれぞれが順次出力されて、第2のA/D変換部1202に順次入力される。そして、第2のA/D変換部1202は、順次入力されたそれぞれの減縮画素信号S2(アナログ信号)をアナログデジタル変換した、それぞれの減縮画素信号S2のデジタル値を、ビット数削減方法決定部1205に順次出力する。
そして、ビット数削減方法決定部1205は、第2のA/D変換部1202から順次入力されたそれぞれの減縮画素信号S2のデジタル値に基づいて、第1の読み出し部110内のビット数削減部1103がそれぞれの全画素信号S1のデジタル値のビット数を削減するビット数削減方法を決定する。そして、ビット数削減方法決定部1205は、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110内のビット数削減部1103に出力する。
そして、第1の読み出し部110内の第1の読み出し制御部1101が、全画素信号S1のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部100内の第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれに順次出力する。これにより、第1の電荷蓄積回路103a〜第1の電荷蓄積回路103dのそれぞれから、全画素信号S1のそれぞれが順次出力されて、第1のA/D変換部1102に順次入力される。そして、第1のA/D変換部1102は、順次入力されたそれぞれの全画素信号S1(アナログ信号)をアナログデジタル変換した、それぞれの全画素信号S1のデジタル値を、ビット数削減部1103に順次出力する。
そして、ビット数削減部1103は、第1のA/D変換部1102から順次入力されたそれぞれの全画素信号S1のデジタル値のビット数を、ビット数削減方法決定部1205から入力されたビット数削減制御信号に応じて順次削減し、ビット数を削減したそれぞれの全画素信号S1のデジタル値を転送部130に順次出力する。これにより、転送部130は、ビット数削減部1103から順次入力された、ビット数が削減されたそれぞれの全画素信号S1のデジタル値を、ビット数が削減された画素データとして外部に順次転送(出力)する。
なお、減縮画素信号S2は、画素アレイ内に配置された画素数を減縮した画素信号であるため、例えば、全画素信号S1と減縮画素信号S2との読み出しを同時に開始した場合でも、画素数を減縮した減縮画素信号S2の方が、画素数を減縮していない全画素信号S1よりも早く読み出しが完了することができる。これにより、ビット数削減方法決定部1205は、それぞれの全画素信号S1のデジタル値のビット数を削減するビット数削減方法を早く決定することができる。このことにより、図2に示した本第1の実施形態の固体撮像装置10では、第1の読み出し部110における全画素信号S1の読み出しと、全画素信号S1のデジタル値のビット数の削減とをリアルタイムに行いながら、ビット数を削減した全画素信号S1のデジタル値(画素データ)を、転送部130から外部に順次転送(出力)することができる。
ここで、本第1の実施形態の固体撮像装置10における全画素信号S1のデジタル値のビット数の削減方法について説明する。図2に示した本第1の実施形態の固体撮像装置10では、減縮画素信号S2を早く読み出すことができるということを利用して、読み出した減縮画素信号S2に基づいて、例えば、ダイナミックレンジや明るさの分布など、固体撮像装置10が出力する全画素信号S1の全体の状態を調べることができる。
<第1のビット数削減方法>
図4は、本第1の実施形態の固体撮像装置10における第1のビット数削減方法を説明する図である。本第1のビット数削減方法は、先に読み出した減縮画素信号S2のそれぞれのデジタル値に基づいて全画素信号S1の全体のダイナミックレンジを調査し、全画素信号S1のデジタル値に割り当てるビット数、すなわち、削減するビット数を決定する方法である。なお、ダイナミックレンジは、減縮画素信号S2のデジタル値の最大値と最小値との差を算出することによって調査することができる。なお、以下の説明においては、第1のA/D変換部1102が、入力された全画素信号S1(アナログ信号)を、10ビットのデジタル値にアナログデジタル変換するものとして説明する。
本第1のビット数削減方法では、ビット数削減方法決定部1205が、第2のA/D変換部1202から順次入力された、それぞれの減縮画素信号S2のデジタル値のダイナミックレンジを調査する。これにより、ビット数削減方法決定部1205は、全画素信号S1の全体のダイナミックレンジを調査することができる。そして、ビット数削減方法決定部1205は、調査した全画素信号S1の全体のダイナミックレンジが広い場合にはビット数を多くし、ダイナミックレンジが狭い場合にはビット数を少なくするように、それぞれの全画素信号S1のデジタル値に割り当てるビット数を決定する。
そして、ビット数削減方法決定部1205は、決定したそれぞれの全画素信号S1のデジタル値に割り当てるビット数を表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、第1のA/D変換部1102から入力されたそれぞれの全画素信号S1のデジタル値のビット数を、入力されたビット数削減制御信号に応じて削減して転送部130に出力する。
図4(a)には、調査した全画素信号S1の全体のダイナミックレンジが広い場合のデジタル値のビット数の削減例を示し、図4(b)には、調査した全画素信号S1の全体のダイナミックレンジが狭い場合のデジタル値のビット数の削減例を示している。
より具体的には、調査した全画素信号S1の全体のダイナミックレンジが広い場合、ビット数削減方法決定部1205は、全画素信号S1のデジタル値に多くのビット数を割り当てると決定し、第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1のデジタル値を、10ビットから8ビットにビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図4(a)に示したように、入力された全画素信号S1の10ビットのデジタル値を4で除算することによって下位2ビットを削減した、全画素信号S1の8ビットのデジタル値を出力する。
また、調査した全画素信号S1の全体のダイナミックレンジが狭い場合、ビット数削減方法決定部1205は、全画素信号S1のデジタル値に割り当てるビット数を少なくすると決定し、第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1のデジタル値を、10ビットから7ビットにビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図4(b)に示したように、入力された全画素信号S1の10ビットのデジタル値を8で除算することによって下位3ビットを削減した、全画素信号S1の7ビットのデジタル値を出力する。
このように、第1のビット数削減方法では、減縮画素信号S2を先に読み出すことによって、同じ露光の全画素信号S1のデジタル値を画素データとして出力する前に、全画素信号S1の全体のダイナミックレンジを調査する。これにより、第1のビット数削減方法では、調査した全画素信号S1の全体のダイナミックレンジが狭い場合にはデジタル値に割り当てるビット数を少なくして、外部に転送(出力)する全画素信号S1の画素データのビット数を削減し、本第1の実施形態の固体撮像装置10の消費電力を低減することができる。また、第1のビット数削減方法では、調査した全画素信号S1の全体のダイナミックレンジが広い場合にはデジタル値に割り当てるビット数を多くして、外部に転送(出力)する全画素信号S1の画素データのビット数の削減量を少なくし、本第1の実施形態の固体撮像装置10が出力した画素データに基づいて生成する画像の劣化を抑えることができる。
このように、本第1の実施形態の固体撮像装置10では、第1のビット数削減方法によって、事前に調査した全画素信号S1の全体のダイナミックレンジに応じて出力する画素データのビット数を制御することができ、出力する画素データのビット数を削減した場合でも、本第1の実施形態の固体撮像装置10の低消費電力化と画質劣化の抑制とを両立することができる。
<第2のビット数削減方法>
図5は、本第1の実施形態の固体撮像装置10における第2のビット数削減方法を説明する図である。本第2のビット数削減方法は、先に読み出した減縮画素信号S2のそれぞれのデジタル値に基づいて全画素信号S1の全体の明るさの分布を調査し、全画素信号S1のデジタル値に割り当てるビットの範囲を決定して、全画素信号S1のデジタル値のビット数を削減する方法である。なお、明るさの分布は、減縮画素信号S2のデジタル値のヒストグラムを算出することによって調査することができる。なお、以下の説明においても、第1のA/D変換部1102が、入力された全画素信号S1(アナログ信号)を、10ビットのデジタル値にアナログデジタル変換するものとして説明する。
本第2のビット数削減方法では、ビット数削減方法決定部1205が、第2のA/D変換部1202から順次入力された、それぞれの減縮画素信号S2のデジタル値から、減縮画素信号S2の明るさの分布を調査する。これにより、ビット数削減方法決定部1205は、全画素信号S1の全体の明るさの分布を調査することができる。そして、ビット数削減方法決定部1205は、調査した全画素信号S1の全体の明るさの分布に基づいて、全画素信号S1のデジタル値に割り当てるビットの範囲、つまり、全画素信号S1のデジタル値に割り当てる階調を決定する。
より具体的には、調査した全画素信号S1の全体の明るさの分布が、暗い部分を多く含んでいる、例えば、撮影された画像が全体的に暗いことを表している場合には、暗い値を表すデジタル値(小さな値のデジタル値)により多くのビット数を割り当てるように、全画素信号S1のデジタル値に割り当てるビットの範囲を決定する。また、調査した全画素信号S1の全体の明るさの分布が、明るい部分を多く含んでいる、例えば、撮影された画像が全体的に明るいことを表している場合には、明るい値を表すデジタル値(大きな値のデジタル値)により多くのビット数を割り当てるように、全画素信号S1のデジタル値に割り当てるビットの範囲を決定する。また、調査した全画素信号S1の全体の明るさの分布が、暗い部分と明るい部分とに大きな差がない、例えば、撮影された画像が全体的に均一な明るさであることを表している場合には、それぞれのデジタル値に均一にビット数を割り当てるように、全画素信号S1のデジタル値に割り当てるビットの範囲を決定する。
そして、ビット数削減方法決定部1205は、決定したデジタル値に割り当てるビットの範囲を表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、第1のA/D変換部1102から入力されたそれぞれの全画素信号S1のデジタル値のビット数を、入力されたビット数削減制御信号に応じて削減して転送部130に出力する。
図5には、第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1のデジタル値を、10ビットから8ビットにビット数を削減する場合において、調査した全画素信号S1の全体の明るさの分布に応じて、全画素信号S1のデジタル値に割り当てるビットの範囲を変更する場合の一例を示している。そして、図5(a)には、調査した全画素信号S1の全体の明るさの分布が全体的に均一な明るさであることを表している場合に割り当てるデジタル値のビットの範囲の一例を示している。また、図5(b)には、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表している場合に割り当てるデジタル値のビットの範囲の一例を示している。また、図5(c)には、調査した全画素信号S1の全体の明るさの分布が全体的に明るいことを表している場合に割り当てるデジタル値のビットの範囲の一例を示している。
より具体的には、調査した全画素信号S1の全体の明るさの分布が全体的に均一な明るさであることを表している場合、ビット数削減方法決定部1205は、全画素信号S1のそれぞれのデジタル値に均一にビットの範囲を割り当てると決定する。そして、ビット数削減方法決定部1205は、第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1のデジタル値を、10ビットから8ビットに、単純にビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図5(a)に示したように、入力された全画素信号S1の10ビットのデジタル値を4で除算することによって下位2ビットを削減した、全画素信号S1の8ビットのデジタル値を出力する。
また、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表している場合、ビット数削減方法決定部1205は、暗い値を表す全画素信号S1のデジタル値により多くのビットの範囲を割り当て、明るい値を表す全画素信号S1のデジタル値に少ないビットの範囲を割り当ててビット数を削減すると決定する。これにより、暗い値を表すデジタル値(小さな値のデジタル値)のビット精度は落とさずに、明るい値を表すデジタル値(大きな値のデジタル値)ほどビット精度を多く落とすことによってデジタル値のビット数を削減し、撮影された画像において暗い部分の階調の誤差を少なくすることができる。そして、ビット数削減方法決定部1205は、決定したビット数の削減方法で第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1の10ビットのデジタル値の値に応じて異なる値の8ビットのデジタル値にビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図5(b)に示したように、入力された全画素信号S1の10ビットのデジタル値の値に応じて下位1ビット〜4ビットを削減した、全画素信号S1の8ビットのデジタル値を出力する。
また、調査した全画素信号S1の全体の明るさの分布が全体的に明るいことを表している場合、ビット数削減方法決定部1205は、明るい値を表す全画素信号S1のデジタル値により多くのビットの範囲を割り当て、暗い値を表す全画素信号S1のデジタル値に少ないビットの範囲を割り当ててビット数を削減すると決定する。これにより、明るい値を表すデジタル値(大きな値のデジタル値)のビット精度は落とさずに、暗い値を表すデジタル値(小さな値のデジタル値)ほどビット精度を多く落とすことによってデジタル値のビット数を削減し、撮影された画像において明るい部分の階調の誤差を少なくすることができる。そして、ビット数削減方法決定部1205は、決定したビット数の削減方法で第1のA/D変換部1102がアナログデジタル変換して出力する全画素信号S1の10ビットのデジタル値の値に応じて異なる値の8ビットのデジタル値にビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図5(c)に示したように、入力された全画素信号S1の10ビットのデジタル値の値に応じて下位1ビット〜4ビットを削減した、全画素信号S1の8ビットのデジタル値を出力する。
このように、第2のビット数削減方法では、減縮画素信号S2を先に読み出すことによって、同じ露光の全画素信号S1のデジタル値を画素データとして出力する前に、全画素信号S1の全体の明るさの分布を調査する。これにより、第2のビット数削減方法では、調査した全画素信号S1の全体の明るさの分布に応じてデジタル値に割り当てるビットの範囲を制御して、外部に転送(出力)する全画素信号S1の画素データのビット数を削減し、本第1の実施形態の固体撮像装置10の消費電力を低減することができる。また、第2のビット数削減方法では、調査した全画素信号S1の全体の明るさの分布に応じてデジタル値に割り当てるビットの範囲を制御するため、本第1の実施形態の固体撮像装置10が出力した画素データに基づいて生成する画像の劣化を抑えることができる。
このように、本第1の実施形態の固体撮像装置10における第2のビット数削減方法では、事前に調査した全画素信号S1の全体の明るさの分布に応じて出力する画素データのビット数を制御することができ、出力する画素データのビット数を削減した場合でも、第1のビット数削減方法と同様に、本第1の実施形態の固体撮像装置10の低消費電力化と画質劣化の抑制とを両立することができる。
本第1の実施形態によれば、二次元の行列状に配置された複数の画素を有し、ここに配置された全ての画素のそれぞれが発生した画素信号のそれぞれを全画素信号(全画素信号S1)として出力すると共に、画素が発生した画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号(減縮画素信号S2)として出力する画素信号処理部(画素信号処理部100)と、減縮画素信号S2に基づいて、全画素信号S1の大きさを表すデジタル値のビット数を削減する際のビット数削減方法を決定するビット数削減方法決定部(ビット数削減方法決定部1205)と、ビット数削減方法決定部1205によって決定されたビット数削減方法に基づいて、デジタル値(全画素信号S1のデジタル値)のビット数を削減し、ここでビット数を削減したデジタル値を、全画素信号S1に対応するデジタル値(画素データ)として出力するビット数削減部(ビット数削減部1103)と、を備える固体撮像装置(固体撮像装置10)が構成される。
また、本第1の実施形態によれば、減縮画素信号S2は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号を平均化した画素信号である固体撮像装置10が構成される。
また、本第1の実施形態によれば、減縮画素信号S2は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号の内、予め定めたいずれか1つの画素が発生した画素信号である固体撮像装置10が構成される。
また、本第1の実施形態によれば、ビット数削減方法決定部1205は、減縮画素信号S2に基づいて全画素信号S1の全体のダイナミックレンジを調査し、ここで調査したダイナミックレンジの広さに応じて、全画素信号S1に対応するデジタル値(画素データ)に割り当てるビット数を決定する固体撮像装置10が構成される。
また、本第1の実施形態によれば、ビット数削減方法決定部1205は、減縮画素信号S2に基づいて全画素信号S1の全体の明るさの分布を調査し、ここで調査した明るさの分布に応じて、全画素信号S1に対応するデジタル値(画素データ)に割り当てるビットの範囲を決定する固体撮像装置10が構成される。
また、本第1の実施形態によれば、固体撮像装置(固体撮像装置10)を備え、ビット数削減方法決定部1205は、減縮画素信号S2に加え、この固体撮像装置10によって撮影を行う際の条件を表す情報を含めて、ビット数削減方法を決定する撮像システム(撮像システム1)が構成される。
上記に述べたように、本第1の実施形態の固体撮像装置10では、画素信号処理部100から、同じ1回の露光によって得られた信号電荷に基づいて、画素信号処理部100に備えた全ての画素の画素信号である全画素信号S1と、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号である減縮画素信号S2とを別々に出力する。そして、本第1の実施形態の固体撮像装置10では、画素信号処理部100から出力された減縮画素信号S2に基づいて、撮影した画像の特徴を事前に調査する。そして、本第1の実施形態の固体撮像装置10では、調査した画像の特徴に基づいて、全画素信号S1のデジタル値のビット数を削減する方法を制御する。従来の画素データのビット数を変更する仕組みを備えた固体撮像装置では、この従来の固体撮像装置を搭載した撮像システムの動作モードに応じて画素データのビット数を削減することによって消費電力を削減しているため、画素データのビット数を削減すると必ず画質が劣化してしまった。これに対して、本第1の実施形態の固体撮像装置10では、事前に調査した画像の特徴に基づいて出力する画素データのビット数を適正なビット数に制御するため、出力する画素データのビット数を削減した場合でも、本第1の実施形態の固体撮像装置10の低消費電力化と画質劣化の抑制とを両立することができる。
また、本第1の実施形態の固体撮像装置10では、全画素信号S1のデジタル値のビット数を削減するために、画素信号処理部100から出力された減縮画素信号S2を用いて、ダイナミックレンジや明るさの分布を調査している。このダイナミックレンジや明るさの分布の調査は、例えば、画素信号処理部100から出力された全画素信号S1を用いても行うことができる。ただし、全画素信号S1は、画素数を減縮していない画素信号であるため、ダイナミックレンジや明るさの分布の調査に多くの時間を要してしまう。このため、本第1の実施形態の固体撮像装置10のように、画素数を減縮した減縮画素信号S2を用いてダイナミックレンジや明るさの分布を調査した方が、調査に要する時間を短くすることができ、有利である。
なお、本第1の実施形態の固体撮像装置10では、全画素信号S1のデジタル値のビット数を削減する方法として、ダイナミックレンジを調査して削減するビット数を制御する第1のビット数削減方法と、明るさの分布を調査してデジタル値に割り当てるビットの範囲を制御する第2のビット数削減方法とを示した。しかし、上述したそれぞれのビット数削減方法は、それぞれ単独で本第1の実施形態の固体撮像装置10に適用されるものではなく、デジタル値のビット数を削減するそれぞれのビット数削減方法を同時に、本第1の実施形態の固体撮像装置10に適用することもできる。
また、本第1の実施形態の固体撮像装置10において全画素信号S1のデジタル値のビット数を削減する方法は、上述したそれぞれの方法に限定されるものではなく、画素信号処理部100から先に読み出した減縮画素信号S2に基づいて事前に調査することができる撮影した画像の他の特徴に基づいても、削減するデジタル値のビット数を制御することができる。例えば、先に読み出した減縮画素信号S2のそれぞれのデジタル値に基づいて全画素信号S1の全体のコントラスト値(エッジ成分の量)を調査して、全画素信号S1のデジタル値に割り当てるビット数を決定することもできる。この場合、ビット数削減方法決定部1205は、調査した全画素信号S1の全体のコントラスト値が高い場合にはビット数を多くし、コントラスト値が低い場合にはビット数を少なくするように、それぞれの全画素信号S1のデジタル値に割り当てるビット数を決定する構成になる。なお、コントラスト値は、減縮画素信号S2のデジタル値にフィルタ処理を行うことによって調査することができる。
本第1の実施形態によれば、ビット数削減方法決定部1205は、減縮画素信号S2に基づいて全画素信号S1の全体のコントラスト値を調査し、ここで調査したコントラスト値の高さに応じて、全画素信号S1に対応するデジタル値(画素データ)に割り当てるビット数を決定する固体撮像装置10が構成される。
また、本第1の実施形態の固体撮像装置10において全画素信号S1のデジタル値のビット数を削減する方法を決定するための情報として、先に読み出した減縮画素信号S2のデジタル値に加えて、本固体撮像装置10を搭載した撮像システム1において撮影を行う際の条件も含める構成にすることもできる。例えば、本固体撮像装置10を搭載した撮像システム1が撮影動作を行う際に、撮像システム1に備えた画像処理部20内のCPU260が制御する、図示しないレンズの制御情報(例えば、絞り情報や、合焦情報)を用いる構成にすることもできる。例えば、絞り情報を用いる場合には、図示しないレンズの絞りが開放であるときには、撮影された画像が比較的コントラスト値が低いと考えられるため、全画素信号S1のデジタル値に割り当てるビット数をさらに少なくするように、デジタル値のビット数を制御することができる。また、例えば、合焦情報を用いた場合には、図示しないレンズが合焦しているときにはビット数を多くし、図示しないレンズが合焦していないときにはビット数を少なくするように、全画素信号S1のデジタル値に割り当てるビット数を制御することができる。この絞り情報や合焦情報も含めて全画素信号S1のデジタル値に割り当てるビット数を制御する方法は、本固体撮像装置10を搭載した撮像システム1における自動焦点の方式によらずに適用することができる。なお、絞り情報や合焦情報として、本固体撮像装置10を搭載した撮像システム1に備えた評価値生成部211が生成した、自動露出や自動焦点の制御を行うための評価値を用いてもよい。
本第1の実施形態によれば、撮影を行う際の条件を表す情報は、この固体撮像装置10に被写体の光学像を結像させるレンズの絞り情報および合焦情報の少なくとも一方の情報を含むこのレンズの制御情報である撮像システム1が構成される。
また、本第1の実施形態の固体撮像装置10において決定したビット数削減方法は、撮影した画像全体に同じビット数削減方法を適用してもよいし、それぞれの減縮画素信号S2毎、すなわち、固体撮像装置10の画素信号処理部100に備えたそれぞれの画素を減縮する予め定めた画素の組の範囲(領域)毎に、異なるビット数削減方法を適用してもよい。
なお、本第1の実施形態の固体撮像装置10においては、減縮画素信号S2のデジタル値を、画素データとして外部に転送していなかった。しかし、上述したように、図1に示した本実施形態の撮像システム1では、例えば、表示処理部230に、撮影する被写体を確認するための確認画像として、いわゆる、ライブビュー画像(スルー画像)を表示させる構成にすることもできる。このため、減縮画素信号S2のデジタル値も画素データとして出力することができれば、例えば、ライブビュー画像を表示処理部230に表示させる際に有効に利用することができる。
<第2の実施形態>
次に、本実施形態の撮像システム1に搭載した第2の実施形態の固体撮像装置について説明する。図6は、本第2の実施形態における固体撮像装置の概略構成を示したブロック図である。図6に示した固体撮像装置11は、画素信号処理部100と、第1の読み出し部110と、第2の読み出し部121と、転送部131とから構成される。なお、本第2の実施形態の固体撮像装置11の構成要素には、第1の実施形態の固体撮像装置10の構成要素と同様の構成要素も含まれている。従って、本第2の実施形態の固体撮像装置11の構成要素において、第1の実施形態の固体撮像装置10の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
画素信号処理部100は、第1の読み出し部110から入力された読み出し制御信号に応じて、全画素信号S1のそれぞれを第1の読み出し部110に出力し、第2の読み出し部121から入力された読み出し制御信号に応じて、減縮画素信号S2のそれぞれを第2の読み出し部121に出力する。
第1の読み出し部110は、ビット数を削減した全画素信号S1のそれぞれのデジタル値を転送部131に出力する。
第2の読み出し部121は、第1の実施形態の固体撮像装置10に備えた第2の読み出し部120と同様に、画素信号処理部100から減縮画素信号S2のそれぞれを読み出し、読み出した減縮画素信号S2のそれぞれに基づいて、第1の読み出し部110が全画素信号S1のデジタル値のビット数を削減する方法を決定し、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110に出力する。また、第2の読み出し部121は、画素信号処理部100から読み出した減縮画素信号S2のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、そのまま、つまり、それぞれの減縮画素信号S2のデジタル値のビット数を削減せずに、転送部131に出力する。なお、第2の読み出し部121は、減縮画素信号S2のデジタル値のそれぞれを、転送部131に出力する構成以外は、第1の実施形態の固体撮像装置10に備えた第2の読み出し部120と同様であるため、詳細な説明は省略する。
転送部131は、第1の読み出し部110から出力された、ビット数が削減されたそれぞれの全画素信号S1のデジタル値(以下、「全画素データ」という)と、第2の読み出し部121から出力された、ビット数が削減されていないそれぞれの減縮画素信号S2のデジタル値(以下、「減縮画素データ」という)とのそれぞれを、画素データとして外部に転送する。すなわち、転送部131は、ビット数が削減された全画素データとビット数が削減されていない減縮画素データとを、画像処理部20内の撮像処理部210に転送(出力)する。
なお、転送部131が全画素データと減縮画素データとのそれぞれを画素データとして画像処理部20内の撮像処理部210に転送(出力)する際の順番などに関しては、特に規定しない。ただし、ビット数が削減されていない減縮画素データ、すなわち、減縮画素信号S2のデジタル値は、画素数が減縮されているため、画素数を減縮していない全画素データよりも早く出力することができる。このため、減縮画素データを先に画素データとして出力する方が、例えば、ライブビュー画像の生成、評価値生成部211による評価値の生成、画像認識部250による被写体の認識など、画像処理部20においてリアルタイム性が要求される処理を行う際に有利である。
このような構成によって、固体撮像装置11は、画素信号処理部100に備えた全ての画素の画素信号に基づいたそれぞれの全画素データのビット数を削減して、画像処理部20内の撮像処理部210に出力すると共に、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号に基づいたそれぞれの減縮画素データを、画像処理部20内の撮像処理部210に出力する。これにより、本実施形態の撮像システム1に搭載した画像処理部20では、リアルタイム性が要求される処理に用いる減縮画素データと、画質が要求される処理に用いる全画素データとを、それぞれの処理に応じて使い分けることができる。
なお、本第2の実施形態の固体撮像装置11において、画素信号処理部100から全画素信号S1および減縮画素信号S2のそれぞれを読み出す際のタイミングは、図3に示した、第1の実施形態の固体撮像装置10における全画素信号S1および減縮画素信号S2の読み出しシーケンスと同様であるため、詳細な説明は省略する。ただし、本第2の実施形態の固体撮像装置11における画素信号の読み出しシーケンスでは、第2の読み出し部121内の第2のA/D変換部1202が順次入力された減縮画素信号S2(アナログ信号)のそれぞれをアナログデジタル変換した減縮画素信号S2のデジタル値(減縮画素データ)をビット数削減方法決定部1205に順次出力すると共に、この減縮画素データを、転送部131に順次出力する。
また、本第2の実施形態の固体撮像装置11における全画素データのビット数の削減方法は、図4および図5に示した第1の実施形態の固体撮像装置10における第1のビット数削減方法および第2のビット数削減方法と同様であるため、詳細な説明は省略する。
上記に述べたように、本第2の実施形態の固体撮像装置11でも、第1の実施形態の固体撮像装置10と同様に、事前に調査した画像の特徴に基づいて出力する全画素データのビット数を適正なビット数に制御する。なお、本第2の実施形態の固体撮像装置11においても、全画素データのビット数を削減する方法は、第1の実施形態の固体撮像装置10と同様である。このため、本第2の実施形態の固体撮像装置11でも、第1の実施形態の固体撮像装置10と同様に、出力する全画素データのビット数を削減した場合でも、本第2の実施形態の固体撮像装置11の低消費電力化と画質劣化の抑制とを両立することができる。
また、本第2の実施形態の固体撮像装置11では、画素信号処理部100から、同じ1回の露光によって得られた信号電荷に基づいた、画素信号処理部100に備えた全ての画素の画素信号である全画素信号S1に応じた全画素データと、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号である減縮画素信号S2に応じた減縮画素データとのそれぞれを転送(出力)することができる。これにより、本第2の実施形態の固体撮像装置11を搭載した撮像システム1では、画質の確保とリアルタイム性の確保とを両立することができる。
<第3の実施形態>
次に、本実施形態の撮像システム1に搭載した第3の実施形態の固体撮像装置について説明する。図7は、本第3の実施形態における固体撮像装置の概略構成を示したブロック図である。図7に示した固体撮像装置12は、画素信号処理部100と、第1の読み出し部112と、第2の読み出し部122と、転送部131とから構成される。なお、本第3の実施形態の固体撮像装置12の構成要素には、第1の実施形態の固体撮像装置10または第2の実施形態の固体撮像装置11の構成要素と同様の構成要素も含まれている。従って、本第3の実施形態の固体撮像装置12の構成要素において、第1の実施形態の固体撮像装置10または第2の実施形態の固体撮像装置11の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
画素信号処理部100は、第1の読み出し部112から入力された読み出し制御信号に応じて、全画素信号S1のそれぞれを第1の読み出し部112に出力し、第2の読み出し部122から入力された読み出し制御信号に応じて、減縮画素信号S2のそれぞれを第2の読み出し部122に出力する。
第1の読み出し部112は、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11に備えた第1の読み出し部110と同様に、第2の読み出し部122から入力されたビット数削減制御信号に応じてビット数を削減したそれぞれの全画素信号S1のデジタル値(全画素データ)を転送部131に出力する。また、第1の読み出し部112は、画素信号処理部100から読み出した全画素信号S1をアナログデジタル変換したデジタル値と、第2の読み出し部122によってアナログデジタル変換された減縮画素信号S2のデジタル値(減縮画素データ)との差分をとったデジタル値のビット数を削減したそれぞれのデジタル値を転送部131に出力することもできる。なお、第1の読み出し部112に関する詳細な説明は、後述する。
第2の読み出し部122は、第2の実施形態の固体撮像装置11に備えた第2の読み出し部121と同様に、画素信号処理部100から減縮画素信号S2のそれぞれを読み出し、読み出した減縮画素信号S2のそれぞれに基づいて、第1の読み出し部112が出力する全画素信号S1に応じた全画素データのビット数を削減する方法を決定し、決定したビット数削減方法を表すビット数削減制御信号を、第1の読み出し部110に出力する。また、第2の読み出し部122は、画素信号処理部100から読み出した減縮画素信号S2のそれぞれをアナログデジタル変換した減縮画素データを、そのまま、つまり、減縮画素信号S2の減縮画素データのビット数を削減せずに、転送部131に出力する。また、第2の読み出し部122は、減縮画素データのそれぞれを、第1の読み出し部112に出力する。なお、第2の読み出し部122は、減縮画素データそれぞれを、第1の読み出し部112に出力する構成以外は、第2の実施形態の固体撮像装置11に備えた第2の読み出し部121と同様であるため、詳細な説明は省略する。
転送部131は、第1の読み出し部112から出力された、ビット数が削減されたそれぞれの全画素データと、第2の読み出し部122から出力された、ビット数が削減されていないそれぞれの減縮画素データとのそれぞれを、画素データとして外部(画像処理部20内の撮像処理部210)に転送(出力)する。
このような構成によって、固体撮像装置12は、画素信号処理部100に備えた全ての画素の画素信号に基づいたそれぞれの全画素データのビット数を削減して、画像処理部20内の撮像処理部210に出力すると共に、画素信号処理部100に備えた画素の数(画素数)を減縮した画素信号に基づいたそれぞれの減縮画素データを、画素データとして画像処理部20内の撮像処理部210に出力する。
次に、本第3の実施形態の固体撮像装置12に備えた第1の読み出し部112の構成について、さらに詳細に説明する。図7に示した本第3の実施形態の固体撮像装置12の第1の読み出し部112は、第1の読み出し制御部1101と、第1のA/D変換部1102と、ビット数削減部1103と、差分算出部1126と、選択部1127とから構成される。なお、第1の読み出し部112の構成要素には、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11に備えた第1の読み出し部110の構成要素と同様の構成要素も含まれている。従って、第1の読み出し部112の構成要素において、第1の読み出し部110の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
第1のA/D変換部1102は、第1の読み出し制御部1101によって読み出されたそれぞれの全画素信号S1(アナログ信号)をアナログデジタル変換し、それぞれの全画素信号S1(アナログ信号)の大きさを表すデジタル値を、差分算出部1126と、選択部1127とのそれぞれに順次出力する。
差分算出部1126は、第1のA/D変換部1102から順次入力されたそれぞれの全画素信号S1のデジタル値と、第2の読み出し部122から順次入力されたそれぞれの減縮画素信号S2のデジタル値との差分を算出し、差分を算出したデジタル値のそれぞれを、選択部1127に順次出力する。つまり、差分算出部1126は、全画素信号S1と減縮画素信号S2との差分をとったそれぞれのデジタル値を、選択部1127に出力する。
なお、差分算出部1126が出力するデジタル値は、全画素信号S1と減縮画素信号S2との差分をとったデジタル値であるため、正のデジタル値である場合と負のデジタル値である場合との両方の状態が存在する。このため、差分算出部1126は、出力するデジタル値に正のデジタル値または負のデジタル値を表す符号を付与して、選択部1127に出力する。
なお、上述したように、減縮画素信号S2は、全画素信号S1の画素数を減縮した画素信号である。このため、差分算出部1126によって全画素信号S1のデジタル値と減縮画素信号S2のデジタル値との差分が算出されたデジタル値は、全画素信号S1のエッジ成分を抽出したデジタル値に相当する。
選択部1127は、第1のA/D変換部1102から順次入力された全画素信号S1のデジタル値、または差分算出部1126から順次入力された全画素信号S1と減縮画素信号S2との差分をとったデジタル値のいずれか一方のデジタル値を選択する。そして、選択部1127は、選択したいずれか一方のデジタル値(以下、「選択画素データ」という)を、ビット数削減部1103に順次出力する。
なお、選択部1127における選択画素データの選択方法に関しては、特に規定しない。例えば、選択部1127は、本第3の実施形態の固体撮像装置12を搭載した本実施形態の撮像システム1に備えた画像処理部20内のCPU260によって設定された本第3の実施形態の固体撮像装置12の動作モードに応じてデジタル値を選択する構成であってもよいし、CPU260によって制御されたビット数削減方法決定部1205からの制御に応じてデジタル値を選択する構成であってもよい。
ビット数削減部1103は、第2の読み出し部122内のビット数削減方法決定部1205から入力されたビット数削減制御信号に応じて、選択部1127から順次入力された選択画素データのビット数を、予め定めた方法によって削減し、ビット数を削減した選択画素データを、全画素データとして転送部131に出力する。なお、ビット数削減部1103がビット数削減制御信号に応じて選択画素データのビット数を削減する方法に関する説明は、後述する。
このような構成によって、第1の読み出し部112は、画素信号処理部100から読み出したそれぞれの全画素信号S1をアナログデジタル変換したそれぞれのデジタル値、または画素信号処理部100から読み出した全画素信号S1をアナログデジタル変換したデジタル値と第2の読み出し部122から入力された減縮画素信号S2のデジタル値との差分をとったそれぞれのデジタル値のいずれか一方のデジタル値(選択画素データ)を、転送部130に出力する。このとき、第1の読み出し部112は、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11に備えた第1の読み出し部110の構成要素と同様に、第2の読み出し部122から入力されたビット数削減制御信号に応じて、出力するそれぞれの選択画素データのビット数を削減して、転送部131に出力する。これにより、転送部131は、第1の読み出し部112から入力された、全画素信号S1に基づいたビット数が削減されたデジタル値のそれぞれを、ビット数が削減された全画素データとして外部に出力する。
なお、本第3の実施形態の固体撮像装置12において、画素信号処理部100から全画素信号S1および減縮画素信号S2のそれぞれを読み出す際のタイミングは、図3に示した、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11における全画素信号S1および減縮画素信号S2の読み出しシーケンスと同様であるため、詳細な説明は省略する。ただし、本第3の実施形態の固体撮像装置12における画素信号の読み出しシーケンスでは、第2の読み出し部122内の第2のA/D変換部1202が順次入力された減縮画素信号S2(アナログ信号)のそれぞれをアナログデジタル変換した減縮画素信号S2のデジタル値(減縮画素データ)をビット数削減方法決定部1205に順次出力すると共に、この減縮画素データを、転送部131と第1の読み出し部112内の差分算出部1126とのそれぞれに順次出力する。従って、本第3の実施形態の固体撮像装置12では、第2の読み出し部122が減縮画素信号S2のそれぞれを先に読み出して、第1の読み出し部112内の差分算出部1126による差分の算出を行った後に、ビット数削減部1103によって選択画素データのビット数を削減して転送部130に出力することになる。
次に、本第3の実施形態の固体撮像装置12における画素データのビット数の削減方法について説明する。本第3の実施形態の固体撮像装置12でも、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11と同様に、減縮画素信号S2を早く読み出すことができるということを利用して、例えば、ダイナミックレンジや明るさの分布など、固体撮像装置12が出力する全画素信号S1の全体の状態を調べることができる。従って、本第3の実施形態の固体撮像装置12における画素データのビット数の削減方法も、図4および図5に示した第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11における第1のビット数削減方法および第2のビット数削減方法と同様に考えることができる。
ただし、本第3の実施形態の固体撮像装置12では、第1の読み出し部112内の差分算出部1126が全画素信号S1と減縮画素信号S2との差分をとったデジタル値、すなわち、正のデジタル値または負のデジタル値を表す符号が付与されたデジタル値のビット数を削減することになる。以下の説明においては、選択部1127によって全画素信号S1と減縮画素信号S2との差分をとったデジタル値が選択画素データとして選択されている場合のビット数の削減方法について説明する。図8は、本第3の実施形態の固体撮像装置12におけるビット数削減方法を説明する図である。なお、以下の説明においては、1ビットの符号と10ビットの値(整数)とで構成された11ビットの選択画素データのビット数を削減するものとして説明する。
図8(a)には、調査した全画素信号S1の全体のダイナミックレンジが広い場合の選択画素データのビット数の削減例を示し、図8(b)には、調査した全画素信号S1の全体のダイナミックレンジが狭い場合の選択画素データのビット数の削減例を示している。つまり、図8(a)および図8(b)には、第1のビット数削減方法によるビット数の削減例を示している。
より具体的には、調査した全画素信号S1の全体のダイナミックレンジが広い場合、ビット数削減方法決定部1205は、全画素信号S1のデジタル値に多くのビット数を割り当てると決定し、選択部1127が出力した選択画素データの10ビットの整数部分のデジタル値を、10ビットから8ビットにビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図8(a)に示したように、入力された選択画素データの10ビットの整数部分のデジタル値を4で除算することによって下位2ビットを削減した8ビットのデジタル値に1ビットの符号が付与された、9ビットのデジタル値を、全画素データとして転送部131に出力する。
また、調査した全画素信号S1の全体のダイナミックレンジが狭い場合、ビット数削減方法決定部1205は、全画素信号S1のデジタル値に割り当てるビット数を少なくすると決定し、選択部1127が出力した選択画素データの10ビットの整数部分のデジタル値を、10ビットから7ビットにビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図8(b)に示したように、入力された選択画素データの10ビットの整数部分のデジタル値を8で除算することによって下位3ビットを削減した7ビットのデジタル値に1ビットの符号が付与された、8ビットのデジタル値を、全画素データとして転送部131に出力する。
また、図8(c)には、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表している場合のビットの範囲の割り当てにおいて、ダイナミックレンジが広い場合の選択画素データのビット数の削減例を示している。また、図8(d)には、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表している場合のビットの範囲の割り当てにおいて、ダイナミックレンジが狭い場合の選択画素データのビット数の削減例を示している。つまり、図8(c)および図8(d)には、第1のビット数削減方法と第2のビット数削減方法とを併せたビット数の削減例を示している。
より具体的には、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表している場合、ビット数削減方法決定部1205は、暗い値を表す全画素信号S1のデジタル値(0に近い値のデジタル値)により多くのビットの範囲を割り当て、明るい値を表す全画素信号S1のデジタル値(0から遠い値のデジタル値)に少ないビットの範囲を割り当ててビット数を削減すると決定する。また、調査した全画素信号S1の全体のダイナミックレンジが広い場合、ビット数削減方法決定部1205は、全画素信号S1のデジタル値に多くのビット数を割り当てると決定する。そして、ビット数削減方法決定部1205は、選択部1127が出力した選択画素データの10ビットの整数部分のデジタル値を、10ビットの整数部分のデジタル値の値に応じて異なる値の8ビットのデジタル値にビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図8(c)に示したように、入力された選択画素データの10ビットの整数部分のデジタル値の値に応じて下位1ビット〜4ビットを削減した8ビットのデジタル値に1ビットの符号が付与された、9ビットのデジタル値を、全画素データとして転送部131に出力する。
また、調査した全画素信号S1の全体の明るさの分布が全体的に暗いことを表し、全体のダイナミックレンジが狭い場合、ビット数削減方法決定部1205は、暗い値を表す全画素信号S1のデジタル値(0に近い値のデジタル値)により多くのビットの範囲を割り当て、明るい値を表す全画素信号S1のデジタル値(0から遠い値のデジタル値)に少ないビットの範囲を割り当て方法で、全画素信号S1のデジタル値に割り当てるビット数を少なくすると決定する。そして、ビット数削減方法決定部1205は、選択部1127が出力した選択画素データの10ビットの整数部分のデジタル値を、10ビットの整数部分のデジタル値の値に応じて異なる値の7ビットのデジタル値にビット数を削減することを表すビット数削減制御信号を、ビット数削減部1103に出力する。これにより、ビット数削減部1103は、例えば、図8(d)に示したように、入力された選択画素データの10ビットの整数部分のデジタル値の値に応じて下位2ビット〜5ビットを削減した7ビットのデジタル値に1ビットの符号が付与された、8ビットのデジタル値を、全画素データとして転送部131に出力する。
なお、本第3の実施形態の固体撮像装置12において、選択部1127が選択画素データとして選択した全画素信号S1と減縮画素信号S2との差分をとったデジタル値を全画素データとし、ビット数を削減して画像処理部20内の撮像処理部210に転送(出力)した場合には、撮像処理部210において、全画素信号S1のデジタル値を復元する必要がある。このため、出力した全画素データのビット数を削減したビット数削減方法の情報が必要である。ビット数削減方法の情報は、例えば、撮像処理部210が、本第3の実施形態の固体撮像装置12から先に出力された減縮画素データに基づいて、ビット数削減方法決定部1205が行うビット数削減方法の決定処理と同様の処理を行うことによって得ることができる。また、本第3の実施形態の固体撮像装置12がビット数を削減した全画素データを出力する際に、ビット数削減方法の情報を加えてもよい。この場合、例えば、LVDS方式で転送する全画素データのヘッダやフッタの情報にビット数削減方法の情報を含ませて、全画素データと共に転送してもよい。また、例えば、本第3の実施形態の固体撮像装置12の動作の設定を行うために、本固体撮像装置13を搭載した撮像システム1に備えた画像処理部20内のCPU260によってアクセスされるレジスタや、シリアル通信を利用して、ビット数削減方法の情報を通知してもよい。
本第3の実施形態によれば、全画素信号S1の大きさを表すデジタル値と減縮画素信号S2の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部(差分算出部1126)、をさらに備え、ビット数削減部1103は、差分を算出したデジタル値のビット数を、ビット数削減方法に基づいて削減し、ここでビット数を削減した差分を算出したデジタル値を、全画素信号S1に対応するデジタル値(画素データ)として出力する固体撮像装置(固体撮像装置12)が構成される。
上記に述べたように、本第3の実施形態の固体撮像装置12でも、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11と同様に、事前に調査した画像の特徴に基づいて出力する全画素データのビット数を適正なビット数に制御する。このため、本第3の実施形態の固体撮像装置12でも、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11と同様に、出力する全画素データのビット数を削減した場合でも、本第3の実施形態の固体撮像装置12の低消費電力化と画質劣化の抑制とを両立することができる。
また、本第3の実施形態の固体撮像装置12では、画素信号処理部100から読み出した全画素信号S1のデジタル値と減縮画素信号S2のデジタル値との差分をとったデジタル値、つまり、全画素信号S1のエッジ成分を抽出したデジタル値を、ビット数を削減した全画素データとして出力することもできる。このエッジ成分のデジタル値に対するビット数の削減は、静止画像の圧縮処理であるJPEG圧縮処理においても類似の考え方が適用されているように、画質の劣化が少ないことが一般的に知られている。このため、本第3の実施形態の固体撮像装置12では、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11において出力した全画素データよりも、画質劣化をさらに抑制することができる。
例えば、本第3の実施形態の固体撮像装置12と、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11とのそれぞれが出力する全画素データのビット数が同じ場合であれば、本第3の実施形態の固体撮像装置12が出力した全画素データに基づいて生成した画像の方が、より画質を向上させることができる。なお、本第3の実施形態の固体撮像装置12と、第1の実施形態の固体撮像装置10および第2の実施形態の固体撮像装置11とのそれぞれが出力する全画素データに基づいて生成した画像の画質が同じ場合であれば、本第3の実施形態の固体撮像装置12の方が、全画素データのビット数をより削減することができる。
なお、本第3の実施形態の固体撮像装置12におけるビット数の削減方法では、選択部1127によって全画素信号S1と減縮画素信号S2との差分をとったデジタル値が選択画素データとして選択されている場合のビット数の削減方法について説明した。しかし、本第3の実施形態の固体撮像装置12では、選択部1127は、第1のA/D変換部1102から順次入力された全画素信号S1のデジタル値を選択画素データとして選択することもできる。この場合における本第3の実施形態の固体撮像装置12の動作は、第2の実施形態の固体撮像装置11の動作と同様である。従って、本第3の実施形態の固体撮像装置12において、選択部1127が第1のA/D変換部1102から順次入力された全画素信号S1のデジタル値を選択画素データとして選択した場合の動作に関する詳細な説明は省略する。
上記に述べたとおり、本発明を実施するための形態によれば、固体撮像装置の画素信号処理部から、同じ露光によって得られた、画素信号処理部に備えた全ての画素の信号電荷に応じた画素信号と、画素信号処理部に備えた画素の数(画素数)を減縮した画素信号とのそれぞれを、別々に独立して出力する。そして、本発明を実施するための形態によれば、画素信号処理部に備えた画素の数(画素数)を減縮した画素信号に基づいて、撮影した画像の特徴を事前に調査し、調査した画像の特徴に基づいて、画素信号処理部に備えた全ての画素の信号電荷に応じた画素信号をアナログデジタル変換したデジタル値(全画素データ)のビット数を削減する方法を制御する。これにより、本発明を実施するための形態では、従来の画素データのビット数を変更する仕組みを備えた固体撮像装置のように、動作モードに応じて画素データのビット数を削減するよりも、画素データのビット数の削減による画質の劣化を抑えることができ、出力する全画素データのビット数の削減による低消費電力化と画質劣化の抑制とを両立することができる。
また、本発明を実施するための形態によれば、画素信号処理部に備えた全ての画素の信号電荷に応じた画素信号をアナログデジタル変換してビット数を削減したデジタル値(全画素データ)と共に、画素信号処理部に備えた画素の数(画素数)を減縮した画素信号をアナログデジタル変換したデジタル値(減縮画素データ)を出力する。これにより、本発明を実施するための形態では、画素信号処理部に備えた画素の数(画素数)を減縮した画素信号のデジタル値を、リアルタイム性を要する処理に使用することができる。
なお、本実施形態においては、第1〜第3の実施形態の固体撮像装置に備えた画素信号処理部100において、それぞれの画素に備えた対応する光電変換部101が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第2の電荷蓄積回路104を備える構成を示した。しかし、本発明の固体撮像装置に備える画素信号処理部の構成は、第1〜第3の実施形態の固体撮像装置に備えた画素信号処理部100においてに示した構成に限定されるものではない。例えば、第2の電荷蓄積回路104が保持した対応する画素が発生したそれぞれの信号電荷を平均化した信号電荷を、さらに平均化する構成にすることもできる。
また、本実施形態においては、第1〜第3の実施形態の固体撮像装置に備えた画素信号処理部100において、予め定めた2つの画素を組とした構成の一例を示したが、それぞれの固体撮像装置に備えた画素信号処理部における画素の組は、本発明を実施するための形態の構成に限定されるものではない。すなわち、本発明を実施するための形態に示した構成よりもさらに多くの画素で1つの組を構成することもできる。
また、画素信号処理部100に備える画素の数(画素数)や画素数を減縮する数は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素信号処理部100に備える画素の数(画素数)や画素数を減縮する数を変更することができる。
また、本実施形態においては、第1〜第3の実施形態の固体撮像装置や、それぞれの固体撮像装置に備えたそれぞれの構成要素を配置するための構造に関しては、限定しない。例えば、それぞれの固体撮像装置に備えたそれぞれの構成要素を、複数の基板に分けて配置した多層基板の構造であっても、1枚の基板に配置した、いわゆる、モノリシックの構造であってもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。