JP6268563B2 - 撮像装置、及び固体撮像装置 - Google Patents

Description

本開示は撮像装置、及び固体撮像装置に関する。

以下、図１３を参照としながら、特許文献１に開示された従来技術を説明する。

図１３において、ｃは固体撮像素子でａ及びｂは画素であり、ここでａは欠陥画素であるとする。固体撮像素子上に結像する光学像に対し、変位手段により固体撮像素子を水平画素方向に変位させた場合、図１３において、相対的に光学像がａからｂに移動したとする。このとき固体撮像素子から電気信号を読みだす読みだしパルスのタイミングをＡからＢに変更すれば、本来欠陥画素ａ上で結像するべき光学像が正常な画素ｂ上で結像し、電気信号に変換される。

図１３の画素ａから画素ｂの間を光学像が往復するように変位手段が動作し、それに合わせて読みだしパルスがＡからＢのタイミングの間を変動するようにタイミング発生回路が読みだしパルスを発生すれば、画素ａに何らかの欠陥があっても、画素ｂで補間することによって、画素ａによる固定パターンノイズ（ノイズ）の発生を軽減し、画像バラツキを低減する。

特開平６−１４１２４２号公報

しかしながら、特許文献１で開示された従来技術では、十分にノイズを低減して、画像ザラと呼ばれる画像不良を十分に抑えることができないという課題を有している。

本開示は、バラツキの少ない画像を得ることができる撮像装置を提供することを目的とする。

本開示の一態様に係る撮像装置は、二次元状に配列された複数の画素を有する固体撮像装置と、前記固体撮像装置からの出力信号を処理する信号処理装置とを含む撮像装置であって、前記画素内の信号蓄積部に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に前記第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、前記固体撮像装置が撮影駆動を行うことで画像信号を取得し、前記画像信号に前記補正信号を適用することで補正画像を生成する。

例えば、前記複数の画素は、通常画素と、オプティカルブラック画素とを含み、前記第１の仮補正信号は、前記オプティカルブラック画素内の信号蓄積部に、一定電圧を直接印加することにより得られ、前記第２の仮補正信号は、前記通常画素内の信号蓄積部に光信号に相当する電圧振幅を直接印加することにより得られてもよい。

例えば、前記画素は、前記画素の外部からの印加電圧により前記信号蓄積部のリセットを行うためのリセットトランジスタを含み、前記リセットトランジスタをオンしたまま、前記リセットトランジスタに印加する電圧を変化させ、当該変化の前と後それぞれにおける前記画素からの出力信号を差分することにより前記第１の仮補正信号及び前記第２の仮補正信号を得てもよい。

本開示の一態様に係る撮像装置は、二次元状に配列された画素を有する固体撮像装置と、前記固体撮像装置からの出力信号を処理する信号処理装置とを含む撮像装置であって、（１）被写体の撮影によって得られる第１の画像信号と、（２）前記被写体の撮影時に前記固体撮像装置上に結像する被写体に対して、水平方向又は垂直方向に１以上の整数画素分前記固体撮像装置上を移動して被写体が結像するように撮影することによって得られる第２の画像信号とを撮影し、前記第１の画像信号と前記第２の画像信号とを使用して量子効率補正係数を算出し、任意の撮影条件による画像信号に前記量子効率補正係数を適用することで量子効率補正画像を生成する。

例えば、前記撮像装置は、ｎ（ｎは２以上の整数）個の前記画像信号を取得し、前記補正信号及び前記ｎ個の画像信号を用い超解像画像を生成し、前記補正信号を生成した後、かつ、前記ｎ個の画像信号のうち１番目の画像信号を取得した後に、前記１番目の画像信号に対する補正画像を生成する工程と同時に２番目の画像信号を取得し、（ｋ（ｋは３からｎまでの整数）−１）番目の画像信号に対する補正画像を生成する工程と同時にｋ番目の画像信号を取得してもよい。

例えば、前記信号処理装置は、記憶装置を備え、前記信号処理装置は、前記補正信号を前記記憶装置に記憶し、前記画像信号に前記記憶装置に記憶されている前記補正信号に適用することで補正画像を生成し、前記補正画像を計算機に出力してもよい。

例えば、前記撮像装置は、前記信号処理装置からの出力信号を処理し画像出力する計算機をさらに備え、前記画像信号及び前記補正信号を前記信号処理装置を介し前記計算機に入力し、前記計算機が、前記画像信号に対し前記補正信号を適用することで前記補正画像を生成してもよい。

本開示の一態様に係る固体撮像装置は、固体撮像装置と、当該固体撮像装置からの出力信号を処理する信号処理装置を含み、画素内の信号蓄積部に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に前記第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、画像信号に前記補正信号を適用することで補正画像を生成する撮像装置に用いられる固体撮像装置であって、前記固体撮像装置は、二次元状に配列された複数の前記画素を有し、撮影駆動を行うことで前記画像信号を取得する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、バラツキの少ない画像を得ることができる。

図１は、実施の形態１に係る撮像装置を示す図である。 図２は、実施の形態１に係る固体撮像装置の信号出力経路の詳細を示す図である。 図３は、実施の形態１に係る撮像装置の動作を示す図である。 図４は、一般的な方法を説明するための図である。 図５は、実施の形態１に係る撮像装置の動作を示す図である。 図６は、実施の形態１の変形例に係る固体撮像装置を示す図である。 図７は、実施の形態１の変形例に係る撮像装置の動作を示す図である。 図８は、実施の形態１の変形例に係る撮像装置の動作を示す図である。 図９は、実施の形態２に係る撮像装置を示す図である。 図１０は、実施の形態２に係る固体撮像装置の断面図である。 図１１は、実施の形態２に係る撮像装置の動作を示す図である。 図１２は、実施の形態２の変形例に係る撮像装置の動作を示す図である。 図１３は、従来技術を説明するための図である。

以下、本開示の実施の形態に係る撮像装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。

（実施の形態１）
まず、本実施の形態に係る撮像装置２００の構成を説明する。図１は、本実施の形態に係る撮像装置２００のブロック図である。図２は、図１に示す１つの画素２０４の信号出力経路２１４を示す図である。

図１に示す撮像装置２００は、固体撮像装置２０１と、信号処理装置２０２と、計算機２０３とを含む。

固体撮像装置２０１は、画素領域に二次元状に配列された複数の画素２０４と、一次元状に配列されている複数の列回路２０５と、列回路２０５の出力信号を外部に取り出すための複数の出力アンプ２０６とを備える。

信号処理装置２０２は、固体撮像装置２０１の出力信号を処理する。典型的には、信号処理装置２０２は、固体撮像装置２０１のアナログ出力信号をデジタル信号に変換するアナログ・フロントエンドＩＣ２１１（ＡＦＥ）と、黒レベル及び色バランス調整などを行うロジック回路及びメモリ２１２とを備える。信号処理装置２０２の出力信号は、計算機２０３（典型的にはＰＣ）に出力され、さらなる信号処理が行われた後に、表示装置に出力される、又は、記憶装置に画像ファイルとして蓄積される。

なお、撮像装置２００は、計算機２０３を含まなくてもよい。

次に、固体撮像装置２０１の詳細を説明する。図２に示すように、画素２０４は、光電変換部２０４ａ、リセットトランジスタ２０４ｂ、増幅トランジスタ２０４ｃ、及び選択トランジスタ２０４ｄを備える。

光電変換部２０４ａは、画素２０４に入射した光を電荷に変換する。この電荷は、増幅トランジスタ２０４ｃのゲートに接続された蓄積キャパシタである信号蓄積部（図１には記載していないが、増幅トランジスタ２０４ｃのゲートのキャパシタンス）に蓄積され、増幅トランジスタ２０４ｃにより電圧信号に変換される。この電圧信号は、選択トランジスタ２０４ｄ及び垂直信号線２０７を介して列回路２０５に出力される。

また、光電変換部２０４ａは、例えば光電変換膜で形成されている。光電変換膜に用いる材料は、光を電荷へ変換する効率が高い有機材料または無機材料などである。光電変換膜に用いる材料は、特に限定されないが、光電変換膜は、有機材料で構成されていることが好ましい。フォトダイオードが用いられる場合、受光すべき入射光の波長帯域に応じてフォトダイオードの厚み及び形状を調整する必要がある。一方、有機光電変換膜を用いた光電変換素子は、光吸収率が高いため、光電変換膜の膜厚を薄くしても（典型的には０．５μｍ程度）、Ｓｉフォトダイオードよりも高い感度を実現できる。さらに、このように光電変換膜を薄くすることによって、各画素に入射する光が斜めに入射する場合でも、光電変換膜内の伝播距離が波長と同程度かそれ以下と短いために、光が隣接画素へ伝播することない。すなわち、低クロストークでの受光を実現できる。従って、広受光角を有する光学系を実現することが可能となる。

但し、光電変換部２０４ａは、光電変換膜に限定されるものではなく、その他（一例として、半導体基板内に不純物を導入して形成したフォトダイオード）であってもよい。

図２に示すように、一つの列回路２０５は、画素２０４からの電圧信号を処理する回路であり、典型的には増幅トランジスタ２０４ｃのための電流源トランジスタ２１３と、二重相関サンプリング（ＣＤＳ）回路２０９とを含む。ＣＤＳ回路２０９は、画素２０４からの電圧信号である信号電圧からリセット電圧を差し引き、得られた信号電圧を水平転送（ＨＳＲ）回路２１０に出力する。なお、図２では、図１に示すＣＤＳ回路２０９のうち、１列分のＣＤＳ回路２０９を図示している。

出力アンプ２０６は、ＨＳＲ回路２１０を介して入力される信号電圧を増幅し、得られた信号を固体撮像装置２０１の外部に出力する。

なお、本実施の形態に係る固体撮像装置２０１は上述した構成に限定されるものではない。

次に、図３を用いて、本実施の形態に係る撮像装置２００の動作を説明する。なお、図３では、垂直走査（ＶＳＲ）回路２０８によって画素２０４が選択されている期間のみを示す。

まず、信号ＳＥＬがＯＮされることにより、垂直信号線電圧Ｖｓｉｇが、光電変換した電荷に対応した電圧（電圧ａとする）になる。その後、リセット信号ＲＳがＯＮされることにより、リセットトランジスタ２０４ｂがＯＮし、蓄積キャパシタがリセットされる。

リセット信号ＲＳがＯＦＦすると、リセット電圧（電圧ｂとする）が垂直信号線電圧Ｖｓｉｇに現れる。次に、列回路２０５内のＣＤＳ回路２０９は、電圧ａから電圧ｂを差し引くことでＶｓｉｇ振幅を得る。Ｖｓｉｇ振幅が増幅されるとともに、ある一定のオフセット値ｂが加算された電圧信号が出力アンプ２０６の出力電圧Ｖｏｕｔとして現れる。

この光入射から出力アンプ２０６までの過程で、各部のばらつきが重畳された値がＶｏｕｔとして現れるため、後段の信号処理装置２０２及び計算機２０３を経て得られる画像には、それらばらつきによる画像ザラが生じることになる。

画像ザラを定量的に考察するために、以下の定数を定義する。ある画素２０４に入射する光子数をＮとする。光電変換部２０４ａの量子効率をηとする。増幅トランジスタ２０４ｃの変調度をαとする。

この場合、ＣＤＳ回路２０９でサンプリングされるＶｓｉｇ振幅は、α・ηＮで表される。さらに、ＣＤＳ回路２０９の利得をβ、水平線での利得をγ、出力アンプ２０６の利得をεとする。

この場合、着目している画素に対する、固体撮像装置２０１の最終的な出力信号である出力電圧Ｖｏｕｔは、α・β・γ・ε・η・Ｎ＋ｂと表される。

ここで、ｂはオフセット電圧であり、出力アンプ２０６の特性により決定される。通常、オフセット電圧ｂを除去するために、固体撮像装置にはオプティカルブラック（ＯＢ）画素が設けられる。ＯＢ画素はメタル配線などにより遮光されるため、入射光子数Ｎ＝０となる。よって、Ｖｏｕｔに現れる電圧はｂとなる。

この電圧を先ほどの着目している画素に対する出力電圧Ｖｏｕｔから差し引くことにより、入射光子数Ｎに比例する信号である画像信号電圧が下記（式１）により得られる。

画像信号電圧＝α・β・γ・ε・η・Ｎ ・・・（式１）

画像ザラは、上記各利得、すなわちα・β・γ・ε・ηが画素毎にばらつくために生じる。

ここで、本開示の理解を容易とするため、一般的な技術（方法）を説明する。

画像ザラを除去する一般的な方法は、固体撮像装置に予め一様光を照射して得られるザラを含む画像（各部のばらつきがなければこの画像は一様になる）から各画素に対応した補正係数を得る方法である。

すなわち、各画素に入射する光子数Ｎが既知である光源又は被写体を用意することができれば、上式より各画素に対するα・β・γ・ε・ηを得ることができる。

未知の被写体を撮像した場合は、その画像出力信号電圧に対し、ここで得られたα・β・γ・ε・ηを除算すれば、画像ザラを除去できる。

しかし、光源或いは被写体が既知でない場合、又は既知である光源或いは被写体に切り替えることのできない光学系に固体撮像装置２０１が設置してある場合はこの方法は使用できないという問題が生じる。

次に、別の一般的な方法を、図４を用いて説明する。図４は、一般的な方法の動作シーケンスを示している。なお、図４は、図３と同様に、ＶＳＲ回路２０８により画素２０４が選択されている期間のみを示す。

まず、ＳＥＬ信号により選択トランジスタ２０４ｄがＯＮされ、それとともにＲＳ信号によりリセットトランジスタ２０４ｂがＯＮされる。列回路２０５内のＣＤＳ回路２０９は、このときの垂直信号線２０７に出力される電圧Ｖｓｉｇをサンプリングする。

次に、リセット電圧Ｖｉｎの値がａだけ低下する。ここでａは既知とする。列回路２０５内のＣＤＳ回路２０９は、このときの垂直信号線２０７に出力される電圧Ｖｓｉｇをサンプリングする。これにより、Ｖｓｉｇ振幅＝ａ・αが得られる。

このとき、出力アンプ２０６の出力電圧Ｖｏｕｔは、ａ・α・γ・ε＋ｂ’である。オフセット電圧ｂ’が０又は０に極めて近い場合、Ｖｏｕｔ＝ａ・α・γ・εである。ａは既知であるので、画素毎のα・γ・εを得ることができる。（式１）からα・γ・εを除算することにより、補正後の画像信号が下記（式２）により得られる。

補正後の画像信号＝η・Ｎ ・・・（式２）

ηによる画像ザラは除去することができないものの、それ以外の成分を除去できる。

しかし、これまで説明した一般的な方法では、オフセット電圧ｂ’が既知でない場合、補正ができないという問題が生じる。また、撮像時の動作シーケンス（図３）とこの方法の動作シーケンス（図４）とは異なるため、オフセット電圧ｂとオフセット電圧ｂ’とが一致しない場合がある。一致しない主な原因は、オフセット電圧ｂには撮像時の暗電流成分が含まれることが挙げられる。したがって、オフセット電圧ｂによってｂ’を代用することも困難であるという問題が生じる。

以上ここまで説明した、一般的な方法における上述の問題を、本実施の形態に係る撮像装置２００は解決できる。以下その詳細を、図５を用いて説明する。

図５は、本実施の形態に係る撮像装置２００の動作の詳細を示す図である。本実施の形態に係る動作は、フレーム１とフレーム２との２フレーム構成である。

フレーム１の駆動方法は図４と同じであるが、リセット電圧Ｖｉｎに印加される電圧振幅はａ_１である。このときの出力アンプ２０６の出力電圧Ｖｏｕｔである第１の仮補正信号は下記（式３）により表わされる。

第１の仮補正信号＝ａ_１・α・γ・ε＋ｂ’ ・・・（式３）

フレーム２では、リセット電圧Ｖｉｎに印加される電圧振幅はａ_２である。このときの出力アンプ２０６の出力電圧Ｖｏｕｔである第２の仮補正信号は下記（式４）により表わされる。

第２の仮補正信号＝ａ_２・α・γ・ε＋ｂ’ ・・・（式４）

補正信号を得るには、第１の仮補正信号から第２の仮補正信号を差し引き、得られた値を既知の値（ａ_１−ａ_２）で除算すればよい。すなわち、補正信号は、下記（式５）により得られる。

補正信号＝（第１の仮補正信号−第２の仮補正信号）／（ａ_１−ａ_２）
＝α・β・γ・ε ・・・（式５）

この補正信号を、（式１）に示す画像信号電圧に適用することで、（式２）に示す補正後の画像信号を得ることができる。

つまり、図面を用いて説明したように、本実施の形態に係る撮像装置２００は、オフセット電圧ｂによってｂ’を代用することができ、オフセット電圧ｂ’が既知でない場合でも、補正により、画像ザラを低減でき、優れた画像特性を得ることができる。

（実施の形態１の変形例）
図６〜図８を用いて本実施の形態の変形例について説明する。図６に示す固体撮像装置２０１Ａは、通常の画素２０４に加え、ＯＢ画素２０４Ａを備える点が図１に示す固体撮像装置２０１と異なる。ＯＢ画素２０４Ａは、撮像領域の上部又は下部に配置される。

また、図７に示すように、ＶＳＲ回路２０８がＯＢ画素２０４Ａのある行を選択した状態において、ＳＥＬ信号とＲＳ信号により、選択トランジスタ２０４ｄとリセットトランジスタ２０４ｂがオンされる。このとき、リセット電圧Ｖｉｎは一定である。このときの出力アンプ２０６からの出力電圧Ｖｏｕｔである第３の仮補正信号は下記（式６）により表わされる。

第３の仮補正信号＝ｂ’ ・・・（式６）

図８に示すように、通常の画素２０４では、リセット電圧Ｖｉｎに、既知の電圧ａが与えられる。このときの出力アンプ２０６からの出力電圧Ｖｏｕｔである第４の仮補正信号は下記（式７）により表わされる。

第４の仮補正信号＝ａ_２・α・γ・ε＋ｂ’ ・・・（式７）

第４の仮補正信号から第３の仮補正信号を差し引き、得られた値を既知の値ａで除算することで補正信号を得ることができる。

なお、実施の形態１で説明した処理の代わりに、本変形例の処理が行われてもよいし、撮像装置２００は、両方の処理を行う機能を有し、選択的にいずれかの処理を行ってもよい。

また、上述した固体撮像装置２０１内の各種信号の制御は、固体撮像装置２０１又は撮像装置２００が備える制御部（図示せず）により行われる。

このように本実施の形態に係る撮像装置２００は、二次元状に配列された複数の画素２０４を有する固体撮像装置２０１と、固体撮像装置２０１からの出力信号を処理する信号処理装置２０２とを含む。撮像装置２００は、画素２０４内の信号蓄積部に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、固体撮像装置２０１が撮影駆動を行うことで画像信号を取得し、画像信号に補正信号を適用することで補正画像を生成する。

また、変形例において説明したように、複数の画素は、通常の画素２０４と、ＯＢ画素２０４Ａとを含む。

第１の仮補正信号（第３の仮補正信号）は、オプティカルブラック画素内の信号蓄積部に、一定電圧を直接印加することにより得られ、第２の仮補正信号（第４の仮補正信号）は、通常の画素２０４内の信号蓄積部に光信号に相当する電圧振幅を直接印加することにより得られる。

また、実施の形態１及びその変形例において説明したように、画素２０４は、画素２０４の外部からの印加電圧により信号蓄積部のリセットを行うためのリセットトランジスタ２０４ｂを含む。撮像装置２００は、リセットトランジスタ２０４ｂをオンしたまま、リセットトランジスタ２０４ｂに印加する電圧を変化させ、当該変化の前と後それぞれにおける前記画素からの出力信号の差分を算出することにより第１の仮補正信号及び第２の仮補正信号（又は第３の仮補正信号及び第４の仮補正信号）を得る。

また、補正信号等の生成（算出）処理は、例えば、信号処理装置２０２により行われる。なお、これらの処理の一部又は全てが計算機２０３により行われてもよい。

つまり、信号処理装置２０２は、記憶装置（メモリ）を備え、補正信号を記憶装置に記憶し、画像信号に記憶装置に記憶されている補正信号に適用することで補正画像を生成し、補正画像を計算機２０３に出力してもよい。

または、撮像装置２００は、信号処理装置２０２からの出力信号を処理し画像出力する計算機２０３をさらに備え、画像信号及び補正信号を信号処理装置２０２を介し計算機２０３に入力し、計算機２０３が、画像信号に対し補正信号を適用することで補正画像を生成してもよい。

（実施の形態２）
近年、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ）方式によってミクロ構造を観察する技術が注目されている。ＣＩＳ方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行及び列状に配列された２次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層又は半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。

一方、イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。したがって、２次元イメージセンサにおける分解能（解像度）は、通常、撮像面上における光電変換部の配列ピッチ又は配列密度に依存する。なお、光電変換部の配列ピッチによって決まる分解能を「固有分解能」と呼ぶ。

また、イメージセンサの固有分解能を超える分解能を実現する一般的な技術（超解像技術）として、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像を形成する方法がある。しかし、この技術を用いたとしても、イメージセンサによって取得される画像は、基本的には固有分解能によって左右される。

また、個々の光電変換部の配列ピッチを、一般の半導体プロセス技術のほぼ限界まで小さくする場合、画素内に配置するトランジスタ及び光電変換素子（フォトダイオード又は光電変換材料）に起因するバラツキが問題となってくる。

以上の知見から、本実施の形態では、上述した実施の形態１に係る撮像装置を用いて画像ザラを低減し、更に、画素バラツキが問題となるまで小さい固有分解能を持ったイメージセンサを使用して、その固有分解能よりも小さい解像度を持ち、且つバラツキの少ない画像を得ることを目的とする。

以下その詳細を説明する。図９は、実施の形態２に係る、固体撮像装置２０１の固有分解能よりも小さい解像度を得るための撮像装置２００Ｂを示す図である。

この撮像装置２００Ｂは、光源２３０と、コリメートレンズ２３１と、ステージ２３３と、ゴニオステージ２３４とを備える。光源２３０は、緑色光源２３２Ｇと、青色光源２３２Ｂと、赤色光源２３２Ｒとを含む。

コリメートレンズ２３１は、光源２３０から射出された光を平行光に変換する。ゴニオステージ２３４は、ステージ２３３の向きを変化させる。このゴニオステージ２３４は、ゴニオステージ２３４ａとゴニオステージ２３４ｂとを含む。ゴニオステージ２３４ａはコリメートレンズ２３１に対するステージ２３３の垂直方向を軸とした回転を行う。ゴニオステージ２３４ｂは、コリメートレンズ２３１に対するステージ２３３の水平方向を軸とした回転を行う。また、ステージ２３３の位置２３５に固体撮像装置２０１が設置される。

図１０は、固体撮像装置２０１の撮影領域（画素が二次元的に配列されている領域）の断面図である。被写体２４１は、画素２０４に近接して配置されている。画素２０４は、光電変換部２０４ａ（光電変換素子）を備える。被写体２４１と固体撮像装置２０１とは接着されており、被写体２４１は容易に除去できない。光源２３０からの光は、被写体２４１を透過して光電変換部２０４ａに入射し、これにより画像が得られる。

図１１は、本実施の形態に係る撮像装置２００Ｂの動作を示す図である。固体撮像装置２０１の固有分解能よりも小さい解像度を得るための動作を、図１０及び図１１を用いて説明する。

なお、以下に示す動作の制御は、例えば、撮像装置２００Ｂが備える制御部（図示せず）により行われる。また、各種画像の演算処理は、例えば、信号処理装置２０２又は計算機２０３により行われる。

まず、ゴニオステージ２３４ｂが動作し、ステージ２３３がコリメートレンズ２３１に対して平行に配置される。また、ゴニオステージ２３４ａによる回転角度が初期値（このときを０°とする）に設定される。この状態で、緑色光源２３２Ｇのみが点灯し、出力画像が得られる（これを０°Ｇ画像とする）。

次に、ゴニオステージ２３４ａが回転することで画素２０４に対する光源２３０への角度が変化する。また、被写体２４１が画素２０４の大きさの半分（０．５画素）分ｘ方向にずれて撮像領域に投影されるように角度が調節される。この状態で同様に撮像が行われると、先ほどの画像に対しｘ方向に０．５画素分シフトした画像（これを（０．５、０）Ｇ画像とする）が得られる。

さらに、ゴニオステージ２３４ｂが回転することで、被写体がｘ方向に０．５画素、ｙ方向に０．５画素ずれて投影されるように角度が調節される。この状態で撮像が行われ、（０．５、０．５）Ｇ画像が得られる。

同様に、（０、０．５）Ｇ画素が得られる。これら４つの画像を得る順番は任意である。

次に、この４つの画像内の同一座標のピクセルを取り出し、０°Ｇ画像のピクセルに対し、ｘ方向に隣接して（０．５，０）Ｇ画像のピクセルを、ｙ方向に隣接して（０、０．５）Ｇ画像のピクセルを、斜め方向に隣接して（０．５、０．５）Ｇ画素のピクセルを配置する。そして、この４ピクセルのセット（同一画素セットと呼ぶ）を、もとのピクセル位置に従って配列すれば０．５画素解像度のＧ画像が完成する。

同様に、赤色光源２３２Ｒが点灯し、０．５画素解像度のＲ画像が得られる。さらに、青色光源２３２Ｂが点灯し、０．５画素解像度のＢ画像が得られる。ここまで、計１２回の撮像動作を行う必要があるが、その順番は任意である。

最後に、０．５画素解像度のＧ画像、０．５画素解像度のＲ画像、及び０．５画素解像度のＢ画像を合成することにより、０．５画素解像度のカラー画像が得られる。

この工程において、固体撮像装置２０１内の各部にバラツキが存在すると、実施の形態１で述べたとおり、この画像にも画像ザラが重畳する。具体的には、同一画素セット内を１単位とした画像ザラが重畳する。すなわち、同一画素セット内では画像ザラはないが、他の同一画素セットに対してザラが重畳する。

本実施の形態では、以下の方法によりこの画像ザラを低減する。

まず、光源２３０及びゴニオステージ２３４が上記画像のいずれか１つを撮像するときの条件に設定される。

次に、実施の形態１に示された撮像装置２００及び駆動方法により、各画素に対する補正信号を得る。

次に、この補正信号を順次各画像に適用することにより、０．５画素解像度のカラー画像の画像ザラが低減される。

また、０．５画素解像度のカラー画像を得る工程で、補正処理を行いながら、次の画像の撮像動作を並列して行うことで、総処理時間を短縮することも可能である。また、ここでは０．５画素解像度について説明したが、１／３画素解像度、又はそれ以下の解像度の画像を得る際にもこの方法が使用できる。

（実施の形態２の変形例）
本変形例では、図９の光源２３０及びゴニオステージ２３４を実施の形態２に示した画像のいずれか１つを撮像するときの条件に設定し、補正係数を得ておくことで、光電変換部２０４ａの量子効率ηによる画像ザラも、更に高精度に低減する方法を提供する。

以下、図１２を用いて、その詳細を説明する。なお、図１２では、一例として、０°Ｇ画像を用いる場合を示すが、他の画像を用いてもよい。

まず、０°Ｇ画像が撮像される。この画像に対して実施の形態１の方法を適用することで得られる画像をＡ画像とする。

次に、被写体２４１から固体撮像装置２０１への投影がｘ方向に１画素ずれるようにゴニオステージ２３４の角度が設定される。この設定で撮像が行われ、得られた画像に対して上記の補正係数が適用される。これにより得られた画像をＢ画像とする。

Ａ画像のある１つの画素（座標が（ｉ、ｊ）であるとする）に着目する。補正係数が適用済みなので、出力信号は、η_ｉｊ・Ｎ_ｉｊと表せる。ここで、η_ｉｊは画素（ｉ，ｊ）における光電変換部２０４ａの量子効率、Ｎ_ｉｊは入射光子数である。一方、Ｂ画像の座標（ｉ＋１，ｊ）の画素の出力信号は、入射光子数がＡ画像の画素（ｉ，ｊ）と等しいことに注意すると、η_ｉ＋１ｊ・Ｎ_ｉｊと表せる。これら２つの画素の平均値は、下記（式８）で表わされる。

画素平均値＝（η_ｉｊ＋η_ｉ＋１ｊ）Ｎ_ｉｊ／２
＝η_ｉｊＮ_ｉｊ・（η_ｉｊ＋η_ｉ＋１ｊ）／２ ・・・（式８）

この平均値を用いて新しい画像が作成されると、Ａ画像及びＢ画像よりも画像ザラが低減される。具体的には、画像ザラの標準偏差が１／√２に低減される。

（式８）によれば、Ａ画像に対して（η_ｉｊ＋η_ｉ＋１ｊ）／２の補正係数を乗じていることになる。これをη補正係数と呼ぶことにし、η補正係数を適用した画像を０°η補正Ｇ画像と呼ぶことにする。

ここでは、Ａ画像とＢ画像の２つの画像を用いてη補正係数を算出する方法を示したが、さらに画像を増やしてη補正係数を算出することもできる。例えば、１画素分ｙ方向にずらしたＣ画像を用意し、η補正係数を同様に算出できる。この場合は、画像ザラの標準偏差が１／√３に低減される。さらに、ｘ方向又はｙ方向に整数画素分ずらした任意の個数（この個数をＭとする）の画像を用意してη補正係数を算出することもできる。この場合は画像ザラの標準偏差が１／√Ｍに低減される。

以上の方法により、光電変換部２０４ａの量子効率ηによる画像ザラも、更に高精度に低減することができる。

このように、本実施の形態に係る撮像装置２００Ｂは、（１）被写体２４１の撮影によって得られる第１の画像信号と、（２）被写体の撮影時に固体撮像装置２０１上に結像する被写体２４１に対して、水平方向又は垂直方向に１以上の整数画素分固体撮像装置２０１上を移動して被写体が結像するように撮影することによって得られる第２の画像信号とを撮影し、第１の画像信号と第２の画像信号とを使用して量子効率補正係数を算出し、任意の撮影条件による画像信号に前記量子効率補正係数を適用することで量子効率補正画像を生成する。

また、撮像装置２００Ｂは、ｎ（ｎは２以上の整数）個の画像信号を取得し、補正信号及びｎ個の画像信号を用い超解像画像を生成し、補正信号を生成した後、かつ、ｎ個の画像信号のうち１番目の画像信号を取得した後に、１番目の画像信号に対する補正画像を生成する工程と同時に２番目の画像信号を取得し、（ｋ（ｋは３からｎまでの整数）−１）番目の画像信号に対する補正画像を生成する工程と同時にｋ番目の画像信号を取得する。

以上、本開示の実施の形態に係る撮像装置について説明したが、本開示は、この実施の形態に限定されるものではない。

例えば、上記実施の形態に係る撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記回路図に示す回路構成は、一例であり、本開示は上記回路構成に限定されない。つまり、上記回路構成と同様に、本開示の特徴的な機能を実現できる回路も本開示に含まれる。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

（その他の実施の形態）
本開示は、撮像装置として実現することができるだけでなく、当該撮像装置に用いられる固体撮像装置２０１又は２０１Ａとして実現することができる。

つまり、本開示に係る固体撮像装置は、画素２０４内の信号蓄積部（図１には記載していないが、増幅トランジスタ２０４ｃのゲートのキャパシタンス）に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に前記第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、画像信号に前記補正信号を適用することで補正画像を生成する撮像装置に用いられる固体撮像装置である。当該撮像装置は、上記説明した、固体撮像装置２０１又は２０１Ａからの出力信号を処理する信号処理装置２０２を有する。さらに、当該固体撮像装置は、二次元状に配列された複数の画素２０４を有し、撮影駆動を行うことで画像信号を取得する。

このような固体撮像装置が撮像装置に用いられることにより、上記説明した撮像装置と同様に、バラツキの少ない画像を得ることができる。

本開示は、カメラ等の撮像装置に適用できる。

２００、２００Ｂ 撮像装置
２０１、２０１Ａ 固体撮像装置
２０２ 信号処理装置
２０３ 計算機
２０４ 画素
２０４ａ 光電変換部
２０４ｂ リセットトランジスタ
２０４ｃ 増幅トランジスタ
２０４ｄ 選択トランジスタ
２０４Ａ ＯＢ画素
２０５ 列回路
２０６ 出力アンプ
２０７ 垂直信号線
２０８ ＶＳＲ回路
２０９ ＣＤＳ回路
２１０ ＨＳＲ回路
２１１ ＡＦＥ
２１２ ロジック回路及びメモリ
２１３ 電流源トランジスタ
２１４ 信号出力経路
２３０ 光源
２３１ コリメートレンズ
２３２Ｂ 青色光源
２３２Ｇ 緑色光源
２３２Ｒ 赤色光源
２３３ ステージ
２３４、２３４ａ、２３４ｂ ゴニオステージ
２３５ 位置
２４１ 被写体

Claims (8)

1. 二次元状に配列された複数の画素を有する固体撮像装置と、
   前記固体撮像装置からの出力信号を処理する信号処理装置とを含む撮像装置であって、
   前記画素内の信号蓄積部に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に前記第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、
   前記固体撮像装置が撮影駆動を行うことで画像信号を取得し、
   前記画像信号に前記補正信号を適用することで補正画像を生成する
   撮像装置。
2. 前記複数の画素は、通常画素と、オプティカルブラック画素とを含み、
   前記第１の仮補正信号は、前記オプティカルブラック画素内の信号蓄積部に、一定電圧を直接印加することにより得られ、前記第２の仮補正信号は、前記通常画素内の信号蓄積部に光信号に相当する電圧振幅を直接印加することにより得られる
   請求項１記載の撮像装置。
3. 前記画素は、前記画素の外部からの印加電圧により前記信号蓄積部のリセットを行うためのリセットトランジスタを含み、
   前記リセットトランジスタをオンしたまま、前記リセットトランジスタに印加する電圧を変化させ、
   当該変化の前と後それぞれにおける前記画素からの出力信号の差分を算出することにより前記第１の仮補正信号及び前記第２の仮補正信号を得る
   請求項１又は２記載の撮像装置。
4. 二次元状に配列された画素を有する固体撮像装置と、
   前記固体撮像装置からの出力信号を処理する信号処理装置とを含む撮像装置であって、
   （１）被写体の撮影によって得られる第１の画像信号と、（２）前記被写体の撮影時に前記固体撮像装置上に結像する被写体に対して、水平方向又は垂直方向に１以上の整数画素分前記固体撮像装置上を移動して被写体が結像するように撮影することによって得られる第２の画像信号と、を撮影し、
   前記第１の画像信号と前記第２の画像信号とを使用して量子効率補正係数を算出し、
   任意の撮影条件による画像信号に前記量子効率補正係数を適用することで量子効率補正画像を生成する
   撮像装置。
5. 前記撮像装置は、
   ｎ（ｎは２以上の整数）個の前記画像信号を取得し、
   前記補正信号及び前記ｎ個の画像信号を用い超解像画像を生成し、
   前記補正信号を生成した後、かつ、前記ｎ個の画像信号のうち１番目の画像信号を取得した後に、前記１番目の画像信号に対する補正画像を生成する工程と同時に２番目の画像信号を取得し、
   （ｋ（ｋは３からｎまでの整数）−１）番目の画像信号に対する補正画像を生成する工程と同時にｋ番目の画像信号を取得する
   請求項１又は２記載の撮像装置。
6. 前記信号処理装置は、記憶装置を備え、
   前記信号処理装置は、
   前記補正信号を前記記憶装置に記憶し、
   前記画像信号に前記記憶装置に記憶されている前記補正信号に適用することで補正画像を生成し、
   前記補正画像を計算機に出力する
   請求項１又は２記載の撮像装置。
7. 前記撮像装置は、前記信号処理装置からの出力信号を処理し画像出力する計算機をさらに備え、
   前記画像信号及び前記補正信号を前記信号処理装置を介し前記計算機に入力し、
   前記計算機が、前記画像信号に対し前記補正信号を適用することで前記補正画像を生成する
   請求項１又は２記載の撮像装置。
8. 固体撮像装置と、当該固体撮像装置からの出力信号を処理する信号処理装置を含み、
   画素内の信号蓄積部に第１の電圧振幅を直接印加することにより得られる第１の仮補正信号と、前記信号蓄積部に前記第１の電圧振幅とは異なる第２の電圧振幅を印加することにより得られる第２の仮補正信号との差分に基づき補正信号を生成し、
   画像信号に前記補正信号を適用することで補正画像を生成する撮像装置に用いられる固体撮像装置であって、
   前記固体撮像装置は、
   二次元状に配列された複数の前記画素を有し、撮影駆動を行うことで前記画像信号を取得する
   固体撮像装置。

Images